KR20060021375A

KR20060021375A - 신호 처리 장치 및 신호 처리 방법, 및 프로그램 및 기록매체

Info

Publication number: KR20060021375A
Application number: KR1020057023911A
Authority: KR
Inventors: 데쓰지로 곤도; 가즈시 요시카와; 데쓰시 고쿠보; 히사카즈 시라키; 미치마사 오바나; 마사노리 가네마루; 히데오 가사마
Original assignee: 소니 가부시끼 가이샤
Priority date: 2003-06-27
Filing date: 2004-06-15
Publication date: 2006-03-07
Also published as: JP2005018535A; EP1640906A1; CN101290677B; JP4392584B2; US20070110333A1; US7672526B2; US20070115286A1; EP1640906A4; US7672536B2; KR101002225B1; CN101290677A; CN1813267A; WO2005001762A1; CN100388307C

Abstract

본 발명은, 현실 세계의 신호에 의해 근사(近似)시킨 화상 등을 얻을 수 있도록 한 신호 처리 장치 및 신호 처리 방법, 및 프로그램 및 기록 매체에 관한 것이다. 실세계(實世界)의 광신호가 투영되고, 그 실세계의 광신호의 정상성(定常性)의 일부가 결락(缺落)된 실세계의 광신호의 차원보다 적은 차원의 입력 화상에 대하여, 실세계 신호 추정부(10003)에 있어서, 처리 영역 설정부(10001)에서 설정된 처리 영역 내의 입력 화상으로부터, 정상성 설정부(10002)에서 설정된 정상성에 따라 실세계의 신호가 추정된다. 한편, 사용자의 조작에 따라 처리 영역, 정상성 또는 실세계의 신호 중 적어도 1개와 관련되는 정보가 사용자 I/F(10006)로부터 처리 영역 설정부(10001), 정상성 설정부(10002) 또는 실세계 추정부(10003)에 공급된다. 본 발명은, 예를 들면, 화상으로부터 모션 흐릿함을 제거하는 경우 등에 적용할 수 있다.

신호 처리 장치, 신호 처리 방법, 프로그램, 기록 매체

Description

신호 처리 장치 및 신호 처리 방법, 및 프로그램 및 기록 매체 {SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD, PROGRAM, AND RECORDING MEDIUM}

본 발명은, 신호 처리 장치 및 신호 처리 방법, 및 프로그램 및 기록 매체에 관한 것이며, 특히 현실 세계의 신호에 의해 근사(近似)시킨 화상 등을 얻을 수 있도록 하는 신호 처리 장치 및 신호 처리 방법, 및 프로그램 및 기록 매체에 관한 것이다.

실세계(實世界;현실 세계)에 있어서의 사상(事象)을 센서로 검출하고, 센서가 출력하는 샘플링 데이터를 처리하는 기술이 널리 이용되고 있다. 예를 들면, 실세계를 이미지 센서로 촬상하고, 화상 데이터인 샘플링 데이터를 처리하는 화상 처리 기술이 널리 이용되고 있다.

또, 제1 차원을 가지는 현실 세계의 신호인 제1 신호를 센서에 의해 검출함으로써 얻은, 제1 차원과 비교하여 차원이 적은 제2 차원을 가지고, 제1 신호에 대한 왜곡을 포함하는 제2 신호를 취득하고, 제2 신호에 따른 신호 처리를 행함으로써, 제2 신호에 비하여 왜곡이 경감된 제3 신호를 생성하도록 하고 있는 것도 있다(예를 들면, 일본국 특개 2001-250119호 공보 참조).

그러나, 종래에 있어서는, 현실 세계의 신호의 정상성을 고려한 신호 처리가 행해지지 않았으므로, 현실 세계의 신호에 의해 근사시킨 화상 등을 얻는 것이 곤란했었다.

본 발명은, 이와 같은 상황을 감안하여 이루어진 것이며, 현실 세계의 신호에 의해 근사시킨 화상 등을 얻을 수 있도록 하는 것이다.

본 발명의 신호 처리 장치는, 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계의 신호의 정상성의 일부가 결락(缺落)된 제1 차원보다 적은 제2 차원의 제2 신호에 대하여, 처리의 대상으로 하는 처리 영역을 설정하는 처리 영역 설정 수단과, 제2 신호에 있어서 결락된 현실 세계의 신호의 정상성을 설정하는 정상성 설정 수단과, 정상성 설정 수단에 의해 설정된 정상성에 따라, 처리 영역 설정 수단에 의해 설정된 처리 영역 내의 제2 신호에 대응하는 현실 세계의 신호를 추정하는 실세계 추정 수단과, 사용자의 조작에 따라, 처리 영역, 정상성, 또는 현실 세계의 신호 중 적어도 1개와 관련되는 정보를, 처리 영역 설정 수단, 정상성 설정 수단, 또는 실세계 추정 수단에 공급하는 정보 공급 수단을 구비한 것을 특징으로 한다.

본 발명의 신호 처리 방법은, 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계의 신호의 정상성의 일부가 결락된 제1 차원보다 적은 제2 차원의 제2 신호에 대하여, 처리의 대상으로 하는 처리 영역을 설정하는 처리 영역 설정 수단에 있어서, 처리 영역을 설정하는 처리 영역 설정 스텝과, 제2 신호에 있어서 결락된 현실 세계의 신호의 정상성을 설정하는 정상성 설정 수단에 있어서, 정상성을 설정하는 정상성 설정 스텝과, 정상성 설정 스텝에 의해 설정된 정상성에 따라, 처리 영역 설정 스텝에 의해 설정된 처리 영역 내의 제2 신호에 대응하는 현실 세계의 신호를 추정하는 세계 신호 추정 수단에 있어서, 현실 세계의 신호를 추정하는 실세계 추정 스텝과, 사용자의 조작에 따라, 처리 영역, 정상성, 또는 현실 세계의 신호 중 적어도 1개와 관련되는 정보를, 처리 영역 설정 수단, 정상성 설정 수단, 또는 실세계 추정 수단에 공급하는 정보 공급 스텝을 포함하는 것을 특징으로 한다.

본 발명의 프로그램은, 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계의 신호의 정상성의 일부가 결락된 제1 차원보다 적은 제2 차원의 제2 신호에 대하여, 처리의 대상으로 하는 처리 영역을 설정하는 처리 영역 설정 수단에 있어서, 처리 영역을 설정하는 처리 영역 설정 스텝과, 제2 신호에 있어서 결락된 현실 세계의 신호의 정상성을 설정하는 정상성 설정 수단에 있어서, 정상성을 설정하는 정상성 설정 스텝과, 정상성 설정 스텝에 의해 설정된 정상성에 따라, 처리 영역 설정 스텝에 의해 설정된 처리 영역 내의 제2 신호에 대응하는 현실 세계의 신호를 추정하는 세계 신호 추정 수단에 있어서, 현실 세계의 신호를 추정하는 실세계 추정 스텝과, 사용자의 조작에 따라, 처리 영역, 정상성, 또는 현실 세계의 신호 중 적어도 1개와 관련되는 정보를, 처리 영역 설정 수단, 정상성 설정 수단, 또는 실세계 추정 수단에 공급하는 정보 공급 스텝을 포함하는 것을 특징으로 한다.

본 발명의 기록 매체는, 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계의 신호의 정상성의 일부가 결락된 제1 차원보다 적은 제2 차원의 제2 신호에 대하여, 처리의 대상으로 하는 처리 영역을 설정하는 처리 영역 설정 수단에 있어서, 처리 영역을 설정하는 처리 영역 설정 스텝과, 제2 신호에 있어서 결락된 현실 세계의 신호의 정상성을 설정하는 정상성 설정 수단에 있어서, 정상성을 설정하는 정상성 설정 스텝과, 정상성 설정 스텝에 의해 설정된 정상성에 따라, 처리 영역 설정 스텝에 의해 설정된 처리 영역 내의 제2 신호에 대응하는 현실 세계의 신호를 추정하는 세계 신호 추정 수단에 있어서, 현실 세계의 신호를 추정하는 실세계 추정 스텝과, 사용자의 조작에 따라, 처리 영역, 정상성, 또는 현실 세계의 신호 중 적어도 1개와 관련되는 정보를, 처리 영역 설정 수단, 정상성 설정 수단, 또는 실세계 추정 수단에 공급하는 정보 공급 스텝을 포함하는 프로그램이 기록되어 있는 것을 특징으로 한다.

본 발명의 신호 처리 장치 및 신호 처리 방법, 및 프로그램 및 기록 매체에 있어서는, 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계의 신호의 정상성의 일부가 결락된 제1 차원보다 적은 제2 차원의 제2 신호에 대하여, 처리의 대상으로 하는 처리 영역을 설정하는 처리 영역 설정 수단에 있어서, 처리 영역이 설정되고, 제2 신호에 있어서 결락된 현실 세계의 신호의 정상성을 설정하는 정상성 설정 수단에 있어서, 정상성이 설정되고, 정상성에 따라, 처리 영역 내의 제2 신호에 대응하는 현실 세계의 신호를 추정하는 세계 신호 추정 수단에 있어서, 현실 세계의 신호가 추정된다. 한편, 사용자의 조작에 따라, 처리 영역, 정상성, 또는 현실 세계의 신호 중 적어도 1개와 관련되는 정보가, 처리 영역 설정 수단, 정상성 설정 수단, 또는 실세계 추정 수단에 공급된다.

도 1은 본 발명의 원리를 나타낸 도면이다.

도 2는 신호 처리 장치(4)의 하드웨어 구성의 예를 나타낸 블록도이다.

도 3은 도 1의 신호 처리 장치(4)의 일실시예의 구성예를 나타낸 블록도이다.

도 4는 신호 처리 장치(4)의 신호 처리의 원리를 보다 구체적으로 설명하는 도면이다.

도 5는 이미지 센서 상의 화소의 배치의 예를 설명하는 도면이다.

도 6은 CCD인 검출 소자의 동작을 설명하는 도면이다.

도 7은 화소 D 내지 화소 F에 대응하는 검출 소자에 입사되는 광과 화소값과의 관계를 설명하는 도면이다.

도 8은 시간의 경과와 1개의 화소에 대응하는 검출 소자에 입사되는 광과 화소값과의 관계를 설명하는 도면이다.

도 9는 실세계(1)의 선형(線形) 물체의 화상의 예를 나타낸 도면이다.

도 10은 실제의 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다.

도 11은 배경과는 상이한 색으로서, 단색(單色)의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상의 예를 나타낸 도면이다.

도 12는 실제의 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도 면이다.

도 13은 화상 데이터의 모식도이다.

도 14는 M개의 데이터(162)에 의한 모델(161)의 추정을 설명하는 도면이다.

도 15는 실세계(1)의 신호와 데이터(3)의 관계를 설명하는 도면이다.

도 16은 식을 세울 때 주목하는 데이터(3)의 예를 나타낸 도면이다.

도 17은 식을 세우는 경우에 있어서의, 실세계(1)에 있어서의 2개의 물체에 대한 신호 및 혼합 영역에 속하는 값을 설명하는 도면이다.

도 18은 식(18), 식(19), 및 식(22)에 의해 표현되는 정상성을 설명하는 도면이다.

도 19는 데이터(3)로부터 추출되는, M개의 데이터(162)의 예를 나타낸 도면이다.

도 20은 데이터(3)에 있어서의, 시간 방향 및 2차원의 공간 방향의 실세계(1)의 신호의 적분을 설명하는 도면이다.

도 21은 공간 방향에 의해 해상도가 높은 고해상도 데이터를 생성할 때의, 적분의 영역을 설명하는 도면이다.

도 22는 시간 방향에 따라 해상도가 높은 고해상도 데이터를 생성할 때의, 적분의 영역을 설명하는 도면이다.

도 23은 시간 공간 방향에 의해 해상도가 높은 고해상도 데이터를 생성할 때의, 적분의 영역을 설명하는 도면이다.

도 24는 입력 화상의 원래의 화상을 나타낸 도면이다.

도 25는 입력 화상의 예를 나타낸 도면이다.

도 26은 종래의 클래스 분류 적응 처리를 적용하여 얻어진 화상을 나타낸 도면이다.

도 27은 세선(細線)의 영역을 검출한 결과를 나타내는 도면이다.

도 28은 신호 처리 장치(4)로부터 출력된 출력 화상의 예를 나타낸 도면이다.

도 29는 신호 처리 장치(4)에 의한, 신호의 처리를 설명하는 플로차트이다.

도 30은 데이터 정상성 검출부(101)의 구성을 나타낸 블록도이다.

도 31은 배경의 앞에 세선이 있는 실세계(1)의 화상을 나타낸 도면이다.

도 32는 평면에 의한 배경의 근사를 설명하는 도면이다.

도 33은 세선의 화상이 투영된 화상 데이터의 단면 형상을 나타낸 도면이다.

도 34는 세선의 화상이 투영된 화상 데이터의 단면 형상을 나타낸 도면이다.

도 35는 세선의 화상이 투영된 화상 데이터의 단면 형상을 나타낸 도면이다.

도 36은 정상점의 검출 및 단조(單調) 증감 영역의 검출의 처리를 설명하는 도면이다.

도 37은 정상점의 화소값이 임계값을 넘어 인접하는 화소의 화소값이 임계값 이하인 세선 영역을 검출하는 처리를 설명하는 도면이다.

도 38은 도 37의 점선 AA'로 나타낸 방향으로 정렬된 화소의 화소값을 나타낸 도면이다.

도 39는 단조 증감 영역의 연속성의 검출의 처리를 설명하는 도면이다.

도 40은 세선의 화상이 투영되고 영역의 검출의 다른 처리의 예를 나타낸 도면이다.

도 41은 정상성 검출의 처리를 설명하는 플로차트이다.

도 42는 시간 방향의 데이터의 정상성을 검출의 처리를 설명하는 도면이다.

도 43은 비정상 성분 추출부(201)의 구성을 나타낸 블록도이다.

도 44는 기각되는 회수를 설명하는 도면이다.

도 45는 비정상 성분의 추출 처리를 설명하는 플로차트이다.

도 46은 정상 성분의 추출 처리를 설명하는 플로차트이다.

도 47은 정상 성분의 추출의 다른 처리를 설명하는 플로차트이다.

도 48은 정상 성분의 추출의 또다른 처리를 설명하는 플로차트이다.

도 49는 데이터 정상성 검출부(101)의 다른 구성을 나타낸 블록도이다.

도 50은 데이터의 정상성을 가지는 입력 화상에 있어서의 액티비티를 설명하는 도면이다.

도 51은 액티비티를 검출하기 위한 블록을 설명하는 도면이다.

도 52는 액티비티에 대한 데이터의 정상성의 각도를 설명하는 도면이다.

도 53은 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타낸 블록도이다.

도 54는 화소의 세트를 설명하는 도면이다.

도 55는 화소의 세트의 위치와 데이터의 정상성의 각도와의 관계를 설명하는 도면이다.

도 56은 데이터의 정상성의 검출의 처리를 설명하는 플로차트이다.

도 57은 시간 방향 및 공간 방향의 데이터의 정상성의 각도를 검출하면 와, 추출되는 화소의 세트를 나타낸 도면이다.

도 58은 도 3의 실세계 추정부의 실시예의 일례인, 함수 근사 방법의 원리를 설명하는 도면이다.

도 59는 센서가 CCD로 되는 경우의 적분 효과를 설명하는 도면이다.

도 60은 도 59의 센서의 적분 효과의 구체적인 예를 설명하는 도면이다.

도 61은 도 59의 센서의 적분 효과의 구체적인 다른 예를 설명하는 도면이다.

도 62는 도 60에 나타낸 세선 함유 실세계 영역을 나타내는 도면이다.

도 63은 도 3의 실세계 추정부의 실시예의 일례의 원리를, 도 58의 예와 대비하여 설명하는 도면이다.

도 64는 도 60에 나타낸 세선 함유 데이터 영역을 나타내는 도면이다.

도 65는 도 64의 세선 함유 데이터 영역에 포함되는 각 화소값의 각각을 그래프화한 도면이다.

도 66은 도 65의 세선 함유 데이터 영역에 포함되는 각 화소값을 근사시킨 근사 함수를 그래프화한 도면이다.

도 67은 도 60에 나타낸 세선 함유 실세계 영역이 가지는 공간 방향의 정상성을 설명하는 도면이다.

도 68은 도 64의 세선 함유 데이터 영역에 포함되는 각 화소값의 각각을 그 래프화한 도면이다.

도 69는 도 68에 나타낸 입력 화소값의 각각을, 소정의 시프트량만큼 시프트시킨 상태를 설명하는 도면이다.

도 70은 공간 방향의 정상성을 고려하여, 도 65의 세선 함유 데이터 영역에 포함되는 각 화소값을 근사시킨 근사 함수를 그래프화한 도면이다.

도 71은 공간 혼합 영역을 설명하는 도면이다.

도 72는 공간 혼합 영역에 있어서의, 실세계의 신호를 근사시킨 근사 함수를 설명하는 도면이다.

도 73은 센서의 적분 특성과 공간 방향의 정상성의 양쪽을 고려하여, 도 65의 세선 함유 데이터 영역에 대응하는 실세계의 신호를 근사시킨 근사 함수를 그래프화한 도면이다.

도 74는 도 58에 나타낸 원리를 가지는 함수 근사 방법 중, 1차 다항식 근사 방법을 이용하는 실세계 추정부의 구성예를 설명하는 블록도이다.

도 75는 도 74의 구성의 실세계 추정부가 실행하는 실세계의 추정 처리를 설명하는 플로차트이다.

도 76은 탭 범위를 설명하는 도면이다.

도 77은 공간 방향의 정상성을 가지는 실세계의 신호를 설명하는 도면이다.

도 78은 센서가 CCD로 되는 경우의 적분 효과를 설명하는 도면이다.

도 79는 단면 방향 거리를 설명하는 도면이다.

도 80은 도 58에 나타낸 원리를 가지는 함수 근사 방법 중, 2차 다항식 근사 방법을 이용하는 실세계 추정부의 구성예를 설명하는 블록도이다.

도 81은 도 80의 구성의 실세계 추정부가 실행하는 실세계의 추정 처리를 설명하는 플로차트이다.

도 82는 탭 범위를 설명하는 도면이다.

도 83은 시공간 방향의 정상성의 방향을 설명하는 도면이다.

도 84는 센서가 CCD로 되는 경우의 적분 효과를 설명하는 도면이다.

도 85는 공간 방향의 정상성을 가지는 실세계의 신호를 설명하는 도면이다.

도 86은 시공간 방향의 정상성을 가지는 실세계의 신호를 설명하는 도면이다.

도 87은 도 58에 나타낸 원리를 가지는 함수 근사 방법 중, 3차원 근사 방법을 이용하는 실세계 추정부의 구성예를 설명하는 블록도이다.

도 88은 도 87의 구성의 실세계 추정부가 실행하는 실세계의 추정 처리를 설명하는 플로차트이다.

도 89는 도 3의 화상 생성부의 실시예의 일례인, 재적분 방법의 원리를 설명하는 도면이다.

도 90은 입력 화소와 그 입력 화소에 대응하는, 실세계의 신호를 근사시키는 근사 함수의 예를 설명하는 도면이다.

도 91은 도 90에 나타낸 근사 함수로부터, 도 90에 나타낸 1개의 입력 화소에 있어서의, 고해상도의 4개의 화소를 창조하는 예를 설명하는 도면이다.

도 92는 도 89에 나타낸 원리를 가지는 재적분 방법 중, 1차원 재적분 방법 을 이용하는 화상 생성부의 구성예를 설명하는 블록도이다.

도 93은 도 92의 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명하는 플로차트이다.

도 94는 입력 화상의 원래의 화상의 예를 나타낸 도면이다.

도 95는 도 94의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 96은 입력 화상의 예를 나타낸 도면이다.

도 97은 도 96의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 98은 입력 화상에 대하여 종래의 클래스 분류 적응 처리를 가해 얻어지는 화상의 예를 나타낸 도면이다.

도 99는 도 98의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 100은 입력 화상에 대하여 1차원 재적분 방법의 처리를 행하여 얻어지는 화상의 예를 나타낸 도면이다.

도 101은 도 100의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 102는 공간 방향의 정상성을 가지는 실세계의 신호를 설명하는 도면이다.

도 103은 도 89에 나타낸 원리를 가지는 재적분 방법 중, 2차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명하는 블록도이다.

도 104는 단면 방향 거리를 설명하는 도면이다.

도 105는 도 103의 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명하는 플로차트이다.

도 106은 입력 화소의 일례를 설명하는 도면이다.

도 107은 2차원 재적분 방법에 의해, 도 106에 나타낸 1개의 입력 화소에 있어서의, 고해상도의 4개의 화소를 창조하는 예를 설명하는 도면이다.

도 108은 시공간 방향의 정상성의 방향을 설명하는 도면이다.

도 109는 도 89에 나타낸 원리를 가지는 재적분 방법 중, 3차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명하는 블록도이다.

도 110은 도 109의 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명하는 플로차트이다.

도 111은 도 1의 신호 처리 장치(4)의 다른 일실시예의 구성예를 나타낸 블록도이다.

도 112는 도 111의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 113은, 도 111의 신호 처리 장치(4)의 응용예의 일실시예의 구성예를 나타낸 블록도이다.

도 114는, 도 113의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 115는, 처리 영역 설정부(11001)의 구성예를 나타낸 블록도이다.

도 116은, 처리 영역 설정부(11001)의 처리를 설명하는 플로차트이다.

도 117은, 모션 흐릿함이 생기고 있는 입력 화상을 나타낸 도면이다.

도 118은, 처리 영역 설정부(11001)에 있어서 설정된 M가지의 처리 영역을 나타내는 프레임의 표시예를 나타낸 도면이다.

도 119는, 도 111의 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타낸 블록도이다.

도 120 (A)는, 모션 벡터를 설명하는 도면이다.

도 120 (B)는, 모션 벡터를 설명하는 도면이다.

도 120 (C)는, 모션 벡터를 설명하는 도면이다.

도 120 (D)는, 모션 벡터를 설명하는 도면이다.

도 121은, 도 119의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 122는, 정상성 설정부(11042)의 구성예를 나타낸 블록도이다.

도 123은, 정상성 설정부(11042)의 처리를 설명하는 플로차트이다.

도 124는, 정상성 설정부(11042)의 처리를 설명하는 플로차트이다.

도 125는, 정상성 설정부(11042)의 처리를 설명하는 도면이다.

도 126 (A)는, 3가지 방법의 모션량 각각에 대하여 얻어지는 출력 화상을 나타낸 도면이다.

도 126 (B)는, 3가지 방법의 모션량 각각에 대하여 얻어지는 출력 화상을 나타낸 도면이다.

도 126 (C)는, 3가지 방법의 모션량 각각에 대하여 얻어지는 출력 화상을 나타낸 도면이다.

도 126 (D)는, 3가지 방법의 모션량 각각에 대하여 얻어지는 출력 화상을 나타낸 도면이다.

도 126 (E)는, 3가지 방법의 모션량 각각에 대하여 얻어지는 출력 화상을 나타낸 도면이다.

도 127은, 도 111의 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예 를 나타낸 블록도이다.

도 128은, 도 127의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 129는, 도 111의 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타낸 블록도이다.

도 130은, 도 129의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 131은, 도 129의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 132는, 도 129의 신호 처리 장치(4)의 처리를 설명하는 도면이다.

도 133은, 신호 처리 장치(4)에 의한 본처리를 설명하는 플로차트이다.

도 134는, 입력 화상에서의 처리 영역과 정상성의 방향을 나타낸 도면이다.

도 135 (A)는, 실세계(1)의 광신호와, 그 광신호에 대하여 센서(2)로부터 얻어지는 입력 화상을 나타낸 도면이다.

도 135 (B)는, 실세계(1)의 광신호와, 그 광신호에 대하여 센서(2)로부터 얻어지는 입력 화상을 나타낸 도면이다.

도 136 (A)는, 신호 처리 장치(4)에 의한 본처리를 설명하는 도면이다.

도 136 (B)는, 신호 처리 장치(4)에 의한 본처리를 설명하는 도면이다.

도 136 (C)는, 신호 처리 장치(4)에 의한 본처리를 설명하는 도면이다.

도 136 (D)는, 신호 처리 장치(4)에 의한 본처리를 설명하는 도면이다.

도 136 (E)는, 신호 처리 장치(4)에 의한 본처리를 설명하는 도면이다.

도 137은, 모션 검출부(11062)의 구성예를 나타낸 블록도이다.

도 138은, 모션량을 설명하는 도면이다.

도 139는, 배경 오브젝트의 앞을 이동하는 전경 오브젝트를 카메라로 촬상했을 때, 카메라로부터 출력되는 화상의 화소값을 나타낸 도면이다.

도 140은, 도 139에 나타낸 화상 화소의 화소값의 차분값을 나타낸 도면이다.

도 141은, 모션량의 검출의 처리를 설명하는 플로차트이다.

도 142는, 상관의 검출의 처리를 설명하는 플로차트이다.

도 143은, 도 111의 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타낸 블록도이다.

도 144는, 도 143의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 145는, 센서(2)가 CCD로 되는 경우의 적분 효과를 설명하는 도면이다.

도 146은, 모션량을 설명하는 도면이다.

도 147 (A)는, 센서(2)의 적분 효과에 의해 발생하는 모션 흐릿함을 설명하는 도면이다.

도 147 (B)는, 센서(2)의 적분 효과에 의해 발생하는 모션 흐릿함을 설명하는 도면이다.

도 147 (C)는, 센서(2)의 적분 효과에 의해 발생하는 모션 흐릿함을 설명하는 도면이다.

도 148 (A)는, 센서(2)의 적분 효과에 의해 발생하는 모션 흐릿함을 설명하는 도면이다.

도 148 (B)는, 센서(2)의 적분 효과에 의해 발생하는 모션 흐릿함을 설명하 는 도면이다.

도 148 (C)는, 센서(2)의 적분 효과에 의해 발생하는 모션 흐릿함을 설명하는 도면이다.

도 149는, 실세계 추정부(12003)의 실세계의 추정 처리를 설명하는 플로차트이다.

도 150은, 방정식 생성부(12012)의 구성예를 나타낸 블록도이다.

도 151은, 도 149의 스텝 S12032의 방정식 생성 처리를 설명하는 플로차트이다.

도 152 (A)는, 구속 조건을 설명하는 도면이다.

도 152 (B)는, 구속 조건을 설명하는 도면이다.

도 152 (C)는, 구속 조건을 설명하는 도면이다.

도 153은, 도 111의 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타낸 블록도이다.

도 154는, 도 153의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 155는, 실세계 추정부(12073)의 실세계의 추정 처리를 설명하는 플로차트이다.

도 156은, 방정식 생성부(12082)의 구성예를 나타낸 블록도이다.

도 157은, 도 155의 스텝 S12102의 방정식 생성 처리를 설명하는 플로차트이다.

도 158은, 도 153의 신호 처리 장치(4)의 처리의 개요를 설명하는 도면이다.

도 159는, 도 153의 신호 처리 장치(4)의 처리의 개요를 설명하는 도면이다.

도 160 (A)는, 구속 조건을 설명하는 도면이다.

도 160 (B)는, 구속 조건을 설명하는 도면이다.

도 160 (C)는, 구속 조건을 설명하는 도면이다.

도 161은, 도 111의 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타낸 블록도이다.

도 162는, 도 161의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 163은, 실세계 추정부(12163)의 실세계 추정 처리를 설명하는 플로차트이다.

도 164는, 방정식 생성부(12172)의 구성예를 나타낸 도면이다.

도 165는, 도 163의 스텝(12172)의 방정식 생성 처리를 설명하는 플로차트이다.

도 166은, 도 161의 신호 처리 장치(4)의 처리의 개요를 설명하는 도면이다.

도 167은, 도 111의 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타낸 블록도이다.

도 168은, 도 167의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 169는, 실세계 추정부(12243)의 실세계 추정 처리를 설명하는 플로차트이다.

도 170은, 방정식 생성부(12252)의 구성예를 나타낸 도면이다.

도 171은, 도 169의 스텝(12232)의 방정식 생성 처리를 설명하는 플로차트이 다.

도 172 (A)는, 도 167의 신호 처리 장치(4)의 처리의 개요를 설명하는 도면이다.

도 172 (B)는, 도 167의 신호 처리 장치(4)의 처리의 개요를 설명하는 도면이다.

도 173은, 도 111의 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타낸 블록도이다.

도 174는, 도 173의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 175는, 실세계 추정부(12293)의 실세계 추정 처리를 설명하는 플로차트이다.

도 176은, 방정식 생성부(12302)의 구성예를 나타낸 도면이다.

도 177은, 도 175의 스텝 S12292의 방정식 생성 처리를 설명하는 플로차트이다.

도 178은, 도 173의 신호 처리 장치(4)의 처리의 개요를 설명하는 도면이다.

도 179 (A)는, 도 173의 신호 처리 장치(4)의 처리의 개요를 설명하는 도면이다.

도 179 (B)는, 도 173의 신호 처리 장치(4)의 처리의 개요를 설명하는 도면이다.

도 180은, 도 153, 도 161, 도 167, 도 173의 신호 처리 장치(4)로 등가의 신호 처리 장치(4)의 구성예를 나타낸 블록도이다.

도 181은, 도 180의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 182는, 도 180의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 183은, 도 180의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 184는, 도 180의 신호 처리 장치(4)의 처리를 설명하는 플로차트이다.

도 185는, 입력 화상을 나타낸 도면이다.

도 186은, 도 185의 입력 화상에 대한 평탄 영역의 지시를 설명하는 도면이다.

도 187은, 도 185의 입력 화상의 처리 결과인 출력 화상을 나타낸 도면이다.

도 188은, 도 185의 입력 화상의 처리 결과인 출력 화상을 나타낸 도면이다.

도 189는, 도 188의 출력 화상에 대한 불만 영역의 지시를 설명하는 도면이다.

도 190 (A)는, 도 188의 출력 화상의 재처리 결과인 출력 화상을 나타낸 도면이다.

도 190 (B)는, 도 188의 출력 화상의 재처리 결과인 출력 화상을 나타낸 도면이다.

도 191 (A)는, 도 190 (A)와 도 190 (B)에서 선택된 출력 화상의 재처리 결과인 출력 화상을 나타낸 도면이다.

도 191 (B)는, 도 190 (A)와 도 190 (B)에서 선택된 출력 화상의 재처리 결과인 출력 화상을 나타낸 도면이다.

도 191 (C)는, 도 190 (A)와 도 190 (B)에서 선택된 출력 화상의 재처리 결 과인 출력 화상을 나타낸 도면이다.

도 191 (D)는, 도 190 (A)와 도 190 (B)에서 선택된 출력 화상의 재처리 결과인 출력 화상을 나타낸 도면이다.

도 192는, 도 185의 입력 화상을 확대한 도면이다.

도 193은, 도 192의 입력 화상의 처리 결과인 출력 화상을 나타낸 도면이다.

도 194는, 도 192의 입력 화상의 처리 결과인 출력 화상을 나타낸 도면이다.

도 1은, 본 발명의 원리를 나타내고 있다. 동 도면에서 나타낸 바와 같이, 공간, 시간, 및 질량의 차원을 가지는 실세계(1)의 사상(현상)은, 센서(2)에 의해 취득되어 데이터화된다. 실세계(1)의 사상이란, 광(화상), 음성, 압력, 온도, 질량, 농도, 밝기/어두움, 또는 냄새 등을 말한다. 실세계(1)의 사상은, 시공간(時空間) 방향으로 분포하고 있다. 예를 들면, 실세계(1)의 화상은, 실세계(1)의 광 강도의 시공간 방향의 분포이다.

센서(2)에 주목하면, 공간, 시간, 및 질량의 차원을 가지는 실세계(1)의 사상 중, 센서(2)가 취득 가능한, 실세계(1)의 사상이, 센서(2)에 의해, 데이터(3)로 변환된다. 센서(2)에 의해, 실세계(1)의 사상을 나타내는 정보가 취득된다고도 말할 수 있다.

즉, 센서(2)는, 실세계(1)의 사상을 나타내는 정보를, 데이터(3)로 변환한다. 공간, 시간, 및 질량의 차원을 가지는 실세계(1)의 사상(현상)을 나타내는 정보인 신호가 센서(2)에 의해 취득되어 데이터화된다고도 말할 수 있다.

이하, 실세계(1)에 있어서의, 화상, 음성, 압력, 온도, 질량, 농도, 밝기/어두움, 또는 냄새 등의 사상의 분포를, 실세계(1)의 사상을 나타내는 정보인 신호라고도 한다. 또, 실세계(1)의 사상을 나타내는 정보인 신호를, 단지, 실세계(1)의 신호라고도 한다. 본 명세서에 있어서, 신호는, 현상 및 사상을 포함하고, 송신측에 의사(意思)가 없는 것도 포함하는 것으로 한다.

센서(2)로부터 출력되는 데이터(3)(검출 신호)는, 실세계(1)의 사상을 나타내는 정보를, 실세계(1)와 비교하여, 보다 낮은 차원의 시공간에 투영하여 얻어진 정보이다. 예를 들면, 동화상의 화상 데이터인 데이터(3)는, 실세계(1)의 3차원의 공간 방향 및 시간 방향의 화상이, 2차원의 공간 방향, 및 시간 방향으로 이루어지는 시공간에 투영되어 얻어진 정보이다. 또, 예를 들면, 데이터(3)가 디지털 데이터 일 때, 데이터(3)는, 샘플링의 단위에 따라, 둥굴게 되어 있다. 데이터(3)가 아날로그 데이터일 때, 데이터(3)에 있어서, 다이나믹 레인지에 따라, 정보가 압축되어 있거나, 또는 리미터 등에 의해, 정보의 일부가 삭제되어 있다.

이와 같이, 소정 차원을 가지는 실세계(1)의 사상을 나타내는 정보인 신호를 데이터(3)(검출 신호)에 투영함으로써, 실세계(1)의 사상을 나타내는 정보의 일부가 결락된다. 즉, 센서(2)가 출력하는 데이터(3)에 있어서, 실세계(1)의 사상을 나타내는 정보의 일부가 결락되어 있다.

그러나, 투영에 의해 실세계(1)의 사상을 나타내는 정보의 일부가 결락되어 있는 것의, 데이터(3)는, 실세계(1)의 사상(현상)을 나타내는 정보인 신호를 추정하기 위한 유의(有意) 정보를 포함하고 있다.

본 발명에 있어서는, 실세계(1)의 정보인 신호를 추정하기 위한 유의 정보로서, 실세계(1) 또는 데이터(3)에 포함되는 정상성을 가지는 정보를 이용한다. 정상성은, 새롭게 정의한 개념이다.

여기서, 실세계(1)에 주목하면, 실세계(1)의 사상은, 소정 차원의 방향으로 일정한 특징을 포함한다. 예를 들면, 실세계(1)의 물체(유체물)에 있어서, 공간 방향 또는 시간 방향으로, 형상, 모양, 또는 색채 등이 연속하거나, 또는 형상, 모양, 또는 색채 등의 패턴이 반복한다.

따라서, 실세계(1)의 사상을 나타내는 정보에는, 소정 차원의 방향으로 일정한 특징이 포함되게 된다.

보다 구체적인 예를 들면, 실, 끈, 또는 로프 등의 선형의 물체는, 길이 방향의 임의의 위치에 있어서, 단면 형상이 같다는 길이 방향, 즉 공간 방향으로 일정한 특징을 가진다. 길이 방향의 임의의 위치에 있어서, 단면 형상이 같다는 공간 방향으로 일정한 특징은, 선형의 물체가 길다는 특징으로부터 생긴다.

따라서, 선형의 물체의 화상은, 길이 방향의 임의의 위치에 있어서, 단면 형상이 같다는 길이 방향, 즉 공간 방향으로 일정한 특징을 가지고 있다.

또, 공간 방향으로 확대를 가지는 유체물인, 단색의 물체는, 부위에 관계없이, 동일한 색을 가진다는 공간 방향으로 일정한 특징을 가지고 있다고 말할 수 있다.

마찬가지로, 공간 방향으로 확대를 가지는 유체물(有體物)인, 단색의 물체의 화상은, 부위에 관계없이, 동일한 색을 가진다는 공간 방향으로 일정한 특징을 가 지고 있다.

이와 같이, 실세계(1)(현실 세계)의 사상은, 소정 차원의 방향으로 일정한 특징을 가지고 있으므로, 실세계(1)의 신호는, 소정 차원의 방향으로 일정한 특징을 가진다.

본 명세서에 있어서, 이와 같은 소정 차원의 방향으로 일정한 특징을 정상성 이라고 한다. 실세계(1)(현실 세계)의 신호의 정상성이란, 실세계(1)(현실 세계)의 사상을 나타내는 신호가 가지고 있는, 소정 차원의 방향으로 일정한 특징을 말한다.

실세계(1)(현실 세계)에는, 이와 같은 정상성이 무수히 존재한다.

다음에, 데이터(3)에 주목하면, 데이터(3)는, 센서(2)에 의해, 소정 차원을 가지는 실세계(1)의 사상을 나타내는 정보인 신호가 투영된 것이므로, 실세계의 신호의 정상성에 대응하는 정상성을 포함하고 있다. 데이터(3)는, 실세계의 신호의 정상성이 투영된 정상성을 포함하고 있다고도 말할 수 있다.

그러나, 전술한 바와 같이, 센서(2)가 출력하는 데이터(3)에 있어서, 실세계(1)의 정보의 일부가 결락되어 있으므로, 데이터(3)로부터, 실세계(1)(현실 세계)의 신호에 포함되는 정상성의 일부가 결락될 수 있다.

환언하면, 데이터(3)는, 데이터의 정상성으로서 실세계(1)(현실 세계)의 신호의 정상성 중, 적어도 일부의 정상성을 포함한다. 데이터의 정상성이란, 데이터(3)가 가지고 있는, 소정 차원의 방향으로 일정한 특징이다.

본 발명에 있어서는, 실세계(1)의 사상을 나타내는 정보인 신호를 추정하기 위한 유의 정보로서, 실세계(1)의 신호의 정상성, 또는 데이터(3)가 가지는, 데이터의 정상성이 이용된다.

예를 들면, 신호 처리 장치(4)에 있어서는, 데이터의 정상성을 이용하여, 데이터(3)를 신호 처리함으로써, 결락된, 실세계(1)의 사상을 나타내는 정보가 생성된다.

그리고, 신호 처리 장치(4)에 있어서는, 실세계(1)의 사상을 나타내는 정보인 신호의 차원의, 길이(공간), 시간, 및 질량 중, 공간 방향 또는 시간 방향의 정상성이 이용된다.

도 1에 있어서, 센서(2)는, 예를 들면, 디지털 스틸 카메라, 또는 비디오 카메라 등으로 구성되며, 실세계(1)의 화상을 촬상하고, 얻어진 데이터(3)인 화상 데이터를 신호 처리 장치(4)에 출력한다. 센서(2)는, 예를 들면, 서모그라피 장치, 또는 광 탄성을 이용한 압력 센서 등으로 할 수 있다.

신호 처리 장치(4)는, 예를 들면, 퍼스널 컴퓨터 등으로 구성되며, 데이터(3)를 대상(對象)으로 한 신호 처리를 행한다.

신호 처리 장치(4)는, 예를 들면, 도 2에 의해 나타낸 바와 같이 구성된다. CPU(Central Processing Unit)(21)는, ROM(Read Only Memory)(22), 또는 기억부(28)에 기억되어 있는 프로그램에 따라 각종의 처리를 실행한다. RAM(Random Access Memory)(23)에는, CPU(21)가 실행하는 프로그램이나 데이터 등이 적당히 기억된다. 이들 CPU(21), ROM(22), 및 RAM(23)은, 버스(24)에 의해 서로 접속되어 있다.

CPU(21)에는 또, 버스(24)를 통하여 입출력 인터페이스(25)가 접속되어 있다. 입출력 인터페이스(25)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(26), 디스플레이, 스피커 등으로 이루어지는 출력부(27)가 접속되어 있다. CPU(21)는, 입력부(26)로부터 입력되는 지령에 대응하여 각종의 처리를 실행한다. 그리고, CPU(21)는, 처리 결과 얻어진 화상이나 음성 등을 출력부(27)에 출력한다.

입출력 인터페이스(25)에 접속되어 있는 기억부(28)는, 예를 들면 하드 디스크 등으로 구성되며, CPU(21)가 실행하는 프로그램이나 각종의 데이터를 기억한다. 통신부(29)는, 인터넷, 그 외의 네트워크를 통하여 외부의 장치와 통신한다. 이 예의 경우, 통신부(29)는 센서(2)가 출력하는 데이터(3)를 입력하는 취득부로서 기능한다.

또, 통신부(29)를 통하여 프로그램을 취득하고, 기억부(28)에 기억해도 된다.

입출력 인터페이스(25)에 접속되어 있는 드라이브(30)는, 자기 디스크(51), 광디스크(52), 광자기 디스크(53), 또는 반도체 메모리(54) 등이 장착되었을 때, 이들을 구동하고, 거기에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는, 필요에 따라 기억부(28)에 전송되고, 기억된다.

도 3은, 신호 처리 장치(4)를 나타낸 블록도이다.

그리고, 신호 처리 장치(4)의 각 기능을 하드웨어로 실현할 것인지, 소프트 웨어로 실현할 것인지는 상관없다. 즉, 본 명세서의 각 블록도는, 하드웨어의 블록도라고 생각해도, 소프트 웨어에 의한 기능 블록도라고 생각해도 된다.

도 3에 구성을 나타낸 신호 처리 장치(4)에 있어서는, 데이터(3)의 일례인 화상 데이터가 입력되고, 입력된 화상 데이터(입력 화상)로부터 데이터의 정상성이 검출된다. 다음에, 검출된 데이터의 정상성으로부터, 센서(2)에 의해 취득된 실세계(1)의 신호가 추정된다. 그리고, 추정된 실세계(1)의 신호를 기초로, 화상이 생성되고, 생성된 화상(출력 화상)이 출력된다. 즉, 도 3은, 화상 처리 장치인 신호 처리 장치(4)의 구성을 나타낸 도면이다.

신호 처리 장치(4)에 입력된 입력 화상(데이터(3)의 일례인 화상 데이터)은, 데이터 정상성 검출부(101) 및 실세계 추정부(102)에 공급된다.

데이터 정상성 검출부(101)는, 입력 화상으로부터 데이터의 정상성을 검출하여, 검출한 정상성을 나타내는 데이터 정상성 정보를 실세계 추정부(102) 및 화상 생성부(103)에 공급한다. 데이터 정상성 정보는, 예를 들면, 입력 화상에 있어서의, 데이터의 정상성을 가지는 화소의 영역의 위치, 데이터의 정상성을 가지는 화소의 영역의 방향(시간 방향 및 공간 방향의 각도 또는 경사), 또는 데이터의 정상성을 가지는 화소의 영역의 길이 등을 포함한다. 데이터 정상성 검출부(101)의 구성의 자세한 것은, 후술한다. 실세계 추정부(102)는, 입력 화상, 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보를 기초로, 실세계(1)의 신호를 추정한다. 즉, 실세계 추정부(102)는, 입력 화상이 취득되었을 때 센서(2)에 입사된, 실세계의 신호인 화상을 추정한다. 실세계 추정부(102)는, 실세계(1)의 신호의 추정의 결과를 나타내는 실세계 추정 정보를 화상 생성부(103)에 공급한다. 실세계 추정부(102)의 구성의 자세한 것은, 후술한다.

화상 생성부(103)는, 실세계 추정부(102)로부터 공급된, 추정된 실세계(1)의 신호를 나타내는 실세계 추정 정보를 기초로, 실세계(1)의 신호에 의해 근사시킨 신호를 생성하여, 생성한 신호를 출력한다. 또는, 화상 생성부(103)는, 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보, 및 실세계 추정부(102)로부터 공급된, 추정된 실세계(1)의 신호를 나타내는 실세계 추정 정보를 기초로, 실세계(1)의 신호에 의해 근사시킨 신호를 생성하여, 생성한 신호를 출력한다.

즉, 화상 생성부(103)는, 실세계 추정 정보를 기초로, 실세계(1)의 화상에 의해 근사시킨 화상을 생성하여, 생성한 화상을 출력 화상으로서 출력한다. 또는, 화상 생성부(103)는, 데이터 정상성 정보 및 실세계 추정 정보를 기초로, 실세계(1)의 화상에 의해 근사시킨 화상을 생성하여, 생성한 화상을 출력 화상으로서 출력한다.

예를 들면, 화상 생성부(103)는, 실세계 추정 정보를 기초로, 추정된 실세계(1)의 화상을 원하는 공간 방향 또는 시간 방향의 범위에서 적분함으로써, 입력 화상과 비교하여, 공간 방향 또는 시간 방향으로부터 고해상도의 화상을 생성하여, 생성한 화상을 출력 화상으로서 출력한다. 예를 들면, 화상 생성부(103)는, 외부 삽입 보간(補間)에 의해, 화상을 생성하여, 생성한 화상을 출력 화상으로서 출력한다.

화상 생성부(103)의 구성의 상세한 것은, 후술한다.

다음에, 도 4를 참조하여, 본 발명의 원리를 설명한다.

예를 들면, 화상인, 실세계(1)의 신호는, 센서(2)의 일례인 CCD(Charge Coupled Device)의 수광면에 결상(結像)된다. 센서(2)의 일례인 CCD는, 적분 특성을 가지고 있으므로, CCD로부터 출력되는 데이터(3)에는, 실세계(1)의 화상과의 차가 생기게 된다. 센서(2)의 적분 특성의 상세한 것에 대하여는, 후술한다.

신호 처리 장치(4)에 의한 신호 처리에 있어서는, CCD에 의해 취득된 실세계(1)의 화상과, CCD에 의해 촬상되어 출력된 데이터(3)와의 관계가 명확하게 고려된다. 즉, 데이터(3)와 센서(2)에 의해 취득된 실세계의 정보인 신호와의 관계가 명확하게 고려된다.

보다 구체적으로는, 도 4에 의해 나타낸 바와 같이, 신호 처리 장치(4)는, 모델(161)을 사용하여, 실세계(1)를 근사(기술)시킨다. 모델(161)은, 예를 들면, N개의 변수로 표현된다. 보다 정확하게는, 모델(161)은, 실세계(1)의 신호를 근사(기술)시킨다.

모델(161)을 예측하기 위하여, 신호 처리 장치(4)는, 데이터(3)로부터, M개의 데이터(162)를 추출한다. 데이터(3)로부터, M개의 데이터(162)를 추출할 때, 신호 처리 장치(4)는, 예를 들면, 데이터(3)에 포함되는 데이터의 정상성을 이용한다. 환언하면, 신호 처리 장치(4)는, 데이터(3)에 포함되는 데이터의 정상성을 기초로, 모델(161)을 예측하기 위한 데이터(162)를 추출한다. 이 경우, 결과적으로, 모델(161)은, 데이터의 정상성에 구속되게 된다.

즉, 모델(161)은, 센서(2)에 의해 취득되었을 때, 데이터(3)에 있어서 데이터의 정상성이 생기게 하는, 정상성(소정의 차원의 방향으로 일정한 특징)을 가지는 실세계(1)의 사상(를 나타내는 정보(신호))를 근사시킨다.

여기서, 데이터(162)의 수 M가, 모델의 변수의 수N 이상이면, M개의 데이터(162)로부터, N개의 변수로 표현되는 모델(161)을 예측할 수 있다.

이와 같이, 실세계(1)(의 신호)를 근사(기술)시키는 모델(161)을 예측함으로써, 신호 처리 장치(4)는, 실세계(1)의 정보인 신호를 고려할 수 있다.

다음에, 센서(2)의 적분 효과에 대하여 설명한다.

화상을 촬상하는 센서(2)인, CCD 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등의 이미지 센서는, 현실 세계를 촬상할 때, 현실 세계의 정보인 신호를 2차원의 데이터로 투영한다. 이미지 센서의 각 화소는, 이른바 수광면(수광 영역)으로서 각각 소정의 면적을 가진다. 소정의 면적을 가지는 수광면에 입사한 광은, 화소마다, 공간 방향 및 시간 방향으로 적분되어 각 화소에 대하여 1개의 화소값으로 변환된다.

도 5 내지 도 8을 참조하여, 화상의 공간적 시간적인 적분에 대하여 설명한다.

이미지 센서는, 현실 세계의 대상물(對象物)(오브젝트)을 촬상하고, 촬상의 결과 얻어진 화상 데이터를 1프레임 단위로 출력한다. 즉, 이미지 센서는, 실세계(1)의 대상물에 의해 반사된 광인, 실세계(1)의 신호를 취득하여, 데이터(3)를 출력한다.

예를 들면, 이미지 센서는, 1초간에 30프레임으로 이루어지는 화상 데이터를 출력한다. 이 경우, 이미지 센서의 노광 시간은, 1/30초로 할 수 있다. 노광 시간은, 이미지 센서가 입사된 광의 전하로의 변환을 개시하고 나서, 입사된 광의 전 하로의 변환을 종료할 때까지의 기간이다. 이하, 노광 시간을 셔터 시간이라고도 한다.

도 5는, 이미지 센서 상의 화소의 배치의 예를 설명하는 도면이다. 도 5중에 있어서, A 내지 I는, 개개의 화소를 나타낸다. 화소는, 화상 데이터에 의해 표시되는 화상에 대응하는 평면 상에 배치되어 있다. 1개의 화소에 대응하는 1개의 검출 소자는, 이미지 센서 상에 배치되어 있다. 이미지 센서가 실세계(1)의 화상을 촬상할 때, 1개의 검출 소자는, 화상 데이터를 구성하는 1개의 화소에 대응하는 1개의 화소값을 출력한다. 예를 들면, 검출 소자의 공간 방향 X의 위치(X 좌표)는, 화상 데이터에 의해 표시되는 화상 상의 가로 방향의 위치에 대응하고, 검출 소자의 공간 방향 Y의 위치(Y 좌표)는, 화상 데이터에 의해 표시되는 화상 상의 세로 방향의 위치에 대응한다.

실세계(1)의 광 강도의 분포는, 3차원의 공간 방향 및 시간 방향으로 확대를 넓어지지만, 이미지 센서는, 2차원의 공간 방향 및 시간 방향으로, 실세계(1)의 광을 취득하고, 2차원의 공간 방향 및 시간 방향의 광 강도의 분포를 표현하는 데이터(3)를 생성한다.

도 6에 의해 나타낸 바와 같이, 예를 들면, CCD인 검출 소자는, 셔터 시간에 대응하는 기간, 수광면(수광 영역)(검출 영역)에 입력된 광을 전하로 변환하여, 변환된 전하를 축적한다. 광은, 3차원의 공간 상의 위치, 및 시각에 의해, 강도가 결정되는 실세계(1)의 정보(신호)이다. 실세계(1)의 광 강도의 분포는, 3차원의 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 함수 F(x, y, z, t)로 나타 낼 수 있다.

CCD인 검출 소자에 축적되는 전하의 양은, 2차원의 공간 상의 넓어지는 수광면의 전체에 입사된 광의 강도와, 광이 입사되고 있는 시간에 대략 비례한다. 검출 소자는, 셔터 시간에 대응하는 기간에 있어서, 수광면의 전체에 입사된 광으로부터 변환된 전하를, 이미 축적되어 있는 전하에 더하여 간다. 즉, 검출 소자는, 셔터 시간에 대응하는 기간, 2차원의 공간 상의 넓어지는 수광면의 전체에 입사되는 광을 적분하여, 적분된 광에 대응하는 양의 전하를 축적한다. 검출 소자는, 공간(수광면) 및 시간(셔터 시간)에 대하여, 적분 효과가 있다고도 말할 수 있다.

검출 소자에 축적된 전하는, 회로(도시하지 않음)에 의해, 전압값으로 변환되고, 전압값은 다시 디지털 데이터 등의 화소값으로 변환되어, 데이터(3)로서 출력된다. 따라서, 이미지 센서로부터 출력되는 개개의 화소값은, 실세계(1)의 정보(신호)의 시간 목표 공간적으로 넓어져 있는 부분을, 셔터 시간의 시간 방향 및 검출 소자의 수광면의 공간 방향에 대하여 적분한 결과인, 1차원의 공간에 투영한 값을 가진다.

즉, 1개의 화소의 화소값은, F(x, y, t)의 적분에 의해 표현된다. F(x, y, t)는, 검출 소자의 수광면에 있어서의, 광 강도의 분포를 나타내는 함수이다. 예를 들면, 화소값 P는, 식(1)에 의해 표현된다.

…(1)

식(1)에 있어서, x₁는, 검출 소자의 수광면의 좌측의 경계의 공간 좌표 X 좌표)이다. x₂는, 검출 소자의 수광면의 우측의 경계의 공간 좌표 X 좌표)이다. 식(1)에 있어서, y₁는, 검출 소자의 수광면의 위쪽의 경계의 공간 좌표 Y 좌표)이다. y₂는, 검출 소자의 수광면의 아래쪽의 경계의 공간 좌표 Y 좌표)이다. 또, t₁는, 입사된 광의 전하로의 변환을 개시한 시각이다. t₂는, 입사된 광의 전하로의 변환을 종료한 시각이다.

그리고, 실제로는, 이미지 센서로부터 출력되는 화상 데이터의 화소값은, 예를 들면 프레임 전체적으로, 그 게인이 보정되어 있다.

화상 데이터의 각 화소값은, 이미지 센서의 각 검출 소자의 수광면에 입사한 광의 적분값이며, 이미지 센서에 입사된 광 중, 검출 소자의 수광면보다 미소한 실세계(1)의 광의 파형은, 적분값으로서의 화소값에 숨겨져 버린다.

이하, 본 명세서에 있어서, 소정 차원을 기준으로 하여 표현되는 신호의 파형을 단지 파형이라고도 한다.

이와 같이, 실세계(1)의 화상(광신호)은, 화소를 단위로 하여, 공간 방향 및 시간 방향으로 적분되어 버리므로, 화상 데이터에 있어서는, 실세계(1)의 화상의 정상성의 일부가 결락되고, 실세계(1)의 화상의 정상성의 다른 일부가 화상 데이터에 포함되게 된다. 또는, 화상 데이터에는, 실세계(1)의 화상의 정상성으로부터 변화되어 버린 정상성이 포함되는 경우가 있다.

적분 효과를 가지는 이미지 센서에 의해 촬상된 화상의, 공간 방향의 적분 효과에 대하여 추가로 설명한다.

도 7은, 화소 D 내지 화소 F에 대응하는 검출 소자에 입사되는 광과, 화소값과의 관계를 설명하는 도면이다. 도 7의 F(x)는, 공간 위(검출 소자상)의 공간 방향 X의 좌표 x를 변수로 하는, 실세계(1)의 광 강도의 분포를 나타내는 함수의 예이다. 바꾸어 말하면, F(x)는, 공간 방향 Y 및 시간 방향으로 일정하게 있는 경우의, 실세계(1)의 광 강도의 분포를 나타내는 함수의 예이다. 도 7에 있어서, L은, 화소 D 내지 화소 F에 대응하는 검출 소자의 수광면의 공간 방향 X의 길이를 나타낸다.

1개의 화소의 화소값은, F(x)의 적분에 의해 표현된다. 예를 들면, 화소 E의 화소값 P는, 식(2)에 의해 표현된다.

…(2)

식(2)에 있어서, x₁는, 화소 E에 대응하는 검출 소자의 수광면의 좌측의 경계의 공간 방향 X의 공간 좌표이다. x₂는, 화소 E에 대응하는 검출 소자의 수광면의 우측의 경계의 공간 방향 X의 공간 좌표이다.

마찬가지로, 적분 효과를 가지는 이미지 센서에 의해 촬상된 화상의, 시간 방향의 적분 효과에 대하여 추가로 설명한다.

도 8은, 시간의 경과와, 1개의 화소에 대응하는 검출 소자에 입사되는 광과, 화소값과의 관계를 설명하는 도면이다. 도 8의 F(t)는, 시각 t를 변수로 하는, 실세계(1)의 광 강도의 분포를 나타내는 함수이다. 바꾸어 말하면, F(t)는, 공간 방향 Y 및 공간 방향 X으로 일정하게 있는 경우의, 실세계(1)의 광 강도의 분포를 나타내는 함수의 예이다. t_s는, 셔터 시간을 나타낸다.

프레임#n-1은, 프레임#n에 대하여 시간적으로 전의 프레임이며, 프레임#n+1은, 프레임#n에 대하여 시간적으로 후의 프레임이다. 즉, 프레임#n-1, 프레임#n, 및 프레임#n+1은, 프레임#n-1, 프레임#n, 및 프레임#n+1의 순서로 표시된다.

그리고, 도 8에 나타낸 예에 있어서, 셔터 시간 t_s와 프레임 간격이 동일하다.

1개의 화소의 화소값은, F(t)의 적분에 의해 표현된다. 예를 들면, 프레임#n의 화소의 화소값 P는, 식(3)에 의해 표현된다.

…(3)

식(3)에 있어서, t₁는, 입사된 광의 전하로의 변환을 개시한 시각이다. t₂는, 입사된 광의 전하로의 변환을 종료한 시각이다.

이하, 센서(2)에 의한 공간 방향의 적분 효과를 단지 공간 적분 효과라고 하고, 센서(2)에 의한 시간 방향의 적분 효과를 단지 시간 적분 효과라고 한다. 또, 공간 적분 효과 또는 시간 적분 효과를 단지 적분 효과라고도 한다.

다음에, 적분 효과를 가지는 이미지 센서에 의해 취득된 데이터(3)에 포함되는 데이터의 정상성의 예에 대하여 설명한다.

도 9는, 실세계(1)의 선형의 물체(예를 들면, 세선)의 화상, 즉 광 강도의 분포의 예를 나타낸 도면이다. 도 9에 있어서, 도면 중의 위쪽의 위치는, 광 강도(레벨)를 나타내고, 도면 중의 우측 위쪽의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중 우측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다.

실세계(1)의 선형의 물체의 화상에는, 소정의 정상성이 포함된다. 즉, 도 9에 나타낸 화상은, 길이 방향의 임의의 위치에 있어서, 단면 형상(길이 방향으로 직교하는 방향의 위치의 변화에 대한 레벨의 변화)이 같다는 정상성을 가진다.

도 10은, 도 9에 나타낸 화상에 대응하는, 실제의 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다.

즉, 도 10은, 이미지 센서의 화소의 줄(화소의 세로 또는 가로의 줄)과 어긋난 방향으로 뻗는, 각 화소의 수광면의 길이 L보다 짧은 직경의 선형의 물체의 화상을, 이미지 센서로 촬상하여 얻어진 화상 데이터의 모식도이다. 도 10에 나타낸 화상 데이터가 취득되었을 때 이미지 센서에 입사된 화상은, 도 9의 실세계(1)의 선형의 물체의 화상이다.

도 10에 있어서, 도면 중의 위쪽의 위치는, 화소값을 나타내고, 도면 중 우측 위쪽의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중 우측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나 타낸다. 도 10에 있어서의 화소값을 나타낸 방향은, 도 9에 있어서의 레벨의 방향에 대응하고, 도 10에 있어서의 공간 방향 X, 및 공간 방향 Y는, 도 9에 있어서의 방향과 같다.

각 화소의 수광면의 길이 L보다 짧은 직경의 선형의 물체의 화상을, 이미지 센서로 촬상한 경우, 촬상의 결과 얻어지는 화상 데이터에 있어서, 선형의 물체는, 모식적으로, 예를 들면, 경사지게 어긋나 정렬된, 복수개의 소정 길이의 원호형상(어묵형)에 의해 표현된다. 각 원호 형상은, 대략 같은 형상이다. 1개의 원호형상은, 세로로 1열의 화소의 위, 또는 가로로 1열의 화소의 위에 형성된다. 예를 들면, 도 10에 있어서의 1개의 원호형상은, 세로로 1열의 화소의 위에 형성된다.

이와 같이, 예를 들면, 이미지 센서로 촬상되어 취득된 화상 데이터에 있어서는, 실세계(1)의 선형의 물체의 화상이 가지고 있던, 길이 방향의 임의의 위치에 있어서, 공간 방향 Y에 있어서의 단면 형상이 같다는 정상성이 없어지고 있다. 또, 실세계(1)의 선형의 물체의 화상이 가지고 있던 정상성은, 세로로 1열의 화소의 위, 또는 가로로 1열의 화소의 위에 형성된, 같은 형상인 원호형상이 일정한 간격으로 정렬된다는 정상성으로 변화되고 있다고 할 수 있다.

도 11은, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상, 즉 광 강도의 분포의 예를 나타낸 도면이다. 도 11에 있어서, 도면 중의 위쪽의 위치는, 광 강도(레벨)를 나타내고, 도면 중의 우측 위쪽의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중의 우측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다.

배경과는 상이한 색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상에는, 소정의 정상성이 포함된다. 즉, 도 11에 나타낸 화상은, 에지의 길이 방향의 임의의 위치에 있어서, 단면 형상(에지에 직교하는 방향의 위치의 변화에 대한 레벨의 변화)이 같다는 정상성을 가진다.

도 12는, 도 11에 나타낸 화상에 대응하는, 실제의 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다. 도 12에 의해 나타낸 바와 같이, 화상 데이터는, 화소를 단위로 한 화소값으로 되므로, 계단형으로 된다.

도 13은, 도 12에 나타낸 화상 데이터의 모식도이다.

도 13에 나타낸 모식도는, 이미지 센서의 화소의 줄(화소의 세로 또는 가로의 줄)과 어긋난 방향으로 에지가 연장되는, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상을, 이미지 센서로 촬상하여 얻어진 화상 데이터의 모식도이다. 도 13에 나타낸 화상 데이터가 취득되었을 때 이미지 센서에 입사된 화상은, 도 11에 나타낸, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이다.

도 13에 있어서, 도면 중의 위쪽의 위치는, 화소값을 나타내고, 도면 중의 우측 위쪽의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중의 우측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다. 도 13에 있어서의 화소값을 나타낸 방향은, 도 11에 있어서의 레벨의 방향에 대응하고, 도 13에 있어서의 공간 방향 X, 및 공간 방향 Y는, 도 11에 있어서의 방향과 같다.

배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상을, 이미지 센서로 촬상한 경우, 촬상의 결과 얻어지는 화상 데이터에 있어서, 직선형의 에지는, 모식적으로, 예를 들면, 경사지게 어긋나 정렬된, 복수개의 소정 길이의 손톱(pawl)형상에 의해 표현된다. 각 폴형상은, 대략 같은 형상이다. 1개의 폴형상은, 세로로 1열의 화소의 위, 또는 가로로 1열의 화소의 위에 형성된다. 예를 들면, 도 13에 있어서, 1개의 폴형상은, 세로로 1열의 화소의 위에 형성된다.

이와 같이, 예를 들면, 이미지 센서로 촬상되어 취득된 화상 데이터에 있어서는, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이 가지고 있던, 에지의 길이 방향의 임의의 위치에 있어서, 단면 형상이 같다는 정상성이 없어지고 있다. 또, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이 가지고 있던 정상성은, 세로로 1열의 화소의 위, 또는 가로로 1열의 화소의 위에 형성된, 같은 형상인 폴형상이 일정한 간격으로 정렬된다는 정상성으로 변화되고 있다고 할 수 있다.

데이터 정상성 검출부(101)는, 이와 같은, 예를 들면, 입력 화상인 데이터(3)가 가지는 데이터의 정상성을 검출한다. 예를 들면, 데이터 정상성 검출부(101)는, 소정 차원의 방향으로 일정한 특징을 가지는 영역을 검출함으로써, 데이터의 정상성을 검출한다. 예를 들면, 데이터 정상성 검출부(101)는, 도 10에 나타낸, 같은 원호형상이 일정한 간격으로 정렬되는 영역을 검출한다. 또, 예를 들면, 데이터 정상성 검출부(101)는, 도 13에 나타낸, 같은 폴형상이 일정한 간격으로 정 렬되는 영역을 검출한다.

또, 데이터 정상성 검출부(101)는, 마찬가지의 형상의 정렬되는 방법을 나타낸, 공간 방향의 각도(경사)를 검출함으로써, 데이터의 정상성을 검출한다.

또, 예를 들면, 데이터 정상성 검출부(101)는, 공간 방향 및 시간 방향의 마찬가지의 형상의 정렬되는 방법을 나타낸, 공간 방향 및 시간 방향의 각도(모션)를 검출함으로써, 데이터의 정상성을 검출한다.

또한, 예를 들면, 데이터 정상성 검출부(101)는, 소정 차원의 방향으로 일정한 특징을 가지는 영역의 길이를 검출함으로써, 데이터의 정상성을 검출한다.

이하, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이 센서(2)에 의해 투영되고 데이터(3)의 부분을 2값 에지라고도 한다.

여기서, 종래의 신호 처리에 있어서는, 데이터(3)로부터, 예를 들면, 원하는 고해상도 데이터가 생성된다.

이에 대하여, 신호 처리 장치(4)에 의한 신호 처리에 있어서는, 데이터(3)로부터, 실세계(1)가 추정되고, 추정 결과에 따라, 고해상도 데이터가 생성된다. 즉, 실세계(1)가, 데이터(3)로부터 추정되고, 고해상도 데이터가, 데이터(3)를 고려하여, 추정된 실세계(1)로부터 고해상도 데이터가 생성된다.

실세계(1)로부터 고해상도 데이터를 생성하기 위해서는, 실세계(1)와 데이터(3)와의 관계를 고려할 필요가 있다. 예를 들면, 실세계(1)가, CCD인 센서(2)에 의해, 데이터(3)에 투영되면 어떻게 될지가 고려된다.

CCD인 센서(2)는, 전술한 바와 같이, 적분 특성을 가진다. 즉, 데이터(3)의 하나의 단위(예를 들면, 화소값)는, 실세계(1)의 신호를 센서(2)의 검출 소자(예를 들면, CCD)의 검출 영역(예를 들면, 수광면)에서 적분함으로써 산출할 수 있다.

이것을 고해상도 데이터에 대하여 적용시키면, 가상적인 고해상도의 센서가 실세계(1)의 신호를 데이터(3)에 투영하는 처리를, 추정된 실세계(1)에 적용함으로써, 고해상도 데이터를 얻을 수 있다.

환언하면, 데이터(3)로부터 실세계(1)의 신호를 추정할 수 있으면, 실세계(1)의 신호를, 가상적인 고해상도의 센서의 검출 소자의 검출 영역마다(시공간 방향으로) 적분함으로써, 고해상도 데이터에 포함되는 1개의 값을 얻을 수 있다.

예를 들면, 센서(2)의 검출 소자의 검출 영역의 크기와 비교하여, 실세계(1)의 신호의 변화가, 보다 작을 때, 데이터(3)는, 실세계(1)의 신호의 작은 변화를 나타낼 수가 없다. 그래서, 데이터(3)로부터 추정된 실세계(1)의 신호를, 실세계(1)의 신호의 변화와 비교하여, 보다 작은 영역마다(시공간 방향으로) 적분함으로써, 실세계(1)의 신호의 작은 변화를 나타내는 고해상도 데이터를 얻을 수 있다.

즉, 가상적인 고해상도의 센서의 각 검출 소자에 대하여, 추정된 실세계(1)의 신호를 검출 영역에서 적분함으로써, 고해상도 데이터를 얻을 수 있다.

신호 처리 장치(4)에 있어서, 화상 생성부(103)는, 예를 들면, 가상적인 고해상도의 센서의 각 검출 소자의 시공간 방향의 영역에서, 추정된 실세계(1)의 신호를 적분함으로써, 고해상도 데이터를 생성한다.

다음에, 데이터(3)로부터, 실세계(1)를 추정하기 위하여, 신호 처리 장치(4) 에 있어서는, 데이터(3)와 실세계(1)와의 관계, 정상성, 및 데이터(3)에 있어서의 공간적 또는 시간적인 혼합(공간 혼합 또는 시간 혼합)이 이용된다.

여기서, 혼합이란, 데이터(3)에 있어서, 실세계(1)에 있어서의 2개의 물체에 대한 신호가 혼합되어 1개의 값으로 되는 것을 말한다.

공간 혼합이란, 센서(2)의 공간 적분 효과에 의한, 2개의 물체에 대한 신호의 공간 방향의 혼합을 말한다. 시간 혼합에 대하여는, 후술한다.

실세계(1) 그 자체는, 무한의 수의 사상(事象)으로 이루어지고, 따라서, 실세계(1) 그 자체를, 예를 들면, 수식으로 표현하기 위해서는, 무한의 수의 변수가 필요해진다. 데이터(3)로부터, 실세계(1)의 모든 사상을 예측할 수 없다.

마찬가지로, 데이터(3)로부터, 실세계(1)의 신호의 모두를 예측할 수 없다.

그래서, 신호 처리 장치(4)에 있어서는, 실세계(1)의 신호 중, 정상성을 가지고, 함수 f(x, y, z, t)로 나타낼 수 있는 부분에 주목하고, 함수 f(x, y, z, t)로 나타낼 수 있는, 정상성을 가지는 실세계(1)의 신호의 부분이, N개의 변수로 표현되는 모델(161)로 근사된다. 그리고, 도 14에 의해 나타낸 바와 같이, 모델(161)이, 데이터(3) 중, M개의 데이터(162)로부터 예측된다.

M개의 데이터(162)로부터 모델(161)의 예측을 가능하게 하는 데는, 첫째로, 모델(161)을, 정상성에 따라, N개의 변수로 나타내고, 둘째로, 센서(2)의 적분 특성에 따라, N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)와의 관계를 나타내는, N개의 변수를 사용한 식을 세우는 것이 필요하다. 모델(161)이, 정상성에 따라, N개의 변수로 표현되어 있으므로, N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)와의 관계를 나타내는, N개의 변수를 사용한 식은, 정상성을 가지는 실세계(1)의 신호의 부분과, 데이터의 정상성을 가지는 데이터(3)의 부분과의 관계를 기술하고 있다고 할 수 있다.

환언하면, N개의 변수로 표현되는 모델(161)로 근사되는, 정상성을 가지는 실세계(1)의 신호의 부분은, 데이터(3)에 있어서, 데이터의 정상성이 생기게 한다.

데이터 정상성 검출부(101)는, 정상성을 가지는 실세계(1)의 신호의 부분에 의해, 데이터의 정상성이 생긴 데이터(3)의 부분, 및 데이터의 정상성이 생긴 부분의 특징을 검출한다.

예를 들면, 도 15에 의해 나타낸 바와 같이, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상에 있어서, 도 15 중 A로 나타낸, 주목하는 위치에서의 에지는, 경사를 가지고 있다. 도 15의 B의 화살표는, 에지의 경사를 나타낸다. 소정의 에지의 경사는, 기준으로 되는 축에 대한 각도 또는 기준으로 되는 위치에 대한 방향으로 나타낼 수 있다. 예를 들면, 소정의 에지의 경사는, 공간 방향 X의 좌표 축과 에지와의 각도로 나타낼 수 있다. 예를 들면, 소정의 에지의 경사는, 공간 방향 X의 길이 및 공간 방향 Y의 길이로 나타내는 방향으로 나타낼 수 있다.

배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이, 센서(2)에 의해 취득되어, 데이터(3)가 출력되었을 때, 데이터(3)에 있어서, 실세계(1)의 화상에 있어서의, 에지의 주목하는 위치(A)에 대한, 도 15 중 A'로 나타낸 위치에, 에지에 대응하는 폴형상이 정렬되고, 실세계(1)의 화상의 에 지의 경사에 대응하는, 도 15 중 B'로 나타낸 경사의 방향으로, 에지에 대응하는 폴형상이 정렬되었다.

N개의 변수로 표현되는 모델(161)은, 이와 같은, 데이터(3)에 있어서, 데이터의 정상성이 생기게 하는, 실세계(1)의 신호의 부분을 근사시킨다.

N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)와의 관계를 나타내는, N개의 변수를 사용한 식을 세울 때, 데이터(3)에 있어서, 데이터의 정상성이 생기고 있는 부분의 값을 이용한다.

이 경우에 있어서, 도 16에 나타낸, 데이터(3)에 있어서, 데이터의 정상성이 생기고, 혼합 영역에 속하는 값에 주목하여, 실세계(1)의 신호를 적분한 값이, 센서(2)의 검출 소자가 출력하는 값에 동등한 것으로 하여, 식을 세울 수 있다. 예를 들면, 데이터의 정상성이 생기고 있는, 데이터(3)에 있어서의 복수개의 값에 대하여, 복수개의 식을 세울 수가 있다.

도 16에 있어서, A는, 에지의 주목하는 위치를 나타내고, A'는, 실세계(1)의 화상에 있어서의, 에지의 주목하는 위치(A)에 대한, 화소(의 위치)를 나타낸다.

여기서, 혼합 영역이란, 데이터(3)에 있어서, 실세계(1)에 있어서의 2개의 물체에 대한 신호가 혼합되어 1개의 값으로 되어 있는 데이터의 영역을 말한다. 예를 들면, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상에 대한 데이터(3)에 있어서, 직선형의 에지를 가지는 것에 대한 화상, 및 배경에 대한 화상이 적분되어 있는 화소값은, 혼합 영역에 속한다.

도 17은, 식을 세우는 경우에 있어서의, 실세계(1)에 있어서의 2개의 물체에 대한 신호 및 혼합 영역에 속하는 값을 설명하는 도면이다.

도 17 중 좌측은, 센서(2)의 하나의 검출 소자의 검출 영역에서 취득되는, 공간 방향 X 및 공간 방향 Y으로 소정 범위 넓어지는, 실세계(1)에 있어서의 2개의 물체에 대한 실세계(1)의 신호를 나타낸다. 도 17 중 우측은, 도 17 중 좌측에 나타낸 실세계(1)의 신호가 센서(2)의 하나의 검출 소자에 의해 투영되고, 데이터(3)의 하나의 화소의 화소값 P를 나타낸다. 즉, 센서(2)의 하나의 검출 소자에 의해 취득된, 공간 방향 X 및 공간 방향 Y으로 소정 범위 넓어지는, 실세계(1)에 있어서의 2개의 물체에 대한 실세계(1)의 신호가 투영되고, 데이터(3)의 하나의 화소의 화소값 P를 나타낸다.

도 17의 L은, 실세계(1)에 있어서의 1개의 물체에 대한, 도 17의 백색 부분의 실세계(1)의 신호의 레벨을 나타낸다. 도 17의 R은, 실세계(1)에 있어서의 다른 1개의 물체에 대한, 도 17의 사선에 의해 표현되는 부분의 실세계(1)의 신호의 레벨을 나타낸다.

여기서, 혼합비α는, 센서(2)의 하나의 검출 소자의, 공간 방향 X 및 공간 방향 Y으로 소정 범위 넓어지는 검출 영역에 입사된, 2개의 물체에 대한 신호(의 면적)의 비율을 나타낸다. 예를 들면, 혼합비α는, 센서(2)의 하나의 검출 소자의 검출 영역의 면적에 대한, 공간 방향 X 및 공간 방향 Y으로 소정 범위 넓어지는, 센서(2)의 하나의 검출 소자의 검출 영역에 입사된, 레벨 L의 신호의 면적의 비율을 나타낸다.

이 경우에 있어서, 레벨 L, 레벨 R, 및 화소값 P의 관계는, 식(4)에 의해 나 타낼 수 있다.

…(4)

그리고, 레벨 R은, 주목하고 있는 화소의 우측에 위치하고 있는, 데이터(3)의 화소의 화소값으로 할 수 있는 경우가 있고, 레벨 L은, 주목하고 있는 화소의 좌측에 위치하고 있는, 데이터(3)의 화소값으로 할 수 있는 경우가 있다.

또, 혼합비α 및 혼합 영역은, 공간 방향과 마찬가지로, 시간 방향을 고려할 수 있다. 예를 들면, 센서(2)에 대하여 촬상의 대상이 되는 실세계(1)의 물체가 이동하고 있을 때, 시간 방향으로, 센서(2)의 하나의 검출 소자의 검출 영역에 입사되는, 2개의 물체에 대한 신호의 비율은 변화한다. 센서(2)의 하나의 검출 소자의 검출 영역에 입사된, 시간 방향으로 비율이 변화하는, 2개의 물체에 대한 신호는, 센서(2)의 검출 소자에 의해, 데이터(3)의 하나의 값에 투영된다.

센서(2)의 시간 적분 효과에 의한, 2개의 물체에 대한 신호의 시간 방향의 혼합을 시간 혼합이라고 한다.

데이터 정상성 검출부(101)는, 예를 들면, 실세계(1)에 있어서의 2개의 물체에 대한 실세계(1)의 신호가 투영되고, 데이터(3)에 있어서의 화소의 영역을 검출한다. 데이터 정상성 검출부(101)는, 예를 들면, 실세계(1)의 화상의 에지의 경사에 대응하는, 데이터(3)에 있어서의 경사를 검출한다.

그리고, 실세계 추정부(102)는, 예를 들면, 데이터 정상성 검출부(101)에 의해 검출된, 소정의 혼합비α를 가지는 화소의 영역, 및 영역의 경사를 기초로, N개 의 변수로 표현되는 모델(161)과 M개의 데이터(162)와의 관계를 나타내는, N개의 변수를 사용한 식을 세워, 세운 식을 푸는 것에 의해, 실세계(1)의 신호를 추정한다.

또한, 구체적인 실세계(1)의 추정에 대하여 설명한다.

함수 F(x, y, z, t)에 의해 표현되는 실세계의 신호 중, 공간 방향 Z의 단면(센서(2)의 위치)에 있어서의 함수 F(x, y, t)에 의해 표현되는 실세계의 신호를, 공간 방향 X에 있어서의 위치 x, 공간 방향 Y에 있어서의 위치 y, 및 시각 t로 정해지는 근사 함수 f(x, y, t)로 근사시키는 것을 고려할 수 있다.

여기서, 센서(2)의 검출 영역은, 공간 방향 X 및 공간 방향 Y으로 넓어진다. 환언하면, 근사 함수 f(x, y, t)는, 센서(2)에 의해 취득되는, 공간 방향 및 시간 방향으로 확대를 가지는 실세계(1)의 신호를 근사시키는 함수이다.

센서(2)에 의한 실세계(1)의 신호의 투영에 의해, 데이터(3)의 값P(x, y, t)를 얻을 수 있는 것으로 한다. 데이터(3)의 값P(x, y, t)는, 예를 들면, 이미지 센서인 센서(2)가 출력하는, 화소값이다.

여기서, 센서(2)에 의한 투영을 정식화(定式化)할 수 있는 경우, 근사 함수 f(x, y, t)를 투영하여 얻어진 값을 투영 함수 S(x, y, t)로 나타낼 수 있다.

투영 함수 S(x, y, t)를 구하는 데 있어서, 다음에 나타내는 문제가 있다.

첫째로, 일반적으로, 실세계(1)의 신호를 나타내는 함수 F(x, y, z, t)는, 무한의 차수(次數)의 함수로 될 수 있다.

둘째로, 비록, 실세계의 신호를 함수로서 기술할 수 있었다고 해도, 센서(2) 의 투영을 통한, 투영 함수 S(x, y, t)를 정하는 것은, 일반적으로는 할 수 없다. 즉, 센서(2)에 의한 투영의 동작, 바꾸어 말하면 센서(2)의 입력 신호와 출력 신호와의 관계를 모르기 때문에, 투영 함수 S(x, y, t)를 정할 수 없다.

제1 문제점에 대하여, 실세계(1)의 신호를 근사시키는 함수 f(x, y, t)를 기술 가능한 함수(예를 들면, 유한 차수의 함수)인 함수 f_i(x, y, t) 및 변수 w_i의 합계로 표현하는 것을 고려할 수 있다.

또, 제2 문제점에 대하여, 센서(2)에 의한 투영을 정식화함으로써, 함수 f_i(x, y, t)의 기술로부터, 함수 S_i(x, y, t)를 기술할 수 있다.

즉, 실세계(1)의 신호를 근사시키는 함수 f(x, y, t)를 함수 f_i(x, y, t) 및 변수 w_i의 합계로 표현하면, 식(5)를 얻을 수 있다.

…(5)

예를 들면, 식(6)에 의해 나타낸 바와 같이, 센서(2)의 투영을 정식화함으로써, 식(5)로부터, 데이터(3)와 실세계의 신호의 관계를 식(7)과 같이 정식화할 수 있다.

…(6)

…(7)

식(7)에 있어서, j는, 데이터의 인덱스이다.

식(7)의 N개의 변수 w_i(i= 1 내지 N)가 공통인 M개의 데이터 군(j= 1 내지 M이 존재하면, 식(8)을 만족시키므로, 데이터(3)로부터 실세계의 모델(161)을 구할 수 있다.

…(8)

N은, 실세계(1)를 근사시키는 모델(161)을 표현하는 변수의 수이다. M은, 데이터(3)에 포함되는 데이터(162)의 수이다.

실세계(1)의 신호를 근사시키는 함수 f(x, y, t)를 식(5)에 의해 나타냄으로써, w_i로서 변수의 부분을 독립시킬 수 있다. 이 때, i는, 그대로 변수의 수를 나타낸 것으로 된다. 또, f_i로 나타내는 함수의 형태를 독립시킬 수 있고, f_i로서 원하는 함수를 이용할 수 있도록 된다.

따라서, 함수 f_i의 형태에 의존하지 않고, 변수 w_i의 수 N을 정의할 수 있고, 변수 w_i의 수 N와 데이터의 수 M와의 관계로 변수 w_i를 구할 수 있다.

즉, 이하의 3개를 사용함으로써, 데이터(3)로부터 실세계(1)를 추정할 수 있 도록 된다.

첫째로, N개의 변수를 정한다, 즉 식(5)를 정한다. 이것은, 정상성을 사용하여 실세계(1)를 기술함으로써 가능하게 된다. 예를 들면, 단면이 다항식으로 표현되고, 같은 단면 형상이 일정 방향으로 계속된다는 모델(161)로 실세계(1)의 신호를 기술할 수 있다.

둘째로, 예를 들면, 센서(2)에 의한 투영을 정식화하여, 식(7)을 기술한다. 예를 들면, 실세계(2)의 신호의 적분을 행한 결과가 데이터(3)인 것으로 정식화한다.

셋째로, M개의 데이터(162)를 모아서, 식(8)을 만족시킨다. 예를 들면, 데이터 정상성 검출부(101)에 의해 검출된, 데이터의 정상성을 가지는 영역으로부터, 데이터(162)가 모아진다. 예를 들면, 정상성의 일례인, 일정한 단면이 계속되는 영역의 데이터(162)가 모아진다.

이와 같이, 식(5)에 의해, 데이터(3)와 실세계(1)와의 관계를 기술하고, M개의 데이터(162)를 모으는 것에 의해, 식(8)을 만족시킴으로써, 실세계(1)를 추정할 수 있다.

보다 구체적으로는, N= M 일 때, 변수의 수 N과 식의 수 M가 같으므로, 연립 방정식을 세우는 것에 의해, 변수 w_i를 구할 수 있다.

또, N＜M 일 때, 다양한 해법을 적용할 수 있다. 예를 들면, 최소 제곱법에 의해, 변수 w_i를 구할 수 있다.

여기서, 최소 제곱법에 따르는 해법에 대하여, 상세하게 기재한다.

먼저, 식(7)에 따라, 실세계(1)로부터 데이터(3)를 예측하는 식(9)을 나타낸다.

…(9)

식(9)에 있어서, P'_j(x_j, y_j, t_j)는, 예측값이다.

예측값 P'와 실측값 P와의 차분 자승(自乘) 즉 차분 제곱의 합 E는, 식(10)에 의해 표현된다.

…(10)

차분 제곱의 합 E가 최소로 되도록, 변수 w_i가 구해진다. 따라서, 각 변수 w_k에 의한 식(10)의 편미분값(偏黴分値)은 0으로 된다. 즉, 식(11)이 성립된다.

…(11)

식(11)로부터 식(12)가 안내된다.

…(12)

식(12)가 K= 1 내지 N로 성립될 때, 최소 제곱법에 의한 풀이를 얻을 수 있다. 이 때의 정규 방정식은, 식(13)에 의해 나타낸다.

…(13)

단, 식(13)에 있어서, S_i(x_j, y_j, t_j)는, S_i(j)라고 기술했다.

…(14)

…(15)

…(16)

식(14) 내지 식(16)으로부터, 식(13)은, S_MATW_MAT=P_MAT로 나타낼 수 있다.

식(13)에 있어서, S_i는, 실세계(1)의 투영을 나타낸다. 식(13)에 있어서, P_j는, 데이터(3)를 나타낸다. 식(13)에 있어서, w_i는, 실세계(1)의 신호의 특징을 기술하고, 구하고자 하는 변수이다.

따라서, 식(13)에 데이터(3)를 입력하고, 행렬 해법 등에 의해 W_MAT를 구함으로써, 실세계(1)를 추정하는 것이 가능하게 된다. 즉, 식(17)을 연산함으로써, 실 세계(1)를 추정할 수 있도록 된다.

…(17)

그리고, S_MAT가 바른 규칙이 아닌 경우, S_MAT의 전치(前置) 행렬을 이용하여, W_MAT를 구할 수 있다.

실세계 추정부(102)는, 예를 들면, 식(13)에 데이터(3)를 입력하고, 행렬 해법 등에 의해 W_MAT를 구함으로써, 실세계(1)를 추정한다.

여기서, 보다 구체적인 예를 설명한다. 예를 들면, 실세계(1)의 신호의 단면 형상, 즉 위치의 변화에 대한 레벨의 변화를, 다항식에 의해 기술한다. 실세계(1)의 신호의 단면 형상이 일정하며, 실세계(1)의 신호의 단면이 등속으로 이동한다고 가정한다. 그리고, 센서(2)에 의한 실세계(1)의 신호로부터 데이터(3)로의 투영을, 실세계(1)의 신호의 시공간 방향의 3차원으로 적분으로 정식화한다.

실세계(1)의 신호의 단면 형상이, 등속으로 이동한다는 가정으로부터, 식(18) 및 식(19)을 얻을 수 있다.

…(18)

…(19)

여기서, v_x 및 v_y는, 일정하다.

실세계(1)의 신호의 단면 형상은, 식(18) 및 식(19)을 사용함으로써, 식(20)으로 표현된다.

…(20)

센서(2)에 의한 실세계(1)의 신호로부터 데이터(3)로의 투영을, 실세계(1)의 신호의 시공간 방향의 3차원으로 적분으로 정식화하면, 식(21)을 얻을 수 있다.

…(21)

식(21)에 있어서, S(x, y, t)는, 공간 방향 X에 대하여, 위치 x_s로부터 위치 xe까지, 공간 방향 Y에 대하여, 위치 y_s로부터 위치 y_e까지, 시간 방향 t에 대하여, 시각 t_s로부터 시각 t_e 까지의 영역, 즉 시공간의 직육면체에 의해 표현되는 영역의 적분값을 나타낸다.

식(21)을 정할 수 있는 원하는 함수 f(x', y')를 사용하여, 식(13)을 풀면, 실세계(1)의 신호를 추정할 수 있다.

이하에서는, 함수 f(x', y')의 일례로서, 식(22)에 나타낸 함수를 사용함으 로써 한다.

…(22)

즉, 실세계(1)의 신호가, 식(18), 식(19), 및 식(22)에 의해 표현되는 정상성을 포함하는 것으로 가정하고 있다. 이것은, 도 18에 의해 나타낸 바와 같이, 일정한 형상의 단면이, 시공간 방향으로 이동하고 있는 것을 나타낸다.

식(21)에, 식(22)를 대입함으로써, 식(23)을 얻을 수 있다.

…(23)

단,

Volume=(x_e-x_s)(y_e-y_s)(t_e-t_s)

S₀(x, y, t)=Volume/2×x_e+x_s+v_x(t_e+t_s)

S₁(x, y, t)=Volume/2×x_e+y_s+v_y(t_e+t_s)

S₂(x, y, t)= 1

이다.

도 19는, 데이터(3)로부터 추출되는, M개의 데이터(162)의 예를 나타낸 도면이다. 예를 들면, 27의 화소값이, 데이터(162)로서 추출되어 추출된 화소값이, P_j(x, y, t)로 된다. 이 경우, j는, 0 내지 26이다.

도 19에 나타낸 예에 있어서, n인 시각 t의 주목하는 위치에 대응하는 화소의 화소값이 P₁₃(x, y, t)이며, 데이터의 정상성을 가지는 화소의 화소값의 정렬된 방향(예를 들면, 데이터 정상성 검출부(101)에 의해 검출된, 같은 형상인 폴형상이 정렬된 방향)이, P₄(x, y, t), P₁₃(x, y, t), 및 P₂₂(x, y, t)를 연결하는 방향일 때, n인 시각 t에 있어서의, 화소값 P₉(x, y, t) 내지 P₁₇(x, y, t), n보다 시간적으로 전인, n-1인 시각 t에 있어서의, 화소값 P₀(x, y, t) 내지 P₈(x, y, t), 및 n보다 시간적으로 다음에 있는, n+1인 시각 t에 있어서의, 화소값 P₁₈(x, y, t) 내지 P₂₆(x, y, t)이 추출된다.

여기서, 센서(2)인 이미지 센서로부터 출력된, 데이터(3)인 화소값이 취득된 영역은, 시간 방향 및 2차원의 공간 방향으로 넓어진다. 그래서, 예를 들면, 화소에 대응하는 직육면체(화소값이 취득된 영역)의 중심을, 화소의 시공간 방향의 위치로서 사용할 수 있다.

27개의 화소값 P₀(x, y, t) 내지 P₂₆(x, y, t), 및 식(23)으로부터, 식(13)을 생성하고, W를 구함으로써, 실세계(1)를 추정하는 것이 가능하게 된다.

이와 같이, 실세계 추정부(102)는, 예를 들면, 27개의 화소값 P₀(x, y, t) 내지 P₂₆(x, y, t), 및 식(23)으로부터, 식(13)을 생성하고, W를 구함으로써, 실세계(1)의 신호를 추정한다.

그리고, 함수 f_i(x, y, t)로서 가우스 함수, 또는 시그모이드 함수(sigmoid function) 등을 이용할 수 있다.

도 20 내지 도 23을 참조하여, 추정된 실세계(1)의 신호로부터, 데이터(3)에 대응하는, 보다 고해상도의 고해상도 데이터를 생성하는 처리의 예에 대하여 설명한다.

도 20에 의해 나타낸 바와 같이, 데이터(3)는, 시간 방향 및 2차원의 공간 방향으로 실세계(1)의 신호가 적분된 값을 가진다. 예를 들면, 센서(2)인 이미지 센서로부터 출력된, 데이터(3)인 화소값은, 검출 소자에 입사된 광인, 실세계(1)의 신호가, 시간 방향으로, 검출 시간인 셔터 시간에서 적분되어 공간 방향으로, 검출 소자의 수광 영역에서 적분된 값을 가진다.

이에 대하여, 도 21에 의해 나타낸 바와 같이, 공간 방향에 의해 해상도가 높은 고해상도 데이터는, 추정된 실세계(1)의 신호를, 시간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 시간과 같은 시간에 적분하고, 공간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 소자의 수광 영역과 비교하여, 보다 좁은 영역에서 적분함으로써, 생성된다.

그리고, 공간 방향에 의해 해상도가 높은 고해상도 데이터를 생성하는 경우 에 있어서, 추정된 실세계(1)의 신호가 적분되는 영역은, 데이터(3)를 출력한 센서(2)의 검출 소자의 수광 영역과 전혀 관계없이 설정할 수 있다. 예를 들면, 고해상도 데이터에, 데이터(3)에 대하여, 공간 방향으로 정수배의 해상도를 갖게 하는 것은 물론, 5/3배 등, 데이터(3)에 대하여, 공간 방향으로 유리수배(有理數倍)의 해상도를 갖게 할 수 있다.

또, 도 22에 의해 나타낸 바와 같이, 시간 방향에 따라 해상도가 높은 고해상도 데이터는, 추정된 실세계(1)의 신호를, 공간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 소자의 수광 영역과 같은 영역에서 적분하고, 시간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 시간과 비교하여, 보다 짧은 시간에 적분함으로써, 생성된다.

그리고, 시간 방향에 따라 해상도가 높은 고해상도 데이터를 생성하는 경우에 있어서, 추정된 실세계(1)의 신호가 적분되는 시간은, 데이터(3)를 출력한 센서(2)의 검출 소자의 셔터 시간과 전혀 관계없이 설정할 수 있다. 예를 들면, 고해상도 데이터에, 데이터(3)에 대하여, 시간 방향으로 정수배의 해상도를 갖게 하는 것은 물론, 7/4배 등, 데이터(3)에 대하여, 시간 방향으로 유리수배의 해상도를 갖게 할 수 있다.

모션 흐릿함을 제거한 고해상도 데이터는, 추정된 실세계(1)의 신호를, 시간 방향으로 적분하지 않고, 공간 방향으로만 적분함으로써, 생성된다.

또한, 도 23에 의해 나타낸 바와 같이, 시간 방향 및 공간 방향에 의해 해상도가 높은 고해상도 데이터는, 추정된 실세계(1)의 신호를, 공간 방향으로, 데이터 (3)를 출력한 센서(2)의 검출 소자의 수광 영역과 비교하여, 보다 좁은 영역에서 적분하고, 시간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 시간과 비교하여, 보다 짧은 시간에 적분함으로써, 생성된다.

이 경우에 있어서, 추정된 실세계(1)의 신호가 적분되는 영역 및 시간은, 데이터(3)를 출력한 센서(2)의 검출 소자의 수광 영역 및 셔터 시간과 전혀 관계없이 설정할 수 있다.

이와 같이, 화상 생성부(103)는, 예를 들면, 추정된 실세계(1)의 신호를 원하는 시공간의 영역에서 적분함으로써, 시간 방향, 또는 공간 방향으로, 보다 고해상도의 데이터를 생성한다.

이상과 같이, 실세계(1)의 신호를 추정함으로써, 실세계(1)의 신호에 대하여보다 정확하고, 시간 방향, 또는 공간 방향으로, 보다 고해상도의 데이터를 생성할 수 있다.

도 24 내지 도 28은, 신호 처리 장치(4)의 신호 처리를 사용한 입력 화상의 예와 처리의 결과의 예를 나타내고 있다.

도 24는, 입력 화상의 원래의 화상(실세계(1)의 광신호에 상당)을 나타낸 도면이다. 도 25는, 입력 화상의 예를 나타낸 도면이다. 도 25에 나타낸 입력 화상은, 도 24에 나타낸 화상의 2×2의 화소로 이루어지는 블록에 속하는 화소의 화소값의 평균값을, 1개의 화소의 화소값으로서 생성된 화상이다. 즉, 입력 화상은, 도 24에 나타낸 화상에, 센서의 적분 특성을 모방한, 공간 방향의 적분을 적용함으로써 얻어진 화상이다.

도 24에 나타낸 원래의 화상에 있어서, 상하 방향으로부터, 대략 5도 시계 방향으로 경사진 세선(細線)의 화상이 포함되어 있다. 마찬가지로, 도 25에 나타낸 입력 화상에 있어서, 상하 방향으로부터, 대략 5도 시계 방향으로 경사진 세선의 화상이 포함되어 있다.

도 26은, 도 25에 나타낸 입력 화상에, 종래의 클래스 분류 적응 처리를 적용하여 얻어진 화상을 나타낸 도면이다. 여기서, 클래스 분류 적응 처리는, 클래스 분류 처리와 적응 처리로 이루어지고, 클래스 분류 처리에 의해, 데이터를, 그 성질에 따라 클래스로 나누고, 각 클래스마다 적응 처리를 가하는 것이다. 적응 처리에서는, 예를 들면, 저화질 또는 표준 화질의 화상이, 소정의 탭 계수를 사용하여 매핑(사상)됨으로써, 고화질의 화상으로 변환된다.

즉, 적응 처리에서는, 제1 데이터가, 소정의 탭 계수를 사용하여 매핑(사상)됨으로써, 제2 데이터로 변환된다.

지금, 이 탭 계수를 사용한 매핑 방법으로서, 예를 들면, 선형 1차 결합 모델을 채용하고, 제1 데이터로서, 고해상도의 HD(High Definition) 화상을 로패스 필터로 필터링하는 것 등에 의해 얻어지는 저해상도 또는 표준 해상도의 SD(Standard Definition) 화상을 채용하고, 제2 데이터로서, 그 SD 화상을 얻는데 사용한 HD 화상을 채용하는 것으로 하여, 적응 처리에 대하여 설명한다.

전술한 조건하에 있어서, HD 화상을 구성하는 화소인 HD 화소 y는, 예를 들면, SD 화상을 구성하는 화소인 SD 화소로부터, HD 화소를 예측하기 위한 예측 탭으로서 추출되는 복수개의 SD 화소와 탭 계수를 사용하여, 다음의 선형 1차식(선형 결합)에 의해 구할 수 있다.

…(24)

단, 식(24)에 있어서, x_n은, HD 화소 y에 대한 예측 탭을 구성하는, n번째의 SD 화소(의 화소값)를 나타내고, w_n은, n번째의 SD 화소와 승산되는 n번째의 탭 계수를 나타낸다. 그리고, 식(24)에서는, 예측 탭이, N개의 SD 화소 x₁, x₂, ···, x_N으로 구성되는 것으로 하고 있다.

여기서, HD 화소의 화소값 y는, 식(24)에 나타낸 선형 1차식이 아니고, 2차 이상의 고차(高次)의 식에 의해 구하도록 할 수도 있다.

지금, HD 화상에 있어서, k번째의 HD 화소(의 화소값)의 진값(眞値)을 y_k으로 나타내는 동시에, 식(24)에 의해 얻어지는 그 진값 y_k의 예측값을 y_k'로 나타내면, 그 예측 오차 e_k는, 예를 들면, 다음 식에 의해 표현된다.

…(25)

식(25)의 예측값 y_k'는, 식(24)에 따라 구해지므로, 식(25)의 y_k'를, 식(24)에 따라 전환하면, 다음 식을 얻을 수 있다.

…(26)

단, 식(26)에 있어서, x_{n, k}는, k번째의 HD 화소에 대한 예측 탭을 구성하는 n번째의 SD 화소를 나타낸다.

식(26)의 예측 오차 e_k를 0으로 하는 탭 계수 w_n가, HD 화소를 예측하는데 최적인 것으로 되지만, 모든 HD 화소에 대하여, 그와 같은 탭 계수 w_n를 구하는 것은, 일반적으로는 곤란하다.

그래서, 탭 계수 wn가 최적인 것임을 나타내는 규범으로서, 예를 들면, 최소 제곱법을 채용하는 것으로 하면, 최적인 탭 계수 w_n은, 통계적인 오차로서의, 예를 들면, 다음 식에 의해 표현되는 제곱 오차의 총계 E를 최소로 함으로써 구할 수 있다.

…(27)

단, 식(27)에 있어서, K는, HD 화소 y_k와, 그 HD 화소 y_k에 대한 예측 탭을 구성하는 SD 화소 x_{1, k}, x_{2, k}, ···, x_{N, k}와의 세트의 샘플수를 나타낸다.

식(27)의 제곱 오차의 총계 E를 최소(극소)로 하는 탭 계수 w_n은, 그 총계 E 를 탭 계수 w_n로 편미분한 것을 0으로 하는 것이며, 따라서, 다음 식을 만족시킬 필요가 있다.

…(28)

그래서, 전술한 식(26)을 탭 계수 w_n로 편미분하면, 다음 식을 얻을 수 있다.

…(29)

식(28)과 (29)로부터, 다음 식을 얻을 수 있다.

…(30)

식(30)의 e_k에, 식(26)을 대입함으로써, 식(30)은, 식(31)에 나타낸 정규 방정식으로 나타낼 수 있다.

…(31)

식(31)의 정규 방정식은, HD 화소 y_k와 SD 화소 x_n,k세트를, 어느 정도의 수만큼 준비함으로써 세울 수가 있어 식(31)을 푸는 것에 의해, 최적인 탭 계수 w_n를 구할 수 있다. 그리고, 식(31)을 풀기에 즈음해서는, 예를 들면, 쓸어 내 법(Gauss-Jordan의 소거법) 등을 채용할 수 있다.

이상과 같이, 다수의 HD 화소 y₁, y₂, ···, y_K를, 탭 계수의 학습의 교사(敎師)로 되는 교사 데이터로 하고, 각 HD 화소 y_k에 대한 예측 탭을 구성하는 SD 화소 x_{1, k}, x_{2, k}, ···, x_{N, k}를, 탭 계수의 학습의 학생으로 되는 학생 데이터로서, 식(31)을 푸는 것에 의해, 최적인 탭 계수 w_n를 구하는 학습을 행하여 두고, 또한, 그 탭 계수 w_n를 사용하고, 식(24)에 의해, SD 화소를, HD 화소에 매핑(변환)하는 것이 적응 처리이다.

여기서, HD 화소 y_k에 대한 예측 탭을 구성하는 SD 화소 x_{1, k}, x_{2, k}, ···, x_{N, k}로서는, 그 HD 화소 y_k에 대응하는 SD 화상 상의 위치로부터 공간적 또는 시간적으로 가까운 위치에 있는 SD 화소를 채용할 수 있다.

또, 클래스 분류 적응 처리에서는, 탭 계수 w_n의 학습과, 그 탭 계수 w_n를 사용한 매핑이란, 클래스마다 행해진다. 클래스 분류 적응 처리에서는, 주목하고 있는 HD 화소 y_k를 대상으로 클래스 분류 처리가 행해지고, 그 클래스 분류 처리에 의해 얻어지는 클래스마다, 탭 계수 w_n의 학습과 그 탭 계수 w_n를 사용한 매핑이 행해진다.

HD 화소 y_k를 대상으로 한 클래스 분류 처리로서는, 예를 들면, 그 HD 화소 y_k의 클래스 분류에 사용하는 클래스 탭로서의 복수개의 SD 화소를, SD 화상으로부터 추출하고, 그 복수개의 SD 화소로 구성되는 클래스 탭을 사용하여 M비트 ADRC(Adaptive Dynamic Range Coding) 처리를 행하는 방법이 있다.

M비트 ADRC 처리에 있어서는, 클래스 탭을 구성하는 SD 화소의 최대값 MAX와 최소값 MIN이 검출되고, DR=MAX-MIN를, 국소적인 다이나믹 레인지로 하고, 이 다이나믹 레인지 DR에 따라, 클래스 탭을 구성하는 SD 화소가 K비트로 재양자화된다. 즉, 클래스 탭을 구성하는 각 SD 화소로부터, 최소값 MIN이 감산되고, 그 감산값이 DR/2_K로 제산(양자화)된다. 따라서, 클래스 탭이, 예를 들면, 1비트 ADRC 처리되는 경우에는, 그 클래스 탭을 구성하는 각 SD 화소는1비트로 되게 된다. 그리고, 이 경우, 이상과 같이 하여 얻어지는, 클래스 탭을 구성하는 각 SD 화소에 대한 1비트 의 화소값을, 소정의 순서로 배열된 비트열이, ADRC 코드로서 출력되고, 이 ADRC 코드가, 클래스를 나타내는 클래스 코드로 된다.

그리고, 클래스 분류 적응 처리는, SD 화소에는 포함되어 있지 않지만, HD 화소에 포함되는 성분이 재현되는 점에서, 예를 들면, 단순한 보간 처리 등과는 상이하였다. 즉, 클래스 분류 적응 처리에서는, 식(24)만을 보는 한은, 이른바 보간 필터를 사용한 보간 처리와 동일하지만, 그 보간 필터의 탭 계수에 상당하는 탭 계수 w_n가, 교사 데이터로서의 HD 화소와 학생 데이터로서의 SD 화소를 사용한 학습에 의해 구해지므로, HD 화소에 포함되는 성분을 재현할 수 있다.

여기서, 탭 계수 w_n의 학습에서는, 교사 데이터 y와 학생 데이터 x와의 조합으로서, 어떠한 것을 채용하거나에 따라, 각종 변환을 행하는 탭 계수 w_n를 구할 수 있다.

즉, 예를 들면, 전술한 바와 같이, 교사 데이터 y로서 고해상도의 HD 화상을 채용하고, 학생 데이터 x로서 그 HD 화상의 해상도를 저하시킨 SD 화상을 채용한 경우에는, 화상의 해상도를 향상시키는 매핑을 행하는 탭 계수 w_n를 얻을 수 있다. 또, 예를 들면, 교사 데이터 y로서 HD 화상을 채용하고, 학생 데이터 x로서 그 HD 화상의 화소수를 적게 한 SD 화상을 채용한 경우에는, 화상을 구성하는 화소수를 증가시키는 매핑을 행하는 탭 계수 w_n를 얻을 수 있다.

도 26은, 도 25의 입력 화상에 대하여, 전술한 바와 같은 클래스 분류 적응 처리에 의한 매핑을 행함으로써 얻어지는 화상이다. 도 26에서는, 세선의 화상이, 도 24의 원래의 화상과는 상이한 것으로 되어 있는 것을 알 수 있다.

도 27은, 데이터 정상성 검출부(101)에 의한, 도 25의 예에 나타낸 입력 화상으로부터 세선의 영역을 검출한 결과를 나타내는 도면이다. 도 27에 있어서, 백색 영역은, 세선의 영역, 즉 도 10에 나타낸 원호형상이 정렬되어 있는 영역을 나타낸다.

도 28은, 도 25에 나타낸 화상을 입력 화상으로서, 신호 처리 장치(4)로 신호 처리를 행함으로써 얻어지는 출력 화상의 예를 나타낸 도면이다. 도 28에 의해 나타낸 바와 같이, 신호 처리 장치(4)에 의하면, 도 24에 나타낸 원래의 화상의 세선의 화상에 의해 가까운 화상을 얻을 수 있다.

도 29는, 신호 처리 장치(4)에 의한, 신호 처리를 설명하는 플로차트이다.

스텝 S101에 있어서, 데이터 정상성 검출부(101)는, 정상성의 검출의 처리를 실행한다. 데이터 정상성 검출부(101)는, 데이터(3)인 입력 화상에 포함되어 있는 데이터의 정상성을 검출하여, 검출한 데이터의 정상성을 나타내는 데이터 정상성 정보를 실세계 추정부(102) 및 화상 생성부(103)에 공급한다.

데이터 정상성 검출부(101)는, 현실 세계의 신호의 정상성에 대응하는 데이터의 정상성을 검출한다. 스텝 S101의 처리에 있어서, 데이터 정상성 검출부(101)에 의해 검출되는 데이터의 정상성은, 데이터(3)에 포함되는, 실세계(1)의 화상의 정상성의 일부이거나, 또는 실세계(1)의 신호의 정상성으로부터 변화되어 버린 정상성이다.

예를 들면, 데이터 정상성 검출부(101)는, 소정 차원의 방향으로 일정한 특징을 가지는 영역을 검출함으로써, 데이터의 정상성을 검출한다. 또, 예를 들면, 데이터 정상성 검출부(101)는, 마찬가지의 형상의 정렬되는 방법을 나타낸, 공간 방향의 각도(경사)를 검출함으로써, 데이터의 정상성을 검출한다.

스텝 S101에 있어서의, 정상성의 검출의 처리의 자세한 것은, 후술한다.

그리고, 데이터 정상성 정보는, 데이터(3)의 특징을 나타내는 특징량으로서 이용할 수 있다.

스텝 S102에 있어서, 실세계 추정부(102)는, 실세계의 추정의 처리를 실행한다. 즉, 실세계 추정부(102)는, 입력 화상, 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보를 기초로, 실세계(1)의 신호를 추정한다. 예를 들면, 스텝 S102의 처리에 있어서, 실세계 추정부(102)는, 실세계(1)를 근사(기술)시키는 모델(161)을 예측함으로써, 실세계(1)의 신호를 추정한다. 실세계 추정부(102)는, 추정된 실세계(1)의 신호를 나타내는 실세계 추정 정보를 화상 생성부(103)에 공급한다.

예를 들면, 실세계 추정부(102)는, 선형의 물체의 폭을 예측함으로써, 실세계(1)의 신호를 추정한다. 또, 예를 들면, 실세계 추정부(102)는, 선형의 물체의 색을 나타내는 레벨을 예측함으로써, 실세계(1)의 신호를 추정한다.

스텝 S102에 있어서의, 실세계의 추정의 처리의 자세한 것은, 후술한다.

그리고, 실세계 추정 정보는, 데이터(3)의 특징을 나타내는 특징량으로서 이용할 수 있다.

스텝 S103에 있어서, 화상 생성부(103)는, 화상의 생성의 처리를 실행하여, 처리는 종료한다. 즉, 화상 생성부(103)는, 실세계 추정 정보를 기초로, 화상을 생성하여, 생성한 화상을 출력한다. 또는, 화상 생성부(103)는, 데이터 정상성 정보 및 실세계 추정 정보를 기초로, 화상을 생성하여, 생성한 화상을 출력한다.

예를 들면, 스텝 S103의 처리에 있어서, 화상 생성부(103)는, 실세계 추정 정보를 기초로, 추정된 현실 세계의 광을 공간 방향으로 적분함으로써, 입력 화상과 비교하여, 공간 방향으로부터 고해상도의 화상을 생성하여, 생성한 화상을 출력한다. 예를 들면, 화상 생성부(103)는, 실세계 추정 정보를 기초로, 추정된 현실 세계의 광을 시공간 방향으로 적분함으로써, 입력 화상과 비교하여, 시간 방향 및 공간 방향으로부터 고해상도의 화상을 생성하여, 생성한 화상을 출력한다. 스텝 S103에 있어서의, 화상의 생성의 처리의 자세한 것은, 후술한다.

이와 같이, 신호 처리 장치(4)는, 데이터(3)로부터 데이터의 정상성을 검출하고, 검출한 데이터의 정상성을 기초로, 실세계(1)를 추정한다. 그리고, 신호 처리 장치(4)는, 추정된 실세계(1)를 기초로, 보다 실세계(1)에 근사시킨 신호를 생성한다.

이상과 같이, 현실 세계의 신호를 추정하여 처리를 실행하도록 한 경우에는, 정확하고, 정밀도의 높은 처리 결과를 얻을 수 있게 된다.

또, 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계의 신호의 정상성의 일부가 결락된 제1 차원보다 적은 제2 차원의 제2 신호의, 결락된 현실 세계의 신호의 정상성에 대응하는 데이터의 정상성을 검출하고, 검출된 데이터의 정상성에 따라, 결락된 현실 세계의 신호의 정상성을 추정함으로써 제1 신호를 추정하도록 한 경우에는, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도 높은 처리 결과를 얻을 수 있게 된다.

다음에, 데이터 정상성 검출부(101)의 구성의 상세에 대하여 설명한다.

도 30은, 데이터 정상성 검출부(101)의 구성을 나타낸 블록도이다.

도 30에 구성을 나타낸 데이터 정상성 검출부(101)는, 세선인 대상물을 촬상했을 때, 대상물이 가지는 단면 형상이 같다는 정상성으로부터 생긴, 데이터(3)에 포함되는 데이터의 정상성을 검출한다. 즉, 도 30에 구성을 나타낸 데이터 정상성 검출부(101)는, 세선인 실세계(1)의 화상이 가지는, 길이 방향의 임의의 위치에 있어서, 길이 방향으로 직교하는 방향의 위치의 변화에 대한 광의 레벨의 변화가 같다는 정상성으로부터 생긴, 데이터(3)에 포함되는 데이터의 정상성을 검출한다.

보다 구체적으로는, 도 30에 구성을 나타낸 데이터 정상성 검출부(101)는, 세선의 화상을 공간 적분 효과를 가지는 센서(2)로 촬상하여 얻어진 데이터(3)에 포함되는, 경사지게 어긋나 인접하여 정렬된, 복수개의 소정 길이의 원호형상(어묵형)이 배치되는 영역을 검출한다.

데이터 정상성 검출부(101)는, 데이터(3)인 입력 화상으로부터, 데이터의 정상성을 가지는 세선의 화상이 투영된 화상 데이터의 부분(이하, 정상 성분이라고도 함) 이외의 화상 데이터의 부분(이하, 비정상 성분이라고 함)을 추출하고, 추출된 비정상 성분과 입력 화상으로부터, 실세계(1)의 세선의 화상이 투영된 화소를 검출하고, 입력 화상에 있어서의, 실세계(1)의 세선의 화상이 투영된 화소로 이루어지 는 영역을 검출한다.

비정상 성분 추출부(201)는, 입력 화상으로부터 비정상 성분을 추출하여, 입력 화상과 함께, 추출된 비정상 성분을 나타내는 비정상 성분 정보를 정상점 검출부(202) 및 단조 증감 검출부(203)에 공급한다.

예를 들면, 도 31에 의해 나타낸 바와 같이, 대략 일정한 광의 레벨의 배경의 앞에 세선이 있는 실세계(1)의 화상이 데이터(3)에 투영되었을 때, 도 32에 의해 나타낸 바와 같이, 비정상 성분 추출부(201)는, 데이터(3)인 입력 화상에 있어서의 배경을 평면에서 근사시킴으로써, 배경인 비정상 성분을 추출한다. 도 32에 있어서, 실선은, 데이터(3)의 화소값을 나타내고, 점선은, 배경을 근사시키는 평면으로 나타내는 근사값을 나타낸다. 도 32에 있어서, A는, 세선의 화상이 투영된 화소의 화소값을 나타내고, PL는, 배경을 근사시키는 평면을 나타낸다.

이와 같이, 데이터의 정상성을 가지는 화상 데이터의 부분에 있어서의, 복수개의 화소의 화소값은, 비정상 성분에 대하여 불연속으로 된다.

비정상 성분 추출부(201)는, 실세계(1)의 광신호인 화상이 투영되고, 실세계(1)의 화상의 정상성의 일부가 결락된, 데이터(3)인 화상 데이터의 복수개의 화소의 화소값의 불연속부를 검출한다.

비정상 성분 추출부(201)에 있어서의 비정상 성분의 추출 처리의 자세한 것은, 후술한다.

정상점 검출부(202) 및 단조 증감 검출부(203)는, 비정상 성분 추출부(201)로부터 공급된 비정상 성분 정보를 기초로, 입력 화상으로부터 비정상 성분을 제거 한다. 예를 들면, 정상점 검출부(202) 및 단조 증감 검출부(203)는, 입력 화상의 각 화소 중, 배경의 화상만이 투영된 화소의 화소값을 0으로 설정함으로써, 입력 화상으로부터 비정상 성분을 제거한다. 또, 예를 들면, 정상점 검출부(202) 및 단조 증감 검출부(203)는, 입력 화상의 각 화소의 화소값으로부터, 평면 PL에서 근사되는 값을 뺌으로써, 입력 화상으로부터 비정상 성분을 제거한다.

입력 화상으로부터 배경을 제거할 수 있으므로, 정상점 검출부(202) 내지 연속성 검출부(204)는, 세선이 투영된 화상 데이터의 부분만을 처리의 대상으로 할 수 있어, 정상점 검출부(202) 내지 연속성 검출부(204)에 있어서의 처리가 보다 용이하게 된다.

그리고, 비정상 성분 추출부(201)는, 입력 화상으로부터 비정상 성분을 제거한 화상 데이터를 정상점 검출부(202) 및 단조 증감 검출부(203)에 공급하도록 해도 된다.

이하에 설명하는 처리의 예에 있어서, 입력 화상으로부터 비정상 성분이 제거된 화상 데이터, 즉 정상 성분을 포함하는 화소만으로 이루어지는 화상 데이터가 대상으로 된다.

여기서, 정상점 검출부(202) 내지 연속성 검출부(204)가 검출하려고 하는, 세선의 화상이 투영된 화상 데이터에 대하여 설명한다.

도 31에 나타낸 세선의 화상이 투영된 화상 데이터의 공간 방향 Y의 단면 형상(공간 방향의 위치의 변화에 대한 화소값의 변화)은, 광학 LPF가 없는 것으로 한 경우, 센서(2)인 이미지 센서의 공간 적분 효과로부터, 도 33에 나타낸 사다리꼴, 또는 도 34에 나타낸 삼각형으로 되는 것을 생각할 수 있다. 그러나, 통상의 이미지 센서는, 광학 LPF를 구비하고, 이미지 센서는, 광학 LPF를 통과한 화상을 취득하고, 취득한 화상을 데이터(3)에 투영하므로, 현실에는, 세선의 화상 데이터의 공간 방향 Y의 단면 형상은, 도 35에 나타낸 바와 같은 가우스 분포에 유사한 형상 로 된다.

정상점 검출부(202) 내지 연속성 검출부(204)는, 세선의 화상이 투영된 화소로서, 같은 단면 형상(공간 방향의 위치의 변화에 대한 화소값의 변화)이 화면의 상하 방향으로 일정한 간격으로 정렬되는 것으로 이루어지는 영역을 검출하고, 또한 실세계(1)의 세선의 길이 방향에 대응한, 영역의 연결을 검출함으로써, 데이터의 정상성을 가지는 영역인, 세선의 화상이 투영된 화소로 이루어지는 영역을 검출한다. 즉, 정상점 검출부(202) 내지 연속성 검출부(204)는, 입력 화상에 있어서의, 세로로 1열의 화소의 위에, 원호형상(어묵형)이 형성되는 영역을 검출하고, 검출된 영역이 가로 방향으로 인접하여 정렬되어 있는지 여부를 판정하여, 실세계(1)의 신호인 세선의 화상의 길이 방향에 대응한, 원호형상이 형성되는 영역의 연결을 검출한다.

또, 정상점 검출부(202) 내지 연속성 검출부(204)는, 세선의 화상이 투영된 화소로서, 같은 단면 형상이 화면의 좌우방향으로 일정한 간격으로 정렬되는 것으로 이루어지는 영역을 검출하고, 또한 실세계(1)의 세선의 길이 방향에 대응한, 검출된 영역의 연결을 검출함으로써, 데이터의 정상성을 가지는 영역인, 세선의 화상이 투영된 화소로 이루어지는 영역을 검출한다. 즉, 정상점 검출부(202) 내지 연 속성 검출부(204)는, 입력 화상에 있어서의, 가로로 1열의 화소의 위에, 원호형상이 형성되는 영역을 검출하고, 검출된 영역이 세로 방향으로 인접하여 정렬되어 있는지 여부를 판정하여, 실세계(1)의 신호인 세선의 화상의 길이 방향에 대응한, 원호형상이 형성되는 영역의 연결을 검출한다.

먼저, 세선의 화상이 투영된 화소로서, 화면의 상하 방향으로 같은 원호형상이 일정한 간격으로 정렬되는 것으로 이루어지는 영역을 검출하는 처리를 설명한다.

정상점 검출부(202)는, 주위의 화소와 비교하여, 보다 큰 화소값을 가지는 화소, 즉 정상점을 검출하고, 정상점의 위치를 나타내는 정상점 정보를 단조 증감 검출부(203)에 공급한다. 화면의 상하 방향으로 1열로 정렬된 화소를 대상으로 한 경우, 정상점 검출부(202)는, 화면 위쪽에 위치하는 화소의 화소값, 및 화면의 아래쪽에 위치하는 화소의 화소값과 비교하여, 보다 큰 화소값을 가지는 화소를 정상점으로서 검출한다. 정상점 검출부(202)는, 1개의 화상, 예를 들면, 1개의 프레임의 화상으로부터, 1 또는 복수개의 정상점을 검출한다.

1개의 화면에는, 프레임 또는 필드가 포함된다. 이하의 설명에 있어서, 마찬가지이다.

예를 들면, 정상점 검출부(202)는, 1프레임의 화상으로부터 아직 주목 화소로 되어 있지 않은 화소 중 주목 화소를 선택하고, 주목 화소의 화소값과, 주목 화소의 위쪽의 화소의 화소값을 비교하고, 주목 화소의 화소값과, 주목 화소의 아래쪽의 화소의 화소값을 비교하여, 위쪽의 화소의 화소값보다 큰 화소값을 가지고, 아래쪽의 화소의 화소값보다 큰 화소값을 가지는 주목 화소를 검출하여, 검출된 주목 화소를 정상점으로 한다. 정상점 검출부(202)는, 검출된 정상점을 나타내는 정상점 정보를 단조 증감 검출부(203)에 공급한다.

정상점 검출부(202)가, 정상점을 검출하지 않는 경우도 있다. 예를 들면, 1개 화상의 화소의 화소값이 모두 같은 값일 때, 또는 1 또는 2의 방향에 대하여 화소값이 감소하고 있을 때, 정상점은 검출되지 않는다. 이 경우, 세선의 화상은, 화상 데이터에 투영되고 있지 않다.

단조 증감 검출부(203)는, 정상점 검출부(202)로부터 공급된, 정상점의 위치를 나타내는 정상점 정보를 기초로, 정상점 검출부(202)에 의해 검출된 정상점에 대하여 상하 방향으로 1열로 정렬된 화소로서, 세선의 화상이 투영된 화소로 이루어지는 영역의 후보를 검출하고, 정상점 정보와 함께, 검출한 영역을 나타내는 영역 정보를 연속성 검출부(204)에 공급한다.

보다 구체적으로는, 단조 증감 검출부(203)는, 정상점의 화소값을 기준으로 하여, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역을, 세선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다. 단조 감소란, 정상점으로부터의 거리가 보다 긴 화소의 화소값이, 정상점으로부터의 거리가 짧은 화소의 화소값과 비교하여, 보다 작은 것을 말한다.

또, 단조 증감 검출부(203)는, 정상점의 화소값을 기준으로 하여, 단조 증가하고 있는 화소값을 가지는 화소로 이루어지는 영역을, 세선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다. 단조 증가란, 정상점으로부터의 거리가 보다 긴 화소의 화소값이, 정상점으로부터의 거리가 짧은 화소의 화소값과 비교하여, 보다 큰 것을 말한다.

이하, 단조 증가하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리는, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리와 마찬가지이므로, 그 설명은 생략한다. 세선의 화상이 투영된 화소로서, 화면의 가로 방향에 같은 원호형상이 일정한 간격으로 정렬되는 것으로 이루어지는 영역을 검출하는 처리에 있어서의, 단조 증가하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리도, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리와 마찬가지이므로, 그 설명은 생략한다.

예를 들면, 단조 증감 검출부(203)는, 정상점에 대하여 세로로 1열에 각 화소에 대하여, 각 화소의 화소값과, 위쪽의 화소의 화소값의 차분, 및 아래쪽의 화소의 화소값의 차분을 구한다. 그리고, 단조 증감 검출부(203)는, 차분의 부호가 변화되는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역을 검출한다.

또한, 단조 증감 검출부(203)는, 화소값이 단조 감소하고 있는 영역으로부터, 정상점의 화소값의 부호를 기준으로 하여, 정상점의 화소값의 부호와 같은 부호의 화소값을 가지는 화소로 이루어지는 영역을, 세선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다.

예를 들면, 단조 증감 검출부(203)는, 각 화소의 화소값의 부호와 위쪽의 화소의 화소값의 부호 및 아래쪽의 화소의 화소값의 부호를 비교하고, 화소값의 부호가 변화되는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역으로부터, 정 상점과 같은 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

이와 같이, 단조 증감 검출부(203)는, 상하 방향으로 정렬되고, 정상점에 대하여 화소값이 단조 감소하고, 정상점과 같은 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

도 36은, 공간 방향 Y의 위치에 대하는 화소값으로부터, 세선의 화상이 투영된 화소의 영역을 검출하는, 정상점의 검출 및 단조 증감 영역의 검출의 처리를 설명하는 도면이다.

도 36 내지 도 38에 있어서, P는, 정상점을 나타낸다. 도 30에 구성이 도시된 데이터 정상성 검출부(101)의 설명에 있어서, P는, 정상점을 나타낸다.

정상점 검출부(202)는, 각 화소의 화소값과, 이것에 공간 방향 Y으로 인접하는 화소의 화소값을 비교하여, 공간 방향 Y으로 인접하는 2개의 화소의 화소값보다 큰 화소값을 가지는 화소를 검출함으로써, 정상점 P를 검출한다.

정점 P와, 정상점 P의 공간 방향 Y의 양쪽의 화소로 이루어지는 영역은, 정상점 P의 화소값에 대하여, 공간 방향 Y의 양쪽의 화소의 화소값이 단조롭게 감소하는 단조 감소 영역이다. 도 36에 있어서, A로 나타낸 화살표, 및 B로 나타낸 화살표는, 정상점 P의 양측에 존재하는 단조 감소 영역을 나타낸다.

단조 증감 검출부(203)는, 각 화소의 화소값과, 그 화소에 공간 방향 Y으로 인접하는 화소의 화소값의 차분을 구하여, 차분의 부호가 변화되는 화소를 검출한다. 단조 증감 검출부(203)는, 검출된, 차분의 부호가 변화되는 화소와, 그 바로 앞쪽(정상점 P측)의 화소의 경계를, 세선의 화상이 투영된 화소로 이루어지는 세선 영역의 경계로 한다.

도 36에 있어서, 차분의 부호가 변화되는 화소와, 그 바로 앞쪽(정상점 P측)의 화소의 경계인 세선 영역의 경계는 C로 나타낸다.

또한, 단조 증감 검출부(203)는, 단조 감소 영역에 있어서, 각 화소의 화소값의 부호와, 그 화소에 공간 방향 Y으로 인접하는 화소의 화소값의 부호를 비교하고, 화소값의 부호가 변화되는 화소를 검출한다. 단조 증감 검출부(203)는, 검출된, 화소값의 부호가 변화되는 화소와, 그 바로 앞쪽(정상점 P측)의 화소의 경계를 세선 영역의 경계로 한다.

도 36에 있어서, 화소값의 부호가 변화되는 화소와, 그 바로 앞쪽(정상점 P측)의 화소와의 경계인 세선 영역의 경계는 D로 나타낸다.

도 36에 의해 나타낸 바와 같이, 세선의 화상이 투영된 화소로 이루어지는 세선 영역 F는, 세선 영역의 경계 C와, 세선 영역의 경계 D에 협지되는 영역으로 된다.

단조 증감 검출부(203)는, 이와 같은 단조 증감 영역으로 이루어지는 세선 영역 F 중, 미리 정한 임계값보다 긴 세선 영역 F, 즉 임계값보다 많은 수의 화소를 포함하는 세선 영역 F를 구한다. 예를 들면, 임계값이 3일 때, 단조 증감 검출부(203)는, 4개 이상의 화소를 포함하는 세선 영역 F를 검출한다.

또한, 이와 같이 검출된 세선 영역 F 중, 단조 증감 검출부(203)는, 정상점 P의 화소값, 및 정상점 P의 우측 화소의 화소값, 및 정상점 P의 좌측 화소의 화소값을, 각각 임계값과 비교하여, 정상점 P의 화소값이 임계값을 넘어 정상점 P의 우 측 화소의 화소값이 임계값 이하이며, 정상점 P의 좌측 화소의 화소값이 임계값 이하인 정상점 P가 속하는 세선 영역 F를 검출하고, 검출된 세선 영역 F를 세선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보로 한다.

바꾸어 말하면, 정상점 P의 화소값이 임계값 이하이거나, 정상점 P의 우측 화소의 화소값이 임계값을 초과하거나, 또는 정상점 P의 좌측 화소의 화소값이 임계값을 초과하는 정상점 P가 속하는 세선 영역 F는, 세선의 화상의 성분을 포함하지 않는 것으로 판정되고, 세선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보로부터 제거된다.

즉, 도 37에 의해 나타낸 바와 같이, 단조 증감 검출부(203)는, 정상점 P의 화소값을 임계값과 비교하고, 정상점 P에 대하여, 공간 방향 X(점선 AA'로 나타낸 방향)으로 인접하는 화소의 화소값을, 임계값과 비교하여, 정상점 P의 화소값이 임계값을 넘어 공간 방향 X으로 인접하는 화소의 화소값이 임계값 이하인, 정상점 P가 속하는 세선 영역 F를 검출한다.

도 38은, 도 37의 점선 AA'로 나타낸 공간 방향 X으로 정렬된 화소의 화소값을 나타낸 도면이다. 정상점 P의 화소값이 임계값 Th_S를 넘어 정상점 P의 공간 방향 X으로 인접하는 화소의 화소값이, 임계값 Th_S 이하인, 정상점 P가 속하는 세선 영역 F는, 세선의 성분을 포함한다.

그리고, 단조 증감 검출부(203)는, 배경의 화소값을 기준으로 하여, 정상점 P의 화소값과 배경의 화소값의 차분을 임계값과 비교하고, 정상점 P에 대하여, 공 간 방향 X으로 인접하는 화소의 화소값과 배경의 화소값의 차분을, 임계값과 비교하여, 정상점 P의 화소값과 배경의 화소값의 차분이 임계값을 넘어 공간 방향 X으로 인접하는 화소의 화소값과 배경의 화소값과의 차분이 임계값 이하인, 정상점 P가 속하는 세선 영역 F를 검출하도록 해도 된다.

단조 증감 검출부(203)는, 정상점 P를 기준으로 하여, 화소값이 단조 감소하고, 화소값의 부호가 정상점 P와 같은 화소로 이루어지는 영역으로서, 그 정상점 P가 임계값을 넘어 정상점 P의 우측 화소의 화소값이 임계값 이하이며, 정상점 P의 좌측 화소의 화소값이 임계값 이하인 것을 나타내는 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

화면의 상하 방향으로 1열로 정렬된 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역을 검출하는 경우에 있어서, 단조 증감 영역 정보에 의해 나타내는 영역에 속하는 화소는, 상하 방향으로 정렬되고, 세선의 화상이 투영된 화소를 포함한다. 즉, 단조 증감 영역 정보에 의해 나타내는 영역은, 화면의 상하 방향으로 1열로 정렬된 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역을 포함한다.

이와 같이, 정상점 검출부(202) 및 단조 증감 검출부(203)는, 세선의 화상이 투영된 화소에 있어서, 공간 방향 Y의 화소값의 변화가, 가우스 분포에 유사하다는 성질을 이용하여, 세선의 화상이 투영된 화소로 이루어지는 정상 영역을 검출한다.

연속성 검출부(204)는, 단조 증감 검출부(203)로부터 공급된 단조 증감 영역 정보에 나타낸, 상하 방향으로 정렬된 화소로 이루어지는 영역 중, 가로 방향으로 인접하고 있는 화소를 포함하는 영역, 즉 상사(相似)의 화소값의 변화를 가지고, 세로 방향으로 중복되어 있는 영역을, 연속되어 있는 영역으로서 검출하고, 정상점 정보, 및 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다. 데이터 정상성 정보는, 단조 증감 영역 정보, 및 영역의 연결을 나타내는 정보 등을 포함하고 있다.

세선이 투영된 화소에 있어서, 원호형상이 인접하도록 일정한 간격으로 정렬되므로, 검출된 연속되어 있는 영역은, 세선이 투영된 화소를 포함하고 있다.

검출된 연속되어 있는 영역이, 세선이 투영되고, 원호형상이 인접하도록 일정한 간격으로 정렬되는 화소를 포함하므로, 검출된 연속되어 있는 영역을 정상 영역으로 하고, 연속성 검출부(204)는, 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다.

즉, 연속성 검출부(204)는, 길이 방향으로 연속한다는, 실세계(1)의 세선의 화상의 정상성으로부터 생긴, 세선을 촬상하여 얻어진 데이터(3)에 있어서의, 원호형상이 인접하도록 일정한 간격으로 정렬되는 정상성을 이용하여, 정상점 검출부(202) 및 단조 증감 검출부(203)에 있어서 검출된 영역의 후보를 또한 좁혀진다.

도 39는, 단조 증감 영역의 연속성을 검출의 처리를 설명하는 도면이다.

도 39에 나타낸 바와 같이, 연속성 검출부(204)는, 화면의 세로 방향으로 1열로 정렬된 화소로 이루어지는 세선 영역 F에 대하여, 가로 방향으로 인접하는 화소를 포함하고 있을 때, 2개의 단조 증감 영역의 사이에 연속성이 있는 것으로 하고, 가로 방향으로 인접하는 화소를 포함하지 않을 때, 2개의 세선 영역 F의 사이 에 연속성이 없는 것으로 한다. 예를 들면, 화면의 세로 방향으로 1열로 정렬된 화소로 이루어지는 세선 영역 F_-1은, 화면의 세로 방향으로 1열로 정렬된 화소로 이루어지는 세선 영역 F₀의 화소와 가로 방향으로 인접하는 화소를 포함하고 있을 때, 세선 영역 F₀와 연속되어 있는 것으로 된다. 화면의 세로 방향으로 1열로 정렬된 화소로 이루어지는 세선 영역 F₀는, 화면의 세로 방향으로 1열로 정렬된 화소로 이루어지는 세선 영역 F₁의 화소와 가로 방향으로 인접하는 화소를 포함하고 있을 때, 세선 영역 F₁와 연속되어 있는 것으로 된다.

이와 같이, 정상점 검출부(202) 내지 연속성 검출부(204)에 의해, 화면의 상하 방향으로 1열로 정렬된 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역이 검출된다.

정상점 검출부(202) 내지 연속성 검출부(204)는, 전술한 바와 같이, 화면의 상하 방향으로 1열로 정렬된 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역을 검출하고, 또한 화면의 좌우방향으로 1열로 정렬된 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역을 검출한다.

그리고, 처리의 순서는, 특히 한정되지 않고, 병렬로 실행하도록 해도 되는 것은 당연하다.

즉, 정상점 검출부(202)는, 화면의 좌우방향으로 1열로 정렬된 화소를 대상으로 하여, 화면의 좌측에 위치하는 화소의 화소값, 및 화면의 우측에 위치하는 화 소의 화소값과 비교하여, 보다 큰 화소값을 가지는 화소를 정상점으로서 검출하고, 검출한 정상점의 위치를 나타내는 정상점 정보를 단조 증감 검출부(203)에 공급한다. 정상점 검출부(202)는, 1개의 화상, 예를 들면, 1프레임의 화상으로부터, 1 또는 복수개의 정상점을 검출한다.

예를 들면, 정상점 검출부(202)는, 1프레임의 화상으로부터 아직 주목 화소로 되어 있지 않은 화소 중 주목 화소를 선택하고, 주목 화소의 화소값과, 주목 화소의 좌측 화소의 화소값을 비교하고, 주목 화소의 화소값과, 주목 화소의 우측 화소의 화소값을 비교하여, 좌측 화소의 화소값보다 큰 화소값을 가지고, 우측 화소의 화소값보다 큰 화소값을 가지는 주목 화소를 검출하여, 검출된 주목 화소를 정상점으로 한다. 정상점 검출부(202)는, 검출된 정상점을 나타내는 정상점 정보를 단조 증감 검출부(203)에 공급한다.

정상점 검출부(202)가, 정상점을 검출하지 않는 경우도 있다.

단조 증감 검출부(203)는, 정상점 검출부(202)에 의해 검출된 정상점에 대하여 좌우방향으로 1열로 정렬된 화소로서, 세선의 화상이 투영된 화소로 이루어지는 영역의 후보를 검출 검출하고, 정상점 정보와 함께, 검출한 영역을 나타내는 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

보다 구체적으로는, 단조 증감 검출부(203)는, 정상점의 화소값을 기준으로 하여, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역을, 세선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다.

예를 들면, 단조 증감 검출부(203)는, 정상점에 대하여 가로로 1열의 각 화 소에 대하여, 각 화소의 화소값과, 좌측 화소의 화소값과의 차분, 및 우측 화소의 화소값과의 차분을 구한다. 그리고, 단조 증감 검출부(203)는, 차분의 부호가 변화되는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역을 검출한다.

예를 들면, 단조 증감 검출부(203)는, 각 화소의 화소값의 부호와 좌측 화소의 화소값의 부호 또는 우측 화소의 화소값의 부호를 비교하고, 화소값의 부호가 변화되는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역으로부터, 정상점과 같은 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

이와 같이, 단조 증감 검출부(203)는, 좌우방향으로 정렬되고, 정상점에 대하여 화소값이 단조 감소하고, 정상점과 같은 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는, 이와 같은 단조 증감 영역으로 이루어지는 세선 영역 중, 미리 정한 임계값보다 긴 세선 영역, 즉 임계값보다 많은 수의 화소를 포함하는 세선 영역을 구한다.

또한, 이와 같이 검출된 세선 영역 중, 단조 증감 검출부(203)는, 정상점의 화소값, 및 정상점의 위쪽의 화소의 화소값, 및 정상점의 아래쪽의 화소의 화소값을, 각각 임계값과 비교하여, 정상점의 화소값이 임계값을 넘어 정상점의 위쪽의 화소의 화소값이 임계값 이하이며, 정상점의 아래쪽의 화소의 화소값이 임계값 이하인 정상점이 속하는 세선 영역을 검출하고, 검출된 세선 영역을 세선의 화상 성분을 포함하는 화소로 이루어지는 영역의 후보로 한다.

바꾸어 말하면, 정상점의 화소값이 임계값 이하거나, 정상점의 위쪽의 화소의 화소값이 임계값을 초과하거나, 또는 정상점의 아래쪽의 화소의 화소값이 임계값을 초과하는 정상점이 속하는 세선 영역은, 세선의 화상의 성분을 포함하지 않는 것으로 판정되고, 세선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보로부터 제거된다.

그리고, 단조 증감 검출부(203)는, 배경의 화소값을 기준으로 하여, 정상점의 화소값과 배경의 화소값과의 차분을 임계값과 비교하고, 정상점에 대하여, 상하 방향으로 인접하는 화소의 화소값과 배경의 화소값과의 차분을, 임계값과 비교하여, 정상점의 화소값과 배경의 화소값과의 차분이 임계값을 넘어 상하 방향으로 인접하는 화소의 화소값과 배경의 화소값과의 차분이 임계값 이하인, 검출된 세선 영역을 세선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보로 하도록 해도 된다.

단조 증감 검출부(203)는, 정상점을 기준으로 하여, 화소값이 단조 감소하고, 화소값의 부호가 정상점과 같은 화소로 이루어지는 영역으로서, 그 정상점이 임계값을 넘어 정상점의 우측 화소의 화소값이 임계값 이하이며, 정상점의 좌측 화소의 화소값이 임계값 이하인 것을 나타내는 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

화면의 좌우방향으로 1열로 정렬된 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역을 검출하는 경우에 있어서, 단조 증감 영역 정보에 의해 나타내는 영역에 속하는 화소는, 좌우방향으로 정렬되고, 세선의 화상이 투영된 화소를 포함한다. 즉, 단조 증감 영역 정보에 의해 나타내는 영역은, 화면의 좌우방향으로 정렬된 1열의 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역을 포함한다.

연속성 검출부(204)는, 단조 증감 검출부(203)로부터 공급된 단조 증감 영역 정보에 나타내는, 좌우방향으로 정렬된 화소로 이루어지는 영역 중, 세로 방향으로 인접하고 있는 화소를 포함하는 영역, 즉 상사의 화소값의 변화를 가지고, 가로 방향으로 중복되어 있는 영역을, 연속되어 있는 영역으로서 검출하고, 정상점 정보, 및 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다. 데이터 정상성 정보는, 영역의 연결을 나타내는 정보를 포함하고 있다.

즉, 연속성 검출부(204)는, 길이 방향으로 연속한다는, 실세계(1)의 세선의 화상의 정상성으로부터 생긴, 세선을 촬상하여 얻어진 데이터(3)에 있어서의, 원호형상이 인접하도록 일정한 간격으로 정렬되는 정상성을 이용하여, 정상점 검출부 (202) 및 단조 증감 검출부(203)에 있어서 검출된 영역의 후보가 더욱 좁혀진다.

이와 같이, 데이터 정상성 검출부(101)는, 입력 화상인 데이터(3)에 포함되어 있는 정상성을 검출할 수 있다. 즉, 데이터 정상성 검출부(101)는, 세선인 실세계(1)의 화상이 데이터(3)에 투영되는 것에 의해 생긴, 데이터(3)에 포함되는 데이터의 정상성을 검출할 수 있다. 데이터 정상성 검출부(101)는, 데이터(3)로부터, 세선인 실세계(1)의 화상이 투영된 화소로 이루어지는 영역을 검출한다.

도 40은, 정상성 검출부(101)에 있어서의, 세선의 화상이 투영되고, 정상성을 가지는 영역의 검출의 다른 처리의 예를 나타낸 도면이다.

정상성 검출부(101)는, 도 40에 나타낸 바와 같이, 각 화소에 대하여, 인접하는 화소와의 화소값의 차분의 절대값을 계산한다. 계산된 차분의 절대값은, 화소에 대응하여, 배치된다. 예를 들면, 도 40에 나타낸 바와 같이, 화소값이 각각 P0, P1, P2인 화소가 나란히 있을 때, 정상성 검출부(101)는, 차분 d0= P0-P1 및 차분 d1= P1-P2를 계산한다. 또한, 정상성 검출부(101)는, 차분 d0 및 차분 d1의 절대값을 산출한다.

화소값 P0, P1, 및 P2에 포함되어 있는 비정상성 성분이 동일할 때, 차분 d0 및 차분 d1에는, 세선의 성분에 대응한 값만이 설정되게 된다.

따라서, 정상성 검출부(101)는, 화소에 대응하여 배치되어 있는 차분의 절대값 중, 인접하는 차분의 값이 동일할 때, 그 2개의 차분의 절대값에 대응하는 화소(2개의 차분의 절대값에 협지된 화소)에 세선의 성분이 포함되어 있는 것으로 판정한다. 단, 정상성 검출부(101)는, 그 차분의 절대값이 작은 경우는 세선으로서 검 출하지 않아도 된다. 예를 들어, 그 차분의 절대값이 임계값 이상일 때, 정상성 검출부(101)는, 그 화소에 세선의 성분이 포함되어 있는 것으로 판정한다.

정상성 검출부(101)에 있어서는, 이와 같은, 간편한 방법으로 세선을 검출할 수도 있다.

도 41은, 정상성 검출의 처리를 설명하는 플로차트이다.

스텝 S201에 있어서, 비정상 성분 추출부(201)는, 입력 화상으로부터, 세선이 투영된 부분 이외의 부분인 비정상 성분을 추출한다. 비정상 성분 추출부(201)는, 입력 화상과 함께, 추출된 비정상 성분을 나타내는 비정상 성분 정보를 정상점 검출부(202) 및 단조 증감 검출부(203)에 공급한다. 비정상 성분의 추출 처리의 자세한 것은, 후술한다.

스텝 S202에 있어서, 정상점 검출부(202)는, 비정상 성분 추출부(201)로부터 공급된 비정상 성분 정보를 기초로, 입력 화상으로부터 비정상 성분을 제거하고, 입력 화상에 정상 성분을 포함하는 화소만을 남긴다. 또한, 스텝 S202에 있어서, 정상점 검출부(202)는, 정상점을 검출한다.

즉, 정상점 검출부(202)는, 화면의 세로 방향을 기준으로 하여, 처리를 실행하는 경우, 정상 성분을 포함하는 화소에 대하여, 각 화소의 화소값과, 위쪽 및 아래쪽의 화소의 화소값을 비교하여, 위쪽의 화소의 화소값 및 아래쪽의 화소의 화소값보다 큰 화소값을 가지는 화소를 검출함으로써, 정상점을 검출한다. 또, 스텝 S202에 있어서, 정상점 검출부(202)는, 화면의 가로 방향을 기준으로 하여, 처리를 실행하는 경우, 정상 성분을 포함하는 화소에 대하여, 각 화소의 화소값과, 우측 및 좌측 화소의 화소값을 비교하여, 우측 화소의 화소값 및 좌측 화소의 화소값보다 큰 화소값을 가지는 화소를 검출함으로써, 정상점을 검출한다.

정상점 검출부(202)는, 검출한 정상점을 나타내는 정상점 정보를 단조 증감 검출부(203)에 공급한다.

스텝 S203에 있어서, 단조 증감 검출부(203)는, 비정상 성분 추출부(201)로부터 공급된 비정상 성분 정보를 기초로, 입력 화상으로부터 비정상 성분을 제거하고, 입력 화상에 정상 성분을 포함하는 화소만을 남긴다. 또한, 스텝 S203에 있어서, 단조 증감 검출부(203)는, 정상점 검출부(202)로부터 공급된, 정상점의 위치를 나타내는 정상점 정보를 기초로, 정상점에 대한 단조 증감을 검출함으로써, 데이터의 정상성을 가지는 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는, 화면의 세로 방향을 기준으로 하여, 처리를 실행하는 경우, 정상점의 화소값, 및 정상점에 대하여 세로로 1열로 정렬된 화소의 화소값을 기초로, 세로로 정렬된 1열의 화소로서, 1개의 세선의 화상이 투영된 화소로 이루어지는 단조 증감을 검출함으로써, 데이터의 정상성을 가지는 화소로 이루어지는 영역을 검출한다. 즉, 스텝 S203에 있어서, 단조 증감 검출부(203)는, 화면의 세로 방향을 기준으로 하여, 처리를 실행하는 경우, 정상점 및 정상점에 대하여 세로로 1열로 정렬된 화소에 대하여, 각 화소의 화소값과, 위쪽 또는 아래쪽의 화소의 화소값의 차분을 구하여, 차분의 부호가 변화되는 화소를 검출한다. 또, 단조 증감 검출부(203)는, 정상점 및 정상점에 대하여 세로로 1열로 정렬된 화소에 대하여, 각 화소의 화소값의 부호와 그 화소의 위쪽 또는 아래쪽의 화소의 화소값 의 부호를 비교하고, 화소값의 부호가 변화되는 화소를 검출한다. 또한, 단조 증감 검출부(203)는, 정상점의 화소값, 및 정상점의 우측 및 좌측 화소의 화소값을, 임계값과 비교하여, 정상점의 화소값이 임계값을 넘어 우측 및 좌측 화소의 화소값이 임계값 이하인 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는, 이와 같이 검출된 영역을 단조 증감 영역으로서, 단조 증감 영역을 나타내는 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

또, 단조 증감 검출부(203)는, 화면의 가로 방향을 기준으로 하여, 처리를 실행하는 경우, 정상점의 화소값, 및 정상점에 대하여 가로로 1열로 정렬된 화소의 화소값을 기초로, 가로로 정렬된 1열의 화소로서, 1개의 세선의 화상이 투영된 화소로 이루어지는 단조 증감을 검출함으로써, 데이터의 정상성을 가지는 화소로 이루어지는 영역을 검출한다. 즉, 스텝 S203에 있어서, 단조 증감 검출부(203)는, 화면의 가로 방향을 기준으로 하여, 처리를 실행하는 경우, 정상점 및 정상점에 대하여 가로로 1열로 정렬된 화소에 대하여, 각 화소의 화소값과, 좌측 또는 우측 화소의 화소값의 차분을 구하여, 차분의 부호가 변화되는 화소를 검출한다. 또, 단조 증감 검출부(203)는, 정상점 및 정상점에 대하여 가로로 1열로 정렬된 화소에 대하여, 각 화소의 화소값의 부호와 그 화소의 좌측 또는 우측 화소의 화소값의 부호를 비교하고, 화소값의 부호가 변화되는 화소를 검출한다. 또한, 단조 증감 검출부(203)는, 정상점의 화소값, 및 정상점의 위쪽 및 아래쪽의 화소의 화소값을, 임계값과 비교하여, 정상점의 화소값이 임계값을 넘어 위쪽 및 아래쪽의 화소의 화 소값이 임계값 이하인 화소로 이루어지는 영역을 검출한다.

스텝 S204에 있어서, 단조 증감 검출부(203)는, 모든 화소의 처리가 종료하였는지 여부를 판정한다. 예를 들면, 비정상 성분 추출부(201)는, 입력 화상의 하나의 화면(예를 들면, 프레임 또는 필드 등)의 모든 화소에 대하여, 정상점을 검출하고, 단조 증감 영역을 검출했는지 여부를 판정한다.

스텝 S204에 있어서, 모든 화소의 처리가 종료되어 있지 않은, 즉 정상점의 검출 및 단조 증감 영역의 검출의 처리의 대상으로 되어 있지 않은 화소가 아직 있는 것으로 판정 경우, 스텝 S202로 복귀하고, 정상점의 검출 및 단조 증감 영역의 검출의 처리의 대상으로 되어 있지 않은 화소로부터 처리의 대상이 되는 화소를 선택하여, 정상점의 검출 및 단조 증감 영역의 검출의 처리를 반복한다.

스텝 S204에 있어서, 모든 화소의 처리가 종료한, 즉 모든 화소를 대상으로 하여 정상점 및 단조 증감 영역이 검출된 것으로 판정된 경우, 스텝 S205로 진행하고, 연속성 검출부(204)는, 단조 증감 영역 정보를 기초로, 검출된 영역의 연속성을 검출한다. 예를 들면, 연속성 검출부(204)는, 단조 증감 영역 정보에 나타낸, 화면의 세로 방향으로 1열로 정렬된 화소로 이루어지는 단조 증감 영역에 대하여, 가로 방향으로 인접하는 화소를 포함하고 있을 때, 2개의 단조 증감 영역의 사이에 연속성이 있는 것으로 하고, 가로 방향으로 인접하는 화소를 포함하지 않을 때, 2 개의 단조 증감 영역의 사이에 연속성이 없는 것으로 한다. 예를 들면, 연속성 검출부(204)는, 단조 증감 영역 정보에 나타낸, 화면의 가로 방향으로 1열로 정렬된 화소로 이루어지는 단조 증감 영역에 대하여, 세로 방향으로 인접하는 화소를 포함하고 있을 때, 2개의 단조 증감 영역의 사이에 연속성이 있는 것으로 하고, 세로 방향으로 인접하는 화소를 포함하지 않을 때, 2개의 단조 증감 영역의 사이에 연속성이 없는 것으로 한다.

연속성 검출부(204)는, 검출된 연속되어 있는 영역을 데이터의 정상성을 가지는 정상 영역으로 하고, 정상점의 위치 및 정상 영역을 나타내는 데이터 정상성 정보를 출력한다. 데이터 정상성 정보는, 영역의 연결을 나타내는 정보를 포함하고 있다. 연속성 검출부(204)로부터 출력되는 데이터 정상성 정보는, 실세계(1)의 세선의 화상이 투영된 화소로 이루어지는, 정상 영역인 세선 영역을 나타낸다.

스텝 S206에 있어서, 정상성 방향 검출부(205)는, 모든 화소의 처리가 종료하였는지 여부를 판정한다. 즉, 정상성 방향 검출부(205)는, 입력 화상의 소정의 프레임의 모든 화소에 대하여, 영역의 연속성을 검출했는지 여부를 판정한다.

스텝 S206에 있어서, 모든 화소의 처리가 종료되어 있지 않은, 즉 영역의 연속성의 검출의 처리의 대상으로 되어 있지 않은 화소가 아직 있는 것으로 판정 경우, 스텝 S205로 복귀하고, 영역의 연속성의 검출의 처리의 대상으로 되어 있지 않은 화소로부터 처리의 대상이 되는 화소를 선택하여, 영역의 연속성의 검출의 처리를 반복한다.

스텝 S206에 있어서, 모든 화소의 처리가 종료한, 즉 모든 화소를 대상으로 하여 영역의 연속성이 검출되는 것으로 판정된 경우, 처리는 종료한다.

이와 같이, 입력 화상인 데이터(3)에 포함되어 있는 정상성이 검출된다. 즉, 세선인 실세계(1)의 화상이 데이터(3)에 투영되는 것에 의해 생긴, 데이터(3)에 포함되는 데이터의 정상성이 검출되고, 데이터(3)로부터, 세선인 실세계(1)의 화상이 투영된 화소로 이루어지는, 데이터의 정상성을 가지는 영역이 검출된다.

그리고, 도 30에 구성이 도시된 데이터 정상성 검출부(101)는, 데이터(3)의 프레임으로부터 검출된 데이터의 정상성을 가지는 영역을 기초로, 시간 방향의 데이터의 정상성을 검출할 수 있다.

예를 들면, 도 42에 나타낸 바와 같이, 연속성 검출부(204)는, 프레임#n에 있어서, 검출된 데이터의 정상성을 가지는 영역, 프레임#n-1에 있어서, 검출된 데이터의 정상성을 가지는 영역, 및 프레임#n+1에 있어서, 검출된 데이터의 정상성을 가지는 영역을 기초로, 영역의 단부(端部)를 연결함으로써, 시간 방향의 데이터의 정상성을 검출한다.

보다 구체적으로는, 도 42에 있어서, G는, 프레임#n에 있어서, 검출된 데이터의 정상성을 가지는 영역, 프레임#n-1에 있어서, 검출된 데이터의 정상성을 가지는 영역, 및 프레임#n+1에 있어서, 검출된 데이터의 정상성을 가지는 영역의 각각의 일단을 연결함으로써 얻어진 모션 벡터를 나타내고, G'는, 검출된 데이터의 정 상성을 가지는 영역의 각각의 다른 일단을 연결함으로써 얻어진 모션 벡터를 나타낸다. 모션 벡터 G 및 모션 벡터 G'는, 시간 방향의 데이터의 정상성의 일례이다.

또한, 도 30에 구성이 도시된 데이터 정상성 검출부(101)는, 데이터의 정상성을 가지는 영역의 길이를 나타내는 정보를, 데이터 정상성 정보로서 출력할 수 있다.

도 43은, 데이터의 정상성을 가지고 있지 않은 화상 데이터 부분인 비정상 성분을 평면에서 근사시켜, 비정상 성분을 추출하는, 비정상 성분 추출부(201)의 구성을 나타낸 블록도이다.

도 43에 구성을 나타낸 비정상 성분 추출부(201)는, 입력 화상으로부터 소정수의 화소로 되는 블록을 추출하고, 블록과 평면으로 나타내는 값과의 오차가 소정의 임계값 미만으로 되도록, 블록을 평면에서 근사시켜, 비정상 성분을 추출한다.

입력 화상은, 블록 추출부(221)에 공급되어, 그대로 출력된다.

블록 추출부(221)는, 입력 화상으로부터, 소정수의 화소로 이루어지는 블록을 추출한다. 예를 들면, 블록 추출부(221)는, 7×7의 화소로 이루어지는 블록을 추출하고, 평면 근사부(222)에 공급한다. 예를 들면, 블록 추출부(221)는, 추출되는 블록의 중심으로 되는 화소를 라스터 스캔 순으로 이동시켜, 차례로, 입력 화상으로부터 블록을 추출한다.

평면 근사부(222)는, 블록에 포함되는 화소의 화소값을 소정의 평면에서 근사시킨다. 예를 들면, 평면 근사부(222)는, 식(32)에 의해 표현되는 평면에서 블록에 포함되는 화소의 화소값을 근사시킨다.

…(32)

식(32)에 있어서, x는, 화소의 화면 상의 한쪽의 방향(공간 방향 X)의 위치를 나타내고, y는, 화소의 화면 상의 다른 한쪽의 방향(공간 방향 Y)의 위치를 나타낸다. z는, 평면으로 나타내는 근사값을 나타낸다. a는, 평면의 공간 방향 X의 경사를 나타내고, b는, 평면의 공간 방향 Y의 경사를 나타낸다. 식(32)에 있어서, c는, 평면의 오프셋(절편(切片))을 나타낸다.

예를 들면, 평면 근사부(222)는, 회귀의 처리에 의해, 경사 a, 경사 b, 및 오프셋 c를 구함으로써, 식(32)에 의해 표현되는 평면에서, 블록에 포함되는 화소의 화소값을 근사시킨다. 평면 근사부(222)는, 기각(棄却)을 따른 회귀의 처리에 의해, 경사 a, 경사 b, 및 오프셋 c를 구함으로써, 식(32)에 의해 표현되는 평면에서, 블록에 포함되는 화소의 화소값을 근사시킨다.

예를 들면, 평면 근사부(222)는, 최소 제곱법에 의해, 블록의 화소의 화소값에 대하여, 오차가 최소로 되는 식(32)에 의해 표현되는 평면을 구함으로써, 평면에서 블록에 포함되는 화소의 화소값을 근사시킨다.

그리고, 평면 근사부(222)는, 식(32)에 의해 표현되는 평면에서 블록을 근사하면 설명하였으나, 식(32)에 의해 표현되는 평면에 한정되지 않고, 보다 높은 자유도를 가진 함수, 예를 들면, n차(n은, 임의의 정수)의 다항식에 의해 표현되는 면에서 블록을 근사시키도록 해도 된다.

반복 판정부(223)는, 블록의 화소값을 근사시킨 평면으로 나타내는 근사값과 블록의 대응하는 화소의 화소값의 오차를 계산한다. 식(33)은, 블록의 화소값을 근사시킨 평면으로 나타내는 근사값과, 블록의 대응하는 화소의 화소값 z_i와의 차분인 오차 e_i를 나타낸 식이다.

…(33)

식(33)에 있어서, z하트(z에^를 부가한 문자를 z하트라고 기술한다. 이하, 본 명세서에 있어서, 마찬가지로 기재함)는, 블록의 화소값을 근사시킨 평면으로 나타내는 근사값을 나타내고, a하트는, 블록의 화소값을 근사시킨 평면의 공간 방향 X의 경사를 나타내고, b하트는, 블록의 화소값을 근사시킨 평면의 공간 방향 Y의 경사를 나타낸다. 식(33)에 있어서, c하트는, 블록의 화소값을 근사시킨 평면의 오프셋(절편)을 나타낸다.

반복 판정부(223)는, 식(33)에서 나타내는, 근사값과 블록의 대응하는 화소의 화소값과의 오차 e_i가, 가장 큰 화소를 기각된다. 이와 같이 함으로써, 세선이 투영된 화소, 즉 정상성을 가지는 화소가 기각되게 된다. 반복 판정부(223)는, 기각된 화소를 나타내는 기각 정보를 평면 근사부(222)에 공급한다.

또한, 반복 판정부(223)는, 표준오차를 산출하여, 표준오차가, 미리 정한 근사 종료 판정용의 임계값 이상이며, 블록의 화소 중, 반 이상의 화소가 기각되어 있지 않았을 때, 반복 판정부(223)는, 평면 근사부(222)에, 블록에 포함되는 화소 중, 기각된 화소를 제외한 화소를 대상으로 하여, 평면에 의한 근사의 처리를 반복 하게 한다.

정상성을 가지는 화소가 기각되므로, 기각된 화소를 제외한 화소를 대상으로 하여 평면에서 근사를 행함으로써, 평면은, 비정상 성분을 근사시키게 된다.

반복 판정부(223)는, 표준오차가, 근사 종료 판정용의 임계값 미만일 때, 또는 블록의 화소 중, 반 이상의 화소가 기각되었을 때, 평면에 의한 근사를 종료한다.

5×5의 화소로 이루어지는 블록에 대하여, 표준오차 e_s는, 예를 들면, 식(34)에 의해 산출된다.

…(34)

여기서, n은, 화소의 수이다.

그리고, 반복 판정부(223)는, 표준오차에 한정되지 않고, 블록에 포함되는 모든 화소에 대한 오차의 2승의 합을 산출하여, 이하의 처리를 실행하도록 해도 된다.

여기서, 라스터 스캔 방향으로 1화소씩 어긋난 블록을 평면에서 근사시킬 때, 도 44에 나타낸 바와 같이, 도면 중 검은 원으로 나타낸, 정상성을 가지는 화소, 즉 세선의 성분을 포함하는 화소는, 복수회 기각되게 된다.

반복 판정부(223)는, 평면에 의한 근사를 종료했을 때, 블록의 화소값을 근 사시킨 평면을 나타내는 정보(식(32)의 평면의 경사 및 절편)을, 비정상 성분 정보로서 출력한다.

그리고, 반복 판정부(223)는, 화소마다의 기각된 회수와 미리 정한 임계값을 비교하여, 기각된 회수가 임계값 이상인 화소를 정상 성분을 포함하는 화소인 것으로 하여, 정상 성분을 포함하는 화소를 나타내는 정보를 정상 성분 정보로서 출력하도록 해도 된다. 이 경우, 정상점 검출부(202) 내지 정상성 방향 검출부(205)는, 정상 성분 정보에 나타낸, 정상 성분을 포함하는 화소를 대상으로 하여, 각각의 처리를 실행한다.

기각된 회수, 블록의 화소의 화소값을 근사시키는 평면의 공간 방향 X의 경사, 블록의 화소의 화소값을 근사시키는 평면의 공간 방향 Y의 경사, 블록의 화소의 화소값을 근사시키는 평면으로 나타내는 근사값, 및 오차 e_i는, 입력 화상의 특징량으로서도 이용할 수 있다.

도 45는, 스텝 S201에 대응하는, 도 43에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 비정상 성분의 추출 처리를 설명하는 플로차트이다.

스텝 S221에 있어서, 블록 추출부(221)는, 입력 화소로부터, 소정수의 화소로 이루어지는 블록을 추출하고, 추출한 블록을 평면 근사부(222)에 공급한다. 예를 들면, 블록 추출부(221)는, 입력 화소로부터, 또, 선택되어 있지 않은 화소 중, 1개의 화소를 선택하고, 선택된 화소를 중심으로 하는 7×7의 화소로 이루어지는 블록을 추출한다. 예를 들면, 블록 추출부(221)는, 라스터 스캔 순으로 화소를 선 택할 수 있다.

스텝 S222에 있어서, 평면 근사부(222)는, 추출된 블록을 평면에서 근사시킨다. 평면 근사부(222)는, 예를 들면, 회귀의 처리에 의해, 추출된 블록의 화소의 화소값을, 평면에서 근사시킨다. 예를 들면, 평면 근사부(222)는, 회귀의 처리에 의해, 추출된 블록의 화소 중, 기각된 화소를 제외한 화소의 화소값을, 평면에서 근사시킨다. 스텝 S223에 있어서, 반복 판정부(223)는, 반복 판정을 실행한다. 예를 들면, 블록의 화소의 화소값과 근사시킨 평면의 근사값으로부터 표준오차를 산출하고, 기각된 화소의 수를 카운트함으로써, 반복 판정을 실행한다.

스텝 S224에 있어서, 반복 판정부(223)는, 표준오차가 임계값 이상인지 여부를 판정하고, 표준오차가 임계값 이상인 것으로 판정된 경우, 스텝 S225으로 진행한다.

그리고, 스텝 S224에 있어서, 반복 판정부(223)는, 블록의 화소 중, 반 이상의 화소가 기각되었는지 여부, 및 표준오차가 임계값 이상인지 여부를 판정하고, 블록의 화소 중, 반 이상의 화소가 기각되어 있지 않고, 표준오차가 임계값 이상인 것으로 판정된 경우, 스텝 S225로 진행하도록 해도 된다.

스텝 S225에 있어서, 반복 판정부(223)는, 블록의 화소마다, 화소의 화소값과 근사시킨 평면의 근사값과의 오차를 산출하고, 오차가 가장 큰 화소를 기각하고, 평면 근사부(222)에 통지한다. 수속은, 스텝 S222로 복귀하고, 기각된 화소를 제외한, 블록의 화소를 대상으로 하여, 평면에 의한 근사의 처리 및 반복 판정의 처리가 반복된다.

스텝 S225에 있어서, 라스터 스캔 방향으로 1화소씩 어긋난 블록이 스텝 S221의 처리로 추출되는 경우, 도 44에 나타낸 바와 같이, 세선의 성분을 포함하는 화소(도면 중의 검은 원으로 나타낸)는, 복수회 기각되게 된다.

스텝 S224에 있어서, 표준오차가 임계값 이상이 아닌 것으로 판정된 경우, 블록이 평면에서 근사되었으므로, 스텝 S226으로 진행한다.

그리고, 스텝 S224에 있어서, 반복 판정부(223)는, 블록의 화소 중, 반 이상의 화소가 기각되었는지 여부, 및 표준오차가 임계값 이상인지 여부를 판정하고, 블록의 화소 중, 반 이상의 화소가 기각되었는지, 또는 표준오차가 임계값 이상이 아닌 것으로 판정된 경우, 스텝 S225로 진행하도록 해도 된다.

스텝 S226에 있어서, 반복 판정부(223)는, 블록의 화소의 화소값을 근사시키는 평면의 경사 및 절편을, 비정상 성분 정보로서 출력한다.

스텝 S227에 있어서, 블록 추출부(221)는, 입력 화상의 하나의 화면의 모든 화소에 대하여 처리를 종료하였는지 여부를 판정하고, 아직 처리의 대상으로 되어 있지 않은 화소가 있는 것으로 판정된 경우, 스텝 S221으로 복귀하고, 아직 처리의 대상으로 되어 있지 않은 화소로부터 블록을 추출하여, 전술한 처리를 반복한다.

스텝 S227에 있어서, 입력 화상의 하나의 화면의 모든 화소에 대하여, 처리를 종료했다고 판정된 경우, 처리는 종료한다.

이와 같이, 도 43에 구성을 나타낸 비정상 성분 추출부(201)는, 입력 화상으로부터 비정상 성분을 추출할 수 있다. 비정상 성분 추출부(201)가 입력 화상의 비정상 성분을 추출하므로, 정상점 검출부(202) 및 단조 증감 검출부(203)는, 입력 화상과, 비정상 성분 추출부(201)에 의해 추출된 비정상 성분과의 차분을 구함으로써, 정상 성분을 포함하는 차분을 대상으로 하여 처리를 실행할 수 있다.

그리고, 평면에 의한 근사의 처리에 있어서 산출되는, 기각된 경우의 표준오차, 기각하지 않는 경우의 표준오차, 화소의 기각된 회수, 평면의 공간 방향 X의 경사(식(32)에 있어서의 a하트), 평면의 공간 방향 Y의 경사(식(32)에 있어서의 b하트), 평면에서 치환했을 때의 레벨(식(32)에 있어서의 c하트), 및 입력 화상의 화소값과 평면으로 나타내는 근사값의 차분은, 특징량으로서 이용할 수 있다.

도 46은, 스텝 S201에 대응하는 비정상 성분의 추출 처리에 대신하는, 도 43에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 정상 성분의 추출 처리를 설명하는 플로차트이다. 스텝 S241 내지 스텝 S245의 처리는, 스텝 S221 내지 스텝 S225의 처리와 마찬가지이므로, 그 설명은 생략한다.

스텝 S246에 있어서, 반복 판정부(223)는, 평면으로 나타내는 근사값과 입력 화상의 화소값의 차분을, 입력 화상의 정상 성분으로서 출력한다. 즉, 반복 판정부(223)는, 평면에 의한 근사값과 진값인 화소값의 차분을 출력한다.

그리고, 반복 판정부(223)는, 평면으로 나타내는 근사값과 입력 화상의 화소값의 차분이, 소정의 임계값 이상인 화소의 화소값을, 입력 화상의 정상 성분으로서 출력하도록 해도 된다.

스텝 S247의 처리는, 스텝 S227의 처리와 마찬가지이므로, 그 설명은 생략한다.

평면이 비정상 성분을 근사시키고 있으므로, 비정상 성분 추출부(201)는, 입 력 화상의 각 화소의 화소값으로부터, 화소값을 근사시키는 평면으로 나타내는 근사값을 뺌으로써, 입력 화상으로부터 비정상 성분을 제거할 수 있다. 이 경우, 정상점 검출부(202) 내지 연속성 검출부(204)는, 입력 화상의 정상 성분, 즉 세선의 화상이 투영된 값만을 처리의 대상으로 할 수 있어, 정상점 검출부(202) 내지 연속성 검출부(204)에 있어서의 처리가 보다 용이하게 된다.

도 47은, 스텝 S201에 대응하는 비정상 성분의 추출 처리에 대신하는, 도 43에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 정상 성분의 추출의 다른 처리를 설명하는 플로차트이다. 스텝 S261 내지 스텝 S265의 처리는, 스텝 S221 내지 스텝 S225의 처리와 마찬가지이므로, 그 설명은 생략한다.

스텝 S266에 있어서, 반복 판정부(223)는, 화소마다의, 기각의 회수를 기억하고, 스텝 S262로 복귀하고, 처리를 반복한다.

스텝 S264에 있어서, 표준오차가 임계값 이상이 아닌 것으로 판정된 경우, 블록이 평면으로 근사되었으므로, 스텝 S267로 진행하고, 반복 판정부(223)는, 입력 화상의 하나의 화면의 모든 화소에 대하여 처리를 종료하였는지 여부를 판정하고, 아직 처리의 대상으로 되어 있지 않은 화소가 있는 것으로 판정된 경우, 스텝 S261로 복귀하고, 아직 처리의 대상으로 되어 있지 않은 화소에 대하여 블록을 추출하여, 전술한 처리를 반복한다.

스텝 S267에 있어서, 입력 화상의 하나의 화면의 모든 화소에 대하여, 처리를 종료했다고 판정된 경우, 스텝 S268로 진행하고, 반복 판정부(223)는, 아직 선택되어 있지 않은 화소로부터 1개의 화소를 선택하고, 선택된 화소에 대하여, 기각 의 회수가, 임계값 이상인지 여부를 판정한다. 예를 들면, 반복 판정부(223)는, 스텝 S268에 있어서, 선택된 화소에 대하여, 기각의 회수가, 미리 기억하고 있는 임계값 이상인지 여부를 판정한다.

스텝 S268에 있어서, 선택된 화소에 대하여, 기각의 회수가, 임계값 이상인 것으로 판정된 경우, 선택된 화소가 정상 성분을 포함하므로, 스텝 S269로 진행하고, 반복 판정부(223)는, 선택된 화소의 화소값(입력 화상에 있어서의 화소값)을 입력 화상의 정상 성분으로서 출력하고, 스텝 S270으로 진행한다.

스텝 S268에 있어서, 선택된 화소에 대하여, 기각의 회수가, 임계값 이상이 아닌 것으로 판정된 경우, 선택된 화소가 정상 성분을 포함하지 않기 때문에, 스텝 S269의 처리를 스킵하고, 수속은, 스텝 S270으로 진행한다. 즉, 기각의 회수가, 임계값 이상이 아닌 것으로 판정된 화소는, 화소값이 출력되지 않는다.

그리고, 기각의 회수가, 임계값 이상이 아닌 것으로 판정된 화소에 대하여, 반복 판정부(223)는, 0을 설정한 화소값을 출력하도록 해도 된다.

스텝 S270에 있어서, 반복 판정부(223)는, 입력 화상의 하나의 화면의 모든 화소에 대하여, 기각의 회수가 임계값 이상인지 여부의 판정의 처리를 종료하였는지 여부를 판정하고, 모든 화소에 대하여 처리를 종료하지 않은 것으로 판정된 경우, 아직 처리의 대상으로 되어 있지 않은 화소가 있으므로, 스텝 S268으로 복귀하고, 아직 처리의 대상으로 되어 있지 않은 화소로부터 1개의 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S270에 있어서, 입력 화상의 하나의 화면의 모든 화소에 대하여 처리를 종료했다고 판정된 경우, 처리는 종료한다.

이와 같이, 비정상 성분 추출부(201)는, 정상 성분 정보로서, 입력 화상의 화소 중, 정상 성분을 포함하는 화소의 화소값을 출력할 수 있다. 즉, 비정상 성분 추출부(201)는, 입력 화상의 화소 중, 세선의 화상의 성분을 포함하는 화소의 화소값을 출력할 수 있다.

도 48은, 스텝 S201에 대응하는 비정상 성분의 추출 처리에 대신하는, 도 43에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 정상 성분의 추출의 또다른 처리를 설명하는 플로차트이다. 스텝 S281 내지 스텝 S288의 처리는, 스텝 S261 내지 스텝 S268의 처리와 마찬가지이므로, 그 설명은 생략한다.

스텝 S289에 있어서, 반복 판정부(223)는, 평면으로 나타내는 근사값과, 선택된 화소의 화소값과의 차분을 입력 화상의 정상 성분으로서 출력한다. 즉, 반복 판정부(223)는, 입력 화상으로부터 비정상 성분을 제거한 화상을 정상성 정보로서 출력한다.

스텝 S290의 처리는, 스텝 S270의 처리와 마찬가지이므로, 그 설명은 생략한다.

이와 같이, 비정상 성분 추출부(201)는, 입력 화상으로부터 비정상 성분을 제거한 화상을 정상성 정보로서 출력할 수 있다.

이상과 같이, 현실 세계의 광신호가 투영되고, 현실 세계의 광신호의 정상성의 일부가 결락된, 제1 화상 데이터의 복수개의 화소의 화소값의 불연속부를 검출하고, 검출된 불연속부로부터 데이터의 정상성을 검출하고, 검출된 데이터의 정상 성을 기초로, 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 근사시키는 모델(함수)을 생성하고, 생성된 함수에 따라 제2 화상 데이터를 생성하도록 한 경우, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도 높은 처리 결과를 얻을 수 있게 된다.

도 49는, 데이터 정상성 검출부(101)의 다른 구성을 나타낸 블록도이다.

도 49에 구성을 나타낸 데이터 정상성 검출부(101)에 있어서는, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향에 대한 화소값의 변화, 즉 입력 화상의 공간 방향의 액티비티가 검출되고, 검출된 액티비티에 따라, 주목 화소 및 기준축을 기준으로 한 각도마다, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정수의 화소로 이루어지는 화소의 세트가, 복수개 추출되어 추출된 화소의 세트의 상관이 검출되어 상관에 따라, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터의 정상성의 각도가 검출된다.

데이터의 정상성의 각도란, 기준축과, 데이터(3)가 가지고 있는, 일정한 특징이 반복 나타나는 소정 차원의 방향이 이루는 각도를 말한다. 일정한 특징이 반복 나타난다는 것은, 예를 들면, 데이터(3)에 있어서의 위치의 변화에 대한 값의 변화, 즉 단면 형상이 같은 경우 등을 말한다.

기준축은, 예를 들면, 공간 방향 X를 나타내는 축(화면의 수평 방향), 또는 공간 방향 Y를 나타내는 축(화면의 수직 방향) 등으로 할 수 있다.

입력 화상은, 액티비티 검출부(401) 및 데이터 선택부(402)에 공급된다.

액티비티 검출부(401)는, 입력 화상의 공간 방향에 대한 화소값의 변화, 즉 공간 방향의 액티비티를 검출하여, 검출한 결과를 나타내는 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

예를 들면, 액티비티 검출부(401)는, 화면의 수평 방향에 대한 화소값의 변화, 및 화면의 수직 방향에 대한 화소값의 변화를 검출하고, 검출된 수평 방향에 대한 화소값의 변화 및 수직 방향에 대한 화소값의 변화를 비교함으로써, 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰지, 또는 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰지를 검출한다.

액티비티 검출부(401)는, 검출의 결과인, 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 것을 나타내거나, 또는 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 것을 나타내는 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 경우, 예를 들면, 도 50에 의해 나타낸 바와 같이, 수직 방향으로 1열의 화소에 원호형상(어묵형) 또는 폴형상이 형성되고, 원호형상 또는 폴형상이 수직으로부터 가까운 방향으로 반복하여 형성되어 있다. 즉, 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 경우, 기준축을 공간 방향 X를 나타내는 축으로 하면, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터의 정상성의 각도는, 45도 내지 90도 중 어느 하나의 값이다.

수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 경우, 예를 들면, 수평 방향으로 1열의 화소에 원호형상 또는 폴형상이 형성되고, 원호형상 또는 폴형상이 수평 방향으로부터 가까운 방향으로 반복하여 형성되어 있다. 즉, 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 경우, 기준축을 공간 방향 X를 나타내는 축으로 하면, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터의 정상성의 각도는, 0도 내지 45도 중 어느 하나의 값이다.

예를 들면, 액티비티 검출부(401)는, 도 51에 나타낸, 주목 화소를 중심으로 한 3×3의 9개의 화소로 이루어지는 블록을 입력 화상으로부터 추출한다. 액티비티 검출부(401)는, 세로로 인접하는 화소에 대한 화소값의 차분의 합, 및 가로로 인접하는 화소에 대한 화소값의 차분의 합을 산출한다. 가로로 인접하는 화소에 대한 화소값의 차분의 합 h_diff는, 식(35)에 의해 구해진다.

…(35)

마찬가지로, 세로로 인접하는 화소에 대한 화소값의 차분의 합 v_diff는, 식(36)에 의해 구해진다.

…(36)

식(35) 및 식(36)에 있어서, P는, 화소값을 나타내고, i는, 화소의 가로 방 향의 위치를 나타내고, j는, 화소의 세로 방향의 위치를 나타낸다.

액티비티 검출부(401)는, 산출된 가로로 인접하는 화소에 대한 화소값의 차분의 합 h_diff 및 세로로 인접하는 화소에 대한 화소값의 차분의 합 v_diff를 비교하여, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터의 정상성의 각도의 범위를 판정하도록 해도 된다. 즉, 이 경우, 액티비티 검출부(401)는, 공간 방향의 위치에 대하는 화소값의 변화로 나타내는 형상이 수평 방향으로 반복하여 형성되어 있는지, 수직 방향으로 반복하여 형성되어 있는지를 판정한다.

예를 들면, 가로로 1열의 화소 상에 형성된 원호에 대한 가로 방향의 화소값의 변화는, 세로 방향의 화소값의 변화와 비교하여 크고, 가로로 1열의 화소 상에 형성된 원호에 대한 세로 방향의 화소값의 변화는, 가로 방향의 화소값의 변화와 비교하여 크고, 데이터의 정상성의 방향, 즉 데이터(3)인 입력 화상이 가지고 있는, 일정한 특징의 소정 차원의 방향의 변화는, 데이터의 정상성에 직교하는 방향의 변화와 비교하여 작다고 할 수 있다. 바꾸어 말하면, 데이터의 정상성의 방향의 차분과 비교하여, 데이터의 정상성의 방향으로 직교하는 방향(이하, 비정상 방향이라고도 함)의 차분은 크다.

예를 들면, 도 52에 나타낸 바와 같이, 액티비티 검출부(401)는, 산출된 가로로 인접하는 화소에 대한 화소값의 차분의 합 h_diff 및 세로로 인접하는 화소에 대한 화소값의 차분의 합 v_diff를 비교하여, 가로로 인접하는 화소에 대한 화소값의 차분의 합 h_diff가 큰 경우, 기준축을 기준으로 한 데이터의 정상성의 각도가, 45도 내 지 135도 중 어느 하나의 값인 것으로 판정하고, 세로로 인접하는 화소에 대한 화소값의 차분의 합 v_diff가 클 경우, 기준축을 기준으로 한 데이터의 정상성의 각도가, 0도 내지 45도 중 어느 하나의 값, 또는 135도 내지 180도 중 어느 하나의 값인 것으로 판정한다.

예를 들면, 액티비티 검출부(401)는, 판정의 결과를 나타내는 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

그리고, 액티비티 검출부(401)는, 5×5의 25의 화소로 이루어지는 블록, 또는 7×7의 49의 화소로 이루어지는 블록 등, 임의의 크기의 블록을 추출하여, 액티비티를 검출할 수 있다.

데이터 선택부(402)는, 입력 화상의 화소로부터 주목 화소를 순서대로 선택하고, 액티비티 검출부(401)로부터 공급된 액티비티 정보를 기초로, 주목 화소 및 기준축을 기준으로 한 각도마다, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정수의 화소로 이루어지는 화소의 세트를, 복수개 추출한다.

예를 들면, 액티비티 정보가 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 것을 나타내고 있을 때, 데이터의 정상성의 각도가, 45도 내지 135도 중 어느 하나의 값이므로, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 45도 내지 135도의 범위의 소정 각도마다, 수직 방향으로 1열의 소정수의 화소로 이루어지는 화소의 세트를, 복수개 추출한다.

액티비티 정보가 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 것을 나타내고 있을 때, 데이터의 정상성의 각도가, 0도 내지 45도 또는 135도 내지 180도 중 어느 하나의 값이므로, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 0도 내지 45도 또는 135도 내지 180도의 범위의 소정 각도마다, 수평 방향으로 1열의 소정수의 화소로 이루어지는 화소의 세트를, 복수개 추출한다.

또, 예를 들면, 데이터의 정상성의 각도가 45도 내지 135도 중 어느 하나의 값인 것을, 액티비티 정보가 나타내고 있을 때, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 45도 내지 135도의 범위의 소정 각도마다, 수직 방향으로 1열의 소정수의 화소로 이루어지는 화소의 세트를, 복수개 추출한다.

데이터의 정상성의 각도가 0도 내지 45도 또는 135도 내지 180도 중 어느 하나의 값인 것을, 액티비티 정보가 나타내고 있을 때, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 0도 내지 45도 또는 135도 내지 180도의 범위의 소정 각도마다, 수평 방향으로 1열의 소정수의 화소로 이루어지는 화소의 세트를, 복수개 추출한다.

데이터 선택부(402)는, 추출한 화소로 이루어지는 복수개의 세트를 오차 추정부(403)에 공급한다.

오차 추정부(403)는, 추출한 화소로 이루어지는 복수개의 세트에 대하여, 각도마다, 화소의 세트의 상관을 검출한다.

예를 들면, 오차 추정부(403)는, 1개의 각도에 대응하는, 수직 방향으로 1열의 소정수의 화소로 이루어지는 화소의 복수개의 세트에 대하여, 화소의 세트에 있 어서의 대응하는 위치의 화소의 화소값의 상관을 검출한다. 오차 추정부(403)는, 1개의 각도에 대응하는, 수평 방향으로 1열의 소정수의 화소로 이루어지는 화소의 복수개의 세트에 대하여, 세트에 있어서의 대응하는 위치의 화소의 화소값의 상관을 검출한다.

오차 추정부(403)는, 검출한 상관을 나타내는 상관 정보를 정상 방향 도출부(404)에 공급한다. 오차 추정부(403)는, 상관을 나타내는 값으로서, 데이터 선택부(402)로부터 공급된, 주목 화소를 포함하는 세트 화소의 화소값과, 다른 세트에 있어서의 대응하는 위치의 화소의 화소값의 차분의 절대값의 합을 산출하고, 차분의 절대값의 합을 상관 정보로서 정상 방향 도출부(404)에 공급한다.

정상 방향 도출부(404)는, 오차 추정부(403)로부터 공급된 상관 정보에 따라, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다. 예를 들면, 정상 방향 도출부(404)는, 오차 추정부(403)로부터 공급된 상관 정보에 따라, 데이터의 정상성의 각도로서 가장 상관이 강한 화소의 세트에 대한 각도를 검출하고, 검출된 가장 상관이 강한 화소의 세트에 대한 각도를 나타내는 데이터 정상성 정보를 출력한다.

이하의 설명에 있어서, 적당히, 0도 내지 90도의 범위(이른바 제1 상한)의 데이터의 정상성의 각도를 검출하는 것으로서 설명한다.

도 53은, 도 49에 나타낸 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타낸 블록도이다.

데이터 선택부(402)는, 화소 선택부(411-1) 내지 화소 선택부(411-L)를 포함한다. 오차 추정부(403)는, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)를 포함한다. 정상 방향 도출부(404)는, 최소 오차 각도 선택부(413)를 포함한다.

먼저, 액티비티 정보로 나타내는, 데이터의 정상성의 각도가 45도 내지 135도 중 어느 하나의 값일 때의 화소 선택부(411-1) 내지 화소 선택부(411-L)의 처리를 설명한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 공간 방향 X를 나타내는 축을 기준축으로 하여, 주목 화소를 통과한다, 각각 상이한 소정 각도의 직선을 설정한다. 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 속하는 화소로서, 주목 화소의 위쪽의 소정수의 화소, 및 주목 화소 아래쪽의 소정수의 화소, 및 주목 화소를 화소의 세트로서 선택한다.

예를 들면, 도 54에 의해 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 속하는 화소로부터, 주목 화소를 중심으로 하여 9개의 화소를 화소의 세트로서 선택한다.

도 54에 있어서, 매스눈형의 하나의 사각(1개의 매스눈)은, 1개의 화소를 나타낸다. 도 54에 있어서, 중앙에 나타낸 원은, 주목 화소를 나타낸다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측의 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 54에 있어서, 주목 화소의 좌측 아래쪽의 원은, 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 위쪽의 소정수의 화소, 및 선택된 화소의 아래쪽의 소정수의 화소, 및 선택된 화소를 화소의 세트로서 선택한다.

예를 들면, 도 54에 의해 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 세트로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측에 2개째의 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 54에 있어서, 가장 좌측의 원은, 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측에 2개째의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 위쪽의 소정수의 화소, 및 선택된 화소의 아래쪽의 소정수의 화소, 및 선택된 화소를 화소의 세트로서 선택한다.

예를 들면, 도 54에 의해 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측에 2개째의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 세트로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측의 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 54에 있어서, 주목 화소의 우측 위쪽의 원은, 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 위쪽의 소정수의 화소, 및 선택된 화소의 아래쪽의 소정수의 화소, 및 선택된 화소를 화소의 세트로서 선택한다.

예를 들면, 도 54에 의해 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 세트로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측에 2개째의 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 54에 있어서, 가장 우측의 원은, 이와 같이 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측에 2개째의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 위쪽의 소정수의 화소, 및 선택된 화소의 아래쪽의 소정수의 화소, 및 선택된 화소를 화소의 세트로서 선택한다.

예를 들면, 도 54에 의해 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측에 2개째의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 세트로서 선택한다.

이와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 각각, 화소의 세트를 5개 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 서로 상이한 각도(로 설정된 직선)에 대한, 화소의 세트를 선택한다. 예를 들면, 화소 선택부(411-1)는, 45도에 대한, 화소의 세트를 선택하고, 화소 선택부(411-2)는, 47.5도에 대한, 화소의 세트를 선택하고, 화소 선택부(411-3)은, 50도에 대한, 화소의 세트를 선택한다. 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 52.5도로부터 135도까지의, 2.5도마다의 각도에 대한, 화소의 세트를 선택한다.

그리고, 화소의 세트의 수는, 예를 들면, 3개, 또는 7개 등, 임의의 수로 할 수 있다. 또, 1개의 세트서 선택된 화소의 수는, 예를 들면, 5개, 또는 13 등, 임의가 수로 할 수 있다.

그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 세로 방향으로 소정 범위의 화소로부터, 화소의 세트를 선택하도록 할 수 있다. 예를 들면, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 세로 방향으로 121개의 화소(주목 화소에 대하여, 상방향으로 60화소, 하방향으로 60화소로부터, 화소의 세트를 선택한 다. 이 경우, 데이터 정상성 검출부(101)는, 공간 방향 X를 나타내는 축에 대하여, 88.09도까지, 데이터의 정상성의 각도를 검출할 수 있다.

화소 선택부(411-1)는, 선택한 화소의 세트를 추정 오차 산출부(412-1)에 공급하고, 화소 선택부(411-2)는, 선택한 화소의 세트를 추정 오차 산출부(412-2)에 공급한다. 마찬가지로, 화소 선택부(411-3) 내지 화소 선택부(411-L)의 각각은, 선택한 화소의 세트를 추정 오차 산출부(412-3) 내지 추정 오차 산출부(412-L)의 각각에 공급한다.

추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 복수개의 세트에 있어서의 대응하는 위치의 화소의 화소값의 상관을 검출한다. 예를 들면, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 상관을 나타내는 값으로서, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 세트의 화소의 화소값과, 다른 세트에 있어서의 대응하는 위치의 화소의 화소값의 차분의 절대값의 합을 산출한다.

보다 구체적으로는, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 세트의 화소의 화소값과, 주목 화소의 좌측의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 세트의 화소의 화소값을 기초로, 가장 위의 화소의 화소값의 차분을 산출하고, 위로부터 2번째의 화소의 화소값의 차분을 산출하도록, 위의 화소로부터 순서대로 화소값의 차분의 절대값을 산출하고, 또한 산출 된 차분의 절대값의 합을 산출한다. 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 세트의 화소의 화소값과, 주목 화소의 좌측으로 2개째의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 세트의 화소의 화소값을 기초로, 위의 화소로부터 순서대로 화소값의 차분의 절대값을 산출하여, 산출된 차분의 절대값의 합을 산출한다.

그리고, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 세트의 화소의 화소값과, 주목 화소의 우측의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 세트의 화소의 화소값을 기초로, 가장 위의 화소의 화소값의 차분을 산출하고, 위로부터 2번째의 화소의 화소값의 차분을 산출하도록, 위의 화소로부터 순서대로 화소값의 차분의 절대값을 산출하고, 또한 산출된 차분의 절대값의 합을 산출한다. 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 세트의 화소의 화소값과, 주목 화소의 우측에 2개째의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 세트의 화소의 화소값을 기초로, 위의 화소로부터 순서대로 화소값의 차분의 절대값을 산출하여, 산출된 차분의 절대값의 합을 산출한다.

추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 이와 같이 산출된 화소값의 차분의 절대값의 합을 모두 가산하여, 화소값의 차분의 절대값의 총계 를 산출한다.

추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 검출된 상관을 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다. 예를 들면, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 산출된 화소값의 차분의 절대값의 총계를 최소 오차 각도 선택부(413)에 공급한다.

그리고, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소값의 차분의 절대값의 합에 한정되지 않고, 화소값의 차분의 제곱의 합, 또는 화소값을 기초로 한 상관 계수 등 다른 값을 상관값으로서 산출하도록 할 수 있다.

최소 오차 각도 선택부(413)는, 서로 상이한 각도에 대한, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)에 있어서 검출된 상관에 따라, 결락된 실세계(1)의 광신호인 화상의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출한다. 즉, 최소 오차 각도 선택부(413)는, 서로 상이한 각도에 대한, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)에 있어서 검출된 상관에 따라, 가장 강한 상관을 선택하고, 선택된 상관이 검출된 각도를, 기준축을 기준으로 한 데이터의 정상성의 각도와함으로써, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출한다.

예를 들면, 최소 오차 각도 선택부(413)는, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)로부터 공급된, 화소값의 차분의 절대값의 총계 중, 최소의 총계를 선택한다. 최소 오차 각도 선택부(413)는, 선택된 총계가 산출된 화소의 세트에 대하여, 주목 화소에 대하여, 좌측에 2개째의 세로로 1열의 화소의 열에 속하는 화소로서, 직선에 가장 가까운 위치의 화소의 위치, 및 주목 화소에 대하여, 우측에 2개째의 세로로 1열의 화소의 열에 속하는 화소로서, 직선에 가장 가까운 위치의 화소의 위치를 참조한다.

도 54에 의해 나타낸 바와 같이, 최소 오차 각도 선택부(413)는, 주목 화소의 위치에 대하는, 참조하는 화소의 위치의 세로 방향의 거리 S를 구한다. 최소 오차 각도 선택부(413)는, 도 55에 나타낸 바와 같이, 식(37)으로부터, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터인 입력 화상에 있어서의, 기준축인 공간 방향 X를 나타내는 축을 기준으로 한 데이터의 정상성의 각도θ를 검출한다.

…(37)

다음에, 액티비티 정보로 나타내는, 데이터의 정상성의 각도가0도 내지 45도 및 135도 내지 180도 중 어느 하나의 값일 때의 화소 선택부(411-1) 내지 화소 선택부(411-L)의 처리를 설명한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 공간 방향 X를 나타내는 축을 기준축으로 하여, 주목 화소를 통과하는, 소정 각도의 직선을 설정하고, 주목 화소가 속하는 가로로 1열의 화소의 열에 속하는 화소로서, 주목 화소의 좌측의 소정수의 화소, 및 주목 화소의 우측의 소정수의 화소, 및 주목 화소를 화소의 세트로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 위쪽의 가로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 위쪽의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정수의 화소, 및 선택된 화소의 우측의 소정수의 화소, 및 선택된 화소를 화소의 세트로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 위쪽에 2개째의 가로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 위쪽에 2개째의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정수의 화소, 및 선택된 화소의 우측의 소정수의 화소, 및 선택된 화소를 화소의 세트로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 아래쪽의 가로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 아래쪽의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정수의 화소, 및 선택된 화소의 우측의 소정수의 화소, 및 선택된 화소를 화소의 세트로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 아래쪽에 2개째의 가로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 아래쪽에 2개째의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정수의 화소, 및 선택된 화소의 우측의 소정수의 화소, 및 선택된 화소를 화소의 세트로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 서로 상이한 각도에 대한, 화소의 세트를 선택한다. 예를 들면, 화소 선택부(411-1)는, 0도에 대한, 화소의 세트를 선택하고, 화소 선택부(411-2)는, 2.5도에 대한, 화소의 세트를 선택하고, 화소 선택부(411-3)은, 5도에 대한, 화소의 세트를 선택한다. 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 7.5도로부터 45도 및 135도로부터 180도까지의, 2.5도마다의 각도에 대한, 화소의 세트를 선택한다.

추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 복수개의 세트에 있어서의 대응하는 위치의 화소의 화소값의 상관을 검출한다. 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 검출된 상관을 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다.

최소 오차 각도 선택부(413)는, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)에 있어서 검출된 상관에 따라, 결락된 실세계(1)의 광신호인 화상의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출한다.

다음에, 도 56의 플로차트를 참조하여, 스텝 S101의 처리에 대응하는, 도 49에 구성이 도시된 데이터 정상성 검출부(101)에 의한, 데이터의 정상성의 검출의 처리를 설명한다.

스텝 S401에 있어서, 액티비티 검출부(401) 및 데이터 선택부(402)는, 입력 화상으로부터, 주목하고 있는 화소인 주목 화소를 선택한다. 액티비티 검출부(401) 및 데이터 선택부(402)는, 동일한 주목 화소를 선택한다. 예를 들면, 액티비티 검출부(401) 및 데이터 선택부(402)는, 입력 화상으로부터, 라스터 스캔 순으로, 주목 화소를 선택한다.

스텝 S402에 있어서, 액티비티 검출부(401)는, 주목 화소에 대한 액티비티를 검출한다. 예를 들면, 액티비티 검출부(401)는, 주목 화소를 중심으로 한 소정수 의 화소로 이루어지는 블록의 세로 방향으로 정렬된 화소의 화소값의 차분 및 가로 방향으로 정렬된 화소의 화소값의 차분을 기초로, 액티비티를 검출한다.

액티비티 검출부(401)는, 주목 화소에 대한 공간 방향의 액티비티를 검출하여, 검출한 결과를 나타내는 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

스텝 S403에 있어서, 데이터 선택부(402)는, 주목 화소를 포함하는 화소의 열로부터, 주목 화소를 중심으로 한 소정수의 화소를, 화소의 세트로서 선택한다. 예를 들면, 데이터 선택부(402)는, 주목 화소가 속하는 세로 또는 가로로 1열의 화소의 열에 속하는 화소로서, 주목 화소의 위쪽 또는 좌측의 소정수의 화소, 및 주목 화소의 아래쪽 또는 우측의 소정수의 화소, 및 주목 화소를 화소의 세트로서 선택한다.

스텝 S404에 있어서, 데이터 선택부(402)는, 스텝 S402의 처리로 검출된 액티비티를 기초로 한, 소정 범위의 각도마다, 소정수의 화소의 열로부터, 각각 소정수의 화소를, 화소의 세트로서 선택한다. 예를 들면, 데이터 선택부(402)는, 소정 범위의 각도를 가지고, 공간 방향 X를 나타내는 축을 기준축으로 하여, 주목 화소를 통과하는 직선을 설정하고, 주목 화소에 대하여, 가로 방향 또는 세로 방향으로 1열 또는 2열 떨어진 화소로서, 직선에 가장 가까운 화소를 선택하고, 선택된 화소의 위쪽 또는 좌측의 소정수의 화소, 및 선택된 화소의 아래쪽 또는 우측의 소정수의 화소, 및 선에 가장 가까운 선택된 화소를 화소의 세트로서 선택한다. 데이터 선택부(402)는, 각도마다, 화소의 세트를 선택한다.

데이터 선택부(402)는, 선택한 화소의 세트를 오차 추정부(403)에 공급한다.

스텝 S405에 있어서, 오차 추정부(403)는, 주목 화소를 중심으로 한 화소의 세트와 각도마다 선택한 화소의 세트와의 상관을 계산한다. 예를 들면, 오차 추정부(403)는, 각도마다, 주목 화소를 포함하는 세트의 화소의 화소값과, 다른 세트에 있어서의 대응하는 위치의 화소의 화소값의 차분의 절대값의 합을 산출한다.

각도마다 선택된, 화소의 세트의 상호의 상관을 기초로, 데이터의 정상성의 각도를 검출하도록 해도 된다.

오차 추정부(403)는, 산출된 상관을 나타내는 정보를, 정상 방향 도출부(404)에 공급한다.

스텝 S406에 있어서, 정상 방향 도출부(404)는, 스텝 S405의 처리에 의해 산출된 상관을 기초로, 상관이 가장 강한 화소의 세트의 위치로부터, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터인 입력 화상에 있어서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출한다. 예를 들면, 정상 방향 도출부(404)는, 화소값의 차분의 절대값의 총계 중, 최소의 총계를 선택하고, 선택된 총계가 산출된 화소의 세트의 위치로부터, 데이터의 정상성의 각도θ를 검출한다.

정상 방향 도출부(404)는, 검출한 데이터의 정상성의 각도를 나타내는 데이터 정상성 정보를 출력한다.

스텝 S407에 있어서, 데이터 선택부(402)는, 모든 화소의 처리를 종료하였는지 여부를 판정하고, 모든 화소의 처리를 종료하지 않은 것으로 판정된 경우, 스텝 S401으로 복귀하고, 아직 주목 화소로서 선택되어 있지 않은 화소로부터 주목 화소 를 선택하여, 전술한 처리를 반복한다.

스텝 S407에 있어서, 모든 화소의 처리를 종료했다고 판정된 경우, 처리는 종료한다.

이와 같이, 데이터 정상성 검출부(101)는, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출할 수 있다.

그리고, 도 49에 구성이 도시된 데이터 검출부(101)는, 주목하고 있는 프레임인 주목 프레임의, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향의 액티비티를 검출하고, 검출된 액티비티에 따라, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 모션 벡터마다, 주목 프레임 및 주목 프레임의 시간적으로 전 또는 뒤의 프레임의 각각으로부터, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정수의 화소로 이루어지는 화소의 세트를, 복수개 추출하고, 추출된 화소의 세트의 상관을 검출하고, 상관에 따라, 입력 화상에 있어서의, 시간 방향 및 공간 방향의 데이터의 정상성의 각도를 검출하도록 해도 된다.

예를 들면, 도 57에 나타낸 바와 같이, 데이터 선택부(402)는, 검출된 액티비티에 따라, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 모션 벡터마다, 주목 프레임인 프레임#n, 프레임#n-1, 및 프레임#n+1의 각각으로부터, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정수의 화소로 이루어지는 화소의 세트를, 복수개 추출한다.

프레임#n-1은, 프레임#n에 대하여 시간적으로 전의 프레임이며, 프레임#n+1 은, 프레임#n에 대하여 시간적으로 후의 프레임이다. 즉, 프레임#n-1, 프레임#n, 및 프레임#n+1은, 프레임#n-1, 프레임#n, 및 프레임#n+1의 순서로 표시된다.

오차 추정부(403)는, 추출한 화소로 이루어지는 복수개의 세트에 대하여, 1개의 각도 및 1개의 모션 벡터마다, 화소의 세트의 상관을 검출한다. 정상 방향 도출부(404)는, 화소의 세트의 상관에 따라, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 입력 화상에 있어서의, 시간 방향 및 공간 방향의 데이터의 정상성의 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다.

다음에, 도 58 내지 도 88을 참조하여, 실세계 추정부(102)(도 3)의 실시예의 다른 예에 대하여 설명한다.

도 58은, 이 예의 실시예의 원리를 설명하는 도면이다.

도 58에 의해 나타낸 바와 같이, 센서(2)에 입사되는 화상인, 실세계(1)의 신호(광 강도의 분포)는, 소정의 함수 F에 의해 표현된다. 그리고, 이하, 이 예의 실시예의 설명에 있어서는, 화상인, 실세계(1)의 신호를, 특히 광신호라고 하고, 함수 F를, 특히 광신호 함수 F라고 한다.

이 예의 실시예에 있어서는, 광신호 함수 F에 의해 표현되는 실세계(1)의 광신호가 소정의 정상성을 가지는 경우, 실세계 추정부(102)가, 센서(2)로부터의 입력 화상(정상성에 대응하는 데이터의 정상성을 포함하는 화상 데이터)과 데이터 정상성 검출부(101)로부터의 데이터 정상성 정보(입력 화상의 데이터의 정상성에 대응하는 데이터 정상성 정보)를 사용하여, 광신호 함수 F를 소정의 함수 f로 근사시킴으로써, 광신호 함수 F를 추정한다. 그리고, 이하, 이 예의 실시예의 설명에 있 어서는, 함수 f를, 특히 근사 함수 f 라고 한다.

환언하면, 이 예의 실시예에 있어서는, 실세계 추정부(102)가, 근사 함수 f에 의해 표현되는 모델(161)(도 4)을 사용하여, 광신호 함수 F에 의해 표현되는 화상(실세계(1)의 광신호)을 근사(기술)시킨다. 따라서, 이하, 이 예의 실시예를, 함수 근사 방법이라고 한다.

여기서, 함수 근사 방법의 구체적인 설명에 들어가기 전에, 본원 출원인이 함수 근사 방법을 발명하기에 이른 배경에 대하여 설명한다.

도 59는, 센서(2)가 CCD로 되는 경우의 적분 효과를 설명하는 도면이다.

도 59에 의해 나타낸 바와 같이, 센서(2)의 평면 상에는, 복수개의 검출 소자(2-1)가 배치되어 있다.

도 59의 예에서는, 검출 소자(2-1)의 소정의 1변에 평행한 방향이, 공간 방향의 1방향인 X 방향으로 되어 있고, X 방향으로 수직인 방향이, 공간 방향의 다른 방향인 Y 방향으로 되어 있다. 그리고, X－Y 평면에 수직인 방향이, 시간 방향인 t 방향으로 되어 있다.

또, 도 59의 예에서는, 센서(2)의 각 검출 소자(2-1)의 각각의 공간적인 형상은, 1변의 길이가 1의 정방형으로 되어 있다. 그리고, 센서(2)의 셔터 시간(노광 시간)이 1로 되어 있다.

또한, 도 59의 예에서는, 센서(2)의 소정의 1개의 검출 소자(2-1)의 중심이, 공간 방향(X 방향과 Y 방향)의 원점(X 방향의 위치 x= 0, 및 Y 방향의 위치 y= 0으로 되어 있고, 또, 노광 시간의 중간 시각이, 시간 방향(t 방향)의 원점(t 방향의 위치 t= 0으로 되어 있다.

이 경우, 공간 방향의 원점(x= 0, y= 0)에 그 중심이 존재하는 검출 소자(2-1)는, X 방향으로 ―0.5 내지 0.5의 범위, Y 방향으로 ―0.5 내지 0.5의 범위, 및 t 방향으로 ―0.5 내지 0.5의 범위에서 광신호 함수 F(x, y, t)를 적분하고, 그 적분값을 화소값 P로서 출력하게 된다.

즉, 공간 방향의 원점에 그 중심이 존재하는 검출 소자(2-1)로부터 출력되는 화소값 P는, 다음의 식(38)에 의해 표현된다.

…(38)

그 외의 검출 소자(2-1)도 마찬가지로, 대상으로 하는 검출 소자(2-1)의 중심을 공간 방향의 원점으로 함으로써, 식(38)에서 나타낸 화소값 P를 출력하게 된다.

도 60은, 센서(2)의 적분 효과의 구체적인 예를 설명하는 도면이다.

도 60에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 59)을 나타내고 있다.

실세계(1)의 광신호 중 1부분(이하, 이와 같은 부분을, 영역이라고 함)(2301)은, 소정의 정상성을 가지는 영역의 1예를 나타내고 있다.

그리고, 실제로는, 영역(2301)은 연속된 광신호의 1부분(연속된 영역)이다. 이에 대하여, 도 60에 있어서는, 영역(2301)은, 20개의 소영역(정방형의 영역)으로 구분되어 있는 바와 같이 나타나 있다. 이것은, 영역(2301)의 크기가, X 방향에 대하여 4개분, 또한 Y 방향에 대하여 5개분의 센서(2)의 검출 소자(화소)가 정렬된 크기에 상당하는 것을 나타내기 때문이다. 즉, 영역(2301) 내의 20개의 소영역(가상 영역)의 각각은 1개의 화소에 상당한다.

또, 영역(2301) 중 도면 중 백색 부분은 세선에 대응하는 광신호를 나타내고 있다. 따라서, 영역(2301)은, 세선이 계속되는 방향으로 정상성을 가지고 있게 된다. 그래서, 이하, 영역(2301)을, 세선 함유 실세계 영역(2301)이라고 한다.

이 경우, 세선 함유 실세계 영역(2301)(실세계(1)의 광신호의 1부분)이 센서(2)에 의해 검출되면, 센서(2)로부터는, 적분 효과에 의해, 입력 화상(화소값)의 영역(2302)(이하, 세선 함유 데이터 영역(2302)이라고 함)가 출력된다.

그리고, 세선 함유 데이터 영역(2302)의 각 화소의 각각은, 도면 중, 화상으로서 나타나 있지만, 실제로는, 소정의 1개의 값을 나타내는 데이터이다. 즉, 세선 함유 실세계 영역(2301)은, 센서(2)의 적분 효과에 의해, 소정의 1개의 화소값을 각각 가지는 20개의 화소(X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소)로 구분된 세선 함유 데이터 영역(2302)으로 변화되어 버린다(왜곡되어 버린다).

도 61은, 센서(2)의 적분 효과의 구체적인 다른 예(도 60과는 상이한 예)를 설명하는 도면이다.

도 61에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 59)을 나타내고 있다.

실세계(1)의 광신호의 1부분(영역)(2303)은, 소정의 정상성을 가지는 영역의 다른 예(도 60의 세선 함유 실세계 영역(2301)과는 상이한 예)를 나타내고 있다.

그리고, 영역(2303)은, 세선 함유 실세계 영역(2301)과 같은 크기를 가지는 영역이다. 즉, 세선 함유 실세계 영역(2301)과 마찬가지로, 영역(2303)도, 실제로는 연속된 실세계(1)의 광신호의 1부분(연속된 영역)이지만, 도 61에 있어서는, 센서(2)의 1화소에 상당하는 20개의 소영역(정방형의 영역)으로 구분되어 있는 바와 같이 나타나 있다.

또, 영역(2303)은, 소정의 제1 광 강도(값)를 가지는 제1 부분과, 소정의 제2 광 강도(값)를 가지는 제2 부분의 에지를 포함하고 있다. 따라서, 영역(2303)은, 에지가 계속되는 방향으로 정상성을 가지고 있게 된다. 그래서, 이하, 영역(2303)을, 2값 에지 함유 실세계 영역(2303)이라고 한다.

이 경우, 2값 에지 함유 실세계 영역(2303)(실세계(1)의 광신호의 1부분)이 센서(2)에 의해 검출되면, 센서(2)로부터는, 적분 효과에 의해, 입력 화상(화소값)의 영역(2304)(이하, 2값 에지 함유 데이터 영역(2304)이라고 함)가 출력된다.

그리고, 2값 에지 함유 데이터 영역(2304)의 각 화소값의 각각은, 세선 함유 데이터 영역(2302)와 마찬가지로, 도면 중, 화상으로서 표현되어 있지만, 실제로는, 소정값을 나타내는 데이터이다. 즉, 2값 에지 함유 실세계 영역(2303)은, 센서(2)의 적분 효과에 의해, 소정의 1개의 화소값을 각각 가지는 20개의 화소(X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소)로 구분된 2값 에지 함유 데이터 영역(2304)으로 변화되어 버린다(왜곡되어 버린다).

종래의 화상 처리 장치는, 이와 같은 세선 함유 데이터 영역(2302)이나 2값 에지 함유 데이터 영역(2304) 등, 센서(2)로부터 출력된 화상 데이터를 원점(기준)로 하고, 화상 데이터를 처리의 대상으로 하여, 그 이후의 화상 처리를 행하고 있었다. 즉, 센서(2)로부터 출력된 화상 데이터는, 적분 효과에 의해 실세계(1)의 광신호와는 상이한 것(왜곡된 것)으로 되어 있음에도 불구하고, 종래의 화상 처리 장치는, 그 실세계(1)의 광신호와는 상이한 데이터를 정(正)으로서 화상 처리를 행하고 있었다.

그 결과, 종래의 화상 처리 장치에서는, 센서(2)로부터 출력된 단계에서, 실세계의 디테일이 부서져 버린 파형(화상 데이터)을 기준으로 하여, 그 파형으로부터, 원래의 디테일을 복원하는 것은 매우 곤란하다는 과제가 있었다.

그래서, 함수 근사 방법에 있어서는, 이 과제를 해결하기 위하여, 전술한 바와 같이(도 58에 의해 나타낸 바와 같이), 실세계 추정부(102)가, 세선 함유 데이터 영역(2302)이나 2값 에지 함유 데이터 영역(2304)와 같은 센서(2)로부터 출력된 화상 데이터(입력 화상)로부터, 광신호 함수 F(실세계(1)의 광신호)를 근사 함수 f로 근사시킴으로써, 광신호 함수 F를 추정한다.

이로써, 실세계 추정부(102)보다 후단에 있어서(지금의 경우, 도 3의 화상 생성부(103), 적분 효과가 고려된 화상 데이터, 즉 근사 함수 f에 의해 표현 가능한 화상 데이터를 원점으로 하여 그 처리를 실행하는 것이 가능하게 된다.

이하, 도면을 참조하여, 이와 같은 함수 근사 방법 중 3가지 구체적인 방법(제1 내지 제3 함수 근사 방법)의 각각에 대하여 개별적으로 설명해 간다.

먼저, 도 62 내지 도 76을 참조하여, 제1 함수 근사 방법에 대하여 설명한다.

도 62는, 전술한 도 60에 나타낸 세선 함유 실세계 영역(2301)을 재차 나타낸 도면이다.

도 62에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 59)을 나타내고 있다.

제1 함수 근사 방법은, 예를 들면, 도 62에 나타낸 바와 같은 세선 함유 실세계 영역(2301)에 대응하는 광신호 함수 F(x, y, t)를 X 방향(도면 중 화살표 2311의 방향)으로 투영한 1차원의 파형(이하, 이와 같은 파형을, X단면 파형 F(x)이라고 함)을, 예를 들면, n차(n은, 임의의 정수)의 다항식 등의 근사 함수 f(x)로 근사시키는 방법이다. 따라서, 이하, 제1 함수 근사 방법을, 특히, 1차원 근사 방법이라고 한다.

그리고, 1차원 근사 방법에 있어서, 근사의 대상(對象)이 되는 X단면 파형 F(x)는, 물론, 도 62의 세선 함유 실세계 영역(2301)에 대응하는 것에 한정되지 않는다. 즉, 후술하는 바와 같이, 1차원 근사 방법에 있어서는, 정상성을 가지는 실세계(1)의 광신호에 대응하는 X단면 파형 F(x)이면, 어느 것이라도 근사시킬 수 있다.

또, 광신호 함수 F(x, y, t)의 투영의 방향은 X 방향에 한정되지 않고, Y 방향 또는 t 방향이라도 된다. 즉, 1차원 근사 방법에 있어서는, 광신호 함수 F(x, y, t)를 Y 방향으로 투영한 함수 F(y)를, 소정의 근사 함수 f(y)로 근사시킬 수도 있고, 광신호 함수 F(x, y, t)를 t 방향으로 투영한 함수 F(t)를, 소정의 근사 함수 f(t)로 근사시킬 수도 있다.

보다 상세하게는, 1차원 근사 방법은, 예를 들면, X단면 파형 F(x)를, 다음의 식(39)에서 나타낸 바와 같은, n차의 다항식 등의 근사 함수 f(x)로 근사시키는 방법이다.

…(39)

즉, 1차원 근사 방법에 있어서는, 실세계 추정부(102)가, 식(39)의 xⁱ의 계수(특징량)w_i를 연산함으로써, X단면 파형 F(x)를 추정한다.

이 특징량 w_i의 연산 방법은, 특히 한정되지 않고, 예를 들면, 다음의 제1 내지 제3 방법이 사용 가능하다.

즉, 제1 방법은, 종래부터 이용되고 있는 방법이다.

이에 대하여, 제2 방법은, 본원 출원인이 새롭게 발명한 방법으로서, 제1 방법에 대하여, 보다 공간 방향의 정상성을 고려한 방법이다.

그러나, 후술하는 바와 같이, 제1 방법과 제2 방법에 있어서는, 센서(2)의 적분 효과가 고려되어 있지 않다. 따라서, 제1 방법 또는 제2 방법에 의해 연산된 특징량 w_i를 전술한 식(39)에 대입하여 얻어지는 근사 함수 f(x)는, 입력 화상의 근사 함수이지만, 엄밀하게는, X단면 파형 F(x)의 근사 함수라고는 할 수 없다.

그래서, 본원 출원인은, 제2 방법에 대하여, 센서(2)의 적분 효과를 보다 고려하여 특징량 w_i를 연산하는 제3 방법을 발명했다. 이 제3 방법에 의해 연산된 특징량 w_i를, 전술한 식(39)에 대입하여 얻어지는 근사 함수 f(x)는, 센서(2)의 적분 효과를 고려하고 있는 점에서, X단면 파형 F(x)의 근사 함수인 것으로 말할 수 있다.

이와 같이, 엄밀하게는, 제1 방법과 제2 방법은, 1차원 근사 방법이라고 할 수 없고, 제3 방법만이 1차원 근사 방법이라고 할 수 있다.

환언하면, 도 63에 의해 나타낸 바와 같이, 제2 방법은, 1차원 근사 방법과는 상이하다. 즉, 도 63은, 제2 방법에 대응하는 실시예의 원리를 설명하는 도면이다.

도 63에 의해 나타낸 바와 같이, 제2 방법에 대응하는 실시예에 있어서는, 광신호 함수 F에 의해 표현되는 실세계(1)의 광신호가 소정의 정상성을 가지는 경우, 실세계 추정부(102)가, 센서(2)로부터의 입력 화상(정상성에 대응하는 데이터의 정상성을 포함하는 화상 데이터)과, 데이터 정상성 검출부(101)로부터의 데이터 정상성 정보(입력 화상의 데이터의 정상성에 대응하는 데이터 정상성 정보)를 사용하여, X단면 파형 F(x)를 근사시키는 것이 아니라, 센서(2)로부터의 입력 화상을 소정의 근사 함수 f₂(x)로 근사시킨다.

이와 같이, 제2 방법은, 센서(2)의 적분 효과를 고려하지 않고, 입력 화상의 근사에 머물고 있는 점에서, 제3 방법과 동일 레벨의 방법이라고는 하기 어렵다. 그러나, 제2 방법은, 공간 방향의 정상성을 고려하고 있는 점에서, 종래의 제1 방법보다 우수한 방법이다.

이하, 제1 방법, 제2 방법, 및 제3 방법의 각각의 상세에 대하여, 그 순서대로 개별적으로 설명한다.

그리고, 이하, 제1 방법, 제2 방법, 및 제3 방법에 의해 생성되는 근사 함수 f(x)의 각각을, 다른 방법의 것과 구별하는 경우, 특히, 각각, 근사 함수 f₁(x), 근사 함수 f₂(x), 및 근사 함수 f₃(x)라고 한다.

먼저, 제1 방법의 상세에 대하여 설명한다.

제1 방법에 있어서는, 전술한 식(39)에서 나타내는 근사 함수 f1(x)가, 도 64의 세선 함유 실세계 영역(2301) 내에서 성립되는 것으로 하여, 다음의 예측 방정식(40)을 정의한다.

…(40)

식(40)에 있어서, x는, 주목 화소로부터의 X 방향에 대한 상대적인 화소의 위치를 나타내고 있다. y는, 주목 화소로부터의 Y 방향에 대한 상대적인 화소의 위치를 나타내고 있다. e는, 오차를 나타내고 있다. 구체적으로는, 예를 들면, 지금, 도 64에 의해 나타낸 바와 같이, 주목 화소가, 세선 함유 데이터 영역(2302)(세선 함유 실세계 영역(2301)(도 62)이 센서(2)에 의해 검출되어, 출력된 데이터) 중, 도면 중, 좌측으로부터 X 방향으로 2화소째이며, 아래로부터 Y 방향으 로 3화소째의 화소인 것으로 한다. 또, 주목 화소의 중심을 원점(0, 0)으로 하고, 센서(2)의 X 방향과 Y 방향(도 59)의 각각에 평행한 x축과 y축을 축으로 하는 좌표계(이하, 주목 화소 좌표계라고 함)가 설정되어 있는 것으로 한다. 이 경우, 주목 화소 좌표계의 좌표값(x, y)이, 상대 화소의 위치를 나타내게 된다.

또, 식(40)에 있어서, P(x, y)는, 상대 화소의 위치(x, y)에 있어서의 화소값을 나타내고 있다. 구체적으로는, 지금의 경우, 세선 함유 데이터 영역(2302) 내의 P(x, y)는, 도 65에 의해 나타낸 바와 같이 된다.

도 65는, 이 화소값 P(x, y)를 그래프화한 것을 나타내고 있다.

도 65에 있어서, 각 그래프의 각각의 세로축은, 화소값을 나타내고 있고, 가로축은, 주목 화소로부터의 X 방향의 상대 위치 x를 나타내고 있다. 또, 도면 중, 위로부터 첫번째의 그래프의 점선은 입력 화소값 P(x,-2)를, 위로부터 2번째의 그래프의 3점 쇄선은 입력 화소값 P(x,-1)를, 위로부터 세번째의 그래프의 실선은 입력 화소값 P(x,0)를, 위로부터 4번째의 그래프의 1점 쇄선은 입력 화소값 P(x,1)를, 위로부터 5번째(아래로부터 첫번째)의 그래프의 2점 쇄선은 입력 화소값 P(x,2)를, 각각 나타내고 있다.

전술한 식(40)에 대하여, 도 65에 나타낸 20개의 입력 화소값 P(x,-2), P(x,-1), P(x,0), P(x,1), P(x,2)(단, x는, -1 내지 2 중 어느 하나의 정수값(整數値)의 각각을 대입하면, 다음의 식(41)에서 나타내는 20개의 방정식이 생성된다. 그리고, e_k(k는, 1 내지 20 중 어느 하나의 정수값)의 각각은, 오차를 나타내고 있 다.

…(41)

식(41)은, 20개의 방정식으로 구성되어 있으므로, 근사 함수 f₁(x)의 특징량 w_i의 개수가 20개 보다 적은 경우, 즉 근사 함수 f₁(x)가 19차 보다 적은 차수(次數)의 다항식인 경우, 예를 들면, 최소 제곱법을 이용하여 특징량 w_i의 산출이 가능하다. 그리고, 최소 제곱법의 구체적인 해법은 후술한다.

예를 들면, 지금, 근사 함수 f₁(x)의 차수가 5차로 된 경우, 식(41)을 이용 하여 최소 제곱법에 의해 연산된 근사 함수 f₁(x)(연산된 특징량 wi에 의해 생성되는 근사 함수 f₁(x)는, 도 66에 나타낸 곡선과 같이 된다.

그리고, 도 66에 있어서, 세로축은 화소값을 나타내고 있고, 가로축은 주목 화소로부터의 상대 위치 x를 나타내고 있다.

즉, 도 64의 세선 함유 데이터 영역(2302)을 구성하는 20개의 화소값 P(x, y)의 각각 (도 65에 나타낸 입력 화소값 P(x,-2), P(x,-1), P(x,0), P(x,1), P(x,2)의 각각을, 예를 들면, x축에 따라 그대로 더하면(Y 방향의 상대 위치 y를 일정한 것으로 간주하여, 도 65에 나타낸 5개의 그래프를 거듭함), 도 66에 나타낸 바와 같은, x축에 평행한 복수개의 선(점선, 3점 쇄선, 실선, 1점 쇄선, 및 2점 쇄선)이 분포한다.

단, 도 66에 있어서는, 점선은 입력 화소값 P(x,-2)를, 3점 쇄선은 입력 화소값 P(x,-1)를, 실선은 입력 화소값 P(x,0)를, 1점 쇄선은 입력 화소값 P(x,1)를, 2점 쇄선은 입력 화소값 P(x,2)를, 각각 나타내고 있다. 또, 동일한 화소값의 경우, 실제로는 2개 이상의 선이 겹치게 되지만, 도 66에 있어서는, 각 선이 구별 되도록, 각 선의 각각이 중첩되지 않도록 묘화되어 있다.

그리고, 이와 같이 분포한 20개의 입력 화소값 P(x,-2), P(x,-1), P(x,0), P(x,1), P(x,2)의 각각과, 값f₁(x)의 오차가 최소로 되도록 한 회귀 곡선(최소 제곱법에 의해 연산된 특징량 w_i를 전술한 식(38)에 대입하여 얻어지는 근사 함수 f₁(x) 가, 도 66에 나타낸 곡선(근사 함수 f₁(x))로 된다.

이와 같이, 근사 함수 f₁(x)는, Y 방향의 화소값(주목 화소로부터의 X 방향의 상대 위치 x가 동일한 화소값) P(x,-2), P(x,-1), P(x,0), P(x,1), P(x,2)의 평균값을, X 방향으로 연속된 곡선을 단지 나타내고 있는 것에 지나지 않는다. 즉, 광신호가 가지는 공간 방향의 정상성을 고려하지 않고, 근사 함수 f₁(x)가 생성되어 있다.

예를 들면, 지금의 경우, 근사의 대상은, 세선 함유 실세계 영역(2301)(도 62)으로 되어 있다. 이 세선 함유 실세계 영역(2301)은, 도 67에 의해 나타낸 바와 같이, 경사 G_F로 표현되는 공간 방향의 정상성을 가지고 있다. 그리고, 도 67에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 59)을 나타내고 있다.

따라서, 데이터 정상성 검출부(101)(도 58)는, 공간 방향의 정상성의 경사 GF에 대응하는 데이터 정상성 정보로서, 도 67에 나타낸 바와 같은 각도θ(경사 G_F에 대응하는 경사 G_f로 표현되는 데이터의 정상성의 방향과 X 방향이 이루는 각도θ)를 출력할 수 있다.

그러나, 제1 방법에 있어서는, 데이터 정상성 검출부(101)로부터 출력되는 데이터 정상성 정보는 일체 이용되고 있지 않다.

환언하면, 도 67에 의해 나타낸 바와 같이, 세선 함유 실세계 영역(2301)의 공간 방향의 정상성의 방향은 대략 각도θ 방향이다. 그러나, 제1 방법은, 세선 함유 실세계 영역(2301)의 공간 방향의 정상성의 방향은 Y 방향인 것으로 가정하여(즉, 각도θ가 90도인 것으로 가정하여), 근사 함수 f₁(x)의 특징량 w_i를 연산하는 방법이다.

그러므로, 근사 함수 f₁(x)는, 그 파형이 무디어져, 원래의 화소값으로부터 디테일이 감소하는 함수로 되어 버린다. 환언하면, 도시하지 않지만, 제1 방법에 의해 생성되는 근사 함수 f₁(x)는, 실제의 X단면 파형 F(x)와는 크게 상이한 파형으로 되어 버린다.

그래서, 본원 출원인은, 제1 방법에 대하여, 공간 방향의 정상성을 보다 고려하여(각도θ를 이용하여) 특징량 w_i를 연산하는 제2 방법을 발명했다.

즉, 제2 방법은, 세선 함유 실세계 영역(2301)의 정상성의 방향은 대략 각도θ 방향인 것으로 하여, 근사 함수 f₂(x)의 특징량 w_i를 연산하는 방법이다.

구체적으로는, 예를 들면, 공간 방향의 정상성에 대응하는 데이터의 정상성을 나타내는 경사 G_f는, 다음의 식(42)에 의해 표현된다.

…(42)

그리고, 식(42)에 있어서, dx는, 도 67에 나타낸 바와 같은 X 방향의 미소 이동량을 나타내고 있고, dy는, 도 67에 나타낸 바와 같은 dx에 대한 Y 방향의 미소 이동량을 나타내고 있다.

이 경우, 시프트량 C_x(y)를, 다음의 식(43)과 같이 정의하면, 제2 방법에 있어서는, 제1 방법에서 이용한 식(40)에 상당하는 식은, 다음의 식(44)과 같이 된다.

…(43)

…(44)

즉, 제1 방법에서 이용한 식(40)은, 화소의 중심의 위치(x, y) 중 X 방향의 위치 x가, 동일한 위치에 위치하는 화소의 화소값 P(x, y)는 모두 같은 값인 것을 나타내고 있다. 환언하면, 식(40)은, 같은 화소값의 화소가 Y 방향으로 연속되어 있는(Y 방향으로 정상성이 있는) 것을 나타내고 있다.

이에 대하여, 제2 방법에서 이용하는 식(44)은, 화소의 중심의 위치가(x, y)인 화소의 화소값 P(x, y)는, 주목 화소(그 중심의 위치가 원점(0, 0)인 화소)로부터 X 방향으로 x만큼 이격된 장소에 위치하는 화소의 화소값(≒f₂(x))와는 일치하지 않고, 그 화소로부터 다시 X 방향으로 시프트량 C_x(y)만큼 이격된 장소에 위치하는 화소(주목 화소로부터 X 방향으로 x＋C_x(y)만큼 이격된 장소에 위치하는 화소)의 화소값(≒f₂(x＋C_x(y))와 같은 값인 것을 나타내고 있다. 환언하면, 식(44)은, 같은 화소값의 화소가, 시프트량 C_x(y)에 대응하는 각도θ 방향으로 연속되어 있는(대략 각도θ 방향으로 정상성이 있는) 것을 나타내고 있다.

이와 같이, 시프트량 C_x(y)가, 공간 방향의 정상성(지금의 경우, 도 67의 경사 G_F로 표현되는 정상성(엄밀하게는, 경사 G_f로 표현되는 데이터의 정상성)을 고려한 보정량이며, 시프트량 C_x(y)에 의해 식(40)을 보정한 것이 식(44)로 된다.

이 경우, 도 64에 나타낸 세선 함유 데이터 영역(2302)의 20개의 화소값 P(x, y)(단, x는, -1 내지 2 중 어느 하나의 정수값. y는, -2 내지 2 중 어느 하나의 정수값)의 각각을, 전술한 식(44)에 대입하면 다음의 식(45)에서 나타내는 20개의 방정식이 생성된다.

…(45)

식(45)은, 전술한 식(41)와 마찬가지로, 20개의 방정식으로 구성되어 있다. 따라서, 제1 방법과 마찬가지로 제2 방법에 있어서도, 근사 함수 f₂(x)의 특징량 w_i의 개수가 20개보다 적은 경우, 즉 근사 함수 f₂(x)가 19차보다 적은 차수의 다항식인 경우, 예를 들면, 최소 제곱법을 이용하여 특징량 w_i의 산출이 가능하다. 그리고, 최소 제곱법의 구체적인 해법은 후술한다.

예를 들면, 제1 방법과 마찬가지로 근사 함수 f₂(x)의 차수가 5차로 된 경 우, 제2 방법에 있어서는, 다음과 같이 하여 특징량 w_i가 연산된다.

즉, 도 68은, 식(45)의 좌측 변에 나타낸 화소값 P(x, y)를 그래프화한 것을 나타내고 있다. 도 68에 나타낸 5개의 그래프의 각각은, 기본적으로 도 65에 나타낸 것과 동일하다.

도 68에 의해 나타낸 바와 같이, 최대의 화소값(세선에 대응하는 화소값)은, 경사 G_F로 표현되는 데이터의 정상성의 방향으로 연속되어 있다.

그래서, 제2 방법에 있어서는, 도 68에 나타낸 입력 화소값 P(x,-2), P(x,-1), P(x,0), P(x,1), P(x,2)의 각각을, 예를 들면, x축에 따라 더하는 경우, 제1 방법과 같이 그대로 더하는(y를 일정한 것으로 간주하여, 도 68에 나타낸 상태인 채 5개의 그래프를 거듭함) 것은 아니고, 도 69에 나타낸 상태로 변화시키고 나서 더한다.

즉, 도 69는, 도 68에 나타낸 입력 화소값 P(x,-2), P(x,-1), P(x,0), P(x,1), P(x,2)의 각각을, 전술한 식(43)에서 나타내는 시프트량 C_x(y)만큼 시프트시킨 상태를 나타내고 있다. 환언하면, 도 69는, 도 68에 나타낸 5개의 그래프를, 데이터의 정상성의 실제의 방향을 나타내는 경사 G_F를, 마치 경사 G_F'로 하도록(도면 중, 점선의 직선을 실선의 직선으로 하도록) 이동시킨 상태를 나타내고 있다.

도 69의 상태에서, 입력 화소값 P(x,-2), P(x,-1), P(x,0), P(x,1), P(x,2)의 각각을, 예를 들면, x축에 따라 더하면(도 69에 나타낸 상태에서 5개의 그래프를 중첩하면), 도 70에 나타낸 바와 같은, x축에 평행한 복수개의 선(점선, 3점 쇄선, 실선, 1점 쇄선, 및 2점 쇄선)이 분포한다.

그리고, 도 70에 있어서, 세로축은 화소값을 나타내고 있고, 가로축은 주목 화소로부터의 상대 위치 x를 나타내고 있다. 또, 점선은 입력 화소값 P(x,-2)를, 3점 쇄선은 입력 화소값 P(x,-1)를, 실선은 입력 화소값 P(x,0)를, 1점 쇄선은 입력 화소값 P(x,1)를, 2점 쇄선은 입력 화소값 P(x,2)를, 각각 나타내고 있다. 또한, 동일한 화소값의 경우, 실제로는 2개 이상의 선이 겹치게 되지만, 도 70에 있어서는, 각 선이 구별되도록, 각 선의 각각이 중첩되지 않도록 묘화되어 있다.

그리고, 이와 같이 분포한 20개의 입력 화소값 P(x, y)의 각각 (단, x는, -1 내지 2 중 어느 하나의 정수값. y는, -2 내지 2 중 어느 하나의 정수값)과, 값f₂(x+C_x(y)의 오차가 최소가 되도록 한 회귀 곡선(최소 제곱법에 의해 연산된 특징량 w_i를 전술한 식(38)에 대입하여 얻어지는 근사 함수 f₂(x)는, 도 70의 실선으로 나타낸 곡선 f₂(x)로 된다.

이와 같이, 제2 방법에 의해 생성된 근사 함수 f₂(x)는, 데이터 정상성 검출부(101)(도 58)로부터 출력되는 각도θ 방향(즉, 대략 공간 방향의 정상성의 방향)의 입력 화소값 P(x, y)의 평균값을 X 방향으로 연속된 곡선을 나타내게 된다.

이에 대하여, 전술한 바와 같이, 제1 방법에 의해 생성된 근사 함수 f₁(x)는, Y 방향(즉, 공간 방향의 정상성과는 상이한 방향)의 입력 화소값 P(x, y)의 평균값을, X 방향으로 연속된 곡선을 단지 나타내고 있는 것에 지나지 않는다.

따라서, 도 70에 의해 나타낸 바와 같이, 제2 방법에 의해 생성된 근사 함수 f₂(x)는, 제1 방법에 의해 생성된 근사 함수 f₁(x)보다도, 그 파형의 둔한 정도가 감소하고, 또한 원래의 화소값에 대한 디테일의 줄어든 상태도 감소하는 함수로 된다. 환언하면, 도시 하지 않지만, 제2 방법에 의해 생성되는 근사 함수 f₂(x)는, 제1 방법에 의해 생성되는 근사 함수 f₁(x)보다 실제의 X단면 파형 F(x)에 의해 가까운 파형으로 된다.

그러나, 전술한 바와 같이, 근사 함수 f₂(x)는, 공간 방향의 정상성이 고려된 것이지만, 입력 화상(입력 화소값)을 원점(기준)으로 하여 생성된 것임에 틀림없다. 즉, 전술한 도 63에 의해 나타낸 바와 같이, 근사 함수 f₂(x)는, X단면 파형 F(x)와는 상이한 입력 화상을 근사시킨 데 지나지 않고, X단면 파형 F(x)를 근사시킨 것이라고는 말하기 어렵다. 환언하면, 제2 방법은, 전술한 식(44)이 성립하는 것으로 하여 특징량 w_i를 연산하는 방법이며, 전술한 식(38)의 관계는 고려하고 있지 않다(센서(2)의 적분 효과를 고려하고 있지 않다).

그래서, 본원 출원인은, 제2 방법에 대하여, 센서(2)의 적분 효과를 더욱 고려함으로써 근사 함수 f₃(x)의 특징량 w_i를 연산하는 제3 방법을 발명했다.

즉, 제3 방법은, 공간 혼합 또는 시간 혼합의 개념을 도입한 방법이다. 그리고, 공간 혼합과 시간 혼합의 양쪽을 고려하면, 설명이 복잡하게 되므로, 여기서는, 공간 혼합과 시간 혼합 중, 예를 들면 공간 혼합을 고려하여, 시간 혼합을 무 시하는 것으로 한다.

그래서, 제3 방법의 설명 전에, 도 71을 참조하여, 공간 혼합에 대하여 설명한다.

도 71에 있어서, 실세계(1)의 광신호의 1부분(2321)(이하, 영역(2321)이라고 함)은, 센서(2)의 하나의 검출 소자(화소)와 같은 면적을 가지는 영역을 나타내고 있다.

영역(2321)이 센서(2)에 의해 검출되면, 센서(2)로부터는, 영역(2321)이 시공간 방향(X 방향, Y 방향, 및 t 방향)으로 적분된 값(1개의 화소값)(2322)가 출력된다. 그리고, 화소값(2322)은, 도면 중, 화상으로서 표현되어 있지만, 실제로는, 소정값을 나타내는 데이터이다.

실세계(1)의 영역(2321)은, 전경(前景)(예를 들면, 전술한 세선)에 대응하는 광신호(도면 중 백색 영역)와, 배경에 대응하는 광신호(도면 중 검은 영역)으로 명확하게 구분된다.

이에 대하여, 화소값(2322)은, 전경에 대응하는 실세계(1)의 광신호와, 배경에 대응하는 실세계(1)의 광신호가 적분된 값이다. 환언하면, 화소값(2322)은, 전경에 대응하는 광의 레벨과 배경에 대응하는 광의 레벨이 공간적으로 혼합된 레벨에 대응하는 값이다.

이와 같이, 실세계(1)의 광신호 중 1화소(센서(2)의 검출 소자)에 대응하는 부분이, 동일 레벨의 광신호가 공간적으로 한결같이 분포하는 부분이 아니고, 전경과 배경과 같이 상이한 레벨의 광신호의 각각이 분포하는 부분인 경우, 그 영역은, 센서(2)에 의해 검출되면, 센서(2)의 적분 효과에 의해, 상이한 광의 레벨이 마치 공간적으로 혼합되어(공간 방향으로 적분되어) 1개의 화소값으로 되어 버린다. 이와 같이, 센서(2)의 화소에 있어서, 전경에 대한 화상(실세계(1)의 광신호)과 배경에 대한 화상(실세계(1)의 광신호)이 공간적으로 적분되어, 말하자면 혼합되어 버리는 것이, 공간 혼합이며, 그와 같은 화소로 이루어지는 영역을, 여기서는, 공간 혼합 영역이라고 한다.

따라서, 제3 방법에 있어서는, 실세계 추정부(102)(도 58)가, 실세계(1)의 원래의 영역(2321)(실세계(1)의 광신호 중, 센서(2)의 1화소에 대응하는 부분(2321)을 나타내는 X단면 파형 F(x)를, 예를 들면, 도 72에 나타낸 바와 같은, 1차의 다항식 등의 근사 함수 f₃(x)로 근사시킴으로써, X단면 파형 F(x)를 추정한다.

즉, 도 72는, 공간 혼합 영역인 화소값(2322)(도 71)에 대응하는 근사 함수 f₃(x), 즉 실세계(1)의 영역(2331) 내의 실선(도 71)에 대응하는 X단면 파형 F(x)를 근사시키는 근사 함수 f₃(x)의 예를 나타내고 있다. 도 72에 있어서, 도면 중 수평 방향의 축은, 화소값(2322)에 대응하는 화소의 좌측 하단 x_s로부터 우측 하단 x_e 까지의 변(도 71)에 평행한 축을 나타내고 있고, x축으로 되어 있다. 도면 중 수직 방향의 축은, 화소값을 나타내는 축으로 되어 있다.

도 72에 있어서, 근사 함수 f₃(x)를 x_s로부터 x_e의 범위(화소폭)로 적분한 것이, 센서(2)로부터 출력되는 화소값 P(x, y)와 대략 일치하는(오차 e만큼 존재하 는) 것으로서, 다음의 식(46)을 정의한다.

…(46)

지금의 경우, 도 67에 나타낸 세선 함유 데이터 영역(2302)의 20개의 화소값 P(x, y)(단, x는, -1 내지 2 중 어느 하나의 정수값. y는, -2 내지 2 중 어느 하나의 정수값)로부터, 근사 함수 f₃(x)의 특징량 w_i가 산출되므로, 식(46)의 화소값 P는, 화소값 P(x, y)로 된다.

또, 제2 방법과 마찬가지로, 공간 방향의 정상성도 고려할 필요가 있으므로, 식(46)의 적분 범위의 개시 위치 x_s와 종료 위치 x_e의 각각은, 시프트량 C_x(y)에도 의존하게 된다. 즉, 식(46)의 적분 범위의 개시 위치 x_s와 종료 위치 x_e의 각각은, 다음의 식(47)과 같이 표현된다.

…(47)

이 경우, 도 67에 나타낸 세선 함유 데이터 영역(2302)의 각 화소값 각각, 즉 도 68에 나타낸 입력 화소값 P(x,-2), P(x,-1), P(x,0), P(x,1), P(x,2)의 각각 (단, x는, -1 내지 2 중 어느 하나의 정수값)을, 전술한 식(46)(적분 범위는, 전술한 식(47))에 대입하면 다음의 식(48)에서 나타내는 20개의 방정식이 생성된다.

…(48)

식(48)은, 전술한 식(45)와 마찬가지로, 20개의 방정식으로 구성되어 있다. 따라서, 제2 방법과 마찬가지로 제3 방법에 있어서도, 근사 함수 f₃(x)의 특징량 w_i의 개수가 20개보다 적은 경우, 즉 근사 함수 f₃(x)가 19차보다 적은 차수의 다항식인 경우, 예를 들면, 최소 제곱법을 이용하여 특징량 w_i의 산출이 가능하다. 그리고, 최소 제곱법의 구체적인 해법은 후술한다.

예를 들면, 근사 함수 f₃(x)의 차수가 5차로 된 경우, 식(48)을 이용하여 최소 제곱법에 의해 연산된 근사 함수 f₃(x)(연산된 특징량 w_i에 의해 생성되는 근사 함수 f₃(x)는, 도 73의 실선으로 나타내는 곡선과 같이 된다.

그리고, 도 73에 있어서, 세로축은 화소값을 나타내고 있고, 가로축은 주목 화소로부터의 상대 위치 x를 나타내고 있다.

도 73에 의해 나타낸 바와 같이, 제3 방법에 의해 생성된 근사 함수 f₃(x)(도면 중, 실선으로 나타내는 곡선)는, 제2 방법에 의해 생성된 근사 함수 f₂(x)(도면 중, 점선으로 나타내는 곡선)와 비교하면, x= 0에 있어서의 화소값이 커지고, 또, 곡선의 경사의 정도도 갑작스러운 파형으로 된다. 이것은, 입력 화소로부터 디테일이 증가하여, 입력 화소의 해상도와는 무관계로 되어 있기 때문이다. 즉, 근사 함수 f₃(x)는, X단면 파형 F(x)를 근사시키고 있다고 할 수 있다. 따라서, 도 시는 하지 않지만, 근사 함수 f₃(x)는, 근사 함수 f₂(x)보다 X단면 파형 F(x)에 가까운 파형으로 된다.

도 74는, 이와 같은 1차 근사 방법을 이용하는 실세계 추정부(102)의 구성예를 나타내고 있다.

도 74에 있어서, 실세계 추정부(102)는, 예를 들면, 특징량 w_i를 전술한 제3 방법(최소 제곱법)에 의해 연산하고, 연산한 특징량 w_i를 이용하여 전술한 식(39)의 근사 함수 f(x)를 생성함으로써, X단면 파형 F(x)를 추정한다.

도 74에 의해 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(2331), 입력 화상 기억부(2332), 입력 화소값 취득부(2333), 적분 성분 연산부(2334), 정규 방정식 생성부(2335), 및 근사 함수 생성부(2336)가 형성되어 있다.

조건 설정부(2331)는, 주목 화소에 대응하는 X단면 파형 F(x)를 추정하기 위해 사용하는 화소의 범위(이하, 탭 범위라고 함)나, 근사 함수 f(x)의 차수 n를 설정한다.

입력 화상 기억부(2332)는, 센서(2)로부터의 입력 화상(화소값)을 1차적으로 저장한다.

입력 화소값 취득부(2333)는, 입력 화상 기억부(2332)에 기억된 입력 화상 중, 조건 설정부(2231)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(2335)에 공급한다. 즉, 입력 화소값 테이블은, 입력 화상의 영역에 포함되는 각 화소의 각각의 화소값 이 기술된 테이블이다. 그리고, 입력 화소값 테이블의 구체예에 대하여는 후술한다.

그런데, 여기서는, 실세계 추정부(102)는, 전술한 식(46)과 식(47)을 이용하여 최소 제곱법에 의해 근사 함수 f(x)의 특징량 w_i를 연산하지만, 전술한 식(46)은, 다음의 식(49)과 같이 표현할 수 있다.

…(49)

식(49)에 있어서, S_i(x_s, x_e)는, i차 항의 적분 성분을 나타내고 있다. 즉, 적분 성분 S_i(x_s, x_e)는, 다음의 식(50)에서 나타낸다.

…(50)

적분 성분 연산부(2334)는, 이 적분 성분 S_i(x_s, x_e)를 연산한다.

구체적으로는, 식(50)에서 나타내는 적분 성분 S_i(x_s, x_e)(단, 값x_s와 값x_e는, 전술한 식(46)에서 나타내는 값)은, 상대 화소의 위치(x, y), 시프트량 C_x(y), 및 i 차 항의 i가 기존이면 연산 가능하다. 또, 이들 중의, 상대 화소의 위치(x, y)는 주목 화소와 탭 범위에 의해, 시프트량 C_x(y)는 각도θ에 의해(전술한 식(41)과 식(43)에 의해), i의 범위는 차수 n에 의해, 각각 결정된다.

따라서, 적분 성분 연산부(2334)는, 조건 설정부(2331)에 의해 설정된 탭 범위 및 차수, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중 각도θ에 따라 적분 성분 S_i(x_s, x_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(2335)에 공급한다.

정규 방정식 생성부(2335)는, 입력 화소값 취득부(2333)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(2334)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(46), 즉 식(49)의 우측 변의 특징량 w_i를 최소 제곱법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(2336)에 공급한다. 그리고, 정규 방정식의 구체예에 대하여는 후술한다.

근사 함수 생성부(2336)는, 정규 방정식 생성부(2335)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해법으로 푸는 것에 의해, 전술한 식(49)의 특징량 w_i(즉, 1차원 다항식인 근사 함수 f(x)의 계수 w_i)의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 75의 플로차트를 참조하여, 1차원 근사 방법을 이용하는 실세계 추정부(102)(도 74)의 실세계의 추정 처리(도 29의 스텝 S102의 처리)에 대하여 설명한다.

예를 들면, 지금, 센서(2)로부터 출력된 1프레임의 입력 화상으로서, 전술한 도 60의 세선 함유 데이터 영역(2302)를 포함하는 입력 화상이, 이미 입력 화상 기억부(2332)에 기억되어 있는 것으로 한다. 또, 데이터 정상성 검출부(101)가, 스텝 S101(도 29)의 정상성의 검출의 처리에 있어서, 세선 함유 데이터 영역(2302)에 대하여 그 처리를 가하여, 데이터 정상성 정보로서 각도θ를 이미 출력하고 있는 것으로 한다.

이 경우, 도 75의 스텝 S2301에 있어서, 조건 설정부(2331)는, 조건(탭 범위와 차수)을 설정한다.

예를 들면, 지금, 도 76에 나타낸 탭 범위(2351)가 설정되고, 차수로서 5차가 설정된 것으로 한다.

즉, 도 76은, 탭 범위의 1예를 설명하는 도면이다. 도 76에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 59)을 나타내고 있다. 또, 탭 범위(2351)는, X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소(도면 중, 20개의 정방형)으로 이루어지는 화소군을 나타내고 있다.

또한, 도 76에 의해 나타낸 바와 같이, 주목 화소가, 탭 범위(2351) 중, 도면 중, 좌측으로부터 2화소째이며, 아래로부터 3화소째의 화소에 설정되는 것으로 한다. 또, 각 화소의 각각에 대하여, 주목 화소로부터의 상대 화소의 위치(x, y)(주목 화소의 중심(0, 0)을 원점으로 하는 주목 화소 좌표계의 좌표값)에 따라, 도 76에 나타낸 바와 같은 번호 1(1은, 0 내지 19 중 어느 하나의 정수값)이 부여되는 것으로 한다.

도 75로 복귀하고, 스텝 S2302에 있어서, 조건 설정부(2331)는, 주목 화소를 설정한다.

스텝 S2303에 있어서, 입력 화소값 취득부(2333)는, 조건 설정부(2331)에 의해 설정된 조건(탭 범위)에 따라 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 즉, 지금의 경우, 입력 화소값 취득부(2333)는, 세선 함유 데이터 영역(2302)(도 64)을 취득하고, 입력 화소값 테이블로서, 20개의 입력 화소값 P(l)으로 이루어지는 테이블을 생성한다.

그리고, 지금의 경우, 입력 화소값 P(l)와, 전술한 입력 화소값 P(x, y)의 관계는, 다음의 식(51)에서 나타내는 관계로 된다. 단, 식(51)에 있어서, 좌측 변이 입력 화소값 P(l)를 나타내고, 우측 변이 입력 화소값 P(x, y)를 나타내고 있다.

…(51)

스텝 S2304에 있어서, 적분 성분 연산부(2334)는, 조건 설정부(2331)에 의해 설정된 조건(탭 범위 및 차수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

지금의 경우, 전술한 바와 같이, 입력 화소값은, P(x, y)가 아니고 P(l)이라는, 화소의 번호 l의 값으로서 취득되므로, 적분 성분 연산부(2334)는, 전술한 식(50)의 적분 성분 S_i(x_s, x_e)를, 다음의 식(52)의 좌측 변에 나타낸 적분 성분 S_i(l) 이라는 l의 함수로서 연산한다.

…(52)

구체적으로는, 지금의 경우, 다음의 식(53)에서 나타내는 적분 성분 S_i(l)가 연산된다.

…(53)

그리고, 식(53)에 있어서, 좌측 변이 적분 성분 S_i(l)를 나타내고, 우측 변 이 적분 성분 S_i(x_s, x_e)를 나타내고 있다. 즉, 지금의 경우, i는 0 내지 5이므로, 20개의 S₀(l), 20개의 S₁(l), 20개의 S₂(l), 20개의 S₃(l), 20개의 S₄(l), 20개의 S₅(l)의 총계 120개의 S_i(l)가 연산되게 된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(2334)는, 데이터 정상성 검출부(101)로부터 공급된 각도θ를 사용하여, 시프트량 C_x(-2), C_x(-1), C_x(1), C_x(2)의 각각을 연산한다. 다음에, 적분 성분 연산부(2334)는, 연산한 시프트량 C_x(-2), C_x(-1), C_x(1), C_x(2)를 사용하여 식(52)의 우측 변에 나타낸 20개의 적분 성분 S_i(x_s, x_e)의 각각을, i= 0 내지 5의 각각에 대하여 연산한다. 즉, 120개의 적분 성분 S_i(x_s, x_e)가 연산된다. 그리고, 이 적분 성분 S_i(x_s, x_e)의 연산에 있어서는, 전술한 식(50)이 사용된다. 그리고, 적분 성분 연산부(2334)는, 식(53)에 따라, 연산한 120개의 적분 성분 S_i(x_s, x_e)의 각각을, 대응하는 적분 성분 S_i(l)로 변환하고, 변환한 120개의 적분 성분 S_i(l)를 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S2303의 처리와 스텝 S2304의 처리의 순서는, 도 75의 예에 한정되지 않고, 스텝 S2304의 처리가 먼저 실행되어도 되고, 스텝 S2303의 처리와 스텝 S2304의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S2305에 있어서, 정규 방정식 생성부(2335)는, 스텝 S2303의 처리로 입력 화소값 취득부(2333)에 의해 생성된 입력 화소값 테이블과, 스텝 S2304의 처리로 적분 성분 연산부(2334)에 의해 생성된 적분 성분 테이블에 따라, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 최소 제곱법에 의해, 전술한 식(49)에 대응하는 다음의 식(54)의 특징량 w_i를 연산한다. 그에 대응하는 정규 방정식은, 다음의 식(55)과 같이 표현된다.

…(54)

…(55)

그리고, 식(55)에 있어서, L은, 탭 범위의 화소의 번호 l 중 최대값을 나타내고 있다. n은, 다항식인 근사 함수 f(x)의 차수를 나타내고 있다. 구체적으로는, 지금의 경우, n= 5로 되고, L= 19로 된다.

식(55)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(56) 내지 (58)와 같이 정의하면, 정규 방정식은, 다음의 식(59)과 같이 표현된다.

…(56)

…(57)

…(58)

…(59)

식(57)에 의해 나타낸 바와 같이, 행렬 W_MAT의 각 성분은, 구하려는 특징량 w_i이다. 따라서, 식(59)에 있어서, 좌측 변의 행렬 S_MAT와 우측 변의 행렬 P_MAT가 결정되고, 행렬 해법에 따라 행렬 W_MAT(즉, 특징량 w_i)의 산출이 가능하다.

구체적으로는, 식(56)에 의해 나타낸 바와 같이, 행렬 S_MAT의 각 성분은, 전술한 적분 성분 S_i(l)가 기존이면 연산 가능하다. 적분 성분 S_i(l)는, 적분 성분 연산부(2334)로부터 공급된 적분 성분 테이블에 포함되어 있으므로, 정규 방정식 생성부(2335)는, 적분 성분 테이블을 이용하여 행렬 S_MAT의 각 성분을 연산할 수 있다.

또, 식(58)에 의해 나타낸 바와 같이, 행렬 P_MAT의 각 성분은, 적분 성분 S_i(l)과 입력 화소값 P(l)가 기존이면 연산 가능하다. 적분 성분 S_i(l)는, 행렬 S_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 입력 화소값 P(l)는, 입력 화소값 취득부(2333)로부터 공급된 입력 화소값 테이블에 포함되어 있으므로, 정규 방정식 생성부(2335)는, 적분 성분 테이블과 입력 화소값 테이블을 이용하여 행렬 P_MAT의 각 성분을 연산할 수 있다.

이같이 하여, 정규 방정식 생성부(2335)는, 행렬 S_MAT와 행렬 P_MAT의 각 성분을 연산하고, 그 연산 결과(행렬 S_MAT와 행렬 P_MAT의 각 성분)를 정규 방정식 테이블 로서 근사 함수 생성부(2336)에 출력한다.

정규 방정식 생성부(2335)로부터 정규 방정식 테이블이 출력되면 스텝 S2306에 있어서, 근사 함수 생성부(2336)는, 정규 방정식 테이블에 따라, 전술한 식(59)의 행렬 W_MAT의 각 성분인 특징량 w_i(즉, 1차원 다항식인 근사 함수 f(x)의 계수 w_i)를 연산한다.

구체적으로는, 전술한 식(59)의 정규 방정식은, 다음의 식(60)과 같이 변형할 수 있다.

…(60)

식(60)에 있어서, 좌측 변의 행렬 W_MAT의 각 성분이, 구하려는 특징량 w_i이다. 또, 행렬 S_MAT와 행렬 P_MAT의 각각의 각 성분은, 정규 방정식 생성부(2335)로부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(2336)는, 정규 방정식 테이블을 이용하여, 식(60)의 우측 변의 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.

스텝 S2307에 있어서, 근사 함수 생성부(2336)는, 모든 화소의 처리를 종료하였는지 여부를 판정한다.

스텝 S2307에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S2302로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아 직 주목 화소로 되지 않은 화소가, 차례로 주목 화소로 되어, 스텝 S2302 내지 S2307의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료하면(스텝 S2307에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료로 된다.

그리고, 이상과 같이 하여 연산된 계수(특징량w_i)에 의해 생성되는 근사 함수 f(x)의 파형은, 전술한 도 73의 근사 함수 f₃(x)와 같은 파형으로 된다.

이와 같이, 1차원 근사 방법에 있어서는, 1차원의 X단면 파형 F(x)와 동일 형상의 파형이 정상성의 방향으로 연속되어 있는 것으로 가정하여, 예를 들면, 1차원의 다항식 등의 근사 함수 f(x)의 특징량이 연산된다. 따라서, 1차원 근사 방법에 있어서는, 다른 함수 근사 방법과 비교하여, 적은 연산 처리량으로 근사 함수 f(x)의 특징량의 산출이 가능해진다.

다음에, 도 77 내지 도 83을 참조하여, 제2 함수 근사 방법에 대하여 설명한다.

즉, 제2 함수 근사 방법이란, 예를 들면, 도 77에 나타낸 바와 같은, 경사 G_F로 표현되는 공간 방향의 정상성을 가지는 실세계(1)의 광신호를, X－Y 평면 상(공간 방향의 1방향인 X 방향과 X 방향으로 수직인 Y 방향으로 수평인 평면 상)의 파형 F(x, y)로 간주하여, 2차원의 다항식 등의 근사 함수 f(x, y)로 파형 F(x, y)를 근사시킴으로써, 그 파형 F(x, y)를 추정하는 방법이다. 따라서, 이하, 제2 함수 근사 방법을, 2차원 근사 방법이라고 한다.

그리고, 도 77에 있어서, 도면 중, 수평 방향은, 공간 방향의 1방향인 X 방향을, 우측 상방향은, 공간 방향의 다른 방향인 Y 방향을, 수직 방향은, 광의 레벨을, 각각 나타내고 있다. G_F는, 공간 방향의 정상성의 경사를 나타내고 있다.

또, 2차원 근사 방법의 설명에 있어서도, 센서(2)는, 도 78에 나타낸 바와 같은, 복수개의 검출 소자(2-1)가 그 평면 상에 배치되어 구성되는 CCD로 된다.

도 78의 예에서는, 검출 소자(2-1)의 소정의 1변에 평행한 방향이, 공간 방향의 1방향인 X 방향으로 되어 있고, X 방향으로 수직인 방향이, 공간 방향의 다른 방향인 Y 방향으로 되어 있다. 그리고, X－Y 평면에 수직인 방향이, 시간 방향인 t 방향으로 되어 있다.

또, 도 78의 예에서는, 센서(2)의 각 검출 소자(2-1)의 각각의 공간적인 형상은, 1변의 길이가 1의 정방형으로 되어 있다. 그리고, 센서(2)의 셔터 시간(노광 시간)이 1로 되어 있다.

또한, 도 78의 예에서는, 센서(2)의 소정의 1개의 검출 소자(2-1)의 중심이, 공간 방향(X 방향과 Y 방향)의 원점(X 방향의 위치 x= 0, 및 Y 방향의 위치 y= 0)으로 되어 있고, 또, 노광 시간의 중간 시각이, 시간 방향(t 방향)의 원점(t 방향의 위치 t= 0으로 되어 있다.

이 경우, 공간 방향의 원점(x= 0, y= 0)에 그 중심이 존재하는 검출 소자(2-1)는, X 방향으로 ―0.5 내지 0.5의 범위, Y 방향으로 ―0.5 내지 0.5의 범위, 및 t 방향으로 ―0.5 내지 0.5의 범위에서 광신호 함수 F(x, y, t)를 적분하고, 그 적 분값을 화소값 P로서 출력하게 된다.

즉, 공간 방향의 원점에 그 중심이 존재하는 검출 소자(2-1)로부터 출력되는 화소값 P는, 다음의 식(61)에 의해 표현된다.

…(61)

그 외의 검출 소자(2-1)도 마찬가지로, 대상으로 하는 검출 소자(2-1)의 중심을 공간 방향의 원점으로 함으로써, 식(61)에서 나타낸 화소값 P를 출력하게 된다.

그런데, 전술한 바와 같이, 2차원 근사 방법은, 실세계(1)의 광신호를, 예를 들면, 도 77에 나타낸 바와 같은 파형 F(x, y)로서 취급하여, 그 2차원의 파형 F(x, y)를, 2차원의 다항식 등의 근사 함수 f(x, y)에 근사시키는 방법이다.

그래서, 처음에, 이와 같은 근사 함수 f(x, y)를 2차원의 다항식으로 표현하는 방법에 대하여 설명한다.

전술한 바와 같이, 실세계(1)의 광신호는, 3차원의 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 광신호 함수 F(x, y, t)에 의해 표현된다. 이 광신호 함수 F(x, y, t)를, Y 방향의 임의의 위치 y에 있어서, X 방향으로 투영한 1차원의 파형을, 여기서는, X단면 파형 F(x)라고 하고 있다.

이 X단면 파형 F(x)에 주목하면, 실세계(1)의 신호가, 공간 방향의 소정의 방향으로 정상성을 가지고 있는 경우, X단면 파형 F(x)와 동일 형상의 파형이 그 정상성의 방향으로 연속되어 있는 것으로 생각할 수 있다. 예를 들면, 도 77의 예에서는, X단면 파형 F(x)와 동일 형상의 파형이, 경사 G_F의 방향으로 연속되어 있다. 환언하면, X단면 파형 F(x)와 동일 형상의 파형이 경사 G_F의 방향으로 연속되어, 파형 F(x, y)가 형성되어 있다고도 할 수 있다.

따라서, 파형 F(x, y)를 근사시키는 근사 함수 f(x, y)의 파형은, X단면 파형 F(x)를 근사시키는 근사 함수 f(x)와 동일 형상의 파형이 연속되어 형성되는 것으로 생각함으로써, 근사 함수 f(x, y)를 2차원의 다항식으로 표현하는 것이 가능하게 된다.

보다 상세하게, 근사 함수 f(x, y)의 표현 방법에 대하여 설명한다.

예를 들면, 지금, 전술한 도 77에 나타낸 바와 같은, 실세계(1)의 광신호, 즉 경사 G_F로 표현되는 공간 방향의 정상성을 가지는 광신호가, 센서(2)(도 78)에 의해 검출되어 입력 화상(화소값)으로서 출력된 것으로 한다.

또한, 도 79에 의해 나타낸 바와 같이, 데이터 정상성 검출부(101)(도 3)가, 이 입력 화상 중, X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소(도면 중, 점선에 의해 표현되는 20개의 정방형)로 구성되는 입력 화상의 영역(2401)에 대하여 그 처리를 실행하고, 데이터 정상성 정보의 하나로서 각도θ(경사 G_F에 대응하는 경사 G_F로 표현되는 데이터의 정상성의 방향과 X 방향의 이루는 각도θ)를 출력한 것으로 한다.

그리고, 입력 화상의 영역(2401)에 있어서, 도면 중 수평 방향은, 공간 방향 의 1방향인 X 방향을 나타내고 있고, 도면 중 수직 방향은, 공간 방향의 다른 방향인 Y 방향을 나타내고 있다.

또, 도 79중, 좌측으로부터 2화소째이며, 아래로부터 3화소째의 화소가 주목 화소로 되고, 그 주목 화소의 중심을 원점(0, 0)으로 하도록 (x, y)좌표계가 설정되어 있다. 그리고, 원점(0, 0)을 지나는 각도θ의 직선(데이터의 정상성의 방향을 나타내는 경사 G_f의 직선)에 대한 X 방향의 상대적인 거리(이하, 단면 방향 거리 이라고 함)가 x'로 기술되어 있다.

또한, 도 79중, 우측의 그래프는, X단면 파형 F(x')가 근사된 함수로서, n차(n은, 임의의 정수)의 다항식인 근사 함수 f(x')를 나타내고 있다. 우측의 그래프의 축 중, 도면 중 수평 방향의 축은, 단면 방향 거리를 나타내고 있고, 도면 중 수직 방향의 축은, 화소값을 나타내고 있다.

이 경우, 도 79에 나타낸 근사 함수 f(x')는, n차의 다항식이므로, 다음의 식(62)과 같이 표현된다.

…(62)

또, 각도θ가 결정되어 있으므로, 원점(0, 0)을 지나는 각도θ의 직선은 일의적으로 정해지고, Y 방향의 임의의 위치 y에 있어서의, 직선의 X 방향의 위치 xl가, 다음의 식(63)과 같이 표현된다. 단, 식(63)에 있어서, s는 cotθ(=1/tanθ)를 나타내고 있다.

…(63)

즉, 도 79에 의해 나타낸 바와 같이, 경사 G_F로 표현되는 데이터의 정상성에 대응하는 직선상의 점은, 좌표값(x_l, y)에 의해 표현된다.

식(63)으로부터, 단면 방향 거리 x'는, 다음의 식(64)과 같이 표현된다.

…(64)

따라서, 입력 화상의 영역(2401) 내의 임의의 위치(x, y)에 있어서의 근사 함수 f(x, y)는, 식(62)과 식(64)로부터, 다음의 식(65)과 같이 나타낸다.

…(65)

그리고, 식(65)에 있어서, w_i는, 근사 함수 f(x, y)의 계수를 나타내고 있다. 그리고, 근사 함수 f(x, y)를 포함하는 근사 함수 f의 계수 w_i를, 근사 함수 f의 특징량으로 위치하게 할 수도 있다. 따라서, 이하, 근사 함수 f의 계수 w_i를, 근사 함수 f의 특징량 w_i라고도 한다.

이같이 하여, 각도θ가 기존이면, 2차원 파형의 근사 함수 f(x, y)를, 식(65)의 다항식으로서 표현할 수 있다.

따라서, 실세계 추정부(102)는, 식(65)의 특징량 w_i를 연산할 수 있으면, 도 77에 나타낸 바와 같은 파형 F(x, y)를 추정할 수 있다.

그래서, 이하, 식(65)의 특징량 w_i를 연산하는 방법에 대하여 설명한다.

즉, 식(65)에 의해 표현되는 근사 함수 f(x, y)를, 화소(센서(2)의 검출 소자(2-1)(도 78)에 대응하는 적분 범위(공간 방향의 적분 범위)에서 적분하면, 그 적분값이, 화소의 화소값의 추정값으로 된다. 이것을, 식으로 표현한 것이, 다음의 식(66)이다. 그리고, 2차원 근사 방법에 있어서는, 시간 방향 t는 일정값으로 간주되므로, 식(66)은, 공간 방향(X 방향과 Y방향)의 위치 x, y를 변수로 하는 방정식으로 되어 있다.

…(66)

식(66)에 있어서, P(x, y)는, 센서(2)로부터의 입력 화상 중, 그 중심 위치가 위치(x, y)(주목 화소로부터의 상대 위치(x, y)에 존재하는 화소의 화소값을 나타내고 있다. 또, e는, 오차를 나타내고 있다.

이와 같이, 2차원 근사 방법에 있어서는, 입력 화소값 P(x, y)와, 2차원의 다항식 등의 근사 함수 f(x, y)의 관계를, 식(66)으로 표현하는 것이 가능하므로, 실세계 추정부(102)는, 식(66)을 이용하여, 특징량 w_i를, 예를 들면, 최소 제곱법 등에 의해 연산함으로써(연산한 특징량 w_i를 식(64)에 대입하여 근사 함수 f(x, y) 를 생성함으로써), 2차원의 함수 F(x, y)(경사 G_F(도 77)에 의해 표현되는 공간 방향의 정상성을 가지는 실세계(1)의 광신호를, 공간 방향으로 주목하여 나타내는 파형 F(x, y)를 추정하는 것이 가능해진다.

도 80은, 이와 같은 2차원 근사 방법을 이용하는 실세계 추정부(102)의 구성예를 나타내고 있다.

도 80에 의해 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(2421), 입력 화상 기억부(2422), 입력 화소값 취득부(2423), 적분 성분 연산부(2424), 정규 방정식 생성부(2425), 및 근사 함수 생성부(2426)가 형성되어 있다.

조건 설정부(2421)는, 주목 화소에 대응하는 함수 F(x, y)를 추정하기 위해 사용하는 화소의 범위(탭 범위)나, 근사 함수 f(x, y)의 차수 n를 설정한다.

입력 화상 기억부(2422)는, 센서(2)로부터의 입력 화상(화소값)을 1차 저장한다.

입력 화소값 취득부(2423)는, 입력 화상 기억부(2422)에 기억된 입력 화상 중, 조건 설정부(2421)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(2425)에 공급한다. 즉, 입력 화소값 테이블은, 입력 화상의 영역에 포함되는 각 화소의 각각의 화소값이 기술된 테이블이다. 그리고, 입력 화소값 테이블의 구체예에 대하여는 후술한다.

그런데, 전술한 바와 같이, 2차원 근사 방법을 이용하는 실세계 추정부(102) 는, 전술한 식(66)을 최소 제곱법으로 푸는 것에 의해, 전술한 식(65)에서 나타내는 근사 함수 f(x, y)의 특징량 w_i를 연산한다.

식(66)은, 다음의 식(67) 내지 식(69)을 사용함으로써 얻어지는 다음의 식(70)을 사용함으로써, 다음의 식(71)과 같이 표현할 수 있다.

…(67)

…(68)

…(69)

…(70)

…(71)

식(71)에 있어서, S_i(x-0.5, x+0.5, y-0.5, y+0.5)는, i차 항의 적분 성분을 나타내고 있다. 즉, 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)는, 다음의 식(72)에서 나타내는 대로이다.

…(72)

적분 성분 연산부(2424)는, 이 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)를 연산한다.

구체적으로는, 식(72)에서 나타내는 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)는, 상대 화소의 위치(x, y), 전술한 식(65)에 있어서의 변수 s, 및 i차 항의 i가 기존이면, 연산 가능하다. 이들 중의, 상대 화소의 위치(x, y)는 주목 화소와 탭 범위에 의해, 변수 s는 cotθ이므로 각도θ에 의해, i의 범위는 차수 n에 따라, 각각 결정된다.

따라서, 적분 성분 연산부(2424)는, 조건 설정부(2421)에 의해 설정된 탭 범위 및 차수, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중 각도θ에 따라 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(2425)에 공급한다.

정규 방정식 생성부(2425)는, 입력 화소값 취득부(2423)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(2424)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(66), 즉 식(71)을 최소 제곱법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(2426)에 출력한다. 그리고, 정규 방정식의 구체예에 대하여는 후술한다.

근사 함수 생성부(2426)는, 정규 방정식 생성부(2425)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해법으로 푸는 것에 의해, 전술한 식(66)의 특징량 w_i(즉, 2차원 다항식인 근사 함수 f(x, y)의 계수 w_i)의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 81의 플로차트를 참조하여, 2차원 근사 방법이 적용되는 실세계의 추정 처리(도 29의 스텝 S102의 처리)에 대하여 설명한다.

예를 들면, 지금, 경사 G_F로 표현되는 공간 방향의 정상성을 가지는 실세계(1)의 광신호가, 센서(2)(도 78)에 의해 검출되어, 1프레임에 대응하는 입력 화상으로서, 입력 화상 기억부(2422)에 이미 기억되어 있는 것으로 한다. 또, 데이터 정상성 검출부(101)가, 스텝 S101(도 29)의 정상성의 검출의 처리에 있어서, 입력 화상 중, 전술한 도 79에 나타낸 영역(2401)에 대하여 처리를 가하여, 데이터 정상성 정보로서 각도θ를 이미 출력하고 있는 것으로 한다.

이 경우, 스텝 S2401에 있어서, 조건 설정부(2421)는, 조건(탭 범위와 차수)을 설정한다.

예를 들면, 지금, 도 82에 나타낸 탭 범위(2441)가 설정되고, 차수로서 5차가 설정된 것으로 한다.

즉, 도 82는, 탭 범위의 1예를 설명하는 도면이다. 도 82에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 78)을 나타내고 있다. 또, 탭 범위(2441)는, X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소(도면 중, 20개의 정방형)으로 이루어지는 화소군을 나타내고 있다.

또한, 도 82에 나타낸 바와 같이, 주목 화소가, 탭 범위(2441) 중, 도면 중, 좌측으로부터 2화소째이며, 아래로부터 3화소째의 화소에 설정되는 것으로 한다. 또, 각 화소의 각각에 대하여, 주목 화소로부터의 상대 화소의 위치(x, y)(주목 화소의 중심(0, 0)을 원점으로 하는 주목 화소 좌표계의 좌표값)에 따라, 도 82에 나타낸 바와 같은 번호 l(l는, 0 내지 19 중 어느 하나의 정수값)가 부여되는 것으로 한다.

도 81로 복귀하고, 스텝 S2402에 있어서, 조건 설정부(2421)는, 주목 화소를 설정한다.

스텝 S2403에 있어서, 입력 화소값 취득부(2423)는, 조건 설정부(2421)에 의 해 설정된 조건(탭 범위)에 따라 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 즉, 지금의 경우, 입력 화소값 취득부(2423)는, 입력 화상의 영역(2401)(도 79)을 취득하고, 입력 화소값 테이블로서, 20개의 입력 화소값 P(l)으로 이루어지는 테이블을 생성한다.

그리고, 지금의 경우, 입력 화소값 P(l)와 전술한 입력 화소값 P(x, y)의 관계는, 다음의 식(73)에서 나타내는 관계로 된다. 단, 식(73)에 있어서, 좌측 변이 입력 화소값 P(l)를 나타내고, 우측 변이 입력 화소값 P(x, y)를 나타내고 있다.

…(73)

스텝 S2404에 있어서, 적분 성분 연산부(2424)는, 조건 설정부(2421)에 의해 설정된 조건(탭 범위 및 차수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

지금의 경우, 전술한 바와 같이, 입력 화소값은, P(x, y)가 아니고 P(l)라는, 화소의 번호 l의 값으로서 취득되므로, 적분 성분 연산부(2424)는, 전술한 식(72)의 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)를, 다음의 식(74)의 좌측 변에 나타낸 적분 성분 S_i(l)이라는 l의 함수로서 연산한다.

…(74)

구체적으로는, 지금의 경우, 다음의 식(75)에서 나타내는 적분 성분 S_i(l)가 연산된다.

…(75)

그리고, 식(75)에 있어서, 좌측 변이 적분 성분 S_i(l)를 나타내고, 우측 변이 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)를 나타내고 있다. 즉, 지금의 경우, i는0 내지 5이므로, 20개의 S₀(l), 20개의 S₁(l), 20개의 S₂(l), 20개의 S₃(l), 20개의 S₄(l), 20개의 S₅(l)의 총계 120개의 S_i(l)가 연산되게 된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(2424)는, 데이터 정상성 검출부(101)로부터 공급된 각도θ에 대한 cotθ를 연산하고, 그것을 변수 s로 한다. 다음에, 적분 성분 연산부(2424)는, 연산한 변수 s를 사용하여 식(74)의 우측 변에 나타낸 20개의 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)의 각각을, i= 0 내지 5의 각각에 대하여 연산한다. 즉, 120개의 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)가 연산되게 된다. 그리고, 이 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)의 연산에 있어서는, 전술한 식(72)이 사용된다. 그리고, 적분 성분 연산부(2424)는, 식(75)에 따라, 연산한 120개의 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)의 각각을, 대응하는 S_i(l)의 각각로 변환하고, 변환한 120개의 S_i(l)를 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S2403의 처리와 스텝 S2404의 처리의 순서는, 도 81의 예에 한정되지 않고, 스텝 S2404의 처리가 먼저 실행되어도 되고, 스텝 S2403의 처리와 스텝 S2404의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S2405에 있어서, 정규 방정식 생성부(2425)는, 스텝 S2403의 처리로 입력 화소값 취득부(2423)에 의해 생성된 입력 화소값 테이블과, 스텝 S2404의 처리로 적분 성분 연산부(2424)에 의해 생성된 적분 성분 테이블에 따라, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 전술한 식(71)을 이용하여 최소 제곱법에 의해 특징량 w_i가 연산되는(단, 식(70)에 있어서, 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)는, 식(74)에 의해 변환되는 S_i(l)가 사용되는) 것이며, 거기에 대응하는 정 규 방정식은, 다음의 식(76)과 같이 표현된다.

…(76)

그리고, 식(76)에 있어서, L는, 탭 범위의 화소의 번호 l 중 최대값을 나타내고 있다. n은, 다항식인 근사 함수 f(x)의 차수를 나타내고 있다. 구체적으로는, 지금의 경우, n= 5로 되고, L= 19로 된다.

식(76)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(77) 내지 (79)와 같이 정의하면, 정규 방정식은, 다음의 식(80)과 같이 표현된다.

…(77)

…(78)

…(79)

…(80)

식(78)에 의해 나타낸 바와 같이, 행렬 W_MAT의 각 성분은, 구하려는 특징량 w_i이다. 따라서, 식(80)에 있어서, 좌측 변의 행렬 S_MAT와 우측 변의 행렬 P_MAT가 결정되고, 행렬 해법에 따라 행렬 W_MAT의 연산이 가능하게 된다.

구체적으로는, 전술한 식(80)의 정규 방정식은, 다음의 식(81)과 같이 변형 할 수 있다.

…(81)

식(81)에 있어서, 좌측 변의 행렬 W_MAT의 각 성분이, 구하려는 특징량 w_i이다. 또, 행렬 S_MAT와 행렬 P_MAT의 각각의 각 성분은, 정규 방정식 생성부(2425)로부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(2426)는, 정규 방정식 테이블을 이용하여, 식(81)의 우측 변의 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.

스텝 S2407에 있어서, 근사 함수 생성부(2426)는, 모든 화소의 처리를 종료하였는지 여부를 판정한다.

스텝 S2407에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S2402로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 되지 않은 화소가, 차례로 주목 화소로 되어, 스텝 S2402 내지 S2407의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료하면(스텝 S2407에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료로 된다.

이상, 2차원 근사 방법의 설명으로서 공간 방향(X 방향과 Y 방향)에 대한 근사 함수 f(x, y)의 계수(특징량)w_i를 연산하는 예를 사용하였지만, 2차원 근사 방법 은, 시공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여도 적용가능하다.

즉, 전술한 예는, 실세계(1)의 광신호가, 예를 들면, 경사 G_F(도 77)에 의해 표현되는 공간 방향의 정상성을 가지는 경우의 예였으므로, 전술한 식(66)에서 나타낸 바와 같은, 공간 방향(X 방향과 Y 방향)의 이차원 적분이 포함되는 식이 이용되었다. 그러나, 이차원 적분의 생각은, 공간 방향만에 의한 것이 아니고, 시공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여 적용할 수도 있다.

환언하면, 2차원 근사 방법에 있어서는, 추정하고자 하는 광신호 함수 F(x, y, t)가, 공간 방향의 정상성만아니라, 시공간 방향(단, X 방향과 t 방향, 또는 Y 방향과 t 방향)의 정상성을 가지고 있는 경우라도, 2차원의 근사 함수 f에 의해 근사시킬 수 있다.

구체적으로는, 예를 들면, X 방향으로 수평으로 등속으로 움직이고 있는 물체가 있는 경우, 그 물체의 모션의 방향은, 도 83에 나타낸 바와 같은 X-t 평면에 있어서는, 경사 V_F와 같이 표현된다. 환언하면, 경사 V_F는, X-t 평면에 있어서의 시공간 방향의 정상성의 방향을 나타내고 있다고 할 수 있다. 따라서, 데이터 정상성 검출부(101)는, 전술한 각도θ(X-Y 평면에 있어서의, 경사 G_F로 표현되는 공간 방향의 정상성에 대응하는 데이터 정상성 정보)와 마찬가지로, X-t 평면에 있어서의 시공간 방향의 정상성을 나타내는 경사 V_F에 대응하는 데이터 정상성 정보로서, 도 83에 나타낸 바와 같은 모션θ(엄밀하게는, 도시는 하지 않지만, 경사 V_F에 대응하는 경사 V_f에 의해 표현되는 데이터의 정상성의 방향과 공간 방향의 X 방향의 이루는 각도인 모션θ)을 출력할 수 있다.

따라서, 2차원 근사 방법을 이용하는 실세계 추정부(102)는, 모션θ을 전술한 각도θ의 대신으로서 사용하면, 전술한 방법과 마찬가지의 방법으로, 근사 함수 f(x, t)의 계수(특징량)w_i를 연산하는 것이 가능하게 된다. 단, 이 경우, 사용되는 식은, 전술한 식(66)이 아니고, 다음의 식(82)이다.

…(82)

그리고, 식(82)에 있어서, s는 cotθ(단, θ은 모션이다)이다.

또, 공간 방향 X의 대신에, 공간 방향 Y에 주목한 근사 함수 f(y, t)도, 전술한 근사 함수 f(x, t)와 동일하게 취급할 수 있다.

이와 같이, 2차원 근사 방법은, 1차원이 아니고 2차원의 적분 효과를 고려하고 있으므로, 1차원 근사 방법과 비교하여, 보다 정확하게 실세계(1)의 광신호를 추정하는 것이 가능하게 된다.

다음에, 도 84 내지 도 88을 참조하여, 제3 함수 근사 방법에 대하여 설명한다.

즉, 제3 함수 근사 방법이란, 예를 들면, 시공간 방향 중 소정의 방향의 정 상성을 가지는 실세계(1)의 광신호가, 광신호 함수 F(x, y, t)에 의해 표현되는 것에 주목하여, 근사 함수 f(x, y, t)로 광신호 함수 F(x, y, t)를 근사시킴으로써, 광신호 함수 F(x, y, t)를 추정하는 방법이다. 따라서, 이하, 제3 함수 근사 방법을, 3차원 근사 방법이라고 한다.

또, 3차원 근사 방법의 설명에 있어서도, 센서(2)는, 도 84에 나타낸 바와 같은, 복수개의 검출 소자(2-1)가 그 평면 상에 배치되어 구성되는 CCD로 된다.

도 84의 예에서는, 검출 소자(2-1)의 소정의 1변에 평행한 방향이, 공간 방향의 1방향인 X 방향으로 되어 있고, X 방향으로 수직인 방향이, 공간 방향의 다른 방향인 Y 방향으로 되어 있다. 그리고, X－Y 평면에 수직인 방향이, 시간 방향인 t 방향으로 되어 있다.

또, 도 84의 예에서는, 센서(2)의 각 검출 소자(2-1)의 각각의 공간적인 형상은, 1변의 길이가 1의 정방형으로 되어 있다. 그리고, 센서(2)의 셔터 시간(노광 시간)이 1로 되어 있다.

또한, 도 84의 예에서는, 센서(2)의 소정의 1개의 검출 소자(2-1)의 중심이, 공간 방향(X 방향과 Y 방향)의 원점(X 방향의 위치 x= 0, 및 Y 방향의 위치 y= 0)으로 되어 있고, 또, 노광 시간의 중간 시각이, 시간 방향(t 방향)의 원점(t 방향의 위치 t= 0으로 되어 있다.

즉, 공간 방향의 원점에 그 중심이 존재하는 검출 소자(2-1)로부터 출력되는 화소값 P는, 다음의 식(83)에 의해 표현된다.

…(83)

그 외의 검출 소자(2-1)도 마찬가지로, 대상으로 하는 검출 소자(2-1)의 중심을 공간 방향의 원점으로 함으로써, 식(83)에서 나타내는 화소값 P를 출력하게 된다.

그런데, 전술한 바와 같이, 3차원 근사 방법에 있어서는, 광신호 함수 F(x, y, t)는, 3차원의 근사 함수 f(x, y, t)에 근사된다.

구체적으로는, 예를 들면, 근사 함수 f(x, y, t)를, N개의 변수(특징량)를 가지는 함수로 하고, 식(83)에 대응하는 입력 화소값 P(x, y, t)와 근사 함수 f(x, y, t)의 관계식을 정의한다. 이로써, N 보다 큰 M개의 입력 화소값 P(x, y, t)가 취득되어 있으면, 정의된 관계식으로부터 N개의 변수(특징량)의 산출이 가능하다. 즉, 실세계 추정부(102)는, M개의 입력 화소값 P(x, y, t)를 취득하여 N개의 변수(특징량)를 연산함으로써, 광신호 함수 F(x, y, t)를 추정할 수 있다.

이 경우, 실세계 추정부(102)는, 센서(2)로부터의 입력 화상(입력 화소값)에 포함되는 데이터의 정상성을 묶음으로 하여(즉, 데이터 정상성 검출부(101)로부터 출력되는 입력 화상에 대한 데이터 정상성 정보를 이용하여), 입력 화상 전체 중, M개 의 입력 화상 P(x, y, t)를 추출(취득)한다. 결과적으로, 근사 함수 f(x, y, t)는, 데이터의 정상성에 구속되게 된다.

예를 들면, 도 85에 의해 나타낸 바와 같이, 입력 화상에 대응하는 광신호 함수 F(x, y, t)가, 경사 G_F로 표현되는 공간 방향의 정상성을 가지고 있는 경우, 데이터 정상성 검출부(101)는, 입력 화상에 대한 데이터 정상성 정보로서, 각도θ(경사 G_F에 대응하는 경사 G_f(도시하지 않음)에 의해 표현되는 데이터의 정상성의 방향과 X 방향이 이루는 각도θ)를 출력하게 된다.

이 경우, 광신호 함수 F(x, y, t)를 X 방향으로 투영한 1차원의 파형(여기서는, 이와 같은 파형을, X단면 파형이라 하고 있음)은, Y 방향의 어느 위치에서 투영한 경우라도 동일한 형상인 것으로 한다.

즉, 동일 형상의 X단면 파형이, 정상성의 방향(X 방향에 대하여 각도θ 방향)으로 연속되어 있는 2차원의(공간 방향의) 파형이 존재하는 것으로 하고, 그와 같은 2차원 파형이 시간 방향 t으로 연속된 3차원 파형을, 근사 함수 f(x, y, t)로 근사시킨다.

환언하면, 주목 화소의 중심으로부터 Y 방향으로 위치 y만큼 어긋난 X단면 파형은, 주목 화소의 중심을 통과하는 X단면 파형이 X 방향으로 소정의 양(각도θ에 따라 변화하는 양)만큼 이동한(시프트한) 파형으로 된다. 그리고, 이하, 이와 같은 양을, 시프트량이라고 한다.

이 시프트량은, 다음과 같이 하여 산출이 가능하다.

즉, 경사 V_f(예를 들면, 도 85의 경사 V_F에 대응하는, 데이터의 정상성의 방향을 나타내는 경사 V_f)와 각도θ는, 다음의 식(84)과 같이 표현된다.

…(84)

그리고, 식(84)에 있어서, dx는, X 방향의 미소 이동량을 나타내고 있고, dy는, dx에 대한 Y 방향의 미소 이동량을 나타내고 있다.

따라서, X 방향에 대한 시프트량을 C_x(y)라고 기술하면, 다음의 식(85)과 같이 표현된다.

…(85)

이같이 하여, 시프트량 C_x(y)를 정의하면, 식(83)에 대응하는 입력 화소값 P(x, y, t)와 근사 함수 f(x, y, t)의 관계식은, 다음의 식(86)과 같이 표현된다.

…(86)

식(86)에 있어서, e는, 오차를 나타내고 있다. t_s는, t 방향의 적분 개시 위치를 나타내고 있고, t_e는, t 방향의 적분 종료 위치를 나타내고 있다. 마찬가지 로, y_s는, Y 방향의 적분 개시 위치를 나타내고 있고, y_e는, Y 방향의 적분 종료 위치를 나타내고 있다. 또, x_s는, X 방향의 적분 개시 위치를 나타내고 있고, x_e는, X 방향의 적분 종료 위치를 나타내고 있다. 단, 구체적인 각 적분 범위의 각각은, 다음의 식(87)에서 나타낸 대로가 된다.

…(87)

식(87)에 의해 나타낸 바와 같이, 주목 화소로부터 공간 방향으로(x, y)만큼 떨어져 위치하는 화소에 대한 X 방향의 적분 범위를, 시프트량 C_x(y)만큼 이동시킴으로써, 동일 형상의 X단면 파형이, 정상성의 방향(X 방향에 대하여 각도θ 방향)으로 연속되어 있는 것을 나타내는 것이 가능하게 된다.

이와 같이, 3차원 근사 방법에 있어서는, 화소값 P(x, y, t)와, 3차원의 근사 함수 f(x, y, t)의 관계를 식(86)(적분 범위는, 식(87))으로 나타내는 것이 가능하므로, 식(86)과 식(87)을 이용하여, 근사 함수 f(x, y, t)의 N개의 특징량을, 예를 들면, 최소 제곱법 등에 의해 연산함으로써, 광신호 함수 F(x, y, t)(예를 들면, 도 85에 나타낸 바와 같은 경사 V_F로 표현되는 공간 방향의 정상성을 가지는 광 신호)의 추정이 가능해진다.

그리고, 광신호 함수 F(x, y, t)에 의해 표현되는 광신호가, 예를 들면, 도 85로 나타낸 바와 같은 경사 V_F에 의해 표현되는 공간 방향의 정상성을 가지고 있는 경우, 다음과 같이 하여 광신호 함수 F(x, y, t)를 근사시켜도 된다.

즉, 광신호 함수 F(x, y, t)를 Y 방향으로 투영한 1차원의 파형(이하, 이와 같은 파형을, Y단면 파형이라고 함)은, X 방향의 어느 위치에서 투영한 경우라도 동일한 형상인 것으로 한다.

환언하면, 동일 형상의 Y단면 파형이, 정상성의 방향(X 방향에 대하여 각도θ 방향)으로 연속되어 있는 2차원의(공간 방향의) 파형이 존재하는 것으로 하고, 그와 같은 2차원 파형이 시간 방향 t으로 연속된 3차원 파형을, 근사 함수 f(x, y, t)로 근사시킨다.

따라서, 주목 화소의 중심으로부터 X 방향으로 x만큼 어긋난 Y단면 파형은, 주목 화소의 중심을 통과하는 Y단면 파형이 Y 방향으로 소정의 시프트량(각도θ에 따라 변화하는 시프트량)만큼 이동한 파형으로 된다.

이 시프트량은, 다음과 같이 하여 산출이 가능하다.

즉, 경사 G_F가, 전술한 식(84)과 같이 표현되므로, Y 방향에 대한 시프트량을 C_y(x)라고 기술하면, 다음의 식(88)과 같이 표현된다.

…(88)

이같이 하여, 시프트량 C_y(x)를 정의하면, 식(83)에 대응하는 입력 화소값 P(x, y, t)와 근사 함수 f(x, y, t)의 관계식은, 시프트량 C_x(y)를 정의했을 때와 마찬가지로, 전술한 식(86)으로 표현된다.

단, 이번은, 구체적인 각 적분 범위의 각각은, 다음의 식(89)에서 나타내는 대로가 된다.

…(89)

식(89)(및 전술한 식(86))에 의해 나타낸 바와 같이, 주목 화소로부터(x, y)만큼 떨어져 위치하는 화소에 대한 Y 방향의 적분 범위를, 시프트량 C_y(x)만큼 이동시킴으로써, 동일 형상의 Y단면 파형이, 정상성의 방향(X 방향에 대하여 각도θ 방향)으로 연속되어 있는 것을 나타내는 것이 가능하게 된다.

이와 같이, 3차원 근사 방법에 있어서는, 전술한 식(86)의 우측 변의 적분 범위를 식(87)만아니라 식(89)로 하는 경우도 가능하므로, 적분 범위로서 식(89)가 채용된 식(86)을 이용하여, 근사 함수 f(x, y, t)의 n개의 특징량을, 예를 들면, 최소 제곱법 등에 의해 연산함으로써, 광신호 함수 F(x, y, t)(경사 G_F로 표현되는 공간 방향의 정상성을 가지는 실세계(1)의 광신호)의 추정이 가능해진다.

이와 같이, 적분 범위를 나타내는 식(87)과 식(89)는, 정상성의 방향에 더하여 주변 화소를 X 방향으로 시프트시킬 것인지(식(87)의 경우), 또는 Y 방향으로 시프트시킬 것인지(식(89)의 경우)의 차이가 있는 것뿐이며, 본질적으로는 같은 것을 나타내고 있다.

그러나, 정상성의 방향(경사 G_F)에 따라, 광신호 함수 F(x, y, t)를, X단면 파형의 모임이라고 파악하거나, Y단면 파형의 모임이라고 파악할 것인지가 상이하다. 즉, 정상성의 방향이 Y 방향에 가까운 경우, 광신호 함수 F(x, y, t)를, X단면 파형의 모임이라고 파악하는 것이 매우 적합하다. 이에 대하여, 정상성의 방향이 X 방향에 가까운 경우, 광신호 함수 F(x, y, t)를, Y단면 파형의 모임이라고 파악하는 것이 매우 적합하다.

따라서, 실세계 추정부(102)는, 적분 범위로서 식(87)과 식(89)의 양쪽을 준비하여 두고, 정상성의 방향에 따라, 적당히 식(86)의 우측 변의 적분 범위로서 식(87)과 식(89) 중 어느 하나 한쪽을 선택하면 된다.

이상, 광신호 함수 F(x, y, t)가 공간 방향(X 방향과 Y 방향)의 정상성(예를 들면, 도 85의 경사 G_F로 표현되는 공간 방향의 정상성)을 가지는 경우에 대한 3차원 근사 방법에 대하여 설명하였으나, 3차원 근사 방법은, 도 86에 의해 나타낸 바와 같이, 광신호 함수 F(x, y, t)가 시공간 방향(X 방향, Y 방향, 및 t 방향)의 정상성(경사 V_F에 의해 표현되는 정상성)을 가지는 경우에 대하여도 적용가능하다.

즉, 도 86에 있어서, 프레임 번호＃N-1의 프레임에 대응하는 광신호 함수가 F(x, y, #N-1)로 되고, 프레임 번호＃N의 프레임에 대응하는 광신호 함수가 F(x, y, #N)로 되고, 또한, 프레임 번호＃N+1의 프레임에 대응하는 광신호 함수가 F(x, y, #N+1)로 되어 있다.

그리고, 도 86에 있어서, 도면 중, 수평 방향은, 공간 방향의 1방향인 X 방향으로 되어 있고, 우측 경사 상방향은, 공간 방향의 다른 방향인 Y 방향으로 되어 있고, 또한 수직 방향은, 시간 방향인 t 방향으로 되어 있다.

또, 프레임#N-1은, 프레임#N에 대하여 시간적으로 전의 프레임이며, 프레임#N+1은, 프레임#N에 대하여 시간적으로 후의 프레임이다. 즉, 프레임#N-1, 프레임#N, 및 프레임#N+1은, 프레임#N-1, 프레임#N, 및 프레임#N+1의 순서로 표시된다.

도 86의 예에서는, 경사 V_F로 나타내는 방향(도면 중 좌하측 바로 앞부터 우상측 내측 방향)에 따른 단면의 광의 레벨이 대략 일정하게 되어 있다. 따라서, 도 86의 예에서는, 광신호 함수 F(x, y, t)는, 경사 V_F에 의해 표현되는 시공간 방향의 정상성을 가지고 있다고 말할 수 있다.

이 경우, 시공간 방향의 정상성을 나타내는 함수 C(x, y, t)를 정의하고, 또한 정의된 함수 C(x, y, t)를 이용하여, 전술한 식(86)의 적분 범위를 정의하면, 전술한 식(87)이나 식(89)와 마찬가지로, 근사 함수 f(x, y, t)의 N개의 특징량의 산출이 가능하게 된다.

함수 C(x, y, t)는, 정상성의 방향을 나타내는 함수이면 특히 한정되지 않는 다. 단, 이하에 있어서는, 직선적인 정상성인 것으로 하여, 그에 대응하는 함수 C(x, y, t)로서 전술한 공간 방향의 정상성을 나타내는 함수인 시프트량 C_x(y)(식(85))이나 시프트량 C_y(x)(식(87))에 상당하는, C_x(t)와 C_y(t)를 다음과 같이 정의하는 것으로 한다.

즉, 전술한 공간 방향의 데이터의 정상성을 나타내는 경사 G_f에 대응하는, 시공간 방향의 데이터의 정상성의 경사를 V_f로 하면, 이 경사 V_f를 X 방향의 경사(이하, V_fx라고 기술함)와 Y 방향의 경사(이하, V_fy라고 기술함)로 분할하면, 경사 V_fx는 다음의 식(90)에서, 경사 V_fy는 다음의 식(91)으로, 각각 표현된다.

…(90)

…(91)

이 경우, 함수 C_x(t)는, 식(90)에서 나타내는 경사 V_fx를 이용하여, 다음의 식(92)과 같이 표현된다.

…(92)

마찬가지로, 함수 C_y(t)는, 식(91)에서 나타내는 경사 V_fy를 이용하여, 다음의 식(93)과 같이 표현된다.

…(93)

이같이 하여, 시공간 방향의 정상성(2511)을 나타내는 함수 C_x(t)와 함수 C_y(t)를 정의하면, 식(86)의 적분 범위는, 다음의 식(94)과 같이 표현된다.

…(94)

이와 같이, 3차원 근사 방법에 있어서는, 화소값 P(x, y, t)와 3차원의 근사 함수 f(x, y, t)의 관계를 식(86)으로 나타내는 것이 가능하므로, 그 식(86)의 우측 변의 적분 범위로서 식(94)를 이용하여, 근사 함수 f(x, y, t)의 n＋ 1개의 특징량을, 예를 들면, 최소 제곱법 등에 의해 연산함으로써, 광신호 함수 F(x, y, t)(시공간 방향의 소정의 방향으로 정상성을 가지는 실세계(1)의 광신호)를 추정하는 것이 가능해진다.

도 87은, 이와 같은 3차원 근사 방법을 이용하는 실세계 추정부(102)의 구성 예를 나타내고 있다.

그리고, 3차원 근사 방법을 이용하는 실세계 추정부(102)가 연산하는 근사 함수 f(x, y, t)(실제로는, 그 특징량(계수)을 연산함)은, 특히 한정되지 않지만, 이하의 설명에 있어서는, n(n= N-1)차의 다항식으로 된다.

도 87에 의해 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(2521), 입력 화상 기억부(2522), 입력 화소값 취득부(2523), 적분 성분 연산부(2524), 정규 방정식 생성부(2525), 및 근사 함수 생성부(2526)이 형성되어 있다.

조건 설정부(2521)는, 주목 화소에 대응하는 광신호 함수 F(x, y, t)를 추정하기 위해 사용하는 화소의 범위(탭 범위)나, 근사 함수 f(x, y, t)의 차수 n를 설정한다.

입력 화상 기억부(2522)는, 센서(2)로부터의 입력 화상(화소값)을 1차 저장한다.

입력 화소값 취득부(2523)는, 입력 화상 기억부(2522)에 기억된 입력 화상 중, 조건 설정부(2521)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(2525)에 공급한다. 즉, 입력 화소값 테이블은, 입력 화상의 영역에 포함되는 각 화소의 각각의 화소값이 기술된 테이블이다.

그런데, 전술한 바와 같이, 3차원 근사 방법을 이용하는 실세계 추정부(102)는, 전술한 식(86)(단 적분 범위는, 식(87), 식(90), 또는 식(94))을 이용하여 최소 제곱법에 의해 근사 함수 f(x, y, t)의 N개의 특징량(지금의 경우, 각 차(次)의 계수)을 연산한다.

식(86)의 우측 변은, 그 적분을 연산함으로써, 다음의 식(95)과 같이 표현할 수 있다.

…(95)

식(95)에 있어서, w_i는, i차 항의 계수(특징량)를 나타내고 있고, 또, S_i(x_s, x_e, y_s, y_e, t_s, t_e)는, i차 항의 적분 성분을 나타내고 있다. 단, x_s는 X 방향의 적분 범위의 개시 위치를, x_e는 X 방향의 적분 범위의 종료 위치를, y_s는 Y 방향의 적분 범위의 개시 위치를, y_e는 Y 방향의 적분 범위의 종료 위치를, t_s는 t 방향의 적분 범위의 개시 위치를, t_e는 t 방향의 적분 범위의 종료 위치를, 각각 나타내고 있다.

적분 성분 연산부(2524)는, 이 적분 성분 S_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산한다.

즉, 적분 성분 연산부(2524)는, 조건 설정부(2521)에 의해 설정된 탭 범위 및 차수, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중 각도 또는 모션(적분 범위로서 전술한 식(87) 또는 식(90)이 이용되는 경우에는 각도이며, 전술한 식(94)이 이용되는 경우에는 모션임)에 따라 적분 성분 S_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(2525)에 공급한다.

정규 방정식 생성부(2525)는, 입력 화소값 취득부(2523)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(2524)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(95)을 최소 제곱법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(2526)에 출력한다. 정규 방정식의 예에 대하여는, 후술한다.

근사 함수 생성부(2526)는, 정규 방정식 생성부(2525)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해법으로 푸는 것에 의해, 특징량 w_i(지금의 경우, 다항식인 근사 함수 f(x, y, t)의 계수 w_i)의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 88의 플로차트를 참조하여, 3차원 근사 방법이 적용되는 실세계의 추정 처리(도 29의 스텝 S102의 처리)에 대하여 설명한다.

처음에, 스텝 S2501에 있어서, 조건 설정부(2521)은, 조건(탭 범위와 차수)을 설정한다.

예를 들면, 지금, L개의 화소로 이루어지는 탭 범위가 설정된 것으로 한다. 또, 각 화소의 각각에 대하여, 소정의 번호 l(l는, 0 내지 L-1중 어느 하나의 정수값)가 부여되는 것으로 한다.

다음에, 스텝 S2502에 있어서, 조건 설정부(2521)는, 주목 화소를 설정한다.

스텝 S2503에 있어서, 입력 화소값 취득부(2523)는, 조건 설정부(2521)에 의해 설정된 조건(탭 범위)에 따라 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 지금의 경우, L개의 입력 화소값 P(x, y, t)으로 이루어지는 테이블이 생성되게 된다. 여기서, L개의 입력 화소값 P(x, y, t)의 각각을, 그 화소의 번호 l의 함수로서 P(l)라고 기술하기로 한다. 즉, 입력 화소값 테이블은, L개의 P(l)가 포함되는 테이블로 된다.

스텝 S2504에 있어서, 적분 성분 연산부(2524)는, 조건 설정부(2521)에 의해 설정된 조건(탭 범위 및 차수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 또는 모션)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

단, 지금의 경우, 전술한 바와 같이, 입력 화소값은, P(x, y, t)가 아니고 P(l)이라는, 화소의 번호 l의 값으로서 취득되므로, 적분 성분 연산부(2524)는, 전술한 식(95)의 적분 성분 S_i(x_s, x_e, y_s, y_e, t_s, t_e)를, 적분 성분 S_i(l)이라는 l의 함수로서 연산하게 된다. 즉, 적분 성분 테이블은, L×i개의 S_i(l)가 포함되는 테이블로 된다.

그리고, 스텝 S2503의 처리와 스텝 S2504의 처리의 순서는, 도 88의 예에 한정되지 않고, 스텝 S2504의 처리가 먼저 실행되어도 되고, 스텝 S2503의 처리와 스텝 S2504의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S2505에 있어서, 정규 방정식 생성부(2525)는, 스텝 S2503의 처리로 입력 화소값 취득부(2523)에 의해 생성된 입력 화소값 테이블과, 스텝 S2504의 처리로 적분 성분 연산부(2524)에 의해 생성된 적분 성분 테이블에 따라, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 최소 제곱법에 의해, 전술한 식(95)에 대응하는 다음의 식(96)의 특징량 w_i를 연산한다. 그리고, 그에 대응하는 정규 방정식은, 다음의 식(97)과 같이 표현된다.

…(96)

…(97)

식(97)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(98) 내지 (100)와 같이 정의하면, 정규 방정식은, 다음의 식(101)과 같이 표현된다.

…(98)

…(99)

…(100)

…(101)

식(99)에 의해 나타낸 바와 같이, 행렬 W_MAT의 각 성분은, 구하려는 특징량 w_i이다. 따라서, 식(101)에 있어서, 좌측 변의 행렬 S_MAT와 우측 변의 행렬 P_MAT가 결정되고, 행렬 해법에 따라 행렬 W_MAT(즉, 특징량 w_i)의 산출이 가능하다.

구체적으로는, 식(98)에 의해 나타낸 바와 같이, 행렬 S_MAT의 각 성분은, 전술한 적분 성분 S_i(l)가 기존이면 연산 가능하다. 적분 성분 S_i(l)는, 적분 성분 연산부(2524)로부터 공급된 적분 성분 테이블에 포함되어 있으므로, 정규 방정식 생성부(2525)는, 적분 성분 테이블을 이용하여 행렬 S_MAT의 각 성분을 연산할 수 있다.

또, 식(100)에 의해 나타낸 바와 같이, 행렬 P_MAT의 각 성분은, 적분 성분 S_i(l)과 입력 화소값 P(l)가 기존이면 연산 가능하다. 적분 성분 S_i(l)는, 행렬 S_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 입력 화소값 P(l)는, 입력 화소값 취득부(2523)로부터 공급된 입력 화소값 테이블에 포함되어 있으므로, 정규 방정식 생성부(2525)는, 적분 성분 테이블과 입력 화소값 테이블을 이용하여 행렬 P_MAT의 각 성분을 연산할 수 있다.

이같이 하여, 정규 방정식 생성부(2525)는, 행렬 S_MAT와 행렬 P_MAT의 각 성분을 연산하고, 그 연산 결과(행렬 S_MAT와 행렬 P_MAT의 각 성분)를 정규 방정식 테이블 로서 근사 함수 생성부(2526)에 출력한다.

정규 방정식 생성부(2526)로부터 정규 방정식 테이블이 출력되면 스텝 S2506에 있어서, 근사 함수 생성부(2526)는, 정규 방정식 테이블에 따라, 전술한 식(101)의 행렬 W_MAT의 각 성분인 특징량 w_i(즉, 근사 함수 f(x, y, t)의 계수 w_i)를 연산한다.

구체적으로는, 전술한 식(101)의 정규 방정식은, 다음의 식(102)과 같이 변형할 수 있다.

…(102)

식(102)에 있어서, 좌측 변의 행렬 W_MAT의 각 성분이, 구하려는 특징량 w_i이다. 또, 행렬 S_MAT와 행렬 P_MAT의 각각의 각 성분은, 정규 방정식 생성부(2525)로부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(2526)는, 정규 방정식 테이블을 이용하여, 식(102)의 우측 변의 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.

스텝 S2507에 있어서, 근사 함수 생성부(2526)는, 모든 화소의 처리를 종료하였는지 여부를 판정한다.

스텝 S2507에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S2502로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아 직 주목 화소로 되지 않은 화소가, 차례로 주목 화소로 되어, 스텝 S2502 내지 S2507의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료하면(스텝 S2507에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료로 된다.

이상, 설명한 바와 같이, 3차원 근사 방법은, 1차원이나 2차원이 아니고, 시공간 방향의 3차원의 적분 효과를 고려하고 있으므로, 1차원 근사 방법이나 2차원 근사 방법과 비교하여, 보다 정확하게 실세계(1)의 광신호를 추정하는 것이 가능하게 된다.

다음에, 도 89 내지 도 110을 참조하여, 화상 생성부(103)(도 3)의 실시예의 1예에 대하여 설명한다.

도 89는, 이 예의 실시예의 원리를 설명하는 도면이다.

도 89에 의해 나타낸 바와 같이, 이 예의 실시예에 있어서는, 실세계 추정부(102)가, 함수 근사 방법을 이용하는 것이 전제로 되어 있다. 즉, 센서(2)에 입사되는 화상인, 실세계(1)의 신호(광 강도의 분포)가, 소정의 함수 F에 의해 표현되는 것으로서 실세계 추정부(102)가, 센서(2)로부터 출력된 입력 화상(화소값 P)과 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보를 사용하여, 함수 F를 소정의 함수 f로 근사시킴으로써, 함수 F를 추정하는 것이 전제로 되어 있다.

그리고, 이하, 이 예의 실시예의 설명에 있어서도, 화상인, 실세계(1)의 신호를, 특히 광신호로 칭하여, 함수 F를, 특히 광신호 함수 F 이라고 한다. 또, 함수 f를, 특히 근사 함수 f 이라고 한다.

그래서, 이 예의 실시예에 있어서는, 이와 같은 전제에 따라, 화상 생성부(103)가, 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보와, 실세계 추정부(102)로부터 출력된 실세계 추정 정보(도 89의 예에서는, 근사 함수 f의 특징량, 또는 특징량이 특정된 근사 함수 f)를 사용하여, 근사 함수 f를 소정의 시공간 범위에서 적분하고, 그 적분값을 출력 화소값 M(출력 화상)으로서 출력한다. 그리고, 이 예의 실시예에 있어서는, 입력 화상의 화소와 출력 화상의 화소를 구별하기 위하여, 입력 화소값을 P라 기술하고, 출력 화소값을 M이라고 기술한다.

환언하면, 광신호 함수 F가 1도 적분되어 입력 화소값 P로 되고, 그 입력 화소값 P로부터 광신호 함수 F가 추측되고(근사 함수 f로 근사되고), 추측된 광신호 함수 F(즉, 근사 함수 f)가 재차 적분되어, 출력 화소값 M가 생성된다. 따라서, 이하, 화상 생성부(103)가 실행하는 근사 함수 f의 적분을, 재적분이라고 한다. 또, 이 예의 실시예를, 재적분 방법이라고 한다.

그리고, 후술하는 바와 같이, 재적분 방법에 있어서, 출력 화소값 M가 생성되는 경우의 근사 함수 f의 적분 범위는, 입력 화소값 P가 생성되는 경우의 광신호 함수 F의 적분 범위(즉, 공간 방향에 있어서는, 센서(2)의 검출 소자의 세로폭과 가로폭이며, 시간 방향에 있어서는, 센서(2)의 노광 시간인)에 한정되지 않고, 임의의 적분 범위로 할 수 있다.

예를 들면, 출력 화소값 M이 생성되는 경우, 근사 함수 f의 적분 범위 중 공간 방향의 적분 범위를 가변함으로써, 그 적분 범위에 따라 출력 화상의 화소 피치를 가변하는 것이 가능하게 된다. 즉, 공간 해상도의 창조가 가능하게 된다.

마찬가지로, 예를 들면, 출력 화소값 M이 생성되는 경우, 근사 함수 f의 적분 범위 중 시간 방향의 적분 범위를 가변함으로써, 시간 해상도의 창조가 가능하게 된다.

이하, 도면을 참조하여, 이와 같은 재적분 방법 중 3가지 구체적인 방법에 대하여 각각 개별적으로 설명해 간다.

즉, 3가지 구체적인 방법이란, 함수 근사 방법의 3가지 구체적인 방법(실세계 추정부(102)의 실시예의 전술한 3개의 구체적인 예)의 각각에 대응하는 재적분 방법이다.

구체적으로는, 첫번째의 방법은, 전술한 1차원 근사 방법(함수 근사 방법의 1방법)에 대응하는 재적분 방법이다. 따라서, 첫번째의 방법에서는 1차원의 재적분을 행하게 되므로, 이하, 이와 같은 재적분 방법을, 1차원 재적분 방법이라고 한다.

두번째의 방법은, 전술한 2차원 근사 방법(함수 근사 방법의 1방법)에 대응하는 재적분 방법이다. 따라서, 두번째의 방법에서는 2차원의 재적분을 행하게 되므로, 이하, 이와 같은 재적분 방법을, 2차원 재적분 방법이라고 한다.

세번째의 방법은, 전술한 3차원 근사 방법(함수 근사 방법의 1방법)에 대응하는 재적분 방법이다. 따라서, 세번째의 방법에서는 3차원의 재적분을 행하게 되므로, 이하, 이와 같은 재적분 방법을, 3차원 재적분 방법이라고 한다.

이하, 1차원 재적분 방법, 2차원 재적분 방법, 및 3차원 재적분 방법의 각각의 상세에 대하여, 그 순서대로 설명해 간다.

먼저, 1차원 재적분 방법에 대하여 설명한다.

1차원 재적분 방법에 있어서는, 1차원 근사 방법에 의해 근사 함수 f(x)가 이미 생성되어 있는 것이 전제로 된다.

즉, 3차원의 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 광신호 함수 F(x, y, t)를, 공간 방향인 X 방향, Y 방향, 및 Z 방향, 및 시간 방향인 t 방향 중 소정의 1방향(예를 들면, X 방향)으로 투영한 1차원의 파형(재적분 방법의 설명에 있어서도, 이와 같은 파형 중 X 방향으로 투영한 파형을, X단면 파형 F(x)라고 하는 것으로 함)가, n차(n은, 임의의 정수)의 다항식 등의 근사 함수 f(x)로 근사되어 있는 것이 전제로 된다.

이 경우, 1차원 재적분 방법에 있어서는, 출력 화소값 M은, 다음의 식(103)과 같이 연산된다.

…(103)

그리고, 식(103)에 있어서, x_s는, 적분 개시 위치를 나타내고 있고, x_e는, 적분 종료 위치를 나타내고 있다. 또, G_e는, 소정의 게인을 나타내고 있다.

구체적으로는, 예를 들면, 지금, 실세계 추측부(102)가, 도 90에 나타낸 바와 같은 화소(3101)(센서(2)의 소정의 1개의 검출 소자에 대응하는 화소(3101)를 주목 화소로서 도 90에 나타낸 바와 같은 근사 함수 f(x)(X단면 파형 F(x)의 근사 함수 f(x)를 이미 생성하고 있는 것으로 한다.

그리고, 도 90의 예에서는, 화소(3101)의 화소값(입력 화소값)이 P로 되고, 또한, 화소(3101)의 형상이, 1변의 길이가 1의 정방형으로 되어 있다. 또, 공간 방향 중, 화소(3101)의 1변에 평행한 방향(도면 중 수평 방향)이 X 방향으로 되고, X 방향으로 수직인 방향(도면 중 수직 방향)이 Y 방향으로 되어 있다.

또, 도 90의 아래쪽에, 화소(3101)의 중심이 원점으로 되는 공간 방향(X 방향과 Y 방향)의 좌표계(이하, 주목 화소 좌표계라고 함)와, 그 좌표계에 있어서의 화소(3101)가 나타나 있다.

또한, 도 90의 위쪽에, y= 0(y는, 도면 중 아래쪽에 나타낸 주목 화소 좌표계의 Y 방향의 좌표값)에 있어서의 근사 함수 f(x)를 그래프화한 것이 나타나 있다. 이 그래프에 있어서, 도면 중 수평 방향으로 평행한 축은, 도면 중 아래쪽에 나타낸 주목 화소 좌표계의 X 방향의 x축과 동일한 축이며(원점도 동일함), 또 도면 중 수직 방향으로 평행한 축은, 화소값을 나타내는 축으로 되어 있다.

이 경우, 근사 함수 f(x)와 화소(3101)의 화소값 P의 사이에는, 다음의 식(104)의 관계가 성립한다.

…(104)

또, 도 90에 의해 나타낸 바와 같이, 화소(3101)는, 경사 G_F로 표현되는 공간 방향의 데이터의 정상성을 가지고 있는 것으로 한다. 그리고, 데이터 정상성 검출부(101)(도 89)가, 경사 G_F로 표현되는 데이터의 정상성에 대응하는 데이터 정 상성 정보로서, 도 90에 나타낸 바와 같은 각도θ를 이미 출력하고 있는 것으로 한다.

이 경우, 예를 들면, 1차원 재적분 방법에 있어서는, 도 91에 의해 나타낸 바와 같이, X 방향으로 -0.5 내지 0.5의 범위, 또한 Y 방향으로 -0.5 내지 0.5의 범위(도 90의 화소(3101)이 위치하는 범위)에, 4개의 화소(3111) 내지 화소(3114)를 새롭게 창조할 수 있다.

그리고, 도 91의 아래쪽에, 도 90의 것과 동일한 주목 화소 좌표계와, 그 주목 화소 좌표계에 있어서의 화소(3111) 내지 화소(3114)가 나타나 있다. 또, 도 91의 위쪽에, 도 90의 것과 동일한 그래프(y= 0에 있어서의 근사 함수 f(x)를 그래프화한 것)가 나타나 있다.

구체적으로는, 도 91에 의해 나타낸 바와 같이, 1차원 재적분 방법에 있어서는, 다음의 식(105)에 의해 화소(3111)의 화소값 M(1)의 산출이, 다음의 식(106)에 의해 화소(3112)의 화소값 M(2)의 산출이, 다음의 식(107)에 의해 화소(3113)의 화소값 M(3)의 산출이, 다음의 식(108)에 의해 화소(3114)의 화소값 M(4)의 산출이, 각각 가능하다.

…(105)

…(106)

…(107)

…(108)

그리고, 식(105)의 x_s1, 식(106)의 x_s2, 식(107)의 x_s3, 및 식(108)의 x_s4의 각각은, 대응하는 식의 적분 개시 위치를 나타내고 있다. 또, 식(105)의 x_e1, 식(106)의 x_e2, 식(107)의 x_e3, 및 식(108)의 x_e4의 각각은, 대응하는 식의 적분 종료 위치를 나타내고 있다.

식(105) 내지 식(108)의 각각의 우측 변의 적분 범위는, 화소(3111) 내지 화소(3114)의 각각의 화소폭(X 방향의 길이)로 된다. 즉, x_e1-x_s1, x_e2-x_s2, x_e3-x_s3, x_e4-x_s4의 각각은, 0.5로 된다.

단, 지금의 경우, y= 0에 있어서의 근사 함수 f(x)와 동일 형상의 1차원의 파형이, Y 방향이 아니고, 경사 G_F로 표현되는 데이터의 정상성의 방향(즉, 각도θ 방향)으로 연속되어 있는 것으로 생각할 수 있다(실제로는, y= 0에 있어서의 X단면 파형 F(x)와 동일 형상의 파형이 정상성의 방향으로 연속되어 있다). 즉, 도 91의 주목 화소 좌표계에 있어서의 원점(0, 0)(도 90의 화소(3101)의 중심)에 있어서의 화소값 f(0)를 화소값 f1으로 한 경우, 화소값 f1이 연속될 방향은, Y 방향이 아니고, 경사 G_F로 표현되는 데이터의 정상성의 방향(각도θ 방향)이다.

환언하면, Y 방향의 소정의 위치 y(단, y는 0 이외의 수치)에 있어서의 근사 함수 f(x)의 파형을 고려한 경우, 화소값 f1로 되는 위치는, 위치(0, y)가 아니고, 위치(0, y)로부터 X 방향으로 소정의 양(여기에서도, 이와 같은 양을 시프트량이라고 하기로 함. 또, 시프트량은, Y 방향의 위치 y에 의존하는 양이므로, 이 시프트량을 C_x(y)라고 기술하기로 함)만큼 이동한 위치(C_x(y),y)이다. 따라서, 전술한 식(105) 내지 식(108)의 각각의 우측 변의 적분 범위로서 구하려는 화소값 M(l)(단, l는, 1 내지 4 중 어느 하나의 정수값)의 중심이 존재하는 Y 방향의 위치 y를 고려한 범위, 즉 시프트량 C_x(y)를 고려한 적분 범위의 설정이 필요하다.

구체적으로는, 예를 들면, 화소(3111)와 화소(3112)의 중심이 존재하는 Y 방향의 위치 y는, y= 0이 아니고, y= 0.25이다.

따라서, y= 0.25에 있어서의 근사 함수 f(x)의 파형은, y= 0에 있어서의 근사 함수 f(x)의 파형을 X 방향으로 시프트량 C_x(0.25)만큼 이동시킨 파형에 상당한다.

환언하면, 전술한 식(105)에 있어서, 화소(3111)에 대한 화소값 M(1)는, y= 0에 있어서의 근사 함수 f(x)를 소정의 적분 범위(개시 위치 x_s1로부터 종료 위치 x_e1까지)에서 적분한 것인 것으로 하면, 그 적분 범위는, 개시 위치 x_s1= -0.5로부터 종료 위치 x_e1= 0까지의 범위(화소(3111)이 X 방향으로 차지하는 범위 그것)가 아니고, 도 91에 나타낸 범위, 즉 개시 위치 x_s1=-0.5+C_x(0.25)로부터 종료 위치 x_e1= 0+C_x(0.25)(시프트량 C_x(0.25)만큼 화소(3111)를 만일 이동시켰을 경우에 있어서의, 화소(3111)가 X 방향으로 차지하는 범위)로 된다.

마찬가지로, 전술한 식(106)에 있어서, 화소(3112)에 대한 화소값 M(2)는, y= 0에 있어서의 근사 함수 f(x)를 소정의 적분 범위(개시 위치 x_s2로부터 종료 위치 x_e2까지)에서 적분한 것인 것으로 하면, 그 적분 범위는, 개시 위치 x_s2= 0으로부터 종료 위치 x_e2= 0.5까지의 범위(화소(3112)의 X 방향으로 차지하는 범위 그 자체)가 아니고, 도 91에 나타낸 범위, 즉 개시 위치 x_s2= 0+C_x(0.25)로부터 종료 위치 x_e1= 0.5+C_x(0.25)(시프트량 C_x(0.25)만큼 화소(3112)를 만일 이동시켰을 경우에 있어서의, 화소(3112)의 X 방향으로 차지하는 범위)로 된다.

또, 예를 들면, 화소(3113)와 화소(3114)의 중심이 존재하는 Y 방향의 위치 y는, y= 0이 아니고, y= -0.25이다.

따라서, y= -0.25에 있어서의 근사 함수 f(x)의 파형은, y= 0에 있어서의 근사 함수 f(x)의 파형을 X 방향으로 시프트량 C_x(-0.25)만큼 이동시킨 파형에 상당한다.

환언하면, 전술한 식(107)에 있어서, 화소(3113)에 대한 화소값 M(3)는, y= 0에 있어서의 근사 함수 f(x)를 소정의 적분 범위(개시 위치 x_s3로부터 종료 위치 x_e3까지)에서 적분한 것인 것으로 하면, 그 적분 범위는, 개시 위치 x_s3=-0.5로부터 종료 위치 x_e3= 0까지의 범위(화소(3113)의 X 방향으로 차지하는 범위 그 자체)가 아니고, 도 91에 나타낸 범위, 즉 개시 위치 x_s3= -0.5+C_x(-0.25)로부터 종료 위치 x_e3= 0+C_x(-0.25)(시프트량 C_x(-0.25)만큼 화소(3113)를 만일 이동시켰을 경우에 있어서의, 화소(3113)의 X 방향으로 차지하는 범위)로 된다.

마찬가지로, 전술한 식(108)에 있어서, 화소(3114)에 대한 화소값 M(4)는, y= 0에 있어서의 근사 함수 f(x)를 소정의 적분 범위(개시 위치 x_s4로부터 종료 위치 xe4까지)에서 적분한 것인 것으로 하면, 그 적분 범위는, 개시 위치 x_s4= 0으로부터 종료 위치 x_e4= 0.5까지의 범위(화소(3114)의 X 방향이 차지하는 범위 그 자체)가 아니고, 도 91에 나타낸 범위, 즉 개시 위치 x_s4= 0+C_x(-0.25)로부터 종료 위치 x_e1= 0.5+C_x(-0.25)(시프트량 C_x(-0.25)만큼 화소(3114)를 만일 이동시켰을 경우에 있어서의, 화소(3114)의 X 방향으로 차지하는 범위)로 된다.

따라서, 화상 생성부(102)(도 89)는, 전술한 식(105) 내지 식(108)의 각각 에, 전술한 적분 범위 중 대응하는 것을 대입하여 각각 연산하고, 그들의 연산 결과를 출력 화소값 M(1) 내지 M(4)의 각각으로서 출력하게 된다.

이와 같이, 화상 생성부(102)는, 1차원 재적분 방법을 이용함으로써, 센서 (2)(도 89)로부터의 출력 화소(3101)(도 90)에 있어서의 화소로서 출력 화소(3101)보다 공간 해상도가 높은 4개의 화소, 즉 화소(3111) 내지 화소(3114)(도 91)를 창조할 수 있다. 또한, 도시는 하지 않지만, 전술한 바와 같이, 화상 생성부(102)는, 화소(3111) 내지 화소(3114)만아니라, 적분 범위를 적당히 바꾸는 것에 의해, 출력 화소(3101)에 대하여 임의의 배율의 공간 해상도의 화소를 열화시키지 않고, 창조할 수 있다.

도 92는, 이와 같은 1차원 재적분 방법을 이용하는 화상 생성부(103)의 구성예를 나타내고 있다.

도 92에 의해 나타낸 바와 같이, 이 예의 화상 생성부(103)에는, 조건 설정부(3121), 특징량 기억부(3122), 적분 성분 연산부(3123), 및 출력 화소값 연산부(3124)가 형성되어 있다.

조건 설정부(3121)는, 실세계 추정부(102)로부터 공급된 실세계 추정 정보(도 92의 예에서는, 근사 함수 f(x)의 특징량)에 따라 근사 함수 f(x)의 차수 n를 설정한다.

조건 설정부(3121)는 또, 근사 함수 f(x)를 재적분하는 경우(출력 화소값을 연산하는 경우)의 적분 범위를 설정한다. 그리고, 조건 설정부(3121)가 설정하는 적분 범위는, 화소의 폭일 필요는 없다. 예를 들면, 근사 함수 f(x)는 공간 방향(X 방향)으로 적분되므로, 센서(2)(도 89)로부터의 입력 화상의 각 화소의 공간적인 크기에 대한, 출력 화소(화상 생성부(103)가 지금부터 연산하는 화소)의 상대적인 크기(공간 해상도의 배율)를 알면, 구체적인 적분 범위의 결정이 가능하다. 따 라서, 조건 설정부(3121)는, 적분 범위로서 예를 들면, 공간 해상도 배율을 설정할 수도 있다.

특징량 기억부(3122)는, 실세계 추정부(102)로부터 차례로 공급되어 오는 근사 함수 f(x)의 특징량을 1차적으로 기억한다. 그리고, 특징량 기억부(3122)는, 근사 함수 f(x)의 특징량을 모두 기억하면, 근사 함수 f(x)의 특징량을 모두 포함하는 특징량 테이블을 생성하고, 출력 화소값 연산부(3124)에 공급한다.

그런데, 전술한 바와 같이, 화상 생성부(103)는, 전술한 식(103)을 이용하여 출력 화소값 M를 연산하지만, 전술한 식(103)의 우측 변에 포함되는 근사 함수 f(x)는, 구체적으로는, 다음의 식(109)과 같이 표현된다.

…(109)

그리고, 식(109)에 있어서, w_i는, 실세계 추정부(102)로부터 공급되는 근사 함수 f(x)의 특징량을 나타내고 있다.

따라서, 전술한 식(103)의 우측 변의 근사 함수 f(x)에, 식(109)의 근사 함수 f(x)를 대입하여, 식(103)의 우측 변을 전개(연산)하면, 출력 화소값 M는, 다음의 식(110)과 같이 표현된다.

…(110)

식(110)에 있어서, K_i(x_s, x_e)는, i차 항의 적분 성분을 나타내고 있다. 즉, 적분 성분 K_i(x_s, x_e)는, 다음의 식(111)에서 나타내는 대로이다.

…(111)

적분 성분 연산부(3123)는, 이 적분 성분 K_i(x_s, x_e)를 연산한다.

구체적으로는, 식(111)에 의해 나타낸 바와 같이, 적분 성분 K_i(x_s, x_e)는, 적분 범위의 개시 위치 x_s, 및 종료 위치 x_e, 게인 G_e, 및 i차 항의 i가 기존이면 연산 가능하다.

이들 중의, 게인 G_e는, 조건 설정부(3121)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

i의 범위는, 조건 설정부(3121)에 의해 설정된 차수 n에 의해 결정된다.

또, 적분 범위의 개시 위치 x_s, 및 종료 위치 x_e의 각각은, 지금부터 생성하는 출력 화소의 중심 화소의 위치(x, y) 및 화소폭, 및 데이터의 정상성의 방향을 나타내는 시프트량 C_x(y)에 의해 결정된다. 그리고, (x, y)는, 실세계 추정부(102)가 근사 함수 f(x)를 생성했을 때의 주목 화소의 중심 위치로부터의 상대 위치를 나타내고 있다.

또한, 지금부터 생성하는 출력 화소의 중심 화소의 위치(x, y) 및 화소폭의 각각은, 조건 설정부(3121)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

또, 시프트량 C_x(y)와 데이터 정상성 검출부(101)로부터 공급된 각도θ는, 다음의 식(112)과 식(113)과 같은 관계가 성립되므로, 시프트량 C_x(y)는 각도θ에 따라 결정된다.

…(112)

…(113)

그리고, 식(112)에 있어서, G_f는, 데이터의 정상성의 방향을 나타내는 경사를 나타내고 있고, θ는, 데이터 정상성 검출부(101)(도 89)로부터 출력되는 데이터 정상성 정보의 하나인 각도(공간 방향의 1방향인 X 방향과 경사 G_F로 표현되는 데이터의 정상성의 방향의 이루는 각도)를 나타내고 있다. 또, dx는, X 방향의 미 소 이동량을 나타내고 있고, dy는, dx에 대한 Y 방향(X 방향과 수직인 공간 방향)의 미소 이동량을 나타내고 있다.

따라서, 적분 성분 연산부(3123)는, 조건 설정부(3121)에 의해 설정된 차수 및 공간 해상도 배율(적분 범위), 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중 각도θ에 따라 적분 성분 K_i(x_s, x_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 출력 화소값 연산부(3124)에 공급한다.

출력 화소값 연산부(3124)는, 특징량 기억부(3122)로부터 공급된 특징량 테이블과, 적분 성분 연산부(3123)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(110)의 우측 변을 연산하고, 그 연산 결과를 출력 화소값 M로서 외부에 출력한다.

다음에, 도 93의 플로차트를 참조하여, 1차원 재적분 방법을 이용하는 화상 생성부(103)(도 92)의 화상의 생성의 처리(도 29의 스텝 S103의 처리)에 대하여 설명한다.

예를 들면, 지금, 전술한 도 29의 스텝 S102의 처리에 의해, 실세계 추측부(102)가, 전술한 도 90에 나타낸 바와 같은 화소(3101)를 주목 화소로서 도 90에 나타낸 바와 같은 근사 함수 f(x)를 이미 생성하고 있는 것으로 한다.

또, 전술한 도 29의 스텝 S101의 처리에 의해, 데이터 정상성 검출부(101)가, 데이터 정상성 정보로서, 도 90에 나타낸 바와 같은 각도θ를 이미 출력하고 있는 것으로 한다.

이 경우, 도 93의 스텝 S3101에 있어서, 조건 설정부(3121)는, 조건(차수와 적분 범위)을 설정한다.

예를 들면, 지금, 차수로서 5가 설정되고, 적분 범위로서 공간 4배밀(倍密)(화소의 피치폭이 상하 좌우 모두 1/2배로 되는 공간 해상도 배율)이 설정된 것으로 한다.

즉, 이 경우, 도 91에 의해 나타낸 바와 같이, X 방향으로 -0.5 내지 0.5의 범위, 또한 Y 방향으로 -0.5 내지 0.5의 범위(도 90의 화소(3101)의 범위)에, 4개의 화소(3111) 내지 화소(3114)를 새롭게 창조하는 것이 설정된 것으로 된다.

스텝 S3102에 있어서, 특징량 기억부(3122)는, 실세계 추정부(102)로부터 공급된 근사 함수 f(x)의 특징량을 취득하고, 특징량 테이블을 생성한다. 지금의 경우, 5차의 다항식인 근사 함수 f(x)의 계수 w₀ 내지 w₅가 실세계 추정부(102)로부터 공급되므로, 특징량 테이블로서, (w₀, w₁, w₂, w₃, w₄, w₅)가 생성된다.

스텝 S3103에 있어서, 적분 성분 연산부(3123)는, 조건 설정부(3121)에 의해 설정된 조건(차수 및 적분 범위), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

구체적으로는, 예를 들면, 지금부터 생성하는 화소(3111) 내지 화소(3114)의 각각에 대하여, 번호(이와 같은 번호를, 이하, 모드 번호라고 함) 1 내지 4의 각각 이 부여되어 있는 것으로 하면, 적분 성분 연산부(3123)는, 전술한 식(111)의 적분 성분 K_i(x_s, x_e)를, 다음의 식(114)의 좌측 변에 나타낸 적분 성분 K_i(l)이라는 l(단, l는 모드 번호를 나타내고 있음)의 함수로서 연산한다.

…(114)

구체적으로는, 지금의 경우, 다음의 식(115)에서 나타내는 적분 성분 K_i(l)가 연산된다.

…(115)

그리고, 식(115)에 있어서, 좌측 변이 적분 성분 K_i(l)를 나타내고, 우측 변이 적분 성분 K_i(x_s, x_e)를 나타내고 있다. 즉, 지금의 경우, l는, 1 내지 4 중 어느 하나이며, 또한 i는 0 내지 4 중 어느 하나이므로, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 6개의 K_i(4)의 총계 24개의 K_i(l)가 연산되게 된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(3123)는, 데이터 정상성 검출부(101)로부터 공급된 각도θ를 사용하여, 전술한 식(112)과 식(113)로부터 시프트량 C_x(-0.25), 및 C_x(0.25)의 각각을 연산한다.

다음에, 적분 성분 연산부(3123)는, 연산한 시프트량 C_x(-0.25), 및 C_x(0.25)를 사용하여, 식(115)의 4개의 식의 각 우측 변의 적분 성분 K_i(x_s, x_e)의 각각을, i= 0 내지 4에 대하여 각각 연산한다. 그리고, 이 적분 성분 K_i(x_s, x_e)의 연산에 있어서는, 전술한 식(111)이 사용된다.

그리고, 적분 성분 연산부(3123)는, 식(115)에 따라, 연산한 24개의 적분 성분 K_i(x_s, x_e)의 각각을, 대응하는 적분 성분 K_i(l)로 변환하고, 변환한 24개의 적분 성분 K_i(l)(즉, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 및 6개의 K_i(4))를 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S3102의 처리와 스텝 S3103의 처리의 순서는, 도 93의 예에 한정되지 않고, 스텝 S3103의 처리가 먼저 실행되어도 되고, 스텝 S3102의 처리와 스텝 S3103의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S3104에 있어서, 출력 화소값 연산부(3124)는, 스텝 S3102의 처리로 특징량 기억부(3122)에 의해 생성된 특징량 테이블과, 스텝 S3103의 처리로 적분 성분 연산부(3123)에 의해 생성된 적분 성분 테이블에 따라 출력 화소값 M(1) 내지 M(4)의 각각을 연산한다.

구체적으로는, 지금의 경우, 출력 화소값 연산부(3124)는, 전술한 식(110)에 대응하는, 다음의 식(116) 내지 식(119)의 우측 변을 연산함으로써, 화소(3111)(모드 번호(1)의 화소)의 화소값 M(1), 화소(3112)(모드 번호(2)의 화소)의 화소값 M(2), 화소(3113)(모드 번호(3)의 화소)의 화소값 M(3), 및 화소(3114)(모드 번호(4)의 화소)의 화소값 M(4)의 각각을 연산한다.

…(116)

…(117)

…(118)

…(119)

스텝 S3105에 있어서, 출력 화소값 연산부(3124)는, 모든 화소의 처리를 종료하였는지 여부를 판정한다.

스텝 S3105에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S3102으로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 되지 않은 화소가, 차례로 주목 화소로 되어, 스텝 S3102 내지 S3104의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료하면(스텝 S3105에 있어서, 모든 화소의 처 리가 종료되었다고 판정하면), 출력 화소값 연산부(3124)는, 스텝 S3106에 있어서, 화상을 출력한다. 그 후, 화상의 생성의 처리는 종료로 된다.

다음에, 도 94 내지 도 101을 참조하여, 소정의 입력 화상에 대하여, 1차원 재적분 방법을 적용하여 얻어진 출력 화상과, 다른 방법(종래의 클래스 분류 적응 처리)을 적용하여 얻어진 출력 화상의 상위에 대하여 설명한다.

도 94는, 입력 화상의 원래의 화상을 나타낸 도면이며, 도 95는, 도 94의 원래의 화상에 대응하는 화상 데이터를 나타내고 있다. 도 95에 있어서, 도면 중 수직 방향의 축은, 화소값을 나타내고, 도면 중 우측 하방향의 축은, 화상의 공간 방향의 일방향인 X 방향을 나타내고, 도면 중 우측 상방향의 축은, 화상의 공간 방향의 다른 방향인 Y 방향을 나타낸다. 그리고, 후술하는 도 97, 도 99, 및 도 101의 축의 각각은, 도 95의 축과 대응하고 있다.

도 96은, 입력 화상의 예를 나타낸 도면이다. 도 96에 나타낸 입력 화상은, 도 94에 나타낸 화상의 2×2의 화소로 이루어지는 블록에 속하는 화소의 화소값의 평균값을, 1개의 화소의 화소값으로서 생성된 화상이다. 즉, 입력 화상은, 도 94에 나타낸 화상에, 센서의 적분 특성을 모방한, 공간 방향의 적분을 적용함으로써 얻어진 화상이다. 또, 도 97은, 도 96의 입력 화상에 대응하는 화상 데이터를 나타내고 있다.

도 94에 나타낸 원래의 화상에 있어서, 상하 방향으로부터, 대략 5도 시계 방향으로 경사진 세선의 화상이 포함되어 있다. 마찬가지로, 도 96에 나타낸 입력 화상에 있어서, 상하 방향으로부터, 대략 5도 시계 방향으로 경사진 세선의 화상이 포함되어 있다.

도 98은, 도 96에 나타낸 입력 화상에, 종래의 클래스 분류 적응 처리를 적용하여 얻어진 화상(이하, 도 98에 나타낸 화상을, 종래의 화상이라고 함)을 나타낸 도면이다. 또, 도 99는, 종래의 화상에 대응하는 화상 데이터를 나타내고 있다.

그리고, 클래스 분류 적응 처리는, 전술한 바와 같이, 클래스 분류 처리와 적응 처리로 이루어지고, 클래스 분류 처리에 의해, 데이터를, 그 성질에 따라 클래스로 나누고, 각 클래스마다 적응 처리를 가하는 것이다. 적응 처리에서는, 예를 들면, 저화질 또는 표준 화질의 화상이, 소정의 탭 계수를 사용하여 매핑(사상)됨으로써, 고화질의 화상으로 변환된다.

도 100은, 도 96에 나타낸 입력 화상에, 1차원 재적분 방법을 적용하여 얻어진 화상(이하, 도 100에 나타낸 화상을, 재적분 화상이라고 함)을 나타낸 도면이다. 또, 도 101은, 재적분 화상에 대응하는 화상 데이터를 나타내고 있다.

도 98의 종래의 화상과, 도 100의 재적분 화상을 비교하는데, 종래의 화상에 있어서는, 세선의 화상이, 도 94의 원래의 화상과는 상이한 것이 되어 있는데 대하여, 재적분 화상에 있어서는, 세선의 화상이, 도 94의 원래의 화상과 대략 같은 것이 되어 있는 것을 알 수 있다.

이 차이는, 종래의 클래스 분류 적응 처리는, 어디까지나 도 96의 입력 화상을 기준(원점)으로서 처리를 행하는 방법에 대하여, 1차원 재적분 방법은, 세선의 정상성을 고려하여, 도 94의 원래의 화상을 추정하여(원래의 화상에 대응하는 근사 함수 f(x)를 생성하여), 추정한 원래의 화상을 기준(원점)으로서 처리를 행한다(재적분하여 화소값을 연산함)방법이기 때문이다.

이와 같이, 1차원 재적분 방법에 있어서는, 1차원 근사 방법에 의해 생성된 1차원의 다항식 등의 근사 함수 f(x)(실세계의 X단면 파형 F(x)의 근사 함수 f(x)를 기준(원점)으로서 근사 함수 f(x)를 임의의 범위에 적분함으로써 출력 화상(화소값)이 생성된다.

따라서, 1차원 재적분 방법에 있어서는, 종래의 다른 방법과 비교하여, 원래의 화상(센서(2)에 입사되기 전의 실세계(1)의 광신호)에 의해 가까운 화상의 출력이 가능하게 된다.

또, 1차원 재적분 방법에 있어서는, 전술한 바와 같이, 적분 범위는 임의이므로, 적분 범위를 가변함으로써, 입력 화상의 해상도와는 상이한 해상도(시간 해상도, 또는 공간 해상도)를 창조하는 경우도 가능하게 된다. 즉, 입력 화상의 해상도에 대하여, 정수값만이 아니라 임의의 배율의 해상도의 화상을 생성하는 것이 가능하게 된다.

또한, 1차원 재적분 방법에 있어서는, 다른 재적분 방법과 비교하여, 보다 적은 연산 처리량으로 출력 화상(화소값)의 산출이 가능해진다.

다음에, 도 102 내지 도 108을 참조하여, 2차원 재적분 방법에 대하여 설명한다.

2차원 재적분 방법에 있어서는, 2차원 근사 방법에 의해 근사 함수 f(x, y)가 이미 생성되어 있는 것이 전제로 된다.

즉, 예를 들면, 도 102로 나타낸 바와 같은, 경사 G_F로 표현되는 공간 방향의 정상성을 가지는 실세계(1)(도 89)의 광신호를 나타내는 화상 함수 F(x, y, t)를, 공간 방향(X 방향과 Y 방향)으로 투영한 파형, 즉 X－Y 평면 상의 파형 F(x, y)가, n차(n은, 임의의 정수)의 다항식 등의 근사 함수 f(x, y)에 근사되어 있는 것이 전제로 된다.

도 102에 있어서, 도면 중, 수평 방향은, 공간 방향의 1방향인 X 방향을, 우측 상방향은, 공간 방향의 다른 방향인 Y 방향을, 수직 방향은, 광의 레벨을, 각각 나타내고 있다. G_F는, 공간 방향의 정상성의 경사를 나타내고 있다.

그리고, 도 102의 예에서는, 정상성의 방향은, 공간 방향(X 방향과 Y 방향)로 되어 있으므로, 근사의 대상으로 되는 광신호의 투영 함수는, 함수 F(x, y)로 되어 있지만, 후술하는 바와 같이, 정상성의 방향에 따라, 함수 F(x, t)나 함수 F(y, t)가 근사의 대상으로 되어도 된다.

도 102의 예의 경우, 2차원 재적분 방법에 있어서는, 출력 화소값 M는, 다음의 식(120)과 같이 연산된다.

…(120)

그리고, 식(120)에 있어서, y_s는, Y 방향의 적분 개시 위치를 나타내고 있고, y_e는, Y 방향의 적분 종료 위치를 나타내고 있다. 마찬가지로, x_s는, X 방향의 적분 개시 위치를 나타내고 있고, x_e는, X 방향의 적분 종료 위치를 나타내고 있다. 또, G_e는, 소정의 게인을 나타내고 있다.

식(120)에 있어서, 적분 범위는 임의로 설정 가능하므로, 2차원 재적분 방법에 있어서는, 이 적분 범위를 적당히 변경함으로써, 원래의 화소(센서(2)(도 89)로부터의 입력 화상의 화소)에 대하여 임의의 배율의 공간 해상도의 화소를 열화시키지 않고, 창조하는 것이 가능하게 된다.

도 103은, 2차원 재적분 방법을 이용하는 화상 생성부(103)의 구성예를 나타내고 있다.

도 103에 의해 나타낸 바와 같이, 이 예의 화상 생성부(103)에는, 조건 설정부(3201), 특징량 기억부(3202), 적분 성분 연산부(3203), 및 출력 화소값 연산부(3204)가 형성되어 있다.

조건 설정부(3201)는, 실세계 추정부(102)로부터 공급된 실세계 추정 정보(도 103의 예에서는, 근사 함수 f(x, y)의 특징량)에 따라 근사 함수 f(x, y)의 차수 n를 설정한다.

조건 설정부(3201)는 또, 근사 함수 f(x, y)를 재적분하는 경우(출력 화소값을 연산하는 경우)의 적분 범위를 설정한다. 그리고, 조건 설정부(3201)가 설정하는 적분 범위는, 화소의 세로폭이나 가로폭일 필요는 없다. 예를 들면, 근사 함수 f(x, y)는 공간 방향(X 방향과 Y 방향)으로 적분되므로, 센서(2)로부터의 입력 화상의 각 화소의 공간적인 크기에 대한, 출력 화소(화상 생성부(103)가 지금부터 생 성하는 화소)의 상대적인 크기(공간 해상도의 배율)를 알면, 구체적인 적분 범위의 결정이 가능하다. 따라서, 조건 설정부(3201)는, 적분 범위로서 예를 들면, 공간 해상도 배율을 설정할 수도 있다.

특징량 기억부(3202)는, 실세계 추정부(102)로부터 차례로 공급되어 오는 근사 함수 f(x, y)의 특징량을 1차적으로 기억한다. 그리고, 특징량 기억부(3202)는, 근사 함수 f(x, y)의 특징량을 모두 기억하면, 근사 함수 f(x, y)의 특징량을 모두 포함하는 특징량 테이블을 생성하여, 출력 화소값 연산부(3204)에 공급한다.

여기서, 근사 함수 f(x, y)의 상세에 대하여 설명한다.

예를 들면, 지금, 전술한 도 102로 나타낸 바와 같은 경사 G_F로 표현되는 공간 방향의 정상성을 가지는 실세계(1)(도 89)의 광신호(파형 F(x, y)에 의해 표현되는 광신호)가, 센서(2)(도 89)에 의해 검출되어 입력 화상(화소값)으로서 출력된 것으로 한다.

또한, 예를 들면, 도 104에 의해 나타낸 바와 같이, 데이터 정상성 검출부(101)(도 3)가, 이 입력 화상 중, X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소(도면 중, 점선에 의해 표현되는 20개의 정방형)로 구성되는 입력 화상의 영역(3221)에 대하여 그 처리를 실행하고, 데이터 정상성 정보의 하나로서 각도θ(경사 G_F에 대응하는 경사 G_F로 표현되는 데이터의 정상성의 방향과 X 방향의 이루는 각도θ)를 출력한 것으로 한다.

그리고, 실세계 추정부(102)로부터 보면, 데이터 정상성 검출부(101)는, 주 목 화소에 있어서의 각도θ를 단지 출력하면 되므로, 데이터 정상성 검출부(101)의 처리 범위는, 전술한 입력 화상의 영역(3221)에 한정되지 않는다.

또, 입력 화상의 영역(3221)에 있어서, 도면 중 수평 방향은, 공간 방향의 1방향인 X 방향을 나타내고 있고, 도면 중 수직 방향은, 공간 방향의 다른 방향인 Y 방향을 나타내고 있다.

또한, 도 104 중, 좌측으로부터 2화소째이며, 아래로부터 3화소째의 화소가 주목 화소로 되고, 그 주목 화소의 중심을 원점(0, 0)으로 하도록 (x, y)좌표계가 설정되어 있다. 그리고, 원점(0, 0)을 지나는 각도θ의 직선(데이터의 정상성의 방향을 나타내는 경사 G_f의 직선)에 대한 X 방향의 상대적인 거리(이하, 단면 방향 거리라고 함)가 x'로 되어 있다.

또한, 도 104 중, 우측의 그래프는, 3차원의 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 화상 함수 F(x, y, t)를, Y 방향의 임의의 위치 y에 있어서, X 방향으로 투영한 1차원의 파형(이하, 이와 같은 파형을, X단면 파형 F(x')라고 함)가 근사된 함수로서, n차(n은, 임의의 정수)의 다항식 등의 근사 함수 f(x')를 나타내고 있다. 우측의 그래프의 축 중, 도면 중 수평 방향의 축은, 단면 방향 거리를 나타내고 있고, 도면 중 수직 방향의 축은, 화소값을 나타내고 있다.

이 경우, 도 104에 나타낸 근사 함수 f(x')는, n차의 다항식이므로, 다음의 식(121)과 같이 표현된다.

…(121)

또, 각도θ가 결정되어 있으므로, 원점(0, 0)을 지나는 각도θ의 직선은 일의적으로 정해져, Y 방향의 임의의 위치 y에 있어서의, 직선의 X 방향의 위치 x_l가, 다음의 식(122)과 같이 표현된다. 단, 식(122)에 있어서, s는 cotθ를 나타내고 있다.

…(122)

즉, 도 104에 의해 나타낸 바와 같이, 경사 G_F로 표현되는 데이터의 정상성에 대응하는 직선상의 점은, 좌표값(x_l, y)에 의해 표현된다.

식(122)로부터, 단면 방향 거리 x'는, 다음의 식(123)과 같이 표현된다.

…(123)

따라서, 입력 화상의 영역(3221) 내의 임의의 위치(x, y)에 있어서의 근사 함수 f(x, y)는, 식(121)과 식(123)로부터, 다음의 식(124)과 같이 나타낸다.

…(124)

그리고, 식(124)에 있어서, w_i는, 근사 함수 f(x, y)의 특징량을 나타내고 있다.

도 103으로 복귀하고, 식(124)에 포함되는 특징량 w_i가, 실세계 추정부(102)로부터 공급되고, 특징량 기억부(3202)에 기억된다. 특징량 기억부(3202)는, 식(124)에 의해 표현되는 특징량 w_i의 모두를 기억하면, 특징량 w_i를 모두 포함하는 특징량 테이블을 생성하여, 출력 화소값 연산부(3204)에 공급한다.

또, 전술한 식(120)의 우측 변의 근사 함수 f(x, y)에, 식(124)의 근사 함수 f(x, y)를 대입하여, 식(120)의 우측 변을 전개(연산)하면, 출력 화소값 M는, 다음의 식(125)과 같이 표현된다.

…(125)

식(125)에 있어서, K_i(x_s, x_e, y_s, y_e)는, i차 항의 적분 성분을 나타내고 있다. 즉, 적분 성분 K_i(x_s, x_e, y_s, y_e)는, 다음의 식(126)에 나타낸 대로이다.

…(126)

적분 성분 연산부(3203)는, 이 적분 성분 K_i(x_s, x_e, y_s, y_e)를 연산한다.

구체적으로는, 식(125)과 식(126)에 의해 나타낸 바와 같이, 적분 성분 K_i(x_s, x_e, y_s, y_e)는, 적분 범위의 X 방향의 개시 위치 x_s, 및 X 방향의 종료 위치 x_e, 적분 범위의 Y 방향의 개시 위치 y_s, 및 Y 방향의 종료 위치 y_e, 변수 s, 게인 G_e, 및 i차 항의 i가 기존이면 연산 가능하다.

이들 중의, 게인 G_e는, 조건 설정부(3201)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

i의 범위는, 조건 설정부(3201)에 의해 설정된 차수 n에 의해 결정된다.

변수 s는, 전술한 바와 같이, cotθ이므로, 데이터 정상성 검출부(101)로부터 출력되는 각도θ에 의해 결정된다.

또, 적분 범위의 X 방향의 개시 위치 x_s, 및 X 방향의 종료 위치 x_e, 및 적분 범위의 Y 방향의 개시 위치 y_s, 및 Y 방향의 종료 위치 y_e의 각각은, 지금부터 생성하는 출력 화소의 중심 화소의 위치(x, y) 및 화소폭에 의해 결정된다. 그리고, (x, y)는, 실세계 추정부(102)가 근사 함수 f(x)를 생성했을 때의 주목 화소의 중심 위치로부터의 상대 위치를 나타내고 있다.

또한, 지금부터 생성하는 출력 화소의 중심 화소의 위치(x, y) 및 화소폭의 각각은, 조건 설정부(3201)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

따라서, 적분 성분 연산부(3203)는, 조건 설정부(3201)에 의해 설정된 차수 및 공간 해상도 배율(적분 범위), 및 데이터 정상성 검출부(101)로부터 출력된 데 이터 정상성 정보 중 각도θ에 따라 적분 성분 K_i(x_s, x_e, y_s, y_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 출력 화소값 연산부(3204)에 공급한다.

출력 화소값 연산부(3204)는, 특징량 기억부(3202)로부터 공급된 특징량 테이블과, 적분 성분 연산부(3203)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(125)의 우측 변을 연산하고, 그 연산 결과를 출력 화소값 M로서 외부에 출력한다.

다음에, 도 105의 플로차트를 참조하여, 2차원 재적분 방법을 이용하는 화상 생성부(103)(도 104)의 화상의 생성의 처리(도 29의 스텝 S103의 처리)에 대하여 설명한다.

예를 들면, 지금, 도 102에 나타낸 함수 F(x, y)에 의해 표현되는 광신호가 센서(2)에 입사되어 입력 화상으로 되어, 전술한 도 29의 스텝 S102의 처리로, 실세계 추측부(102)가, 그 입력 화상 중, 도 106에 나타낸 바와 같은 1개의 화소(3231)을 주목 화소로서 함수 F(x, y)를 근사시키는 근사 함수 f(x, y)를 이미 생성하고 있는 것으로 한다.

그리고, 도 106에 있어서, 화소(3231)의 화소값(입력 화소값)이 P로 되고, 또한, 화소(3231)의 형상이, 1변의 길이가 1의 정방형으로 되어 있다. 또, 공간 방향 중, 화소(3231)의 1변에 평행한 방향이 X 방향으로 되고, X 방향으로 수직인 방향이 Y 방향으로 되어 있다. 또한, 화소(3231)의 중심이 원점으로 되는 공간 방향(X 방향과 Y 방향)의 좌표계(이하, 주목 화소 좌표계라고 함)가 설정되어 있다.

또, 도 106에 있어서, 전술한 도 29의 스텝 S101의 처리에서, 데이터 정상성 검출부(101)가, 화소(3231)를 주목 화소로 하여, 경사 G_F로 표현되는 데이터의 정상성에 대응하는 데이터 정상성 정보로서, 각도θ를 이미 출력하고 있는 것으로 한다.

도 105으로 복귀하고, 이 경우, 스텝 S3201에 있어서, 조건 설정부(3201)는, 조건(차수와 적분 범위)을 설정한다.

예를 들면, 지금, 차수로서 5가 설정되고, 적분 범위로서 공간 4배밀(화소의 피치폭이 상하 좌우 모두 1/2배로 되는 공간 해상도 배율)이 설정된 것으로 한다.

즉, 이 경우, 도 107에 의해 나타낸 바와 같이, X 방향으로 -0.5 내지 0.5의 범위, 또한 Y 방향으로 -0.5 내지 0.5의 범위(도 106의 화소(3231)의 범위)에, 4개의 화소(3241) 내지 화소(3244)를 새롭게 창조하는 것이 설정된 것으로 된다. 그리고, 도 107에 있어서도, 도 106의 것과 동일한 주목 화소 좌표계가 나타나 있다.

또, 도 107에 있어서, M(1)는, 지금부터 생성되는 화소(3241)의 화소값을, M(2)는, 지금부터 생성되는 화소(3242)의 화소값을, M(3)는, 지금부터 생성되는 화소(3243)의 화소값을, M(4)는, 지금부터 생성되는 화소(3241)의 화소값을, 각각 나타내고 있다.

도 105로 복귀하여, 스텝 S3202에 있어서, 특징량 기억부(3202)는, 실세계 추정부(102)로부터 공급된 근사 함수 f(x, y)의 특징량을 취득하고, 특징량 테이블을 생성한다. 지금의 경우, 5차의 다항식인 근사 함수 f(x)의 계수 w₀ 내지 w₅가 실세계 추정부(102)로부터 공급되므로, 특징량 테이블로서, (w₀, w₁, w₂, w₃, w₄, w₅)가 생성된다.

스텝 S3203에 있어서, 적분 성분 연산부(3203)는, 조건 설정부(3201)에 의해 설정된 조건(차수 및 적분 범위), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

구체적으로는, 예를 들면, 지금부터 생성되는 화소(3241) 내지 화소(3244)의 각각에 대하여, 번호(이와 같은 번호를, 이하, 모드 번호라고 함) 1 내지 4의 각각 이 부여되어 있는 것으로 하면, 적분 성분 연산부(3203)는, 전술한 식(125)의 적분 성분 K_i(x_s, x_e, y_s, y_e)를, 다음의 식(127)의 좌측 변에 나타낸 적분 성분 K_i(l)이라는 l(단, l는 모드 번호를 나타내고 있다)의 함수로서 연산한다.

…(127)

구체적으로는, 지금의 경우, 다음의 식(128)에 나타내는 적분 성분 K_i(l)가 연산된다.

…(128)

그리고, 식(128)에 있어서, 좌측 변이 적분 성분 K_i(l)를 나타내고, 우측 변이 적분 성분 K_i(x_s, x_e, y_s, y_e)를 나타내고 있다. 즉, 지금의 경우, l는, 1 내지 4 중 어느 하나이며, 또한 i는 0 내지 4 중 어느 하나이므로, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 6개의 K_i(4)의 총계 24개의 K_i(l)가 연산되게 된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(3203)는, 데이터 정상성 검출부(101)로부터 공급된 각도θ를 사용하여, 전술한 식(122)의 변수 s(s=cotθ)를 연산한다.

다음에, 적분 성분 연산부(3203)는, 연산한 변수 s를 사용하여, 식(128)의 4개의 식의 각 우측 변의 적분 성분 K_i(x_s, x_e, y_s, y_e)의 각각을, i= 0 내지 4에 대하여 각각 연산한다. 그리고, 이 적분 성분 K_i(x_s, x_e, y_s, y_e)의 연산에 있어서는, 전술한 식(125)이 사용된다.

그리고, 적분 성분 연산부(3203)는, 식(128)에 따라, 연산한 24개의 적분 성분 K_i(x_s, x_e, y_s, y_e)의 각각을, 대응하는 적분 성분 K_i(l)로 변환하고, 변환한 24개의 적분 성분 K_i(l)(즉, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 및 6개의 K_i(4))를 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S3202의 처리와 스텝 S3203의 처리의 순서는, 도 105의 예에 한정되지 않고, 스텝 S3203의 처리가 먼저 실행되어도 되고, 스텝 S3202의 처리와 스텝 S3203의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S3204에 있어서, 출력 화소값 연산부(3204)는, 스텝 S3202의 처리로 특징량 기억부(3202)에 의해 생성된 특징량 테이블과, 스텝 S3203의 처리로 적분 성분 연산부(3203)에 의해 생성된 적분 성분 테이블에 따라 출력 화소값 M(1) 내지 M(4)의 각각을 연산한다.

구체적으로는, 지금의 경우, 출력 화소값 연산부(3204)는, 전술한 식(125)에 대응하는, 다음의 식(129) 내지 식(132)의 우측 변의 각각을 연산함으로써, 도 107나타낸, 화소(3241)(모드 번호(1)의 화소)의 화소값 M(1), 화소(3242)(모드 번호(2)의 화소)의 화소값 M(2), 화소(3243)(모드 번호(3)의 화소)의 화소값 M(3), 및 화소(3244)(모드 번호(4)의 화소)의 화소값 M(4)의 각각을 연산한다.

…(129)

…(130)

…(131)

…(132)

단, 지금의 경우, 식(129) 내지 식(132)의 n은 모두 5로 된다.

스텝 S3205에 있어서, 출력 화소값 연산부(3204)는, 모든 화소의 처리를 종료하였는지 여부를 판정한다.

스텝 S3205에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S3202로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 되지 않은 화소가, 차례로 주목 화소로 되어, 스텝 S3202 내지 S3204의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료하면(스텝 S3205에 있어서, 모든 화소의 처리가 종료되었다고 판정하면), 출력 화소값 연산부(3204)는, 스텝 S3206에 있어서, 화상을 출력한다. 그 후, 화상의 생성의 처리는 종료로 된다.

이와 같이, 2차원 재적분 방법을 이용함으로써, 센서(2)(도 89)로부터의 입력 화상의 화소(3231)(도 106)에 있어서의 화소로서 입력 화소(3231)보다 공간 해상도가 높은 4개의 화소, 즉 화소(3241) 내지 화소(3244)(도 107)를 창조할 수 있다. 또한, 도시는 하지 않지만, 전술한 바와 같이, 화상 생성부(103)는, 화소(3241) 내지 화소(3244)만아니라, 적분 범위를 적당히 변경함으로써, 입력 화소(3231)에 대하여 임의의 배율의 공간 해상도의 화소를 열화시키지 않고, 창조할 수 있다.

이상, 2차원 재적분 방법의 설명으로서 공간 방향(X 방향과 Y 방향)에 대한 근사 함수 f(x, y)를 2차원 적분하는 예를 사용하였지만, 2차원 재적분 방법은, 시 공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여도 적용가능하다.

즉, 전술한 예는, 실세계(1)(도 89)의 광신호가, 예를 들면, 도 102로 나타낸 바와 같은 경사 G_F로 표현되는 공간 방향의 정상성을 가지는 경우의 예였으므로, 전술한 식(120)에서 나타낸 바와 같은, 공간 방향(X 방향과 Y 방향)의 이차원 적분이 포함되는 식이 이용되었다. 그러나, 이차원 적분의 생각은, 공간 방향만에 의한 것이 아니고, 시공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여 적용할 수도 있다.

환언하면, 2차원 재적분 방법의 전제로 되는 2차원 근사 방법에 있어서는, 광신호를 나타내는 화상 함수 F(x, y, t)가, 공간 방향의 정상성만아니라, 시공간 방향(단, X 방향과 t 방향, 또는 Y 방향과 t 방향)의 정상성을 가지고 있는 경우라도, 2차원의 근사 함수 f에 의해 근사시킬 수 있다.

구체적으로는, 예를 들면, X 방향으로 수평으로 등속으로 움직이고 있는 물체가 있는 경우, 그 물체의 모션의 방향은, 도 108에 나타낸 바와 같은 X-t 평면에 있어서는, 경사 V_F와 같이 표현된다. 환언하면, 경사 V_F는, X-t 평면에 있어서의 시공간 방향의 정상성의 방향을 나타내고 있다고 할 수 있다. 따라서, 데이터 정상성 검출부(101)(도 89)는, 전술한 각도θ(X-Y 평면에 있어서의, 공간 방향의 정상성을 나타내는 경사 GF에 대응하는 데이터 정상성 정보)와 마찬가지로, X-t 평면에 있어서의 시공간 방향의 정상성을 나타내는 경사 V_F에 대응하는 데이터 정상성 정보로서, 도 108에 나타낸 바와 같은 모션θ(엄밀하게는, 도시는 하지 않지만, 경 사 V_F에 대응하는 경사 V_f에 의해 표현되는 데이터의 정상성의 방향과 공간 방향의 X 방향의 이루는 각도인 모션θ)을 출력할 수 있다.

또, 2차원 근사 방법을 이용하는 실세계 추정부(102)(도 89)는, 모션θ을 전술한 각도θ의 대신으로서 사용하면, 전술한 방법과 마찬가지의 방법으로, 근사 함수 f(x, t)의 계수(특징량)w_i를 연산하는 것이 가능하게 된다. 단, 이 경우, 사용되는 식은, 전술한 식(124)이 아니고, 다음의 식(133)이다.

…(133)

그리고, 식(133)에 있어서, s는 cotθ(단, θ은 모션임)이다.

따라서, 2차원 재적분 방법을 이용하는 화상 생성부(103)(도 89)는, 다음의 식(134)의 우측 변에, 전술한 식(133)의 f(x, t)를 대입하여, 연산함으로써, 화소값 M를 산출하는 것이 가능하게 된다.

…(134)

그리고, 식(134)에 있어서, t_s는, t 방향의 적분 개시 위치를 나타내고 있고, t_e는, t 방향의 적분 종료 위치를 나타내고 있다. 마찬가지로, x_s는, X 방향의 적분 개시 위치를 나타내고 있고, x_e는, X 방향의 적분 종료 위치를 나타내고 있다. G_e는, 소정의 게인을 나타내고 있다.

또, 공간 방향 X의 대신에, 공간 방향 Y에 주목한 근사 함수 f(y, t)도, 전술한 근사 함수 f(x, t)와 모두 마찬가지로 취급할 수 있다.

그런데, 식(133)에 있어서, t 방향을 일정한 것으로 간주하고, 즉 t 방향의 적분을 무시하여 적분함으로써, 시간 방향으로는 적분되지 않는 데이터, 즉 모션 흐릿함이 없는 데이터를 얻는 것이 가능하게 된다. 환언하면, 이 방법은, 2차원의 근사 함수 f 중 소정의 1차원을 일정하게 하여 재적분하는 점에서, 2차원 재적분 방법의 하나로 간주해도 되고, 실제로는, X 방향의 1차원의 재적분을 하게 된다는 점에서, 1차원 재적분 방법의 하나로 간주해도 된다.

또, 식(134)에 있어서, 적분 범위는 임의로 설정 가능하므로, 2차원 재적분 방법에 있어서는, 이 적분 범위를 적당히 변경함으로써, 원래의 화소(센서(2)(도 89)로부터의 입력 화상의 화소)에 대하여 임의의 배율의 해상도의 화소를 열화시키지 않고, 창조하는 것이 가능하게 된다.

즉, 2차원 재적분 방법에 있어서는, 시간 방향 t의 적분 범위를 적당히 변경함으로써, 시간 해상도의 창조가 가능하게 된다. 또, 공간 방향 X(또는, 공간 방향 Y)의 적분 범위를 적당히 변경함으로써, 공간 해상도의 창조가 가능하게 된다. 또한, 시간 방향 t와 공간 방향 X의 적분 범위의 각각을 적당히 변경함으로써, 시간 해상도와 공간 해상도의 양쪽의 창조가 가능하게 된다.

그리고, 전술한 바와 같이, 시간 해상도와 공간 해상도 중 어느 하나 한쪽의 창조는, 1차원 재적분 방법이라도 가능하지만, 양쪽의 해상도의 창조는, 1차원 재적분 방법으로는 원리상 불가능하고, 2차원 이상의 재적분을 행함으로써 처음 가능하게 된다. 즉, 2차원 재적분 방법과 후술하는 3차원 재적분 방법으로 처음, 양쪽의 해상도의 창조가 가능하게 된다.

또, 2차원 재적분 방법은, 1차원이 아니고 2차원의 적분 효과를 고려하고 있으므로, 보다 실세계(1)(도 89)의 광신호에 가까운 화상을 생성하는 경우도 가능하게 된다.

다음에, 도 109로 도 110을 참조하여, 3차원 재적분 방법에 대하여 설명한다.

3차원 재적분 방법에 있어서는, 3차원 근사 방법에 의해 근사 함수 f(x, y, t)가 이미 생성되어 있는 것이 전제로 된다.

이 경우, 3차원 재적분 방법에 있어서는, 출력 화소값 M는, 다음의 식(135)과 같이 연산된다.

…(135)

그리고, 식(135)에 있어서, t_s는, t 방향의 적분 개시 위치를 나타내고 있고, t_e는, t 방향의 적분 종료 위치를 나타내고 있다. 마찬가지로, y_s는, Y 방향의 적분 개시 위치를 나타내고 있고, ye는, Y 방향의 적분 종료 위치를 나타내고 있 다. 또, x_s는, X 방향의 적분 개시 위치를 나타내고 있고, x_e는, X 방향의 적분 종료 위치를 나타내고 있다. 또한, G_e는, 소정의 게인을 나타내고 있다.

식(135)에 있어서, 적분 범위는 임의로 설정 가능하므로, 3차원 재적분 방법에 있어서는, 이 적분 범위를 적당히 변경함으로써, 원래의 화소(센서(2)(도 89)로부터의 입력 화상의 화소)에 대하여 임의의 배율의 시공간 해상도의 화소를 열화시키지 않고, 창조하는 것이 가능하게 된다. 즉, 공간 방향의 적분 범위를 작게 하면, 화소 피치를 자유롭게 세세하게 할 수 있다. 역으로, 공간 방향의 적분 범위를 크게 하면, 화소 피치를 자유롭게 크게 할 수 있다. 또, 시간 방향의 적분 범위를 작게 하면, 실세계 파형에 따라 시간 해상도를 창조할 수 있다.

도 109는, 3차원 재적분 방법을 이용하는 화상 생성부(103)의 구성예를 나타내고 있다.

도 109에 의해 나타낸 바와 같이, 이 예의 화상 생성부(103)에는, 조건 설정부(3301), 특징량 기억부(3302), 적분 성분 연산부(3303), 및 출력 화소값 연산부(3304)가 형성되어 있다.

조건 설정부(3301)는, 실세계 추정부(102)로부터 공급된 실세계 추정 정보(도 109의 예에서는, 근사 함수 f(x, y, t)의 특징량)에 따라 근사 함수 f(x, y, t)의 차수 n를 설정한다.

조건 설정부(3301)는 또, 근사 함수 f(x, y, t)를 재적분하는 경우(출력 화소값을 연산하는 경우)의 적분 범위를 설정한다. 그리고, 조건 설정부(3301)가 설 정하는 적분 범위는, 화소의 폭(세로폭과 가로폭)이나 셔터 시간 그 자체일 필요는 없다. 예를 들면, 센서(2)(도 89)로부터의 입력 화상의 각 화소의 공간적인 크기에 대한, 출력 화소(화상 생성부(103)가 지금부터 생성하는 화소)의 상대적인 크기(공간 해상도의 배율)를 알면, 구체적인 공간 방향의 적분 범위의 결정이 가능하다. 마찬가지로, 센서(2)(도 89)의 셔터 시간에 대한 출력 화소값의 상대적인 시간(시간 해상도의 배율)을 알면, 구체적인 시간 방향의 적분 범위의 결정이 가능하다. 따라서, 조건 설정부(3301)는, 적분 범위로서 예를 들면, 공간 해상도 배율이나 시간 해상도 배율을 설정할 수도 있다.

특징량 기억부(3302)는, 실세계 추정부(102)로부터 차례로 공급되어 오는 근사 함수 f(x, y, t)의 특징량을 1차적으로 기억한다. 그리고, 특징량 기억부(3302)는, 근사 함수 f(x, y, t)의 특징량을 모두 기억하면, 근사 함수 f(x, y, t)의 특징량을 모두 포함하는 특징량 테이블을 생성하고, 출력 화소값 연산부(3304)에 공급한다.

그런데, 전술한 식(135)의 우측 변의 근사 함수 f(x, y)의 우측 변을 전개(연산)하면, 출력 화소값 M는, 다음의 식(136)과 같이 표현된다.

…(136)

식(136)에 있어서, K_i(x_s, x_e, y_s, y_e, t_s, t_e)는, i차 항의 적분 성분을 나타 내고 있다. 단, x_s는 X 방향의 적분 범위의 개시 위치를, x_e는 X 방향의 적분 범위의 종료 위치를, y_s는 Y 방향의 적분 범위의 개시 위치를, y_e는 Y 방향의 적분 범위의 종료 위치를, t_s는 t 방향의 적분 범위의 개시 위치를, t_e는 t 방향의 적분 범위의 종료 위치를, 각각 나타내고 있다.

적분 성분 연산부(3303)는, 이 적분 성분 K_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산한다.

구체적으로는, 적분 성분 연산부(3303)는, 조건 설정부(3301)에 의해 설정된 차수, 및 적분 범위(공간 해상도 배율이나 시간 해상도 배율), 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중 각도θ 또는 모션θ에 따라 적분 성분 K_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 출력 화소값 연산부(3304)에 공급한다.

출력 화소값 연산부(3304)는, 특징량 기억부(3302)로부터 공급된 특징량 테이블과, 적분 성분 연산부(3303)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(136)의 우측 변을 연산하고, 그 연산 결과를 출력 화소값 M으로 하여 외부에 출력한다.

다음에, 도 110의 플로차트를 참조하여, 3차원 재적분 방법을 이용하는 화상 생성부(103)(도 109)의 화상의 생성의 처리(도 29의 스텝 S103의 처리)에 대하여 설명한다.

예를 들면, 지금, 전술한 도 29의 스텝 S102의 처리로, 실세계 추측부(102)(도 89)가, 입력 화상 중, 소정의 화소를 주목 화소로서 실세계(1)(도 89)의 광신호를 근사시키는 근사 함수 f(x, y, t)를 이미 생성하고 있는 것으로 한다.

또, 전술한 도 29의 스텝 S101의 처리로, 데이터 정상성 검출부(101)(도 89)가, 실세계 추정부(102)와 같은 화소를 주목 화소로서 데이터 정상성 정보로서, 각도θ 또는 모션θ을 이미 출력하고 있는 것으로 한다.

이 경우, 도 110의 스텝 S3301에 있어서, 조건 설정부(3301)는, 조건(차수와 적분 범위)을 설정한다.

스텝 S3302에 있어서, 특징량 기억부(3302)는, 실세계 추정부(102)로부터 공급된 근사 함수 f(x, y, t)의 특징량 w_i를 취득하여, 특징량 테이블을 생성한다.

스텝 S3303에 있어서, 적분 성분 연산부(3303)는, 조건 설정부(3301)에 의해 설정된 조건(차수 및 적분 범위), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도θ 또는 모션θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

그리고, 스텝 S3302의 처리와 스텝 S3303의 처리의 순서는, 도 110의 예에 한정되지 않고, 스텝 S3303의 처리가 먼저 실행되어도 되고, 스텝 S3302의 처리와 스텝 S3303의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S3304에 있어서, 출력 화소값 연산부(3304)는, 스텝 S3302의 처리로 특징량 기억부(3302)에 의해 생성된 특징량 테이블과, 스텝 S3303의 처리로 적분 성분 연산부(3303)에 의해 생성된 적분 성분 테이블에 따라 각 출력 화소값의 각각을 연산한다.

스텝 S3305에 있어서, 출력 화소값 연산부(3304)는, 모든 화소의 처리를 종료하였는지 여부를 판정한다.

스텝 S3305에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S3302으로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 되지 않은 화소가, 차례로 주목 화소로 되어, 스텝 S3302 내지 S3304의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료하면(스텝 S3305에 있어서, 모든 화소의 처리가 종료되었다고 판정하면), 출력 화소값 연산부(3304)는, 스텝 S3306에 있어서, 화상을 출력한다. 그 후, 화상의 생성의 처리는 종료로 된다.

이와 같이, 전술한 식(135)에 있어서, 그 적분 범위는 임의로 설정 가능하므로, 3차원 재적분 방법에 있어서는, 이 적분 범위를 적당히 변경함으로써, 원래의 화소(센서(2)(도 89)로부터의 입력 화상의 화소)에 대하여 임의의 배율의 해상도의 화소를 열화시키지 않고, 창조하는 것이 가능하게 된다.

즉, 3차원 재적분 방법에 있어서는, 시간 방향의 적분 범위를 적당히 변경함으로써, 시간 해상도의 창조가 가능하게 된다. 또, 공간 방향의 적분 범위를 적당히 변경함으로써, 공간 해상도의 창조가 가능하게 된다. 또한, 시간 방향과 공간 방향의 적분 범위의 각각을 적당히 변경함으로써, 시간 해상도와 공간 해상도의 양쪽의 창조가 가능하게 된다.

구체적으로는, 3차원 재적분 방법에 있어서는, 2차원이나 1차원으로 떨어뜨릴 때의 근사가 없기 때문에 정밀도의 높은 처리가 가능하게 된다. 또, 경사 방향의 모션도 2차원으로 축소되어 후퇴하지 않고 처리하는 것이 가능하게 된다. 또한, 2차원으로 축소되어 후퇴하고 있지 않기 때문에 각 차원의 가공이 가능하게 된다. 예를 들면, 2차원 재적분 방법에 있어서, 공간 방향(X 방향과 Y 방향)으로 축소되어 후퇴하고 있는 경우에는 시간 방향인 t 방향의 가공을 할 수 없게 되어 버린다. 이에 대하여, 3차원 재적분 방법에 있어서는, 시공간 방향의 어느 가공도 가능하게 된다.

그리고, 전술한 바와 같이, 시간 해상도와 공간 해상도 중 어느 하나 한쪽의 창조는, 1차원 재적분 방법이라도 가능하지만, 양쪽의 해상도의 창조는, 1차원 재적분 방법으로는 원리상 불가능하고, 2차원 이상의 재적분을 행함으로써 처음 가능하게 된다. 즉, 전술한 2차원 재적분 방법과 3차원 재적분 방법으로 처음, 양쪽의 해상도의 창조가 가능하게 된다.

또, 3차원 재적분 방법은, 1차원이나 2차원은 아니고 3차원의 적분 효과를 고려하고 있으므로, 보다 실세계(1)(도 89)의 광신호에 가까운 화상을 생성하는 경우도 가능하게 된다.

다음에, 도 3의 신호 처리 장치(4)에 있어서는, 데이터 정상성 검출부(101)에 있어서 데이터의 정상성이 검출되고, 실세계 추정부(102)에 있어서, 그 정상성에 따라, 실세계(1)의 신호의 파형의 추정, 즉 예를 들면, X단면 파형 F(x)를 근사시키는 근사 함수가 구해진다.

이와 같이, 신호 처리 장치(4)에서는, 정상성에 따라, 실세계(1)의 신호의 파형의 추정을 하기 위해, 데이터 정상성 검출부(101)에 의해 검출되는 정상성이 잘못되어 있거나, 또는 그 검출 정밀도가 나쁜 경우에는, 실세계(1)의 신호의 파형의 추정 정밀도도 악화된다.

또, 신호 처리 장치(4)에서는, 여기서는, 예를 들면, 화상인, 실세계(1)의 신호가 가지는 정상성에 따라 신호 처리를 행하기 위하여, 실세계(1)의 신호 중 정상성이 존재하는 부분에 대하여는, 다른 신호 처리 장치의 신호 처리에 비하여, 정밀도 양호한 신호 처리를 실행할 수 있고, 그 결과, 보다 실세계(1)의 신호에 대응하는 화상에 가까운 화상을 출력하는 것이 가능하게 된다.

그러나, 신호 처리 장치(4)는, 정상성에 따라 신호 처리를 실행하는 이상, 실세계(1)의 신호 중 명확한 정상성이 존재하지 않는 부분에 대하여는, 정상성이 존재하는 부분에 대한 처리와 동등한 정밀도로, 신호 처리를 실행할 수 없고, 그 결과, 실세계(1)의 신호에 대응하는 화상에 대하여 오차를 포함하는 화상을 출력하게 된다.

따라서, 신호 처리 장치(4)에 있어서 실세계(1)의 신호에 대응하는 화상보다 가까운 화상을 얻기 위해서는, 신호 처리 장치(4)에 의한 신호 처리의 대상으로 하는 처리 영역이나, 신호 처리 장치(4)로 사용하는 정상성의 정밀도 등이 문제로 된다.

그래서, 도 111은, 도 1의 신호 처리 장치(4)의 다른 일실시예의 구성예를 나타내고 있다.

도 111에서는, 신호 처리 장치(4)는, 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 및 사용자 I/F(Interface)(10006)로 구성되어 있다.

도 111에 구성을 나타낸 신호 처리 장치(4)에는, 데이터(3)의 일례인 화상 데이터(입력 화상)가, 센서(2)(도 1)로부터 입력되고, 그 입력 화상은, 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 및 화상 표시부(10005)에 공급된다.

처리 영역 설정부(10001)는, 입력 화상에 대하여, 처리 영역을 설정하고, 그 처리 영역을 특정하는 처리 영역 정보를, 정상성 설정부(10002), 실세계 추정부(10003), 및 화상 생성부(10004)에 공급한다.

정상성 설정부(10002)는, 처리 영역 설정부(10001)로부터 공급되는 처리 영역 정보로부터, 입력 화상에 있어서의 처리 영역을 인식하고, 그 처리 영역의 화상 데이터에 있어서 결락된 실세계(1)의 신호의 정상성을 설정하고, 그 정상성을 나타내는 정상성 정보를, 실세계 추정부(10003) 및 화상 생성부(10004)에 공급한다.

실세계 추정부(10003)는, 모델 생성부(10011), 방정식 생성부(10012), 및 실세계 파형 추정부(10013)로 구성되며, 처리 영역 내의 화상 데이터로부터, 대응하는 실세계(1)의 신호의 정상성에 따라, 그 실세계(1)의 신호를 추정한다.

즉, 모델 생성부(10011)는, 처리 영역 설정부(10001)로부터 공급되는 처리 영역 정보로부터, 입력 화상에 있어서의 처리 영역을 인식하고, 그 처리 영역을 구성하는 화소와 그 처리 영역의 화상 데이터에 대응하는 실세계(1)의 신호의 정상성 에 따라, 처리 영역 내의 각 화소의 화소값과 실세계(1)의 신호와의 관계를 모델화한 모델로서의 함수를 생성하고, 방정식 생성부(10012)에 공급한다.

방정식 생성부(10012)는, 처리 영역 설정부(10001)로부터 공급되는 처리 영역 정보로부터, 입력 화상에 있어서의 처리 영역을 인식한다. 또한, 방정식 생성부(10012)는, 그 처리 영역을 구성하는 각 화소의 화소값을, 모델 생성부(10011)로부터 공급되는 모델로서의 함수에 대입하고, 이로써, 방정식을 생성하여, 실세계 파형 추정부(10013)에 공급한다.

실세계 파형 추정부(10013)는, 방정식 생성부(10012)로부터 공급되는 방정식을 연산함으로써, 실세계(1)의 신호의 파형을 추정한다. 즉, 실세계 파형 추정부(10013)는, 방정식 생성부(10012)로부터 공급되는 방정식을 푸는 것에 의해, 실세계(1)의 신호를 근사시키는 근사 함수를 구하고, 그 근사 함수를, 실세계(1)의 신호의 파형의 추정 결과로서, 화상 생성부(10004)에 공급한다. 여기서, 실세계(1)의 신호를 근사시키는 근사 함수에는, 인수(引數)의 값에 관계없이, 함수값이 일정한 함수도 포함된다.

화상 생성부(10004)는, 실세계 추정부(10003)으로 추정된 실세계(1)의 신호의 파형을 나타내는 근사 함수와 정상성 설정부(10002)로부터 공급되는 정상성 정보에 따라, 실세계(1)의 신호에 의해 근사시킨 신호를 생성한다. 즉, 화상 생성부(10004)는, 처리 영역 설정부(10001)로부터 공급되는 처리 영역 정보로부터, 입력 화상에 있어서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 실세계 추정부(10003)(의 실세계 파형 추정부(10013)로부터 공급되는 근사 함수와 정상성 설정부 (10002)로부터 공급되는 정상성 정보에 따라, 실세계(1)의 신호에 대응하는 화상에 의해 근사시킨 화상 데이터를 생성한다.

또한, 화상 생성부(10004)는, 입력 화상과, 근사 함수에 따라 생성한 화상 데이터(이하, 적당히, 근사 화상이라고도 함)를 합성하고, 입력 화상의 처리 영역의 부분을, 근사 화상으로 치환하여 화상을 생성하고, 그 화상을, 출력 화상으로서 화상 표시부(10005)에 공급한다.

화상 표시부(10005)는, CRT(Cathode Ray Tube)나 LCD(Liquid Crystal Display)로 구성되며, 입력 화상이나, 화상 생성부(10004)로부터 공급되는 출력 화상을 표시한다.

그리고, 화상 표시부(10005)는, 1 또는 복수개의 CRT나 LCD로 구성할 수 있다. 화상 표시부(10005)를 1개의 CRT나 LCD로 구성하는 경우에는, 그 1개의 CRT나 LCD의 화면을 복수개의 화면으로 분할하고, 어느 화면에 입력 화상을 표시하고, 다른 화면에 출력 화상을 표시하도록 할 수 있다. 또한, 화상 표시부(10005)를 복수개의 CRT나 LCD로 구성하는 경우에는, 어느 1개의 CRT나 LCD에 입력 화상을 표시하고, 다른 CRT나 LCD에 출력 화상을 표시하도록 할 수 있다.

또, 화상 표시부(10005)는, 사용자 I/F(10006)의 출력에 따라, 각종의 표시를 행한다. 즉, 화상 표시부(10005)는, 예를 들면, 커서를 표시하고, 사용자가 커서를 이동하도록 사용자 I/F(10006)를 조작한 경우, 그 조작에 따라, 커서를 이동시킨다. 또, 화상 표시부(10005)는, 예를 들면, 사용자가 소정 범위를 선택하도록 사용자 I/F(10006)를 조작한 경우, 그 조작에 따라, 화면 상의 선택된 범위를 둘러 싸는 프레임을 표시한다.

사용자 I/F(10006)는, 사용자에 따라서 조작되고, 그 사용자의 조작에 따라, 예를 들면, 처리 영역, 정상성, 또는 현실 세계의 신호 중 적어도 1개에 관련되는 정보를, 처리 영역 설정부(10001), 정상성 설정부(10002), 또는 실세계 추정부(10003)에 공급한다.

즉, 사용자는, 화상 표시부(10005)에 표시된 입력 화상이나 출력 화상을 보고, 그 입력 화상이나 출력 화상에 대한 입력을 부여하도록, 사용자 I/F(10006)를 조작한다. 사용자 I/F(10006)는, 사용자의 조작에 따라, 처리 영역, 정상성, 또는 현실 세계의 신호에 관련되는 정보를, 처리 영역 설정부(10001), 정상성 설정부(10002), 또는 실세계 추정부(10003)의 처리를 보조하는 보조 정보로서, 처리 영역 설정부(10001), 정상성 설정부(10002), 또는 실세계 추정부(10003)에 공급한다.

처리 영역 설정부(10001), 정상성 설정부(10002), 또는 실세계 추정부(10003)는, 사용자 I/F(10006)로부터 보조 정보가 공급된 경우, 그 보조 정보에 따라, 처리 영역의 설정, 정상성의 설정, 또는 실세계(1)의 신호의 추정을, 각각 행한다.

단, 처리 영역 설정부(10001), 정상성 설정부(10002), 또는 실세계 추정부(10003)에서는, 보조 정보를 이용하지 않고, 즉 사용자에게 따라서, 사용자 I/F(10006)가 조작되지 않아도, 처리 영역의 설정, 정상성의 설정, 또는 실세계(1)의 신호의 추정을, 각각 행할 수 있다.

구체적으로는, 처리 영역 설정부(10001)에서는, 도 30 내지 도 48에서 설명 한 바와 같이, 도 3의 데이터 정상성 검출부(101)에 있어서의 경우와 마찬가지로 하여, 입력 화상으로부터, 정상 영역을 검출하고, 예를 들면, 그 정상 영역을 둘러싸는 직사각형(직사각형)의 영역을, 처리 영역으로서 설정할 수 있다.

또, 정상성 설정부(10002)에서는, 도 49 내지 도 57에서 설명한 바와 같이, 도 3의 데이터 정상성 검출부(101)에 있어서의 경우와 마찬가지로 하여, 입력 화상으로부터, 데이터의 정상성을 검출하고, 그 데이터의 정상성에 따라, 대응하는 실세계(1)의 신호의 정상성을 설정하는 것, 즉 예를 들면, 데이터의 정상성을, 그대로 실세계(1)의 신호의 정상성으로서 설정할 수 있다.

또한, 실세계 추정부(10003)에서는, 도 58 내지 도 88에서 설명한 바와 같이, 도 3의 실세계 추정부(102)에 있어서의 경우와 마찬가지로 하여, 처리 영역 설정부(10001)에서 설정된 처리 영역의 화상 데이터로부터, 정상성 설정부(10002)에서 설정된 정상성에 따라, 실세계(1)의 신호를 추정할 수 있다. 그리고, 도 3에서는, 실세계 추정부(102)에 있어서, 실세계(1)의 신호의 추정에, 데이터의 정상성을 사용하였지만, 실세계(1)의 신호의 추정에는, 데이터의 정상성에 대신하여, 대응하는 실세계(1)의 신호의 정상성을 사용할 수 있다.

다음에, 도 112의 플로차트를 참조하여, 도 111의 신호 처리 장치(4)의 처리에 대하여 설명한다.

먼저 최초에, 스텝 S10001에 있어서, 신호 처리 장치(4)는, 사전 처리를 행하고, 스텝 S10002로 진행한다. 즉, 신호 처리 장치(4)는, 센서(2)(도 1)로부터 데이터(3)로서 공급되는, 예를 들면 1프레임 또는 1필드의 입력 화상을, 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 및 화상 표시부(10005)에 공급한다. 또한, 신호 처리부(4)는, 화상 표시부(10005)에, 입력 화상을 표시하게 한다.

스텝 S10002에서는, 사용자 I/F(10006)는, 사용자가 사용자 I/F(10006)를 조작함으로써, 어떠한 사용자 입력이 있었는지 여부를 판정한다. 스텝 S10002에 있어서, 사용자 입력이 없었던 것으로 판정된 경우, 즉 사용자가 아무런 조작도 행하지 않았던 경우, 스텝 S10003 내지 S10005를 스킵하여, 스텝 S10006으로 진행한다.

또, 스텝 S10002에 있어서, 사용자 입력이 있었던 것으로 판정된 경우, 즉 사용자가, 화상 표시부(10005)에 표시된 입력 화상을 보고, 사용자 I/F(10006)를 조작하고, 이로써, 어떠한 지시 또는 정보를 나타내는 사용자 입력이 있었을 경우, 스텝 S10003으로 진행하고, 사용자 I/F(10006)는, 그 사용자 입력이, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시인지 여부를 판정한다.

스텝 S10003에 있어서, 사용자 입력이 종료 지시인 것으로 판정된 경우, 신호 처리 장치(4)는 처리를 종료한다.

또, 스텝 S10003에 있어서, 사용자 입력이 종료 지시가 아닌 것으로 판정된 경우, 스텝 S10004로 진행하고, 사용자 I/F(10006)는, 사용자 입력이 보조 정보인지 여부를 판정한다. 스텝 S10004에 있어서, 사용자 입력이 보조 정보가 아닌 것으로 판정된 경우, 스텝 S10005를 스킵하여, 스텝 S10006으로 진행한다.

또, 스텝 S10004에 있어서, 사용자 입력이 보조 정보인 것으로 판정된 경우, 스텝 S10005로 진행하고, 사용자 I/F(10006)는, 그 보조 정보를, 처리 영역 설정부 (10001), 정상성 설정부(10002), 또는 실세계 추정부(10006)에 공급하고, 스텝 S10006으로 진행한다.

스텝 S10006에서는, 처리 영역 설정부(10001)는, 입력 화상에 대하여, 처리 영역을 설정하고, 그 처리 영역을 특정하는 처리 영역 정보를, 정상성 설정부(10002), 실세계 추정부(10003), 및 화상 생성부(10004)에 공급하고, 스텝 S10007으로 진행한다. 여기서, 처리 영역 설정부(10001)는, 직전에 행해진 스텝 S10005에 있어서 사용자 I/F(10006)로부터 보조 정보가 공급된 경우는, 그 보조 정보를 사용하여, 처리 영역의 설정을 행한다.

스텝 S10007에서는, 정상성 설정부(10002)는, 처리 영역 설정부(10001)로부터 공급된 처리 영역 정보로부터, 입력 화상에 있어서의 처리 영역을 인식한다. 또한, 정상성 설정부(10002)는, 그 처리 영역의 화상 데이터에 있어서 결락된 실세계(1)의 신호의 정상성을 설정하고, 그 정상성을 나타내는 정상성 정보를, 실세계 추정부(10003)에 공급하여, 스텝 S10008로 진행한다. 여기서, 정상성 설정부(10002)는, 직전에 행해진 스텝 S10005에 있어서 사용자 I/F(10006)로부터 보조 정보가 공급된 경우는, 그 보조 정보를 사용하여, 정상성의 설정을 행한다.

스텝 S10008에서는, 실세계 추정부(10003)는, 입력 화상에 있어서의 처리 영역 내의 화상 데이터에 대하여, 대응하는 실세계(1)의 신호의 정상성에 따라, 그 실세계(1)의 신호를 추정한다.

즉, 실세계 추정부(10003)에서는, 모델 생성부(10011)가, 처리 영역 설정부(10001)로부터 공급되는 처리 영역 정보로부터, 입력 화상에 있어서의 처리 영역을 인식하고, 정상성 설정부(10002)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 실세계(1)의 신호의 정상성을 인식한다. 또한, 모델 생성부(10011)은, 입력 화상에 있어서의 처리 영역을 구성하는 화소와 그 처리 영역의 화상 데이터에 대응하는 실세계(1)의 신호의 정상성에 따라, 처리 영역 내의 각 화소의 화소값과 실세계(1)의 신호와의 관계를 모델화한 모델로서의 함수를 생성하고, 방정식 생성부(10012)에 공급한다.

방정식 생성부(10012)는, 처리 영역 설정부(10001)로부터 공급되는 처리 영역 정보로부터, 입력 화상에 있어서의 처리 영역을 인식하고, 그 처리 영역을 구성하는 입력 화상의 각 화소의 화소값을, 모델 생성부(10011)로부터 공급되는 모델로서의 함수에 대입하고, 이로써, 실세계(1)의 신호를 근사시키는 근사 함수를 구하는 방정식을 생성하여, 실세계 파형 추정부(10013)에 공급한다.

실세계 파형 추정부(10013)은, 방정식 생성부(10012)로부터 공급되는 방정식을 연산함으로써, 실세계(1)의 신호의 파형을 추정한다. 즉, 실세계 파형 추정부(10013)는, 방정식 생성부(10012)로부터 공급되는 방정식을 푸는 것에 의해, 실세계(1)의 신호를 모델화한 모델로서의 근사 함수를 구하고, 그 근사 함수를, 실세계(1)의 신호의 파형의 추정 결과로서, 화상 생성부(10004)에 공급한다.

그리고, 실세계 추정부(10003)에 있어서는, 모델 생성부(10011) 및 방정식 생성부(10012)는, 직전에 행해진 스텝 S10005에 있어서 사용자 I/F(10006)로부터 보조 정보가 공급된 경우는, 그 보조 정보를 사용하여, 처리를 행한다.

스텝 S10008의 처리 후는, 스텝 S10009로 진행하고, 화상 생성부(10004)는, 실세계 추정부(10003)(의 실세계 파형 추정부(10013)로부터 공급된, 실세계(1)의 신호의 파형을 근사시키는 근사 함수에 따라, 실세계(1)의 신호에 의해 근사시킨 신호를 생성한다. 즉, 화상 생성부(10004)는, 처리 영역 설정부(10001)로부터 공급되는 처리 영역 정보로부터, 입력 화상에 있어서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 실세계 추정부(10003)로부터 공급된 근사 함수에 따라, 실세계(1)의 신호에 대응하는 화상에 의해 근사시킨 화상 데이터인 근사 화상을 생성한다. 또한, 화상 생성부(10004)는, 입력 화상의 처리 영역의 부분을 근사 화상으로 치환하여 화상을, 출력 화상으로서 생성하고, 화상 표시부(10005)에 공급하여, 스텝 S10009로부터 S10010으로 진행한다.

스텝 S10010에서는, 화상 표시부(10005)는, 화상 생성부(10004)로부터 공급된 출력 화상을, 스텝 S10001에서 표시된 입력 화상에 대신하거나, 또는 그 입력 화상과 함께 표시하고, 스텝 S10011로 진행한다.

스텝 S10011에서는, 사용자 I/F(10006)는, 스텝 S10002에 있어서의 경우와 마찬가지로, 사용자가 사용자 I/F(10006)를 조작함으로써, 어떠한 사용자 입력이 있었는지 여부를 판정하고, 사용자 입력이 없었던 것으로 판정된 경우, 즉 사용자가 아무런 조작도 행하지 않았던 경우, 스텝 S10011로 복귀하고, 어떠한 사용자 입력이 있을 때까지 기다린다.

또, 스텝 S10011에 있어서, 사용자 입력이 있었던 것으로 판정된 경우, 즉 사용자가, 화상 표시부(10005)에 표시된 입력 화상이나 출력 화상을 보고, 사용자 I/F(10006)를 조작하고, 이로써, 어떠한 지시 또는 정보를 나타내는 사용자 입력이 있었을 경우, 스텝 S10012로 진행하고, 사용자 I/F(10006)는, 그 사용자 입력이, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시인지 여부를 판정한다.

스텝 S10012에 있어서, 사용자 입력이 종료 지시인 것으로 판정된 경우, 신호 처리 장치(4)는 처리를 종료한다.

또, 스텝 S10012에 있어서, 사용자 입력이 종료 지시가 아닌 것으로 판정된 경우, 스텝 S10013으로 진행하고, 사용자 I/F(10006)는, 사용자 입력이 보조 정보인지 여부를 판정한다. 스텝 S10013에 있어서, 사용자 입력이 보조 정보가 아닌 것으로 판정된 경우, 스텝 S10011로 복귀하고, 이하, 마찬가지의 처리가 반복된다.

또, 스텝 S10013에 있어서, 사용자 입력이 보조 정보인 것으로 판정된 경우, 스텝 S10005로 복귀하고, 전술한 바와 같이, 사용자 I/F(10006)는, 그 보조 정보를, 처리 영역 설정부(10001), 정상성 설정부(10002), 또는 실세계 추정부(10006)에 공급한다. 그리고, 스텝 S10005로부터 S10006으로 진행하고, 이하, 마찬가지의 처리가 반복된다.

이상과 같이, 도 111의 신호 처리 장치(4)에 의하면, 사용자의 조작에 따라, 처리 영역 설정부(10001), 정상성 설정부(10002), 또는 실세계 추정부(10003)의 처리를 보조하는 보조 정보를, 사용자 I/F(10006)로부터 처리 영역 설정부(10001), 정상성 설정부(10002), 또는 실세계 추정부(10003)에 공급하고, 처리 영역 설정부(10001), 정상성 설정부(10002), 또는 실세계 추정부(10003)에 있어서, 사용자 I/F(10006)로부터의 보조 정보에 따라, 처리 영역의 설정, 정상성의 설정, 또는 실세계(1)의 신호의 추정을 행하므로, 처리 영역 설정부(10001), 정상성 설정부 (10002), 또는 실세계 추정부(10003)의 처리 정밀도를 향상시켜, 예를 들면, 사용자의 기호에 있던, 고화질의 출력 화상을 얻는 것이 가능해진다.

다음에, 도 111에 나타낸 신호 처리 장치(4)의 각종 응용예에 대하여 설명한다.

도 113은, 도 111에 나타낸 신호 처리 장치(4)의 응용예의 일실시예의 구성예를 나타내고 있다.

도 113에 있어서, 처리 영역 설정부(11001), 정상성 설정부(11002), 실세계 추정부(11003), 화상 생성부(11004), 화상 표시부(11005), 사용자 I/F(11006)는, 도 111의 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006)에 각각 대응하고 있고, 기본적으로는, 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006) 각각과 마찬가지의 처리를 행한다. 또한, 도 113에 있어서, 실세계 추정부(11003)는, 모델 생성부(11011), 방정식 생성부(11012), 실세계 파형 추정부(11013)로 구성되어 있다. 모델 생성부(11011), 방정식 생성부(11012), 실세계 파형 추정부(11013)는, 도 111의 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013)에 각각 대응하고 있고, 기본적으로는, 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013) 각각과 마찬가지의 처리를 행한다.

단, 도 113에 있어서는, 사용자가 사용자 I/F(11006)를 조작함으로써, 사용자 I/F(11006)가 출력하는 보조 정보가, 처리 영역 설정부(11001)에만 공급되도록 되어 있다.

즉, 도 113에서는, 사용자는, 사용자 I/F(11006)를 조작함으로써, 화상 표시부(11005)에 표시된 화상에 대하여, 처리 영역으로 하는 영역을 지시할 수 있도록 되어 있고, 사용자 I/F(11006)는, 사용자가 처리 영역을 지시하는 조작을 행하면, 그 조작에 의해 지정된 영역으로서의 처리 영역을 나타내는 처리 영역 지시 정보를, 보조 정보로서, 처리 영역 설정부(11001)에 공급한다. 또한, 도 113에서는, 화상 표시부(11005)에는, 후술하는 바와 같이, 복수개의 출력 화상이 표시되지만, 사용자는, 사용자 I/F(11006)를 조작함으로써, 화상 표시부(11005)에 표시된 출력 화상을 선택할 수 있도록 되어 있고, 사용자 I/F(11006)는, 사용자가 출력 화상을 선택하는 조작을 행하면, 그 조작에 의해 선택된 출력 화상을 나타내는 선택 정보를, 보조 정보로서, 처리 영역 설정부(11001)에 공급한다.

그리고, 사용자 I/F(11006)를 조작함으로써 처리 영역을 지시하는 방법으로서는, 예를 들면, 처리 영역을 에워싸는 직사각형에 따라서 지시하는 방법, 처리 영역을 트림(trim)함으로써 지시하는 방법, 처리 영역 중 임의의 1점 이상을 포인팅함으로써 지시하는 방법 등이 있지만, 여기서는, 예를 들면, 사용자는, 처리 영역 중 임의의 1점을, 사용자 I/F(11006)를 조작하여 포인팅함으로써, 처리 영역을 지시하는 것으로 한다. 이 경우, 사용자 I/F(11006)는, 사용자가 포인팅한 점을 나타내는 정보로서의, 예를 들면, 그 점의, 화상 상의 좌표를, 처리 영역 지시 정보로서, 처리 영역 설정부(11001)에 공급한다.

다음에, 도 114의 플로차트를 참조하여, 도 113의 신호 처리 장치(4)의 처리 에 대하여 설명한다.

먼저 최초에, 스텝 S11001에 있어서, 신호 처리 장치(4)는, 사전 처리를 행하고, 스텝 S11002로 진행한다. 즉, 신호 처리 장치(4)는, 센서(2)(도 1)로부터 데이터(3)로서 공급되는, 예를 들면 1프레임 또는 1필드의 입력 화상을, 처리 영역 설정부(11001), 정상성 설정부(11002), 실세계 추정부(11003), 화상 생성부(11004), 및 화상 표시부(11005)에 공급한다. 또한, 신호 처리부(4)는, 화상 표시부(11005)에, 입력 화상을 표시하게 한다.

스텝 S11002에서는, 사용자 I/F(11006)는, 사용자가 사용자 I/F(11006)를 조작함으로써, 처리 영역 지시 정보의 입력이 있었는지 여부를 판정한다. 스텝 S11002에 있어서, 처리 영역 지시 정보의 입력이 없었다고 판정된 경우, 스텝 S11003으로 진행하고, 사용자 I/F(11006)는, 사용자가 사용자 I/F(11006)를 조작함으로써, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11003에 있어서, 종료 지시의 입력이 있었다고 판정된 경우, 즉, 예를 들면, 화상 표시부(11005)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼지 않고, 입력 화상에 대하여 신호 처리를 행하지 않아도 되는 것으로 하여, 신호 처리 장치(4)의 처리를 종료하도록, 사용자 I/F(11006)를 조작한 경우, 처리를 종료한다.

또, 스텝 S11003에 있어서, 종료 지시의 입력이 없었다고 판정된 경우, 스텝 S11002로 복귀하고, 이하, 마찬가지의 처리를 반복한다.

한편, 스텝 S11002에 있어서, 처리 영역 지시 정보의 입력이 있었다고 판정된 경우, 즉, 화상 표시부(11005)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼고, 그 불만이 있는 부분을 포인팅하도록, 사용자 I/F(11006)를 조작한 경우, 스텝 S11004로 진행하고, 사용자 I/F(11006)는, 사용자가 사용자 I/F(11006)를 조작함으로써 포인팅한 점을 나타내는 영역 지시 정보를, 보조 정보로 하여, 처리 영역 설정부(11001)에 공급하고, 스텝 S11005로 진행한다.

스텝 S11005에서는, 처리 영역 설정부(11001)는, 사용자 I/F(11006)로부터 공급된 보조 정보로서의 영역 지시 정보에 따라, 복수개인 M가지의 처리 영역을 설정하고, 그 M가지의 처리 영역을 나타내는 M가지의 처리 영역 정보를, 정상성 설정부(11002), 실세계 추정부(11003), 및 화상 생성부(11004)에 공급하고, 스텝 S11006으로 진행한다. 여기서, 처리 영역 설정부(11001)는, 직전에 행해진 스텝 S11004에 있어서 사용자 I/F(11006)로부터 보조 정보가 공급된 경우는, 그 보조 정보를 사용하여, 처리 영역의 설정을 행한다.

스텝 S11006에서는, 정상성 설정부(11002)는, 처리 영역 설정부(11001)로부터 공급된 M가지의 처리 영역 정보로부터, 입력 화상에서의 M가지의 처리 영역을 인식한다. 또한, 정상성 설정부(11002)는, 그 M가지의 처리 영역의 화상 데이터 각각에 있어서 결락된 실세계(1)의 신호의 정상성을 설정하고, 그 M가지의 처리 영역에 대한 정상성을 나타내는 정상성 정보를, 실세계 추정부(11003)에 공급하고, 스텝 S11007로 진행한다.

스텝 S11007에서는, 실세계 추정부(11003)는, 입력 화상에서의 처리 영역 내 의 화상 데이터에 대하여, 대응하는 실세계(1)의 신호의 정상성에 따라, 그 실세계(1)의 신호를 추정한다.

즉, 실세계 추정부(11003)에서는, 모델 생성부(11011)가, 처리 영역 설정부(11001)로부터 공급되는 M가지의 처리 영역 정보로부터, 입력 화상에서의 M가지의 처리 영역을 인식하고, 정상성 설정부(11002)로부터 공급되는, M가지의 처리 영역 각각의 정상성 정보로부터, M가지의 처리 영역의 화상 데이터 각각에 대응하는 실세계(1)의 신호의 정상성을 인식한다. 또한, 모델 생성부(11011)는, 입력 화상에서의 M가지의 처리 영역 각각에 대하여, 각 처리 영역을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응하는 실세계(1)의 신호의 정상성에 따라, 처리 영역 내의 각 화소의 화소값과 실세계(1)의 신호와의 관계를 모델화한 모델로서의 함수를 생성하고, 이로써, M가지의 처리 영역 각각에 대하여 얻어지는 M가지의 함수를, 방정식 생성부(11012)에 공급한다.

방정식 생성부(11012)는, 처리 영역 설정부(11001)로부터 공급되는 M가지의 처리 영역 정보로부터, 입력 화상에서의 M가지의 처리 영역을 인식하고, 그 M가지의 처리 영역 각각에 대하여, 모델 생성부(11011)로부터 공급되는 모델로서의 함수에, 입력 화상을 구성할 필요한 화소의 화소값을 대입하고, 이로써, 실세계(1)의 신호를 근사시키는 근사 함수를 구하는 방정식을 생성하여, 실세계 파형 추정부(11013)에 공급한다.

실세계 파형 추정부(11013)는, 방정식 생성부(11012)로부터 공급되는, M가지의 처리 영역 각각에 대한 방정식을 푸는 것에 의해, M가지의 처리 영역 각각에 대 하여, 실세계(1)의 신호의 파형을 추정, 즉, 실세계(1)의 신호를 모델화한 모델로서의 근사 함수를 구하고, 그 M가지의 처리 영역 각각에 대한 근사 함수를, 화상 생성부(11004)에 공급한다.

스텝 S11007의 처리 후는, 스텝 S11008로 진행하고, 화상 생성부(11004)는, 실세계 추정부(11003)(의 실세계 파형 추정부(11013))로부터 공급된 M가지의 처리 영역 각각에 대한 근사 함수에 따라, 실세계(1)의 신호에 의해 근사시킨 신호를 생성한다. 즉, 화상 생성부(11004)는, 처리 영역 설정부(11001)로부터 공급되는 M가지의 처리 영역 정보로부터, 입력 화상에서의 M가지의 처리 영역을 인식하고, 그 M가지의 처리 영역 각각에 대하여, 실세계 추정부(11003)로부터 공급된, 대응하는 처리 영역에 대한 근사 함수에 따라, 실세계(1)의 신호에 의해 근사시킨 화상 데이터인 근사 화상을 생성한다. 또한, 화상 생성부(11004)는, 입력 화상의 M가지의 처리 영역의 부분 각각을, 대응하는 처리 영역에 대하여 얻어진 근사 화상으로 치환하여 M가지의 화상을, 출력 화상으로서 생성하고, 화상 표시부(11005)에 공급하고, 스텝 S11008로부터 S11009로 진행한다.

스텝 S11009에서는, 화상 표시부(11005)는, 화상 생성부(11004)로부터 공급된 M가지의 출력 화상을, 스텝 S11001에서 표시된 입력 화상에 대신하거나, 또는 그 입력 화상과 함께 표시하고, 스텝 S11010으로 진행한다.

스텝 S11010에서는, 사용자 I/F(11006)는, 사용자가 사용자 I/F(11006)를 조작함으로써, 선택 정보의 입력이 있었는지 여부를 판정한다. 즉, 스텝 S11009에서는, 화상 표시부(11005)에 있어서, M가지의 출력 화상이 표시되지만, 그 M가지의 출력 화상을 본 사용자가, 그 M가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택하는 선택 정보의 입력을, 사용자 I/F(11006)를 조작함으로써 행했는지 여부가, 스텝 S11010에 있어서 판정된다.

스텝 S11010에 있어서, 선택 정보의 입력이 없었다고 판정된 경우, 스텝 S11013으로 진행하고, 스텝 S11003에서의 경우와 마찬가지로, 사용자 I/F(11006)는, 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11010에 있어서, 종료 지시의 입력이 있었다고 판정된 경우, 신호 처리 장치(4)는, 처리를 종료한다.

또, 스텝 S11013에 있어서, 종료 지시의 입력이 없었다고 판정된 경우, 스텝 S11010으로 복귀하고, 이하, 마찬가지의 처리를 반복한다.

한편, 스텝 S11010에 있어서, 선택 정보의 입력이 있었다고 판정된 경우, 즉, 화상 표시부(11005)에 표시된 M가지의 출력 화상을 본 사용자가, 그 M가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택한 경우, 스텝 S11011로 진행하고, 사용자 I/F(11006)는, 사용자가 사용자 I/F(11006)를 조작함으로써, 사용자가 선택한 출력 화상을, 최종적인 출력 화상으로서 확정하는 확정 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11011에 있어서, 확정 지시의 입력이 있었다고 판정된 경우, 스텝 S11012로 진행하고, 화상 표시부(11005)는, 예를 들면, 그 화면 전체에, 사용자가 선택한 출력 화상을 표시하고, 처리를 종료한다.

또, 스텝 S11011에 있어서, 확정 지시의 입력이 없었다고 판정된 경우, 즉, 사용자가, 선택한 출력 화상의 화질에 불만이 있어, 재차 처리를 행하기 위해, 확정 지시의 입력을 행하지 않은 경우, 스텝 S11004로 복귀하고, 사용자 I/F(11006)는, 사용자가 선택한 출력 화상을 나타내는 선택 정보를, 보조 정보로서, 처리 영역 설정부(11001)에 공급하고, 스텝 S11005로 진행한다.

스텝 S11005에서는, 처리 영역 설정부(11001)는, 사용자 I/F(11006)로부터 공급된 보조 정보로서의 선택 정보에 따라, 복수개인 M가지의 처리 영역을 새롭게 설정한다. 즉, 이 경우, 스텝 S11005에서는, 처리 영역 설정부(11001)는, 사용자 I/F(11006)로부터 공급된 보조 정보로서의 선택 정보가 나타내는 출력 화상을 얻는데 이용된 입력 화상의 처리 영역을 기준으로, 새로운 M가지의 처리 영역을 설정한다. 또한, 스텝 S11005에서는, 처리 영역 설정부(11001)는, 그 새로운 M가지의 처리 영역을 나타내는 M가지의 처리 영역 정보를, 정상성 설정부(11002), 실세계 추정부(11003), 및 화상 생성부(11004)에 공급한다. 그리고, 스텝 S11005로부터 S11006으로 진행하고, 이하, 마찬가지의 처리가 반복된다.

즉, 이로써, 스텝 S11004내지 S110013의 처리가 반복되고, 최종적으로는, 사용자가 원하는 화질의 출력 화상을 얻을 수 있는 처리 영역이 설정되고, 그 결과, 사용자가 원하는 화질의 출력 화상을 얻을 수 있다.

이상과 같이, 도 113의 신호 처리 장치(4)에서는, 입력 화상에 대한 처리 결과로서의 M가지의 출력 화상을 사용자에게 제시하고, 그 M가지의 출력 화상 중 사용자가 원하는 것을 선택하여 받고, 그 선택 결과를 근거로 하여, 재차 처리를 행하도록 했으므로, 사용자의 기호에 있던, 고화질의 출력 화상을, 용이하게 얻을 수 있다. 즉, 신호 처리 장치(4)는, 입력 화상에 대한 처리 결과로서의 M가지의 출력 화상을 사용자에게 제시한다. 한편, 사용자는, 그 M가지의 출력 화상 각각의 화질을 인식, 판단하고, 화질이 양호한 출력 화상을, 신호 처리 장치(4)에 피드백한다. 그리고, 신호 처리 장치(4)는, 그 사용자로부터의 피드백을 근거로 하여 재차, 입력 화상을 처리하고, 이하, 마찬가지의 처리가 반복된다. 따라서, 사용자의 기호에 있던, 고화질의 출력 화상을, 용이하게 얻을 수 있다.

그리고, 이와 같이, 신호 처리 장치(4)에 있어서, 사용자로부터의 피드백을 받아 입력 화상에 대한 처리를 행하는 것은, 신호 처리 장치(4)가, 사용자와 협조하면서 처리를 행하고 있다고 할 수 있다.

다음에, 도 115는, 도 113의 처리 영역 설정부(11001)의 상세 구성예를 나타내고 있다.

화상 메모리(11021)에는, 입력 화상이 공급되고, 화상 메모리(11021)는, 거기에 공급되는 입력 화상을 기억한다. 특징량 추출부(11022)는, 화상 메모리(11021)에 기억된 입력 화상을 구성하는 각 화소에 대하여, 그 특징량을 추출하고, 특징량 메모리(11023)에 공급한다.

그리고, 특징량 추출부(11022)에서는, 예를 들면, 색성분이나, 에지의 유무 또는 화소값의 변화의 급준함(또는 스무스함)을 나타내는 공간 액티비티, 수평 방향과 수직 방향의 공간 액티비티의 차이의 절대값, 복수 종류의 특징량의 조합 등을, 화소의 특징량으로 하여 추출할 수 있다.

여기서, 입력 화상에 있어서, 예를 들면, 어느 오브젝트(물체)가, 수평 방향 으로 움직이고 있는 경우에는, 그 오브젝트의 표시부분에는, 수평 방향으로 모션 흐릿함이 생긴다. 이와 같은 수평 방향의 모션 흐릿함이 생기고 있는 화소에서는, 수평 방향의 공간 액티비티가, 수직 방향의 공간 액티비티와 비교하여 커진다. 따라서, 이 경우, 수평 방향과 수직 방향의 공간 액티비티의 차이의 절대값을, 화소의 특징량으로 하여 채용했을 때는, 그 특징량의 값은, 커진다.

특징량 메모리(11023)는, 특징량 추출부(11022)로부터 공급되는 입력 화상을 구성하는 각 화소의 특징량을 기억한다.

지정 화소 특징 검출부(11024)는, 제어부(11027)의 제어에 따라, 사용자 I/F(11006)(도 113)로부터 공급되는 처리 영역 지시 정보가 나타내는 점의 화소(이하, 적당히, 지정 화소라고 함)의 특징량을, 특징량 메모리(11023)에 기억된 특징량 중 검출하고, 지정 화소 특징량으로 하여, 유사 특징 영역 검출부(11025)에 공급한다.

유사 특징 영역 검출부(11025)는, 지정 화소 특징 검출부(11024)로부터 공급되는 지정 화소 특징량에 유사한 특징량을 가지는 화소로 구성되는 입력 화상의 영역을, M가지만 검출하고, 처리 영역으로서, 영역 정보 생성부(11026)에 공급한다.

즉, 유사 특징 영역 검출부(11025)는, 특징량 메모리(11023)에 기억된 입력 화상을 구성하는 각 화소의 특징량과, 지정 화소 특징 검출부(11024)로부터 공급되는 지정 화소 특징량과의 거리를, 소정의 식별 함수를 사용하여 구한다. 또한, 유사 특징 영역 검출부(11025)는, 입력 화상을 구성하는 화소 중, 지정 화소 특징 검출부(11024)로부터 공급되는 지정 화소 특징량과의 거리를 임계값 이하로 하는 특 징량의 화소(이하, 적당히, 유사 특징 화소라고 함)를 검출하고, 예를 들면, 그 유사 특징 화소를 에워싸는 최소의 직사각형의 영역을, 유사 특징 영역으로서 검출한다.

유사 특징 영역 검출부(11025)는, 후술하는 임계값 설정부(11028)로부터 공급되는 M개의 임계값 각각에 대하여, 유사 특징 영역을 검출하고, 그 결과 얻어지는 M가지의 유사 특징 영역을, 처리 영역으로서, 영역 정보 생성부(11026)에 공급한다.

영역 정보 생성부(11026)는, 유사 특징 영역 검출부(11025)로부터 공급되는 M가지의 처리 영역을 나타내는 M가지의 처리 영역 정보를 생성하여 출력한다.

제어부(11027)는, 사용자 I/F(11006)(도 113)로부터 공급되는 보조 정보로서의 처리 영역 지시 정보 또는 선택 정보를 수신하고, 그 처리 영역 지시 정보 또는 선택 정보에 따라, 지정 화소 특징 검출부(11024) 또는 임계값 설정부(11028)를 제어한다.

임계값 설정부(11028)는, 제어부(11027)의 제어에 따라, 유사 특징 영역 검출부(11025)에 있어서 사용되는 M개의 임계값을 설정하고, 유사 특징 영역 검출부(11025)에 공급한다.

다음에, 도 116의 플로차트를 참조하여, 도 115의 처리 영역 설정부(11001)가 행하는 처리(처리 영역 설정 처리)에 대하여 설명한다.

처리 영역 설정 처리는, 예를 들면, 입력 화상이, 처리 영역 설정부(11001)에 공급되면 개시된다.

즉, 처리 영역 설정 처리에서는, 먼저 최초에, 스텝 S11031에 있어서, 화상 메모리(11021)가, 처리 영역 설정부(11001)에 공급된 입력 화상을 기억하고, 스텝 S11032로 진행한다. 스텝 S11032에서는, 특징량 추출부(11022)는, 화상 메모리(11021)에 기억된 입력 화상을 구성하는 각 화소에 대하여, 그 특징량을 추출하고, 특징량 메모리(11023)에 공급하고, 스텝 S11033으로 진행한다. 스텝 S11033에서는, 특징량 메모리(11023)는, 특징량 추출부(11022)로부터 공급되는 입력 화상을 구성하는 각 화소의 특징량을 기억하고, 스텝 S11034으로 진행한다.

스텝 S11034에서는, 제어부(11027)가, 사용자 I/F(11006)로부터 처리 영역 지시 정보의 입력이 있었는지 여부를 판정한다. 스텝 S11034에 있어서, 처리 영역 지시 정보의 입력이 없었다고 판정된 경우, 스텝 S11035로 진행하고, 제어부(11027)는, 사용자가 사용자 I/F(11006)를 조작함으로써, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11035에 있어서, 종료 지시의 입력이 있었다고 판정된 경우, 처리 영역 설정부(11001)는, 처리 영역 설정 처리를 종료한다.

또, 스텝 S11035에 있어서, 종료 지시의 입력이 없었다고 판정된 경우, 스텝 S11034로 복귀하고, 이하, 마찬가지의 처리를 반복한다.

그리고, 스텝 S11034에 있어서, 처리 영역 지시 정보의 입력이 있었다고 판정된 경우, 제어부(11027)는, 그 처리 영역 지시 정보를, 지정 화소 특징 검출부(11024)에 공급하고, 스텝 S11036으로 진행한다.

스텝 S11036에서는, 지정 화소 특징 검출부(11024)는, 제어부(11027)로부터 공급된 처리 영역 지시 정보가 나타내는 점의 화소(지정 화소)의 특징량을, 특징량 메모리(11023)에 기억된 특징량 중에서 검출하고, 지정 화소 특징량으로서, 유사 특징 영역 검출부(11025)에 공급하고, 스텝 S11037으로 진행한다.

스텝 S11037에서는, 임계값 설정부(11028)는, M개의 임계값을 설정하고, 유사 특징 영역 검출부(11025)에 공급하고, 스텝 S11038으로 진행한다. 여기서, 임계값 설정부(11028)에는, 예를 들면, 디폴트의 M개의 상이한 값이 기억되어 있고, 스텝 S11037에서는, 그 디폴트의 M개의 상이한 값이, M개의 임계값으로서 설정된다. 그 외에, 임계값 설정부(11028)에서는, 스텝 S11037에 있어서, 지정 화소 특징량에 따라, 가변의 M개의 임계값을 설정하는 것, 즉, 예를 들면, 특징량 메모리(11023)에 기억된 특징량 중, 지정 화소 특징량과의 차이(의 크기)가 최대의 특징량과, 지정 화소 특징량과의 차이를, M+1 등분 이상으로 하는 승순(昇順)으로 M개의 값을, M개의 임계값으로서 설정할 수 있다.

스텝 S11038에서는, 유사 특징 영역 검출부(11025)는, 임계값 설정부(11028)로부터 공급되는 M개의 임계값 각각에 대하여, 지정 화소 특징 검출부(11024)로부터 공급되는 지정 화소 특징량에 유사한 특징량을 가지는 화소를 에워싸는 최소의 직사각형의 영역인 있는 유사 특징 영역을 검출한다.

즉, 유사 특징 영역 검출부(11025)는, 특징량 메모리(11023)에 기억된 입력 화상을 구성하는 각 화소의 특징량과, 지정 화소 특징 검출부(11024)로부터 공급되는 지정 화소 특징량과의 거리를, 소정의 식별 함수를 사용하여 구한다. 또한, 유사 특징 영역 검출부(11025)는, 임계값 설정부(11028)로부터 공급되는 M개의 임계 값 중 임의의 임계값을 주목 임계값으로서 입력 화상을 구성하는 화소 중, 지정 화소 특징량과의 거리를 주목 임계값 이하로 하는 특징량의 화소인 유사 특징 화소를 검출하고, 그 유사 특징 화소를 에워싸는 최소의 직사각형의 영역을, 주목 임계값에 대한 유사 특징 영역으로서 검출한다. 유사 특징 영역 검출부(11025)는, 임계값 설정부(11028)로부터 공급되는 M개의 임계값 모든 것을 주목 임계값으로서 그 M개의 임계값 각각에 대한 유사 특징 영역을 검출한다. 그리고, 유사 특징 화소로서 검출하는 화소는, 지정 화소의 위치로부터 소정 범위 내에 있는 것으로만 한정할 수 있다.

그리고, 유사 특징 영역 검출부(11025)는, 스텝 S11038로부터 S11039로 진행하고, M개의 임계값 각각에 대하여 검출한 유사 특징 영역을, 처리 영역에 설정하고, 영역 정보 생성부(11026)에 공급한다. 또한, 스텝 S11039에서는, 영역 정보 생성부(11026)는, 유사 특징 영역 검출부(11025)로부터 공급되는 M가지의 처리 영역을 나타내는 M가지의 처리 영역 정보를 생성하여 출력하고, 스텝 S11040으로 진행한다.

스텝 S11040에서는, 제어부(11027)는, 사용자 I/F(11006)로부터 선택 정보가 공급되었는지 여부를 판정하고, 선택 정보가 공급되고 있지 않는 것으로 판정한 경우, 스텝 S11042로 진행한다. 스텝 S11042에서는, 제어부(11027)는, 사용자가 사용자 I/F(11006)를 조작함으로써, 확정 지시 또는 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11042에 있어서, 확정 지시 또는 종료 지시의 입력이 있었다고 판정된 경우, 처리 영역 설정부(11001)는, 처리 영역 설정 처리를 종료한다.

또, 스텝 S11042에 있어서, 확정 지시 및 종료 지시 어느 입력도 없었다고 판정된 경우, 스텝 S11040으로 복귀하고, 이하, 마찬가지의 처리가 반복된다.

그리고, 스텝 S11040에 있어서, 선택 정보가 사용자 I/F(11006)로부터 제어부(11027)에 공급되는 것으로 판정된 경우, 제어부(11027)는, 새로운 M개의 임계값을 설정하도록, 임계값 설정부(11028)를 제어하고, 스텝 S11041로 진행한다.

스텝 S11041에서는, 임계값 설정부(11028)는, 제어부(11027)의 제어에 따라, 새로운 M개의 임계값을 설정한다. 즉, 이 경우, 임계값 설정부(11028)는, 전회 설정한 M개의 임계값 중, 사용자 I/F(11006)로부터 공급된 선택 정보에 의해 선택된 출력 화상에 대한 처리 영역의 설정에 이용된 임계값에 따라, 새로운 M개의 임계값을 설정한다.

구체적으로는, 임계값 설정부(11028)는, 사용자 I/F(11006)로부터 공급된 선택 정보에 의해 선택된 출력 화상에 대한 처리 영역의 설정에 이용된 임계값을 중심으로 하여, 전회 설정한 M개의 임계값에서의 인접하는 임계값끼리의 간격보다 짧은 간격의 M개의 값을, 새로운 M개의 임계값으로서 설정한다.

그리고, 임계값 설정부(11028)는, 새로운 M개의 임계값을, 유사 특징 영역 검출부(11025)에 공급하고, 스텝 S11041로부터 S11038로 돌아온다.

스텝 S11038에서는, 유사 특징 영역 검출부(11025)가, 임계값 설정부(11028)로부터 공급되는 새로운 M개의 임계값 각각에 대하여, 지정 화소 특징 검출부(11024)로부터 공급된 지정 화소 특징량에 유사한 특징량을 가지는 화소를 에워싸 는 최소의 직사각형의 영역인 있는 유사 특징 영역을 검출하고, 이하, 마찬가지의 처리가 반복된다.

이상의 처리 영역 설정 처리에 의하면, 사용자에 의한 처리 영역 지시 정보에 따라, 복수개인 M가지의 처리 영역이 설정되고, 그 M가지의 처리 영역 각각에 대하여, 후단의 처리가 행해진다. 또한, 그 처리 결과로서의 M가지의 출력 화상을 표시하고, 그 중에서 사용자가 출력 화상을 선택하면, 그 선택 결과에 따라, 새로운 M가지의 처리 영역이 설정되고, 이하, 마찬가지의 처리가 반복된다. 따라서, 사용자는, M가지의 출력 화상 중, 예를 들면, 원하는 화질에 가까운 것을 선택함으로써, 적절한 처리 영역이 설정되고, 그 결과, 사용자가 원하는 화질의 출력 화상을 얻는 것이 가능해진다.

그리고, 전술한 경우에는, 먼저 최초에, 사용자에게, 지정 화소를 나타내는 처리 영역 지시 정보를 입력하여 받아, 처리 영역 설정부(11001)에 있어서, 그 처리 영역 지시 정보에 따라, 지정 화소를 설정하도록 했지만, 지정 화소는, 사용자로부터의 처리 영역 지시 정보없이 설정할 수 있다. 즉, 처리 영역 설정부(11001)에서는, 예를 들면, 도 3의 데이터 정상성 검출부(101)에서의 경우와 마찬가지로 하여, 정상 영역을 검출하고, 그 정상 영역에서의 소정의 화소를, 지정 화소로서 설정할 수 있다. 이 경우, 사용자는, 처리 영역 지시 정보를 입력할 필요가 없어져, M가지의 출력 화상 중, 원하는 화질에 가까운 것을 선택하는 것만으로 된다.

또, 전술한 경우에는, M가지의 처리 영역을 설정하고, 그 M가지의 처리 영역 각각에 대하여 출력 화상을 표시하고, 그 중에서 사용자가 원하는 출력 화상을 선 택하도록 했지만, 그 외에, 예를 들면, M가지의 처리 영역 각각을 제시하는 프레임 등을, 입력 화상 상에 표시하고, 사용자에게는, 처리 영역을 직접 선택하도록 할 수 있다.

이 경우, 예를 들면, 도 117에 나타낸 바와 같은, 자동차 등의 오브젝트가, 수평 방향으로 일정 속도로 이동하고 있는 1장면을, 이미지 센서인 센서(2)(도 1)에 있어서 촬상하여 얻어지는 화상이, 입력 화상으로서, 화상 표시부(11005)에 표시되었을 때, 사용자가, 입력 화상에 있어서, 오브젝트가 이동함으로써 생기고 있는 모션 흐릿함이 있는 부분을, 사용자 I/F(11006)를 조작함으로써 지정하면, 처리 영역 설정부(11001)에 있어서, M가지의 처리 영역이 설정된다. 또한, 화상 표시부(11005)에 있어서, 도 118에 나타낸 바와 같이, 그 M가지의 처리 영역 각각을 제시하는 프레임이, 입력 화상 상에 표시된다. 여기서, 도 118에서는, 3가지 방법의 처리 영역 각각을 제시하는 프레임이 표시되어 있다. 그리고, 사용자가, M가지의 처리 영역 중 어느 하나를 선택하도록, 사용자 I/F(11006)를 조작하면, 실세계 추정부(11003) 및 화상 생성부(11004)에서는, 사용자에게 따라서 선택된 처리 영역에 대하여 처리가 행해지고, 그 처리 결과로서의 출력 화상이, 화상 표시부(11005)에 표시된다.

따라서, 이 경우, 사용자는, 실세계 추정부(11003) 및 화상 생성부(11004)에 있어서 처리해야 할 처리 영역을, 용이하게 선택할 수 있다.

다음에, 도 119는, 도 111에 나타낸 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타내고 있다.

도 119에 있어서, 처리 영역 설정부(11041), 정상성 설정부(11042), 실세계 추정부(11043), 화상 생성부(11044), 화상 표시부(11045), 사용자 I/F(11046)는, 도 111의 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006)에 각각 대응하고 있고, 기본적으로는, 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006) 각각과 마찬가지의 처리를 행한다. 또한, 도 119에 있어서, 실세계 추정부(11043)는, 모델 생성부(11051), 방정식 생성부(11052), 실세계 파형 추정부(11053)로 구성되어 있다. 모델 생성부(11051), 방정식 생성부(11052), 실세계 파형 추정부(11053)는, 도 111의 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013)에 각각 대응하고 있고, 기본적으로는, 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013) 각각과 마찬가지의 처리를 행한다.

단, 도 119에 있어서는, 사용자가 사용자 I/F(11046)를 조작함으로써, 사용자 I/F(11046)가 출력하는 보조 정보가, 정상성 설정부(11042)에만 공급되도록 되어 있다.

즉, 도 119에서는, 사용자는, 사용자 I/F(11046)를 조작함으로써, 화상 표시부(11045)에 표시된 화상에 대하여, 실세계(1)의 정상성에 관한 정보를 지시할 수 있도록 되어 있고, 사용자 I/F(11046)는, 사용자가 실세계(1)의 정상성에 관한 정보를 지시하는 조작을 행하면, 그 조작에 의해 지시된 정상성에 관한 정보를 나타내는 정상성 지시 정보를, 보조 정보로서, 정상성 설정부(11042)에 공급한다. 또 한, 도 119에서는, 화상 표시부(11045)에는, 후술하는 바와 같이, 복수개의 출력 화상이 표시되지만, 사용자는, 사용자 I/F(11046)를 조작함으로써, 화상 표시부(11045)에 표시된 출력 화상을 선택할 수 있도록 되어 있고, 사용자 I/F(11046)는, 사용자가 출력 화상을 선택하는 조작을 행하면, 그 조작에 의해 선택된 출력 화상을 나타내는 선택 정보를, 보조 정보로서, 정상성 설정부(11042)에 공급한다.

그리고, 여기서는, 정상성 지시 정보로서, 예를 들면, 모션량을, 사용자가 사용자 I/F(11046)를 조작함으로써 입력하는 것으로 한다.

즉, 예를 들면, 지금, 실세계(1)에 있어서, 자동차 등의 오브젝트가, 수평 방향으로 일정 속도로 이동하고 있는 1장면을, 이미지 센서인 센서(2)(도 1)에 있어서 촬상하여 얻어지는 화상이, 입력 화상으로서, 도 119의 신호 처리 장치(4)에 입력되는 것으로 한다.

이 경우, 입력 화상에 대응하는 실세계(1)의 화상은, 어느 형상의 오브젝트(여기서는, 자동차)가 수평 방향으로 일정 속도로 이동하고 있다는 정상성을 가지고 있고, 사용자는, 입력 화상을 보고, 그 입력 화상에 대응하는 실세계(1)의 정상성을 지시하는 정상성 지시 정보를, 사용자 I/F(11046)를 조작함으로써 입력한다. 구체적으로는, 여기서는, 사용자 I/F(11046)가, 예를 들면, 회전식 또는 슬라이드식의 볼륨(가변 저항기) 등으로 구성되며, 사용자가 사용자 I/F(11046)를 조작하면, 사용자 I/F(11046)는, 그 조작에 따라, 모션량을 나타내는 연속적인 값을, 정상성 지시 정보로서, 정상성 설정부(11042)에 공급한다.

여기서, 모션량으로서는, 예를 들면, 이른바 블록 매칭에 의해 모션 벡터를 검출하고, 그 모션 벡터의 크기를 채용할 수 있다. 그러나, 예를 들면, 도 120 (A)에 나타낸 바와 같이, 좌측으로부터 우측 방향으로 이동하고 있는 자동차가 존재하는 풍경을 배경으로 하고, 우측으로부터 좌측 방향으로 이동하고 있는 다른 자동차를 전경으로 하는 화상과 같이, 전경과 배경에서, 상이한 모션 성분이 교차하는 화상(입력 화상)에 대하여는, 특히, 도 120 (B)에 직사각형으로 에워싸 나타낸, 전경과 배경의 모션 성분이 교차하는 부분의 모션 벡터를, 정밀도 양호하게 구하는 것이 곤란한 경우가 있다.

즉, 도 120 (C)는, 도 120 (B)에 직사각형으로 에워싸 나타낸 부분에 대하여, 블록 매칭에 의해 구해지는, 각 블록의 모션 벡터(도 120 (B)에 나타낸, 구해진 모션 벡터 중, 도 120 (B)에 직사각형으로 에워싸 나타낸 부분의 모션 벡터(확대)를 나타내고 있다. 블록 매칭에서는, 전경이나 배경의 구별을 하지 않고, 블록마다 매칭이 취해지므로, 오브젝트(여기서는, 전경이 되어 있는 자동차와 배경에 있는 자동차)의 경계 부분의 블록에 대하여, 모션 벡터를, 정밀도 양호하게 구하는 것이 곤란한 경우가 있다. 여기서, 예를 들면, 지금, 도 120 (D)에 나타낸 바와 같이, 블록의 중심점(중심의 위치)의 모션 벡터를, 그 블록의 모션 벡터로 한 경우, 블록 매칭에 의하면, 도 120 (D)에 나타낸 진값(眞値)의 모션 벡터에 대하여, 도 120 (C)에 있어서 그림자를 부여하고 있는 부분의 블록에 있어서, 그 블록의 중심점의 모션 벡터와는 상이한, 말하자면 부정확한 모션 벡터가 구해지게 된다.

그래서, 도 119의 신호 처리 장치(4)에서는, 사용자에게, 입력 화상에서의 오브젝트의 모션량을, 정상성 지시 정보로서 입력하여 받아, 정상성 설정부(11042) 에 있어서, 그 정상성 지시 정보에 따라, 정상성을 설정한다.

다음에, 도 121의 플로차트를 참조하여, 도 119의 신호 처리 장치(4)의 처리에 대하여 설명한다.

도 119의 신호 처리 장치(4)에서는, 정상성에 따라, 실세계가 추정되고, 이로써, 센서(2)의 시간 적분 효과에 의한, 물체의 신호의 시간 방향의 혼합(시간 혼합)에 의해 생기는 모션 흐릿함을 제거하는 처리가 행해진다.

즉, 실세계(1)에 있어서, 자동차 등의 오브젝트가 이동하고 있는 화상을, 이미지 센서인 센서(2)로 촬상한 경우에 얻어지는 입력 화상에 있어서는, 오브젝트가 시간 경과와 함께 이동하므로, 센서(2)의 시간 적분 효과에 의해, 그 오브젝트의 광신호와, 그 오브젝트 이외의 부분의 광신호가 혼합(시간 혼합)하고, 이로써, 오브젝트의 경계 부분 등에 있어서, 이른바 모션 흐릿함이 생긴다. 도 119의 신호 처리 장치(4)에서는, 이와 같은 시간 혼합에 의해 생긴 모션 흐릿함을 입력 화상으로부터 제거한 고화질의 출력 화상이 생성된다.

도 119의 신호 처리 장치(4)는, 먼저 최초에, 스텝 S11061에 있어서, 사전 처리를 행하고, 스텝 S11062로 진행한다. 즉, 신호 처리 장치(4)는, 센서(2)(도 1)로부터 데이터(3)로서 공급되는, 예를 들면 1프레임 또는 1필드의 입력 화상을, 처리 영역 설정부(11041), 정상성 설정부(11042), 실세계 추정부(11043), 화상 생성부(11044), 및 화상 표시부(11045)에 공급한다. 또한, 신호 처리부(4)는, 화상 표시부(11045)에, 입력 화상을 표시하게 한다.

그리고, 여기서는, 자동차 등의 오브젝트가 수평 방향으로 일정 속도로 이동 하고 있는 장면을, 센서(2)로 촬상함으로써 얻어지는, 시간 혼합에 의한 모션 흐릿함이 생긴 화상이, 입력 화상으로서, 신호 처리 장치(4)에 입력되는 것으로 한다.

스텝 S11062에서는, 사용자 I/F(11046)는, 사용자가 사용자 I/F(11046)를 조작함으로써, 정상성 지시 정보의 입력이 있었는지 여부를 판정한다. 스텝 S11062에 있어서, 정상성 지시 정보의 입력이 없었다고 판정된 경우, 스텝 S11063으로 진행하고, 사용자 I/F(11046)는, 사용자가 사용자 I/F(11046)를 조작함으로써, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11063에 있어서, 종료 지시의 입력이 있었다고 판정된 경우, 즉, 예를 들면, 화상 표시부(11045)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼지 않고, 입력 화상에 대하여 신호 처리를 가하지 않아도 되는 것으로 하여, 신호 처리 장치(4)의 처리를 종료하도록, 사용자 I/F(11046)를 조작한 경우, 처리를 종료한다.

또, 스텝 S11063에 있어서, 종료 지시의 입력이 없었다고 판정된 경우, 스텝 S11062로 복귀하고, 이하, 마찬가지의 처리를 반복한다.

한편, 스텝 S11062에 있어서, 정상성 지시 정보의 입력이 있었다고 판정된 경우, 즉, 화상 표시부(11045)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질(여기서는, 모션 흐릿함을 생기고 있는 것)에 불만을 느껴 입력 화상에서의 오브젝트의 모션량을 지시하도록, 사용자 I/F(11046)를 조작한 경우, 스텝 S11064으로 진행하고, 사용자 I/F(11046)는, 사용자가 사용자 I/F(11046)를 조작함으로써 지시한 모션량을 나타내는 정상성 지시 정보를, 보조 정보로서, 정상성 설정부(11042)에 공급하고, 스텝 S11065로 진행한다.

스텝 S11065에서는, 처리 영역 설정부(11041)는, 처리 영역을 설정하고, 그 처리 영역을 나타내는 처리 영역 정보를, 정상성 설정부(11042), 실세계 추정부(11043), 및 화상 생성부(11044)에 공급하고, 스텝 S11066으로 진행한다.

여기서, 스텝 S11065에서의 처리 영역의 설정은, 사용자에게 처리 영역 지시 정보를 입력하여 받아, 그 처리 영역 지시 정보에 따라 행하는 것도 가능하고, 사용자로부터의 처리 영역 지시 정보없이 행하는 것도 가능하다. 사용자로부터의 처리 영역 지시 정보없이의 처리 영역의 설정은, 예를 들면, 입력 화상과, 그 전 또는 후의 프레임의 화상을 사용하고, 블록 매칭을 행함으로써, 입력 화상으로부터 모션 벡터를 검출하고, 그 모션 벡터에 따라 행할 수 있다. 즉, 예를 들면, 입력 화상에 있어서, 소정의 크기 이상의 모션 벡터의 블록을 에워싸는 최소의 직사각형 영역을, 처리 영역으로서 설정할 수 있다.

스텝 S11066에서는, 정상성 설정부(11042)는, 처리 영역 설정부(11041)로부터 공급된 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식한다. 또한, 정상성 설정부(11042)는, 그 처리 영역의 화상 데이터에 있어서 결락된 실세계(1)의 신호의 M가지의 정상성을 설정하고, 그 M가지의 정상성을 나타내는 정상성 정보를, 실세계 추정부(11043)에 공급하고, 스텝 S11067로 진행한다.

여기서, 정상성 설정부(11042)는, 직전에 행해진 스텝 S11064에 있어서 사용자 I/F(11046)로부터 보조 정보로서의 정상성 지시 정보가 공급된 경우는, 그 정상 성 지시 정보에 따라, M가지의 정상성을 설정한다. 즉, 정상성 설정부(11042)는, 직전에 행해진 스텝 S11064에 있어서 사용자 I/F(11076)로부터 공급된 정상성 지시 정보가 나타내는 모션량을 중심으로 하는 M가지의 모션량을, M가지의 정상성의 정보로서 설정한다.

스텝 S11067에서는, 실세계 추정부(11043)는, 입력 화상에서의 처리 영역 내의 화상 데이터에 대하여, 대응하는 실세계(1)의 신호의 정상성에 따라, 그 실세계(1)의 신호를 추정한다.

즉, 실세계 추정부(11043)에서는, 모델 생성부(11051)가, 처리 영역 설정부(11041)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 정상성 설정부(11042)로부터 공급되는, M가지의 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 실세계(1)의 신호의 M가지의 정상성을 인식한다. 또한, 모델 생성부(11051)는, M가지의 정상성 각각에 대하여, 입력 화상에서의 처리 영역을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응하는 실세계(1)의 신호의 정상성에 따라, 처리 영역 내의 각 화소의 화소값과 실세계(1)의 신호와의 관계를 모델화한 모델로서의 M가지의 함수를 생성하고, 이로써, M가지의 정상성 각각에 대하여 얻어지는 M가지의 함수를, 방정식 생성부(11052)에 공급한다.

방정식 생성부(11052)는, 처리 영역 설정부(11041)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역을 구성하는 화소에 대하여, 모델 생성부(11051)로부터 공급되는, M가지의 모델로서의 함수 각각에, 입력 화상의 필요한 화소의 화소값을 대입하고, 이로써, 실세계(1)의 신호를 근사시키는 근사 함수를 구하는 M가지의 방정식을 생성하여, 실세계 파형 추정부(11053)에 공급한다.

실세계 파형 추정부(11053)는, 방정식 생성부(11052)로부터 공급되는, M가지의 방정식을 푸는 것에 의해, M가지의 실세계(1)의 신호의 파형을 추정, 즉, 실세계(1)의 신호를 모델화한 모델로서의 근사 함수를 구하고, 그 M가지의 근사 함수를, 화상 생성부(11044)에 공급한다.

스텝 S11067의 처리 후는, 스텝 S11068로 진행하고, 화상 생성부(11044)는, 실세계 추정부(11043)(의 실세계 파형 추정부(11053))로부터 공급된 M가지의 근사 함수에 따라, 실세계(1)의 신호에 의해 근사시킨 신호를 M가지만 생성한다. 즉, 화상 생성부(11044)는, 처리 영역 설정부(11041)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 실세계 추정부(11043)로부터 공급된 M가지의 근사 함수에 따라, 실세계(1)의 신호에 대응하는 화상에 의해 근사시킨 화상 데이터인 근사 화상을 M가지만 생성한다. 또한, 화상 생성부(11044)는, 입력 화상의 처리 영역의 부분을, M가지의 근사 화상으로 각각 치환하여 M가지의 화상을, 출력 화상으로서 생성하고, 화상 표시부(11045)에 공급하고, 스텝 S11068로부터 S11069로 진행한다.

스텝 S11069에서는, 화상 표시부(11045)는, 화상 생성부(11044)로부터 공급된 M가지의 출력 화상을, 스텝 S11061에서 표시된 입력 화상에 대신하거나, 또는 그 입력 화상과 함께 표시하고, 스텝 S11070으로 진행한다.

스텝 S11070에서는, 사용자 I/F(11046)는, 사용자가 사용자 I/F(11046)를 조 작함으로써, 선택 정보의 입력이 있었는지 여부를 판정한다. 즉, 스텝 S11069에서는, 화상 표시부(11045)에 있어서, M가지의 출력 화상이 표시되지만, 그 M가지의 출력 화상을 본 사용자가, 그 M가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상(여기서는, 모션 흐릿함이 보다 제거된 화상)을 선택하는 선택 정보의 입력을, 사용자 I/F(11046)를 조작함으로써 행했는지 여부가, 스텝 S11070에 있어서 판정된다.

스텝 S11070에 있어서, 선택 정보의 입력이 없었다고 판정된 경우, 스텝 S11073으로 진행하고, 스텝 S11063에서의 경우와 마찬가지로, 사용자 I/F(11046)는, 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11073에 있어서, 종료 지시의 입력이 있었다고 판정된 경우, 신호 처리 장치(4)는, 처리를 종료한다.

또, 스텝 S11073에 있어서, 종료 지시의 입력이 없었다고 판정된 경우, 스텝 S11070으로 복귀하고, 이하, 마찬가지의 처리를 반복한다.

한편, 스텝 S11070에 있어서, 선택 정보의 입력이 있었다고 판정된 경우, 즉, 화상 표시부(11045)에 표시된 M가지의 출력 화상을 본 사용자가, 그 M가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택한 경우, 스텝 S11071로 진행하고, 사용자 I/F(11046)는, 사용자가 사용자 I/F(11046)를 조작함으로써, 사용자가 선택한 출력 화상을, 최종적인 출력 화상으로서 확정하는 확정 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11071에 있어서, 확정 지시의 입력이 있었다고 판정된 경우, 스텝 S11072으로 진행하고, 화상 표시부(11045)는, 예를 들면, 그 화면 전체에, 사용자가 선택한 출력 화상을 표시하고, 처리를 종료한다.

또, 스텝 S11071에 있어서, 확정 지시의 입력이 없었다고 판정된 경우, 즉, 사용자가, 선택한 출력 화상의 화질에 불만이 있어, 재차 처리를 행하기 위해, 확정 지시의 입력을 행하지 않은 경우, 스텝 S11064으로 복귀하고, 사용자 I/F(11046)는, 사용자가 선택한 출력 화상을 나타내는 선택 정보를, 보조 정보로서, 정상성 설정부(11042)에 공급하고, 스텝 S11065로 진행한다.

스텝 S11065에서는, 처리 영역 설정부(11041)는, 전술한 경우와 마찬가지로, 처리 영역을 설정하고, 그 처리 영역을 나타내는 처리 영역 정보를, 정상성 설정부(11042), 실세계 추정부(11043), 및 화상 생성부(11044)에 공급하고, 스텝 S11066으로 진행한다. 그리고, 여기서 설정되는 처리 영역은, 예를 들면, 전회의 스텝 S11065의 처리로 설정되는 것과 동일하며, 따라서, 스텝 S11064내지 S11073의 루프 처리가 행해지는 경우에 있어서는, 2번째 이후의 스텝 S11065의 처리는, 스킵할 수 있다.

스텝 S11066에서는, 정상성 설정부(11042)는, 사용자 I/F(11046)로부터 공급된 보조 정보로서의 선택 정보에 따라, 복수개인 M가지의 정상성을 새롭게 설정한다. 즉, 이 경우, 스텝 S11066에서는, 정상성 설정부(11042)는, 사용자 I/F(11046)로부터 공급된 보조 정보로서의 선택 정보가 나타내는 출력 화상을 얻는데 이용된 입력 화상에 대하여 설정된 정상성을 기준으로, 새로운 M가지의 정상성을 설정한다. 또한, 스텝 S11066에서는, 정상성 설정부(11042)는, 그 새로운 M가 지의 정상성을 나타내는 M가지의 정상성 정보를, 실세계 추정부(11043), 및 화상 생성부(11044)에 공급한다. 그리고, 스텝 S11066로부터 S11067로 진행하고, 이하, 마찬가지의 처리가 반복된다.

즉, 이로써, 스텝 S11064내지 S11073의 처리가 반복되고, 최종적으로는, 사용자가 원하는 화질, 구체적으로는, 여기서는, 모션 흐릿함이 (충분히)제거된 출력 화상을 얻을 수 있는 정상성이 설정되고, 그 결과, 사용자가 원하는 화질의 출력 화상을 얻을 수 있다.

이상과 같이, 도 119의 신호 처리 장치(4)에서는, 입력 화상에 대한 처리 결과로서의 M가지의 출력 화상을 사용자에게 제시하고, 그 M가지의 출력 화상 중 사용자가 원하는 것을 선택하여 받고, 그 선택 결과를 근거로 하여, 재차 처리를 행하도록 했으므로, 사용자의 기호에 있던, 고화질의 출력 화상을, 용이하게 얻을 수 있다. 즉, 신호 처리 장치(4)는, 입력 화상에 대한 처리 결과로서의 M가지의 출력 화상을 사용자에게 제시한다. 한편, 사용자는, 그 M가지의 출력 화상 각각의 화질을 인식, 판단하고, 화질이 양호한 출력 화상을, 신호 처리 장치(4)에 피드백한다. 그리고, 신호 처리 장치(4)는, 그 사용자로부터의 피드백을 근거로 하여, 재차, 입력 화상을 처리하고, 이하, 마찬가지의 처리가 반복된다. 따라서, 사용자의 기호에 있던, 고화질의 출력 화상을, 용이하게 얻을 수 있다.

그리고, 도 119의 신호 처리 장치(4)에서는, 도 113의 신호 처리 장치(4)에서의 경우와 같이, 복수개인 M1 그가지의 처리 영역을 설정하고, 그 M1 그가지의 처리 영역 중, 사용자가 원하는 것을 선택하여 받고나서, 그 사용자가 선택한 처리 영역에 대하여만, 복수개인 M2 그가지의 정상성을 설정하고, M2 그가지의 출력 화상을 구하도록 할 수 있다.

또한, 도 119의 신호 처리 장치에서는, 도 113의 신호 처리 장치(4)에서의 경우와 같이, 처리 영역 설정부(11041)에 있어서, 복수개인 M1 그가지의 처리 영역을 설정하고, 정상성 설정부(11042)에 있어서, 그 M1 그가지의 처리 영역 각각에 대하여, 복수개인 M2 그가지의 정상성을 설정하고, 이로써, M₁×M₂가지의 출력 화상을 생성하고, 사용자에게, 그 중에서 원하는 것을 선택하도록 할 수도 있다.

다음에, 도 122는, 도 119의 정상성 설정부(11042)의 상세 구성예를 나타내고 있다.

화상 메모리(11061)에는, 입력 화상, 또한 필요에 따라, 입력 화상의 전 또는 후의 프레임의 화상이 공급되도록 되어 있고, 화상 메모리(11061)는, 거기에 공급되는 화상을 기억한다.

모션 검출부(11062)에는, 처리 영역 설정부(11041)로부터 처리 영역 정보가 공급되도록 되어 있고, 모션 검출부(11062)는, 그 처리 영역 정보에 의해 특정되는 입력 화상에서의 처리 영역의 화상 데이터 등을, 화상 메모리(11061)로부터 판독하고, 그 처리 영역에서의 데이터의 정상성을 나타내는 모션을 검출하여, 모션 후보 설정부(11063)에 공급한다.

그리고, 모션 검출부(11062)에서는, 예를 들면, 블록 매칭에 의해 모션을 검출할 수도 있고, 그 외의 방법에 따라 모션을 검출할 수도 있다. 그 외의 방법에 대하여는, 후술한다.

여기서, 도 122에서는, 화상 메모리(11061) 및 모션 검출부(11062)를 설치하여, 정상성 설정부(11042)를 구성하도록 했지만, 입력 화상(처리 영역)로부터 모션을 검출하지 않고, 그 입력 화상에 대응하는 실세계(1)의 정상성을 설정할 뿐이면, 즉, 예를 들면, 사용자로부터 입력되는 정상성 지시 정보에 따라, 실세계(1)의 정상성을 설정할 뿐이면, 정상성 설정부(11042)는, 화상 메모리(11061) 및 모션 검출부(11062)를 마련하지 않고, 후술하는 모션 후보 설정부(11063), 정상성 정보 생성부(11064), 및 제어부(11065)만으로 구성할 수 있다.

모션 후보 설정부(11063), 모션 검출부(11062)로부터 공급되는 처리 영역에서의 데이터의 정상성을 나타내는 모션에 따라, 대응하는 실세계(1)의 정상성을 나타내는 모션의 M가지의 후보를 설정하고, 정상성 정보 생성부(11064)에 공급한다. 또한, 모션 후보 설정부(11063), 제어부(11065)의 제어에 따라, 입력 화상의 처리 영역에서의 실세계(1)의 정상성을 나타내는 모션의 M가지의 후보를 설정하고, 정상성 정보 생성부(11064)에 공급한다.

정상성 정보 생성부(11064)는, 모션 후보 설정부(11063)로부터 공급되는 M가지의 모션의 후보 각각을 나타내는 정상성 정보를 생성하고, 그 M가지의 정상성 정보를, 실세계 추정부(11046)(도 119)에 출력한다.

제어부(11065)는, 사용자 I/F(11046)(도 119)로부터 공급되는 보조 정보로서의 정상성 지시 정보 또는 선택 정보를 수신하고, 그 정상성 지시 정보 또는 선택 정보에 따라, 모션 후보 설정부(11063)를 제어한다.

다음에, 도 123의 플로차트를 참조하여, 도 122의 정상성 설정부(11042)가 행하는 처리(정상성 설정 처리)에 대하여 설명한다.

정상성 설정 처리는, 예를 들면, 입력 화상이, 도 119의 신호 처리 장치(4)에 공급되면 개시된다.

즉, 정상성 설정 처리에서는, 먼저 최초에, 스텝 S11081에 있어서, 제어부(11065)가, 사용자 I/F(11046)(도 119)로부터 정상성 지시 정보의 입력이 있었는지 여부를 판정한다. 스텝 S11081에 있어서, 정상성 지시 정보의 입력이 없었다고 판정된 경우, 스텝 S11082으로 진행하고, 제어부(11065)는, 사용자가 사용자 I/F(11046)를 조작함으로써, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11082에 있어서, 종료 지시의 입력이 있었다고 판정된 경우, 정상성 설정부(11042)는, 정상성 설정 처리를 종료한다.

또, 스텝 S11082에 있어서, 종료 지시의 입력이 없었다고 판정된 경우, 스텝 S11081로 복귀하고, 이하, 마찬가지의 처리를 반복한다.

그리고, 스텝 S11082에 있어서, 정상성 지시 정보의 입력이 있었다고 판정된 경우, 제어부(11065)는, 그 정상성 지시 정보를, 모션 후보 설정부(11063)에 공급하고, 스텝 S11083으로 진행한다.

스텝 S11083에서는, 모션 후보 설정부(11063), 제어부(11065)로부터 공급된 정상성 지시 정보가 나타내는 모션량에 따라, 입력 화상의 처리 영역에서의 오브젝트의 모션량의 후보(모션 후보)를 M가지 설정하고, 그 M가지의 모션량의 후보를, 정상성 정보 생성부(11064)에 공급하고, 스텝 S11084로 진행한다. 여기서, 스텝 S11083에서는, 예를 들면, 정상성 지시 정보가 나타내는 모션량을 중심으로 하는, 소정의 간격마다의 M개의 값을, M가지의 모션량의 후보로서 설정할 수 있다. 그리고, 이 경우의 소정의 간격은, 일정값이라도 되는 것으로 하고, 정상성 지시 정보가 나타내는 모션량으로부터 멀어질 수록, 크거나 또는 작게 해도 된다.

스텝 S11084에서는, 정상성 정보 생성부(11064)는, 모션 후보 설정부(11063)로부터 공급되는 M가지의 모션량의 후보를 나타내는 M가지의 정상성 정보를 생성하여 출력하고, 스텝 S11085로 진행한다.

스텝 S11085에서는, 제어부(11065)는, 사용자 I/F(11046)로부터 선택 정보가 공급되었는지 여부를 판정하고, 선택 정보가 공급되고 있지 않는 것으로 판정한 경우, 스텝 S11086으로 진행한다. 스텝 S11086에서는, 제어부(11065)는, 사용자가 사용자 I/F(11046)를 조작함으로써, 확정 지시 또는 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11086에 있어서, 확정 지시 또는 종료 지시의 입력이 있었다고 판정된 경우, 정상성 설정부(11042)는, 정상성 설정 처리를 종료한다.

또, 스텝 S11086에 있어서, 확정 지시 및 종료 지시 어느 입력도 없었다고 판정된 경우, 스텝 S11085로 복귀하고, 이하, 마찬가지의 처리가 반복된다.

그리고, 스텝 S11085에 있어서, 선택 정보가 사용자 I/F(11046)로부터 제어부(11065)에 공급되는 것으로 판정된 경우, 제어부(11065)는, 새로운 M개의 모션량의 후보를 설정하도록, 모션 후보 설정부(11063)를 제어하고, 스텝 S11087로 진행 한다.

스텝 S11041에서는, 모션 후보 설정부(11063), 제어부(11065)의 제어에 따라, 새로운 M개의 모션량의 후보를 설정한다. 즉, 이 경우, 모션 후보 설정부(11063), 전회 설정한 M개의 모션량의 후보 중, 사용자 I/F(11046)로부터 공급된 선택 정보에 의해 선택된 출력 화상을 얻는데 이용된 정상성 정보로서의 모션량의 후보에 따라, 새로운 M개의 모션량의 후보를 설정한다.

구체적으로는, 모션 후보 설정부(11063), 사용자 I/F(11046)로부터 공급된 선택 정보에 의해 선택된 출력 화상을 얻는데 이용된 모션량의 후보를 중심으로 하여, 전회 설정한 M개의 모션량의 후보에서의 인접하는 모션량의 후보끼리의 간격보다 짧은 간격의 값을, 새로운 M개의 모션량의 후보로서 설정한다.

그리고, 모션 후보 설정부(11063), 새로운 M개의 모션량의 후보를, 정상성 정보 생성부(11064)에 공급하고, 스텝 S11087로부터 S11084로 돌아온다.

스텝 S11084에서는, 정상성 정보 생성부(11064)가, 모션 후보 설정부(11063)로부터 공급되는 새로운 M개의 모션량의 후보를 나타내는 M가지의 정상성 정보를 생성하여 출력하여, 스텝 S11085로 진행하고, 이하, 마찬가지의 처리가 반복된다.

이상의 정상성 설정 처리에 의하면, 사용자에 의한 정상성 지시 정보에 따라, 복수개인 M가지의 정상성이 설정되고, 그 M가지의 정상성 각각에 대하여, 후단의 처리가 행해진다. 또한, 그 처리 결과로서의 M가지의 출력 화상을 표시하고, 그 중에서 사용자가 출력 화상을 선택하면, 그 선택 결과에 따라, 새로운 M가지의 정상성이 설정되고, 이하, 마찬가지의 처리가 반복된다. 따라서, 사용자는, M가지 의 출력 화상 중, 예를 들면, 원하는 화질에 가까운 것을 선택함으로써, 적절한 정상성의 설정이 행해지고, 사용자가 원하는 화질에 가까운 출력 화상을 얻는 것이 가능해진다.

그리고, 전술한 경우에는, 먼저 최초에, 사용자에게, 입력 화상에서의 오브젝트의 모션량을 나타내는 정상성 지시 정보를 입력하여 받아, 정상성 설정부(11042)에 있어서, 그 정상성 지시 정보에 따라, 최초의 M가지의 모션량의 후보를 설정하도록 했지만, 최초의 M가지의 모션량의 후보는, 사용자로부터의 정상성 지시 정보없이 설정할 수 있다. 즉, 정상성 설정부(11042)에서는, 예를 들면, 화상 메모리(11061)에, 입력 화상을 기억시켜, 모션 검출부(11062)에 있어서, 화상 메모리(11061)에 기억된 입력 화상의 처리 영역에서의 모션량을 검출하고, 그 검출된 모션량에 따라, 최초의 M가지의 모션량의 후보를 설정하도록 할 수 있다.

또, 정상성 설정부(11042)에서는, 최초의 M가지의 모션량의 후보는, 정상성 지시 정보가 나타내는 모션량이나, 모션 검출부(11062)에서 검출되는 모션량을 중심으로 하는, 어떤 모션량의 범위, 또는 정상성 지시 정보가 나타내는 모션량이나, 모션 검출부(11062)에서 검출되는 모션량과 관계가 없는, 어떤 모션량의 범위에 따라 설정할 수 있다.

여기서, 도 124의 플로차트를 참조하여, 최초의 M가지의 모션량의 후보를, 어떤 모션량의 범위에 따라 설정하고, 그 후, 사용자에 의한 출력 화상의 선택에 따라, 새로운 M가지의 모션량을 설정하는 경우의, 정상성 설정부(11042)의 처리에 대하여 설명한다. 그리고, M가지의 모션량의 후보를 설정할 때 사용하는 모션량의 범위의 최소값과 최대값 각각을, 이하, 적당히, 최소 모션량 V_min와 최대 모션량 V_max 라고 한다.

이 경우, 먼저 최초에, 스텝 S11091에 있어서, 제어부(11065)가, 최소 모션량 V_min로부터 최대 모션량 V_max 까지의 범위를 M+1 등분하는 M개의 점을 구하고, 모션 후보 설정부(11063)에 공급하고, 스텝 S11092로 진행한다. 스텝 S11092에서는, 제어부(11065)가, 최소 모션량 V_min로부터 최대 모션량 V_max까지의 범위를 M+1 등분하는 M개의 점 중 인접하는 것끼리의 거리 L를 구하고, 스텝 S11093으로 진행한다.

스텝 S11093에서는, 모션 후보 설정부(11063), 제어부(11065)로부터 공급된 M개의 점의 값을, M가지의 모션량의 후보로 설정하고, 그 M가지의 모션량의 후보를, 정상성 정보 생성부(11064)에 공급하고, 스텝 S11094로 진행한다.

스텝 S11094에서는, 정상성 정보 생성부(11064)는, 모션 후보 설정부(11063)로부터 공급되는 M가지의 모션량의 후보를 나타내는 M가지의 정상성 정보를 생성하여 출력하고, 스텝 S11095로 진행한다.

스텝 S11095에서는, 제어부(11065)는, 사용자 I/F(11046)로부터 선택 정보가 공급되었는지 여부를 판정하고, 선택 정보가 공급되고 있지 않는 것으로 판정한 경우, 스텝 S11096으로 진행한다. 스텝 S11096에서는, 제어부(11065)는, 사용자가 사용자 I/F(11046)를 조작함으로써, 확정 지시 또는 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11096에 있어서, 확정 지시 또는 종료 지시의 입력이 있었다고 판정된 경우, 정상성 설정부(11042)는, 정상성 설정 처리를 종료한다.

또, 스텝 S11096에 있어서, 확정 지시 및 종료 지시 어느 입력도 없었다고 판정된 경우, 스텝 S11095로 복귀하고, 이하, 마찬가지의 처리가 반복된다.

그리고, 스텝 S11095에 있어서, 선택 정보가 사용자 I/F(11046)로부터 제어부(11065)에 공급되는 것으로 판정된 경우, 스텝 S11097로 진행하고, 제어부(11065)는, 전회 설정된 M가지의 모션량의 후보 중, 사용자 I/F(11046)로부터 공급된 선택 정보에 의해 선택된 출력 화상을 얻는데 이용된 정상성 정보로서의 모션량의 후보 V_a에 대하여, 직전의 스텝 S11092에서 구해진 거리 L를 가산 또는 감산하고, 그 가산값 또는 감산값을, 각각 , 최대 모션량 V_max 또는 최소 모션량 V_min에, 새롭게 설정한다.

그 후는, 스텝 S11097로부터 S11091로 복귀하고, 이하, 마찬가지의 처리가 반복된다.

따라서, 예를 들면, M을 3으로 하면, 정상성 설정부(11042)에서는, 도 125에 나타낸 바와 같이, 먼저 최초에, 최소 모션량 V_min로부터 최대 모션량 V_max까지의 범위를 4등분하는 3개의 점 ｖ₁, ｖ₂, ｖ₃이 구해지고, 그 3개의 점의 값이, 3가지 방법의 모션량의 후보 ｖ₁, ｖ₂, ｖ₃로 설정되고, 3가지 방법의 모션량의 후보 ｖ₁, ｖ₂, ｖ₃의 인접하는 것(ｖ₁과 ｖ₂, 또는 ｖ₂와 ｖ₃)끼리의 거리 L가 구해진다.

또한, 지금, 그 3가지 방법의 모션량의 후보 ｖ₁, ｖ₂, ｖ₃에 대하여 얻어진 출력 화상 중, 사용자가, 예를 들면, 모션량의 후보 ｖ₂에 대하여 얻어진 출력 화상을 선택한 것으로 하면, 정상성 설정부(11042)에서는, 도 125에 나타낸 바와 같이, 그 선택된 출력 화상을 얻는데 이용된 모션량의 후보 ｖ_a(여기서는, ｖ₂)에 대하여 거리 L를 가산 또는 감산한 값을, 각각 , 새롭게 최대 모션량 V_max' 또는 최소 모션량 V_min'으로 하여, 그 최소 모션량 V_min'로부터 최대 모션량 V_max'까지의 범위를 4등분하는 3개의 점 ｖ₁', ｖ₂', ｖ₃'가 구해지고, 그 3개의 점의 값이, 3가지 방법의 모션량의 후보 ｖ₁', ｖ₂', ｖ₃'로 설정되고, 3가지 방법의 모션량의 후보 ｖ₁', ｖ₂', ｖ₃'의 인접하는 것(ｖ₁'와 ｖ₂', 또는 ｖ₂'와 ｖ₃')끼리의 거리 L'가 구해진다.

그 후, 그 3가지 방법의 모션량의 후보 ｖ₁', ｖ₂', ｖ₃'에 대하여 얻어진 출력 화상 중, 사용자가, 예를 들면, 모션량의 후보 ｖ₁'에 대하여 얻어진 출력 화상을 선택한 것으로 하면, 정상성 설정부(11042)에서는, 도 125에 나타낸 바와 같이, 그 선택된 출력 화상을 얻는데 이용된 모션량의 후보 ｖa'(여기서는, ｖ1')에 대하여 거리 L'를 가산 또는 감산한 값을, 각각 , 새롭게 최대 모션량 V_max'' 또는 최소 모션량 V_min''으로 하여, 그 최소 모션량 V_min''로부터 최대 모션량 V_max''까지의 범위를 4등분하는 3개의 점 ｖ₁'', ｖ₂'', ｖ₃''가 구해지고, 그 3개의 점의 값이, 3가지 방법의 모션량의 후보 ｖ₁'', ｖ₂'', ｖ₃''로 설정되고, 3가지 방법의 모션량의 후보 ｖ₁'', ｖ₂'', ｖ₃''의 인접하는 것(ｖ₁''와 ｖ₂'', 또는 ｖ₂''와 ｖ₃'')끼리의 거리 L''가 구해진다.

이하, 마찬가지로 하여, 모션량의 후보의 범위를 좁힐 수 있고, 최종적으로는, 진값(또는 진값에 극히 가까운) 모션량을 정상성 정보로서, 출력 화상을 얻을 수 있게 된다.

즉, 예를 들면, 지금, M을 3으로 하고, 최소 모션량 V_min와 최대 모션량 V_max를, 각각 0과 50으로 한다. 또한, 입력 화상으로서, 예를 들면, 도 126 (A)에 나타낸 바와 같이, 자동차 등의 오브젝트가, 수평 방향으로 일정 속도로 이동하고 있는 모습을 촬상함으로써 얻어지는, 모션 흐릿함이 생기고 있는 화상을 채용하고, 오브젝트가 이동하고 있는 속도, 즉 진값의 모션량이 20인 것으로 한다.

이 경우, 정상성 설정부(11042)에서는, 최소 모션량 0으로부터 최대 모션량 50까지의 범위를 4등분하는 3개의 점이 구해지고, 그 3개의 점의 값이, 3가지 방법의 모션량의 후보로 설정된다. 따라서, 13(≒ 1×50/4), 25(= 2×50/4), 37)(≒ 3×50/4)이, 3가지 방법의 모션량의 후보로 설정된다. 그리고, 여기서는, 모션량의 후보의 값에 대하여는, 그 소수점 이하의 값을, 적당히, 인하해 또는 끝맺는 것에 의해, 정수값을 채용하는 것으로 한다.

그 후, 실세계 추정부(11043) 및 화상 생성부(11044)에 있어서, 3가지 방법의 모션량의 후보(13, 25, 37) 각각에 대하여, 입력 화상이 처리되고, 이로써, 화상 표시부(11045)에서는, 도 126 (B)에 나타낸 바와 같이, 3가지 방법의 모션량의 후보(13, 25, 37) 각각에 대한 입력 화상의 처리 결과로서의 3가지 방법의 출력 화상이 표시된다.

사용자에게는, 이 3가지 방법의 출력 화상 중, 오브젝트의 윤곽이 가장 선명하게 한 것, 즉, 입력 화상에 생기고 있는 모션 흐릿함이 가장 저감되어 있는 것을 선택해도. 지금의 경우, 진값의 모션량이 20이므로, 3가지 방법의 모션량의 후보(13, 25, 37) 각각에 대하여 얻어진 출력 화상 중에서는, 예를 들면, 진값의 모션량 20에 가장 가까운 모션량의 후보(25)에 대하여 얻어진 출력 화상이, 모션 흐릿함이 가장 저감된 것으로 된다. 따라서, 사용자는, 모션량의 후보(25)에 대하여 얻어진 출력 화상을 선택한다.

한편, 최소 모션량 0부터 최대 모션량 50까지의 범위를 4등분하는 3개의 점의 인접하는 것끼리의 거리 L는, 50/4이며, 정상성 설정부(11042)는, 사용자가 출력 화상을 선택하면, 그 선택된 출력 화상을 얻는데 이용된 모션량의 후보(25)에 대하여 거리 50/4를 가산 또는 감산한 값을, 각각, 새롭게 최대 모션량 또는 최소 모션량으로 하여, 그 최소 모션량으로부터 최대 모션량 까지의 범위를 4등분하는 3개의 점을, 새롭게 3가지 방법의 모션량의 후보로서 설정한다.

따라서, 지금의 경우, 19(≒(1×50/4+25))/2,25(=2×50/4, 31)(≒(3×50/4-25)/2)가, 3가지 방법의 모션량의 후보로 설정된다.

그 후, 실세계 추정부(11043) 및 화상 생성부(11044)에 있어서, 3가지 방법의 모션량의 후보(19, 25, 31) 각각에 대하여, 입력 화상이 처리되고, 이로써, 화상 표시부(11045)에서는, 도 126 (C)에 나타낸 바와 같이, 3가지 방법의 모션량의 후보(19, 25, 31) 각각에 대한 입력 화상의 처리 결과로서의 3가지 방법의 출력 화상이 표시된다.

그리고, 이하, 마찬가지의 처리가 반복되는 것에 의해, 모션량의 후보로서, 진값의 모션량이 설정되고, 그 진값의 모션량에 대한 출력 화상을 얻을 수 있다.

즉, 3가지 방법의 모션량의 후보(19, 25, 31) 각각에 대한 입력 화상의 처리 결과로서의 3가지 방법의 출력 화상 중에서는, 예를 들면, 진값의 모션량 20에 가장 가까운 모션량의 후보(19)에 대하여 얻어진 출력 화상이, 모션 흐릿함이 가장 저감된 것(가장 선명하게 한 것)으로 된다. 따라서, 사용자는, 모션량의 후보(19)에 대하여 얻어진 출력 화상을 선택한다.

이 경우, 정상성 설정부(11042)는, 전술한 경우와 마찬가지로 하여, 새로운 3가지 방법의 모션량의 후보(16, 19, 22)를 설정하고, 이로써, 화상 표시부(11045)에서는, 도 126 (D)에 나타낸 바와 같이, 그 3가지 방법의 모션량의 후보(16, 19, 22) 각각에 대한 입력 화상의 처리 결과로서의 3가지 방법의 출력 화상이 표시된다.

이 3가지 방법의 모션량의 후보(16, 19, 22) 각각에 대한 입력 화상의 처리 결과로서의 3가지 방법의 출력 화상 중에서는, 예를 들면, 진값의 모션량 20에 가장 가까운 모션량의 후보(19)에 대하여 얻어진 출력 화상이, 모션 흐릿함이 가장 저감된 것(가장 선명하게 한 것)으로 된다. 따라서, 사용자는, 모션량의 후보(19)에 대하여 얻어진 출력 화상을 선택한다.

이 경우, 정상성 설정부(11042)는, 전술한 경우와 마찬가지로 하여, 새로운 3가지 방법의 모션량의 후보(18, 19, 20)를 설정하고, 이로써, 화상 표시부(11045)에서는, 도 126 (E)에 나타낸 바와 같이, 그 3가지 방법의 모션량의 후보(18, 19, 20) 각각에 대한 입력 화상의 처리 결과로서의 3가지 방법의 출력 화상이 표시된다.

모션량의 후보(20)은, 진값의 모션량이며, 따라서, 모션량의 후보(20)에 대하여 얻어진 출력 화상은, 입력 화상으로부터 모션 흐릿함이 가장 저감된 것(가장 선명하게 한 것)으로 된다.

실세계(1)의 정상성을 나타내는 모션량으로서 그 진값을 설정함으로써, 실세계 추정부(11043) 및 화상 생성부(11044)에서는, 시간 혼합에 의해 생기고 있는 모션 흐릿함을 제거(저감)한 출력 화상을 얻을 수 있다. 그러나, 신호 처리 장치(4)에 있어서, 입력 화상만으로부터, 실세계(1)의 정상성의 진값을 구하는 것은 곤란한 경우가 있다. 그래서, 사용자에게, 실세계(1)의 정상성의 진값을 입력하여 받는 방법이 있지만, 수치에 의해 표현되는 모션량 등의 실세계(1)의 정상성의 진값을, 사용자가 입력하는 것은 곤란하다.

한편, 사용자는, 처리 결과인 출력 화상을 보면, 그 출력 화상에 있어서, 모션 흐릿함이 저감되어 있는지 여부 등의 화질이 개선되어 있는지 여부를, 용이하게 판단 또는 인식할 수 있다.

그래서, 전술한 바와 같이, 신호 처리 장치(4)에 있어서, M가지의 모션량의 후보에 대하여, 입력 화상을 처리함으로써, M가지의 출력 화상을 구하고, 사용자에게, 그 M가지의 출력 화상 중, 모션 흐릿함이 가장 개선되어 있는 것을 선택하여 받고, 그 선택 결과에 따라, 새롭게 M가지의 모션량의 후보를 설정하고, 그 M가지의 모션량의 후보에 대하여, M가지의 출력 화상을 구하는 것을 반복함으로써, 극히 효율적으로, 모션 흐릿함을 제거할 수 있다.

즉, 신호 처리 장치(4)는, 사용자에게 처리 결과를 제시하고, 인간이 만족하는 화질의 인식이나 판단을 행하여 받는다. 그리고, 신호 처리 장치(4)는, 그 인식이나 판단에 의한 피드백을 받아, 재차 처리를 행한다. 이와 같이, 사용자는 자신이 만족하는 인식이나 판단을 행하고, 신호 처리 장치(4)는, 그 인식이나 판단의 피드백을 받아, 자신이 만족하는 처리(신호 처리)를 행한다는, 사용자와 신호 처리 장치(4)와의 협조에 의해, 실세계(1)의 신호에 대응하는 화상에 의해 근사시킨 화질이 양호한 화상을, 용이하게 얻을 수 있다.

그리고, M가지의 모션량의 후보 각각에 대한 입력 화상의 처리 결과로서의 M가지의 출력 화상 중에서는, 기본적으로는, 진값의 모션량에 가장 가까운 모션량의 후보에 대하여 얻어진 출력 화상이, 모션 흐릿함이 가장 저감된 것으로 되지만, 사용자가, 출력 화상의 화질의 인식, 판단을 잘못하여, 진값의 모션량에 가장 가까운 모션량의 후보에 대하여 얻어진 출력 화상 이외의 출력 화상을 선택하는 것이 있을 수 있다. 이 경우는, 기본적으로, 그 후에 설정되는 새로운 M가지의 모션량의 후보 각각에 대하여 얻어지는 출력 화상의 화질이, 전회의 출력 화상의 화질보다 열화되므로, 사용자는, 전회의 출력 화상의 선택이 잘못되어 있었던 것을 인식할 수 있다. 이와 같은 경우에 대처하기 위해, 예를 들면, 화상 표시부(11045)에는, 신호 처리 장치(4)의 상태를, 전회의 출력 화상의 선택을 하기 직전의 상태로 되돌리 는 것이 가능하다 「리턴」버튼을 표시하고, 사용자가, 「리턴」버튼을 조작한 경우에는, 신호 처리 장치(4)에 있어서, 그 상태를, 전회의 출력 화상의 선택을 하기 직전의 상태로 되돌리는 것이 바람직하다.

또, 여기서는, 움직이고 있는 오브젝트를 촬상하여 얻어지는 화상을 입력 화상으로서 사용하는 것으로 하였으나, 그 외에, 예를 들면, 손떨림이 생기고 있는 화상 등의 오브젝트를 촬상하는 센서(2)를 구비하는 카메라가 움직이고 있는 것에 의해 모션 흐릿함이 생기고 있는 화상을, 입력 화상으로서 사용할 수 있다. 입력 화상에 있어서 손떨림이 생기고 있는 경우에는, 출력 화상으로서, 그 손떨림을 보정한 화상을 얻을 수 있다. 따라서, 도 119의 신호 처리 장치(4)는, 모션 흐릿함 제거 장치나 손떨림 보정 장치 등으로서 사용할 수 있다.

다음에, 도 127은, 도 111에 나타낸 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타내고 있다.

도 127에 있어서, 처리 영역 설정부(11071), 정상성 설정부(11072), 실세계 추정부(11073), 화상 생성부(11074), 화상 표시부(11075), 사용자 I/F(11076)는, 도 111의 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006)에 각각 대응하고 있고, 기본적으로는, 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006) 각각과 마찬가지의 처리를 행한다. 또한, 도 127에 있어서, 실세계 추정부(11073)는, 모델 생성부(11081), 방정식 생성부(11082), 실세계 파형 추정부(11083)로 구성되어 있다. 모델 생성부(11081), 방정식 생성부(11082), 실세계 파형 추정부(11083)는, 도 111의 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013)에 각각 대응하고 있고, 기본적으로는, 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013) 각각과 마찬가지의 처리를 행한다.

단, 도 127에 있어서는, 사용자가 사용자 I/F(11076)를 조작함으로써, 사용자 I/F(11076)가 출력하는 보조 정보가, 실세계 추정부(11073)에만 공급되도록 되어 있다.

즉, 도 127에서는, 사용자는, 사용자 I/F(11076)를 조작함으로써, 실세계(1)의 신호의 추정에 사용하는 모델에 관한 모델 정보를 지시할 수 있도록 되어 있고, 사용자 I/F(11076)는, 사용자가 모델 정보를 지시하는 조작을 행하면, 그 조작에 의해 지시된 모델 정보를 나타내는 모델 지시 정보를, 보조 정보로서, 실세계 추정부(11073)에 공급한다. 또한, 도 127에서는, 화상 표시부(11075)에는, 후술하는 바와 같이, 복수개의 출력 화상이 표시되지만, 사용자는, 사용자 I/F(11076)를 조작함으로써, 화상 표시부(11075)에 표시된 출력 화상을 선택할 수 있도록 되어 있고, 사용자 I/F(11076)는, 사용자가 출력 화상을 선택하는 조작을 행하면, 그 조작에 의해 선택된 출력 화상을 나타내는 선택 정보를, 보조 정보로서, 실세계 추정부부(11073)에 공급한다.

그리고, 실세계(1)의 신호의 추정에 사용하는 모델로서는, 실세계(1)의 광신호의 파형을 모델화한 모델로서의 근사 함수(예를 들면, 식(46)에 나타낸 다항식 f₃(x)(=w₀＋w₁x＋w₂x²＋···＋w_nxⁿ) 등)과, 그 근사 함수를 사용하여, 센서(2)에 의해 얻어진 화상 데이터 내의 각 화소의 화소값과 실세계(1)의 광신호와의 관계를 모델화한 모델로서의 함수(식)(예를 들면, 식(103)(또는 식(104) 등)이 있다. 여기서, 이하, 적당히, 실세계(1)의 광신호의 파형을 모델화한 모델을, 근사 모델과, 센서(2)에 의해 얻어진 화상 데이터 내의 각 화소의 화소값과 실세계(1)의 광신호와의 관계를 모델화한 모델을, 각각 관계 모델이라고 한다.

모델 지시 정보로서는, 예를 들면, 식(46)에 나타낸 다항식인 근사 함수 f₃(x)의 차수 n를 지시하는 정보를 채용할 수 있다. 또, 근사 함수로서는, 다항식 외에, 스플라인(spline) 함수, 삼각함수, 시그모이드 함수, 가우스 함수, 1차 함수(1차 식), 임계값이 일정한 함수 등의 다양한 종류의 함수를 사용할 수 있지만, 모델 지시 정보로서는, 실세계(1)의 신호의 추정에 사용하는 근사 함수의 종류를 지시하는 정보를 채용할 수도 있다.

단, 여기서는, 근사 모델로서 예를 들면, 식(46)에 나타낸 다항식의 근사 함수 f₃(x)를 채용하는 것으로 하고, 사용자가 사용자 I/F(11076)를 조작함으로써, 예를 들면, 식(46)에 나타낸 다항식의 근사 함수 f₃(x)의 차수 n를 지시하는 정보가, 모델 지시 정보로서, 사용자 I/F(11076)로부터 실세계 추정부(11073)에 공급되는 것으로 한다.

다음에, 도 128의 플로차트를 참조하여, 도 127의 신호 처리 장치(4)의 처리 에 대하여 설명한다.

도 127의 신호 처리 장치(4)는, 먼저 최초에, 스텝 S11101에 있어서, 사전 처리를 행하고, 스텝 S11102로 진행한다. 즉, 신호 처리 장치(4)는, 센서(2)(도 1)로부터 데이터(3)로서 공급되는, 예를 들면 1프레임 또는 1필드의 입력 화상을, 처리 영역 설정부(11071), 정상성 설정부(11072), 실세계 추정부(11073), 화상 생성부(11074), 및 화상 표시부(11075)에 공급한다. 또한, 신호 처리부(4)는, 화상 표시부(11075)에, 입력 화상을 표시하게 한다.

스텝 S11102에서는, 사용자 I/F(11076)는, 사용자가 사용자 I/F(11076)를 조작함으로써, 모델 지시 정보의 입력이 있었는지 여부를 판정한다. 스텝 S11102에 있어서, 모델 지시 정보의 입력이 없었다고 판정된 경우, 스텝 S11103으로 진행하고, 사용자 I/F(11076)는, 사용자가 사용자 I/F(11076)를 조작함으로써, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11103에 있어서, 종료 지시의 입력이 있었다고 판정된 경우, 즉, 예를 들면, 화상 표시부(11075)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼지 않고, 입력 화상에 대하여 신호 처리를 행하지 않아도 되는 것으로 하여, 신호 처리 장치(4)의 처리를 종료하도록, 사용자 I/F(11076)를 조작한 경우, 처리를 종료한다.

또, 스텝 S11103에 있어서, 종료 지시의 입력이 없었다고 판정된 경우, 스텝 S11102로 복귀하고, 이하, 마찬가지의 처리를 반복한다.

한편, 스텝 S11102에 있어서, 모델 지시 정보의 입력이 있었다고 판정된 경 우, 즉 화상 표시부(11075)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼고, 근사 모델로서의 근사 함수의 차수를 지시하도록, 사용자 I/F(11076)를 조작한 경우, 스텝 S11104로 진행하고, 사용자 I/F(11076)는, 사용자가 사용자 I/F(11076)를 조작함으로써 지시한 차수를 나타내는 모델 지시 정보를, 보조 정보로서, 실세계 추정부(11073)에 공급하고, 스텝 S11105로 진행한다.

스텝 S11105에서는, 처리 영역 설정부(11071)는, 처리 영역을 설정하고, 그 처리 영역을 나타내는 처리 영역 정보를, 정상성 설정부(11072), 실세계 추정부(11073), 및 화상 생성부(11074)에 공급하고, 스텝 S11106으로 진행한다. 여기서, 스텝 S11105에서의 처리 영역의 설정은, 사용자에게 처리 영역 지시 정보를 입력하여 받아, 그 처리 영역 지시 정보에 따라 행하는 것도 가능하고, 사용자로부터의 처리 영역 지시 정보없이 행하는 것도 가능하다.

스텝 S11106에서는, 정상성 설정부(11072)는, 처리 영역 설정부(11071)로부터 공급된 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식한다. 또한, 정상성 설정부(11072)는, 그 처리 영역의 화상 데이터에 있어서 결락된 실세계(1)의 신호의 정상성을 설정하고, 그 정상성을 나타내는 정상성 정보를, 실세계 추정부(11073)에 공급하고, 스텝 S11107로 진행한다. 여기서, 스텝 S11106에서의 정상성의 설정은, 사용자에게 정상성 지시 정보를 입력하여 받아, 그 정상성 지시 정보에 따라 행하는 것도 가능하고, 사용자로부터의 정상성 지시 정보없이 행하는 것도 가능하다.

스텝 S11107에서는, 실세계 추정부(11073)는, 입력 화상에서의 처리 영역 내 의 화상 데이터에 대하여, 대응하는 실세계(1)의 신호의 정상성에 따라, 그 실세계(1)의 신호를 추정한다.

즉, 실세계 추정부(11073)에서는, 모델 생성부(11081)가, 처리 영역 설정부(11071)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 정상성 설정부(11072)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 실세계(1)의 신호의 정상성을 인식한다. 또한, 모델 생성부(11081)는, 입력 화상에서의 처리 영역을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응하는 실세계(1)의 신호의 정상성에 따라, 처리 영역 내의 각 화소의 화소값과 실세계(1)의 신호와의 관계를 모델화한 관계 모델로서의 함수를 M가지만 생성하고, 그 M가지의 함수를, 방정식 생성부(11082)에 공급한다.

여기서, 모델 생성부(11081)는, 직전에 행해진 스텝 S11104에 있어서 사용자 I/F(11076)로부터 보조 정보로서의 모델 지시 정보가 공급된 경우는, 그 모델 지시 정보를 사용하여, M가지의 관계 모델로서의 함수를 생성한다. 즉, 모델 생성부(11081)는, 직전에 행해진 스텝 S11104에 있어서 사용자 I/F(11076)로부터 공급된 모델 지시 정보가 나타내는 차수를 포함하는 M가지의 차수의 다항식을, 근사 함수로서, 그 M가지의 근사 함수를 사용한 관계 모델인 M가지의 함수를 생성한다.

방정식 생성부(11082)는, 처리 영역 설정부(11071)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역의 각 화소에 대하여, 모델 생성부(11081)로부터 공급되는, M가지의 관계 모델로서의 함수 각각에, 입력 화상의 필요한 화소의 화소값을 대입하고, 이로써, 실세계(1)의 신호를 근사시키는 근사 함수를 구하는 M가지의 방정식을 생성하여, 실세계 파형 추정부(11083)에 공급한다.

실세계 파형 추정부(11083)는, 방정식 생성부(11082)로부터 공급되는, M가지의 방정식을 푸는 것에 의해, M가지의 실세계(1)의 신호의 파형을 추정, 즉, 실세계(1)의 신호를 모델화한 모델로서의 근사 함수를 구하고, 그 M가지의 근사 함수를, 화상 생성부(11074)에 공급한다.

스텝 S11107의 처리 후는, 스텝 S11108로 진행하고, 화상 생성부(11074)는, 실세계 추정부(11073)(의 실세계 파형 추정부(11083)로부터 공급된 M가지의 근사 함수에 따라, 실세계(1)의 신호에 의해 근사시킨 신호를 M가지만 생성한다. 즉, 화상 생성부(11074)는, 처리 영역 설정부(11071)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 실세계 추정부(11073)로부터 공급된 M가지의 근사 함수에 따라, 실세계(1)의 신호에 대응하는 화상에 의해 근사시킨 화상 데이터인 근사 화상을 M가지만 생성한다. 또한, 화상 생성부(11074)는, 입력 화상의 처리 영역의 부분을, M가지의 근사 화상으로 각각 치환하여 M가지의 화상을, 출력 화상으로서 생성하고, 화상 표시부(11075)에 공급하고, 스텝 S11108로부터 S11109로 진행한다.

스텝 S11109에서는, 화상 표시부(11075)는, 화상 생성부(11074)로부터 공급된 M가지의 출력 화상을, 스텝 S11101로 표시된 입력 화상에 대신하거나, 또는 그 입력 화상과 함께 표시하고, 스텝 S11110으로 진행한다.

스텝 S11110에서는, 사용자 I/F(11076)는, 사용자가 사용자 I/F(11076)를 조 작함으로써, 선택 정보의 입력이 있었는지 여부를 판정한다. 즉, 스텝 S11109에서는, 화상 표시부(11075)에 있어서, M가지의 출력 화상이 표시되지만, 그 M가지의 출력 화상을 본 사용자가, 그 M가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택하는 선택 정보의 입력을, 사용자 I/F(11076)를 조작함으로써 행했는지 여부가, 스텝 S11110에 있어서 판정된다.

스텝 S11110에 있어서, 선택 정보의 입력이 없었다고 판정된 경우, 스텝 S11113으로 진행하고, 스텝 S11103에서의 경우와 마찬가지로, 사용자 I/F(11076)는, 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11113에 있어서, 종료 지시의 입력이 있었다고 판정된 경우, 신호 처리 장치(4)는, 처리를 종료한다.

또, 스텝 S11113에 있어서, 종료 지시의 입력이 없었다고 판정된 경우, 스텝 S11110으로 복귀하고, 이하, 마찬가지의 처리를 반복한다.

한편, 스텝 S11110에 있어서, 선택 정보의 입력이 있었다고 판정된 경우, 즉, 화상 표시부(11075)에 표시된 M가지의 출력 화상을 본 사용자가, 그 M가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택한 경우, 스텝 S11111로 진행하고, 사용자 I/F(11076)는, 사용자가 사용자 I/F(11076)를 조작함으로써, 사용자가 선택한 출력 화상을, 최종적인 출력 화상으로서 확정하는 확정 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11111에 있어서, 확정 지시의 입력이 있었다고 판정된 경우, 스텝 S11112로 진행하고, 화상 표시부(11075)는, 예를 들면, 그 화면 전체에, 사용자가 선택한 출력 화상을 표시하고, 처리를 종료한다.

또, 스텝 S11111에 있어서, 확정 지시의 입력이 없었다고 판정된 경우, 즉, 사용자가, 선택한 출력 화상의 화질에 불만이 있어, 재차 처리를 행하기 위해, 확정 지시의 입력을 행하지 않은 경우, 스텝 S11104로 복귀하고, 사용자 I/F(11076)는, 사용자가 선택한 출력 화상을 나타내는 선택 정보를, 보조 정보로서, 실세계 추정부(11073)에 공급하고, 스텝 S11105로 진행한다.

스텝 S11105에서는, 처리 영역 설정부(11071)는, 전술한 경우와 마찬가지로, 처리 영역을 설정하고, 그 처리 영역을 나타내는 처리 영역 정보를, 정상성 설정부(11072), 실세계 추정부(11073), 및 화상 생성부(11074)에 공급하고, 스텝 S11106으로 진행한다. 스텝 S11106에서는, 정상성 설정부(11072)는, 전술한 경우와 마찬가지로, 처리 영역 설정부(11071)로부터 공급된 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역의 화상 데이터에 있어서 결락된 실세계(1)의 신호의 정상성을 설정하고, 그 정상성을 나타내는 정상성 정보를, 실세계 추정부(11073)에 공급하고, 스텝 S11107로 진행한다.

그리고, 스텝 S11104 내지 S11113의 루프 처리가 행해지는 경우에 있어서, 예를 들면, 2번째 이후의 스텝 S11105에서 설정되는 처리 영역은, 전회의 스텝 S11105의 처리로 설정되는 것과 동일하고, 또한 2번째 이후의 스텝 S11106에서 설정되는 정상성도, 전회의 스텝 S11106의 처리에서 설정되는 것과 동일하다. 따라서, 스텝 S11104 내지 S11113의 루프 처리가 행해지는 경우에 있어서는, 2번째 이후의 스텝 S11105 및 S11106의 처리는, 스킵할 수 있다.

스텝 S11107에서는, 실세계 추정부(11073)는, 입력 화상에서의 처리 영역 내의 화상 데이터에 대하여, 대응하는 실세계(1)의 신호의 정상성에 따라, 그 실세계(1)의 신호를 추정한다.

즉, 실세계 추정부(11073)에서는, 모델 생성부(11081)가, 처리 영역 설정부(11071)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 정상성 설정부(11072)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 실세계(1)의 신호의 정상성을 인식한다. 또한, 모델 생성부(11081)는, 직전의 스텝 S11104에서 사용자 I/F(11076)로부터 공급된 보조 정보로서의 선택 정보에 따라, 관계 모델로서의 함수를, 새롭게 M가지만 생성하고, 그 M가지의 함수를, 방정식 생성부(11082)에 공급한다.

구체적으로는, 모델 생성부(11081)는, 직전에 행해진 스텝 S11104에 있어서 사용자 I/F(11076)로부터 공급된 보조 정보로서의 선택 정보가 나타내는 출력 화상을 얻는데 이용된 근사 함수의 차수를 포함하는 M가지의 차수의 다항식을, 근사 함수로서, 그 M가지의 근사 함수를 사용한 관계 모델인 M가지의 함수를 새롭게 생성한다.

방정식 생성부(11082)는, 처리 영역 설정부(11071)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역의 각 화소에 대하여, 모델 생성부(11081)로부터 공급되는, M가지의 관계 모델로서의 함수 각각에, 입력 화상의 필요한 화소의 화소값을 대입하고, 이로써, 실세계(1)의 신호를 근사시키는 근사 함수를 구하는 M가지의 방정식을 새롭게 생성하여, 실세계 파형 추정부(11083)에 공급한다.

실세계 파형 추정부(11083)는, 방정식 생성부(11082)로부터 공급되는, M가지의 방정식을 푸는 것에 의해, M가지의 실세계(1)의 신호의 파형을 추정, 즉, 실세계(1)의 신호를 모델화한 모델로서의 근사 함수를 새롭게 구하고, 그 M가지의 근사 함수를, 화상 생성부(11074)에 공급한다.

스텝 S11107의 처리 후는, 스텝 S11108로 진행하고, 이하, 마찬가지의 처리가 반복된다.

즉, 이로써, 스텝 S11104 내지 S11113의 처리가 반복되고, 최종적으로는, 고화질의 출력 화상을 얻을 수 있는 근사 함수의 차수, 결국은, 실세계(1)의 광신호를 보다 충실히 근사시키는 근사 함수의 차수가 설정되고, 그 결과, 고화질의 출력 화상을 얻을 수 있다.

이상과 같이, 도 127의 신호 처리 장치(4)에도, 입력 화상에 대한 처리 결과로서의 M가지의 출력 화상을 사용자에게 제시하고, 그 M가지의 출력 화상 중 사용자가 원하는 것을 선택하여 받고, 그 선택 결과를 근거로 하여, 재차 처리를 행하도록 했으므로, 사용자의 기호에 있던, 고화질의 출력 화상을, 용이하게 얻을 수 있다. 즉, 신호 처리 장치(4)는, 입력 화상에 대한 처리 결과로서의 M가지의 출력 화상을 사용자에게 제시한다. 한편, 사용자는, 그 M가지의 출력 화상 각각의 화질을 인식, 판단하고, 화질이 양호한 출력 화상을, 신호 처리 장치(4)에 피드백한다. 그리고, 신호 처리 장치(4)는, 그 사용자로부터의 피드백을 근거로 하여 재차, 입력 화상을 처리하고, 이하, 마찬가지의 처리가 반복된다. 따라서, 사용자의 기호 에 있던, 고화질의 출력 화상을, 용이하게 얻을 수 있다.

그리고, 도 127의 신호 처리 장치(4)에 있어서는, M가지의 실세계(1)의 신호의 추정(M가지의 근사 함수의 산출)을 위해, M개의 실세계 추정부(11073)를 설치할 수 있다. 또한, 도 127의 신호 처리 장치(4)에 있어서는, M가지의 근사 함수로부터 M가지의 출력 화상을 생성하기 위해, M개의 화상 생성부(11074)를 설치할 수 있다.

다음에, 도 129는, 도 111에 나타낸 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타내고 있다.

도 129에 있어서, 처리 영역 설정부(11091), 정상성 설정부(11092), 실세계 추정부(11093), 화상 생성부(11094), 화상 표시부(11095), 사용자 I/F(11096)는, 도 111의 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006)에 각각 대응하고 있고, 기본적으로는, 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006) 각각과 마찬가지의 처리를 행한다. 또한, 도 129에 있어서, 실세계 추정부(11093)는, 모델 생성부(11101), 방정식 생성부(11102), 실세계 파형 추정부(11103)로 구성되어 있다. 모델 생성부(11101), 방정식 생성부(11102), 실세계 파형 추정부(11103)는, 도 111의 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013)에 각각 대응하고 있고, 기본적으로는, 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013) 각각과 마찬가지의 처리를 행한다.

도 129에 있어서는, 사용자가 사용자 I/F(11096)를 조작함으로써, 사용자 I/F(11096)가 출력하는 보조 정보로서의 처리 영역 지시 정보, 정상성 지시 정보, 또는 모델 지시 정보가, 처리 영역 설정부(11091), 정상성 설정부(11092), 또는 실세계 추정부(11093)에 각각 공급된다.

다음에, 도 130 및 도 131의 플로차트를 참조하여, 도 129의 신호 처리 장치(4)의 처리에 대하여 설명한다.

도 129의 신호 처리 장치(4)는, 먼저 최초에, 스텝 S11121에 있어서, 사전 처리를 행하고, 스텝 S11122로 진행한다. 즉, 신호 처리 장치(4)는, 센서(2)(도 1)로부터 데이터(3)로서 공급되는, 예를 들면 1프레임 또는 1필드의 입력 화상을, 처리 영역 설정부(11091), 정상성 설정부(11092), 실세계 추정부(11093), 화상 생성부(11094), 및 화상 표시부(11095)에 공급한다. 또한, 신호 처리부(4)는, 화상 표시부(11095)에, 입력 화상을 표시하게 한다.

스텝 S11122에서는, 사용자 I/F(11096)는, 사용자가 사용자 I/F(11096)를 조작함으로써, 처리 영역 지시 정보의 입력이 있었는지 여부를 판정한다. 스텝 S11122에 있어서, 처리 영역 지시 정보의 입력이 있었다고 판정된 경우, 스텝 S11123으로 진행하고, 사용자 I/F(11096)는, 그 처리 영역 지시 정보를, 보조 정보로서, 처리 영역 설정부(11091)에 공급하고, 스텝 S11124로 진행한다.

또, 스텝 S11122에 있어서, 처리 영역 지시 정보의 입력이 없었다고 판정된 경우, 스텝 S11123을 스킵하여, 스텝 S11124로 진행하고, 사용자 I/F(11096)는, 사용자가 사용자 I/F(11096)를 조작함으로써, 정상성 지시 정보의 입력이 있었는지 여부를 판정한다. 스텝 S11124에 있어서, 정상성 지시 정보의 입력이 있었다고 판정된 경우, 스텝 S11125로 진행하고, 사용자 I/F(11096)는, 그 정상성 지시 정보를, 보조 정보로서, 정상성 설정부(11092)에 공급하고, 스텝 S11126으로 진행한다.

또, 스텝 S11124에 있어서, 정상성 지시 정보의 입력이 없었다고 판정된 경우, 스텝 S11125를 스킵하여, 스텝 S11126으로 진행하고, 사용자 I/F(11096)는, 사용자가 사용자 I/F(11096)를 조작함으로써, 모델 지시 정보의 입력이 있었는지 여부를 판정한다. 스텝 S11126에 있어서, 모델 지시 정보의 입력이 있었다고 판정된 경우, 스텝 S11127으로 진행하고, 사용자 I/F(11096)는, 그 모델 지시 정보를, 보조 정보로 하여, 실세계 추정부(11093)에 공급하고, 스텝 S11128로 진행한다.

또, 스텝 S11126에 있어서, 모델 지시 정보의 입력이 없었다고 판정된 경우, 스텝 S11127을 스킵하여, 스텝 S11128로 진행하고, 사용자 I/F(11096)는, 사용자가 사용자 I/F(11096)를 조작함으로써, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11128에 있어서, 종료 지시의 입력이 있었다고 판정된 경우, 즉, 예를 들면, 화상 표시부(11095)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼지 않고, 입력 화상에 대하여 신호 처리를 행하지 않아도 되는 것으로 하여, 신호 처리 장치(4)의 처리를 종료하도록, 사용자 I/F(11096)를 조작한 경우, 처리를 종료한다.

또, 스텝 S11128에 있어서, 종료 지시의 입력이 없었다고 판정된 경우, 스텝 S11129로 진행하고, 사용자 I/F(11096)는, 처리 영역 설정부(11091)로의 처리 영역 지시 정보의 공급, 정상성 설정부(11092)로의 정상성 지시 정보의 공급, 및 실세계 추정부(11093)로의 모델 지시 정보의 공급의 모두를 했는지 어떠했는지를 판정한다. 스텝 S11129에 있어서, 처리 영역 설정부(11091)로의 처리 영역 지시 정보의 공급, 정상성 설정부(11092)로의 정상성 지시 정보의 공급, 또는 실세계 추정부(11093)로의 모델 지시 정보의 공급 중 어느 하나가 행해지고 있지 않은 것으로 판정된 경우, 즉, 사용자가, 보조 정보로서의 처리 영역 지시 정보, 정상성 지시 정보, 또는 모델 지시 정보 중 어느 하나의 입력을 행하지 않는 경우, 예를 들면, 화상 표시부(11095)는, 그 입력이 행해지고 있지 않은 정보의 입력을 재촉하는 메시지의 표시를 행하고, 스텝 S11122로 복귀하고, 이하, 마찬가지의 처리를 반복한다.

한편, 스텝 S11129에 있어서, 처리 영역 설정부(11091)로의 처리 영역 지시 정보의 공급, 정상성 설정부(11092)로의 정상성 지시 정보의 공급, 및 실세계 추정부(11093)로의 모델 지시 정보의 공급의 모두를 행한 것으로 판정된 경우, 스텝 S11130으로 진행하고, 처리 영역 설정부(11091)는, 사용자 I/F(11096)로부터 직전에 공급된 처리 영역 지시 정보에 따라, 처리 영역을 설정하고, 그 처리 영역을 나타내는 처리 영역 정보를, 정상성 설정부(11092), 실세계 추정부(11093), 및 화상 생성부(11094)에 공급하고, 스텝 S11131로 진행한다.

스텝 S11131에서는, 정상성 설정부(11092)는, 처리 영역 설정부(11091)로부터 공급된 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식한다. 또한, 정상성 설정부(11092)는, 그 처리 영역의 화상 데이터에 있어서 결락된 실세계(1)의 신호의 정상성을, 사용자 I/F(11096)로부터 직전에 공급된 정상성 지시 정보에 따라 설정하고, 그 정상성을 나타내는 정상성 정보를, 실세계 추정부(11093)에 공급하고, 스텝 S11132로 진행한다.

스텝 S11132에서는, 실세계 추정부(11093)는, 입력 화상에서의 처리 영역 내의 화상 데이터에 대하여, 대응하는 실세계(1)의 신호의 정상성에 따라, 그 실세계(1)의 신호를 추정한다.

즉, 실세계 추정부(11093)에서는, 모델 생성부(11101)가, 처리 영역 설정부(11091)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 정상성 설정부(11092)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 실세계(1)의 신호의 정상성을 인식한다. 또한, 모델 생성부(11101)는, 입력 화상에서의 처리 영역을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응하는 실세계(1)의 신호의 정상성에 따라, 처리 영역 내의 각 화소의 화소값과 실세계(1)의 신호와의 관계를 모델화한 관계 모델로서의 함수를, 사용자 I/F(11096)로부터 직전에 공급된 모델 지시 정보에 따라 생성하고, 방정식 생성부(11102)에 공급한다.

방정식 생성부(11102)는, 처리 영역 설정부(11091)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역의 화소에 대하여, 모델 생성부(11101)로부터 공급되는 관계 모델로서의 함수에, 입력 화상의 필요한 화소의 화소값을 대입하고, 이로써, 실세계(1)의 신호를 근사시키는 근사 함수를 구하는 방정식을 생성하여, 실세계 파형 추정부(11103)에 공급한다.

실세계 파형 추정부(11103)는, 방정식 생성부(11102)로부터 공급되는 방정식 을 푸는 것에 의해, 실세계(1)의 신호의 파형을 추정, 즉, 실세계(1)의 신호를 모델화한 모델로서의 근사 함수를 구하고, 화상 생성부(11094)에 공급한다.

스텝 S11132의 처리 후는, 스텝 S11133으로 진행하고, 화상 생성부(11094)는, 실세계 추정부(11093)(의 실세계 파형 추정부(11103))로부터 공급된 근사 함수에 따라, 실세계(1)의 신호에 의해 근사시킨 신호를 생성한다. 즉, 화상 생성부(11094)는, 처리 영역 설정부(11091)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 실세계 추정부(11093)로부터 공급된 근사 함수에 따라, 실세계(1)의 신호에 대응하는 화상에 의해 근사시킨 화상 데이터인 근사 화상을 생성한다. 또한, 화상 생성부(11094)는, 입력 화상의 처리 영역의 부분을, 근사 화상으로 치환하여 화상을, 출력 화상으로서 생성하고, 화상 표시부(11095)에 공급하고, 스텝 S11133으로부터 S11134로 진행한다.

스텝 S11134에서는, 화상 표시부(11095)는, 화상 생성부(11094)로부터 공급된 출력 화상을, 스텝 S11121에서 표시된 입력 화상에 대신하거나, 또는 그 입력 화상과 함께 표시하고, 도 131의 스텝 S11141로 진행한다.

스텝 S11141에서는, 사용자 I/F(11096)는, 스텝 S11122에서의 경우와 마찬가지로, 사용자로부터 처리 영역 지시 정보의 입력이 새롭게 있었는지 여부를 판정한다. 스텝 S11141에 있어서, 처리 영역 지시 정보의 입력이 있었다고 판정된 경우, 즉, 예를 들면, 직전의 스텝 S11134에서 표시된 출력 화상을 본 사용자가, 그 화질에 불만을 느끼고, 그 화질 개선을 위해, 사용자 I/F(11096)를 조작하여, 처리 영역 지시 정보를, 새롭게 입력하고 경우, 스텝 S11142로 진행하고, 사용자 I/F(11096)는, 그 처리 영역 지시 정보를, 보조 정보로서, 처리 영역 설정부(11091)에 공급하여, 도 130의 스텝 S11130으로 돌아온다.

이 경우, 스텝 S11130에서는, 처리 영역 설정부(11091)는, 사용자 I/F(11096)로부터 직전에 공급된 처리 영역 지시 정보에 따라, 새로운 처리 영역을 설정하고, 그 처리 영역을 나타내는 처리 영역 정보를, 정상성 설정부(11092), 실세계 추정부(11093), 및 화상 생성부(11094)에 공급하고, 스텝 S11131 내지 S11133에 차례로 진행된다. 스텝 S11131내지 S11133에서는, 새로운 처리 영역에 대하여, 전술한 경우와 마찬가지의 처리가 행해지고, 이로써, 새로운 출력 화상이 생성되고, 스텝 S11134로 진행한다. 스텝 S11134에서는, 화상 표시부(11095)는, 새로운 처리 영역에 대하여 생성된 출력 화상을 표시하여, 도 131의 스텝 S11141로 진행하고, 이하, 마찬가지의 처리가 반복된다.

또, 스텝 S11141에 있어서, 처리 영역 지시 정보의 입력이 없었다고 판정된 경우, 스텝 S11142를 스킵하고, 스텝 S11143으로 진행하고, 사용자 I/F(11096)는, 스텝 S11124에서의 경우와 마찬가지로, 사용자로부터 정상성 지시 정보의 입력이 새롭게 있었는지 여부를 판정한다. 스텝 S11143에 있어서, 정상성 지시 정보의 입력이 있었다고 판정된 경우, 즉, 예를 들면, 직전의 스텝 S11134에서 표시된 출력 화상을 본 사용자가, 그 화질에 불만을 느끼고, 그 화질 개선을 위해, 사용자 I/F(11096)를 조작하여, 정상성 지시 정보를, 새롭게 입력하고 경우, 스텝 S11144로 진행하고, 사용자 I/F(11096)는, 그 정상성 지시 정보를, 보조 정보로서, 정상성 설정부(11092)에 공급하여, 도 130의 스텝 S11131로 돌아온다.

이 경우, 스텝 S11131에서는, 정상성 설정부(11092)는, 처리 영역 설정부(11092)로부터 전회 공급된 처리 영역 정보에 의해 인식되는 처리 영역의 화상 데이터에 있어서 결락된 실세계(1)의 신호의 정상성을, 사용자 I/F(11096)로부터 직전에 공급된 정상성 지시 정보에 따라 새롭게 설정하고, 그 새롭게 설정한 정상성을 나타내는 정상성 정보를, 실세계 추정부(11093)에 공급하고, 스텝 S11132, S11133에 차례로 진행된다. 스텝 S11132, S11133에서는, 새롭게 설정된 정상성에 대하여, 전술한 경우와 마찬가지의 처리가 행해지고, 이로써, 새로운 출력 화상이 생성되고, 스텝 S11134로 진행한다. 스텝 S11134에서는, 화상 표시부(11095)는, 새롭게 설정된 정상성에 대하여 생성된 출력 화상을 표시하여, 도 131의 스텝 S11141으로 진행하고, 이하, 마찬가지의 처리가 반복된다.

또, 스텝 S11143에 있어서, 정상성 지시 정보의 입력이 없었다고 판정된 경우, 스텝 S11144를 스킵하여, 스텝 S11145로 진행하고, 사용자 I/F(11096)는, 스텝 S11126에서의 경우와 마찬가지로, 사용자로부터 모델 지시 정보의 입력이 새롭게 있었는지 여부를 판정한다. 스텝 S11145에 있어서, 모델 지시 정보의 입력이 있었다고 판정된 경우, 즉, 예를 들면, 직전의 스텝 S11134에서 표시된 출력 화상을 본 사용자가, 그 화질에 불만을 느끼고, 그 화질 개선을 위해, 사용자 I/F(11096)를 조작하여, 모델 지시 정보를, 새롭게 입력하고 경우, 스텝 S11146으로 진행하고, 사용자 I/F(11096)는, 그 모델 지시 정보를, 보조 정보로서, 실세계 추정부(11093)에 공급하여, 도 130의 스텝 S11132로 돌아온다.

이 경우, 스텝 S11132에서는, 실세계 추정부(11093)는, 사용자 I/F(11096)로 부터 직전에 공급된 모델 지시 정보에 따라, 입력 화상에서의 처리 영역 내의 실세계(1)의 신호를 새롭게 추정한다.

즉, 실세계 추정부(11093)에서는, 모델 생성부(11101)가, 처리 영역 설정부(11091)로부터 전회 공급된 처리 영역 정보에 의해 인식되는 처리 영역을 구성하는 화소와 정상성 설정부(111092)로부터 전회 공급된 정상성 정보에 의해 인식되는, 처리 영역의 화상 데이터에 대응하는 실세계(1)의 신호의 정상성에 따라, 처리 영역 내의 각 화소의 화소값과 실세계(1)의 신호와의 관계를 모델화한 관계 모델로서의 함수를, 사용자 I/F(11096)로부터 직전에 공급된 모델 지시 정보에 따라 새롭게 생성하고, 방정식 생성부(11102)에 공급한다.

방정식 생성부(11102)는, 처리 영역 설정부(11091)로부터 전회 공급된 처리 영역 정보로부터 인식되는 처리 영역의 화소에 대하여, 모델 생성부(11101)로부터 새롭게 공급된 관계 모델로서의 함수에, 입력 화상의 필요한 화소의 화소값을 대입하고, 이로써, 실세계(1)의 신호를 근사시키는 근사 함수를 구하는 방정식을 새롭게 생성하여, 실세계 파형 추정부(11103)에 공급한다.

스텝 S11132의 처리 후는, 스텝 S11133으로 진행하고, 화상 생성부(11094)는, 실세계 추정부(11093)(의 실세계 파형 추정부(11103))로부터 새롭게 공급된 근사 함수에 따라, 실세계(1)의 신호에 의해 근사시킨 신호를 새롭게 생성한다. 즉, 화상 생성부(11094)는, 처리 영역 설정부(11091)로부터 전회 공급된 처리 영역 정보로부터 인식되는 처리 영역에 대하여, 실세계 추정부(11093)로부터 새롭게 공급된 근사 함수에 따라, 실세계(1)의 신호에 대응하는 화상에 의해 근사시킨 화상 데 이터인 근사 화상을 생성한다. 또한, 화상 생성부(11094)는, 입력 화상의 처리 영역의 부분을, 근사 화상으로 치환하여 화상을, 출력 화상으로서 새롭게 생성하여, 화상 표시부(11095)에 공급하고, 스텝 S11133으로부터 S11134로 진행한다.

스텝 S11134에서는, 화상 표시부(11095)는, 전술한 바와 같이 하여, 새로운 관계 모델로서의 함수에 대하여 생성된 출력 화상을 표시하고, 도 131의 스텝 S11141으로 진행하고, 이하, 마찬가지의 처리가 반복된다.

한편, 스텝 S11145에 있어서, 모델 지시 정보의 입력이 없었다고 판정된 경우, 스텝 S11147로 진행하고, 사용자 I/F(11096)는, 사용자가 사용자 I/F(11096)를 조작함으로써, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S11147에 있어서, 종료 지시의 입력이 없었다고 판정된 경우, 즉, 예를 들면, 화상 표시부(11095)에 표시된 출력 화상을 본 사용자가, 그 출력 화상의 화질에 불만을 느끼고, 처리 영역 지시 정보, 정상성 지시 정보, 또는 모델 지시 정보를 입력하여, 보다 양호한 화질의 출력 화상을 얻으려하고 있는 경우, 스텝 S11141로 복귀하고, 이하, 마찬가지의 처리가 반복된다.

또, 스텝 S11147에 있어서, 종료 지시의 입력이 있었다고 판정된 경우, 즉, 예를 들면, 화상 표시부(11095)에 표시된 출력 화상을 본 사용자가, 그 출력 화상의 화질에 만족하고, 신호 처리 장치(4)의 처리를 종료하도록, 사용자 I/F(11096)를 조작한 경우, 처리를 종료한다.

이상과 같이, 도 129의 신호 처리 장치(4)에서는, 사용자로부터의 입력에 따 라, 처리 영역과 정상성이 설정되고, 실세계(1)의 신호의 추정에 사용하는 관계 모델이 생성된다. 또한, 그 처리 영역, 정상성, 관계 모델을 사용하여, 실세계(1)의 신호가 추정되어 그 실세계(1)의 신호를 사용하여, 출력 화상이 생성된다. 그리고, 출력 화상이 사용자에게 제시되고, 그 화질에 불만이 있는 경우에 사용자가, 처리 영역, 정상성, 또는 관계 모델을 바꾸는 입력을 행하면, 그 입력에 따라, 새로운 처리 영역, 정상성, 또는 관계 모델이 설정(생성)되어 새로운 출력 화상이 생성되는 것이 반복된다.

즉, 예를 들면, 도 132에 나타낸 바와 같이, 화상 표시부(11095)에 입력 화상이 표시된 상태에 있어서, 사용자는, 버튼이나, 손잡이, 마우스로 구성되는 사용자 I/F(11096)를 조작함으로써, 화질에 불만이 있는 영역을, 처리 영역으로서 지시한다.

그리고, 사용자에 의한 처리 영역의 지시 방법으로서는, 예를 들면, 사용자 I/F(11096)로서의 마우스를 조작함으로써, 입력 화상 상의 2점을 클릭하는 방법이 있다. 이 경우, 처리 영역 설정부(11091)에서는, 예를 들면, 그 클릭된 2점을 대각선으로 하는 직사각형의 영역을, 처리 영역으로서 설정한다.

또, 사용자가 화질에 불만을 느끼는 영역으로서는, 전술한 바와 같은 시간 혼합에 의해 모션 흐릿함이 생기고 있는 영역, 또는 예를 들면, 센서(2)의 공간 적분 효과에 의한, 2개의 물체에 대한 신호의 공간 방향의 혼합(공간 혼합)에 기인하여, 해상도가 열화되어 있는 영역이 있다.

여기서, 지금의 경우, 입력 화상에 있어서, 예를 들면, 먼 곳에 있는 로프 등의 가는 선형의 물체가 표시되어 있고, 그 로프의 경계 부분에 있어서, 로프와 배경의 신호의 공간 혼합이 생기고 있는 것으로 하고, 사용자는, 그 공간 혼합에 의해 해상도가 열화되어 있는 영역을, 처리 영역으로서 지정하는 것으로 한다. 사용자가, 입력 화상 상의 2점을 클릭함으로써, 처리 영역을 지정한 경우, 화상 표시부(11095)에 있어서는, 그 클릭된 2점을 대각선으로 하는 직사각형의 처리 영역을 에워싸는 프레임을 표시(제시)할 수 있고, 이 프레임에 의해, 사용자는, 적절한 처리 영역이 설정된 여부를 확인할 수 있다. 그리고, 처리 영역은, 입력 화상 상의 2점을 다시 클릭하는 것에 의해, 다시 지정할 수 있다.

또한, 사용자는, 예를 들면, 도 132에 나타낸 바와 같이, 버튼이나, 손잡이, 마우스로 구성되는 사용자 I/F(11096)를 조작함으로써, 처리 영역에 표시된 화상에 대응하는 실세계(1)의 정상성을 지시한다. 이 경우, 정상성 설정부(11092)에서는, 그 지시된 정상성이, 그대로 설정된다.

그리고, 사용자에 의한 정상성의 지시 방법으로서는, 예를 들면, 사용자 I/F(11096)로서의 손잡이를 조작함으로써, 처리 영역에 표시된 화상에 대응하는 실세계의 정상성의 방향을 지시하는 방법이 있다. 즉, 지금의 경우, 전술한 바와 같이, 입력 화상에는, 로프 등의 가는 선형의 물체가 표시되어 있지만, 사용자는, 그 선형의 물체가 연장되어 있는 방향(선형의 물체를 나타내는 직선의 경사)을, 정상성의 방향으로서 지시한다. 이 경우, 화상 표시부(11095)에 있어서는, 사용자 I/F(11096)로서의 손잡이의 조작에 따라 회전하는 화살표의 화상)를 표시할 수 있고, 이 화살표에 의해, 사용자는, 적절한 정상성이 설정되었는지의 여부를 확인할 수 있다.

또, 사용자는, 사용자 I/F(11096)를 조작함으로써, 실세계(1)의 신호의 추정에 사용하는 모델을 지시한다. 즉, 지금, 실세계 추정부(11093)에 있어서, 근사 함수로서, 예를 들면, 식(46)에 나타낸 다항식 f₃(x)(=w₀＋w₁x＋w₂x²＋···＋w_nxⁿ)를 사용하는 것으로 하면, 사용자는, 사용자 I/F(11096)를 조작함으로써, 그 근사 함수의 차수 n를 지정한다. 이 경우, 실세계 추정부(11093)에서는, 그 지시된 차수 n의 다항식을 근사 함수로서 사용하여 관계 모델을 생성한다.

도 129의 신호 처리 장치(4)에서는, 이상과 같이 하여, 사용자로부터의 입력에 따라 얻어지는 처리 영역, 정상성, 관계 모델을 사용하여, 실세계(1)의 신호가 추정되어 그 실세계(1)의 신호를 사용하여, 출력 화상이 생성된다. 그리고, 출력 화상이 사용자에게 제시되고, 그 화질에 불만이 있는 경우에 사용자가, 처리 영역, 정상성, 또는 관계 모델을 바꾸는 입력을 행하면, 그 입력이 신호 처리 장치(4)에 피박크되어 신호 처리 장치(4)에 있어서, 그 입력에 따라 얻어지는 새로운 처리 영역, 정상성, 또는 관계 모델을 사용하여, 새로운 출력 화상이 생성된다.

따라서, 사용자는, 출력 화상을 보면서, 사용자 I/F(11096)를 조작함으로써, 고화질의 출력 화상을 얻을 수 있다.

다음에, 도 133의 플로차트를 참조하여, 도 129의 신호 처리 장치(4)에 대하여, 예를 들면, 전술한 바와 같이, 먼 곳에 있는 로프 등의 가는 선형의 물체가 표시되어 있고, 그 로프의 경계 부분에 있어서, 로프와 배경의 신호의 공간 혼합이 생기고 있는 입력 화상이 입력된 경우의 실세계 추정부(11093)에 의한 실세계의 추정 처리(도 130의 스텝 S11132의 처리)와, 화상 생성부(11094)에 의한 출력 화상의 생성 처리(도 130의 스텝 S11133의 처리)의 상세에 대하여 설명한다.

그리고, 여기서는, 처리 영역 설정부(11091)에 있어서, 도 134에 나타낸 바와 같이, 처리 영역으로서, 입력 화상에 있어서, 공간 혼합에 의해 해상도가 열화되어 있는 영역이 설정되고, 그 처리 영역을 나타내는 처리 영역 정보가 출력되어 있는 것으로 한다. 또한, 정상성 설정부(11092)에서는, 도 134에 나타낸 바와 같이, 입력 화상에서의 선형의 물체의 정상성이 설정되고, 그 정상성의 방향, 즉, 선형의 물체가 연장되어 있는 방향을 나타내는 정상성 정보가 출력되어 있는 것으로 한다. 또, 실세계 추정부(11093)에서는, 근사 함수로서, 예를 들면, 식(46)과 마찬가지의 식(137)에 나타낸 다항식 f(x)가 채용되어 있는 것으로 한다. 즉, 여기서는, 실세계(1)의 신호의 추정에 해당하여, 제1 함수 근사 방법(1차원 근사 방법)을 채용하는 것으로 한다.

…(137)

여기서, 식(137)에 있어서, x는, 처리 영역을 구성하는 화소 상의 x 방향의 위치(좌표)를 나타내고, w_n는, 근사 함수 f(x)를 특징짓는 계수이다.

또, 사용자 I/F(11096)로부터 실세계 추정부(11093)에 대하여는, 근사 함수 f(x)의 차수 N를 나타내는 모델 지시 정보가 공급되어 있는 것으로 한다.

도 133으로 복귀하고, 실세계 추정부(11096)의 모델 생성부(11101)는, 스텝 S11161에 있어서, 사용자 I/F(11096)로부터 공급되는 모델 지시 정보와, 정상성 설정부(11092)로부터 공급되는 정상성 정보에 따라, 관계 모델로서의 함수(식)를 생성한다.

즉, 지금의 경우, 모델 생성부(11101)는, 식(137)의 근사 함수 f(x)를 사용하여, 전술한 식(46)과 마찬가지의 식(138)에 나타낸 관계 모델로서의 함수를 생성한다.

…(138)

여기서, 식(138)에 있어서, 좌측 변의 변수 P는, 입력 화상을 구성하는 화소의 화소값을 나타낸다.

식(138)의 관계 모델은, 센서(2)가 있는 화소에 있어서 얻어지는 화소값 P가, 실세계의 신호(를 근사시키는 모델)를 나타내는 근사 함수 f(x)를, 그 화소 상의 좌측단의 위치 x_s로부터 우측단의 위치 x_e 까지의 범위에서 적분한 값인 것으로 하여, 센서(2)가 출력하는 입력 화상의 화소의 화소값과 실세계(1)의 광신호와의 관계를 모델화하는 것이다.

즉, 1차원 근사 방법은, 근사 모델의 시공간 방향 x, y, t에서의, 어느 1차원 방향의 위치에 대응하는 각 화소의 화소값이, 근사 모델을, 그 1차원 방향으로 적분함으로써 취득되는 것으로 하여, 처리 영역을 구성하는 화소의 화소값과, 실세계(1)의 광신호와의 관계를 모델화하는 것이며, 식(138)의 관계 모델에서는, 근사 모델의 시공간 방향 x, y, t에서의 x 방향의 위치에 대응하는 각 화소의 화소값이, 근사 모델을, x 방향으로 적분함으로써 취득되는 것으로 하여, 처리 영역을 구성하는 화소의 화소값과, 실세계(1)의 광신호가 관계지워 지고 있다.

그리고, 식(138)에서의 근사 함수 f(x)의 차수 N는, 사용자 I/F(11096)로부터 공급되는 모델 지시 정보에 따라 결정된다.

또, 식(138)에 있어서, 적분 범위의 시점 x_s와 종점 x_e는, 정상성 설정부(11092)로부터 공급되는 정상성 정보에 따라 결정된다. 즉, 여기서는, 적분 범위의 시점 x_s와 종점 x_e는, 다음 식에 의해 표현된다.

…(139)

그리고, 식(139)에 있어서, 화소의 x 방향 및 y 방향의 폭은, 도 82에 나타낸 바와 같이, 모두 1인 것으로 하고, 후술하는 스텝 S11162에서 설정되는 주목 화소의 중심(중심)에, 원점(0, 0)을 취하는 것으로 한다. 또, 식(139)에 있어서, C_x(y)는, 식(42) 및 식(43)에서 설명한 경우와 마찬가지로, 적분 범위의 시프트량을 나타내고, 입력 화상에 있어서, 선형의 물체가 연장되어 있는 방향이, x축과 만드는 각도를, θ으로 나타내면, 다음 식에 의해 표현된다.

…(140)

모델 생성부(11101)에 있어서, 식(140)의 각도θ는, 정상성 정보에 따라 인식된다.

모델 생성부(11101)는, 스텝 S11161에 있어서, 처리 영역 설정부(11091)로부터 공급되는 처리 영역 정보로부터 특정되는 처리 영역을 구성하는 각 화소에 대하여, 식(138)에 의해 표현되는 관계 모델을 생성하고, 방정식 생성부(11102)에 공급하고, 스텝 S11162로 진행한다.

스텝 S11162에서는, 방정식 생성부(11102)는, 처리 영역 설정부(11091)로부터 공급되는 처리 영역 정보로부터 특정되는 처리 영역을 구성하는 화소 중, 아직 주목 화소로 하고 있지 않은 것을, 주목 화소로서 선택하고, 스텝 S11163으로 진행한다. 스텝 S11163에서는, 방정식 생성부(11102)는, 주목 화소에 대하여, 그 주목 화소에 의해 적분된 실세계의 광신호를 나타내는 근사 모델을 구하는데 세우는 방정식에 사용하는 입력 화상의 영역(이하, 적당히, 방정식 영역이라고 함)을 설정한다. 즉, 방정식 생성부(11102)는, 예를 들면, 입력 화상에 있어서, 주목 화소를 포함하는, 가로(x 방향)×세로(y 방향)가 x_a×y_a화소를, 방정식 영역으로 설정한다. 여기서, 방정식 영역을 구성하는 가로와 세로의 화소수 x_a와 y_a는, 미리 설정하여 둘 수도 있고, 사용자가, 사용자 I/F(11096)를 조작함으로써 입력하도록 할 수도 있다. 또, 전술한 경우에는, 처리 영역, 정상성, 또는 근사 모델이 상이한 M가지의 출력 화상을 생성하도록 했지만, 방정식 영역을 구성하는 가로와 세로의 화소수x_a와 y_a의 조합이 상이한 M가지의 출력 화상을 생성하도록 할 수 있다. 이 경우, 그 M가지의 출력 화상 중 사용자가 선택한 것을, 방정식 생성부(11102)에 피드백하여, 새로운 M가지의 방정식 영역을 설정하고, 그 M가지의 방정식 영역 각각에 대한 출력 화상을 재차 생성하도록 할 수 있다.

스텝 S11163의 처리 후는, 스텝 S11164로 진행하고, 방정식 생성부(11102)는, 주목 화소에 대하여 생성한 식(138)의 관계 모델에 대하여, 주목 화소에 대한 방정식 영역의 각 화소의 화소값을 취득하여 대입함으로써, 주목 화소로 적분된 실세계(1)의 광신호를 나타내는 근사 모델을 구하는 방정식을 생성한다.

즉, 지금, 방정식 영역으로서, 주목 화소를 중심으로 하는 3×3 화소의 영역을 채용하는 것으로 한다. 또한, 화소의 가로 및 세로의 폭이 모두 1인 것으로 하고, 주목 화소의 중심 위치를 원점으로 하는, 도 82에 나타낸 좌표계를 도입하고, 방정식 영역에서의 3×3 화소의 각 화소값을, 그 화소의 중심의 좌표(x, y)를 사용하여, P(x, y)로 나타내는 것으로 한다. 이 경우, 주목 화소의 화소값은, P(0, 0)로 표현된다. 또, 주목 화소의 좌측 아래의 화소의 화소값은, P(-1, -1)로 표현되고, 주목 화소 아래의 화소의 화소값은, P(0, -1)로 표현된다. 이하, 마찬가지로, 주목 화소의 우측 하, 좌, 우, 좌측 상, 상, 우측 상의 화소의 화소값은, 각각 , P(1, -1), P(-1, 0), P(1, 0), P(-1, 1), P(0, 1), P(1, 1)로 표현된다.

이 경우, 방정식 생성부(11102)에서는, 방정식 영역의 9화소의 화소값을, 식(138)의 관계 모델에 대입함으로써, 주목 화소에 대하여, 식(141)에 나타낸 9식으로 이루어지는 방정식이 생성된다.

…(141)

여기서, 방정식 생성부(11102)에 있어서, 주목 화소에 대하여 세울 수 있는 방정식의 수는, 방정식 영역을 구성하는 화소의 수와 같다. 따라서, 주목 화소에 대하여 세울 수 있는 방정식을 푸는 것에 의해 구해지는 식(137)의 근사 함수 f(x) 의 차수 N(미지수 w_n의 수)는, 방정식 영역을 구성하는 화소의 수에 제한된다. 역으로 말하면, 방정식 영역을 구성하는 화소수는, 식(137)의 근사 함수 f(x)의 차수 N에 따라 결정할 필요가 있다.

방정식 생성부(11102)는, 주목 화소에 대한 방정식을 생성하면, 그 방정식을, 실세계 파형 추정부(11103)에 공급하고, 스텝 S11164로부터 S11165로 진행한다.

스텝 S11165에서는, 실세계 파형 추정부(11103)는, 방정식 생성부(11102)로부터 공급된 주목 화소에 대한 방정식을, 예를 들면, 최소 제곱법 등에 의해 푸는 것에 의해, 주목 화소로 적분된 실세계(1)의 광신호의 파형을 추정한다. 즉, 스텝 S11165에 있어서, 실세계 파형 추정부(11103)는, 방정식 생성부(11102)로부터 공급된 주목 화소에 대한 방정식을 푸는 것에 의해, 식(137)의 근사 함수 f(x)를 규정하는 파라미터로서의 변수 wn를 구하고, 이로써, 그 변수 wn로 규정되는 근사 함수 f(x)를 구한다(특정함.

실세계 파형 추정부(11103)는, 주목 화소에 대하여 구해진 근사 함수 f(x)를, 화상 생성부(11094)에 공급하고, 스텝 S11165로부터 S11166으로 진행한다.

스텝 S11166에서는, 방정식 생성부(11102)는, 처리 영역 설정부(11091)로부터 공급된 처리 영역 정보로부터 특정되는 처리 영역을 구성하는 모든 화소를, 주목 화소로 하였는지 여부를 판정한다. 스텝 S11166에 있어서, 처리 영역을 구성하는 모든 화소를, 또, 주목 화소로 하고 있지 않은 것으로 판정된 경우, 스텝 S11162로 복귀하고, 방정식 생성부(11102)는, 처리 영역을 구성하는 화소 중, 아직 주목 화소로 하고 있지 않은 1개를, 주목 화소로서 새롭게 선택하고, 이하, 마찬가지의 처리가 반복된다.

여기서, 이상의 스텝 S11161 내지 S11166의 처리가, 도 130의 스텝 S11132(실세계의 추정)로 행해진다.

한편, 스텝 S11166에 있어서, 처리 영역을 구성하는 모든 화소가, 주목 화소로 되는 것으로 판정된 경우, 스텝 S11167로 진행하고, 화상 생성부(11094)는, 처리 영역 설정부(11091)로부터 공급된 처리 영역 정보로부터 특정되는 처리 영역을 구성하는 화소 중, 또, 주목 화소로 하고 있지 않은 1개를, 주목 화소로서 선택하고, 스텝 S11168로 진행한다.

스텝 S11168에서는, 화상 생성부(11094)는, 실세계 파형 추정부(11103)로부터 공급된 근사 함수 중, 주목 화소에 대한 근사 함수(이하, 적당히, 주목 근사 함수 라고 함) f(x)를, 식(138)의 관계 모델과 마찬가지의 식(142)에 따라, x 방향으로 적분(재적분)함으로써, 주목 화소에 대하여, 고화질의 화소값 Q를 구한다.

…(142)

단, 식(142)에 있어서, G는, 소정의 게인을 나타낸다. 또, 식(142)에 있어서, 적분 범위의 시점 x_s와 종점 x_e는, 정상성 설정부(11092)로부터 공급되는 정상성 정보에 따라 결정된다. 즉, 여기서는, 적분 범위의 시점 x_s와 종점 x_e는, 예를 들면, 식(139)과 동일한 다음 식에 의해 표현된다.

…(143)

그 후, 스텝 S11168로부터 S11169로 진행하고, 화상 생성부(11094)는, 처리 영역을 구성하는 모든 화소를 주목 화소로 하였는지 여부를 판정한다. 스텝 S11169에 있어서, 처리 영역을 구성하는 모든 화소를, 아직 주목 화소로 하고 있지 않은 것으로 판정된 경우, 스텝 S11167로 복귀하고, 화상 생성부(11094)는, 처리 영역 구성하는 화소 중, 아직 주목 화소로 하고 있지 않은 1개를, 새롭게, 주목 화소로서 선택하고, 이하, 마찬가지의 처리를 반복한다.

또, 스텝 S11169에 있어서, 처리 영역을 구성하는 모든 화소를 주목 화소로 한과 판정된 경우, 즉, 처리 영역에 대하여, 고화질의 화소값으로 이루어지는 화상(근사 화상)이 생성된 경우, 스텝 S11170으로 진행하고, 화상 생성부(11094)는, 입력 화상과, 근사 함수에 따라 생성한 근사 화상을 합성하고, 이로써, 입력 화상의 처리 영역의 부분을, 근사 화상으로 치환하여 화상을 생성하고, 그 화상을, 출력 화상으로서 화상 표시부(10005)에 공급하여, 처리를 종료한다.

여기서, 이상의 스텝 S11167 내지 S11170의 처리가, 도 130의 스텝 S11133(출력 화상의 생성)로 행해진다.

그리고, 식(143)에 나타낸 적분 범위의 시점 x_s와 종점 x_e에 의하면, 처리 영역의 1화소를, 근사 화상의 1화소로 하여, 그 1화소의 화소값 Q가, 식(142)의 재 적분을 행함으로써 구해진다. 따라서, 이 경우, 처리 영역의 화소수와 동일한 근사 화상이 생성되지만, 근사 화상으로서는, 처리 영역으로부터도 화소수가 많은 화상을 얻는 것이 가능하다.

즉, 화상 생성부(11094)에 있어서, 적분 범위의 시점 x_s와 종점 x_e로서 식(144) 및 식(145)을 채용하여, 식(142)의 재적분의 계산을 행함으로써, x 방향의 화소수가 처리 영역의 2배로 된 근사 화상을 얻을 수 있다.

…(144)

…(145)

여기서, 식(144)과 식(145)에 의해 표현되는 적분 범위는, 식(143)에 의해 표현되는 적분 범위를 2등분한 것으로 되어 있다. 따라서, 식(144)과 식(145)에 의해 표현되는 적분 범위를 채용한 경우에는, 처리 영역의 1화소를, 근사 화상의 2화소로 하여, 그 2화소의 화소값 Q가, 식(142)의 재적분을, 식(144)과 식(145)에 의해 표현되는 적분 범위 각각에 대하여 행함으로써 구해진다.

즉, 식(144)의 적분 범위는, 처리 영역에서의 주목 화소의 좌측단의 위치 x_s로부터 중심 까지의 범위를 나타내고 있고, 식(145)의 적분 범위는, 처리 영역에서 의 주목 화소의 중심으로부터 우측단의 위치 x_e 까지의 범위를 나타내고 있다.

따라서, 예를 들면, 지금, 주목 화소를, 그 중심으로부터 좌측과 우측으로 분할하고, 그 좌측과 우측의 화소를, 각각 제1 주목 화소와 제2 주목 화소라고 하면, 식(142)의 재적분을, 식(144)에 의해 표현되는 적분 범위에 대하여 행함으로써, 제1 주목 화소의 화소값이 구해지고, 식(145)에 의해 표현되는 적분 범위에 대하여 행함으로써, 제2 주목 화소의 화소값이 구해진다. 이 경우, x 방향의 공간 해상도가 향상된 고화질의 근사 화상을 얻을 수 있다.

그리고, 식(142)의 재적분의 적분 범위는, 식(143)이나, 식(144) 및 식(145)에 나타낸 것에 한정되는 것은 아니다.

또, 식(144) 및 식(145)에 나타낸 적분 범위는, 주목 화소를 2분할하는 것이지만, 주목 화소를, 보다 세세하게 분할하는 적분 범위를 채용함으로써, 보다 공간 해상도가 향상된 고화질의 근사 화상을 얻을 수 있다. 그리고, 주목 화소를, 보다 세세하게 분할하는 경우, 근사 화상을 구성하는 화소수가 증가하게 되지만, 이것은, 공간 해상도의 향상이나, 고배율에서의 줌의 실현을 가능하게 한다.

여기서, 도 133의 플로차트에 나타낸 바와 같은, 실세계의 추정 처리와 출력 화상의 생성 처리를, 이하, 적당히, 양쪽 모두, 본 처리라고 한다.

본처리에 의하면, 시간 혼합이나 공간 혼합에 의해 열화된 입력 화상의 화질을 향상시킨 출력 화상을 얻을 수 있다.

즉, 예를 들면, 지금, 공간 혼합에 대하여 설명하면, 실세계(1)의 광신호는, 도 135 (A)에 나타낸 바와 같이, 전경(예를 들면, 세선 등)에 대응하는 광신호(도면 중 백색으로 나타낸 부분)와, 배경에 대응하는 광신호(도면 중 흑색으로 나타낸 부분)로 명확하게 구분할 수 있다.

센서(2)로서의 이미지 센서의 화소 상에, 실세계(1)의 광신호의 동일 레벨의 부분이 한결같이 분포하지 않고, 전경과 배경과 같이 상이한 레벨의 광신호 각각 이 분포하는 경우, 그 화소에서는, 센서(2)의 적분 효과에 의해, 상이한 광의 레벨이 마치 공간적으로 혼합되어(공간 방향으로 적분되어), 1개의 화소값으로 된다. 이와 같이, 센서(2)의 화소에 있어서, 실세계(1)의 광신호 중 전경의 부분과 배경의 부분과 같이, 상이한 레벨의 부분이, 공간적으로 적분됨으로써 혼합되는 현상이 공간 혼합이다.

센서(2)로부터 출력되는 입력 화상은, 그 센서(2)를 구성하는, 어떤 유한의 크기를 가지는 화소에 있어서, 실세계(1)의 광신호가 적분되고, 또한 유한의 크기의 화소로 양자화됨으로써 얻어지는 화소값으로 구성되므로, 예를 들면, 도 135 (B)에 나타낸 바와 같이, 공간 혼합과 양자화에 의해 불균일한 것으로 된다.

그래서, 본처리에서는, 입력 화상에서의 처리 영역에 대응하는 실세계(1)의 신호의 정상성에 따라, 그 실세계(1)의 신호가 추정되어 그 추정된 실세계(1)의 신호를 사용하여, 입력 화상에서의 불균일을 제거(저감)한 근사 화상이 생성된다.

즉, 예를 들면, 1차원 근사 방법을 채용하는 본처리에서는, 정상성 정보에 따라, 관계 모델이 생성되고, 처리 영역에서의 주목 화소의 주변에 있는 x_a×y_a화소 로 되는 영역이, 방정식 영역으로 된다. 또한, 관계 모델에, 방정식 영역의 화소의 화소값이 대입됨으로써, 주목 화소에서의 실세계(1)의 광신호의 근사 모델 f(x)를 구하기 위한 방정식이 생성된다. 그리고, 그 방정식을 푸는 것으로, 주목 화소에서의 실세계(1)의 광신호를 나타내는 근사 모델 f(x)가 구해지고, 그 근사 모델 f(x)를 재적분함으로써, 고화질의 근사 화상이 구해진다.

구체적으로는, 예를 들면, 도 136 (A)에 나타낸 바와 같이, 입력 화상에 있어서, 주목 화소의 주변에 있는 x_a×y_a 화소로 되는 영역(도 136 (A))에서는, 3×3 화소의 영역)이, 방정식 영역으로 된다. 여기서, 도 136 (A)에서는, 가로 방향으로 x축을, 깊이 방향으로 y축을 각각 취하고, 세로 방향으로 화소값(의 레벨)을 취하여, 센서(2)의 각 위치(x, y)의 화소의 화소값을 나타내고 있다. 도 136 (A)에 있어서, 화소값이 직육면체로 도시되어 있지만, 이 직육면체의 저면은, 센서(2)의 화소에 상당한다.

본처리에서는, 또한 도 136 (B)에 나타낸 바와 같은, 방정식 영역의 각 화소의 화소값이 취득된다. 여기서, 도 136 (B)에서는, 가로 방향으로 x축을 취하고, 세로 방향으로 화소값을 취하여, 방정식 영역의 각 화소의 화소값을 나타내고 있다. 후술하는 도 136 (C) 및 도 136 (D)에 있어서도, 마찬가지이다.

그리고, 본처리에서는, 관계 모델에, 방정식 영역의 각 화소의 화소값을 대입함으로써, 방정식이 생성되고, 또한 그 방정식을 푸는 것에 의해, 주목 화소에서의 실세계(1)의 광신호를 나타내는 근사 모델 f(x)가 구해지지만, 이것은, 다음과 같은 것을 행하고 있는 것과 등가이다.

즉, 도 136 (B)에 나타낸 방정식 영역의 각 위치(x, y)의 화소의 화소값을, 정상성 정보에 따라, 도 136 (C)에 나타낸 바와 같이, x 축방향으로 시프트한다. 여기서, 정상성 정보가, 도 135 (A) 및 도 135 (B)에서 설명한 바와 같은 전경으로서의 세선이 연장되는 방향을 나타내는 것으로 하면, 실세계(1)의 광신호의 파형은, 전술한 X단면 파형이, 정상성 정보가 나타내는 방향으로 연속되어 있던 파형으로서 표현된다. 따라서, 실세계(1)의 광신호를 나타내는 근사 모델 f(x)를 정밀도 양호하게 추정하는 데는, 도 91 및 도 92에서 설명한 바와 같이, 방정식 영역의 각 위치(x, y)의 화소의 화소값도, 정상성 정보가 나타내는 방향을 따라서, x 축방향으로 시프트하고, 이로써, 말하자면 실세계(1)의 광신호의 파형의 위상과, 그 실세계(1)의 광신호를 적분하여 얻어지는, 방정식 영역의 각 화소의 화소값의 위상을 일치시킬 필요가 있다. 도 136 (C)는, 실세계(1)의 광신호의 파형과 위상을 일치시킨, 방정식 영역의 각 화소의 화소값을 나타내고 있다.

그리고, 방정식 영역의 각 화소의 화소값의 위상을, 실세계(1)의 광신호의 파형의 위상과 일치시키는 것은, 식(139)에 의해 표현되는, 식(138)의 적분 범위의 시점 x_s와 종점 x_e를, 정상성 정보가 나타내는 방향으로 한 각도θ를 사용하여 식(140)에 의해 표현되는 시프트량 C_x(y)에 따라 시프트시키는 것에 상당한다.

방정식 영역의 각 화소에서는, 실세계(1)의 광신호가 적분되어, 그 화소값을 얻을 수 있다. 따라서, 전술한 바와 같이, 위상을, 실세계(1)의 광신호의 파형의 위상과 일치시킨 방정식 영역의 각 화소의 화소값은, 도 136 (D)에 나타낸 바와 같이, 실세계(1)의 광신호의 파형을 근사시키고 있다.

그래서, 위상을, 실세계(1)의 광신호의 파형의 위상과 일치시킨 방정식 영역의 각 화소의 화소값을 근사시키는, 예를 들면 식(137)의 다항식이, 실세계(1)의 광신호를 나타내는 근사 모델 f(x)로서 구해진다.

그리고, 근사 화상의 생성시에 있어서는, 도 136 (E)에 나타낸 바와 같이, 근사 모델 f(x)를, X단면 파형으로서 그 X단면 파형이 정상성 정보에 의해 표현되는 방향으로 연속되어 있던 파형이, 실세계(1)의 광신호의 추정 파형으로서 그 추정 파형을 재적분함으로써, 근사 화상의 화소의 화소값이 구해진다. 여기서, 도 136 (E)에서는, 가로 방향으로 x축을, 깊이 방향으로 y축을 각각 취하고, 세로 방향에 실세계(1)의 광신호의 레벨을 취하여, 센서(2)의 각 위치(x, y)에서의 실세계(1)의 광신호의 레벨을 나타내고 있다. 도 136 (E)에 있어서는, 도 136 (A)와 달리, 레벨(화소값)이 연속량으로 표현되어 있지만, 이것은, 실세계(1)의 광신호가 연속량이기 때문이다.

그리고, 전술한 경우에는, 근사 모델의 시공간 방향에서의 x 방향의 위치에 대응하는 각 화소의 화소값이 근사 모델을 x 방향으로 적분함으로써 취득되는 것으로 하여, 처리 영역의 각 화소의 화소값과 실세계(1)의 광신호와의 관계를 모델화한 관계 모델을 채용하고, 1차원 근사 방법에 따라, 실세계(1)의 광신호를 추정하도록 했지만, 그 외에, 전술한 2차원 근사 방법이나 3차원 근사 방법에 따라, 실세계(1)의 광신호를 추정할 수 있다.

즉, 실세계(1)의 광신호의 추정에 있어서는, 근사 모델의 시공간 방향에서의 x와 y 방향의 위치에 대응하는 각 화소의 화소값이 근사 모델을 x와 y 방향 각각에 적분함으로써 취득되는 것으로 하여, 처리 영역의 각 화소의 화소값과 실세계(1)의 광신호와의 관계를 모델화한 관계 모델을 채용하는 것이나, 근사 모델의 시공간 방향에서의 x(또는 y)와 t 방향의 위치에 대응하는 각 화소의 화소값이 근사 모델을 x와 t 방향 각각에 적분함으로써 취득되는 것으로 하여, 처리 영역의 각 화소의 화소값과 실세계(1)의 광신호와의 관계를 모델화한 관계 모델을 채용할 수 있다.

또한, 실세계(1)의 광신호의 추정에 있어서는, 근사 모델의 시공간 방향에서의 x, y, t 방향의 위치에 대응하는 각 화소의 화소값이 근사 모델을 x, y, t 방향 각각에 적분함으로써 취득되는 것으로 하여, 처리 영역의 각 화소의 화소값과 실세계(1)의 광신호와의 관계를 모델화한 관계 모델을 채용하는 것도 가능하다.

여기서, 근사 모델의 적분 방향으로 하여, 공간 방향(x, y 방향)을 고려한 경우에는, 공간 혼합에 의해 열화된 화질을 향상시킬 수 있고, 시간 방향(t 방향)을 고려한 경우에는, 시간 혼합에 의해 열화된 화질을 향상시킬 수 있다. 또한, 근사 모델의 적분 방향으로 하여, 시공간 방향(공간 방향과 시간 방향의 양쪽)을 고려한 경우에는, 공간 혼합과 시간 혼합의 양쪽에 의해 열화된 화질을 향상시킬 수 있다.

다음에, 도 122의 모션 검출부(11062)에서의 모션의 검출 방법에 대하여 설명한다.

입력 화상에서의 있는 오브젝트가 움직이고 있는 경우의, 그 오브젝트의 모 션으로서의, 예를 들면 모션 벡터를 검출하는 방법으로서는, 이른바 블록 매칭법이 알려져 있다.

그러나, 블록 매칭법에서는, 주목하고 있는 프레임과, 그 전 또는 후의 프레임과의 매칭을 행하기 위해, 주목하고 있는 1프레임만으로부터 모션을 검출하는 것은 곤란하다.

그래서, 모션 검출부(11062)에서는, 1프레임의 입력 화상만으로부터, 모션의 검출을 행할 수 있도록 되어 있다.

즉, 도 137은, 도 122의 모션 검출부(11062)의 구성예를 나타내고 있다.

도 137에 구성이 도시된 모션 검출부(11062)에 있어서는, 입력 화상 중의 처리 영역에서의 오브젝트의 모션 방향이 검출되고, 모션 방향이 수평 방향으로 되도록 입력 화상이 보정된다. 그리고, 모션 방향으로 인접하는 화소의 화소값의 차분값인, 입력 화상의 오브젝트의 모션 방향으로 1차 미분한 특징량이 검출된다.

또한, 주목하고 있는 화소의 특징량과 모션 방향으로 소정의 거리의 대응 화소의 특징량과의 상관이 검출되고, 검출된 상관이 최대인 대응 화소와 주목 화소와의 거리에 따라 오브젝트의 모션량이 검출된다.

즉, 도 137에 구성이 나타내는 모션 검출부(11062)는, 모션 방향 검출부(11201), 모션 방향 수정부(11202), 특징량 검출부(11203), 및 모션량 검출부(11204)를 포함한다.

또한, 모션 방향 검출부(11201)는, 액티비티 연산부(11211) 및 액티비티 평가부(11212)를 포함한다. 모션 방향 수정부(11202)는, 아핀 변환부(11213)를 포함 한다.

특징량 검출부(11203)는, 차분 연산부(11214), 차분 평가부(11215), 중간 화상 작성부(11216), 중간 화상 작성부(11217), 프레임 메모리(11218), 부호 반전부(11219), 및 프레임 메모리(11220)를 포함한다.

또한, 모션량 검출부(11204)는, 상관 검출부(11221) 및 상관 평가부(11222)를 포함한다.

도 137에 구성이 도시된 모션 검출부(11062)에 있어서, 도 122의 화상 메모리(11061)에 기억된 입력 화상은, 모션 방향 검출부(11201) 및 모션 방향 수정부(11202)에 공급된다. 또한, 도 119의 처리 영역 설정부(11041)가 출력하는 처리 영역 정보도, 모션 방향 검출부(11201) 및 모션 방향 수정부(11202)에 공급된다.

모션 방향 검출부(11201)는, 입력 화상과 처리 영역 정보를 취득하여, 취득한 입력 화상으로부터 처리 영역에서의 모션 방향을 검출한다.

움직이고 있는 대상물을 촬상했을 때, 대상물의 화상에는 모션 흐릿함이 생긴다. 이것은, 대상물의 화상을 촬상하는 센서(2)로서의 카메라 또는 비디오 카메라의 이미지 센서의 기능에 의한 것이다.

즉, CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)센서 등의 이미지 센서는, 노광 시간(셔터 시간)에 있어서, 화소마다 입사된 광을 연속적으로 전하로 변환하고, 또한 전하를 1개의 화상값으로 변환한다. 촬상의 대상물이 정지하고 있을 때, 노광하고 있는 기간에 있어서, 대상물의 같은 부위의 화상(광)이 1개의 화소값으로 변환된다. 이와 같이 촬상된 화상에 는, 모션 흐릿함은 포함되어 있지 않다.

이에 대하여, 대상물이 움직이고 있을 때, 노광하고 있는 기간에 있어서, 1개의 화소에 입사되는 대상물의 부위의 화상이 변화되고, 대상물의 상이한 부위의 화상이 1개의 화소값으로 변환되어 버린다. 역으로 말하면, 대상물의 하나의 부위의 화상이 복수개의 화소값으로 투영된다. 이것이 모션 흐릿함이다.

모션 흐릿함은, 대상물의 모션 방향으로 생긴다.

모션 흐릿함이 생기고 있는 부분(모션 흐릿함을 포함하는 영역)의 움직임 방향으로 정렬되어 있는 화소의 화소값의 각각에 주목하면, 모션 방향으로 정렬되어 있는 화소의 화소값에는, 대상물의 대략 같은 범위의 부위의 화상이 투영되어 있다. 따라서, 모션 흐릿함이 생기고 있는 부분의, 모션 방향으로 정렬되어 있는 화소의 화소값의 변화는, 보다 적게 되어 있다고 말할 수 있다.

모션 방향 검출부(11201)는, 이와 같은 입력 화상의 처리 영역에서의 화소의 화소값의 변화, 즉 액티비티를 기초로, 모션 방향을 검출한다.

보다 구체적으로는, 모션 방향 검출부(11201)의 액티비티 연산부(11211)는, 미리 정한 방향마다, 각방향으로 정렬되어 있는 화소의 화소값의 변화(액티비티)를 연산한다. 예를 들면, 액티비티 연산부(11211)는, 미리 정한 방향마다, 각방향에 대응하여 위치하는 화소의 화소값의 차분을 액티비티로서 연산한다. 액티비티 연산부(11211)는, 연산한 화소값의 변화를 나타내는 정보를 액티비티 평가부(11212)에 공급한다.

액티비티 평가부(11212)는, 액티비티 연산부(11211)로부터 공급된, 미리 정 한 방향마다의 화소의 화소값의 변화의 중의, 최소의 화소값의 변화를 선택하고, 선택한 화소값의 변화에 대응하는 방향을 모션 방향으로 한다.

모션 방향 검출부(11201)는, 이와 같이 검출한 모션 방향을 나타낸 모션 방향 정보를 모션 방향 수정부(11202)에 공급한다.

모션 방향 수정부(11202)에는, 처리 영역 정보도 공급된다. 모션 방향 수정부(11202)는, 모션 방향 검출부(11201)로부터 공급된 모션 방향 정보를 기초로, 모션 방향이 화상의 수평 방향이 되도록 입력 화상에서의 처리 영역 중의 화상 데이터를 변환한다.

예를 들면, 모션 방향 수정부(11202)의 아핀 변환부(11213)는, 모션 방향 검출부(11201)로부터 공급된 모션 방향 정보를 기초로, 모션 방향 정보로 나타내는 모션 방향이 화상의 수평 방향이 되도록 입력 화상에서의 처리 영역 중의 화상 데이터를 아핀 변환한다.

모션 방향 수정부(11202)는, 모션 방향이 화상의 수평 방향이 되도록 변환된 입력 화상에서의 처리 영역 중의 화상 데이터를 특징량 검출부(11203)에 공급한다.

특징량 검출부(11203)는, 모션 방향 수정부(11202)로부터 공급된 화상의 특징량을 검출한다.

즉, 특징량 검출부(11203)의 차분 연산부(11214)는, 입력 화상의 처리 영역의 화소로부터 1개의 화소를 선택함으로써, 주목하고 있는 주목 화소로 한다. 그리고, 특징량 검출부(11203)의 차분 연산부(11214)는, 주목 화소의 화소값으로부터, 주목 화소의 우측 인접한 화소의 화소값을 뺄셈함으로써 차분값을 구한다.

차분 연산부(11214)는, 입력 화상의 처리 영역의 화소를 차례로 주목 화소로 하여 차분값을 구한다. 즉, 차분 연산부(11214)는, 입력 화상의 처리 영역의 모든 화소에 대하여, 차분값을 구한다. 차분 연산부(11214)는, 차분값에 대응하는 주목 화소의 위치를 나타내는 정보(차분값의 화면 상의 위치를 나타내는 위치 정보)와 함께, 이와 같이 연산된 차분값을 차분 평가부(11215)에 공급한다.

차분 평가부(11215)는, 차분값이 0 이상인지 여부를 판정하고, 0 이상인 차분값을, 차분값의 화면 상에 위치를 나타내는 위치 정보와 함께, 중간 화상 작성부(11216)에 공급하고, 0 미만인 차분값을, 차분값의 화면 상의 위치를 나타내는 위치 정보와 함께, 중간 화상 작성부(11217)에 공급한다.

중간 화상 작성부(11216)는, 차분값의 화면 상에 위치를 나타내는 위치 정보와 함께, 차분 평가부(11215)로부터 공급된 0 이상인 차분값을 기초로, 차분값으로 이루어지는 중간 화상을 작성한다. 즉, 중간 화상 작성부(11216)는, 위치 정보로 나타내는 화면 상의 위치의 화소에, 차분 평가부(11215)로부터 차분값이 공급된 0 이상인 차분값을 설정하고, 차분 평가부(11215)로부터 차분값이 공급되지 않았던 위치의 화소에 0을 설정하여, 중간 화상을 작성한다. 중간 화상 작성부(11216)는, 이와 같이 작성한 중간 화상(이하, 비반전 중간 화상이라고 함)을 프레임 메모리(11218)에 공급한다.

중간 화상 작성부(11217)는, 차분값의 화면 상에 위치를 나타내는 위치 정보와 함께, 차분 평가부(11215)로부터 공급된 0 미만(마이너스의 값)인 차분값을 기초로, 차분값으로 이루어지는 중간 화상을 작성한다. 즉, 중간 화상 작성부(11217) 는, 위치 정보로 나타내는 화면 상의 위치의 화소에, 차분 평가부(11215)로부터 차분값이 공급된 0 미만인 차분값을 설정하고, 차분 평가부(11215)로부터 차분값이 공급되지 않았던 위치의 화소에 0을 설정하여, 중간 화상을 작성한다. 중간 화상 작성부(11216)는, 이와 같이 작성한 중간 화상을 부호 반전부(11219)에 공급한다.

부호 반전부(11219)는, 중간 화상 작성부(11217)로부터 공급된 중간 화상의 화소에 설정되어 있는, 0 미만인 차분값의 부호를 반전한다. 중간 화상의 화소에 설정되어 있는 0인 값의 부호는, 반전되지 않는다. 즉, 부호 반전부(11219)는, 중간 화상 작성부(11217)로부터 공급된 중간 화상의 화소에 설정되어 있는, 0 미만인 차분값을 선택하고, 선택한 0 미만인 차분값을, 차분값과 같은 절대값의 0을 초과하는 값으로 변환한다. 예를 들면, -15인 차분값은, 부호가 반전되어 15로 변환된다. 부호 반전부(11219)는, 이와 같이 부호가 반전된 중간 화상(이하, 반전 중간 화상이라고 함)을 프레임 메모리(11220)에 공급한다.

프레임 메모리(11218)는, 0 이상인 차분값과 0으로 이루어지는 비반전 중간 화상을, 특징량으로 하여 모션량 검출부(11204)에 공급한다. 프레임 메모리(11220)는, 부호가 반전되어 0을 초과하는 값으로 된 차분값과 0으로 이루어지는 반전 중간 화상을, 특징량으로 하여 모션량 검출부(11204)에 공급한다.

모션량 검출부(11204)는, 특징량 검출부(11203)로부터 공급된 특징량을 기초로, 모션을 검출한다. 즉, 모션량 검출부(11204)는, 입력 화상의 처리 영역에서의 대상물의 화상(오브젝트)의 화소 중의 적어도 주목 화소의 특징과 주목 화소에 대하여 모션 방향을 따라 배치되는 대응 화소의 특징과의 상관을 검출하고, 검출된 상관에 따라, 입력 화상의 처리 영역에서의 대상물의 화상(오브젝트)의 모션량을 검출한다.

모션량 검출부(11204)의 상관 검출부(11221)는, 특징량 검출부(11203)의 프레임 메모리(11218)로부터 공급된, 특징량으로 하는, 비반전 중간 화상과, 특징량 검출부(11203)의 프레임 메모리(11220)로부터 공급된, 특징량으로 하는, 반전 중간 화상과의 상관을 검출한다. 상관 검출부(11221)는, 검출된 상관을 상관 평가부(11222)에 공급한다.

보다 상세하게 설명하면, 예를 들면, 모션량 검출부(11204)의 상관 검출부(11221)는, 특징량 검출부(11203)의 프레임 메모리(11218)로부터 공급된, 0 이상인 차분값과 0으로 이루어지는 비반전 중간 화상에 대하여, 특징량 검출부(11203)의 프레임 메모리(11220)로부터 공급된, 부호가 반전되어 0을 초과하는 값으로 된 차분값과 0으로 이루어지는 반전 중간 화상을, 화소를 단위로 하여, 화면의 수평 방향으로 이동시킨다(늦춘다(시프트시킨다)). 즉, 상관 검출부(11221)는, 반전 중간 화상을 구성하는 화소의 화면 상의 위치를 수평 방향으로 이동시킨다.

반전 중간 화상(의 화소)을, 화면 상의 수평 방향으로 이동시키는 것에 의해, 비반전 중간 화상의 화소와 반전 중간 화상의 화소와의 화면 상의 위치의 관계가 변화한다. 예를 들면, 이동전에, 비반전 중간 화상의 주목 화소에 대응하는 화면 상의 위치에 있는, 반전 중간 화상의 대응 화소는, 이동 후에 있어서, 이동량 만큼, 비반전 중간 화상의 주목 화소에 대응하는 위치로부터 멀어지게 된다. 보다 구체적으로는, 반전 중간 화상을 우측으로 20화소 이동했을 때, 반전 중간 화상의 대응 화소는, 비반전 중간 화상의 주목 화소에 대응하는 위치로부터 우측으로 20화소 떨어진다. 역으로 말하면, 이동 후에, 비반전 중간 화상의 주목 화소에 대응하는 화면 상의 위치에 있는, 반전 중간 화상의 대응 화소는, 이동전에 있어서, 주목 화소에 대응하는 위치로부터 이동량만큼 떨어져 있다.

상관 검출부(11221)는, 비반전 중간 화상과, 이동된 반전 중간 화상과의, 대응하는 위치의 화소의 화소값의 차분을 연산하고, 차분의 절대값의 합을 상관값으로 한다.

예를 들면, 상관 검출부(11221)는, 비반전 중간 화상에 대하여, 반전 중간 화상을, 화면의 좌측 방향으로 70화소 내지 화면의 우측 방향으로 70화소의 범위에서, 1화소씩 화면의 수평 방향으로 이동시키고(늦추고), 이동시킨 위치마다(이동량마다)에, 비반전 중간 화상 및 이동된 반전 중간 화상에 대하여, 화면 상의 같은 위치로 되는 화소의 화소값의 차분을 연산하고, 차분의 절대값의 합을 상관값으로 한다.

예를 들면, 비반전 중간 화상에 대하여 반전 중간 화상을, 화면의 좌측 방향으로 이동할 때, 이동량을 부(마이너스)로 나타낸다. 비반전 중간 화상에 대하여 반전 중간 화상을, 화면의 우측 방향으로 이동할 때, 이동량을 정(플러스)에 나타낸이다. 상관 검출부(11221)는, -70화소 내지 +70화소의 이동량마다, 비반전 중간 화상 및 이동된 반전 중간 화상에 대하여, 화면 상의 같은 위치로 되는 화소의 화소값의 차분을 연산하고, 차분의 절대값의 합을 상관값으로 한다.

상관 검출부(11221)는, 이동량에 대응하는 상관값을 상관 평가부(11222)에 공급한다. 즉, 상관 검출부(11221)는, 이동량과 상관값과의 세트를 상관 평가부(11222)에 공급한다.

상관 평가부(11222)는, 상관에 따라, 입력 화상의 처리 영역에서의 대상물의 화상의 모션량을 검출한다. 구체적으로는, 상관 평가부(11222)는, 상관 검출부(11221)로부터 공급된 상관 중, 최대의(가장 강한) 상관에 대응하는 이동량을 모션량으로 한다.

예를 들면, 상관 평가부(11222)는, 상관 검출부(11221)로부터 공급된 상관값인, 차분의 절대값의 합 중, 최소의 값을 선택하고, 선택된 최소의 값에 대응하는 이동량을 모션량으로 설정한다.

상관 평가부(11222)는, 검출된 모션량을 출력한다.

도 138 내지 도 140은, 도 137의 모션 검출부(11062)에 의한 모션 검출의 원리를 설명하는 도면이다.

지금, 촬상의 대상물인, 흰 전경 오브젝트가, 다른 촬상의 대상물인, 검은 배경 오브젝트의 전(바로 앞)에 배치되고, 좌측으로부터 우측으로 이동하고 있고, CCD 또는 CMOS 센서 등의 이미지 센서를 가지는 카메라가, 소정의 노광 시간(셔터 시간)으로, 배경 오브젝트와 함께, 전경 오브젝트를 촬상하는 것으로 한다.

이 경우에 카메라가 출력하는 화상의 1프레임에 주목하면, 배경 오브젝트는, 검기 때문에, 예를 들면, 카메라는, 배경 오브젝트의 화상에 대하여 0인 화소값을 출력한다. 전경 오브젝트는, 희기 때문에, 예를 들면, 카메라는, 전경 오브젝트의 화상에 대하여 255인 화소값을 출력한다. 그리고, 여기서는, 카메라가, 0 내지 28-1 범위의 화소값을 출력하는 것으로 한다.

도 138 위쪽의 도면은, 카메라의 셔터가 열린 순간(노광을 개시한 순간)에서의 위치에, 전경 오브젝트가 정지하고 있을 때, 카메라가 출력하는 화상의 화소값을 나타낸 도면이다.

도 138 아래쪽의 도면은, 카메라의 셔터가 닫히는 순간(노광을 종료하는 순간)에서의 위치에, 전경 오브젝트가 정지하고 있을 때, 카메라가 출력하는 화상의 화소값을 나타낸 도면이다.

도 138에 의해 나타낸 바와 같이, 전경 오브젝트의 화상의 모션량은, 카메라의 셔터가 열린 순간부터, 카메라의 셔터가 닫히는 순간까지, 전경 오브젝트의 화상이 이동한 거리이다.

도 139는, 배경 오브젝트의 앞을 이동하는 전경 오브젝트를 카메라로 촬상했을 때, 카메라로부터 출력되는 화상의 화소값을 나타낸 도면이다. 카메라의 이미지 센서는, 노광 시간(셔터 시간)에 있어서, 화소마다 대상물의 화상(광)을 연속적으로 전하로 변환하고, 또한 전하를 1개의 화상값으로 변환하므로, 전경 오브젝트(11251)의 화상은, 복수개의 화소의 화소값으로 투영된다. 도 138에 나타낸 화상의 화소값의 최대값과 비교하여, 도 139에 나타낸 화상의 화소값의 최대값은 작아진다.

도 139에 나타내는 화소값의 슬로프의 폭은, 배경 오브젝트의 화상의 폭에 대응한다.

도 139에 나타내는 화상의 개개의 화소에 대하여, 우측 인접한 화소와의 차 분값을 계산하고, 차분값을 화소에 설정하면, 도 140에 나타내는, 차분값으로 이루어지는 화상을 얻을 수 있다.

즉, 도 139에 나타내는 화상의 화소로부터 1개의 화소가 선택되고, 주목하고 있는 주목 화소로 된다. 그리고, 주목 화소의 화소값으로부터, 주목 화소의 우측 인접한 화소의 화소값이 뺄셈됨으로써 차분값이 구해진다. 차분값은, 주목 화소에 대응하는 위치의 화소에 설정된다. 도 139에 나타내는 화상의 화소가 차례로 주목 화소로 되고, 도 140에 나타내는 차분값으로 이루어지는 화상이 구해진다.

도 138 위쪽의 도면에 나타내는, 카메라의 셔터가 열린 순간에서의, 전경 오브젝트의 위치에 대하여 1화소 좌측에, 부호가 부(마이너스)인 차분값이 나타나 도 138 아래쪽의 도면에 나타내는, 카메라의 셔터가 닫히는 순간에서의, 전경 오브젝트의 위치에 대하여 1화소 좌측에, 부호가 정(플러스)인 차분값이 나타난다.

따라서, 도 140에 나타내는, 부호가 부(마이너스)인 차분값의 부호를 반전한 값과, 부호가 정(플러스)인 차분값과의 매칭을 취하면, 예를 들면, 매칭했을 때의, 부호가 정(플러스)인 차분값을 기준으로 한, 부호가 부(마이너스)인 차분값의 부호를 반전한 값의 이동량은, 모션량과 같다.

예를 들면, 부호가 정(플러스)인 차분값을 기준으로 하여, 부호가 부(마이너스)인 차분값의 부호를 반전한 값이 수평 방향으로 이동되고, 그 이동량마다, 부인 차분값을 반전한 값과 정인 차분값과의 상관이 검출되어, 최대의(가장 강한) 상관이 검출된다. 최대의 상관이 검출되었을 때의 이동량은, 모션량과 같다.

보다 구체적으로는, 예를 들면, 부호가 정(플러스)인 차분값을 기준으로 하 여, 부호가 부(마이너스)인 차분값의 부호를 반전한 값이 수평 방향으로 이동되고, 그 이동량마다, 부인 차분값을 반전한 값과 정인 차분값과의 상관으로서 화소마다, 반전한 값으로부터 플러스의 차분값이 뺄셈된다. 그리고, 뺄셈 한 결과 중의 최소의 값, 즉 최대의 상관이 검출된다. 검출된 최대의 상관에 대응하는 이동량은, 모션량과 같다.

이상과 같이, 화상의 1프레임으로부터, 노광 시간(셔터 시간)에 있어서, 대상물의 화상이 이동한 양인 모션량을 검출할 수 있다.

즉, 특징량 검출부(11203)의 차분 연산부(11214)는, 입력 화상의 처리 영역에서의 화소로부터 1개의 화소를 선택하여, 주목 화소로 하고, 주목 화소의 화소값으로부터, 주목 화소의 우측 인접한 화소의 화소값을 뺄셈함으로써, 예를 들면, 도 140에 나타내는 차분값을 연산한다. 차분 평가부(11215)는, 차분의 부호를 기초로, 플러스의 차분값과 마이너스의 차분값으로 분류한다.

중간 화상 작성부(11216)는, 분류된 플러스의 차분값으로부터, 그 플러스의 차분값으로 이루어지는 비반전 중간 화상을 작성한다. 중간 화상 작성부(11217)는, 분류된 마이너스의 차분값으로부터, 그 마이너스의 차분값으로 이루어지는 중간 화상을 작성한다. 부호 반전부(11219)는, 마이너스의 차분값으로 이루어지는 중간 화상의 마이너스의 화소값의 부호를 반전함으로써, 반전 중간 화상을 작성한다.

모션량 검출부(11204)는, 상관이 가장 강한 비반전 중간 화상과 반전 중간 화상과의 이동량을 구하여, 구해진 이동량을 모션량으로 한다.

특징량 검출부(11203)가, 움직이고 있는 대상물의 화상(오브젝트)을 검출하고, 움직이고 있는 대상물의 화상의 특징량을 검출했을 때, 모션량 검출부(11204)는, 특징량을 기초로 상관을 검출하고, 검출된 상관에 따라, 입력 화상 내의 대상물의 화상(오브젝트)의 모션량을 검출한다.

또, 특징량 검출부(11203)가, 움직이고 있는 대상물의 화상에 속하는 화소로부터 주목하고 있는 화소인 주목 화소를 선택하고, 주목 화소의 특징량을 검출했을 때, 모션량 검출부(11204)는, 주목 화소의 특징량과, 주목 화소에 대하여 모션 방향을 따라 배치되는 대응 화소의 특징량과의 상관을 검출하고, 검출된 상관에 따라, 입력 화상의 처리 영역에서의 대상물의 화상의 모션량을 검출한다.

도 141은, 도 137의 모션 검출부(11062)에 의한 모션량의 검출의 처리를 설명하는 플로차트이다.

스텝 S11201에 있어서, 모션 방향 검출부(11201) 및 모션 방향 수정부(11202)는, 입력 화상과 처리 영역 정보를 취득하고, 스텝 S11202로 진행한다.

스텝 S11202에 있어서, 모션 방향 검출부(112011)의 액티비티 연산부(11211)는, 스텝 S11201의 처리에 의해 취득된 입력 화상에서의 처리 영역의 화소에 대하여, 액티비티를 연산하고, 스텝 S11203으로 진행한다.

예를 들면, 액티비티 연산부(11211)는, 입력 화상에서의 처리 영역의 화소 중, 주목하고 있는 화소인 주목 화소를 선택한다. 액티비티 연산부(11211)는, 주목 화소의 주변의 소정수의 주변 화소를 추출한다. 예를 들면, 액티비티 연산부(11211)는, 주목 화소를 중심으로 한, 세로×가로가 5×5의 화소로 이루어지는 주 변 화소를 추출한다.

그리고, 액티비티 연산부(11211)는, 추출한 주변 화소로부터, 미리 정한 화상 상의 방향에 대응하는 액티비티를 검출한다.

이하의 설명에 있어서, 가로 방향의 화소의 1열의 줄을 행이라 하고, 세로 방향의 화소의 1열의 줄을 열이라고 한다.

액티비티 연산부(11211)는, 예를 들면, 5×5의 주변 화소에 대하여, 화면 상의 상하 방향(수직)으로 인접하는 화소의 화소값의 차분을 산출하여, 산출된 차분의 절대값의 총계를 차분의 수로 나누고, 그 결과를 액티비티로 함으로써, 화면의 수평 방향을 기준으로 하여, 90도의 각도(화면의 수직 방향)에 대한, 액티비티를 검출한다.

예를 들면, 20세트의, 화면 상의 상하 방향으로 인접하는 2개의 화소에 대하여, 화소값의 차분이 산출되고, 산출된 차분의 절대값의 합이 20으로 나눗셈되고, 그 결과(몫)가, 90도의 각도에 대한 액티비티로 설정된다.

액티비티 연산부(11211)는, 예를 들면, 5×5의 주변 화소에 대하여, 가장 아래 행의 화소로서, 가장 좌측의 화소 내지 좌측으로부터 4번째 화소의 각각의 화소값과, 각각의 화소에 대하여, 4화소 위쪽으로서, 1화소 우측 화소의 화소값과의 차분을 산출하여, 산출된 차분의 절대값의 총계를 차분의 수로 나누고, 그 결과를 액티비티로 함으로써, 화면의 수평 방향을 기준으로 하여, 76도의 각도(tan^-1(4/1))에 대한, 액티비티를 검출한다.

그리고, 예를 들면, 4세트의, 우측 상방향으로서, 상하 방향으로 4화소, 및 좌우방향으로 1화소 떨어진 위치에 있는 2개의 화소에 대하여, 화소값의 차분이 산출되고, 산출된 차분의 절대값의 합이 4로 나눗셈되고, 그 결과(몫)가, 76도의 각도에 대한 액티비티로 설정된다.

액티비티 연산부(11211)는, 마찬가지의 처리로, 화면의 수평 방향을 기준으로 하여, 90도 내지 180도의 범위의 각도에 대한 액티비티를 검출한다. 90도 내지 180도의 범위의 각도에 대한 액티비티를 검출하는 경우, 좌측 상방향으로 위치하는 화소의 화소값의 차분을 기초로, 액티비티가 산출된다.

이와 같이 검출된 액티비티는, 주목 화소에 대한 액티비티로 된다.

그리고, 검출된 액티비티를, 주변 화소에 대한 액티비티로 하도록 해도 된다.

또, 주변 화소는, 세로×가로가 5×5의 화소로 이루어지는 것으로 설명하였으나, 5×5의 화소에 한정되지 않고, 원하는 범위의 화소로 할 수 있다. 주변 화소의 수가 많은 경우, 각도의 분해능이 향상된다.

액티비티 연산부(11211)는, 복수개의 방향에 대응하는 액티비티를 나타내는 정보를 액티비티 평가부(11212)에 공급한다.

도 141으로 복귀하고, 스텝 S11203에 있어서, 액티비티 평가부(11212)는, 스텝 S11202의 처리에 있어서 산출된, 소정의 방향에 대응하는 액티비티를 기초로, 최소의 액티비티를 선택하고, 선택된 방향을 모션 방향으로 함으로써, 모션 방향을 구하여, 스텝 S11204으로 진행한다.

스텝 S11204에 있어서, 모션 방향 수정부(11202)는, 스텝 S11203의 처리에 있어서 구해진 모션 방향을 기초로, 모션 방향이 화상의 수평 방향이 되도록 입력 화상의 처리 영역에서의 화상 데이터를 변환하고, 스텝 S11205으로 진행한다. 예를 들면, 스텝 S11204에 있어서, 모션 방향 수정부(11202)의 아핀 변환부(11213)는, 스텝 S11203의 처리에 있어서 구해진 모션 방향을 기초로, 모션 방향이 화상의 수평 방향이 되도록 입력 화상의 처리 영역에서의 화상 데이터를 아핀 변환한다. 보다 구체적으로는, 예를 들면, 아핀 변환부(11213)는, 화면의 수평 방향을 기준으로 하여, 모션 방향이 18도의 각도일 때, 입력 화상의 처리 영역에서의 화상 데이터를 시계 방향으로 18도 회동하도록 아핀 변환한다.

스텝 S11205에 있어서, 특징량 검출부(11203)의 차분 연산부(11214)는, 스텝 S11204의 처리에 있어서, 모션 방향이 화면의 수평 방향이 되도록 변환된 입력 화상의 처리 영역에서의 각 화소에 대하여, 수평 방향으로 인접하는 화소와의 화소값의 차분값을 연산하고, 스텝 S11206으로 진행한다.

예를 들면, 스텝 S11205에 있어서, 차분 연산부(11214)는, 입력 화상의 처리 영역에서의 화소로부터 1개의 화소를 선택함으로써, 주목하고 있는 주목 화소로 한다. 그리고, 차분 연산부(11214)는, 주목 화소의 화소값으로부터, 주목 화소의 우측 인접한 화소의 화소값을 뺄셈함으로써 차분값을 구한다.

스텝 S11206에 있어서, 특징량 검출부(11203)의 차분 평가부(11215)는, 차분값의 부호를 기초로, 차분값을 배분하고, 스텝 S11207로 진행한다. 즉, 차분 평가부(11215)는, 0 이상인 차분값을 중간 화상 작성부(11216)에 공급하고, 0 미만인 차분값을 중간 화상 작성부(11217)에 공급한다. 이 경우에 있어서, 차분 평가부(11215)는, 차분값의 화면 상에 위치를 나타내는 위치 정보와 함께, 차분값을 중간 화상 작성부(11216) 또는 중간 화상 작성부(11217)에 공급한다.

스텝 S11207에 있어서, 특징량 검출부(11203)의 중간 화상 작성부(11216)는, 스텝 S11206의 처리로 배분하고, 0 이상인 차분값(플러스의 차분값)을 기초로, 플러스의 차분값으로 이루어지는 중간 화상을 생성하고, 스텝 S11208로 진행한다. 즉, 스텝 S11207에 있어서, 중간 화상 작성부(11216)는, 위치 정보로 나타내는 화면 상의 위치의 화소에 플러스의 차분값을 설정하고, 차분값이 공급되지 않았던 위치의 화소에 0을 설정함으로써, 중간 화상을 작성한다.

이와 같이, 스텝 S11207의 처리에 있어서, 비반전 중간 화상이 생성된다. 스텝 S11208에 있어서, 특징량 검출부(11203)의 중간 화상 작성부(11217)는, 스텝 S11206의 처리로 배분하고, 0 미만인 차분값(마이너스의 차분값)을 기초로, 마이너스의 차분값으로 이루어지는 중간 화상을 생성하고, 스텝 S11209로 진행한다. 즉, 스텝 S11208에 있어서, 중간 화상 작성부(11217)는, 위치 정보로 나타내는 화면 상의 위치의 화소에 마이너스의 차분값을 설정하고, 차분값이 공급되지 않았던 위치의 화소에 0을 설정함으로써, 중간 화상을 작성한다.

스텝 S11209에 있어서, 특징량 검출부(11203)의 부호 반전부(11219)는, 스텝 S11208의 처리에 의해 생성된 마이너스의 차분값으로 이루어지는 중간 화상의 마이너스의 차분값의 부호를 반전한다. 즉, 스텝 S11209에 있어서, 마이너스의 중간 화상의 화소에 설정되어 있는, 마이너스의 차분값이, 같은 절대값의 플러스의 값으 로 변환된다.

이와 같이, 스텝 S11209에 있어서, 반전 중간 화상이 생성되고, 그 후, 스텝 S11210으로 진행한다.

스텝 S11210에 있어서, 모션량 검출부(11204)는, 상관의 검출의 처리를 실행한다. 스텝 S11210의 처리의 자세한 것은, 도 142의 플로차트를 참조하여, 후술한다.

스텝 S11211에 있어서, 상관 평가부(11222)는, 스텝 S11210의 처리로 검출된 상관 중, 가장 강한 상관을 선택하고, 스텝 S11212로 진행한다. 예를 들면, 스텝 S11211에 있어서, 화소값의 차분의 절대값의 합인 상관값 중, 최소의 상관값이 선택된다.

스텝 S11212에 있어서, 상관 평가부(11222)는, 스텝 S11211의 처리로 선택된, 가장 강한 상관에 대응하는 이동량을 모션량에 설정하여, 스텝 S11213으로 진행한다. 예를 들면, 스텝 S11212에 있어서, 화소값의 차분의 절대값의 합인 상관값 중, 선택된 최소의 상관값에 대응하여, 후술하는 스텝 S11223의 처리에 의해 기억되어 있는, 반전 중간 화상의 이동량이 모션량으로 설정된다.

스텝 S11213에 있어서, 모션량 검출부(11204)는, 스텝 S11210의 처리에 있어서 검출한 모션량을 출력하고, 처리는 종료한다.

도 142는, 스텝 S11210의 처리에 대응하는, 상관의 검출의 처리를 설명하는 플로차트이다.

스텝 S11221에 있어서, 모션량 검출부(11204)의 상관 검출부(11221)는, 스텝 S11209의 처리에 의해 생성된, 반전 중간 화상의 화소의 위치를, 화소를 단위로 하여 수평 방향으로 이동하고, 스텝 S11222로 진행한다.

스텝 S11222에 있어서, 상관 검출부(11221)는, 비반전 중간 화상과, 스텝 S11221의 처리에 있어서, 화소의 위치가 이동된 반전 중간 화상과의 상관을 검출하고, 스텝 S11223으로 진행한다. 예를 들면, 스텝 S11222에 있어서, 비반전 중간 화상의 화소의 화소값과, 화면 상에서 대응하는 위치의, 반전 중간 화상의 화소의 화소값과의 차분이 산출되고, 산출된 차분의 절대값의 합이 상관값으로서 검출된다. 상관 검출부(11221)는, 스텝 S11221의 처리에서의 반전 중간 화상의 화소의 이동량과 함께, 검출된 상관을 나타낸 상관 정보를 상관 평가부(11222)에 공급한다.

스텝 S11223에 있어서, 상관 평가부(11222)는, 스텝 S11221의 처리에서의 반전 중간 화상의 화소의 이동량과 함께, 스텝 S11222의 처리에 있어서 검출된 상관을 기억하고, 스텝 S11224로 진행한다. 예를 들면, 상관 평가부(11222)는, 스텝 S11221의 처리에서의 반전 중간 화상의 화소의 이동량과 함께, 화소값의 차분의 절대값의 합인 상관값을 기억한다.

스텝 S11224에 있어서, 상관 검출부(11221)는, 모든 이동량에 대한 상관을 검출했는지 여부를 판정하고, 아직 상관을 검출하고 있지 않은 이동량이 있는 것으로 판정된 경우, 스텝 S11221로 복귀하고, 다음의 이동량에 대한 상관을 검출하는 처리를 반복한다.

예를 들면, 스텝 S11224에 있어서, 상관 검출부(11221)는, 화면의 좌측 방향 으로 70화소 내지 화면의 우측 방향으로 70화소의 범위에서, 반전 중간 화상의 화소를 이동했을 때의 상관을 모두 검출했는지 여부를 판정한다.

스텝 S11224에 있어서, 모든 이동량에 대한 상관을 검출한과 판정된 경우, 처리는 종료한다(리턴함).

이와 같이, 상관 검출부(11221)는, 상관을 검출할 수 있다.

이상과 같이, 도 137에 구성을 나타낸 모션 검출부(11062)는, 화상의 하나의 프레임으로부터, 모션량을 검출할 수 있다.

그리고, 여기서는, 처리 영역을 대상으로 하여 모션을 검출하도록 했지만, 전체 화면을 처리 대상으로 함으로써, 예를 들면, 손떨림에 의해 발생한 전체 화면의 움직임을 검출할 수 있다.

또, 입력 화상에 같은 모양의 반복 패턴이 많이 포함되어 있어도, 처리의 대상이 되는 입력 화상의 처리 영역의 모션량 및 모션 방향이 일정하면, 정확하게 모션량을 검출할 수 있다.

그리고, 전술한 경우에는, 화상의 하나의 프레임으로부터 모션량을 검출하면 설명하였으나, 1개의 필드로부터 모션량을 검출하도록 해도 되는 것은 물론이다.

또, 선택한 주목 화소의 주변에 대해서만, 모션량을 검출하도록 해도 된다.

도 143은, 도 111에 나타낸 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타내고 있다.

그리고, 도 143은, 예를 들면, 일정 방향으로 일정한 속도로 이동한다는 정상성을 가지는 데이터(3)의 일례인 모션 흐릿함이 발생한 화상 데이터(이하, 적당 히, 모션 흐릿함 화상 데이터라고 함)로부터, 실세계(1)의 광신호를 추정하는 신호 처리 장치(4)의 일실시예의 구성예를 나타내고 있다. 즉, 이 신호 처리 장치(4)는, 예를 들면, 촬영시에 피사체(오브젝트)가 움직인 것에 의해, 피사체가 흐릿해져 촬영되어 버린 화상(이하, 적당히, 모션 흐릿함 화상이라고 함)로부터, 그 흐릿함이 없는 화상(이하, 적당히, 모션 흐릿함이 없는 화상이라고 함)을 추정한다. 따라서, 도 143의 실시예에서는, 입력 화상으로서, 이동하고 있는 오브젝트를 촬영함으로써 얻어진 모션 흐릿함이 생기고 있는 모션 흐릿함 화상이, 신호 처리 장치(4)에 입력된다. 그리고, 여기서는, 입력 화상으로서, 수평 방향(좌측으로부터 우측 방향)으로 일정한 속도(모션량)로 이동하고 있는 오브젝트를 촬상하여 얻어지는 화상을 채용한다.

도 143에 있어서, 처리 영역 설정부(12001), 정상성 설정부(12002), 실세계 추정부(12003), 화상 생성부(12004), 화상 표시부(12005), 사용자 I/F(12006)는, 도 111의 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006)에 각각 대응하고 있고, 기본적으로는, 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006) 각각과 마찬가지의 처리를 행한다. 또한, 도 143에 있어서, 실세계 추정부(12003)는, 모델 생성부(12011), 방정식 생성부(12012), 실세계 파형 추정부(12013)로 구성되어 있다. 모델 생성부(12011), 방정식 생성부(12012), 실세계 파형 추정부(12013)는, 도 111의 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013) 에 각각 대응하고 있고, 기본적으로는, 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013) 각각과 마찬가지의 처리를 행한다.

단, 도 143에 있어서는, 사용자가 사용자 I/F(12006)를 조작함으로써, 사용자 I/F(12006)가 출력하는 보조 정보가, 처리 영역 설정부(12001)에만 공급되도록 되어 있다.

즉, 도 143에서는, 사용자는, 사용자 I/F(12006)를 조작함으로써, 화상 표시부(12005)에 표시된 화상에 대하여, 처리 영역으로 하는 영역을 지시할 수 있도록 되어 있고, 사용자 I/F(12006)는, 사용자가 처리 영역을 지시하는 조작을 행하면, 그 조작에 의해 지정된 영역으로서의 처리 영역을 나타내는 처리 영역 지시 정보를, 처리 영역 설정부(12001)에 공급한다.

그리고, 사용자 I/F(12006)를 조작함으로써 처리 영역을 지시하는 방법으로서는, 예를 들면, 처리 영역을 에워싸는 직사각형에 따라서 지시하는 방법, 처리 영역을 트림(trim)함으로써 지시하는 방법, 처리 영역 중 임의의 1점 이상을 포인팅함으로써 지시하는 방법 등이 있지만, 여기서는, 예를 들면, 사용자는, 처리 영역 중 임의의 1점을, 사용자 I/F(12006)를 조작하여 포인팅함으로써, 처리 영역을 지시하는 것으로 한다. 이 경우, 사용자 I/F(12006)는, 사용자가 포인팅한 점을 나타내는 정보로서의, 예를 들면, 그 점의, 화상 상의 좌표를, 처리 영역 지시 정보로서, 처리 영역 설정부(12001)에 공급한다.

다음에, 도 144의 플로차트를 참조하여, 도 143의 신호 처리 장치(4)의 처리에 대하여 설명한다.

먼저 최초에, 스텝 S12001에 있어서, 신호 처리 장치(4)는, 사전 처리를 행하고, 스텝 S12002로 진행한다. 즉, 신호 처리 장치(4)는, 센서(2)(도 1)로부터 데이터(3)로서 공급되는, 예를 들면 1프레임 또는 1필드의 입력 화상을, 처리 영역 설정부(12001), 정상성 설정부(12002), 실세계 추정부(12003), 화상 생성부(12004), 및 화상 표시부(12005)에 공급한다. 또한, 신호 처리부(4)는, 화상 표시부(12005)에, 입력 화상을 표시하게 한다.

스텝 S12002에서는, 사용자 I/F(12006)는, 사용자가 사용자 I/F(12006)를 조작함으로써, 어떠한 사용자 입력이 있었는지 여부를 판정한다. 스텝 S12002에 있어서, 사용자 입력이 없었다고 판정된 경우, 즉, 사용자가 아무런 조작도 행하지 않은 경우, 스텝 S12003내지 S12005를 스킵하여, 스텝 S12006으로 진행한다.

또, 스텝 S12002에 있어서, 사용자 입력이 있었다고 판정된 경우, 즉, 사용자가 화상 표시부(12005)에 표시된 입력 화상을 보고, 사용자 I/F(12006)를 조작하고, 이로써, 어떠한 지시 또는 정보를 나타내는 사용자 입력이 있었을 경우, 스텝 S12003으로 진행하고, 사용자 I/F(12006)는, 그 사용자 입력이, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시인지 여부를 판정한다.

스텝 S12003에 있어서, 사용자 입력이 종료 지시인 것으로 판정된 경우, 즉, 예를 들면, 화상 표시부(12005)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼지 않고, 입력 화상에 대하여 신호 처리를 행하지 않아도 되는 것으로 하여, 신호 처리 장치(4)의 처리를 종료하도록, 사용자 I/F(12006)를 조작한 경우, 신호 처리 장치(4)는 처리를 종료한다.

또, 스텝 S12003에 있어서, 사용자 입력이 종료 지시가 아닌 것으로 판정된 경우, 스텝 S12004으로 진행하고, 사용자 I/F(12006)는, 사용자 입력이 처리 영역 지시 정보인지 여부를 판정한다. 스텝 S12004에 있어서, 사용자 입력이 처리 영역 지시 정보가 아닌 것으로 판정된 경우, 스텝 S12005를 스킵하여, 스텝 S12006으로 진행한다.

한편, 스텝 S12004에 있어서, 처리 영역 지시 정보의 입력이 있었다고 판정된 경우, 즉, 화상 표시부(12005)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼고, 그 불만이 있는 부분을 포인팅하도록, 사용자 I/F(12006)를 조작한 경우, 스텝 S12005로 진행하고, 사용자 I/F(12006)는, 사용자가 사용자 I/F(12006)를 조작함으로써 포인팅한 점을 나타내는 처리 영역 지시 정보를, 처리 영역 설정부(12001)에 공급하고, 스텝 S12006으로 진행한다.

스텝 S12006에서는, 처리 영역 설정부(12001)는, 사용자 I/F(12006)로부터 공급된 처리 영역 지시 정보에 따라, 처리 영역을 설정하고, 그 처리 영역 정보를, 정상성 설정부(12002), 실세계 추정부(12003), 및 화상 생성부(12004)에 공급하고, 스텝 S12007으로 진행한다. 단, 사용자 I/F(12006)로부터 처리 영역 설정부(12001)에 처리 영역 지시 정보가 공급되지 않았던 경우(스텝 S12002 또는 스텝 S12004의 처리의 직후에 스텝 S12006의 처리가 행해지는 경우)에는, 처리 영역 설정부(12001)는, 소정의 처리(예를 들면, 입력 화상에 있어서 모션 흐릿함이 생기고 있는 영역을 검출하는 처리)를 행함으로써, 자동적으로 처리 영역을 설정한다.

스텝 S12007에서는, 정상성 설정부(12002)는, 처리 영역 설정부(12001)로부 터 공급된 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식한다. 또한, 정상성 설정부(12002)는, 그 처리 영역의 화상 데이터에 있어서 결락된 실세계(1)의 광신호의 정상성을 나타내는 정보로서, 처리 영역에 표시된 오브젝트의 모션량을 설정하고, 그 정상성을 나타내는 정상성 정보를, 실세계 추정부(12003)에 공급하고, 스텝 S12008으로 진행한다. 그리고, 이 모션량은, 사용자가 사용자 I/F(12006)를 조작하여 입력해도 된다. 또, 여기서는, 정상성 설정부(12002)는, 입력 화상에 있어서, 오브젝트가 수평 방향으로 이동하고 있는 것을 전제로 하여, 그 모션의 크기만을 나타내는 모션량을 정상성 정보로서 설정하도록 했지만, 그 외에, 오브젝트의 모션의 크기와 방향을 나타내는 모션 벡터를 정상성 정보로서 설정할 수도 있다.

스텝 S12008에서는, 실세계 추정부(12003)는, 처리 영역 설정부(12001)로부터 공급된 처리 영역 정보에 따라, 입력 화상에서의 처리 영역 내의 화상 데이터(모션 흐릿함 화상의 데이터)로부터, 대응하는 실세계(1)의 광신호의 모션량에 따라, 그 실세계(1)의 광신호(모션 흐릿함이 없는 화상)를 추정한다.

즉, 실세계 추정부(12003)에서는, 모델 생성부(12011)가, 처리 영역 설정부(12001)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 정상성 설정부(12002)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 실세계(1)의 광신호의 모션량, 즉, 여기서는, 처리 영역에 표시된 오브젝트의 모션량을 인식한다. 또한, 모델 생성부(12011)는, 입력 화상에서의 처리 영역의 각 수평 라인을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응 하는 실세계(1)의 광신호의 모션량에 따라, 처리 영역의 각 수평 라인의 화소의 화소값과 실세계(1)의 광신호와의 관계를 모델화한 모델(이하, 적당히, 관계 모델 라는)을 처리 영역의 수평 라인마다 생성하고, 방정식 생성부(12012)에 공급한다.

방정식 생성부(12012)는, 처리 영역 설정부(12001)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 따라, 입력 화상의 각 화소의 화소값을, 모델 생성부(12011)로부터 공급되는 처리 영역의 수평 라인마다의 관계 모델에 대입하고, 이로써, 실세계(1)의 광신호를 근사시키는 근사 모델로서의 근사 함수를 구하는 방정식을 생성하여, 실세계 파형 추정부(12013)에 공급한다. 또한, 방정식 생성부(12012)는, 처리 영역 정보에 따라, 근사 함수를 구속하는 구속 조건식을 생성하고, 실세계 파형 추정부(12013)에 공급한다.

실세계 파형 추정부(12013)는, 방정식 생성부(12012)로부터 공급되는 방정식을 연산함으로써, 실세계(1)의 광신호의 파형을 추정한다. 즉, 실세계 파형 추정부(12013)는, 방정식 생성부(12012)로부터 공급되는 방정식을 푸는 것에 의해, 실세계(1)의 광신호를 모델화한 근사 모델로서의 근사 함수를 구하고, 실세계(1)의 광신호의 파형의 추정 결과로서, 화상 생성부(12004)에 공급한다.

그리고, 이하, 이와 같은 실세계 추정부(12003)가 실행하는 스텝 S12008의 처리를, 「실세계의 추정 처리」라고 한다. 「실세계의 추정 처리」의 상세한 것에 대하여는, 도 149의 플로차트를 참조하여 후술한다.

스텝 S12008의 처리 후는, 스텝 S12009로 진행하고, 화상 생성부(12004)는, 실세계 추정부(12003)(의 실세계 파형 추정부(12013))로부터 공급된, 실세계(1)의 광신호의 파형을 근사시키는 근사 함수에 따라, 실세계(1)의 광신호에 의해 근사시킨 신호를 생성한다. 즉, 화상 생성부(12004)는, 처리 영역 설정부(12001)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 실세계 추정부(12003)로부터 공급되는 근사 함수에 따라, 실세계(1)의 광신호에 의해 근사시킨 근사 화상(여기서는, 예를 들면, 모션 흐릿함이 없는 화상)을 생성한다.

또한, 화상 생성부(12004)는, 입력 화상의 처리 영역의 부분을, 근사 화상(모션 흐릿함이 없는 화상)으로 치환한 화상을, 출력 화상으로서 생성하고, 화상 표시부(12005)에 공급하고, 스텝 S12009로부터 S12010으로 진행한다.

스텝 S12010에서는, 화상 표시부(12005)는, 화상 생성부(12004)로부터 공급된 출력 화상을, 스텝 S12001로 표시된 입력 화상에 대신하거나, 또는 그 입력 화상과 함께 표시하고, 스텝 S12011로 진행한다.

스텝 S12011에서는, 사용자 I/F(12006)는, 스텝 S12002에서의 경우와 마찬가지로, 사용자가 사용자 I/F(12006)를 조작함으로써, 어떠한 사용자 입력이 있었는지 여부를 판정하고, 사용자 입력이 없었다고 판정한 경우, 즉, 사용자가 아무런 조작도 행하지 않은 경우, 스텝 S12011로 복귀하고, 어떠한 사용자 입력이 있을 때까지 기다린다.

또, 스텝 S12011에 있어서, 사용자 입력이 있었다고 판정된 경우, 즉, 사용자가, 화상 표시부(12005)에 표시된 입력 화상이나 출력 화상을 보고, 사용자 I/F(12006)를 조작하고, 이로써, 어떠한 지시 또는 정보를 나타내는 사용자 입력이 있었을 경우, 스텝 S12012로 진행하고, 사용자 I/F(12006)는, 그 사용자 입력이, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시인지 여부를 판정한다.

스텝 S12012에 있어서, 사용자 입력이 종료 지시인 것으로 판정된 경우, 즉, 예를 들면, 화상 표시부(12005)에 표시된 출력 화상을 본 사용자가, 그 출력 화상의 화질에 불만을 느끼지 않고, 출력 화상에 대하여 신호 처리를 행하지 않아도 되는 것으로 하여, 신호 처리 장치(4)의 처리를 종료하도록, 사용자 I/F(12006)를 조작한 경우, 신호 처리 장치(4)는 처리를 종료한다.

또, 스텝 S12012에 있어서, 사용자 입력이 종료 지시가 아닌 것으로 판정된 경우, 스텝 S12013으로 진행하고, 사용자 I/F(12006)는, 사용자 입력이 처리 영역 지시 정보인지 여부를 판정한다. 스텝 S12013에 있어서, 사용자 입력이 처리 영역 지시 정보가 아닌 것으로 판정된 경우, 스텝 S12011로 복귀하고, 이하, 마찬가지의 처리가 반복된다.

또, 스텝 S12013에 있어서, 사용자 입력이 처리 영역 지시 정보인 것으로 판정된 경우, 즉, 화상 표시부(12005)에 표시된 출력 화상을 본 사용자가, 그 출력 화상의 화질에 불만을 느끼고, 그 출력 화상에 대하여, 새롭게 그 불만이 있는 부분을 포인팅하도록, 사용자 I/F(12006)를 조작한 경우, 스텝 S12005로 복귀하고, 전술한 바와 같이, 사용자 I/F(12006)는, 사용자가 사용자 I/F(12006)를 조작함으로써 포인팅한 점을 나타내는 처리 영역 지시 정보를, 처리 영역 설정부(12001)에 공급한다. 그리고, 스텝 S12005로부터 스텝 S12006으로 진행하고, 이하, 마찬가지 의 처리가 반복된다.

즉, 이로써, 스텝 S12005내지 S12013의 처리가 반복되고, 출력 화상에 대한 사용자의 불만이 해소되고, 그 결과, 사용자가 원하는 화질의 출력 화상을 얻을 수 있다.

이상과 같이, 신호 처리 장치(4)에서는, 입력 화상에 대한 처리 결과로서의 출력 화상을 사용자에게 제시하고, 그 출력 화상으로부터 새로운 처리 영역을 지시하여 받고, 그 처리 영역에 따라, 재차 처리를 행하도록 했으므로, 사용자의 기호에 있던, 고화질의 출력 화상을, 용이하게 얻을 수 있다. 즉, 신호 처리 장치(4)는, 입력 화상에 대한 처리 결과로서 출력 화상을 사용자에게 제시한다. 한편, 사용자는, 그 출력 화상의 화질을 인식하고, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상인지 여부를 판단하여, 신호 처리 장치(4)에 피드백한다. 그리고, 신호 처리 장치(4)는, 그 사용자로부터의 피드백을 근거로 하여 재차, 입력 화상을 처리하고, 이하, 마찬가지의 처리가 반복된다. 따라서, 사용자의 기호에 있던, 고화질의 출력 화상을, 용이하게 얻을 수 있다.

여기서, 실세계 추정부(12003)의 구체적인 설명에 들어가기 전에, 처리 영역 내의 각 화소의 화소값과 실세계(1)의 광신호와의 관계를 모델화한 관계 모델에 대하여 설명한다.

도 145에 의해 나타낸 바와 같이, 센서(2)의 평면상에는, 복수개의 검출 소자(2-1)(화소)가 배치되어 있다.

도 145의 예에서는, 검출 소자(2-1)의 소정의 1변에 평행한 방향이, 공간 방향의 1방향인 X 방향으로 되어 있고, X 방향으로 수직인 방향이, 공간 방향의 다른 방향인 Y 방향으로 되어 있다. 그리고, X－Y 평면에 수직인 방향이, 시간 방향인 t 방향으로 되어 있다.

또, 도 145의 예에서는, 센서(2)의 각 검출 소자(2-1)의 각각의 공간적인 형상은, 1변의 길이가 1의 정방형로 되어 있다. 그리고, 센서(2)의 셔터 시간(노광 시간)이 1로 되어 있다.

또한, 도 145의 예에서는, 센서(2)의 소정의 1개의 검출 소자(2-1)의 중심이, 공간 방향(X 방향과 Y 방향)의 원점(X 방향의 위치 x= 0, 및 Y 방향의 위치 y= 0으로 되어 있고, 또, 노광 시간의 중간 시각이, 시간 방향(t 방향)의 원점(t 방향의 위치 t= 0로 되어 있다.

이 경우, 공간 방향의 원점(x= 0, y= 0에 그 중심이 존재하는 검출 소자(2-1)는, X 방향으로 ―0.5 내지 0.5의 범위, Y 방향으로 ―0.5 내지 0.5의 범위, 및 t 방향으로 ―0.5 내지 0.5의 범위에서 실세계(1)의 광신호를 나타내는 광신호 함수 F(x, y, t)를 적분하고, 그 적분값을 화소값 P로서 출력하게 된다.

즉, 공간 방향의 원점에 그 중심이 존재하는 검출 소자(2-1)로부터 출력되는 화소값 P는, 다음의 식(146)에 의해 표현된다.

…(146)

그 외의 검출 소자(2-1)도 마찬가지로, 대상으로 하는 검출 소자(2-1)의 중심을 공간 방향의 원점으로 함으로써, 식(146)에 나타내는 화소값 P를 출력하게 된다.

다음에, 센서(2)의 적분 효과에 의해 발생하는 모션 흐릿함을, 도 146, 도 147 (A) 내지 도 147 (C), 및 도 148 (A) 내지 도 148 (C)를 참조하여 설명한다. 이 예에 있어서, 센서(2)로부터 출력되는 화상 데이터에는, 공간 혼합이 아닌 것으로 한다. 즉, 실세계(1)의 광신호 중 1화소(센서(2)의 검출 소자)에 대응하는 부분에는, 동일 레벨의 광신호가 공간적으로 한결같이 분포하는 것으로 한다.

도 146은, 센서(1)로 촬영되는 실세계(1)의 광신호로서의 피사체(오브젝트)가 수평 방향(X 방향)으로 일정한 속도로 움직이고 있다는 정상성을 가지는 경우의, 그 모션의 모션량을 설명하는 도면이다.

도 146에 있어서, X 방향과 t 방향은, 센서(2)의 X 방향과 t 방향(도 145)을 나타내고 있다. 또, 노광 개시 시각을, t 방향의 원점(t 방향의 위치 t= 0)으로 하고, 노광 개시 시점에서의 피사체의 X 방향이 있는 위치를 X 방향의 원점(X 방향의 위치 X= 0으로 한다.

피사체가 수평 방향(X 방향)으로 일정 속도로 이동하고 있는 경우, 시각 t와 피사체의 X 방향의 위치와의 관계는, 도 146에 있어서, 점선에 나타낸 직선에 의해 표현된다. 그리고, 이 점선의 직선의 경사가, 피사체가 이동하는 속도를 나타낸다.

여기서, 지금의 경우, 도 146에 실선으로 나타낸 바와 같이, 피사체는, 어떤 시각Δt는 정지하고, 그 후 무한소(無限小)의 시간에 1화소분 만큼 이동하는 것을 반복함으로써, 등가적으로, 1/Δt 라는 일정한 속도로 이동하고 있는 것으로 한다.

이상과 같이, 실세계(1)의 광신호 중 1화소에 대응하는 부분이 일정 레벨이며, 또한 그 모션이 1화소 단위로 행해지는 것으로 가정함으로써, 센서(2)의 적분 효과에 의해 생기는 공간 혼합과 시간 혼합 중, 공간 혼합은 생기지 않게 되므로, 시간 혼합만을 고려할 수 있다. 여기서는, 설명을 간단하게 하기 위해, 센서(2)의 적분 효과에 의해 생기는 시간 혼합만에 기인하는 모션 흐릿함을 대상으로 하여 설명을 행한다.

여기서, 모션량은, 예를 들면, 피사체가 노광 시간 내에 횡단하는 센서(2)의 화소수로 나타내는 것으로 한다. 도 146에 있어서, 예를 들면, 노광 시간이 5Δt인 것으로 하면, 노광 시간 내에 피사체가 움직이는 화소수는 5이며, 따라서, 모션량도 5로 된다.

도 147 (A) 내지 도 147 (C)는, 노광 시간에 있어서 피사체(오브젝트)가 X 방향으로 모션량 5로 등속으로 이동하는 경우의 광신호 함수 F(x, y, t)의 y와 t를 고정으로 한 X단면 파형 F(x), 즉, 처리 영역이 있는 수평 라인에 투영되는 광신호 함수 F(x, y, t)의 X단면 파형 F(x)를 근사시킨 근사 함수 f(x)를 설명하는 도면이다.

도 147 (A) 내지 도 147 (C)의 예에서는, 처리 영역의 X 방향의 화소수(수평 라인의 화소수)는 8이다.

도 147 (A) 내지 도 147 (C)에 있어서, X 방향은, 센서(2)의 X 방향(도 145)을 나타내고 있다. 또, 처리 영역의 좌측단의 화소의 중심이, X 방향의 원점(X 방향의 위치 x= 0로 되어 있다.

도 147 (A)는, 노광 개시 시점에서의 근사 함수 f(x)와 센서(2)의 X 방향의 위치의 관계를 나타내고 있다. 도 147 (A)의 근사 함수 f(x)는, 이하의 식(147)에 의해 표현된다.

…(147)

그리고, 여기서는, 전술한 바와 같이, 근사 함수 f(x)에 의해 근사되는 실세계(1)의 광신호의 1화소에 대응하는 부분에는, 동일 레벨의 광신호가 공간적으로 한결같이 분포하는 것으로 하고 있으므로, 식(147)에 있어서, Q₀ 내지 Q₇는 각각 일정값이다.

여기서, 피사체는 모션량 5로 등속으로 움직이고 있다. 따라서, 예를 들면, 노광 시간을 1로 하면, 피사체가, 전회 1화소 움직이고 나서 다음에 1화소 움직일 때까지의 시간은, 노광 시간/모션량, 즉(1)/(5)로 된다.

따라서, 노광 개시 시각을(0)로 하면, 시각(1)/(5)에는, 근사 함수 f(x)와 센서(2)의 X 방향의 위치의 관계는, 도 147 (B)에 나타낸 바와 같이 된다. 즉, 근사 함수 f(x)는, 도 147 (A) 상태로부터 X 방향으로 1화소분 어긋난 함수로 된다. 따라서, 이 때의 근사 함수 f(x)는, 이하의 식(148)에 의해 표현된다.

…(148)

마찬가지로 피사체가 X 방향으로 1화소 단위로 이동하여 가고, 예를 들면, 시각 4/5에는, 근사 함수 f(x)와 센서(2)의 X 방향의 위치의 관계는, 도 147 (C)에 나타낸 바와 같이 된다. 즉, 피사체는, 시각 4/5에는, X 방향으로 4화소 이동하고 있으므로, 근사 함수 f(x)는, 도 147 (A) 상태로부터, X 방향으로 4화소분 어긋난 함수로 된다. 따라서, 이 때의 근사 함수 f(x)는, 이하의 식(149)에 의해 표현된 다.

…(149)

여기서, 도 145로 전술한 바와 같이, 센서(2)로부터 얻어지는 화소값은, 노광 개시 시각에서의 실세계(1)의 광신호로부터, 노광 종료시각에서의 실세계(1)의 광신호까지가 적분된 값이다. 환언하면, 화소값은, 노광 개시 시각에서의 광의 레벨로부터, 노광 종료시각에서의 광의 레벨까지가 시간적으로 혼합된 레벨에 대응하는 값이다.

따라서, 실세계(1)의 광신호 중 1화소(센서(2)의 검출 소자)에 대응하는 부분이, 동일 레벨의 광신호가 시간적으로 한결같이 분포하는 부분이 아니고, 예를 들면, 피사체가 움직인 경우와 같이, 시간에 의해 상이한 레벨의 광신호의 각각 이 분포하는 부분인 경우, 그 부분은, 센서(2)에 의해 검출되면, 센서(2)의 적분 효과에 의해, 상이한 광의 레벨이 시간적으로 혼합되어(시간 방향으로 적분(가산)되어) 1개의 화소값으로 되어 버린다. 이와 같이, 피사체가 움직이거나 피사체의 촬영시 에 손떨림이 생긴 경우에 있어서, 1화소에 대응하는 피사체의 화상(실세계(1)의 광신호)이 시간에 의해 상이한 레벨인 화소로 이루어지는 영역을, 여기서는, 시간 혼합 영역이라고 한다. 그리고, 피사체가 움직인 것에 의해 생기는 시간 혼합 영역을, 모션 흐릿함 영역이라고 한다. 따라서, 모션 흐릿함 영역의 화소값은, 노광 개시 시각에서의 피사체의 화상(실세계(1)의 광신호)로부터, 노광 종료시각에서의 피사체의 화상(실세계(1)의 광신호)이 시간적으로 적분(가산)된 값으로 된다. 도 143의 실세계 추정부(12003)는, 모션 흐릿함 영역의 화소값으로부터, 실세계(1)의 광신호를 추정한다. 즉, 실세계 추정부(12003)는, 모션 흐릿함 영역의 화소값이, 실세계(1)의 광신호를 근사시키는 근사 함수 f(x)를, 노광 개시 시각으로부터 노광 종료시각 까지의 사이, 모션량에 대응하여 이동하면서 적분함으로써 얻어진 값인 것으로 하여, 모션 흐릿함 영역의 화소값과 근사 함수 f(x)의 관계를 모델화한 관계 모델을 생성하고, 그 관계 모델에 따라 근사 함수 f(x)를 구한다.

여기서, 전술한 바와 같이 모션량이 5인 것으로 하면, 피사체는, 노광 종료시각인 시각 1에, X 방향으로 1화소 이동하고, 노광 개시 시각의 위치로부터 X 방향으로 5화소 이동한 위치에 도달한다. 그러나, 그 순간에, 센서(2)에서의 노광 이 종료된다. 따라서, 노광 시간인 1의 사이에 센서(2)에서의 노광의 대상이 되는 것은, 노광 개시 시각을 0으로 하면, 시각 0, 1/5, 2/5, 3/5, 4/5에서의 근사 함수 f(x)로 된다.

도 148 (A) 내지 도 148 (C)는, 모션 흐릿함 영역의 센서(2)로부터 출력되는 화상 데이터와, 실세계(1)의 광신호를 나타내는 광신호 함수 F(x, y, t)를 X 방향 으로 투영한 X단면 파형 F(x)를 근사시키는 근사 함수 f(x)와의 관계(관계 모델)를 설명하는 도면이다.

도 148 (A) 내지 도 148 (C)에 있어서, X 방향과 t 방향은, 센서(2)의 X 방향과 t 방향(도 145)을 나타내고 있다. 영역(12031)은, 센서(2)의 X 방향으로 정렬된 복수개의 화소에 대응하는 영역을 나타내고 있다. 여기서는, 영역(12031)은, 8개의 소영역(세로로 긴 직사각형의 영역)으로 구분되어 있고, 이 소영역의 각각 은 1개의 화소에 상당한다. 그리고, 여기서는, 영역(12031)의 소영역의 수, 즉, 화소수는, 처리 영역의 각 수평 라인의 X 방향의 화소수와 일치한다. 소영역의 X 방향의 한 변의 길이는, 센서(2)의 화소의 X 방향의 길이를 나타내고, t 방향의 1변의 길이는, 센서(2)의 노광 시간을 나타낸다. 따라서, 영역(12031)은, 처리 영역이 있는 수평 라인을 구성하는 화소의 영역이라고 파악할 수 있다.

도 148 (A)는, 센서(2)의 영역(12031)에 대하여, 근사 함수 f(x)에 의해 표현되는 실세계(1)의 광신호가 정지하고 있는 경우에, 그 광신호가 입력되었을 때의 센서(2)로부터 출력되는 화상 데이터(화소값) Q₀ 내지 Q₇의 예를 나타내고 있다.

지금, x₀ 내지 x₇각각을, 영역(12031)의 8개의 화소의 X 방향의 중심의 좌표값으로 한다. 단, x₀＜x₁···＜x₇의 관계가 있다고 하고, 또 지금의 경우, 화소의 X 방향의 폭을 1로 하고 있으므로, 식 x₁= x₀+1, x₂= x₁+1, ···, x₇= x₆+1의 관계가 있다. 이 경우, 근사 함수 f(x)는, 식(150)으로 나타낼 수가 있다.

…(150)

실세계(1)의 광신호가 정지하고 있는 경우, 영역(12031)의 8개의 화소에 있어서 얻어지는 화소값은, 식(146)으로부터, 식(150)의 근사 함수 f(x)를, 노광 시간에 걸쳐 적분한 값으로 된다. 지금의 경우, 노광 시간은 1이므로, 영역(12031)의 8개의 화소에서 얻어지는 화소값은, 도 148 (A)에 나타낸 바와 같이, 식(150)의 근사 함수 f(x)의 값인 Q₀ 내지 Q₇와 동일한 값으로 된다. 따라서, Q₀ 내지 Q₇는, 실세계(1)의 광신호가 정지하고 있는 경우의 영역(12031)의 8개의 화소의 화소값이며, 이 화소값 Q₀ 내지 Q₇를 얻을 수 있는 화소에는 모션 흐릿함이 생기지 않으므로, 이하, 적당히, 모션 흐릿함이 없는 화소값이라고 한다.

도 148 (B)는, 근사 함수 f(x)에 의해 표현되는 실세계(1)의 광신호가, 어떤 모션량 V로 수평 방향으로 이동하고 있다는 정상성을 가지고 있는 경우에, 센서(2)의 영역(12031)에 대하여, 근사 함수 f(x)에 의해 표현되는 신호가 입력되었을 때의 센서(2)로부터 출력되는 화상 데이터(화소값) P₀ 내지 P₇의 예를 나타내고 있다. 여기서, 화소값 P₀ 내지 P₇는, 영역(12031) 내의 X 방향의 중심의 좌표가, 각각 x₀, x₁, ···, x₇인 8개의 화소의 화소값이다.

노광 시간에서의 모션량 V가, 예를 들면 5일 때, 화소값 P₀ 내지 P₇는, 모션량 V와 모션 흐릿함이 없는 화소값 Q₀ 내지 Q₇를 사용하여, 도 148 (C)에 나타낸 바와 같이 나타낼 수가 있다.

즉, 실세계(1)의 광신호가, 도 146 및 도 147 (A) 내지 도 147 (C)에서 설명한 바와 같이, 수평 방향으로 일정 속도로 이동하고 있는 경우, X 방향의 중심의 좌표가 x₀ 내지 x₇인 8개의 화소에는, 1/v(도 148 (C)의 경우, 1/5)의 시간마다, 그 화소의 위치에서의, 근사 함수 f(x)에 의해 표현되는 광신호에 대응하는 전하가 축적된다.

지금, X 방향의 중심의 좌표값이 x₁인 화소를, 화소 ＃1로 나타내는 것으로 하면, 예를 들면, X 방향의 중심의 좌표값이 x4의 화소 ＃4에는, 노광 개시 시각인 0으로부터, 시각 1/v 까지의 시간 1/v의 사이에, 그 화소 ＃4의 위치에서의 근사 함수 f(x)에 의해 표현되는 광신호에 대응하는 전하가 축적된다. 즉, 화소 ＃4에 있어서, 이 때 축적되는 전하에 의한 화소값은, 노광 시간이 1일 때 축적되는 전하에 의한 화소값 Q₄의 1/v인, Q₄/v 로 된다. 즉, 이 때 화소 ＃4에 축적되는 전하에 의한 화소값은, 식(150)의 근사 함수 f(x)에서의 화소 ＃4의 위치에서의 값Q₄가 시 간 1/v 만큼 시간 적분된 값인 Q₄/v 로 된다.

다음에, 시각 1/v로부터 시각 2/v 까지의 1/v의 사이에, 화소 ＃4에는, 그 화소 ＃4의 위치에서의 근사 함수 f(x)에 의해 표현되는 광신호에 대응하는 전하가 축적된다. 이 때, 실세계(1)의 광신호가 모션량 V로 수평 방향으로 이동하고 있다는 정상성에 의해, 근사 함수 f(x)는, 노광 개시 시각에서의 상태로부터 X 방향으로 1화소분 어긋난 상태로 되어 있으므로, 화소 ＃4에 축적되는 전하에 의한 화소값은, X 방향으로 1화소분 어긋난 근사 함수 f(x)에서의 화소 ＃4의 위치에서의 값Q₃가 시간 1/v 만큼 시간 적분된 값인 Q₃/v 로 된다.

노광 시간의 사이에, 근사 함수 f(x)는 X 방향으로 등속으로 이동하므로, 이하, 전술한 경우와 마찬가지로, 화소 ＃4에는, 시각 2/v로부터 시각 3/v 까지의 시간 1/v의 사이에, 화소값 Q₂/v에 대응하는 전하가 축적되고, 시각 3/v로부터 시각4/v 까지의 시간 1/v의 사이에, 화소값 Q₁/v에 대응하는 전하가 축적된다. 또한, 화소 ＃4에는, 시각 4/v로부터 시각 5/v(도 148 (C)의 경우, 시각 1, 즉, 노광 종료시각)까지의 시간 1/v의 사이에, 화소값 Q₀/v에 대응하는 전하가 축적된다. 따라서, 최종적으로는, 화소 ＃4의 화소값 P4는, 이들 화소값의 합, 즉, Q₄/v＋Q₃/v＋Q₂/v＋Q₁/v＋Q₀/v로 된다.

화소 ＃4 이외의 화소도 마찬가지로 생각되므로, 영역(12031)의 화소의 화소값 P₄ 내지 P₇는, 모션량 V와 모션 흐릿함이 없는 화소값 Q₀ 내지 Q₇를 사용하여, 이 하의 식(151)에 의해 표현된다.

…(151)

이상과 같이, 센서(2)가 출력하는 화소값 P_i(i= 0, 1), ···, 7)은, 복수개의 모션 흐릿함이 없는 화소값 Q_i의 합(적분)으로 되므로, 모션 흐릿함을 가지는 것으로 된다.

여기서, 근사 함수 f(x)는, 노광 개시 시각에서의 처리 영역의 화소 ＃0 내지 ＃7에 투영되는 실세계의 광신호를 근사시킨다. 그리고, 지금의 경우, 처리 영역에서의 피사체가 X 방향(좌측으로부터 우측 방향)으로 이동하고 있다. 그러므로, 처리 영역의 좌측에 있는 화소, 즉, 도 148 (C)에 있어서는, 화소 ＃0, ＃1, ＃2, ＃3의 화소값은, 근사 함수 f(x)를 사용하여 나타낼 수가 없다. 이로써, 식(151)에 있어서는, 모션 흐릿함이 없는 화소값, 즉 구하고자 하는 변수 Q₀ 내지 Q₇의 수가, 방정식의 수보다 많아진다.

즉, 식(151)에 있어서는, 구하고자 하는 변수가 Q₀ 내지 Q₇의 8변수인데 대하여, 방정식이 8보다 적은 4식으로 되어 있다. 따라서, 모션 흐릿함이 없는 화소값 Q₀ 내지 Q₇를 구하기 위해서는, 모션 흐릿함이 없는 화소값 Q₀ 내지 Q₇를 사용한 독립의 방정식이 추가로 필요하다. 그래서, 여기서는, 예를 들면, 모션 흐릿함이 없는 화소값 Q₀ 내지 Q₇를 구속하는 방정식을 대입하는 것으로 한다. 이 방정식에 대하여는, 후술한다.

도 143의 실세계 추정부(12003)는, 처리 영역의 X 방향의 화소수와 모션량 V에 따라, 식(151)과 마찬가지의 식을 관계 모델로서 생성하고, 그 관계 모델에 따라, 모션 흐릿함이 없는 화소값, 즉, 실세계(1)의 광신호를 근사시키는 근사 모델로서의 근사 함수 f(x)를 구한다.

다음에, 도 149의 플로차트를 참조하여, 실세계 추정부(12003)(도 143)의 실세계의 추정 처리(도 144의 스텝 S12008의 처리)에 대하여 상세하게 설명한다.

스텝 S12031에 있어서, 모델 생성부(12011)는, 관계 모델을 생성한다. 즉, 모델 생성부(12011)가, 처리 영역 설정부(12001)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 정상성 설정부(12002)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 모션량을 인식한다. 또한, 모델 생성부(12011)는, 입력 화상에서의 처리 영역에 대하여, 그 처리 영역의 수평 라인을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응하는 모션량에 따라, 처리 영역 내의 센서(2)에 의해 검출된 각 화소의 화소값 P_i와, 실세계(1)의 광신호를 근사시키는 근사 모델에 의해 표현되는 모션 흐릿함이 없는 화소의 화소값 Q_i와의 관계를 모델화한 관계 모델을 처리 영역의 수평 라인마다 생성하고, 방정식 생성부(12012)에 공급한다. 그리고, 모델 생성부(12011)는, 스텝 S12031로부 터 스텝 S12032로 진행한다.

구체적으로는, 모델 생성부(12011)는, 처리 영역의 수평 라인의 화소수와 모션량에 따라, 도 148 (A) 내지 도 148 (C)에서 설명한, 처리 영역의 각 수평 라인의 화소의 화소값 P_i와, 모션 흐릿함이 없는 화소값 Q_i와의 관계를 나타내는 식을 관계 모델로서 생성한다. 예를 들면, 처리 영역의 수평 라인의 화소수가 8이며, 모션량 V가 5인 경우, 관계 모델로서 전술한 식(151)의 방정식이 생성된다.

스텝 S12032에서는, 방정식 생성부(12012)는, 방정식 생성 처리를 행한다. 즉, 방정식 생성부(12012)는, 처리 영역 설정부(12001)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 입력 화상의 각 화소의 화소값 P_i를, 모델 생성부(12011)로부터 공급되는, 그 처리 영역의 각 수평 라인에 대하여 얻어진 관계 모델에 대입하고, 이로써, 실세계(1)의 광신호를 근사시키는 근사 함수에 의해 표현되는, 모션 흐릿함이 없는 화소값 Q_i를 구하는 식(151)의 방정식(모델 방정식)을 생성한다.

또한, 방정식 생성부(12012)는, 처리 영역 설정부(12001)로부터 공급되는 처리 영역 정보로부터 인식되는 처리 영역의 수평 라인에서의 실세계(1)의 광신호를 근사시키는 근사 모델을 구속하는 방정식인 구속 조건식을 생성한다. 즉, 모델 방정식에서는, 식(151)에 나타낸 바와 같이, 구하고자 하는 변수인 모션 흐릿함이 없는 화소값 Q_i 쪽이, 방정식의 수보다 많기 때문에, 모션 흐릿함이 없는 화소값 Q_i를 구하는 데는, 방정식의 총수를 모션 흐릿함이 없는 화소값 Q_i의 수 이상으로 하는 방정식을 도입할 필요가 있다. 여기서, 방정식 생성부(12012)는, 인접하는 화소의, 근사 함수에 의해 표현되는 모션 흐릿함이 없는 화소값 Q_i의 차이가 작다는(공간 상관이 있는) 구속 조건식을 생성한다. 그리고, 방정식 생성부(12012)는, 생성한 모델 방정식과 구속 조건식을 합하여, 정규 방정식을 생성하고, 실세계 파형 추정부(12013)에 공급하고, 스텝 S12032로부터 스텝 S12033으로 진행한다.

그리고, 이하, 이와 같은 방정식 생성부(12012)가 실행하는 스텝 S12032의 처리를, 「방정식 생성 처리」라고 한다. 「방정식 생성 처리」의 상세한 것에 대하여는, 도 151의 플로차트를 참조하여 후술한다.

스텝 S12033에 있어서, 실세계 파형 추정부(12013)는, 방정식 생성부(12012)로부터 공급되는, 처리 영역의 각 수평 라인에 대한 정규 방정식을 푸는 것에 의해, 실세계(1)의 광신호의 파형을 추정, 즉, 근사 함수에 의해 표현되는 모션 흐릿함이 없는 화소값 Q_i를 구하고, 그 화소값을, 화상 생성부(12004)에 공급한다.

다음에, 도 150은, 도 143의 방정식 생성부(12012)의 상세 구성예를 나타내고 있다.

도 150에서는, 방정식 생성부(12012)는, 모델 방정식 생성부(12051), 구속 조건식 생성부(12052), 및 정규 방정식 생성부(12053)로 구성되어 있다.

도 150에 구성을 나타낸 방정식 생성부(12012)에는, 모델 생성부(12011)로부터, 처리 영역의 각 수평 라인의 화소의 화소값(모션 흐릿함 화상의 화소값)과, 모 션 흐릿함이 없는 화소값과의 관계를 모델화한 관계 모델이 입력되고, 모델 방정식 생성부(12051)에 공급된다. 또, 방정식 생성부(12012)에는, 입력 화상이, 센서(2)(도 1)로부터 입력되고, 그 입력 화상은, 모델 방정식 생성부(12051)에 공급된다. 또한, 방정식 생성부(12012)에는, 처리 영역 정보가, 처리 영역 설정부(12001)로부터 입력되고, 그 처리 영역 정보가, 모델 방정식 생성부(12051)과 구속 조건식 생성부(12052)에 공급된다.

모델 방정식 생성부(12051)는, 처리 영역 정보로부터 입력 화상의 처리 영역을 인식하고, 모델 생성부(12011)로부터 공급된 관계 모델의 모션 흐릿함 화상의 각 화소의 화소값 P_i로서 입력 화상의 처리 영역의 화소값을 대입하여, 식(151)의 모델 방정식을 생성한다. 그리고, 모델 방정식 생성부(12051)는, 정규 방정식 생성부(12053)에, 그 모델 방정식을 공급한다. 그리고, 모델 생성부(12011)에서 얻어지는 관계 모델은, 예를 들면, 식(151)의 모션량ｖ에 구체적인 값이 대입된 것이며, 모델 방정식 생성부(12051)에서 얻어지는 모델 방정식은, 또한 식(151)의 화소값 P₄ 내지 P₇에 구체적인 값이 대입된 것이다.

구속 조건식 생성부(12052)는, 처리 영역 정보에 따라, 처리 영역의 각 수평 라인의 화소에 대하여, 소정의 구속 조건식을 생성하고, 그 구속 조건식을 정규 방정식 생성부(12053)에 공급한다.

정규 방정식 생성부(12053)는, 모델 방정식 생성부(12051)로부터 공급된 모델 방정식과, 구속 조건식 생성부(12052)로부터 공급된 구속 조건식을 합하여 정규 방정식을 생성하고, 실세계 파형 추정부(12013)에 공급한다.

다음에, 도 151의 플로차트를 참조하여, 방정식 생성부(12012)(도 150)의 방정식 생성 처리(도 149의 스텝 S12032의 처리)에 대하여 상세하게 설명한다.

스텝 S12051에 있어서, 모델 방정식 생성부(12051)는, 모델 생성부(12011)로부터 처리 영역의 수평 라인마다의 관계 모델을 취득하고, 스텝 S12052로 진행한다. 스텝 S12052에 있어서, 모델 방정식 생성부(12051)는, 센서(2)로부터 입력 화상을 취득하고, 처리 영역 설정부(12001)로부터 처리 영역 정보를 취득한다. 그리고, 모델 방정식 생성부(12051)는, 그 입력 화상과 처리 영역 정보로부터, 처리 영역 내의 각 화소의 화소값 P_i를 인식하고, 그 화소값 P_i를, 모델 생성부(12011)로부터 취득한 식(151)의 관계 모델에 대입함으로써, 처리 영역의 수평 라인마다 모델 방정식을 생성한다. 또한, 모델 방정식 생성부(12051)는, 그 모델 방정식을 정규 방정식 생성부(12053)에 공급한다. 예를 들면, 모델 방정식 생성부(12051)가, 전술한 식(151)에 의해 표현되는 관계 모델을, 모델 생성부(12011)로부터 취득한 경우, 식(151)의 화소값 P₄ 내지 P₇에 입력 화상의 화소값을 대입함으로써, 모델 방정식을 생성한다.

스텝 S12052의 처리 후는, 스텝 S12053으로 진행하고, 구속 조건식 생성부(12052)는, 처리 영역 정보에 따라 구속 조건식을 생성하고, 그 구속 조건식을 정규 방정식 생성부(12053)에 공급하고, 스텝 S12054로 진행한다. 즉, 구속 조건식 생성부(12052)는, 근사 함수에 의해 표현되는 모션 흐릿함이 없는 화소 중 인접하 는 것끼리의 화소값 Q_i와 Q_i ₊₁과의 차이는 작다는 구속 조건을 나타내는 구속 조건식을, 처리 영역의 수평 라인의 화소수에 따라 생성한다. 예를 들면, 처리 영역의 수평 라인의 화소수가 8개 있고, 그 8화소의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₇로 나타내는 경우, 구속 조건식은, 예를 들면, 이하의 식(152)에 의해 표현된다.

…(152)

즉, 식(152)는, 처리 영역의 수평 라인에 있어서, 인접하는 화소끼리의 화소값 Q_i와 Q_i ₊₁이 같은 것을 나타내고 있다.

스텝 S12054에 있어서, 정규 방정식 생성부(12053)는, 모델 방정식 생성부(12051)로부터 공급된 식(151)의 모델 방정식과, 구속 조건식 생성부(12052)로부터 공급된 식(152)의 구속 조건식을 합하여, 정규 방정식을 생성하고, 그 정규 방정식을 실세계 파형 추정부(12013)에 공급한다.

이 후, 실세계 파형 추정부(12013)는, 정규 방정식 생성부(12053)로부터 공급된 정규 방정식을, 예를 들면, 최소 제곱 오차 최소 규범에 의해 푸는 것에 의 해, 처리 영역의 각 수평 라인의 화소의 모션 흐릿함이 없는 화소값 Q_i를 구한다.

그리고, 전술한 실세계 파형 추정 처리는, 처리 영역 내의 수평 방향으로 정렬된 화소(수평 라인)마다 행해진다. 즉, 실세계 파형 추정부(12013)는, 수평 라인마다, 처리 영역의 각 화소의 모션 흐릿함이 없는 화소값 Q_i를 구한다. 그리고, 실세계 파형 추정부(12013)는, 처리 영역 내의 모든 수평 라인에 있어서, 각 화소의 모션 흐릿함이 없는 화소값 Q_i를 구한 후, 처리 영역의 각 화소의 모션 흐릿함이 없는 화소값 Q_i를, 화상 생성부(12004)에 공급한다. 화상 생성부(12004)는, 입력 화상에서의 처리 영역의 각 화소의 화소값 P_i를, 모션 흐릿함이 없는 화소값 Q_i으로 치환하여 화상을, 출력 화상으로서 생성하고, 화상 표시부(12005)에 공급하여 표시하게 한다.

여기서, 도 152 (A) 내지 도 152 (C)는, 센서(2)로부터 출력되는 처리 영역이 있는 수평 라인의 화소의 화소값 P_i와, 그 수평 라인의 모션 흐릿함이 없는 화소의 화소값 Q_i와의 관계를 나타내고 있다. 그리고, 도면 중, 도 148 (A) 내지 도 148 (C)에서의 경우와 대응하는 부분에 대하여는 동일한 부호를 부여하고 있고, 이하에서는, 그 설명은 적당히 생략한다.

도 152 (A) 내지 도 152 (C)는, 기본적으로는, 전술한 도 148 (A) 내지 도 148 (C)와 각각 마찬가지의 도면이며, 따라서, 모션 흐릿함이 없는 화소값 Q_i와 모 션 흐릿함이 생기고 있는 화소값 P_i와의 관계를 나타내고 있다.

또한, 도 152 (A)에 있어서, 모션 흐릿함이 없는 화소의 위에 부여한 화살표 (12061-1) 내지 (12061-7)는, 그 화살표의 양단이 나타낸 모션 흐릿함이 없는 화소끼리의 화소값 Q_i와 Q_i ₊₁과의 차이가 작다는 구속 조건을 나타내고 있다. 도 152 (A)에 나타낸 구속 조건은, 처리 영역에서 있는 영역(12031)의 수평 라인에 있어서, 모션 흐릿함이 없는 화소 중 인접하는 모든 화소끼리의 화소값 Q_i와 Q_i ₊₁의 차이가 작은 것을 나타내고 있다. 도 150의 구속 조건식 생성부(12052)에서는, 이 도면(152A)에 나타낸 구속 조건을 채용하고, 그 구속 조건을 나타내는 식(152)의 구속 조건식을 생성한다.

도 153은, 도 111에 나타낸 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타내고 있다.

그리고, 도 153은, 예를 들면, 일정 방향으로 일정한 속도로 이동한다는 정상성을 가지는 데이터(3)의 일례인 모션 흐릿함 화상 데이터로부터, 실세계(1)의 광신호를 추정하는 신호 처리 장치(4)의 일실시예의 구성예를 나타내고 있다. 즉, 이 신호 처리 장치(4)는, 예를 들면, 촬영시에 피사체(오브젝트)가 움직인 것에 의해, 피사체가 흐릿해져 촬영되어 버린 화상(모션 흐릿함 화상)으로부터, 그 흐릿함이 없는 화상(모션 흐릿함이 없는 화상)을 추정한다. 따라서, 도 153의 실시예에서는, 입력 화상으로서, 이동하고 있는 오브젝트를 촬영함으로써 얻어진 모션 흐릿함이 생기고 있는 모션 흐릿함 화상이, 신호 처리 장치(4)에 입력된다. 그리고, 여기서는, 입력 화상으로서, 수평 방향(좌측으로부터 우측 방향)으로 일정한 속도(모션량)로 이동하고 있는 오브젝트를 촬상하여 얻어지는 화상을 채용한다.

도 153에 있어서, 처리 영역 설정부(12071), 정상성 설정부(12072), 실세계 추정부(12073), 화상 생성부(12074), 화상 표시부(12075), 사용자 I/F(12076)는, 도 111의 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006)에 각각 대응하고 있고, 기본적으로는, 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006) 각각과 마찬가지의 처리를 행한다. 또한, 도 153에 있어서, 실세계 추정부(12073)는, 모델 생성부(12081), 방정식 생성부(12082), 실세계 파형 추정부(12083)로 구성되어 있다. 모델 생성부(12081), 방정식 생성부(12082), 실세계 파형 추정부(12083)는, 도 111의 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013)에 각각 대응하고 있고, 기본적으로는, 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013) 각각과 마찬가지의 처리를 행한다.

단, 도 153에 있어서는, 사용자가 사용자 I/F(12076)를 조작함으로써, 사용자 I/F(12076)가 출력하는 보조 정보가, 처리 영역 설정부(12071)와 실세계 추정부(12073)에 공급되도록 되어 있다.

즉, 도 153에서는, 사용자는, 사용자 I/F(12076)를 조작함으로써, 화상 표시부(12075)에 표시된 화상에 대하여, 모션 흐릿함이 없는 화상이 평탄한 것으로 추정되는 영역을 평탄 영역으로서 지시할 수 있도록 되어 있고, 사용자 I/F(12076) 는, 사용자가 평탄 영역을 지시하는 조작을 행하면, 그 조작에 의해 지정된 영역으로서의 평탄 영역을 나타내는 평탄 영역 지시 정보를, 처리 영역 설정부(12071)와 실세계 추정부(12073)에 공급한다.

그리고, 사용자 I/F(12076)를 조작함으로써 평탄 영역을 지시하는 방법으로서는, 예를 들면, 평탄 영역을 에워싸는 직사각형에 따라서 지시하는 방법, 평탄 영역을 트림(trim)함으로써 지시하는 방법, 평탄 영역 중 임의의 1점 이상을 포인팅함으로써 지시하는 방법 등이 있지만, 여기서는, 예를 들면, 사용자는, 평탄 영역 중 임의의 1점을, 사용자 I/F(12076)를 조작하여 포인팅함으로써, 평탄 영역을 지시하는 것으로 한다. 이 경우, 사용자 I/F(12076)는, 사용자가 포인팅한 점을 나타내는 정보로서의, 예를 들면, 그 점의, 화상 상의 좌표를, 평탄 영역 지시 정보로서, 처리 영역 설정부(12071)와 실세계 추정부(12073)에 공급한다.

다음에, 도 154의 플로차트를 참조하여, 도 153의 신호 처리 장치(4)의 처리에 대하여 설명한다.

먼저 최초에, 스텝 S12071에 있어서, 신호 처리 장치(4)는, 사전 처리를 행하고, 스텝 S12072로 진행한다. 즉, 신호 처리 장치(4)는, 센서(2)(도 1)로부터 데이터(3)로서 공급되는, 예를 들면 1프레임 또는 1필드의 입력 화상을, 처리 영역 설정부(12071), 정상성 설정부(12072), 실세계 추정부(12073), 화상 생성부(12074), 및 화상 표시부(12075)에 공급한다. 또한, 신호 처리부(4)는, 화상 표시부(12075)에, 입력 화상을 표시하게 한다.

스텝 S12072에서는, 사용자 I/F(12076)는, 사용자가 사용자 I/F(12076)를 조 작함으로써, 어떠한 사용자 입력이 있었는지 여부를 판정한다. 스텝 S12072에 있어서, 사용자 입력이 없었다고 판정된 경우, 즉, 사용자가 아무런 조작도 행하지 않은 경우, 스텝 S12073내지 S12075를 스킵하여, 스텝 S12076으로 진행한다.

또, 스텝 S12072에 있어서, 사용자 입력이 있었다고 판정된 경우, 즉, 사용자가 화상 표시부(12075)에 표시된 입력 화상을 보고, 사용자 I/F(12076)를 조작하고, 이로써, 어떠한 지시 또는 정보를 나타내는 사용자 입력이 있었을 경우, 스텝 S12073으로 진행하고, 사용자 I/F(12076)는, 그 사용자 입력이, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시인지 여부를 판정한다.

스텝 S12073에 있어서, 사용자 입력이 종료 지시인 것으로 판정된 경우, 즉, 예를 들면, 화상 표시부(12075)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼지 않고, 입력 화상에 대하여 신호 처리를 행하지 않아도 되는 것으로 하여, 신호 처리 장치(4)의 처리를 종료하도록, 사용자 I/F(12076)를 조작한 경우, 신호 처리 장치(4)는 처리를 종료한다.

또, 스텝 S12073에 있어서, 사용자 입력이 종료 지시가 아닌 것으로 판정된 경우, 스텝 S12074로 진행하고, 사용자 I/F(12076)는, 사용자 입력이 평탄 영역 지시 정보인지 여부를 판정한다. 스텝 S12074에 있어서, 사용자 입력이 평탄 영역 지시 정보가 아닌 것으로 판정된 경우, 스텝 S12075를 스킵하여, 스텝 S12076으로 진행한다.

한편, 스텝 S12074에 있어서, 평탄 영역 지시 정보의 입력이 있었다고 판정된 경우, 즉, 화상 표시부(12075)에 표시된 입력 화상을 본 사용자가, 그 입력 화 상의 화질에 불만을 느끼고, 모션 흐릿함이 없는 화상이 평탄한 화상인 것으로 추정되는 부분을 포인팅하도록, 사용자 I/F(12076)를 조작한 경우, 스텝 S12075로 진행하고, 사용자 I/F(12076)는, 사용자가 사용자 I/F(12076)를 조작함으로써 포인팅한 점을 나타내는 평탄 영역 지시 정보를, 처리 영역 설정부(12071)와 실세계 추정부(12073)에 공급하고, 스텝 S12076으로 진행한다.

스텝 S12076에서는, 처리 영역 설정부(12071)는, 사용자 I/F(12076)로부터 공급된 평탄 영역 지시 정보에 따라, 예를 들면, 평탄 영역을 포함하는 소정의 직사각형의 영역을 처리 영역으로서 설정하고, 그 처리 영역 정보를, 정상성 설정부(12072), 실세계 추정부(12073), 및 화상 생성부(12074)에 공급하고, 스텝 S12077으로 진행한다. 그리고, 이 처리 영역은, 사용자가 사용자 I/F(12076)를 조작하여 입력해도 된다.

단, 사용자 I/F(12076)로부터 처리 영역 설정부(12071)에 평탄 영역 지시 정보가 공급되지 않았던 경우(스텝 S12072 또는 스텝 S12074의 처리 직후에 스텝 S12076의 처리가 행해지는 경우)에는, 처리 영역 설정부(12071)는, 소정의 처리(예를 들면, 입력 화상에 있어서, 모션 흐릿함이 생기고 있는 영역을 검출하는 처리)를 행함으로써, 자동적으로 처리 영역을 설정한다.

스텝 S12077에서는, 정상성 설정부(12072)는, 처리 영역 설정부(12071)로부터 공급된 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식한다. 또한, 정상성 설정부(12072)는, 그 처리 영역의 화상 데이터에 있어서 결락된 실세계(1)의 광신호의 정상성을 나타내는 정보로서, 처리 영역에 표시된 오브젝트의 모션량 을 설정하고, 그 정상성을 나타내는 정상성 정보를, 실세계 추정부(12073)에 공급하고, 스텝 S12078로 진행한다. 그리고, 이 모션량은, 사용자가 사용자 I/F(12076)를 조작하여 입력해도 된다. 또, 여기서는, 정상성 설정부(12072)는, 입력 화상에 있어서, 오브젝트가 수평 방향으로 이동하고 있는 것을 전제로 하여, 그 모션의 크기만을 나타내는 모션량을 정상성 정보로서 설정하도록 했지만, 그 외에, 오브젝트의 모션의 크기와 방향을 나타내는 모션 벡터를, 정상성 정보로서 설정할 수도 있다.

스텝 S12078에서는, 실세계 추정부(12073)는, 처리 영역 설정부(12071)로부터 공급된 처리 영역 정보와, 사용자 I/F(12076)로부터 공급된 평탄 영역 지시 정보에 따라, 입력 화상에서의 처리 영역 내의 화상 데이터(모션 흐릿함 화상 데이터)로부터, 대응하는 실세계(1)의 광신호의 모션량에 따라, 그 실세계(1)의 광신호(모션 흐릿함이 없는 화상)를 추정한다.

즉, 실세계 추정부(12073)에서는, 모델 생성부(12081)가, 처리 영역 설정부(12071)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 정상성 설정부(12072)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 실세계(1)의 광신호의 모션량, 즉, 여기서는, 처리 영역에 표시된 오브젝트의 모션량을 인식한다. 또한, 모델 생성부(12081)는, 입력 화상에서의 처리 영역의 각 수평 라인을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응하는 실세계(1)의 광신호의 모션량에 따라, 처리 영역의 각 수평 라인의 화소의 화소값과 실세계(1)의 광신호와의 관계를 모델화한 관계 모델을 처리 영역의 수평 라 인마다 생성하고, 방정식 생성부(12082)에 공급한다.

방정식 생성부(12082)는, 처리 영역 설정부(12071)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 따라, 입력 화상의 각 화소의 화소값을, 모델 생성부(12081)로부터 공급되는 처리 영역의 수평 라인마다의 관계 모델에 대입하고, 이로써, 실세계(1)의 광신호를 근사시키는 근사 모델로서의 근사 함수를 구하는 방정식을 생성하여, 실세계 파형 추정부(12083)에 공급한다. 또한, 방정식 생성부(12082)는, 처리 영역 정보 또는 평탄 영역 지시 정보에 따라, 근사 함수를 구속하는 구속 조건식을 생성하고, 실세계 파형 추정부(12083)에 공급한다.

실세계 파형 추정부(12083)는, 방정식 생성부(12082)로부터 공급되는 방정식을 연산함으로써, 실세계(1)의 광신호의 파형을 추정한다. 즉, 실세계 파형 추정부(12083)는, 방정식 생성부(12012)로부터 공급되는 방정식을 푸는 것에 의해, 실세계(1)의 광신호를 모델화한 근사 모델로서의 근사 함수를 구하고, 실세계(1)의 광신호의 파형의 추정 결과로서, 화상 생성부(12074)에 공급한다.

그리고, 이하, 이와 같은 실세계 추정부(12073)이 실행하는 스텝 S12078의 처리를, 「실세계의 추정 처리」라고 한다. 「실세계의 추정 처리」의 상세한 것에 대하여는, 도 155의 플로차트를 참조하여 후술한다.

스텝 S12078의 처리 후는, 스텝 S12079로 진행하고, 화상 생성부(12074)는, 실세계 추정부(12073)(의 실세계 파형 추정부(12083)로부터 공급된, 실세계(1)의 광신호의 파형을 근사시키는 근사 함수에 따라, 실세계(1)의 광신호에 의해 근사시 킨 신호를 생성한다. 즉, 화상 생성부(12074)는, 처리 영역 설정부(12071)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 실세계 추정부(12073)로부터 공급되는 근사 함수에 따라, 실세계(1)의 광신호에 의해 근사시킨 근사 화상(여기서는, 예를 들면, 모션 흐릿함이 없는 화상)을 생성한다.

또한, 화상 생성부(12074)는, 입력 화상의 처리 영역의 부분을, 근사 화상(모션 흐릿함이 없는 화상)으로 치환하여 화상을, 출력 화상으로서 생성하고, 화상 표시부(12075)에 공급하고, 스텝 S12079로부터 S12080으로 진행한다.

스텝 S12080에서는, 화상 표시부(12075)는, 화상 생성부(12074)로부터 공급된 출력 화상을, 스텝 S12071에서 표시된 입력 화상에 대신하거나, 또는 그 입력 화상과 함께 표시하고, 스텝 S12081로 진행한다.

스텝 S12081에서는, 사용자 I/F(12076)는, 스텝 S12072에서의 경우와 마찬가지로, 사용자가 사용자 I/F(12076)를 조작함으로써, 어떠한 사용자 입력이 있었는지 여부를 판정하고, 사용자 입력이 없었다고 판정한 경우, 즉, 사용자가 아무런 조작도 행하지 않은 경우, 스텝 S12081로 복귀하고, 어떠한 사용자 입력이 있을 때까지 기다린다.

또, 스텝 S12081에 있어서, 사용자 입력이 있었다고 판정된 경우, 즉, 사용자가, 화상 표시부(12075)에 표시된 입력 화상이나 출력 화상을 보고, 사용자 I/F(12076)를 조작하고, 이로써, 어떠한 지시 또는 정보를 나타내는 사용자 입력이 있었을 경우, 스텝 S12082로 진행하고, 사용자 I/F(12076)는, 그 사용자 입력이, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시인지 여부를 판정한다.

스텝 S12082에 있어서, 사용자 입력이 종료 지시인 것으로 판정된 경우, 즉, 예를 들면, 화상 표시부(12075)에 표시된 출력 화상을 본 사용자가, 그 출력 화상의 화질에 불만을 느끼지 않고, 출력 화상에 대하여 신호 처리를 행하지 않아도 되는 것으로 하여, 신호 처리 장치(4)의 처리를 종료하도록, 사용자 I/F(12076)를 조작한 경우, 신호 처리 장치(4)는 처리를 종료한다.

또, 스텝 S12082에 있어서, 사용자 입력이 종료 지시가 아닌 것으로 판정된 경우, 스텝 S12083으로 진행하고, 사용자 I/F(12076)는, 사용자 입력이 평탄 영역 지시 정보인지 여부를 판정한다. 스텝 S12083에 있어서, 사용자 입력이 평탄 영역 지시 정보가 아닌 것으로 판정된 경우, 스텝 S12081로 복귀하고, 이하, 마찬가지의 처리가 반복된다.

또, 스텝 S12083에 있어서, 사용자 입력이 평탄 영역 지시 정보인 것으로 판정된 경우, 즉, 화상 표시부(12075)에 표시된 출력 화상을 본 사용자가, 그 출력 화상의 화질에 불만을 느끼고, 그 출력 화상에 대하여, 모션 흐릿함이 없는 화상이 평탄한 것으로 추정되는 부분을 포인팅하도록, 사용자 I/F(12076)를 조작한 경우, 스텝 S12075로 복귀하고, 전술한 바와 같이, 사용자 I/F(12076)는, 사용자가 사용자 I/F(12076)를 조작함으로써 포인팅한 점을 나타내는 평탄 영역 지시 정보를, 처리 영역 설정부(12071)와 실세계 추정부(12073)에 공급한다. 그리고, 스텝 S12075로부터 스텝 S12076으로 진행하고, 이하, 마찬가지의 처리가 반복된다.

즉, 이로써, 스텝 S12075 내지 S12083의 처리가 반복되고, 출력 화상에 대한 사용자의 불만이 해소되고, 그 결과, 사용자가 원하는 화질의 출력 화상을 얻을 수 있다.

이상과 같이, 신호 처리 장치(4)에서는, 입력 화상에 대한 처리 결과로서의 출력 화상을 사용자에게 제시하고, 그 출력 화상으로부터, 모션 흐릿함이 없는 화상이 평탄한 화상인 것으로 추정되는 새로운 평탄 영역을 지시하여 받고, 그 평탄 영역에 따라, 재차 처리를 행하도록 했으므로, 사용자의 기호에 있던, 고화질의 출력 화상을, 용이하게 얻을 수 있다.

즉, 신호 처리 장치(4)는, 입력 화상에 대한 처리 결과로서 출력 화상을 사용자에게 제시한다. 한편, 사용자는, 그 출력 화상을 인식하고, 모션 흐릿함이 없는 화상이 평탄한 화상인 것으로 추정되는 영역을 평탄 영역으로 하여, 신호 처리 장치(4)에 피드백한다. 그리고, 신호 처리 장치(4)는, 그 사용자로부터의 피드백을 근거로 하여, 예를 들면, 입력 화상 중 사용자로부터 지시된 평탄 영역에 대한 보고, 실세계(1)의 광신호를 근사시키는 근사 모델로서의 근사 함수를 구속하는 구속 조건식으로서 인접하는 화소의 화소값의 차분이 작다는 구속 조건식을 생성한다. 신호 처리 장치(4)는, 그 구속 조건식을 사용하여, 재차, 입력 화상을 처리하고, 이하, 마찬가지의 처리가 반복된다. 따라서, 신호 처리 장치(4)는, 입력 화상 중 평탄한 영역에만, 인접하는 화소의 화소값의 차분이 작다는 구속 조건식을 생성하고, 에지가 있는 영역에는, 인접하는 화소의 화소값의 차분이 작다는 구속 조건식은 생성하지 않고, 입력 화상을 처리하므로, 입력 화상에서의 평탄한 영역의 노이즈가 억제되고, 에지가 있는 영역의 에지는 유지되고, 사용자의 기호에 있던, 고 화질의 출력 화상을, 용이하게 얻을 수 있다.

다음에, 도 155의 플로차트를 참조하여, 실세계 추정부(12073)(도 153)의 실세계의 추정 처리(도 154의 스텝 S12078의 처리)에 대하여 상세하게 설명한다.

스텝 S12101에 있어서, 모델 생성부(12081)는, 관계 모델을 생성한다. 즉, 모델 생성부(12081)가, 처리 영역 설정부(12071)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 정상성 설정부(12072)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 모션량을 인식한다. 또한, 모델 생성부(12081)는, 입력 화상에서의 처리 영역에 대하여, 그 처리 영역의 수평 라인을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응하는 모션량에 따라, 처리 영역 내의 센서(2)에 의해 검출된 각 화소의 화소값 P_i와 실세계(1)의 광신호를 근사시키는 근사 모델에 의해 표현되는 모션 흐릿함이 없는 화소의 화소값 Q_i와의 관계를 모델화한 관계 모델을, 처리 영역의 각 수평 라인마다 생성하고, 방정식 생성부(12082)에 공급한다. 그리고, 모델 생성부(12081)는, 스텝 S12101로부터 스텝 S12102로 진행한다.

구체적으로는, 모델 생성부(12011)는, 처리 영역의 수평 라인의 화소수와 모션량에 따라, 도 148 (A) 내지 도 148 (C)에서 설명한, 처리 영역의 각 수평 라인 의 화소의 화소값 Pi와 모션 흐릿함이 없는 화소값 Qi와의 관계를 나타내는 식을 관계 모델로서 생성한다. 예를 들면, 처리 영역의 수평 라인의 화소수가 8이며, 모션량 V가 5인 경우, 관계 모델로서 전술한 식(151)의 방정식이 생성된다.

스텝 S12102에서는, 방정식 생성부(12082)는, 방정식 생성 처리를 행한다. 즉, 방정식 생성부(12082)는, 처리 영역 설정부(12071)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 그 처리 영역을 구성하는 입력 화상의 각 화소의 화소값 P_i를, 모델 생성부(12081)로부터 공급되는, 그 처리 영역의 각 수평 라인에 대하여 얻어진 관계 모델에 대입하고, 이로써, 실세계(1)의 광신호를 근사시키는 근사 함수에 의해 표현되는, 모션 흐릿함이 없는 화소값 Q_i를 구하는 식(151)의 방정식(모델 방정식)을 생성한다.

또한, 방정식 생성부(12082)는, 처리 영역 설정부(12071)로부터 공급되는 처리 영역 정보로부터 인식되는 처리 영역의 수평 라인에서의 실세계(1)의 광신호를 근사시키는 근사 모델을 구속하는 방정식인 구속 조건식을 생성한다. 즉, 모델 방정식은, 식(151)에 나타낸 바와 같이, 구하고자 하는 변수인 모션 흐릿함이 없는 화소값 Q_i 쪽이, 방정식의 수보다 많기 때문에, 모션 흐릿함이 없는 화소값 Q_i를 구하는 데는, 방정식의 총수를 모션 흐릿함이 없는 화소값 Q_i의 수 이상으로 하는 방정식을 도입할 필요가 있다. 여기서, 방정식 생성부(12082)는, 인접하는 화소의, 근사 함수에 의해 표현되는 모션 흐릿함이 없는 화소값 Q_i의 차이가 작다는(공간 상 관이 있는) 구속 조건식을 생성한다. 이 때, 방정식 생성부(12082)는, 사용자에 의해 평탄 영역이 지시된 경우, 그 평탄 영역에 대한 보고 구속 조건식을 생성한다.

따라서, 모션 흐릿함이 없는 화상이 평탄하지 않고, 예를 들면, 어떠한 모양이 있고, 액티비티가 높은 화상인 경우에도, 사용자가 원하는 화질의 모션 흐릿함이 없는 화상을 얻을 수 있다. 즉, 방정식 생성부(12082)는, 모션 흐릿함이 없는 화상에 있어서, 평탄 영역으로서 사용자에 의해 지시되어 있지 않은, 광의 강도가 극단으로 상이한 에지 부분에는, 인접 화소의 화소값의 차이는 작다는 구속 조건을 주지 않고, 평탄 영역으로서 사용자에 의해 지시된 평탄 부분에는, 인접 화소의 화소값의 차이는 작다는 구속 조건을 부여하고, 구속 조건식을 생성한다. 그 결과, 에지 부분의 화상에 있어서는 에지가 유지되고, 평탄 부분의 화상에 있어서는 노이즈가 억제된, 화질이 양호한 모션 흐릿함이 없는 화상을 얻을 수 있다.

또, 사용자가 평탄 영역을 지시한 경우, 사용자가 처리 영역의 모든 화소에 대하여 화소마다 구속 조건식을 결정하거나 방정식 생성부(12082)가 입력 화상의 특징량 등으로 평탄한 영역을 추정하고, 구속 조건식을 결정할 필요없고, 용이하게, 모션 흐릿함이 없는 화상이 평탄한 영역에만, 구속 조건식을 부여할 수 있다. 그 결과, 신호 처리 장치(4)는, 사용자가 원하는 화질의 출력 화상을 용이하게 얻을 수 있다.

방정식 생성부(12082)는, 생성한 모델 방정식과 구속 조건식을 합하여, 정규 방정식을 생성하고, 실세계 파형 추정부(12083)에 공급하고, 스텝 S12012로부터 스 텝 S12013으로 진행한다.

그리고, 이하, 이와 같은 방정식 생성부(12082)가 실행하는 스텝 S12102의 처리를, 「방정식 생성 처리」라고 한다. 「방정식 생성 처리」의 상세한 것에 대하여는, 도 157의 플로차트를 참조하여 후술한다.

스텝 S12103에 있어서, 실세계 파형 추정부(12083)는, 방정식 생성부(12082)로부터 공급되는, 처리 영역의 각 수평 라인에 대한 정규 방정식을 푸는 것에 의해, 실세계(1)의 광신호의 파형을 추정, 즉, 근사 함수에 의해 표현되는 모션 흐릿함이 없는 화소값을 구하고, 그 화소값을, 화상 생성부(12074)에 공급한다.

다음에, 도 156은, 도 153의 방정식 생성부(12082)의 상세 구성예를 나타내고 있다.

도 156에서는, 방정식 생성부(12082)는, 모델 방정식 생성부(12101), 구속 조건식 생성부(12102), 및 정규 방정식 생성부(12103)로 구성되어 있다.

도 156에 구성을 나타낸 방정식 생성부(12082)에는, 모델 생성부(12081)로부터, 처리 영역의 각 수평 라인의 화소의 화소값(모션 흐릿함 화상의 화소값)과 모션 흐릿함이 없는 화소값과의 관계를 모델화한 관계 모델이 입력되고, 모델 방정식 생성부(12101)에 공급된다. 또, 방정식 생성부(12082)에는, 입력 화상이, 센서(2)(도 1)로부터 입력되고, 그 입력 화상은, 모델 방정식 생성부(12101)에 공급된다.

또한, 방정식 생성부(12082)에는, 처리 영역 정보가, 처리 영역 설정부(12071)로부터 입력되고, 그 처리 영역 정보가, 모델 방정식 생성부(12101)로 구속 조건식 생성부(12102)에 공급된다. 또, 방정식 생성부(12082)에는, 평탄 영역 지시 정보가, 사용자 I/F(12076)로부터 입력되고, 그 평탄 영역 지시 정보는, 구속 조건식 생성부(12102)에 공급된다.

모델 방정식 생성부(12101)는, 처리 영역 정보로부터 입력 화상의 처리 영역을 인식하고, 모델 생성부(12081)로부터 공급된 관계 모델의 모션 흐릿함 화상의 각 화소의 화소값 P_i로서 입력 화상의 처리 영역에서의 화소값을 대입하여, 식(151)의 모델 방정식을 생성한다. 그리고, 모델 방정식 생성부(12101)는, 정규 방정식 생성부(12103)에, 그 모델 방정식을 공급한다. 그리고, 모델 생성부(12081)에서 얻어지는 관계 모델은, 예를 들면, 식(151)의 모션량ｖ에 구체적인 값이 대입된 것이며, 모델 방정식 생성부(12101)에서 얻어지는 모델 방정식은, 또한 식(151)의 화소값 P₄ 내지 P₇에 구체적인 값이 대입된 것이다.

구속 조건식 생성부(12102)는, 처리 영역 정보 또는 평탄 영역 지시 정보에 따라, 처리 영역의 각 수평 라인의 화소에 대하여, 소정의 구속 조건식을 생성하고, 그 구속 조건식을 정규 방정식 생성부(12103)에 공급한다.

정규 방정식 생성부(12103)는, 모델 방정식 생성부(12101)로부터 공급된 모델 방정식과, 구속 조건식 생성부(12102)로부터 공급된 구속 조건식을 합하여 정규 방정식을 생성하고, 실세계 파형 추정부(12083)에 공급한다.

다음에, 도 157의 플로차트를 참조하여, 방정식 생성부(12082)(도 156)의 방정식 생성 처리(도 155의 스텝 S12102의 처리)에 대하여 상세하게 설명한다.

스텝 S12121에 있어서, 모델 방정식 생성부(12101)는, 모델 생성부(12081)로부터 처리 영역의 수평 라인마다의 관계 모델을 취득하고, 스텝 S12122로 진행한다. 스텝 S12122에 있어서, 모델 방정식 생성부(12101)는, 센서(2)로부터 입력 화상을 취득하고, 처리 영역 설정부(12071)로부터 처리 영역 정보를 취득한다. 그리고, 모델 방정식 생성부(12101)는, 그 입력 화상과 처리 영역 정보로부터, 처리 영역 내의 각 화소의 화소값 P_i를 인식하고, 그 화소값 P_i를, 모델 생성부(12081)로부터 취득한 식(151)의 관계 모델에 대입함으로써, 처리 영역의 수평 라인마다 모델 방정식을 생성한다. 또한, 모델 방정식 생성부(12101)는, 그 모델 방정식을 정규 방정식 생성부(12103)에 공급한다. 즉, 예를 들면, 모델 방정식 생성부(12101)이, 전술한 식(151)에 의해 표현되는 관계 모델을, 모델 생성부(12081)로부터 취득한 경우, 식(151)의 화소값 P₄ 내지 P₇에 입력 화상의 화소값을 대입함으로써, 모델 방정식을 생성한다.

스텝 S12122의 처리 후는, 스텝 S12123으로 진행하고, 구속 조건식 생성부(12102)는, 사용자 I/F(12076)로부터 평탄 영역 지시 정보가 입력되었는지 여부를 판정하고, 평탄 영역 지시 정보가 입력되어 있지 않은 것으로 판정한 경우, 스텝 S12124를 스킵하고, 스텝 S12125로 진행한다. 이 경우, 스텝 S12125에서는, 구속 조건식 생성부(12102)는, 예를 들면, 처리 영역 설정부(12071)가 소정의 처리를 행함으로써 자동적으로 설정한 처리 영역 정보에 따라, 구속 조건식을 생성하고, 그 구속 조건식을 정규 방정식 생성부(12103)에 공급하고, 스텝 S12125로부터 스텝 S12126으로 진행한다. 즉, 구속 조건식 생성부(12102)는, 근사 함수에 의해 표현되는 모션 흐릿함이 없는 화소 중 인접하는 것끼리의 화소값 Q_i와 Q_i ₊₁과의 차는 작다는 구속 조건을 나타내는 구속 조건식을, 예를 들면, 처리 영역의 각 수평 라인의 모든 화소에 대하여 생성한다. 예를 들면, 처리 영역의 수평 라인의 화소수가 8개이며, 그 8화소의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₇로 나타내는 경우, 구속 조건식은, 예를 들면, 전술한 식(152)에 의해 표현된다.

한편, 스텝 S12123로, 구속 조건식 생성부(12102)는, 사용자 I/F(12076)로부터 평탄 영역 지시 정보가 입력된 것으로 판정한 경우, 구속 조건식 생성부(12102)는, 스텝 S12124으로 진행하고, 사용자 I/F(12076)로부터 평탄 영역 지시 정보를 취득하여, 스텝 S12125로 진행한다.

이 경우, 스텝 S12125에서는, 구속 조건식 생성부(12102)는, 평탄 영역 지시 정보에 따라, 구속 조건식을 생성한다. 즉, 구속 조건식 생성부(12102)는, 평탄 영역에 대한 보고 구속 조건식을 생성한다(평탄 영역의 화소에 대응하는 구속 조건식에 대한 가중치와 평탄 영역 이외의 화소에 대응하는 구속 조건식에 대한 가중치를, 1대1에서 1대0로 변경한다. 즉, 구속 조건식의 일부에 대한 가중치를 변경한다. 그리고, 구속 조건식 생성부(12102)는, 생성한 구속 조건식을 정규 방정식 생성부(12103)에 공급하고, 스텝 S12125로부터 스텝 S12126으로 진행한다.

예를 들면, 처리 영역의 수평 라인이 도 148 (A) 내지 도 148 (C) 또는 도 152 (A) 내지 도 152 (C)에 나타낸 바와 같이, 8개의 화소 ＃0 내지 ＃7로 구성되 며, 평탄 영역으로서, 그 8화소 ＃0 내지 ＃7 중 화소 ＃0 내지 ＃5가 지정되어 있는 경우, 그 화소 ＃0 내지 ＃5의 모션 흐릿함이 없는 화소값 Q₀ 내지 Q₅를 사용하여, 구속 조건식은, 예를 들면, 이하의 식(153)에 의해 표현된다.

…(153)

즉, 식(153)은, 평탄 영역의 인접 화소끼리의 화소값 Q_i와 Q_i ₊₁이 같은 것을 나타내고 있다.

따라서, 실제의 화상이 평탄한 영역에만, 모션 흐릿함이 없는 화상의 인접 화소의 화소값의 차이가 작다는 구속 조건을 부여할 수 있으므로, 신호 처리 장치(4)는, 실세계(1)의 광신호에 의해 근사시킨 모션 흐릿함이 없는 화상을 생성할 수 있다.

스텝 S12126에 있어서, 정규 방정식 생성부(12103)는, 모델 방정식 생성부(12101)로부터 공급된 식(151)의 모델 방정식과, 구속 조건식 생성부(12102)로부터 공급된 식(152)의 구속 조건식 또는 식(153)의 구속 조건식(가중치가 변경된 구속 조건식)을 합하여, 정규 방정식을 생성하고, 그 정규 방정식을 실세계 파형 추정부(12083)에 공급한다.

이 후, 실세계 파형 추정부(12083)는, 정규 방정식 생성부(12103)로부터 공급된 정규 방정식을, 예를 들면, 최소 제곱 오차 최소 규범으로 푸는 것에 의해, 처리 영역의 각 수평 라인의 화소의 모션 흐릿함이 없는 화소값 Q_i를 구한다.

그리고, 전술한 실세계 추정 처리는, 처리 영역 내의 수평 방향으로 정렬된 화소(수평 라인)마다 행해진다. 즉, 실세계 파형 추정부(12083)는, 수평 라인마다, 처리 영역의 각 화소의 모션 흐릿함이 없는 화소값 Q_i를 구한다. 그리고, 실세계 파형 추정부(12083)는, 처리 영역 내의 모든 수평 라인에 있어서, 각 화소의 모션 흐릿함이 없는 화소값 Q_i를 구한 후, 처리 영역의 각 화소의 모션 흐릿함이 없는 화소값 Q_i를, 화상 생성부(12074)에 공급한다. 화상 생성부(12074)는, 입력 화상에서의 처리 영역의 각 화소의 화소값 P_i를, 모션 흐릿함이 없는 화소값 Q_i으로 치환한 화상을, 출력 화상으로서 생성하고, 화상 표시부(12075)에 공급하여 표시하게 한다.

또, 전술한 처리에서는, 사용자는, 사용자 I/F(12076)를 조작하여, 출력 화상으로부터 평탄한 영역을 지시했지만, 에지가 있는 영역을 지시 해도 된다. 이 경우, 전술한 처리와 마찬가지로, 지시된 에지가 있는 영역이, 에지 영역 지시 정보로서, 처리 영역 설정부(12071)와 실세계 추정부(12073)에 공급된다. 그리고, 구속 조건식 생성부(12102)는, 처리 영역 중, 에지 영역으로서 지시된 영역 이외의 영역에 대하여 구속 조건식을 생성한다(에지 영역의 화소에 대응하는 구속 조건식 에 대한 가중치와, 처리 영역 내의 에지 영역 이외의 영역의 화소에 대응하는 구속 조건식에 대한 가중치를, 1대1에서 0대1로 변경한다). 즉, 구속 조건식 생성부(12102)는, 에지 영역에 대한 구속 조건식을 생성하지 않는다.

또한, 전술한 처리에서는, 평탄 영역 이외에 대한 구속 조건식은 생성하지 않았지만, 평탄 영역 이외의 영역에서의 구속 조건식도, 평탄 영역에서의 구속 조건식에 대한 가중치에 비해 작은 가중치를 부여하여, 생성해도 된다. 이 경우, 예를 들면, 평탄 영역에서의 구속 조건식에 대하여는 가중치 1을 부여하여 평탄 영역 이외의 영역에서의 구속 조건식에 대하여는, 예를 들면, 0.5 등의 1보다 작은 가중치를 부여한 구속 조건식이 생성된다.

도 158과 도 159는, 도 153의 신호 처리 장치(4)의 처리의 개요를 설명하는 도면이다.

도 158에 나타낸 바와 같이, 사용자는, 입력 화상(12121)을 보고, 모션 흐릿함이 없는 화상(12123)을 상상하고, 평탄한 것으로 추정되는 영역을, 입력 화상(12121)에 대하여, 평탄 영역으로서 지시한다. 또, 사용자는, 입력 화상(12121)에 대하여 신호 처리 장치(4)에서 처리된 처리 결과로서의 출력 화상(12122)를 보고, 모션 흐릿함이 없는 화상(12123)을 상상하고, 평탄한 것으로 추정되는 영역을, 출력 화상(12122)에 대하여, 평탄 영역으로서 지시한다. 그리고, 신호 처리 장치(4)는, 사용자가 평탄 영역으로서 지시한 영역에 대한 보고 구속 조건식을 생성하고, 그 구속 조건식을 사용하여, 실세계(1)의 광신호에 의해 근사시킨 모션 흐릿함이 없는 화상을 생성한다.

이와 같이, 신호 처리 장치(4)에서는, 입력 화상 또는 출력 화상이 사용자에게 제시되어 사용자는, 그 입력 화상 또는 출력 화상에 대하여 평탄 영역을 지시한다. 신호 처리 장치(4)에서는, 그 평탄 영역에 대하여, 모션 흐릿함이 없는 화상의 인접 화소의 화소값의 차이는 작다는 구속 조건을 부여하도록 했으므로, 간단하게 최적인 구속 조건을 설정하고, 실세계(1)의 광신호에 의해 근사시킨 화상을 얻을 수 있다. 또, 사용자는, 화질에 대한 불만을 다이렉트로 신호 처리 장치(4)에 지시하는 것이 가능하며, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 용이하게 얻을 수 있다.

도 159는, 사용자가, 입력 화상을 보고 평탄 영역을 지시한 경우와 지시하지 않는 경우의 신호 처리 장치(4)의 처리를 설명하는 도면이다.

도 159에 나타낸 바와 같이, 사용자가, 입력 화상(12142)에 대하여 평탄 영역을 지시하지 않는 경우, 신호 처리 장치(4)에 의해 처리 영역이 결정되고, 그 처리 영역의 각 수평 라인의 모든 화소에 대하여, 말하자면 균일(평등)하게 구속 조건식이 생성된다(균일 처리).

한편, 사용자가, 그 입력 화상(12142)를 보고, 모션 흐릿함이 없는 화상(12123)을 상상하고, 그 모션 흐릿함이 없는 화상(12123)이 평탄한 영역을, 입력 화상(12142)에 대하여 지시한 경우, 불균일 처리가 행해진다. 즉, 도 159의 예에서는, 사용자는, 입력 화상의 화소값이 P₃와 P₄인 화소를, 평탄 영역으로서 지시하고 있다.

신호 처리 장치(4)는, 사용자에 의해 지시된 평탄 영역에 따라, 입력 화상의 화소값이 P₃와 P₄인 화소에 대응하는 모션 흐릿함이 없는 화소값 Q₃와 Q₄의 차이가 작다는 구속 조건식을 생성한다. 또, 신호 처리 장치(4)는, 처리 영역의 평탄 영역 이외의 화소에 대하여는, 평탄 영역에 대한 구속 조건식보다 작은 가중치를 부여한 구속 조건식을 생성한다. 즉, 구속 조건식은, 처리 영역에 대하여, 말하자면 불균일하게 생성된다(불균일 처리).

따라서, 신호 처리 장치(4)는, 복잡한 처리를 행하지 않고, 실제의 화상이 평탄한 영역에, 처리 영역 내의 다른 영역에 비해 큰 가중치를 부여한 구속 조건을 부여할 수 있다. 그 결과, 신호 처리 장치(4)는, 모션 흐릿함이 없는 화상을, 보다 실제의 화상에 가까운 것으로 할 수 있다.

도 160 (A) 내지 도 160 (C)는, 센서(2)로부터 출력되는 처리 영역이 있는 수평 라인의 화소의 화소값 P_i와, 그 수평 라인의 모션 흐릿함이 없는 화소의 화소값 Q_i와의 관계를 나타내고 있다. 그리고, 도면 중, 도 152 (A) 내지 도 152 (C)에서의 경우와 대응하는 부분에 대하여는 동일한 부호를 부여하고 있고, 이하에서는, 그 설명은 적당히 생략한다.

도 160 (A) 내지 도 160 (C)는, 기본적으로는, 전술한 도 152 (A) 내지 도 152 (C)와 각각 마찬가지의 도면이며, 따라서, 모션 흐릿함이 없는 화소값 Q_i와 모션 흐릿함이 생기고 있는 화소값 P_i와의 관계를 나타내고 있다.

도 160 (A) 내지 도 160 (C)의 예에서는, 사용자는, 사용자 I/F(12076)를 조작함으로써, 모션 흐릿함이 없는 화소값이 Q₀와 Q₁인 화소의 영역, 모션 흐릿함이 없는 화소값이 Q₂ 내지 Q₅인 화소의 영역, 및 모션 흐릿함이 없는 화소값이 Q₆와 Q₇인 화소의 영역을, 평탄 영역으로서 지시하고 있다.

따라서, 도 160 (A)에 나타낸 바와 같이, 모션 흐릿함이 없는 화소값이 Q₀와 Q₁인 화소의 영역, 모션 흐릿함이 없는 화소값이 Q₂ 내지 Q₅인 화소의 영역, 및 모션 흐릿함이 없는 화소값이 Q₆와 Q₇인 화소의 영역(평탄 영역으로서 지시된 영역)에 대한 보고, 모션 흐릿함이 없는 화소 중 인접하는 화소끼리의 화소값 Q_i와 Q_i ₊₁과의 차이가 작다는 구속 조건이 부여되어 있다.

도 161은, 도 111에 나타낸 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타내고 있다.

그리고, 도 161은, 예를 들면, 일정 방향으로 일정한 속도로 이동한다는 정상성을 가지는 데이터(3)의 일례인 모션 흐릿함 화상 데이터로부터, 실세계(1)의 광신호를 추정하는 신호 처리 장치(4)의 일실시예의 구성예를 나타내고 있다. 즉, 이 신호 처리 장치(4)는, 예를 들면, 촬영시에 피사체(오브젝트)가 움직인 것에 의해, 피사체가 흐릿해져 촬영되어 버린 화상(모션 흐릿함 화상)으로부터, 그 흐릿함이 없는 화상(모션 흐릿함이 없는 화상)을 추정한다. 따라서, 도 161의 실시예에서는, 입력 화상으로서, 이동하고 있는 오브젝트를 촬영함으로써 얻어진 모션 흐릿 함이 생기고 있는 모션 흐릿함 화상이, 신호 처리 장치(4)에 입력된다. 그리고, 여기서는, 입력 화상으로서, 수평 방향(좌측으로부터 우측 방향)으로 일정한 속도(모션량)로 이동하고 있는 오브젝트를 촬상하여 얻어지는 화상을 채용한다.

도 161에 있어서, 처리 영역 설정부(12161), 정상성 설정부(12162), 실세계 추정부(12163), 화상 생성부(12164), 화상 표시부(12165), 사용자 I/F(12166)는, 도 111의 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006)에 각각 대응하고 있고, 기본적으로는, 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006) 각각과 마찬가지의 처리를 행한다. 또한, 도 161에 있어서, 실세계 추정부(12163)는, 모델 생성부(12171), 방정식 생성부(12172), 실세계 파형 추정부(12173)로 구성되어 있다. 모델 생성부(12171), 방정식 생성부(12172), 실세계 파형 추정부(12173)는, 도 111의 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013)에 각각 대응하고 있고, 기본적으로는, 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013) 각각과 마찬가지의 처리를 행한다.

단, 도 161에 있어서는, 사용자가 사용자 I/F(12166)를 조작함으로써, 사용자 I/F(12166)가 출력하는 보조 정보가, 처리 영역 설정부(12161)와 실세계 추정부(12163)에 공급되도록 되어 있다.

즉, 도 161에서는, 사용자는, 사용자 I/F(12166)를 조작함으로써, 화상 표시부(12165)에 표시된 화상에 대하여, 불만이 있는 영역을 불만 영역으로서 지시할 수 있도록 되어 있고, 사용자 I/F(12166)는, 사용자가 불만 영역을 지시하는 조작을 행하면, 그 조작에 의해 지정된 영역으로서의 불만 영역을 나타내는 불만 영역 지시 정보를, 처리 영역 설정부(12161)와 실세계 추정부(12163)에 공급한다. 또한, 도 161에서는, 화상 표시부(12165)에는, 후술하는 바와 같이, 복수개의 출력 화상이 표시되지만, 사용자는, 사용자 I/F(12166)를 조작함으로써, 화상 표시부(12165)에 표시된 출력 화상을 선택할 수 있도록 되어 있고, 사용자 I/F(12166)는, 사용자가 출력 화상을 선택하는 조작을 행하면, 그 조작에 의해 선택된 출력 화상을 나타내는 선택 정보를, 보조 정보로서, 처리 영역 설정부(12161)와 실세계 추정부(12163)에 공급한다.

그리고, 사용자 I/F(12166)를 조작함으로써 불만 영역을 지시하는 방법으로서는, 예를 들면, 불만 영역을 에워싸는 직사각형에 따라서 지시하는 방법, 불만 영역을 트림(trim)함으로써 지시하는 방법, 불만 영역 중 임의의 1점 이상을 포인팅함으로써 지시하는 방법 등이 있지만, 여기서는, 예를 들면, 사용자는, 불만 영역 중 임의의 1점을, 사용자 I/F(12166)를 조작하여 포인팅함으로써, 불만 영역을 지시하는 것으로 한다. 이 경우, 사용자 I/F(12166)는, 사용자가 포인팅한 점을 나타내는 정보로서의, 예를 들면, 그 점의, 화상 상의 좌표를, 불만 영역 지시 정보로서, 처리 영역 설정부(12161)와 실세계 추정부(12163)에 공급한다.

다음에, 도 162의 플로차트를 참조하여, 도 161의 신호 처리 장치(4)의 처리에 대하여 설명한다.

먼저 최초에, 스텝 S12141에 있어서, 신호 처리 장치(4)는, 사전 처리를 행 하고, 스텝 S12142로 진행한다. 즉, 신호 처리 장치(4)는, 센서(2)(도 1)로부터 데이터(3)로서 공급되는, 예를 들면 1프레임 또는 1필드의 입력 화상을, 처리 영역 설정부(12161), 정상성 설정부(12162), 실세계 추정부(12163), 화상 생성부(12164), 및 화상 표시부(12165)에 공급한다. 또한, 신호 처리부(4)는, 화상 표시부(12165)에, 입력 화상을 표시하게 한다.

스텝 S12142에서는, 사용자 I/F(12166)는, 사용자가 사용자 I/F(12166)를 조작함으로써, 어떠한 사용자 입력이 있었는지 여부를 판정한다. 스텝 S12142에 있어서, 사용자 입력이 없었다고 판정된 경우, 즉, 사용자가 아무런 조작도 행하지 않은 경우, 스텝 S12143 내지 S12145를 스킵하여, 스텝 S12146으로 진행한다.

또, 스텝 S12142에 있어서, 사용자 입력이 있었다고 판정된 경우, 즉, 사용자가 화상 표시부(12165)에 표시된 입력 화상을 보고, 사용자 I/F(12166)를 조작하고, 이로써, 어떠한 지시 또는 정보를 나타내는 사용자 입력이 있었을 경우, 스텝 S12143으로 진행하고, 사용자 I/F(12166)는, 그 사용자 입력이, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시인지 여부를 판정한다.

스텝 S12143에 있어서, 사용자 입력이 종료 지시인 것으로 판정된 경우, 즉, 예를 들면, 화상 표시부(12165)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼지 않고, 입력 화상에 대하여 신호 처리를 행하지 않아도 되는 것으로 하여, 신호 처리 장치(4)의 처리를 종료하도록, 사용자 I/F(12166)를 조작한 경우, 신호 처리 장치(4)는 처리를 종료한다.

또, 스텝 S12143에 있어서, 사용자 입력이 종료 지시가 아닌 것으로 판정된 경우, 스텝 S12144로 진행하고, 사용자 I/F(12166)는, 사용자 입력이 불만 영역 지시 정보인지 여부를 판정한다. 스텝 S12144에 있어서, 사용자 입력이 불만 영역 지시 정보가 아닌 것으로 판정된 경우, 스텝 S12145를 스킵하여, 스텝 S12146으로 진행한다.

한편, 스텝 S12144에 있어서, 불만 영역 지시 정보의 입력이 있었다고 판정된 경우, 즉, 화상 표시부(12165)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼고, 불만인 부분을 포인팅하도록, 사용자 I/F(12166)를 조작한 경우, 스텝 S12145로 진행하고, 사용자 I/F(12166)는, 사용자가 사용자 I/F(12166)를 조작함으로써 포인팅한 점을 나타내는 불만 영역 지시 정보를, 보조 정보로서, 처리 영역 설정부(12161)와 실세계 추정부(12163)에 공급하고, 스텝 S12146으로 진행한다.

스텝 S12146에서는, 처리 영역 설정부(12161)는, 사용자 I/F(12166)로부터 공급된 보조 정보로서의 불만 영역 지시 정보에 따라, 예를 들면, 불만 영역을 포함하는 소정의 직사각형의 영역을 처리 영역으로서 설정하고, 그 처리 영역 정보를, 정상성 설정부(12162), 실세계 추정부(12163), 및 화상 생성부(12164)에 공급하고, 스텝 S12147로 진행한다. 그리고, 이 처리 영역은, 사용자가 사용자 I/F(12166)를 조작하여 입력해도 된다.

단, 사용자 I/F(12166)로부터 처리 영역 설정부(12161)에 불만 영역 지시 정보가 공급되지 않았던 경우(스텝 S12142 또는 스텝 S12144의 처리 직후에 스텝 S12146의 처리가 행해지는 경우)에는, 처리 영역 설정부(12161)는, 소정의 처리(예 를 들면, 입력 화상에 있어서, 모션 흐릿함이 생기고 있는 영역을 검출하는 처리)를 행함으로써, 처리 영역의 설정을 행한다.

스텝 S12147에서는, 정상성 설정부(12162)는, 처리 영역 설정부(12161)로부터 공급된 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식한다. 또한, 정상성 설정부(12162)는, 그 처리 영역의 화상 데이터에 있어서 결락된 실세계(1)의 광신호의 정상성을 나타내는 정보로서, 처리 영역에 표시된 오브젝트의 모션량을 설정하고, 그 정상성을 나타내는 정상성 정보를, 실세계 추정부(12163)에 공급하고, 스텝 S12148로 진행한다. 그리고, 이 모션량은, 사용자가 사용자 I/F(12166)를 조작하여 입력해도 된다. 또, 여기서는, 정상성 설정부(12162)는, 입력 화상에 있어서, 오브젝트가 수평 방향으로 이동하고 있는 것을 전제로 하여, 그 모션의 크기만을 나타내는 모션량을 정상성 정보로서 설정하도록 했지만, 그 외에, 오브젝트의 모션의 크기와 방향을 나타내는 모션 벡터를 정상성 정보로서 설정할 수도 있다.

스텝 S12148에서는, 실세계 추정부(12163)는, 처리 영역 설정부(12161)로부터 공급된 처리 영역 정보와, 사용자 I/F(12166)로부터 공급된 불만 영역 지시 정보에 따라, 입력 화상에서의 처리 영역 내의 화상 데이터(모션 흐릿함 화상 데이터)로부터, 대응하는 실세계(1)의 광신호의 모션량에 따라, 그 실세계(1)의 광신호(모션 흐릿함이 없는 화상)를 복수개인 N가지의 방법으로 추정한다.

즉, 실세계 추정부(12163)에서는, 모델 생성부(12171)가, 처리 영역 설정부(12161)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식 하고, 정상성 설정부(12162)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 실세계(1)의 광신호의 모션량, 즉, 여기서는, 처리 영역에 표시된 오브젝트의 모션량을 인식한다. 또한, 모델 생성부(12171)는, 입력 화상에서의 처리 영역의 각 수평 라인을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응하는 실세계(1)의 광신호의 모션량에 따라, 처리 영역의 각 수평 라인의 화소의 화소값과 실세계(1)의 광신호와의 관계를 모델화한 관계 모델을 처리 영역의 수평 라인마다 생성하고, 방정식 생성부(12172)에 공급한다.

방정식 생성부(12172)는, 처리 영역 설정부(12161)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 따라, 입력 화상의 각 화소의 화소값을, 모델 생성부(12171)로부터 공급되는 처리 영역의 수평 라인마다의 관계 모델에 대입하고, 이로써, 실세계(1)의 광신호를 근사시키는 근사 모델로서의 근사 함수를 구하는 방정식을 생성한다. 또한, 방정식 생성부(12172)는, 처리 영역 정보 또는 불만 영역 지시 정보에 따라, 근사 함수를 구속하는 구속 조건식에 N가지의 가중치를 부여한, N가지의 구속 조건식을 생성한다. 방정식 생성부(12172)는, 실세계(1)의 광신호를 근사시키는 근사 모델로서의 근사 함수를 구하는 방정식과, N가지의 구속 조건식의 각각을 합하여, N가지의 정규 방정식을 생성하고, 실세계 파형 추정부(12173)에 공급한다.

실세계 파형 추정부(12173)는, 방정식 생성부(12172)로부터 공급되는 N가지의 정규 방정식을 각각 연산함으로써, N가지의 실세계(1)의 광신호의 파형을 추정한다. 즉, 실세계 파형 추정부(12173)는, 방정식 생성부(12172)로부터 공급되는 N 가지의 정규 방정식을 각각 푸는 것에 의해, 실세계(1)의 광신호를 모델화한 근사 모델로서의 N가지의 근사 함수를 구하고, N가지의 실세계(1)의 광신호의 파형의 추정 결과로서, 화상 생성부(12164)에 공급한다.

그리고, 이하, 이와 같은 실세계 추정부(12163)가 실행하는 스텝 S12148의 처리를, 「실세계의 추정 처리」라고 한다. 「실세계의 추정 처리」의 상세한 것에 대하여는, 도 163의 플로차트를 참조하여 후술한다.

스텝 S12148의 처리 후는, 스텝 S12149로 진행하고, 화상 생성부(12164)는, 실세계 추정부(12163)(의 실세계 파형 추정부(12173))로부터 공급된, 실세계(1)의 광신호의 파형을 근사시키는 N가지의 근사 함수에 따라, 실세계(1)의 광신호에 의해 근사시킨 N가지의 신호를 생성한다. 즉, 화상 생성부(12164)는, 처리 영역 설정부(12161)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 실세계 추정부(12163)로부터 공급되는 N가지의 근사 함수에 따라, 실세계(1)의 광신호에 의해 근사시킨 N가지의 근사 화상(모션 흐릿함이 없는 화상)을 생성한다.

또한, 화상 생성부(12164)는, 입력 화상의 처리 영역의 부분을, N가지의 근사 화상(모션 흐릿함이 없는 화상)으로 치환하여 화상을, N가지의 출력 화상으로서 생성하고, 화상 표시부(12165)에 공급하고, 스텝 S12149로부터 S12150으로 진행한다.

스텝 S12150에서는, 화상 표시부(12165)는, 화상 생성부(12164)로부터 공급된 N가지의 출력 화상을, 스텝 S12141로 표시된 입력 화상에 대신하거나, 또는 그 입력 화상과 함께 표시하고, 스텝 S12151로 진행한다.

스텝 S12151에서는, 사용자 I/F(12166)는, 사용자가 사용자 I/F(12166)를 조작함으로써, 선택 정보의 입력이 있었는지 여부를 판정한다. 즉, 스텝 S12150에서는, 화상 표시부(12165)에 있어서, N가지의 출력 화상이 표시되지만, 그 N가지의 출력 화상을 본 사용자가, 그 N가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택하는 선택 정보의 입력을, 사용자 I/F(12166)를 조작함으로써 행했는지 여부가, 스텝 S12151에 있어서 판정된다.

스텝 S12151에 있어서, 선택 정보의 입력이 없었다고 판정된 경우, 스텝 S12154로 진행하고, 스텝 S12143에서의 경우와 마찬가지로, 사용자 I/F(12166)는, 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S12154에 있어서, 종료 지시의 입력이 있었다고 판정된 경우, 신호 처리 장치(4)는, 처리를 종료한다.

또, 스텝 S12154에 있어서, 종료 지시의 입력이 없었다고 판정된 경우, 스텝 S12151으로 복귀하고, 이하, 마찬가지의 처리를 반복한다.

한편, 스텝 S12151에 있어서, 선택 정보의 입력이 있었다고 판정된 경우, 즉, 화상 표시부(12165)에 표시된 N가지의 출력 화상을 본 사용자가, 그 N가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택한 경우, 스텝 S12152로 진행하고, 사용자 I/F(12166)는, 사용자가 사용자 I/F(12166)를 조작함으로써, 사용자가 선택한 출력 화상을, 최종적인 출력 화상으로서 확정하는 확정 지시의 입력이 있었는지 여부를 판정한다.

스텝 S12152에 있어서, 확정 지시의 입력이 있었다고 판정된 경우, 스텝 S12153으로 진행하고, 화상 표시부(12165)는, 예를 들면, 그 화면 전체에, 사용자가 선택한 출력 화상을 표시하고, 처리를 종료한다.

또, 스텝 S12152에 있어서, 확정 지시의 입력이 없었다고 판정된 경우, 즉, 사용자가, 선택한 출력 화상의 화질에 불만이 있어, 재차 처리를 행하기 위해, 확정 지시의 입력을 행하지 않은 경우, 스텝 S12145로 복귀하고, 사용자 I/F(12166)는, 사용자가 선택한 출력 화상을 나타내는 선택 정보를, 보조 정보로서, 처리 영역 설정부(12161)와 실세계 추정부(12163)에 공급하고, 스텝 S12146, S12147, S12148로 차례로 진행된다. 스텝 S12146의 처리 영역의 설정 처리와 스텝 S12147의 정상성의 설정 처리에서는, 전회 설정된 처리 영역과 정상성이 설정된다. 그리고, 그 처리 영역 정보가 정상성 설정부(12162), 실세계 추정부(12163), 및 화상 생성부(12164)에 공급되고, 그 정상성 정보가 실세계 추정부(12163)에 공급된다. 그리고, 2번째 이후에 행해지는 스텝 S12146 및 S12147의 처리는, 스킵할 수 있다.

스텝 S12148에서는, 실세계 추정부(12163)는, 사용자 I/F(12166)로부터 공급된 보조 정보로서의 선택 정보에 따라, 그 실세계(1)의 광신호(모션 흐릿함이 없는 화상)를 새로운 N가지의 방법으로 추정한다.

즉, 이 경우, 스텝 S12148에 있어서는, 실세계 추정부(12163)의 방정식 생성부(12172)에서는, 사용자 I/F(12166)로부터 공급된 보조 정보로서의 선택 정보가 나타내는 출력 화상을 얻는데 이용된 구속 조건식을 기준으로, 새로운 N가지의 구속 조건식을 설정한다. 방정식 생성부(12172)는, 실세계(1)의 광신호를 근사시키 는 근사 모델로서의 근사 함수를 구하는 방정식과, 새로운 N가지의 구속 조건식의 각각을 합하여, 새로운 N가지의 정규 방정식을 생성하고, 그 새로운 N가지의 정규 방정식을 실세계 파형 추정부(12173)에 공급한다. 또한, 실세계 파형 추정부(12173)는, 방정식 생성부(12172)로부터 공급되는 새로운 N가지의 정규 방정식을 각각 연산함으로써, 새로운 N가지의 실세계(1)의 광신호의 파형을 추정한다. 그리고, 스텝 S12148로부터 S12149로 진행하고, 이하, 마찬가지의 처리가 반복된다.

즉, 이로써, 스텝 S12145 내지 S12154의 처리가 반복되고, 최종적으로는, 출력 화상에 대한 사용자의 불만이 해소된, 사용자가 원하는 화질의 출력 화상을 얻을 수 있다.

이상과 같이, 신호 처리 장치(4)에서는, 입력 화상에 대한 처리 결과로서의 N가지의 출력 화상을 사용자에게 제시하고, 그 N가지의 출력 화상 중 사용자가 원하는 것을 선택하여 받고, 그 선택 결과를 근거로 하여, 재차 처리를 행하도록 했으므로, 사용자의 기호에 있던, 고화질의 출력 화상을, 용이하게 얻을 수 있다. 즉, 신호 처리 장치(4)는, 입력 화상에 대한 처리 결과로서의 N가지의 출력 화상을 사용자에게 제시한다. 한편, 사용자는, 그 N가지의 출력 화상 각각의 화질을 인식, 판단하고, 화질이 양호한 출력 화상을, 신호 처리 장치(4)에 피드백한다. 그리고, 신호 처리 장치(4)는, 그 사용자로부터의 피드백을 근거로 하여, 재차, 입력 화상을 처리하고, 이하, 마찬가지의 처리가 반복된다. 따라서, 사용자의 기호에 있던, 고화질의 출력 화상을, 용이하게 얻을 수 있다.

다음에, 도 163의 플로차트를 참조하여, 실세계 추정부(12163)(도 161)의 실세계의 추정 처리(도 162의 스텝 S12148의 처리)에 대하여 상세하게 설명한다.

스텝 S12171에 있어서, 모델 생성부(12171)는, 관계 모델을 생성한다. 즉, 모델 생성부(12171)가, 처리 영역 설정부(12161)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 정상성 설정부(12162)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 모션량을 인식한다. 또한, 모델 생성부(12171)는, 입력 화상에서의 처리 영역에 대하여, 그 처리 영역의 수평 라인을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응하는 모션량에 따라, 처리 영역 내의 센서(2)에 의해 검출된 각 화소의 화소값 P_i와, 실세계(1)의 광신호를 근사시키는 근사 모델에 의해 표현되는 모션 흐릿함이 없는 화소의 화소값 Q_i와의 관계를 모델화한 관계 모델을 처리 영역의 수평 라인마다 생성하고, 방정식 생성부(12172)에 공급한다. 그리고, 모델 생성부(12171)는, 스텝 S12171로부터 스텝 S12172로 진행한다.

구체적으로는, 모델 생성부(12171)는, 처리 영역의 수평 라인의 화소수와 모션량에 따라, 도 148 (A) 내지 도 148 (C)에서 설명한, 처리 영역의 각 수평 라인의 화소의 화소값 P_i와 ,모션 흐릿함이 없는 화소값 Q_i와의 관계를 나타내는 식을 관계 모델로서 생성한다. 예를 들면, 처리 영역의 수평 라인의 화소수가 8이며, 모션량 V가 5인 경우, 관계 모델로서 전술한 식(151)의 방정식이 생성된다.

스텝 S12172에서는, 방정식 생성부(12172)는, 방정식 생성 처리를 행한다. 즉, 방정식 생성부(12172)는, 처리 영역 설정부(12161)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 그 처리 영역을 구성하는 입력 화상의 각 화소의 화소값 P_i를, 모델 생성부(12171)로부터 공급되는, 그 처리 영역의 각 수평 라인에 대하여 얻어진 관계 모델에 대입하고, 이로써, 실세계(1)의 광신호를 근사시키는 근사 함수에 의해 표현되는, 모션 흐릿함이 없는 화소값 Q_i를 구하는 식(151)의 방정식(모델 방정식)을 생성한다.

또한, 방정식 생성부(12172)는, 처리 영역 설정부(12161)로부터 공급되는 처리 영역 정보로부터 인식되는 처리 영역의 수평 라인에서의 실세계(1)의 광신호를 근사시키는 근사 모델을 구속하는 방정식인 구속 조건식을 생성한다. 즉, 모델 방정식은, 식(151)에 나타낸 바와 같이, 구하고자 하는 변수인 모션 흐릿함이 없는 화소값 Q_i 쪽이, 방정식의 수보다 많기 때문에, 모션 흐릿함이 없는 화소값 Q_i를 구하는 데는, 방정식의 총수를 모션 흐릿함이 없는 화소값 Q_i의 수 이상으로 하는 방정식을 도입할 필요가 있다. 여기서, 방정식 생성부(12172)는, 인접하는 화소의, 근사 함수에 의해 표현되는 모션 흐릿함이 없는 화소값 Q_i의 차이가 작다는(공간 상관이 있다는) 구속 조건식을 생성한다. 이 때, 방정식 생성부(12172)는, 사용자에 의해 불만 영역이 지시된 경우, 그 불만 영역에 대하여 가중치를 부여한 구속 조건 식을 생성한다.

단, 불만 영역에 대한 가중치의 사양에 따라 화질이 상이한 출력 화상을 얻을 수 있으므로, 방정식 생성부(12172)는, N가지의 가중치를 부여한 구속 조건식을 생성한다. 그 결과, 신호 처리 장치(4)에서는, N가지의 출력 화상이 생성되어, 표시된다. 그리고, 사용자는, 그 N가지의 출력 화상을 보고, 그 중에서 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택한다.

따라서, 모션 흐릿함이 없는 화상이 평탄하지 않고, 예를 들면, 어떠한 모양이 있고, 액티비티가 높은 화상인 경우라도, 사용자가 원하는 화질의 모션 흐릿함이 없는 화상을 얻을 수 있다. 즉, 방정식 생성부(12172)는, 사용자에 의해 불만이 있는 영역인 것으로 지시된 영역에 대하여, N가지의 가중치를 부여한, 인접 화소의 모션 흐릿함이 없는 화소값의 차이는 작다는 구속 조건식을 생성한다. 사용자는, 그 결과 얻어지는 N가지의 출력 화상으로부터 원하는 화질의 화상이 선택할 수 있으므로, 불만이 있는 영역에 대하여 최적인 구속 조건이 설정된, 원하는 화질의 화상을 용이하게 얻을 수 있다.

방정식 생성부(12172)는, 모델 방정식을 생성하고, 불만 영역 지시 정보에 따라, N가지의 가중치를 부여한 구속 조건식을 생성하고, 생성된 모델 방정식과 N가지의 구속 조건식의 각각을 합하여, N가지의 정규 방정식을 생성한다. 방정식 생성부(12172)는, 그 N가지의 정규 방정식을, 실세계 파형 추정부(12173)에 공급하고, 스텝 S12172로부터 스텝 S12173으로 진행한다.

그리고, 이하, 이와 같은 방정식 생성부(12172)가 실행하는 스텝 S12172의 처리를, 「방정식 생성 처리」라고 한다. 「방정식 생성 처리」의 상세한 것에 대하여는, 도 165의 플로차트를 참조하여 후술한다.

스텝 S12173에 있어서, 실세계 파형 추정부(12173)는, 방정식 생성부(12172)로부터 공급되는 N가지의 정규 방정식을 푸는 것에 의해, N가지의 실세계(1)의 광신호의 파형을 추정, 즉, N가지의 근사 함수에 의해 표현되는 모션 흐릿함이 없는 화소값을 구하고, 그 N가지의 화소값을, 화상 생성부(12164)에 공급한다.

다음에, 도 164는, 도 161의 방정식 생성부(12172)의 상세 구성예를 나타내고 있다.

도 164에서는, 방정식 생성부(12172)는, 모델 방정식 생성부(12191), 가중치 설정부(12192), 구속 조건식 생성부(12193), 및 정규 방정식 생성부(12194)로 구성되어 있다.

도 164에 구성을 나타낸 방정식 생성부(12172)에는, 모델 생성부(12171)로부터, 처리 영역의 수평 라인의 각 화소의 화소값(모션 흐릿함 화상의 화소값)과 모션 흐릿함이 없는 화소값과의 관계를 모델화한 관계 모델이 입력되고, 모델 방정식 생성부(12191)에 공급된다. 또, 방정식 생성부(12172)에는, 입력 화상이, 센서(2)(도 1)로부터 입력되고, 그 입력 화상은, 모델 방정식 생성부(12191)에 공급된다.

또한, 방정식 생성부(12172)에는, 처리 영역 정보가, 처리 영역 설정부(12161)로부터 입력되고, 그 처리 영역 정보가, 모델 방정식 생성부(12191)와 구속 조건식 생성부(12193)에 공급된다. 또, 방정식 생성부(12172)에는, 보조 정보로서 불만 영역 지시 정보와 선택 정보가, 사용자 I/F(12166)로부터 입력되고, 그 불만 영역 지시 정보는, 구속 조건식 생성부(12193)에, 선택 정보는, 가중치 설정부(12192)에 각각 공급된다.

모델 방정식 생성부(12191)는, 처리 영역 정보로부터 입력 화상의 처리 영역을 인식하고, 모델 생성부(12171)로부터 공급된 관계 모델의 모션 흐릿함 화상의 각 화소의 화소값 P_i로서 입력 화상의 처리 영역에서의 화소값을 대입하여, 처리 영역의 수평 라인마다 식(151)의 모델 방정식을 생성한다. 그리고, 모델 방정식 생성부(12191)는, 정규 방정식 생성부(12194)에, 그 모델 방정식을 공급한다. 그리고, 모델 생성부(12171)에서 얻어지는 관계 모델은, 예를 들면, 식(151)의 모션량ｖ에 구체적인 값이 대입된 것이며, 모델 방정식 생성부(12191)에서 얻어지는 모델 방정식은, 또한 식(151)의 화소값 P₄ 내지 P₇에 구체적인 값이 대입된 것이다.

가중치 설정부(12192)는, 사용자 I/F(12166)로부터 입력된 선택 정보에 따라, 구속 조건식에 부여하는 N가지의 가중치를 설정하고, 그 N가지의 가중치를, 구속 조건식 생성부(12193)에 공급한다. 구속 조건식 생성부(12193)는, 처리 영역 정보, 사용자 I/F(12166)로부터 입력된 불만 영역 지시 정보, 및 가중치 설정부(12192)로 설정된 N가지의 가중치에 따라, 불만 영역의 수평 라인의 각 화소에 대하여, N가지의 가중치를 부여한 N가지의 소정의 구속 조건식을 각각 생성하고, 그 N가지의 구속 조건식을 정규 방정식 생성부(12194)에 공급한다.

정규 방정식 생성부(12194)는, 모델 방정식 생성부(12191)로부터 공급된 모 델 방정식과, 구속 조건식 생성부(12193)로부터 공급된 N가지의 구속 조건식의 각각을 합하여, N가지의 정규 방정식을 생성하고, 실세계 파형 추정부(12173)에 공급한다.

다음에, 도 165의 플로차트를 참조하여, 방정식 생성부(12172)(도 164)의 방정식 생성 처리(도 163의 스텝 S12172의 처리)에 대하여 상세하게 설명한다.

스텝 S12191에 있어서, 모델 방정식 생성부(12191)는, 모델 생성부(12171)로부터 처리 영역의 수평 라인마다의 관계 모델을 취득하고, 스텝 S12192로 진행한다. 스텝 S12192에 있어서, 모델 방정식 생성부(12191)는, 센서(2)로부터 입력 화상을 취득하고, 처리 영역 설정부(12161)로부터 처리 영역 정보를 취득한다. 그리고, 모델 방정식 생성부(12191)는, 그 입력 화상과 처리 영역 정보로부터, 처리 영역 내의 각 화소의 화소값 P_i를 인식하고, 그 화소값 P_i를, 모델 생성부(12171)로부터 취득한 식(151)의 관계 모델에 대입함으로써, 처리 영역의 수평 라인마다 모델 방정식을 생성한다. 또한, 모델 방정식 생성부(12191)는, 그 모델 방정식을 정규 방정식 생성부(12194)에 공급한다. 즉, 예를 들면, 모델 방정식 생성부(12191)가, 전술한 식(151)에 의해 표현되는 관계 모델을, 모델 생성부(12171)로부터 취득한 경우, 식(151)의 화소값 P₄ 내지 P₇에 입력 화상의 화소값을 대입함으로써, 모델 방정식을 생성한다.

스텝 S12192의 처리 후는, 스텝 S12193으로 진행하고, 가중치 설정부(12192)는, N가지의 가중치를 설정하여 각각의 가중치를 구속 조건식 생성부(12193)에 공 급하고, 스텝 S12194로 진행한다. 여기서, 가중치 설정부(12192)는, 사용자 I/F(12166)로부터 선택 정보가 입력된 경우, 그 선택 정보가 나타내는 출력 화상을 얻는데 이용된 가중치를 기준으로, 새로운 N가지의 가중치를 설정한다. 즉, 가중치 설정부(12192)는, 최초에 가중치를 설정하는 경우, 예를 들면, 0.5를 중심으로 하여 0 내지 1의 범위 내에서 등간격으로, N가지의 가중치를 설정한다. 그리고, 가중치 설정부(12192)는, 사용자 I/F(12166)로부터 선택 정보가 입력된 경우, 그 선택 정보가 나타내는 출력 화상을 얻는데 이용된 가중치를 중심으로 하여, 전회의 가중치의 설정시보다 가는 등 간격으로(단, 0 내지 1의 범위), 새로운 N가지의 가중치를 설정한다.

사용자가 전회의 처리로 출력된 N가지의 출력 화상 중 원하는 것을 선택하면, 그 선택 결과를 근거로 하여, 새로운 N가지의 가중치가 설정되므로, 사용자는 N가지의 출력 화상 중 원하는 것의 선택을 반복함으로써, 최종적으로는, 사용자가 원하는 화질의 출력 화상을 얻을 수 있는 가중치가 설정되고, 그 결과, 사용자가 원하는 화질의 출력 화상을 얻을 수 있다.

스텝 S12194에서는, 구속 조건식 생성부(12193)는, 사용자 I/F(12166)로부터 불만 영역 지시 정보가 입력되었는지 여부를 판정하고, 불만 영역 지시 정보가 입력되어 있지 않은 것으로 판정한 경우, 스텝 S12195를 스킵하고, 스텝 S12196으로 진행한다. 이 경우, 스텝 S12196에서는, 구속 조건식 생성부(12193)는, 예를 들면, 처리 영역 설정부(12161)가 소정의 처리를 행함으로써 자동적으로 설정한 처리 영역 정보에 따라, 가중치 설정부(12192)로부터 공급된 N가지의 가중치를 부여한 구속 조건식을 각각 생성하고, 그 N가지의 구속 조건식을 정규 방정식 생성부(12194)에 공급한다. 즉, 불만 영역 지시 정보가 입력되지 않았던 경우, 구속 조건식 생성부(12193)는, 처리 영역의 수평 라인의 모든 화소에 대하여 N가지의 구속 조건식을 생성한다.

예를 들면, 처리 영역의 수평 라인의 화소수가, 예를 들면, 도 152 (A) 내지 도 152 (C)에 나타낸 바와 같이 8개이며, 각 화소의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₇로 나타내는 경우, 구속 조건식은, 예를 들면, 이하의 식(154)에 의해 표현된다.

…(154)

그리고, 식(154)에 있어서, W는 가중치를 나타내고, 구속 조건식 생성부(12193)는, 가중치 W가 상이한 N가지의 식(154)에서 나타내는 구속 조건식을 생성한다. 가중치 W의 값이 클수록, 인접 화소의 화소값의 차분이 작다는 구속 조건의 가중치가 커진다. 즉, 식(154)에서의 있는 구속 조건식(Q_i ₊₁－Q_i)= 0의 가중치 W가 클수록, 화소값 Q_i와 Q_i ₊ ₁는, 동일한 값으로 되도록, 말하자면 강하게 구속된다. 가중치 W가 작은 경우에는, 그와 같은 구속이, 말하자면 약해져, 화소값 Q_i와 Q_i ₊₁은, 상이한 값을 받기 쉬워진다.

한편, 스텝 S12194에서, 구속 조건식 생성부(12193)는, 사용자 I/F(12166)로부터 불만 영역 지시 정보가 입력된 것으로 판정한 경우, 스텝 S12194로부터 스텝 S12195로 진행하고, 사용자 I/F(12166)로부터 불만 영역 지시 정보를 취득하여 스텝 S12196으로 진행한다.

이 경우, 스텝 S12196에서는, 구속 조건식 생성부(12193)는, 처리 영역 정보와 불만 영역 지시 정보에 따라, 가중치 설정부(12192)로부터 공급된 N가지의 가중치를 부여한 구속 조건식을 각각 생성하고, 그 N가지의 구속 조건식을 정규 방정식 생성부(12194)에 공급한다. 즉, 불만 영역 지시 정보가 입력된 경우, 구속 조건식 생성부(12193)는, 처리 영역 중, 불만 영역 지시 정보가 나타내는 불만 영역의 각 수평 라인의 화소에 대응하는 구속 조건식에 N가지의 가중치를 부여한 N가지의 구속 조건식을 생성한다.

예를 들면, 도 152 (A) 내지 도 152 (C)에 나타낸 바와 같이, 처리 영역의 수평 라인이 8개의 화소 ＃0 내지 ＃7로 구성되며, 그 각 화소 ＃0 내지 ＃7의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₇로 나타내는 경우에 있어서, 사용자에 의해 지시된 불만 영역이 화소값 Q₀ 내지 Q₄의 5개의 화소 ＃0 내지 ＃4로 구성될 때, 구속 조건식은, 이하의 식(155)에 의해 표현된다.

…(155)

그리고, 식(155)에 있어서, W는 가중치를 나타내고, 구속 조건식 생성부(12193)는, 가중치 W가 상이한 N가지의 식(155)에서 나타내는 구속 조건식을 생성한다. 식(154)에서의 경우와 마찬가지로, 가중치 W의 값이 클수록, 인접 화소의 화소값의 차분이 작다는 구속 조건의 가중치가 커진다.

스텝 S12196의 처리 후는, 스텝 S12197로 진행하고, 정규 방정식 생성부(12194)는, 모델 방정식 생성부(12191)로부터 공급된 식(151)의 모델 방정식에, 구속 조건식 생성부(12193)로부터 공급된 N가지의 식(154) 또는 식(155)에서 나타내는 구속 조건식을 각각 합하여, 수평 라인마다 N가지의 정규 방정식을 생성하고, 그 N가지의 정규 방정식을 실세계 파형 추정부(12173)에 공급한다.

이 후, 실세계 파형 추정부(12173)는, 정규 방정식 생성부(12194)로부터 공급된 N가지의 정규 방정식을, 예를 들면 최소 제곱 오차 최소 규범으로 각각 푸는 것에 의해, 처리 영역의 각 수평 라인의 화소의 N가지의 모션 흐릿함이 없는 화소값 Q_i를 구한다.

그리고, 전술한 실세계 추정 처리는, 처리 영역 내의 수평 방향으로 정렬된 화소(수평 라인)마다 행해진다. 즉, 실세계 파형 추정부(12173)는, 수평 라인마다, 처리 영역의 각 화소의 N가지의 모션 흐릿함이 없는 화소값 Q_i를 구한다. 그리고, 실세계 파형 추정부(12173)는, 처리 영역 내의 모든 수평 라인에 있어서, 각 화소의 N가지의 모션 흐릿함이 없는 화소값 Q_i를 구한 후, 처리 영역의 각 화소의 N가지의 모션 흐릿함이 없는 화소값 Q_i를, 화상 생성부(12164)에 공급한다. 화상 생성부(12164)는, 입력 화상에서의 처리 영역의 각 화소의 화소값 P_i를, N가지의 모션 흐릿함이 없는 화소값 Q_i으로 각각 치환한 화상을, N가지의 출력 화상으로서 생성하고, 화상 표시부(12165)에 공급하여 표시하게 한다.

또, 전술한 처리에서는, 불만 영역이 사용자에 의해 지시된 경우, 구속 조건식 생성부(12193)는, 불만 영역 이외에 대한 구속 조건식을 생성하지 않았지만, 불만 영역 이외에 대한 구속 조건식도, 소정의 가중치를 부여하여, 생성해도 된다. 이 경우, 예를 들면, 구속 조건식 생성부(12193)는, 도 152 (A) 내지 도 152 (C)에 나타낸 바와 같이, 처리 영역의 수평 라인이 8개의 화소 ＃0 내지 ＃7로 구성되며, 그 각 화소 ＃0 내지 ＃7의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₇로 나타내는 경우에 있어서, 사용자에 의해 지시된 불만 영역이 화소값 Q₀ 내지 Q₄의 5개의 화소 ＃0 내지 ＃4로 구성될 때, 화소값 Q₅ 내지 Q₇의 3개의 화소 ＃5 내지 ＃7에 대하여도 소정의 가중치(예를 들면, 불만 영역의 화소에 대한 가중치와는 상이한 가중치W)를 부여한 구속 조건식을 생성한다.

도 166에 나타낸 바와 같이, 사용자는, 입력 화상(12211)을 보고, 불만이 있는 영역을, 불만 영역으로서 지시한다. 그리고, 신호 처리 장치(4)는, 사용자에 의해 지시된 불만 영역의 구속 조건식의 가중치를 변경(설정)하고, N가지의 가중치를 부여한 구속 조건식을 사용하여, N가지의 출력 화상(12222-1) 내지 (12222-N)을 생성하여, 표시한다. 사용자는, N가지의 출력 (12222-1) 내지 (12222-N)을 보고, 그 N가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택한다. 도 166의 예에서는, 사용자는, N가지의 출력 (12222-1) 내지 (12222-N) 중 (12222-N)를 선택하고 있다. 신호 처리 장치(4)는, 사용자로부터 선택된 출력 화상(12222-N)를 얻는데 이용된 구속 조건식의 가중치를 기준으로 하여, 불만 영역의 구속 조건식에, 새로운 N가지의 가중치를 부여하고(가중치를 변경하고), 그 새로운 N가지의 가중치에 따라 얻어지는 새로운 N가지의 출력 화상을 표시하는 것을 반복한다.

따라서, 사용자는, 출력 화상의 선택이나 불만 영역의 지시를 행하는 것만으로, 간단하게 최적인 구속 조건을 설정하고, 실세계(1)의 광신호에 의해 근사시킨 화상을 얻을 수 있다. 즉, 사용자는, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 용이하게 얻을 수 있다.

도 167은, 도 111에 나타낸 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타내고 있다.

그리고, 도 167은, 예를 들면, 일정 방향으로 일정한 속도로 이동한다는 정 상성을 가지는 데이터(3)의 일례인 모션 흐릿함 화상 데이터로부터, 실세계(1)의 광신호를 추정하는 신호 처리 장치(4)의 일실시예의 구성예를 나타내고 있다. 즉, 이 신호 처리 장치(4)는, 예를 들면, 촬영시에 피사체(오브젝트)가 움직인 것에 의해, 피사체가 흐릿하게 촬영되어 버린 화상(모션 흐릿함 화상)으로부터, 그 흐릿함이 없는 화상(모션 흐릿함이 없는 화상)을 추정한다. 따라서, 도 167의 실시예에서는, 입력 화상으로서, 이동하고 있는 오브젝트를 촬영함으로써 얻어진 모션 흐릿함이 생기고 있는 모션 흐릿함 화상이, 신호 처리 장치(4)에 입력된다. 그리고, 여기서는, 입력 화상으로서, 수평 방향(좌측으로부터 우측 방향)으로 일정한 속도(모션량)로 이동하고 있는 오브젝트를 촬상하여 얻어지는 화상을 채용한다.

도 167에 있어서, 처리 영역 설정부(12241), 정상성 설정부(12242), 실세계 추정부(12243), 화상 생성부(12244), 화상 표시부(12245), 사용자 I/F(12246)는, 도 111의 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006)에 각각 대응하고 있고, 기본적으로는, 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006) 각각과 마찬가지의 처리를 행한다. 또한, 도 167에 있어서, 실세계 추정부(12243)는, 모델 생성부(12251), 방정식 생성부(12252), 실세계 파형 추정부(12253)로 구성되어 있다. 모델 생성부(12251), 방정식 생성부(12252), 실세계 파형 추정부(12253)는, 도 111의 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013)에 각각 대응하고 있고, 기본적으로는, 모델 생성부(10011), 방정식 생성부 (10012), 실세계 파형 추정부(10013) 각각과 마찬가지의 처리를 행한다.

단, 도 167에 있어서는, 사용자가 사용자 I/F(12246)를 조작함으로써, 사용자 I/F(12246)가 출력하는 보조 정보가, 처리 영역 설정부(12241)와 실세계 추정부(12243)에 공급되도록 되어 있다.

즉, 도 167에서는, 사용자는, 사용자 I/F(12246)를 조작함으로써, 화상 표시부(12245)에 표시된 화상에 대하여, 불만이 있는 영역을 불만 영역으로서 지시할 수 있도록 되어 있고, 사용자 I/F(12246)는, 사용자가 불만 영역을 지시하는 조작을 행하면, 그 조작에 의해 지정된 영역으로서의 불만 영역을 나타내는 불만 영역 지시 정보를, 처리 영역 설정부(12241)와 실세계 추정부(12243)에 공급한다. 또한, 도 167에서는, 화상 표시부(12245)에는, 후술하는 바와 같이, 복수개의 출력 화상이 표시되지만, 사용자는, 사용자 I/F(12246)를 조작함으로써, 화상 표시부(12245)에 표시된 출력 화상을 선택할 수 있도록 되어 있고, 사용자 I/F(12246)는, 사용자가 출력 화상을 선택하는 조작을 행하면, 그 조작에 의해 선택된 출력 화상을 나타내는 선택 정보를, 보조 정보로서, 처리 영역 설정부(12241)와 실세계 추정부(12243)에 공급한다.

그리고, 사용자 I/F(12246)를 조작함으로써 불만 영역을 지시하는 방법으로서는, 예를 들면, 불만 영역을 에워싸는 직사각형에 따라서 지시하는 방법, 불만 영역을 트림(trim)함으로써 지시하는 방법, 불만 영역 중 임의의 1점 이상을 포인팅함으로써 지시하는 방법 등이 있지만, 여기서는, 예를 들면, 사용자는, 불만 영역 중 임의의 1점을, 사용자 I/F(12246)를 조작하여 포인팅함으로써, 불만 영역을 지시하는 것으로 한다. 이 경우, 사용자 I/F(12246)는, 사용자가 포인팅한 점을 나타내는 정보로서의, 예를 들면, 그 점의, 화상 상의 좌표를, 불만 영역 지시 정보로서, 처리 영역 설정부(12241)와 실세계 추정부(12243)에 공급한다.

다음에, 도 168의 플로차트를 참조하여, 도 167의 신호 처리 장치(4)의 처리에 대하여 설명한다.

먼저 최초에, 스텝 S12211에 있어서, 신호 처리 장치(4)는, 사전 처리를 행하고, 스텝 S12212로 진행한다. 즉, 신호 처리 장치(4)는, 센서(2)(도 1)로부터 데이터(3)로서 공급되는, 예를 들면 1프레임 또는 1필드의 입력 화상을, 처리 영역 설정부(12241), 정상성 설정부(12242), 실세계 추정부(12243), 화상 생성부(12244), 및 화상 표시부(12245)에 공급한다. 또한, 신호 처리부(4)는, 화상 표시부(12245)에, 입력 화상을 표시하게 한다.

스텝 S12212에서는, 사용자 I/F(12246)는, 사용자가 사용자 I/F(12246)를 조작함으로써, 어떠한 사용자 입력이 있었는지 여부를 판정한다. 스텝 S12212에 있어서, 사용자 입력이 없었다고 판정된 경우, 즉, 사용자가 아무런 조작도 행하지 않은 경우, 스텝 S12213 내지 S12215를 스킵하여, 스텝 S12216으로 진행한다.

또, 스텝 S12212에 있어서, 사용자 입력이 있었다고 판정된 경우, 즉, 사용자가 화상 표시부(12245)에 표시된 입력 화상을 보고, 사용자 I/F(12246)를 조작하고, 이로써, 어떠한 지시 또는 정보를 나타내는 사용자 입력이 있었을 경우, 스텝 S12213으로 진행하고, 사용자 I/F(12246)는, 그 사용자 입력이, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시인지 여부를 판정한다.

스텝 S12213에 있어서, 사용자 입력이 종료 지시인 것으로 판정된 경우, 즉, 예를 들면, 화상 표시부(12245)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼지 않고, 입력 화상에 대하여 신호 처리를 행하지 않아도 되는 것으로 하여, 신호 처리 장치(4)의 처리를 종료하도록, 사용자 I/F(12246)를 조작한 경우, 신호 처리 장치(4)는 처리를 종료한다.

또, 스텝 S12213에 있어서, 사용자 입력이 종료 지시가 아닌 것으로 판정된 경우, 스텝 S12214로 진행하고, 사용자 I/F(12246)는, 사용자 입력이 불만 영역 지시 정보인지 여부를 판정한다. 스텝 S12214에 있어서, 사용자 입력이 불만 영역 지시 정보가 아닌 것으로 판정된 경우, 스텝 S12215를 스킵하고, 스텝 S12216으로 진행한다.

한편, 스텝 S12214에 있어서, 불만 영역 지시 정보의 입력이 있었다고 판정된 경우, 즉, 화상 표시부(12245)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼고, 불만인 부분을 포인팅하도록, 사용자 I/F(12246)를 조작한 경우, 스텝 S12215로 진행하고, 사용자 I/F(12246)는, 사용자가 사용자 I/F(12246)를 조작함으로써 포인팅한 점을 나타내는 불만 영역 지시 정보를, 보조 정보로서, 처리 영역 설정부(12241)와 실세계 추정부(12243)에 공급하고, 스텝 S12216으로 진행한다.

스텝 S12216에서는, 처리 영역 설정부(12241)는, 사용자 I/F(12246)로부터 공급된 보조 정보로서의 불만 영역 지시 정보에 따라, 예를 들면, 불만 영역을 포함하는 소정의 직사각형의 영역을 처리 영역으로서 설정하고, 그 처리 영역 정보 를, 정상성 설정부(12242), 실세계 추정부(12243), 및 화상 생성부(12244)에 공급하고, 스텝 S12217로 진행한다. 그리고, 이 처리 영역은, 사용자가 사용자 I/F(12246)를 조작하여 입력해도 된다.

단, 사용자 I/F(12246)로부터 처리 영역 설정부(12241)에 불만 영역 지시 정보가 공급되지 않았던 경우(스텝 S12212 또는 스텝 S12214의 처리 직후에 스텝 S12216의 처리가 행해지는 경우)에는, 처리 영역 설정부(12241)는, 소정의 처리(예를 들면, 입력 화상에 있어서, 모션 흐릿함이 생기고 있는 영역을 검출하는 처리)를 행함으로써, 처리 영역의 설정을 행한다.

스텝 S12217에서는, 정상성 설정부(12242)는, 처리 영역 설정부(12241)로부터 공급된 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식한다. 또한, 정상성 설정부(12242)는, 그 처리 영역의 화상 데이터에 있어서 결락된 실세계(1)의 광신호의 정상성을 나타내는 정보로서, 처리 영역에 표시된 오브젝트의 모션량을 설정하고, 그 정상성을 나타내는 정상성 정보를, 실세계 추정부(12243)에 공급하고, 스텝 S12218로 진행한다. 그리고, 이 모션량은, 사용자가 사용자 I/F(12246)를 조작하여 입력해도 된다. 또, 여기서는, 정상성 설정부(12242)는, 입력 화상에 있어서, 오브젝트가 수평 방향으로 이동하고 있는 것을 전제로 하여, 그 모션의 크기만을 나타내는 모션량을 정상성 정보로서 설정하도록 했지만, 그 외에, 오브젝트의 모션의 크기와 방향을 나타내는 모션 벡터를, 정상성 정보로서 설정할 수도 있다.

스텝 S12218에서는, 실세계 추정부(12243)는, 처리 영역 설정부(12241)로부 터 공급된 처리 영역 정보와, 사용자 I/F(12246)로부터 공급된 불만 영역 지시 정보에 따라, 입력 화상에서의 처리 영역 내의 화상 데이터(모션 흐릿함 화상 데이터)로부터, 대응하는 실세계(1)의 광신호의 모션량에 따라, 그 실세계(1)의 광신호(모션 흐릿함이 없는 화상)를 복수개인 N가지의 방법으로 추정한다.

즉, 실세계 추정부(12243)에서는, 모델 생성부(12251)가, 처리 영역 설정부(12241)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 정상성 설정부(12242)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 실세계(1)의 광신호의 모션량, 즉, 여기서는, 처리 영역에 표시된 오브젝트의 모션량을 인식한다. 또한, 모델 생성부(12251)는, 입력 화상에서의 처리 영역의 각 수평 라인을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응하는 실세계(1)의 광신호의 모션량에 따라, 처리 영역의 각 수평 라인의 화소의 화소값과 실세계(1)의 광신호와의 관계를 모델화한 관계 모델을 처리 영역의 수평 라인마다 생성하고, 방정식 생성부(12252)에 공급한다.

방정식 생성부(12252)는, 처리 영역 설정부(12241)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 따라, 입력 화상의 각 화소의 화소값을, 모델 생성부(12251)로부터 공급되는 처리 영역의 수평 라인마다의 관계 모델에 대입하고, 이로써, 실세계(1)의 광신호를 근사시키는 근사 모델로서의 근사 함수를 구하는 방정식을 생성한다. 또한, 방정식 생성부(12252)는, 처리 영역 정보와 입력 화상의 특징량에 따라, 근사 함수를 구속하는 구속 조건식에 N가지의 가중치를 부여한, N가지의 구속 조건식을 생성한다. 방정 식 생성부(12252)는, 실세계(1)의 광신호를 근사시키는 근사 모델로서의 근사 함수를 구하는 방정식과 N가지의 구속 조건식의 각각을 합하여, N가지의 정규 방정식을 생성하고, 실세계 파형 추정부(12253)에 공급한다.

실세계 파형 추정부(12253)는, 방정식 생성부(12252)로부터 공급되는 N가지의 정규 방정식을 각각 연산함으로써, N가지의 실세계(1)의 광신호의 파형을 추정한다. 즉, 실세계 파형 추정부(12253)는, 방정식 생성부(12252)로부터 공급되는 N가지의 정규 방정식을 각각 푸는 것에 의해, 실세계(1)의 광신호를 모델화한 근사 모델로서의 N가지의 근사 함수를 구하고, N가지의 실세계(1)의 광신호의 파형의 추정 결과로서, 화상 생성부(12244)에 공급한다.

그리고, 이하, 이와 같은 실세계 추정부(12243)가 실행하는 스텝 S12218의 처리를, 「실세계의 추정 처리」라고 한다. 「실세계의 추정 처리」의 상세한 것에 대하여는, 도 169의 플로차트를 참조하여 후술한다.

스텝 S12218의 처리 후는, 스텝 S12219로 진행하고, 화상 생성부(12244)는, 실세계 추정부(12243)(의 실세계 파형 추정부(12253))로부터 공급된, 실세계(1)의 광신호의 파형을 근사시키는 N가지의 근사 함수에 따라, 실세계(1)의 광신호에 의해 근사시킨 N가지의 신호를 생성한다. 즉, 화상 생성부(12244)는, 처리 영역 설정부(12241)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 실세계 추정부(12243)로부터 공급되는 N가지의 근사 함수에 따라, 실세계(1)의 광신호에 의해 근사시킨 N가지의 근사 화상(모션 흐릿함이 없는 화상)을 생성한다.

또한, 화상 생성부(12244)는, 입력 화상의 처리 영역의 부분을, N가지의 근사 화상(모션 흐릿함이 없는 화상)으로 치환하여 화상을, N가지의 출력 화상으로서 생성하고, 화상 표시부(12245)에 공급하고, 스텝 S12219로부터 S12220으로 진행한다.

스텝 S12220에서는, 화상 표시부(12245)는, 화상 생성부(12244)로부터 공급된 N가지의 출력 화상을, 스텝 S12211에서 표시된 입력 화상에 대신하거나, 또는 그 입력 화상과 함께 표시하고, 스텝 S12221로 진행한다.

스텝 S12221에서는, 사용자 I/F(12246)는, 사용자가 사용자 I/F(12246)를 조작함으로써, 선택 정보의 입력이 있었는지 여부를 판정한다. 즉, 스텝 S12220에서는, 화상 표시부(12245)에 있어서, N가지의 출력 화상이 표시되지만, 그 N가지의 출력 화상을 본 사용자가, 그 N가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택하는 선택 정보의 입력을, 사용자 I/F(12246)를 조작함으로써 행했는지 여부가, 스텝 S12221에 있어서 판정된다.

스텝 S12221에 있어서, 선택 정보의 입력이 없었다고 판정된 경우, 스텝 S12224로 진행하고, 스텝 S12213에서의 경우와 마찬가지로, 사용자 I/F(12246)는, 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S12224에 있어서, 종료 지시의 입력이 있었다고 판정된 경우, 신호 처리 장치(4)는, 처리를 종료한다.

또, 스텝 S12224에 있어서, 종료 지시의 입력이 없었다고 판정된 경우, 스텝 S12221로 복귀하고, 이하, 마찬가지의 처리를 반복한다.

한편, 스텝 S12221에 있어서, 선택 정보의 입력이 있었다고 판정된 경우, 즉, 화상 표시부(12245)에 표시된 N가지의 출력 화상을 본 사용자가, 그 N가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택한 경우, 스텝 S12222로 진행하고, 사용자 I/F(12246)는, 사용자가 사용자 I/F(12246)를 조작함으로써, 사용자가 선택한 출력 화상을, 최종적인 출력 화상으로서 확정하는 확정 지시의 입력이 있었는지 여부를 판정한다.

스텝 S12222에 있어서, 확정 지시의 입력이 있었다고 판정된 경우, 스텝 S12223으로 진행하고, 화상 표시부(12245)는, 예를 들면, 그 화면 전체에, 사용자가 선택한 출력 화상을 표시하고, 처리를 종료한다.

또, 스텝 S12222에 있어서, 확정 지시의 입력이 없었다고 판정된 경우, 즉, 사용자가, 선택한 출력 화상의 화질에 불만이 있어, 재차 처리를 행하기 위해, 확정 지시의 입력을 행하지 않은 경우, 스텝 S12215로 복귀하고, 사용자 I/F(12246)는, 사용자가 선택한 출력 화상을 나타내는 선택 정보를, 보조 정보로서, 처리 영역 설정부(12241)와 실세계 추정부(12243)에 공급하고, 스텝 S12216, S12217, S12218로 차례로 진행된다. 스텝 S12216의 처리 영역의 설정 처리와 스텝 S12217의 정상성의 설정 처리에서는, 전회 설정된 처리 영역과 정상성이 설정된다. 그리고, 그 처리 영역 정보가 정상성 설정부(12242), 실세계 추정부(12243), 및 화상 생성부(12244)에 공급되고, 그 정상성 정보가 실세계 추정부(12243)에 공급된다. 그리고, 2번째 이후에 행해지는 스텝 S12216 및 S12217의 처리는, 스킵할 수 있다.

스텝 S12218에서는, 실세계 추정부(12243)는, 사용자 I/F(12246)로부터 공급 된 보조 정보로서의 선택 정보에 따라, 그 실세계(1)의 광신호(모션 흐릿함이 없는 화상)를 새로운 N가지의 방법으로 추정한다.

즉, 이 경우, 스텝 S12218에서는, 실세계 추정부(12243)의 방정식 생성부(12252)에서는, 사용자 I/F(12246)로부터 공급된 보조 정보로서의 선택 정보가 나타내는 출력 화상을 얻는데 이용된 구속 조건식을 기준으로, 새로운 N가지의 구속 조건식을 설정한다. 방정식 생성부(12252)는, 실세계(1)의 광신호를 근사시키는 근사 모델로서의 근사 함수를 구하는 방정식과, 새로운 N가지의 구속 조건식의 각각을 합하여, 새로운 N가지의 정규 방정식을 생성하고, 그 새로운 N가지의 정규 방정식을 실세계 파형 추정부(12253)에 공급한다. 또한, 실세계 파형 추정부(12253)는, 방정식 생성부(12252)로부터 공급되는 새로운 N가지의 정규 방정식을 각각 연산함으로써, 새로운 N가지의 실세계(1)의 광신호의 파형을 추정한다. 그리고, 스텝 S12218로부터 S12219으로 진행하고, 이하, 마찬가지의 처리가 반복된다.

즉, 이로써, 스텝 S12215내지 S12224의 처리가 반복되고, 최종적으로는, 출력 화상에 대한 사용자의 불만이 해소된, 사용자가 원하는 화질의 출력 화상을 얻을 수 있다.

다음에, 도 169의 플로차트를 참조하여, 실세계 추정부(12243)(도 167)의 실세계의 추정 처리(도 168의 스텝 S12218의 처리)에 대하여 상세하게 설명한다.

스텝 S12231에 있어서, 모델 생성부(12251)는, 관계 모델을 생성한다. 즉, 모델 생성부(12251)가, 처리 영역 설정부(12241)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 정상성 설정부(12242)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 모션량을 인식한다. 또한, 모델 생성부(12251)는, 입력 화상에서의 처리 영역에 대하여, 그 처리 영역의 수평 라인을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응하는 모션량에 따라, 처리 영역 내의 센서(2)에 의해 검출된 각 화소의 화소값과, 실세계(1)의 광신호를 근사시키는 근사 모델에 의해 표현되는 모션 흐릿함이 없는 화상과의 관계를 모델화한 관계 모델을, 처리 영역의 수평 라인마다 생성하고, 방정식 생성부(12252)에 공급한다. 그리고, 모델 생성부(12251)는, 스텝 S12231로부터 스텝 S12232로 진행한다.

구체적으로는, 모델 생성부(12251)는, 처리 영역의 수평 라인의 화소수와 모션량에 따라, 도 148 (A) 내지 도 148 (C)에서 설명한, 처리 영역의 각 수평 라인의 화소의 화소값 P_i와, 모션 흐릿함이 없는 화소값 Q_i와의 관계를 나타내는 식을 관계 모델로서 생성한다. 예를 들면, 처리 영역의 수평 라인의 화소수가 8이며, 모션량 V가 5인 경우, 관계 모델로서 전술한 식(151)이 생성된다.

스텝 S12232에서는, 방정식 생성부(12252)는, 방정식 생성 처리를 행한다. 즉, 방정식 생성부(12252)는, 처리 영역 설정부(12241)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 그 처리 영역을 구성하는 입력 화상의 각 화소의 화소값을, 모델 생성부(12251)로부터 공급되는, 그 처리 영역의 각 수평 라인에 대하여 얻어진 관계 모델에 대입하고, 이로써, 실세계(1)의 광신호를 근사시키는 근사 함수에 의해 표현되는, 모션 흐릿함이 없는 화소값 Q_i를 구하는 식(151)의 방정식(모델 방정식)을 생성한다.

또한, 방정식 생성부(12252)는, 처리 영역 설정부(12241)로부터 공급되는 처리 영역 정보로부터 인식되는 처리 영역의 수평 라인에서의 실세계(1)의 광신호를 근사시키는 근사 모델을 구속하는 구속 조건식을 생성한다. 즉, 식(151)의 모델 방정식은, 구하고자 하는 변수인 모션 흐릿함이 없는 화소값의 쪽이, 방정식의 수보다 많기 때문에, 모션 흐릿함이 없는 화소값 Q_i를 구하는 데는, 방정식의 총수를 모션 흐릿함이 없는 화소값 Q_i의 수 이상으로 하는 방정식을 도입할 필요가 있다. 여기서, 방정식 생성부(12252)는, 인접하는 화소의, 근사 함수에 의해 표현되는 모션 흐릿함이 없는 화소값 Q_i의 차이가 작다는(공간 상관이 있다는) 구속 조건식을 생성한다. 이 때, 방정식 생성부(12252)는, 사용자에 의해 지시된 불만 영역의 화소와 처리 영역 내에서의 불만 영역의 화소와 유사(동일을 포함함)의 특징량을 가지는 화소에 대하여, 가중치를 부여한 구속 조건식을 생성한다.

단, 불만 영역에 대한 가중치의 사양에 따라 화질이 상이한 출력 화상을 얻을 수 있으므로, 방정식 생성부(12252)는, N가지의 가중치를 부여한 구속 조건식을 생성한다. 그 결과, 신호 처리 장치(4)에서는, N가지의 출력 화상이 생성되어, 표시된다. 그리고, 사용자는, 그 N가지의 출력 화상을 보고, 그 중에서 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택한다.

따라서, 모션 흐릿함이 없는 화상이 평탄하지 않고, 예를 들면, 어떠한 모양이 있고, 액티비티가 높은 화상인 경우에도, 사용자가 원하는 화질의 모션 흐릿함이 없는 화상을 얻을 수 있다. 즉, 방정식 생성부(12252)는, 사용자에 의해 불만이 있는 영역인 것으로 지시된 영역에 대하여, N가지의 가중치를 부여한, 인접 화소의 모션 흐릿함이 없는 화소값의 차이는 작다는 구속 조건식을 생성한다. 사용자는, 그 결과 얻어지는 N가지의 출력 화상으로부터 원하는 화질의 화상이 선택할 수 있으므로, 불만이 있는 영역에 대하여 최적인 구속 조건을 설정하고, 원하는 화질의 화상을 용이하게 얻을 수 있다.

또, 방정식 생성부(12252)는, 불만 영역의 화소만아니라, 불만 영역의 화소 와 유사한 특징량을 가지는 처리 영역 내의 화소에 대하여도, 불만 영역의 화소와 동일한 N가지의 구속 조건식을 생성하므로, 불만 영역의 화소와 유사한 특징량을 가지는 화소에 대하여 동일한 구속 조건식을 부여하려는 경우, 사용자는 불만 영역으로 하는 화소 모든 것을 지시할 필요가 없고, 불만 영역으로 하는 있는 화소를 지시하는 것만으로, 용이하게, 그 지시한 화소와 유사한 특징량을 가지는 화소에 대하여 최적인 구속 조건을 설정할 수 있다. 따라서, 사용자의 부담을 경감시킬 수 있다.

방정식 생성부(12252)는, 모델 방정식을 생성하고, 불만 영역 지시 정보에 따라, 불만 영역의 화소와, 불만 영역의 화소와 유사한 특징량을 가지는 처리 영역 내의 화소에 대하여, N가지의 가중치를 부여한 구속 조건식을 생성하고, 생성된 모델 방정식과 N가지의 구속 조건식의 각각을 합하여, N가지의 정규 방정식을 생성한다. 방정식 생성부(12252)는, 그 N가지의 정규 방정식을, 실세계 파형 추정부(12253)에 공급하고, 스텝 S12232로부터 스텝 S12233으로 진행한다.

그리고, 이하, 이와 같은 방정식 생성부(12252)가 실행하는 스텝 S12232의 처리를, 「방정식 생성 처리」라고 한다. 「방정식 생성 처리」의 상세한 것에 대하여는, 도 171의 플로차트를 참조하여 후술한다.

스텝 S12233에 있어서, 실세계 파형 추정부(12253)는, 방정식 생성부(12252)로부터 공급되는, 처리 영역의 각 수평 라인에 대한 N가지의 정규 방정식을 푸는 것에 의해, N가지의 실세계(1)의 광신호의 파형을 추정, 즉, N가지의 근사 함수에 의해 표현되는 모션 흐릿함이 없는 화소값 Q_i를 구하고, 그 N가지의 화소값을, 화상 생성부(12244)에 공급한다.

다음에, 도 170은, 도 167의 방정식 생성부(12252)의 상세 구성예를 나타내고 있다.

도 170에서는, 방정식 생성부(12252)는, 모델 방정식 생성부(12271), 특징량 추출부(12272), 특징량 공간 LUT(Look Up Table) 생성부(12273), 가중치 설정부(12274), 구속 조건식 생성부(12275), 및 정규 방정식 생성부(12276)로 구성되어 있다.

도 170에 구성을 나타낸 방정식 생성부(12252)에는, 모델 생성부(12251)로부터, 처리 영역의 수평 라인마다 얻어지는, 처리 영역 내의 센서(2)에 의해 검출되는 각 화소의 화소값(모션 흐릿함 화상의 화소값)과, 모션 흐릿함이 없는 화소값과의 관계를 모델화한 관계 모델이 입력되고, 모델 방정식 생성부(12271)에 공급된다. 또, 방정식 생성부(12252)에는, 입력 화상이, 센서(2)(도 1)로부터 입력되고, 그 입력 화상은, 모델 방정식 생성부(12271)과 특징량 추출부(12272)에 공급된다.

또한, 방정식 생성부(12252)에는, 처리 영역 정보가, 처리 영역 설정부(12241)로부터 입력되고, 그 처리 영역 정보가, 모델 방정식 생성부(12271)과 특징량 추출부(12272)에 공급된다. 또, 방정식 생성부(12252)에는, 보조 정보로서 불만 영역 지시 정보 또는 선택 정보가, 사용자 I/F(12246)로부터 입력되고, 그 불만 영역 지시 정보는, 특징량 공간 LUT 생성부(12273)에, 선택 정보는, 특징량 공간 LUT 생성부(12273)와 가중치 설정부(12274)에 각각 공급된다.

모델 방정식 생성부(12271)는, 처리 영역 정보로부터 입력 화상의 처리 영역을 인식하고, 모델 생성부(12251)로부터 공급된 처리 영역의 수평 라인마다의 관계 모델의 모션 흐릿함 화상의 각 화소의 화소값 P_i로서 입력 화상의 처리 영역에서의 화소값을 대입하여, 처리 영역의 수평 라인마다 모델 방정식을 생성한다. 그리고, 모델 방정식 생성부(12271)는, 정규 방정식 생성부(12276)에, 그 모델 방정식을 공급한다.

특징량 추출부(12272)는, 처리 영역 설정부(12241)로부터 입력된 처리 영역 정보와 입력 화상으로부터, 처리 영역을 구성하는 화소(의 화소값)를 인식하고, 그 처리 영역을 구성하는 각 화소에 대하여, 복수 종류의 특징량을 추출(검출)한다. 그리고, 특징량 추출부(12272)는, 그 처리 영역의 각 화소의 복수 종류의 특징량을 특징량 공간 LUT 생성부(12273)에 공급한다.

여기서, 화소의 복수 종류의 특징량으로 하여서는, 예를 들면, 그 화소에 인접하는 화소와의 화소값의 차분(1차 미분)이나, 그 차분의 차분(2차 미분), 화소값으로 한 휘도와 색차와의 비, 모션 벡터, 인접하는 프레임의 동일 위치에 있는 화소와의 화소값의 차분, 그 외에 액티비티를 나타내는 임의의 값 등을 채용할 수 있다.

특징량 공간 LUT 생성부(12273)는, 특징량 추출부(12272)로부터 공급된 처리 영역의 각 화소의 복수 종류의 특징량마다, 그 처리 영역의 각 화소를 클래스로 나 누고(클래스 분류)한 특징량 공간 LUT를 생성한다.

또, 특징량 공간 LUT 생성부(12273)는, 사용자 I/F(12246)로부터 입력되는 불만 영역 지시 정보에 따라, 처리 영역 내의 화소 중, 불만 영역의 화소와, 그 화소와 동일한 클래스의 특징량을 가지는 화소를 선택(추출)하고, 구속 조건식에 의해 구속하는 대상의 구속 대상 화소로 하여, 그 구속 대상 화소의 정보를 구속 조건식 생성부(12275)에 공급한다.

또한, 특징량 공간 LUT 생성부(12273)는, 사용자 I/F(12246)로부터 선택 정보가 입력된 경우, 즉, 사용자가 N가지의 출력 화상을 보고, 사용자 I/F(12246)를 조작함으로써 원하는 화상 또는 원하는데 가까운 화상을 선택한 경우, 생성한 특징량 공간 LUT에, 불만 영역의 화소가 속하는 클래스에 대하여, 선택 정보가 나타내는 출력 화상을 얻는데 이용된 구속 조건식에 대한 가중치를 기억시킨다. 특징량 공간 LUT 생성부(12273)는, 사용자 I/F(12246)로부터 선택 정보의 입력이 반복되면, 특징량 공간 LUT의, 불만 영역의 화소가 속하는 클래스에 대하여, 전회 기억된 가중치에 대신하여, 이번 선택된 출력 화상을 얻는데 이용된 구속 조건식에 대한 가중치를 기억시키고, 최종적으로는, 불만 영역의 화소가 속하는 클래스에 대하여, 최적인 가중치를 기억시킨다.

이와 같이, 특징량 공간 LUT에는, 불만 영역의 화소가 속하는 클래스에 대하여, 그 클래스가 나타내는 특징량을 가지는 화소에 있어 최적인 가중치가 기억되므로, 특징량 공간 LUT에, 그와 같은 최적인 가중치가 기억된 후는, 그 특징량 공간 LUT에 따라, 각 특징량의 화소에 대응하는 구속 조건식에 대한 가중치를, 그 화소 가 속하는 클래스에 기억된 가중치로 함으로써, 사용자가 불만 영역을 지시하지 않아도, 임의의 입력 화상에 대하여, 사용자가 원하는 화질의 출력 화상을 얻는 것이 가능해진다.

가중치 설정부(12274)는, 사용자 I/F(12246)로부터 입력된 선택 정보에 따라, 구속 조건식에 부여하는 N가지의 가중치를 설정하고, 그 N가지의 가중치를, 구속 조건식 생성부(12275)에 공급한다. 구속 조건식 생성부(12275)는, 특징량 공간 LUT 생성부(12273)로부터 공급된 구속 대상 화소에 대하여, 가중치 설정부(12274)로 설정된 N가지의 가중치에 따라, N가지의 소정의 구속 조건식을 각각 생성하고, 그 N가지의 구속 조건식을 정규 방정식 생성부(12276)에 공급한다.

정규 방정식 생성부(12276)는, 모델 방정식 생성부(12271)로부터 공급된 모델 방정식과, 구속 조건식 생성부(12275)로부터 공급된 N가지의 구속 조건식의 각각을 합하여, N가지의 정규 방정식을 생성하고, 실세계 파형 추정부(12253)에 공급한다.

다음에, 도 171의 플로차트를 참조하여, 방정식 생성부(12252)(도 170)의 방정식 생성 처리(도 169의 스텝 S12232의 처리)에 대하여 상세하게 설명한다.

스텝 S12251에 있어서, 모델 방정식 생성부(12271)는, 모델 생성부(12251)로부터 처리 영역의 수평 라인마다의 관계 모델을 취득하고, 스텝 S12252로 진행한다. 스텝 S12252에 있어서, 모델 방정식 생성부(12271)는, 센서(2)로부터 입력 화상을 취득하고, 처리 영역 설정부(12241)로부터 처리 영역 정보를 취득한다. 그리고, 모델 방정식 생성부(12271)는, 그 입력 화상과 처리 영역 정보로부터, 처리 영 역 내의 각 화소의 화소값 P_i를 인식하고, 그 화소값 P_i를, 모델 생성부(12251)로부터 취득한 식(151)의 관계 모델에 대입함으로써, 처리 영역의 수평 라인마다 모델 방정식을 생성한다. 또한, 모델 방정식 생성부(12271)는, 그 모델 방정식을 정규 방정식 생성부(12276)에 공급한다. 즉, 예를 들면, 모델 방정식 생성부(12271)가, 전술한 식(151)에 의해 표현되는 관계 모델을, 모델 생성부(12251)로부터 취득한 경우, 식(151)의 화소값 P₄ 내지 P₇에 입력 화상의 화소값을 대입함으로써, 모델 방정식을 생성한다.

스텝 S12252의 처리 후는, 스텝 S12253으로 진행하고, 특징량 추출부(12272)는, 입력 화상의 특징량을 추출하고, 특징량 공간 LUT 생성부(12273)에 공급한다. 즉, 특징량 추출부(12272)는, 처리 영역 설정부(12241)로부터 처리 영역 정보를 취득하고, 입력 화상을 취득한다. 그리고, 특징량 추출부(12272)는, 그 처리 영역 정보로부터, 입력 화상의 처리 영역 내의 화상 데이터를 인식하고, 처리 영역 내의 화소마다 복수 종류의 특징량을 추출하여, 그 복수 종류의 특징량을, 특징량 공간 LUT 생성부(12273)에 공급한다.

스텝 S12253의 처리 후는, 스텝 S12254로 진행하고, 특징량 공간 LUT 생성부(12273)는, 특징량 추출부(12272)로부터 공급된 복수 종류의 특징량에 따라, 처리 영역 내의 각 화소를, 클래스 분류하고, 특징량 공간 LUT를 생성한다.

그리고, 어느 처리 영역에 대하여, 특징량 공간 LUT가 이미 생성되어 있고, 사용자 I/F(12246)로부터 선택 정보가 입력된, 즉, 사용자가 N가지의 출력 화상을 보고, 원하는 화상 또는 원하는데 가까운 화상을 선택한 경우에는, 특징량 공간 LUT 생성부(12273)는, 스텝 S12253와 S12254의 처리에 대신하여, 선택 정보가 나타내는 출력 화상을 얻는데 이용된 가중치를, 사용자에게 따라서 지시된 불만 영역의 화소(사용자에게 따라서 불만 영역이 지시되어 있지 않은 경우는, 처리 영역의 화소)가 속하는 클래스에 대하여, LUT 값으로서 특징량 공간 LUT에 기억시킨다.

특징량 공간 LUT 생성부(12273)는, 사용자 I/F(12246)로부터 선택 정보의 입력이 반복되면, 불만 영역의 화소의 특징량 클래스에 대하여, 전회 기억된 가중치에 대신해 이번 선택된 출력 화상을 얻는데 이용된 구속 조건식에 대한 가중치를 기억하고, 최종적으로는, 불만 영역의 화소가 속하는 클래스에 대하여, 최적인 가중치를 기억시킨다.

이 경우, 방정식 생성부(12252)는, 특징량 공간 LUT에 기억된 구속 조건식의 가중치를, 다른 입력 화상에 대하여도 적용할 수 있다. 즉, 다른 입력 화상이 새롭게 입력된 경우, 방정식 생성부(12252)는, 그 입력 화상의 처리 영역 내의 화소마다 복수 종류의 특징량을 추출하고, 그 복수 종류의 특징량에 따라 처리 영역 내의 각 화소를 클래스 분류한다. 방정식 생성부(12252)는, 특징량 공간 LUT의 클래스 중, 클래스 분류에 의해 얻어지는 처리 영역의 각 화소의 클래스와 동일한 클래스에 대하여 LUT 값으로서 이미 기억된 가중치를, 그 화소에 대응하는 구속 조건식에 대한 가중치로서 설정한다. 이 경우, 사용자는, 입력 화상마다 최적인 가중치를 설정할 필요가 없고, 사용자의 부담이 경감된다. 그리고, 새로운 입력 화상이 입력되는 여행에, 특징량 공간 LUT를 새롭게 생성 또는 갱신하여도 상관없다.

스텝 S12254의 처리 후는, 스텝 S12255으로 진행하고, 특징량 공간 LUT 생성부(12273)는, 구속 조건에 의해 구속하는 구속 대상 화소를 결정하고, 구속 조건식 생성부(12275)에 공급하고, 스텝 S12256으로 진행한다. 즉, 특징량 공간 LUT 생성부(12273)는, 사용자 I/F(12246)로부터 불만 영역 지시 정보를 취득하고, 스텝 S12254로 생성한 특징량 공간 LUT에 따라, 불만 영역의 화소와 그 화소와 동일한 특징량의 클래스(특징량 클래스)에 속하는 화소를, 구속 대상 화소로서 결정하고, 구속 조건식 생성부(12275)에 공급한다.

여기서, 사용자가 불만 영역을 지시하지 않고, 사용자 I/F(12246)로부터 불만 영역 지시 정보가 입력되지 않는 경우는, 특징량 공간 LUT 생성부(12273)는, 예를 들면, 처리 영역의 모든 화소를, 구속 조건식의 대상이 되는 구속 대상 화소로 결정한다.

스텝 S12256에서는, 가중치 설정부(12274)는, N가지의 가중치를 설정하여 각각의 가중치를 구속 조건식 생성부(12275)에 공급하고, 스텝 S12257로 진행한다. 여기서, 가중치 설정부(12274)는, 사용자 I/F(12246)로부터 선택 정보가 입력된 경우, 그 선택 정보가 나타내는 출력 화상을 얻는데 이용된 가중치를 기준으로, 새로운 N가지의 가중치를 설정한다. 즉, 가중치 설정부(12274)는, 최초에 가중치를 설정하는 경우, 예를 들면, 0.5를 중심으로 하여, 0 내지 1의 범위 내에서 등간격으로, N가지의 가중치를 설정한다. 그리고, 가중치 설정부(12274)는, 사용자 I/F(12246)로부터 선택 정보가 입력된 경우, 그 선택 정보가 나타내는 출력 화상을 얻는데 이용된 가중치를 중심으로 하여, 전회의 가중치의 설정시보다 가는 등간격 으로(단, 0 내지 1의 범위), 새로운 N가지의 가중치를 설정한다.

따라서, 사용자가 전회의 처리로 출력된 N가지의 출력 화상 중 원하는 것을 선택하면, 그 선택 결과를 근거로 하여, 새로운 N가지의 가중치가 설정되므로, 사용자는 N가지의 출력 화상 중 원하는 것의 선택을 반복함으로써, 최종적으로는, 사용자가 원하는 화질의 출력 화상을 얻을 수 있는 가중치가 설정되고, 그 결과, 사용자가 원하는 화질의 출력 화상을 얻을 수 있다.

스텝 S12257에서는, 구속 조건식 생성부(12275)는, 스텝 S12255에서 결정된 구속 대상 화소에 대하여, 스텝 S12256에서 설정된 N가지의 가중치에 따라, 구속 조건식을 생성한다. 즉, 구속 조건식 생성부(12275)는, 구속 대상 화소에 대하여 N가지의 가중치를 부여한 구속 조건식을 생성한다. 그리고, 구속 조건식 생성부(12275)는, 생성한 N가지의 구속 조건식을 정규 방정식 생성부(12276)에 공급한다.

예를 들면, 구속 대상 화소의 수평 라인의 화소수가, 예를 들면, 도 152 (A) 내지 도 152 (C)에 나타낸 바와 같이 8개이며, 구속 대상 화소의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₇로 나타내는 경우, 구속 조건식은, 전술한 식(154)에 의해 표현된다. 구속 조건식 생성부(12275)는, 가중치 W가 상이한 N가지의 식(154)에서 나타내는 구속 조건식을 생성한다.

스텝 S12257의 처리 후는, 스텝 S12258로 진행하고, 정규 방정식 생성부(12276)는, 모델 방정식 생성부(12271)로부터 공급된 모델 방정식에, 구속 조건식 생성부(12275)로부터 공급된 N가지의 구속 조건식을 각각 합하여, N가지의 정규 방 정식을 생성하고, 그 N가지의 정규 방정식을 실세계 파형 추정부(12253)에 공급한다.

이 후, 실세계 파형 추정부(12253)는, 정규 방정식 생성부(12276)로부터 공급된 N가지의 정규 방정식을, 예를 들면, 최소 제곱 오차 최소 규범으로 각각 푸는 것에 의해, 처리 영역 내의 각 수평 라인의 화소의 N가지의 모션 흐릿함이 없는 화소값 Q_i를 구한다.

그리고, 전술한 실세계 추정 처리는, 처리 영역 내의 수평 방향으로 정렬된 화소(수평 라인)마다 행해진다. 즉, 실세계 파형 추정부(12253)는, 수평 라인마다, 처리 영역의 각 화소의 N가지의 모션 흐릿함이 없는 화소값을 구한다. 그리고, 실세계 파형 추정부(12253)는, 처리 영역 내의 모든 수평 라인에 있어서, 각 화소의 N가지의 모션 흐릿함이 없는 화소값을 구한 후, 처리 영역의 각 화소의 N가지의 모션 흐릿함이 없는 화소값을, 화상 생성부(12244)에 공급한다. 화상 생성부(12244)는, 입력 화상의 처리 영역의 각 화소의 화소값을, N가지의 모션 흐릿함이 없는 화소값으로 각각 치환한 화상을, N가지의 출력 화상으로서 생성하고, 화상 표시부(12245)에 공급하여, 표시하게 한다.

또, 전술한 처리에서는, 구속 조건식 생성부(12275)는, 구속 대상 화소 이외에 대한 구속 조건식은 생성하지 않았지만, 구속 대상 화소 이외에 대한 구속 조건식도, 소정의 가중치를 부여하여, 생성해도 된다. 예를 들면, 구속 조건식 생성부(12275)에서는, 도 152 (A) 내지 도 152 (C)에 나타낸 바와 같이, 처리 영역의 수 평 라인이 8개의 화소 ＃0 내지 ＃7로 구성되며, 그 각 화소 ＃0 내지 ＃7의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₇로 나타내는 경우에 있어서, 구속 대상 화소가 화소값 Q₀ 내지 Q₄의 5개의 화소 ＃0 내지 ＃4로 구성될 때, 화소값 Q₅ 내지 Q₇의 3개의 화소 ＃5 내지 ＃7에 대하여도 소정의 가중치(예를 들면, 구속 대상 화소에 대한 가중치와는 상이한 가중치W)를 부여한 구속 조건식을 생성할 수 있다.

도 172 (A)와 도 172 (B)는, 도 167의 신호 처리 장치(4)의 처리의 개요를 설명하는 도면이다. 그리고, 여기서는, 처리 영역의 화소의 특징량으로서, 예를 들면, 3개의 특징량 A, B, C가 추출되고, 특징량 공간 LUT가 구성되는 것으로 한다.

도 172 (A)와 도 172 (B)의 예에서는, 3개의 특징량 A 내지 C 중, 예를 들면 2개의 특징량 A와 C 만에 주목하고, 가로축을 특징량 A로 하고, 세로축을 특징량 C로서 특징량 공간 LUT(12281)를 나타내고 있다.

도 172 (A) 및 도 172 (B)에 나타낸 바와 같이, 사용자는, 입력 화상(12280)을 보고, 불만이 있는 영역을, 불만 영역으로서 지시한다(포인팅 함). 그리고, 신호 처리 장치(4)는, 사용자에 의해 지시된 불만 영역에 따라 처리 영역을 설정하고, 그 처리 영역 내의 입력 화상 데이터로부터, 화소마다 특징량 A 내지 C를 추출한다. 신호 처리 장치(4)는, 특징량 A 내지 C 각각에 따라서, 처리 영역의 각 화소를 클래스 분류한, 특징량 공간 LUT(12281)를 생성한다. 즉, 신호 처리 장치(4)는, 화소의 특징량 A 내지 C로 규정하는 특징량 공간에 있어서, 그 화소의 특징량 A 내지 C를 컴퍼넌트로 하는 벡터가 속하는 부분 공간에 의해, 화소를 클래스 분류하고, 그 부분 공간로서의 클래스(특징량 클래스)와 화소를 대응시킨 특징량 공간 LUT(12281)를 생성한다. 그리고, 도 172 (A) 및 도 172 (B)에서는, 전술한 바와 같이, 특징량 A와 C 만에 주목한 특징량 공간 LUT(12281)를 나타내고 있다. 또, 특징량 공간 LUT(12281)의 매스눈은, 특징량 공간의 부분 공간로서의 특징량 클래스를 나타내고 있다.

신호 처리 장치(4)는, 특징량 LUT(12281)로부터, 사용자에게 따라서 지시된 불만 영역의 화소의 특징량 클래스(12282)를 인식하고, 그 특징량 클래스(12282)로 분류된 모든 화소를, 구속 대상 화소로서 설정한다. 또한, 신호 처리 장치(4)는, N가지의 가중치를 설정하고, 구속 대상 화소에 대하여, N가지의 가중치 각각을 부여한 구속 조건식을 생성하여, 그 N가지의 구속 조건식을 사용하여 얻어지는 N가지의 출력 화상을 표시한다.

그리고, 도 172 (A)와 도 172 (B)는, 구속 대상 화소에 대하여 상이한 가중치를 부여한 구속 조건식으로부터 얻어진 출력 화상(12283)과 출력 화상(12284)이 표시된 예를 각각 나타내고 있다. 그리고, 출력 화상(12283) 상의 동그라미와 출력 화상(12284)상의 삼각표는, 구속 대상 화소를 나타내고 있다.

신호 처리 장치(4)는, 도 172 (A) 및 도 172 (B)에서 설명한 출력 화상을, N가지 생성하여 표시한다. 그리고, 사용자는, 그 N가지의 출력 화상 중, 원하는 화상 또는 원하는 화상에 가까운 화상을 선택하고, 신호 처리 장치(4)는, 그 선택된 화상을 얻는데 사용한 가중치를 기준으로 하여, 새로운 N가지의 가중치를 설정하는 것을 반복한다.

따라서, 사용자는, 간단하게 최적인 가중치와 구속 대상 화소를 설정하고, 실세계(1)의 광신호에 의해 근사시킨 화상을 얻을 수 있다. 즉, 사용자는, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 용이하게 얻을 수 있다. 또, 불만 영역과 동일한 특징량 클래스의 화소에 대하여, 구속 조건식이 생성되므로, 사용자는, 불만 영역으로 하는 화소 모두를 지시할 필요가 없고, 사용자의 부담을 경감시킬 수 있다.

그리고, 도 172 (A) 및 도 172 (B)에서는, 화소로부터 추출되는 3개의 특징량 A 내지 C 중 2개의 특징량 A와 C에 주목하고, 그 2개의 특징량 A와 C의 클래스가 불만 영역의 화소와 동일한 화소를 구속 대상 화소로 하는 것으로 했지만, 그 외에, 예를 들면, 특징량 A 내지 C의 모든 클래스 또는 어느 하나의 클래스가 불만 영역의 화소와 동일한 화소를, 구속 대상 화소로 할 수 있다. 또, 특징량 A와 B나, 특징량 B와 C 만에 주목하여, 구속 대상 화소를 결정하는 경우도 가능하다. 여기서, 어느 특징량에 주목할지는, 예를 들면, 사용자에 의한 조작에 따라 결정할 수 있다. 또, 신호 처리 장치(4)에서는, 주목하는 특징량 만큼 추출하도록 할 수 있다.

도 173은, 도 111에 나타낸 신호 처리 장치(4)의 응용예의 다른 일실시예의 구성예를 나타내고 있다.

그리고, 도 173은, 예를 들면, 일정 방향으로 일정한 속도로 이동한다는 정상성을 가지는 데이터(3)의 일례인 모션 흐릿함 화상 데이터로부터, 실세계(1)의 광신호를 추정하는 신호 처리 장치(4)의 일실시예의 구성예를 나타내고 있다. 즉, 이 신호 처리 장치(4)는, 예를 들면, 촬영시에 피사체(오브젝트)가 움직인 것에 의해, 피사체가 흐릿해져 촬영되어 버린 화상(모션 흐릿함 화상)로부터, 그 흐릿함이 없는 화상(모션 흐릿함이 없는 화상)을 추정한다. 따라서, 도 173의 실시예에서는, 입력 화상으로서, 이동하고 있는 오브젝트를 촬영함으로써 얻어진 모션 흐릿함이 생기고 있는 모션 흐릿함 화상이, 신호 처리 장치(4)에 입력된다. 그리고, 여기서는, 입력 화상으로서, 수평 방향(좌측으로부터 우측 방향)으로 일정한 속도(모션량)로 이동하고 있는 오브젝트를 촬상하여 얻어지는 화상을 채용한다.

도 173에 있어서, 처리 영역 설정부(12291), 정상성 설정부(12292), 실세계 추정부(12293), 화상 생성부(12294), 화상 표시부(12295), 사용자 I/F(12296)는, 도 111의 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006)에 각각 대응하고 있고, 기본적으로는, 처리 영역 설정부(10001), 정상성 설정부(10002), 실세계 추정부(10003), 화상 생성부(10004), 화상 표시부(10005), 사용자 I/F(10006) 각각과 마찬가지의 처리를 행한다. 또한, 도 173에 있어서, 실세계 추정부(12293)는, 모델 생성부(12301), 방정식 생성부(12302), 실세계 파형 추정부(12303)로 구성되어 있다. 모델 생성부(12301), 방정식 생성부(12302), 실세계 파형 추정부(12303)는, 도 111의 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013)에 각각 대응하고 있고, 기본적으로는, 모델 생성부(10011), 방정식 생성부(10012), 실세계 파형 추정부(10013) 각각과 마찬가지의 처리를 행한다.

단, 도 173에 있어서는, 사용자가 사용자 I/F(12296)를 조작함으로써, 사용자 I/F(12296)가 출력하는 보조 정보가, 처리 영역 설정부(12291)와 실세계 추정부(12293)에 공급되도록 되어 있다.

즉, 도 173에서는, 사용자는, 사용자 I/F(12296)를 조작함으로써, 화상 표시부(12295)에 표시된 화상에 대하여, 불만이 있는 영역을 불만 영역으로서 지시할 수 있도록 되어 있고, 사용자 I/F(12296)는, 사용자가 불만 영역을 지시하는 조작을 행하면, 그 조작에 의해 지정된 영역으로서의 불만 영역을 나타내는 불만 영역 지시 정보를, 처리 영역 설정부(12291)와 실세계 추정부(12293)에 공급한다. 또한, 도 173에서는, 화상 표시부(12295)에는, 후술하는 바와 같이, 복수개의 출력 화상이 표시되지만, 사용자는, 사용자 I/F(12296)를 조작함으로써, 화상 표시부(12295)에 표시된 출력 화상을 선택할 수 있도록 되어 있고, 사용자 I/F(12296)는, 사용자가 출력 화상을 선택하는 조작을 행하면, 그 조작에 의해 선택된 출력 화상을 나타내는 선택 정보를, 보조 정보로서, 처리 영역 설정부(12291)와 실세계 추정부(12293)에 공급한다.

그리고, 사용자 I/F(12296)를 조작함으로써 불만 영역을 지시하는 방법으로서는, 예를 들면, 불만 영역을 에워싸는 직사각형에 따라서 지시하는 방법, 불만 영역을 트림(trim)함으로써 지시하는 방법, 불만 영역 중 임의의 1점 이상을 포인팅함으로써 지시하는 방법 등이 있지만, 여기서는, 예를 들면, 사용자는, 불만 영역 중 임의의 1점을, 사용자 I/F(12296)를 조작하여 포인팅함으로써, 불만 영역을 지시하는 것으로 한다. 이 경우, 사용자 I/F(12296)는, 사용자가 포인팅한 점을 나타내는 정보로서의, 예를 들면, 그 점의, 화상 상의 좌표를, 불만 영역 지시 정보로서, 처리 영역 설정부(12291)와 실세계 추정부(12293)에 공급한다.

다음에, 도 174의 플로차트를 참조하여, 도 173의 신호 처리 장치(4)의 처리에 대하여 설명한다.

먼저 최초에, 스텝 S12271에 있어서, 신호 처리 장치(4)는, 사전 처리를 행하고, 스텝 S12272로 진행한다. 즉, 신호 처리 장치(4)는, 센서(2)(도 1)로부터 데이터(3)로서 공급되는, 예를 들면 1프레임 또는 1필드의 입력 화상을, 처리 영역 설정부(12291), 정상성 설정부(12292), 실세계 추정부(12293), 화상 생성부(12294), 및 화상 표시부(12295)에 공급한다. 또한, 신호 처리 장치(4)는, 화상 표시부(12295)에, 입력 화상을 표시하게 한다.

스텝 S12272에서는, 사용자 I/F(12296)는, 사용자가 사용자 I/F(12296)를 조작함으로써, 어떠한 사용자 입력이 있었는지 여부를 판정한다. 스텝 S12272에 있어서, 사용자 입력이 없었다고 판정된 경우, 즉, 사용자가 아무런 조작도 행하지 않은 경우, 스텝 S12273내지 S12275를 스킵하여, 스텝 S12276으로 진행한다.

또, 스텝 S12272에 있어서, 사용자 입력이 있었다고 판정된 경우, 즉, 사용자가 화상 표시부(12295)에 표시된 입력 화상을 보고, 사용자 I/F(12296)를 조작하고, 이로써, 어떠한 지시 또는 정보를 나타내는 사용자 입력이 있었을 경우, 스텝 S12273으로 진행하고, 사용자 I/F(12296)는, 그 사용자 입력이, 신호 처리 장치(4)의 처리의 종료를 지시하는 종료 지시인지 여부를 판정한다.

스텝 S12273에 있어서, 사용자 입력이 종료 지시인 것으로 판정된 경우, 즉, 예를 들면, 화상 표시부(12295)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼지 않고, 입력 화상에 대하여 신호 처리를 행하지 않아도 되는 것으로 하여, 신호 처리 장치(4)의 처리를 종료하도록, 사용자 I/F(12296)를 조작한 경우, 신호 처리 장치(4)는 처리를 종료한다.

또, 스텝 S12273에 있어서, 사용자 입력이 종료 지시가 아닌 것으로 판정된 경우, 스텝 S12274로 진행하고, 사용자 I/F(12296)는, 사용자 입력이 불만 영역 지시 정보인지 여부를 판정한다. 스텝 S12274에 있어서, 사용자 입력이 불만 영역 지시 정보가 아닌 것으로 판정된 경우, 스텝 S12275를 스킵하여, 스텝 S12276으로 진행한다.

한편, 스텝 S12274에 있어서, 불만 영역 지시 정보의 입력이 있었다고 판정된 경우, 즉, 화상 표시부(12295)에 표시된 입력 화상을 본 사용자가, 그 입력 화상의 화질에 불만을 느끼고, 불만인 부분을 포인팅하도록, 사용자 I/F(12296)를 조작한 경우, 스텝 S12275로 진행하고, 사용자 I/F(12296)는, 사용자가 사용자 I/F(12296)를 조작함으로써 포인팅한 점을 나타내는 불만 영역 지시 정보를, 보조 정보로서, 처리 영역 설정부(12291)와 실세계 추정부(12293)에 공급하고, 스텝 S12276으로 진행한다.

스텝 S12276에서는, 처리 영역 설정부(12291)는, 사용자 I/F(12296)로부터 공급된 보조 정보로서의 불만 영역 지시 정보에 따라, 예를 들면, 불만 영역을 포함하는 소정의 직사각형의 영역을 처리 영역으로서 설정하고, 그 처리 영역 정보를, 정상성 설정부(12292), 실세계 추정부(12293), 및 화상 생성부(12294)에 공급 하고, 스텝 S12277로 진행한다. 그리고, 이 처리 영역은, 사용자가 사용자 I/F(12296)를 조작하여 입력해도 된다.

단, 사용자 I/F(12296)로부터 처리 영역 설정부(12291)에 불만 영역 지시 정보가 공급되지 않았던 경우(스텝 S12272 또는 스텝 S12274의 처리 직후에 스텝 S12276의 처리가 행해지는 경우)에는, 처리 영역 설정부(12291)는, 소정의 처리(예를 들면, 입력 화상에 있어서, 모션 흐릿함이 생기고 있는 영역을 검출하는 처리)를 행함으로써, 처리 영역의 설정을 행한다.

스텝 S12277에서는, 정상성 설정부(12292)는, 처리 영역 설정부(12291)로부터 공급된 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식한다. 또한, 정상성 설정부(12292)는, 그 처리 영역의 화상 데이터에 있어서 결락된 실세계(1)의 광신호의 정상성을 나타내는 정보로서, 처리 영역에 표시된 오브젝트의 모션량을 설정하고, 그 정상성을 나타내는 정상성 정보를, 실세계 추정부(12293)에 공급하고, 스텝 S12278로 진행한다. 그리고, 이 모션량은, 사용자가 사용자 I/F(12296)를 조작하여 입력해도 된다. 또, 여기서는, 정상성 설정부(12292)는, 입력 화상에 있어서, 오브젝트가 수평 방향으로 이동하고 있는 것을 전제로 하여, 그 모션의 크기만을 나타내는 모션량을 정상성 정보로서 설정하도록 했지만, 그 외에, 오브젝트의 모션의 크기와 방향을 나타내는 모션 벡터를, 정상성 정보로서 설정할 수도 있다.

스텝 S12278에서는, 실세계 추정부(12293)는, 처리 영역 설정부(12291)로부터 공급된 처리 영역 정보와, 사용자 I/F(12296)로부터 공급된 불만 영역 지시 정 보에 따라, 입력 화상에서의 처리 영역 내의 화상 데이터(모션 흐릿함 화상 데이터)로부터, 대응하는 실세계(1)의 광신호의 모션량에 따라, 그 실세계(1)의 광신호(모션 흐릿함이 없는 화상)를 복수개인 M가지의 방법으로 추정한다.

즉, 실세계 추정부(12293)에서는, 모델 생성부(12301)가, 처리 영역 설정부(12291)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 정상성 설정부(12292)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 실세계(1)의 광신호의 모션량, 즉, 여기서는, 처리 영역에 표시된 오브젝트의 모션량을 인식한다. 또한, 모델 생성부(12301)는, 입력 화상에서의 처리 영역의 각 수평 라인을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응하는 실세계(1)의 광신호의 모션량에 따라, 처리 영역의 각 수평 라인의 화소의 화소값과 실세계(1)의 광신호와의 관계를 모델화한 관계 모델을 처리 영역의 수평 라인마다 생성하고, 방정식 생성부(12302)에 공급한다.

방정식 생성부(12302)는, 처리 영역 설정부(12291)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 따라, 입력 화상의 각 화소의 화소값을, 모델 생성부(12301)로부터 공급되는 처리 영역의 수평 라인마다의 관계 모델에 대입하고, 이로써, 실세계(1)의 광신호를 근사시키는 근사 모델로서의 근사 함수를 구하는 방정식을 생성한다. 또한, 방정식 생성부(12302)는, 처리 영역 정보와 입력 화상의 M가지의 특징량에 따라, 근사 함수를 구속하는 M가지의 구속 조건식을 생성한다. 방정식 생성부(12302)는, 실세계(1)의 광신호를 근사시키는 근사 모델로서의 근사 함수를 구하는 방정식과 M가지의 구속 조건식의 각각을 합하여, M가지의 정규 방정식을 생성하고, 실세계 파형 추정부(12303)에 공급한다.

실세계 파형 추정부(12303)는, 방정식 생성부(12302)로부터 공급되는 M가지의 정규 방정식을 각각 연산함으로써, M가지의 실세계(1)의 광신호의 파형을 추정한다. 즉, 실세계 파형 추정부(12303)는, 방정식 생성부(12302)로부터 공급되는 M가지의 정규 방정식을 각각 푸는 것에 의해, 실세계(1)의 광신호를 모델화한 근사 모델로서의 M가지의 근사 함수를 구하고, M가지의 실세계(1)의 광신호의 파형의 추정 결과로서, 화상 생성부(12294)에 공급한다.

그리고, 이하, 이와 같은 실세계 추정부(12293)이 실행하는 스텝 S12278의 처리를, 「실세계의 추정 처리」라고 한다. 「실세계의 추정 처리」의 상세한 것에 대하여는, 도 175의 플로차트를 참조하여 후술한다.

스텝 S12278의 처리 후는, 스텝 S12279로 진행하고, 화상 생성부(12294)는, 실세계 추정부(12293)(의 실세계 파형 추정부(12303)로부터 공급된, 실세계(1)의 광신호의 파형을 근사시키는 M가지의 근사 함수에 따라, 실세계(1)의 광신호에 의해 근사시킨 M가지의 신호를 생성한다. 즉, 화상 생성부(12294)는, 처리 영역 설정부(12291)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 실세계 추정부(12293)로부터 공급되는 M가지의 근사 함수에 따라, 실세계(1)의 광신호에 의해 근사시킨 M가지의 근사 화상(모션 흐릿함이 없는 화상)을 생성한다.

또한, 화상 생성부(12294)는, 입력 화상의 처리 영역의 부분을, M가지의 근 사 화상(모션 흐릿함이 없는 화상)으로 치환하여 화상을, M가지의 출력 화상으로서 생성하고, 화상 표시부(12295)에 공급하고, 스텝 S12279로부터 S12280으로 진행한다.

스텝 S12280에서는, 화상 표시부(12295)는, 화상 생성부(12294)로부터 공급된 M가지의 출력 화상을, 스텝 S12271에서 표시된 입력 화상에 대신하거나, 또는 그 입력 화상과 함께 표시하고, 스텝 S12281로 진행한다.

스텝 S12281에서는, 사용자 I/F(12296)는, 사용자가 사용자 I/F(12296)를 조작함으로써, 선택 정보의 입력이 있었는지 여부를 판정한다. 즉, 스텝 S12280에서는, 화상 표시부(12295)에 있어서, M가지의 출력 화상이 표시되지만, 그 M가지의 출력 화상을 본 사용자가, 그 M가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택하는 선택 정보의 입력을, 사용자 I/F(12296)를 조작함으로써 행했는지 여부가, 스텝 S12281에 있어서 판정된다.

스텝 S12284에 있어서, 선택 정보의 입력이 없었다고 판정된 경우, 스텝 S12284로 진행하고, 스텝 S12273에서의 경우와 마찬가지로, 사용자 I/F(12296)는, 종료 지시의 입력이 있었는지 여부를 판정한다.

스텝 S12284에 있어서, 종료 지시의 입력이 있었다고 판정된 경우, 신호 처리 장치(4)는, 처리를 종료한다.

또, 스텝 S12281에 있어서, 종료 지시의 입력이 없었다고 판정된 경우, 스텝 S12281으로 복귀하고, 이하, 마찬가지의 처리를 반복한다.

한편, 스텝 S12281에 있어서, 선택 정보의 입력이 있었다고 판정된 경우, 즉 , 화상 표시부(12295)에 표시된 M가지의 출력 화상을 본 사용자가, 그 M가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택한 경우, 스텝 S12282로 진행하고, 사용자 I/F(12296)는, 사용자가 사용자 I/F(12296)를 조작함으로써, 사용자가 선택한 출력 화상을, 최종적인 출력 화상으로서 확정하는 확정 지시의 입력이 있었는지 여부를 판정한다.

스텝 S12282에 있어서, 확정 지시의 입력이 있었다고 판정된 경우, 스텝 S12283으로 진행하고, 화상 표시부(12295)는, 예를 들면, 그 화면 전체에, 사용자가 선택한 출력 화상을 표시하고, 처리를 종료한다.

또, 스텝 S12282에 있어서, 확정 지시의 입력이 없었다고 판정된 경우, 즉, 사용자가, 선택한 출력 화상의 화질에 불만이 있어, 재차 처리를 행하기 위해, 확정 지시의 입력을 행하지 않은 경우, 스텝 S12275로 복귀하고, 사용자 I/F(12296)는, 사용자가 선택한 출력 화상을 나타내는 선택 정보를, 보조 정보로서, 처리 영역 설정부(12291)와 실세계 추정부(12293)에 공급하고, 스텝 S12276, S12277, S12278에 차례로 진행된다. 스텝 S12276의 처리 영역의 설정 처리와 스텝 S12277의 정상성의 설정 처리에서는, 전회 설정된 처리 영역과 정상성이 설정된다. 그리고, 그 처리 영역 정보가 정상성 설정부(12292), 실세계 추정부(12293), 및 화상 생성부(12294)에 공급되고, 그 정상성 정보가 실세계 추정부(12293)에 공급된다. 그리고, 2번째 이후에 행해지는 스텝 S12276 및 S12277의 처리는, 스킵할 수 있다.

스텝 S12278에서는, 실세계 추정부(12293)는, 사용자 I/F(12296)로부터 공급된 보조 정보로서의 선택 정보에 따라, 그 실세계(1)의 광신호(모션 흐릿함이 없는 화상)를 새로운 M가지의 방법으로 추정한다.

즉, 이 경우, 스텝 S12278에서는, 실세계 추정부(12293)의 방정식 생성부(12302)에서는, 사용자 I/F(12296)로부터 공급된 보조 정보로서의 선택 정보가 나타내는 출력 화상을 얻는데 이용된 구속 조건식을 기준으로, 새로운 M가지의 구속 조건식을 설정한다. 방정식 생성부(12302)는, 실세계(1)의 광신호를 근사시키는 근사 모델로서의 근사 함수를 구하는 방정식과, 새로운 M가지의 구속 조건식의 각각을 합하여, 새로운 M가지의 정규 방정식을 생성하고, 그 새로운 M가지의 정규 방정식을 실세계 파형 추정부(12303)에 공급한다. 또한, 실세계 파형 추정부(12303)는, 방정식 생성부(12302)로부터 공급되는 새로운 M가지의 정규 방정식을 각각 연산함으로써, 새로운 M가지의 실세계(1)의 광신호의 파형을 추정한다. 그리고, 스텝 S12278로부터 S12279로 진행하고, 이하, 마찬가지의 처리가 반복된다.

즉, 이로써, 스텝 S12275 내지 S12284의 처리가 반복되고, 최종적으로는, 출력 화상에 대한 사용자의 불만이 해소된, 사용자가 원하는 화질의 출력 화상을 얻을 수 있다.

이상과 같이, 신호 처리 장치(4)에서는, 입력 화상에 대한 처리 결과로서의 M가지의 출력 화상을 사용자에게 제시하고, 그 M가지의 출력 화상 중 사용자가 원하는 것을 선택하여 받고, 그 선택 결과를 근거로 하여, 재차 처리를 행하도록 했으므로, 사용자의 기호에 있던, 고화질의 출력 화상을, 용이하게 얻을 수 있다. 즉, 신호 처리 장치(4)는, 입력 화상에 대한 처리 결과로서의 M가지의 출력 화상을 사용자에게 제시한다. 한편, 사용자는, 그 M가지의 출력 화상 각각의 화질을 인 식, 판단하고, 화질이 양호한 출력 화상을, 신호 처리 장치(4)에 피드백한다. 그리고, 신호 처리 장치(4)는, 그 사용자로부터의 피드백을 근거로 하여 재차, 입력 화상을 처리하고, 이하, 마찬가지의 처리가 반복된다. 따라서, 사용자의 기호에 있던, 고화질의 출력 화상을, 용이하게 얻을 수 있다.

다음에, 도 175의 플로차트를 참조하여, 실세계 추정부(12293)(도 173)의 실세계의 추정 처리(도 174의 스텝 S12278의 처리)에 대하여 상세하게 설명한다.

스텝 S12291에 있어서, 모델 생성부(12301)는, 관계 모델을 생성한다. 즉, 모델 생성부(12301)가, 처리 영역 설정부(12291)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 정상성 설정부(12292)로부터 공급되는 정상성 정보로부터, 처리 영역의 화상 데이터에 대응하는 모션량을 인식한다. 또한, 모델 생성부(12301)는, 입력 화상에서의 처리 영역에 대하여, 그 처리 영역의 수평 라인을 구성하는 화소와, 그 처리 영역의 화상 데이터에 대응하는 모션량에 따라, 처리 영역 내의 센서(2)에 의해 검출된 각 화소의 화소값과, 실세계(1)의 광신호를 근사시키는 근사 모델에 의해 표현되는 모션 흐릿함이 없는 화상과의 관계를 모델화한 관계 모델을 생성하고, 이로써, 처리 영역에 대하여 얻어지는 관계 모델을, 처리 영역의 수평 라인마다 생성하고, 방정식 생성부(12302)에 공급한다. 그리고, 모델 생성부(12301)는, 스텝 S12291로부터 스텝 S12292로 진행한다.

구체적으로는, 모델 생성부(12301)는, 처리 영역의 수평 라인의 화소수와 모션량에 따라, 도 148 (A) 내지 도 148 (C)에서 설명한, 처리 영역의 각 수평 라인의 화소의 화소값 P_i와, 모션 흐릿함이 없는 화소값 Q_i와의 관계를 나타내는 식을 관계 모델로서 생성한다. 예를 들면, 처리 영역의 수평 라인의 화소수가 8이며, 모션량 V가 5인 경우, 관계 모델로서 전술한 식(151)이 생성된다.

스텝 S12292에서는, 방정식 생성부(12302)는, 방정식 생성 처리를 행한다. 즉, 방정식 생성부(12302)는, 처리 영역 설정부(12291)로부터 공급되는 처리 영역 정보로부터, 입력 화상에서의 처리 영역을 인식하고, 그 처리 영역에 대하여, 그 처리 영역을 구성하는 입력 화상의 각 화소의 화소값을, 모델 생성부(12301)로부터 공급되는, 그 처리 영역의 각 수평 라인에 대하여 얻어진 관계 모델에 대입하고, 이로써, 실세계(1)의 광신호를 근사시키는 근사 함수에 의해 표현되는, 모션 흐릿함이 없는 화소값 Q_i를 구하는 식(151)의 방정식(모델 방정식)을, 처리 영역의 수평 라인마다 생성한다.

또한, 방정식 생성부(12302)는, 처리 영역 설정부(12291)로부터 공급되는 처리 영역 정보로부터 인식되는 처리 영역에서의 실세계(1)의 광신호를 근사시키는 근사 모델을 구속하는 구속 조건식을 생성한다. 즉, 식(151)의 모델 방정식은, 구하고자 하는 변수인 모션 흐릿함이 없는 화소값 쪽이, 방정식의 수보다 많기 때문에, 모션 흐릿함이 없는 화소값 Q_i를 구하기 위해서는, 방정식의 총수를 모션 흐릿함이 없는 화소값 Q_i의 수 이상으로 하는 방정식을 도입할 필요가 있다. 여기서, 방정식 생성부(12302)는, 인접하는 화소의, 근사 함수에 의해 표현되는 모션 흐릿함이 없는 화소값의 차이가 작다는(공간 상관이 있다는) 구속 조건식을 생성한다. 이 때, 방정식 생성부(12302)는, 사용자에 의해 지시된 불만 영역의 화소와 처리 영역 내에서의 불만 영역의 화소와 유사한 특징량을 가지는 화소를, 구속 대상 화소로서 그 구속 대상 화소에 대하여, 가중치를 부여한 구속 조건식을 생성한다.

즉, 방정식 생성부(12302)는, 처리 영역의 각 화소에 대하여 복수 종류의 특징량을 추출하고, 불만 영역과 유사한 특징량을 가지는 처리 영역 내의 화소를, 구속 조건식의 대상이 되는 구속 대상 화소로서 선택한다. 구체적으로는, 방정식 생성부(12302)는, 복수 종류의 특징량의 1 이상의 조합을, M가지 설정하고, 그 M가지의 특징량(의 1 이상의 조합) 각각에 대하여, 구속 대상 화소를 선택한다. 그리고, 방정식 생성부(12302)는, 그 구속 대상 화소에 대하여, 소정의 가중치를 부여한 구속 조건식을 생성한다. 그 결과, M가지의 출력 화상이 생성되어 표시된다. 그리고, 사용자는, M가지의 출력 화상을 보고, 그 M가지의 출력 화상 중 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택한다.

이상과 같이, 방정식 생성부(12302)는, 불만 영역의 화소만아니라, M가지의 특징량의 1 이상의 조합에 따라, 불만 영역의 화소와 유사한 특징량을 가지는 처리 영역 내의 화소에 대하여도, 불만 영역의 화소와 동일한 구속 조건식을 생성하므로, 사용자는, 그 결과 얻어지는 M가지의 출력 화상으로부터 원하는 화상의 선택함으로써, 동일한 구속 조건식을 부여하려는 부분에, 용이하게, 동일한 구속 조건을 부여할 수 있다. 따라서, 사용자는 동일한 구속 조건식을 부여하려는 부분이 복수 개 있는 경우에도, 그 복수개의 부분 각각을, 불만 영역으로서 지시할 필요가 없ㅇ어, 사용자의 부담을 경감시킬 수 있다.

방정식 생성부(12302)는, 모델 방정식을 생성하고, 불만 영역 지시 정보에 따라, 불만 영역의 화소와 M가지의 종류의 특징량(M가지의 특징량의 1 이상의 조합) 각각에 대하여 불만 영역의 화소와 유사한 특징량을 가지는 처리 영역 내의 화소에 대하여, 소정의 가중치를 부여한 M가지의 구속 조건식을 생성하고, 생성된 모델 방정식과 M가지의 구속 조건식의 각각을 합하여, M가지의 정규 방정식을 생성한다. 방정식 생성부(12302)는, 그 M가지의 정규 방정식을, 실세계 파형 추정부(12303)에 공급하고, 스텝 S12292로부터 스텝 S12293으로 진행한다.

그리고, 이하, 이와 같은 방정식 생성부(12302)가 실행하는 스텝 S12292의 처리를, 「방정식 생성 처리」라고 한다. 「방정식 생성 처리」의 상세한 것에 대하여는, 도 177의 플로차트를 참조하여 후술한다.

스텝 S12293에 있어서, 실세계 파형 추정부(12303)는, 방정식 생성부(12302)로부터 공급되는, 처리 영역의 각 수평 라인에 대한 M가지의 정규 방정식을 푸는 것에 의해, M가지의 근사 함수에 의해 표현되는 모션 흐릿함이 없는 화소값 Q_i를 구하고, 그 M가지의 화소값을, 화상 생성부(12294)에 공급한다.

다음에, 도 176은, 도 173의 방정식 생성부(12302)의 상세 구성예를 나타내고 있다.

도 176에서는, 방정식 생성부(12302)는, 모델 방정식 생성부(12321), 특징량 추출부(12322), 특징량축 설정부(12323), 특징량 공간 LUT 생성부(12324), 구속 조건식 생성부(12325), 및 정규 방정식 생성부(12326)으로 구성되어 있다.

도 176에 구성을 나타낸 방정식 생성부(12302)에는, 모델 생성부(12301)로부터, 처리 영역의 수평 라인마다 얻어지는, 처리 영역의 각 수평 라인의 화소의 화소값(모션 흐릿함 화상의 화소값)과 모션 흐릿함이 없는 화소값과의 관계를 모델화한 관계 모델이 입력되고, 모델 방정식 생성부(12321)에 공급된다. 또, 방정식 생성부(12302)에는, 입력 화상이, 센서(2)(도 1)로부터 입력되고, 그 입력 화상은, 모델 방정식 생성부(12321)와 특징량 추출부(12322)에 공급된다.

또한, 방정식 생성부(12302)에는, 처리 영역 정보가, 처리 영역 설정부(12291)로부터 입력되고, 그 처리 영역 정보가, 모델 방정식 생성부(12321)와 특징량 추출부(12322)에 공급된다. 또, 방정식 생성부(12302)에는, 보조 정보로서 불만 영역 지시 정보와 선택 정보가, 사용자 I/F(12296)로부터 입력되고, 불만 영역 지시 정보는, 특징량 공간 LUT 생성부(12324)에, 선택 정보는, 특징량 공간 LUT 생성부(12324)로 특징량축 설정부(12323)에 각각 공급된다.

모델 방정식 생성부(12321)는, 처리 영역 정보로부터 입력 화상의 처리 영역을 인식하고, 모델 생성부(12301)로부터 공급된 처리 영역의 수평 라인마다의 관계 모델의 모션 흐릿함 화상의 각 화소의 화소값 P_i로서 입력 화상의 처리 영역에서의 화소값을 대입하여, 처리 영역의 수평 라인마다, 식(151)의 모델 방정식을 생성한다. 그리고, 모델 방정식 생성부(12321)는, 정규 방정식 생성부(12326)에, 그 모 델 방정식을 공급한다.

특징량 추출부(12322)는, 처리 영역 설정부(12291)로부터 입력된 처리 영역 정보와 입력 화상으로부터, 처리 영역을 구성하는 화소(의 화소값)를 인식하고, 그 처리 영역을 구성하는 각 화소에 대하여, 복수 종류의 특징량을 추출한다. 그리고, 특징량 추출부(12322)는, 그 처리 영역의 화소마다의 복수 종류의 특징량을 특징량 공간 LUT 생성부(12324)에 공급한다.

특징량축 설정부(12323)는, 사용자 I/F(12296)로부터 입력된 선택 정보에 따라, 특징량 공간 LUT를 생성하기 위한 M가지의 특징량축을 설정한다. 그리고, 이 특징량축은, 입력 화상으로부터 추출되는 복수개의 특징량 중 어느 하나를 나타내는 축이다.

특징량 공간 LUT 생성부(12324)는, 특징량 추출부(12322)로부터 공급된 처리 영역의 각 화소의 복수 종류의 특징량 중, 특징량축 설정부(12323)로부터 공급되는 특징량축에 대응하는 특징량에 따라, 처리 영역의 각 화소를 클래스 나누고(클래스 분류)하고, 특징량 공간 LUT를 생성한다. 그리고, 특징량 공간 LUT 생성부(12324)는, 특징량축 설정부(12323)로부터 공급되는 M가지의 특징량축 각각에 대하여, 처리 영역의 각 화소를 클래스 나누고, 이로써, M가지의 특징량 공간 LUT를 생성한다. 또, 특징량 공간 LUT 생성부(12324)는, 생성한 M가지의 특징량 공간 LUT와 사용자 I/F(12296)로부터 입력되는 불만 영역 지시 정보에 따라, 처리 영역 내의 화소 중, 불만 영역의 화소와 그 화소와 유사한 특징량을 가지는 화소를 각각 선택하고, 구속 대상 화소로서 그 구속 대상 화소의 정보를 구속 조건식 생성부(12325)에 공급한다. 따라서, 특징량 공간 LUT 생성부(12324)는, M가지의 특징량 공간 LUT에 대하여, M가지의 구속 대상 화소를 선택한다.

또한, 특징량 공간 LUT 생성부(12324)는, 사용자 I/F(12296)로부터 선택 정보가 입력된 경우, 즉, 사용자가 M가지의 출력 화상을 보고, 사용자 I/F(12296)를 조작함으로써 원하는 화상 또는 원하는데 가까운 화상을 선택한 경우, 생성한 M가지의 특징량 공간 LUT 중, 선택 정보가 나타내는 출력 화상을 얻는데 이용된 특징량 공간 LUT의, 사용자에게 따라서 지시된 불만 영역의 화소(사용자에게 따라서 불만 영역이 지시되어 있지 않은 경우는, 처리 영역의 화소)의 특징량 클래스에 대하여, 구속 조건식에 부여했던 가중치를 기억시킨다.

특징량 공간 LUT 생성부(12324)는, 사용자 I/F(12296)로부터 선택 정보의 입력이 반복되면, 전회 생성된 특징량 공간 LUT를 삭제하고, 이번 생성된 M가지의 특징량 공간 LUT 중, 이번 선택된 출력 화상을 얻는데 이용된 특징량 공간 LUT의, 불만 영역의 화소의 특징량 클래스에 대하여 가중치를 기억시키고, 최종적으로는, 사용자가 가장 양호한 것으로 한 화질의 출력 화상을 얻을 수 있었을 때 이용된, 말하자면 최적인 특징량 공간 LUT에, 가중치를 기억시킨다. 따라서, 이 최적인 특징량 공간 LUT에 있어서는, 구속 대상 화소로 하는데, 최적인 화소가 속하는 특징량 클래스에 대하여, 가중치가 기억되어 있으므로, 그와 같은 최적인 특징량 공간 LUT를 얻을 수 있었던 후에는, 그 최적인 특징량 공간 LUT에 따라, 각 특징량의 화소에 대응하는 구속 조건식의 가중치를, 그 화소가 속하는 클래스에 기억된 가중치로 함으로써, 사용자가 불만 영역을 지시하지 않아도, 임의의 입력 화상에 대하여 사 용자가 원하는 화질의 출력 화상을 얻는 것이 가능해진다.

그리고, 여기서는, 특징량 공간 LUT에, 가중치를 기억시키도록 했지만, 특징량 공간 LUT에는, 가중치 그 자체가 아니고, 가중치가 부여된 일(또는, 구속 대상 화소로 된 것)을 나타내는 정보를 기억시켜도 된다.

또, 여기서는, 특징량축 설정부(12323)에 있어서, M가지의 특징량축을 설정하고, 특징량 공간 LUT 생성부(12324)에 있어서, 그 M가지의 특징량축 각각에 따라서 규정되는 특징량 공간으로 처리 영역의 화소를 클래스 분류하는 M가지의 특징량 공간 LUT를 생성하도록 했지만, M가지의 특징량 공간 LUT는, 그 외에, 예를 들면, 특징량축은 모두 동일하게 하고, 그 동일한 특징량축을 구획하여 특징량 클래스를 만들 때의, 그 특징량축의 구획한 쪽을 M가지 준비함으로써 생성할 수도 있다.

구속 조건식 생성부(12325)는, 특징량 공간 LUT 생성부(12324)로부터 공급된 M가지의 구속 대상 화소에 대하여, 소정의 가중치를 부여한 M가지의 소정의 구속 조건식을 각각 생성하고, 그 M가지의 구속 조건식을 정규 방정식 생성부(12326)에 공급한다.

정규 방정식 생성부(12326)는, 모델 방정식 생성부(12321)로부터 공급된 모델 방정식과, 구속 조건식 생성부(12325)로부터 공급된 M가지의 구속 조건식 각각을 합하여, M가지의 정규 방정식을 생성하고, 실세계 파형 추정부(12303)에 공급한다.

다음에, 도 177의 플로차트를 참조하여, 방정식 생성부(12302)(도 176)의 방정식 생성 처리(도 175의 스텝 S12292의 처리)에 대하여 상세하게 설명한다.

스텝 S12311에 있어서, 모델 방정식 생성부(12321)는, 모델 생성부(12301)로부터 처리 영역의 수평 라인마다의 관계 모델을 취득하고, 스텝 S12312로 진행한다. 스텝 S12312에 있어서, 모델 방정식 생성부(12321)는, 센서(2)로부터 입력 화상을 취득하고, 처리 영역 설정부(12291)로부터 처리 영역 정보를 취득한다. 그리고, 모델 방정식 생성부(12321)는, 그 입력 화상과 처리 영역 정보로부터, 처리 영역 내의 각 화소의 화소값 P_i를 인식하고, 그 화소값 P_i를, 모델 생성부(12301)로부터 취득한 식(151)의 관계 모델의 처리 영역 내의 각 화소의 화소값에 대입함으로써, 처리 영역의 수평 라인마다 모델 방정식을 생성한다. 또한, 모델 방정식 생성부(12321)는, 그 모델 방정식을 정규 방정식 생성부(12326)에 공급한다. 즉, 예를 들면, 모델 방정식 생성부(12321)가, 전술한 식(151)에 의해 표현되는 관계 모델을, 모델 생성부(12301)로부터 취득한 경우, 식(151)의 화소값 P₄ 내지 P₇에 입력 화상의 화소값을 대입한다.

스텝 S12312의 처리 후는, 스텝 S12313로 진행하고, 특징량 추출부(12322)는, 입력 화상의 특징량을 추출하고, 특징량 공간 LUT 생성부(12324)에 공급한다. 즉, 특징량 추출부(12322)는, 처리 영역 설정부(12291)로부터 처리 영역 정보를 취득하고, 입력 화상을 취득한다. 그리고, 특징량 추출부(12322)는, 그 처리 영역 정보로부터, 입력 화상의 처리 영역 내의 화소를 인식하고, 그 처리 영역 내의 화소마다 복수 종류의 특징량을 추출하여, 특징량 공간 LUT 생성부(12324)에 공급한다.

스텝 S12313의 처리 후는, 스텝 S12314로 진행하고, 특징량축 설정부(12323)는, 예를 들면, 특징량 추출부(12322)에서 추출되는 복수개의 특징량의 1 이상을 조합한 것에 의해, M가지의 특징량축을 설정하여, 특징량 공간 LUT 생성부(12324)에 공급하고, 스텝 S12315로 진행한다. 여기서, 특징량 설정부(12323)는, 사용자 I/F(12296)로부터 선택 정보가 입력된 경우, 그 선택 정보가 나타내는 출력 화상을 얻는데 이용된 특징량축을 기준으로, 새로운 M가지의 특징량축을 설정한다. 즉, 특징량축 설정부(12323)는, 최초로 특징량축을 설정하는 경우, 예를 들면, 어느 특징량 A를 1개의 특징량축으로 하고, 다른 M가지의 특징량 각각을 다른 특징량축으로 하여, M가지의 특징량축(M가지의, 2개의 특징량축의 조합)을 설정한다. 그리고, 특징량축 설정부(12323)는, 사용자 I/F(12296)로부터 선택 정보가 입력된 경우, 그 선택 정보가 나타내는 출력 화상을 얻는데 이용된 2개의 특징량축, 예를 들면, 특징량 A 및 B의 특징량축에 더하여, 그 특징량 A 및 B 이외의 M가지의 특징량 각각을 새로운 다른 특징량축으로 하여, 새로운 M가지의 특징량축(M가지의, 3개의 특징량축의 조합)을 설정한다.

따라서, 사용자가 전회의 처리로 출력된 M가지의 출력 화상 중 원하는 것을 선택함으로써, 그 선택 결과를 근거로 하여, 새로운 M가지의 특징량축이 설정되고, 구속 조건의 대상이 되는 구속 대상 화소가 결정되므로, 이 처리를 반복함으로써, 최종적으로는, 사용자가 원하는 화질의 출력 화상을 얻을 수 있는 특징량축이 설정되고, 그 결과, 사용자가 원하는 화질의 출력 화상을 얻을 수 있다.

그리고, 전술한 경우에는, M가지의 특징량축(의 편성)으로서 동일한 수의 특 징량축으로 이루어지는 M가지의 특징량축을 설정하도록 했지만, M가지의 특징량축의 설정 방법은, 이것에 한정되는 것은 아니다. 즉, M가지의 특징량축으로서는, 그 외에, 예를 들면, 상이한 수의 특징량축으로 이루어지는 M가지의 특징량축(예를 들면, 특징량 A 만큼의 특징량축과 특징량 A 및 B의 특징량축 등)을 설정할 수 있다.

스텝 S12315에서는, 특징량 공간 LUT 생성부(12324)는, 특징량 추출부(12322)로부터 공급된 처리 영역 내의 각 화소의 특징량으로부터, 각각의 화소를, 스텝 S12314에서 설정된 M가지의 특징량축에 따라서, 특징량 클래스로 분류하여, M가지의 특징량 공간 LUT를 생성한다.

즉, 예를 들면, 지금, 특징량축 추출부(12322)에 있어서, 복수개의 특징량으로서, 3개의 특징량 A, B, C가 추출되고, 특징량축 설정부(12323)에 있어서, M가지의 특징량축으로서, 3개의 특징량 A 내지 C 중 특징량 A, B, C, A와 B, A와 C, B와 C, A와 B와 C의 7가지의 축이 설정된 것으로 한다. 이 경우, 특징량축 설정부(12322)에서 설정된 7가지의 특징량축 중, 예를 들면, 특징량 A와 B의 축에 주목하면, 특징량 공간 LUT 생성부(12324)는, 예를 들면, 특징량 A와 B의 축을 소정의 간격으로 구획하는 것에 의해, 그 특징량 A와 B로 규정되는 공간(특징량 공간)에 생기는 부분 공간을 특징량 클래스로 하여, 그 특징량 클래스에 특징량 A와 B가 포함되는 화소의 정보를, 그 특징량 클래스에 등록(분류)함으로써, 특징량 A와 B의 축을 가지는 특징량 공간 LUT를 생성한다.

그리고, 어느 처리 영역에 대하여, M가지의 특징량 공간 LUT가 이미 생성되 어 있고, 사용자 I/F(12296)로부터 선택 정보가 입력된, 즉, 사용자가 M가지의 출력 화상을 보고, 원하는 화상 또는 원하는데 가까운 화상을 선택한 경우에는, 특징량 공간 LUT 생성부(12324)는, 스텝 S12314와 S12315의 처리에 대신하여, 선택 정보가 나타내는 출력 화상을 얻는데 이용된 특징량 공간 LUT의, 불만 영역의 화소의 특징량 클래스에 대하여, LUT 값으로서 구속 조건식에 부여했던 가중치를 기억시킨다.

특징량 공간 LUT 생성부(12324)는, 사용자 I/F(12296)로부터 선택 정보의 입력이 반복되면, 전회 생성된 특징량 공간 LUT를 삭제하고, 이번 생성된 M가지의 특징량 공간 LUT 중, 이번 선택된 출력 화상을 얻는데 이용된 특징량 공간 LUT의, 불만 영역의 화소의 특징량 클래스에 대하여 가중치를 기억시키고, 최종적으로는, 사용자가 가장 양호한 것으로 한 화질의 출력 화상을 얻을 수 있었을 때 이용된, 말하자면 최적인 특징량 공간 LUT에, 가중치를 기억시킨다.

이 경우, 방정식 생성부(12302)는, 특징량 공간 LUT에 기억된 구속 조건식의 가중치를, 다른 입력 화상에 대하여도 적용할 수 있다. 즉, 다른 입력 화상이 새롭게 입력된 경우, 방정식 생성부(12302)는, 그 입력 화상의 처리 영역 내의 화소마다 복수 종류의 특징량을 추출하고, 그 복수 종류의 특징량에 따라 처리 영역 내의 각 화소를 클래스 분류한다. 방정식 생성부(12302)는, 특징량 공간 LUT의 클래스 중, 클래스 분류에 의해 얻어지는 처리 영역의 각 화소의 클래스와 동일한 클래스에 대하여 LUT 값으로서 이미 기억된 가중치를, 그 화소에 대응하는 구속 조건식에 대한 가중치로서 설정한다. 이 경우, 사용자는, 입력 화상마다 최적인 가중치 를 설정할 필요가 없고, 사용자의 부담이 경감된다. 그리고, 새로운 입력 화상이 입력될 때마다, 특징량 공간 LUT를 새롭게 생성 또는 갱신해도 상관없다.

스텝 S12315의 처리 후는, 스텝 S12316으로 진행하고, 특징량 공간 LUT 생성부(12324)는, 구속 조건의 대상이 되는 구속 대상 화소를 결정하고, 구속 조건식 생성부(12325)에 공급하고, 스텝 S12317로 진행한다. 즉, 특징량 공간 LUT 생성부(12324)는, 사용자 I/F(12296)로부터 불만 영역 지시 정보를 취득하고, 스텝 S12315로 생성한 M가지의 특징량 공간 LUT 각각에 대하여, 불만 영역의 화소와 그 화소와 동일한 특징량 클래스의 화소를, 구속 대상 화소로서 결정하고, 이 결정에 의해 얻어지는 M가지의 구속 대상 화소를, 구속 조건식 생성부(12325)에 공급한다.

여기서, 사용자가 불만 영역을 지시하지 않고, 사용자 I/F(12296)로부터 불만 영역 지시 정보가 입력되지 않는 경우는, 특징량 공간 LUT 생성부(12324)는, 예를 들면, 처리 영역 모든 화소를, 구속 대상 화소로 결정한다.

스텝 S12317에서는, 구속 조건식 생성부(12325)는, 스텝 S12316에서 결정된 M가지의 구속 대상 화소에 대응하는 구속 조건식에 소정의 가중치를 부여한 M가지의 구속 조건식을 생성한다. 그리고, 구속 조건식 생성부(12325)는, 생성한 M가지의 구속 조건식을 정규 방정식 생성부(12326)에 공급한다.

예를 들면, 구속 대상 화소가 8개이며, 그 구속 대상 화소의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₇로 나타내는 경우, 어느 1가지의 구속 조건식은, 전술한 식(154)에 의해 표현된다. 구속 조건식 생성부(12325)는, M가지의 특징량 공간 LUT에 대하여, 식(154)과 마찬가지의 M가지의 구속 조건식을 생성한다.

스텝 S12317의 처리 후는, 스텝 S12318로 진행하고, 정규 방정식 생성부(12326)는, 모델 방정식 생성부(12321)로부터 공급된 모델 방정식에, 구속 조건식 생성부(12325)로부터 공급된 M가지의 구속 조건식 각각을 합하여, M가지의 정규 방정식을 생성하고, 실세계 파형 추정부(12303)에 공급한다.

이 후, 실세계 파형 추정부(12303)는, 정규 방정식 생성부(12325)로부터 공급된 M가지의 정규 방정식을 최소 제곱 오차 최소 규범으로 각각 푸는 것에 의해, 처리 영역 내의 각 수평 라인의 화소의 M가지의 모션 흐릿함이 없는 화소값을 구한다.

그리고, 전술한 실세계 추정 처리는, 처리 영역 내의 수평 방향으로 정렬된 화소(수평 라인)마다 행해진다. 즉, 실세계 파형 추정부(12303)는, 수평 라인마다, 처리 영역의 각 화소의 M가지의 모션 흐릿함이 없는 화소값을 구한다. 그리고, 실세계 파형 추정부(12303)는, 처리 영역 내의 모든 수평 라인에 있어서, 각 화소의 M가지의 모션 흐릿함이 없는 화소값을 구한 후, 처리 영역의 각 화소의 M가지의 모션 흐릿함이 없는 화소값을, 화상 생성부(12294)에 공급한다. 화상 생성부(12294)는, 입력 화상에서의 처리 영역의 각 화소의 화소값을, M가지의 모션 흐릿함이 없는 화소값으로 각각 치환한 화상을, M가지의 출력 화상으로서 생성하고, 화상 표시부(12295)에 공급하여 표시하게 한다.

또, 전술한 처리에서는, 구속 조건식 생성부(12325)는, 구속 대상 화소 이외에 대한 구속 조건식은 생성하지 않았지만, 구속 대상 화소 이외에 대한 구속 조건 식도, 소정의 가중치(예를 들면, 구속 대상 화소에 대한 가중치와는 상이한 가중치W)를 부여하여, 생성해도 된다.

또, 전술한 처리에서는, M가지의 특징량축에 따라서, M가지의 특징량 공간 LUT를 생성하도록 했지만, 방정식 생성부(12302)에서는, 전술한 바와 같이, 특징량축이 아니고, 특징량 클래스의 분류의 구획 방법을 M가지 설정하고, 각각의 구획 방법에 따라, 처리 영역 내의 화소를 특징량 클래스로 분류하여, M가지의 특징량 공간 LUT를 생성해도 된다.

도 178에 나타낸 바와 같이, 사용자는, 입력 화상(12341)을 보고, 불만이 있는 영역을, 불만 영역으로서 지시한다. 또는, 사용자는, 입력 화상(12341)을 보고, 불만 영역을 지시하지 않고, 신호 처리 장치(4)가 소정 조건에 따라 처리한 출력 화상(12342)을 보고, 불만이 있는 영역을, 불만 영역으로서 지시한다.

그리고, 신호 처리 장치(4)는, 사용자에 의해 지시된 불만 영역에 따라 처리 영역을 설정하고, 그 처리 영역 내의 입력 화상 데이터로부터, 화소마다 복수 종류의 특징량을 추출한다. 신호 처리 장치(4)는, M가지의 특징량축을 설정하고, 화소마다의 특징량으로부터, 그 M가지의 특징량축에 따라서, 각 화소를 특징량 클래스로 분류하여, 특징량 공간 LUT(12343)를 생성한다. 그리고, 도 178에서는, 1가지의 특징량 공간 LUT(12343)밖에 도시하지 않지만, 신호 처리 장치(4)에서는, M가지의 특징량 공간 LUT가 생성된다. 여기서, 특징량 공간 LUT(12343)의 매스눈은, 특징량 클래스를 나타내고 있다. 또, 특징량 공간 LUT(12343)의 동그라미는, 불만 영역의 화소를 나타내고 있다. 동그라미가 중에 있는 매스눈인 특징량 클래스에 포함되는 화소가, 구속 대상 화소로 된다. 그리고, 도 178에서는, 불만 영역의 화소는, 어느 1개의 특징량 클래스만에 속해 있지만, 불만 영역의 화소가 속하는 특징량 클래스는, 1개에 한정되지 않는다. 즉, 불만 영역의 화소는, 복수개의 특징량 클래스에 속하는 경우가 있다.

신호 처리 장치(4)는, M가지의 특징량 공간 LUT 각각에 대하여, 불만 영역의 화소의 특징량 클래스에 속하는 화소를 구속 대상 화소로서 결정한다. 또한, 신호 처리 장치(4)는, M가지의 특징량 공간 LUT로부터 각각 결정된 구속 대상 화소에 대하여, 소정의 가중치를 부여한 구속 조건식을 각각 생성하고, 그 결과 얻어지는 M가지의 출력 화상(12344-1) 내지 (12344-M)를 표시한다. 그리고, 사용자는, 그 M가지의 출력 화상 중, 원하는 화상 또는 원하는 화상에 가까운 화상을 선택하고, 신호 처리 장치(4)는, 그 선택된 화상을 얻는데 사용한 특징량축을 기준으로 하여, 새로운 M가지의 특징량축을 설정하는 것을 반복한다.

따라서, 사용자는, 간단하게 최적인 구속 대상 화소를 설정하고, 실세계(1)의 광신호에 의해 근사시킨 화상을 얻을 수 있다. 즉, 사용자는, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 용이하게 얻을 수 있다. 또, 불만 영역과 동일한 특징량 클래스의 화소에 대하여, 구속 조건식이 생성되므로, 사용자는, 불만 영역으로 하는 화소 모두를 지시할 필요가 없고, 사용자의 부담을 경감시킬 수 있다.

도 179 (A)와 도 179 (B)를 참조하여, 도 173의 신호 처리 장치(4)의 처리의 개요에 대하여, 추가로 설명한다.

도 179 (A) 및 도 179 (B)에서는, 화소로부터 복수 종류의 특징량으로서, 예를 들면, 3개의 특징량 A 내지 C가 추출되는 것으로 하고 있다. 그리고, 도 179 (A)의 예에서는, 특징량 공간 LUT(12362)는, 가로축을 특징량 A로 하고, 세로축을 특징량 B로 하는 특징량축을 가지고 있다. 또, 도 179 (B)의 예에서는, 특징량 공간 LUT(12364)는, 가로축을 특징량 A로 하고, 세로축을 특징량 C로 하는 특징량축을 가지고 있다.

도 179 (A)에 나타낸 바와 같이, 사용자는, 입력 화상(12361)을 보고, 불만이 있는 영역을, 불만 영역으로서 지시한다(포인팅한다). 그리고, 신호 처리 장치(4)는, 사용자에 의해 지시된 불만 영역에 따라 처리 영역을 설정하고, 그 처리 영역 내의 입력 화상 데이터로부터, 화소마다 복수 종류의 특징량 A 내지 C를 추출한다. 신호 처리 장치(4)는, 그 화소마다의 특징량 A 내지 C 중, 특징량 A와 B에 따라, 각 화소를 특징량 클래스로 분류하여, 특징량 공간 LUT(12362)를 생성한다.

신호 처리 장치(4)는, 특징량 공간 LUT(12362)로부터, 사용자에게 따라서 지시된 불만 영역의 화소의 특징량 클래스(12363)를 인식하고, 그 특징량 클래스(12363)로 분류된 모든 화소를, 구속 대상 화소로서 설정한다. 또한, 신호 처리 장치(4)는, 이 구속 대상 화소에 대하여, 소정의 가중치를 부여한 구속 조건식을 생성하고, 그 구속 조건식을 사용하여 얻어지는 출력 화상(12364)을 표시한다. 그리고, 출력 화상(12364) 상의 동그라미는, 특징량 공간 LUT(12362)의 특징량 클래스(12363)로 분류되어, 구속 대상 화소로 된 화소를 나타내고 있다.

도 179 (B)는, 도 179 (A)와 다른 특징량축에 따라서, 특징량 공간 LUT(12365)가 생성된 예를 나타내고 있다. 즉, 신호 처리 장치(4)는, 가로축을 특징량 A로 하고, 세로축을 특징량 C로 한 특징량축에 따라서, 특징량 공간 LUT(12365)를 생성하고, 사용자에게 따라서 지시된 불만 영역의 화소의 특징량 클래스(12366)로 분류된 모든 화소를 구속 대상 화소로서 구속 조건식을 생성한다. 그리고, 이 구속 조건식에는, 예를 들면, 도 179 (A)에 나타낸 경우와 같은 가중치가 부여된다. 신호 처리 장치(4)는, 구속 조건식을 사용하여 얻어지는 출력 화상(12367)을 생성하여, 표시한다.

신호 처리 장치(4)는, 도 179 (A) 및 도 179 (B)에서의 경우와 마찬가지로, 특징량축이 상이한 M가지의 특징량 공간 LUT에 따라, M가지의 출력 화상을 생성하여 표시한다. 그리고, 사용자는, 그 M가지의 출력 화상 중, 원하는 화상 또는 원하는 화상에 가까운 화상을 선택하고, 신호 처리 장치(4)는, 그 선택된 화상을 얻는데 사용한 특징량 공간 LUT의 특징량축을 기준으로 하여, 새로운 M가지의 특징량축을 설정하는 것을 반복한다.

따라서, 사용자는, 간단하게 최적의 구속 대상 화소를 설정하고, 실세계(1)의 광신호에 의해 근사시킨 화상을 얻을 수 있다. 즉, 사용자는, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 용이하게 얻을 수 있다. 또, 불만 영역과 동일한 특징량 클래스의 화소에 대하여, 구속 조건식이 생성되므로, 사용자는, 불만 영역으로 하는 화소 모두를 지시할 필요가 없고, 사용자의 부담을 경감시킬 수 있다.

도 180은, 도 153, 도 161, 도 167, 도 173의 신호 처리 장치(4)와 등가의 신호 처리 장치(4)의 구성예를 나타내고 있다.

즉, 도 180에 있어서, 처리 영역 선택부(12381)는, 예를 들면, 도 153의 처리 영역 설정부(12071)에, 모션량 파라미터 입력부(12382)는, 예를 들면, 도 153의 정상성 설정부(12072)에, 특징량 추출부(12383), 특징량 공간 LUT 생성부(12384), 구속 조건 설정부(12385), 및 모션 흐릿함 제거 처리부(12386)는, 예를 들면, 도 153의 실세계 추정부(12073)에, 출력 화상 생성부(12387)는, 예를 들면, 도 153의 화상 생성부(12074)에, 화상 표시부(12388)는, 예를 들면, 도 153의 화상 표시부(12075)에, 사용자 I/F(12389)는, 예를 들면, 도 153의 사용자 I/F(12076)에 각각 대응하고 있다.

그리고, 도 180은, 예를 들면, 일정 방향으로 일정한 속도로 이동한다는 정상성을 가지는 데이터(3)의 일례인 모션 흐릿함이 발생한 화상 데이터(모션 흐릿함 화상 데이터)로부터, 실세계(1)의 광신호를 추정하는 신호 처리 장치(4)의 일실시예의 구성예를 나타내고 있다. 즉, 이 신호 처리 장치(4)는, 예를 들면, 촬영시에 피사체(오브젝트)가 움직인 것에 의해, 피사체가 흐릿해져 촬영되어 버린 화상(모션 흐릿함 화상)로부터, 그 흐릿함이 없는 화상(모션 흐릿함이 없는 화상)을 추정한다.

도 180의 실시예에서는, 입력 화상으로서, 예를 들면 수평 방향(좌측으로부터 우측 방향)으로 일정한 모션량으로 이동하고 있는 오브젝트를 촬영함으로써 얻어진 모션 흐릿함이 생기고 있는 모션 흐릿함 화상이, 신호 처리 장치(4)에 입력되 고, 처리 영역 선택부(12381), 특징량 추출부(12383), 구속 조건 설정부(12385), 출력 화상 생성부(12387), 및 화상 표시부(12388)에 공급된다.

처리 영역 선택부(12381)는, 입력 화상으로부터 처리 영역을 선택(설정)하고, 그 처리 영역의 정보를, 모션량 파라미터 입력부(12382), 구속 조건 설정부(12385), 및 출력 화상 생성부(12387)에 공급한다.

모션량 파라미터 입력부(12382)는, 오브젝트의 모션을 나타내는 모션량 파라미터(모션량을 나타내는 값)를 설정하고, 그 모션량 파라미터를 구속 조건 설정부(12385)에 공급한다. 그리고, 여기서는, 모션량 파라미터 입력부(12382)는, 입력 화상에 있어서, 오브젝트가 수평 방향으로 이동하고 있는 것을 전제로 하여, 그 모션의 크기만을 나타내는 모션량을 설정하도록 했지만, 그 외에, 오브젝트의 모션의 크기와 방향을 나타내는 모션 벡터를 설정할 수도 있다.

특징량 추출부(12383)는, 입력 화상으로부터 화소마다 복수 종류의 특징량을 추출하고, 그 복수 종류의 특징량을 특징량 공간 LUT 생성부(12384)에 공급한다. 특징량 공간 LUT 생성부(12384)는, 특징량 추출부(12383)로부터 공급된 복수 종류의 특징량으로부터, 복수개 가지인 M가지의 특징량축에 따라서, 입력 화상의 각 화소를 특징량 클래스로 분류하여, 특징량 공간 LUT를 생성한다. 특징량 공간 LUT 생성부(12384)는, 그 특징량 공간 LUT를 구속 조건 설정부(12385)에 공급한다.

구속 조건 설정부(12385)는, 입력 화상과 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보로부터, 처리 영역의 각 수평 라인의 화소의 화소값을 인식하고, 모션량 파라미터 입력부(12382)로부터 공급된 모션량 파라미터로부터, 오브젝 트의 모션량을 인식한다. 구속 조건 설정부(12385)는, 오브젝트의 모션량에 따라, 처리 영역의 수평 라인의 각 화소의 화소값과, 모션 흐릿함이 없는 화소의 화소값의 관계를 모델화한 관계 모델을, 처리 영역의 수평 라인마다 생성하고, 그 관계 모델에 처리 영역의 수평 라인의 각 화소의 화소값을 대입하여, 수평 라인마다 모델 방정식을 생성한다.

또, 구속 조건 설정부(12385)는, 모션 흐릿함이 없는 화소의 화소값을 구속하는 구속 조건식을 수평 라인마다 설정한다. 이 때, 구속 조건 설정부(12385)는, 특징량 공간 LUT 생성부(12384)로부터 공급된 특징량 공간 LUT에 따라, 구속 조건식을 설정한다. 구속 조건 설정부(12385)는, 수평 라인마다의 모델 방정식과 구속 조건식을 모션 흐릿함 제거 처리부(12386)에 공급한다.

모션 흐릿함 제거 처리부(12386)는, 구속 조건 설정부(12385)로부터 공급된 모델 방정식과 구속 조건식을, 수평 라인마다 최소 제곱 오차 최소 규범으로 푸는 것에 의해, 처리 영역의 각 수평 라인의 화소에 대하여, 모션 흐릿함이 없는 화소값을 구한다. 모션 흐릿함 제거 처리부(12386)는, 처리 영역의 각 수평 라인의 화소의 모션 흐릿함이 없는 화소값을, 출력 화상 생성부(12387)에 공급한다.

출력 화상 생성부(12387)는, 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보로부터, 처리 영역의 각 수평 라인의 화소를 인식하고, 그 각 수평 라인의 화소를, 모션 흐릿함 제거 처리부(12386)로부터 공급된 처리 영역의 각 수평 라인의 화소의 모션 흐릿함이 없는 화소값으로 치환하여 화상을 출력 화상으로서 생성한다. 출력 화상 생성부(12387)는, 그 출력 화상을, 화상 표시부(12388)에 공급하 여, 표시하게 한다.

화상 표시부(12388)는, 입력 화상이나, 출력 화상 생성부(12387)로부터 공급되는 출력 화상을 표시한다.

사용자 I/F(12389)는, 사용자에게 따라서 조작되고, 그 사용자의 조작에 따라, 예를 들면, 처리 영역과 모션량에 관련되는 정보를, 처리 영역 선택부(12381)와 모션량 파라미터 입력부(12382)에 각각 공급한다.

즉, 사용자는, 화상 표시부(12388)에 표시된 입력 화상이나 출력 화상을 보고, 그 입력 화상이나 출력 화상에 대한 입력을 부여하도록, 사용자 I/F(12389)를 조작한다. 사용자 I/F(12389)는, 사용자의 조작에 따라, 처리 영역을 선택하는 정보를 처리 영역 선택부(12381)에 공급한다. 또, 사용자 I/F(12389)는, 사용자의 조작에 따라, 처리 영역에서의 오브젝트의 모션량의 정보를, 모션량 파라미터 입력부(12382)에 공급한다.

또한, 사용자 I/F(12389)는, 사용자의 조작에 따라, 처리 영역 내의 화소에 대하여 구속 조건을 불균일하게 설정하기 위해, 구속 조건을 부여하는 영역에 관한 정보를, 특징량 공간 LUT 생성부(12384)와 구속 조건 설정부(12385)에 공급한다. 또, 사용자 I/F(12389)는, 사용자의 조작에 따라, 구속 조건에 대한 가중치를 지시하는 가중치 지시 정보를, 구속 조건 설정부(12385)에 공급한다.

도 181과 도 182의 플로차트를 참조하여, 도 180의 신호 처리 장치(4)의 처리에 대하여 설명한다. 그리고, 오브젝트는 수평 방향으로 일정 속도로 움직이고 있는 것으로 한다.

먼저 최초에, 스텝 S12331에 있어서, 신호 처리 장치(4)는, 입력 화상으로서 모션 흐릿함 화상의 화상 신호를 취득하고, 처리 영역 선택부(12381), 특징량 추출부(12383), 구속 조건 설정부(12385), 출력 화상 생성부(12387), 및 화상 표시부(12388)에 공급한다. 그리고, 특징량 추출부(12383)는, 입력 화상으로부터, 화소마다 복수 종류의 특징량을 추출하고, 그 복수 종류의 특징량을 특징량 공간 LUT 생성부(12384)에 공급한다. 특징량 공간 LUT 생성부(12384)는, 특징량 추출부(12383)로부터 공급된 복수 종류의 특징량에 따라, 복수개 가지의 특징량축에 기초한 특징량 공간 LUT(도 179 (A)와 도 179 (B))를 생성한다. 또한, 스텝 S12331에서는, 신호 처리 장치(4)는, 화상 표시부(12388)에, 입력 화상을 표시시키고, 스텝 S12332으로 진행한다.

스텝 S12332에서는, 사용자 I/F(12389)는, 사용자에 의해 모션 흐릿함 영역이 지시된, 즉, 화상 표시부(12388)에 표시된 입력 화상(모션 흐릿함 화상)을 본 사용자가, 그 입력 화상에 모션 흐릿함이 생기고 있는 것으로 느끼고, 모션 흐릿함이 생기고 있는 부분을 포인팅하도록, 사용자 I/F(12389)를 조작한 여부를 판정한다. 스텝 S12332에 있어서, 사용자에 의해 모션 흐릿함 영역이 지시되어 있지 않은, 즉, 화상 표시부(12388)에 표시된 입력 화상을 본 사용자가, 그 입력 화상에 모션 흐릿함이 생겨 있지 않고, 불만이 없는 것으로 느꼈을 경우, 도 182의 스텝 S12342으로 진행한다. 스텝 S12342에 있어서, 출력 화상 생성부(12387)는, 출력 화상으로서 입력 화상을 화상 표시부(12388)에 공급하여 표시하게 한다.

한편, 스텝 S12332에 있어서, 사용자에 의해 모션 흐릿함 영역이 지시된 것 으로 판정된 경우, 사용자 I/F(12389)는, 사용자가 사용자 I/F(12389)를 조작함으로써 지시한 모션 흐릿함 영역을 나타내는 모션 흐릿함 영역 지시 정보를, 처리 영역 선택부(12381)에 공급하고, 스텝 S12333으로 진행한다. 스텝 S12333에서는, 처리 영역 선택부(12381)는, 사용자 I/F(12389)로부터 공급된 모션 흐릿함 영역 지시 정보에 따라, 예를 들면, 모션 흐릿함 영역을 포함하는 직사각형을, 입력 화상의 영역으로부터 처리 영역으로서 선택하고, 그 처리 영역을 나타내는 처리 영역 정보를, 모션량 파라미터 입력부(12382), 구속 조건 설정부(12385), 및 출력 화상 생성부(12387)에 공급한다.

스텝 S12333의 처리 후는, 스텝 S12334로 진행하고, 모션량 파라미터 입력부(12382)는, 처리 영역에서의 오브젝트의 모션량을 나타내는 모션 파라미터를, 구속 조건 설정부(12385)에 입력한다. 즉, 예를 들면, 사용자가 화상 표시부(12388)에 표시된 입력 화상(모션 흐릿함 화상)을 보고, 사용자 I/F(12389)를 조작함으로써, 처리 영역에서의 오브젝트의 모션량을 입력하고 경우, 모션량 파라미터 입력부(12382)는, 사용자 I/F(12389)로부터 입력되는 모션량을 나타내는 모션량 파라미터를 구속 조건 설정부(12385)에 공급한다. 또한, 모션량 파라미터 입력부(12382)는, 처리 영역에서의 오브젝트의 모션량을 검출하고, 그 모션량을 나타내는 파라미터를, 구속 조건 설정부(12385)에 공급한다. 구속 조건 설정부(12385)는, 그 모션량 파라미터와 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보에 따라, 처리 영역 내의 수평 라인의 각 화소의 화소값과, 모션 흐릿함이 없는 화소의 화소값의 관계를 모델화한 관계 모델을, 처리 영역의 수평 라인마다 생성하여 기억하고, 스텝 S12334로부터 스텝 S12335로 진행한다.

스텝 S12335에서는, 사용자 I/F(12389)는, 사용자에 의해, 입력 화상인 모션 흐릿함 화상으로부터 평탄 영역이 지시되었는지 여부를 판정한다. 스텝 S12335에 있어서, 사용자 I/F(12389)는, 사용자가 사용자 I/F(12389)를 조작함으로써, 모션 흐릿함 화상으로부터 평탄 영역이 지시된, 즉, 사용자가 입력 화상을 보고, 처리 영역 내에서의 모션 흐릿함이 없는 화상이 평탄한 것으로 추정되는 평탄 영역을 지시했다고 판정한 경우, 스텝 S12336으로 진행하고, 사용자 I/F(12389)는, 사용자가 사용자 I/F(12389)를 조작함으로써 지시한 평탄 영역을 나타내는 평탄 영역 지시 정보를, 구속 조건 설정부(12385)에 공급한다.

스텝 S12336의 처리 후는, 스텝 S12337로 진행하고, 특징량 공간 LUT 생성부(12384)는, 생성한 복수개의 특징량 공간 LUT 중, 예를 들면, 사용자가 사용자 I/F(12389)를 조작함으로써 선택한 특징량 공간 LUT를 선택하고, 구속 조건 설정부(12385)에 공급하고, 스텝 S12339로 진행한다. 즉, 스텝 S12337에서는, 예를 들면, 특징량 공간 LUT 생성부(12384)가 생성한 복수개 가지의 특징량 공간 LUT에 대응하는 버튼이, 화상 표시부(12388)에 표시된다. 그리고, 사용자가 사용자 I/F(12389)를 조작함으로써, 화상 표시부(12388)에 표시된 버튼을 클릭하는 등 하여 선택하면, 스텝 S12337에서는, 그 선택된 버튼에 대응하는 특징량 공간 LUT가 선택된다.

스텝 S12339에 있어서, 구속 조건 설정부(12385)는, 사용자 I/F(12389)로부터 공급된 평탄 영역 지시 정보로부터, 처리 영역 내의 평탄 영역을 인식한다. 또 한, 구속 조건 설정부(12385)는, 특징량 공간 LUT 생성부(12384)로부터 공급된 특징량 공간 LUT로부터, 평탄 영역의 화소와 동일한 특징량 클래스의 처리 영역의 화소를 인식한다. 그리고, 구속 조건 설정부(12385)는, 평탄 영역의 화소와 평탄 영역의 화소와 동일한 특징량 클래스의 화소를 구속 대상 화소로서 그 구속 대상 화소에 대하여, 처리 영역의 수평 라인마다 구속 조건식을 생성하고, 그 구속 조건식을 모션 흐릿함 제거 처리부(12386)에 공급하여, 도 182의 스텝 S12340으로 진행한다. 예를 들면, 처리 영역에 있어서, 구속 대상 화소가 6개 만큼 수평 방향으로 정렬되고, 그 각 화소의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₅로 나타내는 경우, 구속 조건식은, 예를 들면, 전술한 식(153)으로 나타낸다.

한편, 도 181의 스텝 S12335에 있어서, 사용자 I/F(12389)는, 모션 흐릿함 화상으로부터 평탄 영역이 지시되어 있지 않다고 판정한 경우, 스텝 S12338로 진행하고, 출력 화상의 불만 영역이 지시되었는지 여부가, 즉 사용자가 전회의 스텝 S12342(도 182)에서 화상 표시부(12388)에 표시된 출력 화상을 보고, 불만을 느끼고, 그 불만을 느낀 영역을, 사용자가 사용자 I/F(12389)를 조작함으로써 지시하였는지 여부를 판정한다. 스텝 S12338에 있어서, 사용자 I/F(12389)는, 출력 화상의 불만 영역이 지시되어 있지 않다고 판정한 경우, 스텝 S12339로 진행한다. 이 경우, 사용자에 의해 평탄 영역도 불만 영역도 지시되어 있지 않으므로, 스텝 S12339에서는, 구속 조건 설정부(12385)는, 예를 들면, 처리 영역의 모든 화소를 구속 대상 화소로서 그 구속 대상 화소에 대하여, 수평 라인마다 구속 조건식을 생성한다.

구속 조건 설정부(12385)는, 그 구속 조건식을 모션 흐릿함 제거 처리부(12386)에 공급하고, 스텝 S12339로부터 도 182의 스텝 S12340으로 진행한다. 예를 들면, 처리 영역의 수평 라인의 화소가 8개 있어, 그 각 화소의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₇로 나타내는 경우, 구속 조건식은, 전술한 식(152)로 나타낸다.

스텝 S12340에서는, 구속 조건 설정부(12385)는, 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보와 입력 화상으로부터, 입력 화상에서의 처리 영역의 각 수평 라인의 화소의 화소값을 인식한다. 또, 스텝 S12340에 있어서, 구속 조건 설정부(12385)는, 입력 화상에서의 처리 영역의 각 수평 라인의 화소의 화소값을, 스텝 S12334에서 생성하여 기억한 관계 모델에 대입하여, 수평 라인마다, 식(151)에 나타낸 모델 방정식을 생성한다. 그리고, 구속 조건 설정부(12385)는, 그 모델 방정식을 모션 흐릿함 제거 처리부(12386)에 공급한다.

스텝 S12340의 처리 후는, 스텝 S12341로 진행하고, 구속 조건 설정부(12385)는, 모션 흐릿함 제거 처리를 행한다. 즉, 모션 흐릿함 제거 처리부(12386)는, 구속 조건 설정부(12385)로부터 공급된 구속 조건식과 모델 방정식을 사용하여, 처리 영역의 수평 라인마다 정규 방정식을 생성한다. 또한, 모션 흐릿함 제거 처리부(12386)는, 그 정규 방정식을, 최소 제곱 오차 최소 규범으로 푸는 것에 의해, 처리 영역의 각 수평 라인의 화소의 모션 흐릿함이 없는 화소값을 구한다. 그리고, 모션 흐릿함 제거 처리부(12386)는, 처리 영역의 각 수평 라인의 화 소의 모션 흐릿함이 없는 화소값을, 출력 화상 생성부(12387)에 공급하고, 스텝 S12341로부터 스텝 S12342로 진행한다.

스텝 S12342에 있어서, 출력 화상 생성부(12387)는, 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보로부터, 처리 영역의 각 수평 라인의 화소를 인식하고, 그 처리 영역의 각 수평 라인의 화소의 화소값을, 모션 흐릿함 제거 처리부(12386)로부터 공급되는 모션 흐릿함이 없는 화소값으로 치환하는 것에 의해, 출력 화상을 생성한다. 또한, 스텝 S12342에서는, 출력 화상 생성부(12387)는, 그 출력 화상을 화상 표시부(12388)에 공급하여 표시시키고, 스텝 S12351로 진행한다.

한편, 도 181의 스텝 S12338에 있어서, 사용자 I/F(12389)는, 출력 화상의 불만 영역이 지시된 것으로 판정한 경우, 스텝 S12343으로 진행하고, 사용자가 사용자 I/F(12389)를 조작함으로써 지시한 불만 영역을 나타내는 불만 영역 지시 정보를 구속 조건 설정부(12385)에 공급하고, 스텝 S12344로 진행한다. 스텝 S12344에 있어서, 구속 조건 설정부(12385)는, 불만 영역의 화소에서의 구속 조건식에 대한 N가지의 가중치를 설정하고, 스텝 S12345로 진행한다. 스텝 S12345에 있어서, 특징량 공간 LUT 생성부(12384)는, 생성한 복수개의 특징량 공간 LUT로부터, 예를 들면, 스텝 S12337에서의 경우와 마찬가지로, 사용자가 사용자 I/F(12389)를 조작함으로써 선택한 특징량 공간 LUT를 선택하고, 그 특징량 공간 LUT를 구속 조건 설정부(12385)에 공급한다.

스텝 S12345의 처리 후는, 스텝 S12346으로 진행하고, 구속 조건 설정부(12385)는, 사용자 I/F(12389)로부터 공급된 불만 영역 지시 정보에 의해, 불만 영 역을 인식하고, 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보에 의해, 처리 영역을 인식한다. 구속 조건 설정부(12385)는, 특징량 공간 LUT 생성부(12384)로부터 공급된 특징량 공간 LUT로부터, 처리 영역의 화소 중, 불만 영역의 화소와 동일한 특징량 클래스의 화소를 인식하고, 구속 대상 화소로 한다. 그리고, 구속 조건 설정부(12385)는, 스텝 S12344에서 설정한 N가지의 가중치를 사용하여, 구속 대상 화소에 대하여, N가지의 가중치를 부여한 구속 조건식을 수평 라인마다 생성한다. 구속 조건 설정부(12385)는, 그 N가지의 구속 조건식을 모션 흐릿함 제거 처리부(12386)에 공급하고, 도 182의 스텝 S12347로 진행한다.

예를 들면, 처리 영역에 있어서, 구속 대상 화소가 8개만 수평 방향으로 정렬되고, 그 각 화소의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₇로 나타내는 경우, 구속 조건식에 대한 1가지의 가중치를 W로 하면, 어느 1가지의 구속 조건식은, 전술한 식(154)에 의해 표현된다. 구속 조건 설정부(12385)는, 식(154)의 구속 조건식에 있어서 가중치 W가 상이한 식을 N가지 생성한다.

스텝 S12347에서는, 구속 조건 설정부(12385)는, 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보와 입력 화상으로부터, 입력 화상에서의 처리 영역의 각 수평 라인의 화소의 화소값을 인식한다. 또, 스텝 S12347에 있어서, 구속 조건 설정부(12385)는, 입력 화상에서의 처리 영역의 각 수평 라인의 화소의 화소값을, 스텝 S12334에서 생성하고, 기억한 관계 모델에 대입하여, 수평 라인마다의 식(151)의 모델 방정식을 생성한다. 그리고, 구속 조건 설정부(12385)는, 그 모델 방정식을 모션 흐릿함 제거 처리부(12386)에 공급한다.

스텝 S12347의 처리 후는, 스텝 S12348로 진행하고, 구속 조건 설정부(12385)는, 모션 흐릿함 제거 처리를 행한다. 즉, 모션 흐릿함 제거 처리부(12386)는, 구속 조건 설정부(12385)로부터 공급된 N가지의 구속 조건식 각각 과 모델 방정식으로부터, N가지의 정규 방정식을, 처리 영역의 수평 라인마다 생성하고, 그 N가지의 정규 방정식을 최소 제곱 오차 최소 규범으로 푸는 것에 의해, 처리 영역의 각 수평 라인의 화소에 대하여, N가지의 모션 흐릿함이 없는 화소값을 구한다. 그리고, 모션 흐릿함 제거 처리부(12386)는, 처리 영역의 각 수평 라인의 화소의 N가지의 모션 흐릿함이 없는 화소값을, 출력 화상 생성부(12387)에 공급하고, 스텝 S12348로부터 스텝 S12349로 진행한다.

스텝 S12349에 있어서, 출력 화상 생성부(12387)는, 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보로부터, 처리 영역의 각 수평 라인의 화소를 인식하고, 그 처리 영역의 각 수평 라인의 화소의 화소값을, 모션 흐릿함 제거 처리부(12386)로부터 공급되는 N가지의 모션 흐릿함이 없는 화소값으로 치환하는 것에 의해, N가지의 출력 화상을 생성한다. 또한, 스텝 S12349에 있어서, 출력 화상 생성부(12387)는, N가지의 출력 화상을 화상 표시부(12388)에 공급하여 표시시키고, 스텝 S12350으로 진행한다.

스텝 S12350에서는, 사용자 I/F(12389)는, 사용자에 의해 출력 화상이 선택되었는지 여부를 판정한다. 즉, 스텝 S12349에서는, 화상 표시부(12388)에 있어서, N가지의 출력 화상이 표시되지만, 그 N가지의 출력 화상을 본 사용자가, 그 N 가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택했는지 여부가, 스텝 S12350에 있어서 판정된다. 스텝 S12350에 있어서, 사용자 I/F(12389)는, 사용자에 의해 출력 화상이 선택되어 있지 않은 것으로 판정한 경우, 사용자에 의해 출력 화상이 선택되기까지 대기한다.

스텝 S12350에 있어서, 사용자 I/F(12389)는, 사용자에 의해 출력 화상이 선택된 것으로 판정한 경우, 스텝 S12351로 진행한다.

스텝 S12351에 있어서, 사용자 I/F(12389)는, 처리 영역 내의 화상에 불만이 있는지 여부를 판정한다. 즉, 사용자가, 스텝 S12342에서 화상 표시부(12388)에 표시되는 출력 화상 또는 스텝 S12350에서 선택된 출력 화상을 보고, 스텝 S12333에서 선택된 처리 영역 내의 화상에 불만을 느끼고, 불만이 있는 것을 알리도록, 사용자 I/F(12389)를 조작했는지 여부가, 스텝 S12351에서 판정된다. 스텝 S12351에 있어서, 사용자 I/F(12389)는, 처리 영역 내의 화상에 불만이 있는 것으로 판정한 경우, 도 181의 스텝 S12335로 복귀하고, 전술한 처리를 반복한다. 그리고, 이 경우, 다음에 행해지는 스텝 S12344에서는, 직전의 스텝 S12350에서 선택된 출력 화상을 얻는데 이용된 구속 조건식에 대한 가중치를 기준으로, 새로운 가중치가 N가지 설정된다.

따라서, 사용자가 전회의 처리로 출력된 N가지의 출력 화상 중 원하는 것을 선택하면, 그 선택 결과를 근거로 하여, 새로운 N가지의 가중치가 설정되므로, 사용자는 N가지의 출력 화상 중 원하는 것의 선택을 반복함으로써, 최종적으로는, 사용자가 원하는 화질의 출력 화상을 얻을 수 있는 가중치가 설정된다. 그 결과, 사 용자는, 입력 화상의 처리 영역의 부분이, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상으로 된 출력 화상을 얻을 수 있다.

한편, 스텝 S12351에 있어서, 사용자 I/F(12389)는, 처리 영역 내의 화상에 불만이 없는 것으로 판정한 경우, 스텝 S12352로 진행하고, 다른 모션 흐릿함 영역이 지시되었는지 여부를 판정한다. 즉, 사용자가 스텝 S12342에서 표시된 출력 화상 또는 스텝 S12350에서 선택된 출력 화상을 보고, 처리 영역 이외의 화상에 모션 흐릿함이 있다고 느끼고, 그 모션 흐릿함이 있는 영역을, 사용자 I/F(12389)를 조작함으로써 지시했는지 여부가, 스텝 S12352에 있어서 판정된다. 스텝 S12352에 있어서, 사용자 I/F(12389)는, 다른 모션 흐릿함 영역이 지시된 것으로 판정한 경우, 스텝 S12333으로 복귀하고, 전술한 처리를 반복한다. 즉, 신호 처리 장치(4)는, 새로운 모션 흐릿함 영역에 대하여 처리를 행한다. 그리고, 이 경우, 직전의 스텝 S12342에서 표시된 출력 화상 또는 스텝 S12350에서 선택된 출력 화상을 입력 화상으로 하여, 또는 입력 화상의 처리 영역에 대하여, 그 처리 영역에 대하여 최종적으로 얻어진 화소값으로 치환하여 화상을 입력 화상으로 하여, 처리가 행해진다.

또, 스텝 S12352에 있어서, 사용자 I/F(12389)는, 다른 모션 흐릿함 영역이 지시되어 있지 않다고 판정한 경우, 사용자는, 출력 화상에 만족하고 있으므로, 처리를 종료한다.

도 183으로 도 184의 플로차트를 참조하여, 도 180의 신호 처리 장치의 다른 처리에 대하여 설명한다. 그리고, 오브젝트는 수평 방향으로 일정 속도로 움직이 고 있는 것으로 한다.

먼저 최초에, 스텝 S12371에 있어서, 신호 처리 장치(4)는, 입력 화상으로서 모션 흐릿함 화상의 화상 신호를 취득하고, 처리 영역 선택부(12381), 특징량 추출부(12383), 구속 조건 설정부(12385), 출력 화상 생성부(12387), 및 화상 표시부(12388)에 공급한다. 그리고, 특징량 추출부(12383)는, 입력 화상으로부터, 화소마다 복수 종류의 특징량을 추출하고, 그 복수 종류의 특징량을 특징량 공간 LUT 생성부(12384)에 공급한다. 특징량 공간 LUT 생성부(12384)는, 특징량 추출부(12383)로부터 공급된 복수 종류의 특징량에 따라, 복수개 가지의 특징량축에 기초한 특징량 공간 LUT(도 179 (A)와 도 179 (B)를 생성한다. 또한, 스텝 S12371에서는, 신호 처리 장치(4)는, 화상 표시부(12388)에, 입력 화상을 표시시키고, 스텝 S12372으로 진행한다.

스텝 S12372에서는, 사용자 I/F(12389)는, 사용자에 의해 모션 흐릿함 영역이 지시된, 즉, 화상 표시부(12388)에 표시된 입력 화상(모션 흐릿함 화상)을 본 사용자가, 그 입력 화상에 모션 흐릿함이 생기고 있는 것으로 느끼고, 모션 흐릿함이 생기고 있는 부분을 포인팅하도록, 사용자 I/F(12389)를 조작한 여부를 판정한다. 스텝 S12372에 있어서, 사용자에 의해 모션 흐릿함 영역이 지시되어 있지 않은, 즉, 화상 표시부(12388)에 표시된 입력 화상을 본 사용자가, 그 입력 화상에 모션 흐릿함이 생겨 있지 않고, 불만이 없는 것으로 느꼈을 경우, 도 184의 스텝 S12382으로 진행한다. 스텝 S12382에 있어서, 출력 화상 생성부(12387)는, 출력 화상으로서 입력 화상을 화상 표시부(12388)에 공급하여 표시한다.

한편, 스텝 S12372에 있어서, 사용자에 의해 모션 흐릿함 영역이 지시된 것으로 판정된 경우, 사용자 I/F(12389)는, 사용자가 사용자 I/F(12389)를 조작함으로써 지시한 모션 흐릿함 영역을 나타내는 모션 흐릿함 영역 지시 정보를, 처리 영역 선택부(12381)에 공급하고, 스텝 S12373으로 진행한다. 스텝 S12373에서는, 처리 영역 선택부(12381)는, 사용자 I/F(12389)로부터 공급된 모션 흐릿함 영역 지시 정보에 따라, 예를 들면, 모션 흐릿함 영역을 포함하는 직사각형을, 입력 화상의 영역으로부터 처리 영역으로서 선택하고, 그 처리 영역을 나타내는 처리 영역 정보를, 모션량 파라미터 입력부(12382), 구속 조건 설정부(12385), 및 출력 화상 생성부(12387)에 공급한다.

스텝 S12373의 처리 후는, 스텝 S12374으로 진행하고, 모션량 파라미터 입력부(12382)는, 처리 영역에서의 오브젝트의 모션량을 나타내는 모션 파라미터를, 구속 조건 설정부(12385)에 입력한다. 즉, 예를 들면, 사용자가 화상 표시부(12388)에 표시된 입력 화상을 보고, 사용자 I/F(12389)를 조작함으로써, 처리 영역에서의 오브젝트의 모션량을 입력하고 경우, 모션량 파라미터 입력부(12382)는, 사용자 I/F(12389)로부터 입력되는 모션량을 나타내는 모션량 파라미터를 구속 조건 설정부(12385)에 공급한다. 또한, 모션량 파라미터 입력부(12382)는, 처리 영역에서의 오브젝트의 모션량을 검출하고, 그 모션량을 나타내는 모션량 파라미터를, 구속 조건 설정부(12385)에 공급한다. 구속 조건 설정부(12385)는, 그 모션량 파라미터와 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보에 따라, 처리 영역 내의 수평 라인의 각 화소의 화소값과, 모션 흐릿함이 없는 화소의 화소값의 관계를 모델 화한 관계 모델을, 처리 영역의 수평 라인마다 생성하여 기억하고, 스텝 S12374로부터 스텝 S12375로 진행한다.

스텝 S12375에서는, 사용자 I/F(12389)는, 사용자에 의해, 입력 화상인 모션 흐릿함 화상으로부터 평탄 영역이 지시되었는지 여부를 판정한다. 스텝 S12375에 있어서, 사용자 I/F(12389)는, 사용자가 사용자 I/F(12389)를 조작함으로써, 모션 흐릿함 화상으로부터 평탄 영역이 지시된, 즉 사용자가 입력 화상을 보고, 처리 영역 내에서의 모션 흐릿함이 없는 화상이 평탄한 것으로 추정되는 평탄 영역을 지시했다고 판정한 경우, 스텝 S12376으로 진행하고, 사용자 I/F(12389)는, 사용자가 사용자 I/F(12389)를 조작함으로써 지시한 평탄 영역을 나타내는 평탄 영역 지시 정보를, 구속 조건 설정부(12385)에 공급한다.

스텝 S12376의 처리 후는, 스텝 S12377으로 진행하고, 특징량 공간 LUT 생성부(12384)는, 생성한 복수개의 특징량 공간 LUT 중, 예를 들면, 사용자가 사용자 I/F(12389)를 조작함으로써 선택한 특징량 공간 LUT를 선택하고, 구속 조건 설정부(12385)에 공급하고, 스텝 S12379로 진행한다. 즉, 스텝 S12377에서는, 예를 들면, 특징량 공간 LUT 생성부(12384)가 생성한 복수개 가지의 특징량 공간 LUT에 대응하는 버튼이, 화상 표시부(12388)에 표시된다. 그리고, 사용자가 사용자 I/F(12389)를 조작함으로써, 화상 표시부(12388)에 표시된 버튼을 클릭하는 등하여 선택하면, 스텝 S12377에서는, 그 선택된 버튼에 대응하는 특징량 공간 LUT가 선택된다.

스텝 S12379에 있어서, 구속 조건 설정부(12385)는, 사용자 I/F(12389)로부 터 공급된 평탄 영역 지시 정보로부터, 처리 영역 내의 평탄 영역을 인식한다. 또한, 구속 조건 설정부(12385)는, 특징량 공간 LUT 생성부(12384)로부터 공급된 특징량 공간 LUT로부터, 평탄 영역의 화소와 동일한 특징량 클래스의 처리 영역의 화소를 인식한다. 그리고, 구속 조건 설정부(12385)는, 평탄 영역의 화소와 평탄 영역의 화소와 동일한 특징량 클래스의 화소를 구속 대상 화소로서 그 구속 대상 화소에 대하여, 처리 영역의 수평 라인마다 구속 조건식을 생성하고, 그 구속 조건식을 모션 흐릿함 제거 처리부(12386)에 공급하고, 도 184의 스텝 S12380으로 진행한다. 예를 들면, 처리 영역에 있어서, 구속 대상 화소가 6개만 수평 방향으로 정렬되고, 그 각 화소의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₅로 나타내는 경우, 구속 조건식은, 예를 들면, 전술한 식(153)로 나타낸다.

한편, 도 181의 스텝 S12375에 있어서, 사용자 I/F(12389)는, 모션 흐릿함 화상으로부터 평탄 영역이 지시되어 있지 않다고 판정한 경우, 스텝 S12378로 진행하고, 출력 화상의 불만 영역이 지시된, 즉, 사용자가 전회의 스텝 S12382(도 184)로 화상 표시부(12388)에 표시된 출력 화상을 보고, 불만을 느끼고, 그 불만을 느낀 영역을, 사용자가 사용자 I/F(12389)를 조작함으로써 지시하였는지 여부를 판정한다. 스텝 S12378에 있어서, 사용자 I/F(12389)는, 출력 화상의 불만 영역이 지시되어 있지 않다고 판정한 경우, 스텝 S12379로 진행한다. 이 경우, 사용자에 의해 평탄 영역도 불만 영역도 지시되어 있지 않으므로, 스텝 S12379에서는, 구속 조건 설정부(12385)는, 예를 들면, 처리 영역의 모든 화소를 구속 대상 화소로서 수 평 라인마다, 그 구속 대상 화소에 대하여 구속 조건식을 생성한다. 구속 조건 설정부(12385)는, 그 구속 조건식을 모션 흐릿함 제거 처리부(12386)에 공급하고, 스텝 S12379로부터 도 184의 스텝 S12380으로 진행한다. 예를 들면, 처리 영역의 수평 라인의 화소가 8개 있어, 그 각 화소의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₇로 나타내는 경우, 구속 조건식은, 전술한 식(152)로 나타낸다.

스텝 S12380에서는, 구속 조건 설정부(12385)는, 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보와 입력 화상으로부터, 입력 화상에서의 처리 영역의 각 수평 라인의 화소의 화소값을 인식한다. 또, 스텝 S12380에 있어서, 구속 조건 설정부(12385)는, 입력 화상에서의 처리 영역의 각 수평 라인의 화소의 화소값을, 스텝 S12384로 생성하여 기억한 관계 모델에 대입하여, 수평 라인마다, 식(151)에 나타낸 모델 방정식을 생성한다. 그리고, 구속 조건 설정부(12385)는, 그 모델 방정식을 모션 흐릿함 제거 처리부(12386)에 공급한다.

스텝 S12380의 처리 후는, 스텝 S12381로 진행하고, 구속 조건 설정부(12385)는, 모션 흐릿함 제거 처리를 행한다. 즉, 모션 흐릿함 제거 처리부(12386)는, 구속 조건 설정부(12385)로부터 공급된 구속 조건식과 모델 방정식을 사용하여, 처리 영역의 수평 라인마다 정규 방정식을 생성한다. 또한, 모션 흐릿함 제거 처리부(12386)는, 그 정규 방정식을, 최소 제곱 오차 최소 규범으로 푸는 것에 의해, 처리 영역의 각 수평 라인의 화소의 모션 흐릿함이 없는 화소값을 구한다. 그리고, 모션 흐릿함 제거 처리부(12386)는, 처리 영역의 각 수평 라인의 화 소의 모션 흐릿함이 없는 화소값을, 출력 화상 생성부(12387)에 공급하고, 스텝 S12381로부터 스텝 S12382로 진행한다.

스텝 S12382에 있어서, 출력 화상 생성부(12387)는, 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보로부터, 처리 영역의 각 수평 라인의 화소를 인식하고, 그 처리 영역의 각 수평 라인의 화소의 화소값을, 모션 흐릿함 제거 처리부(12386)로부터 공급되는 모션 흐릿함이 없는 화소값으로 치환하는 것에 의해, 출력 화상을 생성한다. 또한, 스텝 S12382에서는, 출력 화상 생성부(12387)는, 그 출력 화상을 화상 표시부(12388)에 공급하여 표시시키고, 스텝 S12391로 진행한다.

한편, 도 183의 스텝 S12378에 있어서, 사용자 I/F(12389)는, 출력 화상의 불만 영역이 지시된 것으로 판정한 경우, 스텝 S12383으로 진행하고, 사용자가 사용자 I/F(12389)를 조작함으로써 지시한 불만 영역을 나타내는 불만 영역 지시 정보를 구속 조건 설정부(12385)에 공급하고, 스텝 S12384로 진행한다. 스텝 S12384에 있어서, 구속 조건 설정부(12385)는, 불만 영역의 화소에서의 구속 조건식에 대한 소정의 가중치를 설정하고, 스텝 S12385로 진행한다. 그리고, 가중치는, 사용자가 사용자 I/F(12389)를 조작함으로써 설정해도 된다.

스텝 S12385에 있어서, 특징량 공간 LUT 생성부(12384)는, 생성한 특징량 공간 LUT로부터, M가지의 특징량 공간 LUT를 선택하고, M가지의 특징량 공간 LUT를 구속 조건 설정부(12385)에 공급한다.

스텝 S12385의 처리 후는, 스텝 S12386으로 진행하고, 구속 조건 설정부(12385)는, 사용자 I/F(12389)로부터 공급된 불만 영역 지시 정보에 의해, 불만 영 역을 인식하고, 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보에 의해, 처리 영역을 인식한다. 구속 조건 설정부(12385)는, 특징량 공간 LUT 생성부(12384)로부터 공급된 M가지의 특징량 공간 LUT로부터, 처리 영역의 화소 중, 불만 영역의 화소와 동일한 특징량 클래스의 화소를, 구속 대상 화소로서 인식한다. 따라서, 구속 조건 설정부(12385)는, 수평 라인마다, M가지의 구속 대상 화소를 인식한다. 그리고, 구속 조건 설정부(12385)는, 스텝 S12384에서 설정한 소정의 가중치를 사용하여, 구속 대상 화소에 대하여, 수평 라인마다, 소정의 가중치를 부여한 M가지의 구속 조건식을 생성한다. 구속 조건 설정부(12385)는, 그 M가지의 구속 조건식을 모션 흐릿함 제거 처리부(12386)에 공급하고, 도 184의 스텝 S12387로 진행한다.

예를 들면, 처리 영역에 있어서, 구속 대상 화소가 8개만 수평 방향으로 정렬되고, 그 각 화소의 모션 흐릿함이 없는 화소값을 Q₀ 내지 Q₇로 나타내는 경우, 구속 조건식에 대한 가중치를 W로 하면, 어느 1가지의 구속 조건식은, 전술한 식(154)에 의해 표현된다. 따라서, 구속 조건 설정부(12385)는, M가지의 구속 대상 화소에 대하여, 식(154)의 구속 조건식에 있어서, 구속 대상이 그 상이한 식을 M가지 생성한다.

스텝 S12387에서는, 구속 조건 설정부(12385)는, 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보와 입력 화상으로부터, 입력 화상에서의 처리 영역의 각 수평 라인의 화소의 화소값을 인식한다. 또, 스텝 S12387에 있어서, 구속 조건 설정부(12385)는, 입력 화상에서의 처리 영역의 각 수평 라인의 화소의 화소값을, 스텝 S12374에서 생성하고, 기억한 관계 모델에 대입하여, 수평 라인마다 식(151)의 모델 방정식을 생성한다. 그리고, 구속 조건 설정부(12385)는, 그 모델 방정식을 모션 흐릿함 제거 처리부(12386)에 공급한다.

스텝 S12387의 처리 후는, 스텝 S12388로 진행하고, 구속 조건 설정부(12385)는, 모션 흐릿함 제거 처리를 행한다. 즉, 모션 흐릿함 제거 처리부(12386)는, 구속 조건 설정부(12385)로부터 공급된 M가지의 구속 조건식 각각과 모델 방정식으로부터, M가지의 정규 방정식을, 처리 영역의 수평 라인마다 생성하고, 그 M가지의 정규 방정식을 최소 제곱 오차 최소 규범으로 푸는 것에 의해, 처리 영역의 각 수평 라인의 화소에 대하여, M가지의 모션 흐릿함이 없는 화소값을 구한다. 그리고, 모션 흐릿함 제거 처리부(12386)는, 처리 영역의 각 수평 라인의 화소의 M가지의 모션 흐릿함이 없는 화소값을, 출력 화상 생성부(12387)에 공급하고, 스텝 S12388로부터 스텝 S12389로 진행한다.

스텝 S12389에 있어서, 출력 화상 생성부(12387)는, 처리 영역 선택부(12381)로부터 공급된 처리 영역 정보로부터, 처리 영역의 각 수평 라인의 화소를 인식하고, 그 처리 영역의 각 수평 라인의 화소의 화소값을, 모션 흐릿함 제거 처리부(12386)로부터 공급되는 M가지의 모션 흐릿함이 없는 화소값으로 치환하는 것에 의해, M가지의 출력 화상을 생성한다. 또한, 스텝 S12389에 있어서, 출력 화상 생성부(12387)는, M가지의 출력 화상을 화상 표시부(12388)에 공급하여 표시시키고, 스텝 S12390으로 진행한다.

스텝 S12390에서는, 사용자 I/F(12389)는, 사용자에 의해 출력 화상이 선택되었는지 여부를 판정한다. 즉, 스텝 S12389에서는, 화상 표시부(12388)에 있어서, M가지의 출력 화상이 표시되지만, 그 M가지의 출력 화상을 본 사용자가, 그 M가지의 출력 화상 중, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택했는지 여부가, 스텝 S12390에 있어서 판정된다. 스텝 S12390에 있어서, 사용자 I/F(12389)는, 사용자에 의해 출력 화상이 선택되어 있지 않은 것으로 판정한 경우, 사용자에 의해 출력 화상이 선택되기까지 대기한다.

스텝 S12390에 있어서, 사용자 I/F(12389)는, 사용자에 의해 출력 화상이 선택된 것으로 판정한 경우, 스텝 S12391로 진행한다.

스텝 S12391에 있어서, 사용자 I/F(12389)는, 처리 영역 내의 화상에 불만이 있는지 여부를 판정한다. 즉, 사용자가, 스텝 S12382에서 화상 표시부(12388)에 표시되는 출력 화상 또는 스텝 S12390에서 선택된 출력 화상을 보고, 스텝 S12373에서 선택된 처리 영역 내의 화상에 불만을 느끼고, 불만이 있는 것을 알리도록, 사용자 I/F(12389)를 조작했는지 여부가, 스텝 S12391에서 판정된다. 스텝 S12391에 있어서, 사용자 I/F(12389)는, 처리 영역 내의 화상에 불만이 있는 것으로 판정한 경우, 도 183의 스텝 S12375로 복귀하고, 전술한 처리를 반복한다. 그리고, 이 경우, 다음에 행해지는 스텝 S12385에서는, 직전의 스텝 S12390에서 선택된 출력 화상을 얻는데 이용된 특징량 공간 LUT의 특징량축을 기준으로, 새로운 특징량축을 M가지 선택하고, 그 M가지의 특징량축을 가지는 특징량 공간 LUT를 선택한다.

따라서, 사용자가 전회의 처리에 의해 출력된 M가지의 출력 화상 중 원하는 것을 선택함으로써, 그 선택 결과를 근거로 하여, 새로운 M가지의 특징량축이 설정되고, 구속 조건의 대상이 되는 구속 대상 화소가 결정되므로, 이 처리를 반복함으로써, 최종적으로는, 사용자가 원하는 화질의 출력 화상을 얻을 수 있는 특징량축이 설정된다. 그 결과, 사용자는, 입력 화상의 처리 영역의 부분이, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상으로 된 출력 화상을 얻을 수 있다.

한편, 스텝 S12391에 있어서, 사용자 I/F(12389)는, 처리 영역 내의 화상에 불만이 없는 것으로 판정한 경우, 스텝 S12392로 진행하고, 다른 모션 흐릿함 영역이 지시되었는지 여부를 판정한다. 즉, 사용자가 스텝 S12382에서 표시된 출력 화상 또는 스텝 S12390에서 선택된 출력 화상을 보고, 처리 영역 이외의 화상에 모션 흐릿함이 있다고 느끼고, 그 모션 흐릿함이 있는 영역을, 사용자 I/F(12389)를 조작함으로써 지시했는지 여부가, 스텝 S12392에 있어서 판정된다. 스텝 S12392에 있어서, 사용자 I/F(12389)는, 다른 모션 흐릿함 영역이 지시된 것으로 판정한 경우, 스텝 S12373으로 복귀하고, 전술한 처리를 반복한다. 즉, 신호 처리 장치(4)는, 새로운 모션 흐릿함 영역에 대하여 처리를 행한다. 그리고, 이 경우, 직전의 스텝 S12382에서 표시된 출력 화상 또는 스텝 S12390에서 선택된 출력 화상을 입력 화상으로서, 또는 입력 화상의 처리 영역에 대하여, 그 처리 영역에 대하여 최종적으로 얻어진 화소값으로 치환하여 화상을 입력 화상으로서, 처리가 행해진다.

또, 스텝 S12392에 있어서, 사용자 I/F(12389)는, 다른 모션 흐릿함 영역이 지시되어 있지 않다고 판정한 경우, 사용자는, 출력 화상에 만족하고 있으므로, 처리를 종료한다.

그리고, 도 181 및 도 182에 나타낸 플로차트의 처리와, 도 183 및 도 184에 나타낸 플로차트의 처리는 조합시켜 행하도록 해도 된다. 즉, 사용자가 출력 화상을 보고 불만 영역을 지시한 경우, 구속 조건 설정부(12385)는, 구속 대상 화소에서의 구속 조건식에 대한 가중치를 N가지 설정하고, M가지의 특징량 공간 LUT에 따른 M가지의 구속 대상 화소를 인식하고, 합계 N×M가지의 출력 화상을 생성해도 된다. 또, 사용자가 출력 화상을 보고 불만 영역을 지시한 경우, 구속 조건 설정부(12385)는, 불만 영역의 구속 조건에 대한 가중치를 N가지 설정하여 N가지의 출력 화상을 생성하는 것으로, M가지의 특징량 공간 LUT에 따라 M가지의 구속 대상 화소를 인식해 M가지의 출력 화상을 생성하는 것을 교대로 행해도 된다.

도 185 내지 도 194는, 도 180에 나타내는 신호 처리 장치(4)가, 도 181 및 도 182에 나타낸 플로차트의 처리와, 도 183 및 도 184에 나타낸 플로차트의 처리를 조합시켜 행한 예를 설명하는 도면이다.

이 예에 있어서, 사용자는, 입력 화상으로부터 처리 영역을 지시하고, 또한 모션 흐릿함 화상이 평탄한 것으로 추정되는 영역을 지시한다. 그리고, 사용자는, 그 처리 결과인 출력 화상을 보고, 불만이 있는 영역을 지시하고, 재차의 처리 결과인 2가지의 출력 화상을 얻는다. 또한, 사용자는, 그 2가지의 출력 화상으로부터, 원하는 화상에 가까운 화상을 선택하고, 그 선택 결과를 근거로 하여 처리된 4가지의 출력 화상을 얻는다. 마지막으로, 사용자는, 그 4가지의 출력 화상으로부터 원하는 화상 또는 원하는 화상에 가까운 화상을 선택한다.

그리고, 여기서는, 모션량 파라미터에 대하여는, 그 진값이 신호 처리 장치 (4)에 부여되는 것으로 한다.

도 185는, 입력 화상을 본 사용자가 처리 영역을 지시한 상태를 나타내고 있다. 도 185의 입력 화상은, 화면 중을 비행기(의 완구)가 좌측으로부터 우측으로 수평으로 이동하고 있는 순간을 촬영하여 얻어진 것이다. 도 185에 나타낸 바와 같이, 이 입력 화상은, 모션 흐릿함에 의해 문자 「TAL」 등의 에지 부분(윤곽 부분)이 무디어지고 있다. 여기서, 사용자는, 「TAL」이라는 문자가 표시된 부분을 에워싸는 직사각형의 영역을, 처리 영역으로서 지시하고 있다.

도 186은, 도 185에 나타낸 입력 화상을 본 사용자가, 모션 흐릿함이 없는 화상이 평탄한 것으로 추정되는 부분을 평탄 영역으로서 포인팅한 예이다. 여기서, 화상의 중 ×표의 부분은, 사용자가 평탄 영역을 지시하기 위해 포인팅한 위치를 나타내고, 도 186에서는, 이 사용자에 의해 포인팅된 위치를 포함하는 문자 「L」의 우측의 부분을 에워싸는 직사각형의 영역이, 평탄 영역으로서 설정되어 있다. 또, 도 186에 있어서, 화상 상 좌측의 정방형으로 둘러싸인 화상은, 그 사용자가 지시한 영역의 주변을 확대한 화상이며, 그 중 직사각형으로 둘러싸인 부분이, 사용자가 포인팅한 것에 의해 설정된 평탄 영역이다.

도 187은, 도 185에 나타낸 입력 화상에 대하여, 사용자에 의한 평탄 영역의 지시없이, 신호 처리 장치(4)가 처리를 행함으로써 얻어진 처리 결과로서의 출력 화상을 나타내고 있다. 즉, 신호 처리 장치(4)는, 도 181 및 도 182의 스텝 S12331 내지 스텝 S12335, 스텝 S12338 내지 스텝 S12342의 처리를 행하고, 화상 표시부(12388)에 도 187에 나타낸 출력 화상을 표시한다. 이 경우, 구속 조건식 은, 처리 영역의 모든 화소에 대하여 생성된다. 도 187에 나타낸 바와 같이, 출력 화상에 있어서는, 도 185 또는 도 186에 나타낸 입력 화상에 비하여, 모션 흐릿함이 저감되고, 「TAL」이라는 문자가 선명하게 되어 있다.

도 188은, 도 186에 나타낸 바와 같이, 도 185의 입력 화상에 대하여 사용자가 평탄 영역을 지시한 경우에, 신호 처리 장치(4)가, 그 평탄 영역에 따라 처리를 행함으로써 얻어지는 처리 결과로서의 출력 화상을 나타내고 있다. 즉, 신호 처리 장치(4)는, 도 181 및 도 182의 스텝 S12331 내지 스텝 S12337, 스텝 S12339 내지 스텝 S12342의 처리를 행하고, 화상 표시부(12388)에 도 188에 나타낸 출력 화상을 표시한다. 이 경우, 구속 조건식은, 평탄 영역의 화소에 대하여만 생성된다. 도 188의 출력 화상에서는, 도 187과 마찬가지로, 모션 흐릿함이 저감되고, 「TAL」이라는 문자가 선명하게 되어 있다. 또한, 도 188의 출력 화상에서는, 도 187에서의 경우보다, 에지 부분과 평탄 부분의 화질이 향상되어 있다.

도 189는, 도 188에 나타낸 출력 화상에 대하여, 사용자가 불만이 있는 영역을 지시한 상태를 나타낸 도면이다. 즉, 사용자는, 출력 화상에 대하여, 상상하고 있는 모션 흐릿함이 없는 화상과 상이한(화질이 열화되어 있는) 영역을 불만 영역으로서 지시한다. 도 189의 예의 경우, 사용자는, 문자 「TAL」중 「L」의 우측 근방의 흰 열화 부분을 불만 영역으로서 지시하고 있다. 즉, 도면 중, 직사각형의 부분이, 불만 영역으로서 지시된 영역이다.

도 190 (A)와 도 190 (B)는, 도 189에 나타낸 바와 같이, 사용자로부터 지시된 불만 영역에 따라, 신호 처리 장치(4)가 처리를 행함으로써 얻어지는 출력 화상 을 나타내고 있다. 즉, 신호 처리 장치(4)는, 도 181 및 도 182의 스텝 S12331 내지 스텝 S12335, 스텝 S12338, 스텝 S12343 내지 스텝 S12349의 처리를 행하고, 화상 표시부(12388)에 도 190 (A)와 도 190 (B)에 나타낸 출력 화상을 표시한다.

도 190 (A)와 도 190 (B)에서는, 신호 처리 장치(4)는, 사용자로부터 지시된 불만 영역에 대하여, 2가지의 가중치를 부여한 구속 조건식을 각각 생성하고, 그 2가지의 구속 조건식을 사용하여 처리를 행함으로써 얻어지는 2가지의 출력 화상을 표시하고 있다. 사용자는, 이 2가지의 출력 화상을 보고, 원하는 화질에 가까운 화상을 선택한다. 여기서, 도면 중, 화상이 사각으로 둘러싸인 화상(도 190 (A))이, 사용자에 의해 선택된 화상을 나타내고 있다.

도 191 (A) 내지 도 191 (D)는, 도 190 (A)와 도 190 (B)에서 선택된 화상을 재차 처리하여 얻어진 출력 화상을 나타내고 있다. 즉, 신호 처리 장치(4)는, 도 181 및 도 182의 스텝 S12331 내지 스텝 S12335, 스텝 S12338, 스텝 S12343 내지 스텝 S12351의 처리 후, 도 183 및 도 184의 스텝 S12375, 스텝 S12378, 스텝 S12383 내지 스텝 S12389의 처리를 행하고, 화상 표시부(12388)에 도 191 (A) 내지 도 191 (D)의 출력 화상을 표시한다.

도 191 (A) 내지 도 191 (D)에서는, 신호 처리 장치(4)는, 사용자로부터 지시된 불만 영역에서의 구속 조건을, 처리 영역의 불만 영역 이외의 영역에 반영시키는 방법을 결정하기 위해, 입력 화상의 복수 종류의 특징량으로부터 4가지의 특징량축에 기초한 특징량 공간 LUT를 생성하고, 그 4가지의 특징량 공간 LUT에 따라, 4가지의 출력 화상을 생성하여 표시하고 있다.

사용자는, 그 4가지의 출력 화상으로부터, 원하는 화질의 화상 또는 원하는 화질에 가까운 화상을 선택한다. 여기서, 도면 중, 사각으로 둘러싸진 화상(도 191 (D))이, 사용자에 의해 선택된 화상을 나타내고 있다.

도 192는, 도 185에 나타낸 입력 화상의 「TAL」이라는 문자를 확대한 도면이다.

도 193은, 도 192에 나타낸 입력 화상에 대하여, 사용자가 평탄 영역 및 불만 영역을 지시하지 않는 경우에, 신호 처리 장치(4)로부터 얻어지는 출력 화상을 나타내고 있다. 도 193에 나타낸 바와 같이, 출력 화상에서는, 모션 흐릿함이 저감(제거)되어, 「TAL」이라는 문자가 명확하게 되어 있다.

도 194는, 도 192에 나타낸 입력 화상에 대하여, 사용자가 평탄 영역을 1회 지시하고, 불만 영역을 2회 지시한 경우에, 신호 처리 장치(4)로부터 얻어지는 출력 화상을 나타내고 있다. 도 194의 출력 화상에서는, 도 193에 나타낸 출력 화상에 비하여, 문자 「TAL」가 선명하게 되어 있다. 또한, 도 194의 출력 화상에서는, 도 193에서의 경우보다, 문자 「L」의 옆의 흰 평탄 영역의 화질이 향상되어 있다.

그리고, 전술한 설명에서는, 구속 조건식에 대하여 가중치를 부여하고, 그 가중치를 변경하였으나, 구속 조건식만아니라, 모델 방정식에 대하여 가중치를 부여하고, 그 가중치를 변경해도 된다.

전술한 실시예에는, 청구의 범위에 기재한 발명에 대한 실시예 외에, 이하에 나타내는 제1 내지 제6 신호 처리 장치에 대한 실시예도 포함되어 있다.

제1 신호 처리 장치는, 각각 시간 적분 효과를 가지는 복수개의 화소에 현실 세계의 광신호가 투영되고, 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터 내의 처리 영역을 설정하는 처리 영역 설정 수단과, 화상 데이터에 있어서 정상성의 일부가 결락된 현실 세계의 광신호의 정상성에 대응하는 화상 데이터 내의 오브젝트의 모션 벡터를 설정하는 모션 벡터 설정 수단과, 처리 영역 내의 각 화소의 화소값은, 오브젝트에 대응하는 모션 흐릿함이 생기지 않은 각 화소의 화소값이 모션 벡터에 대응하여 이동하면서 적분된 값인 것으로 하여, 처리 영역 내의 각 화소의 화소값과, 모션 흐릿함이 생기지 않은 각 화소의 화소값과의 관계를 모델화하는 모델 생성 수단과, 모델 생성 수단에 의해 생성된 모델에 대하여, 처리 영역 내의 각 화소의 화소값을 대입한 제1 방정식과, 모션 흐릿함이 생기지 않은 각 화소 사이의 관계를 구속하는 제2 방정식에 의해 정규 방정식을 생성하는 정규 방정식 생성 수단과, 사용자 입력에 따라 제1 또는 제2 방정식의 일부에 대한 가중치를 변경하는 가중치 변경 수단과, 가중치 변경 수단에 의해 가중치가 변경된 제1 또는 제2 방정식으로부터 생성되는 정규 방정식을 연산함으로써 모션 흐릿함의 생기지 않은 각 화소의 화소값을 추정하는 실세계 추정 수단을 구비한 것을 특징으로 한다.

제2 신호 처리 장치는, 제1 신호 처리 장치의 특징에 더하여 처리 영역 내의 각 화소의 화소값, 또는 모션 흐릿함이 생기지 않은 각 화소의 화소값 중 적어도 한쪽을 표시하는 표시 수단을 추가로 구비하고, 가중치 변경 수단은, 표시 수단에 표시되는 각 화소의 화소값에 대한 사용자 입력에 따른 화소에 대응하는 제1 또는 제2 방정식의 가중치를 변경하는 것을 특징으로 한다.

제3 신호 처리 장치는, 제2 신호 처리 장치의 특징에 더하여 가중치 변경 수단은, 사용자 입력에 따른 화소에 대응하는 제1 또는 제2 방정식의 가중치가 커지도록 가중치를 변경하고, 실세계 추정 수단은, 가중치가 변경된 제1 또는 제2 방정식으로부터 생성되는 정규 방정식을 연산함으로써 모션 흐릿함이 생기지 않은 각 화소의 화소값을 추정하는 것을 특징으로 한다.

제4 신호 처리 장치는, 제2 신호 처리 장치의 특징에 더하여 가중치 변경 수단은, 사용자 입력에 따른 화소에 대응하는 제1 또는 제2 방정식의 가중치를 복수개 설정하고, 실세계 추정 수단은, 복수개의 가중치가 설정된 제1 또는 제2 방정식으로부터 각각 생성되는 정규 방정식을 각각 연산함으로써 복수개의 모션 흐릿함이 생기지 않은 각 화소의 화소값을 추정하고, 표시 수단은, 실세계 추정 수단에 의해 추정된 복수개의 모션 흐릿함이 생기지 않은 각 화소의 화소값을 표시하는 것을 특징으로 한다.

제5 신호 처리 장치는, 제2 신호 처리 장치의 특징에 더하여 사용자 입력에 따른 화소의 특징을 검출하는 특징 검출 수단과, 특징 검출 수단에 의해 검출된 특징에 유사한 특징을 가지는 화소를 추출하는 화소 추출 수단을 추가로 구비하고, 가중치 변경 수단은, 화소 추출 수단에 의해 추출된 화소에 대응하는 제1 또는 제2 방정식의 가중치가 커지도록 가중치를 변경하고, 실세계 추정 수단은, 가중치가 변경된 제1 또는 제2 방정식으로부터 생성되는 정규 방정식을 연산함으로써 모션 흐릿함이 생기지 않은 각 화소의 화소값을 추정하는 것을 특징으로 한다.

제6 신호 처리 장치는, 제2 신호 처리 장치의 특징에 더하여 사용자 입력에 따른 화소의 복수 종류의 특징을 검출하는 특징 검출 수단과, 특징 검출 수단에 의해 검출된 복수 종류의 특징 각각에 대하여, 그 특징과 유사한 특징을 가지는 화소를 추출하는 화소 추출 수단을 추가로 구비하고, 가중치 변경 수단은, 복수 종류의 특징 각각에 대하여, 그 특징에 유사한 특징을 가지는 화소에 대응하는 제1 또는 제2 방정식의 가중치를 변경하고, 실세계 추정 수단은, 복수 종류의 특징 각각에 대하여 가중치가 변경된 제1 또는 제2 방정식으로부터 생성되는 정규 방정식을 각각 연산함으로써 복수 종류의 모션 흐릿함이 생기지 않은 각 화소의 화소값을 추정하고, 표시 수단은, 실세계 추정 수단에 의해 추정된 복수 종류의 모션 흐릿함이 생기지 않은 각 화소의 화소값을 표시하는 것을 특징으로 한다.

또, 전술한 실시예에는, 이하에 나타내는, 신호 처리 방법, 프로그램, 및 기록 매체에 대한 실시예도 포함되어 있다.

즉, 신호 처리 방법, 프로그램, 및 기록 매체는, 각각 시간 적분 효과를 가지는 복수개의 화소에 현실 세계의 광신호가 투영되고, 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터 내의 처리 영역을 설정하는 처리 영역 설정 스텝과, 화상 데이터에 있어서 정상성의 일부가 결락된 현실 세계의 광신호의 정상성에 대응하는 화상 데이터 내의 오브젝트의 모션 벡터를 설정하는 모션 벡터 설정 스텝과, 처리 영역 내의 각 화소의 화소값은, 오브젝트에 대응하는 모션 흐릿함이 생기지 않은 각 화소의 화소값이 모션 벡터에 대응하여 이동하면서 적분된 값인 것으로 하여, 처리 영역 내의 각 화소의 화소값과, 모션 흐릿함이 생기지 않은 각 화소의 화소값과의 관계를 모델화하는 모델 생성 스텝과, 모델 생성 스텝의 처리에 의해 생성된 모델에 대하여, 처리 영역 내의 각 화소의 화소값을 대입한 제1 방정식과, 모션 흐릿함이 생기지 않은 각 화소 사이의 관계를 구속하는 제2 방정식에 의해 정규 방정식을 생성하는 정규 방정식 생성 스텝과, 사용자 입력에 따라 제1 또는 제2 방정식의 일부에 대한 가중치를 변경하는 가중치 변경 스텝과, 가중치 변경 스텝의 처리에 의해 가중치가 변경된 제1 또는 제2 방정식으로부터 생성되는 정규 방정식을 연산함으로써 모션 흐릿함의 생기지 않은 각 화소의 화소값을 추정하는 실세계 추정 스텝을 포함하는 것을 특징으로 한다.

이상과 같이, 본 발명에 의하면, 현실 세계의 신호에 의해 근사시킨 화상 등을 얻는 것이 가능해진다.

Claims

제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계의 신호의 정상성(定常性)의 일부가 결락(缺落)된 상기 제1 차원보다 적은 제2 차원의 제2 신호에 대하여 처리의 대상으로 하는 처리 영역을 설정하는 처리 영역 설정 수단과,

상기 제2 신호에 있어서 결락된 현실 세계의 신호의 정상성을 설정하는 정상성 설정 수단과,

상기 정상성 설정 수단에 의해 설정된 정상성에 따라 상기 처리 영역 설정 수단에 의해 설정된 처리 영역 내의 상기 제2 신호에 대응하는 상기 현실 세계의 신호를 추정하는 실세계(實世界) 추정 수단과,

사용자의 조작에 따라 상기 처리 영역, 상기 정상성 또는 상기 현실 세계의 신호 중 적어도 1개와 관련되는 정보를 상기 처리 영역 설정 수단, 상기 정상성 설정 수단 또는 상기 실세계 추정 수단에 공급하는 정보 공급 수단

을 구비한 신호 처리 장치.
제1항에 있어서,

상기 처리 영역 설정 수단은 시간 또는 공간 적분 효과를 가지는 복수개의 화소에 현실 세계의 광신호가 투영되고, 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터에 대하여 상기 처리 영역을 설정하고,

상기 정상성 설정 수단은 상기 화상 데이터에 있어서 결락된 현실 세계의 광신호의 정상성을 설정하고,

상기 실세계 추정 수단은 상기 처리 영역 내의 상기 화상 데이터에 대응하는 상기 현실 세계의 광신호를 모델화함으로써 상기 현실 세계의 광신호를 추정하는 것을 특징으로 하는 신호 처리 장치.
제2항에 있어서,

상기 정상성 설정 수단은 상기 정보 공급 수단으로부터 공급되는 정보에 따라 상기 화상 데이터에 있어서 결락된 현실 세계의 광신호의 정상성에 대응하는 상기 화상 데이터 내의 오브젝트의 모션을 설정하고,

상기 실세계 추정 수단은,

상기 처리 영역 및 상기 모션에 따라 상기 화상 데이터 내의 각 화소의 화소값과 상기 현실 세계의 광신호의 관계를 모델화한 관계 모델을 생성하는 모델 생성 수단과,

상기 모델 생성 수단에 의해 생성된 관계 모델에 대하여 상기 화상 데이터 내의 각 화소의 화소값을 대입하여 방정식을 생성하는 방정식 생성 수단과,

상기 방정식 생성 수단에 의해 생성된 방정식을 연산함으로써 상기 현실 세계의 광신호를 추정하는 실세계 파형 추정 수단을 구비하는 것을 특징으로 하는 신호 처리 장치.
제2항에 있어서,

상기 정상성 설정 수단은 상기 정보 공급 수단으로부터 공급되는 정보에 따라 상기 화상 데이터에 있어서 결락된 현실 세계의 광신호의 정상성에 대응하는 상기 화상 데이터 내의 오브젝트의 공간적인 방향을 설정하고,

상기 실세계 추정 수단은,

상기 처리 영역 및 상기 공간적인 방향을 따라 상기 화상 데이터에 대응하는 상기 현실 세계의 광신호의 파형을 모델화한 근사(近似) 모델의 시공간 방향에 있어서의 적어도 1차원 방향의 위치에 대응하는 각 화소의 화소값이 상기 근사 모델을 상기 적어도 1차원 방향으로 적분함으로써 취득되는 것으로 하여 상기 화상 데이터 내의 각 화소의 화소값과 상기 현실 세계의 광신호의 관계를 모델화한 관계 모델을 생성하는 모델 생성 수단과,

상기 모델 생성 수단에 의해 생성된 관계 모델에 대하여 상기 화상 데이터 내의 각 화소의 화소값을 대입하여 방정식을 생성하는 방정식 생성 수단과,

상기 방정식 생성 수단에 의해 생성된 방정식을 연산함으로써 상기 현실 세계의 광신호의 파형을 추정하는 실세계 파형 추정 수단을 구비하는 것을 특징으로 하는 신호 처리 장치.
제4항에 있어서,

상기 모델 생성 수단은 상기 처리 영역 및 상기 공간적인 방향을 따라 상기 화상 데이터에 대응하는 상기 현실 세계의 광신호를 복수 종류의 차수(次數)의 다 항식에 의해 모델화한 상기 복수 종류의 근사 모델 각각에 대하여 상기 광신호의 파형의 근사 모델의 시공간 방향에 있어서의 적어도 1차원 방향의 위치에 대응하는 각 화소의 화소값이 상기 근사 모델을 상기 적어도 1차원 방향으로 적분함으로써 취득되는 것으로 하여 상기 관계 모델을 생성하고,

상기 방정식 생성 수단은 상기 복수 종류의 근사 모델 각각에 대하여 생성된 관계 모델에 대하여 화소값을 대입하여 방정식을 생성하고,

상기 실세계 파형 추정 수단은,

상기 방정식 생성 수단에 의해 생성된 상기 복수 종류의 근사 모델 각각에 대한 방정식을 연산함으로써 복수개의 상기 현실 세계의 광신호의 파형을 추정하고,

상기 실세계 파형 추정 수단에 의해 추정된 상기 복수개의 광신호의 파형에 따라 복수개의 화상을 생성하는 화상 생성 수단과,

상기 화상 생성 수단에 의해 생성된 상기 복수개의 화상을 표시하는 표시 수단을 추가로 구비하고,

상기 모델 생성 수단은 또한 상기 사용자가 상기 복수개의 화상 중 1개를 선택하는 조작을 한 경우에 상기 정보 공급 수단으로부터 공급되는 정보에 따라 상기 화상 데이터에 대응하는 상기 현실 세계의 광신호를 모델화한 근사 모델의 다항식의 차수를 설정하는 것을 특징으로 하는 신호 처리 장치.
제2항에 있어서,

상기 실세계 파형 추정 수단에 의해 추정된 상기 광신호로부터 화상을 생성하는 화상 생성 수단과,

상기 화상 생성 수단에 의해 생성된 상기 화상을 표시하는 표시 수단을 추가로 구비하고,

상기 정보 공급 수단은 상기 표시 수단에 의해 상기 화상을 표시한 후의 사용자의 조작에 따라 재차 상기 처리 영역, 상기 정상성 또는 상기 현실 세계의 신호 중 적어도 1개와 관련되는 정보를 상기 처리 영역 설정 수단, 상기 정상성 설정 수단 또는 상기 실세계 추정 수단에 공급하는 것을 특징으로 하는 신호 처리 장치.
제6항에 있어서,

상기 정상성 설정 수단은 상기 정보 공급 수단으로부터 공급된 정보에 따라 복수개의 정상성을 설정하고,

상기 실세계 추정 수단은 상기 복수개의 각각의 정상성에 따라 상기 처리 영역 내의 상기 화상 데이터에 대응하는 상기 현실 세계의 광신호를 모델화함으로써 복수개의 상기 현실 세계의 광신호를 추정하고,

상기 표시 수단은 상기 화상 생성 수단에 의해 생성된 상기 복수개의 현실 세계의 광신호에 대응하는 복수개의 화상을 각각 표시하고,

상기 정상성 설정 수단은 또한 상기 사용자가 상기 복수개의 화상 중 1개를 선택하는 조작을 한 경우에 상기 정보 공급 수단으로부터 공급되는 정보에 따라 정상성을 설정하는 것을 특징으로 하는 신호 처리 장치.
제2항에 있어서,

상기 처리 영역 설정 수단은 상기 사용자가 화상 데이터를 선택하는 조작을 한 경우에 그 선택된 화상 데이터의 특징에 따라 복수개의 처리 영역을 설정하고, 또한 상기 사용자가 상기 복수개의 처리 영역에 대한 처리 결과 중 1개를 선택하는 조작을 한 경우에 그 사용자의 조작에 따라 처리 영역을 설정하는 것을 특징으로 하는 신호 처리 장치.
제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계의 신호의 정상성의 일부가 결락된 상기 제1 차원보다 적은 제2 차원의 제2 신호에 대하여 처리의 대상으로 하는 처리 영역을 설정하는 처리 영역 설정 수단에 의해 상기 처리 영역을 설정하는 처리 영역 설정 스텝과,

상기 제2 신호에 있어서 결락된 현실 세계의 신호의 정상성을 설정하는 정상성 설정 수단에 의해 상기 정상성을 설정하는 정상성 설정 스텝과,

상기 정상성 설정 스텝에 의해 설정된 정상성에 따라 상기 처리 영역 설정 스텝에 의해 설정된 처리 영역 내의 상기 제2 신호에 대응하는 상기 현실 세계의 신호를 추정하는 실세계 신호 추정 수단에 의해 상기 현실 세계의 신호를 추정하는 실세계 추정 스텝과,

사용자의 조작에 따라 상기 처리 영역, 상기 정상성 또는 상기 현실 세계의 신호 중 적어도 1개와 관련되는 정보를 상기 처리 영역 설정 수단, 상기 정상성 설 정 수단 또는 상기 실세계 추정 수단에 공급하는 정보 공급 스텝

을 포함하는 신호 처리 방법.
컴퓨터에 소정의 신호 처리를 행하게 하는 프로그램에 있어서,

제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계의 신호의 정상성의 일부가 결락된 상기 제1 차원보다 적은 제2 차원의 제2 신호에 대하여 처리의 대상으로 하는 처리 영역을 설정하는 처리 영역 설정 수단에 의해 상기 처리 영역을 설정하는 처리 영역 설정 스텝과,

상기 제2 신호에 있어서 결락된 현실 세계의 신호의 정상성을 설정하는 정상성 설정 수단에 의해 상기 정상성을 설정하는 정상성 설정 스텝과,

상기 정상성 설정 스텝에 의해 설정된 정상성에 따라 상기 처리 영역 설정 스텝에 의해 설정된 처리 영역 내의 상기 제2 신호에 대응하는 상기 현실 세계의 신호를 추정하는 실세계 신호 추정 수단에 의해 상기 현실 세계의 신호를 추정하는 실세계 추정 스텝과,

사용자의 조작에 따라 상기 처리 영역, 상기 정상성 또는 상기 현실 세계의 신호 중 적어도 1개와 관련되는 정보를 상기 처리 영역 설정 수단, 상기 정상성 설정 수단 또는 상기 실세계 추정 수단에 공급하는 정보 공급 스텝

을 포함하는 프로그램.
컴퓨터에 소정의 신호 처리를 행하게 하는 프로그램이 기록되어 있는 기록 매체에 있어서,

제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계의 신호의 정상성의 일부가 결락된 상기 제1 차원보다 적은 제2 차원의 제2 신호에 대하여 처리의 대상으로 하는 처리 영역을 설정하는 처리 영역 설정 수단에 의해 상기 처리 영역을 설정하는 처리 영역 설정 스텝과,

상기 제2 신호에 있어서 결락된 현실 세계의 신호의 정상성을 설정하는 정상성 설정 수단에 의해 상기 정상성을 설정하는 정상성 설정 스텝과,

상기 정상성 설정 스텝에 의해 설정된 정상성에 따라 상기 처리 영역 설정 스텝에 의해 설정된 처리 영역 내의 상기 제2 신호에 대응하는 상기 현실 세계의 신호를 추정하는 세계 신호 추정 수단에 의해 상기 현실 세계의 신호를 추정하는 실세계 추정 스텝과,

사용자의 조작에 따라 상기 처리 영역, 상기 정상성 또는 상기 현실 세계의 신호 중 적어도 1개와 관련되는 정보를, 상기 처리 영역 설정 수단, 상기 정상성 설정 수단 또는 상기 실세계 추정 수단에 공급하는 정보 공급 스텝을 포함하는 프로그램이 기록되어 있는 기록 매체.