KR101023452B1 - 화상 처리 장치 및 방법, 기록 매체, 및 프로그램 - Google Patents

Abstract

본 발명은, 화상 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이다. 간이식 각도 검출부(901)는, 입력 화상으로부터의 상관 관계를 사용하여, 간단하게 정상성(定常性)의 각도를 검출한다. 판정부(902)는, 이렇게 간단히 구해진 각도에 따라서, 수평 방향, 또는 수직 방향에 근접하는 경우에, 스위치(903)를 단자(903a)에 접속하여, 간단하게 검출한 각도 정보를 회귀식 각도 검출부(904)에 출력한다. 회귀식 각도 검출부(904)는, 통계적으로 정상성의 각도를 검출하여 출력한다. 한편, 간단하게 구해진 정상성의 각도가 45도에 근접할 경우, 판정부(902)는, 스위치(903)와 단자(903b)를 접속시킨다. 이 때, 경사식 각도 검출부(905)가, 경사식으로 입력 화상으로부터 정상성의 방향을 검출하여 출력한다. 결과적으로, 보다 정확하게 정상성의 각도를 검출하는 것이 가능하게 된다.

화상 처리, 정상성, 광신호, 기록 매체, 각도 검출, 센서

Description

화상 처리 장치 및 방법, 기록 매체, 및 프로그램{IMAGE PROCESSING DEVICE AND METHOD, RECORDING MEDIUM, AND PROGRAM}

본 발명은, 화상 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이며, 특히, 데이터가 취득된 현실 세계를 고려한 화상 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이다.

실세계(현실 세계)에 있어서의 사상(事象)을 센서로 검출하여, 센서가 출력하는 샘플링 데이터를 처리하는 기술이 널리 이용되고 있다. 예를 들면, 실세계를 이미지 센서로 촬상하고, 화상 데이터인 샘플링 데이터를 처리하는 화상 처리 기술이 널리 이용되고 있다.

또, 일본국 특개 2001-250119호 공보에 있어서는, 1차원을 가지는 현실 세계의 신호인 제1 신호를 센서에 의해 검출함으로써 얻은, 1차원과 비교하여 차원이 적은 2차원을 가지고, 제1 신호에 대한 왜곡을 포함하는 제2 신호를 취득하고, 제2 신호에 따른 신호 처리를 행함으로써, 제2 신호에 비하여 왜곡이 경감된 제3 신호를 생성하는 것이 개시되어 있다.

그러나, 1차원을 가지는 현실 세계의 신호인 제1 신호가 투영됨으로써 취득되는, 현실 세계의 신호의 정상성의 일부가 결락된 1차원보다 적은 2차원의 제2 신호에는, 결락된 현실 세계의 신호의 정상성에 대응하는 데이터 정상성을 가지고 있는 것을 고려하여 제2 신호로부터 제1 신호를 추정하는 신호 처리는 지금까지 고려되지 않았다.

본 발명은 이와 같은 상황을 감안하여 이루어진 것이며, 데이터가 취득된 현실 세계를 고려하여, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도 높은 처리 결과를 얻을 수 있도록 하는 것을 목적으로 한다.

본 발명의 화상 처리 장치는, 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광신호가 투영됨으로써 취득된, 현실 세계의 광신호의 정상성(定常性)의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터에 있어서의 화상 데이터 정상성의 기준축에 대한 각도를, 매칭(matching) 처리에 의해 검출하는 제1 각도 검출 수단과, 제1 각도 검출 수단에 의해 검출된 각도에 대응하는 소정 영역 내의 화상 데이터에 따라서, 통계 처리에 의해 각도를 검출하는 제2 각도 검출 수단과, 제2 각도 검출 수단에 의해 검출된 각도에 따라서, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하는 실세계 추정 수단을 구비하는 것을 특징으로 한다.

상기 제1 각도 검출 수단에는, 화상 데이터 내의 주목 화소를 기준으로 한 각 각도의 직선에 근접하는 복수개의 화소를 중심으로 한 화상 블록을 검출하는 화소 검출 수단과, 화소 검출 수단에 의해 검출된 각 화상 블록끼리의 상관 관계를 검출하는 상관 검출 수단을 추가로 설치시킬 수 있어서, 상관 검출 수단에 의해 검출된 각 화상 블록끼리의 상관의 값에 따라 화상 데이터 정상성의 기준축에 대한 각도를 검출시키도록 할 수 있다.

상기 제2 각도 검출 수단에는, 복수개의 통계 처리 수단을 추가로 설치시킬 수 있어서 제1 각도 검출 수단에 의해 검출된 각도에 따라서 복수개의 통계 처리 수단 중 하나의 통계 처리 수단에 의해 각도를 검출시킬 수 있다.

상기 복수개의 통계 처리 수단 중 하나의 통계 처리 수단에는, 소정 영역 내의 화소의 화소값의 최대값과 최소값의 차분인 다이내믹 레인지(dynamic range)를 검출하는 다이내믹 레인지 검출 수단과, 소정 영역 내의 액티비티(activity)에 따른 방향으로 인접하는 화소 사이의 차분값을 검출하는 차분값 검출 수단과, 다이내믹 레인지와 차분값에 따라서, 결락된 현실 세계의 광신호의 정상성에 대응하는 화상 데이터 정상성의 기준축에 대한 각도를 통계적으로 검출하는 통계적 각도 검출 수단을 추가로 설치시킬 수 있다.

상기 복수개의 통계 처리 수단 중 하나의 통계 처리 수단에는, 주목 화소의 화소값과 소정 영역 내의 다른 화소의 화소값의 상관값이 임계값 이상인 화소의 수를 주목 화소에 대응하는 화소로 하는 화소 검출 수단과, 화소 검출 수단에 의해 검출된 각 주목 화소의 화소에 따라 회귀 직선을 검출함으로써, 화상 데이터 정상성의 기준축에 대한 각도를 통계적으로 검출하는 통계적 각도 검출 수단을 추가로 설치시킬 수 있다.

본 발명의 화상 처리 방법은, 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광신호가 투영됨으로써 취득된, 현실 세계의 광신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터에 있어서의 화상 데이터 정상성의 기준축에 대한 각도를, 매칭 처리에 의해 검출하는 제1 각도 검출 스텝과, 제1 각도 검출 스텝의 처리에 의해 검출된 각도에 대응하는 소정 영역 내의 화상 데이터에 따라서, 통계 처리에 의해 각도를 검출하는 제2 각도 검출 스텝과, 제2 각도 검출 스텝의 처리에 의해 검출된 각도에 따라서, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하는 실세계 추정 스텝을 포함하는 것을 특징으로 한다.

본 발명의 기록 매체의 프로그램은, 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광신호가 투영됨으로써 취득된, 현실 세계의 광신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터에 있어서의 화상 데이터 정상성의 기준축에 대한 각도를, 매칭 처리에 의해 검출하는 제1 각도 검출 스텝과, 제1 각도 검출 스텝의 처리에 의해 검출된 각도에 대응하는 소정 영역 내의 화상 데이터에 따라서, 통계 처리에 의해 각도를 검출하는 제2 각도 검출 스텝과, 제2 각도 검출 스텝의 처리에 의해 검출된 각도에 따라서, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하는 실세계 추정 스텝을 포함하는 처리를 실행시키는 컴퓨터가 판독 가능한 프로그램인 것을 특징으로 한다.

본 발명의 프로그램은, 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광신호가 투영됨으로써 취득된, 현실 세계의 광신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터에 있어서의 화상 데이터 정상성의 기준축에 대한 각도를, 매칭 처리에 의해 검출하는 제1 각도 검출 스텝과, 제1 각도 검출 스텝의 처리에 의해 검출된 각도에 대응하는 소정 영역 내의 화상 데이터에 따라서, 통계 처리에 의해 각도를 검출하는 제2 각도 검출 스텝과, 제2 각도 검출 스텝의 처리에 의해 검출된 각도에 따라서, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하는 실세계 추정 스텝을 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 한다.

본 발명의 화상 처리 장치 및 방법, 및 프로그램에 있어서는, 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광신호가 투영됨으로써 취득된, 현실 세계의 광신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터에 있어서의 화상 데이터 정상성의 기준축에 대한 각도가, 매칭 처리에 의해 검출되어 검출된 각도에 대응하는 소정 영역 내의 화상 데이터에 따라서, 통계 처리에 의해 각도가 검출되어 통계 처리에 의해 검출된 각도에 따라서, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호가 추정된다.

도 1은 본 발명의 원리를 나타낸 도면이다.

도 2는 신호 처리 장치(4)의 구성의 예를 나타낸 블록도이다.

도 3은 신호 처리 장치(4)를 나타낸 블록도이다.

도 4는 종래의 신호 처리 장치(121)의 처리의 원리를 설명하는 도면이다.

도 5는 신호 처리 장치(4)의 처리의 원리를 설명하는 도면이다.

도 6은 본 발명의 원리를 보다 구체적으로 설명하는 도면이다.

도 7은 본 발명의 원리를 보다 구체적으로 설명하는 도면이다.

도 8은 이미지 센서 위의 화소의 배치의 예를 설명하는 도면이다.

도 9는 CCD인 검출 소자의 동작을 설명하는 도면이다.

도 10은 화소 D 내지 화소 F에 대응하는 검출 소자에 입사되는 광과 화소값의 관계를 설명하는 도면이다.

도 11은 시간의 경과와 1개의 화소에 대응하는 검출 소자에 입사되는 광과 화소값의 관계를 설명하는 도면이다.

도 12는 실세계(1)의 선형의 물체의 화상의 예를 나타낸 도면이다.

도 13은 실제 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면 이다.

도 14는 화상 데이터의 모식도이다.

도 15는 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 것의 실세계(1)의 화상의 예를 나타낸 도면이다.

도 16은 실제 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다.

도 17은 화상 데이터의 모식도이다.

도 18은 본 발명의 원리를 설명하는 도면이다.

도 19는 본 발명의 원리를 설명하는 도면이다.

도 20은 고해상도 데이터(181)의 생성의 예를 설명하는 도면이다.

도 21은 모델(161)에 의한 근사를 설명하는 도면이다.

도 22는 M개의 데이터(162)에 의한 모델(161)의 추정을 설명하는 도면이다.

도 23은 실세계(1)의 신호와 데이터(3)의 관계를 설명하는 도면이다.

도 24는 식을 세울 때 주목하는 데이터(3)의 예를 나타낸 도면이다.

도 25는 식을 세울 때, 실세계(1)에 있어서의 2개의 물체에 대한 신호 및 혼합 영역에 속하는 값을 설명하는 도면이다.

도 26은 식(18), 식(19), 및 식(22)으로 표현되는 정상성을 설명하는 도면이다.

도 27은 데이터(3)로부터 추출되는, M개의 데이터(162)의 예를 나타낸 도면이다.

도 28은 데이터(3)인 화소값이 취득된 영역을 설명하는 도면이다.

도 29는 화소의 시공간 방향의 위치의 근사를 설명하는 도면이다.

도 30은 데이터(3)에 있어서의, 시간 방향 및 2차원의 공간 방향의 실세계(1)의 신호의 적분을 설명하는 도면이다.

도 31은 공간 방향으로부터 해상도가 높은 고해상도 데이터(181)를 생성할 때, 적분의 영역을 설명하는 도면이다.

도 32는 시간 방향으로부터 해상도가 높은 고해상도 데이터(181)를 생성할 때의, 적분의 영역을 설명하는 도면이다.

도 33은 모션 흔들림을 제거하고 고해상도 데이터(181)를 생성할 때의, 적분의 영역을 설명하는 도면이다.

도 34는 시간 공간 방향으로부터 해상도가 높은 고해상도 데이터(181)를 생성할 때의, 적분의 영역을 설명하는 도면이다.

도 35는 입력 화상의 원래의 화상을 나타낸 도면이다.

도 36은 입력 화상의 예를 나타낸 도면이다.

도 37은 종래의 클래스 분류 적응 처리를 적용하여 얻어진 화상을 나타낸 도면이다.

도 38은 가는 선의 영역을 검출한 결과를 나타낸 도면이다.

도 39는 신호 처리 장치(4)로부터 출력된 출력 화상의 예를 나타낸 도면이다.

도 40은 신호 처리 장치(4)에 의한, 신호의 처리를 설명하는 흐름도이다.

도 41은 데이터 정상성 검출부(101)의 구성을 나타낸 블록도이다.

도 42는 배경의 앞에 가는 선이 있는 실세계(1)의 화상을 나타낸 도면이다.

도 43은 평면에 의한 배경의 근사를 설명하는 도면이다.

도 44는 가는 선의 화상이 투영된 화상 데이터의 단면 형상을 나타낸 도면이다.

도 45는 가는 선의 화상이 투영된 화상 데이터의 단면 형상을 나타낸 도면이다.

도 46은 가는 선의 화상이 투영된 화상 데이터의 단면 형상을 나타낸 도면이다.

도 47은 정점의 검출 및 단조 증감 영역의 검출의 처리를 설명하는 도면이다.

도 48은 정점의 화소값이 임계값을 넘고, 인접하는 화소의 화소값이 임계값 이하인 가는 선 영역을 검출하는 처리를 설명하는 도면이다.

도 49는 도 48의 점선 AA'에서 나타내는 방향으로 배열된 화소의 화소값을 나타낸 도면이다.

도 50은 단조 증감 영역의 연속성의 검출의 처리를 설명하는 도면이다.

도 51은 평면에서의 근사에 의해 정상 성분을 추출한 화상의 예를 나타낸 도면이다.

도 52는 단조 감소하고 있는 영역을 검출한 결과를 나타낸 도면이다.

도 53은 연속성이 검출된 영역을 나타낸 도면이다.

도 54는 연속성이 검출된 영역의 화소값을 나타낸 도면이다.

도 55는 가는 선의 화상이 투영된 영역의 검출의 다른 처리 예를 나타낸 도면이다.

도 56은 정상성 검출의 처리를 설명하는 흐름도이다.

도 57은 시간 방향의 데이터 정상성을 검출의 처리를 설명하는 도면이다.

도 58은 비정상 성분 추출부(201)의 구성을 나타낸 블록도이다.

도 59는 기각되는 회수를 설명하는 도면이다.

도 60은 입력 화상의 예를 나타낸 도면이다.

도 61은 기각을 하지 않고 평면에서 근사한 결과, 얻어지는 표준오차를 화소값으로 한 화상을 나타낸 도면이다.

도 62는 기각을 하여 평면에서 근사한 결과, 얻어지는 표준 오차를 화소값으로 한 화상을 나타낸 도면이다.

도 63은 기각된 회수를 화소값으로 한 화상을 나타낸 도면이다.

도 64는 평면의 공간 방향 X의 기울기를 화소값으로 한 화상을 나타낸 도면이다.

도 65는 평면의 공간 방향 Y의 기울기를 화소값으로 한 화상을 나타낸 도면이다.

도 66은 평면에서 나타내는 근사치로 이루어지는 화상을 나타낸 도면이다.

도 67은 평면에서 나타내는 근사치와 화소값의 차분으로 이루어지는 화상을 나타낸 도면이다.

도 68은 비정상 성분의 추출의 처리를 설명하는 흐름도이다.

도 69는 정상 성분의 추출의 처리를 설명하는 흐름도이다.

도 70은 정상 성분의 추출의 다른 처리를 설명하는 흐름도이다.

도 71은 정상 성분의 추출의 또 다른 처리를 설명하는 흐름도이다.

도 72는 데이터 정상성 검출부(101)의 다른 구성을 나타낸 블록도이다.

도 73은 데이터 정상성을 가지는 입력 화상에 있어서의 액티비티를 설명하는 도면이다.

도 74는 액티비티를 검출하기 위한 블록을 설명하는 도면이다.

도 75는 액티비티에 대한 데이터 정상성의 각도를 설명하는 도면이다.

도 76은 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타낸 블록도이 다.

도 77은 화소의 그룹을 설명하는 도면이다.

도 78은 화소의 그룹의 위치와 데이터 정상성의 각도와의 관계를 설명하는 도면이다.

도 79는 데이터 정상성의 검출의 처리를 설명하는 흐름도이다.

도 80은 시간 방향 및 공간 방향의 데이터 정상성의 각도를 검출할 때에, 추출되는 화소의 그룹을 나타낸 도면이다.

도 81은 데이터 정상성 검출부(101)의 보다 상세한 다른 구성을 나타낸 블록도이다.

도 82는 설정된 직선의 각도의 범위에 따른 수의 화소로 이루어지는 화소의 그룹을 설명하는 도면이다.

도 83은 설정된 직선의 각도의 범위를 설명하는 도면이다.

도 84는 설정된 직선의 각도의 범위와 화소의 그룹의 수, 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 85는 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 86은 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 87은 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 88은 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 89는 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 90은 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 91은 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 92는 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 93은 데이터 정상성의 검출의 처리를 설명하는 흐름도이다.

도 94는 데이터 정상성 검출부(101)의 또 다른 구성을 나타낸 블록도이다.

도 95는 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타낸 블록도

이다.

도 96은 블록의 예를 설명하는 도면이다.

도 97은 주목 블록과 참조 블록과의, 화소값의 차분의 절대값의 산출 처리를 설명하는 도면이다.

도 98은 주목 화소의 주변의 화소의 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리를 설명하는 도면이다.

도 99는 시프트량 γ와 각도 θ의 관계를 나타낸 도면이다.

도 100은 시프트량γ에 대한, 주목 화소 주변의 화소의 위치와, 주목 화소를 통하여, 각도 θ를 가지는 직선과의 공간 방향 X의 거리를 나타낸 도면이다.

도 101은 주목 화소를 통하여, 공간 방향 X의 축에 대하여 각도 θ의 직선과의 거리가 최소의 참조 블록을 나타낸 도면이다.

도 102는 검출하는 데이터 정상성의 각도의 범위를 1/2로 하는 처리를 설명하는 도면이다.

도 103은 데이터 정상성 검출 처리를 설명하는 흐름도이다.

도 104는 공간 방향 및 공간 방향의 데이터 정상성의 각도를 검출할 때에, 추출되는 블록을 나타낸 도면이다.

도 105는 입력 화상의 컴퍼넌트 신호에 따라서, 데이터 정상성 검출 처리를 실행하는 데이터 정상성 검출부(101)의 구성을 나타낸 블록도이다.

도 106은 입력 화상의 컴퍼넌트 신호에 따라서, 데이터 정상성 검출 처리를 실행하는 데이터 정상성 검출부(101)의 구성을 나타낸 블록도이다.

도 107은 데이터 정상성 검출부(101)의 또 다른 구성을 나타낸 블록도이다.

도 108은 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성 각도를 설명하는 도면이다.

도 109는 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성 각도를 설명하는 도면이다.

도 110은 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성 각도를 설명하는 도면이다.

도 111은 입력 화상에 있어서의, 화소의 공간 방향의 위치에 대한, 화소값의 변화와 회귀 직선과의 관계를 나타낸 도면이다.

도 112는 회귀 직선 A와 예를 들면, 기준축인 공간 방향 X를 나타낸 축과의 각도를 설명하는 도면이다.

도 113은 영역의 예를 나타낸 도면이다.

도 114는 도 107의 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성 검출 처리를 설명하는 흐름도이다.

도 115는 데이터 정상성 검출부(101)의 또 다른 구성을 나타낸 블록도이다.

도 116은 입력 화상에 있어서의, 화소의 공간 방향의 위치에 대한, 화소값의 변화와 회귀 직선과의 관계를 나타낸 도면이다.

도 117은 표준 편차와 데이터 정상성을 가지는 영역의 관계를 설명하는 도면이다.

도 118은 영역의 예를 나타낸 도면이다.

도 119는 도 115의 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성 검출 처리를 설명하는 흐름도이다.

도 120은 도 115의 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성 검출의 다른 처리를 설명하는 흐름도이다.

도 121은 본 발명을 적용한 가는 선, 또는 2치 에지의 각도를 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 구성을 나타내는 블록도이다.

도 122는 데이터 정상성 정보의 검출 방법을 설명하는 도면이다.

도 123은 데이터 정상성 정보의 검출 방법을 설명하는 도면이다.

도 124는 도 121의 데이터 정상성 검출부의 보다 상세한 구성을 나타낸 도면이다.

도 125는 수평/수직 판정 처리를 설명하는 도면이다.

도 126은 수평/수직 판정 처리를 설명하는 도면이다.

도 127a는 현실 세계의 가는 선과 센서에 의해 촬상되는 가는 선의 관계를 설명하는 도면이다.

도 127b는 현실 세계의 가는 선과 센서에 의해 촬상되는 가는 선의 관계를 설명하는 도면이다.

도 127c는 현실 세계의 가는 선과 센서에 의해 촬상되는 가는 선의 관계를 설명하는 도면이다.

도 128a는 현실 세계의 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 128b는 현실 세계의 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 129a는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 129b는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 130a는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계의 예를 설명하는 도면이다.

도 130b는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계의 예를 설명하는 도면이다.

도 131a는 현실 세계의 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 131b는 현실 세계의 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 132a는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 132b는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 133a는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계의 예를 설명하 는 도면이다.

도 133b는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계의 예를 설명하는 도면이다.

도 134는 가는 선의 각도를 구하기 위한 모델을 나타낸 도면이다.

도 135는 가는 선의 각도를 구하기 위한 모델을 나타낸 도면이다.

도 136a는 주목 화소에 대응하는 다이내믹 레인지 블록의 화소값의 최대값과 최소값을 설명하는 도면이다.

도 136b는 주목 화소에 대응하는 다이내믹 레인지 블록의 화소값의 최대값과 최소값을 설명하는 도면이다.

도 137a는 가는 선의 각도를 구하는 방법을 설명하는 도면이다.

도 137b는 가는 선의 각도를 구하는 방법을 설명하는 도면이다.

도 137c는 가는 선의 각도를 구하는 방법을 설명하는 도면이다.

도 138은 가는 선의 각도를 구하는 방법을 설명하는 도면이다.

도 139는 추출 블록과 다이내믹 레인지 블록을 설명하는 도면이다.

도 140은 최소 자승법의 해법을 설명하는 도면이다.

도 141은 최소 자승법의 해법을 설명하는 도면이다.

도 142a는 2치 에지를 설명하는 도면이다.

도 142b는 2치 에지를 설명하는 도면이다.

도 142c는 2치 에지를 설명하는 도면이다.

도 143a는 센서에 의해 촬상된 화상의 2치 에지를 설명하는 도면이다.

도 143b는 센서에 의해 촬상된 화상의 2치 에지를 설명하는 도면이다.

도 144a는 센서에 의해 촬상된 화상의 2치 에지의 예를 설명하는 도면이다.

도 144b는 센서에 의해 촬상된 화상의 2치 에지의 예를 설명하는 도면이다.

도 145a는 센서에 의해 촬상된 화상의 2치 에지를 설명하는 도면이다.

도 145b는 센서에 의해 촬상된 화상의 2치 에지를 설명하는 도면이다.

도 146은 2치 에지의 각도를 구하기 위한 모델을 나타낸 도면이다.

도 147a는 2치 에지의 각도를 구하는 방법을 설명하는 도면이다.

도 147b는 2치 에지의 각도를 구하는 방법을 설명하는 도면이다.

도 147c는 2치 에지의 각도를 구하는 방법을 설명하는 도면이다.

도 148은 2치 에지의 각도를 구하는 방법을 설명하는 도면이다.

도 149는 가는 선, 또는 2치 에지의 각도를 데이터 정상성과 검출하는 처리를 설명하는 흐름도이다.

도 150은 데이터 추출 처리를 설명하는 흐름도이다.

도 151은 정규 방정식에의 덧셈 처리를 설명하는 흐름도이다.

도 152a는 본 발명을 적용하여 구한 가는 선의 기울기와, 상관 관계를 사용하여 구한 가는 선의 각도를 비교하는 도면이다.

도 152b는 본 발명을 적용하여 구한 가는 선의 기울기와, 상관 관계를 사용하여 구한 가는 선의 각도를 비교하는 도면이다.

도 153a는 본 발명을 적용하여 구한 2치 에지의 기울기와, 상관 관계를 사용하여 구한 가는 선의 각도를 비교하는 도면이다.

도 153b는 본 발명을 적용하여 구한 2치 에지의 기울기와, 상관 관계를 사용하여 구한 가는 선의 각도를 비교하는 도면이다.

도 154는 본 발명을 적용한 혼합비를 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 구성을 나타낸 블록도이다.

도 155a는 혼합비를 구하는 방법을 설명하는 도면이다.

도 155b는 혼합비를 구하는 방법을 설명하는 도면이다.

도 155c는 혼합비를 구하는 방법을 설명하는 도면이다.

도 156은 혼합비를 데이터 정상성과 검출하는 처리를 설명하는 흐름도이다.

도 157은 정규 방정식에의 덧셈 처리를 설명하는 흐름도이다.

도 158a는 가는 선의 혼합비의 분포예를 나타낸 도면이다.

도 158b는 가는 선의 혼합비의 분포예를 나타낸 도면이다.

도 159a는 2치 에지의 혼합비의 분포예를 나타낸 도면이다.

도 159b는 2치 에지의 혼합비의 분포예를 나타낸 도면이다.

도 160은 혼합비의 직선 근사를 설명하는 도면이다.

도 161a는 물체의 움직임을 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 161b는 물체의 움직임을 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 162a는 물체의 움직임을 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 162b는 물체의 움직임을 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 163a는 물체의 움직임에 의한 혼합비를 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 163b는 물체의 움직임에 의한 혼합비를 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 163c는 물체의 움직임에 의한 혼합비를 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 164는 물체의 움직임에 의한 혼합비를 데이터 정상성 정보로서 구할 때의 혼합비의 직선 근사를 설명하는 도면이다.

도 165는 본 발명을 적용한 처리 영역을 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 구성을 나타낸 블록도이다.

도 166은 도 165의 데이터 정상성 검출부에 의한 정상성의 검출의 처리를 설명하는 흐름도이다.

도 167은 도 165의 데이터 정상성 검출부에 의한 정상성의 검출의 처리의 적분 범위를 설명하는 도면이다.

도 168은 도 165의 데이터 정상성 검출부에 의한 정상성의 검출의 처리의 적분 범위를 설명하는 도면이다.

도 169는 본 발명을 적용한 처리 영역을 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 그 외의 구성을 나타낸 블록도이다.

도 170은 도 169의 데이터 정상성 검출부에 의한 정상성의 검출의 처리를 설명하는 흐름도이다.

도 171은 도 169의 데이터 정상성 검출부에 의한 정상성의 검출의 처리의 적분 범위를 설명하는 도면이다.

도 172는 도 169의 데이터 정상성 검출부에 의한 정상성의 검출의 처리의 적분 범위를 설명하는 도면이다.

도 173은 데이터 정상성 검출부의 다른 실시예의 구성을 나타낸 블록도이다.

도 174는 도 173의 데이터 정상성 검출부의 간이식 각도 검출부의 구성의 예를 나타낸 블록도이다.

도 175는 도 173의 데이터 정상성 검출부의 회귀식 각도 검출부의 구성의 예 를 나타낸 블록도이다.

도 176은 도 173의 데이터 정상성 검출부의 경사식 각도 검출부의 구성의 예를 나타낸 블록도이다.

도 177은 도 173의 데이터 정상성 검출부에 의한 데이터 정상성의 검출 처리를 설명하는 흐름도이다.

도 178은 간이식 각도 검출부에 의해 검출된 각도에 대응하는 각도의 검출 방법을 설명하는 도면이다.

도 179는 도 177의 흐름도의 스텝 S904의 처리인 회귀식 각도 검출 처리를 설명하는 흐름도이다.

도 180은 화소의 변환 처리를 행하는 스코프 범위가 되는 화소를 설명하는 도면이다.

도 181은 화소의 변환 처리를 행하는 스코프 범위가 되는 화소를 설명하는 도면이다.

도 182는 화소의 변환 처리를 행하는 스코프 범위가 되는 화소를 설명하는 도면이다.

도 183은 화소의 변환 처리를 행하는 스코프 범위가 되는 화소를 설명하는 도면이다.

도 184는 화소의 변환 처리를 행하는 스코프 범위가 되는 화소를 설명하는 도면이다.

도 185는 데이터 정상성 검출부의 다른 실시예의 구성을 나타낸 블록도이다.

도 186은 도 185의 데이터 정상성 검출부에 의한 데이터 정상성 검출 처리를 설명하는 흐름도이다.

도 187은 실세계 추정부(102)의 구성을 나타낸 블록도이다.

도 188은 실세계(1)의 신호에서의, 가는 선의 폭을 검출하는 처리를 설명하는 도면이다.

도 189는 실세계(1)의 신호에서의, 가는 선의 폭을 검출하는 처리를 설명하는 도면이다.

도 190은 실세계(1)의 신호에서의, 가는 선의 신호의 레벨을 추정하는 처리를 설명하는 도면이다.

도 191은 실세계의 추정 처리를 설명하는 흐름도이다.

도 192는 실세계 추정부(102)의 다른 구성을 나타낸 블록도이다.

도 193은 경계 검출부(2121)의 구성을 나타낸 블록도이다.

도 194는 분배비의 산출 처리를 설명하는 도면이다.

도 195는 분배비의 산출 처리를 설명하는 도면이다.

도 196은 분배비의 산출 처리를 설명하는 도면이다.

도 197은 단조 증감 영역의 경계를 나타낸 회귀 직선의 산출 처리를 설명하 는 도면이다.

도 198은 단조 증감 영역의 경계를 나타낸 회귀 직선의 산출 처리를 설명하는 도면이다.

도 199는 실세계 추정 처리를 설명하는 흐름도이다.

도 200은 경계 검출 처리를 설명하는 흐름도이다.

도 201은 공간 방향의 미분값을 실세계 추정 정보로서 추정하는 실세계 추정부의 구성을 나타낸 블록도이다.

도 202는 도 201의 실세계 추정부에 의한 실세계 추정 처리를 설명하는 흐름도이다.

도 203은 참조 화소를 설명하는 도면이다.

도 204는 공간 방향의 미분값을 구하는 위치를 설명하는 도면이다.

도 205는 공간 방향의 미분값과 시프트량의 관계를 설명하는 도면이다.

도 206은 공간 방향의 기울기를 실세계 추정 정보로서 추정하는 실세계 추정부의 구성을 나타낸 블록도이다.

도 207은 도 206의 실세계 추정부에 의한 실세계 추정의 처리를 설명하는 흐름도이다.

도 208은 공간 방향의 기울기를 구하는 처리를 설명하는 도면이다.

도 209는 공간 방향의 기울기를 구하는 처리를 설명하는 도면이다.

도 210은 프레임 방향의 미분값을 실세계 추정 정보로서 추정하는 실세계 추정부의 구성을 나타낸 블록도이다.

도 211은 도 210의 실세계 추정부에 의한 실세계 추정 처리를 설명하는 흐름도이다.

도 212는 참조 화소를 설명하는 도면이다.

도 213은 프레임 방향의 미분값을 구하는 위치를 설명하는 도면이다.

도 214는 프레임 방향의 미분값과 시프트량의 관계를 설명하는 도면이다.

도 215는 프레임 방향의 기울기를 실세계 추정 정보로서 추정하는 실세계 추정부의 구성을 나타낸 블록도이다.

도 216은 도 215의 실세계 추정부에 의한 실세계 추정 처리를 설명하는 흐름도이다.

도 217은 프레임 방향의 기울기를 구하는 처리를 설명하는 도면이다.

도 218은 프레임 방향의 기울기를 구하는 처리를 설명하는 도면이다.

도 219는 도 3의 실세계 추정부의 실시예 1인, 함수 근사 방법의 원리를 설명하는 도면이다.

도 220은 센서가 CCD인 경우의 적분 효과를 설명하는 도면이다.

도 221은 도 220의 센서의 적분 효과의 구체적인 예를 설명하는 도면이다.

도 222는 도 220의 센서의 적분 효과의 구체적인 다른 예를 설명하는 도면이 다.

도 223은 도 221에 나타낸 가는 선이 포함된 실세계 영역을 나타낸 도면이다.

도 224는 도 3의 실세계 추정부의 실시예 1의 원리를, 도 219의 예와 대비시켜 설명하는 도면이다.

도 225는 도 221에 나타내는 가는 선이 포함된 데이터 영역을 나타낸 도면이다.

도 226은 도 225의 가는 선이 포함된 데이터 영역에 포함되는 각각의 화소값 그래프에서 나타낸 면이다.

도 227은 도 226의 가는 선이 포함된 데이터 영역에 포함되는 각가의 화소값을 근사한 근사 함수를 그래프에서 나타낸 도면이다.

도 228은 도 221에 나타낸 가는 선이 포함된 실세계 영역이 가지는 공간 방향의 정상성을 설명하는 도면이다.

도 229는 도 225의 가는 선이 포함된 데이터 영역에 포함되는 각각의 화소값을 그래프로 나타낸 도면이다.

도 230은 도 229에서 나타내는 각각의 입력 화소값을, 소정의 시프트량만큼 시프트시킨 상태를 설명하는 도면이다.

도 231은 공간 방향의 정상성을 고려하여, 도 226의 가는 선이 포함된 데이 터 영역에 포함되는 각각의 화소값을 근사한 근사 함수를 그래프에서 나타낸 도면이다.

도 232는 공간 혼합 영역을 설명하는 도면이다.

도 233은 공간 혼합 영역에 있어서의, 실세계 신호를 근사한 근사 함수를 설명하는 도면이다.

도 234는 센서의 적분 특성과 공간 방향의 정상성의 양쪽을 고려하여, 도 226의 가는 선이 포함된 데이터 영역에 대응하는 실세계 신호를 근사한 근사 함수를 그래프에서 나타낸 도면이다.

도 235는 도 219에서 나타내는 원리를 가지는 함수 근사 방법 중, 1차 다항식 근사 방법을 이용하는 실세계 추정부의 구성예를 설명하는 블록도이다.

도 236은 도 235의 구성의 실세계 추정부가 실행하는 실세계 추정 처리를 설명하는 흐름도이다.

도 237은 탭 범위를 설명하는 도면이다.

도 238은 공간 방향의 정상성을 가지는 실세계 신호를 설명하는 도면이다.

도 239는 센서가 CCD인 경우의 적분 효과를 설명하는 도면이다.

도 240은 단면 방향 거리를 설명하는 도면이다.

도 241은 도 219에서 나타내는 원리를 가지는 함수 근사 방법 중, 2차 다항식 근사 방법을 이용하는 실세계 추정부의 구성예를 설명하는 블록도이다.

도 242는 도 241의 구성의 실세계 추정부가 실행하는 실세계의 추정 처리를 설명하는 흐름도이다.

도 243은 탭 범위를 설명하는 도면이다.

도 244는 시공간 방향의 정상성의 방향을 설명하는 도면이다.

도 245는 센서가 CCD인 경우의 적분 효과를 설명하는 도면이다.

도 246은 공간 방향의 정상성을 가지는 실세계 신호를 설명하는 도면이다.

도 247은 시공간 방향의 정상성을 가지는 실세계 신호를 설명하는 도면이다.

도 248은 도 219에서 나타내는 원리를 가지는 함수 근사 방법 중, 3차원 함수 근사 방법을 이용하는 실세계 추정부의 구성예를 설명하는 블록도이다.

도 249는 도 248의 구성의 실세계 추정부가 실행하는 실세계의 추정 처리를 설명하는 흐름도이다.

도 250은 도 3의 실세계 추정부에 입력되는 입력 화상의 예를 나타낸 도면이다.

도 251은 도 250의 주목 화소의 중심에 있어서의 실세계의 광신호의 레벨과 단면 방향 거리 x'에 있어서의 실세계의 광신호의 레벨의 차를 나타낸 도면이다.

도 252는 단면 방향 거리 x'에 대하여 설명하는 도면이다.

도 253은 단면 방향 거리 x'에 대하여 설명하는 도면이다.

도 254는 블록 내의 각 화소의 단면 방향 거리를 나타낸 도면이다.

도 255는 정규 방정식에 있어서 가중을 고려하지 않고 처리한 결과를 나타낸 도면이다.

도 256은 정규 방정식에 있어서 가중을 고려하여 처리한 결과를 나타낸 도면이다.

도 257은 정규 방정식에 있어서 가중을 고려하지 않고 처리한 결과를 나타낸 도면이다.

도 258은 정규 방정식에 있어서 가중을 고려하여 처리한 결과를 나타낸 도면이다.

도 259는 도 3의 화상 생성부의 실시예 1인, 재적분 방법의 원리를 설명하는 도면이다.

도 260은 입력 화소와 그 입력 화소에 대응하는, 실세계의 신호를 근사하는 근사 함수의 예를 설명하는 도면이다.

도 261은 도 260에서 나타내는 근사 함수로부터, 도 260에 나타낸 1개의 입력 화소에 있어서의, 고해상도의 4개의 화소를 창조하는 예를 설명하는 도면이다.

도 262는 도 259에서 나타내는 원리를 가지는 재적분 방법 중, 1차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명하는 블록도이다.

도 263은 도 262의 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명하는 흐름도이다.

도 264는 입력 화상의 원래의 화상의 예를 나타낸 도면이다.

도 265는 도 264의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 266은 입력 화상의 예를 나타낸 도면이다.

도 267은 도 266의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 268은 입력 화상에 대하여 종래의 클래스 분류 적응 처리를 실시하여 얻어지는 화상의 예를 나타낸 도면이다.

도 269는 도 268의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 270은 입력 화상에 대하여 본 발명의 1차원 재적분 방법의 처리를 실시하여 얻어지는 화상의 예를 나타낸 도면이다.

도 271은 도 270의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 272는 공간 방향의 정상성을 가지는 실세계 신호를 설명하는 도면이다.

도 273은 도 259에서 나타내는 원리를 가지는 재적분 방법 중, 2차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명하는 블록도이다.

도 274는 단면 방향 거리를 설명하는 도면이다.

도 275는 도 273의 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명하는 흐름도이다.

도 276은 입력 화소의 일례를 설명하는 도면이다.

도 277은 2차원 재적분 방법에 의하여, 도 276에 나타낸 1개의 입력 화소에

있어서의, 고해상도의 4개의 화소를 창조하는 예를 설명하는 도면이다.

도 278은 시공간 방향의 정상성의 방향을 설명하는 도면이다.

도 279는 도 259에서 나타내는 원리를 가지는 재적분 방법 중, 3차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명하는 블록도이다.

도 280은 도 279의 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명하는 흐름도이다.

도 281은 본 발명을 적용한 화상 생성부의 그 외의 구성을 나타낸 블록도이다.

도 282는 도 281의 화상 생성부에 의한 화상의 생성 처리를 설명하는 흐름도이다.

도 283은 입력 화소로부터 4배 밀도의 화소를 생성하는 처리를 설명하는 도면이다.

도 284는 화소값을 나타낸 근사 함수와 시프트량의 관계를 나타낸 도면이다.

도 285는 본 발명을 적용한 화상 생성부의 그 외의 구성을 나타낸 블록도이다.

도 286은 도 285의 화상 생성부에 의한 화상의 생성의 처리를 설명하는 흐름도이다.

도 287은 입력 화소로부터 4배 밀도의 화소를 생성하는 처리를 설명하는 도 면이다.

도 288은 화소값을 나타낸 근사 함수와 시프트량과의 관계를 나타낸 도면이다.

도 289는 도 3의 화상 생성부의 실시예의 일례인, 클래스 분류 적응 처리 보정 방법의 1차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명하는 블록도이다.

도 290은 도 289의 화상 생성부의 클래스 분류 적응 처리부의 구성예를 설명하는 블록도이다.

도 291은 도 289의 클래스 분류 적응 처리부와, 클래스 분류 적응 처리 보정부가 사용하는 계수를 학습에 의해 결정하는 학습 장치의 구성예를 나타낸 블록도이다.

도 292는 도 291의 클래스 분류 적응 처리용 학습부의 상세한 구성예를 설명하는 블록도이다.

도 293은 도 290의 클래스 분류 적응 처리부의 처리 결과의 예를 나타낸 도면이다.

도 294는 도 293의 예측 화상과 HD 화상의 차분 화상을 나타낸 도면이다.

도 295는 도 294에서 나타내는 영역에 포함되는 X 방향으로 연속된 6개의 HD 화소 중, 도면 중앙 좌측으로부터 4개의 HD 화소에 대응하는, 도 293의 HD 화상의 구체적인 화소값, SD 화상의 구체적인 화소값, 및 실제 파형(실세계의 신호)의 각각을 플롯한 것을 나타낸 도면이다.

도 296은 도 293의 예측 화상과 HD 화상의 차분 화상을 나타내는 도면이다.

도 297은 도 296에 나타낸 영역에 포함되는 X 방향으로 연속된 6개의 HD 화소 중, 도면 중앙 좌측으로부터 4개의 HD 화소에 대응하는, 도 293의 HD 화상의 구체적인 화소값, SD 화상의 구체적인 화소값, 및 실제 파형(실세계의 신호)의 각각을 플롯한 것을 나타낸 도면이다.

도 298은 도 295 내지 도 297에 나타내는 내용에 따라 얻어진 지견을 설명하는 도면이다.

도 299는 도 289의 화상 생성부의 클래스 분류 적응 처리 보정부의 구성예를 설명하는 블록도이다.

도 300은 도 291의 클래스 분류 적응 처리 보정용 학습부의 상세한 구성예를 설명하는 블록도이다.

도 301은 화소 내 기울기를 설명하는 도면이다.

도 302는 도 293의 SD 화상과, 상기 SD 화상의 각 화소의 화소내 기울기를 화소값으로 하는 특징량 화상을 나타내는 도면이다.

도 303은 화소 내 기울기의 산출 방법을 설명하는 도면이다.

도 304는 화소 내 기울기의 산출 방법을 설명하는 도면이다.

도 305는 도 289의 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명하는 흐름도이다.

도 306은 도 305의 화상 생성 처리의 입력 화상 클래스 분류 적응 처리를 상세하게 설명하는 흐름도이다.

도 307은 도 305의 화상 생성 처리의 클래스 분류 적응 처리의 보정 처리를 상세하게 설명하는 흐름도이다.

도 308은 클래스 탭의 배치예를 설명하는 도면이다.

도 309는 클래스 분류의 일례를 설명하는 도면이다.

도 310은 예측 탭 배치예를 설명하는 도면이다.

도 311은 도 291의 학습 장치의 학습 처리를 설명하는 흐름도이다.

도 312는 도 311의 학습 처리의 클래스 분류 적응 처리용 학습 처리를 상세하게 설명하는 흐름도이다.

도 313은 도 311의 학습 처리의 클래스 분류 적응 처리 보정용 학습 처리의 상세를 설명하는 흐름도이다.

도 314는 도 293의 예측 화상과, 그 예측 화상에 보정 화상을 가산한 화상(도 289의 화상 생성부에 의해 생성되는 화상)을 나타낸 도면이다.

도 315는 도 1의 신호 처리 장치의 실시예의 다른 예인, 병용 방법을 이용하는 신호 처리 장치의 제1 구성예를 설명하는 블록도이다.

도 316은 도 315의 신호 처리 장치의, 클래스 분류 적응 처리를 실행하는

화상 생성부의 구성예를 설명하는 블록도이다.

도 317은 도 316의 화상 생성부에 대한 학습 장치의 구성예를 설명하는 블록도이다.

도 318은 도 315의 구성의 신호 처리 장치가 실행하는 신호 처리를 설명하는 흐름도이다.

도 319는 도 318의 신호의 처리의 클래스 분류 적응 처리의 실행 처리를 상세하게 설명하는 흐름도이다.

도 320은 도 317의 학습 장치의 학습 처리를 설명하는 흐름도이다.

도 321은 도 1의 신호 처리 장치의 실시예의 다른 예인, 병용 방법을 이용하는 신호 처리 장치의 제2 구성예를 설명하는 블록도이다.

도 322는 도 319의 구성의 신호 처리 장치가 실행하는 신호 처리를 설명하는 흐름도이다.

도 323은 도 1의 신호 처리 장치의 실시예의 다른 예인, 병용 방법을 이용하는 신호 처리 장치의 제3 구성예를 설명하는 블록도이다.

도 324는 도 321의 구성의 신호 처리 장치가 실행하는 신호 처리를 설명하는 흐름도이다.

도 325는 도 1의 신호 처리 장치의 실시예의 다른 예인, 병용 방법을 이용하 는 신호 처리 장치의 제4 구성예를 설명하는 블록도이다.

도 326은 도 323의 구성의 신호 처리 장치가 실행하는 신호 처리를 설명하는 흐름도이다.

도 327은 도 1의 신호 처리 장치의 실시예의 다른 예인, 병용 방법을 이용하는 신호 처리 장치의 제5 구성예를 설명하는 블록도이다.

도 328은 도 325의 구성의 신호 처리 장치가 실행하는 신호의 처리를 설명하는 흐름도이다.

도 329는 데이터 정상성 검출부의 다른 실시예의 구성을 나타낸 블록도이다.

도 330은 도 329의 데이터 정상성 검출부에 의한 데이터 정상성 검출 처리를 설명하는 흐름도이다.

도 331은 광학 블록의 구성을 설명하는 도면이다.

도 332는 광학 블록의 구성을 설명하는 도면이다.

도 333은 OLPF의 구성을 설명하는 도면이다.

도 334는 OLPF의 기능을 설명하는 도면이다.

도 335는 OLPF의 기능을 설명하는 도면이다.

도 336은 본 발명의 그 외의 신호 처리 장치의 구성을 나타낸 블록도이다.

도 337은 도 336의 OLPF 제거부의 구성을 나타낸 블록도이다.

도 338은 클래스 탭의 예를 설명하는 도면이다.

도 339는 도 336의 신호 처리 장치에 의한 신호의 처리를 설명하는 흐름도이다.

도 340은 도 339의 흐름도의 스텝 S5101의 처리인, OLPF 제거 처리를 설명하는 흐름도이다.

도 341은 도 337의 OLPF 제거부의 계수를 학습하는 학습 장치이다.

도 342는 학습 방법을 설명하는 도면이다.

도 343은 교사 화상과 학생 화상을 설명하는 도면이다.

도 344는 도 342의 학습 장치의 교사 화상 생성부와 학생 화상 생성부의 구성을 나타낸 블록도이다.

도 345는 학생 화상과 교사 화상의 생성 방법을 설명하는 도면이다.

도 346은 OLPF의 시뮬레이션 방법을 설명하는 도면이다.

도 347은 교사 화상의 예를 나타낸 도면이다.

도 348은 학생 화상의 예를 나타낸 도면이다.

도 349는 학습 처리를 설명하는 흐름도이다.

도 350은 OLPF의 제거 처리를 행한 화상을 나타낸 도면이다.

도 351은 OLPF의 제거 처리를 행한 화상과, 제거하고 있지 않은 화상의 비교를 설명하는 도면이다.

도 352는 실세계 추정부의 그 외의 구성예를 나타낸 블록도이다.

도 353은 OLPF에 의한 영향을 설명하는 도면이다.

도 354는 OLPF에 의한 영향을 설명하는 도면이다.

도 355는 도 352의 실세계 추정부에 의한 실세계의 추정 처리를 설명하는 흐름도이다.

도 356은 추출되는 탭의 예를 나타낸 도면이다.

도 357은 도 352의 실세계 추정부에 의해 추정된 실세계의 근사 함수로부터 생성된 화상과, 그 이외의 방법으로 생성된 화상을 비교하는 도면이다.

도 358은 도 352의 실세계 추정부에 의해 추정된 실세계의 근사 함수로부터 생성된 화상과, 그 이외의 방법으로 생성된 화상을 비교하는 도면이다.

도 359는 신호 처리 장치의 그 외의 구성을 나타낸 블록도이다.

도 360은 도 359의 신호 처리 장치에 의한 신호의 처리를 설명하는 흐름도이다.

도 361은 도 359의 신호 처리 장치의 계수를 학습하는 학습 장치의 구성을

나타낸 블록도이다.

도 362는 도 361의 교사 화상 생성부와 학생 화상 생성부의 구성을 나타낸 블록도이다.

도 363은 도 361의 학습 장치에 의한 학습의 처리를 설명하는 흐름도이다.

도 364는 각종의 화상 처리의 관계를 설명하는 도면이다.

도 365는 연속 함수로 이루어지는 근사 함수에 의한 실세계의 추정을 설명하는 도면이다.

도 366은 불연속 함수로 이루어지는 근사 함수를 설명하는 도면이다.

도 367은 연속 함수와 불연속 함수로 이루어지는 근사 함수를 설명하는 도면이다.

도 368은 불연속 함수로 이루어지는 근사 함수를 사용한 화소값을 구하는 방법을 설명하는 도면이다.

도 369는 실세계 추정부의 그 외의 구성을 나타낸 블록도이다.

도 370은 도 369의 실세계 추정부에 의한 실세계 추정 처리를 설명하는 흐름도이다.

도 371은 추출되는 탭의 예를 나타낸 도면이다.

도 372는 X-t 평면상의 불연속 함수로 이루어지는 근사 함수를 설명하는 도면이다.

도 373은 추출되는 탭의 그 외의 예를 나타낸 도면이다.

도 374는 2차원의 불연속 함수로 이루어지는 근사 함수를 설명하는 도면이다.

도 375는 2차원의 불연속 함수로 이루어지는 근사 함수를 설명하는 도면이다.

도 376은 주목 화소의 영역마다의 체적의 비율을 설명하는 도면이다.

도 377은 실세계 추정부의 그 외의 구성을 나타낸 블록도이다.

도 378은 도 377의 실세계 추정부에 의한 실세계 추정 처리를 설명하는 흐름도이다.

도 379는 추출되는 탭의 그 외의 예를 나타낸 도면이다.

도 380은 2차원의 불연속 함수로 이루어지는 근사 함수를 설명하는 도면이다.

도 381은 2차원의 불연속 함수로 이루어지는 근사 함수의 그 외의 예를 설명하는 도면이다.

도 382는 영역마다의 다항식의 연속 함수로 이루어지는 근사 함수를 설명하는 도면이다.

도 383은 영역마다의 다항식의 불연속 함수로 이루어지는 근사 함수를 설명하는 도면이다.

도 384는 화상 생성부의 그 외의 구성을 설명하는 블록도이다.

도 385는 도 384의 화상 생성부에 의한 화상 생성의 처리를 설명하는 흐름도이다.

도 386은 4배 밀도의 화소의 생성 방법을 설명하는 도면이다.

도 387은 종래의 방법과 불연속 함수로 이루어지는 근사 함수를 사용한 경우 의 관계를 설명하는 도면이다.

도 388은 화상 생성부의 그 외의 구성을 설명하는 블록도이다.

도 389는 도 388의 화상 생성부에 의한 화상 생성의 처리를 설명하는 흐름도이다.

도 390은 주목 화소를 설명하는 도면이다.

도 391은 주목 화소의 화소값을 연산하는 방법을 설명하는 도면이다.

도 392는 공간 방향의 불연속 함수로 이루어지는 근사 함수를 사용한 처리 결과와 그 외의 처리 결과를 설명하는 도면이다.

도 393은 불연속 함수로 이루어지는 근사 함수를 사용한 처리 결과와 그 외의 처리 결과를 설명하는 도면이다.

도 394는 센서에 의한 촬상을 설명하는 도면이다.

도 395는 화소의 배치를 설명하는 도면이다.

도 396은 검출 소자의 동작을 설명하는 도면이다.

도 397은 움직이고 있는 전경에 대응하는 오브젝트와 정지하고 있는 배경에 대응하는 오브젝트를 촬상하여 얻어지는 화상을 설명하는 도면이다.

도 398은 배경 영역, 전경 영역, 혼합 영역, 커버드 백그라운드 영역, 및 앵커드 백그라운드 영역을 설명하는 도면이다.

도 399는 정지하고 있는 전경에 대응하는 오브젝트 및 정지하고 있는 배경에 대응하는 오브젝트를 촬상한 화상에 있어서의, 인접하여 1열로 배열된 화소의 화소값을 시간 방향으로 전개한 모델도이다.

도 400은 화소값을 시간 방향으로 전개하고, 셔터 시간에 대응하는 기간을 분할한 모델도이다.

도 401은 화소값을 시간 방향으로 전개하고, 셔터 시간에 대응하는 기간을 분할한 모델도이다.

도 402는 화소값을 시간 방향으로 전개하고, 셔터 시간에 대응하는 기간을 분할한 모델도이다.

도 403은 전경 영역, 배경 영역, 및 혼합 영역의 화소를 추출한 예를 나타낸 도면이다.

도 404는 화소와 화소값을 시간 방향으로 전개한 모델과의 대응을 나타낸 도면이다.

도 405는 화소값을 시간 방향으로 전개하고, 셔터 시간에 대응하는 기간을 분할한 모델도이다.

도 406은 화소값을 시간 방향으로 전개하고, 셔터 시간에 대응하는 기간을 분할한 모델도이다.

도 407은 화소값을 시간 방향으로 전개하고, 셔터 시간에 대응하는 기간을 분할한 모델도이다.

도 408은 화소값을 시간 방향으로 전개하고, 셔터 시간에 대응하는 기간을 분할한 모델도이다.

도 409는 화소값을 시간 방향으로 전개하고, 셔터 시간에 대응하는 기간을 분할한 모델도이다.

도 410은 시공간 방향의 불연속 함수로 이루어지는 근사 함수를 사용한 처리 결과와, 그 외의 처리 결과를 설명하는 도면이다.

도 411은 수평 방향의 느린 움직임을 포함하는 화상을 설명하는 도면이다.

도 412는 도 411의 화상을 시공간 방향의 불연속 함수로 이루어지는 근사 함수를 사용한 처리 결과와, 그 외의 처리 결과를 설명하는 도면이다.

도 413은 경사 방향으로 움직임이 흔들리는 것을 포함하는 화상을 설명하는 도면이다.

도 414는 도 413의 화상을 시공간 방향의 불연속 함수로 이루어지는 근사 함수를 사용한 처리 결과와, 그 외의 처리 결과를 설명하는 도면이다.

도 415는 경사 방향에 움직임이 흔들리는 것을 포함하는 화상을 시공간 방향의 불연속 함수로 이루어지는 근사 함수를 사용한 처리 결과를 나타낸 도면이다.

도 1은, 본 발명의 원리를 나타내고 있다. 도 1에서 나타낸 바와 같이, 공간, 시간, 및 질량 등의 차원을 가지는 실세계(1)의 사상(현상)은, 센서(2)에 의해 취득되어 데이터화된다. 실세계(1)의 사상이란, 광(화상), 음성, 압력, 온도, 질량, 농도, 밝기/어두움, 또는 냄새 등을 말한다. 실세계(1)의 사상은, 시공간 방향으로 분포하고 있다. 예를 들면, 실세계(1)의 화상은, 실세계(1)의 광의 강도의 시공간 방향의 분포이다.

센서(2)에 주목하면, 공간, 시간, 및 질량의 차원을 가지는 실세계(1)의 사상 중, 센서(2)가 취득 가능한, 실세계(1)의 사상이, 센서(2)에 의하여, 데이터(3)로 변환된다. 센서(2)에 의하여, 실세계(1)의 사상을 나타내는 정보가 취득된다고도 할 수 있다.

즉, 센서(2)는, 실세계(1)의 사상을 나타내는 정보를, 데이터(3)로 변환한다. 공간, 시간, 및 질량 등의 차원을 가지는 실세계(1)의 사상(현상)을 나타내는 정보인 신호가 센서(2)에 의해 취득되어 데이터화된다고도 말할 수 있다.

이하, 실세계(1)에 있어서의, 화상, 음성, 압력, 온도, 질량, 농도, 밝기/어두움, 또는 냄새 등의 사상의 분포를, 실세계(1)의 사상을 나타내는 정보인 신호라고도 한다. 또, 실세계(1)의 사상을 나타내는 정보인 신호를, 단지, 실세계(1)의 신호라고도 한다. 본 명세서에 있어서, 신호는, 현상 및 사상을 포함하고, 송신측에 의사가 없는 것도 포함하는 것으로 한다.

센서(2)로부터 출력되는 데이터(3)(검출 신호)은, 실세계(1)의 사상을 나타내는 정보를, 실세계(1)와 비교하여, 보다 낮은 차원의 시공간에 투영하여 얻어진 정보이다. 예를 들면, 동화상의 화상 데이터인 데이터(3)는, 실세계(1)의 3차원의 공간 방향 및 시간 방향의 화상이, 2차원의 공간 방향, 및 시간 방향으로 이루어지는 시공간에 투영되어 얻어진 정보이다. 또, 예를 들면, 데이터(3)가 디지털 데이터일 때, 데이터(3)는, 샘플링 단위에 따라, 보정할 수 있다. 데이터(3)가 아날로그 데이터일 때, 데이터(3)에 있어서, 다이내믹 레인지에 따라, 정보가 압축되든지, 또는 리미터 등에 의하여, 정보의 일부가 삭제되어 있다.

이와 같이, 소정의 차원을 가지는 실세계(1)의 사상을 나타내는 정보인 신호를 데이터(3)(검출 신호)에 투영함으로써, 실세계(1)의 사상을 나타내는 정보의 일부가 결락된다. 즉, 센서(2)가 출력하는 데이터(3)에 있어서, 실세계(1)의 사상을 나타내는 정보의 일부가 결락되어 있다.

그러나, 투영에 의해 실세계(1)의 사상을 나타내는 정보의 일부가 결락되어 있다하더라도, 데이터(3)는, 실세계(1)의 사상(현상)을 나타내는 정보인 신호를 추정하기 위한 유의 정보를 포함하고 있다.

본 발명에 있어서는, 실세계(1)의 정보인 신호를 추정하기 위한 유의 정보로서, 데이터(3)에 포함되는 정상성을 가지는 정보를 이용한다. 정상성은, 새로 정의한 개념이다.

여기서, 실세계(1)에 주목하면, 실세계(1)의 사상은, 소정 차원의 방향으로 일정한 특징을 포함한다. 예를 들면, 실세계(1)의 물체(유체물)에 있어서, 공간 방향 또는 시간 방향으로, 형상, 모양, 또는 색채 등이 연속하는지, 또는 형상, 모양, 또는 색채 등의 패턴이 반복된다.

따라서, 실세계(1)의 사상을 나타내는 정보에는, 소정 차원의 방향으로 일정한 특징이 포함되게 된다.

보다 구체적인 예를 들면, 실, 끈, 또는 로프 등의 선형 물체는, 길이 방향의 임의의 위치에 있어서, 단면 형상이 동일하다는 길이 방향, 즉 공간 방향으로 일정한 특징을 가진다. 길이 방향의 임의의 위치에 있어서, 단면 형상이 동일하다는 공간 방향으로 일정한 특징은, 선형 물체가 길다는 특징으로부터 생긴다.

따라서, 선형 물체의 화상은, 길이 방향의 임의의 위치에 있어서, 단면 형상이 동일하다는 길이 방향, 즉 공간 방향으로 일정한 특징을 가지고 있다.

또, 공간 방향으로 확대하는 유체물인, 단색의 물체는, 부위에 관계없이, 동일한 색을 가진다는 공간 방향으로 일정한 특징을 가지고 있다고 할 수 있다.

마찬가지로, 공간 방향으로 확대하는 유체물인, 단색의 물체의 화상은, 부위에 관계없이, 동일한 색을 가진다는 공간 방향으로 일정한 특징을 가지고 있다.

이와 같이, 실세계(1)(현실 세계)의 사상은, 소정의 차원의 방향으로 일정한 특징을 가지고 있으므로, 실세계(1)의 신호는, 소정 차원의 방향으로 일정한 특징을 가진다.

본 명세서에 있어서, 이와 같은 소정 차원의 방향으로 일정한 특징을 정상성 이라고 한다. 실세계(1)(현실 세계)의 신호의 정상성이란, 실세계(1)(현실 세계)의 사상을 나타내는 신호가 가지고 있는, 소정 차원의 방향으로 일정한 특징을 말한다.

실세계(1)(현실 세계)에는, 이와 같은 정상성이 무수히 존재한다.

다음에, 데이터(3)에 주목하면, 데이터(3)는, 센서(2)에 의하여, 소정의 차원을 가지는 실세계(1)의 사상을 나타내는 정보인 신호가 투영된 것이므로, 실세계의 신호의 정상성에 대응하는 정상성을 포함하고 있다. 데이터(3)는, 실세계의 신호의 정상성이 투영된 정상성을 포함하고 있다고도 할 수 있다.

그러나, 전술한 바와 같이, 센서(2)가 출력하는 데이터(3)에 있어서, 실세계(1)의 정보의 일부가 결락되어 있으므로, 데이터(3)로부터, 실세계(1)(현실 세계)의 신호에 포함되는 정상성의 일부가 결락된다.

환언하면, 데이터(3)는, 데이터 정상성으로서 실세계(1)(현실 세계)의 신호의 정상성 중, 일부의 정상성을 포함한다. 데이터 정상성이란, 데이터(3)가 가지고 있는, 소정의 차원의 방향으로 일정한 특징이다.

본 발명에 있어서는, 실세계(1)의 사상을 나타내는 정보인 신호를 추정하기 위한 유의 정보로서, 데이터(3)가 가지는, 데이터 정상성이 이용된다.

예를 들면, 본 발명에 있어서는, 데이터 정상성을 이용하여, 데이터(3)를 신호 처리함으로써, 결락된, 실세계(1)의 사상을 나타내는 정보가 생성된다.

그리고, 본 발명에 있어서는, 실세계(1)의 사상을 나타내는 정보인 신호의 차원의, 길이(공간), 시간, 및 질량 중, 공간 방향 또는 시간 방향의 정상성이 이용된다.

도 1으로 되돌아와서, 센서(2)는, 예를 들면, 디지털 스틸 카메라, 또는 비디오 카메라 등으로 구성되며, 실세계(1)의 화상을 촬상하고, 얻어진 데이터(3)인 화상 데이터를 신호 처리 장치(4)에 출력한다. 센서(2)는, 예를 들면, 서모그라피 장치, 또는 광 탄성을 이용한 압력 센서 등으로 할 수 있다.

신호 처리 장치(4)는, 예를 들면, 퍼스널 컴퓨터 등으로 구성된다.

신호 처리 장치(4)는, 예를 들면, 도 2에서 나타낸 바와 같이 구성된다. CPU(Central Processing Unit)(21)는, ROM(Read Only Memory)(22), 또는 기억부(28)에 기억되어 있는 프로그램에 따라 각종 처리를 실행한다. RAM(Random Access Memory)(23)에는, CPU(21)가 실행하는 프로그램이나 데이터 등이 적절히 기억된다. 이들 CPU(21), ROM(22), 및 RAM(23)은, 버스(24)에 의해 서로 접속되어 있다.

CPU(21)에는 또, 버스(24)를 통하여 입출력 인터페이스(25)가 접속되어 있다. 입출력 인터페이스(25)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(26), 디스플레이, 스피커 등으로 이루어지는 출력부(27)가 접속되어 있다. CPU(21)는, 입력부(26)로부터 입력되는 지령에 대응하여 각종 처리를 실행한다. 그리고, CPU(21)는, 처리 결과 얻어진 화상이나 음성 등을 출력부(27)에 출력한다.

입출력 인터페이스(25)에 접속되어 있는 기억부(28)는, 예를 들면 하드 디스크 등으로 구성되며, CPU(21)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(29)는, 인터넷, 그 외의 네트워크를 통하여 외부의 장치와 통신한다. 이 예의 경우, 통신부(29)는 센서(2)가 출력하는 데이터(3)를 입력하는 취득부로서 역할한다.

또, 통신부(29)를 통하여 프로그램을 취득하고, 기억부(28)에 기억 해도 된다. 입출력 인터페이스(25)에 접속되어 있는 드라이브(30)는, 자기 디스크(51), 광디스크(52), 광자기 디스크(53), 또는 반도체 메모리(54) 등이 장착되었을 때, 이들을 구동하고, 거기에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는, 필요에 따라 기억부(28)에 전송되고, 기억된다.

도 3은, 신호 처리 장치(4)를 나타낸 블록도이다.

그리고, 신호 처리 장치(4)의 각 기능을 하드웨어로 실현할 수도 있고, 소프트웨어로 실현할 수도 있다. 즉, 본 명세서의 각 블록도는, 하드웨어의 블록도라고 생각할 수도 있고, 소프트 웨어에 의한 기능 블록도라고 생각할 수도 있다.

도 3에 구성을 나타낸 신호 처리 장치(4)에 있어서는, 데이터(3)의 일례인 화상 데이터가 입력되고, 입력된 화상 데이터(입력 화상)로부터 데이터 정상성이 검출된다. 다음에, 검출된 데이터 정상성으로부터, 센서(2)에 의해 취득된 실세계(1)의 신호가 추정된다. 그리고, 추정된 실세계(1)의 신호에 따라서, 화상이 생성 되고, 생성된 화상(출력 화상)이 출력된다. 즉, 도 3은, 화상 처리 장치인 신호 처리 장치(4)의 구성을 나타낸 도면이다.

신호 처리 장치(4)에 입력된 입력 화상(데이터(3)의 일례인 화상 데이터)은, 데이터 정상성 검출부(101) 및 실세계 추정부(102)에 공급된다.

데이터 정상성 검출부(101)는, 입력 화상으로부터 데이터 정상성을 검출하여, 검출한 정상성을 나타내는 데이터 정상성 정보를 실세계 추정부(102) 및 화상 생성부(103)에 공급한다. 데이터 정상성 정보는, 예를 들면, 입력 화상에 있어서의, 데이터 정상성을 가지는 화소의 영역의 위치, 데이터 정상성을 가지는 화소의 영역의 방향(시간 방향 및 공간 방향의 각도 또는 기울기), 또는 데이터 정상성을 가지는 화소의 영역의 길이 등을 포함한다. 데이터 정상성 검출부(101)의 구성의 자세한 것은, 후술한다.

실세계 추정부(102)는, 입력 화상, 및 데이터 정상성 검출부(101)으로부터 공급된 데이터 정상성 정보에 따라서, 실세계(1)의 신호를 추정한다. 즉, 실세계 추정부(102)는, 입력 화상이 취득되었을 때 센서(2)에 입사된, 실세계의 신호인 화상을 추정한다. 실세계 추정부(102)는, 실세계(1)의 신호의 추정의 결과를 나타내는 실세계 추정 정보를 화상 생성부(103)에 공급한다. 실세계 추정부(102)의 구성의 상세에 대하여는, 후술한다.

화상 생성부(103)는, 실세계 추정부(102)로부터 공급된, 추정된 실세계(1)의 신호를 나타낸 실세계 추정 정보에 따어서, 실세계(1)의 신호에 의해 근사한 신호를 생성하여, 생성한 신호를 출력한다. 또는, 화상 생성부(103)는, 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보, 및 실세계 추정부(102)로부터 공급된, 추정된 실세계(1)의 신호를 나타낸 실세계 추정 정보에 따라서, 실세계(1)의 신호에 의해 근사한 신호를 생성하여, 생성한 신호를 출력한다.

즉, 화상 생성부(103)는, 실세계 추정 정보에 따라서, 실세계(1)의 화상에 의해 근사한 화상을 생성하여, 생성한 화상을 출력 화상으로서 출력한다. 또는, 화상 생성부(103)는, 데이터 정상성 정보 및 실세계 추정 정보에 따라서, 실세계(1)의 화상에 의해 근사한 화상을 생성하여, 생성한 화상을 출력 화상으로서 출력한다.

예를 들면, 화상 생성부(103)는, 실세계 추정 정보에 따라서, 추정된 실세계(1)의 화상을 원하는 공간 방향 또는 시간 방향의 범위에서 적분함으로써, 입력 화상과 비교하여, 공간 방향 또는 시간 방향으로부터 고해상도의 화상을 생성하여, 생성한 화상을 출력 화상으로서 출력한다. 예를 들면, 화상 생성부(103)는, 외부 삽입 보간에 의하여, 화상을 생성하여, 생성한 화상을 출력 화상으로서 출력한다.

화상 생성부(103)의 구성의 상세에 대해서는, 후술한다.

다음에, 도 4내지 도 7을 참조하여, 본 발명의 원리를 설명한다.

도 4는, 종래의 신호 처리 장치(121)에 있어서의 처리의 원리를 설명하는 도 면이다. 종래의 신호 처리 장치(121)는, 데이터(3)를 처리의 기준으로 하고, 또한 데이터(3)를 처리의 대상으로 하여, 고해상도화 등의 처리를 실행한다. 종래의 신호 처리 장치(121)에 있어서는, 실세계(1)가 고려되지 않고, 데이터(3)가 최종적인 기준이 되어서, 데이터(3)에 포함되어 있는 정보 이상의 정보를 출력으로서 얻을 수 없다.

또, 종래의 신호 처리 장치(121)에 있어서, 데이터(3)에 존재하는, 센서(2)에 의한 왜곡(실세계(1)의 정보인 신호와 데이터(3)의 차이)은 전혀 고려되지 않기 때문에, 종래의 신호 처리 장치(121)는, 왜곡을 포함한 채 신호를 출력하게 된다. 또한, 신호 처리 장치(121)의 처리의 내용에 따라서는, 데이터(3)에 존재하는, 센서(2)에 의한 왜곡이 더욱 증폭되어, 증폭된 왜곡을 포함하는 데이터가 출력되게 된다.

이와 같이, 종래의 신호 처리에 있어서는, 데이터(3)가 취득된 실세계(1)(의 신호) 자체가 고려되지는 않았다. 환언하면, 종래의 신호 처리에 있어서는, 데이터(3)에 포함되어 있는 정보의 프레임 내에서 실세계(1)를 파악하고 있었으므로, 데이터(3)에 포함되어 있는 정보 및 왜곡에 의하여, 신호 처리의 한계가 결정된다.

이에 비해, 본 발명의 신호 처리에 있어서는, 실세계(1)(의 신호) 자체를 명확하게 고려하여, 처리가 실행된다.

도 5는, 본 발명에 관한 신호 처리 장치(4)에 있어서의 처리의 원리를 설명 하는 도면이다.

실세계(1)의 사상을 나타내는 정보인 신호를 센서(2)가 취득하고, 센서(2)가, 실세계(1)의 정보인 신호를 투영한 데이터(3)를 출력하는 점에서는, 종래와 동일하다.

그러나, 본 발명에 있어서는, 센서(2)에 의해 취득된, 실세계(1)의 사상을 나타내는 정보인 신호가 명확하게 고려된다. 즉, 데이터(3)가, 센서(2)에 의한 왜곡(실세계(1)의 정보인 신호와 데이터(3)의 차이)를 포함하는 것을 의식하여 신호 처리가 행해진다.

이와 같이함으로써, 본 발명의 신호 처리에 있어서는, 데이터(3)에 포함되어 있는 정보 및 왜곡에 의해 처리의 결과가 한정되지 않고, 예를 들면, 종래와 비교하여, 실세계(1)의 사상에 대하여, 보다 정확하며, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다. 즉, 본 발명에 의하면, 센서(2)에 입력된, 실세계(1)의 사상을 나타내는 정보인 신호에 대하여, 보다 정확하며, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

도 6 및 도 7은, 본 발명의 원리를 보다 구체적으로 설명하는 도면이다.

도 6에 나타낸 바와 같이, 예를 들면, 화상인, 실세계(1)의 신호가, 렌즈, 또는 광학 LPF(Low Pass Filter) 등으로 이루어지는 광학계(141)에 의하여, 센서(2)의 일례인 CCD(Charge Coupled Device)의 수광면에 결상된다. 센서(2)의 일례 인 CCD는, 적분 특성을 가지고 있으므로, CCD로부터 출력되는 데이터(3)에는, 실세계(1)의 화상과 차이가 생기게 된다. 센서(2)의 적분 특성의 상세한 내용에 대하여는, 후술한다.

본 발명의 신호 처리에 있어서는, CCD에 의해 취득된 실세계(1)의 화상과, CCD에 의해 촬상되어 출력된 데이터(3)의 관계가 명확하게 고려된다. 즉, 데이터(3)와 센서(2)에 의해 취득된 실세계의 정보인 신호와의 관계가 명확하게 고려된다.

보다 구체적으로는, 도 7에 나타낸 바와 같이, 신호 처리 장치(4)는, 모델(161)을 사용하여, 실세계(1)를 근사(기술)한다. 모델(161)은, 예를 들면, N개의 변수로 표현된다. 보다 정확하게는, 모델(161)은, 실세계(1)의 신호를 근사(기술)한다.

모델(161)을 예측하기 위하여, 신호 처리 장치(4)는, 데이터(3)로부터, M개의 데이터(162)를 추출한다. 데이터(3)로부터, M개의 데이터(162)를 추출할 때, 신호 처리 장치(4)는, 데이터(3)에 포함되는 데이터 정상성을 이용한다. 환언하면, 신호 처리 장치(4)는, 데이터(3)에 포함되는 데이터 정상성에 따라서, 모델(161)을 예측하기 위한 데이터(162)를 추출한다. 결과적으로, 모델(161)은, 데이터 정상성에 구속되게 된다.

즉, 모델(161)은, 센서(2)로 취득되었을 때, 데이터(3)에 있어서 데이터 정 상성을 생기게 하는, 정상성(소정의 차원의 방향으로 일정한 특징)을 가지는 실세계(1)의 사상(을 나타내는 정보(신호))을 근사한다.

여기서, 데이터(162)의 수 M이, 모델의 변수의 수 N이상이면, M개의 데이터(162)로부터, N개의 변수로 표현되는 모델(161)을 예측할 수 있다.

이와 같이, 실세계(1)(의 신호)을 근사(기술)하는 모델(161)을 예측함으로써, 신호 처리 장치(4)는, 실세계(1)의 정보인 신호를 고려할 수 있다.

다음에, 센서(2)의 적분 효과에 대하여 설명한다.

화상을 촬상하는 센서(2)인, CCD 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등의 이미지 센서는, 현실 세계를 촬상할 때, 현실 세계의 정보인 신호를 2차원의 데이터에 투영한다. 이미지 센서의 각 화소는, 이른바 수광면(수광 영역)으로서 각각 소정의 면적을 가진다. 소정의 면적을 가지는 수광면에 입사한 광은, 화소마다, 공간 방향 및 시간 방향으로 적분되어 각 화소에 대하여 1개의 화소값으로 변환된다.

도 8내지 도 11을 참조하여, 화상의 공간적 및 시간적 적분에 대하여 설명한다.

이미지 센서는, 현실 세계의 대상물(오브젝트)을 촬상하고, 촬상의 결과 얻어진 화상 데이터를 1프레임 단위로 출력한다. 즉, 이미지 센서는, 실세계(1)의 대상물에서 반사된 광인, 실세계(1)의 신호를 취득하고, 데이터(3)를 출력한다.

예를 들면, 이미지 센서는, 1초간에 30프레임으로 이루어지는 화상 데이터를 출력한다. 이 경우, 이미지 센서의 노광 시간은, 1/30초로 할 수 있다. 노광 시간은, 이미지 센서가 입사된 광의 전하에의 변환을 개시하고 나서, 입사된 광의 전하에의 변환을 종료할 때까지의 기간이다. 이하, 노광 시간을 셔터 시간이라고도 한다.

도 8은, 이미지 센서 위의 화소의 배치의 예를 설명하는 도면이다. 도 8에 있어서, A 내지 I는, 개개의 화소를 나타낸다. 화소는, 화상 데이터에 의해 표시되는 화상에 대응하는 평면상에 배치되어 있다. 1개의 화소에 대응하는 1개의 검출 소자는, 이미지 센서 상에 배치되어 있다. 이미지 센서가 실세계(1)의 화상을 촬상할 때, 1개의 검출 소자는, 화상 데이터를 구성하는 1개의 화소에 대응하는 1개의 화소값을 출력한다. 예를 들면, 검출 소자의 공간 방향 X의 위치(X 좌표)는, 화상 데이터에 의해 표시되는 화상 상의 가로 방향의 위치에 대응하고, 검출 소자의 공간 방향 Y의 위치(Y 좌표)는, 화상 데이터에 의해 표시되는 화상상의 세로 방향의 위치에 대응한다.

실세계(1)의 광의 강도 분포는, 3차원의 공간 방향, 및 시간 방향으로 확대되지만, 이미지 센서는, 2차원의 공간 방향, 및 시간 방향으로, 실세계(1)의 광을 취득하고, 2차원의 공간 방향, 및 시간 방향의 광의 강도의 분포를 표현하는 데이터(3)를 생성한다.

도 9에서 나타낸 바와 같이, 예를 들면, CCD인 검출 소자는, 셔터 시간에 대응하는 기간, 수광면(수광 영역)(검출 영역)에 입력된 광을 전하로 변환하여, 변환된 전하를 축적한다. 광은, 3차원의 공간 위의 위치, 및 시각에 의하여, 강도가 결정되는 실세계(1)의 정보(신호)이다. 실세계(1)의 광의 강도의 분포는, 3차원의 공간 상의 위치 x, y, z, 및 시각 t를 변수로 하는 함수 F(x, y, z, t)로 나타낼 수 있다.

CCD인 검출 소자에 축적되는 전하의 양은, 2차원의 공간 상에서 확대되는 수광면의 전체에 입사된 광의 강도와 광이 입사되고 있는 시간에 대략 비례한다. 검출 소자는, 셔터 시간에 대응하는 기간에 있어서, 수광면의 전체에 입사된 광으로부터 변환된 전하를, 이미 축적되어 있는 전하에 더하여 간다. 즉, 검출 소자는, 셔터 시간에 대응하는 기간, 2차원의 공간 상에서 확대되는 수광면의 전체에 입사되는 광을 적분하여, 적분된 광에 대응하는 양의 전하를 축적한다. 검출 소자는, 공간(수광면) 및 시간(셔터 시간)에 대하여, 적분 효과가 있다고도 말할 수 있다.

검출 소자에 축적된 전하는, 회로(도시하지 않음)에 의하여, 전압값으로 변환되고, 전압값은 또한 디지털 데이터 등의 화소값으로 변환되어, 데이터(3)로서 출력된다. 따라서, 이미지 센서로부터 출력되는 개개의 화소값은, 실세계(1)의 정보(신호)의 시간적 및 공간적으로 확대되는 부분을, 셔터 시간의 시간 방향 및 검출 소자의 수광면의 공간 방향에 대해서 적분 한 결과인, 1차원의 공간에 투영한 값을 가진다.

즉, 1개의 화소의 화소값은, F(x, y, t)의 적분으로 표현된다. F(x, y, t)는, 검출 소자의 수광면에 있어서의, 광의 강도의 분포를 나타내는 함수이다. 예를 들면, 화소값 P는, 식(1)로 표현된다.

…(1)

(1)에 있어서, x₁은, 검출 소자의 수광면의 좌측 경계의 공간 좌표(X 좌표)이다. x₂는, 검출 소자의 수광면의 우측 경계의 공간 좌표(X 좌표)이다. 식(1)에 있어서, y₁은, 검출 소자의 수광면의 상측의 경계의 공간 좌표(Y 좌표)이다. y₂는, 검출 소자의 수광면의 하측 경계의 공간 좌표(Y 좌표)이다. 또, t₁은, 입사된 광의 전하에의 변환을 개시한 시각이다. t₂는, 입사된 광의 전하에의 변환을 종료했을 때 시각이다.

그리고, 실제로는, 이미지 센서로부터 출력되는 화상 데이터의 화소값은, 예를 들면 프레임 전체적으로, 그 게인이 보정되어 있다.

화상 데이터의 각 화소값은, 이미지 센서의 각 검출 소자의 수광면에 입사한 광의 적분값이며, 이미지 센서에 입사된 광 중에서, 검출 소자의 수광면보다 미소한 실세계(1)의 광의 파형은, 적분값으로서의 화소값에 숨겨져 버린다.

이하, 본 명세서에 있어서, 소정의 차원을 기준으로 하여 표현되는 신호의 파형을 단지 파형이라고도 한다.

이와 같이, 실세계(1)의 화상은, 화소를 단위로 하여, 공간 방향 및 시간 방향으로 적분되어 버리므로, 화상 데이터에 있어서는, 실세계(1)의 화상의 정상성의 일부가 결락하고, 실세계(1)의 화상의 정상성의 다른 일부 만이 화상 데이터에 포함되게 된다. 또는, 화상 데이터에는, 실세계(1)의 화상의 정상성으로부터 변화해 버린 정상성이 포함되는 경우가 있다.

적분 효과를 가지는 이미지 센서에 의해 촬상된 화상의, 공간 방향의 적분 효과에 대하여 더 설명한다.

도 10은, 화소 D내지 화소 F에 대응하는 검출 소자에 입사되는 광과 화소값의 관계를 설명하는 도면이다. 도 10의 F(x)는, 공간 상(검출 소자 상)의 공간 방향 X의 좌표 x를 변수로 하는, 실세계(1)의 광의 강도의 분포를 나타내는 함수의 예이다. 환언하면, F(x)는, 공간 방향 Y 및 시간 방향으로 일정한 경우의, 실세계(1)의 광의 강도의 분포를 나타내는 함수의 예이다. 도 10에 있어서, L은, 화소 D내지 화소 F에 대응하는 검출 소자의 수광면의 공간 방향 X의 길이를 나타낸다.

1개의 화소의 화소값은, F(x)의 적분으로 표현된다. 예를 들면, 화소 E의 화소값 P는, 식(2)에 의해 나타낸다.

…(2)

식(2)에 있어서, x₁은, 화소 E에 대응하는 검출 소자의 수광면의 좌측 경계의 공간 방향 X의 공간 좌표이다. x₂는, 화소 E에 대응하는 검출 소자의 수광면의 우측 경계의 공간 방향 X의 공간 좌표이다.

마찬가지로, 적분 효과를 가지는 이미지 센서에 의해 촬상된 화상의, 시간 방향의 적분 효과에 대하여 더 설명한다.

도 11은, 시간의 경과와 1개의 화소에 대응하는 검출 소자에 입사되는 광과 화소값의 관계를 설명하는 도면이다. 도 11의 F(t)는, 시각 t를 변수로 하는, 실세계(1)의 광의 강도의 분포를 나타내는 함수이다. 환언하면, F(t)는, 공간 방향 Y 및 공간 방향 X으로 일정한 경우의, 실세계(1)의 광의 강도의 분포를 나타내는 함수의 예이다. ts는, 셔터 시간을 나타낸다.

프레임 #n-1은, 프레임 #n에 대하여 시간적으로 앞선 프레임이며, 프레임 #n+1은, 프레임 #n에 대하여 시간적으로 나중의 프레임이다. 즉, 프레임 #n-1, 프레임 #n, 및 프레임 #n+1은, 프레임 #n-1, 프레임 #n, 및 프레임 #n+1의 순서로 표시된다.

그리고, 도 11에 나타낸 예에 있어서, 셔터 시간 ts와 프레임 간격이 동일하다.

1개의 화소의 화소값은, F(t)의 적분으로 표현된다. 예를 들면, 프레임 #n의 화소의 화소값 P는, 식(3)으로 나타낸다.

…(3)

식(3)에 있어서, t₁은, 입사된 광의 전하에의 변환을 개시한 시각이다. t₂는, 입사된 광의 전하에의 변환을 종료했을 때 시각이다.

이하, 센서(2)에 의한 공간 방향의 적분 효과를 간단히 공간 적분 효과라 하고, 센서(2)에 의한 시간 방향의 적분 효과를 간단히 시간 적분 효과라 한다.

또, 공간 적분 효과 또는 시간 적분 효과를 간단히 적분 효과라고도 한다.

다음에, 적분 효과를 가지는 이미지 센서에 의해 취득된 데이터(3)에 포함되는 데이터 정상성의 예에 대하여 설명한다.

도 12는, 실세계(1)의 선형의 물건(예를 들면, 가는 선)의 화상, 즉 광의 강도의 분포의 예를 나타낸 도면이다. 도 12에 있어서, 도면 중의 상측의 위치는, 광의 강도(레벨)를 나타내고, 도면 중의 우상측의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중의 우측의 위치는, 화상의 공간 방 향의 다른 방향인 공간 방향 Y의 위치를 나타낸다.

실세계(1)의 선형의 물건의 화상에는, 소정의 정상성이 포함된다. 즉, 도 12에서 나타내는 화상은, 길이 방향의 임의의 위치에 있어서, 단면 형상(길이 방향으로 직교하는 방향의 위치의 변화에 대한 레벨의 변화)이 동일한 정상성을 가진다.

도 13은, 도 12에서 나타내는 화상에 대응하는, 실제 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다.

도 14는, 도 13에 나타낸 화상 데이터의 모식도이다.

도 14에서 나타내는 모식도는, 이미지 센서의 화소의 배열(화소의 세로 또는 가로의 배열)과 어긋난 방향으로 뻗는, 각 화소의 수광면의 길이 L보다 짧은 직경의 선형의 물건의 화상을, 이미지 센서로 촬상하여 얻어진 화상 데이터의 모식도이다. 도 14에서 나타내는 화상 데이터가 취득되었을 때 이미지 센서에 입사된 화상은, 도 12의 실세계(1)의 선형의 물건의 화상이다.

도 14에 있어서, 도면 중의 상측의 위치는, 화소값을 나타내고, 도면 중의 우상측의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중의 우측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다. 도 14에 있어서의 화소값을 나타내는 방향은, 도 12에 있어서의 레벨의 방향으로 대응하고, 도 14에 있어서의 공간 방향 X, 및 공간 방향 Y는, 도 12에 있 어서의 방향과 동일하다.

각 화소의 수광면의 길이 L보다 짧은 직경의 선형의 물체의 화상을, 이미지 센서로 촬상한 경우, 촬상의 결과 얻어지는 화상 데이터에 있어서, 선형의 물체는, 모식적으로, 예를 들면, 경사지고 어긋나서 배열되는, 복수개의 소정의 길이의 원호 형상(어묵형)으로 표현된다. 각 원호 형상은, 대략 동일한 형상이다. 1개의 원호 형상은, 세로로 1열의 화소 위, 또는 가로로 1열의 화소 위에 형성된다. 예를 들면, 도 14에 있어서의 1개의 원호 형상은, 세로로 1열의 화소의 위에 형성된다.

이와 같이, 예를 들면, 이미지 센서로 촬상되어 취득된 화상 데이터에 있어서는, 실세계(1)의 선형의 물체의 화상이 가지고 있던, 길이 방향의 임의의 위치에 있어서, 공간 방향 Y에 있어서의 단면 형상이 동일하다는 정상성이 없어져 있다. 또, 실세계(1)의 선형의 물체의 화상이 가지고 있던 정상성은, 세로로 1열의 화소 위, 또는 가로로 1열의 화소 위에 형성된, 동일 형상인 원호 형상이 일정한 간격으로 배열되는 정상성이 변화하고 있다고 할 수 있다.

도 15는, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 것의 실세계(1)의 화상, 즉 광의 강도의 분포의 예를 나타낸 도면이다. 도 15에 있어서, 도면 중의 상측 위치는, 광의 강도(레벨)를 나타내고, 도면 중의 우상측의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중의 우 측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다.

배경과는 상이한 색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상에는, 소정의 정상성이 포함된다. 즉, 도 15에서 나타내는 화상은, 에지의 길이 방향의 임의의 위치에 있어서, 단면 형상(에지에 직교하는 방향의 위치의 변화에 대한 레벨의 변화)이 동일하다는 정상성을 가진다.

도 16은, 도 15에서 나타내는 화상에 대응하는, 실제의 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다. 도 16에 나타낸 바와 같이, 화상 데이터는, 화소를 단위로 한 화소값으로 이루어지므로, 계단형이 된다.

도 17은, 도 16에 나타낸 화상 데이터의 모식도이다.

도 17에 나타낸 모식도는, 이미지 센서의 화소의 배열(화소의 세로 또는 가로의 배열)과 어긋난 방향으로 에지가 연장되는, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 것의 실세계(1)의 화상을, 이미지 센서로 촬상하여 얻어진 화상 데이터의 모식도이다. 도 17에 나타낸 화상 데이터가 취득되었을 때 이미지 센서에 입사된 화상은, 도 15에서 나타내는, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 것의 실세계(1)의 화상이다.

도 17에 있어서, 도면 중의 상측의 위치는, 화소값을 나타내고, 도면 중의 우상측의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중의 우측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다. 도 17에 있어서의 화소값을 나타낸 방향은, 도 15에 있어서의 레벨의 방향으로 대응하고, 도 17에 있어서의 공간 방향 X, 및 공간 방향 Y는, 도 15에 있어서의 방향과 같다.

배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 것의 실세계(1)의 화상을, 이미지 센서로 촬상한 경우, 촬상의 결과 얻어지는 화상 데이터에 있어서, 직선형의 에지는, 모식적으로, 예를 들면, 경사지게 어긋나게 배열된, 복수개의 소정의 길이의 멈춤쇠(pawl) 형상으로 표현된다. 각 멈춤쇠 형상은, 대략 동일한 형상이다. 1개의 멈춤쇠 형상은, 세로로 1열의 화소 위, 또는 가로로 1열의 화소의 위에 형성된다. 예를 들면, 도 17에 있어서, 1개의 멈춤쇠 형상은, 세로로 1열의 화소 상에 형성된다.

이와 같이, 예를 들면, 이미지 센서로 촬상되어 취득된 화상 데이터에 있어서는, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이 가지고 있던, 에지의 길이 방향의 임의의 위치에 있어서, 단면 형상이 동일한 정상성이 없어진다. 또, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이 가지고 있던 정상성은, 세로로 1열의 화소 위, 또는 가로로 1열의 화소 위에 형성된, 동일 형상인 멈춤쇠 형상이 일정한 간격으로 배열되는 정상성이 변화하고 있다고 할 수 있다.

데이터 정상성 검출부(101)는, 이와 같은, 예를 들면, 입력 화상인 데이터 (3)가 가지는 데이터 정상성을 검출한다. 예를 들면, 데이터 정상성 검출부(101)는, 소정의 차원의 방향으로 일정한 특징을 가지는 영역을 검출함으로써, 데이터 정상성을 검출한다. 예를 들면, 데이터 정상성 검출부(101)는, 도 14에서 나타내는, 동일한 원호 형상이 일정한 간격으로 배열되는 영역을 검출한다. 또, 예를 들면, 데이터 정상성 검출부(101)는, 도 17에 나타내는, 동일한 멈춤쇠 형상이 일정한 간격으로 배열되는 역을 검출한다.

또, 데이터 정상성 검출부(101)는, 동일한 형상의 배열 방법을 나타내는, 공간 방향의 각도(기울기)를 검출함으로써, 데이터 정상성을 검출한다.

또, 예를 들면, 데이터 정상성 검출부(101)는, 공간 방향 및 시간 방향의 동일한 형상의 배열 법을 나타내는, 공간 방향 및 시간 방향의 각도(움직임)을 검출함으로써, 데이터 정상성을 검출한다.

또한, 예를 들면, 데이터 정상성 검출부(101)는, 소정의 차원의 방향으로 일정한 특징을 가지는 영역의 길이를 검출함으로써, 데이터 정상성을 검출한다.

이하, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이 센서(2)에 의해 투영된 데이터(3)의 부분을 2치 에지라고도 한다.

다음에, 본 발명의 원리를 보다 구체적으로 설명한다.

도 18에 나타낸 바와 같이, 종래의 신호 처리에 있어서는, 데이터(3)로부터, 예를 들면, 원하는 고해상도 데이터(181)가 생성된다.

이에 비해, 본 발명에 관한 신호 처리에 있어서는, 데이터(3)로부터, 실세계(1)가 추정되어, 추정된 결과에 따라, 고해상도 데이터(181)가 생성된다. 즉, 도 19에서 나타낸 바와 같이, 실세계(1)가, 데이터(3)로부터 추정되어, 고해상도 데이터(181)가, 데이터(3)를 고려하여, 추정된 실세계(1)로부터 고해상도 데이터(181)가 생성된다.

실세계(1)로부터 고해상도 데이터(181)를 생성하기 위해서는, 실세계(1)와 데이터(3)의 관계를 고려할 필요가 있다. 예를 들면, 실세계(1)가, CCD인 센서(2)에 의하여, 데이터(3)에 투영되면 어떻게 되는지가 고려된다.

CCD인 센서(2)는, 전술한 바와 같이, 적분 특성을 가진다. 즉, 데이터(3)의 하나의 단위(예를 들면, 화소값)는, 실세계(1)의 신호를 센서(2)의 검출 소자(예를 들면, CCD)의 검출 영역(예를 들면, 수광면)으로 적분함으로써 산출할 수 있다.

이것을 고해상도 데이터(181)에 대하여 적용시키면, 가상적인 고해상도의 센서가 실세계(1)의 신호를 데이터(3)에 투영하는 처리를, 추정된 실세계(1)에 적용함으로써, 고해상도 데이터(181)를 얻을 수 있다.

환언하면, 도 20에 나타낸 바와 같이, 데이터(3)로부터 실세계(1)의 신호를 추정할 수 있으면, 실세계(1)의 신호를, 가상적인 고해상도의 센서의 검출 소자의 검출 영역마다(시공간 방향으로) 적분함으로써, 고해상도 데이터(181)에 포함되는 1개의 값을 얻을 수 있다.

예를 들면, 센서(2)의 검출 소자의 검출 영역의 크기와 비교하여, 실세계(1)의 신호의 변화가, 더 작으면, 데이터(3)는, 실세계(1)의 신호의 작은 변화를 나타낼 수가 없다. 그래서, 데이터(3)로부터 추정된 실세계(1)의 신호를, 실세계(1)의 신호의 변화와 비교하여, 더 작은 영역마다(시공간 방향으로) 적분함으로써, 실세계(1)의 신호의 작은 변화를 나타낸 고해상도 데이터(181)를 얻을 수 있다.

즉, 가상적인 고해상도 센서의 각 검출 소자에 대하여, 추정된 실세계(1)의 신호를 검출 영역에서 적분함으로써, 고해상도 데이터(181)를 얻을 수 있다.

본 발명에 있어서, 화상 생성부(103)는, 예를 들면, 가상적인 고해상도 센서의 각 검출 소자의 시공간 방향의 영역에서, 추정된 실세계(1)의 신호를 적분함으로써, 고해상도 데이터(181)를 생성한다.

다음에, 데이터(3)로부터, 실세계(1)를 추정하기 위하여, 본 발명에 있어서는, 데이터(3)와 실세계(1)의 관계, 정상성, 및 데이터(3)에 있어서의 공간 혼합이 이용된다.

여기서, 혼합이란, 데이터(3)에 있어서, 실세계(1)에 있어서의 2개의 물체에 대한 신호가 혼합되어 1개의 값이 되는 것을 말한다.

공간 혼합이란, 센서(2)의 공간 적분 효과에 의한, 2개의 물체에 대한 신호의 공간 방향의 혼합을 말한다.

실세계(1) 자체는, 무한개의 사상으로 이루어지고, 따라서, 실세계(1) 자체를, 예를 들면, 수식으로 표현하기 위해서는, 무한개의 변수가 필요해진다. 데이터(3)로부터, 실세계(1)의 모든 사상을 예측할 수 없다.

마찬가지로, 데이터(3)로부터, 실세계(1)의 신호의 모두를 예측할 수 없다.

그래서, 도 21에 나타낸 바와 같이, 본 발명에 있어서는, 실세계(1)의 신호 중, 정상성을 가지고, 함수 f(x, y, z, t)로 나타낼 수 있는 부분에 주목하고, 함수 f(x, y, z, t)로 나타낼 수 있는, 정상성을 가지는 실세계(1)의 신호 부분이, N개의 변수로 표현되는 모델(161)로 근사된다. 그리고, 도 22에서 나타낸 바와 같이, 모델(161)이, 데이터(3) 중의, M개의 데이터(162)로부터 예측된다.

M개의 데이터(162)로부터 모델(161)의 예측을 가능하게 하기 위해서는, 제 1에, 모델(161)을, 정상성에 따라, N개의 변수로 나타내고, 제 2에, 센서(2)의 적분 특성에 따라, N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)의 관계를 나타내는, N개의 변수를 사용한 식을 세우는 것이 필요하다. 모델(161)이, 정상성에 따라, N개의 변수로 표현되어 있으므로, N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)의 관계를 나타내는, N개의 변수를 사용한 식은, 정상성을 가지는 실세계(1)의 신호의 부분과 데이터 정상성을 가지는 데이터(3)의 부분과의 관계를 기술하고 있다고 할 수 있다.

환언하면, N개의 변수로 표현되는 모델(161)로 근사되는, 정상성을 가지는 실세계(1)의 신호의 부분은, 데이터(3)에 있어서, 데이터 정상성을 발생시킨다.

데이터 정상성 검출부(101)는, 정상성을 가지는 실세계(1)의 신호 부분에 의하여, 데이터 정상성이 생긴 데이터(3)의 부분, 및 데이터 정상성이 생긴 부분의 특징을 검출한다.

예를 들면, 도 23에 나타낸 바와 같이, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상에 있어서, 도 23중 A에서 나타내는, 주목하는 위치에서의 에지는, 기울기를 가지고 있다. 도 23의 B의 화살표는, 에지의 경사를 나타낸다. 소정의 에지의 기울기는, 기준이 되는 축에 대하는 각도 또는 기준이 되는 위치에 대한 방향으로 나타낼 수가 있다. 예를 들면, 소정의 에지의 기울기는, 공간 방향 X의 좌표 축과 에지의 각도로 나타낼 수가 있다. 예를 들면, 소정의 에지의 기울기는, 공간 방향 X의 길이 및 공간 방향 Y의 길이에서 나타내는 방향으로 나타낼 수 있다.

배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이, 센서(2)에 의해 취득되어, 데이터(3)가 출력되었을 때, 데이터(3)에 있어서, 실세계(1)의 화상에 있어서의, 에지의 주목하는 위치 A에 대한, 도 23중 A'에서 나타낸 위치에, 에지에 대응하는 멈춤쇠 형상이 배열되어, 실세계(1)의 화상의 에지의 기울기에 대응하는, 도 23중 B'에서 나타내는 기울기의 방향으로, 에지에 대응하는 멈춤쇠 형상이 배열된다.

N개의 변수로 표현되는 모델(161)은, 이와 같은, 데이터(3)에 있어서, 데이터 정상성을 생기게 하는, 실세계(1)의 신호의 부분을 근사한다.

N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)의 관계를 나타내는, N개의 변수를 사용한 식을 세울 때, 데이터(3)에 있어서, 데이터 정상성이 생긴 부분의 값을 이용한다.

이 경우에 있어서, 도 24에서 나타내는, 데이터(3)에 있어서, 데이터 정상성이 생기고, 혼합 영역에 속하는 값에 주목하여, 실세계(1)의 신호를 적분한 값이, 센서(2)의 검출 소자가 출력하는 값과 동일한 것으로 하여, 식을 세울 수 있다. 예를 들면, 데이터 정상성이 생기고 있는, 데이터(3)에 있어서의 복수개의 값에 대하여, 복수개의 식을 세울 수 있다.

도 24에 있어서, A는, 에지의 주목하는 위치를 나타내고, A'는, 실세계(1)의 화상에 있어서의, 에지의 주목하는 위치(A)에 대한, 화소(의 위치)를 나타낸다.

여기서, 혼합 영역은, 데이터(3)에 있어서, 실세계(1)에 있어서의 2개의 물체에 대한 신호가 혼합되어 1개의 값으로 되어 있는 데이터의 영역을 말한다. 예를 들면, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상에 대한 데이터(3)에 있어서, 직선형의 에지를 가지는 것에 대한 화상, 및 배경에 대한 화상이 적분되어 있는 화소값은, 혼합 영역에 속한다.

도 25는, 식을 세울 경우에, 실세계(1)에 있어서의 2개의 물체에 대한 신호 및 혼합 영역에 속하는 값을 설명하는 도면이다.

도 25의 좌측은, 센서(2)의 하나의 검출 소자의 검출 영역에서 취득되는, 공간 방향 X 및 공간 방향 Y에 소정의 크기로 확대되는, 실세계(1)에 있어서의 2개의 물체에 대한 실세계(1)의 신호를 나타낸다. 도 25의 우측은, 도 25의 좌측에 나타낸 실세계(1)의 신호가 센서(2)의 하나의 검출 소자에 의해 투영된, 데이터(3)의 하나의 화소의 화소값 P를 나타낸다. 즉, 센서(2)의 하나의 검출 소자에 의해 취득된, 공간 방향 X 및 공간 방향 Y에 소정의 크기로 확대되는, 실세계(1)에 있어서의 2개의 물체에 대한 실세계(1)의 신호가 투영된, 데이터(3)의 하나의 화소의 화소값 P를 나타낸다.

도 25의 L는, 실세계(1)에 있어서의 1개의 물체에 대한, 도 25의 흰색 부분의 실세계(1)의 신호의 레벨을 나타낸다. 도 25의 R은, 실세계(1)에 있어서의 다른 1개의 물체에 대한, 도 25의 사선으로 표현되는 부분의 실세계(1)의 신호 레벨을 나타낸다.

여기서, 혼합비 α는, 센서(2)의 하나의 검출 소자의, 공간 방향 X 및 공간 방향 Y로 소정의 크기로 확대되는 검출 영역에 입사된, 2개의 물체에 대한 신호(의 면적)의 비율을 나타낸다. 예를 들면, 혼합비 α는, 센서(2)의 하나의 검출 소자의 검출 영역의 면적에 대한, 공간 방향 X 및 공간 방향 Y로 소정의 크기로 확대되는, 센서(2)의 하나의 검출 소자의 검출 영역에 입사된, 레벨 L의 신호의 면적의 비율을 나타낸다.

이 경우에 있어서, 레벨 L, 레벨 R, 및 화소값 P의 관계는, 식(4)에서 나타낼 수가 있다.

α×L + (1 - α)×R = P …(4)

그리고, 레벨 R은, 주목하고 있는 화소의 우측에 위치하고 있는, 데이터(3)의 화소의 화소값으로 할 수 있는 경우가 있고, 레벨 L은, 주목하고 있는 화소의 좌측에 위치하고 있는, 데이터(3)의 화소값으로 할수 있는 경우가 있다.

또, 혼합비 α 및 혼합 영역은, 공간 방향과 마찬가지로, 시간 방향을 고려할 수 있다. 예를 들면, 센서(2)에 대하여 촬상의 대상이 되는 실세계(1)의 물체가 이동하고 있을 때, 시간 방향으로, 센서(2)의 하나의 검출 소자의 검출 영역에 입사되는, 2개의 물체에 대한 신호의 비율은 변화한다. 센서(2)의 하나의 검출 소자의 검출 영역에 입사된, 시간 방향으로 비율이 변화하는, 2개의 물체에 대한 신호는, 센서(2)의 검출 소자에 의하여, 데이터(3)의 하나의 값에 투영된다.

센서(2)의 시간 적분 효과에 의한, 2개의 물체에 대한 신호의 시간 방향의 혼합을 시간 혼합이라고 한다.

데이터 정상성 검출부(101)는, 예를 들면, 실세계(1)에 있어서의 2개의 물체에 대한 실세계(1)의 신호가 투영된, 데이터(3)에 있어서의 화소의 영역을 검출한다. 데이터 정상성 검출부(101)는, 예를 들면, 실세계(1)의 화상의 에지의 기울기 에 대응하는, 데이터(3)에 있어서의 기울기를 검출한다.

그리고, 실세계 추정부(102)는, 예를 들면, 데이터 정상성 검출부(101)에 의해 검출된, 소정의 혼합비 α를 가지는 화소의 영역, 및 영역의 기울기에 따라서, N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)의 관계를 나타내는, N개의 변수를 사용한 식을 세우고, 식을 풀어서, 실세계(1)의 신호를 추정한다.

또한, 구체적인 실세계(1)의 추정에 대하여 설명한다.

함수 F(x, y, z, t)로 표현되는 실세계의 신호 중, 공간 방향 Z의 단면(센서(2)의 위치)에 있어서의 함수 F(x, y, t)로 표현되는 실세계의 신호를, 공간 방향 X에 있어서의 위치 x, 공간 방향 Y에 있어서의 위치 y, 및 시각 t로 정해지는 근사 함수 f(x, y, t)로 근사하는 것을 생각한다.

여기서, 센서(2)의 검출 영역은, 공간 방향 X 및 공간 방향 Y로 확대된다. 환언하면, 근사 함수 f(x, y, t)는, 센서(2)에 의해 취득되는, 공간 방향 및 시간 방향으로 확대되는 실세계(1)의 신호를 근사하는 함수이다.

센서(2)에 의한 실세계(1)의 신호의 투영에 의하여, 데이터(3)의 값P(x, y, t)를 얻을 수 있다고 가정한다. 데이터(3)의 값P(x, y, t)는, 예를 들면, 이미지 센서인 센서(2)가 출력하는, 화소값이다.

여기서, 센서(2)에 의한 투영을 식으로 정할 수 있는 경우, 근사 함수 f(x, y, t)를 투영하여 얻어진 값을 투영 함수 S(x, y, t)로 나타낼 수가 있다.

투영 함수 S(x, y, t)를 구하기 위해서는, 이하와 같은 문제가 있다.

제 1에, 일반적으로, 실세계(1)의 신호를 나타내는 함수 F(x, y, z, t)는, 무한 차수의 함수가 될 수 있다.

제 2에, 비록, 실세계의 신호를 함수로서 기술할 수 있다하더라도, 센서(2)의 투영을 통한, 투영 함수 S(x, y, t)를 정하는 것은, 일반적으로는 할 수 없다. 즉, 센서(2)에 의한 투영 동작, 바꾸어 말하면 센서(2)의 입력 신호와 출력 신호의 관계를 모르기 때문에, 투영 함수 S(x, y, t)를 정할 수 없다.

제1 문제점에 대하여, 실세계(1)의 신호를 근사하는 함수 f(x, y, t)를 기술 가능한 함수(예를 들면, 유한 차수의 함수)인 함수 f_i(x, y, t)와 변수 w_i를 곱해서 더함으로써 표현하는 것을 생각한다.

또, 제2 문제점에 대하여, 센서(2)에 의한 투영을 정식화함으로써, 함수 fi(x, y, t)의 기술로부터, 함수 Si(x, y, t)를 기술할 수 있다.

즉, 실세계(1)의 신호를 근사하는 함수 f(x, y, t)를 함수 fi(x, y, t) 및 변수 w_i를 곱하고 더해서 표현하면, 식(5)를 얻을 수 있다.

…(5)

예를 들면, 식(6)에서 나타낸 바와 같이, 센서(2)의 투영을 정식화함으로써, 식(5)로부터, 데이터(3)와 실세계의 신호의 관계를 식(7)과 같이 정식화할 수 있다.

…(6)

…(7)

식(7)에 있어서, j는, 데이터의 인덱스이다.

식(7)의 N개의 변수 w_i(i =1 내지 N)가 공통인 M개의 데이터 군(j =1 내지 M)이 존재하면, 식(8)을 만족시키므로, 데이터(3)로부터 실세계의 모델(161)을 구할 수 있다.

N ≤ M …(8)

N은, 실세계(1)를 근사하는 모델(161)을 표현하는 변수의 개수이다. M는, 데이터(3)에 포함되는 데이터(162)의 개수이다.

실세계(1)의 신호를 근사하는 함수 f(x, y, t)를 식(5)에서 나타냄으로써, w_i로서의 변수의 부분을 독립시킬 수 있다. 이때, i는, 그대로 변수의 개수를 나타 내게 된다. 또, f_i에서 나타내는 함수의 형태를 독립시킬 수 있어 f_i로서 원하는 함수를 이용할 수 있게 된다.

따라서, 함수 f_i의 형태에 의존하지 않고, 변수 w_i의 개수 N을 정의할 수 있고, 변수 w_i의 개수 N과 데이터의 개수 M의 관계에 의해 변수 w_i를 구할 수 있다.

즉, 이하의 3개를 사용함으로써, 데이터(3)로부터 실세계(1)를 추정할 수 있게 된다.

제 1에, N개의 변수를 정한다, 즉, 식(5)를 정한다. 이것은, 정상성을 사용하여 실세계(1)를 기술함으로써 가능하게 된다. 예를 들면, 단면이 다항식으로 표현되고, 같은 단면 형상이 일정 방향으로 계속되는, 모델(161)에 의해 실세계(1)의 신호를 기술할 수 있다.

제 2에, 예를 들면, 센서(2)에 의한 투영을 정식화하여, 식(7)을 기술한다. 예를 들면, 실세계(2)의 신호의 적분을 행한 결과가 데이터(3)인 것으로 정식화한다.

제 3에, M개의 데이터(162)를 모아서, 식(8)을 만족시킨다. 예를 들면, 데이터 정상성 검출부(101)에 의해 검출된, 데이터 정상성을 가지는 영역으로부터, 데이터(162)가 모아진다. 예를 들면, 정상성의 일례인, 일정한 단면이 계속되는 영역의 데이터(162)가 모아진다.

이와 같이, 식(5)에 의하여, 데이터(3)와 실세계(1)의 관계를 기술하고, M개의 데이터(162)를 모아서, 식(8)을 만족시킴으로써, 실세계(1)를 추정할 수 있다.

보다 구체적으로는, N = M 일 때, 변수의 개수 N과 식의 개수 M이 같으므로, 연립 방정식을 세위서, 변수 w_i를 구할 수 있다.

또, N ＜ M 일 때, 다양한 해법을 적용할 수 있다. 예를 들면, 최소 자승법에 의하여, 변수 w_i를 구할 수 있다.

여기서, 최소 자승법에 따르는 해법에 대하여, 상세하게 기재한다.

먼저, 식(7)에 따라, 실세계(1)로부터 데이터(3)를 예측하는 식(9)를 나타낸다.

…(9)

식(9)에 있어서, P'_j(x_j, y_j, t_j)는, 예측값이다.

예측값 P'와 실측값 P의 차분 제곱합 E는, 식(10)으로 나타된다.

…(10)

차분 제곱합 E가 최소가 되도록, 변수 w_i가 구해진다. 따라서, 각 변수 w_k에 의한 식(10)의 편미분값은 0이 된다. 즉, 식(11)이 성립된다.

…(11)

식(11)에 의해 식(12)가 도출된다.

…(12)

식(12)가 K = 1 내지 N에서 성립될 때, 최소 자승법에 따르는 해를 얻을 수 있다. 이 때의 정규 방정식은, 식(13)에서 나타낸다.

…(13)

단, 식(13)에 있어서, S_i(x_j, y_j, t_j)는, S_i(j)로 기술한다.

…(14)

…(15)

…(16)

식(14) 내지 식(16)으로부터, 식(13)은, S_MATW_MAT = P_MAT로 나타낼 수 있다.

식(13)에 있어서, S_i는, 실세계(1)의 투영을 나타낸다. 식(13)에 있어서, P_j는, 데이터(3)를 나타낸다. 식(13)에 있어서, w_i는, 실세계(1)의 신호의 특징을 기술하고, 구하려고 하는 변수이다.

따라서, 식(13)에 데이터(3)를 입력하고, 행렬 해법 등에 의해 W_MAT를 구함으로써, 실세계(1)를 추정할 수 있게 된다. 즉, 식(17)을 연산함으로써, 실세계(1)를 추정할 수 있게 된다.

W_MAT = S_MAT - 1P_MAT …(17)

그리고, S_MAT가 정칙이 아닌 경우, S_MAT의 전치 행렬을 이용하여, W_MAT를 구할 수 있다.

실세계 추정부(102)는, 예를 들면, 식(13)에 데이터(3)를 입력하고, 행렬 해법 등에 의해 W_MAT를 구함으로써, 실세계(1)를 추정한다.

여기서, 더 구체적인 예를 설명한다. 예를 들면, 실세계(1)의 신호의 단면 형상, 즉 위치의 변화에 대한 레벨의 변화를, 다항식으로 기술한다. 실세계(1)의 신호의 단면 형상이 일정하고, 실세계(1)의 신호의 단면이 등속으로 이동한다고 가정한다. 그리고, 센서(2)에 의한 실세계(1)의 신호로부터 데이터(3)로의 투영을, 실세계(1)의 신호의 시공간 방향의 3차원으로 적분함으로써 정식화한다.

실세계(1)의 신호의 단면 형상이, 등속으로 이동한다는 가정으로부터, 식(18) 및 식(19)를 얻을 수 있다.

…(18)

…(19)

여기서, v_x 및 v_y는, 일정하다.

실세계(1)의 신호의 단면 형상은, 식(18) 및 식(19)을 사용함으로써, 식(20) 으로 표현된다.

f(x', y')=f(x + v_xt, y + v_yt)…(20)

센서(2)에 의한 실세계(1)의 신호로부터 데이터(3)로의 투영을, 실세계(1)의 신호의 시공간 방향의 3차원으로 적분하여 정식화하면, 식(21)을 얻을 수 있다.

…(21)

식(21)에 있어서, S(x, y, t)는, 공간 방향 X에 대하여, 위치 x_s로부터 위치 x_e까지, 공간 방향 Y에 대하여, 위치 y_s로부터 위치 y_e까지, 시간 방향 t에 대하여, 시각 t_s로부터 시각 t_e까지의 영역, 즉 시공간의 직육면체로 표현되는 영역의 적분값을 나타낸다.

식(21)을 정할 수 있는 원하는 함수 f(x', y')를 사용하여, 식(13)을 풀면, 실세계(1)의 신호를 추정할 수 있다.

이하에서는, 함수 f(x', y')의 일례로서, 식(22)에 나타낸 함수를 사용하기로 한다

f(x', y') = w₁x' + w₂y' + w₃

=w₁(x + v_xt) + w₂(y + v_yt) + w₃…(22)

즉, 실세계(1)의 신호가, 식(18), 식(19), 및 식(22)로 표현되는 정상성을 포함한다고 가정하고 있다. 이것은, 도 26에 나타낸 바와 같이, 일정한 형상의 단면이, 시공간 방향으로 이동하고 있는 것을 나타낸다.

식(21)에, 식(22)을 대입함으로써, 식(23)을 얻을 수 있다.

…(23)

단,

Volume = (x_e-x_s)(y_e-y_s)(t_e-t_s)

S₀(x, y, t) = Volume/2 × (x_e + x_s + v_x(t_e + t_s))

S₁(x, y, t) = Volume/2 ×(x_e + y_s + v_y(t_e + t_s))

S₂(x, y, t) = 1

이다.

도 27은, 데이터(3)로부터 추출되는, M개의 데이터(162)의 예를 나타낸 도면이다. 예를 들면, 27개의 화소값이, 데이터(162)로서 추출되어, 추출된 화소값이, P_j(x, y, t)가 된다. 이 경우, j는, 0 내지 26이다.

도 27에 나타낸 예에 있어서, n인 시각 t의 주목하는 위치에 대응하는 화소의 화소값이 P₁₃(x, y, t)이며, 데이터 정상성을 가지는 화소의 화소값이 배열 방향(예를 들면, 데이터 정상성 검출부(101)에 의해 검출된, 같은 형상인 멈춤쇠 형상의 배열 방향)이, P₄(x, y, t), P13(x, y, t), 및 P₂₂(x, y, t)를 연결하는 방향일 때, n인 시각 t에 있어서의, 화소값 P₉(x, y, t) 내지 P₁₇(x, y, t), n보다 시간적으로 앞선, n-1인 시각 t에 있어서의, 화소값 P₀(x, y, t) 내지 P₈(x, y, t), 및 n보다 시간적으로 나중인, n+1인 시각 t에 있어서의, 화소값 P₁₈(x, y, t) 내지 P₂₆(x, y, t)이 추출된다.

여기서, 센서(2)인 이미지 센서로부터 출력된, 데이터(3)인 화소값이 취득된 영역은, 도 28에 나타낸 바와 같이, 시간 방향 및 2차원 공간 방향으로 확대된다. 그래서, 예를 들면, 도 29에서 나타낸 바와 같이, 화소에 대응하는 직육면체(화소값이 취득된 영역)의 중심을, 화소의 시공간 방향의 위치로서 사용할 수 있다. 도 29의 원형은, 중심을 나타낸다.

27개의 화소값 P₀(x, y, t) 내지 P₂₆(x, y, t), 및 식(23)으로부터, 식(13)을 생성하고, W를 구함으로써, 실세계(1)를 추정하는 것이 가능하게 된다.

이와 같이, 실세계 추정부(102)는, 예를 들면, 27의 화소값 P₀(x, y, t) 내지 P₂₆(x, y, t), 및 식(23)으로부터, 식(13)을 생성하고, W를 구함으로써, 실세계(1)의 신호를 추정한다.

그리고, 함수 f_i(x, y, t)로서 가우스 함수, 또는 시그모이드 함수(Sigmoid Function) 등을 이용할 수 있다.

도 30 내지 도 34를 참조하여, 추정된 실세계(1)의 신호로부터, 데이터(3)에 대응하는, 보다 고해상도의 고해상도 데이터(181)를 생성하는 처리의 예에 대하여 설명한다.

도 30에 나타낸 바와 같이, 데이터(3)는, 시간 방향 및 2차원의 공간 방향으로 실세계(1)의 신호가 적분된 값을 가진다. 예를 들면, 센서(2)인 이미지 센서로부터 출력된, 데이터(3)인 화소값은, 검출 소자에 입사된 광인, 실세계(1)의 신호가, 시간 방향으로, 검출 시간인 셔터 시간으로 적분되어 공간 방향으로, 검출 소자의 수광 영역에서 적분된 값을 가진다.

이에 비해, 도 31에 나타낸 바와 같이, 공간 방향으로부터 해상도가 높은 고해상도 데이터(181)는, 추정된 실세계(1)의 신호를, 시간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 시간과 같은 시간으로 적분하는 동시에 공간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 소자의 수광 영역과 비교하여, 보다 좁은 영역에서 적분함으로써, 생성된다.

그리고, 공간 방향으로 보다 해상도가 높은 고해상도 데이터(181)를 생성하는 경우에 있어서, 추정된 실세계(1)의 신호가 적분되는 영역은, 데이터(3)를 출력한 센서(2)의 검출 소자의 수광 영역과 전혀 관계없이 설정할 수 있다. 예를 들면, 고해상도 데이터(181)에, 데이터(3)에 대하여, 공간 방향으로 정수배의 해상도를 갖게 하는 것은 물론, 5/3배 등, 데이터(3)에 대하여, 공간 방향으로 유리수배의 해상도를 갖게 할 수 있다.

또, 도 32에서 나타낸 바와 같이, 시간 방향으로 보다 해상도가 높은 고해상도 데이터(181)는, 추정된 실세계(1)의 신호를, 공간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 소자의 수광 영역과 같은 영역에서 적분하는 동시에 시간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 시간과 비교하여, 보다 짧은 시간에 적분함으로써, 생성된다.

그리고, 시간 방향으로 보다 해상도가 높은 고해상도 데이터(181)를 생성하는 경우에 있어서, 추정된 실세계(1)의 신호가 적분되는 시간은, 데이터(3)를 출력한 센서(2)의 검출 소자의 셔터 시간과 전혀 관계없이 설정할 수 있다. 예를 들면, 고해상도 데이터(181)에, 데이터(3)에 대하여, 시간 방향으로 정수배의 해상도 를 갖게 하는 것은 물론, 7/4배 등, 데이터(3)에 대하여, 시간 방향으로 유리수배의 해상도를 갖게 할 수 있다.

도 33에 나타낸 바와 같이, 움직임의 흔들림을 제거한 고해상도 데이터(181)는, 추정된 실세계(1)의 신호를, 시간 방향으로 적분하지 않고, 공간 방향으로만 적분함으로써, 생성된다.

또한, 도 34에서 나타낸 바와 같이, 시간 방향 및 공간 방향으로 보다 해상도가 높은 고해상도 데이터(181)는, 추정된 실세계(1)의 신호를, 공간 방향으로, 데이터(3)을 출력한 센서(2)의 검출 소자의 수광 영역과 비교하여, 보다 좁은 영역에서 적분하는 동시에 시간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 시간과 비교하여, 보다 짧은 시간에 적분함으로써, 생성된다.

이 경우에 있어서, 추정된 실세계(1)의 신호가 적분되는 영역 및 시간은, 데이터(3)를 출력한 센서(2)의 검출 소자의 수광 영역 및 셔터 시간과 전혀 관계없이 설정할 수 있다.

이와 같이, 화상 생성부(103)는, 예를 들면, 추정된 실세계(1)의 신호를 원하는 시공간의 영역에서 적분함으로써, 시간 방향, 또는 공간 방향으로, 보다 고해상도의 데이터를 생성한다.

이상과 같이, 실세계(1)의 신호를 추정함으로써, 실세계(1)의 신호에 대하여 보다 정확하며, 시간 방향, 또는 공간 방향으로, 보다 고해상도의 데이터를 생성할 수 있다.

도 35내지 도 39를 참조하여, 본 발명에 관한 신호 처리 장치(4)의, 입력 화상의 예와 처리의 결과의 예를 나타낸다.

도 35는, 입력 화상의 원래의 화상을 나타내는 도면이다. 도 36은, 입력 화상의 예를 나타낸 도면이다. 도 36에 나타낸 입력 화상은, 도 35에서 나타내는 화상의 2 x 2의 화소로 이루어지는 블록에 속하는 화소의 화소값의 평균값을, 1개의 화소의 화소값으로서 생성된 화상이다. 즉, 입력 화상은, 도 35에서 나타내는 화상에, 센서의 적분 특성을 모방한, 공간 방향의 적분을 적용함으로써 얻어진 화상이다.

도 35에서 나타내는 원래의 화상에 있어서, 상하 방향으로부터, 대략 5도 시계 방향으로 경사진 가는 선의 화상이 포함되어 있다. 마찬가지로, 도 36에 나타낸 입력 화상에 있어서, 상하 방향으로부터, 대략 5도 시계 방향으로 경사진 가는 선의 화상이 포함되어 있다.

도 37은, 도 36에 나타낸 입력 화상에, 종래의 클래스 분류 적응 처리를 적용하여 얻어진 화상을 나타낸 도면이다. 여기서, 클래스 분류 적응 처리는, 클래스 분류 처리와 적응 처리로 이루어지고, 클래스 분류 처리에 의하여, 데이터를, 그 성질에 따라서 클래스를 나누고, 각 클래스마다 적응 처리를 실시하는 것이다. 적응 처리에서는, 예를 들면, 저화질 또는 표준 화질의 화상이, 소정의 탭 계수를 사용하여 맵핑(사상)됨으로써, 고화질의 화상으로 변환된다.

도 37에 나타낸 화상에 있어서, 가는 선의 화상이, 도 35의 원래의 화상과는 상이하게 되어 있는 것을 알 수 있다.

도 38은, 데이터 정상성 검출부(101)에 의한, 도 36의 예에서 나타내는 입력 화상으로부터 가는 선의 영역을 검출한 결과를 나타낸 도면이다. 도 38에 있어서, 흰색 영역은, 가는 선의 영역, 즉, 도 14에서 나타내는 원호 형상이 배열되어 있는 영역을 나타낸다.

도 39는, 도 36에 나타낸 화상을 입력 화상으로서, 본 발명에 관한 신호 처리 장치(4)로부터 출력된 출력 화상의 예를 나타낸 도면이다. 도 39에서 나타낸 바와 같이, 본 발명에 관한 신호 처리 장치(4)에 의하면, 도 35에서 나타내는 원래의 화상의 가는 선의 화상에 보다 가까운 화상을 얻을 수 있다.

도 40은, 본 발명에 관한 신호 처리 장치(4)에 의한, 신호의 처리를 설명하는 흐름도이다.

스텝 S101에 있어서, 데이터 정상성 검출부(101)는, 정상성의 검출 처리를 실행한다. 데이터 정상성 검출부(101)는, 데이터(3)인 입력 화상에 포함되어 있는 데이터 정상성을 검출하여, 검출한 데이터 정상성을 나타내는 데이터 정상성 정보를 실세계 추정부(102) 및 화상 생성부(103)에 공급한다.

데이터 정상성 검출부(101)는, 현실 세계의 신호의 정상성에 대응하는 데이 터 정상성을 검출한다. 스텝 S101의 처리에 있어서, 데이터 정상성 검출부(101)에 의해 검출되는 데이터 정상성은, 데이터(3)에 포함되는, 실세계(1)의 화상의 정상성의 일부, 또는 실세계(1)의 신호의 정상성으로부터 변화해 버린 정상성이다.

예를 들면, 데이터 정상성 검출부(101)는, 소정의 차원의 방향으로 일정한 특징을 가지는 영역을 검출함으로써, 데이터 정상성을 검출한다. 또, 예를 들면, 데이터 정상성 검출부(101)는, 동일한 형상의 배열 방법을 나타내는, 공간 방향의 각도(기울기)를 검출함으로써, 데이터 정상성을 검출한다.

스텝 S101에 있어서의, 정상성 검출 처리의 자세한 것에 대해서는, 후술한다. 그리고, 데이터 정상성 정보는, 데이터(3)의 특징을 나타낸 특징량으로서 이용할 수 있다.

스텝 S102에 있어서, 실세계 추정부(102)는, 실세계의 추정 처리를 실행한다. 즉, 실세계 추정부(102)는, 입력 화상, 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보에 따라서, 실세계(1)의 신호를 추정한다. 예를 들면, 스텝 S102의 처리에 있어서, 실세계 추정부(102)는, 실세계(1)를 근사(기술)하는 모델(161)을 예측함으로써, 실세계(1)의 신호를 추정한다. 실세계 추정부(102)는, 추정된 실세계(1)의 신호를 나타내는 실세계 추정 정보를 화상 생성부(103)에 공급한다.

예를 들면, 실세계 추정부(102)는, 선형의 물체의 폭을 예측함으로써, 실세 계(1)의 신호를 추정한다. 또, 예를 들면, 실세계 추정부(102)는, 선형의 물체의 색을 나타낸 레벨을 예측함으로써, 실세계(1)의 신호를 추정한다.

스텝 S102에 있어서의, 실세계 추정 처리의 자세한 것에 대해서는, 후술한다.

그리고, 실세계 추정 정보는, 데이터(3)의 특징을 나타낸 특징량으로서 이용할 수 있다.

스텝 S103에 있어서, 화상 생성부(103)는, 화상 생성 처리를 실행하고, 종료한다. 즉, 화상 생성부(103)는, 실세계 추정 정보에 따라서, 화상을 생성하여, 생성한 화상을 출력한다. 또는, 화상 생성부(103)는, 데이터 정상성 정보 및 실세계 추정 정보에 따라서, 화상을 생성하여, 생성한 화상을 출력한다.

예를 들면, 스텝 S103의 처리에 있어서, 화상 생성부(103)은, 실세계 추정 정보에 따라서, 생성된 현실 세계의 광신호를 근사하는 함수를 공간 방향으로 적분함으로써, 입력 화상과 비교하여, 공간 방향으로부터 고해상도의 화상을 생성하여, 생성한 화상을 출력한다. 예를 들면, 화상 생성부(103)는, 실세계 추정 정보에 따라서, 생성된 현실 세계의 광신호를 근사하는 함수를 시공간 방향으로 적분함으로써, 입력 화상과 비교하여, 시간 방향 및 공간 방향으로 보다 고해상도의 화상을 생성하여, 생성한 화상을 출력한다. 스텝 S103에 있어서의, 화상의 생성의 처리의 자세한 것에 대해서는, 후술한다.

이와 같이, 본 발명에 관한 신호 처리 장치(4)는, 데이터(3)로부터 데이터 정상성을 검출하고, 검출한 데이터 정상성에 따라서, 실세계(1)를 추정한다. 그리고, 신호 처리 장치(4)는, 추정된 실세계(1)에 따라서, 보다 실세계(1)에 근사한 신호를 생성한다.

이상과 같이, 현실 세계의 신호를 추정하여 처리를 실행하도록 한 경우에는, 정확하고, 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

또, 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되어 현실 세계의 신호의 정상성의 일부가 결락된 제1 차원보다 적은 제2 차원의 제2 신호의, 결락된 현실 세계의 신호의 정상성에 대응하는 데이터 정상성을 검출하고, 검출된 데이터 정상성에 따라, 결락된 현실 세계의 신호의 정상성을 추정함으로써 제1 신호를 추정하도록 한 경우에는, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

다음에, 데이터 정상성 검출부(101)의 구성을 상세하게 설명한다.

도 41은, 데이터 정상성 검출부(101)의 구성을 나타낸 블록도이다.

도 41에 구성을 나타낸 데이터 정상성 검출부(101)는, 가는 선인 대상물을 촬상했을 때, 대상물이 가지는 단면 형상이 동일하다는 정상성으로부터 생긴, 데이터(3)에 포함되는 데이터 정상성을 검출한다. 즉, 도 41에 구성을 나타낸 데이터 정상성 검출부(101)는, 가는 선인 실세계(1)의 화상이 가지는, 길이 방향의 임의의 위치에 있어서, 길이 방향으로 직교하는 방향의 위치의 변화에 대한 광의 레벨의 변화가 동일하다는 정상성으로부터 생긴, 데이터(3)에 포함되는 데이터 정상성을 검출한다.

보다 구체적으로는, 도 41에 구성을 나타낸 데이터 정상성 검출부(101)는, 가는 선의 화상을 공간 적분 효과를 가지는 센서(2)로 촬상하여 얻어진 데이터(3)에 포함되는, 경사지게 어긋나게 인접하여 배열된, 복수개의 소정의 길이의 원호 형상(어묵형)이 배치되는 영역을 검출한다.

데이터 정상성 검출부(101)는, 데이터(3)인 입력 화상으로부터, 데이터 정상성을 가지는 가는 선의 화상이 투영된 화상 데이터의 부분(이하, 정상 성분이라고도 함) 이외의 화상 데이터의 부분(이하, 비정상 성분이라 함)을 추출하고, 추출된 비정상 성분과 입력 화상으로부터, 실세계(1)의 가는 선의 화상이 투영된 화소를 검출하고, 입력 화상에 있어서의, 실세계(1)의 가는 선의 화상이 투영된 화소로 이루어지는 영역을 검출한다.

비정상 성분 추출부(201)는, 입력 화상으로부터 비정상 성분을 추출하여, 입력 화상과 함께, 추출된 비정상 성분을 나타낸 비정상 성분 정보를 정점 검출부(202) 및 단조 증감 검출부(203)에 공급한다.

예를 들면, 도 42에서 나타낸 바와 같이, 대략 일정한 광의 레벨의 배경의 앞에 가는 선이 있는 실세계(1)의 화상이 데이터(3)에 투영 되었을 때, 도 43에 나 타낸 바와 같이, 비정상 성분 추출부(201)는, 데이터(3)인 입력 화상에 있어서의 배경을 평면에서 근사함으로써, 배경인 비정상 성분을 추출한다. 도 43에 있어서, 실선은, 데이터(3)의 화소값을 나타내고, 점선은, 배경을 근사하는 평면에서 나타내는 근사치를 나타낸다. 도 43에 있어서, A는, 가는 선의 화상이 투영된 화소의 화소값을 나타내고, PL은, 배경을 근사하는 평면을 나타낸다.

이와 같이, 데이터 정상성을 가지는 화상 데이터의 부분에 있어서의, 복수개의 화소의 화소값은, 비정상 성분에 대하여 불연속이 된다.

비정상 성분 추출부(201)는, 실세계(1)의 광신호인 화상이 투영되어 실세계(1)의 화상의 정상성의 일부가 결락된, 데이터(3)인 화상 데이터의 복수개의 화소의 화소값의 불연속부를 검출한다.

비정상 성분 추출부(201)에 있어서의 비정상 성분의 추출의 처리의 자세한 것에 대해서는, 후술한다.

정점 검출부(202) 및 단조 증감 검출부(203)는, 비정상 성분 추출부(201)로부터 공급된 비정상 성분 정보에 따라서, 입력 화상으로부터 비정상 성분을 제거한다. 예를 들면, 정점 검출부(202) 및 단조 증감 검출부(203)는, 입력 화상의 각 화소 중, 배경의 화상 만이 투영된 화소의 화소값을 0(제로)로 설정함으로써, 입력 화상으로부터 비정상 성분을 제거한다. 또, 예를 들면, 정점 검출부(202) 및 단조 증감 검출부(203)는, 입력 화상의 각 화소의 화소값으로부터, 평면 PL로 근사되는 값을 뺌으로써, 입력 화상으로부터 비정상 성분을 제거한다.

입력 화상으로부터 배경을 제거할 수 있으므로, 정점 검출부(202) 내지 연속성 검출부(204)는, 가는 선이 투영된 화상 데이터의 부분만을 처리의 대상으로 할 수 있어서 정점 검출부(202) 내지 연속성 검출부(204)에 있어서의 처리가 보다 용이하게 된다.

그리고, 비정상 성분 추출부(201)는, 입력 화상으로부터 비정상 성분을 제거하고 화상 데이터를 정점 검출부(202) 및 단조 증감 검출부(203)에 공급할 수도 있다.

이하에 설명하는 처리의 예에 있어서, 입력 화상으로부터 비정상 성분이 제거된 화상 데이터, 즉, 정상 성분을 포함하는 화소만으로 이루어지는 화상 데이터가 대상이 된다.

여기서, 정점 검출부(202) 내지 연속성 검출부(204)가 검출하려고 하는, 가는 선의 화상이 투영된 화상 데이터에 대하여 설명한다.

도 42에서 나타내는 가는 선의 화상이 투영된 화상 데이터의 공간 방향 Y의 단면 형상(공간 방향의 위치의 변화에 대한 화소값의 변화)은, 광학 LPF가 없는 것으로 한 경우, 센서(2)인 이미지 센서의 공간 적분 효과에 의해, 도 44에 나타낸 사다리꼴, 또는 도 45에 나타낸 삼각형이 되는 것을 생각할 수 있다. 그러나, 통상의 이미지 센서는, 광학 LPF를 구비하고, 이미지 센서는, 광학 LPF를 통과한 화 상을 취득하고, 취득한 화상을 데이터(3)에 투영하므로, 현실적으로는, 가는 선의 화상 데이터의 공간 방향 Y의 단면 형상은, 도 46에 나타낸 바와 같은 가우스 분포에 유사한 형상이 된다.

정점 검출부(202) 내지 연속성 검출부(204)는, 가는 선의 화상이 투영된 화소로서, 동일한 단면 형상(공간 방향의 위치의 변화에 대한 화소값의 변화)이 화면의 상하 방향으로 일정한 간격으로 배열되어 이루어지는 영역을 검출하고, 또한 실세계(1)의 가는 선의 길이 방향에 대응한, 영역의 연결을 검출함으로써, 데이터 정상성을 가지는 영역인, 가는 선의 화상이 투영된 화소로 이루어지는 영역을 검출한다. 즉, 정점 검출부(202) 내지 연속성 검출부(204)는, 입력 화상에 있어서의, 세로로 1열의 화소 위에, 원호 형상(어묵형)이 형성되는 영역을 검출하고, 검출된 영역이 가로 방향에 인접하여 배열되어 있는지 여부를 판정하여, 실세계(1)의 신호인 가는 선의 화상의 길이 방향에 대응한, 원호 형상이 형성되는 영역의 연결을 검출한다.

또, 정점 검출부(202) 내지 연속성 검출부(204)는, 가는 선의 화상이 투영된 화소로서, 동일한 단면 형상이 화면의 좌우방향으로 일정한 간격으로 배열되어 이루어지는 영역을 검출하고, 또한 실세계(1)의 가는 선의 길이 방향에 대응한, 검출된 영역의 연결을 검출함으로써, 데이터 정상성을 가지는 영역인, 가는 선의 화상이 투영된 화소로 이루어지는 영역을 검출한다. 즉, 정점 검출부(202) 내지 연속 성 검출부(204)는, 입력 화상에 있어서의, 가로로 1열의 화소 위에, 원호 형상이 형성되는 영역을 검출하고, 검출된 영역이 세로 방향에 인접하여 배열되어 있는지 여부를 판정하고, 실세계(1)의 신호인 가는 선의 화상의 길이 방향에 대응한, 원호 형상이 형성되는 영역의 연결을 검출한다.

먼저, 가는 선의 화상이 투영된 화소로서, 화면의 상하 방향으로 동일한 원호 형상이 일정한 간격으로 배열되어 이루어지는 영역을 검출하는 처리를 설명한다.

정점 검출부(202)는, 주위의 화소와 비교하여, 보다 큰 화소값을 가지는 화소, 즉 정점을 검출하고, 정점의 위치를 나타내는 정점 정보를 단조 증감 검출부(203)에 공급한다. 화면의 상하 방향으로 1열로 배열된 화소를 대상으로 한 경우, 정점 검출부(202)는, 화면의 상측에 위치하는 화소의 화소값, 및 화면의 하측에 위치하는 화소의 화소값과 비교하여, 보다 큰 화소값을 가지는 화소를 정점으로서 검출한다. 정점 검출부(202)는, 1개의 화상, 예를 들면, 1개의 프레임의 화상으로부터, 하나 또는 복수개의 정점을 검출한다.

1개의 화면에는, 프레임 또는 필드가 포함된다. 이하의 설명에 있어서, 마찬가지이다.

예를 들면, 정점 검출부(202)는, 1프레임의 화상으로부터 아직 주목 화소가 되지 않은 화소 중 주목 화소를 선택하고, 주목 화소의 화소값과, 주목 화소의 상 측의 화소의 화소값을 비교하고, 주목 화소의 화소값과 주목 화소의 하측의 화소의 화소값을 비교하여, 상측의 화소의 화소값보다 큰 화소값을 가지고, 하측의 화소의 화소값보다 큰 화소값을 가지는 주목 화소를 검출하여, 검출된 주목 화소를 정점으로 한다. 정점 검출부(202)는, 검출된 정점을 나타낸 정점 정보를 단조 증감 검출부(203)에 공급한다.

정점 검출부(202)가, 정점을 검출하지 않는 경우도 있다. 예를 들면, 1개의 화상의 화소의 화소값이 모두 같은 값 일 때, 또는 하나 또는 두 방향에 대하여 화소값이 감소하고 있을 때, 정점은 검출되지 않는다. 이 경우, 가는 선의 화상은, 화상 데이터에 투영되고 있지 않다.

단조 증감 검출부(203)는, 정점 검출부(202)로부터 공급된, 정점의 위치를 나타내는 정점 정보에 따라서, 정점 검출부(202)에 의해 검출된 정상점에 대하여 상하 방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보를 검출하고, 정점 정보와 함께, 검출한 영역을 나타낸 영역 정보를 연속성 검출부(204)에 공급한다.

보다 구체적으로는, 단조 증감 검출부(203)는, 정점의 화소값을 기준으로 하여, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역을, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다. 단조 감소란, 정점으로부터의 거리가 보다 긴 화소의 화소값이, 정점으로부터의 거리가 짧은 화소의 화 소값과 비교하여, 보다 작은 것을 말한다.

또, 단조 증감 검출부(203)는, 정점의 화소값을 기준으로 하여, 단조 증가하고 있는 화소값을 가지는 화소로 이루어지는 영역을, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다. 단조 증가란, 정점으로부터의 거리가 보다 긴 화소의 화소값이, 정점으로부터의 거리가 짧은 화소의 화소값과 비교하여, 보다 큰 것을 말한다.

이하, 단조 증가하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리는, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리와 동일하므로, 그 설명은 생략한다. 가는 선의 화상이 투영된 화소로서, 화면의 가로 방향에 동일한 원호 형상이 일정한 간격으로 배열되어 이루어지는 영역을 검출하는 처리에 있어서의, 단조 증가하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리도, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리와 동일하므로, 그 설명은 생략한다.

예를 들면, 단조 증감 검출부(203)는, 정상점에 대하여 세로로 1열로 각 화소에 대하여, 각 화소의 화소값과 상측의 화소의 화소값과의 차분, 및 하측의 화소의 화소값과의 차분을 구한다. 그리고, 단조 증감 검출부(203)은, 차분의 부호가 변화하는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역을 검출한다.

또한, 단조 증감 검출부(203)는, 화소값이 단조 감소하고 있는 영역으로부 터, 정점의 화소값의 부호를 기준으로 하여, 정점의 화소값의 부호와 동일한 부호의 화소값을 가지는 화소로 이루어지는 영역을, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다.

예를 들면, 단조 증감 검출부(203)는, 각 화소의 화소값의 부호와 상측의 화소의 화소값의 부호 및 하측의 화소의 화소값의 부호를 비교하고, 화소값의 부호가 변화하는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역으로부터, 정점과 동일한 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

이와 같이, 단조 증감 검출부(203)는, 상하 방향으로 배열되어, 정점에 대하여 화소값이 단조 감소하고, 정점과 동일한 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

도 47은, 공간 방향 Y의 위치에 대하는 화소값으로부터, 가는 선의 화상이 투영된 화소의 영역을 검출하는, 정점의 검출 및 단조 증감 영역의 검출의 처리를 설명하는 도면이다.

도 47 내지 도 49에 있어서, P는, 정점을 나타낸다. 도 41에서 구성이 나타내는 데이터 정상성 검출부(101)의 설명에 있어서, P는, 정점을 나타낸다.

정점 검출부(202)는, 각 화소의 화소값과 이것에 공간 방향 Y에 인접하는 화소의 화소값을 비교하여, 공간 방향 Y에 인접하는 2개의 화소의 화소값보다 큰 화소값을 가지는 화소를 검출함으로써, 정점 P를 검출한다.

정점 P와 정점 P의 공간 방향 Y의 양쪽의 화소로 이루어지는 영역은, 정점 P의 화소값에 대하여, 공간 방향 Y의 양쪽의 화소의 화소값이 단조 감소하는 단조 감소 영역이다. 도 47에 있어서, A에서 나타낸 화살표, 및 B에서 나타낸 화살표는, 정점 P의 양측에 존재하는 단조 감소 영역을 나타낸다.

단조 증감 검출부(203)는, 각 화소의 화소값과 그 화소에 공간 방향 Y에 인접하는 화소의 화소값의 차분을 구하여, 차분의 부호가 변화하는 화소를 검출한다. 단조 증감 검출부(203)는, 검출된, 차분의 부호가 변화하는 화소와, 그 바로 앞쪽(정점 P측)의 화소의 경계를, 가는 선의 화상이 투영된 화소로 이루어지는 가는 선 영역의 경계로 한다.

도 47에 있어서, 차분의 부호가 변화하는 화소와, 그 바로 앞쪽(정점 P측)의 화소의 경계인 가는 선 영역의 경계는 C에서 나타낸다.

또한, 단조 증감 검출부(203)는, 단조 감소 영역에 있어서, 각 화소의 화소값의 부호와 그 화소에 공간 방향 Y에 인접하는 화소의 화소값의 부호를 비교하여, 화소값의 부호가 변화하는 화소를 검출한다. 단조 증감 검출부(203)는, 검출된, 화소값의 부호가 변화하는 화소와, 그 바로 앞쪽(정점 P측)의 화소의 경계를 가는 선 영역의 경계로 한다.

도 47에 있어서, 화소값의 부호가 변화하는 화소와, 그 바로 앞쪽(정점 P측)의 화소의 경계인 가는 선 영역의 경계는 D에서 나타낸다.

도 47에 나타낸 바와 같이, 가는 선의 화상이 투영된 화소로 이루어지는 가는 선 영역 F는, 가는 선 영역의 경계 C와 가는 선 영역의 경계 D에 의해 협지되는 영역이 된다.

단조 증감 검출부(203)는, 이와 같은 단조 증감 영역으로 이루어지는 가는 선 영역 F 중, 미리 정한 임계값보다 긴 가는 선 영역 F, 즉, 임계값보다 많은 개수의 화소를 포함하는 가는 선 영역 F를 구한다. 예를 들면, 임계값이 3일 때, 단조 증감 검출부(203)는, 4개 이상의 화소를 포함하는 가는 선 영역 F를 검출한다.

또한, 이와 같이 검출된 가는 선 영역 F 중, 단조 증감 검출부(203)는, 정점 P의 화소값, 및 정점 P의 우측의 화소의 화소값, 및 정점 P의 좌측의 화소의 화소값을, 각각 임계값과 비교하여, 정점 P의 화소값이 임계값을 넘어 정점 P의 우측의 화소의 화소값이 임계값 이하며, 정점 P의 좌측의 화소의 화소값이 임계값 이하인 정점 P가 속하는 가는 선 영역 F를 검출하고, 검출된 가는 선 영역 F를 가는 선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보로 한다.

바꾸어 말하면, 정점 P의 화소값이 임계값 이하이거나, 정점 P의 우측의 화소의 화소값이 임계값을 초과하거나, 또는 정점 P의 좌측의 화소의 화소값이 임계값을 초과하는 정점 P가 속하는 가는 선 영역 F는, 가는 선의 화상의 성분을 포함하지 않는 것으로 판정되고, 가는 선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보로부터 제거된다.

즉, 도 48에 나타낸 바와 같이, 단조 증감 검출부(203)는, 정점 P의 화소값을 임계값과 비교하는 동시에, 정점 P에 대하여, 공간 방향 X(점선 AA'에서 나타낸 방향)에 인접하는 화소의 화소값을, 임계값과 비교하여, 정점 P의 화소값이 임계값을 넘고, 공간 방향 X에 인접하는 화소의 화소값이 임계값 이하인, 정점 P가 속하는 가는 선 영역 F를 검출한다.

도 49는, 도 48의 점선 AA'에서 나타낸 공간 방향 X에 배열된 화소의 화소값을 나타낸 도면이다. 정점 P의 화소값이 임계값 ThS를 넘고, 정점 P의 공간 방향 X에 인접하는 화소의 화소값이, 임계값 ThS 이하인, 정점 P가 속하는 가는 선 영역 F는, 가는 선의 성분을 포함한다.

그리고, 단조 증감 검출부(203)는, 배경의 화소값을 기준으로 하여, 정점 P의 화소값과 배경의 화소값의 차분을 임계값과 비교하는 동시에, 정점 P에 대하여, 공간 방향 X에 인접하는 화소의 화소값과 배경의 화소값의 차분을, 임계값과 비교하여, 정점 P의 화소값과 배경의 화소값의 차분이 임계값을 넘어 공간 방향 X에 인접하는 화소의 화소값과 배경의 화소값의 차분이 임계값 이하인, 정점 P가 속하는 가는 선 영역 F를 검출할 수도 있다.

단조 증감 검출부(203)는, 정점 P를 기준으로 하여, 화소값이 단조 감소하고, 화소값의 부호가 정점 P와 동일한 화소로 이루어지는 영역으로서, 그 정점 P가 임계값을 넘고, 정점 P의 우측의 화소의 화소값이 임계값 이하이며, 정점 P의 좌측 의 화소의 화소값이 임계값 이하인 것을 나타내는 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

화면의 상하 방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역을 검출하는 경우에 있어서, 단조 증감 영역 정보에 의해 나타내는 영역에 속하는 화소는, 상하 방향으로 배열되어, 가는 선의 화상이 투영된 화소를 포함한다. 즉, 단조 증감 영역 정보에 의해 나타내는 영역은, 화면의 상하 방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역을 포함한다.

이와 같이, 정점 검출부(202) 및 단조 증감 검출부(203)는, 가는 선의 화상이 투영된 화소에 있어서, 공간 방향 Y의 화소값의 변화가, 가우스 분포와 유사한 성질을 이용하여, 가는 선의 화상이 투영된 화소로 이루어지는 정상 영역을 검출한다.

연속성 검출부(204)는, 단조 증감 검출부(203)로부터 공급된 단조 증감 영역 정보에서 나타내는, 상하 방향으로 배열된 화소로 이루어지는 영역 중, 가로 방향에 인접하고 있는 화소를 포함하는 영역, 즉, 서로 닮은 화소값의 변화를 가지고, 세로 방향으로 중복되어 있는 영역을, 연속되어 있는 영역으로서 검출하고, 정점 정보, 및 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다. 데이터 정상성 정보는, 단조 증감 영역 정보, 및 영역의 연결을 나타내는 정보 등 을 포함하고 있다.

가는 선이 투영된 화소에 있어서, 원호 형상이 인접하도록 일정한 간격으로 배열되므로, 검출된 연속되어 있는 영역은, 가는 선이 투영된 화소를 포함하고 있다.

검출된 연속되어 있는 영역이, 가는 선이 투영된, 원호 형상이 인접하도록 일정한 간격으로 배열되는 화소를 포함하므로, 검출된 연속되어 있는 영역을 정상 영역으로 하고, 연속성 검출부(204)는, 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다.

즉, 연속성 검출부(204)는, 길이 방향으로 연속한다는, 실세계(1)의 가는 선의 화상의 정상성으로부터 생긴, 가는 선을 촬상하여 얻어진 데이터(3)에 있어서의, 원호 형상이 인접하도록 일정한 간격으로 배열되는 정상성을 이용하여, 정점 검출부(202) 및 단조 증감 검출부(203)에 있어서 검출된 영역의 후보를 또한 좁혀간다.

도 50은, 단조 증감 영역의 연속성을 검출의 처리를 설명하는 도면이다.

도 50에 나타낸 바와 같이, 연속성 검출부(204)는, 화면의 세로 방향으로 1열로 배열된 화소로 이루어지는 가는 선 영역 F에 대하여, 가로 방향에 인접하는 화소를 포함하고 있을 때, 2개의 단조 증감 영역의 사이에 연속성이 있다고 하고, 가로 방향에 인접하는 화소를 포함하지 않은 때, 2개의 가는 선 영역 F 사이에 연 속성이 없다고 한다. 예를 들면, 화면의 세로 방향으로 1열로 배열된 화소로 이루어지는 가는 선 영역 F_-1은, 화면의 세로 방향으로 1열로 배열된 화소로 이루어지는 가는 선 영역 F₀의 화소와 가로 방향에 인접하는 화소를 포함하고 있을 때, 가는 선 영역 F0와 연속되어 있다. 화면의 세로 방향으로 1열로 배열된 화소로 이루어지는 가는 선 영역 F0는, 화면의 세로 방향으로 1열로 배열된 화소로 이루어지는 가는 선 영역 F₁의 화소와, 가로 방향으로 인접하는 화소를 포함하고 있을 때, 가는 선 영역 F1과 연속되어 있게 된다.

이와 같이, 정점 검출부(202) 내지 연속성 검출부(204)에 의하여, 화면의 상하 방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역이 검출된다.

정점 검출부(202) 내지 연속성 검출부(204)는, 전술한 바와 같이, 화면의 상하 방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역을 검출하고, 또한 화면의 좌우방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역을 검출한다.

그리고, 처리의 순서는, 본 발명을 한정하는 것이 아니고, 병렬로 실행해도 되는 것은 당연하다.

즉, 정점 검출부(202)는, 화면의 좌우 방향으로 1열로 배열된 화소를 대상으 로 하여, 화면의 좌측에 위치하는 화소의 화소값, 및 화면의 우측에 위치하는 화소의 화소값과 비교하여, 보다 큰 화소값을 가지는 화소를 정점으로서 검출하고, 검출한 정점의 위치를 나타내는 정점 정보를 단조 증감 검출부(203)에 공급한다. 정점 검출부(202)는, 1개의 화상, 예를 들면, 1프레임의 화상으로부터, 하나 또는 복수개의 정점을 검출한다.

예를 들면, 정점 검출부(202)는, 1프레임의 화상으로부터 아직 주목 화소가 되어 있지 않은 화소 중 주목 화소를 선택하고, 주목 화소의 화소값과 주목 화소의 좌측의 화소의 화소값을 비교하고, 주목 화소의 화소값과 주목 화소의 우측의 화소의 화소값을 비교하여, 좌측의 화소의 화소값보다 큰 화소값을 가지고, 우측의 화소의 화소값보다 큰 화소값을 가지는 주목 화소를 검출하여, 검출된 주목 화소를 정점으로 한다. 정점 검출부(202)는, 검출된 정점을 나타낸 정점 정보를 단조 증감 검출부(203)에 공급한다.

정점 검출부(202)가, 정점을 검출하지 않는 경우도 있다.

단조 증감 검출부(203)는, 정점 검출부(202)에서 검출된 정상점에 대하여 좌우 방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보를 검출하고, 정점 정보와 함께, 검출한 영역을 나타낸 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

보다 구체적으로는, 단조 증감 검출부(203)는, 정점의 화소값을 기준으로 하 여, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역을, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다.

예를 들면, 단조 증감 검출부(203)는, 정점에 대하여 가로로 1열의 각 화소에 대하여, 각 화소의 화소값과 좌측 화소의 화소값과의 차분, 및 우측 화소의 화소값과의 차분을 구한다. 그리고, 단조 증감 검출부(203)는, 차분의 부호가 변화하는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역을 검출한다.

또한, 단조 증감 검출부(203)는, 화소값이 단조 감소하고 있는 영역으로부터, 정점의 화소값의 부호를 기준으로 하여, 정점의 화소값의 부호와 동일한 부호의 화소값을 가지는 화소로 이루어지는 영역을, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다.

예를 들면, 단조 증감 검출부(203)는, 각 화소의 화소값의 부호와 좌측 화소의 화소값의 부호 또는 우측 화소의 화소값의 부호를 비교하고, 화소값의 부호가 변화하는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역으로부터, 정점과 동일한 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

이와 같이, 단조 증감 검출부(203)는, 좌우방향으로 배열되어, 정점에 대하여 화소값이 단조 감소하고, 정점과 동일한 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는, 이와 같은 단조 증감 영역으로 이루어지는 가는 선 영역 중, 미리 정한 임계값보다 긴, 가는 선 영역, 즉, 임계값보다 많은 개수의 화소를 포함하는 가는 선 영역을 구한다.

또한, 이와 같이 검출된 가는 선 영역 중, 단조 증감 검출부(203)는, 정점의 화소값, 및 정점의 상측 화소의 화소값, 및 정점의 하측 화소의 화소값을, 각각 임계값과 비교하여, 정점의 화소값이 임계값을 넘어 정점의 상측 화소의 화소값이 임계값 이하이고, 정점의 하측 화소의 화소값이 임계값 이하인 정점이 속하는 가는 선 영역을 검출하고, 검출된 가는 선 영역을 가는 선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보로 한다.

바꾸어 말하면, 정점의 화소값이 임계값 이하이거나, 정점의 상측 화소의 화소값이 임계값을 초과하거나, 또는 정점의 하측 화소의 화소값이 임계값을 초과하는 정점이 속하는 가는 선 영역은, 가는 선의 화상의 성분을 포함하지 않는다고 판정되어, 가는 선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보로부터 제거된다.

그리고, 단조 증감 검출부(203)는, 배경의 화소값을 기준으로 하여, 정점의 화소값과 배경의 화소값의 차분을 임계값과 비교하는 동시에, 정점에 대하여, 상하 방향으로 인접하는 화소의 화소값과 배경의 화소값의 차분을, 임계값과 비교하여, 정점의 화소값과 배경의 화소값의 차분이 임계값을 넘어 상하 방향으로 인접하는 화소의 화소값과 배경의 화소값과의 차분이 임계값 이하인, 검출된 가는 선 영역을 가는 선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보으로 할 수도 있다.

단조 증감 검출부(203)는, 정점을 기준으로 하여, 화소값이 단조 감소하고, 화소값의 부호가 정점과 동일한 화소로 이루어지는 영역으로서, 그 정점이 임계값을 초과하여 정점의 우측 화소의 화소값이 임계값 이하이며, 정점의 좌측 화소의 화소값이 임계값 이하인 것을 나타낸 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

화면의 좌우 방향으로 1열로 배열되는 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역을 검출하는 경우에 있어서, 단조 증감 영역 정보에 의해 나타내는 영역에 속하는 화소는, 좌우방향으로 배열되어, 가는 선의 화상이 투영된 화소를 포함한다. 즉, 단조 증감 영역 정보에 의해 나타내는 영역은, 화면의 좌우방향으로 배열된 1열의 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역을 포함한다.

연속성 검출부(204)는, 단조 증감 검출부(203)로부터 공급된 단조 증감 영역 정보에 의해 나타내는, 좌우방향으로 배열되는 화소로 이루어지는 영역 중, 세로 방향으로 인접하고 있는 화소를 포함하는 영역, 즉, 서로 닮은 화소값의 변화를 가지고, 가로 방향으로 중복되어 있는 영역을, 연속되어 있는 영역으로서 검출하고, 정점 정보, 및 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력 한다. 데이터 정상성 정보는, 영역의 연결을 나타내는 정보를 포함하고 있다.

가는 선이 투영된 화소에 있어서, 원호 형상이 인접하도록 일정한 간격으로 배열되므로, 검출된 연속되어 있는 영역은, 가는 선이 투영된 화소를 포함하고 있다.

검출된 연속되어 있는 영역이, 가는 선이 투영된, 원호형상이 인접하도록 일정한 간격으로 배열되는 화소를 포함하므로, 검출된 연속되어 있는 영역을 정상 영역으로 하고, 연속성 검출부(204)는, 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다.

즉, 연속성 검출부(204)는, 길이 방향으로 연속한다고 하는, 실세계(1)의 가는 선의 화상의 정상성으로부터 생긴, 가는 선을 촬상하여 얻어진 데이터(3)에 있어서의, 원호 형상이 인접하도록 일정한 간격으로 배열되는 정상성을 이용하여, 정점 검출부(202) 및 단조 증감 검출부(203)에 있어서 검출된 영역의 후보를 더 좁힌다.

도 51은, 평면에서의 근사에 의해 정상 성분을 추출한 화상의 예를 나타낸 도면이다. 도 52는, 도 51에 나타낸 화상으로부터 정점을 검출하고, 단조 감소하고 있는 영역을 검출한 결과를 나타낸 도면이다. 도 52에 있어서, 흰색으에서 나타낸 부분이, 검출된 영역이다.

도 53은, 도 52에 나타낸 화상으로부터, 인접하고 있는 영역의 연속성을 검 출하여, 연속성이 검출된 영역을 나타낸 도면이다. 도 53에 있어서, 흰색으에서 나타낸 부분이, 연속성이 검출된 영역이다. 연속성의 검출에 의하여, 영역이 또한 특정되어 있는 것을 알 수 있다.

도 54는, 도 53에 나타낸 영역의 화소값, 즉, 연속성이 검출된 영역의 화소값을 나타낸 도면이다.

이와 같이, 데이터 정상성 검출부(101)는, 입력 화상인 데이터(3)에 포함되어 있는 정상성을 검출할 수 있다. 즉, 데이터 정상성 검출부(101)는, 가는 선인 실세계(1)의 화상이 데이터(3)에 투영됨으로써 생긴, 데이터(3)에 포함되는 데이터 정상성을 검출할 수 있다. 데이터 정상성 검출부(101)는, 데이터(3)로부터, 가는 선인 실세계(1)의 화상이 투영된 화소로 이루어지는 영역을 검출한다.

도 55는, 정상성 검출부(101)에 있어서의, 가는 선의 화상이 투영된, 정상성을 가지는 영역의 검출의 다른 처리의 예를 나타낸 도면이다.

정상성 검출부(101)는, 도 55에 나타낸 바와 같이, 각 화소에 대하여, 인접하는 화소와의 화소값의 차분의 절대값을 계산한다. 계산된 차분의 절대값은, 화소에 대응시켜, 배치된다. 예를 들면, 도 55에 나타낸 바와 같이, 화소값이 각각 P0, P1, P2인 화소가 배열되어 있을 때, 정상성 검출부(101)는, 차분 d0 = P0 - P1 및 차분 d1= P1 - P2를 계산한다. 또한, 정상성 검출부(101)는, 차분 d0 및 차분 d1의 절대값을 산출한다.

화소값 P0, P1, 및 P2에 포함되어 있는 비정상성 성분이 동일할 때, 차분 d0 및 차분 d1에는, 가는 선의 성분에 대응한 값만이 설정되게 된다.

따라서, 정상성 검출부(101)는, 화소에 대응시켜 배치되어 있는 차분의 절대값 중, 인접하는 차분의 값이 동일할 때, 그 2개의 차분의 절대값에 대응하는 화소(2개의 차분의 절대값의 사이에 있는 화소)에 가는 선의 성분이 포함되어 있다고 판정한다.

정상성 검출부(101)에 있어서는, 이와 같은, 간편한 방법으로 가는 선을 검출할 수도 있다.

도 56은, 정상성 검출의 처리를 설명하는 흐름도이다.

스텝 S201에 있어서, 비정상 성분 추출부(201)는, 입력 화상으로부터, 가는 선이 투영된 부분 이외의 부분인 비정상 성분을 추출한다. 비정상 성분 추출부(201)는, 입력 화상과 함께, 추출된 비정상 성분을 나타내는 비정상 성분 정보를 정점 검출부(202) 및 단조 증감 검출부(203)에 공급한다. 비정상 성분 추출 처리의 자세한 것에 대해서는, 후술한다.

스텝 S202에 있어서, 정점 검출부(202)는, 비정상 성분 추출부(201)로부터 공급된 비정상 성분 정보에 따라서, 입력 화상으로부터 비정상 성분을 제거하고, 입력 화상에 정상 성분을 포함하는 화소만을 남긴다. 또한, 스텝 S202에 있어서, 정점 검출부(202)는, 정점을 검출한다.

즉, 정점 검출부(202)는, 화면의 세로 방향을 기준으로 하여, 처리를 실행하는 경우, 정상 성분을 포함하는 화소에 대하여, 각 화소의 화소값과, 상측 및 하측 화소의 화소값을 비교하여, 상측 화소의 화소값 및 하측 화소의 화소값보다 큰 화소값을 가지는 화소를 검출함으로써, 정점을 검출한다. 또, 스텝 S202에 있어서, 정점 검출부(202)는, 화면의 가로 방향을 기준으로 하여, 처리를 실행하는 경우, 정상 성분을 포함하는 화소에 대하여, 각 화소의 화소값과 우측 및 좌측 화소의 화소값을 비교하여, 우측 화소의 화소값 및 좌측 화소의 화소값보다 큰 화소값을 가지는 화소를 검출함으로써, 정점을 검출한다.

정점 검출부(202)는, 검출한 정점을 나타내는 정점 정보를 단조 증감 검출부(203)에 공급한다.

스텝 S203에 있어서, 단조 증감 검출부(203)는, 비정상 성분 추출부(201)로부터 공급된 비정상 성분 정보에 따라서, 입력 화상으로부터 비정상 성분을 제거하여, 입력 화상에 정상 성분을 포함하는 화소만을 남긴다. 또한, 스텝 S203에 있어서, 단조 증감 검출부(203)는, 정점 검출부(202)로부터 공급된, 정점의 위치를 나타내는 정점 정보에 따라서, 정점에 대한 단조 증감을 검출함으로써, 데이터 정상성을 가지는 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는, 화면의 세로 방향을 기준으로 하여, 처리를 실행하는 경우, 정점의 화소값, 및 정점에 대하여 세로로 1열로 배열된 화소의 화소값 에 따라서, 세로로 배열된 1열의 화소로서, 1개의 가는 선의 화상이 투영된 화소로 이루어지는 단조 증감을 검출함으로써, 데이터 정상성을 가지는 화소로 이루어지는 영역을 검출한다. 즉, 스텝 S203에 있어서, 단조 증감 검출부(203)는, 화면의 세로 방향을 기준으로 하여, 처리를 실행하는 경우, 정점 및 정점에 대하여 세로로 1열로 배열된 화소에 대하여, 각 화소의 화소값과 상측 또는 하측 화소의 화소값과의 차분을 구하여, 차분의 부호가 바뀌는 화소를 검출한다. 또, 단조 증감 검출부(203)는, 정점 및 정점에 대하여 세로로 1열로 배열된 화소에 대하여, 각 화소의 화소값의 부호와, 그 화소의 상측 또는 하측 화소의 화소값의 부호를 비교하여, 화소값의 부호가 바뀌는 화소를 검출한다. 또한, 단조 증감 검출부(203)는, 정점의 화소값, 및 정점의 우측 및 좌측 화소의 화소값을, 임계값과 비교하여, 정점의 화소값이 임계값을 넘고, 우측 및 좌측 화소의 화소값이 임계값 이하인 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는, 이와 같이 검출된 영역을 단조 증감 영역으로서, 단조 증감 영역을 나타낸 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

또, 단조 증감 검출부(203)는, 화면의 가로 방향을 기준으로 하여, 처리를 실행하는 경우, 정점의 화소값, 및 정점에 대하여 가로로 1열로 배열된 화소의 화소값에 따라서, 가로로 배열된 1열의 화소로서, 1개의 가는 선의 화상이 투영된 화소로 이루어지는 단조 증감을 검출함으로써, 데이터 정상성을 가지는 화소로 이루 어지는 영역을 검출한다. 즉, 스텝 S203에 있어서, 단조 증감 검출부(203)는, 화면의 가로 방향을 기준으로 하여, 처리를 실행하는 경우, 정점 및 정점에 대하여 가로로 1열로 배열된 화소에 대하여, 각 화소의 화소값과, 좌측 또는 우측 화소의 화소값의 차분을 구하여, 차분의 부호가 바뀌는 화소를 검출한다. 또, 단조 증감 검출부(203)는, 정점 및 정점에 대하여 가로로 1열로 배열되는 화소에 대하여, 각 화소의 화소값의 부호와, 그 화소의 좌측 또는 우측 화소의 화소값의 부호를 비교하여, 화소값의 부호가 변화하는 화소를 검출한다. 또한, 단조 증감 검출부(203)는, 정점의 화소값, 및 정점의 상측 및 하측 화소의 화소값을, 임계값과 비교하여, 정점의 화소값이 임계값을 초과하고 상측 및 하측 화소의 화소값이 임계값 이하인 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는, 이와 같이 검출된 영역을 단조 증감 영역으로서, 단조 증감 영역을 나타낸 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

스텝 S204에 있어서, 단조 증감 검출부(203)는, 모든 화소의 처리가 종료되었는지 여부를 판정한다. 예를 들면, 비정상 성분 추출부(201)는, 입력 화상의 하나의 화면(예를 들면, 프레임 또는 필드 등)의 모든 화소에 대하여, 정점을 검출하고, 단조 증감 영역을 검출했는지의 여부를 판정한다.

스텝 S204에 있어서, 모든 화소의 처리가 종료되어 있지 않은, 즉 정점의 검출 및 단조 증감 영역 검출 처리의 대상이 되어 있지 않은 화소가 아직 있다고 판 정한 경우, 스텝 S202으로 복귀하고, 정점의 검출 및 단조 증감 영역 검출 처리의 대상이 되어 있지 않은 화소로부터 처리의 대상이 되는 화소를 선택하여, 정점의 검출 및 단조 증감 영역의 검출의 처리를 반복한다.

스텝 S204에 있어서, 모든 화소의 처리가 종료되었다고, 즉, 모든 화소를 대상으로 하여 정점 및 단조 증감 영역이 검출되었다고 판정된 경우, 스텝 S205로 진행하여, 연속성 검출부(204)는, 단조 증감 영역 정보에 따라서, 검출된 영역의 연속성을 검출한다. 예를 들면, 연속성 검출부(204)는, 단조 증감 영역 정보에 의해 나타내는, 화면의 세로 방향으로 1열로 배열되는 화소로 이루어지는 단조 증감 영역에 대하여, 가로 방향에 인접하는 화소를 포함하고 있을 때, 2개의 단조 증감 영역의 사이에 연속성이 있다고 하고, 가로 방향에 인접하는 화소를 포함하지 않을 때, 2개의 단조 증감 영역의 사이에 연속성이 없다고 한다. 예를 들면, 연속성 검출부(204)는, 단조 증감 영역 정보에 의해 나타내는, 화면의 가로 방향으로 (1열로 배열되는 화소로 이루어지는 단조 증감 영역에 대하여, 세로 방향에 인접하는 화소를 포함하고 있을 때, 2개의 단조 증감 영역의 사이에 연속성이 있다고 하고, 세로 방향에 인접하는 화소를 포함하지 않을 때, 2개의 단조 증감 영역의 사이에 연속성이 없다고 한다.

연속성 검출부(204)는, 검출된 연속되어 있는 영역을 데이터 정상성을 가지는 정상 영역으로하고, 정점의 위치 및 정상 영역을 나타내는 데이터 정상성 정보 를 출력한다. 데이터 정상성 정보는, 영역의 연결을 나타내는 정보를 포함하고 있다. 연속성 검출부(204)로부터 출력되는 데이터 정상성 정보는, 실세계(1)의 가는 선의 화상이 투영된 화소로 이루어지는, 정상 영역에서 있는 가는 선 영역을 나타낸다.

스텝 S206에 있어서, 정상성 방향 검출부(205)는, 모든 화소의 처리가 종료되었는지 여부를 판정한다. 즉, 정상성 방향 검출부(205)는, 입력 화상의 소정의 프레임의 모든 화소에 대하여, 영역의 연속성을 검출했는지 여부를 판정한다.

스텝 S206에 있어서, 모든 화소의 처리가 종료하고 있지 않는, 즉, 영역의 연속성 검출 처리의 대상이 되지 않은 화소가 아직 있다고 판정된 경우, 스텝 S205로 복귀하여, 영역의 연속성 검출 처리의 대상 되지 않은 화소로부터 처리 대상이 되는 화소를 선택하여, 영역의 연속성 검출 처리를 반복한다.

스텝 S206에 있어서, 모든 화소의 처리가 종료되어, 즉, 모든 화소를 대상으로 영역의 연속성이 검출되었다고 판정된 경우, 처리는 종료한다.

이와 같이, 입력 화상인 데이터(3)에 포함되어 있는 정상성이 검출된다. 즉, 가는 선인 실세계(1)의 화상이 데이터(3)에 투영됨으로써 생긴, 데이터(3)에 포함되는 데이터 정상성이 검출되어 데이터(3)로부터, 가는 선인 실세계(1)의 화상이 투영된 화소로 이루어지는, 데이터 정상성을 가지는 영역이 검출된다.

그리고, 도 41에서 구성이 나타내는 데이터 정상성 검출부(101)는, 데이터 (3)의 프레임으로부터 검출된 데이터 정상성을 가지는 영역에 따라서, 시간 방향의 데이터 정상성을 검출할 수 있다.

예를 들면, 도 57에 나타낸 바와 같이, 연속성 검출부(204)는, 프레임 #n에 있어서, 검출된 데이터 정상성을 가지는 영역, 프레임 #n-1에 있어서, 검출된 데이터 정상성을 가지는 영역, 및 프레임 #n+1에 있어서, 검출된 데이터 정상성을 가지는 영역에 따라서, 영역의 단부를 연결함으로써, 시간 방향의 데이터 정상성을 검출한다.

프레임 #n-1은, 프레임 #n에 대하여 시간적으로 이전의 프레임이며, 프레임 #n+1은, 프레임 #n에 대하여 시간적으로 이후의 프레임이다. 즉, 프레임 #n-1, 프레임 #n, 및 프레임 #n+1은, 프레임 #n-1, 프레임 #n, 및 프레임 #n+1의 순서로 표시된다.

보다 구체적으로는, 도 57에 있어서, G는, 프레임 #n에 있어서, 검출된 데이터 정상성을 가지는 영역, 프레임 #n-1에 있어서, 검출된 데이터 정상성을 가지는 영역, 및 프레임 #n+1에 있어서, 검출된 데이터 정상성을 가지는 영역의 각각의 일단을 연결함으로써 얻어진 움직임 벡터를 나타내고, G'는, 검출된 데이터 정상성을 가지는 영역의 각각의 다른 일단을 연결함으로써 얻어진 움직임 벡터를 나타낸다. 움직임 벡터 G 및 움직임 벡터 G'는, 시간 방향의 데이터 정상성의 일례이다.

또한, 도 41에서 구성이 나타내는 데이터 정상성 검출부(101)는, 데이터 정 상성을 가지는 영역의 길이를 나타내는 정보를, 데이터 정상성 정보로서 출력할 수 있다.

도 58은, 데이터 정상성을 가지고 있지 않은 화상 데이터의 부분인 비정상 성분을 평면에서 근사하여, 비정상 성분을 추출하는, 비정상 성분 추출부(201)의 구성을 나타낸 블록도이다.

도 58에 구성을 나타낸 비정상 성분 추출부(201)는, 입력 화상으로부터 소정의 개수의 화소가 되는 블록을 추출하고, 블록과 평면에서 나타내는 값과의 오차가 소정의 임계값 미만이 되도록, 블록을 평면에서 근사하여, 비정상 성분을 추출한다.

입력 화상은, 블록 추출부(221)에 공급되면 모두, 그대로 출력된다.

블록 추출부(221)는, 입력 화상으로부터, 소정의 개수의 화소로 이루어지는 블록을 추출한다. 예를 들면, 블록 추출부(221)는, 7 x 7의 화소로 이루어지는 블록을 추출하여, 평면 근사부(222)에 공급한다. 예를 들면, 블록 추출부(221)는, 추출되는 블록의 중심이 되는 화소를 라스터 스캔(raster scan) 순으로 이동시켜, 차례로, 입력 화상으로부터 블록을 추출한다.

평면 근사부(222)는, 블록에 포함되는 화소의 화소값을 소정의 평면에서 근사한다. 예를 들면, 평면 근사부(222)는, 식(24)로 표현되는 평면에서 블록에 포함되는 화소의 화소값을 근사한다.

Z = ax + by + c …(24)

식(24)에 있어서, x는, 화소의 화면 위의 한쪽의 방향(공간 방향 X)의 위치를 나타내고, y는, 화소의 화면 위의 다른 한쪽의 방향(공간 방향 Y)의 위치를 나타낸다. z는, 평면에서 나타내는 근사치를 나타낸다. a는, 평면의 공간 방향 X의 기울기를 나타내고, b는, 평면의 공간 방향 Y의 기울기를 나타낸다. 식(24)에 있어서, c는, 평면의 오프셋(절편)을 나타낸다.

예를 들면, 평면 근사부(222)는, 회귀의 처리에 의하여, 기울기 a, 기울기 b, 및 오프셋 c를 구함으로써, 식(24)에 의해 표현되는 평면에서, 블록에 포함되는 화소의 화소값을 근사한다. 평면 근사부(222)는, 기각을 따른 회귀의 처리에 의하여, 경사 a, 기울기 b, 및 오프셋 c를 구함으로써, 식(24)으로 표현되는 평면에서, 블록에 포함되는 화소의 화소값을 근사한다.

예를 들면, 평면 근사부(222)는, 최소 자승법에 의하여, 블록의 화소의 화소값에 대하여, 오차가 최소가 되는 식(24)에 의해 표현되는 평면을 구함으로써, 평면에서 블록에 포함되는 화소의 화소값을 근사한다.

그리고, 평면 근사부(222)는, 식(24)에 의해 표현되는 평면에서 블록을 근사한다고 설명하였으나, 식(24)에 의해 표현되는 평면에 한정되지 않고, 보다 높은 자유도를 가진 함수, 예를 들면, n차(n은, 임의의 정수) 다항식으로 표현되는 면에서 블록을 근사할 수도 있다.

반복 판정부(223)는, 블록의 화소값을 근사한 평면에서 나타내는 근사치와, 블록이 대응하는 화소의 화소값의 오차를 계산한다. 식(25)는, 블록의 화소값을 근사한 평면에서 나타내는 근사치와, 블록이 대응하는 화소의 화소값 z_i의 차분인 오차 e_i를 나타낸 식이다.

…(25)

식(25)에 있어서, z햇(z에^을 붙인 문자를 z햇이라 한다. 이하, 본 명세서에 있어서, 동일하게 기재함)은, 블록의 화소값을 근사한 평면에서 나타내는 근사치를 나타내고, a햇은, 블록의 화소값을 근사한 평면의 공간 방향 X의 기울기를 나타내고, b햇은, 블록의 화소값을 근사한 평면의 공간 방향 Y의 경사를 나타낸다. 식(25)에 있어서, c햇은, 블록의 화소값을 근사한 평면의 오프셋(절편)을 나타낸다.

반복 판정부(223)는, 식(25)에서 나타내는, 근사치와 블록이 대응하는 화소의 화소값과의 오차 e_i가, 가장 큰 화소를 기각한다. 이와 같이 함으로써, 가는 선이 투영된 화소, 즉 정상성을 가지는 화소가 기각된다. 반복 판정부(223)는, 기각한 화소를 나타낸 기각 정보를 평면 근사부(222)에 공급한다.

또한, 반복 판정부(223)는, 표준오차를 산출하여, 표준오차가, 미리 정한 근 사 종료 판정용 임계값 이상이며, 블록의 화소 중, 반 이상의 화소가 기각되어 있지 않을 때, 반복 판정부(223)는, 평면 근사부(222)에, 블록에 포함되는 화소 중, 기각된 화소를 제외한 화소를 대상으로 하여, 평면에 의한 근사 처리를 반복시킨다.

정상성을 가지는 화소가 기각되므로, 기각된 화소를 제외한 화소를 대상으로 하여 평면에서 근사함으로써, 평면은, 비정상 성분을 근사하게 된다.

반복 판정부(223)는, 표준오차가, 근사 종료 판정용 임계값 미만일 때, 또는 블록의 화소 중, 반 이상의 화소가 기각 되었을 때, 평면에 의한 근사를 종료한다.

5 × 5의 화소로 이루어지는 블록에 대하여, 표준오차 es는, 예를 들면, 식(26)에 의해 산출된다.

…(26)

여기서, n은, 화소수이다.

그리고, 반복 판정부(223)는, 표준오차에 한정되지 않고, 블록에 포함되는 모든 화소에 대한 오차의 제곱의 합을 산출하여, 이하의 처리를 실행할 수도 있다.

여기서, 라스터 스캔(raster scan) 방향으로 1화소씩 어긋나는 블록을 평면 에서 근사할 때, 도 59에 나타낸 바와 같이, 도면 중 흑색 원으로 나타낸, 정상성을 가지는 화소, 즉 가는 선의 성분을 포함하는 화소는, 복수회 기각된다.

반복 판정부(223)는, 평면에 의한 근사를 종료했을 때, 블록의 화소값을 근사한 평면을 나타내는 정보(식(24)의 평면의 경사 및 절편)을, 비정상 성분 정보로서 출력한다.

그리고, 반복 판정부(223)는, 화소마다의 기각된 회수와 미리 정한 임계값을 비교하여, 기각된 회수가 임계값 이상인 화소를 정상 성분을 포함하는 화소인 것으로 하여, 정상 성분을 포함하는 화소를 나타내는 정보를 정상 성분 정보로서 출력할 수도 있다. 이 경우, 정점 검출부(202) 내지 정상성 방향 검출부(205)는, 정상 성분 정보에 의해 나타내는, 정상 성분을 포함하는 화소를 대상으로 하여, 각각의 처리를 실행한다.

도 60 내지 도 67을 참조하여, 비정상 성분 추출 처리의 결과의 예를 설명한다.

도 60은, 가는 선이 포함되는 화상으로부터, 원래의 화상의 2 × 2의 화소의 화소값의 평균값을 화소값으로서 생성한 입력 화상의 예를 나타낸 도면이다.

도 61은, 도 60에 나타낸 화상을, 기각하지 않고 평면에서 근사한 결과 얻어지는 표준오차를 화소값으로 하는 화상을 나타낸 도면이다. 도 61에 나타낸 예에 있어서, 주목하고 있는 1개의 화소에 대한 5 × 5의 화소로 이루어지는 블록을 평 면에서 근사하였다. 도 61에 있어서, 백색 화소는 보다 큰 화소값, 즉, 보다 큰 표준오차를 가지는 화소이며, 흑색 화소는 보다 작은 화소값, 즉, 보다 작은 표준오차를 가지는 화소이다.

도 61로부터, 기각하지 않고 평면에서 근사한 결과 얻어지는 표준오차를 화소값으로 한 경우, 비정상부의 주변에 넓게, 큰 값이 구해지는 것을 확인할 수 있다.

도 62 내지 도 67에 나타낸 예에 있어서, 주목하고 있는 1개의 화소에 대한 7 × 7의 화소로 이루어지는 블록을 평면에서 근사하였다. 7 × 7의 화소로 이루어지는 블록을 평면에서 근사하는 경우, 1개의 화소가 49개의 블록에 반복 포함되게 되므로, 정상 성분을 포함하는 화소는, 가장 많다 하더라도 49회 기각된다.

도 62는, 도 60에 나타낸 화상을, 기각하여 평면에서 근사할 때, 얻어지는 표준오차를 화소값으로 한 화상이다.

도 62에 있어서, 백색 화소는 보다 큰 화소값, 즉, 보다 큰 표준오차를 가지는 화소이며, 흑색 화소는 보다 작은 화소값, 즉, 보다 작은 표준오차를 가지는 화소이다. 기각을 하지 않는 경우와 비교하여, 기각을 한 경우, 전체적으로, 표준오차가 보다 작아지는 것을 알 수 있다.

도 63은, 도 60에 나타낸 화상을, 기각하여 평면에서 근사할 때, 기각된 회수를 화소값으로 한 화상을 나타낸 도면이다. 도 63에 있어서, 백색 화소는 보다 큰 화소값, 즉, 기각된 회수가 보다 많은 화소이며, 흑색 화소는 보다 작은 화소값, 즉, 기각된 회수가 보다 적은 화소이다.

도 63으로부터, 가는 선의 화상이 투영된 화소는, 보다 많이 기각되어 있는 것을 알 수 있다. 기각된 회수를 화소값으로 한 화상을 사용하여, 입력 화상의 비정상부를 마스크하는 화상을 생성할 수도 있다.

도 64는, 블록의 화소값을 근사한 평면의 공간 방향 X의 경사를 화소값으로 한 화상을 나타낸 도면이다. 도 65는, 블록의 화소값을 근사한 평면의 공간 방향 Y의 경사를 화소값으로 한 화상을 나타낸 도면이다.

도 66은, 블록의 화소값을 근사한 평면에서 나타내는 근사치로 이루어지는 화상을 나타낸 도면이다. 도 66에 나타낸 화상으로부터는, 가는 선이 없어진 것을 알 수 있다.

도 67은, 도 60에 나타낸, 원래의 화상의 2 × 2의 화소의 블록의 평균값을 화소의 화소값으로서 생성한 화상과, 도 66에 나타내는, 평면에서 나타내는 근사치로 이루어지는 화상의 차분으로 이루어지는 화상을 나타낸 도면이다. 도 67의 화상의 화소값은, 비정상 성분이 제거되므로, 가는 선의 화상이 투영된 값만을 포함한다. 도 67로부터도 알 수 있는 바와 같이, 원래의 화소값과 근사한 평면에서 나타내는 근사치의 차분으로 이루어지는 화상에서는, 원래의 화상의 정상 성분이 잘 추출되어 있는 것을 확인할 수 있다.

기각된 회수, 블록의 화소의 화소값을 근사하는 평면의 공간 방향 X의 경사, 블록의 화소의 화소값을 근사하는 평면의 공간 방향 Y의 경사, 블록의 화소의 화소값을 근사하는 평면에서 나타내는 근사치, 및 오차 e_i는, 입력 화상의 특징량으로서도 이용할 수 있다.

도 68은, 스텝 S201에 대응하는, 도 58에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 비정상 성분의 추출 처리를 설명하는 흐름도이다.

스텝 S221에 있어서, 블록 추출부(221)는, 입력 화소로부터, 소정 개수의 화소로 이루어지는 블록을 추출하고, 추출한 블록을 평면 근사부(222)에 공급한다. 예를 들면, 블록 추출부(221)는, 입력 화소로부터, 아직, 선택되지 않은 화소 중, 1개의 화소를 선택하고, 선택된 화소를 중심으로 하는 7 × 7의 화소로 이루어지는 블록을 추출한다. 예를 들면, 블록 추출부(221)는, 라스터 스캔 순으로 화소를 선택할 수 있다.

스텝 S222에 있어서, 평면 근사부(222)는, 추출된 블록을 평면에서 근사한다. 평면 근사부(222)는, 예를 들면, 회귀 처리에 의하여, 추출된 블록의 화소의 화소값을, 평면에서 근사한다. 예를 들면, 평면 근사부(222)는, 회귀 처리에 의하여, 추출된 블록의 화소 중, 기각된 화소를 제외한 화소의 화소값을, 평면에서 근사한다. 스텝 S223에 있어서, 반복 판정부(223)는, 반복 판정을 실행한다. 예를 들면, 블록의 화소의 화소값과 근사한 평면의 근사치로부터 표준오차를 산출하고, 기각된 화소의 수를 카운트함으로써, 반복 판정을 실행한다.

스텝 S224에 있어서, 반복 판정부(223)는, 표준오차가 임계값 이상인지 여부를 판정하고, 표준오차가 임계값 이상으로 판정된 경우, 스텝 S225로 진행한다.

그리고, 스텝 S224에 있어서, 반복 판정부(223)는, 블록의 화소 중, 반 이상의 화소가 기각되었는지 여부, 및 표준오차가 임계값 이상인지 여부를 판정하고, 블록의 화소 중, 반 이상의 화소가 기각되지 않고, 표준오차가 임계값 이상으로 판정된 경우, 스텝 S225로 진행해도 된다.

스텝 S225에 있어서, 반복 판정부(223)는, 블록의 화소마다, 화소의 화소값과 근사한 평면의 근사치의 오차를 산출하여, 오차가 가장 큰 화소를 기각하고, 평면 근사부(222)에 통지한다. 그리고, 스텝 S222로 복귀하여, 기각된 화소를 제외한, 블록의 화소를 대상으로 하여, 평면에 의한 근사 처리 및 반복 판정 처리가 반복된다.

스텝 S225에 있어서, 라스터 스캔 방향으로 1화소씩 어긋난 블록이 스텝 S221의 처리에 의해 추출되는 경우, 도 59에 나타낸 바와 같이, 가는 선의 성분을 포함하는 화소(도면 중의 흑색 원)는, 복수회 기각된다.

스텝 S224에 있어서, 표준오차가 임계값 이상이 아닌 것으로 판정된 경우, 블록이 평면에서 근사되었으므로, 스텝 S226으로 진행한다.

그리고, 스텝 S224에 있어서, 반복 판정부(223)는, 블록의 화소 중, 반 이상의 화소가 기각되었는지 여부, 및 표준오차가 임계값 이상인지 여부를 판정하여, 블록의 화소 중, 반 이상의 화소가 기각되었는지, 또는 표준오차가 임계값 이상이 아닌 것으로 판정된 경우, 스텝 S225로 진행해도 된다.

스텝 S226에 있어서, 반복 판정부(223)는, 블록의 화소의 화소값을 근사하는 평면의 경사 및 절편을, 비정상 성분 정보로서 출력한다.

스텝 S227에 있어서, 블록 추출부(221)는, 입력 화상의 하나의 화면의 모든 화소에 대하여 처리가 종료되었는지 여부를 판정하여, 아직 처리 대상이 되지 않은 화소가 있다고 판정된 경우, 스텝 S221로 복귀하고, 아직 처리 대상 되지 않은 화소로부터 블록을 추출하여, 전술한 처리를 반복한다.

스텝 S227에 있어서, 입력 화상의 하나의 화면의 모든 화소에 대하여, 처리가 종료되었다고 판정된 경우, 처리를 종료한다.

이와 같이, 도 58에 구성을 나타낸 비정상 성분 추출부(201)는, 입력 화상으로부터 비정상 성분을 추출할 수 있다. 비정상 성분 추출부(201)가 입력 화상의 비정상 성분을 추출하므로, 정점 검출부(202) 및 단조 증감 검출부(203)는, 입력 화상과, 비정상 성분 추출부(201)에서 추출된 비정상 성분의 차분을 구함으로써, 정상 성분을 포함하는 차분을 대상으로 하여 처리를 실행할 수 있다.

그리고, 평면에 의한 근사 처리에 있어서 산출되는, 기각한 경우의 표준오차, 기각하지 않는 경우의 표준오차, 화소의 기각된 회수, 평면의 공간 방향 X의 경사(식(24)에 있어서의 a햇), 평면의 공간 방향 Y의 경사(식(24)에 있어서의 b햇), 평면에서 치환하여 때의 레벨(식(24)에 있어서의 c하트), 및 입력 화상의 화소값과 평면에서 나타내는 근사치와의 차분은, 특징량으로서 이용할 수 있다.

도 69는, 스텝 S201에 대응하는 비정상 성분의 추출 처리를 대신하는, 도 58에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 정상 성분의 추출 처리를 설명하는 흐름도이다. 스텝 S241 내지 스텝 S245의 처리는, 스텝 S221 내지 스텝 S225의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S246에 있어서, 반복 판정부(223)는, 평면에서 나타내는 근사치와 입력 화상의 화소값과의 차분을, 입력 화상의 정상 성분으로서 출력한다. 즉, 반복 판정부(223)는, 평면에 의한 근사치와 진치인 화소값의 차분을 출력한다.

그리고, 반복 판정부(223)는, 평면에서 나타내는 근사치와 입력 화상의 화소값의 차분이, 소정의 임계값 이상인 화소의 화소값을, 입력 화상의 정상 성분으로서 출력할 수도 있다.

스텝 S247의 처리는, 스텝 S227의 처리와 동일하므로, 그 설명은 생략한다.

평면이 비정상 성분을 근사하고 있으므로, 비정상 성분 추출부(201)는, 입력 화상의 각 화소의 화소값으로부터, 화소값을 근사하는 평면에서 나타내는 근사치를 뺄셈함으로써, 입력 화상으로부터 비정상 성분을 제거할 수 있다. 이 경우, 정점 검출부(202) 내지 연속성 검출부(204)는, 입력 화상의 정상 성분, 즉 가는 선의 화상이 투영된 값만을 처리 대상으로 할 수 있어서 정점 검출부(202) 내지 연속성 검출부(204)에 있어서의 처리가 보다 용이하게 된다.

도 70은, 스텝 S201에 대응하는 비정상 성분의 추출의 처리를 대신하는, 도 58에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 정상 성분의 추출의 다른 처리를 설명하는 흐름도이다. 스텝 S261 내지 스텝 S265의 처리는, 스텝 S221 내지 스텝 S225의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S266에 있어서, 반복 판정부(223)는, 화소마다의, 기각 회수를 기억하고, 스텝 S262으로 복귀하여, 처리를 반복한다.

스텝 S264에 있어서, 표준오차가 임계값 이상이 아닌 것으로 판정된 경우, 블록이 평면에서 근사 되었으므로, 스텝 S267로 진행하고, 반복 판정부(223)는, 입력 화상의 하나의 화면의 모든 화소에 대하여 처리가 종료되었는지 여부를 판정하여, 아직 처리 대상 되지 않은 화소가 있다고 판정된 경우, 스텝 S261에 되돌아와서, 아직 처리 대상이 되지 않은 화소에 대하여 블록을 추출하여, 전술한 처리를 반복한다.

스텝 S267에 있어서, 입력 화상의 하나의 화면의 모든 화소에 대하여, 처리가 종료되었다고 판정된 경우, 스텝 S268로 진행하고, 반복 판정부(223)는, 아직 선택되지 않은 화소로부터 1개의 화소를 선택하고, 선택된 화소에 대하여, 기각 회수가, 임계값 이상인지 여부를 판정한다. 예를 들면, 반복 판정부(223)는, 스텝 S268에 있어서, 선택된 화소에 대하여, 기각 회수가, 미리 기억하고 있는 임계값 이상인지 여부를 판정한다.

스텝 S268에 있어서, 선택된 화소에 대하여, 기각 회수가, 임계값 이상으로 판정된 경우, 선택된 화소가 정상 성분을 포함하므로, 스텝 S269로 진행하고, 반복 판정부(223)는, 선택된 화소의 화소값(입력 화상에 있어서의 화소값)을 입력 화상의 정상 성분으로서 출력하고, 스텝 S270으로 진행한다.

스텝 S268에 있어서, 선택된 화소에 대하여, 기각 회수가, 임계값 이상이 아닌 것으로 판정된 경우, 선택된 화소가 정상 성분을 포함하지 않기 때문에, 스텝 S269의 처리를 스킵하여, 스텝 S270으로 진행한다. 즉, 기각 회수가, 임계값 이상이 아닌 것으로 판정된 화소는, 화소값이 출력되지 않는다.

그리고, 기각 회수가, 임계값 이상이 아닌 것으로 판정된 화소에 대하여, 반복 판정부(223)는, 0(제로)를 설정한 화소값을 출력해도 된다.

스텝 S270에 있어서, 반복 판정부(223)는, 입력 화상의 하나의 화면의 모든 화소에 대하여, 기각 회수가 임계값 이상인지 여부를 판정하는 처리가 종료되었는지 여부를 판정하고, 모든 화소에 대하여 처리를 종료하지 않은 것으로 판정된 경우, 아직 처리의 대상이 되지 않은 화소가 남아 있으므로, 스텝 S268로 복귀하고, 아직 처리의 대상 되지 않은 화소로부터 1개의 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S270에 있어서, 입력 화상의 하나의 화면의 모든 화소에 대하여 처리가 종료되었다고 판정된 경우, 처리는 종료된다.

이와 같이, 비정상 성분 추출부(201)는, 정상 성분 정보로서, 입력 화상의 화소 중, 정상 성분을 포함하는 화소의 화소값을 출력할 수 있다. 즉, 비정상 성분 추출부(201)는, 입력 화상의 화소 중, 가는 선의 화상의 성분을 포함하는 화소의 화소값을 출력할 수 있다.

도 71은, 스텝 S201에 대응하는 비정상 성분 추출 처리를 대신하는, 도 58에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 정상 성분의 추출의 또 다른 처리를 설명하는 흐름도이다. 스텝 S281 내지 스텝 S288의 처리는, 스텝 S261 내지 스텝 S268의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S289에 있어서, 반복 판정부(223)는, 평면에서 나타내는 근사치와 선택된 화소의 화소값의 차분을 입력 화상의 정상 성분으로서 출력한다. 즉, 반복 판정부(223)는, 입력 화상으로부터 비정상 성분을 제거하고 화상을 정상성 정보로서 출력한다.

스텝 S290의 처리는, 스텝 S270의 처리와 동일하므로, 그 설명은 생략한다.

이와 같이, 비정상 성분 추출부(201)는, 입력 화상으로부터 비정상 성분을 제거하고 화상을 정상성 정보로서 출력할 수 있다.

이상과 같이, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된, 제1 화상 데이터의 복수개의 화소의 화소값의 불연속부를 검출하고, 검출된 불연속부로부터 데이터 정상성을 검출하고, 검출된 데이터 정상성에 따라서, 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 근사하는 모델(함수)을 생성하고, 생성된 함수에 따라 제2 화상 데이터를 생성하는 경우, 현실 세계의 사상에 대하여,보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

도 72는, 데이터 정상성 검출부(101)의 다른 구성을 나타낸 블록도이다.

도 72에 구성을 나타내는 데이터 정상성 검출부(101)에 있어서는, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향에 대한 화소값의 변화, 즉 입력 화상의 공간 방향의 액티비티가 검출되고, 검출된 액티비티에 따라, 주목 화소 및 기준축을 기준으로 한 각도마다, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 그룹이, 복수개 추출되어 추출된 화소의 그룹의 상관 관계가 검출되어 상관 관계에 따라, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도가 검출된다.

데이터 정상성의 각도란, 기준축과 데이터(3)가 가지고 있는, 일정한 특징이 반복적으로 나타나는 소정의 차원의 방향이 이루는 각도를 말한다. 일정한 특징이 반복적으로 나타난다는 것은, 예를 들면, 데이터(3)에 있어서의 위치의 변화에 대 한 값의 변화, 즉 단면 형상이 같은 경우 등을 말한다.

기준축은, 예를 들면, 공간 방향 X를 나타내는 축(화면의 수평 방향), 또는 공간 방향 Y를 나타내는 축(화면의 수직 방향) 등으로 정할 수 있다.

입력 화상은, 액티비티 검출부(401) 및 데이터 선택부(402)에 공급된다.

액티비티 검출부(401)는, 입력 화상의 공간 방향에 대한 화소값의 변화, 즉 공간 방향의 액티비티를 검출하여, 검출한 결과를 나타낸 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

예를 들면, 액티비티 검출부(401)는, 화면의 수평 방향에 대한 화소값의 변화, 및 화면의 수직 방향에 대한 화소값의 변화를 검출하고, 검출된 수평 방향에 대한 화소값의 변화 및 수직 방향에 대한 화소값의 변화를 비교함으로써, 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰지, 또는 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰지를 검출한다.

액티비티 검출부(401)는, 검출의 결과인, 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 것을 나타내거나, 또는 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 것을 나타낸 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변 화가 큰 경우, 예를 들면, 도 73에 나타낸 바와 같이, 수직 방향으로 1열의 화소에 원호 형상(어묵형) 또는 멈춤쇠 형상으로 형성되고, 원호 형상 또는 멈춤쇠 형상이 수직으로 보다 가까운 방향으로 반복하여 형성되어 있다. 즉, 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 경우, 기준축을 공간 방향 X를 나타낸 축으로 하면, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도는, 45도 내지 90도 중 어느 하나의 값이다.

수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 경우, 예를 들면, 수평 방향으로 1열의 화소에 원호 형상 또는 멈춤쇠 형상이 형성되고, 원호 형상 또는 멈춤쇠 형상이 수평 방향으로 보다 가까운 방향으로 반복하여 형성되어 있다. 즉, 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 경우, 기준축을 공간 방향 X를 나타낸 축으로 하면, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도는, 0도 내지 45도 중 어느 하나의 값이다.

예를 들면, 액티비티 검출부(401)는, 도 74에서 나타내는, 주목 화소를 중심으로 한 3 × 3의 9개의 화소로 이루어지는 블록을 입력 화상으로부터 추출한다. 액티비티 검출부(401)는, 세로로 인접하는 화소에 대한 화소값의 차분의 합, 및 가로로 인접하는 화소에 대한 화소값의 차분의 합을 산출한다. 가로로 인접하는 화 소에 대한 화소값의 차분의 합 h_diff는, 식(27)에서 구해진다.

h_diff = ∑(P_i+1,j - P_i,j)…(27)

마찬가지로, 세로로 인접하는 화소에 대한 화소값의 차분의 합 v_diff는, 식(28)에서 구해진다.

v_diff = ∑(P_i,j+1 - P_i,j)…(28)

식(27) 및 식(28)에 있어서, P는, 화소값을 나타내고, i는, 화소의 가로 방향의 위치를 나타내고, j는, 화소의 세로 방향의 위치를 나타낸다.

액티비티 검출부(401)는, 산출된 가로로 인접하는 화소에 대한 화소값의 차분의 합 h_diff 및 세로로 인접하는 화소에 대한 화소값의 차분의 합 v_diff를 비교하여, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도의 범위를 판정할 수도 있다. 즉, 이 경우, 액티비티 검출부(401)는, 공간 방향의 위치에 대한 화소값의 변화에서 나타내는 형상이 수평 방향으로 반복하여 형성되어 있는지, 혹은 수직 방향으로 반복하여 형성되어 있는지를 판정한다.

예를 들면, 가로로 1열의 화소 상에 형성된 원호에 대한 가로 방향의 화소값의 변화는, 세로 방향의 화소값의 변화와 비교하여 크고, 가로로 1열의 화소 상에 형성된 원호에 대한 세로 방향의 화소값의 변화는, 가로 방향의 화소값의 변화와 비교하여 크고, 데이터 정상성의 방향, 즉, 데이터(3)인 입력 화상이 가지고 있는, 일정한 특징의 소정의 차원의 방향의 변화는, 데이터 정상성에 직교하는 방향의 변화와 비교하여 작다고 할 수 있다. 바꾸어 말하면, 데이터 정상성의 방향의 차분과 비교하여, 데이터 정상성의 방향으로 직교하는 방향(이하, 비정상 방향)의 차분은 크다.

예를 들면, 도 75에 나타낸 바와 같이, 액티비티 검출부(401)는, 산출된 가로로 인접하는 화소에 대한 화소값의 차분의 합 h_diff 및 세로로 인접하는 화소에 대한 화소값의 차분의 합 v_diff를 비교하여, 가로로 인접하는 화소에 대한 화소값의 차분의 합 h_diff가 큰 경우, 기준축을 기준으로 한 데이터 정상성의 각도가, 45도 내지 135도 중 어느 하나의 값인 것으로 판정하고, 세로에 인접하는 화소에 대한 화소값의 차분의 화v_diff가 큰 경우, 기준축을 기준으로 한 데이터 정상성의 각도가, 0도 내지 45도 중 어느 하나의 값, 또는 135도 내지 180도 중 어느 하나의 값인 것으로 판정한다.

예를 들면, 액티비티 검출부(401)는, 판정의 결과를 나타낸 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

그리고, 액티비티 검출부(401)는, 5 × 5의 25개의 화소로 이루어지는 블록, 또는 7 × 7의 49개의 화소로 이루어지는 블록 등, 임의의 크기의 블록을 추출하여, 액티비티를 검출할 수 있다.

데이터 선택부(402)는, 입력 화상의 화소로부터 주목 화소의 순서대로 선택하고, 액티비티 검출부(401)로부터 공급된 액티비티 정보에 따라서, 주목 화소 및 기준축을 기준으로 한 각도마다, 수직 방향으로 1열 또는 수평 방향으로1 열의 소정 개수의 화소로 이루어지는 화소의 그룹을, 복수개 추출한다.

예를 들면, 액티비티 정보가 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 것을 나타내고 있을 때, 데이터 정상성의 각도가, 45도 내지 135도 중 어느 하나의 값이므로, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 45도 내지 135도의 범위의 소정 각도마다, 수직 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 그룹을, 복수개 추출한다.

액티비티 정보가 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 것을 나타내고 있을 때, 데이터 정상성의 각도가, 0도 내지 45도 또는 135도 내지 180도 중 어느 하나의 값이므로, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 0도 내지 45도 또는 135도 내지 180도의 범위의 소정 각도마다, 수평 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 ㄱ그룹을, 복수개 추출한다.

또, 예를 들면, 데이터 정상성의 각도가 45도 내지 135도 중 어느 하나의 값인 것을, 액티비티 정보가 나타내고 있을 때, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 45도 내지 135도의 범위의 소정 각도마다, 수직 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 그룹을, 복수개 추출한다.

데이터 정상성의 각도가 0도 내지 45도 또는 135도 내지 180도 중 어느 하나의 값인 것을, 액티비티 정보가 나타내고 있을 때, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 0도 내지 45도 또는 135도 내지 180도의 범위의 소정 각도마다, 수평 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 그룹을, 복수개 추출한다.

데이터 선택부(402)는, 추출한 화소로 이루어지는 복수개의 그룹을 오차 추정부(403)에 공급한다.

오차 추정부(403)는, 추출한 화소로 이루어지는 복수개의 그룹에 대하여, 각도마다, 화소의 그룹의 상관 과계를 검출한다.

예를 들면, 오차 추정부(403)는, 1개의 각도에 대응하는, 수직 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 복수개의 그룹에 대하여, 화소의 그룹에 있어서 대응하는 위치의 화소의 화소값의 상관 관계를 검출한다. 오차 추정부(403)는, 1개의 각도에 대응하는, 수평 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 복수개의 그룹에 대하여, 그룹에 있어서의 대응하는 위치의 화소의 화소값의 상관 관계를 검출한다.

오차 추정부(403)는, 검출한 상관 관계를 나타내는 상관 정보를 정상 방향 도출부(404)에 공급한다. 오차 추정부(403)는, 상관 관계를 나타낸 값으로서, 데이터 선택부(402)로부터 공급된, 주목 화소를 포함하는 그룹의 화소의 화소값과 다른 그룹에 있어서의 대응하는 위치의 화소의 화소값의 차분의 절대값의 합을 산출하고, 차분의 절대값의 합을 상관 정보로서 정상 방향 도출부(404)에 공급한다.

정상 방향 도출부(404)는, 오차 추정부(403)로부터 공급된 상관 정보에 따라, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출하여, 각도를 나타내는 데이터 정상성 정보를 출력한다. 예를 들면, 정상 방향 도출부(404)는, 오차 추정부(403)로부터 공급된 상관 정보에 따라, 데이터 정상성의 각도로서 가장 상관 관계가 강한 화소의 그룹에 대한 각도를 검출하여, 검출된 가장 상관의 강한 화소의 그룹에 대한 각도를 나타내는 데이터 정상성 정보를 출력한다.

이하의 설명에 있어서, 적절히, 0도 내지 90도의 범위(이른바 제1 상한)의 데이터 정상성의 각도를 검출한다고 가정하여 설명한다.

도 76은, 도 72에 나타내는 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타낸 블록도이다.

데이터 선택부(402)는, 화소 선택부(411-1) 내지 화소 선택부(411-L)를 포함한다. 오차 추정부(403)는, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)를 포함한다. 정상 방향 도출부(404)는, 최소 오차 각도 선택부(413)를 포함한다.

먼저, 액티비티 정보에 의해 나타내는, 데이터 정상성의 각도가 45도 내지 135도 중 어느 하나의 값 일 때의 화소 선택부(411-1) 내지 화소 선택부(411-L)의 처리를 설명한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 공간 방향 X를 나타낸 축을 기준축으로 하여, 주목 화소를 지나는, 각각 상이한 소정 각도의 직선을 설정한다. 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 속하는 화소로서, 주목 화소의 상측의 소정 개수의 화소, 및 주목 화소의 하측의 소정 개수의 화소, 및 주목 화소를 화소의 그룹으로서 선택한다.

예를 들면, 도 77에 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 속하는 화소로부터, 주목 화소를 중심으로 하여 9개의 화소를 화소의 그룹으로서 선택한다.

도 77에 있어서, 격자 모양의 하나의 사각(1개의 격자)은, 1개의 화소를 나타낸다. 도 77에 있어서, 중앙에 나타낸 원형은, 주목 화소를 나타낸다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측의 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 77에 있어서, 주목 화소의 좌하측의 원형은, 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내 지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 상측의 소정 개수의 화소, 및 선택된 화소의 하측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

예를 들면, 도 77에 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측으로 2개 째의 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 77에 있어서, 가장 좌측의 원형은, 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로롤 1열의 화소의 열의, 좌측에 2개 째의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 상측의 소정 개수의 화소, 및 선택된 화소의 하측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

예를 들면, 도 77에 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측으로 2개 째의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로1 열의 화소의 열의, 우측의 세로롤 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 77에 있어서, 주목 화소의 우측 상측의 원형은, 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 상측의 소정 개수의 화소, 및 선택된 화소의 하측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

예를 들면, 도 77에 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측으로 2번째의 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 77에 있어서, 가장 우측의 원형은, 이와 같이 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측으로 2개 째의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 상측의 소정 개수의 화소, 및 선택된 화소의 하측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

예를 들면, 도 77에 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측에 2개 째의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 그룹으로서 선택한다.

이와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 각각, 화소의 그룹을 5개 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 서로 상이한 각도(에 설정된 직선)에 대한, 화소의 그룹을 선택한다. 예를 들면, 화소 선택부(411-1)는, 45도에 대한, 화소의 그룹을 선택하고, 화소 선택부(411-2)는, 47.5도에 대한, 화소의 그룹을 선택하고, 화소 선택부(411-3)는, 50도에 대한, 화소의 그룹을 선택한다. 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 52.5도로부터135도 까지의, 2.5도마다의 각도에 대하여, 화소의 그룹을 선택한다.

그리고, 화소의 그룹의 수는, 예를 들면, 3개, 또는 7개 등, 임의로 정할 수 있기 때문에, 본 발명을 한정하는 것은 아니다. 또, 1개의 그룹으로서 선택된 화소의 수는, 예를 들면, 5개, 또는 13개 등, 임의로 정할 수 있어서, 본 발명을 한정하는 것은 아니다.

그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 세로 방향으로 소정 범위의 화소로부터, 화소의 그룹을 선택하도록 할 수 있다. 예를 들면, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 세로 방향으로 121개의 화소(주목 화소에 대하여, 상 방향으로 60화소, 하 방향으로 60화소)로부터, 화소의 그룹을 선택한다. 이 경우, 데이터 정상성 검출부(101)는, 공간 방향 X를 나타낸 축에 대하여, 88.09도까지, 데이터 정상성의 각도를 검출할 수 있다.

화소 선택부(411-1)는, 선택한 화소의 그룹을 추정 오차 산출부(412-1)에 공급하고, 화소 선택부(411-2)는, 선택한 화소의 그룹을 추정 오차 산출부(412-2)에 공급한다. 마찬가지로, 화소 선택부(411-3) 내지 화소 선택부(411-L)의 각각은, 선택한 화소의 그룹을 추정 오차 산출부(412-3) 내지 추정 오차 산출부(412-L)의 각각에 공급한다.

추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 복수개의 그룹에 있어서의 대응하는 위치의 화소의 화소값의 상관 관계를 검출한다. 예를 들면, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 상관 관계를 나타낸 값으로서, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공 급된, 주목 화소를 포함하는 그룹의 화소의 화소값과 다른 그룹에 있어서의 대응하는 위치의 화소의 화소값의 차분의 절대값의 합을 산출한다.

보다 구체적으로는, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 그룹의 화소의 화소값과 주목 화소의 좌측의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 그룹의 화소의 화소값에 따라서, 가장 위의 화소의 화소값의 차분을 산출하고, 위로부터 2번째의 화소의 화소값의 차분을 산출하도록, 위의 화소로부터 순서대로 화소값의 차분의 절대값을 산출하여, 또한 산출된 차분의 절대값의 합을 산출한다. 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 그룹의 화소의 화소값과 주목 화소의 좌측에 2번 째의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 그룹의 화소의 화소값에 따라서, 위의 화소로부터 순서대로 화소값의 차분의 절대값을 산출하여, 산출된 차분의 절대값의 합을 산출한다.

그리고, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 그룹의 화소의 화소값과 주목 화소의 우측의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 그룹의 화소의 화소값에 따라서, 가장 위의 화소의 화소값 의 차분을 산출하고, 위로부터 2번째의 화소의 화소값의 차분을 산출하도록, 위의 화소로부터 순서대로 화소값의 차분의 절대값을 산출하고, 또한 산출된 차분의 절대값의 합을 산출한다. 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 그룹의 화소의 화소값과 주목 화소의 우측으로 2번째의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 그룹의 화소의 화소값에 따라서, 위의 화소로부터 순서대로 화소값의 차분의 절대값을 산출하여, 산출된 차분의 절대값의 합을 산출한다.

추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 이와 같이 산출된 화소값의 차분의 절대값의 합을 모두 가산하여, 화소값의 차분의 절대값의 총계를 산출한다.

추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 검출된 상관 관계를 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다. 예를 들면, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 산출된 화소값의 차분의 절대값의 총계를 최소 오차 각도 선택부(413)에 공급한다.

그리고, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소값의 차분의 절대값의 합에 한정되지 않고, 화소값의 차분의 제곱의 합, 또는 화소값에 따른 상관 계수 등 다른 값을 상관값으로서 산출할 수 있다.

최소 오차 각도 선택부(413)는, 서로 상이한 각도에 대한, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)에 있어서 검출된 상관 관계에 따라, 결락된 실세계(1)의 광신호인 화상의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출한다. 즉, 최소 오차 각도 선택부(413)는, 서로 상이한 각도에 대한, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)에 있어서 검출된 상관 관계에 따라, 가장 강한 상관 관계를 선택하고, 선택된 상관 관계가 검출된 각도를, 기준축을 기준으로 한 데이터 정상성의 각도로 함으로써, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출한다.

예를 들면, 최소 오차 각도 선택부(413)는, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)로부터 공급된, 화소값의 차분의 절대값의 총계 중, 최소의 총계를 선택한다. 최소 오차 각도 선택부(413)는, 선택된 총계가 산출된 화소의 그룹에 대하여, 주목 화소에 대하여, 좌측에 2번째의 세로로 1열의 화소의 열에 속하는 화소로서, 직선에 가장 가까운 위치의 화소의 위치, 및 주목 화소에 대하여, 우측에 2번째의 세로로 1열의 화소의 열에 속하는 화소로서, 직선에 가장 가까운 위치의 화소의 위치를 참조한다.

도 77에 나타낸 바와 같이, 최소 오차 각도 선택부(413)는, 주목 화소의 위치에 대한, 참조하는 화소의 위치의 세로 방향의 거리 S를 구한다. 최소 오차 각 도 선택부(413)는, 도 78에 나타낸 바와 같이, 식(29)로부터, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터인 입력 화상에 있어서의, 기준축인 공간 방향 X를 나타낸 축을 기준으로 한 데이터 정상성의 각도θ를 검출한다.

θ = tan^-1(s/2)…(29)

다음에, 액티비티 정보에 의해 나타내는, 데이터 정상성의 각도가 0도 내지 45도 및 135도 내지 180도 중 어느 하나의 값일 때의 화소 선택부(411-1) 내지 화소 선택부(411-L)의 처리를 설명한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 공간 방향 X를 나타낸 축을 기준축으로 하여, 주목 화소를 통과하는, 소정 각도의 직선을 설정하고, 주목 화소가 속하는 가로로 1열의 화소의 열에 속하는 화소로서, 주목 화소의 좌측의 소정 개수의 화소, 및 주목 화소의 우측의 소정 개수의 화소, 및 주목 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 상측의 가로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 상측의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정 개수의 화소, 및 선택된 화소의 우측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 상측에 2번째의 가로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 상측에 2번째의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정 개수의 화소, 및 선택된 화소의 우측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 하측의 가로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 하측의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정 개수의 화소, 및 선택된 화소의 우측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 하측에 2번째의 가로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 하측에 2번째의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정 개수의 화소, 및 선택된 화소의 우측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

이와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 각각, 화소의 그룹을 5개 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 서로 상이한 각도에 대한, 화소의 그룹을 선택한다. 예를 들면, 화소 선택부(411-1)는, 0도에 대한, 화소의 그룹을 선택하고, 화소 선택부(411-2)는, 2.5도에 대한, 화소의 그룹을 선택하고, 화소 선택부(411-3)은, 5도에 대한, 화소의 그룹을 선택한다. 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 7.5도로부터 45도 및 135도로부터 180도까지의, 2.5도마다의 각도에 대한, 화소의 그룹을 선택한다.

화소 선택부(411-1)는, 선택한 화소의 그룹을 추정 오차 산출부(412-1)에 공급하고, 화소 선택부(411-2)는, 선택한 화소의 그룹을 추정 오차 산출부(412-2)에 공급한다. 마찬가지로, 화소 선택부(411-3) 내지 화소 선택부(411-L)의 각각은, 선택한 화소의 그룹을 추정 오차 산출부(412-3) 내지 추정 오차 산출부(412-L)의 각각에 공급한다.

추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 복수개의 그룹에 있어서의 대응하는 위치의 화소의 화소값의 상관 관계를 검출한다. 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 검출된 상관 관계를 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다.

최소 오차 각도 선택부(413)는, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)에 있어서 검출된 상관에 따라, 결락된 실세계(1)의 광신호인 화상의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출한다.

다음에, 도 79의 흐름도를 참조하여, 스텝 S101의 처리에 대응하는, 도 72에서 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성의 검출의 처리를 설명한다.

스텝 S401에 있어서, 액티비티 검출부(401) 및 데이터 선택부(402)는, 입력 화상으로부터, 주목하고 있는 화소인 주목 화소를 선택한다. 액티비티 검출부(401) 및 데이터 선택부(402)는, 동일한 주목 화소를 선택한다. 예를 들면, 액티비티 검출부(401) 및 데이터 선택부(402)는, 입력 화상으로부터, 라스터 스캔 순으로, 주목 화소를 선택한다.

스텝 S402에 있어서, 액티비티 검출부(401)는, 주목 화소에 대한 액티비티를 검출한다. 예를 들면, 액티비티 검출부(401)는, 주목 화소를 중심으로 한 소정 개수의 화소로 이루어지는 블록의 세로 방향으로 배열된 화소의 화소값의 차분 및 가로 방향으로 배열된 화소의 화소값의 차분에 따라서, 액티비티를 검출한다.

액티비티 검출부(401)는, 주목 화소에 대한 공간 방향의 액티비티를 검출하여, 검출한 결과를 나타낸 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

스텝 S403에 있어서, 데이터 선택부(402)는, 주목 화소를 포함하는 화소의 열로부터, 주목 화소를 중심으로 한 소정 개수의 화소를, 화소의 그룹으로서 선택한다. 예를 들면, 데이터 선택부(402)는, 주목 화소가 속하는 세로 또는 가로로 1열의 화소의 열에 속하는 화소로서, 주목 화소의 상측 또는 좌측의 소정 개수의 화소, 및 주목 화소의 하측 또는 우측의 소정 개수의 화소, 및 주목 화소를 화소의 그룹으로서 선택한다.

스텝 S404에 있어서, 데이터 선택부(402)는, 스텝 S402의 처리에 의해 검출된 액티비티에 따른, 소정 범위의 각도마다, 소정 개수의 화소의 열로부터, 각각 소정 개수의 화소를, 화소의 그룹으로서 선택한다. 예를 들면, 데이터 선택부(402)는, 소정 범위의 각도를 가지고, 공간 방향 X를 나타낸 축을 기준축으로 하여, 주목 화소를 지나는 직선을 설정하고, 주목 화소에 대하여, 가로 방향 또는 세로 방향으로 1열 또는 2열 떨어진 화소로서, 직선에 가장 가까운 화소를 선택 하고, 선택된 화소의 상측 또는 좌측의 소정 개수의 화소, 및 선택된 화소의 하측 또는 우측의 소정 개수의 화소, 및 선에 가장 가까운 선택된 화소를 화소의 그룹으로서 선택한다. 데이터 선택부(402)는, 각도마다, 화소의 그룹을 선택한다.

데이터 선택부(402)는, 선택한 화소의 그룹을 오차 추정부(403)에 공급한다.

스텝 S405에 있어서, 오차 추정부(403)는, 주목 화소를 중심으로 한 화소의 그룹과, 각도마다 선택한 화소의 그룹의 상관 관계를 계산한다. 예를 들면, 오차 추정부(403)는, 각도마다, 주목 화소를 포함하는 그룹의 화소의 화소값과 다른 그룹에 있어서의 대응하는 위치의 화소의 화소값의 차분의 절대값의 합을 산출한다.

각도마다 선택된, 화소의 그룹의 상호의 상관 관계에 따라서, 데이터 정상성의 각도를 검출할 수도 있다.

오차 추정부(403)는, 산출된 상관 관계를 나타내는 정보를, 정상 방향 도출부(404)에 공급한다.

스텝 S406에 있어서, 정상 방향 도출부(404)는, 스텝 S405의 처리에 의해 산출된 상관 관계에 따라서, 상관 관계가 가장 강한 화소의 그룹의 위치로부터, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터인 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출한다. 예를 들면, 정상 방향 도출부(404)는, 화소값의 차분의 절대값의 총계 중, 최소의 총계를 선택하고, 선택된 총계가 산출된 화소의 그룹의 위치로부터, 데이터 정상성의 각도θ를 검출한다.

정상 방향 도출부(404)는, 검출한 데이터 정상성의 각도를 나타내는 데이터 정상성 정보를 출력한다.

스텝 S407에 있어서, 데이터 선택부(402)는, 모든 화소의 처리가 종료되었는지 여부를 판정하고, 모든 화소의 처리가 종료되지 않은 것으로 판정된 경우, 스텝 S401로 복귀하고, 아직 주목 화소로서 선택되지 않은 화소로부터 주목 화소를 선택하고, 전술한 처리를 반복한다.

스텝 S407에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 처리는 종료된다.

이와 같이, 데이터 정상성 검출부(101)는, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출할 수 있다.

그리고, 도 72에서 구성이 나타내는 데이터 정상성 검출부(101)는, 주목하고 있는 프레임인 주목 프레임의, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향의 액티비티를 검출하고, 검출된 액티비티에 따라, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 움직임 벡터마다, 주목 프레임 및 주목 프레임의 시간적으로 전 또는 후의 프레임의 각각으로부터, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 그룹을, 복수개 추 출하여, 추출된 화소의 그룹의 상관 관계를 검출하고, 상관 관계에 따라서, 입력 화상에 있어서의, 시간 방향 및 공간 방향의 데이터 정상성의 각도를 검출할 수도 있다.

예를 들면, 도 80에 나타낸 바와 같이, 데이터 선택부(402)는, 검출된 액티비티에 따라, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 움직임 벡터마다, 주목 프레임인 프레임#n, 프레임#n-1, 및 프레임#n+1의 각각으로부터, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 그룹을, 복수개 추출한다.

프레임#n-1은, 프레임#n에 대하여 시간적으로 이전의 프레임이며, 프레임#n+1은, 프레임#n에 대하여 시간적으로 이후의 프레임이다. 즉, 프레임#n-1, 프레임#n, 및 프레임#n+1은, 프레임#n-1, 프레임#n, 및 프레임#n+1의 순서로 표시된다.

오차 추정부(403)는, 추출한 화소로 이루어지는 복수개의 그룹에 대하여, 1개의 각도 및 1개의 움직임 벡터마다, 화소의 그룹의 상관 관계를 검출한다. 정상 방향 도출부(404)는, 화소의 그룹의 상관 관계에 따라, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 입력 화상에 있어서의, 시간 방향 및 공간 방향의 데이터 정상성의 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다.

도 81은, 도 72에 나타내는 데이터 정상성 검출부(101)의 보다 상세한 다른 구성을 나타낸 블록도이다. 도 76에 나타낸 경우와 동일한 부분에는, 동일한 번호를 부여하고, 그 설명은 생략한다.

데이터 선택부(402)는, 화소 선택부(421-1) 내지 화소 선택부(421-L)를 포함한다. 오차 추정부(403)는, 추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)를 포함한다.

도 81에 나타낸 데이터 정상성 검출부(101)에 있어서는, 각도의 범위에 대한 개수의 화소로 이루어지는, 화소의 그룹으로서, 각도의 범위에 대한 개수의 그룹이 추출되어, 추출된 화소의 그룹의 상관 관계가 검출되어 검출된 상관 관계에 따라서, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도가 검출된다.

먼저, 액티비티 정보에서 나타내는, 데이터 정상성의 각도가 45도 내지 135도 중 어느 하나의 값일 때의 화소 선택부(421-1) 내지 화소 선택부(421-L)의 처리를 설명한다.

도 82의 좌측에 나타낸 바와 같이, 도 76에 나타낸 데이터 정상성 검출부(101)에 있어서는, 설정된 직선의 각도에 따르지 않고, 일정한 개수의 화소로 이루어지는 화소의 그룹이 추출되는 것에 비하여, 도 81에 나타낸 데이터 정상성 검출부(101)에 있어서는, 도 82의 우측에 나타낸 바와 같이, 설정된 직선의 각도의 범위에 따른 개수의 화소로 이루어지는 화소의 그룹이 추출된다. 또, 도 81 에 나타낸 데이터 정상성 검출부(101)에 있어서는, 화소의 그룹이, 설정된 직선의 각도의 범위에 따른 개수만큼 추출된다.

화소 선택부(421-1) 내지 화소 선택부(421-L)는, 45도 내지 135도의 범위의, 공간 방향 X를 나타낸 축을 기준축으로 하여, 주목 화소를 지나는, 각각 서로 상이한 소정 각도의 직선을 설정한다.

화소 선택부(421-1) 내지 화소 선택부(421-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선의 각도의 범위에 따른 개수의, 주목 화소의 상측의 화소, 및 주목 화소의 하측의 화소, 및 주목 화소를 화소의 그룹으로서 선택한다.

화소 선택부(421-1) 내지 화소 선택부(421-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 대하여, 화소를 기준으로 한 가로 방향에 소정의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택하고, 선택된 화소에 대하여 세로로 1열의 화소로부터, 설정된 직선의 각도의 범위에 따른 개수의, 선택된 화소의 상측의 화소, 및 선택된 화소의 하측의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도의 범위에 따른 개수의 화소를, 화소의 그룹으로서 선택한다. 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도의 범위에 따른 개수의, 화소의 그룹 을 선택한다.

예를 들면, 공간 방향 X에 대하여 대략 45도의 각도에 위치하는, 검출 소자의 검출 영역의 폭과 대략 동일한 폭의 가는 선의 화상이 센서(2)로 촬상되었을 경우, 가는 선의 화상은, 공간 방향 Y으로 1열로 배열된 3개의 화소에 원호 형상이 형성되도록, 데이터(3)에 투영된다. 이에 비해, 공간 방향 X에 대하여 대략 수직으로 위치하는, 검출 소자의 검출 영역의 폭과 대략 동일한 폭의 가는 선의 화상이 센서(2)로 촬상되었을 경우, 가는 선의 화상은, 공간 방향 Y으로 1열로 배열된, 다수의 화소에 원호 형상이 형성되도록, 데이터(3)에 투영된다.

화소의 그룹에 동일한 개수의 화소가 포함되어 있다고 하면, 가는 선이 공간 방향 X에 대하여 대략 45도의 각도에 위치하는 경우, 화소의 그룹에 있어서, 가는 선의 화상이 투영된 화소수가 적게 되어, 분해능이 저하되게 된다. 역으로, 가는 선이 공간 방향 X에 대하여 대략 수직으로 위치하는 경우, 화소의 그룹에 있어서, 가는 선의 화상이 투영된 화소 중, 일부의 화소에 대하여 처리가 실행되어, 정확성이 저하될 우려가 있다.

그래서, 가는 선의 화상이 투영된 화소가 대략 동등하게 되도록, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정하는 직선이 공간 방향 X에 대하여 45도의 각도로부터 보다 가까울 때, 각각 화소의 그룹에 포함되는 화소의 수를 적게 하여, 화소의 그룹의 수를 많게 하고, 설정하는 직선이 공간 방향 X에 대하여 수직 으로 보다 가까운 경우, 각각의 화소의 그룹에 포함되는 화소의 수를 많게 하여, 화소의 그룹의 수가 적어지도록, 화소 및 화소의 그룹을 선택한다.

예를 들면, 도 83 및 도 84에서 나타낸 바와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 45도 이상 63.4도 미만의 범위(도 83 및 도 84에 있어서, A에서 나타낸 범위)에 있을 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 5개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 5화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 5개의 화소를 화소의 그룹으로서 선택한다.

즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 45도 이상 63.4도 미만의 범위에 있을 때, 입력 화상으로부터, 각각 5개의 화소로 이루어지는, 11개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소는, 주목 화소에 대하여, 세로 방향으로 5화소 내지 9화소 떨어진 위치에 있다.

도 84에 있어서, 열의 수는, 주목 화소의 좌측 또는 우측의, 화소의 그룹으로서 화소가 선택되는 화소의 열의 수를 나타낸다. 도 84에 있어서, 1열의 화소의 수는, 주목 화소에 대하여, 세로로 1열의 화소의 열, 또는 주목 화소의 좌측 또는 우측의 열로부터, 화소의 그룹으로서 선택되는 화소의 수를 나타낸다. 도 84에 있 어서, 화소의 선택 범위는, 주목 화소에 대한, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소의 세로 방향의 위치를 나타낸다.

도 85에서 나타낸 바와 같이, 예를 들면, 화소 선택부(421-1)는, 설정된 직선의 각도가, 45도일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 5개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 5화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 5개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-1)는, 입력 화상으로부터, 각각 5개의 화소로 이루어지는, 11개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 5화소 떨어진 위치에 있다.

그리고, 도 85 내지 도 92에 있어서, 점선으로 표현되고 사각(점선으로 나누어진 1개의 격자)은, 1개의 화소를 나타내고, 실선으에서 나타내는 사각은, 화소의 그룹을 나타낸다. 도 85내지 도 92에 있어서, 주목 화소의 공간 방향 X의 좌표를 0으로 하고, 주목 화소의 공간 방향 Y의 좌표를 0으로 하였다.

또, 도 85내지 도 92에 있어서, 사선으에서 나타내는 사각은, 주목 화소 또는 설정된 직선에 가장 가까운 위치의 화소를 나타낸다. 도 85 내지 도 92에 있어서, 두꺼운 선으에서 나타내는 사각은, 주목 화소를 중심으로 하여 선택된 화소의 그룹을 나타낸다.

도 86에 나타낸 바와 같이, 예를 들면, 화소 선택부(421-2)는, 설정된 직선의 각도가, 60.9도 일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 5개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 5화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 5개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-2)는, 입력 화상으로부터, 각각 5개의 화소로 이루어지는, 11개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 9화소 떨어진 위치에 있다.

예를 들면, 도 83 및 도 84에서 나타낸 바와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 63.4도 이상 71.6도 미만의 범위(도 83 및 도 84에 있어서, B에서 나타낸 범위)에 있을 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 7개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 4화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 7개의 화소를 화소의 그룹으로서 선택한다.

즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 63.4도 이상 71.6도 미만의 범위에 있을 때, 입력 화상으로부터, 각각 7개의 화소로 이루어지는, 9개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소의 세로 방향의 위치는, 주목 화소에 대하여, 8화소 내지 11화소이다.

도 87에 나타낸 바와 같이, 예를 들면, 화소 선택부(421-3)는, 설정된 직선의 각도가, 63.4도일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 7개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 4화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 7개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-3)는, 입력 화상으로부터, 각각 7개의 화소로 이루어지는, 9개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 8화소 떨어진 위치에 있다.

또, 도 88에 나타낸 바와 같이, 예를 들면, 화소 선택부(421-4)는, 설정된 직선의 각도가, 70.0도 일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 7개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 4화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 7개의 화소를 화소의 그 룹으로서 선택한다. 즉, 화소 선택부(421-4)는, 입력 화상으로부터, 각각 7개의 화소로 이루어지는, 9개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 11화소 떨어진 위치에 있다.

예를 들면, 도 83 및 도 84에서 나타낸 바와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 71.6도 이상 76.0도 미만의 범위(도 83 및 도 84에 있어서, C에서 나타낸 범위)에 있을 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 9개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 3화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 9개의 화소를 화소의 그룹으로서 선택한다.

즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 71.6도 이상 76.0도 미만의 범위에 있을 때, 입력 화상으로부터, 각각 9개의 화소로 이루어지는, 7개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소의 세로 방향의 위치는, 주목 화소에 대하여, 9화소 내지 11화소이다.

도 89에서 나타낸 바와 같이, 예를 들면, 화소 선택부(421-5)는, 설정된 직 선의 각도가, 71.6도 일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 9개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 3화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 9개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-5)는, 입력 화상으로부터, 각각 9개의 화소로 이루어지는, 7개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 9화소 떨어진 위치에 있다.

또, 도 90에 나타낸 바와 같이, 예를 들면, 화소 선택부(421-6)는, 설정된 직선의 각도가, 74.7도일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 9개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 3화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 9개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-6)는, 입력 화상으로부터, 각각 9개의 화소로 이루어지는, 7개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 11화소 떨어진 위치에 있다.

예를 들면, 도 83 및 도 84에서 나타낸 바와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 76.0도 이상 87.7도 이하의 범위(도 83 및 도 84에 있어서, D에서 나타낸 범위)에 있을 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 11개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 2화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 11개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 76.0도 이상 87.7도 이하의 범위에 있을 때, 입력 화상으로부터, 각각 11개의 화소로 이루어지는, 5개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소의 세로 방향의 위치는, 주목 화소에 대하여, 8화소 내지 50화소이다.

도 91에 나타낸 바와 같이, 예를 들면, 화소 선택부(421-7)는, 설정된 직선의 각도가, 76.0도 일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 11개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 2화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 11개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-7)는, 입력 화상으로부터, 각각 11개의 화소로 이루어지는, 5개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 8화소 떨어진 위치에 있다.

또, 도 92에서 나타낸 바와 같이, 예를 들면, 화소 선택부(421-8)은, 설정된 직선의 각도가, 87.7도 일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한11개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 2화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 11개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-8)는, 입력 화상으로부터, 각각 11개의 화소로 이루어지는, 5개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 50화소 떨어진 위치에 있다.

이와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 각각, 각도의 범위에 대응한 소정 개수의 화소로 이루어지는, 각도의 범위에 대응한 소정 개수의 화소의 그룹을 선택한다.

화소 선택부(421-1)는, 선택한 화소의 그룹을 추정 오차 산출부(422-1)에 공급하고, 화소 선택부(421-2)는, 선택한 화소의 그룹을 추정 오차 산출부(422-2)에 공급한다. 마찬가지로, 화소 선택부(421-3) 내지 화소 선택부(421-L)의 각각은, 선택한 화소의 그룹을 추정 오차 산출부(422-3) 내지 추정 오차 산출부(422-L)의 각각에 공급한다.

추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)는, 화소 선택부(421-1) 내지 화소 선택부(421-L) 중 어느 하나로부터 공급된, 복수개의 그룹에 있어서의 대응하는 위치의 화소의 화소값의 상관 관계를 검출한다. 예를 들면, 추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)는, 화소 선택부(421-1) 내지 화소 선택부(421-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 화소의 그룹의 화소의 화소값과 다른 화소의 그룹에 있어서의 대응하는 위치의 화소의 화소값의 차분의 절대값의 합을 산출하고, 주목 화소를 포함하는 화소의 그룹 이외의 화소의 그룹에 포함되는 화소수로, 산출된 합을 나눗셈한다. 산출된 합을, 주목 화소를 포함하는 그룹 이외의 그룹에 포함되는 화소수로, 나눗셈하는 것은, 설정된 직선의 각도에 따라서 선택되는 화소수가 상이하므로, 상관 관계를 나타낸 값을 정규화하기 위해서이다.

추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)는, 검출된 상관 관계를 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다. 예를 들면, 추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)는, 정규화된 화소값의 차분의 절대값의 합을 최소 오차 각도 선택부(413)에 공급한다.

다음에, 액티비티 정보에 의해 나타내는, 데이터 정상성의 각도가 0도 내지 45도 및 135도 내지 180도 중 어느 하나의 값 일 때의 화소 선택부(421-1) 내지 화 소 선택부(421-L)의 처리를 설명한다.

화소 선택부(421-1) 내지 화소 선택부(421-L)는, 0도 내지 45도 또는 135도 내지 180도의 범위의, 공간 방향 X를 나타낸 축을 기준축으로 하여, 주목 화소를 지나는, 각각 서로 상이한 소정 각도의 직선을 설정한다.

화소 선택부(421-1) 내지 화소 선택부(421-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열에 속하는 화소로서, 설정된 직선의 각도의 범위에 따른 개수의, 주목 화소의 좌측의 화소, 및 주목 화소의 우측의 화소, 및 주목 화소를 화소의 그룹으로서 선택한다.

화소 선택부(421-1) 내지 화소 선택부(421-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열에 대하여, 화소를 기준으로 한 세로 방향으로 소정의 거리에 있는, 상측 및 하측의 가로로 1열의 화소의 열에 속하는 화소로서, 설정된 직선에 가장 가까운 위치의 화소를 선택하고, 선택된 화소에 대하여 가로로 1열의 화소로부터, 설정된 직선의 각도의 범위에 따른 수의, 선택된 화소의 좌측의 화소, 및 선택된 화소의 우측의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도의 범위에 따른 개수의 화소를, 화소의 그룹으로서 선택한다. 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도의 범위에 따른 개수의, 화소의 그룹을 선택한다.

화소 선택부(421-1)는, 선택한 화소의 그룹을 추정 오차 산출부(422-1)에 공급하고, 화소 선택부(421-2)는, 선택한 화소의 그룹을 추정 오차 산출부(422-2)에 공급한다. 마찬가지로, 화소 선택부(421-3) 내지 화소 선택부(421-L)의 각각은, 선택한 화소의 그룹을 추정 오차 산출부(422-3) 내지 추정 오차 산출부(422-L)의 각각에 공급한다.

추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)는, 화소 선택부(421-1) 내지 화소 선택부(421-L) 중 어느 하나로부터 공급된, 복수개의 그룹에 있어서의 대응하는 위치의 화소의 화소값의 상관 관계를 검출한다.

추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)는, 검출된 상관 관계를 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다.

다음에, 도 93의 흐름도를 참조하여, 스텝 S101의 처리에 대응하는, 도 81에서 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성의 검출의 처리를 설명한다.

스텝 S421 및 스텝 S422의 처리는, 스텝 S401 및 스텝 S402의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S423에 있어서, 데이터 선택부(402)는, 스텝 S422의 처리에 의해 검출된 액티비티에 대한 소정 범위의 각도마다, 주목 화소를 포함하는 화소의 열로부터, 주목 화소를 중심으로 한, 각도의 범위에 대하여 정한 개수의 화소를, 화소의 그룹으로서 선택한다. 예를 들면, 데이터 선택부(402)는, 주목 화소가 속하는 세로 또는 가로로 1열의 화소의 열에 속하는 화소로서, 설정하는 직선의 각도로 대하여, 각도의 범위에 의해 정한 개수의, 주목 화소의 상측 또는 좌측의 화소, 및 주목 화소의 하측 또는 우측의 화소, 및 주목 화소를 화소의 그룹으로서 선택한다.

스텝 S424에 있어서, 데이터 선택부(402)는, 스텝 S422의 처리에서 검출된 액티비티에 따른, 소정 범위의 각도마다, 각도의 범위에 대하여 정한 개수의 화소의 열로부터, 각도의 범위에 대하여 정한 개수의 화소를, 화소의 그룹으로서 선택한다. 예를 들면, 데이터 선택부(402)는, 소정 범위의 각도를 가지고, 공간 방향 X를 나타낸 축을 기준축으로 하여, 주목 화소를 지나는 직선을 설정하고, 주목 화소에 대하여, 가로 방향 또는 세로 방향으로, 설정하는 직선의 각도의 범위에 대하여 소정 범위만큼 떨어진 화소로서, 직선에 가장 가까운 화소를 선택하고, 선택된 화소의 상측 또는 좌측의, 설정하는 직선의 각도의 범위에 대한 수의 화소, 및 선택된 화소의 하측 또는 우측의, 설정하는 직선의 각도의 범위에 대한 수의 화소, 및 선택된 선에 가장 가까운 화소를 화소의 그룹으로서 선택한다. 데이터 선택부(402)는, 각도마다, 화소의 그룹을 선택한다.

데이터 선택부(402)는, 선택한 화소의 그룹을 오차 추정부(403)에 공급한다.

스텝 S425에 있어서, 오차 추정부(403)는, 주목 화소를 중심으로 한 화소의 그룹과, 각도마다 선택한 화소의 그룹의 상관 관계를 계산한다. 예를 들면, 오차 추정부(403)는, 주목 화소를 포함하는 그룹의 화소의 화소값과, 다른 그룹에 있어서의 대응하는 위치의 화소의 화소값의 차분의 절대값의 합을 산출하고, 다른 그룹에 속하는 화소수에 으해, 화소값의 차분의 절대값의 합을 나눗셈함으로써, 상관 관계를 계산한다.

각도마다 선택된, 화소의 그룹의 상호의 상관 관계에 따라서, 데이터 정상성의 각도를 검출할 수도 있다.

오차 추정부(403)는, 산출된 상관 관계를 나타내는 정보를, 정상 방향 도출부(404)에 공급한다.

스텝 S426 및 스텝 S427의 처리는, 스텝 S406 및 스텝 S407의 처리와 동일하므로, 그 설명은 생략한다.

이와 같이, 데이터 정상성 검출부(101)는, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를, 보다 정확하게, 보다 정밀하게 검출할 수 있다. 도 81에 구성을 나타낸 데이터 정상성 검출부(101)는, 특히, 데이터 정상성의 각도가 45도 부근인 경우에 있어서, 가는 선의 화상이 투영된, 보다 많은 화소의 상관 관계를 평가할 수 있으므로, 보다 정밀도가 양호하게 데이터 정상성의 각도를 검출할 수 있다.

그리고, 도 81에서 구성이 나타내는 데이터 정상성 검출부(101)에 있어서도, 주목하고 있는 프레임인 주목 프레임의, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향의 액티비티를 검출하고, 검출된 액티비티에 따라, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 움직임 벡터마다, 주목 프레임 및 주목 프레임의 시간적으로 전 또는 후의 프레임의 각각으로부터, 수직 방향으로 1열 또는 수평 방향으로 1열의, 공간적인 각도의 범위에 대하여 정한 개수의 화소로 이루어지는 화소의 그룹을, 공간적인 각도의 범위에 대하여 정한 개수 만큼 추출하고, 추출된 화소의 그룹의 상관 관계를 검출하고, 상관 관계에 따라, 입력 화상에 있어서의, 시간 방향 및 공간 방향의 데이터 정상성의 각도를 검출할 수도 있다.

도 94는, 데이터 정상성 검출부(101)의 또 다른 구성을 나타낸 블록도이다.

도 94에 구성을 나타낸 데이터 정상성 검출부(101)에 있어서는, 주목하고 있는 화소인 주목 화소에 대하여, 소정 개수의 화소로 이루어지는, 주목 화소를 중심으로 한 블록과, 주목 화소의 주변의, 각각, 소정 개수의 화소로 이루어지는 복수개의 블록이 추출되어, 주목 화소를 중심으로 한 블록과 주변의 블록의 상관 관계가 검출되어, 상관 관계에 따라, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도가 검출된다.

데이터 선택부(441)는, 입력 화상의 화소로부터 주목 화소를 순서대로 선택하고, 주목 화소를 중심으로 한, 소정 개수의 화소로 이루어지는 블록, 및 주목 화 소의 주변의, 소정 개수의 화소로 이루어지는 복수개의 블록을 추출하고, 추출한 블록을 오차 추정부(442)에 공급한다.

예를 들면, 데이터 선택부(441)는, 주목 화소를 중심으로 한 5 × 5의 화소로 이루어지는 블록, 주목 화소의 주변으로부터, 주목 화소 및 기준축을 기준으로 한 소정 각도의 범위마다, 5 × 5의 화소로 이루어지는 2개의 블록을 추출한다.

오차 추정부(442)는, 데이터 선택부(441)로부터 공급된, 주목 화소를 중심으로 한 블록과, 주목 화소의 주변의 블록과의 상관 관계를 검출하여, 검출한 상관 관계를 나타낸 상관 정보를 정상 방향 도출부(443)에 공급한다.

예를 들면, 오차 추정부(442)는, 각도의 범위마다, 주목 화소를 중심으로 한 5 × 5의 화소로 이루어지는 블록과, 1개의 각도의 범위에 대응하는, 5 × 5의 화소로 이루어지는 2개의 블록에 대하여, 화소값의 상관 관계를 검출한다.

정상성 방향 도출부(443)는, 오차 추정부(442)로부터 공급된 상관 관계 정보에 따라, 상관 관계가 가장 강한, 주목 화소의 주변의 블록의 위치로부터, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다. 예를 들면, 정상 방향 도출부(443)는, 오차 추정부(442)로부터 공급된 상관 관계의 정보에 따라, 주목 화소를 중심으로 한 5 × 5의 화소로 이루어지는 블록에 대하여 가장 상관 관계가 강한, 5 × 5의 화소로 이루어지는 2개의 블록에 대한 각도의 범위를, 데이터 정상성의 각도로서 검출하고, 검출된 각도를 나타내는 데이터 정상성 정보를 출력한다.

도 95는, 도 94에 나타내는 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타낸 블록도이다.

데이터 선택부(441)는, 화소 선택부(461-1) 내지 화소 선택부(461-L)를 포함한다. 오차 추정부(442)는, 추정 오차 산출부(462-1) 내지 추정 오차 산출부(462-L)를 포함한다. 정상 방향 도출부(443)는, 최소 오차 각도 선택부(463)를 포함한다.

예를 들면, 데이터 선택부(441)에는, 화소 선택부(461-1) 내지 화소 선택부 (461-8)가 설치된다. 예를 들면, 오차 추정부(442)에는, 추정 오차 산출부(462-1) 내지 추정 오차 산출부(462-8)가 설치된다.

화소 선택부(461-1) 내지 화소 선택부(461-L)의 각각은, 주목 화소를 중심으로 한, 소정 개수의 화소로 이루어지는 블록, 및 주목 화소 및 기준축을 기준으로 한 소정 각도의 범위에 대응한, 소정 개수의 화소로 이루어지는 2개의 블록을 추출한다.

도 96은, 화소 선택부(461-1) 내지 화소 선택부(461-L)에 의해 추출되는, 5 × 5의 화소의 블록의 예를 설명하는 도면이다. 도 96에 있어서의 중앙의 위치는, 주목 화소의 위치를 나타낸다.

그리고, 5 × 5의 화소의 블록은, 일례에 불과하며, 블록에 포함되는 화소의 수는, 본 발명을 한정하는 것은 아니다.

예를 들면, 화소 선택부(461-1)는, 주목 화소를 중심으로 한, 5 × 5의 화소의 블록을 추출하는 동시에, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 대응하는, 주목 화소에 대하여, 우측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5화소의 블록(도 96중 A에서 나타낸다)을 추출하고, 주목 화소에 대하여, 좌측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 A'에서 나타낸다)을 추출한다. 화소 선택부(461-1)는, 추출한, 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-1)에 공급한다.

화소 선택부(461-2)는, 주목 화소를 중심으로 한, 5 × 5의 화소의 블록을 추출하는 동시에, 18.4도 내지 33.7도의 범위에 대응하는, 주목 화소에 대하여, 우측으로 10화소 이동하고, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5화소의 블록(도 96중 B에서 나타낸다)을 추출하고, 주목 화소에 대하여, 좌측으로 10화소 이동하고, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 B'에서 나타낸다)을 추출한다. 화소 선택부(461-2)는, 추출한, 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-2)에 공급한다.

화소 선택부(461-3)는, 주목 화소를 중심으로 하는, 5 × 5의 화소의 블록을 추출하는 동시에, 33.7도 내지 56.3도의 범위에 대응하는, 주목 화소에 대하여, 우측으로 5화소 이동하고, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 C에서 나타낸다)을 추출하고, 주목 화소에 대하여, 좌측으로 5화소 이동하고, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5화소의 블록(도 96중 C'에서 나타낸다)을 추출한다. 화소 선택부(461-3)는, 추출한, 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-3)에 공급한다.

화소 선택부(461-4)는, 주목 화소를 중심으로 하는, 5 × 5의 화소의 블록을 추출하는 동시에, 56.3도 내지 71.6도의 범위에 대응하는, 주목 화소에 대하여, 우측으로 5화소 이동하고, 상측으로 10화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 D에서 나타낸다)을 추출하고, 주목 화소에 대하여, 좌측으로 5화소 이동하고, 하측으로 10화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 D'에서 나타낸다)을 추출한다. 화소 선택부(461-4)는, 추출한 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-4)에 공급한다.

화소 선택부(461-5)는, 주목 화소를 중심으로 하는, 5 × 5의 화소의 블록을 추출하는 동시에, 71.6도 내지 108.4도의 범위에 대응하는, 주목 화소에 대하여, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록( 도 96중 E에서 나타낸다)을 추출하고, 주목 화소에 대하여, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 E'에서 나타낸다)을 추출한다. 화소 선택부(461-5)는, 추출한 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-5)에 공급한다.

화소 선택부(461-6)는, 주목 화소를 중심으로 하는, 5 × 5의 화소의 블록을 추출하는 동시에, 108.4도 내지 123.7도의 범위에 대응한, 주목 화소에 대하여, 좌측으로 5화소 이동하고, 상측으로 10화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 F에서 나타낸다)을 추출하고, 주목 화소에 대하여, 우측으로 5화소 이동하고, 하측으로 10화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 F'에서 나타낸다)를 추출한다. 화소 선택부(461-6)는, 추출한 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-6)에 공급한다.

화소 선택부(461-7)는, 주목 화소를 중심으로 하는, 5 × 5의 화소의 블록을 추출하는 동시에, 123.7도 내지 146.3도의 범위에 대응한, 주목 화소에 대하여, 좌측으로 5화소 이동하고, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 G에서 나타낸다)을 추출하고, 주목 화소에 대하여, 우측으로 5화소 이동하고, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 G'에서 나타낸다)을 추출한다. 화소 선 택부(461-7)은, 추출한 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-7)에 공급한다.

화소 선택부(461-8)는, 주목 화소를 중심으로 하는, 5 × 5의 화소의 블록을 추출하는 동시에, 146.3도 내지 161.6도의 범위에 대응하는, 주목 화소에 대하여, 좌측으로 10화소 이동하고, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 H에서 나타낸다)을 추출하고, 주목 화소에 대하여, 우측으로 10화소 이동하고, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 H'에서 나타낸다)을 추출한다. 화소 선택부(461-8)는, 추출한 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-8)에 공급한다.

이하, 주목 화소를 중심으로 하는, 소정 개수의 화소로 이루어지는 블록을 주목 블록이라 한다

이하, 주목 화소 및 기준축을 기준으로 하는 소정 각도의 범위에 대응하는, 소정 개수의 화소로 이루어지는 블록을 참조 블록이라 한다.

이와 같이, 화소 선택부(461-1) 내지 화소 선택부(461-8)는, 예를 들면, 주목 화소를 중심으로 하여, 25 × 25의 화소의 범위로부터, 주목 블록 및 참조 블록을 추출한다.

추정 오차 산출부(462-1) 내지 추정 오차 산출부(462-L)는, 화소 선택부(461-1) 내지 화소 선택부(461-L)로부터 공급되는, 주목 블록과, 2개의 참조 블록의 상관 관계를 검출하여, 검출한 상관 관계를 나타낸느 상관 정보를 최소 오차 각도 선택부(463)에 공급한다.

예를 들면, 추정 오차 산출부(462-1)는, 주목 화소를 중심으로 하는, 5 × 5의 화소로 이루어지는 주목 블록과, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 대응하여 추출되는, 주목 화소에 대하여, 우측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 참조 블록에 대하여, 주목 블록에 포함되는 화소의 화소값과 참조 블록에 포함되는 화소의 화소값의 차분의 절대값을 산출한다.

이 경우에 있어서, 추정 오차 산출부(462-1)는, 도 97에 나타낸 바와 같이, 주목 블록의 중앙의 화소와 참조 블록의 중앙의 화소가 겹치는 위치를 기준으로 하여, 화소값의 차분의 절대값의 산출에, 주목 화소의 화소값이 사용되도록, 참조 블록에 대하여, 주목 블록의 위치를, 좌측으로 2화소 내지 우측으로 2화소 중 어느 하나, 상측으로 2화소 내지 하측으로 2화소 중 어느 하나 이동시켰을 경우과 겹쳐지는 위치가 되는 화소의 화소값의 차분의 절대값을 산출한다. 즉, 주목 블록과 참조 블록의 25종류의 위치에서의, 대응하는 위치의 화소의 화소값의 차분의 절대값이 산출된다. 바꾸어 말하면, 화소값의 차분의 절대값이 산출되는 경우에 있어서, 상대적으로 이동되는 주목 블록 및 참조 블록으로 이루어지는 범위는, 9 × 9 화소이다.

도 97에 있어서, 사각은, 화소를 나타내고, A는, 참조 블록을 나타내고, B는, 주목 블록을 나타낸다. 도 97에 있어서, 두꺼운 선은, 주목 화소를 나타낸다. 즉, 도 97은, 참조 블록에 대하여, 주목 블록이 우측으로 2화소, 및 상측으로 1화소 이동한 경우의 예를 나타낸 도면이다.

또한, 추정 오차 산출부(462-1)는, 주목 화소를 중심으로 한, 5 × 5 화소로 이루어지는 주목 블록과, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 대응하여 추출되는, 주목 화소에 대하여, 좌측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5화소의 참조 블록에 대하여, 주목 블록에 포함되는 화소의 화소값과 참조 블록에 포함되는 화소의 화소값의 차분의 절대값을 산출한다.

그리고, 추정 오차 산출부(462-1)는, 산출된 차분의 절대값의 합을 구하여, 차분의 절대값의 합을, 상관 관계를 나타내는 상관 정보로서 최소 오차 각도 선택부(463)에 공급한다.

추정 오차 산출부(462-2)는, 5 × 5화소로 이루어지는 주목 블록과, 18.4도 내지 33.7도의 범위에 대응하여 추출된, 5 × 5화소의 2개의 참조 블록에 대하여, 화소값의 차분의 절대값을 산출하고, 또한 산출된 차분의 절대값의 합을 산출한다. 추정 오차 산출부(462-1)는, 산출된 차분의 절대값의 합을, 상관 관계를 나타낸 상관 정보로서 최소 오차 각도 선택부(463)에 공급한다.

마찬가지로, 추정 오차 산출부(462-3) 내지 추정 오차 산출부(462-8)의 각각은, 5 × 5화소로 이루어지는 주목 블록과, 소정 각도의 범위에 대응하여 추출된, 5 × 5화소의 2개의 참조 블록에 대하여, 화소값의 차분의 절대값을 산출하고, 또한 산출된 차분의 절대값의 합을 산출한다. 추정 오차 산출부(462-3) 내지 추정 오차 산출부(462-8)의 각각은, 산출된 차분의 절대값의 합을, 상관 관계를 나타낸 상관 관계 정보로서 최소 오차 각도 선택부(463)에 공급한다.

최소 오차 각도 선택부(463)는, 추정 오차 산출부(462-1) 내지 추정 오차 산출부(462-8)로부터 공급된, 상관 정보로서의 화소값의 차분의 절대값의 합 중에서, 가장 강한 상관 관계를 나타낸, 최소의 값이 얻어진 참조 블록의 위치로부터, 2개의 참조 블록에 대한 각도를 데이터 정상성의 각도로서 검출하고, 검출된 각도를 나타내는 데이터 정상성 정보를 출력한다.

여기서, 참조 블록의 위치와, 데이터 정상성의 각도의 범위의 관계에 대하여 설명한다.

실세계의 신호를 근사하는 근사 함수 f(x)를 n차의 1차원 다항식에서 근사한 경우, 근사 함수 f(x)는, 식(30)에 의해 나타낼 수가 있다.

…(30)

근사 함수 f(x)에 의해 근사되는 실세계(1)의 신호의 파형이, 공간 방향 Y에 대하여 일정한 경사(각도)를 가지는 경우, 식(30)에 있어서의, x를 x + γy로 함으로써 얻어진 식(31)에서, 실세계(1)의 신호를 근사하는 근사 함수(x, y)는, 표현된다.

…(31)

γ는, 공간 방향 Y의 위치의 변화에 대한, 공간 방향 X의 위치의 변화의 비율을 나타낸다. 이하, γ를 시프트량이라고도 한다.

도 98은, 주목 화소의 위치와, 각도θ를 가지는 직선과의 공간 방향 X의 거리를 0(제로)로 할 때, 즉, 주목 화소를 직선이 통과할 때의, 주목 화소의 주변의 화소의 위치와, 각도θ를 가지는 직선과의 공간 방향 X의 거리를 나타낸 도면이다. 여기서, 화소의 위치는, 화소의 중심의 위치이다. 또, 위치와 직선과의 거리는, 위치가 직선에 대하여 좌측에 있을 때, 마이너스의 값으로 나타나고, 위치가 직선에 대하여 우측에 있을 때, 플러스의 값으로 나타낸다.

예를 들면, 주목 화소의 우측에 인접하는 화소의 위치, 즉 공간 방향 X의 좌 표 x가 1만큼 증가하는 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리는, 1이며, 주목 화소의 좌측에 인접하는 화소의 위치, 즉 공간 방향 X의 좌표 x가 1만큼 감소하는 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리는, -1이다. 주목 화소의 상측에 인접하는 화소의 위치, 즉 공간 방향 Y의 좌표 y가 1 증가하는 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리는 -γ이고, 주목 화소의 하측에 인접하는 화소의 위치, 즉 공간 방향 Y의 좌표 y가 1만큼 감소하는 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리는, γ이다.

각도 θ가 45도를 넘고 90도 미만이며, 시프트량γ가, 0을 넘고 1 미만일 때, 시프트량 γ와 각도 θ사이에는, γ = 1/tanθ의 관계식이 성립된다. 도 99는, 시프트량 γ와 각도 θ의 관계를 나타낸 도면이다.

여기서, 시프트량 γ의 변화에 대한, 주목 화소의 주변의 화소의 위치와, 주목 화소를 지나고, 각도θ를 가지는 직선과의 공간 방향 X의 거리의 변화에 주목한다.

도 100은, 시프트량 γ에 대한, 주목 화소의 주변의 화소의 위치와, 주목 화소를 지나고, 각도θ를 가지는 직선과의 공간 방향 X의 거리를 나타낸 도면이다. 도 100에 있어서, 우측으로 상승하는 일점 쇄선은, 시프트량 γ에 대한, 주목 화소의 하측에 인접하는 화소의 위치와 직선과의 공간 방향 X의 거리를 나타내고, 좌측으로 하강하는 일점 쇄선은, 시프트량γ에 대한, 주목 화소의 상측에 인접하는 화 소의 위치와 직선과의 공간 방향 X의 거리를 나타낸다.

도 100에 있어서, 우측으로 상승하는 2점 쇄선은, 시프트량 γ에 대한, 주목 화소로부터, 2화소 하측에서, 1화소 좌측에 위치하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타내고, 좌측으로 하강하는 2점 쇄선은, 시프트량 γ에 대한, 주목 화소로부터, 2화소 상측에서, 1화소 우측에 위치하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타낸다.

도 100에 있어서, 우측으로 상승하는 3점 쇄선은, 시프트량 γ에 대한, 주목 화소로부터, 1화소 하측에서, 1화소 좌측에 위치하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타내고, 좌측으로 하강하는 3점 쇄선은, 시프트량 γ에 대한, 주목 화소로부터, 1화소 상측에서, 1화소 우측에 위치하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타낸다.

도 100으로부터, 시프트량 γ에 대하여, 거리가 가장 작은 화소를 알 수 있다.

즉, 시프트량 γ가 0 내지 1/3일 때, 주목 화소의 상측에 인접하는 화소 및 주목 화소의 하측에 인접하는 화소로부터, 직선까지의 거리가 최소이다. 즉, 각 θ가 71.6도 내지 90도 일 때, 주목 화소의 상측에 인접하는 화소 및 주목 화소의 하측에 인접하는 화소로부터, 직선까지의 거리가 최소이다.

시프트량 γ가 1/3 내지 2/3일 때, 주목 화소에 대하여, 2화소 상측에서, 1 화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 2화소 하측에서, 1화소 좌측에 위치하는 화소로부터, 직선까지의 거리가 최소이다. 즉, 각 θ가 56.3도 내지 71.6도일 때, 주목 화소에 대하여, 2화소 상측에서, 1화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 2화소 하측에서, 1화소 좌측에 위치하는 화소로부터, 직선 까지의 거리가 최소이다.

또, 시프트량 γ가 2/3 내지 1일 때, 주목 화소에 대하여, 1화소 상측에서, 1화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 1화소 하측에서, 1화소 좌측에 위치하는 화소로부터, 직선까지의 거리가 최소이다. 즉, 각 θ가 45도 내지 56.3도일 때, 주목 화소에 대하여, 1화소 상측에서, 1화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 1화소 하측에서, 1화소 좌측에 위치하는 화소로부터, 직선 까지의 거리가 최소이다.

각 θ가 0도로부터 45도까지의 범위의 직선과 화소의 관계도, 마찬가지로 생각할 수 있다.

도 98에 나타낸 화소를, 주목 블록 및 참조 블록으로 바꾸어서, 참조 블록과 직선의 공간 방향 X의 거리를 생각할 수 있다.

도 101에, 주목 화소를 지나고, 공간 방향 X의 축에 대하여 각 θ의 직선과의 거리가 최소의 참조 블록을 나타낸다.

도 101에 있어서의 A 내지 H 및 A' 내지 H'는, 도 96에 있어서의 A 내지 H 및 A' 내지 H'의 참조 블록을 나타낸다.

즉, 주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 0도 내지 18.4도 및 161.6도 내지 180.0도 중 어느 하나의 각 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 A 및 A'의 참조 블록의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, A 및 A'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, A 및 A'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 있다고 할 수 있다.

주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 18.4도 내지 33.7도 중 어느 하나의 각 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록의 각각과의 공간 방향 X의 거리 중, 직선과 B 및 B'의 참조 블록의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, B 및 B'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, B 및 B'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 18.4도 내지 33.7도의 범위에 있다고 할 수 있다.

주목 화소를 통하고, 공간 방향 X의 축을 기준으로 한, 33.7도 내지 56.3도 중 어느 하나의 각 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록의 각각과의 공간 방향 X의 거리 중, 직선과 C 및 C'의 참조 블록과의 거리가 최소가 된 다. 따라서, 역으로 생각하면, 주목 블록과, C 및 C'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, C 및 C'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 33.7도 내지 56.3도의 범위에 있다고 할 수 있다.

주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 56.3도 내지 71.6도 중 어느 하나의 각도θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 D 및 D'의 참조 블록과의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, D 및 D'의 참조 블록과의 상관 관계가 가장 강할 때, 주목 블록과, D 및 D'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 56.3도 내지 71.6도의 범위에 있다고 할 수 있다.

주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 71.6도 내지 108.4도 중 어느 하나의 각도θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 E 및 E'의 참조 블록의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, E 및 E'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, E 및 E'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 71.6도 내지 108.4도의 범위에 있다고 할 수 있다.

주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 108.4도 내지 123.7도 중 어느 하나의 각도θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 F 및 F'의 참조 블록의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, F 및 F'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, F 및 F'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 108.4도 내지 123.7도의 범위에 있다고 할 수 있다.

주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 123.7도 내지 146.3도 중 어느 하나의 각도θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 G 및 G'의 참조 블록의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, G 및 G'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, G 및 G'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 123.7도 내지 146.3도의 범위에 있다고 할 수 있다.

주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 146.3도 내지 161.6도 중 어느 하나의 각 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 H 및 H'의 참조 블록의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, H 및 H'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, H 및 H'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 146.3도 내지 161.6도의 범위에 있다고 할 수 있다.

이와 같이, 데이터 정상성 검출부(101)는, 주목 블록과 참조 블록의 상관 관계에 따라서, 데이터 정상성의 각도를 검출할 수 있다.

그리고, 도 94에 구성을 나타내는 데이터 정상성 검출부(101)에 있어서는, 데이터 정상성의 각도의 범위를 데이터 정상성 정보로서 출력하도록 해도 되고, 데이터 정상성의 각도의 범위를 나타내는 대표치를 데이터 정상성 정보로서 출력할 수도 있다. 예를 들면, 데이터 정상성의 각도의 범위의 중앙값을 대표치로 할 수 있다.

또한, 도 94에 구성을 나타내는 데이터 정상성 검출부(101)는, 상관 관계가 가장 강한 참조 블록의 주변의 참조 블록의 상관 관계를 이용함으로써, 검출하는 데이터 정상성의 각도의 범위를 1/2로, 즉, 검출하는 데이터 정상성의 각도의 분해능을 2배로 할 수 있다.

예를 들면, 주목 블록과, E 및 E'의 참조 블록의 상관이 가장 강할 때, 최소 오차 각도 선택부(463)는, 도 102에서 나타낸 바와 같이, 주목 블록에 대한, D 및 D'의 참조 블록의 상관 관계와 주목 블록에 대한, F 및 F'의 참조 블록의 상관 관계를 비교한다. 주목 블록에 대한, D 및 D'의 참조 블록의 상관 관계가, 주목 블 록에 대한, F 및 F'의 참조 블록의 상관 관계와 비교하여, 강한 경우, 최소 오차 각도 선택부(463)는, 데이터 정상성의 각도에, 71.6도 내지 90도의 범위를 설정한다. 또, 이 경우, 최소 오차 각도 선택부(463)는, 데이터 정상성의 각도로, 대표치로서 81도를 설정해도 된다.

주목 블록에 대한, F 및 F'의 참조 블록의 상관이, 주목 블록에 대한, D 및 D'의 참조 블록의 상관과 비교하여, 강한 경우, 최소 오차 각도 선택부(463)는, 데이터 정상성의 각도로서, 90도 내지 108.4도의 범위를 설정한다. 또, 이 경우, 최소 오차 각도 선택부(463)는, 데이터 정상성의 각도로, 대표치로서 99도를 설정해도 된다.

최소 오차 각도 선택부(463)는, 마찬가지의 처리에 의해, 다른 각도의 범위에 대하여도, 검출하는 데이터 정상성의 각도의 범위를 1/2로 할 수 있다.

그리고, 도 102를 참조하여 설명한 방법을, 간이 16 방위 검출 방법이라고도 한다.

이와 같이, 도 94에 구성을 나타낸 데이터 정상성 검출부(101)는, 간단한 처리에 의해, 보다 범위가 좁은, 데이터 정상성의 각도를 검출할 수 있다.

다음에, 도 103의 흐름도를 참조하여, 스텝 S101의 처리에 대응하는, 도 94에서 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성 검출의 처리를 설명한다.

스텝 S441에 있어서, 데이터 선택부(441)는, 입력 화상으로부터, 주목하고 있는 화소인 주목 화소를 선택한다. 예를 들면, 데이터 선택부(441)는, 입력 화상으로부터, 라스터 스캔 순으로, 주목 화소를 선택한다.

스텝 S442에 있어서, 데이터 선택부(441)는, 주목 화소를 중심으로 하는 소정 개수의 화소로 이루어지는 주목 블록을 선택한다. 예를 들면, 데이터 선택부(441)는, 주목 화소를 중심으로 하는 5 × 5 화소로 이루어지는 주목 블록을 선택한다.

스텝 S443에 있어서, 데이터 선택부(441)는, 주목 화소 주변의 소정의 위치의 소정 개수의 화소로 이루어지는 참조 블록을 선택한다. 예를 들면, 데이터 선택부(441)는, 주목 화소 및 기준축을 기준으로 한 소정 각도의 범위마다, 주목 블록의 크기를 기준으로 한, 소정의 위치의 화소를 중심으로 하는 5 × 5 화소로 이루어지는 참조 블록을 선택한다.

데이터 선택부(441)는, 주목 블록 및 참조 블록을 오차 추정부(442)에 공급한다.

스텝 S444에 있어서, 오차 추정부(442)는, 주목 화소 및 기준축을 기준으로 한 소정 각도의 범위마다, 주목 블록과, 각도의 범위에 대응한 참조 블록과의 상관 관계를 계산한다. 오차 추정부(442)는, 산출된 상관 관계를 나타낸 상관 정보를 정상 방향 도출부(443)에 공급한다.

스텝 S445에 있어서, 정상 방향 도출부(443)는, 주목 블록에 대하여, 상관 관계가 가장 강한 참조 블록의 위치로부터, 결락된 실세계(1)의 광신호인 화상의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출한다.

정상 방향 도출부(443)는, 검출한 데이터 정상성의 각도를 나타내는 데이터 정상성 정보를 출력한다.

스텝 S446에 있어서, 데이터 선택부(441)는, 모든 화소의 처리가 종료되었는지 여부를 판정하고, 모든 화소의 처리가 종료되지 않은 것으로 판정된 경우, 스텝 S441로 복귀하고, 아직 주목 화소로서 선택되지 않은 화소로부터 주목 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S446에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 처리는 종료된다.

이와 같이, 도 94에 구성을 나타낸 데이터 정상성 검출부(101)는, 보다 간단한 처리에 의해, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출할 수 있다. 또, 도 94에 구성을 나타낸 데이터 정상성 검출부(101)는, 입력 화상 중의, 비교적 좁은 범위의 화소의 화소값을 사용하여, 데이터 정상성의 각도를 검출할 수 있으므로, 입력 화상에 노이즈 등이 포함되어 있어도, 보다 정확하게 데이터 정상성의 각도를 검출할 수 있다.

그리고, 도 94에서 구성이 나타내는 데이터 검출부(101)는, 주목하고 있는 프레임인 주목 프레임의, 주목하고 있는 화소인 주목 화소에 대하여, 주목 프레임으로부터, 소정 개수의 화소로 이루어지는, 주목 화소를 중심으로 한 블록과, 주목 화소의 주변의, 각각, 소정 개수의 화소로 이루어지는 복수개의 블록을 추출하는 동시에, 주목 프레임에 대하여 시간적으로 전 또는 후의 프레임으로부터, 소정 개수의 화소로 이루어지는, 주목 화소에 대응하는 위치의 화소를 중심으로 한 블록과, 주목 화소에 대응하는 위치의 화소의 주변의, 각각, 소정 개수의 화소로 이루어지는 복수개의 블록을 추출하고, 주목 화소를 중심으로 한 블록과 공간 목표 또는 시간적으로 주변의 블록의 상관 관계를 검출하고, 상관 관계에 따라, 입력 화상에 있어서의, 시간 방향 및 공간 방향의 데이터 정상성의 각도를 검출해도 된다.

예를 들면, 도 104에 나타낸 바와 같이, 데이터 선택부(441)는, 주목 프레임인 프레임#n로부터 주목 화소를 순서대로 선택하고, 프레임#n로부터, 주목 화소를 중심으로 한, 소정 개수의 화소로 이루어지는 블록, 및 주목 화소의 주변의, 소정 개수의 화소로 이루어지는 복수개의 블록을 추출한다. 또, 데이터 선택부(441)는, 프레임#n-1 및 프레임#n+1의 각각으로부터, 주목 화소의 위치에 대응하는 위치의 화소를 중심으로 한, 소정 개수의 화소로 이루어지는 블록, 및 주목 화소의 위치에 대응하는 위치의 화소의 주변의, 소정 개수의 화소로 이루어지는 복수개의 블록을 추출한다. 데이터 선택부(441)는, 추출한 블록을 오차 추정부(442)에 공급한다.

오차 추정부(442)는, 데이터 선택부(441)로부터 공급된, 주목 화소를 중심으로 한 블록과, 공간 목표 또는 시간적으로 주변의 블록의 상관 관계를 검출하여, 검출한 상관 관계를 나타낸 상관 정보를 정상 방향 도출부(443)에 공급한다. 정상성 방향 도출부(443)는, 오차 추정부(442)로부터 공급된 상관 정보에 따라, 상관이 가장 강한, 공간 목표 또는 시간적으로 주변의 블록의 위치로부터, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 입력 화상에 있어서의, 시간 방향 및 공간 방향의 데이터 정상성의 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다.

또, 데이터 정상성 검출부(101)는, 입력 화상의 컴퍼넌트 신호에 따라서, 데이터 정상성 검출의 처리를 실행할 수 있다.

도 105는, 입력 화상의 컴퍼넌트 신호에 따라서, 데이터 정상성 검출의 처리를 실행하는 데이터 정상성 검출부(101)의 구성을 나타내는 블록도이다.

데이터 정상성 검출부(481-1 내지 481-3)의 각각은, 전술한, 또는 후술하는 데이터 정상성 검출부(101)와 동일한 구성을 가지고, 입력 화상의 컴퍼넌트 신호의 각각을 처리의 대상으로 하여, 전술한, 또는 후술하는 처리를 실행한다.

데이터 정상성 검출부(481-1)은, 입력 화상의 제1 컴퍼넌트 신호에 따라서, 데이터 정상성을 검출하고, 제1 컴퍼넌트 신호로부터 검출된 데이터 정상성을 나타 내는 정보를 결정부(482)에 공급한다. 예를 들면, 데이터 정상성 검출부(481-1)는, 입력 화상의 휘도 신호에 따라서, 데이터 정상성을 검출하고, 휘도 신호로부터 검출된 데이터 정상성을 나타내는 정보를 결정부(482)에 공급한다.

데이터 정상성 검출부(481-2)는, 입력 화상의 제2 컴퍼넌트 신호에 따라서, 데이터 정상성을 검출하고, 제2 컴퍼넌트 신호로부터 검출된 데이터 정상성을 나타내는 정보를 결정부(482)에 공급한다. 예를 들면, 데이터 정상성 검출부(481-2)는, 입력 화상의 색차 신호인 I신호에 따라서, 데이터 정상성을 검출하고, I신호로부터 검출된 데이터 정상성을 나타내는 정보를 결정부(482)에 공급한다.

데이터 정상성 검출부(481-3)은, 입력 화상의 제3 컴퍼넌트 신호에 따라서, 데이터 정상성을 검출하고, 제3 컴퍼넌트 신호로부터 검출된 데이터 정상성을 나타내는 정보를 결정부(482)에 공급한다. 예를 들면, 데이터 정상성 검출부(481-2)는, 입력 화상의 색차 신호이다. 신호에 따라서, 데이터 정상성을 검출하고, Q신호로부터 검출된 데이터 정상성을 나타내는 정보를 결정부(482)에 공급한다.

결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성을 나타내는 정보에 따라서, 입력 화상에 있어서의 최종적인 데이터 정상성을 검출하여, 검출한 데이터 정상성을 나타내는 데이터 정상성 정보를 출력한다.

예를 들면, 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성 중, 최대의 데이터 정상성을 최종적인 데이터 정상성으로 한다. 또, 예를 들면, 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성 중, 최소의 데이터 정상성을 최종적인 데이터 정상성으로 한다.

또한, 예를 들면, 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성의 평균값을 최종적인 데이터 정상성으로 한다. 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)으로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성의 중앙값을 최종적인 데이터 정상성으로 해도 된다.

또, 예를 들면, 결정부(482)는, 외부로부터 입력된 신호에 따라서, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성 중, 외부로부터 입력된 신호로 지정되는 데이터 정상성을 최종적인 데이터 정상성으로 한다. 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성 중, 미리 정한 데이터 정상성을 최종적인 데이터 정상성으로 해도 된다.

그리고, 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호의 데이터 정상성의 검출의 처리에 의해 구한 오차에 따라서, 최종적인 데이터 정상성을 결정해도 된다. 데이터 정상성의 검출의 처리에 의 해 구해지는 오차에 대하여는, 후술한다.

도 106은, 입력 화상의 컴퍼넌트 신호에 따라서, 데이터 정상성의 검출 처리를 실행하는 데이터 정상성 검출부(101)의 다른 구성을 나타낸 도면이다.

컴퍼넌트 처리부(491)는, 입력 화상의 컴퍼넌트 신호에 따라서, 1개의 신호를 생성하고, 데이터 정상성 검출부(492)에 공급한다. 예를 들면, 컴퍼넌트 처리부(491)는, 입력 화상의 각 컴퍼넌트 신호에서의 값을, 화면 상에서 동일한 위치의 화소에 대하여, 가산함으로써, 컴퍼넌트 신호값의 합으로 이루어지는 신호를 생성한다.

예를 들면, 컴퍼넌트 처리부(491)는, 입력 화상의 각 컴퍼넌트 신호에서의 화소값을, 화면 상에서 동일한 위치의 화소에 대하여, 평균함으로써, 컴퍼넌트 신호의 화소값의 평균값으로 이루어지는 신호를 생성한다.

데이터 정상성 검출부(492)는, 컴퍼넌트 처리부(491)로부터 공급된, 신호에 따라서, 입력 화상에 있어서의, 데이터 정상성을 검출하고, 검출한 데이터 정상성을 나타내는 데이터 정상성 정보를 출력한다.

데이터 정상성 검출부(492)는, 전술한, 또는 후술하는 데이터 정상성 검출부(101)와 동일한 구성을 가지고, 컴퍼넌트 처리부(491)으로부터 공급된 신호를 대상으로 하여, 전술한, 또는 후술하는 처리를 실행한다.

이와 같이, 데이터 정상성 검출부(101)는, 컴퍼넌트 신호에 따라서, 입력 화 상의 데이터 정상성을 검출함으로써, 입력 화상에 노이즈 등이 포함되어 있어도, 보다 정확하게, 데이터 정상성을 검출할 수 있다. 예를 들면, 데이터 정상성 검출부(101)는, 컴퍼넌트 신호에 따라서, 입력 화상의 데이터 정상성을 검출함으로써, 보다 정확하게, 데이터 정상성의 각도(경사), 혼합비, 또는 데이터 정상성을 가지는 영역을 검출할 수 있다.

그리고, 컴퍼넌트 신호는, 휘도 신호 및 색차 신호에 한정되지 않고, RGB 신호, 또는 YUV 신호 등 다른 방식의 컴퍼넌트 신호일 수도 있다.

이상과 같이, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터의, 결락된 현실 세계의 광신호의 정상성에 대응하는 데이터 정상성의, 기준축에 대한 각도를 검출하고, 검출된 각도에 따라서, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하도록 하는 경우, 현실 세계의 사상에 대하여,보다 정확하게, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

또, 현실 세계의 광신호가 복수개의 검출 소자에 투영됨으로써 취득된, 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터의 주목하고 있는 주목 화소 및 기준축을 기준으로 한 각도마다, 소정 개수의 화소로 이루어지는 화소의 그룹으로서, 복수개의 그룹를 추출하고, 각도마다 추출된, 복수개의 그룹에 있어서의 대응하는 위치의 화소의 화소값의 상관 관계를 검출하고, 검출된 상관 관계에 따라서, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출하고, 검출된 화상 데이터에 있어서의 기준축에 대한 데이터 정상성의 각도에 따라서, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하도록 한 경우, 현실 세계의 사상에 대하여,보다 정확하게, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

도 107은, 데이터 정상성 검출부(101)의 또 다른 구성을 나타내는 블록도이다.

도 107에 나타내는 데이터 정상성 검출부(101)에 있어서는, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터의 주목하고 있는 화소인 주목 화소에 대응하는 영역이 선택되고, 주목 화소의 화소값과 선택된 영역에 속하는 화소의 화소값의 상관값이 임계값 이상인 화소에, 상관값에 따라서 도수가 설정되는 것에 의하여, 영역에 속하는 화소의 도수가 검출되어 검출된 화소에 따라서 회귀 직선을 검출함으로써, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터의 데이터 정상성이 검출된다.

프레임 메모리(501)는, 입력 화상을 프레임 단위로 기억하고, 기억되어 있는 프레임을 구성하는 화소의 화소값을 화소 취득부(502)에 공급한다. 프레임 메모리(501)는, 1개의 페이지에 입력 화상의 현재의 프레임을 기억하고, 다른 페이 지에 기억하고 있는, 현재의 프레임에 대하여 1개 전(과거)의 프레임의 화소의 화소값을 화소 취득부(502)에 공급하고, 입력 화상의 프레임 전환의 시각에 있어서, 페이지를 전환함으로써, 화소 취득부(502)에, 동영상인 입력 화상의 프레임의 화소의 화소값을 공급할 수 있다.

화소 취득부(502)는, 프레임 메모리(501)로부터 공급된 화소의 화소값에 따라서, 주목하고 있는 화소인 주목 화소를 선택하고, 선택된 주목 화소에 대응하는, 소정 개수의 화소로 이루어지는 영역을 선택한다. 예를 들면, 화소 취득부(502)는, 주목 화소를 중심으로 하는 5 × 5화소로 이루어지는 영역을 선택한다.

화소 취득부(502)가 선택하는 영역의 크기는, 본 발명을 한정하는 것은 아니다.

화소 취득부(502)는, 선택한 영역의 화소의 화소값을 취득하여, 선택한 영역의 화소의 화소값을 도수 검출부(503)에 공급한다.

도수 검출부(503)는, 화소 취득부(502)로부터 공급된, 선택된 영역의 화소의 화소값에 따라서, 주목 화소의 화소값과 선택된 영역에 속하는 화소의 화소값의 상관값이 임계값 이상인 화소에, 상관값에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출한다. 도수 검출부(503)에 있어서의, 상관치에 따른 도수의 설정의 처리의 자세한 것은, 후술한다.

도수 검출부(503)는, 검출한 화소를 회귀 직선 연산부(504)에 공급한다.

회귀 직선 연산부(504)는, 도수 검출부(503)으로부터 공급된 화소에 따라, 회귀 직선을 연산한다. 예를 들면, 회귀 직선 연산부(504)는, 도수 검출부(503)로부터 공급된 화소에 따라, 회귀 직선을 연산한다. 또, 예를 들면, 회귀 직선 연산부(504)는, 도수 검출부(503)로부터 공급된 화소에 따라서, 소정의 곡선인 회귀 직선을 연산한다. 회귀 직선 연산부(504)는, 연산된 회귀 직선 및 연산의 결과를 나타내는 연산 결과 파라미터를 각도 산출부(505)에 공급한다. 연산 파라미터가 나타내는 연산의 결과에는, 후술하는 변동 및 공변동 등이 포함된다.

각도 산출부(505)는, 회귀 직선 연산부(504)로부터 공급된 연산 결과 파라미터에서 나타내는, 회귀 직선에 따라, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터인 입력 화상의 데이터 정상성을 검출한다. 예를 들면, 각도 산출부(505)는, 회귀 직선 연산부(504)로부터 공급된 연산 결과 파라미터에서 나타내는, 회귀 직선에 따라서, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출한다. 각도 산출부(505)는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 나타내는 데이터 정상성 정보를 출력한다.

도 108 내지 도 110을 참조하여, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도에 대하여 설명한다.

도 108에 있어서, 원형은, 1개의 화소를 나타내고, 2중 원형은, 주목 화소를 나타낸다. 원형의 색은, 화소의 화소값의 개략을 나타내고, 보다 밝은 색은, 보다 큰 화소값을 나타낸다. 예를 들면, 검은색은, 30인 화소값을 나타내고, 흰색은, 120인 화소값을 나타낸다.

도 108에 나타내는 화소로 이루어지는 화상을 사람이 인식한 경우, 화상을 인식하는 인간은, 우상측 경사 방향으로 직선이 뻗어 있는 것을 인식할 수 있다.

도 107에 구성을 나타낸 데이터 정상성 검출부(101)는, 도 108에 나타낸 화소로 이루어지는 입력 화상을 입력했을 때, 우상측 경사 방향으로 직선이 뻗어 있는 것을 검출한다.

도 109는, 도 108에 나타낸 화소의 화소값을 수치에서 나타낸 도면이다. 원형은, 1개의 화소를 나타내고, 원형 중의 수치는, 화소값을 나타낸다.

예를 들면, 주목 화소의 화소값은, 120이며, 주목 화소의 상측의 화소의 화소값은, 100이며, 주목 화소의 하측의 화소의 화소값은, 100이다. 또, 주목 화소의 좌측의 화소의 화소값은, 80이며, 주목 화소의 우측의 화소의 화소값은, 80이다. 마찬가지로, 주목 화소의 좌하측 화소의 화소값은, 100이며, 주목 화소의 우상측 화소의 화소값은, 100이다. 주목 화소의 좌상측 화소의 화소값은, 30이며, 주목 화소의 우하측 화소의 화소값은, 30이다.

도 107에 구성을 나타내는 데이터 정상성 검출부(101)는, 도 109에서 나타내는 입력 화상에 대하여, 도 110에 나타낸 바와 같이, 회귀 직선 A를 긋는다.

도 111은, 입력 화상에 있어서의, 화소의 공간 방향의 위치에 대하는, 화소값의 변화와 회귀 직선 A의 관계를 나타낸 도면이다. 데이터 정상성을 가지는 영역에 있어서의 화소의 화소값은, 예를 들면, 도 111에 나타낸 바와 같이, 산맥 형태로 변화하고 있다.

도 107에 구성을 나타내는 데이터 정상성 검출부(101)는, 데이터 정상성을 가지는 영역에 있어서의 화소의 화소값을 가중으로 해서 최소 자승법에 의해 회귀 직선 A를 긋는다. 데이터 정상성 검출부(101)에 의해 구해진 회귀 직선 A는, 주목 화소의 주변에 있어서의 데이터 정상성을 표현하고 있다.

입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도는, 도 112에서 나타낸 바와 같이, 회귀 직선 A와, 예를 들면 기준축인 공간 방향 X를 나타낸 축의 각도θ를 구함으로써, 검출된다.

다음에, 도 107에 구성을 나타내는 데이터 정상성 검출부(101)에 있어서의, 회귀 직선의 구체적인 산출 방법에 대하여 설명한다.

도수 검출부(503)는, 예를 들면, 화소 취득부(502)로부터 공급된, 주목 화소를 중심으로 하는, 공간 방향 X에 9화소, 공간 방향 Y에 5화소, 합계 45화소로 이루어지는 영역의 화소의 화소값으로부터, 영역에 속하는 화소의 좌표에 대응하는 도수를 검출한다.

예를 들면, 도수 검출부(503)는, 식(32)에서 나타내는 연산에 의하여, 도수 를 산출함으로써, 영역에 속하는, 좌표(x_i, y_j)의 도수 L_{i ,j}를 검출한다.

…(32)

식(32)에 있어서, P_{0 , 0}는, 주목 화소의 화소값을 나타내고, P_i,j는, 좌표(x_i, y_j)의 화소의 화소값을 나타낸다. Th는, 임계값을 나타낸다.

i는, 영역 내에서의, 공간 방향 X의 화소의 순번을 나타내고, 1 ≤ i ≤ k이다. j는, 영역 내에서의, 공간 방향 Y의 화소의 순번을 나타내고, 1 ≤ j ≤ j이다.

k는, 영역에 있어서의, 공간 방향 X의 화소수를 나타내고, j는, 영역에 있어서의, 공간 방향 Y의 화소의 수를 나타낸다. 예를 들면, 영역이, 공간 방향 X에 9화소, 공간 방향 Y에 5화소, 합계 45화소로 이루어지는 때, K는, 9이며, j는, 5이다.

도 113은, 화소 취득부(502)에 있어서 취득되는 영역의 예를 나타낸 도면이다. 도 113에 있어서, 점선의 사각은, 1개의 화소를 나타낸다.

예를 들면, 도 113에 나타낸 바와 같이, 영역이, 공간 방향 X에 대하여, 주목 화소를 중심으로 한 9화소, 공간 방향 Y에 대하여, 주목 화소를 중심으로 한 5 화소로 이루어지고, 주목 화소의 좌표(x, y)가 (0, 0)일 때, 영역의 좌측 위의 화소의 좌표(x, y)는, (-4, 2)이며, 영역의 우측 위의 화소의 좌표(x, y)는, (4, 2)이며, 영역의 좌측 아래의 화소의 좌표(x, y)는, (-4, -2)이며, 영역의 우측 아래의 화소의 좌표(x, y)는, (4, -2)이다.

영역의 좌측의 화소의, 공간 방향 X에 있어서의, 화소의 순번 i는, 1이며, 영역의 우측의 화소의, 공간 방향 X에 있어서의, 화소의 순번 i는, 9이다. 영역의 하측의 화소의, 공간 방향 Y에 있어서의, 화소의 순번 j는, 1이며, 영역의 상측의 화소의, 공간 방향 Y에 있어서의, 화소의 순번 j는, 5이다.

즉, 주목 화소의 좌표(x₅, y₃)를 (0, 0)으로 할 때, 영역의 좌측 위의 화소의 좌표(x₁, y₅)는, (-4, 2)이며, 영역의 우측 위의 화소의 좌표(x₉, y₅)는, (4, 2)이며, 영역의 좌측 아래의 화소의 좌표(x₁, y₁)는, (-4, -2)이며, 영역의 우측 아래의 화소의 좌표(x₉, y₁)는, (4, -2)이다.

도수 검출부(503)는, 식(32)에 있어서, 상관값으로서, 주목 화소의 화소값과 영역에 속하는 화소의 화소값의 차분의 절대값을 산출하므로, 실세계(1)의 가는 선의 화상이 투영된, 입력 화상에 있어서의, 데이터 정상성을 가지는 영역뿐만 아니라, 배경과는 상이한 색이며, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이 투영된, 입력 화상에 있어서의, 2치 에지의 데이터 정상성을 가지는 영역에 있어서의, 화소값의 공간적인 변화의 특징을 나타낸 화소를 검출할 수 있다.

그리고, 도수 검출부(503)는, 화소의 화소값과의 차분의 절대값에 한정되지 않고, 상관 계수 등 다른 상관치에 따라서, 화소를 검출할 수도 있다.

또, 식(32)에 있어서, 지수 함수를 적용하고 있는 것은, 화소값의 차이에 대하여, 도수에 크게 차이가 나게 하기 위함이며, 다른 함수를 적용해도 된다.

임계값 Th는, 임의의 값으로 정할 수 있다. 예를 들면, 임계값 Th는, 30으로 할 수 있다.

이와 같이, 도수 검출부(503)는, 선택된 영역에 속하는 화소의 화소값과의 상관값이 임계값 이상인 화소에, 상관치에 따르는 도수를 설정함으로써, 영역에 속하는 화소의 도소를 검출한다.

또, 예를 들면, 도수 검출부(503)는, 식(33)에서 나타내는 연산에 의하여, 화소를 산출함으로써, 영역에 속하는, 좌표(x_i, y_j)의 화소 L_{i ,j}를 검출한다.

…(33)

좌표(x_i, y_j)에 있어서의 도수를 L_{i ,j}(1 ≤ i ≤k, 1 ≤ j ≤ l)로 할 때, 좌표 x_i에 있어서의, 공간 방향 Y의 도수 L_{i ,j}의 합 q_i는, 식(34)에 의해 나타내고, 좌 표 y_j에 있어서의, 공간 방향 X의 도수 L_{i , j}의 합 h_j는, 식(35)에 의해 나타낸다.

…(34)

…(35)

도수의 총계 u는, 식(36)에 의해 나타낸다.

…(36)

도 113에 나타낸 예에 있어서, 주목 화소의 좌표의 화소 L_{5 ,3}은, 3이며, 주목 화소의 상측의 화소의 좌표의 도수 L_{5 ,4}는, 1이며, 주목 화소의 우측 상측의 화소의 좌표의 도수 L_{6 ,4}는, 4이며, 주목 화소에 대하여, 2화소 상측이며, 1화소 우측의 화 소의 좌표의 도수 L_{6 ,5}는, 2이며, 주목 화소에 대하여, 2화소 상측이며, 2화소 우측의 화소의 좌표의 도수 L_{7 ,5}는, 3이다. 또, 주목 화소의 하측의 화소의 좌표의 도수 L_{5 ,2}는, 2이며, 주목 화소의 좌측의 화소의 좌표의 도수 L_{4 ,3}은, 1이며, 주목 화소의 좌측 하측의 화소의 좌표의 도수 L_{4 ,2}는, 3이며, 주목 화소에 대하여, 1화소 하측이며, 2화소 좌측의 화소의 좌표의 도수 L_{3 ,2}는, 2이며, 주목 화소에 대하여, 2화소 하측이며, 2화소 좌측의 화소의 좌표의 도수 L_{3 ,1}은, 4이다. 도 113에 나타낸 영역의 다른 화소의 좌표의 도수는, 0이며, 도 113에 있어서, 0일 때 도수의 기재는 생략한다.

도 113에 나타낸 영역에 있어서, 공간 방향 Y의 도수의 합 q1은, i가 1인 도수 L이 모두 0이므로, 0이며, q₂는, i가 2인 도수 L이 모두 0이므로, 0이다. q₃는, 도수 L_{3 ,2}가 2이며, 도수 L_{3 ,1}이 4이므로, 6이다. 마찬가지로, q₄는, 4이며, q₅는, 6이며, q₆는, 6이며, q₇는, 3이며, q₈는, 0이며, q₉는, 0이다.

도 113에서 나타낸 영역에 있어서, 공간 방향 X의 도수의 합 h₁는, 도수 L_{3 ,1}이 4이므로, 4이다. h₂는, 도수 L_{3 ,2}가 2이며, 도수 L_{4 ,2}가 3이며, 도수 L_{5 ,2}가 2이므 로, 7이다. 마찬가지로, h₃은, 4이며, h₄는, 5이며, h₅는, 5이다.

도 113에 나타낸 영역에 있어서, 도수의 총계 u는, 25이다.

공간 방향 Y의 도수 L_{i ,j}의 함 q_i에, 좌표 x_i를 곱한 결과를 가산한 합 T_x는, 식(37)에 의해 나타낸다.

…(37)

공간 방향 X의 도수 L_{i ,j}의 합 h_j에, 좌표 y_j를 곱한 결과를 가산한 합 T_y는, 식(37)에 의해 나타낸다.

…(38)

예를 들면, 도 113에 나타낸 영역에 있어서, q₁이 0이며, x₁이 -4이므로, q₁x₁은 )이며, q₂가 0이며, x₂가 -3이므로, q₂x₂는 0이다. 마찬가지로, q₃가 6이며, x₃가 -2이므로, q₃x₃는 -12이며, q₄가 4이며, x₄가 -1이므로, q₄x₄는, -4이며, q₅가 6 이며, x₅가 0이므로, q₅x₅는 0이다. 마찬가지로, q₆가 6이며, x₆가 1이므로, q₆x₆는 6이며, q₇가 3이며, x₇이 2이므로, q₇x₇은 6이며, q₈이 0이며, x₈이 3이므로, q₈x₈은 0이며, q₉이 0이며, x₉이 4이므로, q₉x₉는 0이다. 따라서, q₁x₁ 내지 q₉x₉의 합인 T_x는, -4이다.

예를 들면, 도 113에 나타낸 영역에 있어서, h₁이 4이며, y₁이 -2이므로, h₁y₁은 -8이며, h₂가 7이며, y₂가 -1이므로, h₂y₂는 -7이다. 마찬가지로, h₃가 4이며, y₃가 0이므로, h₃y₃는 0이며, h₄가 5이며, y₄가 1이므로, h₄y₄는, 5이며, h₅가 5이며, y₅가 2이므로, h₅y₅는 10이다. 따라서, h₁y₁ 내지 h₅y₅의 합인 T_y는, 0이다.

또, Q_i를 다음과 같이 정의한다.

…(39)

x의 변동 S_x는, 식(40)에 의해 나타낸다.

…(40)

y의 변동 S_y는, 식(41)에 의해 나타낸다.

…(41)

공변동 S_xy는, 식(42)에 의해 나타낸다.

…(42)

식(43)에 나타내는 1차 회귀 직선을 구하는 것을 생각한다.

y = ax + b …(43)

경사 a 및 절편 b는, 최소 자승법에 의하여, 다음과 같이 구할 수 있다.

…(44)

…(45)

단, 정확한 회귀 직선을 구하기 위한 필요 조건은, 도수 L_{i ,j}가, 회귀 직선에 대하여, 가우스 분포 상태로, 분포하고 있는 것이다. 역으로 말하면, 도수 검출부(503)는, 도수 L_{i ,j}가 가우스 분포하도록, 영역의 화소의 화소값을 도수 L_{i , j}로 변환할 필요가 있다.

회귀 직선 연산부(504)는, 식(44) 및 식(45)에서 나타내는 연산을 실행하여, 회귀 직선을 구한다.

각도 산출부(505)는, 식(46)에 나타낸 연산에 의하여, 회귀 직선의 경사 a를, 기준축인 공간 방향 X의 축에 대한 각도 θ로 변환한다.

θ = tan^-1(a) …(46)

그리고, 회귀 직선 연산부(504)가 소정의 곡선인 회귀 직선을 연산하는 경우, 각도 산출부(505)는, 기준축에 대한, 주목 화소의 위치에서의 회귀 직선의 각도θ를 구한다.

여기서, 화소마다 데이터 정상성을 검출하기 위해서는, 절편 b는, 불필요하다. 그래서, 식(47)에 나타내는 1차 회귀 직선을 구하는 것을 생각한다.

y = ax …(47)

이 경우, 회귀 직선 연산부(504)는, 최소 자승법에 의하여, 경사 a를 식(48)에서 구할 수 있다.

…(48)

도 114의 흐름도를 참조하여, 스텝 S101의 처리에 대응하는, 도 107에서 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성의 검출 처리를 설명한다.

스텝 S501에 있어서, 화소 취득부(502)는, 아직 주목 화소가 되지 않은 화소 중 주목 화소를 선택한다. 예를 들면, 화소 취득부(502)는, 라스터 스캔 순으로, 주목 화소를 선택한다. 스텝 S502에 있어서, 화소 취득부(502)는, 주목 화소를 중심으로 하는 영역에 포함되는 화소의 화소값을 취득하고, 취득한 화소의 화소값을 도수 검출부(503)에 공급한다. 예를 들면, 화소 취득부(502)는, 주목 화소를 중심으로 한, 9 × 5화소로 이루어지는 영역을 선택하고, 영역에 포함되는 화소의 화소 값을 취득한다.

스텝 S503에 있어서, 도수 검출부(503)는, 영역에 포함되는 화소의 화소값을 도수로 변환함으로써, 도수를 검출한다. 예를 들면, 도수 검출부(503)는, 식(32)에 나타내는 연산에 의하여, 화소값을 도수 L_{i ,j}로 변환한다. 이 경우에 있어서, 도수 L_{i ,j}가 가우스 분포하도록, 영역의 화소의 화소값이 도수 L_{i ,j}로 변환된다. 도수 검출부(503)는, 변환된 도수를 회귀 직선 연산부(504)에 공급한다.

스텝 S504에 있어서, 회귀 직선 연산부(504)는, 도수 검출부(503)로부터 공급된 도수에 따라서, 회귀 직선을 구한다. 예를 들면, 회귀 직선 연산부(504)는, 도수 검출부(503)로부터 공급된 도수에 따라서, 회귀 직선을 구한다. 보다 구체적으로는, 회귀 직선 연산부(504)는, 식(44) 및 식(45)에서 나타내는 연산을 실행하여, 회귀 직선을 구한다. 회귀 직선 연산부(504)는, 산출된 결과인 회귀 직선을 나타낸 연산 결과 파라미터를 각도 산출부(505)에 공급한다.

스텝 S505에 있어서, 각도 산출부(505)는, 기준축에 대한 회귀 직선의 각도를 산출함으로써, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터의 데이터 정상성을 검출한다. 예를 들면, 각도 산출부(505)는, 식(46)에 나타낸 연산에 의하여, 회귀 직선의 경사 a를, 기준축인 공간 방향 X의 축에 대한 각도 θ로 변환한다. 각도 산출부(505)는, 기준축에 대한 회귀 직선의 각도를 나타내는 데이 터 정상성 정보를 출력한다.

그리고, 각도 산출부(505)는, 경사 a를 나타내는 데이터 정상성 정보를 출력해도 된다.

스텝 S506에 있어서, 화소 취득부(502)는, 모든 화소의 처리가 종료되었는지 여부를 판정하고, 모든 화소의 처리다 종료되지 않은 것으로 판정된 경우, 스텝 S501로 복귀하고, 아직 주목 화소로서 선택되지 않은 화소로부터 주목 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S506에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 처리는 종료된다.

이와 같이, 도 107에 구성을 나타내는 데이터 정상성 검출부(101)는, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출할 수 있다.

특히, 도 107에 구성을 나타내는 데이터 정상성 검출부(101)는, 비교적 좁은 영역의 화소의 화소값에 따라서, 화소 이하의 각도를 구할 수 있다.

이상과 같이, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터의 주목하고 있는 화소인 주목 화소에 대응하는 영역을 선택하고, 주목 화소의 화소값과 선택된 영역에 속하는 화소의 화소값의 상관값이 임계값 이상인 화소에, 상관치에 따른 도수를 설정함으로써, 영역에 속하는 화 소의 도수를 검출하고, 검출된 화소에 따라서 회귀 직선을 검출함으로써, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터의 데이터 정상성을 검출하고, 검출된 화상 데이터의 데이터 정상성에 따라, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하도록 한 경우, 현실 세계의 사상에 대하여,보다 정확하게, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

그리고, 도 107에 구성을 나타낸 데이터 정상성 검출부(101)는, 주목 화소가 속하는 주목 프레임과, 주목 프레임의 시간적으로 전후의 프레임에 대하여, 소정의 영역에 속하는 화소의 화소값을 도수로 변환하여, 도수에 따라서, 회귀 평면을 구하도록 하면, 공간 방향의 데이터 정상성의 각도와 함께, 시간 방향의 데이터 정상성의 각도를 검출할 수 있다.

도 115는, 데이터 정상성 검출부(101)의 또다른 구성을 나타낸 블록도이다.

도 115에 나타내는 데이터 정상성 검출부(101)에 있어서는, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터의 주목하고 있는 화소인 주목 화소에 대응하는 영역이 선택되고, 주목 화소의 화소값과 선택된 영역에 속하는 화소의 화소값의 상관값이 임계값 이상인 화소에, 상관치에 따른 도수가 설정됨으로써, 영역에 속하는 화소의 화소가 검출되어 검출된 화소에 따라 회귀 직선을 검출함으로써, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의 데이터 정상성을 가지는 영역을 검출한다.

프레임 메모리(601)는, 입력 화상을 프레임 단위로 기억하고, 기억되어 있는 프레임을 구성하는 화소의 화소값을 화소 취득부(602)에 공급한다. 프레임 메모리(601)는, 1개의 페이지에 입력 화상의 현재의 프레임을 기억하고, 다른 페이지에 기억하고 있는, 현재의 프레임에 대하여 1개 전(과거)의 프레임의 화소의 화소값을 화소 취득부(602)에 공급하고, 입력 화상의 프레임의 전환의 시각에 있어서, 페이지를 전환함으로써, 화소 취득부(602)에, 동영상인 입력 화상의 프레임의 화소의 화소값을 공급할 수 있다.

화소 취득부(602)는, 프레임 메모리(601)로부터 공급된 화소의 화소값에 따라서, 주목하고 있는 화소인 주목 화소를 선택하고, 선택된 주목 화소에 대응하는, 소정 개수의 화소로 이루어지는 영역을 선택한다. 예를 들면, 화소 취득부(602)는, 주목 화소를 중심으로 하는 5 × 5화소로 이루어지는 영역을 선택한다.

화소 취득부(602)가 선택하는 영역의 크기는, 본 발명을 한정하는 것은 아니다.

화소 취득부(602)는, 선택한 영역의 화소의 화소값을 취득하여, 선택한 영역의 화소의 화소값을 도수 검출부(603)에 공급한다.

도수 검출부(603)는, 화소 취득부(602)로부터 공급된, 선택된 영역의 화소의 화소값에 따라서, 주목 화소의 화소값과 선택된 영역에 속하는 화소의 화소값의 상관값이 임계값 이상인 화소에, 상관치에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출한다. 도수 검출부(603)에 있어서의, 상관치에 따른 도수 설정의 처리의 자세한 것에 대해서는, 후술한다.

도수 검출부(603)는, 검출한 화소를 회귀 직선 연산부(604)에 공급한다.

회귀 직선 연산부(604)는, 도수 검출부(603)로부터 공급된 화소에 따라, 회귀 직선을 연산한다. 예를 들면, 회귀 직선 연산부(604)는, 도수 검출부(603)로부터 공급된 화소에 따라, 회귀 직선을 연산한다. 또, 예를 들면, 회귀 직선 연산부(604)는, 도수 검출부(603)로부터 공급된 화소에 따라, 소정의 곡선인 회귀 직선을 연산한다. 회귀 직선 연산부(604)는, 연산된 회귀 직선 및 연산의 결과를 나타내는 연산 결과 파라미터를 영역 산출부(605)에 공급한다. 연산 파라미터가 나타낸 연산의 결과에는, 후술하는 변동 및 공변동 등이 포함된다.

영역 산출부(605)는, 회귀 직선 연산부(604)로부터 공급된 연산 결과 파라미터에 의해 나타내는, 회귀 직선에 따라, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터인 입력 화상에 있어서 데이터 정상성을 가지는 영역을 검출한다.

도 116은, 입력 화상에 있어서의, 화소의 공간 방향의 위치에 대한, 화소값의 변화와 회귀 직선 A와의 관계를 나타낸 도면이다. 데이터 정상성을 가지는 영역에 있어서의 화소의 화소값은, 예를 들면, 도 116에 나타낸 바와 같이, 산맥 형태로 변화하고 있다.

도 115에 구성을 나타낸 데이터 정상성 검출부(101)는, 데이터 정상성을 가지는 영역에 있어서의 화소의 화소값을 가중으로 하여, 최소 자승법에 의해 회귀 직선 A를 긋는다. 데이터 정상성 검출부(101)에 의해 구해진 회귀 직선 A는, 주목 화소의 주변에 있어서의 데이터 정상성을 표현하고 있다.

회귀 직선을 긋는다는 것은, 가우스 함수를 전제로 한 근사를 의미한다. 도 117에 나타낸 바와 같이, 도 115에 구성을 나타낸 데이터 정상성 검출부(101)는, 예를 들면, 표준 편차를 구함으로써, 가는 선의 화상이 투영된, 데이터(3)에 있어서의 영역의, 대략적인 폭의 길이를 알 수 있다. 또, 예를 들면, 도 115에 구성을 나타낸 데이터 정상성 검출부(101)는, 상관 계수에 따라서, 가는 선의 화상이 투영된, 데이터(3)에 있어서의 영역의, 대략적인 폭의 길이를 알 수 있다.

다음에, 도 115에 구성을 나타낸 데이터 정상성 검출부(101)에 있어서의, 회귀 직선의 구체적인 산출 방법에 대하여 설명한다.

도수 검출부(603)는, 예를 들면, 화소 취득부(602)로부터 공급된, 주목 화소를 중심으로 하는, 공간 방향 X로 9화소, 공간 방향 Y으로 5화소, 합계 45화소로 이루어지는 영역의 화소의 화소값으로부터, 영역에 속하는 화소의 좌표에 대응하는 도수를 검출한다.

예를 들면, 도수 검출부(603)는, 식(49)에서 나타내는 연산에 의하여, 도수 를 산출함으로써, 영역에 속하는, 좌표(x_i,y_j)의 도수 L_{i ,j}를 검출한다.

…(49)

식(49)에 있어서, P_{0 , 0}는, 주목 화소의 화소값을 나타내고, P_i,j는, 좌표(x_i, y_j)의 화소의 화소값을 나타낸다. Th는, 임계값을 나타낸다.

i는, 영역 내에서의, 공간 방향 X의 화소의 순번을 나타내고, 1 ≤ i ≤ k이다. j는, 영역 내에서의, 공간 방향 Y의 화소의 순번을 나타내고, 1 ≤ j ≤ l이다.

k는, 영역에 있어서의, 공간 방향 X의 화소수를 나타내고, j는, 영역에 있어서의, 공간 방향 Y의 화소수를 나타낸다. 예를 들면, 영역이, 공간 방향 X로 9화소, 공간 방향 Y로 5화소, 합계 45화소로 이루어질 때, K는, 9이며, j는, 5이다.

도 118은, 화소 취득부(602)에 있어서 취득되는 영역의 예를 나타낸 도면이다. 도 118에 있어서, 점선의 사각은, 1개의 화소를 나타낸다.

예를 들면, 도 118에 나타낸 바와 같이, 영역이, 공간 방향 X에 대하여, 주목 화소를 중심으로 한 9화소, 공간 방향 Y에 대하여, 주목 화소를 중심으로 한 5화소로 이루어지고, 주목 화소의 좌표(x, y)가 (0, 0)일 때, 영역의 좌상측의 화소 의 좌표(x, y)는, (-4, 2)이며, 영역의 우상측의 화소의 좌표(x, y)는, (4, 2)이며, 영역의 좌하측의 화소의 좌표(x, y)는, (-4, -2)이며, 영역의 우하측의 화소의 좌표(x, y)는, (4, -2)이다.

영역의 좌측의 화소의, 공간 방향 X에 있어서의, 화소의 순번 i는, 1이며, 영역의 우측의 화소의, 공간 방향 X에 있어서의, 화소의 순번 i는, 9이다. 영역의 하측의 화소의, 공간 방향 Y에 있어서의, 화소의 순번 j는, 1이며, 영역의 상측의 화소의, 공간 방향 Y에 있어서의, 화소의 순번 j는, 5이다.

즉, 주목 화소의 좌표(x_5, y₃)를(0, 0)으로 할 때, 영역의 좌상측 화소의 좌표(x₁, y₅)는, (-4, 2)이며, 영역의 우상측 화소의 좌표(x₉, y₅)는, (4, 2)이며, 영역의 좌하측 화소의 좌표(x₁, y₁)는, (-4, -2)이며, 영역의 우하측 화소의 좌표(x₉, y₁)는, (4, -2)이다.

도수 검출부(603)는, 식(49)에 있어서, 상관값으로서, 주목 화소의 화소값과 영역에 속하는 화소의 화소값의 차분의 절대값을 산출하므로, 실세계(1)의 가는 선의 화상이 투영된, 입력 화상에 있어서의, 데이터 정상성을 가지는 영역만이 아니라, 배경과 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이 투영된, 입력 화상에 있어서의, 2치 에지의 데이터 정상성을 가지는 영역에 있어서의, 화소값의 공간적인 변화의 특징을 나타낸 화소를 검출할 수 있다.

그리고, 도수 검출부(603)는, 화소의 화소값과의 차분의 절대값에 한정되지 않고, 상관계수 등 다른 상관치에 따라서, 화소를 검출할 수도 있다.

또, 식(49)에 있어서, 지수 함수를 적용하고 있는 것은, 화소값의 차이에 대하여, 도수에 크게 차이를 두기 위해서이고, 다른 함수를 적용할 수도 있다.

임계값 Th는, 임의의 값으로 정할 수 있다. 예를 들면, 임계값 Th는, 30으로 정할 수 있다.

이와 같이, 도수 검출부(603)는, 선택된 영역에 속하는 화소의 화소값과의 상관값이 임계값 이상인 화소에, 상관치에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출한다.

또, 예를 들면, 도수 검출부(603)는, 식(50)에서 나타내는 연산에 의하여, 화소를 산출함으로써, 영역에 속하는, 좌표(x_i,y_j)의 도수 L_{i ,j}를 검출한다.

…(50)

좌표(x_i, y_j)에 있어서의 도수를 L_{i ,j}(1≤i≤k, (1≤j≤l)로 할 때, 좌표 x_i에 있어서의, 공간 방향 Y의 도수 L_{i ,j}의 합 q_i는, 식(51)으로 표현되고, 좌표 y_j에 있어서의, 공간 방향 X의 도수 L_{i ,j}의 합 h_j는, 식(52)으로 표현된다.

…(51)

…(52)

도수의 총계 u는, 식(53)으로 표현된다.

…(53)

도 118에 나타낸 예에 있어서, 주목 화소의 좌표의 도수 L_{5 ,3}은, 3이며, 주목 화소의 상측의 화소의 좌표의 두수 L_{5 ,4}는, 1이며, 주목 화소의 우상측의 화소의 좌표의 도수 L_{6 ,4}는, 4이며, 주목 화소에 대하여, 2화소 상측에서, 1화소 우측의 화소의 좌표의 도수 L_{6 ,5}는, 2이며, 주목 화소에 대하여, 2화소 상측에서, 2화소 우측의 화소의 좌표의 도수 L_{7 ,5}는, 3이다. 또, 주목 화소의 하측의 화소의 좌표의 화소 L_5,2는, 2이며, 주목 화소의 좌측의 화소의 좌표의 도수 L_{4 ,3}은, 1이며, 주목 화소의 좌하측의 화소의 좌표의 도수 L_{4 ,2}는, 3이며, 주목 화소에 대하여, 1화소 하측에서, 2화소 좌측의 화소의 좌표의 도수 L_{3 ,2}는, 2이며, 주목 화소에 대하여, 2화소 하측에서, 2화소 좌측의 화소의 좌표의 화소 L_{3 ,1}은, 4이다. 도 118에 나타낸 영역의 다른 화소의 좌표의 화소는, 0이며, 도 118에 있어서, 0일 때 수의 기재는 생략한다.

도 118에 나타낸 영역에 있어서, 공간 방향 Y의 도수의 합 q₁는, i가 1일 때 도수 L이 모두 0이므로, 0이며, q₂는, i가 2일 때 도수 L이 모두 0이므로, 0이다. q₃는, 도수 L_{3 , 2}이 2이며, 도수 L_{3 ,1}이 4이므로, 6이다. 마찬가지로, q₄는, 4이며, q₅는, 6이며, q₆는, 6이며, q₇는, 3이며, q₈는, 0이며, q₉는, 0이다.

도 118에 나타낸 영역에 있어서, 공간 방향 X의 도수의 합 h₁는, 도수 L_{3 ,1}이 4이므로, 4이다. h₂는, 도수 L_{3 ,2}가 2이며, 도수 L_{4 ,2}가 3이며, 도수 L_{5 ,2}가 2이므로, 7이다. 마찬가지로, h₃는, 4이며, h₄는, 5이며, h₅는, 5이다.

도 118에 나타낸 영역에 있어서, 도수의 총계 u는, 25이다.

공간 방향 Y의 도수 L_{i ,j}의 합 q_i에, 좌표 x_i를 곱한 결과를 가산한 합 T_x는, 식(54)으로 표현된다.

…(54)

공간 방향 X의 도수 L_{i ,j}의 합 h_j에, 좌표 y_j를 곱한 결과를 가산한 합 T_y는, 식(55)으로 표현된다.

…(55)

예를 들면, 도 118에 나타낸 영역에 있어서, q₁가 0이며, x₁이 -4이므로, q₁x₁는 0이며, q₂가 0이며, x₂가 -3이므로, q₂x₂는 0이다. 마찬가지로, q₃가 6이며, x₃가 -2이므로, q₃x₃는 -12이며, q₄가 4이며, x₄가 -1이므로, q₄x₄는, -4이며, q₅가 6이며, x₅가 0이므로, q₅x₅는 0이다. 마찬가지로, q₆가 6이며, x₆가 1이므로, q₆x₆는 6이며, q₇가 3이며, x₇가 2이므로, q₇x₇는 6이며, q₈가 0이며, x₈가 3이므로, q₈x₈는0이며, q₉가 0이며, x₉가 4이므로, q₉x₉는 0이다. 따라서, q₁x₁ 내지 q₉x₉의 합인 T_x는, -4이다.

예를 들면, 도 118에 나타낸 영역에 있어서, h₁이 4이며, y₁이 -2이므로, h₁y₁은 -8이며, h₂가 7이며, y₂가- 1이므로, h₂y₂는 -7이다. 마찬가지로, h₃가 4이며, y₃가 0이므로, h₃y₃는 0이며, h₄가 5이며, y₄가 1이므로, h₄y₄는, 5이며, h₅가 5이며, y₅가 2이므로, h₅y₅는 10이다. 따라서, h₁y₁ 내지 h₅y₅의 합인 T_y는, 0이다.

또, Q_i를 다음과 같이 정의한다.

…(56)

x의 변동 S_x는, 식(57)으로 표현된다.

…(57)

y의 변동 S_y는, 식(58)으로 표현된다.

…(58)

공변동 S_xy는, 식(59)으로 표현된다.

…(59)

식(60)에 나타낸 1차 회귀 직선을 구하는 것을 생각한다.

y = ax + b …(60)

경사 a 및 절편 b는, 최소 자승법에 의하여, 다음과 같이 구할 수 있다.

…(61)

…(62)

단, 정확한 회귀 직선을 구하기 위한 필요 조건은, 화소 L_{i ,j}가, 회귀 직선에 대하여, 가우스 분포 상태로, 분포하고 있는 것이다. 역으로 말하면, 도수 검출부(603)는, 화소 L_{i ,j}가 가우스 분포하도록, 영역의 화소의 화소값을 화소 L_{i ,j}로 변환할 필요가 있다.

회귀 직선 연산부(604)는, 식(61) 및 식(62)에서 나타내는 연산을 실행하여, 회귀 직선을 구한다.

또, 화소마다 데이터 정상성을 검출하기 위해서는, 절편 b는, 불필요하다. 그래서, 식(63)에 나타낸 1차 회귀 직선을 구하는 것을 생각한다.

y = ax …(63)

이 경우, 회귀 직선 연산부(604)는, 최소 자승법에 의하여, 경사 a를 식(64)에서 구할 수 있다.

…(64)

데이터 정상성을 가지는 영역을 특정하는 제1 방법에 있어서는, 식(60)에 나타낸 회귀 직선의 추정 오차가 이용된다.

y의 변동 Sy는, 식(65)에서 나타내는 연산으로 구해진다.

…(65)

추정 오차의 분산은, 변동을 사용하여, 식(66)에서 나타내는 연산으로 구해진다.

…(66)

따라서, 표준 편차는, 이하의 식에서 도출된다.

…(67)

단, 표준 편차는, 가는 선의 화상이 투영된 영역을 대상으로 하는 경우, 가는 선의 폭에 적합한 양이므로, 한 마디로, 표준 편차가 큰 것을 가지고, 데이터의 정상을 가지는 영역이 아니라고 판단할 수 없다. 그러나, 예를 들면, 클래스 분류 적응 처리가 파탄하는 것은, 데이터의 정상을 가지는 영역 중이라 하더라도, 가는 선의 폭이 좁은 부분이므로, 클래스 분류 적응 처리가 파탄할 가능성이 큰 영역을 검출하기 위하여, 표준 편차를 사용하여 검출된 영역을 나타내는 정보를 이용할 수 있다.

영역 산출부(605)는, 식(67)에서 나타내는 연산에 의하여, 표준 편차를 산출하여, 표준 편차에 따라서, 입력 화상에 있어서의, 데이터 정상성을 가지는 영역을 산출한다. 예를 들면, 영역 산출부(605)는, 표준 편차에 소정의 계수를 곱하여 거리를 구하고, 회귀 직선으로부터, 구한 거리 이내의 영역을, 데이터 정상성을 가지는 영역으로 한다. 예를 들면, 영역 산출부(605)는, 회귀 직선을 중심으로 하여, 회귀 직선으로부터 표준 편차 이내의 거리의 영역을, 데이터 정상성을 가지는 영역으로서 산출한다.

제2 방법에 있어서는, 화소의 상관 관계를 데이터의 정상을 가지는 영역의 검출에 사용한다.

상관계수 rxy는, x의 변동 Sx, y의 변동 Sy, 및 공변동 Sxy에 따라서, 식(68)에서 나타내는 연산으로 구할 수 있다.

…(68)

상관 관계에는, 플러스의 상관 관계와 마이너스의 상관 관계가 있으므로, 영역 산출부(605)는, 상관 계수 rxy의 절대값을 구하여, 상관계수 rxy의 절대값이 1에 가까울수록, 상관이 강하다고 판정한다. 보다 구체적으로는, 영역 산출부(605)는, 임계값과 상관계수 rxy의 절대값을 비교하고, 상관계수 rxy의 절대값이 임계값 이상인 영역을, 데이터 정상성을 가지는 영역으로서 검출한다.

도 119의 흐름도를 참조하여, 스텝 S101의 처리에 대응하는, 도 115로 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성의 검출의 처리를 설명한다.

스텝 S601에 있어서, 화소 취득부(602)는, 아직 주목 화소가 되지 않은 화소 중 주목 화소를 선택한다. 예를 들면, 화소 취득부(602)는, 라스터 스캔 순으로, 주목 화소를 선택한다. 스텝 S602에 있어서, 화소 취득부(602)는, 주목 화소를 중심으로 하는 영역에 포함되는 화소의 화소값을 취득하고, 취득한 화소의 화소값을 도수 검출부(603)에 공급한다. 예를 들면, 화소 취득부(602)는, 주목 화소를 중심으로 한, 9 × 5화소로 이루어지는 영역을 선택하고, 영역에 포함되는 화소의 화소값을 취득한다.

스텝 S603에 있어서, 도수 검출부(603)는, 영역에 포함되는 화소의 화소값을 도수로 변환함으로써, 도수를 검출한다. 예를 들면, 도수 검출부(603)는, 식(49)에서 나타내는 연산에 의하여, 화소값을 화소 L_{i , j}로 변환한다. 이 경우에 있어서, 화소 L_{i , j}가 가우스 분포 상태로 분포하도록, 영역의 화소의 화소값이 화소 L_{i , j}로 변환된다. 도수 검출부(603)는, 변환된 화소를 회귀 직선 연산부(604)에 공급한다.

스텝 S604에 있어서, 회귀 직선 연산부(604)는, 도수 검출부(503)로부터 공급된 화소에 따라서, 회귀 직선을 구한다. 예를 들면, 회귀 직선 연산부(604)는, 도수 검출부(603)로부터 공급된 화소에 따라서, 회귀 직선을 구한다. 보다 구체적으로는, 회귀 직선 연산부(604)는, 식(61) 및 식(62)에서 나타내는 연산을 실행하여, 회귀 직선을 구한다. 회귀 직선 연산부(604)는, 산출된 결과인 회귀 직선을 나타낸 연산 결과 파라미터를 영역 산출부(605)에 공급한다.

스텝 S605에 있어서, 영역 산출부(605)는, 회귀 직선에 대한 표준 편차를 산출한다. 예를 들면, 영역 산출부(605)는, 식(67)에 나타낸 연산에 의하여, 회귀 직선에 대한 표준 편차를 산출한다.

스텝 S606에 있어서, 영역 산출부(605)는, 표준 편차로부터, 입력 화상에 있어서의, 데이터 정상성을 가지는 영역을 특정한다. 예를 들면, 영역 산출부(605)는, 표준 편차에 소정의 계수를 곱하여 거리를 구하고, 회귀 직선으로부터, 구한 거리 이내의 영역을, 데이터 정상성을 가지는 영역으로서 특정한다.

영역 산출부(605)는, 데이터 정상성을 가지는 영역을 나타내는 데이터 정상성 정보를 출력한다.

스텝 S607에 있어서, 화소 취득부(602)는, 모든 화소의 처리가 종료되었는지 여부를 판정하고, 모든 화소의 처리가 종료되지 않은 것으로 판정된 경우, 스텝 S601로 복귀하고, 아직 주목 화소로서 선택되지 않은 화소로부터 주목 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S607에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 처리는 종료된다.

도 120의 흐름도를 참조하여, 스텝 S101의 처리에 대응하는, 도 115로 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성의 검출의 다른 처리를 설명한다. 스텝 S621 내지 스텝 S624의 처리는, 스텝 S601 내지 스텝 S604의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S625에 있어서, 영역 산출부(605)는, 회귀 직선에 대한 상관계수를 산 출한다. 예를 들면, 영역 산출부(605)는, 식(68)에서 나타내는 연산에 의하여, 회귀 직선에 대한 상관계수를 산출한다.

스텝 S626에 있어서, 영역 산출부(605)는, 상관계수로부터, 입력 화상에 있어서의, 데이터 정상성을 가지는 영역을 특정한다. 예를 들면, 영역 산출부(605)는, 미리 기억하고 있는 임계값과 상관계수의 절대값을 비교하고, 상관계수의 절대값이 임계값 이상인 영역을, 데이터 정상성을 가지는 영역으로서 특정한다.

영역 산출부(605)는, 데이터 정상성을 가지는 영역을 나타내는 데이터 정상성 정보를 출력한다.

스텝 S627의 처리는, 스텝 S607의 처리와 동일하므로, 그 설명은 생략한다.

이와 같이, 도 115에 구성을 나타낸 데이터 정상성 검출부(101)는, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의, 데이터 정상성을 가지는 영역을 검출할 수 있다.

이상과 같이, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터의 주목하고 있는 화소인 주목 화소에 대응하는 영역을 선택하고, 주목 화소의 화소값과 선택된 영역에 속하는 화소의 화소값과의 상관값이 임계값 이상인 화소에, 상관치에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출하고, 검출된 도수에 따라 회귀 직선을 검출함으로써, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의 데이터 정상성 을 가지는 영역을 검출하고, 검출된 화상 데이터의 데이터 정상성에 따라, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하도록 한 경우, 현실 세계의 사상에 대하여, 보다 정확하게, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

도 121은, 데이터 정상성 검출부(101)의 그 외의 실시예의 구성을 나타내고 있다.

도 121의 데이터 정상성 검출부(101)는, 데이터 선택부(701), 데이터 덧셈부(702), 및 정상 방향 도출부(703)로 구성된다.

데이터 선택부(701)는, 입력 화상의 각 화소를 주목 화소로서 그 주목 화소마다 대응하는 화소의 화소값 데이터를 선택하여, 데이터 덧셈부(702)에 출력한다.

데이터 덧셈부(702)는, 데이터 선택부(701)로부터 입력된 데이터에 따라, 최소 자승법에 있어서의 덧셈 연산을 행하고, 덧셈 연산 결과를 정상 방향 도출부(703)에 출력한다. 상기 데이터 덧셈부(702)에 의한 덧셈 연산이란, 후술하는 최소 자승법의 연산에 사용하는 서메이션 항에 있어서의 연산이며, 그 연산 결과는, 정상성의 각도를 검출하기 위한 화상 데이터의 특징이라 할 수 있다.

정상 방향 도출부(703)는, 데이터 덧셈부(702)로부터 입력된 덧셈 연산 결과로부터 정상 방향, 즉, 데이터 정상성이 가지는 기준축으로부터의 각도(예를 들면, 가는 선, 또는 2치 에지 등의 경사, 또는 방향)를 연산하고, 이것을 데이터 정상성 정보로서 출력한다.

다음에, 도 122를 참조하여, 데이터 정상성 검출부(101)에 있어서의 정상성(방향, 또는 각도)을 검출하는 동작의 개요에 대하여 설명한다. 그리고, 도 122, 도 123중, 도 6, 도 7에 있어서의 경우와 대응하는 부분에 대하여는, 동일한 부호를 부여하고, 이하에서는, 그 설명은, 적절히 생략한다.

도 122에서 나타낸 바와 같이, 실세계(1)의 신호(예를 들면, 화상)는, 광학계(141)(예를 들면, 렌즈, 또는 LPF(Low Pass Filter) 등으로 이루어진다)에 의하여, 센서(2)(예를 들면, CCD(Charge Coupled Device), 또는 CMOS(Complementary Metal-Oxide Semiconductor) 등)의 수광면에 결상된다. 센서(2)는, 예를 들면, CCD나 CMOS와 같은 적분 특성을 가지는 소자로 구성된다. 이와 같은 구성에 의하여, 센서(2)로부터 출력되는 데이터(3)로부터 얻어지는 화상은, 실세계(1)의 화상과는 상이한 화상이 된다(실세계(1)의 화상과는 차이가 생기게 된다).

그래서, 데이터 정상성 검출부(101)는, 도 123에 나타낸 바와 같이, 모델(705)를 사용하여, 실세계(1)를 근사식에 의해 근사적으로 기술하여, 그 근사식으로부터 데이터 정상성을 추출한다. 모델(705)는, 예를 들면, N개의 변수로 표현된다. 보다 정확하게는, 모델(705)는, 실세계(1)의 신호를 근사(기술)한다.

데이터 정상성 검출부(101)는, 모델(705)를 예측하기 위하여, 데이터(3)로부터, M개의 데이터(706)을 추출한다. 그 결과, 모델(705)는, 데이터 정상성에 구속 되게 된다.

즉, 모델(705)는, 센서(2)로 취득되었을 때, 데이터(3)에 있어서 데이터의 데이터 정상성을 생기게 하는, 정상성(소정의 차원의 방향으로 일정한 특징)을 가지는 실세계(1)의 사상(를 나타내는 정보(신호)를 근사한다.

여기서, 데이터(706)의 수 M이, 모델(705)의 변수의 수 N 이상이면, M개의 데이터(706)로부터, N개의 변수에 의해 나타내는 모델(705)를 예측할 수 있다.

또한, 데이터 정상성 검출부(101)는, 실세계(1)(의 신호)을 근사(기술)하는 모델(705)을 예측함으로써, 실세계(1)의 정보인 신호에 포함되는 데이터 정상성을, 예를 들면, 가는 선이나 2치 에지의 방향(경사, 또는 소정의 방향을 축으로했을 때의 축과 이루는 각도)으로서 도출하고, 데이터 정상성 정보로서 출력한다.

다음에, 도 124를 참조하여, 입력 화상로부터 가는 선의 방향(각도)을 데이터 정상성 정보로서 출력하는 데이터 정상성 검출부(101)에 대하여 설명한다.

데이터 선택부(701)는, 수평/수직 판정부(711), 및 데이터 취득부(712)에 의해 구성되어 있다. 수평/수직 판정부(711)는, 주목 화소와 그 주변의 화소 사이의 화소값의 차분으로부터, 입력 화상의 가는 선의 수평 방향에 대한 각도가, 수평 방향으로 가까운 가는 선인지, 수직 방향으로 가까운 가는 선인지를 판정하고, 판정 결과를 데이터 취득부(712), 및 데이터 덧셈부(702)에 각각 출력한다.

보다 상세하게는, 예를 들면, 상기와 동일한 효과가 있는 방법이라는 의미로, 다른 방법을 사용할 수도 있다. 예를 들면, 간이 16방위 검출 방법을 여기서 사용해도 된다. 도 125에서 나타낸 바와 같이, 수평/수직 판정부(711)는, 주목 화소와 그 주목 화소에 인접하는 화소 사이의 차분(화소 사이의 화소값의 차분) 중, 수평 방향의 화소 사이의 차분(액티비티)의 합(h_diff)와 수직 방향의 화소 사이의 차분(액티비티)의 합의 차분(v_diff)을 구하여, 주목 화소가 수직 방향으로 인접하는 화소 사이와의 차분의 합이 큰지, 또는 수평 방향으로 인접하는 화소 사이와의 차분의 화가 큰가를 판정한다. 여기서, 도 125에 있어서는, 각 격자가 화소를 나타내고, 도면 중의 중앙의 화소가 주목 화소이다. 또, 도면 중의 점선 화살표에서 나타낸 화소 사이의 차분이, 수평 방향의 화소 사이의 차분이며, 그 합을 h_diff에서 나타낸다. 또한, 도면 중의 실선 화살표에서 나타낸 화소 사이의 차분이, 수직 방향의 화소 사이의 차분이며, 그 합을 v_diff에서 나타낸다.

이와 같이 구해진 수평 방향의 화소 사이의 화소값의 차분의 합 h_diff와 수직 방향의 화소 사이의 화소값의 차분의 합 v_diff에 따라서, 수평/수직 판정부(711)는, h_diff-v_diff가 양이면, 수직 방향보다 수평 방향의 화소 사이의 화소값의 변화(액티비티)가 크기 때문에, 도 126에 나타낸 바와 같이, 수평 방향에 대한 각도가 θ(0도 ≤ θ ≤ 180도)에서 나타내는 경우, 45도＜ θ ≤ 135도, 즉, 수직 방향에 가까운 각도의 가는 선에 속하고 있는 화소인 것으로 판정하고, 역으로 음이면 수직 방향의 화소 사이의 화소값의 변화(액티비티)가 크기 때문에, 0도≤ θ ＜ 45도, 또는 135도 ＜ θ ≤ 180도, 즉, 수평 방향에 가까운 각도의 가는 선에 속하고 있는 화소인 것으로 판정한다(가는 선이 계속될 방향(각도)에 존재하는 화소는, 모두 가는 선을 표현하는 화소이므로, 그 화소 사이의 변화(액티비티)는 작아진다.

또, 수평/수직 판정부(711)는, 입력 화상의 각 화소를 식별하는 카운터(도시하지 않음)를 구비하고 있고, 필요에 따라 적절히 사용한다.

그리고, 도 125에 있어서는, 주목 화소를 중심으로 하여, 3화소 × 3화소의 범위에 있어서의 수직 방향과 수평 방향의 화소 사이의 화소값의 차분의 합을 비교하여, 가는 선이 수직 방향으로 가까운지, 또는 수평 방향으로 가까운인지를 판정하는 예에 대하여 설명하였으나, 그 이상의 화소수를 사용하여 동일한 방법으로 가는 선의 방향을 판정해도 되고, 예를 들면, 주목 화소를 중심으로 하여 5화소 × 5화소나, 7화소 × 7화소 등, 그 이상의 화소수의 블록에 따라 판정할 수도 있다.

데이터 취득부(712)는, 수평/수직 판정부(711)로부터 입력된 가는 선의 방향의 판정 결과에 따라, 주목 화소에 대응하는 수평 방향으로 줄선 복수개의 화소로 이루어지는 블록 단위, 또는 수직 방향으로 배열된 복수개의 화소의 블록 단위로 화소값을 판독(취득)하여, 판독한(취득한)주목 화소마다 대응하는 복수개의 화소 사이에서의, 수평/수직 방향 판정부(711)의 판정 결과의 방향으로 인접하는 화소 사이의 차분 데이터와 함께, 소정의 화소수의 블록에 포함되는 화소로부터, 화소값의 최대값과 최소값의 데이터를 데이터 덧셈부(702)에 출력한다. 그리고, 이하에 있어서는, 데이터 취득부(712)에 의하여, 주목 화소에 대응하여 취득되는 복수개의 화소의 블록을 취득 블록이라 한다(취득 블록은, 예를 들면, 후술하는 도 139에서 나타내는 복수개의 화소(각 격자) 중, 흑선의 정방형이 나타낸 화소를 주목 화소 로 할 때, 그 상하 3화소분과 좌우 1화소분의 합계 15화소 등이다.

데이터 덧셈부(702)의 차분 덧셈부(721)는, 데이터 선택부(701)로부터 입력된 차분 데이터를 검출하고, 데이터 선택부(701)의 수평/수직 판정부(711)로부터 입력되는 수평 방향, 또는 수직 방향의 판정 결과에 따라, 후술하는 최소 자승법의 해법에 의해 필요한 덧셈 처리를 실행하고, 그 덧셈 결과를 정상 방향 도출부(703)에 출력한다. 보다 구체적으로는, 복수개의 화소 중 수평/수직 판정부(711)에 의한 판정 방향과 인접하는 화소 i와 화소 i+1의 화소 사이의 화소값의 차분 데이터를 y_i로 하고, 주목 화소에 대응하는 취득 블록이 n개의 화소로 구성된 경우, 차분 덧셈부(721)는, 수평 방향, 또는 수직 방향마다 y1² + y2² + y3² + …를 덧셈 연산하고, 정상 방향 도출부(703)에 출력한다.

MaxMin 취득부(722)는, 데이터 선택부(701)로부터 입력되는 주목 화소에 대응하는 취득 블록에 포함되는 각 화소마다 설정되는 블록(이하, 다이내믹 레인지 블록이라 한다(다이내믹 레인지 블록은, 후술하는 도 139에서 나타내는 취득 블록의 화소 중, 예를 들면, 화소 pix12에 대하여, 흑색 실선으로 둘러싸여 있는, 다이내믹 레인지 블록 B1에서 나타내는, 화소 pix12의 상하 3화소분의 합계 7화소 등이다)에 포함되는 화소의 화소값의 최대값과 최소값을 취득하면, 그 차분으로부터 다이내믹 레인지 Dr_i(취득 블록 내의 i번의 화소에 대응하는, 다이내믹 레인지 블록에 포함되는 화소의 화소값의 최대값과 최소값의 차분)를 연산(검출)하여, 차분 덧셈부(723)에 출력한다.

차분 덧셈부(723)는, MaxMin 취득부(722)로부터 입력된 다이내믹 레인지 Dr_i와 데이터 선택부(701)로부터 입력된 차분 데이터를 검출하고, 검출한 다이내믹 레인지 Dr_i와 차분 데이터에 따라, 데이터 선택부(701)의 수평/수직 판정부(711)로부터 입력되는 수평 방향, 또는 수직 방향마다, 다이내믹 레인지 Dr_i와 차분 데이터 y_i를 곱한 값을 더하여, 연산 결과를 정상 방향 도출부(703)에 출력한다. 즉, 차분 덧셈부(723)가 출력하는 연산 결과는, 수평 방향, 또는 수직 방향마다 y1 × r1 ＋ y2 × Dr2 ＋ y3 × Dr3＋ …가된다.

정상 방향 도출부(703)의 정상 방향 연산부(731)는, 데이터 덧셈부(702)로부터 입력되는, 수평 방향, 또는 수직 방향마다의 덧셈 연산 결과에 따라, 가는 선의 각도(방향)를 연산하고, 연산된 각도를 정상성 정보로서 출력한다.

여기서, 가는 선의 방향(가는 선의 경사, 또는 각도)의 연산 방법에 대하여 설명한다.

도 127a에 나타낸 바와 같은 입력 화상 중의 흰색 선에 의해 둘러싸이는 부분을 확대하면, 가는 선(도면 중, 우측으로 상승하고 경사 방향의 흰색 선)은, 실제로는, 도 127b에 나타낸 바와 같이 표시되어 있다. 즉, 현실 세계에 있어서는, 도 127c에서 나타낸 바와 같이, 화상은, 가는 선의 레벨(도 127c 중 엷은 사선부)과 배경 레벨의 2종류의 레벨이 경계를 형성하고, 그 외의 레벨이 존재하지 않는 상태가 된다. 이에 비해, 센서(2)에 의해 촬상된 화상, 즉, 화소 단위로 촬상된 화상은, 도 127b에 나타낸 바와 같이, 그 적분 효과에 의해 배경 레벨과 가는 선 레벨이 공간적으로 혼합된 화소가, 그 비율(혼합비)을 일정한 패턴으로 변화하도록 세로 방향으로 배치된 복수개의 화소로 이루어지는 블록이 가는 선 방향으로 반복하여 배치된 화상이 된다. 그리고, 도 127b에 있어서, 각 정방형상의 격자는, CCD의 1화소를 나타내고, 각변의 길이를 d_CCD로 한다. 또, 격자은, 격자형으로 전부 칠해진 부분이 배경의 레벨에 해당하는 화소값의 최소값이며, 그 외의 사선형으로 전부 칠해진 부분은, 사선의 밀도가 낮아지면 화소값이 높아지게 된다(따라서, 사선이 없는 백색의 격자가 화소값의 최대값이 된다).

도 128a에 나타낸 바와 같이, 현실 세계의 배경 상에 가는 선이 존재하는 경 우, 현실 세계의 화상은, 도 128b에 나타낸 바와 같이, 가로축에 레벨, 세로축에 그 레벨에 대응하는 부분의 화상 상의 면적을 나타내면, 화상 중의 배경에 해당하는 면적과 가는 선에 해당하는 부분의 면적의, 화상 상에서의 점유 면적의 관계가 나타난다.

마찬가지로 하여, 센서(2)에 의해 촬상된 화상은, 도 129a에 나타낸 바와 같이, 배경 레벨의 화소 중에, 세로로 배열된 배경 레벨과 가는 선 레벨이 혼합된 화소가, 그 혼합비를 소정의 패턴으로 변화시키면서 세로 방향에 배치된 블록이, 가는 선의 존재하는 방향으로 반복하여 배치된 화상이 되므로, 도 129b에 나타낸 바와 같이, 배경의 레벨이 되는 영역(배경 영역)과 가는 선의 레벨의 중간의 레벨을 취하는, 배경과 가는 선이 공간적으로 혼합한 결과 생기는 화소로 이루어지는 공간 혼합 영역이 존재한다. 여기서, 도 129b에 있어서 세로축은, 화소수이지만, 1화소의 면적은(d_CCD)²이 되므로, 도 129b의 화소값의 레벨과 화소수의 관계는, 화소값의 레벨과 면적의 분포의 관계와 동일하다고 할 수 있다.

이것은, 도 130a의 실제의 화상 중, 흰색 선으로 둘러싸이는 부분(31화소 × 31화소의 화상)에 있어서도, 도 130b에 나타낸 바와 같이 동일한 결과를 얻을 수 있다. 즉, 도 130a에 나타내는 배경 부분(도 130a 중에서는, 흑색으로 보이는 부분)은, 도 130b에 나타낸 바와 같이, 화소값 레벨이 낮은(화소값이 20부근의) 화소 가 많이 분포하고 있고, 이들 변화가 적은 부분이, 배경 영역의 화상을 형성한다. 이에 비해, 도 130b의 화소값 레벨이 낮지 않은 부분, 즉, 화소값 레벨이 40부근 내지 160부근에 분포하는 화소는, 가는 선의 화상을 형성하는, 공간 혼합 영역에 속하는 화소이며, 각 화소값마다의 화소수는 적지만, 넓은 화소값의 범위에 분포하고 있다.

그런데, 현실 세계의 화상에 있어서의 배경과 가는 선의 각각의 레벨은, 예를 들면, 도 131a에 나타내는 화살표 방향(Y 좌표 방향)으로 보면, 도 131b에 나타낸 바와 같이 변화하게 된다. 즉, 화살표의 기점으로부터 가는 선까지의 배경 영역에서는, 비교적 레벨의 낮은 배경 레벨이 되고, 가는 선의 영역에서는, 레벨이 높은 가는 선의 레벨이 되고, 가는 선 영역을 지나서 다시 배경 영역으로 돌아오면, 레벨이 낮은 배경의 레벨로 된다. 결과로서, 가는 선 영역만이 높은 레벨이 되는 펄스형의 파형이 된다.

이에 비하여, 센서(2)에 의해 촬상된 화상 중, 도 131a 중, 화살표 방향에 대응하는, 도 132a의 공간 방향 X = X1상의 화소(도 132a에 있어서는, 흑색 원으로 나타나 있는 화소)의 화소값과 그 화소의 공간 방향 Y의 관계는, 도 132b에 나타낸 바와 같이 된다. 그리고, 도 132a에 있어서, 우측으로 상승하는 2개의 흰색 선의 사이가, 현실 세계의 화상 상에서의 가는 선을 나타내고 있다.

즉, 도 132b에 나타낸 바와 같이, 도 132a 중, 중앙의 화소에 대응하는 화소 가 가장 높은 화소값을 취하기 때문에, 각 화소의 화소값은, 공간 방향 Y의 위치가, 도면 중의 하부로부터 중앙의 화소로 향함에 따라 높아지고, 중앙의 위치를 지나면, 서서히 감소하게 된다. 결과로서, 도 132b에 나타낸 바와 같이, 산(mountain) 형의 파형이 형성된다. 또, 도 132a의 공간 방향 X = X0, X2에 대응하는 각 화소의 화소값의 변화는, 공간 방향 Y의 피크 위치가, 가는 선의 경사에 따라 어긋나지만, 동일한 외형이 된다.

예를 들면, 도 133a에 나타낸 바와 같은, 실제로 센서(2)에 의해 촬상된 화상의 경우에도, 도 133b에 나타낸 바와 같이, 동일한 결과를 얻을 수 있다. 즉, 도 133b는, 도 133a의 화상 중, 흰색 선으로 둘러싸이는 범위의 가는 선 부근의 화소값을 소정의 공간 방향 X(도면 중에서는, X=(561, 562, 563)마다의, 공간 방향 Y에 대응한 화소값의 변화를 나타내고 있다. 이와 같이, 실제의 센서(2)에 의해 촬상된 화상에 있어서도, X = 561에 있어서는, Y = 730부근에서, X = 562에 있어서는, Y = 705부근에서, X = 563에 있어서는, Y = 685부근에서, 각각 피크가 되는 산형의 파형이 되어 있다.

이와 같이, 현실 세계의 화상의 가는 선 부근의 레벨의 변화를 나타낸 파형은 펄스형의 파형이 되는 데 비하여, 센서(2)에 의해 촬상된 화상의 화소값의 변화를 나타낸 파형은 산형의 파형이 된다.

즉, 환언하면, 현실 세계의 화상의 레벨은, 도 131b에 나타낸 바와 같은 파 형이 되어야하지만, 센서(2)에 의해 촬상됨으로써, 촬상된 화상은, 도 132b에 나타낸 바와 같이, 그 변화에 왜곡이 생겨서, 현실 세계의 화상과는 상이한(현실 세계의 정보가 결락된)파형으로 변화하고 있다고 할 수 있다.

그래서, 이 센서(2)에 의해 촬상된 화상으로부터, 현실 세계의 화상의 정상성 정보를 취득하기 위하여, 센서(2)로부터 취득된 화상의 데이터로부터 현실 세계를 근사적으로 기술하기 위한 모델(도 123의 모델(705)에 해당함)을 설정한다. 예를 들면, 가는 선의 경우, 도 134에 나타낸 바와 같이, 현실 세계의 화상을 설정한다. 즉, 도면 중 좌측의 배경 부분의 레벨을 B1, 도면 중 우측의 배경 부분의 레벨을 B2, 가는 선 부분의 레벨을 L, 가는 선의 혼합비를α, 가는 선의 폭을 W, 가는 선의 수평 방향에 대한 각도를 θ로서, 각각 파라미터를 설정하고, 모델화하여, 현실 세계를 근사적으로 표현하는 함수를 설정하고, 각 파라미터를 구함으로써 현실 세계를 근사적으로 표현하는 근사 함수를 구하고, 그 근사 함수로부터 가는 선의 방향(경사, 또는 기준축에 대하는 각도)을 구한다.

이 때, 배경 영역은, 좌측, 및 우측은, 동일한 것으로서 근사할 수 있으므로, 도 135에 나타낸 바와 같이, 통일하여 B(= B1 = B2)로 한다. 또, 가는 선의 폭을 1화소 이상인 것으로 한다. 이와 같이 설정된 현실 세계를 센서(2)에 의해 촬상할 때, 촬상된 화상은, 도 136a에 나타낸 바와 같이 촬상된다. 그리고, 도 136a에 있어서, 우측으로 상승하는 2개의 흰색 선의 사이가, 현실 세계의 화상 상에서의 가는 선을 나타내고 있다.

즉, 현실 세계의 가는 선상의 위치에 존재하는 화소는, 가는 선의 레벨에 가장 가까운 레벨이 되고, 수직 방향(공간 방향 Y의 방향)에 대하여 가는 선으로부터 멀어짐에 따라 화소값이 감소하고, 가는 선 영역에 접하지 않는 위치에 존재하는 화소의 화소값, 즉, 배경 영역의 화소는, 배경 레벨의 화소값이 된다. 이 때, 가는 선 영역과 배경 영역에 걸치는 위치에 존재하는 화소의 화소값은, 배경 레벨의 화소값 B와 가는 선 레벨의 화소값 L이, 혼합비 α로 혼합된 화소값이 된다.

이와 같이, 촬상된 화상의 각 화소를 주목 화소로 한 경우, 데이터 취득부(712)는, 그 주목 화소에 대응하는 취득 블록의 화소를 추출하고, 그 추출한 취득 블록을 구성하는 화소마다, 다이내믹 레인지 블록을 추출하고, 그 다이내믹 레인지 블록을 구성하는 화소 중 최대값이 되는 화소값을 취하는 화소와 최소값이 되는 화소값을 취하는 화소를 추출한다. 즉, 도 136a에 나타낸 바와 같이, 취득 블록 중의 소정의 화소(도면 중의 1격자 중에 흑색 실선으로 정방형이 기술된 화소 pix4)에 대응한 다이내믹 레인지 블록의 화소(예를 들면, 도면 중의 흑색 실선으로 둘러싸인 화소 pix1 내지 7의 7화소)가 추출되었을 경우, 그 각 화소에 대응하는 현실 세계의 화상은, 도 136b에 나타낸 바와 같이 된다.

즉, 도 136b에 나타낸 바와 같이, 화소 pix1는, 좌측의 대략 1/8의 면적을 차지하는 부분이 배경 영역이 되고, 우측의 대략 7/8의 면적을 차지하는 부분이 가 는 선 영역이 된다. 화소 pix2는, 대략 전 영역이 가는 선 영역이 된다. 화소 pix3는, 좌측의 대략 7/8의 면적을 차지하는 부분이 가는 선 영역이 되고, 우측 1/8의 면적을 차지하는 부분이 가는 선 영역이 된다. 화소 pix4는, 좌측의 대략 2/3의 면적을 차지하는 부분이 가는 선 영역이 되고, 우측의 대략 1/3의 면적을 차지하는 부분이 배경 영역이 된다. 화소 pix5는, 좌측의 대략 1/3의 면적을 차지하는 부분이 가는 선 영역이 되고, 우측의 대략 2/3의 면적을 차지하는 부분이 배경 영역이 된다. 화소 pix6는, 좌측의 대략 1/8의 면적을 차지하는 부분이 가는 선 영역이 되고, 우측의 대략 7/8의 면적을 차지하는 부분이 배경 영역이 된다. 또한, 화소 pix7은, 전체가 배경 영역이 된다.

결과로서, 도 136a 및 도 136b에 나타내는 다이내믹 레인지 블록의 각 화소 pix1 내지 7의 화소값은, 가는 선 영역과 배경 영역의 면적의 비율에 대응한 혼합비로, 배경 레벨과 가는 선 레벨이 혼합된 화소값이 된다. 즉, 배경 레벨: 전경 레벨의 혼합비는, 화소 pix1가 대략 1 : 7, 화소 pix2가 대략 0 : 1, 화소 pix3가 대략 1 : 7, 화소 pix4가 대략 1 : 2, 화소 pix5가 대략 2 : 1, 화소 pix6가 대략 7 : 1, 및 화소 pix7가 대략 1 : 0이 된다.

따라서, 추출된 다이내믹 레인지 블록의 화소 pix1 내지 7의 각 화소의 화소값은, 화소 pix2가 가장 높고, 이어서 화소 pix1, 3이 계속되어, 이하 화소값이 높은 순으로 화소 pix4, 5, 6, 7이 된다. 따라서, 도 136b에 나타내는 경우, 최대값 은, 화소 pix2의 화소값이며, 최소값은, 화소 pix7의 화소값이 된다.

또, 도 137a에 나타낸 바와 같이, 가는 선의 방향은, 화소값의 최대값을 취하는 화소가 연속할 방향인 것으로 말할 수 있으므로, 이 최대값을 취하는 화소가 배치된 방향이 가는 선의 방향이 된다.

여기서, 가는 선의 방향을 나타낸 기울기 G_fl는, 공간 방향 X의 단위 거리에 대한, 공간 방향 Y로의 변화(거리의 변화)의 비이므로, 도 137a에 나타낸 바와 같은 경우, 도면 중의 공간 방향 X에의 1화소의 거리에 대한, 공간 방향 Y의 거리가 기울기 G_fl이 된다.

공간 방향 X0 내지 X2의 각각의 공간 방향 Y에 대한 화소값의 변화는, 도 137b에 나타낸 바와 같이, 각 공간 방향 X마다 소정의 간격으로 산형의 파형이 반복되게 된다. 전술한 바와 같이, 센서(2)에 의해 촬상된 화상에 있어서, 가는 선은, 최대값을 취하는 화소가 연속하는 방향이므로, 각 공간 방향 X의 최대값이 되는 공간 방향 Y의 간격 S가, 가는 선의 기울기 G_fl이 된다. 즉, 도 137c에 나타낸 바와 같이, 수평 방향으로 1화소의 거리에 대한 수직 방향의 변화량이 기울기 G_fl이 된다. 따라서, 가는 선의 기울기 G_fl(수평 방향을 기준축으로 했을 때의 각도에 대응)는, 도 137c에 나타낸 바와 같이, 그 경사에 대응하는 수평 방향을 기준축으로 한 가는 선의 각도를 θ로서 표현하는 경우, 이하의 식(69)에서 나타내는 관계가 성립하게 된다.

θ = Tan^-1(G_fl)( = Tan^-1(S))

…(69)

또, 도 135에 나타낸 바와 같은 모델을 설정하고, 또한 공간 방향 Y의 화소와 화소값의 관계가, 도 137b에 나타내는 산형의 파형이, 완전한 삼각파형(상승, 또는 하강이 직선적으로 변화하는, 이등변 삼각형의 파형)인 것으로 가정하는 경우, 도 138에 나타낸 바와 같이, 소정의 주목 화소의 공간 방향 X에 있어서의, 공간 방향 Y 상에 존재하는 각 화소의 화소값의 최대값을 Max = L(여기서는, 현실 세계의 가는 선의 레벨에 대응하는 화소값), 최소값을 Min = B(여기서는, 현실 세계의 배경의 레벨에 대응하는 화소값)로 할 때, 이하의 식(70)에서 나타내는 관계가 성립한다.

L-B = G_fl × d_y

…(70)

여기서, d_y는, 공간 방향 Y의 화소 사이의 화소값의 차분을 나타낸다.

즉, 공간 방향의 기울기 G_fl는, 클수록 가는 선이 보다 수직에 가까워지기 때문에, 산형의 파형은, 밑변이 큰 이등변 삼각형의 파형이 되고, 역으로, 경사 S 가 작을수록 밑변이 작은 이등변 삼각형의 파형이 된다. 이 결과, 기울기 G_fl이 클수록, 공간 방향 Y의 화소 사이의 화소값의 차분 d_y는 작고, 경사 S가 작을 수록, 공간 방향 Y의 화소 사이의 화소값의 차분 d_y는 커진다.

그래서, 전술한 식(70)의 관계가 성립하는 기울기 G_fl를 구함으로써, 가는 선의 기준축에 대한 각도 θ를 구하는 것이 가능해진다. 식(70)은, 기울기 G_fl을 변수로 한 1변수 함수이므로, 주목 화소에 대하여, 주변의 화소 사이의 화소값의(수직 방향의) 차분 d_y, 및 최대값, 및 최소값의 차분(L-B)을 1 그룹 이용하면 구할 수 있지만, 전술한 바와 같이, 공간 방향 Y의 화소값의 변화가 완전한 삼각파형인 것을 전제으로 한 근사식을 사용한 것이므로, 주목 화소에 대응하는 추출 블록의 각 화소에 대하여 다이내믹 레인지 블록을 추출하고, 또한 그 최대값과 최소값으로부터 다이내믹 레인지 Dr을 구하는 동시에, 추출 블록의 각 화소마다의 공간 방향 Y의 화소 사이의 화소값의 차분 d_y를 사용하여, 최소 자승법에 의해 통계적으로 구한다.

여기서, 최소 자승법에 따르는 통계적인 처리의 설명에 있어서, 먼저, 추출 블록, 및 다이내믹 레인지 블록에 대하여, 상세히 설명한다.

추출 블록은, 예를 들면, 도 139에서 나타낸 바와 같이, 주목 화소(도면 중의 흑색 실선으로 정방형이 그려져 있는 격자형의 화소)의, 공간 방향 Y에 대하여 상하 3화소분, 공간 방향 X에 대하여, 좌우 1화소분의 합계 15화소 등이라도 된다. 또, 이 경우, 추출 블록의 각 화소의 화소 사이의 화소값의 차분 d_y는, 예를 들면, 화소 pix11에 대응하는 차분이 d_y11에서 나타내는 때, 공간 방향 X = X0의 경우, 화소 pix11와 pix12, pix12와 pix13, pix13와 pix14, pix15와 pix16, pix16와 pix17의 화소 사이의 화소값의 차분 d_y11 내지 d_y16를 얻을 수 있게 된다. 이 때, 공간 방향 X = X1, X2대하여도, 마찬가지로 하여 화소 사이의 화소값의 차분을 얻을 수 있다. 결과로서, 이 경우, 화소 사이의 화소값의 차분 d_y는, 18개 존재하게 된다.

또한, 추출 블록의 각 화소에 대하여, 다이내믹 레인지 블록의 화소가, 예를 들면, 화소 pix11에 대하여는, 수평/수직 판정부(711)의 판정 결과에 따라, 지금의 경우, 수직 방향인 것으로 판정되므로, 도 139에서 나타낸 바와 같이, 화소 pix11를 포함하여, 수직 방향(공간 방향 Y)의 상하 방향으로 각각 3화소분의 다이내믹 레인지 블록 B1의 범위의 7화소인 것 로 하면, 이 다이내믹 레인지 블록 B1의 화소의 화소값의 최대값과 최소값을 구하고, 또한 이 최대값과 최소값으로부터 얻어지는 다이내믹 레인지를 다이내믹 레인지 Dr11로 한다. 마찬가지로 하여, 추출 블록의 화소 pix12에 대하여는, 도 139중의 다이내믹 레인지 블록 B2의 7화소로부터 마찬가지로 하여 다이내믹 레인지 Dr12를 구한다. 이같이 하여, 추출 블록 내의 18개의 화소간 차분 d_yi와 대응하는 다이내믹 레인지 Dri의 조합에 따라, 최소 자승 법을 이용하여 통계적으로 기울기 G_fl가 구해진다.

다음에, 1변수의 최소 자승법의 해법에 대하여 설명한다. 그리고, 여기서는, 수평/수직 판정부(711)의 판정 결과가 수직 방향에서 만난 것으로 한다.

1변수의 최소 자승법에 따르는 해법은, 예를 들면, 도 140에 나타낸 흑점에 나타낸 모든 실측값에 대한 거리를 최소로 하는, 예측치 Dri_c으로 이루어지는 직선의 기울기 G_fl를 구하는 것이다. 그래서, 전술한 식(70)에서 나타내는 관계로부터 이하와 같은 방법에 의하여, 경사 S가 구해진다.

즉, 전술한 식(70)은, 최대값과 최소값의 차분을 다이내믹 레인지 Dr 로 할 때, 이하의 식(71)에서 나타낸 바와 같이 기술된다.

Dr = G_fl × d_y

…(71)

전술한 식(71)에, 추출 블록의 각 화소 사이에 관한 차분 d_yi를 대입함으로써 다이내믹 레인지 Dri_c가 구해지게 된다. 따라서, 각 화소에 대하여, 이하의 식(72)의 관계가 만족하게 된다.

Dri_c = G_fl × d_y

…(72)

여기서, 차분 d_yi는, 각 화소 i의 공간 방향 Y의 화소 사이의 화소값의 차 분(예를 들면, 화소 i에 대하여, 상방향, 또는 하방향으로 인접한 화소와의 화소 사이의 화소값의 차분이며, Dri_c는, 화소 i에 대하여 식(70)이 성립할 때 얻어지는 다이내믹 레인지이다.

전술한 바와 같이, 여기서 말하는 최소 자승법은, 추출 블록의 화소 i의 다이내믹 레인지 Dri_c와 도 136a 및 도 136b를 참조하여 설명한 방법으로 얻어지는, 화소 i의 실측값이 되는 다이내믹 레인지 Dri_r와의 차분 제곱합 Q가, 화상 내의 모든 화소에 있어서 최소가 되는 때의 기울기 G_fl를 구하는 방법이다. 따라서, 차분 제곱합 Q는 이하의 식(73)에 의해 구해지게 된다.

…(73)

식(73)에서 나타내는 차분 제곱합 Q는, 2차 함수이므로, 변수 G_fl(기울기 G_fl)에 대하여 도 141에 나타낸 바와 같은 아래의 볼록한 곡선이 되므로, 기울기 G_fl가 최소가 되는 G_flmin이 최소 자승법의 해가 된다.

식(73)에서 나타내는 차분 제곱합 Q는, 변수 Gfl에 의해 미분되면 이하에 나타내는 식(74)에서 나타내는 Q/dGfl이 된다.

…(74)

식(74)가, 0이 되는 G_fl이 도 141에 나타낸 차분 제곱합 Q의 최소값을 취하는 G_flmin이 되므로, 식(74)가 0이 될 때의 식을 전개함으로써, 이하의 식(75)에서 기울기 G_fl이 구해지게 된다.

…(75)

전술한 식(75)는, 이른바, 1변수(기울기 G_fl)의 정규 방정식이 된다.

이같이 하여, 얻어진 기울기 G_fl을 전술한 식(69)에 대입함으로써, 가는 선의 기울기 G_fl에 대응하는, 수평 방향을 기준축으로 했을 때의 가는 선의 각도 θ를 얻을 수 있다.

그리고, 이상의 설명에 있어서는, 주목 화소가, 수평 방향을 기준축으로 했을 때의 각도 θ가 45도 ≤ θ ＜ 135도의 범위가 되는 가는 선 상의 화소인 경우 의 예에 대하여 설명하였지만, 예를 들면, 주목 화소가, 수평 방향을 기준축에 대하는 가는 선의 각도 θ가 0도 ≤ θ ＜ 45도, 또는 135도 ≤ θ ＜ 108도가 되는, 수평 방향으로 가까운 가는 선 상의 화소인 경우, 화소 i에 인접하는 화소 사이의 화소값의 차분은, 수평 방향으로 인접하는 화소 사이의 화소값의 차분 d_xi가 되고, 마찬가지로, 화소 i에 대응하는 복수개의 화소로부터 화소값의 최대값, 또는 최소값을 구할 때, 추출하는 다이내믹 레인지 블록의 화소에 대하여도, 화소 i에 대하여 수평 방향으로 존재하는 복수개의 화소 중에서 선택되게 된다. 이 경우의 처리에 대하여는, 전술한 설명에 있어서 수평 방향과 수직 방향의 관계가 바뀔 뿐이므로, 그 설명은 생략한다.

또, 동일한 방법에 의하여, 2치 에지의 경사에 대응하는 각도를 구하는 것도 가능하다.

즉, 도 142a에 나타낸 바와 같은 입력 화상 중의 흰색 선에 의해 둘러싸이는 부분을 확대하면, 화상 중의 에지 부분(도면 중, 검은 천의 기에 그려진 「+」가 흰색으로 그려진 문자 아래 부분)(이하, 이와 같이, 2치의 레벨로 이루어지는 화상 상의 에지 부분을 2치 에지라고도 한다)은, 실제로는, 도 142b에 나타낸 바와 같이 표시되어 있다. 즉, 현실 세계에 있어서는, 도 142c에 나타낸 바와 같이, 화상에서는, 제1 레벨(기의 땅의 레벨)과 제2 레벨(문자의 레벨(도 142c 중에서는 농도가 연한 사선부)의 2종류의 레벨로 이루어지는 경계가 형성되어 있고, 그 외의 레벨이 존재하지 않는다. 이에 비해, 센서(2)에 의해 촬상된 화상, 즉, 화소 단위로 촬상된 화상은, 도 142b에 나타낸 바와 같이, 제1 레벨과 제2 레벨이 공간적으로 혼합된 화소가, 그 비율(혼합비)을 일정한 패턴으로 변화하도록 세로 방향으로 배치된 복수개의 화소로 이루어지는 블록이 에지가 구성되어 있는 방향으로 반복하여 배치된 영역을 경계로 한 제1 레벨의 화소가 배치되는 부분과 제2 레벨 화소가 배치되는 부분이 존재하는 화상이 된다.

즉, 도 143a에 나타낸 바와 같이, 공간 방향 X = X0, X1, X2에 대하여, 각각의 공간 방향 Y로의 화소값의 변화는, 도 143b 중은, 각 화소값은, 도면 중의 아래로부터 2치 에지(도 143a) 중의 우측으로 상승하는 직선)의 경계 앞 부근까지는, 소정의 최소값의 화소값으로 되어 있지만, 2치 에지의 경계 앞 부근에서, 화소값이 서서히 증대하고, 에지를 넘으면 도면 중의 점 PE에 있어서, 화소값이 소정의 최대값이 된다. 보다 상세하게는, 공간 방향 X = X0의 변화는, 도 143b에 나타낸 바와 같이, 화소값이 최소값이 되는 점 PS를 지난 후, 서서히 화소값이 증대하고, 화소값이 최대값이 되는 점 P0로 된다. 이에 비해, 공간 방향 X = X1에 대응하는 각 화소의 화소값의 변화는, 공간 방향으로 어긋난 파형이 되므로, 도 143b에 나타낸 바와 같이, 화소값의 최소값으로부터 서서히 화소값이 증대하는 위치가 공간 방향 Y의 정방향으로 더 어긋난, 도면 중의 점 P1를 경유하여, 화소값의 최대값까지 증대한다. 또한, 공간 방향 X = X2에 있어서의 공간 방향 Y의 화소값의 변화는, 공 간 방향 Y의 플러스 방향으로 또한 어긋난 도면 중의 점 P2를 경유하여 감소하고, 화소값의 최대값으로부터 최소값이 된다.

이것은, 실제 화상 중의 흰색 선으로 둘러싸이는 부분에 있어서도, 동일한 경향이 나타난다. 즉, 도 144a의 실제 화상 중의 흰색 선으로 둘러싸이는 부분(31화소×31화소의 화상)에 있어서, 배경 부분(도 144a) 중, 흑색 부분)은, 도 144b에 나타낸 바와 같이, 화소값이 낮은(화소값이 90부근의) 화소수가 많이 분포하고 있고, 이들 변화가 적은 부분이, 배경 영역의 화상을 형성한다. 이에 비해, 도 144b의 화소값이 낮지 않은 부분, 즉, 화소값이 100부근 내지 200부근에 분포하는 화소는, 문자 영역과 배경 영역의 공간 혼합 영역에 속하는 화소의 분포이며, 각 화소값마다의 화소수는 적지만, 넓은 화소값의 범위에 분포하고 있다. 또한, 화소값의 높은 문자 영역(도 144a) 중, 백색 부분)의 화소가, 220으에서 나타낸 화소값의 부근에 많이 분포하고 있다.

이 결과, 도 145a에서 나타내는 에지 화상에 있어서의 소정의 공간 방향 X에 대한, 공간 방향 Y의 화소값의 변화는, 도 145b에 나타낸 바와 같이 된다.

즉, 도 145b는, 도 145a의 화상 중, 흰색 선으로 둘러싸이는 범위의 에지 부근의 화소값을 소정의 공간 방향 X(도면 중에서는, X = 658, 659, 660마다의, 공간 방향 Y에 대응한 화소값의 변화를 나타내고 있다. 이와 같이, 실제 센서(2)에 의해 촬상된 화상에 있어서도, X = 658에 있어서, 화소값은, Y = 374부근에서 증대를 개시하고(도면 중, 흑색 원으에서 나타낸 분포), X = 382부근에서 최대 화소값에 도달한다. 또, X = 659에 있어서는, 공간 방향 Y에 대하여 정방향으로 어긋나는, 화소값은, Y = 378부근에서 증대를 개시하고(도면 중, 흑색 삼각으로 나타나는 분포), X = 386부근에서 최대 화소값에 도달한다. 또한, X = 660에 있어서는, 공간 방향 Y에 대하여, 또한 정방향으로 어긋난, 화소값은, Y = 382부근에서 증대를 개시하고(도면 중, 흑색 사각으에서 나타내는 분포), X = 390부근에서 최대 화소값에 도달한다.

그래서, 상기 센서(2)에 의해 촬상된 화상으로부터, 현실 세계의 화상의 정상성 정보를 취득하기 위하여, 센서(2)로부터 취득된 화상의 데이터로부터 현실 세계를 근사적으로 기술하기 위한 모델을 설정한다. 예를 들면, 2치 에지의 경우, 도 146에 나타낸 바와 같이, 현실 세계의 화상을 설정한다. 즉, 도면 중 좌측의 배경 부분의 레벨을 V1, 도면 중 우측의 문자 부분의 레벨을 V2, 2치 에지 부근의 화소 사이의 혼합비를α, 에지의 수평 방향에 대한 각도를 θ로서 파라미터를 설정하고, 모델화하여, 현실 세계를 근사적으로 표현하는 함수를 설정하고, 각 파라미터를 구함으로써 현실 세계를 근사적으로 표현하는 함수를 구하고, 그 근사 함수로부터 에지의 방향(기울기, 또는 기준축에 대한 각도)을 구한다.

여기서, 에지의 방향을 나타낸 기울기는, 공간 방향 X의 단위 거리에 대한, 공간 방향 Y로의 변화(거리의 변화)의 비이므로, 도 147a에 나타낸 바와 같은 경우, 도면 중의 공간 방향 X로의 1화소의 거리에 대한, 공간 방향 Y의 거리가 기울기가 된다.

공간 방향 X0 내지 X2의 각각의 공간 방향 Y에 대한 화소값의 변화는, 도 147b에 나타낸 바와 같이, 각 공간 방향 X마다 소정의 간격으로 동일한 파형이 반복되게 된다. 전술한 바와 같이, 센서(2)에 의해 촬상된 화상에 있어서, 에지는, 유사한 화소값의 변화(지금의 경우, 최소값으로부터 최대값으로 변화하는, 소정의 공간 방향 Y 상의 화소값의 변화)가 공간적으로 연속하는 방향이므로, 각 공간 방향 X에 있어서, 공간 방향 Y의 화소값의 변화가 개시되는 위치, 또는 변화가 종료하는 위치가 되는 공간 방향 Y의 간격 S가, 에지의 경사 Gfe가 된다. 즉, 도 147c에 나타낸 바와 같이, 수평 방향으로 1화소의 거리에 대한 수직 방향의 변화량이 경사 Gfe가 된다.

그런데, 이 관계는, 도 137a 내지 137c를 참조하여 전술한 가는 선의 기울기 G_fl에 있어서의 관계와 동일하다. 따라서, 그 관계식에 대해서도, 동일하게 된다. 즉, 2치 에지의 경우의 관계식은, 도 148에 나타낸 것과 같이, 배경 영역의 화소값을 V1, 문자 영역의 화소값을 V2의 각각은 최소값, 및 최대값이 된다. 또, 에지 부근의 화소의 혼합비를α로 하고, 에지의 경사를 Gfe라 하면, 성립하는 관계식은, 전술한 식(69) 내지 식(71)과 마찬가지로 된다((단, G_fl은, G_fe로 바뀐다).

그러므로, 도 124에서 나타내는 데이터 정상성 검출부(101)는, 동일한 처리에 의하여, 가는 선의 경사에 대응하는 각도, 및 에지의 경사에 대응하는 각도를, 데이터 정상성 정보로서 검출할 수 있다. 그래서, 이하에 있어서는, 경사는, 가는 선의 경사와 2치 에지의 경사를 총칭하여, 경사 Gf 이라고 한다. 또, 전술한 식(73) 내지 식(75)에 있어서의 기울기 G_fl은, G_fe라도 되고, 결과로서, 기울기 Gf와 바꾸어진 것으로 생각한다.

다음에, 도 149의 흐름도를 참조하여, 데이터 정상성의 검출의 처리를 설명한다.

스텝 S701에 있어서, 수평/수직 판정부(711)는, 입력 화상의 각 화소를 식별하는 카운터 T를 초기화한다.

스텝 S702에 있어서, 수평/수직 판정부(711)는, 후단의 처리에 필요한 데이터의 추출 처리를 실행한다.

여기서, 도 150의 흐름도를 참조하여, 데이터를 추출하는 처리에 대하여 설명한다.

스텝 S711에 있어서, 데이터 선택부(701)의 수평/수직 판정부(711)는, 각 주목 화소 T에 대하여, 도 125를 참조하여 설명한 바와 같이, 수평 방향, 수직 방향, 및 대각선 방향으로 인접하는 9화소의 수평 방향으로 인접하는 화소 사이의 화소값 의 차분(액티비티)의 합 h_diff와 수직 방향으로 인접하는 화소 사이의 화소값의 차분(액티비티)의 합 v_diff를 연산하고, 또한 그 차분(h_diff-v_diff)을 구하고, 차분(h_diff-v_diff) ≥ 0의 경우, 그 주목 화소 T가, 수평 방향을 기준축으로 했을 때, 그 기준축과의 각도 θ가 45도 ≤ θ ＜ 135도가 되는, 수직 방향으로 가까운 가는 선, 또는 2치 에지 부근의 화소인 것으로 간주하여, 사용하는 추출 블록을 수직 방향으로 대응하는 판정 결과를 데이터 취득부(712), 및 데이터 덧셈부(702)에 출력한다.

한편, 차분(h_diff-v_diff)＜ 0의 경우, 수평/수직 판정부(711)는, 그 주목 화소가, 수평 방향을 기준축으로 했을 때, 그 기준축과 가는 선, 또는 2치 에지가 이루는 각도θ가 0도 ≤ θ ＜ 45도, 또는 135도 ≤ θ ＜180도가 되는, 수평 방향으로 가까운 가는 선, 또는 에지 부근의 화소인 것으로 간주하여, 사용하는 추출 블록을 수평 방향으로 대응한 것으로 하는 판정 결과를 데이터 취득부(712), 및 데이터 덧셈부(702)에 출력한다.

즉, 가는 선, 또는 2치 에지의 경사가 수직 방향으로 가깝다는 것은, 예를 들면, 도 131a에 나타낸 바와 같이, 도면 중의 화살표가 가는 선과 교차하는 부분이 증가하게 되므로, 수직 방향의 화소수를 많게 한 추출 블록을 설정한다(가로가 긴 추출 블록을 설정한다. 마찬가지로 하여, 가는 선의 경사가 수평 방향으로 가 까운 경우에 대하여도, 수평 방향의 화소수를 많게 한 추출 블록을 설정하도록 한다(가로가 긴 추출 블록을 설정한다). 이와 같이함으로써, 불필요한 계산량을 증가시키지 않고, 정확한 최대값과 최소값의 연산이 가능해진다.

스텝 S712에 있어서, 데이터 취득부(712)는, 주목 화소에 대하여 수평/수직 판정부(711)로부터 입력되는 수평 방향, 또는 수직 방향의 판정 결과에 대응한 추출 블록의 화소를 추출한다. 즉, 예를 들면, 도 139에서 나타낸 바와 같이, 주목 화소를 중심으로 하여, (수평 방향으로 3화소) × (수직 방향으로 7화소)의 합계 21화소를 추출 블록으로 하여 추출하고, 기억한다.

스텝 S713에 있어서, 데이터 취득부(712)는, 추출 블록의 각 화소에 대하여, 수평/수직 판정부(711)의 판정 결과에 대응한 방향으로 대응하는 다이내믹 레인지 블록의 화소를 추출하고, 기억한다. 즉, 도 139를 참조하여, 전술한 바와 같이, 예를 들면, 추출 블록의 화소 pix11에 대하여는, 지금의 경우, 수평/수직 판정부(711)의 판정 결과가 수직 방향이 되므로, 데이터 취득부(712)는, 수직 방향으로, 다이내믹 레인지 블록 B1을, 마찬가지로 하여, 화소 pix12는, 다이내믹 레인지 블록 B2를 추출한다. 그 외의 추출 블록에 대하여도 마찬가지로 하여 다이내믹 레인지 블록이 추출된다.

즉, 상기 데이터 추출 처리에 의하여, 소정의 주목 화소 T에 대하여, 정규 방정식의 연산에 필요한 화소의 정보가 데이터 취득부(712)에 축적되게 된다(처리 되는 영역이 선택되게 된다).

여기서, 도 149의 흐름도의 설명으로 되돌아온다.

스텝 S703에 있어서, 데이터 덧셈부(702)는, 정규 방정식(여기서는, 식(74))의 연산의 각 항에 필요한 값의 덧셈 처리를 실행한다.

여기서, 도 24의 흐름도를 참조하여, 정규 방정식의 덧셈 처리에 대하여 설명한다.

스텝 S721에 있어서, 차분 덧셈부(721)는, 데이터 선택부(701)의 수평/수직 판정부(711)의 판정 결과에 따라, 데이터 취득부(712)에 기억되어 있는 추출 블록의 화소 사이의 화소값의 차분을 구하고(검출하고), 또한 제곱하여 더한다. 즉, 수평/수직 판정부(711)의 판정 결과가 수직 방향인 경우, 차분 덧셈부(721)는, 추출 블록의 각 화소에 대하여 수직 방향으로 인접하는 화소 사이의 화소값의 차분을 구하고, 또한 제곱하여 더한다. 마찬가지로 하여, 수평/수직 판정부(711)의 판정 결과가 수평 방향인 경우, 차분 덧셈부(721)는, 추출 블록의 각 화소에 대하여 수평 방향으로 인접하는 화소 사이의 화소값의 차분을 구하여, 또한 제곱하여 더한다. 결과로서, 차분 덧셈부(721)는, 전술한 식(75)의 분모가 되는 항의 차분의 제곱합을 생성하고, 기억한다.

스텝 S722에 있어서, MaxMin 취득부(722)는, 데이터 취득부(712)에 기억된 다이내믹 레인지 블록에 포함되는 화소의 화소값의 최대값과 최소값을 취득하고, 스텝 S723에 있어서, 그 최대값과 최소값과의 차분으로부터 다이내믹 레인지를 구하고(검출하고), 차분 덧셈부(723)에 출력한다. 즉, 도 136b에서 나타나 있는, 화소 pix1 내지 7로 이루어지는 7화소의 다이내믹 레인지 블록의 경우, pix2의 화소값이 최대값으로서 검출되고, pix7의 화소가 최소값으로서 검출되어 이들 차분이 다이내믹 레인지로서 구해진다.

스텝 S724에 있어서, 차분 덧셈부(723)는, 데이터 취득부(712)에 기억되어 있는 추출 블록의 화소 사이 중에서, 데이터 선택부(701)의 수평/수직 판정부(711)의 판정 결과에 대응하는 방향에 인접하는 화소 사이의 화소값의 차분을 구하고(검출하고), MaxMin 취득부(722)로부터 입력된 다이내믹 레인지를 곱한 값을 더한다. 즉, 차분 덧셈부(721)는, 전술한 식(75)의 분자가 되는 항의 합을 생성하고, 기억한다.

여기서, 도 149의 흐름도의 설명으로 되돌아온다.

스텝 S704에 있어서, 차분 덧셈부(721)는, 추출 블록의 모든 화소의 화소 사이의 화소값의 차분(수평/수직 판정부(711)의 판정 결과에 대응하는 방향에 인접하는 화소 사이의 화소값의 차분)을 더할지의 여부를 판정하고, 예를 들면, 추출 블록의 모든 화소의 화소 사이의 차분을 더하지 않은 것으로 판정한 경우, 그 처리는, 스텝 S702로 복귀하고, 그 이후의 처리가 반복된다. 즉, 추출 블록의 모든 화소의 화소 사이의 화소값의 차분이 더해졌다고 판정되기까지, 스텝 S702 내지 S704의 처리가 반복된다.

스텝 S704에 있어서, 추출 블록의 모든 화소의 화소 사이의 화소값의 차분이 더해졌다고 판정된 경우, 스텝 S705에 있어서, 차분 덧셈부(721, 723)는, 스스로 기억하고 있는 덧셈 결과를 정상 방향 도출부(703)에 출력한다.

스텝 S706에 있어서, 정상 방향 연산부(731)는, 데이터 덧셈부(702)의 차분 덧셈부(721)로부터 입력된, 취득 블록의 각 화소 사이 중에서, 수평/수직 판정부(711)에 의해 판정된 방향으로 인접하는 화소 사이의 화소값의 차분의 제곱합, 차분 덧셈부(723)로부터 입력된, 취득 블록의 각 화소 사이 중에서, 수평/수직 판정부(711)에 의해 판정된 방향으로 인접하는 화소 사이의 화소값의 차분, 및 취득 블록의 각 화소에 대응하는 다이내믹 레인지와의 곱한 합에 따라서, 전술한 식(75)에서 나타낸 정규 방정식을 풀어서, 최소 자승법을 이용하여 통계적으로 주목 화소의 데이터 정상성 정보인, 정상성의 방향을 나타낸 각도(가는 선, 또는 2치 에지의 경사를 나타낸 각도)를 연산하고, 출력한다.

스텝 S707에 있어서, 데이터 취득부(712)는, 입력 화상의 모든 화소에 대하여 처리가 행해졌는지 아닌지를 판정하고, 예를 들면, 입력 화상의 모든 화소에 대하여 처리가 되어 있지 않은, 즉, 입력 화상의 모든 화소에 대하여, 가는 선, 또는 2치 에지의 각도의 정보를 출력하지 않은 것으로 판정한 경우, 스텝 S708에 있어서, 카운터 T를 1만큼 증가하여, 그 처리는, 스텝 S702로 되돌아온다. 즉, 입 력 화상 중 처리하려고 하는 화소가 변경되어, 입력 화상의 모든 화소에 대하여 처리가 될 때까지, 스텝 S702 내지 S708의 처리가 반복되게 된다. 상기 카운터 T에 의한 화소의 변화는, 예를 들면, 라스터 스캔 등이라도 되고, 그 이외의 규칙에 의해 차례로 변화하는 것이라도 된다.

스텝 S707에 있어서, 입력 화상의 모든 화소에 대하여 처리가 된 것으로 판정된 경우, 스텝 S709에 있어서, 데이터 취득부(712)는, 다음 입력 화상이 있는지 여부를 판정하고, 다음 입력 화상이 있다고 판정된 경우, 그 처리는, 스텝 S701로 복귀하고, 그 이후의 처리가 반복된다.

스텝 S709에 있어서, 다음 입력 화상은 없다고 판정된 경우, 그 처리는, 종료된다.

이상의 처리에 의하여, 가는 선, 또는 2치 에지의 각도가, 정상성 정보로서 검출되어, 출력된다.

이와 같이 통계적 처리에 의해 얻어지는 가는 선, 또는 에지의 경사의 각도는, 상관 관계를 사용하여 얻어지는 가는 선, 또는 2치 에지의 각도와 대략 일치한다. 즉, 도 152a에 나타낸 바와 같은 화상의 흰색 선으로 둘러싸이는 범위의 화상에 대하여, 가는 선 상의 소정의 수평 방향의 좌표 상의 공간 방향 Y로의 기울기의 변화는, 도 152b에 나타낸 바와 같이, 상관 관계을 사용한 방법에 의해 얻어지는 가는 선의 기울기를 나타낸 각도(도면 중의 흑색 원 표시)와 도 124에서 나타낸 데 이터 정상성 검출부(101)에 의해 통계 처리에 의해 얻어지는 가는 선의 각도(도면 중의 흑색 삼각 표시)는, 가는 선 근방의 공간 방향 Y의 좌표 상에서, 각각 대략 일치하고 있다. 그리고, 도 152b에 있어서는, 도면 중의 흑색 실선으로 협지된 공간 방향 Y = 680 내지 730이 가는 선 상의 좌표이다.

마찬가지로 하여, 도 153a에 나타낸 바와 같은 화상의 흰색 선으로 둘러싸이는 범위의 화상에 대하여, 2치 에지 상의 소정의 수평 방향의 좌표 상의 공간 좌표 Y로의 기울기의 변화는, 도 153b에 나타낸 바와 같이, 상관 관계를 사용한 방법에 의해 얻어지는 2치 에지의 기울기를 나타낸 각도(도면 중의 흑색 원 표시)와 도 124에서 나타낸 데이터 정상성 검출부(101)에 의해 통계 처리에 의해 얻어지는 2치 에지의 각도(도면 중의 흑색 삼각 표시)는, 가는 선 근방의 공간 방향 Y의 좌표 상에서, 각각 대략 일치하고 있다. 그리고, 도 153b에 있어서는, 공간 방향 Y = 376부근 내지 388부근이 가는 선상의 좌표이다.

결과로서, 도 124에 나타내는 데이터 정상성 검출부(101)는, 데이터 정상성으로서 가는 선, 또는 2치 에지의 각도를 구할 때, 소정의 화소로 이루어지는 블록에 의한 상관 관계를 사용하는 방법과 상이하고, 각 화소의 주변의 정보를 사용하여, 통계적으로 가는 선, 또는 2치 에지의 경사를 나타낸 각도(여기서는, 수평 방향을 기준축으로 한 각도)를 구할 수 있으므로, 상관 관계를 사용한 방법으로 보여지도록, 소정 각도의 범위에 따라서 전환되지 않기 때문에, 모든 가는 선, 또는 2 치 에지의 경사의 각도를 동일한 처리에 의해 구할 수 있어서, 처리를 간단하게 할 수 있다.

또, 이상에 있어서는, 데이터 정상성 검출부(101)는, 가는 선, 또는 2치 에지의 소정의 기준축과 이루는 각도를 정상성 정보로서 출력하는 예에 대하여 설명하였지만, 후단의 처리에 따라서는, 경사를 그대로 출력함으로써, 처리 효율이 향상되는 것도 생각할 수 있다. 그와 같은 경우, 데이터 정상성 검출부(101)의 정상 방향 도출부(703)의 정상 방향 연산부(731)는, 최소 자승법에 의해 구해진 가는 선, 또는 2치 에지의 경사 Gf를, 그대로 정상성 정보로서 출력할 수도 있다.

또한, 이상에 있어서는, 식(75)에 있어서, 다이내믹 레인지 Dri_r은, 추출 블록의 각 화소에 대하여 구해지는 것으로 연산하였지만, 상기 다이내믹 레인지는, 다이내믹 레인지 블록을 충분히 크게 설정함으로써, 즉, 많은 주목 화소에 대하여, 그 주변이 많은 화소를 사용하도록 설정함으로써, 화상 중의 화소의 화소값의 최대값과 최소값이, 항상 선택되게 된다. 따라서, 다이내믹 레인지 Dri_r은, 추출 블록의 각 화소에 대하여 연산하지 않고, 추출 블록 중, 또는 화상 데이터 내의 화소의 최대값과 최소값으로부터 얻어지는 다이내믹 레인지를 고정값으로서 연산할 수도 있다.

즉, 이하의 식(76)과 같이, 화소 사이의 화소값의 차분만을 더함으로써, 가는 선의 각도 θ(기울기 Gf)를 구할 수도 있다. 이와 같이, 다이내믹 레인지를 고 정함으로써, 연산 처리를 보다 간소화할 수 있고, 고속으로 처리할 수 있다.

…(76)

다음에, 도 154를 참조하여, 데이터 정상성 정보로서, 각 화소의 혼합비를 검출하는 데이터 정상성 검출부(101)에 대하여 설명한다.

그리고, 도 154의 데이터 정상성 검출부(101)에 있어서는, 도 124의 데이터 정상성 검출부(101)에 있어서의 경우와 대응하는 부분에 대하여는, 동일한 부호를 부여하고, 이하에서는, 그 설명은, 적절히 생략한다.

도 154의 데이터 정상성 검출부(101)에 있어서, 도 124의 데이터 정상성 검출부(101)과 상이한 점은, 데이터 덧셈부(702), 및 정상성 방향 도출부(703)를 대신하여, 데이터 덧셈부(751), 및 혼합비 도출부(761)가 형성되어 있는 점이다.

데이터 덧셈부(751)의 MaxMin 취득부(752)는, 도 124에 있어서의 MaxMin 취득부(722)와 동일한 처리를 행하는 것이지만, 다이내믹 레인지 블록의 각 화소의 화소값의 최대값과 최소값을 취득하고, 최대값과 최소값의 차분(다이내믹 레인지)을 구하고, 덧셈부(753, 755)에 출력하는 동시에, 최대값을 차분 연산부(754)에 출력한다.

덧셈부(753)는, MaxMin 취득부로부터 입력된 값을 제곱하여, 추출 블록의 모든 화소에 대하여 더하며, 그 합을 구하여, 혼합비 도출부(761)에 출력한다.

차분 연산부(754)는, 데이터 취득부(712)의 취득 블록의 각 화소에 대하여, 대응하는 다이내믹 레인지 블록의 최대값과의 차분을 구하여, 덧셈부(755)에 출력한다.

덧셈부(755)는, 취득 블록의 각 화소에 대하여, MaxMin 취득부(752)로부터 입력된 최대값과 최소값의 차분(다이내믹 레인지)과, 차분 연산부(754)로부터 입력된 취득 블록의 각 화소의 화소값과 대응하는 다이내믹 레인지 블록의 최대값과의 차분을 곱하여, 그 합을 구하고, 혼합비 도출부(761)에 출력한다.

혼합비 도출부(761)의 혼합비 산출부(762)는, 데이터 덧셈부의 덧셈부(753, 755)의 각각으로부로터 입력된, 값에 따라, 주목 화소의 혼합비를 최소 자승법에 의해 통계적으로 구하고, 데이터 정상성 정보로서 출력한다.

다음에, 혼합비의 도출 방법에 대하여 설명한다.

도 155a에 나타낸 바와 같이, 화상 상에 가는 선이 존재하는 경우, 센서(2)에 의해 촬상된 화상은, 도 155b에 나타낸 바와 같은 화상이 된다. 상기 화상에 대하여, 도 155b의 공간 방향 X = X1 상의 흑색 실선으로 둘러싸인 화소에 대하여 주목한다. 그리고, 도 155b의 흰색 선에 끼인 범위는, 현실 세계에 있어서의 가는 선 영역에 대응하는 위치를 나타낸다. 이 화소의 화소값 M은, 배경 영역의 레벨에 대응하는 화소값 B와 가는 선 영역의 레벨에 대응하는 화소값 L의 중간 색이 될 것이며, 보다 상세하게는, 상기 화소값 PS는, 배경 영역과 가는 선 영역의 면적 비로, 각각의 레벨이 혼합되어 있을 것이다. 따라서, 상기 화소값 PS는, 이하의 식(77)에 의해 표현된다.

P_S =α × B + (1- α) × L

…(77)

여기서, α는 혼합비이며, 보다 구체적으로는, 주목되지 않은 화소 중, 배경 영역이 차지하는 면적의 비율을 나타낸 것이다. 따라서, (1-α)는, 가는 선 영역 이 차지하는 면적의 비율을 나타내고 있다고 할 수 있다. 그리고, 배경 영역의 화소는, 배경에 존재하는 오브젝트의 성분이라고도 생각할 수 있으므로, 배경 오브젝트 성분이라고도 할 수 있다. 또, 가는 선 영역의 화소는, 배경 오브젝트에 대하여 전경 오브젝트의 성분인 것으로 생각되므로, 전경 오브젝트 성분이라고도 할 수 있다.

이 결과, 혼합비 α는, 식(77)을 전개함으로써, 이하의 식(78)로 표현할 수 있게 된다.

α= (P_S-L)/(B-L)

…(78)

또한, 지금의 경우, 화소값은, 제1 화소값(화소값 B)의 영역과 제2 화소값(화소값 L)의 영역을 걸치는 위치에 존재하는 것이 전제이므로, 화소값 L은, 화소값의 최대값 Max로 치환할 수 있고, 또한 화소값 B는, 화소값의 최소값과 치환할 수 있다. 따라서, 혼합비 α는, 이하의 식(79)에서도 표현할 수 있다.

α= (P_S-Max)/(Min-Max)

…(79)

이상의 결과, 혼합비 α는, 주목 화소에 대한 다이내믹 레인지 블록의 다이내믹 레인지(Min-Max)에 해당)와, 주목 화소와, 다이내믹 레인지 블록 내의 화소의 최대값과의 차분으로부터 구할 수 있지만, 보다 정밀도를 향상시키기 위하여, 여기서는, 최소 자승법에 의해 통계적으로 혼합비 α를 구한다.

즉, 전술한 식(79)는, 전개하면 이하의 식 (80)이 된다.

(PS-Max) = α × (Min-Max)

…(80)

상기 식(80)은, 전술한 식(71)와 마찬가지로 1변수의 최소 자승법의 식이 된다. 즉, 식(71)에 있어서는, 최소 자승법에 의해 경사 Gf가 구해졌지만, 여기서는, 혼합비 α가 구해지게 된다. 따라서, 이하의 식(81)에서 나타내는 정규 방정식을 풀면, 혼합비 α는, 통계적으로 구해진다.

…(81)

여기서, i는, 추출 블록의 각 화소를 식별하는 것이다. 따라서, 식(81)에 있어서는, 추출 블록의 화소수는 n이다.

다음에, 도 156의 흐름도를 참조하여, 혼합비를 데이터 정상성으로 했을 때의 데이터 정상성 검출의 처리에 대하여 설명한다.

스텝 S731에 있어서, 수평/수직 판정부(711)는, 입력 화상의 각 화소를 식별하는 카운터 U를 초기화한다.

스텝 S732에 있어서, 수평/수직 판정부(711)는, 후단의 처리에 필요한 데이터의 추출 처리를 실행한다. 그리고, 스텝 S732의 처리는, 도 150의 흐름도를 참조하여 설명한 처리와 동일하므로, 그 설명은 생략한다.

스텝 S733에 있어서, 데이터 덧셈부(751)는, 정규 방정식(여기서는, 식(81))의 연산의 각 항에 필요한 값의 덧셈 처리를 실행한다.

여기서, 도 157의 흐름도를 참조하여, 정규 방정식의 덧셈 처리에 대하여 설명한다.

스텝 S751에 있어서, MaxMin 취득부(752)는, 데이터 취득부(712)에 기억된 다이내믹 레인지 블록에 포함되는 화소의 화소값의 최대값과 최소값을 취득하고, 그 중에서, 최소값을 차분 연산부(754)에 출력한다.

스텝 S752에 있어서, MaxMin 취득부(752)는, 그 최대값과 최소값의 차분으로부터 다이내믹 레인지를 구하고, 차분 덧셈 포함부(753, 755)에 출력한다.

스텝 S753에 있어서, 덧셈부(753)는, MaxMin 취득부(752)로부터 입력된 다이내믹 레인지(Max-Min)를 제곱하여, 더한다. 즉, 덧셈부(753)는, 전술한 식(81)의 분모에 해당하는 값을 더함으로써 생성한다.

스텝 S754에 있어서, 차분 연산부(754)는, MaxMin 취득부(752)로부터 입력된 다이내믹 레인지 블록의 최대값과, 추출 블록에 있어서의 지금 현재 처리 중의 화소의 화소값의 차분을 구하여, 덧셈부(755)에 출력한다.

스텝 S755에 있어서, 덧셈부(755)는, MaxMin 취득부(752)로부터 입력된 다이내믹 레인지와 차분 연산부(754)로부터 입력된, 지금 현재 처리하고 있는 화소의 화소값과, 다이내믹 레인지 블록의 화소 중 최대값이 되는 값의 차분을 곱하여, 더한다. 즉, 덧셈부(755)는, 전술한 식(81)의 분자의 항에 해당하는 값을 생성한다.

이상과 같이, 데이터 덧셈부(751)은, 덧셈 처리에 의하여, 전술한 식(81)의 각항의 연산을 실행한다.

여기서, 도 156의 흐름도의 설명으로 되돌아온다.

스텝 S734에 있어서, 차분 덧셈부(721)는, 추출 블록의 모든 화소에 대하여, 덧셈이 종료되었는지 여부를 판정하고, 예를 들면, 추출 블록의 모든 화소에 대한 덧셈 처리가 종료하지 않은 것으로 판정한 경우, 그 처리는, 스텝 S732로 복귀하고, 그 이후의 처리가 반복된다. 즉, 추출 블록의 모든 화소에 대하여, 덧셈 처리가 종료되었다고 판정될 때까지, 스텝 S732 내지 S734의 처리가 반복된다.

스텝 S734에 있어서, 추출 블록의 모든 화소에 대하여 덧셈이 종료되었다고 판정된 경우, 스텝 S735에 있어서, 덧셈부(753, 755)는, 스스로 기억하고 있는 덧셈 결과를 혼합비 도출부(761)에 출력한다.

스텝 S736에 있어서, 혼합비 도출부(761)의 혼합비 산출부(762)는, 데이터 덧셈부(751)의 덧셈부(753, 755)로부터 입력된, 다이내믹 레인지의 제곱합, 및 추출 블록의 각 화소의 화소값과, 다이내믹 레인지 블록의 최대값의 차분과, 다이내믹 레인지를 곱한 합에 따라서, 전술한 식(81)에서 나타낸 정규 방정식을 풀어서, 최소 자승법을 이용하여 통계적으로 주목 화소의 데이터 정상성 정보인, 혼합비를 연산하고, 출력한다.

스텝 S737에 있어서, 데이터 취득부(712)는, 입력 화상의 모든 화소에 대하여 처리되었는지 여부를 판정하고, 예를 들면, 입력 화상의 모든 화소에 대하여 처리되지 않은, 즉, 입력 화상의 모든 화소에 대하여, 혼합비를 출력하지 않은 것으로 판정한 경우, 스텝 S738에 있어서, 카운터 U를 1만큼 증가시켜, 그 처리는, 스텝 S732로 되돌아온다.

즉, 입력 화상 중 처리하려고 하는 화소가 변경되어, 입력 화상의 모든 화소에 대하여 혼합비가 연산 되기까지, 스텝 S732내지 S738의 처리가 반복된다. 상기 카운터 U에 의한 화소의 변화는, 예를 들면, 라스터 스캔 등으로 할 수도 있고, 그 이외의 규칙에 의해 차례로 변화해 나갈 수도 있다.

스텝 37에 있어서, 입력 화상의 모든 화소에 대하여 처리된 것으로 판정된 경우, 스텝 S739에 있어서, 데이터 취득부(712)는, 다음 입력 화상이 있는지 여부를 판정하고, 다음 입력 화상이 있다고 판정된 경우, 그 처리는, 스텝 S731로 복귀하고, 그 이후의 처리가 반복된다.

스텝 S739에 있어서, 다음 입력 화상은 없다고 판정된 경우, 그 처리는, 종료된다.

이상의 처리에 의하여, 각 화소의 혼합비가, 정상성 정보로서 검출되어, 출력된다.

이상의 방법에 의하여, 예를 들면, 도 158a에서 나타내는 화상 중, 흰색 선 내의 가는 선의 화상에 대하여, 소정의 공간 방향 X = 561, 562, 563 상의 혼합비의 변화가, 도 158b에 나타나 있다. 도 158b에 나타낸 바와 같이, 수평 방향으로 연속하는 공간 방향 Y의 혼합비의 변화는, 각각, 공간 방향 X = 563의 경우, 혼합비는, 공간 방향 Y= 660부근에서 상승하고, Y = 685부근에서 피크가 되어, Y = 710까지 감소한다. 또, 공간 방향 X = 562의 경우, 혼합비는, 공간 방향 Y = 680부근 에서 상승하고, Y = 705부근에서 피크가 되어, Y = 735까지 감소한다. 또한, 공간 방향 X = 561의 경우, 혼합비는, 공간 방향 Y = 705부근에서 상승하고, Y = 725부근에서 피크가 되어, Y = 755까지 감소한다.

이와 같이, 도 158b에 나타낸 바와 같이, 연속하는 공간 방향 X의 각각의 혼합비의 변화는, 혼합비에 의해 변화하는 화소값의 변화(도 133b에 나타낸 화소값의 변화)와 동일한 변화이며, 주기적으로 연속되어 있으므로, 가는 선 근방의 화소의 혼합비가 정확하게 표현되어 있는 것을 알 수 있다.

또, 마찬가지로 하여, 도 159a에서 나타내는 화상 중의 흰색 선 내의 2치 에지의 화상에 대하여, 소정의 공간 방향 X = 658, 659, 660상의 혼합비의 변화가, 도 159b에 나타나 있다. 도 159b에 나타낸 바와 같이, 수평 방향으로 연속하는 공간 방향 Y의 혼합비의 변화는, 각각, 공간 방향 X = 660의 경우, 혼합비는, 공간 방향 Y = 750부근에서 상승하고, Y = 765부근에서 피크가 된다. 또, 공간 방향 X = 659의 경우, 혼합비는, 공간 방향 Y = 760부근에서 상승하고, Y = 775부근에서 피크가 된다. 또한, 공간 방향 X = 658의 경우, 혼합비는, 공간 방향 Y = 770부근에서 상승하고, Y = 785부근에서 피크가 된다.

이와 같이, 도 159b에 나타낸 바와 같이, 2치 에지의 혼합비의 변화는, 혼합비에 의해 변화하는 화소값의 변화(도 145b에 나타낸 화소값의 변화)와 대략 동일하며, 주기적으로 연속되어 있으므로, 2치 에지 근방의 화소값의 혼합비가 정확하 게 표현되어 있는 것을 알 수 있다.

이상에 의하면, 최소 자승법에 의해 통계적으로 데이터 정상성 정보로서, 각 화소의 혼합비를 구할 수 있다. 또한, 상기 혼합비에 따라, 각 화소의 화소값을 직접 생성하는 것이 가능해진다.

또, 혼합비의 변화가, 정상성을 가지는 것이며, 또한 상기 혼합비의 변화가 직선에 근사하면, 이하의 식(82)에서 나타낸 바와 같은 관계가 성립한다.

α= m × y ＋ n

…(82)

여기서, m은, 혼합비 α가, 공간 방향 Y에 대하여 변화할 때의 기울기를 나타내고, 또, n은, 혼합비 α가 직선적으로 변화할 때의 절편에 해당한다.

즉, 도 160에 나타낸 바와 같이, 혼합비를 나타낸 직선은, 배경 영역의 레벨에 해당하는 화소값 B와, 가는 선의 레벨에 해당하는 레벨 L의 경계를 나타낸 직선이며, 이 경우, 공간 방향 Y에 대하여 단위 거리만큼 진행되었을 때의 혼합비의 변화량이 기울기 m이 된다.

그래서, 식(82)을, 식(77)에 대입하면 이하의 식(83)이 도출된다.

M = (m × y ＋n) × B + (1- (m × y ＋n)) × L

…(83)

또한, 이 식(83)을 전개하면, 이하의 식(84)이 도출된다.

M-L = (y × B - y × L) × m + (B - L) × n

…(84)

식(84)에 있어서는, 제1항의 m이, 혼합비의 공간 방향의 기울기를 나타내고, 제2 항이 혼합비의 절편을 나타낸 항이다. 따라서, 전술한 식(84)의 m, n을 2변수의 최소 자승법을 이용하여, 정규 방정식을 생성하고, 구할 수도 있다.

그러나, 혼합비 α의 기울기 m은, 전술한 가는 선이나 2치 에지의 기울기(전술한 경사 Gf) 자체이므로, 미리, 전술한 방법을 이용하여, 가는 선, 또는 2치 에지의 기울기 Gf를 구한 후, 그 기울기를 사용하여, 식(84)에 대입함으로써, 절편의 항에 대한 1변수의 함수로 하고, 전술한 방법과 마찬가지로, 1변수의 최소 자승법에 의해 구할 수도 있다.

이상의 예에 있어서는, 공간 방향의 가는 선, 또는 2치 에지의 각도(기울기), 또는 혼합비를 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부(101)에 대하여 설명하였지만, 예를 들면, 공간 내의 축(공간 방향 X, Y) 중 어느 하나를, 시간 방향(프레임 방향 T)의 축에 치환함으로써 얻어지는, 공간 방향에서의 각도로 대응하는 것이라도 된다. 즉, 공간 내의 축(공간 방향 X, Y) 중 어느 하나를, 시간 방향(프레임 방향 T)의 축에 치환함으로써 얻어지는 각도에 대응하는 것이란, 물체의 움직임 벡터(움직임 벡터의 방향)이다.

보다 구체적으로는, 도 161a에 나타낸 바와 같이, 물체가, 시간이 진행되는 것에 따라 공간 방향 Y에 대하여, 도면 중의 상방향으로 이동하고 있는 경우, 도면 중의 가는 선에 해당하는 부분(도 131a와 비교)에는, 물체의 이동 궤적이 나타나게 된다. 따라서, 시간 방향 T의 가는 선에 있어서의 경사는, 도 161a에 있어서는, 물체가 움직이는 방향(물체의 움직임을 나타낸 각도)을 나타낸 것(움직임 벡터의 방향과 동일한 값의 것)이다. 따라서, 현실 세계에 있어서, 도 161a 중의 화살표에서 나타내는, 소정의 시각에 있어서의 프레임에서는, 도 161b에 나타낸 바와 같이 물체의 궤적이 되는 부분이, 물체의 (색의) 레벨이 되고, 그 이외의 부분이, 배경의 레벨이 된 펄스형의 파형이 된다.

이와 같이, 센서(2)에 의해 움직이는 물체를 촬상한 경우, 도 162a에 나타낸 바와 같이, 시각 T1 내지 T3에 있어서의 프레임의 각 화소의 화소값의 분포는, 도 162b에 나타낸 바와 같이, 공간 방향 Y에 대하여, 각각 산형의 파형을 취한다. 이 관계는, 도 132a, 도 132b를 참조하여, 설명한 공간 방향 X, Y에 있어서의 관계와 동일한 것으로 생각할 수 있다. 따라서, 프레임 방향 T에 대하여, 물체에 움직임이 있는 경우, 전술한 가는 선의 경사, 또는 2치 에지의 각도(기울기)의 정보와 동일한 방법에 의하여, 물체의 움직임 벡터의 방향을 데이터 정상성 정보로서 구하는 것도 가능하다. 그리고, 도 162b에 있어서는, 프레임 방향 T(시간 방향 T)에 대하여, 각 격자는, 1프레임의 화상을 구성하는 셔터 시간이 된다.

또, 마찬가지로 하여, 도 163a에 나타낸 바와 같이, 프레임 방향 T마다, 공 간 방향 Y에 대하여 물체에 움직임이 있는 경우, 도 163b에 나타낸 바와 같이, 소정의 시각 T1에 해당하는 프레임 상에서 공간 방향 Y를 향하여, 물체의 움직임에 대응하여, 각 화소값을 얻을 수 있게 된다. 이 때, 예를 들면, 도 163b에 있어서의, 흑색 실선으로 둘러싸인 화소의 화소값은, 도 163c에 나타낸 바와 같이, 물체의 움직임에 대응하여, 배경의 레벨과 물체의 레벨이 프레임 방향으로 혼합비 β로 혼합되고 있는 화소값이다.

이 관계는, 도 155a, 도 155b, 도 155c를 참조하여 설명한 관계와 같다.

또한, 도 164에서 나타낸 바와 같이, 물체의 레벨 O와 배경의 레벨 B는, 프레임 방향(시간 방향)의 혼합비 β에 의해 직선 근사할 수도 있다. 이 관계는, 도 160을 참조하여 설명한 공간 방향의 혼합비의 직선 근사와 마찬가지의 관계이다.

따라서, 공간 방향의 혼합비 α와 동일한 방법에 의하여, 시간(프레임) 방향의 혼합비 β를 데이터 정상성 정보로서 구하는 것도 가능하다.

또, 프레임 방향, 또는 공간 방향 중 어느 하나의 1차원을 선택하여, 정상성의 각도, 또는 모션 벡터의 방향을 구하도록 해도 되고, 마찬가지로 하여 혼합비 α, β를 선택적으로 구할 수도 있다.

이상에 의하면, 현실 세계의 광신호를 투영하고, 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터 내의 주목 화소에 대응하는 영역을 선택하고, 선택한 영역 내의, 결락된 현실 세계의 광신호의 정상성에 대응하는 화상 데이터 정 상성의 기준축에 대한 각도를 검출하기 위한 특징을 검출하고, 검출한 특징에 따라 통계적으로 각도를 검출하고, 검출한 화상 데이터 정상성의 기준축에 대한 각도에 따라, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하도록 했으므로, 정상성의 각도(움직임 벡터의 방향), 또는 (시공간의) 혼합비를 구하는 것이 가능해진다.

다음에, 도 165를 참조하여, 데이터 정상성 정보로서 데이터 정상성 정보를 사용한 처리를 해야할 영역의 정보를 출력하는, 데이터 정상성 정보 검출부(101)에 대하여 설명한다.

각도 검출부(801)는, 입력된 화상 중, 정상성을 가지는 영역, 즉, 화상 상에 있어서 정상성을 가지는 가는 선이나 2치 에지를 구성하는 부분의 공간 방향의 각도를 검출하고, 검출한 각도를 실세계 추정부(802)에 출력한다. 그리고, 상기 각도 검출부(801)는, 도 3에 있어서의 데이터 정상성 검출부(101)와 동일한 것이다.

실세계 추정부(802)는, 각도 검출부(801)로부터 입력된 데이터 정상성의 방향을 나타낸 각도와, 입력 화상의 정보에 따라 실세계를 추정한다. 즉, 실세계 추정부(802)는, 입력된 각도와 입력 화상의 각 화소로부터 실세계의 광신호의 강도 분포를 근사적으로 기술하는 근사 함수의 계수를 구하여, 구한 계수를 실세계의 추정 결과로서 오차 연산부(803)에 출력한다. 그리고, 상기 실세계 추정부(802)는, 도 3에 있어서의 실세계 추정부(102)와 동일한 것이다.

오차 연산부(803)는, 실세계 추정부(802)로부터 입력된 계수에 따라, 근사적으로 기술된 현실 세계의 광의 강도 분포를 나타낸 근사 함수를 구성하고, 또한 상기 근사 함수에 따라 각 화소 위치에 해당하는 광의 강도를 적분하여, 근사 함수에 의해 추정된 광의 강도 분포로부터 각 화소의 화소값을 생성하고, 실제로 입력된 화소값과의 차분을 오차로서 비교부(804)에 출력한다.

비교부(804)는, 각 화소에 대하여 오차 연산부(803)로부터 입력된 오차와, 미리 설정된 임계값을 비교함으로써, 정상성 정보를 사용한 처리를 실시하는 화소가 존재하는 처리 영역과, 비처리 영역을 식별하여, 상기 정상성 정보를 사용한 처리를 하는 처리 영역과, 비처리 영역의 식별이 이루어진 영역 정보를 정상성 정보로서 출력한다.

다음에, 도 166의 흐름도를 참조하여, 도 165의 데이터 정상성 검출부(101)에 의한, 정상성의 검출의 처리에 대하여 설명한다.

스텝 S801에 있어서, 각도 검출부(801)는, 입력된 화상을 취득하고, 스텝 S802에 있어서, 정상성의 방향을 나타내는 각도를 검출한다. 보다 상세하게는, 각도 검출부(801)는, 예를 들면, 수평 방향을 기준축으로 했을 때의 가는 선, 또는 2치 에지가 가지는 정상성의 방향을 나타낸 각도를 검출하여, 실세계 추정부(802)에 출력한다.

스텝 S803에 있어서, 실세계 추정부(802)는, 각도 검출부(801)로부터 입력되 는 각도의 정보와, 입력 화상의 정보에 따라, 현실 세계를 표현하는 함수 F(x)를 근사적으로 기술하는, 다항식으로 이루어지는 근사 함수 f(x)의 계수를 구하여, 오차 연산부(803)에 출력한다. 즉, 현실 세계를 표현하는 근사 함수 f(x)는, 이하의 식(85)와 같은 1차원 다항식으로 나타낸다.

…(85)

여기서, w_i는, 다항식의 계수이며, 실세계 추정부(802)는, 상기 계수 w_i를 구하여, 오차 연산부(803)에 출력한다. 또한, 각도 검출부(801)로부터 입력되는 각도로로부터, 정상성의 방향으로부터 경사를 구할 수 있으므로(G_f = tan^-1θ, G_f: 기울기, θ: 각도), 상기 기울기 G_f의 구속 조건을 대입함으로써, 전술한 식(85)의 식은, 이하의 식(86)에서 나타낸 바와 같이, 2차원 다항식으로 기술할 수 있다.

…(86)

즉, 전술한 식(86)은, 식(85)에서 기술되는 1차원의 근사 함수 f(x)가, 공간 방향 Y로 평행이동함으로써 생기는 어긋난 폭을 시프트량 α(= -dy/Gf: dy는, 공간 방향 Y로의 변화량)로 표현함으로써 얻어지는 2차원 함수 f(x, y)를 기술하고 있다.

따라서, 실세계 추정부(802)는, 입력 화상과, 정상성 방향의 각도의 정보를 사용하여, 전술한 식(86)의 각 계수 w_i를 풀어서, 구해진 계수 w_i를 오차 연산부(803)에 출력한다.

여기서, 도 166의 흐름도의 설명으로 되돌아온다.

스텝 S804에 있어서, 오차 연산부(803)는, 실세계 추정부(802)로부터 입력된 계수로부터, 각 화소에 대하여 재적분을 실행한다. 즉, 오차 연산부(803)은, 실세계 추정부(802)로부터 입력된 계수로부터, 전술한 식(86)을, 이하의 식(87)에서 나타낸 바와 같이, 각 화소에 대하여 적분한다.

…(87)

여기서, S_S는, 도 167에 나타낸 공간 방향의 적분 결과를 나타낸다. 또, 그 적분 범위는, 도 167에 나타낸 바와 같이, 공간 방향 X에 대하여는, x_m 내지 x_{m +B}이며, 공간 방향 Y에 대하여는, y_m 내지 y_{m +A}이다. 또, 도 167에 있어서는, 각 격자(정방형)는, 1화소를 나타내는 것으로 하고, 공간 방향 X, Y에 대하여, 모두 1인 것으로 한다.

따라서, 오차 연산부(803)는, 도 168에 나타낸 바와 같이, 근사 함수 f(x, y)에서 나타내는 곡면의 공간 방향 X에 대하여 x_m 내지 x_{m +1}, 및 공간 방향 Y에 대하 여 y_m 내지 y_{m +1}(A = B = 1)이며, 이하의 식(88)에서 나타낸 바와 같은 적분 연산을 각 화소에 대하여 실행하고, 실세계를 근사적으로 표현하는 근사 함수를 공간적으로 적분함으로써 얻어지는 각 화소의 화소값 P_S를 연산한다.

…(88)

즉, 이 처리에 의하여, 오차 연산부(803)는, 말하자면 일종의 화소값 생성부로서 기능하고, 근사 함수로부터 화소값을 생성한다.

스텝 S805에 있어서, 오차 연산부(803)는, 전술한 식(88)에서 나타낸 바와 같은 적분에 의해 얻어진 화소값과 입력 화상의 화소값의 차분을 연산하고, 이것을 오차로서 비교부(804)에 출력한다. 즉, 오차 연산부(803)는, 전술한 도 167, 도 168에 나타낸 적분 범위(공간 방향 X에 대하여 x_m내지 x_{m +1}, 및 공간 방향 Y에 대하여 y_m내지 y_{m +1})에 대응하는 화소의 화소값과, 화소에 대응하는 범위의 적분 결과에 의해 얻어진 화소값의 차분을, 오차로서 구하여 비교부(804)에 출력한다.

스텝 S806에 있어서, 비교부(804)는, 오차 연산부(803)로부터 입력되는 적분에 의해 얻어진 화소값과 입력 화상의 화소값의 오차의 절대값이, 소정의 임계값 이하인지 여부를 판정한다.

스텝 S806에 있어서, 오차가 소정의 임계값 이하로 판정된 경우, 스텝 S807에 있어서, 비교부(804)는, 적분에 의해 얻어진 화소값이, 입력 화상의 화소의 화소값과 가까운 값이 얻어지므로, 그 화소의 화소값을 연산할 때에 설정한 근사 함수가, 현실 세계의 광신호의 광의 강도 분포와 충분히 근사하고 있는 것으로 간주하여, 지금 처리한 화소의 영역은, 정상성 정보에 따른 근사 함수에 의한 처리를 행하는 처리 영역으로서 인식한다. 보다 상세하게는, 비교부(804)는, 도시하지 않는 메모리에 지금 처리한 화소가, 이후의 처리 영역의 화소인 것을 기억시킨다.

한편, 스텝 S806에 있어서, 오차가 소정의 임계값 이하가 아닌 것으로 판정된 경우, 스텝 S808에 있어서, 비교부(804)는, 적분에 의해 얻어진 화소값이, 실제의 화소값과 많은 차이가 나는 값이 되어 있으므로, 그 화소의 화소값을 연산할 때 설정한 근사 함수가, 현실 세계의 광신호의 광의 강도 분포와 충분히 근사하지 않 은 것으로 간주하여, 지금 처리한 화소의 영역은, 후단에 있어서 정상성 정보에 따른 근사 함수에 의한 처리를 행하지 않는 비처리 영역으로서 인식한다. 보다 상세하게는, 비교부(804)는, 도시하지 않는 메모리에 지금 처리한 화소의 영역이, 이후의 비처리 영역인 것을 기억시킨다.

스텝 S809에 있어서, 비교부(804)는, 모든 화소에서 처리가 실행되었는지 여부를 판정하고, 모든 화소에서 처리가 실행되어 있지 않은 것으로 판정된 경우, 그 처리는, 스텝 S802로 복귀하고, 그 이후의 처리가 반복된다. 즉, 모든 화소에 대하여, 적분에 의한 화소값과, 입력된 화소값의 비교가 이루어져서, 처리 영역인지 여부의 판정 처리가 완료될 때까지, 스텝 S802 내지 S809의 처리가 반복된다.

스텝 S809에 있어서, 모든 화소에 대하여, 재적분에 의한 화소값과, 입력된 화소값의 비교가 이루어져서, 처리 영역인지 여부의 판정 처리가 완료한 것으로 판정된 경우, 스텝 S810에 있어서, 비교부(804)는, 도시하지 않는 메모리에 기억되어 있는, 입력 화상에 대하여, 후단의 처리에 있어서 공간 방향의 정상성 정보에 따른 처리가 되는 처리 영역과, 공간 방향의 정상성 정보에 따른 처리가 되지 않는 비처리 영역이 식별된 영역 정보를, 정상성 정보로서 출력한다.

이상의 처리에 의하면, 정상성 정보에 따라 연산된 근사 함수 f(x)를 사용하여 각 화소에 대응하는 범위의 적분 결과에 따라 얻어진 화소값과, 실제 입력 화상 중의 화소값과의 오차에 따라, 근사 함수의 표현의 확실성에 대한 평가가 영역마다(화소마다) 이루어지게 되고, 오차가 작은 영역, 즉, 근사 함수에 따른 적분에 의해 얻어지는 화소값이 확실하게 화소가 존재할 것 같은 영역만을 처리 영역으로 하고, 그 이외의 영역을 비처리 영역으로 하게 되므로, 확실한 것 같은 영역에만 공간 방향의 정상성 정보에 따른 처리를 실시할 수 있어서, 필요한 처리 만 실행시키도록 할 수 있으므로, 처리 속도를 향상 시킬 수 있고, 또한 확실한 것 같은 영역에만 처리를 실행시킬 수 있으므로, 이 처리에 의한 화질 열화를 억제할 수 있다.

다음에, 도 169를 참조하여, 데이터 정상성 정보로서 데이터 정상성 정보를 사용한 처리를 행하는 화소가 존재하는 영역 정보를 출력하는, 데이터 정상성 정보 검출부(101)의 그 외의 실시예에 대하여 설명한다.

움직임 검출 부(821)는, 입력된 화상 중, 정상성을 가지는 영역, 즉, 화상 상에 있어서 프레임 방향으로 정상성을 가지는 움직임(움직임 벡터의 방향: V_f)을 검출하고, 검출한 움직임을 실세계 추정부(822)에 출력한다. 그리고, 상기 움직임 검출 부(821)는, 도 3에 있어서의 데이터 정상성 검출부(101)와 동일한 것이다.

실세계 추정부(822)는, 움직임 검출 부(821)로부터 입력된 데이터 정상성의 움직임과 입력 화상의 정보에 따라 실세계를 추정한다. 즉, 실세계 추정부(822)는, 입력된 움직임과, 입력 화상의 각 화소로부터 프레임 방향(시간 방향)의 실세 계의 광신호의 강도 분포를 근사적으로 기술하는 근사 함수의 계수를 구하여, 구한 계수를 실세계의 추정 결과로서 오차 연산부(823)에 출력한다. 그리고, 상기 실세계 추정부(822)는, 도 3에 있어서의 실세계 추정부(102)와 동일한 것이다.

오차 연산부(823)는, 실세계 추정부(822)로부터 입력된 계수에 따라, 근사적으로 기술된 프레임 방향의 현실 세계의 광의 강도 분포를 나타낸 근사 함수를 구성하고, 또한 상기 근사 함수로부터 프레임마다 각 화소 의 위치에 해당하는 광의 강도를 적분하여, 근사 함수에 의해 추정된 광의 강도 분포로부터 각 화소의 화소값을 생성하고, 실제로 입력된 화소값과의 차분을 오차로서 비교부(824)에 출력한다.

비교부(824)는, 각 화소에 대하여 오차 연산부(823)로부터 입력된 오차와, 미리 설정된 임계값을 비교함으로써, 정상성 정보를 사용한 처리를 실시하는 화소가 존재하는 처리 영역과, 비처리 영역을 식별하여, 상기 정상성 정보를 사용한 처리를 하는 처리 영역과 비처리 영역의 식별이 이루어진 영역 정보를 정상성 정보로서 출력한다.

다음에, 도 170의 흐름도를 참조하여, 도 169의 데이터 정상성 검출부(101)에 의한, 정상성 검출 처리에 대하여 설명한다.

스텝 S821에 있어서, 움직임 검출 부(801)는, 입력된 화상을 취득하고, 스텝 S822에 있어서, 정상성을 나타내는 움직임을 검출한다. 보다 상세하게는, 움직임 검출 부(801)은, 예를 들면, 입력 화상 중, 움직이는 물체의 움직임(움직임 벡터의 방향: V_f)을 검출하여, 실세계 추정부(822)에 출력한다.

스텝 S823에 있어서, 실세계 추정부(822)는, 움직임 검출부(821)로부터 입력되는 움직임의 정보와, 입력 화상의 정보에 따라, 현실 세계를 표현하는 프레임 방향의 함수 F(t)를 근사적으로 기술하는, 다항식으로 이루어지는 함수 f(t)의 계수를 구하여, 오차 연산부(823)에 출력한다. 즉, 현실 세계를 표현하는 함수 f(t)는, 이하의 식(89)와 같은 1차원 다항식으로 나타낸다.

…(89)

여기서, w_i는, 다항식의 계수이며, 실세계 추정부(822)는, 상기 계수 w_i를 구하여, 오차 연산부(823)에 출력한다. 또한, 움직임 검출부(821)로부터 입력되는 움직임에 의하여, 정상성의 움직임을 구할 수 있으므로(V_f = tan^-1θ, V_f: 움직임 벡터의 프레임 방향의 기울기, θv: 움직임 벡터의 프레임 방향의 각도), 이 기울기의 구속 조건을 대입함으로써, 전술한 식(89)의 식은, 이하의 식(90)에서 나타낸 바와 같이, 2차원 다항식으로 기술할 수 있다.

…(90)

즉, 전술한 식(90)은, 식(89)에서 기술되는 1차원 근사 함수 f(t)가, 공간 방향 Y로 평행이동함으로써 생기는 어긋난 폭을, 시프트량αt(=-dy/V_f: dy는, 공간 방향 Y로의 변화량)로 표현함으로써 얻어지는 2차원 함수 f(t, y)를 기술하고 있다.

따라서, 실세계 추정부(822)는, 입력 화상과, 정상성의 움직임 정보를 사용하여, 전술한 식(90)의 각 계수 w_i를 풀어서, 구해진 계수 w_i를 오차 연산부(823)에 출력한다.

여기서, 도 170의 흐름도의 설명으로 되돌아온다.

스텝 S824에 있어서, 오차 연산부(823)는, 실세계 추정부(822)로부터 입력된 계수로부터, 각 화소에 대하여 프레임 방향으로 적분을 실행한다. 즉, 오차 연산부(823)는, 실세계 추정부(822)로부터 입력된 계수로부터, 전술한 식(90)을, 이하의 식(91)에서 나타낸 바와 같이, 각 화소에 대하여 적분한다.

…(91)

여기서, S_t는, 도 171에 나타낸 프레임 방향의 적분 결과를 나타낸다. 또, 그 적분 범위는, 도 171에 나타낸 바와 같이, 프레임 방향 T에 대해서는, T_m 내지 T_{m +B}이며, 공간 방향 Y에 대하여는, y_m 내지 y_{m +A}이다. 또, 도 171에 있어서는, 각 격자(정방형)는, 1화소를 나타내는 것으로 하고, 프레임 방향 T, 및 공간 방향 Y가 모두 1인 것으로 한다. 여기서, 프레임 방향 T에 대하여 1이라 함은, 1프레임 분의 셔터 시간을 1로 한다는 의미이다.

따라서, 오차 연산부(823)는, 도 172에서 나타낸 바와 같이, 근사 함수 f(t, y)에 의해 나타내는 곡면의 공간 방향 T에 대하여 T_m 내지 T_{m +1}, 및 공간 방향 Y에 대하여 y_m 내지 y_{m +1}(A = B = 1)이며, 이하의 식(92)에서 나타낸 바와 같은 적분 연산을 각 화소에 대하여 실행하고, 실세계를 근사적으로 표현하는 함수로부터 얻어지는 각 화소의 화소값 P_t를 연산한다.

…(92)

즉, 이 처리에 의하여, 오차 연산부(823)는, 말하자면 일종의 화소값 생성부로서 기능하고, 근사 함수로부터 화소값을 생성한다.

스텝 S825에 있어서, 오차 연산부(803)는, 전술한 식(92)에서 나타낸 바와 같은 적분에 의해 얻어진 화소값과, 입력 화상의 화소값의 차분을 연산하고, 이것을 오차로서 비교부(824)에 출력한다. 즉, 오차 연산부(823)는, 전술한 도 171, 도 172에서 나타낸 적분 범위(공간 방향 T에 대하여 T_m 내지 T_{m +1}, 및 공간 방향 Y에 대하여 y_m 내지 y_{m +1})에 대응하는 화소의 화소값과, 화소에 대응하는 범위의 적분 결과에 의해 얻어진 화소값의 차분을, 오차로서 구하여 비교부(824)에 출력한다.

스텝 S826에 있어서, 비교부(824)는, 오차 연산부(823)로부터 입력된 적분에 의해 얻어진 화소값과 입력 화상의 화소값의 오차의 절대값이, 소정의 임계값 이하인지 여부를 판정한다.

스텝 S826에 있어서, 오차가 소정의 임계값 이하로 판정된 경우, 스텝 S827에 있어서, 비교부(824)는, 적분에 의해 얻어진 화소값이, 입력 화상의 화소값에 가까운 값이 얻어지므로, 그 화소의 화소값을 연산할 때 설정한 근사 함수가, 실세계의 광신호의 광의 강도 분포와 충분히 근사되어 있는 것으로 간주하여, 지금 처리한 화소의 영역은, 처리 영역으로서 인식한다. 보다 상세하게는, 비교부(824)는, 도시하지 않는 메모리에 지금 처리한 화소가, 이후의 처리 영역의 화소인 것을 기억시킨다.

한편, 스텝 S826에 있어서, 오차가 소정의 임계값 이하가 아니라고 판정된 경우, 스텝 S828에 있어서, 비교부(824)는, 적분에 의해 얻어진 화소값이, 실제의 화소값과 많이 차이가 나는 값이 되어 있으므로, 그 화소의 화소값을 연산할 때 설정한 근사 함수가, 현실 세계의 광의 강도 분포와 충분히 근사 하지 않은 것으로 간주하고, 지금 처리한 화소의 영역은, 후단에 있어서 정상성 정보에 따른 근사 함수에 의한 처리를 행하지 않는 비처리 영역으로서 인식한다. 보다 상세하게는, 비교부(824)는, 도시하지 않는 메모리에 지금 처리한 화소의 영역이, 이후의 비처리 영역인 것을 기억시킨다.

스텝 S829에 있어서, 비교부(824)는, 모든 화소에서 처리가 실행되었는지 여부를 판정하고, 모든 화소에서 처리가 실행되어 있지 않은 것으로 판정된 경우, 그 처리는, 스텝 S822로 복귀하고, 그 이후의 처리가 반복된다. 즉, 모든 화소에 대하여, 적분에 의한 화소값과, 입력된 화소값의 비교가 이루어져 처리 영역인지 여부의 판정 처리가 완료될 때까지, 스텝 S822 내지 S829의 처리가 반복된다.

스텝 S829에 있어서, 모든 화소에 대하여, 재적분에 의한 화소값과, 입력된 화소값의 비교가 이루어져서, 처리 영역인지 여부의 판정 처리가 완료되었다고 판정된 경우, 스텝 S830에 있어서, 비교부(824)는, 도시하지 않는 메모리에 기억되어 있는, 입력 화상에 대하여, 후단의 처리에 있어서 프레임 방향의 정상성 정보에 따른 처리가 되는 처리 영역과, 프레임 방향의 정상성 정보에 따른 처리가 되지 않는 비처리 영역이 식별된 영역 정보를, 정상성 정보로서 출력한다.

이상의 처리에 의하면, 정상성 정보에 따라 연산된 근사 함수 f(t)를 사용한 각 화소에 대응하는 범위의 적분 결과에 따라 얻어진 화소값과, 실제의 입력 화상 중의 화소값의 오차에 따라, 근사 함수의 표현의 확실성의 평가가 영역마다(화소마다) 이루어지고, 오차가 작은 영역, 즉, 근사 함수에 따라 적분에 의해 얻어지는 화소값이 확실한 것 같은 화소가 존재하는 영역만을 처리 영역으로 하고, 그 이외의 영역을 비처리 영역으로 하게 되므로, 확실한 것 같은 영역에만 프레임 방향의 정상성 정보에 따른 처리를 실시할 수 있어서, 필요한 처리 만을 실행시키도록 할 수 있으므로, 처리 속도를 향상 시킬 수 있고, 또한 확실한 것 같은 영역에만 처리를 실행시키는 것이 가능하므로, 이 처리에 의한 화질 열화를 억제할 수 있다.

도 165 및 도 169의 데이터 정상성 정보 검출부(101)의 구성을 조합시켜, 시공간 방향 중, 어느 하나의 1차원을 선택하여, 선택적으로 영역 정보를 출력시키도록 해도 된다.

이상에 의하면, 각각 시공간 적분 효과를 가지는, 센서의 복수개의 검출 소자에 의해 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 화상 데이터에 있어서의 데이터 정상성을 검출하고, 검출한 정상성에 대응하여, 화상 데이터의 시공간 방향 중 적어도 1차원 방향의 위치에 대응하는 각 화소의 화소값이 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여 현실 세계의 광신호에 대응하는 함수를 근사함으로써, 현실 세계의 광신호에 대응하는 함수를 추정하고, 추정한 함수를 적어도 1차원 방향의 각 화소에 대응하는 단위로 적분함으로써 취득되는 화소값과, 각 화소의 화소값의 차분값을 검출하고, 차분값에 따라 함수를 선택적으로 출력하도록 했으므로, 근사 함수에 따라 적분에 의해 얻어지는 화소값이 확실한 것 같은 화소가 존재하는 영역만을 처리 영역으로 하고, 그 이외의 영역을 비처리 영역으로 할 수 있어서, 확실한 것 같은 영역에만 프레임 방향의 정상성 정보에 따른 처리를 실시할 수 있어서, 필요한 처리 만을 실행시키 도록 할 수 있으므로, 처리 속도를 향상 시킬 수 있고, 또한 확실한 것 같은 영역에만 처리를 실행시킬 수 있으므로, 이 처리에 의한 화질 열화를 억제할 수 있다.

다음에, 도 173을 참조하여, 정상성의 각도를 보다 고정밀도로, 또한 보다 고속으로 구해지도록 한 정상성 검출부(101)에 대하여 설명한다.

간이식 각도 검출부(901)는, 실질적으로, 도 95를 참조하여 설명한 정상성 검출부(101)와 동일한 것이며, 주목 화소에 대응하는 블록과, 주변 화소의 블록을 비교하여, 주목 화소에 대응하는 블록과 주변 화소의 블록의 상관 관계가 가장 강한 주목 화소와 주변 화소의 각도의 범위를 검출하는, 이른바, 블록 매칭에 의하여, 예를 들면, 16방위(예를 들면, 데이터 정상성의 각도를 θ로 하는 경우, 후술하는 도 178에 있어서의0≤θ＜ 18.4, 18.4≤θ＜ 26.05, 26.05≤θ＜ 33.7, 33.7≤θ＜45, 45≤θ＜ 56.3, 56.3≤θ＜ 63.95, 63.95≤θ＜ 71.6, 71.6≤θ＜90, 90≤θ＜ 108.4, 108.4≤θ＜ 116.05, 116.05≤θ＜ 123.7, 123.7≤θ＜135, 135≤θ＜ 146.3, 146.3≤θ＜ 153.95, 153.95≤θ＜ 161.6, 및 161.6≤θ＜180의 16개의 범위) 중 어느 하나의 범위 인가를 간이적으로 정상성의 각도를 검출하여, 각각의 중앙 값(또는, 그 범위 내의 대표치)를 판정부(902)에 출력한다.

판정부(902)는, 간이식 각도 검출부(901)로부터 입력된, 간이적으로 요구되고 있는 정상성의 각도의 정보에 따라, 입력된 각도가, 수직 방향에 가까운 각도인 가, 또는 수평 방향에 가까운 각도인가, 그 이외인지를 판정하고, 판정 결과에 따라, 스위치(903)를 제어하여, 단자(903a, 903b) 중 어느 하나에 접속하여, 입력 화상을 회귀식 각도 검출부(904), 또는 경사식 각도 검출부(905)에 공급하고, 또한 스위치(903)를 단자(903a)에 접속할 때, 간이식 각도 검출부(901)로부터 입력된 간이식으로 구해진 각도의 정보를 회귀식 각도 검출부(904)에 공급한다.

보다 상세하게는, 판정부(902)는, 간이식 각도 검출부(901)로부터 공급된 정상성의 방향이, 수평 방향, 또는 수직 방향에 가까운 각도인 것으로 판정한 경우(예를 들면, 간이식 각도 검출부(901)로부터 입력된 정상성의 각도θ가, 0≤θ≤ 18.4, 71.6≤θ≤108.4, 또는 161.6≤θ≤180의 경우), 스위치(903)를 단자(903a)에 접속하여 입력 화상을 회귀식 각도 검출부(904)에 공급하고, 그 이외의 경우, 즉, 정상성의 방향이 45도, 또는 135도에 가까운 경우, 스위치(903)를 단자(903b)에 접속하여 입력 화상을 경사식 각도 검출부(905)에 공급한다.

회귀식 각도 검출부(904)는, 실질적으로는, 전술한 도 107을 참조하여 설명한 정상성 검출부(101)와 유사한 구성이며, 회귀적으로(주목 화소의 화소값과 주목 화소에 대응하는 영역에 속하는 화소의 화소값의 상관값이 임계값 이상인 화소에, 상관치에 따른 도수가 설정되는 것에 의하여, 영역에 속하는 화소의 화소가 검출되어 검출된 화소에 따라서 검출된 회귀 직선에 의해 구해지는) 데이터 정상성의 각도 검출을 실행하고, 검출한 각도를 데이터 정상성 정보로서 실세계 추정부(102)에 출력한다. 단, 회귀식 각도 검출부(904)는, 각도의 검출에 있어서, 판정부(902)로부터 공급된 각도에 따라서, 주목 화소에 대응하는 범위(스코프)를 한정하여, 화소를 설정하고, 회귀적으로 각도를 검출한다.

경사식 각도 검출부(905)는, 실질적으로는, 도 124를 참조하여 설명한 정상성 검출부(101)와 동일한 것이며, 주목 화소에 대응하는 블록(전술한 다이내믹 레인지 블록)의 화소값의 최대값과 최소값의 차분, 즉, 다이내믹 레인지에 따라(실질적으로, 다이내믹 레인지 블록의 화소값의 최대값과 최소값의 경사에 따라), 데이터 정상성의 각도를 검출하고, 데이터 정상성 정보로서 실세계 추정부(102)에 출력한다.

다음에, 도 174를 참조하여, 간이식 각도 검출부(901)의 구성에 대하여 설명하지만, 실질적으로, 간이식 각도 검출부(901)는, 도 95를 참조하여 설명한 데이터 정상성 검출부(101)의 구성과 동일한 것이다. 따라서, 도 174의 간이식 각도 검출부(901)의 데이터 선택부(911), 오차 추정부(912), 정상 방향 도출부(913), 화소 선택부(921-1 내지 921-L), 추정 오차 산출부(922-1 내지 922-L), 및 최소 오차 각도 선택부(923)는, 도 95의 데이터 정상성 검출부(101)의 데이터 선택부(441), 오차 추정부(442), 정상 방향 도출부(443), 화소 선택부(461-1 내지 461-L), 추정 오차 산출부(462-1 내지 462-L), 및 최소 오차 각도 선택부(443)와 동일한 것이므로, 개개의 부위의 설명은 생략한다.

다음에, 도 175를 참조하여, 회귀식 각도 검출부(904)의 구성에 대하여 설명하지만, 실질적으로, 회귀식 각도 검출부(904)는, 도 107을 참조하여 설명한 데이터 정상성 검출부(101)의 구성과 유사한 것이다. 따라서, 도 175의 회귀식 각도 검출부(904)의 프레임 메모리(931), 화소 취득부(932), 회귀 직선 연산부(934), 및 각도 산출부(935)는, 도 107의 데이터 정상성 검출부(101)의 프레임 메모리(501), 화소 취득부(502), 회귀 직선 연산부(504), 및 각도 산출부(505)와 동일하므로, 그 설명은 생략한다.

여기서, 회귀식 각도 검출부(904)에 있어서, 도 107의 데이터 정상성 검출부(101)와 상이한 것은, 화소 검출부(933)이다. 화소 검출부(933)는, 도 107의 도수 검출부(503)와 동일한 기능을 가지는 것이지만, 스코프 메모리(933a)를 더 구비하고 있고, 판정부(902)로부터 입력된 간이식 각도 검출부(901)에 의해 검출된 데이터 정상성의 각도에 따라서, 스코프 메모리(933a)에 기억되어 있는 주목 화소에 대한 도수를 검출하는 각도의 범위의 정보에 따라, 화소를 검출하여, 검출한 화소의 정보를 회귀 직선 연산부(934)에 공급한다.

다음에, 도 176을 참조하여, 경사식 각도 검출부(905)의 구성에 대하여 설명하지만, 실질적으로, 경사식 각도 검출부(905)는, 도 124를 참조하여 설명한 데이터 정상성 검출부(101)의 구성과 동일한 것이다. 따라서, 도 176의 데이터 선택부(941), 데이터 덧셈부(942), 정상 방향 도출부(943), 수평/수직 판정부(951), 데이터 취득부(952), 차분 덧셈 포함부(961), MaxMin 취득부(962), 차분 덧셈 포함부(963), 및 정상 방향 연산부(971)는, 도 124의 데이터 정상성 검출부(101)의 데이터 선택부(701), 데이터 덧셈부(702), 정상 방향 도출부(703), 수평/수직 판정부(711), 데이터 취득부(712), 차분 덧셈부(721), MaxMin 취득부(722), 차분 덧셈부(723), 및 정상 방향 연산부(731)와 동일한 것이므로, 그 설명은 생략한다.

다음에, 도 177의 흐름도를 참조하여, 데이터 정상성 검출 처리에 대하여 설명한다.

스텝 S901에 있어서, 간이식 각도 검출부(901)는, 간이식 각도 검출 처리를 실행하고, 검출한 각도의 정보를 판정부(902)에 출력한다. 그리고, 간이식 각도 검출 처리는, 도 103의 흐름도를 참조하여 설명한 데이터 정상성의 검출의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S902에 있어서, 판정부(902)는, 간이식 각도 검출부(901)로부터 입력된 데이터 정상성의 각도의 정보에 따라, 데이터 정상성의 각도가, 수평 방향, 또는 수직 방향에 가까운 각도인지 여부를 판정한다. 보다 상세하게는, 판정부(902)는, 예를 들면, 데이터 정상성의 각도가, 간이식 각도 검출부(901)로부터 입력된 정상성의 각도θ가, 0≤θ≤ 18.4, 71.6≤θ≤ 108.4, 또는 161.6≤θ≤180의 범위인 경우, 데이터 정상성의 각도가, 수평 방향, 또는 수직 방향에 가까운 각도인 것으 로 판정한다.

스텝 S902에 있어서, 데이터 정상성의 각도가 수평 방향, 또는 수직 방향의 각도인 것으로 판정된 경우, 그 처리는, 스텝 S903으로 진행한다.

스텝 S903에 있어서, 판정부(902)는, 스위치(903)를 제어하여, 단자(903a)에 접속하는 동시에, 간이식 각도 검출부(901)로부터 공급된 데이터 정상성의 각도의 정보를 회귀식 각도 검출부(904)에 공급한다. 이 처리에 의하여, 회귀식 각도 검출부(904)에, 입력 화상과 간이식 각도 검출부(901)에 의해 검출된 데이터 정상성의 각도의 정보가 공급된다.

스텝 S904에 있어서, 회귀식 각도 검출부(904)는, 회귀식 각도 검출 처리를 실행하고, 검출된 각도를 데이터 정상성 정보로서 실세계 추정부(102)에 출력한다. 그리고, 회귀식 각도 검출 처리에 대하여는, 도 179를 참조하여 후술한다.

스텝 S905에 있어서, 간이식 각도 검출부(901)의 데이터 선택부(911)는, 모든 화소에 대하여 처리가 종료되었는지 여부를 판정하고, 모든 화소에 대하여 그 처리가 종료 되지 않은 것으로 판정한 경우, 그 처리는, 스텝 S901로 복귀하고, 그 이후의 처리가 반복된다.

한편, 스텝 S902에 있어서, 데이터 정상성의 방향이, 수평 방향, 또는 수직 방향이 아닌 것으로 판정된 경우, 그 처리는, 스텝 S906으로 진행한다.

스텝 S906에 있어서, 판정부(902)는, 스위치(903)를 제어하여, 단자(903b)에 접속한다. 이 처리에 의하여, 경사식 각도 검출부(905)에, 입력 화상이 공급된다.

스텝 S907에 있어서, 경사식 각도 검출부(905)는, 경사식 각도 검출 처리를 실행하여, 각도를 검출하고, 정상성 정보로서 실세계 추정부(102)에 출력한다. 그리고, 경사식 각도 검출 처리는, 실질적으로, 도 149의 흐름도를 참조하여 설명한 데이터 정상성의 검출의 처리와 동일한 처리이므로, 그 설명은, 생략한다.

즉, 스텝 S902의 처리에 의하여, 간이식 각도 검출부(901)에 의해 검출된 데이터 정상성의 각도가, 도 178에 나타낸 바와 같이 도면 중 중심의 주목 화소를 중심으로 한 경우, 사선이 없는 백색의 영역에 대응하는 각도(18.4＜θ＜71.6, 또는 108.4＜θ＜161.6)일 때, 스텝 S903의 처리에 의하여, 판정부(902)가 스위치(903)를 제어하여, 단자(903a)에 접속함으로써, 스텝 S904의 처리에 의하여, 회귀식 각도 검출부(904)가, 상관 관계를 이용하여 회귀 직선을 구하고, 상기 회귀 직선으로부터 데이터 정상성의 각도를 검출한다.

또, 스텝 S902의 처리에 의하여, 간이식 각도 검출부(901)에 의해 검출된 데이터 정상성의 각도가, 도 178에 나타낸 바와 같이 도면 중 중심의 주목 화소를 중심으로 한 경우, 사선부의 영역에 대응하는 각도(0≤θ≤18.4, 71.6≤θ≤108.4, 또는 161.6≤θ≤180)일 때, 스텝 S906의 처리에 의하여, 판정부(902)가 스위치(903)를 제어하여, 단자(903b)에 접속함으로써, 스텝 S907의 처리에 의하여, 구배식 각도 검출부(905)가, 데이터 정상성의 각도를 검출한다.

회귀식 각도 검출부(904)는, 주목 화소에 대응하는 블록과 주변 화소에 대응한 블록 사이의 상관 관계를 비교하고, 가장 상관 관계가 강한 블록에 대응하는 화소와의 각도로부터 데이터 정상성의 각도를 구하고 있으므로, 데이터 정상성의 각도가, 수평 방향, 또는 수직 방향에 가까운 경우, 가장 상관 관계가 높은 블록이 되는 화소는, 주목 화소로부터 멀리 떨어진 위치가 되어 버릴 가능성이 있으므로, 정확하게 상관 관계가 강한 주변 화소의 블록을 검출하는데는, 탐색하는 영역을 넓게 하지 않으면 안되어서, 처리가 방대한 것으로 되어 버릴 우려가 있고, 또한 탐색 영역을 넓히면, 본래 정상성이 존재하지 않는 위치에, 우연히, 주목 화소에 대응하는 블록과 상관 관계가 강한 블록이 검출되어 버릴 우려가 있어서, 각도의 검출 정밀도가 저하되어 버릴 우려가 있다.

이에 비하여, 구배식 각도 검출부(905)는, 데이터 정상성의 각도가, 수평 방향, 또는 수직 방향에 가까울수록, 다이내믹 레인지 블록 내의 화소값의 최대값과 최소값을 취하는 화소와의 거리가 멀어지므로, 추출 블록 내에 같은 경사(화소값의 변화를 나타낸 경사)를 가지는 화소가 증가하게 되므로, 통계적으로 처리함으로써 데이터 정상성의 각도를 보다 고정밀도로 검출하는 것이 가능해진다.

한편, 경사식 각도 검출부(905)는, 데이터 정상성의 각도가, 45도, 또는 135도에 가까운 경우, 다이내믹 레인지 블록 내의 최대값과 최소값을 취하는 화소 사이의 거리가 가깝워지게 되므로, 추출 블록 내에서, 같은 경사(화소값의 변화를 나 타낸 경사)를 가지는 화소가 줄어들게 되므로, 통계적인 처리에 의하여, 데이터 정상성의 각도의 정밀도는 저하되어 버린다.

이에 비해, 회귀식 각도 검출부(904)는, 데이터 정상성의 각도가, 45도, 또는 135도 부근의 경우, 주목 화소에 대응하는 블록과, 상관 관계가 강한 화소에 대응하는 블록의 거리가 가까운 위치에 존재하게 되므로, 정상성의 각도를, 보다 높은 정밀도로 검출할 수 있다.

결과로서, 간이식 각도 검출부(901)에 의해 검출된 각도에 따라서, 회귀식 각도 검출부(904)와 경사식 각도 검출부(905)의 각각이 가지는 특성에 의하여, 처리를 전환함으로써, 모든 범위에서 데이터 정상성의 각도를 고정밀도로 검출하는 것이 가능해진다. 또한, 고정밀도로 데이터 정상성의 각도를 검출할 수 있으므로, 실세계를 정확하게 추정할 수 있고, 최종적으로, 현실 세계의 사상에 대하여, 보다 정확하게, 보다 정밀도가 높은 (화상)처리 결과를 얻는 것이 가능해진다.

다음에, 도 179의 흐름도를 참조하여, 도 177의 흐름도에 있어서의 스텝 S904의 처리인, 회귀식 각도 검출 처리에 대하여 설명한다.

그리고, 회귀식 각도 검출부(904)에 의한 회귀식 각도 검출 처리는, 도 114의 흐름도를 참조하여 설명한 데이터 정상성의 검출의 처리와 유사하고, 도 179의 흐름도에 있어서의 스텝 S921 내지 S922, 및 스텝 S924 내지 S927의 처리는, 도 114의 흐름도에 있어서의 스텝 S501 내지 S506의 처리와 동일하므로, 그 설명은 생 략한다.

스텝 S923에 있어서, 화소 검출부(933)는, 스코프 메모리(933a)를 참조하여, 판정부(902)로부터 공급된 간이식 각도 검출부(901)에 의해 검출된 데이터 정상성의 각도의 정보에 따라, 스코프 범위 외의 화소를 처리 대상으로부터 배제한다.

즉, 예를 들면, 간이식 각도 검출부(901)에 의해 검출된 각도 θ의 범위가, 45≤θ＜56.3인 경우, 스코프 메모리(933a)에는, 그 범위에 대응하는 스코프로서 도 180에 나타낸 사선 부분에 대응하는 화소의 범위를 기억하고 있고, 화소 검출부(933)는, 스코프에 대응하는 범위 이외의 화소는 처리 대상 범위로부터 배제한다.

보다 상세한, 각 각도에 따른 스코프의 범위의 예로서는, 예를 들면, 간이식 각도 검출부(901)에 의해 검출된 데이터 정상성의 각도가 50도의 경우, 도 181에 나타낸 바와 같이, 스코프 범위의 화상과 스코프 범위 외의 화소가 미리 정의된다. 그리고, 도 181에 있어서는, 주목 화소를 중심으로 한 31화소×31화소의 범위의 경우의 예이며, 0과 1로 나타낸 각 배치가 화소 위치를 나타내고, 도면 중 중앙의 동그라미로 둘러싸인 위치가 주목 화소의 위치이다. 또, 1로 나타낸 위치의 화소가 스코프 범위 내의 화소이며, 0으로 나타낸 위치의 화소가 스코프 범위 외의 화소이다. 그리고, 이하, 도 182 내지 도 183에 있어서도 마찬가지이다.

즉, 도 181에 나타낸 바와 같이, 스코프 범위가 되는 화소가 주목 화소를 중 심으로 하여 약 각도 50도를 따라서, 일정한 범위의 폭을 가지고 배치되어 있다.

또, 마찬가지로 하여, 간이식 각도 검출부(901)에 의해 검출된 각도가, 60도였던 경우, 도 182에서 나타낸 바와 같이, 스코프 범위가 되는 화소가 주목 화소를 중심으로 하여 약 각도 60도를 따라서, 일정한 범위의 폭을 가지고 배치되어 있다.

또한, 간이식 각도 검출부(901)에 의해 검출된 각도가, 67도였던 경우, 도 183에 나타낸 바와 같이, 스코프 범위가 되는 화소가 주목 화소를 중심으로 하여 약 각도 67도를 따라서, 일정한 범위의 폭을 가지고 배치되어 있다.

또, 간이식 각도 검출부(901)에 의해 검출된 각도가, 81도였던 경우, 도 184에서 나타낸 바와 같이, 스코프 범위가 되는 화소가 주목 화소를 중심으로 하여 약 각도 81도를 따라서, 일정한 범위의 폭을 가지고 배치되어 있다.

이상과 같이, 스코프 범위 외의 화소가 처리 대상 범위로부터 배제됨으로써, 스텝 S924의 처리인 각 화소값을 화소로 변환하는 처리에 있어서, 데이터 정상성으로부터 멀어진 위치에 존재하는 화소의 처리를 생략할 수 있어서 처리의 대상으로 해야 할 데이터 정상성의 방향에 따른 상관 관계가 높은 화소만을 처리하게 되므로, 처리 속도를 향상시킬 수 있다. 또한, 처리의 대상으로해야 할 데이터 정상성의 방향에 따른 상관 관계가 높은 화소만을 사용하여, 화소를 구할 수 있으므로, 보다 높은 정밀도로 데이터 정상성의 각도를 검출하는 것이 가능해진다.

그리고, 스코프 범위에 속하는 화소는, 도 181 내지 도 184에서 나타낸 범위 에 한정되지 않고, 주목 화소를 중심으로 하여, 간이식 각도 검출부(901)에 의해 검출된 각도에 따른 위치에 존재하는 다양한 폭을 가진 범위의 복수개의 화소로 이루어지는 범위가 되어도 된다.

또, 도 173을 참조하여 설명한 데이터 정상성 검출부(101)에 있어서는, 판정부(902)가, 간이식 각도 검출부(901)에 의해 검출된 데이터 정상성의 각도의 정보에 따라, 스위치(903)를 제어하여, 입력 화상의 정보를 회귀식 각도 검출부(904), 또는 경사식 각도 검출부(905) 중 어느 하나에 입력시키도록 하고 있었지만, 회귀식 각도 검출부(904), 또는 경사식 각도 검출부(905)의 어느 하나에 입력 화상을 입력시켜, 각도 검출 처리를 시킨 후, 간이식 각도 검출부(901)에 의해 검출된 데이터 정상성의 각도의 정보에 따라, 어느 하나의 처리에 의해 검출된 각도의 정보를 출력시키도록 해도 된다.

도 185는, 회귀식 각도 검출부(904), 또는 경사식 각도 검출부(905)의 어느 하나에 입력 화상을 입력시켜, 각도 검출 처리를 시킨 후, 간이식 각도 검출부(901)에 의해 검출된 데이터 정상성의 각도의 정보에 따라, 어느 하나의 처리에 의해 검출된 각도의 정보를 출력시키도록 한 데이터 정상성 검출부(101)의 구성을 나타내고 있다. 그리고, 도 173의 데이터 정상성 검출부(101)와 동일한 구성에 대하여는, 동일한 부호를 부여하고 있고, 그 설명은 적절히 생략한다.

도 185의 데이터 정상성 검출부(101)의 구성에 있어서, 도 173의 데이터 정 상성 검출부(101)의 구성과 다른 것은, 스위치(903)를 삭제하여, 입력 화상의 데이터를 회귀식 각도 검출부(904), 또는 경사식 각도 검출부(905)의 어느 하나에 입력시켜, 각각의 출력 측에 스위치(982)를 설치하여, 각각 단자(982a, 982b)의 접속을 절환함으로써, 어느 하나의 방법으로 검출된 각도의 정보를 출력하도록 하고 있다. 그리고, 도 185의 스위치(982)는, 실질적으로, 도 173의 스위치(903)와 동일한 것이므로, 그 설명은 생략한다.

다음에, 도 186의 흐름도를 참조하여, 도 185의 데이터 정상성 검출부(101)에 의한, 데이터 정상성의 검출의 처리에 대하여 설명한다. 그리고, 도 186의 흐름도에 있어서의 스텝 S941, S943 내지 S945, S947의 처리는, 도 177의 흐름도에 있어서의 스텝 S901, S904, S907, S902, S905의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S942에 있어서, 판정부(902)는, 간이식 각도 검출부(901)로부터 입력된 데이터 정상성의 각도의 정보를 회귀식 각도 검출부(904)에 출력한다.

스텝 S946에 있어서, 판정부(902)는, 스위치(982)를 제어하여, 단자(982a)에 접속한다.

스텝 S948에 있어서, 판정부(902)는, 스위치(982)를 제어하여, 단자(982b)에 접속한다.

그리고, 도 186의 흐름도에 있어서, 스텝 S943, S944의 처리 순서는 순서가 바뀌어도 된다.

이상에 의하면, 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광신호가 투영됨으로써 취득된, 현실 세계의 광신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터에 있어서의 화상 데이터 정상성의 기준축에 대한 각도를, 간이식 각도 검출부(901)가 매칭 처리에 의해 검출하고, 검출한 각도에 대응하는 소정 영역 내의 화상 데이터에 따라, 회귀식 각도 검출부(904)나, 또는 경사식 각도 검출부(905)가 통계 처리에 의해 각도를 검출하도록 하였으므로, 보다 고속으로, 또한 보다 고정밀도로 데이터 정상성의 각도를 검출하는 것이 가능해진다.

다음에, 실세계(1)의 신호의 추정에 대하여 설명한다.

도 187는, 실세계 추정부(102)의 구성을 나타낸 블록도이다.

도 187에 구성을 나타낸 실세계 추정부(102)에 있어서는, 입력 화상, 및 정상성 검출부(101)로부터 공급된 데이터 정상성 정보에 따라서, 실세계(1)의 신호인 화상에 있어서의, 가는 선의 폭이 검출되어 가는 선의 레벨(실세계(1)의 신호의 광의 강도)이 추정된다.

선폭 검출부(2101)는, 정상성 검출부(101)로부터 공급된, 가는 선의 화상이 투영된 화소로 이루어지는, 가는 선 영역에서 있는 정상 영역을 나타내는 데이터 정상성 정보에 따라서, 가는 선의 폭을 검출한다. 선폭 검출부(2101)는, 데이터 정상성 정보와 함께, 검출된 가는 선의 폭을 나타낸 가는 선 폭 정보를 신호 레벨 추정부(2102)에 공급한다.

신호 레벨 추정부(2102)는, 입력 화상, 선폭 검출부(2101)로부터 공급된 가는 선의 폭을 나타낸 가는 선 폭 정보, 및 데이터 정상성 정보에 따라서, 실세계(1)의 신호인, 가는 선의 화상의 레벨, 즉 광의 강도의 레벨을 추정하고, 가는 선의 폭 및 가는 선의 화상의 레벨을 나타낸 실세계 추정 정보를 출력한다.

도 188 및 도 189는, 실세계(1)의 신호에서의, 가는 선의 폭을 검출하는 처리를 설명하는 도면이다.

도 188 및 도 189에 있어서, 두꺼운 선으로 둘러싸는 영역(4개의 사각으로 이루어지는 영역)은, 1개의 화소를 나타내고, 점선으로 둘러싸는 영역은, 가는 선의 화상이 투영된 화소로 이루어지는, 가는 선 영역을 나타내고, 원형은, 가는 선 영역의 중심을 나타낸다. 도 188 및 도 189에 있어서, 사선은, 센서(2)에 입사된 가는 선의 화상을 나타낸다. 사선은, 센서(2)에, 실세계(1)의 가는 선의 화상이 투영된 영역을 나타내고 있다고 할 수 있다.

도 188 및 도 189에 있어서, S는, 가는 선 영역의 중심의 위치로부터 산출되는 기울기를 나타내고, D는, 가는 선 영역의 중복이다. 여기서, 기울기 S는, 가는 선 영역이 인접하고 있으므로, 화소를 단위로 한, 중심과 중심의 거리이다. 또, 가는 선 영역의 중복 D는, 2개의 가는 선 영역에 있어서, 인접하고 있는 화소의 수 이다.

도 188 및 도 189에 있어서, W는, 가는 선의 폭을 나타낸다.

도 188에 있어서, 기울기 S는, 2이며, 중복 D는, 2이다.

도 189에 있어서, 기울기 S는, 3이며, 중복 D는, 1이다.

가는 선 영역이 인접하고, 가는 선 영역이 인접하는 방향의 중심과 중심의 거리는, 1화소이므로, W : D = 1 : S가 성립하고, 가는 선의 폭 W는, 중복 D/기울기 S에 의해 구할 수 있다.

예를 들면, 도 188에 나타낸 바와 같이, 기울기 S는, 2이며, 중복 D는, 2일 때 2/2는, 1이므로, 가는 선의 폭 W는, 1이다. 또, 예를 들면, 도 189에서 나타낸 바와 같이, 경사 S는, 3이며, 중복 D는, 1일 때, 가는 선의 폭 W는, 1/3이다.

선폭 검출부(2101)는, 이와 같이, 가는 선 영역의 중심의 위치로부터 산출되는 기울기, 및 가는 선 영역의 중복으로부터, 가는 선의 폭을 검출한다.

도 190은, 실세계(1)의 신호에서의, 가는 선의 신호의 레벨을 추정하는 처리를 설명하는 도면이다.

도 190에 있어서, 두꺼운 선으로 둘러싸는 영역(4개의 사각으로 이루어지는 영역)은, 1개의 화소를 나타내고, 점선으로 둘러싸는 영역은, 가는 선의 화상이 투영된 화소로 이루어지는, 가는 선 영역을 나타낸다. 도 190에 있어서, E는, 가는 선 영역의 화소를 단위로 한, 가는 선 영역의 길이를 나타내고, D는, 가는 선 영역 의 중복(다른 가는 선 영역에 인접하고 있는 화소의 수)이다.

가는 선의 신호의 레벨은, 처리 단위(가는 선 영역) 내에서 일정하면 근사하고, 가는 선이 투영된 화소의 화소값에 투영된, 가는 선 이외의 화상의 레벨은, 인접하고 있는 화소의 화소값에 대한 레벨과 같아지게 근사한다.

가는 선의 신호의 레벨을 C로 할 때, 가는 선 영역에 투영된 신호(화상)에 있어서의, 도면 중의, 가는 선의 신호가 투영된 부분의 좌측 부분의 레벨을 A로 하고, 도면 중의, 가는 선의 신호가 투영된 부분의 우측 부분의 레벨을 B로 한다.

이 때, 식(93)이 성립한다.

가는 선 영역의 화소값의 총계 = (E - D)/2*A + (E - D)/2*B + D*C (93)

가는 선의 폭이 일정하고, 가는 선 영역의 폭은, 1화소이므로, 가는 선 영역의 가는 선(의 신호가 투영된 부분)의 면적은, 가는 선 영역의 중복 D와 같다. 가는 선 영역의 폭은, 1화소이므로, 가는 선 영역의 화소를 단위로 한, 가는 선 영역의 면적은, 가는 선 영역의 길이 E와 같다.

가는 선 영역 중, 가는 선의 좌측의 면적은, (E-D)/2이다. 가는 선 영역 중, 가는 선의 우측의 면적은, (E-D)/2이다.

식(93)의 우측 변의 제1 항은, 좌측에 인접하고 있는 화소에 투영된 신호의 레벨과 같은 레벨의 신호가 투영된 화소값의 부분이고, 식(94)에 의해 나타낼 수 있다.

…(94)

식(94)에 있어서, A_i는, 좌측에 인접하고 있는 화소의 화소값을 나타낸다.

식(94)에 있어서, α_i는, 좌측에 인접하고 있는 화소에 투영된 신호의 레벨과 같은 레벨의 신호가, 가는 선 영역의 화소에 투영되는 면적의 비율을 나타낸다. 즉, α_i는, 가는 선 영역의 화소의 화소값에 포함되어 있는, 좌측에 인접하고 있는 화소의 화소값과 같은 화소값의 비율을 나타낸다.

i는, 가는 선 영역의 좌측에 인접하고 있는 화소의 위치를 나타낸다.

예를 들면, 도 190에 있어서, 가는 선 영역의 화소의 화소값에 포함되어 있는, 가는 선 영역의 좌측에 인접하고 있는 화소의 화소값 A₀와 같은 화소값의 비율은, α₀이다. 도 190에 있어서, 가는 선 영역의 화소의 화소값에 포함되어 있는, 가는 선 영역의 좌측에 인접하고 있는 화소의 화소값 A₁과 같은 화소값의 비율은, α₁이다. 도 190에 있어서, 가는 선 영역의 화소의 화소값에 포함되어 있는, 가는 선 영역의 좌측에 인접하고 있는 화소의 화소값 A₂와 같은 화소값의 비율은, α₂이다.

식(93)의 우변의 제 2항은, 우측에 인접하고 있는 화소에 투영된 신호의 레벨과 같은 레벨의 신호가 투영된 화소값의 부분이며, 식(95)에 의해 나타낼 수 있다.

…(95)

식(95)에 있어서, B_j는, 우측에 인접하고 있는 화소의 화소값을 나타낸다.

식(95)에 있어서, β_j는, 우측에 인접하고 있는 화소에 투영된 신호의 레벨과 같은 레벨의 신호가, 가는 선 영역의 화소에 투영되는 면적의 비율을 나타낸다. 즉, β_j는, 가는 선 영역의 화소의 화소값에 포함되어 있는, 우측에 인접하고 있는 화소의 화소값과 같은 화소값의 비율을 나타낸다.

j는, 가는 선 영역의 우측에 인접하고 있는 화소의 위치를 나타낸다.

예를 들면, 도 190에 있어서, 가는 선 영역의 화소의 화소값에 포함되어 있는, 가는 선 영역의 우측에 인접하고 있는 화소의 화소값 B₀와 같은 화소값의 비율은, β₀이다. 도 190에 있어서, 가는 선 영역의 화소의 화소값에 포함되어 있는, 가는 선 영역의 우측에 인접하고 있는 화소의 화소값 B₁과 같은 화소값의 비율은, β₁이다. 도 190에 있어서, 가는 선 영역의 화소의 화소값에 포함되어 있는, 가는 선 영역의 우측에 인접하고 있는 화소의 화소값 B₂와 같은 화소값의 비율은, β₂이다.

이와 같이, 신호 레벨 추정부(2102)는, 식(94) 및 식(95)에 따라서, 가는 선 영역에 포함되는 화소값 중, 가는 선 이외의 화상의 화소값을 산출하고, 식(93)에 따라서, 가는 선 영역의 화소값으로부터 가는 선 이외의 화상의 화소값을 제거함으로써, 가는 선 영역에 포함되는 화소값 중, 가는 선 만의 화상의 화소값을 구한다. 그리고, 신호 레벨 추정부(2102)는, 가는 선 만의 화상의 화소값과 가는 선의 면적으로부터, 가는 선의 신호의 레벨을 구한다. 보다 구체적으로는, 신호 레벨 추정부(2102)는, 가는 선 영역에 포함되는 화소값 중, 가는 선 만의 화상의 화소값을, 가는 선 영역의 가는 선의 면적, 즉 가는 선 영역의 중복 D로 나눗셈함으로써, 가는 선의 신호의 레벨을 산출한다.

신호 레벨 추정부(2102)는, 실세계(1)의 신호에서의, 가는 선의 폭, 및 가는 선의 신호의 레벨을 나타낸 실세계 추정 정보를 출력한다.

본 발명의 방법에서는, 가는 선의 파형을 화소가 아닌 기하학적으로 기술하고 있으므로, 어떠한 해상도에서도 사용할 수 있다.

다음에, 스텝 S102의 처리에 대응하는, 실세계의 추정의 처리를 도 191의 흐름도를 참조하여 설명한다.

스텝 S2101에 있어서, 선폭 검출부(2101)는, 데이터 정상성 정보에 따라서, 가는 선의 폭을 검출한다. 예를 들면, 선폭 검출부(2101)은, 가는 선 영역의 중심의 위치로부터 산출되는 기울기, 및 가는 선 영역의 중복으로부터, 중복을 기울기로 나눗셈함으로써, 실세계(1)의 신호에서의, 가는 선의 폭을 추정한다.

스텝 S2102에 있어서, 신호 레벨 추정부(2102)는, 가는 선의 폭, 및 가는 선 영역에 인접하는 화소의 화소값에 따라서, 가는 선의 신호의 레벨을 추정하고, 추정된 가는 선의 폭 및 가는 선의 신호의 레벨을 나타낸 실세계 추정 정보를 출력하여, 처리는 종료된다. 예를 들면, 신호 레벨 추정부(2102)는, 가는 선 영역에 포함되는 가는 선 이외의 화상이 투영된 화소값을 산출하고, 가는 선 영역으로부터 가는 선 이외의 화상이 투영된 화소값을 제거함으로써, 가는 선 만의 화상이 투영된 화소값을 구하여, 구해진 가는 선 만의 화상이 투영된 화소값과 가는 선의 면적으로부터, 가는 선의 신호의 레벨을 산출함으로써, 실세계(1)의 신호에서의, 가는 선의 레벨을 추정한다.

이와 같이, 실세계 추정부(102)는, 실세계(1)의 신호의 가는 선의 폭 및 레벨을 추정할 수 있다.

이상과 같이, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 제1 화상 데이터의, 데이터 정상성을 검출하고, 데이터 정상성에 대응하는 현실 세계의 광신호의 파형을 나타내는 모델에 따라, 제1 화상 데이터 정 상성으로부터 현실 세계의 광신호의 파형을 추정하고, 추정된 광신호를 제2 화상 데이터로 변환하도록 한 경우, 현실 세계의 광신호에 대하여,보다 정확하고, 보다 정밀도 높은 처리 결과를 얻을 수 있게 된다.

도 192는, 실세계 추정부(102)의 다른 구성을 나타낸 블록도이다.

도 192에 구성을 나타낸 실세계 추정부(102)에 있어서는, 입력 화상, 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보에 따라서, 영역이 재차 검출되어 재차 검출된 영역에 따라서, 실세계(1)의 신호인 화상에 있어서의, 가는 선의 폭이 검출되어 실세계(1)의 신호의 광의 강도(레벨)가 추정된다. 예를 들면, 도 192에 구성을 나타낸 실세계 추정부(102)에 있어서는, 가는 선의 화상이 투영된 화소로 이루어지는 정상성 영역이 재차 검출되어 재차 검출된 영역에 따라서, 실세계(1)의 신호인 화상에 있어서의, 가는 선의 폭이 검출되어 실세계(1)의 신호의 광의 강도가 추정된다.

데이터 정상성 검출부(101)로부터 공급되고, 도 192에 구성을 나타낸 실세계 추정부(102)에 입력되는 데이터 정상성 정보에는, 데이터(3)인 입력 화상 중, 가는 선의 화상이 투영된 정상 성분 이외의 비정상 성분을 나타낸 비정상 성분 정보, 정상 영역 안의 단조 증감 영역을 나타낸 단조 증감 영역 정보, 및 정상 영역을 나타내는 정보 등이 포함되어 있다. 예를 들면, 데이터 정상성 정보에 포함되는 비정상 성분 정보는, 입력 화상에 있어서의 배경 등의 비정상 성분을 근사하는 평면의 기울기 및 절편으로 이루어진다.

실세계 추정부(102)에 입력된 데이터 정상성 정보는, 경계 검출부(2121)에 공급된다. 실세계 추정부(102)에 입력된 입력 화상은, 경계 검출부(2121) 및 신호 레벨 추정부(2102)에 공급된다.

경계 검출부(2121)는, 데이터 정상성 정보에 포함되는 비정상 성분 정보, 및 입력 화상으로부터, 가는 선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성하고, 정상 성분만으로 이루어지는 화상에 따라서, 화소에 투영된, 실세계(1)의 신호인 가는 선의 화상이 투영된 비율을 나타낸 분배비를 산출하고, 산출된 분배비로부터 가는 선 영역의 경계를 나타낸 회귀 직선을 산출함으로써, 정상 영역인 가는 선 영역을 다시 검출한다.

도 193은, 경계 검출부(2121)의 구성을 나타낸 블록도이다.

분배비 산출부(2131)는, 데이터 정상성 정보, 데이터 정상성 정보에 포함되는 비정상 성분 정보, 및 입력 화상으로부터, 가는 선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성한다. 보다 구체적으로는, 분배비 산출부(2131)는, 데이터 정상성 정보에 포함되는 단조 증감 영역 정보에 따라서, 입력 화상으로부터, 정상 영역 중의 인접하는 단조 증감 영역을 검출하고, 검출된 단조 증감 영역에 속하는 화소의 화소값으로부터, 정상 성분 정보에 포함되는 기울기 및 절편에 나타낸 평면에서 근사되는 근사치를 뺄셈함으로써, 가는 선의 화상이 투영 된 정상 성분만으로 이루어지는 화상을 생성한다.

그리고, 분배비 산출부(2131)는, 입력 화상의 화소의 화소값으로부터, 정상 성분 정보에 포함되는 기울기 및 절편에 나타낸 평면에서 근사되는 근사치를 뺄셈함으로써, 가는 선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성할 수도 있다.

분배비 산출부(2131)는, 생성된 정상 성분만으로 이루어지는 화상에 따라서, 실세계(1)의 신호인 가는 선의 화상이, 정상 영역 중의 인접하는 단조 증감 영역에 속하는 2개의 화소에 분배된 비율을 나타낸 분배비를 산출한다. 분배비 산출부(2131)는, 산출한 분배비를 회귀 직선 산출부(2132)에 공급한다.

도 194 내지 도 196을 참조하여, 분배비 산출부(2131)에 있어서의, 분배비 산출 처리를 설명한다.

도 194의 좌측의 2열의 수치는, 입력 화상의 화소값으로부터, 정상 성분 정보에 포함되는 기울기 및 절편에 의해 나타낸 평면에서 근사되는 근사치를 뺄셈함으로써, 산출된 화상 중, 세로로 2열의 화소의 화소값을 나타낸다. 도 194의 좌측의 사각으로 둘러싸는 2개의 영역은, 인접하는 2개의 단조 증감 영역인, 단조 증감 영역(2141-1) 및 단조 증감 영역(2141-2)을 나타낸다. 즉, 단조 증감 영역(2141-1) 및 단조 증감 영역(2141-2)에 나타낸 수치는, 데이터 정상성 검출부(101)에 있어서 검출된 정상성 영역인 단조 증감 영역에 속하는 화소의 화소 값을 나타낸다.

도 194의 우측의 1열의 수치는, 도 194의 좌측의 2열의 화소의 화소값 중, 가로로 배열된 화소의 화소값을 가산한 값을 나타낸다. 즉, 도 194의 우측의 1열의 수치는, 세로로 1열의 화소로 이루어지는 단조 증감 영역이며, 2개의 인접하는 것에 대하여, 가로로 인접하는 화소마다, 가는 선의 화상이 투영된 화소값을 가산한 값을 나타낸다.

예를 들면, 각각, 세로로 1열의 화소로 이루어지고, 인접하는 단조 증감 영역(2141-1)및 단조 증감 영역(2141-2) 중 어느 하나에 속하여, 가로로 인접하는 화소의 화소값이, 2 및 58일 때, 가산한 값은, 60이다. 각각, 세로로 1열의 화소로 이루어지고, 인접하는 단조 증감 영역(2141-1) 및 단조 증감 영역(2141-2) 중 어느 하나에 속하여, 가로로 인접하는 화소의 화소값이, 1 및 65일 때, 가산한 값은, 66이다.

도 194의 우측의 1열의 수치, 즉, 세로로 1열의 화소로 이루어지고, 2개의 인접하는 단조 증감 영역의 가로 방향에 인접하는 화소에 대하여, 가는 선의 화상이 투영된 화소값을 가산한 값은, 대략 일정하게 되는 것을 알 수 있다.

마찬가지로, 가로로 1열의 화소로 이루어지고, 2개의 인접하는 단조 증감 영역의 세로 방향에 인접하는 화소에 대하여, 가는 선의 화상이 투영된 화소값을 가산한 값은, 대략 일정하게 된다.

분배비 산출부(2131)는, 2개의 인접하는 단조 증감 영역의 인접하는 화소에 대하여, 가는 선의 화상이 투영된 화소값을 가산한 값이, 대략 일정하게 되는 성질을 이용하여, 가는 선의 화상이 1열의 화소의 화소값에 어떻게 분배되어 있는지를 산출한다.

분배비 산출부(2131)는, 도 195에 나타낸 바와 같이, 세로로 1열의 화소로 이루어지는 단조 증감 영역에서 있어, 2개의 인접하는 것에 속하는 화소의 화소값을, 가로로 인접하는 화소마다, 가는 선의 화상이 투영된 화소값을 가산한 값으로 나눗셈함으로써, 2개의 인접하는 단조 증감 영역에 속하는 각 화소에 대하여, 분배비를 산출한다. 단, 산출된 결과, 100을 초과하는 분배비에는, 100이 설정된다.

예를 들면, 도 195에 나타낸 바와 같이, 세로로 1열의 화소로 이루어지는 단조 증감 영역이며, 2개의 인접하는 것에 속하는, 가로로 인접하는 화소의 화소값이, 각각 2 및 58일 때, 가산한 값이 60이므로, 각각의 화소에 대하여, 3.5 및 96.5인 분배비가 산출된다. 세로로 1열의 화소로 이루어지는 단조 증감 영역이며, 2개의 인접하는 것에 속하는, 가로로 인접하는 화소의 화소값이, 각각 1 및 65일 때, 가산한 값이 65이므로, 각각의 화소에 대하여, 1.5 및 98.5의 분배비가 산출된다.

이 경우에 있어서, 3개의 단조 증감 영역이 인접하는 경우, 어느쪽의 열부터 계산 할지는, 도 196에 나타낸 바와 같이, 가로로 인접하는 화소마다, 가는 선의 화상이 투영된 화소값을 가산한, 2개의 값 중, 정점 P의 화소값에 더 가까운 값에 따라서, 분배비가 산출된다.

예를 들면, 정점 P의 화소값이 81이며, 주목하고 있는 단조 증감 영역에 속하는 화소의 화소값이 79일 때, 좌측에 인접하는 화소의 화소값이 3이며, 우측에 인접하는 화소의 화소값이 -1인 경우, 좌측에 인접하는 화소의 화소값을 가산한 값이, 82이며, 우측에 인접하는 화소의 화소값을 가산한 값이, 78이므로, 정점 P의 화소값 81에 더 가까운, 82가 선택되고, 좌측에 인접하는 화소에 따라서, 분배비가 산출된다. 마찬가지로, 정점 P의 화소값이 81이며, 주목하고 있는 단조 증감 영역에 속하는 화소의 화소값이 75일 때, 좌측에 인접하는 화소의 화소값이 0이며, 우측에 인접하는 화소의 화소값이 3인 경우, 좌측에 인접하는 화소의 화소값을 가산한 값이, 75이며, 우측에 인접하는 화소의 화소값을 가산한 값이, 78이므로, 정점 P의 화소값 81에 더 가까운, 78이 선택되고, 우측에 인접하는 화소에 따라서, 분배비가 산출된다.

이와 같이, 분배비 산출부(2131)는, 세로로 1열의 화소로 이루어지는 단조 증감 영역에 대하여, 분배비를 산출한다.

분배비 산출부(2131)는, 동일한 처리에 의해, 가로로 1열의 화소로 이루어지는 단조 증감 영역에 대하여, 분배비를 산출한다.

회귀 직선 산출부(2132)는, 단조 증감 영역의 경계가 직선인 것으로 가정하 여, 분배비 산출부(2131)에 있어서 산출된 분배비에 따라서, 단조 증감 영역의 경계를 나타낸 회귀 직선을 산출함으로써, 정상 영역 중의 단조 증감 영역을 다시 검출한다.

도 197 및 도 198을 참조하여, 회귀 직선 산출부(2132)에 있어서의, 단조 증감 영역의 경계를 나타낸 회귀 직선의 산출의 처리를 설명한다.

도 197에 있어서, 흰색 원은, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 상측의 경계에 위치하는 화소를 나타낸다. 회귀 직선 산출부(2132)는, 회귀 처리에 의하여, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 상측의 경계에 대하여 회귀 직선을 산출한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 상측의 경계에 위치하는 화소와의 거리의 제곱의 합이 최소가 되는 직선 A를 산출한다.

또, 도 197에 있어서, 흑색 원은, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 하측의 경계에 위치하는 화소를 나타낸다. 회귀 직선 산출부(2132)는, 회귀 처리에 의하여, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 하측의 경계에 대하여 회귀 직선을 산출한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 하측의 경계에 위치하는 화소와의 거리의 제곱의 합이 최소가 되는 직선 B를 산출한다.

회귀 직선 산출부(2132)는, 산출된 회귀 직선에 따라서, 단조 증감 영역의 경계를 결정함으로써, 정상 영역 내의 단조 증감 영역을 다시 검출한다.

도 198에 나타낸 바와 같이, 회귀 직선 산출부(2132)는, 산출된 직선 A에 따라서, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 상측의 경계를 결정한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 각각에 대하여, 산출된 직선 A에 가장 가까운 화소로부터 상측의 경계를 결정한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 각각에 대하여, 산출된 직선 A에 가장 가까운 화소가 영역에 포함되도록 상측의 경계를 결정한다.

도 198에 나타낸 바와 같이, 회귀 직선 산출부(2132)는, 산출된 직선 B에 따라서, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 하측의 경계를 결정한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 각각에 대하여, 산출된 직선 B에 가장 가까운 화소로부터 하측의 경계를 결정한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 각각에 대하여, 산출된 직선 B에 가장 가까운 화소가 영역에 포함되도록 상측의 경계를 결정한다.

이와 같이, 회귀 직선 산출부(2132)는, 데이터 정상성 검출부(101)에 의해 검출된 정상 영역의 경계를 회귀하는 회귀 직선에 따라, 정점으로부터 단조롭게 화소값이 증가 또는 감소하고 있는 영역을 다시 검출한다. 즉, 회귀 직선 산출부(2132)는, 산출된 회귀 직선에 따라서, 단조 증감 영역의 경계를 결정함으로써, 정상 영역 내의 단조 증감 영역인 영역을 다시 검출하고, 검출한 영역을 나타낸 영역 정보를 선폭 검출부(2101)에 공급한다.

이상과 같이, 경계 검출부(2121)는, 화소에 투영된, 실세계(1)의 신호인 가는 선의 화상이 투영된 비율을 나타낸 분배비를 산출하고, 산출된 분배비로부터 단조 증감 영역의 경계를 나타낸 회귀 직선을 산출함으로써, 정상 영역 안의 단조 증감 영역을 다시 검출한다. 이와 같이 함으로써, 보다 정확하게 단조 증감 영역을 검출할 수 있다.

도 192에 나타낸 선폭 검출부(2101)는, 경계 검출부(2121)로부터 공급된, 재차 검출된 영역을 나타낸 영역 정보에 따라서, 도 187에 나타낸 경우와 동일한 처리에 의해, 가는 선의 폭을 검출한다. 선폭 검출부(2101)는, 데이터 정상성 정보와 함께, 검출된 가는 선의 폭을 나타낸 가는 선 폭 정보를 신호 레벨 추정부(2102)에 공급한다.

도 192에 나타내는 신호 레벨 추정부(2102)의 처리는, 도 187에 나타낸 경우와 동일한 처리이므로, 그 설명은 생략한다.

도 199는, 스텝 S102의 처리에 대응하는, 도 192에 구성을 나타낸 실세계 추정부(102)에 의한, 실세계 추정의 처리를 설명하는 흐름도이다.

스텝 S2121에 있어서, 경계 검출부(2121)는, 데이터 정상성 검출부(101)에 의해 검출된 정상 영역에 속하는 화소의 화소값에 따라, 다시 영역을 검출하는, 경계 검출의 처리를 실행한다. 경계 검출의 처리의 자세한 것은, 후술한다.

스텝 S2122 및 스텝 S2123의 처리는, 스텝 S2101 및 스텝 S2102의 처리와 동일하므로, 그 설명은 생략한다.

도 200은, 스텝 S2121의 처리에 대응하는, 경계 검출의 처리를 설명하는 흐름도이다.

스텝 S2131에 있어서, 분배비산출부(2131)는, 단조 증감 영역을 나타내는 데이터 정상성 정보 및 입력 화상에 따라서, 가는 선의 화상이 투영된 비율을 나타낸 분배비를 산출한다. 예를 들면, 분배비 산출부(2131)는, 데이터 정상성 정보에 포함되는 단조 증감 영역 정보에 따라서, 입력 화상으로부터, 정상 영역 안의 인접하는 단조 증감 영역을 검출하고, 검출된 단조 증감 영역에 속하는 화소의 화소값으로부터, 정상 성분 정보에 포함되는 기울기 및 절편으로 나타낸 평면에서 근사되는 근사치를 뺄셈함으로써, 가는 선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성한다. 그리고, 분배비 산출부(2131)는, 1열의 화소로 이루어지는 단조 증감 영역에서 있어, 2개의 인접하는 것에 속하는 화소의 화소값을, 인접하는 화소의 화소값의 합으로 나눗셈함으로써, 2개의 인접하는 단조 증감 영역에 속하는 각 화소에 대하여, 분배비를 산출한다.

분배비 산출부(2131)는, 산출된 분배비를 회귀 직선 산출부(2132)에 공급한 다.

스텝 S2132에 있어서, 회귀 직선 산출부(2132)는, 가는 선의 화상이 투영된 비율을 나타낸 분배비에 따라서, 단조 증감 영역의 경계를 나타낸 회귀 직선을 산출함으로써, 정상 영역 내의 영역을 다시 검출한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역의 경계가 직선인 것으로 가정하여, 단조 증감 영역의 일단의 경계를 나타내는 회귀 직선을 산출하고, 단조 증감 영역의 타단의 경계를 나타내는 회귀 직선을 산출함으로써, 정상 영역 내의 단조 증감 영역을 다시 검출한다.

회귀 직선 산출부(2132)는, 다시 검출된, 정상 영역 내의 영역을 나타내는 영역 정보를 선폭 검출부(2101)에 공급하여, 처리는 종료된다.

이와 같이, 도 192에 구성을 나타내는 실세계 추정부(102)는, 가는 선의 화상이 투영된 화소로 이루어지는 영역을 재차 검출하고, 재차 검출된 영역에 따라서, 실세계(1)의 신호인 화상에 있어서의, 가는 선의 폭을 검출하고, 실세계(1)의 신호의 광의 강도(레벨)를 추정한다. 이와 같이 하여, 실세계(1)의 신호에 대하여, 보다 정확하게, 가는 선의 폭을 검출하고, 보다 정확하게, 광의 강도를 추정할 수 있다.

이상과 같이, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 제1 화상 데이터에 있어서의, 복수개의 화소의 화소값의 불연속 부를 검출하고, 검출된 불연속부로부터, 데이터 정상성을 가지는 정상 영역을 검출하고, 검출된 정상 영역에 속하는 화소의 화소값에 따라, 다시 영역을 검출하고, 다시 검출된 영역에 따라 실세계를 추정하도록 한 경우, 현실 세계의 사상에 대하여, 보다 정확하게, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

다음에, 도 201을 참조하여, 정상성을 가지는 영역에 있어서의, 화소마다의 공간 방향의 근사 함수의 미분값을 실세계 추정 정보로서 출력하는 실세계 추정부(102)에 대하여 설명한다.

참조 화소 추출부(2201)는, 데이터 정상성 검출부(101)로부터 입력되는 데이터 정상성 정보(정상성의 각도, 또는 영역의 정보)에 따라, 입력 화상의 각 화소가 처리 영역인지 여부를 판정하고, 처리 영역인 경우에는, 입력 화상의 화소의 화소값을 근사하는 근사 함수를 구하기 위해 필요한 참조 화소의 정보(연산에 필요한 주목 화소 주변의 복수개의 화소의 위치, 및 화소값)를 추출하여, 근사 함수 추정부(2202)에 출력한다.

근사 함수 추정부(2202)는, 참조 화소 추출부(2201)로부터 입력된 참조 화소의 정보에 따라 주목 화소 주변의 화소의 화소값을 근사적으로 기술하는 근사 함수를 최소 자승법에 따라 추정하고, 추정한 근사 함수를 미분 처리부(2203)에 출력한다.

미분 처리부(2203)는, 근사 함수 추정부(2202)로부터 입력된 근사 함수에 따 라, 데이터 정상성 정보의 각도(예를 들면, 가는 선이나 2치 에지의 소정의 축에 대한 각도: 기울기)에 따라, 주목 화소로부터 생성하려고 하는 화소의 위치의 시프트량을 구하고, 그 시프트량에 따른 근사 함수 상의 위치에서의 미분값(정상성에 대응하는 선으로부터의 1차원 방향을 따른 거리에 대응하는 각 화소의 화소값을 근사하는 함수의 미분값)을 연산하고, 또한 주목 화소의 위치, 화소값, 및 정상성의 경사의 정보를 부가하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

다음에, 도 202의 흐름도를 참조하여, 도 201의 실세계 추정부(102)에 의한 실세계 추정의 처리에 대하여 설명한다.

스텝 S2201에 있어서, 참조 화소 추출부(2201)는, 입력 화상과 함께, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서의 각도, 및 영역의 정보를 취득한다.

스텝 S2202에 있어서, 참조 화소 추출부(2201)는, 입력 화상의 미처리 화소로부터 주목 화소를 설정한다.

스텝 S2203에 있어서, 참조 화상 추출부(2201)는, 데이터 정상성 정보의 영역의 정보에 따라, 주목 화소가, 처리 영역의 것인지 여부를 판정하고, 처리 영역의 화소가 아닌 것으로 판정한 경우, 그 처리는, 스텝 S2210으로 진행하고, 그 주목 화소에 대하여는, 처리 영역 밖인 것을 근사 함수 추정부(2202)를 통하여, 미분 처리부(2203)에게 전해 이에 따라, 미분 처리부(2203)가, 대응하는 주목 화소에 대한 미분값을 0으로 하고, 또한 그 주목 화소의 화소값을 부가하여 실세계 추정 정보로서 화상 생성부(103)에 출력하는 동시에, 그 처리는, 스텝 S2211로 진행한다. 또, 주목 화소가 처리 영역의 것이라고 판정된 경우, 그 처리는, 스텝 S2204로 진행한다.

스텝 S2204에 있어서, 참조 화소 추출부(2201)는, 데이터 정상성 정보에 포함되는 각도의 정보로부터, 데이터 정상성이 가지는 방향이, 수평 방향에 가까운 각도인가, 또는 수직에 가까운 각도인지 여부를 판정한다. 즉, 참조 화소 추출부(2201)는, 데이터 정상성이 가지는 각도 θ가, 0도≤θ＜45도, 또는 135도≤θ＜180도의 경우, 주목 화소의 정상성의 방향은, 수평 방향과 가까운 것으로 판정하고, 데이터 정상성이 가지는 각도 θ가, 45도≤θ＜135도의 경우, 주목 화소의 정상성의 방향은, 수직 방향과 가까운 것으로 판정한다.

스텝 S2205에 있어서, 참조 화소 추출부(2201)는, 판정한 방향에 대응한 참조 화소의 위치 정보, 및 화소값을 각각 입력 화상으로부터 추출하고, 근사 함수 추정부(2202)에 출력한다. 즉, 참조 화소는, 후술하는 근사 함수를 연산할 때 사용되는 데이터가 되므로, 기울기에 따라 추출되는 것이 바람직하다. 따라서, 수평 방향, 또는 수직 방향 중 어느 하나의 판정 방향에 대응하여, 그 방향으로 긴 범위의 참조 화소가 추출된다. 보다 구체적으로는, 예를 들면, 도 203에 나타낸 바와 같이, 기울기 G_f가 수직 방향에 가까우면, 수직 방향인 것으로 판정된다. 이 경우, 참조 화소 추출부(2201)는, 예를 들면, 도 203에 나타낸 바와 같이, 도 203의 중앙의 화소 (0, 0)를 주목 화소로 할 때, 화소 (-1, 2), (-1, 1), (-1, 0), (-1, -1), (-1, -2), (0, 2), (0, 1), (0, 0), (0, -1), (0, -2), (1, 2), (1, 1), (1, 0), (1, -1), (1, -2)의 각각의 화소값을 추출한다. 그리고, 도 203에 있어서는, 각 화소의 수평 방향, 및 수직 방향의 크기가 1인 것으로 한다.

즉, 참조 화소 추출부(2201)는, 주목 화소를 중심으로 하여 수직(상하) 방향으로 각각 2화소×수평(좌우)방향으로 각각 1화소의 합계 15화소가 되도록, 수직 방향으로 긴 범위의 화소를 참조 화소로서 추출한다.

역으로, 수평 방향인 것으로 판정된 경우, 주목 화소를 중심으로 하여 수직(상하)방향으로 각각 1화소×수평(좌우)방향으로 각각 2화소의 합계 15화소가 되도록, 수평 방향으로 긴 범위의 화소를 참조 화소로서 추출하여, 근사 함수 추정부(2202)에 출력한다. 물론, 참조 화소는, 전술한 바와 같이 15화소로 한정되는 것이 아니고, 그 이외의 개수이라도 된다.

스텝 S2206에 있어서, 근사 함수 추정부(2202)는, 참조 화소 추출부(2201)로부터 입력된 참조 화소의 정보에 따라, 최소 자승법에 의해 근사 함수 f(x)를 추정하고, 미분 처리부(2203)에 출력한다.

즉, 근사 함수 f(x)는, 이하의 식(96)에서 나타낸 바와 같은 다항식이다.

…(96)

이와 같이, 식(96)의 다항식의 각 계수 W₁ 내지 W_{n +1}이 구해지고, 각 참조 화소의 화소값(참조 화소값)을 근사하는 근사 함수 f(x)가 구해지게 된다. 그러나, 계수의 수보다 많은 참조 화소값이 필요하므로, 예를 들면, 참조 화소가, 도 203에 나타낸 바와 같은 경우, 합계 15화소이므로, 다항식의 계수는, 15개까지만 구할 수 있다. 그래서, 이 경우, 다항식은, 14차 까지의 다항식으로 하고, 계수 W₁ 내지 W₁₅를 구함으로써 근사 함수를 추정하는 것으로 한다. 그리고, 지금의 경우, 15 다음의 다항식으로 이루어지는 근사 함수 f(x)를 설정하여, 연립 방정식으로 할 수도 있다.

따라서, 도 203에 나타낸 15개의 참조 화소값을 사용할 때, 근사 함수 추정부(2202)는, 이하의 식(97)을, 최소 자승법을 이용하여 푸는 것에 의해 추정한다.

P(-1, -2) = f(-1 -Cx(-2))

P(-1, -1) = f(-1 -Cx(-1))

P(-1, 0) = f(-1) (=f(-1-Cx(0)))

P(-1, 1) = f(-1 -Cx(1))

P(-1, 2) = f(-1 -Cx(2))

P(0), -2) = f(0 -Cx(-2))

P(0), -1) = f(0 -Cx(-1))

P(0, 0) = f(0) (=f(0 - Cx(0)))

P(0, 1) = f(0 - Cx(1))

P(0, 2) = f(0 - Cx(2))

P(1), -2) = f(1 - Cx(-2))

P(1), -1) = f(1 - Cx(-1))

P(1, 0) = f(1) (= f(1-Cx(0)))

P(1, 1) = f(1 - Cx(1))

P(1, 2) = f(1 - Cx(2))

…(97)

그리고, 다항식의 차수에 맞추어서, 참조 화소의 수를 변경할 수도 있다.

여기서, Cx(ty)는, 시프트량이며, 정상성의 기울기를 G_f로 나타낼 때, Cx(ty) = ty/G_f에 의해 정의된다. 상기 시프트량 Cx(ty)는, 공간 방향 Y = 0의 위치 상에서 정의되는 근사 함수 f(x)가, 기울기 G_f에 따라, 연속되어 있는 것(정상성 을 가지고 있다)을 전제로 할 때, 공간 방향 Y = ty의 위치에서의, 공간 방향 X에 대한 어긋난 폭을 나타낸 것이다. 따라서, 예를 들면, 공간 방향 Y = 0의 위치 상에서 근사 함수가 f(x)로서 정의되어 있는 경우, 상기 근사 함수 f(x)는, 공간 방향 Y = ty에 있어서는, 경사 G_f에 따라 공간 방향 X에 대하여 Cx(ty)만큼 어긋나 있을 것이므로, 함수는, f(x-Cx(ty))(= f(x-ty/Gf))에 의해 정의된다.

스텝 S2207에 있어서, 미분 처리부(2203)는, 근사 함수 추정부(2202)로부터 입력된 근사 함수 f(x)에 따라서, 생성하려고 하는 화소의 위치에서의, 시프트량을 구한다.

즉, 수평 방향, 및 수직 방향으로 각각 2배의 밀도(합계 4배의 밀도)가 되도록 화소를 생성하는 경우, 미분 처리부(2203)는, 예를 들면, 먼저 수직 방향으로 2배의 밀도가 되는 화소 Pa, Pb로 2분할하기 위하여, 도 204에서 나타낸 바와 같이, 주목 화소의 중심 위치가 Pin(Xin, Yin)에서의 미분값을 구하기 위해, 중심 위치의 Pin(Xin, Yin)의 시프트량을 구한다. 상기 시프트량은, Cx(0)가 되므로, 실질적으로는 0이 된다. 그리고, 도 204 중에 있어서, 화소 Pin은, (Xin, Yin)를 대략 중심 위치로 하는 정방형이며, 화소 Pa, Pb는, (Xin, Yin + 0.25), (Xin, Yin - 0.25)를 각각 대략 중심 위치로 하는 도면 중 수평 방향으로 긴 직사각형이다.

스텝 S2208에 있어서, 미분 처리부(2203)는, 근사 함수 f(x)를 미분하여, 근 사 함수의 1차 미분 함수 f(x)를 구하고, 구해진 시프트량에 따른 위치에서의 미분값을 구하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다. 즉, 지금의 경우, 미분 처리부(2203)는, 미분값 f(Xin)를 구하고, 그 위치(지금의 경우, 주목 화소(Xin, Yin))와 그 화소값, 및 정상성의 방향의 기울기의 정보를 부가하여 출력한다.

스텝 S2209에 있어서, 미분 처리부(2203)는, 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 요구되어 있는지 여부를 판정한다. 예를 들면, 지금의 경우, 2배의 밀도가 되기 위해 미분값 밖에 구하여져 있지 않으므로(공간 방향 Y 방향에 대한 2배의 밀도가 되기 위한 미분값 밖에 구해져 있지 않으므로), 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 구해져 있지 않은 것으로 판정하고, 그 처리는, 스텝 S2207로 되돌아온다.

스텝 S2207에 있어서, 미분 처리부(2203)는, 재차, 근사 함수 추정부(2202)로부터 입력된 근사 함수 f(x)에 따라서, 생성하려고 하는 화소의 위치에서의, 시프트량을 구한다. 즉, 미분 처리부(2203)는, 지금의 경우, 2분할된 화소 Pa, Pb의 각각을 2분할하기 위해 필요한 미분값을 각각 구한다. 화소 Pa, Pb의 화소의 위치는, 도 204에 있어서의 흑색 원으로 나타낸 각각의 위치이므로, 미분 처리부(2203)는, 각각의 위치에 대응하는 시프트량을 구한다. 화소 Pa, Pb의 시프트량은, 각각 Cx(0.25), Cx(-0.25)가 된다.

스텝 S2208에 있어서, 미분 처리부(2203)는, 근사 함수 f(x)를 1차 미분하여, 화소 Pa, Pb의 각각에 대응한 시프트량에 따른 위치에서의 미분값을 구하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

즉, 도 203에 나타낸 참조 화소를 사용하는 경우, 미분 처리부(2203)는, 도 205에서 나타낸 바와 같이, 구해진 근사 함수 f(x)에 대하여 미분 함수 f(x)를 구하여, 공간 방향 X에 대하여, 시프트량 Cx(0.25), Cx(-0.25)만큼 어긋난 위치가 되는 (Xin - Cx(0.25))와 (Xin - Cx(- (0.25))의 위치에서의 미분값을 각각 f(Xin - Cx(0.25))', f(Xin-Cx(-0.25))'으로서 구하고, 그 미분값에 대응하는 위치 정보를 부가하여, 이것을 실세계 추정 정보로서 출력한다. 그리고, 최초의 처리에 의해 화소값의 정보가 출력되어 있으므로 화소값의 정보는 부가되지 않는다.

스텝 S2209에 있어서, 재차, 미분 처리부(2203)는, 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 요구되고 있는지 여부를 판정한다. 예를 들면, 지금의 경우, 4배의 밀도가 되므로의 미분 값이 구해진 것이 되므로, 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 구해졌다고 판정하고, 그 처리는, 스텝 S2211로 진행한다.

스텝 S2211에 있어서, 참조 화소 추출부(2201)는, 모든 화소를 처리했는지 여부를 판정하고, 모든 화소를 처리하고 있지 않은 것으로 판정한 경우, 그 처리는, 스텝 S2202로 되돌아온다. 또, 스텝 S2211에 있어서, 모든 화소를 처리했 다고 판정한 경우, 그 처리는, 종료된다.

전술한 바와 같이, 입력 화상에 대하여, 수평 방향, 및 수직 방향으로 4배의 밀도가 되도록 화소를 생성하는 경우, 화소는, 분할되는 화소의 중앙의 위치의 근사 함수의 미분값을 사용하여, 외삽 보간에 의해 분할되므로, 4배 밀도의 화소를 생성하는데는, 합계 3개의 미분값의 정보가 필요하다.

즉, 도 204에서 나타낸 바와 같이, 1화소에 대하여 최종적으로는, 화소 P01, P02, P03, P04의 4화소(도 204에 있어서, 화소 P01, P02, P03, P04는, 도면 중의 4개의 x표의 위치를 중심 위치로 하는 정방형이며, 각변의 길이는, 화소 Pin이, 각각 1이므로, 화소 P01, P02, P03, P04는, 각각 대략 0.5가 된다)의 생성에 필요한 미분 값이 필요하므로, 4배 밀도의 화소를 생성하는데는, 먼저, 수평 방향, 또는 수직 방향(지금의 경우, 수직 방향)으로 2배 밀도의 화소를 생성하고(전술한 최초의 스텝 S2207, S2208의 처리), 또한 분할된 2화소를, 각각 최초에 분할한 방향과 수직의 방향(지금의 경우, 수평 방향)으로 분할하기(전술한 2번째의 스텝 S2207, S2208의 처리)위해서 이다.

그리고, 이상의 예에 있어서는, 4배 밀도의 화소를 연산할 때의 미분값을 예로서 설명하였지만, 그 이상의 밀도의 화소를 연산하는 경우, 스텝 S2207 내지 S2209의 처리를 반복함으로써, 화소값의 연산에 필요한 더 많은 미분값을 구할 수도 있다. 또, 이상의 예에서는, 배 밀도의 화소값을 구하는 예에 대하여 설명하였 지만, 근사 함수 f(x)는 연속 함수이므로, 배밀도 이외의 화소값 대하여도 필요한 미분값을 구하는 것이 가능해진다.

이상에 의하면, 주목 화소 근방의 화소의 화소값을 근사적으로 표현하는 근사 함수를 구하고, 공간 방향의 화소 위치에 대응하는 위치의 미분값을 실세계 추정 정보로서 출력하는 것이 가능해진다.

이상의 도 201에 있어서 설명한 실세계 추정부(102)에 있어서는, 화상을 생성하는데 필요한 미분값을 실세계 추정 정보로서 출력하였지만, 미분값은, 필요한 위치에서의 근사 함수 f(x)의 기울기와 동일한 값이다.

그래서, 다음은, 도 206을 참조하여, 근사 함수 f(x)를 구하지 않고, 화소 생성에 필요한 근사 함수 f(x) 상의 경사만을 직접 구하여, 실세계 추정 정보로서 출력하는 실세계 추정부(102)에 대하여 설명한다.

참조 화소 추출부(2211)는, 데이터 정상성 검출부(101)로부터 입력되는 데이터 정상성 정보(정상성의 각도, 또는 영역의 정보)에 따라서, 입력 화상의 각 화소가 처리 영역인지 여부를 판정하고, 처리 영역일 경우에는, 입력 화상으로부터 경사를 구하기 위해 필요한 참조 화소의 정보(연산에 필요한 주목 화소를 포함하는 수직 방향으로 배열된 주변의 복수개의 화소, 또는 주목 화소를 포함하는 수평 방향으로 배열된 주변의 복수개의 화소의 위치, 및 각각의 화소값의 정보)를 추출하여, 기울기 추정부(2212)에 출력한다.

기울기 추정부(2212)는, 참조 화소 추출부(2211)로부터 입력된 참조 화소의 정보에 따라, 화소 생성에 필요한 화소 위치의 경사의 정보를 생성하여, 실세계 추정 정보로서 화상 생성부(103)에 출력한다. 보다 상세하게는, 경사 추정부(2212)는, 화소 사이의 화소값의 차분 정보를 사용하여, 실세계를 근사적으로 표현하는 근사 함수 f(x) 상의 주목 화소의 위치에서의 기울기를 구하고, 이것에, 주목 화소의 위치 정보, 화소값, 및 정상성의 방향의 기울기의 정보를 실세계 추정 정보로서 출력한다.

다음에, 도 207의 흐름도를 참조하여, 도 206의 실세계 추정부(102)에 의한 실세계 추정의 처리에 대하여 설명한다.

스텝 S2221에 있어서, 참조 화소 추출부(2211)는, 입력 화상과 함께, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서의 각도, 및 영역의 정보를 취득한다.

스텝 S2222에 있어서, 참조 화소 추출부(2211)는, 입력 화상의 미처리 화소로부터 주목 화소를 설정한다.

스텝 S2223에 있어서, 참조 화상 추출부(2211)는, 데이터 정상성 정보의 영역의 정보에 따라, 주목 화소가, 처리 영역의 것인지 여부를 판정하고, 처리 영역의 화소가 아닌 것으로 판정한 경우, 그 처리는, 스텝 S2228로 진행하고, 그 주목 화소에 대하여는, 처리 영역 밖인 것을 경사 추정부(2212)에게 전해 이에 따라, 경 사 추정부(2212)가, 대응하는 주목 화소에 대한 경사를 0으로 하고, 또한 그 주목 화소의 화소값을 부가하여 실세계 추정 정보로서 화상 생성부(103)에 출력하는 동시에, 그 처리는, 스텝 S2229로 진행한다. 또, 주목 화소가 처리 영역의 것이라고 판정된 경우, 그 처리는, 스텝 S2224로 진행한다.

스텝 S2224에 있어서, 참조 화소 추출부(2211)는, 데이터 정상성 정보에 포함되는 각도의 정보로부터, 데이터 정상성이 가지는 방향이, 수평 방향에 가까운 각도인가, 또는 수직에 가까운 각도인지 여부를 판정한다. 즉, 참조 화소 추출부(2211)는, 데이터 정상성이 가지는 각도 θ가, 0도≤θ＜45도, 또는 135도≤θ＜180도의 되는 경우, 주목 화소의 정상성의 방향은, 수평 방향과 가까운 것으로 판정하고, 데이터 정상성이 가지는 각도 θ가, 45도≤θ＜135도의 경우, 주목 화소의 정상성의 방향은, 수직 방향과 가까운 것으로 판정한다.

스텝 S2225에 있어서, 참조 화소 추출부(2211)는, 판정한 방향에 대응한 참조 화소의 위치 정보, 및 화소값을 각각 입력 화상으로부터 추출하고, 경사 추정부(2212)에 출력한다. 즉, 참조 화소는, 후술하는 경사를 연산할 때 사용되는 데이터가 되므로, 정상성의 방향을 나타낸 경사에 따라 추출되는 것이 바람직하다. 따라서, 수평 방향, 또는 수직 방향 중 어느 하나의 판정 방향에 대응하여, 그 방향으로 긴 범위의 참조 화소가 추출된다. 보다 구체적으로는, 예를 들면, 경사가 수직 방향에 가까운 것으로 판정된 경우, 참조 화소 추출부(2211)는, 도 208에 나 타낸 바와 같이, 도 208 중의 중앙의 화소 (0, 0)를 주목 화소로 할 때, 화소(0, 2), (0, 1), (0, 0), (0, -1), (0, -2)의 각각의 화소값을 추출한다. 그리고, 도 208에 있어서는, 각 화소의 크기가 수평 방향, 및 수직 방향에 대하여 각각 1인 것으로 한다.

즉, 참조 화소 추출부(2211)는, 주목 화소를 중심으로 하여 수직(상하) 방향으로 각각 2화소의 합계 5화소가 되도록, 수직 방향으로 긴 범위의 화소를 참조 화소로서 추출한다.

역으로, 수평 방향인 것으로 판정된 경우, 주목 화소를 중심으로 하여 수평(좌우) 방향으로 2화소의 합계 5화소가 되도록, 수평 방향으로 긴 범위의 화소를 참조 화소로서 추출하여, 근사 함수 추정부(2202)에 출력한다. 물론, 참조 화소는, 전술한 바와 같이 5화소로 한정되는 것이 아니고, 그 이외의 개수라도 된다.

스텝 S2226에 있어서, 경사 추정부(2212)는, 참조 화소 추출부(2211)로부터 입력된 참조 화소의 정보와, 정상성 방향의 경사 G_f에 따라, 각각의 화소값의 시프트량을 연산한다. 즉, 공간 방향 Y = 0에 대응하는 근사 함수 f(x)를 기준으로 한 경우, 공간 방향 Y = -2, -1, 1, 2에 대응하는 근사 함수는, 도 208에 나타낸 바와 같이, 정상성의 경사 G_f에 따라 연속되어 있는 것이 되므로, 각 근사 함수는, f(x - Cx(2)), f(x - Cx(1)), f(x - Cx(-1)), f(x - Cx(-2))와 같이 기술되어 공간 방향 Y = -2, -1, 1, 2마다, 각 시프트량분 만큼 공간 방향 X에 어긋난 함수로서 표현된다.

그래서, 경사 추정부(2212)는, 이들 시프트량 Cx(-2) 내지 Cx(2)를 구한다. 예를 들면, 참조 화소가, 도 208에 나타낸 바와 같이 추출되었을 경우, 그 시프트량은, 도면 중의 참조 화소 (0, 2)는, Cx(2) = 2/G_f가 되고, 참조 화소(0, 1)은, Cx(1) = 1/G_f가 되고, 참조 화소(0, 0)는, Cx(0) = 0이 되고, 참조 화소(0, -1)은, Cx(-1) = -1/G_f가 되고, 참조 화소(0, -2)는, Cx(-2) = -2/G_f가 된다.

스텝 S2227에 있어서, 경사 추정부(2212)는, 주목 화소의 위치에서의 근사 함수 f(x) 상의 기울기를 연산한다(추정한다). 예를 들면, 도 208에 나타낸 바와 같이, 주목 화소에 대하여 정상성의 방향이, 수직 방향에 가까운 각도의 경우, 수평 방향으로 인접하는 화소 사이에서는 화소값이 크게 달라지고, 수직 방향의 화소 사이에서는, 화소 사이의 변화가 작고, 변화가 유사하므로, 경사 추정부(2212)는, 수직 방향의 화소 사이의 변화를 시프트량에 의한 공간 방향 X의 변화로 보아서, 수직 방향의 화소 사이의 차분을 수평 방향의 화소 사이의 차분에 치환하여, 주목 화소의 위치에서의 근사 함수 f(x) 상에서의 기울기를 구한다.

즉, 현실 세계를 근사적으로 기술하는 근사 함수 f(x)가 존재한다고 가정하면, 전술한 시프트량과 각 참조 화소의 화소값의 관계는, 도 209에서 나타낸 바와 같게 된다. 여기서, 도 208의 각 화소의 화소값은, 위로부터 P(0, 2), P(0, 1), P(0, 0), P(0, -1), P(0, -2)로 표현된다. 결과적으로, 주목 화소(0, 0) 근방의 화소값 P와 시프트량 Cx는, (P, Cx) = (P(0, 2), -Cx(2)), (P(0, 1), -Cx(1)), (P(0, -1), -Cx(-1)), (P(0, -2), -Cx(-2)), P(0, 0), 0)의 5그룹의 관계를 얻을 수 있게 된다.

그런데, 화소값 P, 시프트량 Cx, 및 기울기 Kx(근사 함수 f(x) 상의 기울기)는, 이하와 같은 식(98)과 같은 관계가 성립하게 된다.

P=Kx×x

…(98)

전술한 식(98)은, 변수 Kx에 대한 1변수의 함수이므로, 경사 추정부(2212)는, 상기 변수 Kx(기울기)에 대하여, 1변수의 최소 자승법에 의해 기울기 Kx를 구한다.

즉, 경사 추정부(2212)는, 이하에 나타내는 것과 같은 식(99)와 같은 정규 방정식을 풀어서, 주목 화소의 기울기를 구하고, 주목 화소의 화소값, 및 정상성의 방향의 기울기의 정보를 부가하여, 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

…(99)

여기서, i는, 전술한 참조 화소의 화소값 P와 시프트량 C의 그룹을 각각 식별하는 번호이며, 1 내지 m이다. 또, m은, 주목 화소를 포함하는 참조 화소수가 된다.

스텝 S2229에 있어서, 참조 화소 추출부(2211)는, 모든 화소를 처리했는지 여부를 판정하고, 모든 화소를 처리하고 있지 않은 것으로 판정한 경우, 그 처리는, 스텝 S2222로 되돌아온다. 또, 스텝 S2229에 있어서, 모든 화소가 처리되었다고 판정된 경우, 그 처리는, 종료된다.

그리고, 전술한 처리에 의해 실세계 추정 정보로서 출력되는 기울기는, 최종적으로 요구하려고 하는 화소값을 외삽 보간하여, 연산할 때 사용된다. 또, 이상의 예에 있어서는, 2배 밀도의 화소를 연산할 때의 기울기를 예로서 설명하였지만, 그 이상의 밀도의 화소를 연산하는 경우, 화소값의 연산에 필요한, 더 많은 위치에서의 기울기를 구할 수도 있다.

예를 들면, 도 204에서 나타낸 바와 같이, 수평 방향으로 2배의 밀도, 또 수직 방향으로 2배의 밀도의 공간 방향으로 합계 4배의 밀도의 화소를 생성하는 경우, 전술한 바와 같이, 도 204 중의 Pin, Pa, Pb의 각각의 위치에 대응하는 근사 함수 f(x)의 기울기 Kx를 구하면 된다.

또, 이상의 예에 대하여 는, 배밀도의 화소값을 구하는 예에 대하여 설명하였지만, 근사 함수 f(x)는 연속 함수이므로, 배밀도 이외의 위치의 화소의 화소값 대하여도 필요한 기울기를 구하는 것이 가능해진다.

이상에 의하면, 주목 화소 근방의 화소의 화소값을 사용하여, 실세계를 근사적으로 표현하는 근사 함수를 구하지 않고, 공간 방향의 화소의 생성에 필요한 위치의 근사 함수 상의 기울기를 실세계 추정 정보로서 생성하고, 또한 출력하는 것이 가능해진다.

다음에, 도 210을 참조하여, 정상성을 가지는 영역에 있어서의, 화소마다의 프레임 방향(시간 방향)의 근사 함수 상의 미분값을 실세계 추정 정보로서 출력하는 실세계 추정부(102)에 대하여 설명한다.

참조 화소 추출부(2231)는, 데이터 정상성 검출부(101)로부터 입력되는 데이터 정상성 정보(정상성의 움직임(움직임 벡터), 및 영역의 정보)에 따라, 입력 화상의 각 화소가 처리 영역인지 여부를 판정하고, 처리 영역인 경우에는, 입력 화상의 화소의 화소값을 근사하는 근사 함수를 구하기 위해 필요한 참조 화소의 정보(연산에 필요한 주목 화소 주변의 복수개의 화소의 위치, 및 화소값)를 추출하여, 근사 함수 추정부(2202)에 출력한다.

근사 함수 추정부(2232)는, 참조 화소 추출부(2231)로부터 입력된 프레임 방향의 참조 화소의 정보에 따라 주목 화소 주변의 각 화소의 화소값을 근사적으로 기술하는 근사 함수를 최소 자승법에 따라 추정하고, 추정한 함수를 미분 처리부(2233)에 출력한다.

미분 처리부(2233)는, 근사 함수 추정부(2232)로부터 입력된 프레임 방향의 근사 함수에 따라, 데이터 정상성 정보의 움직임에 따라, 주목 화소로부터 생성하려고 하는 화소의 위치의 프레임 방향의 시프트량을 구하고, 그 시프트량에 따른 프레임 방향의 근사 함수 상의 위치에서의 미분값(정상성에 대응하는 선으로부터의 1차원 방향에 따른 거리에 대응하는 각 화소의 화소값을 근사하는 함수의 미분값)을 연산하고, 또한 주목 화소의 위치, 화소값, 및 정상성의 움직임의 정보를 부가하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

다음에, 도 211의 흐름도를 참조하여, 도 210의 실세계 추정부(102)에 의한 실세계 추정 처리에 대하여 설명한다.

스텝 S2241에 있어서, 참조 화소 추출부(2231)는, 입력 화상과 함께, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서의 움직임, 및 영역의 정보를 취득한다.

스텝 S2242에 있어서, 참조 화소 추출부(2231)는, 입력 화상의 미처리 화소로부터 주목 화소를 설정한다.

스텝 S2243에 있어서, 참조 화상 추출부(2231)는, 데이터 정상성 정보의 영역의 정보에 따라, 주목 화소가, 처리 영역의 것인지 여부를 판정하고, 처리 영역의 화소가 아닌 것으로 판정한 경우, 그 처리는, 스텝 S2250으로 진행하고, 그 주목 화소에 대하여는, 처리 영역 밖인 것을 근사 함수 추정부(2232)를 통하여, 미분 처리부(2233)에게 전하고 이에 따라, 미분 처리부(2233)가, 대응하는 주목 화소에 대한 미분값을 0으로 하고, 또한 그 주목 화소의 화소값을 부가하여 실세계 추정 정보로서 화상 생성부(103)에 출력하는 동시에, 그 처리는, 스텝 S2251으로 진행한다. 또, 주목 화소가 처리 영역의 것이라고 판정된 경우, 그 처리는, 스텝 S2244으로 진행한다.

스텝 S2244에 있어서, 참조 화소 추출부(2231)는, 데이터 정상성 정보에 포함되는 움직임의 정보로부터, 데이터 정상성이 가지는 방향이, 공간 방향에 가까운 움직임인가, 또는 프레임 방향에 가까운 움직임인지 여부를 판정한다. 즉, 도 212에서 나타낸 바와 같이, 프레임 방향 T와 공간 방향 Y로 이루어지는 면에 있어서, 프레임 방향을 기준축으로 한, 시간과 공간의 면 내의 방향을 나타낸 각도를 θｖ라 하면, 참조 화소 추출부(2201)는, 데이터 정상성이 가지는 각도 θｖ가, 0도≤θｖ＜45도, 또는 135도≤θｖ＜180도가 되는 경우, 주목 화소의 정상성의 움직임은, 프레임 방향(시간 방향)에 가까운 것으로 판정하고, 데이터 정상성이 가지는 각도 θ가, 45도≤θ＜135도가 되는 경우, 주목 화소의 정상성의 방향은, 공간 방 향과 가까운 것으로 판정한다.

스텝 S2245에 있어서, 참조 화소 추출부(2201)는, 판정한 방향에 대응한 참조 화소의 위치 정보, 및 화소값을 각각 입력 화상으로부터 추출하고, 근사 함수 추정부(2232)에 출력한다. 즉, 참조 화소는, 후술하는 근사 함수를 연산할 때 사용되는 데이터가 되므로, 각도로 따라서 추출되는 것이 바람직하다. 따라서, 프레임 방향, 또는 공간 방향 중 어느 하나의 판정 방향에 대응하여, 그 방향으로 긴 범위의 참조 화소가 추출된다. 보다 구체적으로는, 예를 들면, 도 212에서 나타낸 바와 같이, 움직임 방향 V_f가 공간 방향에 가까운 공간 방향인 것으로 판정되고, 이 경우, 참조 화소 추출부(2231)는, 예를 들면, 도 212에서 나타낸 바와 같이, 도 212 중의 중앙의 화소(t, y) = (0, 0)를 주목 화소로 할 때, 화소 (t, y) = (-1, 2), (-1, 1), (-1, 0), (-1, -1), (-1, -2), (0, 2), (0, 1), (0, 0), (0, -1), (0, -2), (1, 2), (1, 1), (1, 0), (1, -1), (1, -2)의 각각의 화소값을 추출한다. 그리고, 도 212에 있어서는, 각 화소의 프레임 방향, 및 공간 방향의 크기가 1인 것으로 한다.

즉, 참조 화소 추출부(2231)는, 주목 화소를 중심으로 하여 공간(도면 중의 상하) 방향으로 각각 2화소×프레임(도면 중의 좌우) 방향으로 각각 1프레임 분의 합계 15화소가 되도록, 프레임 방향에 대하여 공간 방향이 긴 범위의 화소를 참조 화소로서 추출한다.

역으로, 프레임 방향인 것으로 판정된 경우, 주목 화소를 중심으로 하여 공간(도면 중의 상하) 방향으로 각각 1화소×프레임(도면 중의 좌우) 방향으로 각각 2프레임 분의 합계 15화소가 되도록, 프레임 방향으로 긴 범위의 화소를 참조 화소로서 추출하여, 근사 함수 추정부(2232)에 출력한다. 물론, 참조 화소는, 전술한 바와 같이 15화소로 한정되는 것이 아니고, 그 이외의 개수이라도 된다.

스텝 S2246에 있어서, 근사 함수 추정부(2232)는, 참조 화소 추출부(2231)로부터 입력된 참조 화소의 정보에 따라, 최소 자승법에 의해 근사 함수 f(t)를 추정하고, 미분 처리부(2233)에 출력한다.

즉, 근사 함수 f(t)는, 이하의 식(100)에서 나타낸 바와 같은 다항식이다.

…(100)

이와 같이, 식(100)의 다항식의 각 계수 W₁ 내지 W_{n +1}이 구해지고, 각 참조 화소의 화소값을 근사하는 프레임 방향의 근사 함수 f(t)가 구해지게 된다. 그러나, 계수의 수보다 많은 참조 화소값이 필요하므로, 예를 들면, 참조 화소가, 도 212에서 나타낸 바와 같은 경우, 합계 15화소이므로, 다항식의 계수는, 15개 까지만 구할 수 있다. 그래서, 이 경우, 다항식은, 14차 까지의 다항식으로 하고, 계 수 W₁ 내지 W₁₅를 구함으로써 근사 함수를 추정하는 것으로 한다. 그리고, 지금의 경우, 15 다음의 다항식으로 이루어지는 근사 함수 f(x)를 설정하여, 연립 방정식으로 해도 된다.

따라서, 도 212에서 나타내는 15개의 참조 화소값을 사용할 때, 근사 함수 추정부(2232)는, 이하의 식(101)을, 최소 자승법을 이용하여 푸는 것에 의해 추정한다.

P(-1, -2) = f(-1 - Ct(-2))

P(-1, -1) = f(-1 - Ct(-1))

P(-1, 0) = f(-1) (= f(-1 - Ct(0)))

P(-1, 1) = f(-1 - Ct(1))

P(-1, 2) = f(-1 - Ct(2))

P(0), -2) = f(0 - Ct(-2))

P(0), -1) = f(0 - Ct(-1))

P(0, 0) = f(0)(= f(0 - Ct(0)))

P(0, 1) = f(0 - Ct(1))

P(0, 2) = f(0 - Ct(2))

P(1), -2) = f(1 - Ct(-2))

P(1), -1) = f(1 - Ct(-1))

P(1, 0) = f(1)(= f(1-Ct(0)))

P(1, 1) = f(1 - Ct(1))

P(1, 2) = f(1 - Ct(2))

…(101)

그리고, 다항식의 차수에 맞추어서, 참조 화소의 수를 변경할 수도 있다.

여기서, Ct(ty)는, 시프트량이며, 전술한 Cx(ty)와 동일한 것이며, 정상성의 기울기를 V_f로 나타낼 때, Ct(ty) = ty/V_f로 정의된다. 이 시프트량 Ct(ty)는, 공간 방향 Y = 0의 위치 상에서 정의되는 근사 함수 f(t)가, 기울기 V_f를 따라서, 연속되어 있는 것(정상성을 가지고 있는 것) 을 전제로 할 때, 공간 방향 Y = ty의 위치에서의, 프레임 방향 T에 대한 어긋난 폭을 나타낸 것이다. 따라서, 예를 들면, 공간 방향 Y = 0의 위치 상에서 근사 함수가 f(t)로서 정의되어 있는 경우, 상기 근사 함수 f(t)는, 공간 방향 Y = ty에 있어서는, 프레임 방향(시간 방향 T)에 대하여 Ct(ty)만큼 어긋나 있으므로, 함수는, f(t - Ct(ty) (= f(t - ty/V_f)에 의해 정의된다.

스텝 S2247에 있어서, 미분 처리부(2233)는, 근사 함수 추정부(2232)로부터 입력된 근사 함수 f(t)에 따라, 생성하려고 하는 화소의 위치에서의, 시프트량을 구한다.

즉, 프레임 방향, 및 공간 방향으로 각각 2배의 밀도(합계 4배의 밀도)가 되도록 화소를 생성하는 경우, 미분 처리부(2233)는, 예를 들면, 먼저, 공간 방향으로 2배의 밀도가 되는 화소 Pat, Pbt로 2분할하기 위하여, 도 213에 나타낸 바와 같이, 주목 화소의 중심 위치가 Pin(Tin, Yin)에서의 미분값을 구하므로 중심 위치의 Pin(Tin, Yin)의 시프트량을 구한다. 이 시프트량은, Ct(0)이 되므로, 실질적으로는 0가 된다. 그리고, 도 213 중에 있어서, 화소 Pin는, (Tin, Yin)를 대략 중심 위치로 하는 정방형이며, 화소 Pat, Pbt는, (Tin, Yin + 0.25), (Tin, Yin - 0.25)를 각각 대략 중심 위치로 하는 도면 중, 수평 방향으로 긴 직사각형이다. 또, 주목 화소 Pin의 프레임 방향 T의 길이가 1인 것은, 1프레임 분의 셔터 시간에 대응하는 것을 의미한다.

스텝 S2248에 있어서, 미분 처리부(2233)는, 근사 함수 f(t)를 미분하여, 근사 함수의 1차 미분 함수 f(t)’을 구하고, 구해진 시프트량에 따른 위치에서의 미분값을 구하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다. 즉, 지금의 경우, 미분 처리부(2233)는, 미분값 f(Tin)’을 구하고, 그 위치(지금의 경우, 주목 화소 (Tin, Yin))와 그 화소값, 및 정상성의 방향의 움직임의 정보를 부가하여 출력한다.

스텝 S2249에 있어서, 미분 처리부(2233)는, 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 요구되어 있는지 여부를 판정한다. 예를 들면, 지금의 경우, 공간 방향으로 2배의 밀도가 되기위한 미분값 밖에 구해져 있지 않으므로(프레임 방향으로 2배의 밀도가 되기 위한 미분 값이 구해져 있지 않음), 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 구해져 있지 않은 것으로 판정하고, 그 처리는, 스텝 S2247로 되돌아온다.

스텝 S2247에 있어서, 미분 처리부(2203)는, 재차, 근사 함수 추정부(2202)로부터 입력된 근사 함수 f(t)에 따라, 생성하려고 하는 화소의 위치에서의, 시프트량을 구한다. 즉, 미분 처리부(2203)는, 지금의 경우, 2분할된 화소 Pat, Pbt의 각각을 또한 2분할하기 위해 필요한 미분값을 각각 구한다. 화소 Pat, Pbt의 화소의 위치는, 도 213에 있어서의 흑색 원으로 나타낸 각각의 위치이므로, 미분 처리부(2233)는, 각각의 위치에 대응하는 시프트량을 구한다. 화소 Pat, Pbt의 시프트량은, 각각 Ct(0.25), Ct(-0.25)가 된다.

스텝 S2248에 있어서, 미분 처리부(2233)는, 근사 함수 f(t)를 미분하여, 화소 Pat, Pbt의 각각에 대응한 시프트량에 따른 위치에서의 미분값을 구하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

즉, 도 212에서 나타낸 참조 화소를 사용하는 경우, 미분 처리부(2233)는, 도 214에서 나타낸 바와 같이, 구해진 근사 함수 f(t)에 대하여 미분 함수 f(t)’을 구하고, 공간 방향 T에 대하여, 시프트량 Ct(0.25), Ct(-0.25)만큼 어긋난 위치 가 된다(Tin - Ct(0.25))와 (Tin - Ct(-0.25))의 위치에서의 미분값을 각각 f(Tin - Ct(0.25))’, (Tin - Ct(-0.25))’로서 구하고, 그 미분값에 대응하는 위치 정보를 부가하여, 이것을 실세계 추정 정보로서 출력한다. 그리고, 최초의 처리에 의해 화소값의 정보가 출력되어 있으므로 화소값의 정보는 부가되지 않는다.

스텝 S2249에 있어서, 다시, 미분 처리부(2233)는, 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 요구되고 있는지 여부를 판정한다. 예를 들면, 지금의 경우, 공간 방향 Y와 프레임 방향 T에 대하여 각각 2배(합계 4배)의 밀도가 되기 위한 미분 값이 구해진 것이 되므로, 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 구해진 것으로 판정하고, 그 처리는, 스텝 S2251로 진행한다.

스텝 S2251에 있어서, 참조 화소 추출부(2231)는, 모든 화소를 처리했는지 여부를 판정하고, 모든 화소를 처리하고 있지 않은 것으로 판정한 경우, 그 처리는, 스텝 S2242로 돌아온다. 또, 스텝 S2251에 있어서, 모든 화소를 처리했다고 판정한 경우, 그 처리는, 종료한다.

전술한 바와 같이, 입력 화상에 대하여, 프레임 방향(시간 방향), 및 공간 방향으로 4배의 밀도가 되도록 화소를 생성하는 경우, 화소는, 분할되는 화소의 중앙의 위치의 근사 함수의 미분값을 사용하여, 외삽 보간에 의해 분할되므로, 4배 밀도의 화소를 생성하는데는, 합계 3개의 미분값의 정보가 필요하다.

즉, 도 213에 나타낸 바와 같이, 1화소에 대하여 최종적으로는, 화소 P01t, P02t, P03t, P04t의 4화소(도 213에 있어서, 화소 P01t, P02t, P03t, P04t는, 도면 중의 4개의 x표의 위치를 중심 위치로 하는 정방형이며, 각변의 길이는, 화소 Pin이, 각각 1이므로, 화소 P01t, P02t, P03t, P04t는, 각각 대략 0.5가 된다)의 생성에 필요한 미분 값이 필요하므로, 4배 밀도의 화소를 생성하는데는, 먼저, 프레임 방향, 또는 공간 방향으로 2배 밀도의 화소를 생성하고(전술한 최초의 스텝 S2247, S2248의 처리), 또한 분할된 2화소를, 각각 최초에 분할한 방향과 수직의 방향(지금의 경우, 프레임 방향)으로 분할하기 위해서이다(전술한 2번째의 스텝 S2247, S2248의 처리).

그리고, 이상의 예에 있어서는, 4배 밀도의 화소를 연산할 때의 미분값을 예로서 설명하였 지만, 그 이상의 밀도의 화소를 연산하는 경우, 스텝 S2247 내지 S2249의 처리를 반복함으로써, 화소값의 연산에 필요한 더 많은 미분값을 구할 수도 있다. 또, 이상의 예에 대하여 는, 배 밀도의 화소값을 구하는 예에 대하여 설명하였지만, 근사 함수 f(t)는 연속 함수이므로, 배 밀도 이외의 화소값 대하여도 필요한 미분값을 구하는 것이 가능해진다.

이상에 의하면, 주목 화소 근방의 화소의 화소값을 근사적으로 표현하는 근사 함수를 구하고, 화소의 생성에 필요한 위치의 미분값을 실세계 추정 정보로서 출력하는 것이 가능해진다.

이상의 도 210에 있어서 설명한 실세계 추정부(102)에 있어서는, 화상을 생성하는데 필요한 미분값을 실세계 추정 정보로서 출력하고 있었지만, 미분값은, 필요한 위치에서의 근사 함수 f(t)의 기울기와 동일한 값이다.

그래서, 다음은, 도 215를 참조하여, 근사 함수를 구하지 않고, 화소 생성에 필요한, 근사 함수 위의 프레임 방향의 기울기만을 직접 구하여, 실세계 추정 정보로서 출력하는 실세계 추정부(102)에 대하여 설명한다.

참조 화소 추출부(2251)는, 데이터 정상성 검출부(101)로부터 입력되는 데이터 정상성 정보(정상성의 움직임, 및 영역의 정보)에 따라, 입력 화상의 각 화소가 처리 영역인지 여부를 판정하고, 처리 영역일 경우에는, 입력 화상으로부터 기울기를 구하기 위해 필요한 참조 화소의 정보(연산에 필요한 주목 화소를 포함하는 공간 방향으로 배열된 주변의 복수개의 화소, 또는 주목 화소를 포함하는 프레임 방향으로 배열된 주변의 복수개의 화소의 위치, 및 각각의 화소값의 정보)를 추출하여, 기울기 추정부(2252)에 출력한다.

기울기 추정부(2252)는, 참조 화소 추출부(2251)로부터 입력된 참조 화소의 정보에 따라, 화소 생성에 필요한 화소 위치의 기울기의 정보를 생성하여, 실세계 추정 정보로서 화상 생성부(103)에 출력한다. 보다 상세하게는, 기울기 추정부(2252)는, 화소 사이의 화소값의 차분 정보를 사용하여, 각 참조 화소의 화소값을 근사적으로 표현하는 근사 함수 상의 주목 화소의 위치에서의 프레임 방향 의 기울기를 구하고, 이것에, 주목 화소의 위치 정보, 화소값, 및 정상성의 방향의 움직임의 정보를 실세계 추정 정보로서 출력한다.

다음에, 도 216의 흐름도를 참조하여, 도 215의 실세계 추정부(102)에 의한 실세계 추정 처리에 대하여 설명한다.

스텝 S2261에 있어서, 참조 화소 추출부(2251)는, 입력 화상과 함께, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서의 움직임, 및 영역의 정보를 취득한다.

스텝 S2262에 있어서, 참조 화소 추출부(2251)는, 입력 화상의 미처리 화소로부터 주목 화소를 설정한다.

스텝 S2263에 있어서, 참조 화상 추출부(2251)는, 데이터 정상성 정보의 영역의 정보에 따라, 주목 화소가, 처리 영역의 것인지 여부를 판정하고, 처리 영역의 화소가 아닌 것으로 판정한 경우, 그 처리는, 스텝 S2268로 진행하고, 그 주목 화소에 대하여는, 처리 영역 밖인 것을 기울기 추정부(2252)에게 전해 이에 따라, 기울기 추정부(2252)가, 대응하는 주목 화소에 대한 경사를 0으로 하고, 또한 그 주목 화소의 화소값을 부가하여 실세계 추정 정보로서 화상 생성부(103)에 출력하고, 또한 그 처리는, 스텝 S2269로 진행한다. 또, 주목 화소가 처리 영역의 것이라고 판정된 경우, 그 처리는, 스텝 S2264로 진행한다.

스텝 S2264에 있어서, 참조 화소 추출부(2211)는, 데이터 정상성 정보에 포 함되는 움직임의 정보로부터, 데이터 정상성의 움직임이, 프레임 방향에 가까운 움직임인가, 또는 공간 방향에 가까운 움직임인지 여부를 판정한다. 즉, 프레임 방향 T와 공간 방향 Y로 이루어지는 면에 있어서, 프레임 방향을 기준축으로 한, 시간과 공간의 면 내의 방향을 나타낸 각도를 θｖ라 하면, 참조 화소 추출부(2251)는, 데이터 정상성의 움직임의 각도θｖ가, 0도≤θｖ＜45도, 또는 135도≤θｖ＜180도가 되는 경우, 주목 화소의 정상성의 움직임은, 프레임 방향에 가까운 것으로 판정하고, 데이터 정상성이 가지는 각도 θｖ가, 45도≤θｖ＜135도가 되는 경우, 주목 화소의 정상성의 움직임은, 공간 방향에 가까운 것으로 판정한다.

스텝 S2265에 있어서, 참조 화소 추출부(2251)는, 판정한 방향에 대응한 참조 화소의 위치 정보, 및 화소값을 각각 입력 화상으로부터 추출하고, 기울기 추정부(2252)에 출력한다. 즉, 참조 화소는, 후술하는 기울기를 연산할 때 사용되는 데이터가 되므로, 정상성의 움직임에 따라 추출되는 것이 바람직하다. 따라서, 프레임 방향, 또는 공간 방향 중 어느 하나의 판정 방향에 대응하여, 그 방향으로 긴 범위의 참조 화소가 추출된다. 보다 구체적으로는, 예를 들면, 움직임이 공간 방향에 가까운 것으로 판정된 경우, 참조 화소 추출부(2251)는, 도 217에 나타낸 바와 같이, 도 217 중의 중앙의 화소(t, y) = (0, 0)를 주목 화소로 할 때, 화소(t, y) = (0, 2), (0, 1), (0, 0), (0, -1), (0, -2)의 각각의 화소값을 추출한다. 그리고, 도 217에 있어서는, 각 화소의 크기가 프레임 방향, 및 공간 방향에 대해 각 각 1인 것으로 한다.

즉, 참조 화소 추출부(2251)은, 주목 화소를 중심으로 하여 공간(도면 중의 상하) 방향으로 각각 2화소의 합계 5화소가 되도록, 공간 방향으로 긴 범위의 화소를 참조 화소로서 추출한다.

역으로, 프레임 방향인 것으로 판정된 경우, 주목 화소를 중심으로 하여 프레임(도면 중의 좌우) 방향으로 2화소의 합계 5화소가 되도록, 수평 방향으로 긴 범위의 화소를 참조 화소로서 추출하여, 근사 함수 추정부(2252)에 출력한다. 물론, 참조 화소는, 전술한 바와 같이 5화소로 한정되는 것이 아니고, 그 이외의 개수이라도 된다.

스텝 S2266에 있어서, 기울기 추정부(2252)는, 참조 화소 추출부(2251)로부터 입력된 참조 화소의 정보와, 정상성 방향의 움직임 V_f의 방향에 따라, 각각의 화소값의 시프트량을 연산한다. 즉, 공간 방향 Y = 0에 대응하는 근사 함수 f(t)를 기준으로 한 경우, 공간 방향 Y = -2, -1, 1, 2에 대응하는 근사 함수는, 도 217에 나타낸 바와 같이, 정상성의 경사 V_f에 따라 연속되어 있게 되므로, 각 근사 함수는, f(t - Ct(2)), f(t - Ct(1)), f(t - Ct(-1)), f(t - Ct(-2))와 같이 기술되어 공간 방향 Y = -2, -1, 1, 2마다, 각 시프트량분 만큼 프레임 방향 T에 어긋난 함수로서 표현된다.

그래서, 기울기 추정부(2252)는, 이들 시프트량 Ct(-2) 내지 Ct(2)를 구한다. 예를 들면, 참조 화소가, 도 217에 나타낸 바와 같이 추출되었을 경우, 상기 시프트량은, 도면 중의 참조 화소 (0, 2)는, Ct(2) = 2/V_f가 되고, 참조 화소 (0, 1)는, Ct(1) = 1/V_f가 되고, 참조 화소(0, 0)는, Ct(0) = 0가 되고, 참조 화소 (0, -1)은, Ct(-1) = -1/V_f가 되고, 참조 화소(0, -2)는, Ct(-2) = -2/V_f가 된다. 기울기 추정부(2252)는, 이들 시프트량 Ct(-2) 내지 Ct(2)를 구한다.

스텝 S2267에 있어서, 기울기 추정부(2252)는, 주목 화소의 프레임 방향의 기울기를 연산한다(추정한다). 예를 들면, 도 217에 나타낸 바와 같이, 주목 화소에 대하여 정상성의 방향이, 공간 방향에 가까운 각도의 경우, 프레임 방향에 인접하는 화소 사이에서는 화소값이 크게 다르므로, 공간 방향의 화소 사이에서는, 화소 사이의 변화가 작고, 변화가 유사하므로, 기울기 추정부(2252)는, 공간 방향의 화소 사이의 변화를 시프트량에 의한 프레임 방향 T의 변화로 보아서, 공간 방향의 화소 사이의 차분을 프레임 방향의 화소 사이의 차분에 치환하여, 주목 화소에서의 기울기를 구한다.

즉, 현실 세계를 근사적으로 기술하는 함수 f(t)가 존재한다고 가정하면, 전술한 시프트량과 각 참조 화소의 화소값과의 관계는, 도 218에 나타낸 바와 같은 것이 된다. 여기서, 도 218의 각 화소의 화소값은, 위로부터 P(0, 2), P(0, 1), P(0, 0), P(0, -1), P(0, -2)로 표현된다. 결과적으로, 주목 화소(0, 0) 근방의 화소값 P와 시프트량 Ct는, (P, Ct) = (P(0, 2), -Ct(2)), (P(0, 1), -Ct(1)), (P(0), -1), -Ct(-1)), (P(0), -2), -Ct(-2)), (P(0, 0), 0))의 5그룹의 관계를 얻을 수 있게 된다.

그런데, 화소값 P, 시프트량 Ct, 및 기울기 Kt(근사 함수 f(t) 상의 기울기)는, 이하의 식(102)와 같은 관계가 성립하게 된다.

P=Kt×t

…(102)

전술한 식(102)느, 변수 Kt에 대한 1변수의 함수이므로, 기울기 추정부(2212)는, 상기 변수 Kt(기울기)에 대하여, 1변수의 최소 자승법에 의해 기울기 Kt를 구한다.

즉, 기울기 추정부(2252)는, 이하에 나타내는 식(103)과 같은 정규 방정식을 풀어서, 주목 화소의 기울기를 구하고, 주목 화소의 화소값, 및 정상성의 방향의 기울기의 정보를 부가하여, 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

…(103)

여기서, i는, 전술한 참조 화소의 화소값 P와 시프트량 Ct의 그룹을 각각 식별하는 번호이며, 1 내지 m이다. 또, m은, 주목 화소를 포함하는 참조 화소수가 된다.

스텝 S2269에 있어서, 참조 화소 추출부(2251)는, 모든 화소를 처리했는지 여부를 판정하고, 모든 화소를 처리하고 있지 않은 것으로 판정한 경우, 그 처리는, 스텝 S2262로 돌아온다. 또, 스텝 S2269에 있어서, 모든 화소가 처리된 것으로 판정된 경우, 그 처리는, 종료된다.

그리고, 전술한 처리에 의해 실세계 추정 정보로서 출력되는 프레임 방향의 기울기는, 최종적으로 요구하려고 하는 화소값을 외삽 보간하여 연산할 때 사용된다. 또, 이상의 예에 있어서는, 2배 밀도의 화소를 연산할 때의 기울기를 예로서 설명하였지만, 그 이상의 밀도의 화소를 연산하는 경우, 화소값의 연산에 필요한, 더 많은 위치에서의 경사를 구할 수도 있다.

예를 들면, 도 204에서 나타낸 바와 같이, 수평 방향으로 2배의 밀도, 또한 프레임 방향으로 2배의 밀도의 시공간 방향으로 합계 4배의 밀도의 화소를 생성하는 경우, 전술한 바와 같이, 도 204 중의 Pin, Pat, Pbt의 각각의 위치에 대응하는 근사 함수 f(t)의 기울기 Kt를 구하면 된다.

또, 이상의 예에 대하여 는, 배 밀도의 화소값을 구하는 예에 대하여 설명하였지만, 근사 함수 f(t)는 연속 함수이므로, 배 밀도 이외의 위치의 화소의 화소값 대하여도 필요한 경사를 구하는 것이 가능해진다.

물론, 프레임 방향, 또는 공간 방향에 대한 근사 함수 위의 기울기, 또는 미분값을 구하는 처리의 순서는 관계없다. 또한, 공간 방향에 있어서, 전술한 예에 있어서는, 공간 방향 Y와 프레임 방향 T의 관계를 사용하여, 설명하였지만, 공간 방향 X와 프레임 방향 T의 관계를 사용하여도 된다. 또한, 시공간 방향 중 어느 하나의 2차원의 관계로부터(어느 하나로부터 1차원 방향의) 기울기, 또는 미분값을 선택적으로 구할 수도 있다.

이상에 의하면, 주목 화소 근방의 화소의 화소값을 사용하여, 실세계를 근사적으로 표현하는 프레임 방향의 근사 함수를 구하지 않고, 화소의 생성에 필요한 위치의 프레임 방향(시간 방향)의 근사 함수 상의 기울기를 실세계 추정 정보로서 생성하고, 또한 출력하는 것이 가능해진다.

다음에, 도 219 내지 도 249를 참조하여, 실세계 추정부(102)(도 3)의 실시예의 다른 예에 대하여 설명한다.

도 219는, 이 예의 실시예의 원리를 설명하는 도면이다.

도 219에서 나타낸 바와 같이, 센서(2)에 입사되는 화상인, 실세계(1)의 신호(광의 강도의 분포)는, 소정의 함수 F에 의해 표현된다. 그리고, 이하, 이 예의 실시예의 설명에 있어서는, 화상인, 실세계(1)의 신호를, 특히 광신호라 하고, 함수 F를, 특히 광신호 함수 F라고 한다.

이 예의 실시예에 있어서는, 광신호 함수 F에 의해 표현되는 실세계(1)의 광신호가 소정의 정상성을 가지는 경우, 실세계 추정부(102)가, 센서(2)로부터의 입력 화상(정상성에 대응하는 데이터 정상성을 포함하는 화상 데이터)과 데이터 정상성 검출부(101)로부터의 데이터 정상성 정보(입력 화상의 데이터 정상성에 대응하는 데이터 정상성 정보)를 사용하여, 광신호 함수 F를 소정의 함수 f에 의해 근사함으로써, 광신호 함수 F를 추정한다. 그리고, 이하, 이 예의 실시예의 설명에 있어서는, 함수 f를, 특히 근사 함수 f라고 한다.

환언하면, 이 예의 실시예에 있어서는, 실세계 추정부(102)가, 근사 함수 f에 의해 표현되는 모델(161)(도 7)을 사용하여, 광신호 함수 F로 표현되는 화상(실세계(1)의 광신호)을 근사(기술)한다. 따라서, 이하, 이 예의 실시예를, 함수 근사 방법이라 한다.

여기서, 함수 근사 방법의 구체적인 설명에 들어가기 전에, 본원 출원인이 함수 근사 방법을 발명하기에 이른 배경에 대하여 설명한다.

도 220은, 센서(2)가 CCD가 되는 경우의 적분 효과를 설명하는 도면이다.

도 220에 나타낸 바와 같이, 센서(2)의 평면상에는, 복수개의 검출 소자(2-1)가 배치되어 있다.

도 220의 예에서는, 검출 소자(2-1)의 소정의 1변에 평행한 방향이, 공간 방향의 1방향인 X 방향으로 되어 있고, X 방향으로 수직인 방향이, 공간 방향의 다른 방향인 Y 방향로 되어 있다. 그리고, X-Y 평면에 수직인 방향이, 시간 방향인 t 방향으로 되어 있다.

또, 도 220의 예에서는, 센서(2)의 각 검출 소자(2-1)의 각각의 공간적인 형상은, 1변의 길이가 1인 정방형로 되어 있다. 그리고, 센서(2)의 셔터 시간(노광 시간)이 1로 되어 있다.

또한, 도 220의 예에서는, 센서(2)의 소정의 1개의 검출 소자(2-1)의 중심이, 공간 방향(X 방향과 Y 방향)의 원점(X 방향의 위치 x = 0, 및 Y 방향의 위치 y = 0)이 되어 있고, 또, 노광 시간의 중간 시각이, 시간 방향(t 방향)의 원점(t 방향)의 위치 t = 0로 되어 있다.

이 경우, 공간 방향의 원점(x = 0, y =0)에 그 중심이 존재하는 검출 소자(2-1)은, X 방향으로 -0.5 내지 0.5의 범위, Y 방향으로 -0.5 내지 0.5의 범위, 및 t 방향으로 -0.5 내지 0.5의 범위에서 광신호 함수 F(x, y, t)를 적분하고, 그 적분값을 화소값 P로서 출력하게 된다.

즉, 공간 방향의 원점에 그 중심이 존재하는 검출 소자(2-1)로부터 출력되는 화소값 P는, 다음의 식(104)에 의해 표현된다.

…(104)

그 외의 검출 소자(2-1)도 마찬가지로, 대상으로 하는 검출 소자(2-1)의 중심을 공간 방향의 원점으로 정함으로써, 식(104)에서 나타내는 화소값 P를 출력하게 된다.

도 221은, 센서(2)의 적분 효과의 구체적인 예를 설명하는 도면이다.

도 221에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 220)을 나타내고 있다.

실세계(1)의 광신호 중 1부분(이하, 이와 같은 부분을, 영역이라 한다)(2301)은, 소정의 정상성을 가지는 영역의 일례를 나타내고 있다.

그리고, 실제로는, 영역(2301)은 연속된 광신호의 1부분(연속된 영역)이다. 이에 비해, 도 221에 있어서는, 영역(2301)은, 20개의 소영역(정방형의 영역)으로 구분되어 있는 것처럼 나타나 있다. 이것은, 영역(2301)의 크기가, X 방향에 대하여 4개분, 또한 Y 방향에 대하여 5개분의 센서(2)의 검출 소자(화소)가 배열된 크기에 해당하는 것을 나타내기 때문이다. 즉, 영역(2301) 내의 20개의 소영역(가상 영역)의 각각은 1개의 화소에 해당한다.

또, 영역(2301) 중 도면의 흰색 부분은 가는 선에 대응하는 광신호를 나타내고 있다. 따라서, 영역(2301)은, 가는 선이 계속되는 방향으로 정상성을 가지고 있게 된다. 그래서, 이하, 영역(2301)을, 가는 선 함유 실세계 영역(2301)이라고 한다.

이 경우, 가는 선 함유 실세계 영역(2301)(실세계(1)의 광신호의 1부분)이 센서(2)에 의해 검출되면, 센서(2)로부터는, 적분 효과에 의하여, 입력 화상(화소값)의 영역(2302)(이하, 가는 선 함유 데이터 영역(2302)이라 한다)가 출력된다.

그리고, 가는 선 함유 데이터 영역(2302)의 각 화소의 각각은, 도면 중, 화상으로 나타나 있지만, 실제로는, 소정의 1개의 값을 나타내는 데이터이다. 즉, 가는 선 함유 실세계 영역(2301)은, 센서(2)의 적분 효과에 의하여, 소정의 1개의 화소값을 각각 가지는 20개의 화소(X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소)로 구분된 가는 선 함유 데이터 영역(2302)으로 변화되어 버린다(왜곡되어 버린다).

도 222는, 센서(2)의 적분 효과의 구체적인 다른 예(도 221과는 상이한 예)를 설명하는 도면이다.

도 222에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 220)을 나타내고 있다.

실세계(1)의 광신호의 1부분(영역)(2303)은, 소정의 정상성을 가지는 영역의 다른 예(도 221의 가는 선 함유 실세계 영역(2301)과는 상이한 예)를 나타내고 있다.

그리고, 영역(2303)은, 가는 선 함유 실세계 영역(2301)과 동일한 크기를 가지는 영역이다. 즉, 가는 선 함유 실세계 영역(2301)와 마찬가지로, 영역(2303) 도, 실제로는 연속된 실세계(1)의 광신호의 1부분(연속된 영역)이지만, 도 222에 있어서는, 센서(2)의 1화소에 해당하는 20개의 소영역(정방형의 영역)으로 구분되어 있는 것처럼 나타나 있다.

또, 영역(2303)은, 소정의 제1 광의 강도(값)를 가지는 제1 부분과 소정의 제2 광의 강도(값)를 가지는 제2 부분의 에지를 포함하고 있다. 따라서, 영역(2303)은, 에지가 계속되는 방향으로 정상성을 가지고 있게 된다. 그래서, 이하, 영역(2303)을, 2치 에지 함유 실세계 영역(2303)이라고 한다.

이 경우, 2치 에지 함유 실세계 영역(2303)(실세계(1)의 광신호의 1부분)이 센서(2)에 의해 검출되면, 센서(2)로부터는, 적분 효과에 의하여, 입력 화상(화소값)의 영역(2304)(이하, 2치 에지 함유 데이터 영역(2304)이라고 한다)가 출력된다.

그리고, 2치 에지 함유 데이터 영역(2304)의 각 화소값의 각각은, 가는 선 함유 데이터 영역(2302)와 마찬가지로, 도면 중, 화상으로 표현되어 있지만, 실제로는, 소정값을 나타내는 데이터이다. 즉, 2치 에지 함유 실세계 영역(2303)은, 센서(2)의 적분 효과에 의하여, 소정의 1개의 화소값을 각각 가지는 20개의 화소(X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소)로 구분된 2치 에지 함유 데이터 영역(2304)으로 변화하여 버린다(왜곡되어 버린다).

종래의 화상 처리 장치는, 이와 같은 가는 선 함유 데이터 영역(2302)나 2치 에지 함유 데이터 영역(2304) 등, 센서(2)로부터 출력된 화상 데이터를 원점(기준)으로 하면 모두, 화상 데이터를 처리의 대상으로 하여, 그 이후의 화상 처리를 행하고 있었다. 즉, 센서(2)로부터 출력된 화상 데이터는, 적분 효과에 의해 실세계(1)의 광신호와는 상이한 것(왜곡한 것)이 되어 있음에도 불구하고, 종래의 화상 처리 장치는, 상기 실세계(1)의 광신호와는 상이한 데이터를 양으로서 화상 처리를 행하였다.

그 결과, 종래의 화상 처리 장치에서는, 센서(2)로부터 출력된 단계에서, 실세계의 디테일이 파괴되어 버린 파형(화상 데이터)을 기준으로 하여, 그 파형으로부터, 원래의 디테일을 복원하는 것은 매우 곤란한 과제가 있었다.

그래서, 함수 근사 방법에 있어서는, 상기 과제를 해결하기 위하여, 전술한 바와 같이(도 219에서 나타낸 바와 같이), 실세계 추정부(102)가, 가는 선 함유 데이터 영역(2302)나 2치 에지 함유 데이터 영역(2304)와 같은 센서(2)로부터 출력된 화상 데이터(입력 화상)로부터, 광신호 함수 F(실세계(1)의 광신호)를 근사 함수 f에 의해 근사함으로써, 광신호 함수 F를 추정한다.

이로써, 실세계 추정부(102)로부터 후단에 있어서(지금의 경우, 도 3의 화상 생성부(103)), 적분 효과가 고려된 화상 데이터, 즉, 근사 함수 f에 의해 표현 가능한 화상 데이터를 원점으로서 그 처리를 실행하는 것이 가능하게 된다.

이하, 도면을 참조하여, 이와 같은 함수 근사 방법 중, 3개의 구체적인 방법(제1 내지 제3 함수 근사 방법)의 각각에 대하여 개별적으로 설명한다.

처음에, 도 223 내지 도 237을 참조하여, 제1 함수 근사 방법에 대하여 설명한다.

도 223은, 전술한 도 221에 나타내는 가는 선 함유 실세계 영역(2301)을 재차 나타낸 도면이다.

도 223에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 220)을 나타내고 있다.

제1 함수 근사 방법은, 예를 들면, 도 223에 나타낸 바와 같은 가는 선 함유 실세계 영역(2301)에 대응하는 광신호 함수 F(x, y, t)를 X 방향(도면 중 화살표(2311)의 방향)에 투영한 1차원의 파형(이하, 이와 같은 파형을, X 단면 파형 F(x)라고 한다)을, n차(n는, 임의의 정수)의 다항식인 근사 함수 f(x)에 의해 근사하는 방법이다. 따라서, 이하, 제1 함수 근사 방법을, 특히, 1차원 다항식 근사 방법이라 한다.

그리고, 1차원 다항식 근사 방법에 있어서, 근사의 대상이 되는 X 단면 파형 F(x)는, 물론, 도 223의 가는 선 함유 실세계 영역(2301)에 대응하는 것에 한정되지 않는다. 즉, 후술하는 바와 같이, 1차원 다항식 근사 방법에 있어서는, 정상성을 가지는 실세계(1)의 광신호에 대응하는 X단면 파형 F(x)이면, 어느 것이라도 근사할 수 있다.

또, 광신호 함수 F(x, y, t)의 투영의 방향은 X 방향에 한정되지 않고, Y 방향 또는 t 방향이라도 된다. 즉, 1차원 다항식 근사 방법에 있어서는, 광신호 함수 F(x, y, t)를 Y 방향으로 투영한 함수 F(y)를, 소정의 근사 함수 f(y)로 근사할 수도 있고, 광신호 함수 F(x, y, t)를 t 방향으로 투영 한 함수 F(t)를, 소정의 근사 함수 f(t)로 근사할 수도 있다.

보다 상세하게는, 1차원 다항식 근사 방법은, 예를 들면, X 단면 파형 F(x)를, 다음의 식(105)에서 나타낸 바와 같은, n차 다항식인 근사 함수 f(x)로 근사하는 방법이다.

…(105)

즉, 1차원 다항식 근사 방법에 있어서는, 실세계 추정부(102)가, 식(105)의 x^i의 계수(특징량 w_i를 연산함으로써, X 단면 파형 F(x)를 추정한다.상기 특징량 w_i의 연산 방법은, 특히 한정되지 않고, 예를 들면, 다음의 제1 내지 제3의 방법이 사용 가능하다.

즉, 제1 방법은, 종래부터 이용되고 있는 방법이다.

이에 비해, 제2 방법은, 본원 출원인이 새로 발명한 방법으로서, 제1 방법에 비하여, 보다 더, 공간방향의 정상성을 고려한 방법이다.

그러나, 후술하는 바와 같이, 제1 방법과 제2 방법에 있어서는, 센서(2)의 적분 효과가 고려되어 있지 않다. 따라서, 제1 방법 또는 제2 방법에 의해 연산된 특징량 w_i를 전술한 식(105)에 대입하여 얻어지는 근사 함수 f(x)는, 입력 화상의 근사 함수이지만, 엄밀하게는, X 단면 파형 F(x)의 근사 함수라고는 할 수 없다.

그래서, 본원 출원인은, 제2 방법에 대하여, 센서(2)의 적분효과를 또한 고려하여 특징량 w_i를 연산하는 제3 방법을 발명했다.이 제3 방법에 의해 연산된 특징량 w_i를, 전술한 식(105)에 대입하여 얻어지는 근사 함수 f(x)는, 센서(2)의 적분 효과를 고려하고 있는 점에서, X 단면 파형 F(x)의 근사 함수라고 할 수 있다.

이와 같이, 엄밀하게는, 제1 방법과 제2 방법은, 1차원 다항식 근사 방법이라고는 할 수 없으며, 제3 방법만이 1차원 다항식 근사 방법이라고 할 수 있다.

환언하면, 도 224에 나타난 바와 같이, 제2 방법은, 1차원 다항식 근사 방법과는 상이한, 본 발명의 실세계추정부(102)의 실시예이다.즉, 도 224는, 제2 방법 에 대응하는 실시예의 원리를 설명하는 도면이다.

도 224로 나타낸 바와 같이, 제2방법에 대응하는 실시예에 있어서는, 광신호 함수 F로 나타내는 실세계(1)의 광신호가 소정의 정상성을 가지는 경우, 실세계 추정부(102)가, 센서(2)로부터의 입력 화상(정상성에 대응하는 데이터의 정상성을 포함하는 화상 데이터)과, 데이터 정상성 검출부(101)으로부터의 데이터 정상성 정보(입력화상의 데이터 정상성에 대응하는 데이터 정상성정보)를 사용하여, X 단면파형 F(x)를 근사하는 것이 아니라, 센서(2)로부터의 입력 화상을 소정의 근사 함수 f₂(x)로 근사한다.

이와 같이, 제2 방법은, 센서(2)의 적분 효과를 고려하지 않고, 입력 화상의 근사에 머물고 있는 점에서, 제3 방법과 동일 레벨의 방법이라고는 말하기 어렵다. 그러나 제2 방법은, 공간 방향의 정상성을 고려하고 있는 점에서, 종래의 제1의방법보다 우수한 방법이다.

이하, 제1 방법, 제2 방법, 및 제3 방법의 각각의 상세에 대하여, 그 순서로 개별적으로 설명하겠다.

그리고, 이하, 제1 방법, 제2 방법, 및 제3 방법에 의해 생성되는 근사 함수 f(x)의 각각을, 다른 방법의 것과 구별하는 경우, 특히, 근사 함수 f₁(x), 근사 함수수 f₂(x), 및 근사 함수 f₃(x)로 각각 칭한다.

처음에, 제1 방법의 상세에 대하여 설명한다.

제1 방법에 있어서는, 전술한 식(105)에 나타낸 근사 함수 f₁(x)가, 도 225의 가는 선 함유 실세계 영역(2301) 내에서 성립된다고 하여, 다음의 예측 방정식(106)을 정의한다.

…(106)

식(106)에 있어서, x는, 주목 화소로부터의 X 방향에 대한 상대적인 화소 위치를 나타내고 있다. y는, 주목 화소로부터의 Y 방향에 대한 상대적인 화소 위치를 나타내고 있다. e는, 오차를 나타내고 있다.구체적으로는, 예를 들면, 지금, 도225에 나타낸 바와 같이, 주목 화소가, 가는 선 함유 데이터 영역(2302)(가는선 함유 실세계 영역(2301)(도 223)이 센서(2)에 의해 검출되어, 출력된 데이터) 중의, 도면 중, 좌측으로부터 X 방향으로 2번째 화소이며, 아래로부터 Y 방향으로 3번째 화소인 것으로 한다. 또한, 주목 화소의 중심을 원점(0, 0)으로 하고, 센서(2)의 X 방향과 Y 방향(도 220)의 각각에 평행한 x축과 y축을 축으로 하는 좌표계(이하, 주목 화소 좌표계 라고 함)가 설정되어 있는 것으로 한다. 이 경우, 주목 화소 좌표계의 좌표값(x, y)이, 상대 화소 위치를 나타내게 된다.

또, 식(106)에 있어서, P(x, y)는, 상대 화소 위치(x, y)에 있어서의 화소값 을 나타내고 있다. 구체적으로는, 지금의 경우, 가는 선 함유 데이터 영역(2302) 내의 P(x, y)는, 도 226에 나타낸 바와 같이 된다.

도 226는, 상기 화소값 P(x, y)를 그래프화한 것을 나타내고 있다.

도 226에 있어서, 각 그래프의 각각의 세로축은, 화소값을 나타내고 있고, 가로축은, 주목 화소로부터의 X 방향의 상대 위치 x를 나타내고 있다.또한, 도면중, 위로부터 첫번째의 그래프의 점선은 입력 화소값 P(x, -2)를, 위로부터 2번째의 그래프의 3점쇄선은 입력 화소값 P(x, -1)를, 위로부터 3번째의 그래프의 실선은 입력 화소값 P(x, 0)를, 위로부터 4번째의 그래프의 1점 쇄선은 입력 화소값 P(x, 1)를, 위로부터 5번째(아래로부터 1번째)의 그래프의 2점 쇄선은 입력 화소값 P(x, 2)를, 각각 나타내고 있다.

전술한 식(106)에 대하여, 도 226에 나타낸 20개의 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)(단, x는, -1 내지 2 중, 어느 하나의 정수치)의 각각을 대입하면, 다음의 식(107)에서 나타내는 20개의 방정식이 생성된다. 그리고, e_k(k는, 1 내지 20중 어느 하나의 정수치)의 각각은, 오차를 나타내고 있다.

…(107)

식(107)은, 20개의 방정식로 구성되어 있으므로, 근사 함수 f₁(x)의 특징량 w_i의 개수가 20개보다 적은 경우, 즉, 근사 함수 f₁(x)가 19차보다 적은 차수의 다항식인 경우, 예를 들면, 최소 자승법을 이용하여 특징량 w_i의 산출이 가능하다. 그리고, 최소 자승법의 구체적인 해법은 후술하겠다.

예를 들면, 지금, 근사 함수 f₁(x)의 차수가 5차인 경우, 식(107)을 이용하여 최소 자승법에 의해 연산된 근사 함수 f₁(x)(연산된 특징량 w_i에 의해 생성되는 근사 함수 f₁(x))는, 도 227에 나타낸 곡선과 같이 된다.

그리고, 도 227에 있어서, 세로축은 화소값을 나타내고 있고, 가로축은 주목 화소로부터의 상대 위치 x를 나타내고 있다.

즉, 도 225의 가는 선 함유 데이터 영역(2302)을 구성하는 20개의 화소값 P(x, y)의 각각 (도 226에 나타낸 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각)을, 예를 들면, x 축에 따라 그대로 더하면 (Y 방향의 상대 위치 y를 일정하다고 간주하여, 도 226에 나타낸 5개의 그래프를 중복시킴), 도 227에 나타낸 바와 같은, x 축에 평행한 복수개의 선(점선, 3점쇄선, 실선, 1점 쇄선, 및 2점 쇄선)이 분포한다.

단, 도 227에 있어서는, 점선은 입력 화소값 P(x, -2)를, 3점 쇄선은 입력 화소값 P(x, -1)를, 실선은 입력 화소값 P(x, 0)를, 1점 쇄선은 입력 화소값 P(x, 1)를, 2점 쇄선은 입력 화소값 P(x, 2)를, 각각 나타내고 있다. 또한, 동일한 화소값의 경우, 실제로는 2개 이상의 선이 겹치게 되지만, 도 227에 있어서는각 선의 구별이 되도록, 각 선이 겹치지 않도록 그려져있다.

그리고, 이와 같이 분포한 20개의 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각과 값 f₁(x)의 오차가 최소가 되는록 하는 회귀 곡선(최소 자승법에 의해 연산된 특징량 w_i를 전술한 식(104)에 대입하여 얻어지는 근사 함수 f₁(x))가, 도 227에 나타낸 곡선(근사 함수 f₁(x))이 된다.

이와 같이, 근사 함수 f₁(x)는, Y 방향의 화소값(주목 화소로부터의 X 방향의 상대 위치 x가 동일한 화소값)P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x,2)의 평균값을, X 방향으로 연결한 곡선을 단지 나타내고 있는 것에 불과하다. 즉, 광신호가 가지는 공간방 향의 정상성을 고려 하지 않고, 근사 함수 f₁(x)가 생성되어 있다.

예를 들면, 지금의 경우, 근사의 대상은, 가는 선 함유 실세계 영역(2301)(도 223)이 되어있다. 이 가는 선 함유 실세계 영역(2301)은, 도 228에 나타낸 바와 같이, 기울기 G_F로 나타내는 공간 방향의 정상성을 가지고 있다. 그리고, 도 228에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 220)을 나타내고 있다

따라서, 데이터 정상성 검출부(101)(도 219)는, 공간 방향의 정상성의 기울기 G_F에 대응하는 데이터 정상성 정보로서, 도 228에 나타낸 바와 같은 각도 θ(기울기 G_F에 대응하는 기울기 G_F로 나타내는 데이터 정상성의 방향과 X 방향이 이루는 각도 θ)를 출력할 수 있다.

그러나, 제1 방법에 있어서는, 데이터 정상성 검출부(101)로부터 출력되는 데이터 정상성 정보는 일체 이용되고 있지 않다.

환언하면, 도 228에 나타낸 바와 같이, 가는 선 함유 실세계 영역(2301)의 공간 방향의 정상성의 방향은 대략 각도 θ 방향이다. 그러나, 제1 방법은, 가는 선 함유 실세계 영역(2301)의 공간 방향의 정상성의 방향은 Y 방향인 것으로 가정하여(즉, 각도 θ가 90도인 것으로 가정하여), 근사 함수 f₁(x)의 특징량 w_i를 연산하는 방법이다.

그로 인하여, 근사 함수 f₁(x)는, 그 파형이 무디어져, 원래의 화소값로부터 디테일이 감소하는 함수가 되어 버린다. 환언하면, 도시는 하지 않지만, 제1 방법에 의해 생성되는 근사 함수 f₁(x)는, 실제의 X 단면 파형 F(x)와는 크게 다른 파형이 되어 버린다.

그래서, 본원 출원인은, 제1 방법에 대하여, 공간 방향의 정상성을 보다 더 고려하여(각도 θ를 이용하여) 특징량 w_i를 연산하는 제2 방법을 발명했다.

즉, 제2 방법은, 가는 선 함유 실세계 영역(2301)의 정상성의 방향은 약 각도 θ 방향인 것으로 하여, 근사 함수 f₂(x)의 특징량 w_i를 연산하는 방법이다.

구체적으로는, 예를 들면, 공간 방향의 정상성에 대응하는 데이터 정상성을 나타내는 기울기 G_F는, 다음의 식(108)에 의해 나타낸다.

…(108)

그리고, 식(108)에 있어서, dx는, 도 228에 나타낸 바와 같은 X 방향의 미소 이동량을 나타내고 있고, dy는, 도 228에 나타낸 바와 같은 dx에 대한 Y 방향의 미소 이동량을 나타내고 있다.

이 경우, 시프트량 C_x(y)를, 다음의 식(109)과 같이 정의하면, 제2 방법에 있어서는, 제1 방법으로 이용한 식(106)에 해당하는 식은, 다음의 식(110)과 같이 된다.

…(109)

…(110)

즉, 제1 방법에서 이용한 식(106)은, 화소의 중심의 위치(x, y) 중 X 방향의 위치 x가, 동일한 위치에 위치하는 화소의 화소값 P(x, y)가 모두 같은 값인 것을 나타내고 있다. 환언하면, 식(106)은, 같은 화소값의 화소가 Y 방향으로 이어져 있 는(Y 방향으로 정상성이 있다) 것을 나타내고 있다.

이에 비해, 제2 방법으로 이용하는 식(110)은, 화소의 중심의 위치가 (x, y)인 화소의 화소값 P(x, y)는, 주목 화소(그 중심의 위치가 원점(0, 0)인 화소)로부터 X 방향으로 x 만큼 멀어진 장소에 위치하는 화소의 화소값(f₂(x)와는 일치하지 않고, 그 화소로부터 더욱 X 방향으로 시프트량 C_x(y)만큼 멀어진 장소에 위치하는 화소(주목 화소로부터 X 방향으로 x＋C_x(y)만큼 멀어진 장소에 위치하는 화소)의 화소값(f₂(x＋C_x(y))와 같은 값인 것을 나타내고 있다. 환언하면, 식(110)은, 같은 화소값의 화소가, 시프트량 C_x(y)에 대응하는 각도 θ 방향으로 이어져 있다(대략 각도 θ 방향으로 정상성이 있다)것을 나타내고 있다.

이와 같이, 시프트량 C_x(y)가, 공간 방향의 정상성(지금의 경우, 도 228의 기울기 G_F로 나타내는 정상성(엄밀하게는, 기울기 G_F로 나타내는 데이터 정상성)을 고려한 보정량이며, 시프트량 C_x(y)에 의해 식(106)을 보정한 것이 식(110)이 된다.

이 경우, 도 225로 나타내는 가는 선 함유 데이터 영역(2302)의 20개의 화소값 P(x, y)(단, x는, -1 내지 2 중 어느 하나의 정수치, y는, -2 내지 2 중 어느 하나의 정수치)의 각각을, 전술한 식(110)에 대입하면 다음의 식(111)에서 나타내는 20개의 방정식이 생성된다.

…(111)

식(111)은, 전술한 식(107)와 마찬가지로, 20개의 방정식로 구성되어 있다. 따라서, 제1 방법과 마찬가지로 제2 방법에 있어서도, 근사 함수 f₂(x)의 특징량 w_i의 개수가 20개 보다 적은 경우, 즉, 근사 함수 f₂(x)가 19차 보다 적은 차수의 다항식인 경우, 예를 들면, 최소 자승법을 이용하여 특징량 w_i의 산출이 가능하다. 그리고, 최소 자승법의 구체적인 해법은 후술한다.

예를 들면, 제1 방법과 마찬가지로 근사 함수 f₂(x)의 차수가 5차인 경우, 제2 방법에 있어서는, 다음과 같이 함으로써 특징량 w_i가 연산된다.

즉, 도 229는, 식(111)의 좌변에 나타나는 화소값 P(x, y)를 그래프화한 것을 나타내고 있다. 도 229에 나타내는 5개의 그래프의 각각은, 기본적으로 도226에 나타낸 것과 동일하다.

도 229에서 나타낸 바와 같이, 최대의 화소값(가는 선에 대응하는 화소값)은, 기울기 GF로 나타내는 데이터 정상성의 방향으로 이어져 있다.

그런데, 제2 방법에 있어서는, 도 229로 나타내는 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각을, 예를 들면, x 축에 따라 더하는 경우, 제1 방법과 같이 그대로 더하는(y를 일정하다고 간주하여, 도 229에 나타내는 상태대로 5개의 그래프를 중복시킴) 것은 아니고, 도 230에 나타낸 상태로 변화시키고 나서 더한다.

즉, 도 230은, 도 229에 나타내는 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각을, 전술한 식(109)에서 나타내는 시프트량 Cx(y)만큼 시프트시킨 상태를 나타내고 있다. 환언하면, 도 230은, 도 229에서 나타내는 5개의 그래프를, 데이터 정상성의 실제의 방향을 나타내는 기울기 GF를, 마치 기울기 GF'로 하도록(도면 중, 점선의 직선을 실선의 직선으로 하도록)이동시킨 상태를 나타내고 있다.

도 230의 상태에서, 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각을, 예를 들면, x 축에 따라 더하면(도 230에 나타낸 상태에서 5개의 그래프를 중복시키면), 도 231에 나타낸 바와 같은, x 축에 평행한 복수개의 선(점선, 3점 쇄선, 실선, 1점 쇄선, 및 2점 쇄선)이 분포한다.

그리고, 도 231에 있어서, 세로축은 화소값을 나타내고 있고, 가로축은 주목 화소로부터의 상대 위치 x를 나타내고 있다.또한, 점선은 입력 화소값 P(x, -2)를, 3점 쇄선은 입력 화소값 P(x, -1)를, 실선은 입력 화소값 P(x, 0)를, 1점 쇄선은 입력 화소값 P(x, 1)를, 2점 쇄선은 입력 화소값 P(x, 2)를, 각각 나타내고 있다.또한, 동일한 화소값의 경우, 실제로는 2개 이상의 선이 겹치게되지만, 도 231에 있어서는, 각 선의 구별이 되도록, 각 선이 겹치지 않도록 그려져있다.

그리고, 이와 같이 분포된 20개의 입력 화소값 P(x, y)의 각각 (단, x는, -1 내지 2중 어느 하나의 정수치. y는, -2 내지 2중 어느 하나의 정수치)와 값 f2(x+Cx(y)의 오차가 최소가 되도록 하는 회귀 곡선(최소 자승법에 의해 연산된 특징량 w_i를 전술한 식(104)에 대입하여 얻어지는 근사 함수 f2(x))는, 도 231의 실선으로 나타내는 f2(x)로 된다.

이와 같이, 제2 방법에 의해 생성된 근사 함수 f2(x)는, 데이터 정상성 검출부(101)(도 219)로부터 출력되는 각도 θ 방향(즉, 대략 공간 방향의 정상성의 방향)의 입력 화소값 P(x, y)의 평균값을 X 방향으로 연결한 곡선을 나타내게 된다.

이에 비해, 전술한 바와 같이, 제1 방법에 의해 생성된 근사 함수 f1(x)는, Y 방향(즉, 공간 방향의 정상성과는 다른 방향)의 입력 화소값 P(x, y)의 평균값을, X 방향으로 연결한 곡선을 단지 나타내고 있는 것에 불과하다.

따라서, 도 231에 나타낸 바와 같이, 제2 방법에 의해 생성된 근사 함수 f2(x)는, 제1 방법에 의해 생성된 근사 함수 f1(x)보다도, 그 파형의 무딘 정도가 감소하고, 또한 원래의 화소값에 대한 디테일의 줄어드는 상태도 감소하는 함수가 된다. 환언하면, 도시는 하지 않지만, 제2 방법에 의해 생성되는 근사함수 f2(x)는, 제1 방법에 의해 생성되는 근사 함수 f1(x)보다도 실제의 X 단면 파형 F(x)에 더 가까운 파형이 된다.

그러나, 전술한 바와 같이, 근사 함수 f2(x)는, 공간 방향의 정상성이 고려된 것이지만, 입력 화상(입력 화소값)을 원점(기준)으로하여 생성된 것임에 틀림없다.즉, 전술한 도 224로 나타낸 바와 같이, 근사 함수 f2(x)는, X 단면 파형 F(x)와는 상이한 입력 화상을 근사한에 지나지 않고, X 단면 파형 F(x)를 근사하다고는 말하기 어렵다. 환언하면, 제2 방법은, 전술한 식(110)이 성립한다고 하여 특징량 w_i를 연산하는 방법이며, 전술한 식(104)의 관계는 고려하고 있지 않다(센서(2)의 적분 효과를 고려하고 있지 않다.)

그래서, 본원 출원인은, 제2 방법에 대하여, 센서(2)의 적분 효과를 또한 고려함으로써 근사 함수 f3(x)의 특징량 w_i를 연산하는 제3 방법을 발명했다.

즉, 제3 방법은, 공간 혼합 영역의 개념을 도입한 방법이다.

제3 방법의 설명 전에, 도 232를 참조하여, 공간 혼합 영역에 대하여 설명한

다.

도 232에 있어서, 실세계(1)의 광신호의일부분(2321)(이하, 영역(2321)이라고 함)은, 센서(2)의 하나의 검출 소자(화소)와 같은 면적을 가지는 영역을 나타내고 있다.

영역(2321)이 센서(2)에 검출되면, 센서(2)로부터는, 영역(2321)이 시공간 방향(X 방향, Y 방향, 및 t 방향)에 적분된 값(1개의 화소값)(2322)가 출력된다. 그리고, 화소값(2322)는, 도면 중, 화상으로서 나타나 있지만, 실제로는, 소정값을 나타내는 데이터이다.

실세계(1)의 영역(2321)은, 전경(예를 들면, 전술한 가는 선)에 대응하는 광신호(도면 중 흰 영역)와 배경으로 대응하는 광신호(도면 중 검은 영역)에 명확하게 구분된다.

이에 비해, 화소값(2322)는, 전경에 대응하는 실세계(1)의 광신호와 배경에 대응하는 실세계(1)의 광신호가 적분된 값이다. 환언하면, 화소값(2322)는, 전경에 대응하는 광의 레벨과 배경으로 대응하는 광의 레벨이 공간적으로 혼합된 레벨에 대응하는 값이다.

이와 같이, 실세계(1)의 광신호 중 1화소(센서(2)의 검출 소자)에 대응하는부분이, 동일 레벨의 광신호가 공간적으로 한결같이 분포하는 부분이 아닌, 전경과 배경과 같이 상이한 레벨의 광신호의 각각이 분포하는 부분인 경우, 그영역은, 센서(2)에 의해 검출되면, 센서(2)의 적분 효과에 의하여, 상이한 광의 레벨이 마치 공간적으로 혼합되어(공간 방향으로 적분되어) 1개의 화소값으로 되어버린다. 이와 같이, 전경에 대한 화상(실세계(1)의 광신호)과, 배경에 대한 화상(실세계(1)의 광신호)이 공간적으로 적분되어 있는 화소로 이루어지는 영역을, 여기서는, 공간 혼합 영역이라 칭하고 있다.

따라서, 제3 방법에 있어서는, 실세계 추정부(102)(도 219)가, 실세계(1)의 원래의 영역(2321)(실세계(1)의 광신호 중, 센서(2)의 1화소에 대응하는 부분(2321)을 나타내는 X 단면 파형 F(x)를, 예를 들면, 도 233에 나타낸 바와 같은, 1차의 다항식인 근사 함수 f3(x)에 근사함으로써, X 단면 파형F(x)를 추정한다.

즉, 도 233은, 공간 혼합 영역인 화소값(2322)(도 232)에 대응하는 근사 함수 f3(x), 즉, 실세계(1)의 영역(2331) 내의 실선(도 232)에 대응하는 X 단면 파형

F(x)를 근사한 근사 함수 f3(x)의 예를 나타내고 있다.도 233에 있어서, 도면 중 수평 방향의 축은, 화소값(2322)에 대응하는 화소의 좌측 하단 xs로부터 우측 하단 xe까지의 변(도 232)에 평행한 축을 나타내고 있고, x축로 되어 있다. 도면 중 수직 방향의 축은, 화소값을 나타내는 축이 되어 있다.

도 233에 있어서, 근사 함수 f3(x)를 xs로부터 xe의 범위(화소폭)에서 적분한 것이, 센서(2)로부터 출력되는 화소값 P(x, y)와 대략 일치한다(오차 e 만큼 존재함)고 하고, 다음의 식(112)를 정의한다.

…(112)

지금의 경우, 도 228에 나타낸 가는 선 함유 데이터 영역(2302)의 20개의 화소값 P(x, y)(단, x는, -1 내지 2 중 어느 하나의 정수치.y는, -2 내지 2 중 어느 하나의 정수치)로부터, 근사 함수 f3(x)의 특징량 w_i가 산출되므로, 식(112)의 화소값 P는, 화소값 P(x, y)가 된다.

또, 제2 방법과 마찬가지로, 공간 방향의 정상성도 고려할 필요가 있으므로, 식(112)의 적분 범위의 개시 위치 xs와 종료 위치 xe의 각각은, 시프트량 Cx(y)에도 의존하게 된다. 즉, 식(112)의 적분 범위의 개시 위치 xs와 종료 위치 xe의 각각은, 다음의 식(113)과 같이 나타낸다.

…(113)

이 경우, 도 228에 나타낸 가는 선 함유 데이터 영역(2302)의 각 화소값 각각, 즉, 도 229로 나타내는 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1),P(x, 2)의 각각 (단, x는, -1 내지 2 중 어느 하나의 정수치)을, 전술한 식(112)(적분 범위는, 전술한 식(113))에 대입하면 다음의 식(114)에서 나타내는 20개의 방정식이 생성된다.

…(114)

식(114)는, 전술한 식(111)과 마찬가지로, 20개의 방정식로 구성되어 있다. 따라서, 제2 방법과 마찬가지로 제3 방법에 있어서도, 근사 함수 f3(x)의 특징량 w_i의 개수가 20개보다 적은 경우, 즉, 근사 함수 f3(x)가 19차보다 적은 차수의 다항식인 경우, 예를 들면, 최소 자승법을 이용하여 특징량 w_i의 산출이 가능하다. 그리고, 최소 자승법의 구체적인 해법은 후술한다.

예를 들면, 근사 함수 f3(x)의 차수가 5차으로된 경우, 식(114)을 이용하여 최소 자승법에 의해 연산된 근사 함수 f3(x)(연산된 특징량 w_i에 의해 생성되는 근사 함수 f3(x))는, 도 234의 실선으로 나타낸 곡선과 같이 된다.

그리고, 도 234에 있어서, 세로축은 화소값을 나타내고 있고, 가로축은 주목 화소로부터의 상대 위치 x를 나타내고 있다.

도 234로 나타낸 바와 같이, 제3 방법에 의해 생성된 근사 함수 f3(x)(도면 중, 실선으로 나타낸 곡선)는, 제2 방법에 의해 생성된 근사 함수 f2(x)(도면 중, 점선으로 나타낸 곡선)와 비교하면, x = 0에 있어서의 화소값이 커지고, 또, 곡선의 경사의 정도도 급격한 파형으로 된다. 이것은, 입력 화소로부터 디테일이 증가하여, 입력 화소의 해상도와는 무관계으로 되어 있기 때문이다.즉, 근사 함수 f3(x)는, X 단면 파형 F(x)를 근사하고 있는 것으로 말할 수 있다. 따라서, 도시는 하지않지만, 근사 함수 f3(x)는, 근사 함수 f2(x)보다도 X 단면 파형 F(x)에 가까운 파형이 된다.

도 235는, 이와 같은 1차 다항식 근사 방법을 이용하는 실세계 추정부(102)의 구성예를 나타내고 있다.

도 235에 있어서, 실세계 추정부(102)는, 예를 들면, 특징량 w_i를 전술한 제 3 방법(최소 자승법)에 의해 연산하고, 연산한 특징량 w_i를 이용하여 전술한 식(105)의 근사 함수 f(x)를 생성함으로써, X 단면 파형 F(x)를 추정한다.

도 235로 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(2331), 입력 화상 기억부(2332), 입력 화소값 취득부(2333), 적분 성분 연산부(2334), 정규 방정식 생성부(2335), 및 근사 함수 생성부(2336)이 형성되어 있다.

조건 설정부(2331)는, 주목 화소에 대응하는 X 단면 파형 F(x)를 추정하기 위해 사용하는 화소의 범위(이하, 탭 범위 이라고 함)나, 근사 함수 f(x)의 차수 n을 설정한다.

입력 화상 기억부(2332)는, 센서(2)로부터의 입력 화상(화소값)을 1차적으로 저장한다.

입력 화소값 취득부(2333)는, 입력 화상 기억부(2332)에 기억된 입력 화상 중, 조건 설정부(2231)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(2335)에 공급한다. 즉, 입력 화소값 테이블은, 입력 화상의 영역에 포함되는 각 화소의 각각의 화소값이 기술된 테이블이다. 그리고, 입력 화소값 테이블의 구체예에 대하여는 후술한다.

그런데, 여기서는, 실세계 추정부(102)는, 전술한 식(112)과 식(113)을 이용하여 최소 자승법에 의해 근사 함수 f(x)의 특징량 w_i를 연산하지만, 전술한 식 (112)은, 다음의 식(115)와 같이 나타낼 수 있다.

…(115)

식(115)에 있어서, Si (xs, xe)는, i 차항의 적분 성분을 나타내고 있다.즉적분 성분 Si (xs, xe)는, 다음의 식(116)으로 나타낸다.

…(116)

적분 성분 연산부(2334)는, 이 적분 성분 Si(xs, xe)를 연산한다.

구체적으로는, 식(116)에서 나타내는 적분 성분 Si(xs, xe) (단, xs와 xe는, 전술한 식(112)에서 나타내는 값)은, 상대 화소 위치(x, y), 시프트량 Cx(y), 및 i 차항의 i가 이미 알려져 있으면 연산 가능하다. 또, 이들 중의, 상대 화소 위치(x, y)는 주목 화소와 탭 범위에 의하여, 시프트량 Cx(y)는 각도 θ에 의해(전술한식(107)과 식(109)에 의해), i의 범위는 차수 n에 의하여, 각각 결정된다.

따라서, 적분 성분 연산부(2334)는, 조건 설정부(2331)에 의해 설정된 탭 범 위 및 차수, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중의 각도 θ에 따라서 적분 성분 Si(xs, xe)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(2335)에 공급한다.

정규 방정식 생성부(2335)는, 입력 화소값 취득부(2333)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(2334)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(112), 즉, 식(115)의 우변의 특징량 w_i를 최소 자승법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(2336)에 공급한다. 그리고, 정규 방정식의 구체예에 대하여는 후술한다.

근사 함수 생성부(2336)는, 정규 방정식 생성부(2335)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해법으로 풀어서, 전술한 식(115)의 특징량 w_i (즉, 1차원 다항식인 근사 함수 f(x)의 계수 w_i)의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 236의 흐름도를 참조하여, 1차원 다항식 근사 방법을 이용하는 실세계 추정부(102)(도 235)의 실세계의 추정 처리(도 40의 스텝 S102의 처리)에 대하여 설명한다.

예를 들면, 지금, 센서(2)로부터 출력된 1프레임의 입력 화상으로서, 전술한 도 221의 가는 선 함유 데이터 영역(2302)를 포함하는 입력 화상이, 이미 입력 화 상 기억부(2332)에 기억되어 있는 것으로 한다. 또, 데이터 정상성 검출부(101)가 스텝 S101(도 40)의 정상성의 검출의 처리에 있어서, 가는 선 함유 데이터 영역

(2302)에 대하여 그 처리를 실시하여, 데이터 정상성 정보로서 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 도 236의 스텝 S2301에 있어서, 조건 설정부(2331)은, 조건(탭 범위와 차수)을 설정한다.

예를 들면, 지금, 도 237에 나타낸 탭 범위(2351)가 설정되고, 또한 차수로서 5차가 설정된다고 한다.

즉, 도 237은, 탭 범위의 일례를 설명하는 도면이다. 도 237에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 220)을 나타내고 있다. 또한, 탭 범위(2351)는, X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소(도면 중, 20개의 정방형)로 이루어지는 화소군을 나타내고 있다.

또한, 도 237에 나타낸 바와 같이, 주목 화소가, 탭 범위(2351) 중의, 도면중, 좌측으로부터 2화소째이며, 아래로부터 3화소째의 화소로 설정된다고 한다.

또한, 각 화소의 각각에 대하여, 주목 화소로부터의 상대 화소 위치(x, y)(주목 화소의 중심(0, 0)을 원점으로 하는 주목 화소 좌표계의 좌표값)에 따라, 도 237에 나타낸 바와 같은 번호 l(l은, 0 내지 19 중 어느 하나의 정수치)가 부여되는 것으로 한다.

도 236으로 돌아가, 스텝 S2302에 있어서, 조건 설정부(2331)는, 주목 화소를 설정한다.

스텝 S2303에 있어서, 입력 화소값 취득부(2333)는, 조건 설정부(2331)에 의해 설정된 조건(탭 범위)에 따라서 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 즉, 지금의 경우, 입력 화소값 취득부(2333)는, 가는 선 함유 데이터 영역(2302)(도 225)을 취득하고, 입력 화소값 테이블로서, 20개의 입력 화소값 P(l)로 이루어지는 테이블을 생성한다.

그리고, 지금의 경우, 입력 화소값 P(l)과, 전술한 입력 화소값 P(x, y)의 관계는, 다음의 식(117)에서 나타내는 관계가 된다. 단, 식(117)에 있어서, 좌변이 입력 화소값 P(l)을 나타내고, 우변이 입력 화소값 P(x, y)를 나타내고 있다.

…(117)

스텝 S2304에 있어서, 적분 성분 연산부(2334)는, 조건 설정부(2331)에 의해 설정된 조건(탭 범위 및 차수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

지금의 경우, 전술한 바와 같이, 입력 화소값은, P(x, y)가 아니고 P(l)이라 는, 화소의 번호 l의 값으로서 취득되므로, 적분 성분 연산부(2334)는, 전술한 식(116)의 적분 성분 Si(xs, xe)를, 다음의 식(118)의 좌변에 나타낸 적분 성분 Si(l)로하여, l의 함수로서 연산한다.

Si(l) = Si(xs, xe) …(118)

구체적으로는, 지금의 경우, 다음의 식(119)에서 나타내는 적분 성분 Si(l)가 연산된다.

…(119)

그리고, 식(119)에 있어서, 좌변이 적분 성분 Si(l)를 나타내고, 우변이 적분 성분 Si(xs, xe)를 나타내고 있다. 즉, 지금의 경우, i는 0 내지 5이므로, 20개의 S0(l), 20개의 S1(l), 20개의 S2(l), 20개의 S3(l), 20개의 S4(l), 20개의 S5(l)의 총계 120개의 Si(l)이 연산되게 된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(2334)는, 데이터 정상성 검출 부(101)로부터 공급된 각도 θ를 사용하여, 시프트량 Cx(-2), Cx(-1), Cx(1), Cx(2)의 각각을 연산한다. 다음에, 적분 성분 연산부(2334)는, 연산한 시프트량 Cx(-2), Cx(-1), Cx(1), Cx(2)를 사용한 식(118)의 우변에 나타내는 20개의 적분 성분 Si(xs, xe)의 각각을, I = 0 내지 5의 각각에 대하여 연산한다. 즉, 120개의 적분 성분 Si(xs, xe)가 연산된다. 그리고, 상기 적분 성분 Si(xs, xe)의 연산에 있어서는, 전술한 식(116)이 사용된다. 그리고,적분 성분 연산부(2334)는, 식(119)에 따라, 연산한 120개의 적분 성분 Si(xs, xe)의 각각을, 대응하는 적분 성분 Si(l)로 변환하여, 변환한 120개의 적분 성분 Si(l)을 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S2303의 처리와 스텝 S2304의 처리의 순서는, 도 236의 예에 한정되지 않고, 스텝 S2304의 처리가 먼저 실행되어도 되고, 스텝 S2303의 처리와 스텝 S2304의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S2305에 있어서, 정규 방정식 생성부(2335)는, 스텝 S2303의 처리에서 입력 화소값 취득부(2333)에 의해 생성된 입력 화소값 테이블과, 스텝 S2304의 처리에서 적분 성분 연산부(2334)에 의해 생성된 적분 성분 테이블에 따라서, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 최소 자승법에 의하여, 전술한 식(115)에 대응 하는 다음의 식(120)의 특징량 w_i를 연산한다. 그리고, 그에 대응하는 정규 방정식은, 다음의 식(121)과 같이 나타낸다.

…(120)

…(121)

그리고, 식(121)에 있어서, L은, 탭 범위의 화소의 번호 l 중 최대값을 나타내고 있다. n은, 다항식인 근사 함수 f(x)의 차수를 나타내고 있다. 구체적으로는, 지금의 경우, n = 5가 되고, L = 19가 된다.

식(121)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(122) 내지 (124)와 같이 정의하면, 정규 방정식은, 다음의 식(125)와 같이 나타낸다.

…(122)

…(123)

…(124)

…(125)

식(123)에서 나타낸 바와 같이, 행렬 W_MAT의 각 성분은, 구하고자 하는 특징량 w_i이다. 따라서, 식(125)에 있어서, 좌변의 행렬 S_MAT와 우변의 행렬 P_MAT가 결정되면, 행렬 해법에 따라 행렬 W_MAT(즉, 특징량 w_i)의 산출이 가능하다.

구체적으로는, 식(122)에서 나타낸 바와 같이, 행렬 S_MAT의 각 성분은, 전술한 적분 성분 Si(l)이 이미 알려져 있으면 연산 가능하다. 적분 성분 Si(l)은, 적분 성분 연산부(2334)로부터 공급된 적분 성분 테이블에 포함되어 있으므로, 정규 방정식 생성부(2335)는, 적분 성분 테이블을 이용하여 행렬 S_MAT의 각 성분을 연산할 수 있다.

또, 식(124)에서 나타낸 바와 같이, 행렬 P_MAT의 각 성분은, 적분 성분 Si(l)과 입력 화소값 P(l)이 이미 알려져 있으면 연산 가능하다. 적분 성분 Si(l)은, 행렬 S_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 입력 화소값 P(l)은, 입력 화소값 취득부(2333)로부터 공급된 입력 화소값 테이블에 포함되어 있으므로, 정규방정식 생성부(2335)는, 적분 성분 테이블과 입력 화소값 테이블을 이용하여 행렬 P_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(2335)는, 행렬 S_MAT와 행렬 P_MAT의 각 성분을 연산하고, 그 연산 결과(행렬 S_MAT와 행렬 P_MAT의 각 성분)를 정규 방정식 테이블로서 근사 함수 생성부(2336)에 출력한다.

정규 방정식 생성부(2335)로부터 정규 방정식 테이블이 출력되면, 스텝 S2306에 있어서, 근사 함수 생성부(2336)는, 정규 방정식 테이블에 따라, 전술한 식(125)의 행렬 W_MAT의 각 성분인 특징량 w_i (즉, 1차원 다항식인 근사 함수 f(x)의 계수 w_i)를 연산한다.

구체적으로는, 전술한 식(125)의 정규 방정식은, 다음의 식(126)과 같이 변형할 수 있다.

…(126)

식(126)에 있어서, 좌변의 행렬 W_MAT의 각 성분이, 구하고자 하는 특징량 w_i이다.

또, 행렬 S_MAT와 행렬 P_MAT의 각각의 각 성분은, 정규 방정식 생성부(2335)로 부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(2336)는, 정규 방정식 테이블을 이용하여, 식(126)의 우변의 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.스텝 S2307에 있어서, 근사 함수 생성부(2336)는, 모든 화소의 처리가 종료되었는지의 여부를 판정한다.

스텝 S2307에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S2302으로 돌아가고, 그 이후의 처리가 반복된다.

즉, 아직 주목 화소로 여겨지지 않는 화소가, 차례로 주목 화소가 되어, 스텝 S2302 내지 S2307의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S2307에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료된다.

그리고, 이상과 같이 하여 연산된 계수(특징량) w_i에 의해 생성되는 근사 함수 f(x)의 파형은, 전술한 도 234의 근사 함수 f3(x)와 같은 파형이 된다.

이와 같이, 1차원 다항식 근사 방법에 있어서는, 1차원의 X 단면 파형 F(x)와 동일 형상의 파형이 정상성의 방향으로 이어져 있다고 가정하여, 1차원의 다항식인 근사 함수 f(x)의 특징량이 연산된다. 따라서, 1차원 다항식 근사 방법에 있어서는, 다른 함수 근사 방법과 비교하여, 적은 연산 처리량으로 근사 함수 f(x)의 특징량의 산출이 가능해진다.

환언하면, 1차원 다항식 근사 방법에 있어서는, 예를 들면, 도 219(도 3)의 데이터 정상성 검출부(101)가, 각각 시공간 적분 효과를 가지는, 센서의 복수개의 검출 소자(예를 들면, 도 220의 센서(2)의 검출 소자(2-1))에 의해 실세계(1)의 광신호(예를 들면, 도 221의 실세계(1)의 광신호의 일부분(2301)이 투영되어, 실세계(1)의 광신호의 정상성(예를 들면, 도 228의 기울기 GF로 나타내는 정상성)의 일부가 결락된, 검출 소자(2-1)에 의해 투영된 화소값(예를 들면, 도 226의 각 그래프에 나타내는 입력 화소값 P(x, y))를 가지는 복수개의 화소로 이루어지는 화상 데이터(예를 들면, 도 221의 화상 데이터(입력 화상의 영역)(2302)에 있어서의 데이터 정상성(예를 들면, 도 228의 기울기 GF로 나타내는 데이터 정상성)을 검출한다.

예를 들면, 도 219(도 3)의 실세계 추정부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하여, 화상 데이터의 시공간 방향 중 1차원 방향(예를 들면, 도 223의 화살표(2311)), 즉, X 방향)의 위치에 대응하는 화소의 화소값(예를 들면, 전술한 식(112)의 좌변인 입력 화소값 P)이, 1차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 식(112)의 우변에 나타낸 바와 같이, 근사 함수 f3(x)가 X 방향으로 적분된 값)인 것으로 하여, 실세계(1)의 광신호를 나타내는 광신호 함수 F(구체적으로는, X 단면 파형 F(x))를 소정의 근사 함수 f(구체적으로는, 예를 들면, 도 234의 근사 함수 f3(x))로 근사함으로써, 광신호 함 수 F를 추정한다.

상세하게는, 예를 들면, 실세계 추정부(102)는, 정상성 검출 핸드부(101)에 의해 검출된 데이터 정상성에 대응하는 선(예를 들면, 도 230의 기울기 GF에 대응하는 선(점선))으로부터의 1차원 방향(예를 들면, X 방향)에 따른 거리(예를 들면, 도230의 시프트량 Cx(y)에 대응하는 화소의 화소값이, 1차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 전술한 식(112)에 나타낸 바와 같은 적분법위에서, 식(112)의 우변에 나타낸 바와 같이, 근사 함수 f3(x)가 X 방향으로 적분된 값)인 것으로 하여, 광신호 함수 F를 근사 함수 f로 근사함으로써, 광신호 함수 F를 추정한다.

따라서, 1차원 다항식 근사 방법에 있어서는, 다른 함수 근사 방법과 비교하여, 적은 연산 처리량으로 근사 함수 f(x)의 특징량의 산출이 가능해진다.

다음에, 도 238 내지 도 244를 참조하여, 제2 함수 근사 방법에 대하여 설명한다.즉, 제2 함수 근사 방법이란, 예를 들면, 도 238에 나타낸 바와 같은, 기울기 GF로 나타내는 공간 방향의 정상성을 가지는 실세계(1)의 광신호를, X-Y 평면 상(공간 방향의 일방향인 X 방향과, X 방향으로 수직인 Y 방향으로 수평인 평면상)의 파형 F(x, y)로 간주하여, 2차원의 다항식인 근사 함수 f(x, y)로 파형 F(x, y)를 근사함으로써, 그 파형 F(x, y)를 추정하는 방법이다. 따라서, 이하, 제2함수 근사 방법을, 2차원 다항식 근사 방법이라고 한다.

그리고, 도 238에 있어서, 도면 중, 수평 방향은, 공간 방향의 일방향인 X 방향을, 우측 상방향은, 공간 방향의 다른 방향인 Y 방향을, 수직 방향은, 광의 레벨을, 각각 나타내고 있다. GF는, 공간 방향의 정상성의 기울기를 나타내고 있다.

또, 2차원 다항식 근사 방법의 설명에 있어서도, 센서(2)는, 도 239에서 나타낸 바와 같은, 복수개의 검출 소자(2-1)가 그 평면상에 배치되어 구성되는 CCD가 된다.

도 239의 예에서는, 검출 소자(2-1)의 소정의 1변에 평행한 방향이, 공간 방향의 일방향인 X 방향이 되어 있고, X 방향으로 수직인 방향이, 공간 방향의 다른 방향인 Y 방향이 되어 있다. 그리고, X－Y 평면에 수직인 방향이, 시간 방향인 t 방향이 되어 있다.

또, 도 239의 예에서는, 센서(2)의 각 검출 소자(2-1)의 각각의 공간적인 형상은, 1변의 길이가 1인 정방형로 되어 있다. 그리고, 센서(2)의 셔터 시간(노광 시간)이 1로 되어 있다.

또한, 도 239의 예에서는, 센서(2)의 소정의 1개의 검출 소자(2-1)의 중심이, 공간 방향(X 방향과 Y 방향)의 원점(X 방향의 위치 x = 0, 및 Y 방향의 위치 y = 0가 되어 있고, 또, 노광 시간의 중간 시각이, 시간 방향(t 방향)의 원점(t 방향의 위치 t = 0)이 되어 있다.

이 경우, 공간 방향의 원점(x = 0, y = 0)에 그 중심이 존재하는 검출 소자 (2-1)는, X 방향으로 -0.5 내지 0.5의 범위, Y 방향으로 -0. 5내지 0.5의 범위, 및 t 방향으로 -0.5 내지 0.5의 범위에서 광신호 함수 F(x, y, t)를 적분하고, 그 적분값을 화소값 P로서 출력하게 된다.

즉, 공간 방향의 원점에 그 중심이 존재하는 검출 소자(2-1)로부터 출력되는 화소값 P는, 다음의 식(127)으로 나타낸다.

…(127)

그 외의 검출 소자(2-1)도 마찬가지로, 대상으로 하는 검출 소자(2-1)의 중심을 공간 방향의 원점으로 함으로써, 식(127)에서 나타내는 화소값 P를 출력하게 된다.

그런데, 전술한 바와 같이, 2차원 다항식 근사 방법은, 실세계(1)의 광신호를, 예를 들면, 도 238에 나타낸 바와 같은 파형 F(x, y)로서 취급하여, 그 2차원의 파형 F(x, y)를, 2차원의 다항식인 근사 함수 f(x, y)에 근사하는 방법이다.

그래서, 우선, 이와 같은 근사 함수 f(x, y)를 2차원의 다항식으로 나타내는 방법에 대하여 설명한다.

전술한 바와 같이, 실세계(1)의 광신호는, 3차원의 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 광신호 함수 F(x, y, t)로 나타낸다. 이 광신호 함수 F(x, y, t)를, Y 방향의 임의의 위치 y에 있어서, X 방향으로 투영한 1차원의 파형을, 여기서는, X 단면 파형 F(x)라 하고 있다.

상기 X 단면 파형 F(x)에 주목하면, 실세계(1)의 신호가, 공간 방향의 소정의 방향으로 정상성을 가지고 있는 경우, X 단면 파형 F(x)와 동일 형상의 파형이 그 정상성의 방향으로 이어져 있다고 생각할 수 있다. 예를 들면, 도 238의 예에서는, X 단면 파형 F(x)와 동일 형상의 파형이, 기울기 GF의 방향으로 이어져 있다. 환언하면, X 단면 파형 F(x)와 동일 형상의 파형이 기울기 GF의 방향으로 이어져, 파형 F(x, y)가 형성되어 있다고도 할 수 있다.

따라서, 파형 F(x, y)를 근사하는 근사 함수 f(x, y)의 파형은, X 단면 파형 F(x)를 근사하는 근사 함수 f(x)와 동일 형상의 파형이 이어져서 형성된다고 생각함으로써, 근사 함수 f(x, y)를 2차원의 다항식으로 나타낼 수 있다.

보다 상세하게, 근사 함수 f(x, y)의 나타내는 방법에 대하여 설명한다.

예를 들면, 지금, 전술한 도 238에 나타낸 바와 같은, 실세계(1)의 광신호, 즉,기울기 GF로 나타내는 공간 방향의 정상성을 가지는 광신호가, 센서(2)(도 239)에 의해 검출되어 입력 화상(화소값)으로서 출력된 것으로 한다.

또한, 도 240에 나타낸 바와 같이, 데이터 정상성 검출부(101)(도 3)가, 상기 입력 화상 중의, X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소(도면 중, 점선으로 나타내는 20개의 정방형)로 구성되는 입력 화상의 영역 (2401)에 대하여 그 처리를 실행하고, 데이터 정상성 정보의 하나로서 각도 θ (기울기 GF에 대응하는 기울기 GF로 나타내는 데이터 정상성의 방향과, X 방향과 이루는 각도 θ)를 출력했다고 한다.

그리고, 입력 화상의 영역(2401)에 있어서, 도면 중 수평 방향은, 공간 방향의 일방향인 X 방향을 나타내고 있고, 도면 중 수직 방향은, 공간 방향의 다른 방향인 Y 방향을 나타내고 있다.

또, 도 240 중, 좌측으로부터 2화소째이며, 아래로부터 3화소째의 화소가 주목 화소가 되고, 상기 주목 화소의 중심을 원점(0, 0)이 되도록 (x, y) 좌표계가 설정되어 있다. 그리고, 원점(0, 0)을 지나는 각도 θ의 직선(데이터 정상성의 방향을 나타내는 기울기 GF의 직선)에 대한 X 방향의 상대적인 거리(이하, 단면 방향 거리라고 칭함)가 x'로 기술되어 있다.

또한, 도 240 중, 우측의 그래프는, X 단면 파형 F(x')가 근사된 함수로서, n차(n은, 임의의 정수)의 다항식인 근사 함수 f(x')를 나타내고 있다.

우측의 그래프의 축 중, 도면 중 수평 방향의 축은, 단면 방향 거리를 나타내고 있고, 도면중 수직 방향의 축은, 화소값을 나타내고 있다.

이 경우, 도 240에 나타낸 근사 함수 f(x')는, n차 다항식이므로, 다음의 식(128)과 같이 나타낸다.

…(128)

또, 각도 θ가 결정되어 있으므로, 원점(0, 0)을 지나는 각도 θ의 직선은 하나로 정해져, Y 방향의 임의의 위치 y에 있어서의, 직선의 X 방향의 위치 xl이, 다음의 식(129)와 같이 나타낸다. 단, 식(129)에 있어서, s는 cotθ를 나타내고 있다.

xl = s × y …(129)

즉, 도 240에 나타낸 바와 같이, 기울기 GF로 나타내는 데이터 정상성에 대응하는 직선 상의 점은, 좌표값(xl, y)로 나타낸다.

식(129)로부터, 단면 방향 거리 x'는, 다음의 식(130)과 같이 나타낸다.

x' = x-xl = x-s × y …(130)

따라서, 입력 화상의 영역(2401) 내의 임의의 위치(x, y)에 있어서의 근사 함수 f(x, y)는, 식(128)과 식(130)으로부터, 다음의 식(131)과 같이 나타낸다.

…(131)

그리고, 식(131)에 있어서, w_i는, 근사 함수 f(x, y)의 계수를 나타내고 있 다. 그리고, 근사 함수 f(x, y)를 포함하는 근사 함수 f의 계수 w_i를, 근사 함수 f의 특징량으로 할 수도 있다. 따라서, 이하, 근사 함수 f의 계수 w_i를, 근사 함수 f의 특징량 w_i라고도 한다.

이와 같이 하여, 각도 θ가 이미 알려져 있으면, 2차원 파형의 근사 함수 f(x, y)를, 식(131)의 다항식으로서 나타낼 수 있다.

따라서, 실세계 추정부(102)는, 식(131)의 특징량 w_i를 연산할 수 있으면, 도 238에 나타낸 바와 같은 파형 F(x, y)를 추정할 수 있다.

그래서, 이하, 식(131)의 특징량 w_i를 연산하는 방법에 대하여 설명한다.

즉, 식(131)에서 나타내는 근사 함수 f(x, y)를, 화소(센서(2)의 검출 소자(2-1)(도 239))에 대응하는 적분 범위(공간 방향의 적분 범위)에서 적분하면, 그 적분값이, 화소의 화소값의 추정값이 된다. 이것을, 식으로 나타낸 것이 다음의 식(132)이다. 그리고, 2차원 다항식 근사 방법에 있어서는, 시간 방향 t는 일정값으로 간주하므로, 식(132)는, 공간 방향(X 방향과 Y 방향)의 위치 x, y를 변수로 하는 방정식이 되어 있다.

…(132)

식(132)에 있어서, P(x, y)는, 센서(2)로부터의 입력 화상 중의, 그 중심 위치가 위치(x, y)(주목 화소로부터의 상대 위치(x, y))에 존재하는 화소의 화소값을 나타내고 있다. 또, e는, 오차를 나타내고 있다.

이와 같이, 2차원 다항식 근사 방법에 있어서는, 입력 화소값 P(x, y)와 2차원의 다항식인 근사 함수 f(x, y)의 관계를, 식(132)로 나타낼 수 있으므로, 실세계 추정부(102)는, 식(132)을 이용하여, 특징량 w_i를, 예를 들면, 최소자승법 등에 의해 연산함으로써(연산한 특징량 w_i를 식(130)에 대입하여 근사 함수 f(x, y)를 생성함으로써), 2차원의 함수 F(x, y)(기울기 GF(도 238)로 나타내는 공간 방향의 정상성을 가지는 실세계(1)의 광신호를, 공간 방향으로 착목하여 나타낸 파형 F(x, y))를 추정하는 것이 가능해진다.

도 241은, 이와 같은 2차원 다항식 근사 방법을 이용하는 실세계 추정부(102)의 구성예를 나타내고 있다.

도 241에 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(2421), 입력 화상 기억부(2422), 입력 화소값 취득부(2423), 적분 성분 연산부(2424), 정규 방정식 생성부(2425), 및 근사 함수 생성부(2426)가 형성되어 있다.

조건 설정부(2421)는, 주목 화소에 대응하는 함수 F(x, y)를 추정하기 위해 사용하는 화소의 범위(탭 범위)와, 근사 함수 f(x, y)의 차수 n을 설정한다.

입력 화상 기억부(2422)는, 센서(2)로부터의 입력 화상(화소값)을 1차적으로 저장한다.

입력 화소값 취득부(2423)는, 입력 화상 기억부(2422)에 기억된 입력 화상 중의, 조건 설정부(2421)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(2425)에 공급한다. 즉, 입력 화소값 테이블은, 입력 화상의 영역에 포함되는 각 화소의 각각의 화소값이 기술된 테이블이다. 그리고, 입력 화소값 테이블의 구체예에 대하여는 후술한다.

그런데, 전술한 바와 같이, 2차원 다항식 근사 방법을 이용하는 실세계 추정부(102)는, 전술한 식(132)을 최소 자승법으로 풀어서, 전술한 식(131)에서 나타내는 근사 함수 f(x, y)의 특징량 w_i를 연산한다.

식(132)는, 식(133) 내지 식(135)를 사용함으로써 얻어지는 식(136)을 사용함으로써, 식(137)과 같이 나타낼 수 있다.

…(133)

…(134)

…(135)

…(136)

…(137)

식(137)에 있어서, Si(x - 0.5, x + 0.5, y - 0.5, y + 0.5)는, i차항의 적 분 성분을 나타내고 있다. 즉, 적분 성분 Si (x - 0.5, x + 0.5, y -0.5, y + 0.5)는, 다음의 식(138)에서 나타내는 바와 같다.

…(138)

적분 성분 연산부(2424)는, 상기 적분 성분 Si(x - 0.5, x + 0.5, y - 0.5, y + 0.5)를 연산한다.

구체적으로는, 식(138)에서 나타내는 적분 성분 Si(x - 0.5, x + 0.5, y - 0.5, y + 0.5)는, 상대 화소 위치(x, y), 전술한 식(131)에 있어서의 변수 s, 및 i차항의 i가 이미 알려져 있으면, 연산 가능하다. 이들 중의, 상대 화소 위치(x, y)는 주목 화소와 탭 범위에 의하여, 변수 s는 cotθ이므로, 각도 θ에 의하여, i의 범위는 차수 n에 의하여, 각각 결정된다.

따라서, 적분 성분 연산부(2424)는, 조건 설정부(2421)에 의해 설정된 탭 범위 및 차수, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중의 각도 θ에 따라 적분 성분 Si(x - 0.5, x + 0.5, y - 0.5, y + 0.5)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(2425)에 공급한다.

정규 방정식 생성부(2425)는, 입력 화소값 취득부(2423)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(2424)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(132), 즉, 식(137)을 최소 자승법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(2426)에 출력한다. 그리고, 정규 방정식의 구체예에 대하여는 후술한다.

근사 함수 생성부(2426)는, 정규 방정식 생성부(2425)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해법으로 풀어서, 전술한 식(132)의 특징량 w_i (즉, 2차원 다항식인 근사 함수 f(x, y)의 계수 w_i)의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 242의 흐름도를 참조하여, 2차원 다항식 근사 방법이 적용되는 실세계의 추정 처리(도 40의 스텝 S102의 처리)에 대하여 설명한다.

예를 들면, 지금, 기울기 GF로 나타내는 공간 방향의 정상성을 가지는 실세계(1)의 광신호가, 센서(2)(도 239)에 의해 검출되어, 1프레임에 대응하는 입력 화상으로서, 입력 화상 기억부(2422)에 이미 기억되어 있는 것으로 한다. 또, 데이터 정상성 검출부(101)가, 스텝 S101(도 40)의 정상성의 검출의 처리에 있어서, 입력 화상 중의, 전술한 도 240에 나타낸 영역(2401)에 대하여 처리를 실시하여, 데이터 정상성 정보로서 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 스텝 S2401에 있어서, 조건 설정부(2421)는, 조건(탭 범위와 차수) 을 설정한다.

예를 들면, 지금, 도 243에 나타낸 탭 범위(2441)가 설정되고, 또한 차수로서 5차가 설정된 것으로 한다.

즉, 도 243은, 탭 범위의 일례를 설명하는 도면이다. 도 243에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 239)을 나타내고 있다. 또, 탭 범위(2441)는, X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소(도면 중, 20개의 정방형)로 이루어지는 화소군을 나타내고 있다.

또한, 도 243에 나타낸 바와 같이, 주목 화소가, 탭 범위(2441) 중의, 도면 중, 좌측으로부터 2화소째이며, 아래로부터 3화소째의 화소로 설정된다고 한다.

또, 각 화소의 각각에 대하여, 주목 화소로부터의 상대 화소 위치 (x, y)(주목 화소의 중심(0, 0)을 원점으로 하는 주목 화소 좌표계의 좌표값)에 따라, 도 243에 나타낸 바와 같은 번호 l(l은, 0 내지 19 중 어느 하나의 정수치)이 부여된다고 한다.

도 242로 되돌아가, 스텝 S2402에 있어서, 조건 설정부(2421)는, 주목 화소를 설정한다.

스텝 S2403에 있어서, 입력 화소값 취득부(2423)는, 조건 설정부(2421)에 의해 설정된 조건(탭 범위)에 따라 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 즉, 지금의 경우, 입력 화소값 취득부(2423)는, 입력 화상의 영역 (2401)(도 240)을 취득하고, 입력 화소값 테이블로서, 20개의 입력 화소값 P(l)로 이루어지는 테이블을 생성한다.

그리고, 지금의 경우, 입력 화소값 P(l)과, 전술한 입력 화소값 P(x, y)의 관계는, 다음의 식(139)에서 나타내는 관계가 된다. 단, 식(139)에 있어서, 좌변이 입력 화소값 P(l)을 나타내고, 우변이 입력 화소값 P(x, y)를 나타내고 있다.

…(139)

스텝 S2404에 있어서, 적분 성분 연산부(2424)는, 조건 설정부(2421)에 의해 설정된 조건(탭 범위 및 차수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

지금의 경우, 전술한 바와 같이, 입력 화소값은, P(x, y)가 아닌, 화소의 번호 l의 값으로 나타내는 P(l)이 취득되므로, 적분 성분 연산부(2424)는, 전술한 식(138)의 적분 성분 Si(x - 0.5, x + 0.5, y - 0.5, y + 0.5)를, 다음의 식(140)의 좌변에 나타낸 l의 함수인 적분 성분 Si (l)로서 연산한다.

Si (l) = Si(x - 0.5, x + 0.5, y - 0.5, y + 0.5) …(140)

구체적으로는, 지금의 경우, 다음의 식(141)에서 나타내는 적분 성분 Si(l)이 연산된다.

…(141)

그리고, 식(141)에 있어서, 좌변이 적분 성분 Si(l)을 나타내고, 우변이 적분 성분 Si(x - 0.5, x + 0.5, y - 0.5, y + 0.5)를 나타내고 있다.즉, 지금의 경우, i는 0 내지 5이므로, 20개의 S0(l), 20개의 S1(l), 20개의 S2(l), 20개의 S3(l), 20개의 S4(l), 20개의 S5(l)의 총계 120개의Si(l)이 연산된다.

보다 구체적으로는, 우선, 적분 성분 연산부(2424)는, 데이터 정상성 검출부 (101)로부터 공급된 각도 θ에 대한 cotθ를 연산하고, 그것을 변수 s로 한다.

다음에, 적분 성분 연산부(2424)는, 연산한 변수 s를 사용하여 식(140)의 우변에 나타내는 20개의 적분 성분 Si(x - 0.5, x + 0.5, y - 0.5, y + 0.5)의 각각을, i = 0 내지 5의 각각에 대하여 연산한다. 즉, 120개의 적분 성분 Si(x - 0.5, x + 0.5, y - 0.5, y + 0.5)가 연산된다. 그리고, 상기 적분 성분 Si(x - 0.5, x + 0.5, y - 0.5, y + 0.5)의 연산에 있어서는, 전술한 식(138)이 사용된다. 그리고, 적분 성분 연산부(2424)는, 식(141)에 따라, 연산된 120개의 적분 성분 Si(x - 0.5, x + 0.5, y - 0.5, y + 0.5)의 각각을, 대응하는 Si(l)의 각각으로 변환하고, 변환한 120개의 Si (l)을 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S2403의 처리와 스텝 S2404의 처리의 순서는, 도 242의 예로 한정되지 않고, 스텝 S2404의 처리가 먼저 실행되어도 되고, 스텝 S2403의 처리와 스텝 S2404의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S2405에 있어서, 정규 방정식 생성부(2425)는, 스텝 S2403의 처리에서 입력 화소값 취득부(2423)에 의해 생성된 입력 화소값 테이블과, 스텝 S2404의

처리에서 적분 성분 연산부(2424)에 의해 생성된 적분 성분 테이블에 따라서, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 전술한 식(137)을 이용하여 최소 자승법에 의해 특징량 w_i가 연산되므로(단, 식(136)에 있어서, 적분 성분 Si(x -0.5, x + 0.5, y - 0.5, y + 0.5)는, 식(140)에 의해 변환되는 Si(l)이 사용된다), 그에 대응하는 정규 방정식은, 다음의 식(142)과 같이 나타낸다.

…(142)

그리고, 식(142)에 있어서, L은, 탭 범위의 화소의 번호 l 중 최대값을 나타내고 있다. n은, 다항식인 근사 함수 f(x)의 차수를 나타내고 있다. 구체적으로는, 지금의 경우, n = 5가 되고, L = 19가 된다.

식(142)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(143) 내지 (145)와 같이 정의하면, 정규 방정식은, 다음의 식(146)과 같이 나타낸다.

…(143)

…(144)

…(145)

…(146)

식(144)에서 나타낸 바와 같이, 행렬 W_MAT의 각 성분은, 구하고자 하는 특징량 w_i이다. 따라서, 식(146)에 있어서, 좌변의 행렬 S_MAT와 우변의 행렬 P_MAT가 결정되면, 행렬 해법에 의해 행렬 W_MAT의 연산이 가능하게 된다.

구체적으로는, 식(143)에서 나타낸 바와 같이, 행렬 S_MAT의 각 성분은, 전술한 적분 성분 Si (l)에 의해 연산 가능하다. 즉, 적분 성분 Si(l)은, 적분 성분 연산부(2424)로부터 공급된 적분 성분 테이블에 포함되어 있으므로, 정규 방정식 생성부(2425)는, 적분 성분 테이블을 이용하여 행렬 S_MAT의 각 성분을 연산할 수 있다.

또, 식(145)에서 나타낸 바와 같이, 행렬 P_MAT의 각 성분은, 적분 성분 Si(l)과 입력 화소값 P(l)에 의해 연산 가능하다. 즉, 적분 성분 Si(l)은, 행렬 S_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 입력 화소값 P(l)은, 입력 화소값 취득부(2423)로부터 공급된 입력 화소값 테이블에 포함되어 있으므로, 정규 방정식 생성부(2425)는, 적분 성분 테이블과 입력 화소값 테이블을 이용하여 행렬 P_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(2425)는, 행렬 S_MAT와 행렬 P_MAT의 각 성분을 연산하고, 그 연산 결과(행렬 S_MAT와 행렬 P_MAT의 각 성분)를 정규 방정식 테이블로서 근사 함수 생성부(2426)에 출력한다.

정규 방정식 생성부(2425)로부터 정규 방정식 테이블이 출력되면, 스텝 S2406에 있어서, 근사 함수 생성부(2426)는, 정규 방정식 테이블에 따라, 전술한 식(146)의 행렬 W_MAT의 각 성분인 특징량 w_i (즉, 2차원 다항식인 근사 함수 f(x, y)의 계수 w_i)를 연산한다.

구체적으로는, 전술한 식(146)의 정규 방정식은, 다음의 식(147)과 같이 변형할 수 있다.

…(147)

식(147)에 있어서, 좌변의 행렬 W_MAT의 각 성분이, 구하고자 하는 특징량 w_i이다. 또, 행렬 S_MAT와 행렬 P_MAT의 각각의 각 성분은, 정규 방정식 생성부(2425)로 부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(2426)는, 정규 방정식 테이블을 이용하여, 식(147)의 우변의 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.

스텝 S2407에 있어서, 근사 함수 생성부(2426)는, 모든 화소의 처리가 종료되었는지의 여부를 판정한다.

스텝 S2407에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S2402로 돌아가고, 그 이후의 처리가 반복된다.

즉, 아직 주목 화소로 여겨지지 않는 화소가, 차례로 주목 화소가 되어, 스텝 S2402 내지 S2407의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S2407에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료된다.

이상, 2차원 다항식 근사 방법의 설명으로서, 공간 방향(X 방향과 Y 방향)에 대한 근사 함수 f(x, y)의 계수(특징량) w_i를 연산하는 예를 사용하였지만, 2차원 다항식 근사 방법은, 시공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여도 적용 가능하다.

즉, 전술한 예는, 실세계(1)의 광신호가, 예를 들면, 기울기 G_F(도 238)로 나타내는 공간 방향의 정상성을 가지는 경우의 예였으므로, 전술한 식(132)에서 나 타낸 바와 같은, 공간 방향(X 방향과 Y 방향)의 2차원 적분이 포함되는 식이 이용되었다. 그러나, 2차원 적분은, 공간 방향 만에 의한 것이 아니고, 시공간방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여 적용할 수도 있다.

환언하면, 2차원 다항식 근사 방법에 있어서는, 추정하고 싶은 광신호 함수 F(x, y, t)가, 공간 방향의 정상성 뿐만아니라, 시공간 방향(단, X 방향과 t 방향, 또는 Y 방향과 t 방향)의 정상성을 가지고 있는 경우라도, 2차원의 다항식에 의해 근사할 수 있다.

구체적으로는, 예를 들면, X 방향으로 수평으로 등속으로 움직이고 있는 물체가 있는 경우, 그 물체의 움직임의 방향은, 도 244에서 나타낸 바와 같은 X-t 평면에 있어서는, 기울기 V_F와 같이 나타낸다. 환언하면, 기울기 V_F는, X-t 평면에 있어서의 시공간 방향의 정상성의 방향을 나타내고 있는 것이라고 할 수도 있다. 따라서, 데이터 정상성 검출부(101)는, 전술한 각도 θ(X-Y 평면에 있어서의, 기울기 G_F로 나타내는 공간 방향의 정상성에 대응하는 데이터 정상성 정보)와 마찬가지로, X-t 평면에 있어서의 시공간 방향의 정상성을 나타내는 기울기 V_F에 대응하는 데이터 정상성 정보로서, 도 244에서 나타낸 바와 같은 움직임 θ(엄밀하게는, 도시는 하지 않지만, 기울기 V_F에 대응하는 기울기 V_f로 나타내는 데이터 정상성의 방향과 공간 방향의 X 방향이 이루는 각도인 움직임 θ)을 출력할 수 있다.

따라서, 2차원 다항식 근사 방법을 이용하는 실세계 추정부(102)는, 움직임 θ를 전술한 각도 θ 대신 사용하면, 전술한 방법과 동일한 방법으로, 근사 함수 f(x, t)의 계수(특징량) w_i를 연산하는 것이 가능하게 된다. 단, 이 경우, 사용되는 식은, 전술한 식(132)이 아니고, 다음의 식(148)이다.

…(148)

그리고, 식(148)에 있어서, s는 cotθ(단, θ는 움직임)이다.

또, 공간 방향 X 대신, 공간 방향 Y에 주목한 근사 함수 f(y, t)도, 전술한 근사 함수 f(x, t)와 똑같이 취급할 수 있다.

이와 같이, 2차원 다항식 근사 방법에 있어서는, 예를 들면, 도 219(도 3)의 데이터 정상성 검출부(101)가, 각각 시공간 적분 효과를 가지는, 센서의 복수개의 검출 소자(예를 들면, 도 239의 센서(2)의 검출 소자(2-1))에 의해 실세계(1)(도 219)의 광신호가 투영되어, 실세계(1)의 광신호의 정상성(예를 들면, 도 238의 기울기 G_F로 나타내는 정상성)의 일부가 결락된, 검출 소자(2-1)에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 화상 데이터(예를 들면, 도 219의 입력 화상)에 있어서의 데이터 정상성(예를 들면, 도 240의 기울기 G_F로 나타내는 데이터 정상성)을 검출한다.

그리고, 예를 들면, 도 219(도 3)의 실세계 추정부(102)(그 구성은, 도 241)가, 데이터 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하여, 화상 데이터의 시공간 방향 중, 적어도 2차원 방향(예를 들면, 도 238과 도 239의 공간 방향 X와 공간 방향 Y)의 위치에 대응하는 화소의 화소값(예를 들면, 전술한 식(131)의 좌변인 입력 화소값 P(x, y)가, 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 식(132)의 우변에 나타낸 바와 같이, 전술한 식(131)에서 나타내는 근사 함수 f(x, y)가 X 방향과 Y 방향으로 적분된 값)인 것으로 하여, 실세계(1)의 광신호를 나타내는 광신호 함수 F(구체적으로는, 도 238의 함수 F(x, y))를, 다항식인 근사 함수 f(예를 들면, 식(131)에서 나타내는 근사 함수 f(x, y))로 근사함으로써, 광신호 함수 F를 추정한다.

상세하게는, 예를 들면, 실세계 추정부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하는 선(예를 들면, 도 240의 기울기 G_F에 대응하는 선(화살표)으로부터 적어도 2차원 방향을 따른 거리(예를 들면, 도 240의 단면 방향 거리 x')에 대응하는 화소의 화소값이, 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 현실 세계의 광신호를 나타내는 제1 함수를, 다항식인 제2 함수로 근사함으로써, 제1 함수를 추정한다.

이와 같이, 2차원 다항식 근사 방법은, 1차원이 아닌 2차원의 적분 효과를 고려하고 있으므로, 1차원 다항식 근사 방법과 비교하여, 보다 정확하게 실세계(1)의 광신호를 추정하는 것이 가능하게 된다.

다음에, 도 245내지 도 249를 참조하여, 제3 함수 근사 방법에 대하여 설명한다.

즉, 제3 함수 근사 방법이란, 예를 들면, 시공간 방향 중 소정의 방향의 정상성을 가지는 실세계(1)의 광신호를, 광신호 함수 F(x, y, t)로 나타내는 것에 주목하여, 근사 함수 f(x, y, t)로 광신호 함수 F(x, y, t)를 근사함으로써, 광신호 함수 F(x, y, t)를 추정하는 방법이다. 따라서, 이하, 제3 함수 근사 방법을, 3차원 함수 근사 방법이라고 한다.

또, 3차원 함수 근사 방법의 설명에 있어서도, 센서(2)는, 도 245에서 나타낸 바와 같은, 복수개의 검출 소자(2-1)가 그 평면 상에 배치되어 구성되는 CCD가 된다.

도 245의 예에서는, 검출 소자(2-1)의 소정의 한변에 평행한 방향이, 공간 방향의 일방향인 X 방향이 되어 있고, X 방향으로 수직인 방향이, 공간 방향의 다른 방향인 Y 방향이 되어 있다. 그리고, X－Y 평면에 수직인 방향이, 시간 방향인 t 방향이 되어 있다.

또, 도 245의 예에서는, 센서(2)의 각 검출 소자(2-1)의 각각의 공간적인 형 상은, 한변의 길이가 1인 정방형이 되어 있다. 그리고, 센서(2)의 셔터 시간(노광 시간)이 1로 되어 있다.

또한, 도 245의 예에서는, 센서(2)의 소정의 1개의 검출 소자(2-1)의 중심이, 공간 방향(X 방향과 Y 방향)의 원점(X 방향의 위치 x=0, 및 Y 방향의 위치 y=0)이 되어 있고, 또, 노광 시간의 중간 시각이, 시간 방향(t 방향)의 원점(t 방향의 위치 t = 0)이 되어 있다.

이 경우, 공간 방향의 원점(x = 0, y = 0)에 그 중심이 존재하는 검출 소자(2-1)는, X 방향으로 -0. 5 내지 0.5의 범위, Y 방향으로 -0.5 내지 0.5의 범위, 및 t 방향으로 -0.5 내지 0.5의 범위에서 광신호 함수 F(x, y, t)를 적분하고, 그 적분값을 화소값 P로서 출력하게 된다.

즉, 공간 방향의 원점에 그 중심이 존재하는 검출 소자(2-1)로부터 출력되는 화소값 P는, 다음의 식(149)에서 나타낸다.

…(149)

그 외의 검출 소자(2-1)도 마찬가지로, 대상으로 하는 검출 소자(2-1)의 중심을 공간 방향의 원점으로 함으로써, 식(149)에서 나타내는 화소값 P를 출력하게 된다.

그런데, 전술한 바와 같이, 3차원 함수 근사 방법에 있어서는, 광신호 함수 F(x, y, t)는, 3차원의 근사 함수 f(x, y, t)에 근사된다.

구체적으로는, 예를 들면, 근사 함수 f(x, y, t)를, N개의 변수(특징량)를 가지는 함수로 하고, 식(149)에 대응하는 입력 화소값 P(x, y, t)와 근사 함수 f(x, y, t)의 관계식을 정의한다. 이로써, N보다 큰 M개의 입력 화소값 P(x, y, t)가 취득되어 있으면, 정의된 관계식으로부터 N개의 변수(특징량)의 산출이 가능하다. 즉, 실세계 추정부(102)는, M개의 입력 화소값 P(x, y, t)를 취득하여 N개의 변수(특징량)를 연산함으로써, 광신호 함수 F(x, y, t)를 추정할 수 있다.

이 경우, 실세계 추정부(102)는, 센서(2)로부터의 입력 화상(입력 화소값)에 포함되는 데이터 정상성을 제한함으로써(즉, 데이터 정상성 검출부(101)로부터 출력되는 입력 화상에 대한 데이터 정상성 정보를 이용하여), 입력 화상 전체 중의, M개의 입력 화상 P(x, y, t)를 추출(취득)한다. 결과적으로, 예측 함수 f(x, y, t)는, 데이터 정상성에 구속된다.

예를 들면, 도 246에 나타낸 바와 같이, 입력 화상에 대응하는 광신호 함수 F(x, y, t)가, 기울기 G_F로 나타내는 공간 방향의 정상성을 가지고 있는 경우, 데이터 정상성 검출부(101)는, 입력 화상에 대한 데이터 정상성 정보로서, 각도 θ(기울기 G_F에 대응하는 기울기 G_F (도시하지 않음)로 나타내는 데이터 정상성의 방향과 X 방향이 이루는 각도 θ)를 출력하게 된다.

이 경우, 광신호 함수 F(x, y, t)를 X 방향으로 투영한 1차원의 파형(여기에서는, 이와 같은 파형을, X 단면 파형이라 한다)은, Y 방향의 어느 위치에서 투영한 경우라도 동일한 형상인 것으로 한다.

즉, 동일 형상의 X 단면 파형이, 정상성의 방향(X 방향에 대하여 각도 θ 방향)으로 이어져 있는 2차원의(공간 방향의) 파형이 존재한다고 하고, 그와 같은 2차원 파형이 시간 방향 t에 이어진 3차원 파형을, 근사 함수 f(x, y, t)로 근사한다.

환언하면, 주목 화소의 중심으로부터 Y 방향으로 위치 y 만큼 어긋난 X 단면 파형은, 주목 화소의 중심을 지나는 X 단면 파형이 X 방향으로 소정의 양(각도 θ에 따라 변화하는 양)만큼 이동한(시프트한) 파형이 된다. 그리고, 이하, 이와같은 양을, 시프트량이라고 한다.

이 시프트량은, 다음과 같이 산출이 가능하다.

즉, 기울기 V_f (예를 들면, 도 246의 기울기 V_F에 대응하는, 데이터 정상성의 방향을 나타내는 기울기 V_f)와 각도 θ는, 다음의 식(150)과 같이 나타낸다.

…(150)

그리고, 식(150)에 있어서, dx는, X 방향의 미소 이동량을 나타내고 있고, dy는, dx에 대한 Y 방향의 미소 이동량을 나타내고 있다.

따라서, X 방향에 대한 시프트량을 C_x(y)라 기술하면, 다음의 식(151)과 같이 나타난다.

…(151)

이와 같이 하여, 시프트량 C_x(y)를 정의하면, 식(149)에 대응하는 입력 화소값 P(x, y, t)와 근사 함수 f(x, y, t)의 관계식은, 다음의 식(152)과 같이 나타낸다.

…(152)

식(152)에 있어서, e는, 오차를 나타내고 있다. t_s는, t 방향의 적분 개시 위치를 나타내고 있고, t_e는, t 방향의 적분 종료 위치를 나타내고 있다. 마찬가지로, y_s는, Y 방향의 적분 개시 위치를 나타내고 있고, y_e는, Y 방향의 적분 종료 위치를 나타내고 있다. 또, x_s는, X 방향의 적분 개시 위치를 나타내고 있고, x_e는, X 방향의 적분 종료 위치를 나타내고 있다. 단, 구체적인 각 적분 범위의 각각은, 다음의 식(153)에서 나타내는 바와 같다.

…(153)

식(153)에서 나타내는 바와 같이, 주목 화소로부터 공간 방향으로 (x, y)만큼 떨어져 위치하는 화소에 대한 X 방향의 적분 범위를, 시프트량 C_x(y)만큼 이동시킴으로써, 동일 형상의 X 단면 파형이, 정상성의 방향(X 방향에 대하여 각도 θ 방향)으로 이어져 있는 것을 나타낼 수 있다.

이와 같이, 3차원 함수 근사 방법에 있어서는, 화소값 P(x, y, t)와 3차원의 근사 함수 f(x, y, t)의 관계를 식(152)(적분 범위는, 식(153))에서 나타내는 것이 가능하므로, 식(152)과 식(153)을 이용하여, 근사 함수 f(x, y, t)의 N개의 특징량을, 예를 들면, 최소 자승법 등에 의해 연산함으로써, 광신호 함수 F(x, y,t)(예를 들면, 도 246에 나타낸 바와 같은 기울기 V_F로 나타내는 공간 방향의 정상성을 가지는 광신호)의 추정이 가능하게 된다.

그리고, 광신호 함수 F(x, y, t)로 나타내는 광신호가, 예를 들면, 도 246에 나타낸 바와 같은 기울기 V_F로 나타내는 공간 방향의 정상성을 가지고 있는 경우, 다음과 같이 하여 광신호 함수 F(x, y, t)를 근사해도 된다.

즉, 광신호 함수 F(x, y, t)를 Y 방향으로 투영한 1차원의 파형(이하, 이와 같은 파형을, Y단면 파형이라고 한다)은, X 방향의 어느 위치에서 투영한 경우라도 동일한 형상인 것으로 한다.

환언하면, 동일 형상의 Y단면 파형이, 정상성의 방향(X 방향에 대하여 각도 θ 방향)에 이어져 있는 2차원의(공간 방향의) 파형이 존재한다고 하고, 그와 같은 2차원 파형이 시간 방향 t로 이어진 3차원 파형을, 근사 함수 f(x, y, t)로 근사한다.

따라서, 주목 화소의 중심으로부터 X 방향으로 x 만큼 어긋난 Y 단면 파형은, 주목 화소의 중심을 통과하는 Y 단면 파형이 Y 방향으로 소정의 시프트량(각도 θ에 따라 변화하는 시프트량)만큼 이동한 파형이 된다.

상기 시프트량은, 다음과 같이 하여 산출할 수 있다.

즉, 기울기 G_F가, 전술한 식(150)과 같이 나타나므로, Y 방향에 대한 시프트량을 C_y(x)로 기술하면, 다음의 식(154)와 같이 나타낸다.

…(154)

이와 같이 하여, 시프트량 C_y(x)을 정의하면, 식(149)에 대응하는 입력 화소값 P(x, y, t)와 근사 함수 f(x, y, t)의 관계식은, 시프트량 C_x(y)를 정의했을 때와 마찬가지로, 전술한 식(152)로 나타낸다.

단, 이번에는, 구체적인 각 적분 범위의 각각은, 다음의 식(155)에서 나타내는 바와 같이 된다.

…(155)

식(155)(및 전술한 식(152))에서 나타낸 바와 같이, 주목 화소로부터 (x, y)만큼 떨어져 위치하는 화소에 대한 Y 방향의 적분 범위를, 시프트량 C_y(x)만큼 이동시킴으로써, 동일 형상의 Y 단면 파형이, 정상성의 방향(X 방향에 대하여 각도 θ 방향)에 이어져 있는 것을 나타낼 수 있게 된다.

이와 같이, 3차원 함수 근사 방법에 있어서는, 전술한 식(152)의 우변의 적 분 범위를 식(153)뿐만아니라 식(155)에 의해서도 가능하므로, 적분 범위로서 식(155)가 채용된 식(152)을 이용하여, 근사 함수 f(x, y, t)의 n개의 특징량을, 예를 들면, 최소 자승법 등에 의해 연산함으로써, 광신호 함수 F(x, y, t)(기울기 G_F로 나타내는 공간 방향의 정상성을 가지는 실세계(1)의 광신호)의 추정이 가능해진다.

이와 같이, 적분 범위를 나타내는 식(153)과 식(155)는, 정상성의 방향에 맞추어서 주변 화소를 X 방향으로 시프트 시킬지(식(153)의 경우), 또는 Y 방향으로 시프트 시킬지(식(155)의 경우)가 다를 뿐, 본질적으로는 동일한 것을 나타내고 있다.

그러나, 정상성의 방향(기울기 G_F)에 따라, 광신호 함수 F(x, y, t)를, X 단면 파형의 모임으로 파악하는 것과, Y단면 파형의 모임으로 파악하는 것은 상이하였다. 즉, 정상성의 방향이 Y 방향에 가까운 경우, 광신호 함수 F(x, y, t)를, X 단면 파형의 모임이라고 파악하는 것이 더 적합하다. 이에 비해, 정상성의 방향이 X 방향에 가까운 경우, 광신호 함수 F(x, y, t)를, Y단면 파형의 모임이라고 파악하는 것이 더 적합하다.

따라서, 실세계 추정부(102)는, 적분 범위로서 식(153)과 식(155)의 양쪽을 준비해두고, 정상성의 방향에 따라, 적선식(152)의 우변의 적분 범위로서 식(153) 과 식(155) 중 어느 한쪽을 선택하면 된다.

이상, 광신호 함수 F(x, y, t)가 공간 방향(X 방향과 Y 방향)의 정상성(예를 들면, 도 246의 기울기 G_F로 나타내는 공간 방향의 정상성)을 가지는 경우에 관한 3차원 함수 방법에 대하여 설명하였으나, 3차원 함수 방법은, 도 247에 나타낸 바와 같이, 광신호 함수 F(x, y, t)가 시공간 방향(X 방향, Y 방향, 및 t 방향)의 정상성(기울기 V_F로 나타내는 정상성)을 가지는 경우에 대하여도 적용 가능하다.

즉, 도 247에 있어서, 프레임 번호＃N-1의 프레임에 대응하는 광신호 함수가 F(x, y, #N-1)가 되고, 프레임 번호＃N의 프레임에 대응하는 광신호 함수가 F(x, y, #N)가 되고, 또한, 프레임 번호＃N+1의 프레임에 대응하는 광신호 함수가 F(x, y, #N+1)가 되어 있다.

그리고, 도 247에 있어서, 도면 중, 수평 방향은, 공간 방향의 일방향인 X 방향이 되어 있고, 우상측 대각선 방향은, 공간 방향의 다른 방향인 Y 방향이 되어 있고, 또한 수직 방향은, 시간 방향인 t 방향이 되어 있다.

또, 프레임#N-1은, 프레임#N에 대하여 시간적으로 앞선 프레임이며, 프레임#N+1은, 프레임#N에 대하여 시간적으로 나중의 프레임이다. 즉, 프레임#N-1, 프레임#N, 및 프레임#N+1은, 프레임#N-1, 프레임#N, 및 프레임#N+1의 순서로 나타낸다.

도 247의 예에서는, 기울기 V_F로 나타내는 방향(도면 중 좌측 하단 앞에서부 터 우측 상단의 내측 방향)에 따른 단면의 광의 레벨이 대략 일정하게 되어 있다. 따라서, 도 247의 예에서는, 광신호 함수 F(x, y, t)는, 기울기 V_F로 나타내는 시공간 방향의 정상성을 가지고 있다고 할 수 있다.

이 경우, 시공간 방향의 정상성을 나타내는 함수 C(x, y, t)를 정의하고, 또한 정의된 함수 C(x, y, t)를 이용하여, 전술한 식(152)의 적분 범위를 정의하면, 전술한 식(153)이나 식(155)와 같이, 근사 함수 f(x, y, t)의 N개의 특징량의 산출이 가능하게 된다.

함수 C(x, y, t)는, 정상성의 방향을 나타내는 함수이면 특히 한정되지 않는다. 단, 이하에 있어서는, 직선적인 정상성인 것으로 하여, 그에 대응하는 함수 C(x, y, t)로서 전술한 공간 방향의 정상성을 나타내는 함수인 시프트량 C_x(y)(식(151))이나 시프트량 C_y(x)(식(153))에 해당하는, C_x(t)와 C_y(t)를 다음과 같이 정의하고자 한다.

즉, 전술한 공간 방향의 데이터 정상성을 나타내는 기울기 G_F에 대응하는, 시공간 방향의 데이터 정상성의 기울기를 V_f라 하면, 상기 기울기 V_f를 X 방향의 기울기(이하, V_fx라고 기술)와 Y 방향의 기울기(이하, V_fy라고 기술)로 분할하면, 기울기 V_fx는 다음의 식(156)에서, 기울기 V_fy는 다음의 식(157)에서, 각각 나타낸다.

…(156)

…(157)

이 경우, 함수 C_x(t)는, 식(156)에서 나타내는 기울기 V_fx를 이용하여, 다음의 식(158)과 같이 나타낸다.

…(158)

마찬가지로, 함수 C_y(t)는, 식(157)에서 나타내는 기울기 V_fy를 이용하여, 다음의 식(159)와 같이 나타낸다.

…(159)

이와 같이 하여, 시공간 방향의 정상성(2511)을 나타내는 함수 C_x(t)와 함수C_y(t)를 정의하면, 식(152)의 적분 범위는, 다음의 식(160)과 같이 나타낸다.

…(160)

이와 같이, 3차원 함수 근사 방법에 있어서는, 화소값 P(x, y, t)와 3차원의 근사 함수 f(x, y, t)의 관계를 식(152)에서 나타내는 것이 가능하므로, 상기 식(152)의 우변의 적분 범위로서 식(160)을 이용하여, 근사 함수 f(x, y, t)의 n＋1개의 특징량을, 예를 들면, 최소 자승법 등에 의해 연산함으로써, 광신호 함수 F(x, y, t)(시공간 방향의 소정의 방향으로 정상성을 가지는 실세계(1)의 광신호)를 추정하는 것이 가능해진다.

도 248은, 이와 같은 3차원 함수 근사 방법을 이용하는 실세계 추정부(102)의 구성예를 나타내고 있다.

그리고, 3차원 함수 근사 방법을 이용하는 실세계 추정부(102)가 연산하는 근사 함수 f(x, y, t)(실제로는, 그 특징량(계수)을 연산한다)는, 특히 한정되지 않지만, 이하의 설명에 있어서는, n(n = N-1)차의 다항식이 된다.

도 248에 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(2521), 입력 화상 기억부(2522), 입력 화소값 취득부(2523), 적분 성분 연산부(2524), 정규 방정식 생성부(2525), 및 근사 함수 생성부(2526)가 형성되어 있다.

조건 설정부(2521)는, 주목 화소에 대응하는 광신호 함수 F(x, y, t)를 추정하기 위해 사용하는 화소의 범위(탭 범위)와, 근사 함수 f(x, y, t)의 차수 n을 설정한다.

입력 화상 기억부(2522)는, 센서(2)로부터의 입력 화상(화소값)을 1차적으로 저장한다.

입력 화소값 취득부(2523)는, 입력 화상 기억부(2522)에 기억된 입력 화상 중의, 조건 설정부(2521)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(2525)에 공급한다. 즉, 입력 화소값 테이블은, 입력 화상의 영역에 포함되는 각 화소의 각각의 화소값이 기술된 테이블이다.

그런데, 전술한 바와 같이, 3차원 함수 근사 방법을 이용하는 실세계 추정부(102)는, 전술한 식(152)(단 적분 범위는, 식(153), 식(156), 또는 식(160))을 이용하여 최소 자승법에 의해 근사 함수 f(x, y)의 N개의 특징량(지금의 경우, 각 차의 계수)을 연산한다.

식(152)의 우변은, 그 적분을 연산함으로써, 다음의 식(161)과 같이 나타낼 수 있다.

…(161)

식(161)에 있어서, w_i는, i차항의 계수(특징량)를 나타내고 있고, 또, S_i(x_s, x_e, y_s, y_e, t_s, t_e)는, i차항의 적분 성분을 나타내고 있다. 단, x_s는 X 방향의 적분 범위의 개시 위치를, x_e는 X 방향의 적분 범위의 종료 위치를, y_s는 Y 방향의 적분 범위의 개시 위치를, y_e는 Y 방향의 적분 범위의 종료 위치를, t_s는 t 방향의 적분 범위의 개시 위치를, t_e는 t 방향의 적분 범위의 종료 위치를, 각각 나타내고 있다.

적분 성분 연산부(2524)는, 상기 적분 성분 S_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산한다.

즉, 적분 성분 연산부(2524)는, 조건 설정부(2521)에 의해 설정된 탭 범위 및 차수, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중의 각도 또는 움직임(적분 범위로서 전술한 식(153) 또는 식(156)이 이용되는 경우에는 각도이며, 전술한 식(160)이 이용되는 경우에는 움직임이다)에 따라 적분 성분 S_i(xs, xe, ys, ye, t_s, te)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정 규 방정식 생성부(2525)에 공급한다.

정규 방정식 생성부(2525)는, 입력 화소값 취득부(2523)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(2524)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(161)을 최소 자승법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(2526)에 출력한다. 정규 방정식의 예에 대하여서는, 후술한다.

근사 함수 생성부(2526)는, 정규 방정식 생성부(2525)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해법으로 풀어서, 특징량 w_i(지금의 경우, 3차원 다항식인 화소값 함수 f(x, y)의 계수 w_i)의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 249의 흐름도를 참조하여, 3차원 함수 근사 방법이 적용되는 실세계의 추정 처리(도 40의 스텝 S102의 처리)에 대하여 설명한다.

처음에, 스텝 S2501에 있어서, 조건 설정부(2521)는, 조건(탭 범위와 차수)을 설정한다.

예를 들면, 지금, L개의 화소로 이루어지는 탭 범위가 설정된 것으로 한다. 또, 각 화소의 각각에 대하여, 소정의 번호 l(l은, 0 내지 L-1중 어느 하나의 정수치)가 부여되는 것으로 한다.

다음에, 스텝 S2502에 있어서, 조건 설정부(2521)는, 주목 화소를 설정한다.

스텝 S2503에 있어서, 입력 화소값 취득부(2523)는, 조건 설정부(2521)에 의해 설정된 조건(탭 범위)에 따라 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 지금의 경우, L개의 입력 화소값 P(x, y, t)로 이루어지는 테이블이 생성되게 된다. 여기서, L개의 입력 화소값 P(x, y, t)의 각각을, 그 화소의 번호 l의 함수로서 P(l)이라고 기술하기로 한다. 즉, 입력 화소값 테이블은, L개의 P(l)이 포함되는 테이블이 된다.

스텝 S2504에 있어서, 적분 성분 연산부(2524)는, 조건 설정부(2521)에 의해 설정된 조건(탭 범위 및 차수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 또는 움직임)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

단, 지금의 경우, 전술한 바와 같이, 입력 화소값은, P(x, y, t)가 아니고, 화소의 번호 l의 값인 P(l)가 취득되므로, 적분 성분 연산부(2524)는, 전술한 식(161)의 적분 성분 S_i(x_s, x_e, y_s, y_e, t_s, t_e)를, l의 함수인 적분 성분 S_i(l)를 연산하게 된다. 즉, 적분 성분 테이블은, L × i개의 S_i (l)이 포함되는 테이블이 된다.

그리고, 스텝 S2503의 처리와 스텝 S2504의 처리의 순서는, 도 249의 예에 한정되지 않고, 스텝 S2504의 처리가 먼저 실행되어도 되고, 스텝 S2503의 처리와 스텝 S2504의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S2505에 있어서, 정규 방정식 생성부(2525)는, 스텝 S2503의 처리에서 입력 화소값 취득부(2523)에 의해 생성된 입력 화소값 테이블과, 스텝 S2504의 처리에서 적분 성분 연산부(2524)에 의해 생성된 적분 성분 테이블에 따라, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 최소 자승법에 의하여, 전술한 식(161)에 대응하는 다음의 식(162)의 특징량 w_i를 연산한다. 그리고, 그에 대응하는 정규 방정식은, 다음의 식(163)과 같이 나타낸다.

…(162)

…(163)

식(163)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(164) 내지 (166)과 같이 정의하면, 정규 방정식은, 다음의 식(167)과 같이 나타낸다.

…(164)

…(165)

…(166)

…(167)

식(165)에서 나타낸 바와 같이, 행렬 W_MAT의 각 성분은, 구하고자 하는 특징량 w_i이다. 따라서, 식(167)에 있어서, 좌변의 행렬 S_MAT와 우변의 행렬 P_MAT가 결정되면, 행렬 해법에 의해 행렬 W_MAT(즉, 특징량 w_i)의 산출이 가능하다.

구체적으로는, 식(164)에서 나타낸 바와 같이, 행렬 S_MAT의 각 성분은, 전술한 적분 성분 S_i(l)이 이미 알려져 있으면 연산 가능하다. 적분 성분 S_i(l)은, 적분 성분 연산부(2524)로부터 공급된 적분 성분 테이블에 포함되어 있으므로, 정규 방정식 생성부(2525)는, 적분 성분 테이블을 이용하여 행렬 S_MAT의 각 성분을 연산 할수 있다.

또, 식(166)에서 나타낸 바와 같이, 행렬 P_MAT의 각 성분은, 적분 성분 S_i(l)과 입력 화소값 P(l)이 이미 알려져 있으면 연산 가능하다. 적분 성분 S_i(l)은, 행렬 S_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 입력 화소값 P(l)은, 입력 화소값 취득부(2523)로부터 공급된 입력 화소값 테이블에 포함되어 있으므로, 정규 방정식 생성부(2525)는, 적분 성분 테이블과 입력 화소값 테이블을 이용하여 행렬 P_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(2525)는, 행렬 S_MAT와 행렬 P_MAT의 각 성분을 연산하고, 그 연산 결과(행렬 S_MAT와 행렬 P_MAT의 각 성분)를 정규 방정식 테이블로서 근사 함수 생성부(2526)에 출력한다.

정규 방정식 생성부(2526)로부터 정규 방정식 테이블이 출력되면, 스텝 S2506에 있어서, 근사 함수 생성부(2526)는, 정규 방정식 테이블에 따라, 전술한 식(167)의 행렬 W_MAT의 각 성분인 특징량 w_i (즉, 근사 함수 f(x, y, t)의 계수 w_i)를 연산한다.

구체적으로는, 전술한 식(167)의 정규 방정식은, 다음의 식(168)과 같이 변형할 수 있다.

…(168)

식(168)에 있어서, 좌변의 행렬 W_MAT의 각 성분이, 구하고자 하는 특징량 w_i이다. 또, 행렬 S_MAT와 행렬 P_MAT의 각각의 각 성분은, 정규 방정식 생성부(2525)로부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(2526)는, 정규 방정식 테이블을 이용하여, 식(168)의 우변의 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.

스텝 S2507에 있어서, 근사 함수 생성부(2526)는, 모든 화소의 처리가 종료되었는지의 여부를 판정한다.

스텝 S2507에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S2502으로 돌아가, 그 이후의 처리가 반복된다.

즉, 아직 주목 화소로 여겨지지 않는 화소가, 차례로 주목 화소가 되어, 스텝 S2502 내지 S2507의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S5407에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료된다.

이상, 설명한 바와 같이, 3차원 함수 근사 방법은, 1차원이나 2차원이 아닌, 시공간 방향의 3차원의 적분 효과를 고려하고 있으므로, 1차원 다항식 근사 방법 및 2차원 다항식 근사 방법과 비교하여, 보다 정확하게 실세계(1)의 광신호를 추정하는 것이 가능하게 된다.

환언하면, 3차원 함수 근사 방법에 있어서는, 예를 들면, 도 219(도 3)의 실세계 추정부(102)(그 구성은, 예를 들면, 도 248)는, 각각 시공간 적분 효과를 가지는, 센서의 복수개의 검출 소자(예를 들면, 도 245의 센서(2)의 검출 소자(2-1))에 의해 실세계(1)의 광신호가 투영되어, 실세계(1)의 광신호의 정상성(예를 들면, 도 246의 기울기 G_F, 또는 도 247의 기울기 V_F로 나타내는 정상성)의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상의, 시공간 방향 중 적어도 1차원 방향(예를 들면, 도 247의 공간 방향 X, 공간 방향 Y, 및 시간 방향 t의 3차원 방향)의 위치에 대응하는 상기 화소의 상기 화소값(예를 들면, 식(153)의 좌변의 입력 화소값 P(x, y, z)가, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 전술한 식(153)의 우변에 나타낸 바와 같이, 근사 함수 f(x, y, t)가 X 방향, Y 방향, 및 t 방향의 3차원으로 적분된 값)인 것으로 하여, 실세계의 광신호를 나타내는 광신호 함수 F(구체적으로는, 예를 들면, 도 246이나 도 247의 광신호 함수 F(x, y, t))를 소정의 근사 함수 f( 구체적으로는, 예를 들면, 식(152)의 우변의 근사 함수 f(x, y, t))로 근사함으로써, 광신호 함수 F를 추정한다.

또한, 예를 들면, 도 219(도 3)의 데이터 정상성 검출부(101)가, 입력 화상의 데이터 정상성을 검출한 경우, 실세계 추정부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하여, 화상 데이터의 시공간 방향 중 적어도 1차원 방향의 위치에 대응하는 화소의 화소값이, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 광신호 함수 F를 근사 함수 f로 근사함으로써, 광신호 함수 F를 추정한다.

상세하게는, 예를 들면, 실세계 추정부(102)는, 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하는 선으로부터의 적어도 1차원 방향을 따른 거리(예를들면, 전술한 식(151)의 시프트량 C_x(y)에 대응하는 화소의 화소값이, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 전술한 식(153)에서 나타낸 바와 같은 적분 범위에서, 식(152)의 우변에 나타낸 바와 같이, 근사함수 f(x, y, t)가 X 방향, Y 방향, 및 t 방향의 3차원으로 적분된 값)인 것으로 하여, 광신호 함수 F를 근사 함수로 근사함으로써, 광신호 함수를 추정한다.

따라서, 3차원 함수 근사 방법에 의해, 보다 정확하게 실세계(1)의 광신호를 추정하는 것이 가능하게 된다.

다음으로, 도 250 내지 도 259를 참조하여, 실세계 추정부(102)가, 정상성을 가지는 실세계(1)의 신호를 모델(161)로 근사하는 경우에 있어서의, 데이터(162)를 추출하는 추출 방법의 다른 예에 대하여 설명한다.

이하의 예에서는, 각 화소의 각각의 중요도에 따라 가중을 주었으며, 각 화소의 각각의 화소값이 추출되어, 추출된 값이 데이터(162)(도 7)로서 이용되어, 실세계(1)의 신호가 모델(161)(도 7)로 근사된다.

구체적으로는, 예를 들면, 센서(2)(도 1)로부터의 입력 화상으로서, 도 250에 나타낸 바와 같은 입력 화상(2701)이, 실세계 추정부(102)(도 3)에 입력된 것으로 한다.

그리고, 도 250에 있어서, 도면 중 수평 방향이, 공간 방향의 일방향인 X 방향이 되고, 도면 중 수직 방향이, 공간 방향의 다른 방향인 Y 방향이 되어 있다.

또한, 입력 화상(2701)은, 화소폭(세로폭 및 가로폭) L_C를 각각 가지는, 7 × 16화소(도면 중, 정방형)의 화소값(도면 중, 사선으로 나타나 있지만, 실제는, 1개의 값을 가지는 데이터이다)으로 구성되어 있다.

주목 화소는, 화소값(2701-1)을 가지는 화소(이하, 화소값(2701-1)을 가지는 화소를, 주목 화소(2701-1)라고 한다)가 되어 있고, 주목 화소(2701-1)에 있어서의 데이터 정상성의 방향은 기울기 G_F로 나타나 있다.

도 251은, 주목 화소(2701-1)의 중심에 있어서의 실세계(1)의 광신호의 레벨과 단면 방향 거리 x'에 있어서의 실세계(1)의 광신호의 레벨의 차이(이하, 레벨 차이)를 나타내고 있다.즉, 도면 중 수평 방향의 축이 단면 방향 거리 x'를 나타내고 있고, 도면 중 수직 방향의 축이 레벨 차이를 나타내고 있다. 그리고, 도면 중 수평 방향의 축의 수치는, 화소폭 L_c를 1의 길이로서 부여하고 있다.

여기서, 도 252와 도 253을 참조하여, 단면 방향 거리 x'에 대하여 설명한다.

도 252는, 도 250의 입력 화상(2701) 중의, 주목 화소(2701-1)를 중심으로 하는 5 × 5화소의 블록을 나타내고 있다. 도 252에 있어서도, 도 250과 마찬가지로, 도면 중 수평 방향이, 공간 방향의 일방향인 X 방향이 되고, 도면 중 수직 방향이, 공간 방향의 다른 방향인 Y 방향이 되어 있다.

이 때, 예를 들면, 주목 화소(2701-1)의 중심을 공간 방향의 원점(0, 0)으로 하고, 상기 원점을 지나고, 또한 데이터 정상성의 방향(도 252의 예에서는, 기울기 G_F로 나타내는 데이터 정상성의 방향)과 평행한 직선을 그었다고 하면, 그 직선에 대한 X 방향의 상대적인 거리를, 단면 방향 거리 x'로 하고 있다. 도 252의 예에서는, 주목 화소(2701-1)보다 Y 방향으로 2화소분 떨어진 화소(2701-2)의 중심점에 있어서의 단면 방향 거리 x'가 나타나 있다.

도 253은, 도 250의 입력 화상(2701) 중의, 도 252에서 나타내는 블록 내의 각 화소의 단면 방향 거리를 나타낸 도면이다. 즉, 도 253에 있어서, 입력 화상(2701)의 각 화소(도면 중 5 × 5= 25개의 정방형) 내의 각각에 기재되어 있는 값이, 대응하는 화소의 단면 방향 거리이다. 예를 들면, 화소(2701-2)의 단면 방향 거리 x'는, -2β이다.

단, 전술한 바와 같이, 각 화소폭 L_c는, X 방향도 Y 방향도 1이 되어 있다. X 방향의 양의방향은, 도면 중 우측 방향이 되어 있다. 또, β는 주목 화소(2701-1)의 Y 방향에 대하여 1개 근처(도면 중 1개 밑)의 화소(2701-3)의 단면 방향 거리를 나타내고 있다. 상기 β는, 도 253에 나타낸 바와 같은 각도 θ(기울기 G_F로 나타내는 데이터 정상성의 방향과 X 방향이 이루는 각도 θ)가, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서 출력되어 있는 경우, 다음의 식(169)을 이용하여 간단하게 연산할 수 있다.

β = 1/tanθ …(169)

도 251로 되돌아가서, 실제의 레벨 차이를 묘사하기 곤란하므로, 도 251의 예에서는, 도 250의 입력 화상(2701)에 대응하는, 입력 화상(2701)보다 고해상도의 화상(도시하지 않음)을 사전에 생성하고, 고해상도의 화상의 화소 중의, 입력 화상 (2701)의 주목 화소(2701-1)의 대략 중심에 위치하는 화소(고해상도 화상의 화소)의 화소값과, 공간 방향 X에 수평인 직선으로서, 입력 화상(2701)의 주목 화소(2701-1)의 중심을 지나는 직선 상에 위치하는 각 화소(고해상도 화상의 화소)의 각각의 화소값과의 차이가, 레벨 차이로서 플롯(plot)되어 있다.

도 251에 있어서, 플롯된 레벨 차이로 나타낸 바와 같이, 단면 방향 거리 x'가 대략 -0.5로부터 대략 1.5의 범위에, 기울기 G_F로 나타내는 데이터 정상성을 가지는 영역(이하, 가중의 설명에 있어서, 이와 같은 영역을, 정상 영역이라 한다)이 존재한다.

따라서, 단면 방향 거리 x'가 작은 화소(입력 화상(2701)의 화소)일수록, 정상 영역을 포함하는 확률이 높아진다. 즉, 단면 방향 거리 x'가 작은 화소(입력 화상(2701)의 화소)의 화소값은, 실세계 추정부(102)가, 정상성을 가지는 실세계(1)의 신호를 모델(161)로 근사하는 경우에 이용하는 데이터(162)로서 중요도가 높다고 할 수 있다.

이에 비해, 단면 방향 거리 x'가 큰 화소(입력 화상(2701)의 화소)일수록, 정상 영역을 포함하는 확률이 낮아진다. 즉, 단면 방향 거리 x'가 큰 화소(입력 화상(2701)의 화소)는, 실세계 추정부(102)가, 정상성을 가지는 실세계(1)의 신호를 모델(161)로 근사하는 경우에 이용하는 데이터(162)로서 중요도가 낮다고 할 수 있다.

이상의 중요도의 관계에 대하여는, 입력 화상(2701)에 한정되지 않고, 센서(2)(도 1)로부터의 입력 화상 모두에 해당한다.

그래서, 실세계 추정부(102)는, 정상성을 가지는 실세계(1)의 신호를 모델(160)로 근사하는 경우, 각 화소(센서(2)로부터의 입력 화상의 화소)의 각각의 화소값에 대하여, 단면 방향 거리 x'에 따라 가중하여 추출하고, 추출한 값(가중된 화소값)을 데이터(162)로서 이용할 수 있다. 즉, 데이터(162)로서 입력 화상의 화소값이 추출되는 경우, 도 251에 나타낸 바와 같이, 단면 방향 거리 x'가 커지는만큼 중량감이 작아져서, 화소값이 추출되게 된다.

또한, 도 254에서 나타낸 바와 같이, 실세계 추정부(102)는, 정상성을 가지는 실세계(1)의 신호를 모델(161)로 근사하는 경우, 각 화소(센서(2)로부터의 입력 화상의 화소이며, 도 254의 예에서는, 입력 화상(2701)의 화소)의 각각의 화소값에 대하여, 공간 상관 관계에 따라(즉, 주목 화소(2701-1)으로부터의, 기울기 G_F로 나타내는 정상성의 방향의 거리에 따라) 가중을 두어 추출하고, 추출한 값(가중된 화소값)을 데이터(162)로서 이용할 수 있다. 즉, 데이터(162)로서 입력 화상의 화소값이 추출되는 경우, 도 254에서 나타낸 바와 같이, 공간 상관 관계가 작아지는만큼 (기울기 G_F로 나타내는 정상성의 방향의 거리가 커지는만큼) 중량이 작아져서, 화소값이 추출되게 된다. 그리고, 도 254는, 도 250과 동일한 입력 화상(2701)을 나타내고 있다.

전술한 2개의 가중(도 251에 나타낸 가중과 도 254에 나타내는 가중)은, 어느 한쪽만이 사용되어도 되고, 양쪽이 동시에 사용되어도 된다. 그리고, 양쪽이 동시에 사용되는 경우, 최종적으로 이용되는 가중의 산출 방법은, 특별히 한정되지 않는다. 예를 들면, 최종적인 가중으로서, 양쪽의 각 가중의 곱이 이용되어도 되고, 도 251에 나타낸 가중에 의해 결정된 가중에 대하여, 기울기 G_F로 나타내는 데이터 정상성의 방향의 거리에 따라 보정된 가중(예를 들면, 데이터 정상성의 방향의 거리가 1 증가할 때마다, 소정의 값씩 감소되어 가는 가중)이 이용되어도 된다.

실세계 추정부(102)는, 이와 같이 하여 결정된 중량을 사용하여, 각 화소의 각각의 화소값을 추출하고, 가중된 화소값을 데이터(162)로서 이용함으로써, 실세계(1)의 신호에 보다 가까운 모델(161)을 생성하는 것이 가능하게 된다.

구체적으로는, 예를 들면, 실세계 추정부(102)는, 전술한 바와 같이, S_MATW_MAT = P_MAT로 나타내는 정규 방정식을 이용하여(즉, 최소 자승법에 의해), 모델(161)인 근사 함수의 특징량(즉, 행렬 W_MAT의 각 성분)을 연산함으로써, 실세계(1)의 신호를 추정할 수도 있다.

이 경우, 입력 화상 중의, 화소의 번호가 l(l은, 1 내지 M 중 어느 하나의 정수치)의 화소의 각각에 대한 중량을 v_l로 기술하면, 실세계 추정부(102)는, 행렬 S_MAT로서 다음의 식(170)에서 나타내는 행렬을 사용하고, 또한 행렬 P_MAT로서 다음의 식(171)에서 나타내는 행렬을 사용할 수 있다.

…(170)

…(171)

이와 같이, 전술한 함수 근사 방법(도 219) 등, 최소 자승법을 이용하는 실세계 추정부(102)는, 중량감을 포함하는 행렬(즉, 전술한 식(170)과 전술한 식 (171))을 사용함으로써, 행렬 S_MAT로서 전술한 식(13)에서 나타내는 행렬을 사용하고, 또한 행렬 P_MAT로서 전술한 식(15)에서 나타내는 행렬을 사용하는 경우와 비교하여, 실세계(1)의 신호에 보다 가까운 근사 함수의 특징량을 연산하는 것이 가능하게 된다.

즉, 최소 자승법을 이용하는 실세계 추정부(102)는, 전술한 가중 처리를 또한 실행함으로써(정규 방정식에서 사용하는 행렬로서, 식(170)과 식(171)에서 나타낸 바와 같은, 가중 v_l이 포함되는 행렬을 사용하는 것만으로), 그 구성을 바꾸지 않고도, 실세계(1)의 신호에 보다 가까운 근사 함수의 특징량을 연산하는 것이 가능하게 된다.

구체적으로는, 예를 들면, 도 255는, 실세계 추정부(102)가, 정규 방정식의 행렬로서 가중 v_l을 포함하지 않는 행렬(예를 들면, 전술한 식(13)과 식(15))을 이용하여 근사 함수를 생성하고(근사 함수의 특징량을 연산하고), 화상 생성부(103)(도 3)가, 상기 근사 함수를 재적분함으로써 생성한 화상의 예를 나타내고 있다.

이에 비해, 도 256은, 실세계 추정부(102)가, 정규 방정식의 행렬로서, 가중 v_l을 포함하는 행렬(예를 들면, 전술한 식(170)과 식(171))을 이용하여 근사 함수를 생성하고(근사 함수의 특징량을 연산하고), 화상 생성부(103)가, 상기 근사 함수를 재적분함으로써 생성한 화상(도 255에 대응하는 화상)의 예를 나타내고 있다.

도 255의 화상과 도 256의 화상을 비교하면, 예를 들면, 도 255의 화상의 영역(2711)과 도 256의 화상의 영역(2712) 모두, 포크의 선단의 일부분(동일 부분)을 나타내고 있다.

도 255의 화상의 영역(2711)에 있어서는, 비연속의 복수개의 선이 중복되도록 하여 나타나 있지만, 도 256의 화상의 영역(2712)에 있어서는, 대략 하나의 연속한 선이 나타나 있다.

포크의 선단은 실제로는 연속하여 형성되어 있다(연속된 1개의 선으로서 인간의 눈에 비친다)는 것을 생각하면, 도 256의 화상의 영역(2712) 쪽이, 도 255의 화상의 영역(2711)과 비교하여, 실세계(1)의 신호, 즉, 포크의 선단의 화상으로부터 충실히 재현하고 있다고 할 수 있다.

또, 도 257은, 실세계 추정부(102)가, 정규 방정식의 행렬로서 가중 v_l을 포함하지 않는 행렬(예를 들면, 전술한 식(13)과 식(15))을 이용하여 근사 함수를 생성하고(근사 함수의 특징량을 연산하고), 화상 생성부(103)가, 상기 근사 함수를 재적분함으로써 생성한 화상의 다른 예(도 255의 화상과는 상이한 예)를 나타내고 있다.

이에 비해, 도 258은, 실세계 추정부(102)가, 정규 방정식의 행렬로서, 가중 v_l을 포함하는 행렬(예를 들면, 전술한 식(170)과 식(171))을 이용하여 근사함수를 생성하고(근사 함수의 특징량을 연산하고), 화상 생성부(103)가, 상기 근사 함수를 재적분함으로써 생성한 화상의 다른 예(도 257에 대응하는 화상이며, 도 256의 화상과는 상이한 예)를 나타내고 있다.

도 257의 화상과 도 258의 화상을 비교하면, 예를 들면, 도 257의 화상의 영역(2713)과 도 258의 화상의 영역(2714) 모두, 빔의 일부분(동일 부분)을 나타내고 있다.도 257의 화상의 영역(2713)에 있어서는, 비연속의 복수개의 선이 중첩되도록 나타나 있지만, 도 258의 화상의 영역(2714)에 있어서는, 대략 1개의 연속된 선이 나타나 있다.

빔은 실제로는 연속적으로 형성되어 있다(연속된 1개의 선으로서 인간의 눈에 비침)는 것을 생각하면, 도 258의 화상의 영역(2714)에 있어서는, 도 257의 화상의 영역(2713)과 비교하여, 실세계(1)의 신호, 즉, 빔의 화상을 보다 충실히 재현하고 있다고 할 수 있다.

이상에 의하면, 각각 시공간 적분 효과를 가지는, 센서의 복수개의 검출 소자에 의해 현실 세계의 광신호가 투영되어, 현실 세계의 광신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 화상 데이터에 있어서의 데이터 정상성을 검출하고, 검출한 데이터 정상성에 대응하 여, 화상 데이터 내의 주목 화소로부터의 시공간 방향 중의 적어도 1차원 방향의 거리에 따라, 화상 데이터 내의 각 화소의 각각에 대하여 가중됨과 동시에, 화상 데이터 내의, 적어도 1차원 방향의 위치에 대응하는 화소의 가중된 화소값을, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 현실 세계의 광신호를 나타내는 제1 함수가 다항식인 제2 함수로 근사함으로써, 제1 함수를 추정하도록 했으므로, 화상을 보다 충실히 표현할 수 있다.

다음에, 도 259 내지 도 280을 참조하여, 화상 생성부(103)(도 3)의 실시예의 일례에 대하여 설명한다.

도 259는, 이 예의 실시예의 원리를 설명하는 도면이다.

도 259에서 나타낸 바와 같이, 이 예의 실시예에 있어서는, 실세계 추정부(102)가, 함수 근사 방법을 이용하는 것이 전제가 된다. 즉, 센서(2)에 입사되는 화상인, 실세계(1)의 신호(광의 강도의 분포)가, 소정의 함수 F로 표시되는 것으로서, 실세계 추정부(102)가, 센서(2)로부터 출력된 입력 화상(화소값 P)과, 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보를 사용하여, 함수 F를 소정의 함수 f로 근사함으로써, 함수 F를 추정하는 것이 전제가 된다.

그리고, 이하, 이 예의 실시예의 설명에 있어서도, 화상인, 실세계(1)의 신호를, 특히 광신호라 하고, 함수 F를, 특히 광신호 함수 F 라고 한다. 또, 함수 f를, 특히 근사 함수 f라고 한다.

그래서, 이 예의 실시예에 있어서는, 이와 같은 전제에 따라서, 화상 생성부(103)가, 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보와, 실세계 추정부(102)로부터 출력된 실세계 추정 정보(도 259의 예에서는, 근사 함수 f의 특징량)를 사용하여, 근사 함수 f를 소정의 시공간 범위에서 적분하고, 그 적분값을 출력 화소값 M(출력 화상)으로서 출력한다. 그리고, 이 예의 실시예에 있어서는, 입력 화상의 화소와 출력 화상의 화소를 구별하기 위하여, 입력 화소값을 P로 기술하고, 출력 화소값을 M으로 기술한다.

환언하면, 광신호 함수 F가 한번 적분되어 입력 화소값 P가 되고, 상기 입력 화소값 P로부터 광신호 함수 F가 추측되고(근사 함수 f로 근사 되고), 추측된 광신호 함수 F(즉, 근사 함수 f)가 재차 적분되어, 출력 화소값 M이 생성된다.

따라서, 이하, 화상 생성부(103)가 실행하는 근사 함수 f의 적분을, 재적분이라고 한다. 또, 이 예의 실시예를, 재적분 방법이라고 한다.

그리고, 후술하는 바와 같이, 재적분 방법에 있어서, 출력 화소값 M이 생성되는 경우의 근사 함수 f의 적분 범위는, 입력 화소값 P가 생성되는 경우의 광신호 함수 F의 적분 범위(즉, 공간 방향에 있어서는, 센서(2)의 검출 소자의 세로폭과 가로폭이며, 시간 방향에 있어서는, 센서(2)의 노광 시간)로 한정되지 않고, 임의의 적분 범위가 가능하다.

예를 들면, 출력 화소값 M이 생성되는 경우, 근사 함수 f의 적분 범위 중의 공간 방향의 적분 범위를 가변함으로써, 그 적분 범위에 따라 출력 화상의 화소 피치를 가변하는 것이 가능하게 된다. 즉, 공간 해상도의 창조가 가능하게 된다.

마찬가지로, 예를 들면, 출력 화소값 M이 생성되는 경우, 근사 함수 f의 적분 범위 중의 시간 방향의 적분 범위를 가변함으로써, 시간 해상도의 창조가 가능하게 된다.

이하, 도면을 참조하여, 이와 같은 재적분 방법 중 3개의 구체적인 방법에 대하여 각각 개별적으로 설명한다.

즉, 3개의 구체적인 방법이란, 함수 근사 방법의 3개의 구체적인 방법(실세계 추정부(102)의 실시예의 전술한 3개의 구체적인 예)의 각각에 대응하는 재적분 방법이다.

구체적으로, 첫번째 방법은, 전술한 1차원 다항식 근사 방법(함수 근사 방법의 하나)에 대응하는 재적분 방법이다. 따라서, 첫번째의 방법에서는 1차원의 재적분을 행하게 되므로, 이하, 이와 같은 재적분 방법을, 1차원 재적분 방법이라고 한다.

두번째 방법은, 전술한 2차원 다항식 근사 방법(함수 근사 방법의 하나)에 대응하는 재적분 방법이다. 따라서, 두번째 방법에서는 2차원의 재적분을 행하게 되므로, 이하, 이와 같은 재적분 방법을, 2차원 재적분 방법이라고 한다.

세번째의 방법은, 전술한 3차원 함수 근사 방법(함수 근사 방법의 하나)에 대응하는 재적분 방법이다. 따라서, 세번째의 방법에서는 3차원의 재적분을 행하게 되 므로, 이하, 이와 같은 재적분 방법을, 3차원 재적분 방법이라고 한다.

이하, 1차원 재적분 방법, 2차원 재적분 방법, 및 3차원 재적분 방법의 각각의 상세에 대하여, 그 순서대로 설명한다.

처음에, 1차원 재적분 방법에 대하여 설명한다.

1차원 재적분 방법에 있어서는, 1차원 다항식 근사 방법에 의해 근사 함수 f(x)가 이미 생성되어 있는 것이 전제가 된다.

즉, 3차원의 공간 위의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 광신호 함수 F(x, y, t)를, 공간 방향인 X 방향, Y 방향, 및 Z 방향, 및 시간 방향인 t 방향 중의 소정의 일방향(예를 들면, X 방향)에 투영한 1차원의 파형(재적분 방법의 설명에 있어서도, 이와 같은 파형 중 X 방향으로 투영한 파형을, X 단면 파형 F(x)이라고 함)이, n차(n은, 임의의 정수)의 다항식인 근사 함수 f(x)로 근사되어 있는 것이 전제가 된다.

이 경우, 1차원 재적분 방법에 있어서는, 출력 화소값 M은, 다음의 식(172)과 같이 연산된다.

…(172)

그리고, 식(172)에 있어서, x_s는, 적분 개시 위치를 나타내고 있고, x_e는, 적분 종료 위치를 나타내고 있다. 또, G_e는, 소정의 게인을 나타내고 있다.

구체적으로는, 예를 들면, 지금, 실세계 추측부(102)가, 도 260에 나타낸 바와 같은 화소(3101)(센서(2)의 소정의 1개의 검출 소자에 대응하는 화소(3101)를 주목 화소로서, 도 260에 나타낸 바와 같은 근사 함수 f(x)(X 단면 파형 F(x)의 근사 함수 f(x))를 이미 생성하고 있는 것으로 한다.

그리고, 도 260의 예에서는, 화소(3101)의 화소값(입력 화소값)이 P가 되고, 또한, 화소(3101)의 형상이, 한변의 길이가 1인 정방형이 되어 있다. 또, 공간 방향 중의, 화소(3101)의 한변에 평행한 방향(도면 중 수평 방향)이 X 방향이 되고, X 방향으로 수직인 방향(도면 중 수직 방향)이 Y 방향이 되어 있다.

또, 도 260의 하측에, 화소(3101)의 중심이 원점이 되는 공간 방향(X 방향과 Y 방향)의 좌표계(이하, 주목 화소 좌표계 라고 함)와, 그 좌표계에 있어서의 화소(3101)가 나타나 있다.

또한, 도 260의 상측으로, y = 0(y는, 도면 중 하측에 나타낸 주목 화소 좌표계의 Y 방향의 좌표값)에 있어서의 근사 함수 f(x)를 그래프화한 것이 나타나 있다. 이 그래프에 있어서, 도면 중 수평 방향으로 평행한 축은, 도면 중 하측에 나타낸 주목 화소 좌표계의 X 방향의 x축과 동일한 축이며(원점도 동일하며), 도면 중 수직 방향으로 평행한 축은, 화소값을 나타내는 축이 되어 있다.

이 경우, 근사 함수 f(x)와 화소(3101)의 화소값 P 사이에는, 다음의 식(173)의 관계가 성립한다.

…(173)

또, 도 260에 나타낸 바와 같이, 화소(3101)는, 기울기 G_F로 나타내는 공간 방향의 데이터 정상성을 가지고 있는 것으로 한다. 그리고, 데이터 정상성 검출부(101)(도 259)가, 기울기 G_F로 나타내는 데이터 정상성에 대응하는 데이터 정상성 정보로서, 도 260에 나타낸 바와 같은 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 예를 들면, 1차원 재적분 방법에 있어서는, 도 261에 나타낸 바와 같이, X 방향으로 -0.5 내지 0.5의 범위, 또한 Y 방향으로 -0.5 내지 0.5의 범위(도 260의 화소(3101)이 위치하는 범위)에, 4개의 화소(3111) 내지 화소(3114)를 새로 창조할 수 있다.

그리고, 도 261의 하측에, 도 260의 것과 동일한 주목 화소 좌표계와, 상기 주목 화소 좌표계에 있어서의 화소(3111) 내지 화소(3114)가 나타나 있다. 또, 도 261의 상측에, 도 260의 것과 동일한 그래프(y = 0에 있어서의 근사 함수 f(x)를 그래프화한 것)가 나타나 있다.

구체적으로는, 도 261에 나타낸 바와 같이, 1차원 재적분 방법에 있어서는, 식(174)에 의해 화소(3111)의 화소값 M1의 산출이, 식(175)에 의해 화소(3112)의 화소값 M2의 산출이, 식(176)에 의해 화소(3113)의 화소값 M3의 산출이, 식(177)에 의해 화소(3114)의 화소값 M4의 산출이, 각각 가능하다.

…(174)

…(175)

…(176)

…(177)

그리고, 식(174)의 x_s1, 식(175)의 x_s2, 식(176)의 x_s3, 및 식(177)의 x_s4의 각각은, 대응하는 식의 적분 개시 위치를 나타내고 있다. 또, 식(174)의 x_e1, 식(175)의 x_e2, 식(176)의 x_e3, 및 식(177)의 x_e4의 각각은, 대응하는 식의 적분 종료 위치를 나타내고 있다.

식(174) 내지 식(177)의 각각의 우변의 적분 범위는, 화소(3111) 내지 화소(3114)의 각각의 화소폭(X 방향의 길이)이 된다. 즉, x_e1-x_s1, x_e2-x_s2, x_e3-x_s3, x_e4-x_s4의 각각은, 0.5가 된다.

단, 지금의 경우, y = 0에 있어서의 근사 함수 f(x)와 동일 형상의 1차원의 파형이, Y 방향이 아니고, 기울기 G_F로 나타내는 데이터 정상성의 방향(즉, 각도 θ 방향)에 이어져 있다고 생각할 수 있다(실제로는, y = 0에 있어서의 X 단면 파형 F(x)와 동일 형상의 파형이 정상성의 방향으로 이어져 있다). 즉, 도 261의 주목 화소 좌표계에 있어서의 원점(0, 0)(도 260의 화소(3101)의 중심)에 있어서의 화소값 f(0)를 화소값 f1으로 한 경우, 화소값 f1이 계속될 방향은, Y 방향이 아니고, 기울기 G_F로 나타내는 데이터 정상성의 방향(각도 θ 방향)이다.

환언하면, Y 방향의 소정의 위치 y(단, y는0이외의 수치)에 있어서의 근사 함수 f(x)의 파형을 생각한 경우, 화소값 f1로 되는 위치는, 위치(0, y)가 아니고, 위치(0, y)로부터 X 방향으로 소정의 양(여기에서도, 이와 같은 양을 시프트량이라고 함.또, 시프트량은, Y 방향의 위치 y에 의존하는 양이므로, 이 시프트량을 C_x(y)라고 기술하기로 함)만큼 이동한 위치(C_x(y), y)이다.

따라서, 전술한 식(174) 내지 식(177)의 각각의 우변의 적분 범위로서, 구하 고 싶으느 화소값 M(l)(단, l는, 1 내지 4 중 어느 하나의 정수치)의 중심이 존재하는 Y 방향의 위치 y를 고려하여 범위, 즉, 시프트량 C_x(y)을 고려한 적분 범위의 설정이 필요하다.

구체적으로는, 예를 들면, 화소(3111)과 화소(3112)의 중심이 존재하는 Y 방향의 위치 y는, y = 0이 아니고, y = 0.25이다.

따라서, y = 0.25에 있어서의 근사 함수 f(x)의 파형은, y = 0에 있어서의 근사 함수 f(x)의 파형을 X 방향으로 시프트량 C_x(0.25)만큼 이동시킨 파형에 해당한다.

환언하면, 전술한 식(174)에 있어서, 화소(3111)에 대한 화소값 M1은, y = 0에 있어서의 근사 함수 f(x)를 소정의 적분 범위(개시 위치 x_s1로부터 종료 위치 x_e1까지)에서 적분한 것이라 하면, 그 적분 범위는, 개시 위치 x_s1 = -0.5로부터 종료 위치 x_e1 = 0까지의 범위(화소(3111)이 X 방향으로 차지하는 범위 자체)가 아니고, 도 261에 나타낸 범위, 즉, 개시 위치x_s1 = -0.5 + C_x(0.25)로부터 종료 위치 x_e1 = 0 + C_x(0.25)(시프트량 C_x(0.25)만큼 화소(3111)를 임시로 이동시켰을 경우에 있어서의, 화소(3111)가 X 방향으로 차지하는 범위)가 된다.

마찬가지로, 전술한 식(175)에 있어서, 화소(3112)에 대한 화소값 M2는, y = 0에 있어서의 근사 함수 f(x)를 소정의 적분 범위(개시 위치 x_s2로부터 종료 위치 x_e2까지)에서 적분한 것으로 하면, 그 적분 범위는, 개시 위치 x_s2 = 0으로부터 종료 위치 x_e2 = 0.5까지의 범위(화소(3112)의 X 방향으로 차지하는 범위 자체)가 아니고, 도 261에서 나타낸 범위, 즉, 개시 위치 x_s2 = 0 + C_x(0.25)로부터 종료 위치 x_e1 = 0.5 + C_x(0.25)(시프트량 C_x(0.25)만큼 화소(3112)를 임시로 이동시켰을 경우에 있어서의, 화소(3112)의 X 방향으로 차지하는 범위)가 된다.

또, 예를 들면, 화소(3113)와 화소(3114)의 중심이 존재하는 Y 방향의 위치 y는, y = 0이 아니고, y = -0.25이다.

따라서, y = -0.25에 있어서의 근사 함수 f(x)의 파형은, y = 0에 있어서의 근사 함수 f(x)의 파형을 X 방향으로 시프트량 C_x(-0.25)만큼 이동시킨 파형에 해당한다.

환언하면, 전술한 식(176)에 있어서, 화소(3113)에 대한 화소값 M(3)는, y = 0에 있어서의 근사 함수 f(x)를 소정의 적분 범위(개시 위치 x_s3로부터 종료 위치 x_e3까지)에서 적분한 것으로 하면, 그 적분 범위는, 개시 위치 x_s3 = -0.5로부터 종료 위치 x_e3 = 0까지의 범위(화소(3113)의 X 방향으로 차지하는 범위 자체)가 아니 고, 도 261에 나타낸 범위, 즉, 개시 위치x_s3 = -0.5 + C_x(-0.25)로부터 종료 위치 x_e3 = 0 + C_x(-0.25)(시프트량 C_x(-0.25)만큼 화소(3113)를 임시로 이동시켰을 경우에 있어서의, 화소(3113)의 X 방향으로 차지하는 범위)가 된다.

마찬가지로, 전술한 식(177)에 있어서, 화소(3114)에 대한 화소값 M4는, y = 0에 있어서의 근사 함수 f(x)를 소정의 적분 범위(개시 위치 x_s4로부터 종료 위치 x_e4까지)에서 적분한 것으로 하면, 그 적분 범위는, 개시 위치 x_s4 = 0부터 종료 위치 x_e4 = 0.5까지의 범위(화소(3114)의 X 방향이 차지하는 범위 자체)가 아니고, 도 261에 나타낸 범위, 즉, 개시 위치x_s4 = 0 + C_x(-0.25)로부터 종료 위치x_e1 = 0.5 + C_x(-0.25)(시프트량 C_x(-0.25)만큼 화소(3114)를 임시로 이동시켰을 경우에 있어서의, 화소(3114)의 X 방향으로 차지하는 범위)가 된다.

따라서, 화상 생성부(102)(도 259)는, 전술한 식(174) 내지 식(177)의 각각에, 전술한 적분 범위 중 대응하는 것을 대입하여 각각 연산하고, 그들의 연산 결과를 출력 화소값 M(1) 내지 M(4)의 각각으로서 출력하게 된다.

이와 같이, 화상 생성부(102)는, 1차원 재적분 방법을 이용함으로써, 센서(2)(도 259)로부터의 출력 화소(3101)(도 260)에 있어서의 화소로서, 출력 화소(3101)보다 공간 해상도가 높은 4개의 화소, 즉, 화소(3111) 내지 화소(3114)(도 261)를 창조할 수 있다. 또한, 도시는 하지 않지만, 전술한 바와 같이, 화상 생성부(102)는, 화소(3111) 내지 화소(3114)뿐만아니라, 적분 범위를 적절하게 바꾸면, 출력 화소(3101)에 대하여 임의의 배율의 공간 해상도의 화소를 열화시키지 않고 창조할 수 있다.

도 262는, 이와 같은 1차원 재적분 방법을 이용하는 화상 생성부(103)의 구성예를 나타내고 있다.

도 262에서 나타낸 바와 같이, 이 예의 화상 생성부(103)에는, 조건 설정부(3121), 특징량 기억부(3122), 적분 성분 연산부(3123), 및 출력 화소값 연산부(3124)가 형성되어 있다.

조건 설정부(3121)는, 실세계 추정부(102)로부터 공급된 실세계 추정 정보(도 262의 예에서는, 근사 함수 f(x)의 특징량)에 따라 근사 함수 f(x)의 차수 n을 설정한다.

조건 설정부(3121)는 또, 근사 함수 f(x)를 재적분하는 경우(출력 화소값을 연산하는 경우)의 적분 범위를 설정한다. 그리고, 조건 설정부(3121)가 설정하는 적분 범위는, 화소의 폭일 필요는 없다. 예를 들면, 근사 함수 f(x)는 공간 방향(X 방향)으로 적분되므로, 센서(2)(도 259)로부터의 입력 화상의 각 화소의 공간적인 크기에 대한, 출력 화소(화상 생성부(103)가 지금부터 연산하는 화소)의 상대적인 크기(공간 해상도의 배율)를 알면, 구체적인 적분 범위의 결정이 가능하다. 따 라서, 조건 설정부(3121)는, 적분 범위로서 예를 들면, 공간 해상도 배율을 설정할 수도 있다.

특징량 기억부(3122)는, 실세계 추정부(102)로부터 순서대로 공급되는 근사 함수 f(x)의 특징량을 1차적으로 기억한다. 그리고, 특징량 기억부(3122)는, 근사 함수 f(x)의 특징량 전부를 기억하면, 근사 함수 f(x)의 특징량을 전부 포함하는 특징량 테이블을 생성하여, 출력 화소값 연산부(3124)에 공급한다.

그런데, 전술한 바와 같이, 화상 생성부(103)는, 전술한 식(172)를 이용하여 출력 화소값 M을 연산하지만, 전술한 식(172)의 우변에 포함되는 근사 함수 f(x)는, 구체적으로는, 다음의 식(178)과 같이 나타낸다.

…(178)

그리고, 식(178)에 있어서, w_i는, 실세계 추정부(102)로부터 공급되는 근사 함수 f(x)의 특징량을 나타내고 있다.

따라서, 전술한 식(172)의 우변의 근사 함수 f(x)에, 식(178)의 근사 함수 f(x)를 대입하여, 식(172)의 우변을 전개(연산)하면, 출력 화소값 M은, 식(179)과 같이 나타낸다.

…(179)

식(179)에 있어서, K_i(x_s, x_e)는, i차항의 적분 성분을 나타내고 있다. 즉, 적분 성분 K_i(x_s, x_e)는, 다음의 식(180)에서 나타내는 바와 같다.

…(180)

적분 성분 연산부(3123)는, 상기 적분 성분 K_i(x_s, x_e)를 연산한다.

구체적으로는, 식(180)에서 나타낸 바와 같이, 적분 성분 K_i(x_s, x_e)는, 적분 범위의 개시 위치 x_s, 및 종료 위치 x_e, 게인 G_e, 및 i차항의 i가 이미 알려져 있으면 연산 가능하다.

이들 중의, 게인 G_e는, 조건 설정부(3121)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

i의 범위는, 조건 설정부(3121)에 의해 설정된 차수 n에 의해 결정된다.

또, 적분 범위의 개시 위치 x_s, 및 종료 위치 x_e의 각각은, 지금부터 생성하는 출력 화소의 중심 화소 위치(x, y) 및 화소폭, 및 데이터 정상성의 방향을 나타내는 시프트량 C_x(y)에 의해 결정된다. 그리고, (x, y)는, 실세계 추정부(102)가 근사 함수 f(x)를 생성했을 때의 주목 화소의 중심 위치로부터의 상대 위치를 나타내고 있다.

또한, 지금부터 생성하는 출력 화소의 중심 화소 위치(x, y) 및 화소폭의 각각은, 조건 설정부(3121)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

또, 시프트량 C_x(y)와 데이터 정상성 검출부(101)로부터 공급된 각도 θ는, 식(181)과 식(182)와 같은 관계가 성립되므로, 시프트량 C_x(y)는 각도 θ에 의해 결정된다.

…(181)

…(182)

그리고, 식(181)에 있어서, G_f는, 데이터 정상성의 방향을 나타내는 경사를 나타내고, θ는, 데이터 정상성 검출부(101)(도 259)로부터 출력되는 데이터 정상성 정보의 하나인 각도(공간 방향의 일방향인 X 방향과, 기울기 G_f로 나타내는 데이터 정상성의 방향이 이루는 각도)를 나타내고 있다. 또, dx는, X 방향의 미소 이동량을 나타내고 있고, dy는, dx에 대한 Y 방향(X 방향과 수직인 공간방향)의 미소 이동량을 나타내고 있다.

따라서, 적분 성분 연산부(3123)는, 조건 설정부(3121)에 의해 설정된 차수 및 공간 해상도 배율(적분 범위), 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중의 각도 θ에 따라 적분 성분 K_i(x_s, x_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 출력 화소값 연산부(3124)에 공급한다.

출력 화소값 연산부(3124)는, 특징량 기억부(3122)로부터 공급된 특징량 테이블과, 적분 성분 연산부(3123)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(179)의 우변을 연산하고, 그 연산 결과를 출력 화소값 M로서 외부에 출력한다.

다음에, 도 263의 흐름도를 참조하여, 1차원 재적분 방법을 이용하는 화상 생성부(103)(도 262)의 화상의 생성의 처리(도 40의 스텝 S103의 처리)에 대하여 설명한다.

예를 들면, 지금, 전술한 도 40의 스텝 S102의 처리에 의해, 실세계 추측부(102)가, 전술한 도 260에 나타낸 바와 같은 화소(3101)를 주목 화소로서, 도 260에 나타낸 바와 같은 근사 함수 f(x)를 이미 생성하고 있는 것으로 한다.

또, 전술한 도 40의 스텝 S101의 처리에 의해, 데이터 정상성 검출부(101)가, 데이터 정상성 정보로서, 도 260에 나타낸 바와 같은 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 도 263의 스텝 S3101에 있어서, 조건 설정부(3121)는, 조건(차수와 적분 범위)을 설정한다.

예를 들면, 지금, 차수로서 5가 설정되고, 또한 적분 범위로서 공간 4배 밀도(화소의 피치폭이 상하 좌우 모두 1/ 2배가 되는 공간 해상도 배율)이 설정된 것으로 한다.

즉, 이 경우, 도 261에 나타낸 바와 같이, X 방향으로 -0.5 내지 0.5의 범위, 또한 Y 방향으로 -0.5 내지 0.5의 범위(도 260의 화소(3101)의 범위)에, 4개의 화소(3111) 내지 화소(3114)를 새로 창조하기로 설정된 것으로 한다.

스텝 S3102에 있어서, 특징량 기억부(3122)는, 실세계 추정부(102)로부터 공급된 근사 함수 f(x)의 특징량을 취득하여, 특징량 테이블을 생성한다.

지금의 경우, 5차의 다항식인 근사 함수 f(x)의 계수 w₀ 내지 w₅가 실세계 추 정부(102)로부터 공급되므로, 특징량 테이블로서, (w₀, w₁, w₂, w₃, w₄, w₅)가 생성된다.

스텝 S3103에 있어서, 적분 성분 연산부(3123)는, 조건 설정부(3121)에 의해 설정된 조건(차수 및 적분 범위), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

구체적으로는, 예를 들면, 지금부터 생성하는 화소(3111) 내지 화소(3114)의 각각에 대하여, 번호(이와 같은 번호를, 이하, 모드 번호 이라고 함) 1 내지 4의 각각이 부여되어 있다고 하면, 적분 성분 연산부(3123)는, 전술한 식(180)의 적분 성분 K_i(x_s, x_e)를, 다음의 식(183)의 좌변에 나타낸 적분 성분 K_i(l)를 l(단, l는 모드 번호를 나타내고 있다)의 함수로서 연산한다.

K_i(l) = K_i(x_s, x_e) …(183)

구체적으로는, 지금의 경우, 다음의 식(184)에서 나타내는 적분 성분 K_i(l)이 연산된다.

…(184)

그리고, 식(184)에 있어서, 좌변이 적분 성분 K_i(l)을 나타내고, 우변이 적분 성분K_i(x_s, x_e)를 나타내고 있다. 즉, 지금의 경우, l은, 1 내지 4 중 어느 하나이며, 또한 i는 0 내지 5 중 어느 하나이므로, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 6개의 K_i(4)의 총계 24개의 K_i(l)이 연산된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(3123)는, 데이터 정상성 검출부(101)로부터 공급된 각도 θ를 사용하여, 전술한 식(181)과 식(182)로부터 시프트량 C_x(-0.25), 및 C_x(0.25)의 각각을 연산한다.

다음에, 적분 성분 연산부(3123)는, 연산한 시프트량 C_x(-0.25), 및 C_x(0.25)를 사용하여, 식(184)의 4개의 식의 각 우변의 적분 성분 K_i(x_s, x_e)의 각각을, I = 0 내지 5에 대하여 각각 연산한다. 그리고, 상기 적분 성분 K_i(x_s, x_e)의 연산에 있어서는, 전술한 식(180)이 사용된다.

그리고, 적분 성분 연산부(3123)는, 식(184)에 따라, 연산된 24개의 적분 성분 K_i(x_s, x_e)의 각각을, 대응하는 적분 성분 K_i(l)로 변환하여, 변환된 24개의 적분 성분 K_i(l)(즉, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 및 6개의 K_i(4))을 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S3102의 처리와 스텝 S3103의 처리의 순서는, 도 263의 예에 한정되지 않고, 스텝 S3103의 처리가 먼저 실행되어도 되고, 스텝 S3102의 처리와 스텝 S3103의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S3104에 있어서, 출력 화소값 연산부(3124)는, 스텝 S3102의 처리에서 특징량 기억부(3122)에 의해 생성된 특징량 테이블과, 스텝 S3103의 처리에서 적분 성분 연산부(3123)에 의해 생성된 적분 성분 테이블에 따라 출력 화소값 M(1) 내지 M(4)의 각각을 연산한다.

구체적으로는, 지금의 경우, 출력 화소값 연산부(3124)는, 전술한 식(179)에 대응하는, 식(185) 내지 식(188)의 우변을 연산함으로써, 화소(3111)(모드 번호 1의 화소)의 화소값 M(1), 화소(3112)(모드 번호 2의 화소)의 화소값 M(2), 화소(3113)(모드 번호 3의 화소)의 화소값 M(3), 및 화소(3114)(모드 번호 4의 화소)의 화소값 M(4)의 각각을 연산한다.

…(185)

…(186)

…(187)

…(188)

스텝 S3105에 있어서, 출력 화소값 연산부(3124)는, 모든 화소의 처리를 종료하였는지의 여부를 판정한다.

스텝 S3105에 있어서, 모든 화소의 처리가 아직 종료되지 않은 것으로 판정된 경우, 처리는 스텝 S3102로 되돌아가, 그 이후의 처리가 반복된다.

즉, 아직 주목 화소로 여겨지지 않는 화소가, 순서대로 주목 화소가 되어, 스텝 S3102 내지 S3104의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S3105에 있어서, 모든 화소의 처 리가 종료되었다고 판정하면), 출력 화소값 연산부(3124)는, 스텝 S3106에 있어서, 화상을 출력한다. 그 후, 화상 생성 처리는 종료된다.

다음에, 도 264 내지 도 271을 참조하여, 소정의 입력 화상에 대하여, 1차원 재적분 방법을 적용하여 얻어진 출력 화상과, 다른 방법(종래의 클래스 분류 적응 처리)을 적용하여 얻어진 출력 화상의 상이한 점에 대하여 설명한다.

도 264는, 입력 화상의 원래의 화상을 나타낸 도면이며, 도 265는, 도 264의 원래의 화상에 대응하는 화상 데이터를 나타내고 있다.도 265에 있어서, 도면 중수직 방향의 축은, 화소값을 나타내고, 도면 중 우측 하방향의 축은, 화상의 공간방향의 일방향인 X 방향을 나타내고, 도면 중 우측 상방향의 축은, 화상의 공간 방향의 다른 방향인 Y 방향을 나타낸다.

그리고, 후술하는 도 267, 도 269, 및 도 271의 축의 각각은, 도 265의 축과 대응하고 있다.

도 266은, 입력 화상의 예를 나타낸 도면이다. 도 266에 나타낸 입력 화상은, 도 264에서 나타내는 화상의 2 × 2의 화소로 이루어지는 블록에 속하는 화소의 화소값의 평균값을, 1개의 화소의 화소값으로서 생성된 화상이다. 즉, 입력 화상은, 도 264에서 나타내는 화상에, 센서의 적분 특성을 모방한, 공간 방향의 적분을 적용함으로써 얻어진 화상이다. 또, 도 267은, 도 266의 입력 화상에 대응하는 화상 데이터를 나타내고 있다.

도 264에서 나타내는 원래의 화상에 있어서, 상하 방향으로부터, 대략 5도 시계 방향으로 기울어진 가는 선의 화상이 포함되어 있다. 마찬가지로, 도 266에 나타낸 입력 화상에 있어서, 상하 방향으로부터, 대략 5도 시계 방향으로 기울어진 가는 선의 화상이 포함되어 있다.

도 268은, 도 266에 나타낸 입력 화상에, 종래의 클래스 분류 적응 처리를 적용하여 얻어진 화상(이하, 도 268에 나타낸 화상을, 종래의 화상이라 한다)을 나타낸 도면이다. 또, 도 269는, 종래의 화상에 대응하는 화상 데이터를 나타내고 있다.

그리고, 클래스 분류 적응 처리는, 클래스 분류 처리와 적응 처리로 이루어지고, 클래스 분류 처리에 의하여, 데이터를, 그 성질에 따라 클래스 분류를 하고, 각 클래스마다 적응 처리를 실시하는 것이다. 적응 처리에서는, 예를 들면, 저화질 또는 표준 화질의 화상이, 소정의 탭 계수를 사용하여 맵핑(사상)됨으로써, 고화질의 화상으로 변환된다.

도 270은, 도 266에 나타낸 입력 화상에, 본 발명이 적용되는 1차원 재적분 방법을 적용하여 얻어진 화상(이하, 도 270에 나타낸 화상을, 본 발명의 화상이라 한다)을 나타낸 도면이다. 또, 도 271은, 본 발명의 화상에 대응하는 화상 데이터를 나타내고 있다.

도 268의 종래의 화상과, 도 270의 본 발명의 화상을 비교하면, 종래의 화상 에 있어서는, 가는 선의 화상이, 도 264의 원래의 화상과는 상이한 데 비하여, 본 발명의 화상에 있어서는, 가는 선의 화상이, 도 264의 원래의 화상과 거의 동일한 것을 알 수 있다.

이 차이가 생기는 이유는, 종래의 클래스 분류 적응 처리는, 어디까지나 도 266의 입력 화상을 기준(원점)으로 하여 처리를 행하는 방법인데 비해, 본 발명의 1차원 재적분 방법은, 가는 선의 정상성을 고려하여, 도 264의 원래의 화상을 추정하고(원래의 화상에 대응하는 근사 함수 f(x)를 생성하고), 추정한 원래의 화상을 기준(원점)으로 하여 처리를 행하는(재적분하여 화소값을 연산함) 방법이기 때문이다.

이와 같이, 1차원 재적분 방법에 있어서는, 1차원 다항식 근사 방법에 의해 생성된 1차원의 다항식인 근사 함수 f(x)(실세계의 X 단면 파형 F(x)의 근사 함수 f(x))를 기준(원점)으로 하여, 근사 함수 f(x)를 임의의 범위에서 적분함으로써 출력 화상(화소값)이 생성된다.

따라서, 1차원 재적분 방법에 있어서는, 종래의 다른 방법과 비교하여, 원래의 화상(센서(2)에 입사되기 전의 실세계(1)의 광신호)에 보다 가까운 화상의 출력이 가능하게 된다.

환언하면, 1차원 재적분 방법에 있어서는, 도 259의 데이터 정상성 검출부(101)가, 각각 시공간 적분 효과를 가지는, 센서(2)의 복수개의 검출 소자에 의해 실세계(1)의 광신호가 투영되어, 실세계(1)의 광신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상에 있어서의 데이터 정상성을 검출하고, 실세계 추정부(102)가, 검출된 데이터의 정상성에 대응하여, 입력 화상의 시공간 방향 중 1차원 방향의 위치에 대응하는 화소의 화소값이, 상기 1차원 방향의 적분 효과에 의해 취득된 화소값으로 하여, 실세계(1)의 광신호를 나타내는 광신호 함수 F(구체적으로는, X 단면 파형 F(x))를, 소정의 근사 함수 f(x)로 근사함으로써, 광신호 함수 F를 추정하는 것이 전제가 된다.

상세하게는, 예를 들면, 검출된 데이터 정상성에 대응하는 선으로부터의 1차원 방향을 따른 거리에 대응하는 각 화소의 화소값이, 상기 1차원 방향의 적분효과에 의해 취득된 화소값으로 하여, X 단면 파형 F(x)가 근사 함수 f(x)로 근사되어 있는 것이 전제가 된다.

그리고, 1차원 재적분 방법에 있어서는, 이와 같은 전제에 따라서, 예를 들면, 도 259(도 3)의 화상 생성부(103)가, 실세계 추정부(102)에 의해 추정된 X 단면 파형 F(x), 즉, 근사 함수 f(x)를, 1차원 방향의 원하는 단위로 적분함으로써 원하는 크기의 화소에 대응하는 화소값 M을 생성하고, 그것을 출력 화상으로서 출력한다.

따라서, 1차원 재적분 방법에 있어서는, 종래의 다른 방법과 비교하여, 원래 의 화상(센서(2)에 입사되기 전의 실세계(1)의 광신호)에 보다 가까운 화상의 출력이 가능하게 된다.

또, 1차원 재적분 방법에 있어서는, 전술한 바와 같이, 적분 범위는 임의이므로, 적분 범위를 가변함으로써, 입력 화상의 해상도와는 상이한 해상도(시간 해상도, 또는 공간 해상도)를 창조하는 것도 가능하게 된다. 즉, 입력 화상의 해상도에 대하여, 정수치 만이 아닌 임의의 배율의 해상도의 화상을 생성하는 것이 가능하게 된다.

또한, 1차원 재적분 방법에 있어서는, 다른 재적분 방법과 비교하여, 보다 적은 연산 처리량에 의해 출력 화상(화소값)의 산출이 가능해진다.

다음으로, 도 272 내지 도 278을 참조하여, 2차원 재적분 방법에 대하여 설명한다.

2차원 재적분 방법에 있어서는, 2차원 다항식 근사 방법에 의해 근사 함수 f(x, y)가 이미 생성되어 있는 것이 전제가 된다.

즉, 예를 들면, 도 272에서 나타낸 바와 같은, 기울기 G_F로 나타내는 공간 방향의 정상성을 가지는 실세계(1)(도 259)의 광신호를 나타내는 화상 함수 F(x, y, t)를, 공간 방향(X 방향과 Y 방향)에 투영한 파형, 즉, X－Y 평면 상의 파형 F(x, y)가, n차(n은, 임의의 정수)의 다항식인 근사 함수 f(x, y)에 근사되어 있는 것이 전제가 된다.

도 272에 있어서, 도면 중, 수평 방향은, 공간 방향의 일방향인 X 방향을, 우상측 방향은, 공간 방향의 다른 방향인 Y 방향을, 수직 방향은, 광의 레벨을, 각각 나타내고 있다. G_F는, 공간 방향의 정상성의 기울기를 나타내고 있다.

그리고, 도 272의 예에서는, 정상성의 방향은, 공간 방향(X 방향과 Y 방향)이 되어 있기 때문에, 근사의 대상이 되는 광신호의 투영 함수는, 함수 F(x, y)가 되어 있지만, 후술하는 바와 같이, 정상성의 방향에 따라, 함수 F(x, t)나 함수 F(y, t)가 근사의 대상이 될수도 있다.

도 272의 예의 경우, 2차원 재적분 방법에 있어서는, 출력 화소값 M은, 다음의 식

(189)과 같이 연산된다.

…(189)

그리고, 식(189)에 있어서, y_s는, Y 방향의 적분 개시 위치를 나타내고 있고, y_e는, Y 방향의 적분 종료 위치를 나타내고 있다. 마찬가지로, x_s는, X 방향의 적분 개시 위치를 나타내고 있고, x_e는, X 방향의 적분 종료 위치를 나타내고 있다. 또, Ge는, 소정의 게인을 나타내고 있다.

식(189)에 있어서, 적분 범위는 임의로 설정 가능하므로, 2차원 재적분 방법에 있어서는, 상기 적분 범위를 적절하게 바꾸어서, 원래의 화소(센서(2)(도 259)로부터의 입력 화상의 화소)에 대하여 임의의 배율의 공간 해상도의 화소를 열화시키지 않고 창조하는 것이 가능하게 된다.

도 273은, 2차원 재적분 방법을 이용하는 화상 생성부(103)의 구성예를 나타내고 있다.

도 273에 나타낸 바와 같이, 이 예의 화상 생성부(103)에는, 조건 설정부(3201), 특징량 기억부(3202), 적분 성분 연산부(3203), 및 출력 화소값 연산부(3204)가 구비되어 있다.

조건 설정부(3201)는, 실세계 추정부(102)로부터 공급된 실세계 추정 정보(도 273의 예에서는, 근사 함수 f(x, y)의 특징량)에 따라서, 근사 함수 f(x, y)의 차수 n을 설정한다.

조건 설정부(3201)는 또, 근사 함수 f(x, y)를 재적분하는 경우(출력 화소값을 연산하는 경우)의 적분 범위를 설정한다. 그리고, 조건 설정부(3201)가 설정하는 적분 범위는, 화소의 세로폭이나 가로폭일 필요는 없다. 예를 들면, 근사 함수 f(x, y)는 공간 방향(X 방향과 Y 방향)으로 적분되므로, 센서(2)로부터의 입력 화 상의 각 화소의 공간적인 크기에 대한, 출력 화소(화상 생성부(103)가 지금부터 생성하는 화소)의 상대적인 크기(공간 해상도의 배율)를 알면, 구체적인 적분 범위의 결정이 가능하다. 따라서, 조건 설정부(3201)는, 적분 범위로서, 예를 들면, 공간 해상도 배율을 설정할 수도 있다.

특징량 기억부(3202)는, 실세계 추정부(102)로부터 순서대로 공급되는 근사 함수 f(x, y)의 특징량을 1차적으로 기억한다. 그리고, 특징량 기억부(3202)는, 근사 함수 f(x, y)의 특징량 모두를 기억하면, 근사 함수 f(x, y)의 특징량을 모두 포함하는 특징량 테이블을 생성하고, 출력 화소값 연산부(3204)에 공급한다.

여기서, 근사 함수 f(x, y)의 상세한 것에 대하여 설명한다.

예를 들면, 지금, 전술한 도 272에서 나타낸 바와 같은 기울기 G_F로 나타내는 공간 방향의 정상성을 가지는 실세계(1)(도 259)의 광신호(파형 F(x, y)로 나타내는 광신호)가, 센서(2)(도 259)에 의해 검출되어 입력 화상(화소값)으로서 출력된 것으로 한다.

또한, 예를 들면, 도 274에서 나타낸 바와 같이, 데이터 정상성 검출부(101)(도3)가, 상기 입력 화상 중, X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소(도면 중, 점선으로 나타내는 20개의 정방형)로 구성되는 입력 화상의 영역(3221)에 대하여 그 처리를 실행하고, 데이터 정상성 정보의 하나로서 각도 θ(기울기 G_F에 대응하는 기울기 G_F로 나타내는 데이터 정상성의 방향과, X 방향이 이루는 각도 θ)를 출력 한 것으로 한다.

그리고, 실세계 추정부(102)에서 보면, 데이터 정상성 검출부(101)는, 주목 화소에 있어서의 각도 θ를 단지 출력하면 되므로, 데이터 정상성 검출부(101)의 처리 범위는, 전술한 입력 화상의 영역(3221)에 한정되지 않는다.

또, 입력 화상의 영역(3221)에 있어서, 도면 중 수평 방향은, 공간 방향의 일방향인 X 방향을 나타내고 있고, 도면 중 수직 방향은, 공간 방향의 다른 방향인 Y 방향을 나타내고 있다.

또한, 도 274 중, 좌측으로부터 2화소째이며, 아래로부터 3화소째의 화소가 주목 화소가 되고, 상기 주목 화소의 중심을 원점(0, 0)이 되도록 (x, y) 좌표계가 설정되어 있다. 그리고, 원점(0, 0)을 지나고 방향과 각도 θ를 이루는 직선(데이터 정상성의 방향을 나타내는 기울기 G_F의 직선)에 대한 X 방향의 상대적인 거리(이하, 단면 방향 거리라고 한다)가 x'로 되어 있다.

또한, 도 274중, 우측의 그래프는, 3차원의 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 화상 함수 F(x, y, t)를, Y 방향의 임의의 위치 y에 있어서, X 방향으로 투영한 1차원의 파형(이하, 이와 같은 파형을, X 단면 파형 F(x')라고 한다)이 근사된 함수이며, n차(n은, 임의의 정수)의 다항식인 근사 함수 f(x')를 나타내고 있다. 우측의 그래프의 축 중, 도면 중 수평 방향의 축은, 단면 방향 거리를 나타내고 있고, 도면 중 수직 방향의 축은, 화소값을 나타내고 있다.

이 경우, 도 274에서 나타내는 근사 함수 f(x')는, n차의 다항식이므로, 다음의 식(190)과 같이 나타낸다.

…(190)

또, 각도 θ가 결정되어 있으므로, 원점(0, 0)을 지나고 X 방향과 각도 θ를 이루는 직선은 하나로 정해져서, Y 방향의 임의의 위치 y에 있어서의, 직선의 X 방향의 위치 x_l이, 다음의 식(191)와 같이 나타낸다. 단, 식(191)에 있어서, s는 cotθ를 나타내고 있다.

x_l = s × y …(191)

즉, 도 274에서 나타낸 바와 같이, 기울기 G_f로 나타내는 데이터 정상성에 대응하는 직선 상의 점은, 좌표값(x_l, y)으로 나타낸다.

식(191)로부터, 단면 방향 거리 x'는, 다음의 식(192)와 같이 나타낸다.

x' = x-x_l = x-s × y …(192)

따라서, 입력 화상의 영역(3221) 내의 임의의 위치(x, y)에 있어서의 근사 함수 f(x, y)는, 식(190)과 식(192)로부터, 다음의 식(193)과 같이 나타낸다.

…(193)

그리고, 식(193)에 있어서, w_i는, 근사 함수 f(x, y)의 특징량을 나타내고있다.

도 273으로 되돌아가, 식(193)에 포함되는 특징량 w_i 가, 실세계 추정부(102)로부터 공급되고, 특징량 기억부(3202)에 기억된다. 특징량 기억부(3202)는, 식(193)으로 나타내는 특징량 w_i 모두를 기억하면, 특징량 w_i를 모두 포함하는 특징량 테이블을 생성하여, 출력 화소값 연산부(3204)에 공급한다.

또, 전술한 식(189)의 우변의 근사 함수 f(x, y)에, 식(193)의 근사 함수 f(x, y)를 대입하여, 식(189)의 우변을 전개(연산)하면, 출력 화소값 M은, 다음의 식(194)와 같이 나타낸다.

…(194)

식(194)에 있어서, K_i(x_s, x_e, y_s, y_e)는, i차항의 적분 성분을 나타내고 있다.

즉, 적분 성분 K_i(x_s, x_e, y_s, y_e)는, 다음의 식(195)에서 나타내는 바와 같다.

…(195)

적분 성분 연산부(3203)는, 상기 적분 성분K_i(x_s, x_e, y_s, y_e)를 연산한다.

구체적으로는, 식(194)와 식(195)에서 나타낸 바와 같이, 적분 성분 K_i(x_s, x_e, y_s, y_e)는, 적분 범위의 X 방향의 개시 위치 x_s, 및 X 방향의 종료 위치 x_e, 적분 범위의 Y 방향의 개시 위치 y_s, 및 Y 방향의 종료 위치 y_e, 변수 s, 게인 G_e, 및 i차항의 i가 이미 알려져 있으면 연산 가능하다.

이들 중, 게인 G_e는, 조건 설정부(3201)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

i의 범위는, 조건 설정부(3201)에 의해 설정된 차수 n에 의해 결정된다.

변수 s는, 전술한 바와 같이, cotθ이므로, 데이터 정상성 검출부(101)로부터 출력되는 각도 θ에 의해 결정된다.

또, 적분 범위의 X 방향의 개시 위치 x_s, 및 X 방향의 종료 위치 x_e, 및 적분 범위의 Y 방향의 개시 위치 y_s, 및 Y 방향의 종료 위치 y_e의 각각은, 지금부터 생성하는 출력 화소의 중심 화소 위치(x, y) 및 화소폭에 의해 결정된다.

그리고, (x, y)는, 실세계 추정부(102)가 근사 함수 f(x)를 생성했을 때의 주목 화소의 중심 위치로부터의 상대 위치를 나타내고 있다.

또한, 지금부터 생성하는 출력 화소의 중심 화소 위치(x, y) 및 화소폭의 각각은, 조건 설정부(3201)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

따라서, 적분 성분 연산부(3203)는, 조건 설정부(3201)에 의해 설정된 차수 및 공간 해상도 배율(적분 범위), 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중, 각도 θ에 따라 적분 성분 K_i(x_s, x_e, y_s, y_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 출력 화소값 연산부(3204)에 공급한다.

출력 화소값 연산부(3204)는, 특징량 기억부(3202)로부터 공급된 특징량 테이블과, 적분 성분 연산부(3203)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(194)의 우변을 연산하고, 그 연산 결과를 출력 화소값 M로서 외부에 출력한 다.

다음에, 도 275의 흐름도를 참조하여, 2차원 재적분 방법을 이용하는 화상 생성부(103)(도 274)의 화상 생성의 처리(도 40의 스텝 S103의 처리)에 대하여 설명한다.

예를 들면, 지금, 도 272에서 나타내는 함수 F(x, y)로 나타내는 광신호가 센서(2)에 입사되어 입력 화상이 되고, 전술한 도 40의 스텝 S102의 처리에 의해, 실세계 추측부(102)가, 상기 입력 화상 중의, 도 276에 나타낸 바와 같은 1개의 화소(3231)를 주목 화소로서, 함수 F(x, y)를 근사하는 근사 함수 f(x, y)를 이미 생성하고 있는 것으로 한다.

그리고, 도 276에 있어서, 화소(3231)의 화소값(입력 화소값)이 P가 되고, 또한, 화소(3231)의 형상이, 1변의 길이가 1인 정방형이 되어 있다. 또, 공간 방향 중의, 화소(3231)의 1변에 평행한 방향이 X 방향이 되고, X 방향과 수직인 방향이 Y 방향이 되어 있다. 또한, 화소(3231)의 중심이 원점이 되는 공간 방향(X 방향과 Y 방향)의 좌표계(이하, 주목 화소 좌표계라고 한다)가 설정되어 있다.

또, 도 276에 있어서, 전술한 도 40의 스텝 S101의 처리에 의해, 데이터 정상성 검출부(101)가, 화소(3231)를 주목 화소로서, 기울기 G_F로 나타내는 데이터 정상성에 대응하는 데이터 정상성 정보로서, 각도 θ를 이미 출력하고 있는 것으로 한다.

도 275로 되돌아가, 이 경우, 스텝 S3201에 있어서, 조건 설정부(3201)는, 조건(차수와 적분 범위)을 설정한다.

예를 들면, 지금, 차수로서 5가 설정되고, 또한 적분 범위로서 공간 4배밀도(화소의 피치폭이 상하 좌우 모두 1/ 2배가 되는 공간 해상도 배율)이 설정된 것으로 한다.

즉, 이 경우, 도 277에 나타낸 바와 같이, X 방향으로 -0.5 내지 0.5의 범위, 또한 Y 방향으로 -0.5 내지 0.5의 범위(도 276의 화소(3231)의 범위)에, 4개의 화소(3241) 내지 화소(3244)를 새로 창조하는 설정이 된다. 그리고, 도 277에 있어서도, 도 276과 동일한 주목 화소 좌표계가 나타나 있다.

또, 도 277에 있어서, M(1)은, 지금부터 생성되는 화소(3241)의 화소값을, M(2)는, 지금부터 생성되는 화소(3242)의 화소값을, M(3)는, 지금부터 생성되는 화소(3243)의 화소값을, M(4)는, 지금부터 생성되는 화소(3241)의 화소값을, 각각 나타내고 있다.

도 275로 되돌아가, 스텝 S3202에 있어서, 특징량 기억부(3202)는, 실세계 추정부(102)로부터 공급된 근사 함수 f(x, y)의 특징량을 취득하고, 특징량 테이블을 생성한다. 지금의 경우, 5차의 다항식인 근사 함수 f(x)의 계수 w₀ 내지 w₅가 실세계 추정부(102)로부터 공급되므로, 특징량 테이블로서, (w₀, w₁, w₂, w₃, w₄, w₅)가 생성된다.

스텝 S3203에 있어서, 적분 성분 연산부(3203)는, 조건 설정부(3201)에 의해 설정된 조건(차수 및 적분 범위), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

구체적으로는, 예를 들면, 지금부터 생성되는 화소(3241) 내지 화소(3244)의 각각에 대하여, 번호(이와 같은 번호를, 이하, 모드 번호라고 한다) 1 내지 4의 각각이 부여되어 있다고 하면, 적분 성분 연산부(3203)는, 전술한 식(194)의 적분 성분 K_i(x_s, x_e, y_s, y_e)를, 다음의 식(196)의 좌변에 나타낸 적분 성분 K_i(l)인 l(단, l는 모드 번호를 나타내고 있다)의 함수로서 연산한다.

K_i(l) = K_i(x_s, x_e, y_s, y_e) …(196)

구체적으로는, 지금의 경우, 다음의 식(197)에서 나타내는 적분 성분 Ki(l)이 연산된다.

…(197)

그리고, 식(197)에 있어서, 좌변이 적분 성분 K_i(l)을 나타내고, 우변이 적분 성분K_i(x_s, x_e, y_s, y_e)를 나타내고 있다. 즉, 지금의 경우, l은, 1 내지 4 중 어느 하나이며, 또한, i는 0 내지 5 중 어느 하나이므로, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 6개의 K_i(4)의 총계 24개의 K_i(l)이 연산된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(3203)는, 데이터 정상성 검출부(101)로부터 공급된 각도 θ를 사용하여, 전술한 식(191)의 변수 s(s = cotθ)를 연산한다.

다음에, 적분 성분 연산부(3203)은, 연산한 변수 s를 사용하여, 식(197)의 4개의 식의 각 우변의 적분 성분 K_i(x_s, x_e, y_s, y_e)의 각각을, I = 0 내지 5에 대하여 각각 연산한다. 그리고, 상기 적분 성분K_i(x_s, x_e, y_s, y_e)의 연산에 있어서는, 전술한 식(194)가 사용된다.

그리고, 적분 성분 연산부(3203)는, 식(197)에 따라, 연산한 24개의 적분 성분 K_i(x_s, x_e, y_s, y_e)의 각각을, 대응하는 적분 성분 K_i(l)로 변환하여, 변환한 24개의 적분 성분 K_i(l)(즉, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 6개의 K_i(4))을 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S3202의 처리와 스텝 S3203의 처리의 순서는, 도 275의 예에 한정되지 않고, 스텝 S3203의 처리가 먼저 실행되어도 되고, 스텝 S3202의 처리와 스텝 S3203의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S3204에 있어서, 출력 화소값 연산부(3204)는, 스텝 S3202의 처리에서 특징량 기억부(3202)에 의해 생성된 특징량 테이블과, 스텝 S3203의 처리에서 적분 성분 연산부(3203)에 의해 생성된 적분 성분 테이블에 따라 출력 화소값 M(1) 내지 M(4)의 각각을 연산한다.

구체적으로는, 지금의 경우, 출력 화소값 연산부(3204)는, 전술한 식(194)에 대응하는, 다음의 식(198) 내지 식(201)의 우변의 각각을 연산함으로써, 도 277에서 나타낸, 화소(3241)(모드 번호 1의 화소)의 화소값 M(1), 화소(3242)(모드 번호 2의 화소)의 화소값 M(2), 화소(3243)(모드 번호 3의 화소)의 화소값 M(3), 및 화소(3244)(모드 번호 4의 화소)의 화소값 M(4)의 각각을 연산한다.

…(198)

…(199)

…(200)

…(201)

단, 지금의 경우, 식(198) 내지 식(201)의 n은 모두 5가 된다.

스텝 S3205에 있어서, 출력 화소값 연산부(3204)는, 모든 화소의 처리가 종료되었는지의 여부를 판정한다.

스텝 S3205에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S3202로 되돌아가고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 여겨지지 않는 화소가, 순서대로 주목 화소가 되어, 스텝 S3202 내지 S3204의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S3205에 있어서, 모든 화소의 처리가 종료되었다고 판정하면), 출력 화소값 연산부(3204)는, 스텝 S3206에 있어서, 화상을 출력한다. 그 후, 화상의 생성의 처리는 종료된다.

이와 같이, 2차원 재적분 방법을 이용함으로써, 센서(2)(도 259)로부터의 입 력 화상의 화소(3231)(도 276)에 있어서의 화소로서, 입력 화소(3231)보다 공간 해상도가 높은 4개의 화소, 즉, 화소(3241) 내지 화소(3244)(도277)를 창조할 수 있다. 또한, 도시는 하지 않지만, 전술한 바와 같이, 화상 생성부(103)는, 화소(3241) 내지 화소(3244) 뿐만아니라, 적분 범위를 적절히 바꾸는 것으로, 입력 화소(3231)에 대하여 임의의 배율의 공간 해상도의 화소를 열화시키지 않고 창조할 수 있다.

이상, 2차원 재적분 방법의 설명으로서, 공간 방향(X 방향과 Y 방향)에 대한 근사 함수 f(x, y)를 2차원 적분하는 예를 사용하였지만, 2차원 재적분 방법은, 시공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여도 적용 가능하다.

즉, 전술한 예는, 실세계(1)(도 259)의 광신호가, 예를 들면, 도 272에서 나타낸 바와 같은 기울기 G_F로 나타내는 공간 방향의 정상성을 가지는 경우의 예였으므로, 전술한 식(189)에서 나타낸 바와 같은, 공간 방향(X 방향과 Y 방향)의 2차원 적분이 포함되는 식이 이용되었다. 그러나, 2차원 적분은, 공간 방향만이 아닌, 시공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여 적용할 수도 있다.

환언하면, 2차원 재적분 방법의 전제가 되는 2차원 다항식 근사 방법에 있어서는, 광신호를 나타내는 화상 함수 F(x, y, t)가, 공간 방향의 정상성뿐만아니라, 시공간 방향(단, X 방향과 t 방향, 또는 Y 방향과 t 방향)의 정상성을 가지고 있는 경우라도, 2차원의 다항식에 의해 근사할 수 있다.

구체적으로는, 예를 들면, X 방향으로 수평으로 등속으로 움직이고 있는 물체가 있는 경우, 그 물체의 움직임의 방향은, 도 278에 나타낸 바와 같은 X-t 평면에 있어서는, 기울기 V_F와 같이 나타낸다. 환언하면, 기울기 V_F는, X-t 평면에 있어서의 시공간 방향의 정상성의 방향을 나타내고 있다고도 할 수 있다. 따라서, 데이터 정상성 검출부(101)(도 259)는, 전술한 각도 θ(X-Y 평면에 있어서의, 공간 방향의 정상성을 나타내는 기울기 G_F에 대응하는 데이터 정상성 정보)와 마찬가지로, X-t 평면에 있어서의 시공간 방향의 정상성을 나타내는 기울기 V_F에 대응하는 데이터 정상성 정보로서, 도 278에 나타낸 바와 같은 움직임 θ(엄밀하게는, 도시는 하지 않지만, 기울기 V_F에 대응하는 기울기 V_f로 나타내는 데이터 정상성의 방향과, 공간 방향의 X 방향이 이루는 각도인 움직임 θ)을 출력할 수 있다.

또, 2차원 다항식 근사 방법을 이용하는 실세계 추정부(102)(도 259)는, 움직임 θ를 전술한 각도 θ 대신 사용하면, 전술한 방법과 동일한 방법으로, 근사 함수 f(x, t)의 계수(특징량) w_i를 연산하는 것이 가능하게 된다. 단, 이 경우, 사용되는 식은, 전술한 식(193)이 아니고, 다음의 식(202)이다.

…(202)

그리고, 식(202)에 있어서, s는 cotθ(단, θ는 움직임)이다.

따라서, 2차원 재적분 방법을 이용하는 화상 생성부(103)(도 259)는, 다음의 식(203)의 우변에, 전술한 식(202)의 f(x, t)를 대입하여, 연산함으로써, 화소값 M을 산출하는 것이 가능하게 된다.

…(203)

그리고, 식(203)에 있어서, t_s는, t 방향의 적분 개시 위치를 나타내고있고, t_e는, t 방향의 적분 종료 위치를 나타내고 있다.마찬가지로, x_s는, X 방향의 적분 개시 위치를 나타내고 있고, x_e는, X 방향의 적분 종료 위치를 나타내고있다. Ge는, 소정의 게인을 나타내고 있다.

또, 공간 방향 X 대신, 공간 방향 Y에 주목한 근사 함수 f(y, t)도, 전술한 근사 함수 f(x, t)와 똑같이 취급할 수 있다.

그런데, 식(199)에 있어서, t 방향을 일정하게 하고, 즉, t 방향의 적분을 무시하여 적분함으로써, 시간 방향으로는 적분되지 않는 데이터, 즉, 움직임의 흔들림이 없는 데이터를 얻는 것이 가능하게 된다. 환언하면, 이 방법은, 2차원의 다항식 중 소정의 1차원을 일정하게 하여 재적분하는 점에서, 2차원 재적분 방법의 하나로 간주해도 되고, 실제로는, X 방향의 1차원의 재적분을 하게 된다는 점에서, 1차원 재적분 방법의 하나로 간주해도 된다.

또, 식(203)에 있어서, 적분 범위는 임의로 설정 가능하므로, 2차원 재적분 방법에 있어서는, 이 적분 범위를 적절히 바꾸어서, 원래의 화소(센서(2)(도259)로부터의 입력 화상의 화소)에 대하여 임의의 배율의 해상도의 화소를 열화시키지 않고 창조하는 것이 가능하게 된다.

즉, 2차원 재적분 방법에 있어서는, 시간 방향 t의 적분 범위를 적절히 바꾸는 것으로, 시간 해상도의 창조가 가능하게 된다. 또, 공간 방향 X(또는, 공간 방향 Y)의 적분 범위를 적절히 바꾸는 것으로, 공간 해상도의 창조가 가능하게 된다. 또한, 시간 방향 t와 공간 방향 X의 적분 범위의 각각을 적절히 바꾸는 것으로, 시간 해상도와 공간 해상도의 양쪽의 창조가 가능하게 된다.

그리고, 전술한 바와 같이, 시간 해상도와 공간 해상도 중 어느 한쪽의 창조는, 1차원 재적분 방법에서도 가능하지만, 양쪽의 해상도의 창조는, 1차원 재적분 방법에서는 원리상 불가능하고, 2차원 이상의 재적분을 행함으로써 비로소 가능하게 된다. 즉, 2차원 재적분 방법과 후술하는 3차원 재적분 방법에 의해 비로소, 양쪽의 해상도의 창조가 가능하게 된다.

또, 2차원 재적분 방법은, 1차원이 아닌 2차원의 적분 효과를 고려하고 있으 므로, 보다 실세계(1)(도 259)의 광신호에 가까운 화상을 생성하는 것도 가능하게 된다.

환언하면, 2차원 재적분 방법에 있어서는, 예를 들면, 도 259(도 3)의 데이터 정상성 검출부(101)가, 각각 시공간 적분 효과를 가지는, 센서(2)의 복수개의 검출 소자에 의해 실세계(1)의 광신호가 투영되어, 실세계(1)의 광신호의 정상성(예를 들면, 도 272의 기울기 G_F로 나타내는 정상성)의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상에 있어서의 데이터 정상성(예를 들면, 도 274의 기울기 G_f로 나타내는 데이터 정상성)을 검출한다.

그리고, 예를 들면, 도 259(도 3)의 실세계 추정부(102)가, 데이터 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하여, 화상 데이터의 시공간 방향 중 적어도 2차원 방향(예를 들면, 도 272의 공간 방향 X와 공간 방향 Y)의 위치에 대응하는 화소의 화소값이, 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 실세계(1)의 광신호를 나타내는 광신호 함수 F(구체적으로는, 도272의 함수 F(x, y)를, 다항식인 근사 함수 f(x, y)로 근사함으로써, 광신호 함수 f를 추정하는 것이 전제가 되어 있다.

상세하게는, 예를 들면, 실세계 추정부(102)는, 데이터 정상성 검출부(101) 에 의해 검출된 데이터 정상성에 대응하는 선(예를 들면, 도 274의 기울기 G_F F에 대응하는 선(화살표)으로부터의 적어도 2차원 방향을 따른 거리(예를 들면, 도 274의 단면 방향 거리 x')에 대응하는 화소의 화소값이, 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 현실 세계의 광신호를 나타내는 제1 함수를, 다항식인 제2 함수로 근사함으로써, 제1 함수를 추정하는 것이 전제가 되어 있다.

2차원 재적분 방법에 있어서는, 이와 같은 전제에 따라, 예를 들면, 도 259(도 3)의 화상 생성부(103)(그 구성은, 도 273)가, 실세계 추정부(102)에 의해 추정된 함수 F(x, y), 즉, 근사 함수 f(x, y)를, 적어도 2차원 방향의 원하는 단위로 적분(예를 들면, 전술한 식(186)의 우변을 연산함)함으로써 원하는 크기의 화소(예를 들면, 도 259의 출력 화상(화소값 M.구체적으로는, 예를 들면, 도 277의 화소(3241) 내지 화소(3244))에 대응하는 화소값을 생성한다.

따라서, 2차원 재적분 방법에 있어서는, 시간 해상도와 공간 해상도 중 어느 한쪽의 창조만이 아니라, 양쪽의 해상도의 창조가 가능하게 된다. 또, 2차원 재적분 방법에 있어서는, 1차원 재적분 방법과 비교하여, 보다 실세계(1)(도 259)의 광신호에 가까운 화상을 생성하는 경우도 가능하게 된다.

다음에, 도 279와 도 280을 참조하여, 3차원 재적분 방법에 대하여 설명한 다.

3차원 재적분 방법에 있어서는, 3차원 함수 근사 방법에 의해 근사 함수 f(x, y, t)가 이미 생성되어 있는 것이 전제가 된다.

이 경우, 3차원 재적분 방법에 있어서는, 출력 화소값 M은, 다음의 식(204)과 같이 연산된다.

…(204)

그리고, 식(204)에 있어서, t_s는, t 방향의 적분 개시 위치를 나타내고 있고, t_e는, t 방향의 적분 종료 위치를 나타내고 있다. 마찬가지로, y_s는, Y 방향의 적분 개시 위치를 나타내고 있고, y_e는, Y 방향의 적분 종료 위치를 나타내고 있다. 또, x_s는, X 방향의 적분 개시 위치를 나타내고 있고, x_e는, X 방향의 적분 종료 위치를 나타내고 있다. 또한, Ge는, 소정의 게인을 나타내고 있다.

식(204)에 있어서, 적분 범위는 임의로 설정 가능하므로, 3차원 재적분 방법에 있어서는, 이 적분 범위를 적절히 바꾸는 것으로, 원래의 화소(센서(2)(도 259)로부터의 입력 화상의 화소))에 대하여 임의의 배율의 시공간 해상도의 화소를 열화시키지 않고 창조하는 것이 가능하게 된다. 즉, 공간 방향의 적분 범위를 작게 하면, 화소 피치를 자유롭게 상세하게 할 수 있다. 역으로, 공간 방향의 적분 범위를 크게 하면, 화소 피치를 자유롭게 크게 할 수 있다.또, 시간 방향의 적분 범위를 작게 하면, 실세계 파형에 따라 시간 해상도를 창조할 수 있다.

도 279는, 3차원 재적분 방법을 이용하는 화상 생성부(103)의 구성예를 나타내고 있다.

도 279에서 나타낸 바와 같이, 이 예의 화상 생성부(103)에는, 조건 설정부(3301), 특징량 기억부(3302), 적분 성분 연산부(3303), 및 출력 화소값 연산부(3304)가 형성되어 있다.

조건 설정부(3301)는, 실세계 추정부(102)로부터 공급된 실세계 추정 정보(도 279의 예에서는, 근사 함수 f(x, y, t)의 특징량)에 따라 근사 함수 f(x, y, t)의 차수 n을 설정한다.

조건 설정부(3301)는 또한, 근사 함수 f(x, y, t)를 재적분하는 경우(출력 화소값을 연산하는 경우)의 적분 범위를 설정한다. 그리고, 조건 설정부(3301)가 설정하는 적분 범위는, 화소의 폭(세로폭과 가로폭)과 셔터 시간 자체일 필요는 없다. 예를 들면, 센서(2)(도 259)로부터의 입력 화상의 각 화소의 공간적인 크기에 대한, 출력 화소(화상 생성부(103)가 지금부터 생성하는 화소)의 상대적인 크기(공간 해상도의 배율)를 알면, 구체적인 공간 방향의 적분 범위의 결정이 가능하다. 마찬가지로, 센서(2)(도 259)의 셔터 시간에 대한 출력 화소값의 상대적인 시간(시 간 해상도의 배율)을 알면, 구체적인 시간 방향의 적분 범위의 결정이 가능하다. 따라서, 조건 설정부(3301)는, 적분 범위로서 예를 들면, 공간 해상도 배율이나 시간 해상도 배율을 설정할 수도 있다.

특징량 기억부(3302)는, 실세계 추정부(102)로부터 순서대로 공급되는 근사 함수 f(x, y, t)의 특징량을 1차적으로 기억한다. 그리고, 특징량 기억부(3302)는, 근사 함수 f(x, y, t)의 특징량의 모두를 기억하면, 근사 함수 f(x, y, t)의 특징량을 모두 포함하는 특징량 테이블을 생성하고, 출력 화소값 연산부(3304)에 공급한다.

그런데, 전술한 식(204)의 우변의 근사 함수 f(x, y)의 우변을 전개(연산)하면, 출력 화소값 M은, 다음의 식(205)와 같이 나타낸다.

…(205)

식(205)에 있어서, K_i(x_s, x_e, y_s, y_e, t_s, t_e)는, i차항의 적분 성분을 나타내고 있다. 단, x_s는 X 방향의 적분 범위의 개시 위치를, x_e는 X 방향의 적분 범위의 종료 위치를, y_s는 Y 방향의 적분 범위의 개시 위치를, y_e는 Y 방향의 적분 범위의 종료 위치를, t_s는 t 방향의 적분 범위의 개시 위치를, t_e는 t 방향의 적분 범위 의 종료 위치를, 각각 나타내고 있다.

적분 성분 연산부(3303)는, 상기 적분 성분 K_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산한다.

구체적으로는, 적분 성분 연산부(3303)는, 조건 설정부(3301)에 의해 설정된 차수, 및 적분 범위(공간 해상도 배율이나 시간 해상도 배율), 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중, 각도 θ 또는 움직임 θ에 따라 상기 적분 성분 K_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산하여, 그 연산 결과를 적분 성분 테이블로서 출력 화소값 연산부(3304)에 공급한다.

출력 화소값 연산부(3304)는, 특징량 기억부(3302)로부터 공급된 특징량 테이블과, 적분 성분 연산부(3303)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(205)의 우변을 연산하여, 그 연산 결과를 출력 화소값 M으로서 외부에 출력한다.

다음에, 도 280의 흐름도를 참조하여, 3차원 재적분 방법을 이용하는 화상 생성부(103)(도 279)의 화상의 생성의 처리(도 40의 스텝 S103의 처리)에 대하여 설명한다.

예를 들면, 지금, 전술한 도 40의 스텝 S102의 처리에 의해, 실세계 추측부(102)(도 259)가, 입력 화상 중, 소정의 화소를 주목 화소로서 실세계(1)(도 259) 의 광신호를 근사하는 근사 함수 f(x, y, t)를 이미 생성하고 있는 것으로 한다.

또, 전술한 도 40의 스텝 S101의 처리로, 데이터 정상성 검출부(101)(도259)가, 실세계 추정부(102)와 같은 화소를 주목 화소로서, 데이터 정상성 정보로서, 각도 θ 또는 움직임 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 도 280의 스텝 S3301에 있어서, 조건 설정부(3301)는, 조건(차수와 적분 범위)을 설정한다.

스텝 S3302에 있어서, 특징량 기억부(3302)는, 실세계 추정부(102)로부터 공급된 근사 함수 f(x, y, t)의 특징량 w_i를 취득하여, 특징량 테이블을 생성한다.

스텝 S3303에 있어서, 적분 성분 연산부(3303)는, 조건 설정부(3301)에 의해 설정된 조건(차수 및 적분 범위), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ 또는 움직임 θ)에 따라서, 적분 성분을 연산하여, 적분 성분 테이블을 생성한다.

그리고, 스텝 S3302의 처리와 스텝 S3303의 처리의 순서는, 도 280의 예에 한정되지 않고, 스텝 S3303의 처리가 먼저 실행되어도 되고, 스텝 S3302의 처리와 스텝 S3303의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S3304에 있어서, 출력 화소값 연산부(3304)는, 스텝 S3302의 처리에서 특징량 기억부(3302)에 의해 생성된 특징량 테이블과, 스텝 S3303의 처리 에서 적분 성분 연산부(3303)에 의해 생성된 적분 성분 테이블에 따라서 각 출력 화소값의 각각을 연산한다.

스텝 S3305에 있어서, 출력 화소값 연산부(3304)는, 모든 화소의 처리가 종료되었는지의 여부를 판정한다.

스텝 S3305에 있어서, 모든 화소의 처리가 아직 종료되지 않은 것으로 판정된 경우, 처리는 스텝 S3302로 되돌아가고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 여겨지지 않는 화소가, 순서대로 주목 화소가 되어, 스텝 S3302 내지 S3304의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S3305에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 출력 화소값 연산부(3304)는, 스텝 S3306에 있어서, 화상을 출력한다. 그 후, 화상의 생성의 처리는 종료된다.

이와 같이, 전술한 식(204)에 있어서, 그 적분 범위는 임의로 설정 가능하므로, 3차원 재적분 방법에 있어서는, 상기 적분 범위를 적절히 바꾸는 것으로, 원래의 화소(센서(2)(도 259)로부터의 입력 화상의 화소)에 대하여 임의의 배율의 해상도의 화소를 열화시키지 않고 창조하는 것이 가능하게 된다.

즉, 3차원 재적분 방법에 있어서는, 시간 방향의 적분 범위를 적절히 바꾸는 것으로, 시간 해상도의 창조가 가능하게 된다. 또, 공간 방향의 적분 범위를 적절히 바꾸는 것으로, 공간 해상도의 창조가 가능하게 된다. 또한, 시간 방향과 공간 방향의 적분 범위의 각각을 적절히 바꾸는 것으로, 시간 해상도와 공간 해상도의 양쪽의 창조가 가능하게 된다.

구체적으로는, 3차원 재적분 방법에 있어서는, 2차원이나 1차원으로 저하시킬 때의 근사가 없기 때문에 정밀도가 높은 처리가 가능하게 된다. 또, 경사 방향의 움직임도 2차원으로 저하시키지 않고 처리하는 것이 가능하게 된다. 또한, 2차원으로 저하되어 있지 않기 때문에 각 차원의 가공이 가능하게 된다. 예를 들면, 2차원 재적분 방법에 있어서, 공간 방향(X 방향과 Y 방향)으로 물러나는 경우에는 시간 방향인 t 방향의 가공을 할 수 없게 되어 버린다. 이에 비해, 3차원 재적분 방법에 있어서는, 시공간 방향의 어떠한 가공도 가능하게 된다.

그리고, 전술한 바와 같이, 시간 해상도와 공간 해상도 중 어느 한쪽의 창조는, 1차원 재적분 방법에서도 가능하지만, 양쪽의 해상도의 창조는, 1차원 재적분 방법에서는 원리상 불가능하고, 2차원 이상의 재적분을 행함으로써 비로소 가능하게 된다. 즉, 전술한 2차원 재적분 방법과 3차원 재적분 방법에서 비로소, 양쪽의 해상도의 창조가 가능하게 된다.

또, 3차원 재적분 방법은, 1차원이나 2차원이 아니라, 3차원의 적분 효과를 고려하고 있으므로, 보다 실세계(1)(도 259)의 광신호에 가까운 화상을 생성하는 것도 가능하게 된다.

환언하면, 3차원 재적분 방법에 있어서는, 예를 들면, 도 259(도 3)의 실세 계 추정부(102)는, 각각 시공간 적분 효과를 가지는, 센서(2)의 복수개의 검출 소자에 의해 실세계(1)의 광신호가 투영되어 실세계(1)의 광신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상의, 시공간 방향 중, 적어도 1차원 방향의 위치에 대응하는 화소의 화소값이, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값으로 하여, 실세계의 광신호를 나타내는 광신호 함수 F를 소정의 근사 함수 f로 근사함으로써, 광신호 함수 F를 추정하는 것이 전제가 된다.

또한, 예를 들면, 도 259(도3)의 데이터 정상성 검출부(101)가, 입력 화상의 데이터 정상성을 검출한 경우, 실세계 추정부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하여, 화상 데이터의 시공간 방향 중, 적어도 1차원 방향의 위치에 대응하는 화소의 화소값이, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 광신호 함수 F를 근사 함수 f로 근사함으로써, 광신호 함수 F를 추정하는 것이 전제가 된다.

상세하게는, 예를 들면, 실세계 추정부(102)는, 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하는 선으로부터의 적어도 1차원 방향을 따른 거리에 대응하는 화소의 화소값이, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 광신호 함수 F를 근사 함수로 근사함으로써, 광신호 함수를 추정하는 것이 전제가 된다.

3차원 재적분 방법에 있어서는, 예를 들면, 도 259(도 3)의 화상 생성부(103)(그 구성은, 도 279)가, 실세계 추정부(102)에 의해 추정된 광신호 함수 F, 즉, 근사 함수 f를, 적어도 1차원 방향의 원하는 단위로 적분하는(예를 들면, 전술한 식(201)의 우변을 연산함) 것에 의해 원하는 크기의 화소에 대응하는 화소값을 생성한다.

따라서, 3차원 재적분 방법은, 종래의 화상 생성 방법이나, 전술한 1차원 또는 2차원 재적분 방법과 비교하여, 보다 실세계(1)(도 259)의 광신호에 가까운 화상을 생성하는 것도 가능하게 된다.

다음에, 도 281을 참조하여, 실세계 추정부(102)로부터 입력되는 실세계 추정 정보가, 참조 화소의 각 화소값을 근사적으로 나타내는 근사 함수 f(x) 상의, 각 화소의 미분값, 또는 기울기의 정보인 경우, 각 화소의 미분값, 또는 기울기에 따라, 새로 화소를 생성하고, 화상을 출력하는 화상 생성부(103)에 대하여 설명한다.

그리고, 여기서 말하는 미분값은, 참조 화소의 각 화소값을 근사적으로 나타내는 근사 함수 f(x)를 구한 후, 상기 근사 함수 f(x)로부터 얻어지는 1차 미분식 f(x)(근사 함수가 프레임 방향의 경우, 근사 함수 f(t)로부터 얻어지는 1차 미분식 f(t))를 사용하여, 소정의 위치에서 얻어지는 값이다. 또, 여기서 말하는 경사는, 전술한 근사 함수 f(x)(또는, f(t))를 구하는 것이 아니라, 소정의 위치에서의 주 변 화소의 화소값으로부터 직접 얻어지는 근사 함수 f(x) 상의 소정의 위치의 기울기를 나타내고 있다. 그러나, 미분값은, 근사 함수 f(x)의 소정의 위치에서의 기울기이므로, 모두, 상기 근사 함수 f(x) 상의 소정의 위치에서의 기울기이다. 그래서, 실세계 추정부(102)로부터 입력되는 실세계 추정정보로서의 미분값과 기울기에 대해서는, 도 281, 및 도 285의 화상 생성부(103)의 설명에 있어서는, 통일하여 근사 함수 f(x)(또는, f(t)) 상의 기울기라고 한다.

경사 취득부(3401)는, 실세계 추정부(102)로부터 입력되는 참조 화소의 화소값을 근사적으로 나타내는 근사 함수 f(x)에 대한, 각 화소의 기울기의 정보와, 대응하는 화소의 화소값, 및 정상성의 방향의 기울기를 취득하여, 외삽 보간부(3402)에 출력한다.

외삽 보간부(3402)는, 경사 취득부(3401)로부터 입력된 각 화소의 근사함수 f(x) 상의 기울기와, 대응하는 화소의 화소값, 및 정상성의 방향의 기울기에 따라, 외삽 보간에 의하여, 입력 화상보다 소정의 배율의 고밀도의 화소를 생성하고, 출력 화상으로서 출력한다.

다음에, 도 282의 흐름도를 참조하여, 도 281의 화상 생성부(103)에 의한 화상 생성의 처리에 대하여 설명한다.

스텝 S3401에 있어서, 기울기 취득부(3401)는, 실세계 추정부(102)로부터 입력되는, 각 화소의 근사 함수 f(x) 상의 기울기(미분값), 위치, 화소값, 및 정상성 의 방향의 경사의 정보를 실세계 추정 정보로서 취득한다.

이 때, 예를 들면, 입력 화상에 대하여 공간 방향 X, 및 공간 방향 Y에 대하여 각각 2배(합계 4배)의 밀도의 화소로 이루어지는 화상을 생성하는 경우, 실세계 추정부(102)로부터는, 도 283에 나타낸 바와 같은 화소 Pin에 대하여, 기울기 f(Xin)’ (화소 Pin의 중앙 위치에 있어서의 기울기), f(Xin - Cx(-(0.25))’ (화소 Pin으로부터 Y 방향으로 2배 밀도의 화소가 생성될 때의 화소 Pa의 중앙 위치의 경사), f(Xin - Cx(0.25))’ (화소 Pin으로부터 Y 방향으로 2배 밀도의 화소가 생성될 때의 화소 Pb의 중앙 위치의 경사), 화소 Pin의 위치, 화소값, 및 정상성의 방향의 기울기 G_f의 정보가 입력된다.

스텝 S3402에 있어서, 기울기 취득부(3401)는, 입력된 실세계 추정 정보 중, 대응하는 주목 화소의 정보를 선택하고, 외삽 보간부(3402)에 출력한다.

스텝 S3403에 있어서, 외삽 보간부(3402)는, 입력된 화소의 위치 정보와 정상성의 방향의 경사 G_f로부터 시프트량을 구한다.

여기서, 시프트량 Cx(ty)는, 정상성의 기울기가 Gf로 나타낼 때, Cx(ty) = ty/Gf에 의해 정의된다. 상기 시프트량 Cx(ty)는, 공간 방향 Y = 0의 위치 상에서 정의되는 근사 함수 f(x)가, 공간 방향 Y = ty의 위치에서의, 공간 방향 X에 대한 어긋난 폭을 나타낸 것이다. 따라서, 예를 들면, 공간 방향 Y = 0의 위치 상에서 근사 함수가 f(x)로서 정의되어 있는 경우, 상기 근사 함수 f(x)는, 공간 방향 Y = ty에 있어서는, 공간 방향 X에 대하여 Cx(ty)만큼 어긋난 함수가 되므로, 근사 함수는, f(x - Cx(ty) (= f(x - ty/Gf)로 정의된다.

예를 들면, 도 283에 나타낸 바와 같은 화소 Pin의 경우, 도면 중의 1화소(도면 중의 1화소의 크기는, 수평 방향, 및 수직 방향 모두 1인 것으로 한다)를 수직 방향으로 2분할할 때(수직 방향으로 배 밀도의 화소를 생성할 때), 외삽 보간부(3402)는, 요구하려고 하는 화소 Pa, Pb의 시프트량을 구한다. 즉, 지금의 경우, 화소 Pa, Pb는, 화소 Pin으로부터 보아서, 공간 방향 Y에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 화소 Pa, Pb의 시프트량은, 각각 Cx(-0.25), Cx(0.25)가 된다. 그리고, 도 283 중에서, 화소 Pin은, (Xin, Yin)를 대략 중심 위치로 하는 정방형이며, 화소 Pa, Pb는, (Xin, Yin + 0.25), (Xin, Yin - 0.25)를 각각 대략 중심 위치로 하는 도면 중, 수평 방향으로 긴 직사각형이다.

스텝 S3404에 있어서, 외삽 보간부(3402)는, 스텝 S3403의 처리에 의해 구해진 시프트량 Cx, 실세계 추정 정보로서 취득된 화소 Pin의 근사 함수 f(x) 상의 주목 화소 상에서의 경사 f(Xin)’, 및 화소 Pin의 화소값에 따라, 이하의 식(206), 식(207)에 의해 외삽 보간을 사용하여 화소 Pa, Pb의 화소값을 구한다.

Pa = Pin - f(Xin)’ × Cx(0.25)

…(206)

Pb = Pin - f(Xin)’ × Cx(-0.25)

…(207)

이상의 식(206), 식(207)에 있어서, Pa, Pb, Pin는, 화소 Pa, Pb, Pin의 화소값을 나타낸다.

즉, 도 284에서 나타낸 바와 같이, 주목 화소 Pin에 있어서의 경사 f(Xin)’에, X 방향의 이동거리, 즉, 시프트량을 곱하는 것으로 화소값의 변화량을 설정하고, 주목 화소의 화소값을 기준으로 하여, 새롭게 생성하는 화소의 화소값을 설정한다.

스텝 S3405에 있어서, 외삽 보간부(3402)는, 소정의 해상도의 화소를 얻었는지 여부를 판정한다. 예를 들면, 소정의 해상도가 입력 화상의 화소에 대하여, 수직 방향으로 2배의 밀도의 화소이면, 이상의 처리에 의하여, 외삽 보간부(3402)는, 소정의 해상도의 화상을 얻었다고 판정하지만, 예를 들면, 입력 화상의 화소에 대하여, 4배의 밀도(수평 방향으로 2배 × 수직 방향으로 2배)의 화소를 원하였을 경우, 이상의 처리에서는, 소정의 해상도의 화소를 얻지 못한 것이 된다. 그래서, 4배의 밀도의 화상이 원하던 화상인 경우, 외삽 보간부(3402)는, 소정의 해상도의 화소를 얻지 못하였다고 판정하고, 그 처리는, 스텝 S3403으로 되돌아온다.

스텝 S3403에 있어서, 외삽 보간부(3402)는, 2번째의 처리에서, 요구하려고 하는 화소 P01, P02, P03, 및 P04(주목 화소 Pin에 대하여 4배가 되는 밀도의 화소)를 생성하려고 하는 화소의 중심 위치로부터의 시프트량을 각각 구한다. 즉, 지금의 경우, 화소 P01, P02는, 화소 Pa로부터 얻어지는 것이므로, 화소 Pa로부터의 시프트량이 각각 구해지게 된다. 여기서, 화소 P01, P02는, 화소 Pa로부터 보았을 때 공간 방향 X에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 그 값 그 자체가 시프트량이 된다(공간 방향 X에 대하여 시프트하고 있기 때문에). 마찬가지로 하여, 화소 P03, P04는, 화소 Pb로부터 보았을 때 공간 방향 X에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 그 값 그 자체가 시프트량이 된다. 그리고, 도 283에 있어서, 화소 P01, P02, P03, P04는, 도면 중의 4개의 x표의 위치를 중심 위치로 하는 정방형이며, 각 변의 길이는, 화소 Pin이, 각각 1이므로, 화소 P01, P02, P03, P04는, 각각 대략 0.5가 된다.

스텝 S3404에 있어서, 외삽 보간부(3402)는, 스텝 S3403의 처리에 의해 구해진 시프트량 Cx, 실세계 추정 정보로서 취득된 화소 Pa, Pb의 근사 함수 f(x) 상의 소정의 위치에서의 기울기 f(Xin - Cx(-0.25))’, f(Xin - Cx(0.25))’, 및 전술한 처리에 의해 구해진 화소 Pa, Pb의 화소값에 따라, 외부 삽입 보간에 의해 이하의 식(208) 내지 식(211)에 의해 화소 P01, P02, P03, P04의 화소값을 구하고, 도시하지 않는 메모리에 기억시킨다.

P01 = Pa ＋ f(Xin - Cx(0.25))’ × (-0.25)

…(208)

P02 = Pa ＋ f(Xin -Cx(0.25))’ × (0.25)

…(209)

P03 = Pb ＋ f(Xin - Cx(-0.25))’ × (-0.25)

…(210)

P04 = Pb ＋ f(Xin -Cx(-0.25))’ × (0.25)

…(211)

전술한 식(208) 내지 식(211)에 있어서, P01 내지 P04는, 화소 P01 내지 P04의 각각의 화소값을 나타낸다.

스텝 S3405에 있어서, 외삽 보간부(3402)는, 소정의 해상도의 화소를 얻었는지 여부를 판정하고, 지금의 경우, 원하고 있던 4배의 밀도의 화소를 얻을 수 있었으므로, 외삽 보간부(3402)는, 소정의 해상도의 화소를 얻을 수 있었다고 판정하고, 그 처리는, 스텝 S3406으로 진행한다.

스텝 S3406에 있어서, 기울기 취득부(3401)는, 모든 화소에서 처리가 되었는지 여부를 판정하고, 또, 모든 화소에 대하여 처리가 되어 있지 않은 것으로 판정한 경우, 그 처리는, 스텝 S3402로 복귀하고, 그 이후의 처리가 반복된다.

스텝 S3406에 있어서, 기울기 취득부(3401)는, 모든 화소에 대하여 처리가 행해진 것으로 판정한 경우, 스텝 S3407에 있어서, 외삽 보간부(3402)는, 도시하지 않는 메모리에 기억되어 있는, 생성된 화소로 이루어지는 화상을 출력한다.

즉, 도 284에서 나타낸 바와 같이, 근사 함수 f(x) 상의 기울기 f(x)’을 사용하여, 그 기울기를 구한 주목 화소로부터 공간 방향 X로 떨어진 거리에 따라, 새로운 화소의 화소값이 외입 보간에 의해 구해진다.

그리고, 이상의 예에 있어서는, 4배 밀도의 화소를 연산할 때의 기울기(미분값)를 예로서 설명하였지만, 더 많은 위치에서의, 경사의 정보가, 실세계 추정 정보로서 얻어지고, 전술한 바와 마찬가지의 방법으로, 그 이상의 공간 방향의 밀도의 화소를 연산하는 경우도 가능하다.

또, 이상의 예에 대하여 는, 배 밀도의 화소값을 구하는 예에 대하여 설명하였지만, 근사 함수 f(x)는 연속 함수이므로, 배 밀도 이외의 화소값에 대하여도 필요한 경사(미분값)의 정보를 얻을 수 있으면, 더 고밀도의 화소로 이루어지는 화상을 생성하는 것이 가능해진다.

이상에 의하면, 실세계 추정 정보로서 공급되는 입력 화상의 각 화소의 화소값을 공간 방향으로 근사하는 근사 함수 f(x)의 기울기(또는, 미분값)f(x)’의 정보에 따라, 입력 화상보다 고해상도의 화상의 화소를 생성하는 것이 가능해진다.

다음에, 도 285를 참조하여, 실세계 추정부(102)로부터 입력되는 실세계 추정 정보가, 참조 화소의 화소값을 근사적으로 표현하는 프레임 방향(시간 방향)의 함수 f(t) 상의, 각 화소의 미분값, 또는 기울기의 정보인 경우, 각 화소의 미분값, 또는 기울기에 따라, 새롭게 화소를 생성하고, 화상을 출력하는 화상 생성 부(103)에 대하여 설명한다.

경사 취득부(3411)는, 실세계 추정부(102)로부터 입력되는 참조 화소의 화소값을 근사적으로 표현하는 근사 함수 f(t) 상의, 각 화소의 위치에서의 기울기의 정보와, 대응하는 화소의 화소값, 및 정상성의 움직임을 취득하여, 외삽 보간부(3412)에 출력한다.

외삽 보간부(3412)는, 경사 취득부(3411)로부터 입력된 각 화소의 근사 함수 f(t) 상의 경사와 대응하는 화소의 화소값, 및 정상성의 움직임에 따라, 외삽 보간에 의하여, 입력 화상보다 소정의 배율의 고밀도의 화소를 생성하고, 출력 화상으로서 출력한다.

다음에, 도 286의 흐름도를 참조하여, 도 285의 화상 생성부(103)에 의한 화상의 생성의 처리에 대하여 설명한다.

스텝 S3421에 있어서, 경사 취득부(3411)는, 실세계 추정부(102)로부터 입력되는, 각 화소의 근사 함수 f(t) 상의 기울기(미분값), 위치, 화소값, 및 정상성의 움직임의 정보를 실세계 추정 정보로서 취득한다.

이 때, 예를 들면, 입력 화상에 대하여 공간 방향, 및 프레임 방향으로 각각 2배(합계 4배)의 밀도의 화소로 이루어지는 화상을 생성하는 경우, 실세계 추정부(102)로부터는, 도 287에 나타낸 바와 같은 화소 Pin에 대하여, 기울기 f(Tin)’ (화소 Pin의 중앙 위치에 있어서의 기울기), f(Tin - Ct(0.25))’ (화소 Pin으로부터 Y 방향으로 2배 밀도의 화소가 생성될 때의 화소 Pat의 중앙 위치의 기울기), f(Tin - Ct(-0.25))’ (화소 Pin으로부터 Y 방향으로 2배 밀도의 화소가 생성될 때의 화소 Pbt의 중앙 위치의 기울기), 화소 Pin의 위치, 화소값, 및 정상성의 움직임(움직임 벡터)의 정보가 입력된다.

스텝 S3422에 있어서, 경사 취득부(3411)는, 입력된 실세계 추정 정보 중, 대응하는 주목 화소의 정보를 선택하고, 외삽 보간부(3412)에 출력한다.

스텝 S3423에 있어서, 외삽 보간부(3412)는, 입력된 화소의 위치 정보와 정상성의 방향의 경사로부터 시프트량을 구한다.

여기서, 시프트량 Ct(ty)는, 정상성의 움직임(프레임 방향과 공간 방향으로 이루어지는 면에 대한 기울기)이 V_f로 나타낼 때, Ct(ty) = ty/V_f로 정의된다. 상기 시프트량 Ct(ty)는, 공간 방향 Y = 0의 위치 상에서 정의되는 근사 함수 f(t)가, 공간 방향 Y = ty의 위치에서의, 프레임 방향 T에 대한 어긋난 폭을 나타낸 것이다. 따라서, 예를 들면, 공간 방향 Y = 0의 위치 상에서 근사 함수가 f(t)로서 정의되어 있는 경우, 상기 근사 함수 f(t)는, 공간 방향 Y = ty에 있어서는, 공간 방향 T에 대하여 Ct(ty)만큼 어긋난 함수가 되므로, 근사 함수는, f(t - Ct(ty) (= f(t - ty/V_f)로 정의된다.

예를 들면, 도 287에 나타낸 바와 같은 화소 Pin의 경우, 도면 중의 1화소( 도면 중의 1화소의 크기는, 프레임 방향, 및 공간 방향 모두 1인 것으로 한다)를 공간 방향으로 2분할할 때(공간 방향으로 배 밀도의 화소를 생성할 때), 외삽 보간부(3412)는, 요구하려고 하는 화소 Pat, Pbt의 시프트량을 구한다. 즉, 지금의 경우, 화소 Pat, Pbt는, 화소 Pin으로부터 보았을 때, 공간 방향 Y에 대하여, 각각 0.25, -0.25만큼 시프트하고 있으므로, 화소 Pat, Pbt의 시프트량은, 각각 Ct(-0.25), Ct(0.25)가 된다. 그리고, 도 287 중에 있어서, 화소 Pin은, (Xin, Yin)을 대략 중심 위치로 하는 정방형이며, 화소 Pat, Pbt는, (Xin, Yin + 0.25), (Xin, Yin -0.25)를 각각 대략 중심 위치로 하는 도면 중 수평 방향으로 긴 직사각형이다.

스텝 S3424에 있어서, 외삽 보간부(3412)는, 스텝 S3423의 처리에 의해 구해진 시프트량, 실세계 추정 정보로서 취득된 화소 Pin의 근사 함수 f(t) 상의 주목 화소 상에서의 기울기 f(Tin)’, 및 화소 Pin의 화소값에 따라, 외삽 보간에 의해 이하의 식(212), 식(213)에 의해 화소 Pat, Pbt의 화소값을 구한다.

Pat = Pin - f(Tin)’ × Ct(0.25)

…(212)

Pbt = Pin - f(Xin)’ × Ct(-0.25)

…(213)

이상의 식(212), 식(213)에 있어서, Pat, Pbt, Pin은, 화소 Pat, Pbt, Pin의 화소값을 나타낸다.

즉, 도 288에 나타낸 바와 같이, 주목 화소 Pin에 있어서의 기울기 f(Xin)’ 에, X 방향의 이동거리, 즉, 시프트량을 곱하여 화소값의 변화량을 설정하고, 주목 화소의 화소값을 기준으로 하여, 새롭게 생성하는 화소의 화소값을 설정한다.

스텝 S3425에 있어서, 외삽 보간부(3412)는, 소정의 해상도의 화소를 얻을 수 있었는지 여부를 판정한다. 예를 들면, 소정의 해상도가 입력 화상의 화소에 대하여, 공간 방향으로 2배의 밀도의 화소이면, 이상의 처리에 의하여, 외삽 보간부(3402)는, 소정의 해상도의 화상을 얻을 수 있었다고 판정하지만, 예를 들면, 입력 화상의 화소에 대하여, 4배의 밀도(프레임 방향으로 2배 × 공간 방향으로 2배)의 화소를 원하였을 경우, 이상의 처리에서는, 소정의 해상도의 화소를 얻지 못한 것이 된다. 그래서, 4배의 밀도의 화상이 원하던 화상인 경우, 외삽 보간부(3412)는, 소정의 해상도의 화소를 얻지 못하고 있다고 판정하고, 그 처리는, 스텝 S3423로 되돌아온다.

스텝 S3423에 있어서, 외삽 보간부(3412)는, 2번째의 처리에서, 요구하려고 하는 화소 P01t, P02t, P03t, 및 P04t(주목 화소 Pin에 대하여 4배가 되는 밀도의 화소)를 생성하려고 하는 화소의 중심 위치로부터의 시프트량을 각각 구한다. 즉, 지금의 경우, 화소 P01t, P02t는, 화소 Pat로부터 얻어지는 것이므로, 화소 Pat로부터의 시프트량이 각각 구해지는 것이 된다. 여기서, 화소 P01t, P02t는, 화소 Pat로부터 보았을 때 프레임 방향 T에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 그 값 그 자체가 시프트량이 된다(공간 방향 X에 대하여 시프트하고 있기 때문에). 마찬가지로 하여, 화소 P03t, P04t는, 화소 Pbt로부터 보았을 때 프레임 방향 T에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 그 값 자체가 시프트량이 된다. 그리고, 도 287에 있어서, 화소 P01t, P02t, P03t, P04t는, 도면 중의 4개의 x표의 위치를 중심 위치로 하는 정방형이며, 각변의 길이는, 화소 Pin이, 각각 1이므로, 화소 P01t, P02t, P03t, P04t는, 각각 대략 0.5가 된다.

스텝 S3424에 있어서, 외삽 보간부(3412)는, 스텝 S3423의 처리에 의해 구해진 시프트량 Ct, 실세계 추정 정보로서 취득된 화소 Pat, Pbt의 근사 함수 f(t) 상의 소정의 위치에서의 경사 f(Tin Ct(0.25))’, f(Tin Ct(-0.25))’, 및 전술한 처리에 의해 구해진 화소 Pat, Pbt의 화소값에 따라, 외삽 보간에 의해 이하의 식(214) 내지 식(217)에 의해 화소 P01t, P02t, P03t, P04t의 화소값을 구하고, 도시하지 않는 메모리에 기억시킨다.

P01t = Pat ＋ f(Tin - Ct(0.25))’ × (-0.25)

…(214)

P02t = Pat ＋ f(Tin - Ct(0.25))’ × (0.25)

…(215)

P03t = Pbt ＋ f(Tin - Ct(-0.25))’ × (-0.25)

…(216)

P04t = Pbt ＋ f(Tin - Ct(-0.25))’ × (0.25)

…(217)

전술한 식(208) 내지 식(211)에 있어서, P01t 내지 P04t는, 화소 P01t 내지 P04t의 각각의 화소값을 나타낸다.

스텝 S3425에 있어서, 외삽 보간부(3412)는, 소정의 해상도의 화소를 얻을 수 있었는지 여부를 판정하고, 지금의 경우, 원하고 있던 4배 밀도의 화소를 얻을 수 있었으므로, 외삽 보간부(3412)는, 소정의 해상도의 화소를 얻을 수 있었다고 판정하고, 그 처리는, 스텝 S3426으로 진행한다.

스텝 S3426에 있어서, 경사 취득부(3411)는, 모든 화소에서 처리가 이루어졌는지 여부를 판정하고, 또, 모든 화소에 대하여 처리가 되어 있지 않은 것으로 판정한 경우, 그 처리는, 스텝 S3422으로 복귀하고, 그 이후의 처리가 반복된다.

스텝 S3426에 있어서, 경사 취득부(3411)는, 모든 화소에 대하여 처리가 행해진 것으로 판정된 경우, 스텝 S3427에 있어서, 외삽 보간부(3412)는, 도시하지 않는 메모리에 기억되어 있는, 생성된 화소로 이루어지는 화상을 출력한다.

즉, 도 288에 나타낸 바와 같이, 근사 함수 f(t) 상의 경사 f(t)’ 을 사용하여, 그 기울기를 구한 주목 화소로부터 프레임 방향 T로 떨어져 있는 프레임 수에 따라, 새로운 화소의 화소값이 외삽 보간에 의해 구해진다.

그리고, 이상의 예에 있어서는, 4배 밀도의 화소를 연산할 때의 기울기(미분값)를 예로서 설명하였지만, 더 많은 위치에서의, 기울기의 정보가, 실세계 추정 정보로서 얻어지고, 전술한 바와 마찬가지의 방법으로, 그 이상의 프레임 방향의 밀도의 화소를 연산하는 경우도 가능하다.

또, 이상의 예에 대하여 는, 배 밀도의 화소값을 구하는 예에 대하여 설명하였지만, 근사 함수 f(t)는 연속 함수이므로, 배 밀도 이외의 화소값에 대하여도 필요한 기울기(미분값)의 정보를 얻을 수 있으면, 더 고밀도의 화소로 이루어지는 화상을 생성하는 것이 가능해진다.

이상의 처리에 의하여, 실세계 추정 정보로서 공급되는 입력 화상의 각 화소의 화소값을 프레임 방향으로 근사하는 근사 함수 f(t)의 기울기(또는, 미분값)f(t)’ 의 정보에 따라, 입력 화상보다 고해상도의 화상의 화소를 프레임 방향으로도 생성하는 것이 가능해진다.

이상에 의하면, 각각 시공간 적분 효과를 가지는, 센서의 복수개의 검출 소자에 의해 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 화상 데이터에 있어서의 데이터 정상성을 검출하고, 검출된 정상성에 대응하여, 화상 데이터 내의 주목 화소에 대하여 시공간 방향 중, 1차원 방향으로 시프트한 위치의 복수개 화소의 화소값의 기울기를, 현실 세계의 광신호에 대응하는 함수로서 추정 하고, 주목 화소의 중심 위치로부터 1차원 방향으로 시프트한 위치를 중심으로 하는 기울기를 가지는 직선의 상기 주목 화소 내에 배치되는 양단의 값을 주목 화소보다 고해상도의 화소의 화소값으로서 생성하도록 했으므로, 입력 화상보다 시공간 방향으로 고해상도의 화소를 생성하는 것이 가능해진다.

다음에, 도 289내지 도 314를 참조하여, 화상 생성부(103)(도 3)의 실시예의 또 다른 예에 대하여 설명한다.

도 289는, 이 예의 실시예가 적용되는 화상 생성부(103)의 구성예를 나타내고 있다.

도 289에서 나타내는 화상 생성부(103)에는, 종래의 클래스 분류 적응 처리를 실행하는 클래스 분류 적응 처리부(3501), 클래스 분류 적응 처리에 대한 보정의 처리(처리의 상세한 것에 대하여는 후술)를 실행하는 클래스 분류 적응 처리 보정부(3502), 및 클래스 분류 적응 처리부(3501)로부터 출력된 화상과, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 화상을 가산하고, 가산한 화상을 출력 화상으로서 외부에 출력하는 가산부(3503)가 형성되어 있다.

그리고, 이하, 클래스 분류 적응 처리부(3501)로부터 출력되는 화상을, 예측 화상이라 하고, 클래스 분류 적응 처리 보정부(3502)로부터 출력되는 화상을, 보정 화상, 또는 차분 예측 화상이라 한다. 단, 예측 화상과 차분 예측 화상의 명칭의 유래에 대하여는 각각 후술한다.

또, 이 예의 실시예에 있어서는, 클래스 분류 적응 처리는, 예를 들면, 입력 화상의 공간 해상도를 향상시키는 처리인 것으로 한다. 즉, 표준 해상도의 화상인 입력 화상을, 고해상도의 화상인 예측 화상으로 변환하는 처리인 것으로 한다.

그리고, 이하, 표준 해상도의 화상을, 적절히, SD(Standard Definition) 화상이라 한다. 또, SD 화상을 구성하는 화소를, 적절히, SD 화소라고 한다.

이에 비해, 이하, 고해상도의 화상을, 적절히, HD(High Definition) 화상이라 한다. 또, HD 화상을 구성하는 화소를, 적절히, HD 화소라고 한다.

구체적으로는, 이 예의 실시예에 있어서, 클래스 분류 적응 처리는, 다음과 같은 처리이다.

즉, 처음에, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(HD 화상)의 HD 화소를 구하기 위하여, 주목 화소를 포함한, 그 부근에 배치되는 SD 화소(이하, 이와 같은 SD 화소를, 클래스 탭이라고 한다)의 특징량의 각각을 구하여, 그 특징량마다 미리 분류된 클래스를 특정한다(클래스 탭 군의 클래스 코드를 특정한다).

그리고, 미리 설정된 복수개의 계수군(각 계수군의 각각은, 소정의 1개의 클래스 코드에 대응하고 있는) 중, 특정된 클래스 코드에 대응하는 계수군을 구성하는 각 계수와 주목 화소를 포함한, 그 부근의 SD 화소(이하, 이와 같은 입력 화상의 SD 화소를, 예측 탭 이라고 한다. 그리고, 예측 탭은, 클래스 탭과 동일할 수 도 있다)를 사용하여 곱셈 및 덧셈 연산을 실행함으로써, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(HD 화상)의 HD 화소를 구하는 것이다.

따라서, 이 예의 실시예에 있어서는, 입력 화상(SD 화상)은, 클래스 분류 적응 처리부(3501)에 있어서, 종래의 클래스 분류 적응 처리가 행해져서 예측 화상(HD 화상)이 되고, 또한 가산부(3503)에 있어서, 상기 예측 화상이, 클래스 분류 적응 처리 보정부(3502)로부터의 보정 화상에 의해 보정되어(보정 화상이 가산되어) 출력 화상(HD 화상)이 된다.

즉, 이 예의 실시예는, 정상성의 관점으로부터는, 정상성을 사용하여 처리를 행하는 화상 처리 장치(도 3) 중 화상 생성부(103)의 하나의 실시예라 할 수 있다. 이에 비해, 클래스 분류 적응 처리의 관점으로부터는, 센서(2)로 클래스 분류 적응 처리부(3501)으로 구성되는 종래의 화상 처리 장치에 대하여, 클래스 분류 적응 처리의 보정을 행하기 위하여, 데이터 정상성 검출부(101), 실세계 추정부(102), 클래스 분류 적응 처리 보정부(3502), 및 가산부(3503)을 더 부가한 화상 처리 장치의 실시예라 할 수 있다.

따라서, 이하, 이 예의 실시예를, 전술한 재적분 방법에 대하여, 클래스 분류 적응 처리 보정 방법 이라고 한다.

클래스 분류 적응 처리 보정 방법을 이용하는 화상 생성부(103)에 대하여 보다 상세하게 설명한다.

도 289에 있어서, 화상인, 실세계(1)의 신호(광의 강도의 분포)가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다. 이 입력 화상은, 데이터 정상성 검출부(101)에 입력되면 모두, 화상 생성부(103)의 클래스 분류 적응 처리부(3501)에 입력된다.

클래스 분류 적응 처리부(3501)는, 입력 화상에 대하여, 종래의 클래스 분류 적응 처리를 실시하여 예측 화상을 생성하고, 가산부(3503)에 출력한다.

이와 같이, 클래스 분류 적응 처리부(3501)는, 센서(2)로부터의 입력 화상(화상 데이터)을 기준으로 하면 모두, 입력 화상 그자체를 처리의 대상으로 하고 있다. 즉, 센서(2)로부터의 입력 화상은, 전술한 적분 효과에 의해 실세계(1)의 신호와는 상이한 것(왜곡한 것)으로 되어 있음에도 불구하고, 클래스 분류 적응 처리부(3501)는, 그 실세계(1)의 신호와는 상이한 입력 화상을 양으로서 처리하고 있다.

그 결과, 센서(2)로부터 출력된 단계에서 실세계(1)의 디테일이 파괴된 입력 화상(SD 화상)은, 클래스 분류 적응 처리에 의해 비록 HD 화상이 되어도, 원래의 디테일이 완전하게 복원되지 않는 경우가 있는 과제가 발생한다.

그래서, 상기 과제를 해결하기 위하여, 클래스 분류 적응 처리 보정 방법에 있어서는, 화상 생성부(103)의 클래스 분류 적응 처리 보정부(3502)가, 센서(2)로부터의 입력 화상이 아니고, 센서(2)에 입사되기 전의 원래의 화상(소정의 정상성 을 가지는 실세계(1)의 신호)을 추정하는 정보(실세계 추정 정보)를 기준으로 하면 모두, 그 실세계 추정 정보를 처리의 대상으로 하여, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상을 보정하기 위한 보정 화상을 생성한다.

이 실세계 추정 정보는, 데이터 정상성 검출부(101)으로 실세계 추정부(102)에 의해 생성된다.

즉, 데이터 정상성 검출부(101)는, 센서(2)로부터의 입력 화상에 포함되는 데이터 정상성(센서(2)에 입사된 실세계(1)의 신호가 가지는 정상성에 대응하는 데이터 정상성)을 검출하고, 그 검출 결과를 데이터 정상성 정보로서 실세계 추정부(102)에 출력한다.

그리고, 데이터 정상성 정보는, 도 289의 예에서는 각도로 되어 있지만, 각도로 한정되지 않고, 전술한 다양한 정보가 사용 가능하다.

실세계 추정부(102)는, 입력된 각도(데이터 정상성 정보)에 따라, 실세계 추정 정보를 생성하고, 화상 생성부(103)의 클래스 분류 적응 처리 보정부(3502)에 출력한다.

그리고, 실세계 추정 정보는, 도 289의 예에서는 특징량 화상(그에 대한 자세한 것은 후술한다)로 되어 있지만, 특징량 화상에 한정되지 않고, 전술한 다양한 정보가 사용 가능하다.

클래스 분류 적응 처리 보정부(3502)는, 입력된 특징량 화상(실세계 추정 정 보)에 따라 보정 화상을 생성하고, 가산부(3503)에 출력한다.

가산부(3503)는, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상과, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 보정 화상을 가산하고, 가산한 화상(HD 화상)을 출력 화상으로서 외부에 출력한다.

이와 같이 하여 출력된 출력 화상은, 예측 화상보다 더 실세계(1)의 신호(화상)에 가까운 화상이 된다. 즉, 클래스 분류 적응 처리 보정 방법은, 전술한 과제를 해결 가능한 방법이다.

또한, 도 289와 같이 신호 처리 장치(화상 처리 장치)(4)를 구성함으로써, 1프레임에 전체적으로 처리를 응용하는 것이 가능하게 된다. 즉, 후술하는 병용 방법을 이용하는 신호 처리 장치(예를 들면, 후술하는 도 315) 등에서는, 화소의 영역을 특정한 다음 출력 화상을 생성할 필요가 있지만, 도 289의 신호 처리 장치(4)는, 이 영역 특정이 불필요하게 되는 효과를 가질 수 있게 된다.

다음에, 화상 생성부(103) 중 클래스 분류 적응 처리부(3501)의 상세한 것에 대하여 설명한다.

도 290은, 클래스 분류 적응 처리부(3501)의 구성예를 나타내고 있다.

도 290에 있어서, 센서(2)로부터 입력된 입력 화상(SD 화상)은, 영역 추출부(3511)와 영역 추출부(3515)에 각각 공급된다. 영역 추출부(3511)는, 공급된 입력 화상으로부터, 클래스 분류를 행하기 위해 필요한 클래스 탭(주목 화소(SD 화소)를 포함하는 미리 설정된 위치에 존재하는 SD 화소)를 추출하고, 패턴 검출부(3512)에 출력한다. 패턴 검출부(3512)는, 입력된 클래스 탭에 따라 입력 화상의 패턴을 검출한다.

클래스 코드 결정부(3513)는, 패턴 검출부(3512)에 의해 검출된 패턴에 따라 클래스 코드를 결정하고, 계수 메모리(3514), 및 영역 추출부(3515)에 출력한다. 계수 메모리(3514)는, 학습에 의해 미리 구해진 클래스 코드마다의 계수를 기억하고 있고, 클래스 코드 결정부(3513)로부터 입력된 클래스 코드에 대응하는 계수를 판독하고, 예측 연산부(3516)에 출력한다.

그리고, 계수 메모리(3514)의 계수의 학습 처리에 대하여는, 도 292의 클래스 분류 적응 처리용 학습부의 블록도를 참조하여 후술한다.

또, 계수 메모리(3514)에 기억되는 계수는, 후술하는 바와 같이, 예측 화상(HD 화상)을 생성할 때 사용되는 계수이다. 따라서, 이하, 계수 메모리(3514)에 기억되는 계수를, 다른 계수와 구별하기 위하여, 예측 계수라고 한다.

영역 추출부(3515)는, 클래스 코드 결정부(3513)로부터 입력된 클래스 코드에 따라, 센서(2)로부터 입력된 입력 화상(SD 화상)으로부터, 예측 화상(HD 화상)을 예측 생성하는데 필요한 예측 탭(주목 화소를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 클래스 코드에 대응하여 추출하고, 예측 연산부(3516)에 출력한다.

예측 연산부(3516)는, 영역 추출부(3515)로부터 입력된 예측 탭과 계수 메모리(3514)로부터 입력된 예측 계수를 사용하여 곱셉 연산을 실행하고, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(HD 화상)의 HD 화소를 생성하고, 가산부(3503)에 출력한다.

보다 상세하게는, 계수 메모리(3514)는, 클래스 코드 결정부(3513)로부터 공급되는 클래스 코드에 대응하는 예측 계수를, 예측 연산부(3516)에 출력한다. 예측 연산부(3516)는, 영역 추출부(3515)로부터 공급되는 입력 화상의 소정의 화소 위치의 화소값으로부터 추출된 예측 탭과 계수 메모리(3514)로부터 공급된 예측 계수를 사용하여, 다음의 식(218)에서 나타내는 곱셈 및 덧셈 연산을 실행함으로써, 예측 화상(HD 화상)의 HD 화소를 구한다(예측 추정한다).

…(218)

식(218)에 있어서, q'은, 예측 화상(HD 화상)의 HD 화소를 나타내고 있다. c_i(i는, 1 내지 n의 정수치)의 각각은, 예측 탭(SD 화소)의 각각을 나타내고 있다. 또, d_i의 각각은, 예측 계수의 각각을 나타내고 있다.

이와 같이, 클래스 분류 적응 처리부(3501)는, SD 화상(입력 화상)으로부터, 그에 대한 HD 화상을 예측 추정하므로, 여기서는, 클래스 분류 적응 처리부(3501)로부터 출력되는 HD 화상을, 예측 화상이라 하고 있다.

도 291은, 이와 같은 클래스 분류 적응 처리부(3501)의 계수 메모리(3514)에 기억되는 예측 계수(식(215)에 있어서의 i)를 결정하기 위한 학습 장치(예측 계수의 산출 장치)를 나타내고 있다_.

그리고, 클래스 분류 적응 처리 보정 방법에 있어서는, 계수 메모리(3514) 외에, 클래스 분류 적응 처리 보정부(3502)의 계수 메모리(후술하는 도 299에서 나타내는 보정 계수 메모리(3554))가 형성되어 있다. 따라서, 도 291에 나타낸 바와 같이, 클래스 분류 적응 처리 방법에 있어서의 학습 장치(3504)에는, 클래스 분류 적응 처리부(3501)의 계수 메모리(3514)에 기억되는 예측 계수(식(215)에 있어서의 i)를 결정하기 위한 학습부(3521)(이하, 클래스 분류 적응 처리용 학습부(3521)라고 한다) 외에, 클래스 분류 적응 처리 보정부(3502)의 보정 계수 메모리(3554)에 기억되는 계수를 결정하기 위한 학습부(3561)(이하, 클래스 분류 적응 처리 보정용 학습부(3561)라고 한다)가 형성되어 있다.

따라서, 이하, 클래스 분류 적응 처리용 학습부(3521)에 있어서의 교사 화상을 제1 교사 화상라고 칭하는데 대하여, 클래스 분류 적응 처리 보정용 학습부(3561)에 있어서의 교사 화상을 제2 교사 화상라 칭한다. 마찬가지로, 이하, 클래스 분류 적응 처리용 학습부(3521)에 있어서의 학생 화상을 제1 학생 화상이라 칭하는데 대하여, 클래스 분류 적응 처리 보정용 학습부(3561)에 있어서의 학생 화상을 제2 학생 화상이라 칭한다.

그리고, 클래스 분류 적응 처리 보정용 학습부(3561)에 대하여는 후술한다.

도 292는, 클래스 분류 적응 처리용 학습부(3521)의 상세한 구성예를 나타내고 있다.

도 292에 있어서, 소정의 화상이, 제1 교사 화상(HD 화상)으로서 다운 컨버트부(3531)와 정규 방정식 생성부(3536)의 각각에 입력되면 모두, 클래스 분류 적응 처리 보정용 학습부(3561)(도 291)에 입력된다.

다운 컨버트부(3531)는, 입력된 제1 교사 화상(HD 화상)으로부터, 제1 교사 화상보다 해상도가 낮은 제1 학생 화상(SD 화상)을 생성하고(제1 교사 화상을 다운 컨버트한 것을 제1 학생 화상으로 하고), 영역 추출부(3532), 영역 추출부(3535), 및 클래스 분류 적응 처리 보정용 학습부(3561)(도 291)의 각각에 출력한다.

이와 같이, 클래스 분류 적응 처리용 학습부(3521)에는, 다운 컨버트부(3531)가 형성되어 있으므로, 제1 교사 화상(HD 화상)은, 전술한 센서(2)(도 289)로부터의 입력 화상보다 고해상도의 화상일 필요는 없다. 왜냐하면, 제1 교사 화상이 다운 컨버트된(해상도을 저하된) 제1 학생 화상을 SD 화상으로 하면, 제1 학생 화상에 대한 제1 교사 화상이 HD 화상이 되기 때문이다. 따라서, 제1 교 사 화상은, 예를 들면, 센서(2)로부터의 입력 화상 그 자체가 되어도 된다.

영역 추출부(3532)는, 공급된 제1 학생 화상(SD 화상)으로부터, 클래스 분류를 행하기 위해 필요한 클래스 탭(SD 화소)을 추출하고, 패턴 검출부(3533)에 출력한다. 패턴 검출부(3533)는, 입력된 클래스 탭의 패턴을 검출하고, 그 검출 결과를 클래스 코드 결정부(3534)에 출력한다. 클래스 코드 결정부(3534)는, 입력된 패턴에 대응하는 클래스 코드를 결정하고, 그 클래스 코드를 영역 추출부(3535), 및 정규 방정식 생성부(3536)의 각각에 출력한다.

영역 추출부(3535)는, 클래스 코드 결정부(3534)로부터 입력된 클래스 코드에 따라, 다운 컨버트부(3531)로부터 입력된 제1 학생 화상(SD 화상)으로부터 예측 탭(SD 화소)을 추출하고, 정규 방정식 생성부(3536)과 예측 연산부(3558)의 각각에 출력한다.

그리고, 이상의 영역 추출부(3532), 패턴 검출부(3533), 클래스 코드 결정부(3534), 및 영역 추출부(3535)의 각각은, 도 290의 클래스 분류 적응 처리부(3501)의 영역 추출부(3511), 패턴 검출부(3512), 클래스 코드 결정부(3513), 및 영역 추출부(3515)의 각각과 기본적으로 동일한 구성과 기능을 가지는 것이다.

정규 방정식 생성부(3536)는, 클래스 코드 결정부(3534)로부터 입력된 모든 클래스 코드에 대하여, 클래스 코드마다, 영역 추출부(3535)로부터 입력되는 제1 학생 화상(SD 화상)의 예측 탭(SD 화소)과 제1 교사 화상(HD 화상)의 HD 화소로부터 정규 방정식을 생성하고, 계수 결정부(3537)에 공급한다. 계수 결정부(3537)는, 정규 방정식 생성부(3537)로부터 소정의 클래스 코드에 대응하는 정규 방정식이 공급되었을 때, 상기 정규 방정식로부터 예측 계수의 각각을 연산하고, 계수 메모리(3514)에 클래스 코드와 관련지어 기억시키고, 또한 예측 연산부(3538)에 공급한다.

정규 방정식 생성부(3536)와 계수 결정부(3537)에 대하여 보다 상세하게 설명한다.

전술한 식(218)에 있어서, 학습 전에는 예측 계수 d_i의 각각이 미정 계수이다. 학습은, 클래스 코드마다 복수개의 교사 화상(HD 화상)의 HD 화소를 입력함으로써 행하여 진다. 소정의 클래스 코드에 대응하는 HD 화소가 m개 존재하고, m개의 HD 화소의 각각을, q_k(k는, 1 내지 m의 정수치)로 기술하는 경우, 식(218)으로부터, 다음의 식(219)이 설정된다.

…(219)

즉, 식(219)은, 우변의 연산을함으로써, 소정의 HD 화소 q_k를 예측 추정할 수 있는 것을 나타내고 있다. 그리고, 식(219)에 있어서, e_k는 오차를 나타내고 있다. 즉, 우변의 연산 결과인 예측 화상(HD 화상)의 HD 화소 q_k'가, 실제의 HD 화소 q_k와 엄밀하게는 일치하지 않고, 소정의 오차 e_k를 포함한다.

그래서, 식(219)에 있어서, 예를 들면, 오차 e_k의 자승합을 최소가 되도록 한 예측 계수 d_i가, 학습에 의해 구해지면 된다.

구체적으로는, 예를 들면, m＞n이 되도록, HD 화소 q_k를 학습에 의해 모을 수가 있으면, 최소 자승법에 따라 예측 계수 d_i가 하나로 결정된다.

즉, 식(219)의 우변의 예측 계수 d_i를 최소 자승법으로 구하는 경우의 정규 방정식은, 다음의 식(220)으로 표현된다.

…(220)

따라서, 식(220)에서 나타내는 정규 방정식이 생성되고, 그 정규 방정식을 풀어서 예측 계수 d_i가 하나로 결정되게 된다.

구체적으로는, 식(220)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(221) 내지 (223)과 같이 정의하면, 정규 방정식은, 다음의 식(224)와 같이 표현된다.

…(221)

…(222)

…(223)

…(224)

식(222)에서 나타낸 바와 같이, 행렬 D_MAT의 각 성분은, 구하고 싶은 예측 계수 d_i이다. 따라서, 식(224)에 있어서, 좌변의 행렬 C_MAT와 우변의 행렬 Q_MAT가 결정되고, 행렬 해법에 따라 행렬 D_MAT (즉, 예측 계수 d_i)의 산출이 가능하다.

보다 구체적으로는, 식(221)에서 나타낸 바와 같이, 행렬 C_MAT의 각 성분은, 예측 탭 c_ik를 이미 알고 있으면 연산 가능하다. 예측 탭 c_ik는, 영역 추출부(3535)에 의해 추출되므로, 정규 방정식 생성부(3536)은, 영역 추출부(3535)로부터 공급되어 오는 예측 탭 c_ik의 각각을 이용하여 행렬 C_MAT의 각 성분을 연산할 수 있다.

또, 식(223)에서 나타낸 바와 같이, 행렬 Q_MAT의 각 성분은, 예측 탭 c_ik와 HD 화소 q_k가 이미 알려져 있으면 연산 가능하다. 예측 탭 c_ik는, 행렬 C_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, HD 화소 q_k는, 예측 탭 c_ik에 포함되는 주목 화소(제1 학생 화상의 SD 화소)에 대한 제1 교사 화상의 HD 화소다. 따라서, 정규 방정식 생성부(3536)는, 영역 추출부(3535)로부터 공급된 예측 탭 c_ik와 제1 교사 화상을 이용하여 행렬 Q_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(3536)은, 클래스 코드마다, 행렬 C_MAT와 행렬 Q_MAT의 각 성분을 연산하고, 그 연산 결과를 클래스 코드에 대응시켜 계수 결정부(3537)에 공급한다.

계수 결정부(3537)는, 공급된 소정의 클래스 코드에 대응하는 정규 방정식에 따라, 전술한 식(224)의 행렬 D_MAT의 각 성분인 예측 계수 d_i를 연산한다.

구체적으로는, 전술한 식(224)의 정규 방정식은, 다음의 식(225)과 같이 변형할 수 있다.

…(225)

식(225)에 있어서, 좌변의 행렬 D_MAT의 각 성분이, 구하고 싶은 예측 계수 d_i이다. 또, 행렬 C_MAT와 행렬 Q_MAT의 각각의 각 성분은, 정규 방정식 생성부(3536)로부터 공급되는 것이다. 따라서, 계수 결정부(3537)는, 정규 방정식 생성부(3536)로부터 소정의 클래스 코드에 대응하는 행렬 C_MAT와 행렬 Q_MAT의 각각의 각 성분이 공급될 때, 식(225)의 우변의 행렬 연산을 행함으로써 행렬 D_MAT를 연산하고, 그 연산 결과(예측 계수 d_i)를 클래스 코드에 대응시켜 계수 메모리(3514)에 기억시키고, 또한 예측 연산부(3538)에 공급한다.

예측 연산부(3538)는, 영역 추출부(3535)로부터 입력된 예측 탭과 계수 결정부(3537)에 의해 결정된 예측 계수를 사용하여 곱셈 및 덧셈 연산을 실행하고, 제1 학생 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(제1 교사 화상을 예측하는 화상)의 HD 화소를 생성하고, 그것을 학습용 예측 화상으로서 클래스 분류 적응 처리 보정용 학습부(3561)(도 291)에 출력한다.

보다 상세하게는, 예측 연산부(3538)는, 영역 추출부(3535)로부터 공급되는 제1 학생 화상의 소정의 화소 위치의 화소값으로부터 추출된 예측 탭을, c_i(i는, 1 내지 n의 정수치)으로 하고, 계수 결정부(3537)로부터 공급된 예측 계수를, d_i로서 전술한 식(218)에서 나타내는 곱셈 및 덧셈 연산을 실행함으로써, 학습용 예측 화 상(HD 화상)의 HD 화소 q'을 구한다(제1 교사 화상을 예측 추정한다).

여기서, 도 293 내지 도 298을 참조하여, 전술한 종래의 클래스 분류 적응 처리(클래스 분류 적응 처리부(3501)가 가지는 과제, 즉, 도 289에 있어서, 센서(2)로부터 출력된 단계에서 실세계(1)의 디테일이 파괴된 입력 화상(SD 화상)은, 클래스 분류 적응 처리부(3501)에 의해 비록 HD 화상(실세계(1)의 신호를 예측하는 예측 화상)이 되어도, 원래의 디테일이 완전하게 복원되지 않는 경우가 있는 과제에 대하여 설명한다.

도 293은, 클래스 분류 적응 처리부(3501)의 처리 결과의 예를 나타내고 있다.

도 293에 있어서, HD 화상(3541)은, 도면 중 상하 방향으로부터, 대략 5도 시계 방향으로 기운 가는 선의 화상이 포함되는 화상이다. 또, SD 화상(3542)은, HD 화상(3541)의 2 × 2의 화소(HD 화소)로 이루어지는 블록에 속하는 화소(HD 화소)의 화소값의 평균값을, 1개의 화소(SD 화소)의 화소값으로 하여 생성된 화상이다. 즉, SD 화상(3542)은, HD 화상(3541)이 다운 컨버트된(해상도가 떨어진) 화상이다.

환언하면, HD 화상(3541)은, 센서(2)(도 289)에 입사되기 전의 화상(실세계(1)(도 289)의 신호)을 모방한 화상인 것으로 한다. 이 경우, SD 화상(3542)은, HD 화상(3541)에, 센서(2)의 적분 특성을 모방한, 공간 방향의 적분 을 적용함으로써 얻어진 화상에 해당하게 된다. 즉, SD 화상(3542)은, 센서(2)로부터의 입력 화상을 모방한 화상이 된다.

또, SD 화상(3542)을 클래스 분류 적응 처리부(3501)(도 289)에 입력시켜, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상이, 예측 화상(3543)이다. 즉, 예측 화상(3543)은, 종래의 클래스 분류 적응 처리에 의해 생성된 HD 화상(원래의 HD 화상(3541)과 동일 해상도의 화상)이다. 단, 클래스 분류 적응 처리부(3501)가 예측 연산에 사용한 예측 계수(계수 메모리(3514)(도 290)에 기억된 예측 계수)는, HD 화상(3541)을 제1 교사 화상으로 하고, 또한 SD 화상(3542)을 제1 학생 화상으로서, 클래스 분류 적응 처리용 학습부(3561)(도 292)에 학습 연산시킨 것이다.

HD 화상(3541), SD 화상(3542), 및 예측 화상(3543)의 각각을 비교하면, 예측 화상(3543)은, SD 화상(3542)보다, HD 화상(3541)에 더 가까운 화상이 되어 있는 것을 알 수 있다.

이 비교 결과는, 클래스 분류 적응 처리부(3501)가, HD 화상(3541)의 디테일이 파괴된 SD 화상(3542)인데 비하여, 종래의 클래스 분류 적응 처리를 실시하면, 원래의 디테일이 복원된 예측 화상(3543)을 생성할 수 있는 것을 의미하고 있다.

그러나, 예측 화상(3543)과 HD 화상(3541)을 비교하면, 예측 화상(3543)은, HD 화상(3541)을 완전하게 복원한 화상이라고 하기 어렵다.

그래서, 본원 출원인은, 예측 화상(3543)이 HD 화상(3541)을 완전하게 복원되어 있지 않은 이유를 조사하기 위하여, 소정의 가산기(3546)에 의하여, HD 화상(3541)과, 예측 화상(3543)의 반전 입력의 가산 화상, 즉, HD 화상(3541)과, 예측 화상(3543)의 차분 화상(화소의 차분이 큰 경우, 흰색에 가까운 화소로 하고, 화소의 차분이 작을 경우, 흑색에 가까운 화소로 한 화상)(3544)를 생성했다.

마찬가지로, 본원 출원인은, 소정의 가산기(3547)에 의하여, HD 화상(3541)과, SD 화상(3542)의 반전 입력의 가산 화상, 즉, HD 화상(3541)과, SD 화상(3542)의 차분 화상(화소의 차분이 큰 경우, 흰색에 가까운 화소로 하고, 화소의 차분이 작은 경우, 흑색에 가까운 화소로 한 화상)(3545)을 생성했다.

그리고, 본원 출원인은, 이와 같이 하여 생성된 차분 화상(3544)과 차분 화상(3545)를 비교함으로써, 다음과 같은 조사 결과를 얻었다.

즉, HD 화상(3541)과 SD 화상(3542)의 차분이 큰 영역(차분 화상(3545)의 흰색에 가까운 영역)과, HD 화상(3541)과 예측 화상(3543)의 차분이 큰 영역(차분 화상(3544)의 흰색에 가까운 영역)은 대략 대응하고 있다.

환언하면, 예측 화상(3543)이 HD 화상(3541)을 완전하게 복원되어 있지 않은 영역은, 예측 화상(3543) 중, HD 화상(3541)과 SD 화상(3542)의 차분이 큰 영역(차분 화상(3545)의 흰색에 가까운 영역)에 대략 일치한다.

그래서, 본원 출원인은, 상기 조사 결과의 요인을 해명하기 위하여, 또한 다 음과 같은 조사를 하였다.

즉, 본원 출원인은, 먼저, HD 화상(3541)과 예측 화상(3543)의 차분이 작은 영역(차분 화상(3544)의 흑색에 가까운 영역)에 있어서, HD 화상(3541)의 구체적인 화소값, SD 화상(3542)의 구체적인 화소값, 및 HD 화상(3541)에 대응하는 실제의 파형(실세계(1)의 신호)을 조사했다. 그 조사 결과가, 도 294와 도 295에 나타나 있다.

도 294는, 조사한 영역 중 일례를 나타내고 있다. 그리고, 도 294에 있어서, 도면 중, 수평 방향은, 공간 방향의 1방향인 X 방향으로 되어 있고, 또, 수직 방향은, 공간 방향의 다른 방향인 Y 방향으로 되어 있다.

즉, 본원 출원인은, HD 화상(3541)과 예측 화상(3543)의 차분이 작은 영역의 일례로서, 도 294에서 나타내는, 차분 화상(3544)의 영역(3544-1)에 대하여 조사했다.

도 295는, 도 294에서 나타내는 영역(3544-1)에 포함되는 X 방향으로 연속되는 6개의 HD 화소 중, 도면 중 좌측으로부터 4개 분의 HD 화소에 대응하는, HD 화상(3541)의 구체적인 화소값, SD 화상(3542)의 구체적인 화소값, 및 실제의 파형(실세계(1)의 신호)의 각각을 플롯한 것을 나타내고 있다.

도 295에 있어서, 세로축은 화소값을, 가로축은 공간 방향 X에 평행한 x축을, 각각 나타내고 있다. x축에 있어서, 원점은, 차분 화상(3544)의 6개의 HD 화소 중, 도면의 좌측으로부터 3번째의 HD 화소의 좌측단의 위치로 되어 있고, 그 원점을 기준으로 하여 좌표값이 부여되어 있다. 단, x축의 좌표값은, 차분 화상(3544)의 HD 화소의 화소폭을 0.5로 부여하고 있다. 즉, 차분 화상(3544)은 HD 화상이므로, HD 화상(3541)의 화소폭 L_t(이하, HD 화소폭 L_t라고 한다)도 0.5가 된다. 따라서, 지금의 경우, SD 화상(3542)의 화소폭(이하, SD 화소폭 L_s라고 한다)은, HD 화소폭 L_t의 2배가 되므로, SD 화소폭 L_s는 1이된다.

또, 도 295에 있어서, 실선은, HD 화상(3541)의 화소값을, 점선은, SD 화상(3542)의 화소값을, 일점 쇄선은, 실세계(1)의 신호의 X 단면 파형을, 각각 나타내고 있다. 단, 실세계(1)의 신호의 파형을 실제로 묘사하는 것은 곤란하므로, 도 295에서 나타내는 일점 쇄선은, 전술한 1차원 다항식 근사 방법(도 289의 실세계 추정부(102)의 일실시예)에 의해 X 단면 파형이 근사된 근사 함수 f(x)가 나타나 있다.

다음에, 본원 출원인은, 전술한 차분이 작은 영역의 조사와 마찬가지로, HD 화상(3541)과 예측 화상(3543)의 차분이 큰 영역(차분 화상(3544)의 흰색에 가까운 영역)에 있어서도, HD 화상(3541)의 구체적인 화소값, SD 화상(3542)의 구체적인 화소값, 및 HD 화상(3541)에 대응하는 실제의 파형(실세계(1)의 신호)을 조사했다. 그 조사 결과가, 도 296과 도 297에 나타나 있다.

도 296은, 조사한 영역 중 일례를 나타내고 있다. 그리고, 도 296에 있어서, 도면 중, 수평 방향은, 공간 방향의 1방향인 X 방향으로 되어 있고, 또, 수직 방향은, 공간 방향의 다른 방향인 Y 방향으로 되어 있다.

즉, 본원 출원인은, HD 화상(3541)과 예측 화상(3543)의 차분이 큰 영역의 일예로서, 도 296에 나타낸, 차분 화상(3544)의 영역(3544-2)에 대하여 조사했다.

도 297은, 도 296에 나타낸 영역(3544-2)에 포함되는 X 방향으로 연속되는 6개의 HD 화소 중, 도면 중 좌측으로부터 4개 분의 HD 화소에 대응하는, HD 화상(3541)의 구체적인 화소값, SD 화상(3542)의 구체적인 화소값, 및 실제의 파형(실세계(1)의 신호)의 각각을 플롯한 것을 나타내고 있다.

도 297에 있어서, 세로축은 화소값을, 가로축은 공간 방향 X에 평행한 x축을, 각각 나타내고 있다. x 축에 있어서, 원점은, 차분 화상(3544)의 6개의 HD 화소 중 도면 중 좌측으로부터 3번째의 HD 화소의 좌측단의 위치로 되어 있고, 그 원점을 기준으로 하여 좌표값이 부여되어 있다. 단, x축의 좌표값은, SD 화소폭 L_s를 1로서 부여하고 있다.

도 297에 있어서, 실선은, HD 화상(3541)의 화소값을, 점선은, SD 화상(3542)의 화소값을, 일점 쇄선은, 실세계(1)의 신호의 X 단면 파형을, 각각 나타내고 있다. 단, 도 297에 나타낸 일점 쇄선은, 도 295에서 나타내는 일점 쇄선 과 마찬가지로, X 단면 파형이 근사된 근사 함수 f(x)가 나타나 있다.

도 295와 도 297을 비교하면, 양자의 근사 함수 f(x)의 파형의 형상으로부터, 어느 영역도 가는 선의 영역을 포함하고 있는 것을 알 수 있다.

그러나, 도 295에 있어서는, 가는 선의 영역은, 대략 x = 0으로부터 x = 1의 범위에 존재하는데 비하여, 도 297에 있어서는, 가는 선의 영역은, 대략 x = -0.5로부터 x = 0.5의 범위에 존재한다. 즉, 도 295에 있어서는, x = 0으로부터 x = 1의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소 내에 가는 선의 영역이 대략 포함되게 된다. 이에 비하여, 도 297에 있어서는, x = 0으로부터 x = 1의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소 내에, 가는 선의 영역이 일부만 포함되게(가는 선과 배경의 경계선이 포함되게) 된다.

따라서, 도 295에서 나타내는 상태의 경우, x = 0으로부터 x = 1.0의 범위에 존재하는 HD 화상(3541)의 2개의 HD 화소의 화소값(도면 중, 실선)의 차이는 작아진다. 그 결과, 당연히, 이들 2개의 HD 화소의 화소값의 평균값인, SD 화상(3542)의 하나의 SD 화소의 화소값(도면 중, 점선)과 HD 화상(3541)의 2개의 HD 화소의 화소값의 각각과의 차분은 작아지게 된다.

이와 같은 상태에서(도 295에서 나타내는 상태에서), x = 0으로부터 x = 1.0의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소가 주목 화소가 되어, 종래의 클래스 분류 적응 처리에 의해 x = 0으로부터 x = 1.0의 범위에 2개의 HD 화소(예 측 화상(3543)의 화소)가 생성된 경우에 대하여 생각한다. 이 경우, 도 294에서 나타낸 바와 같이, 생성된 예측 화상(3543)의 HD 화소는, HD 화상(3541)의 HD 화소를 대략 정확하게 예측한 것이된다. 즉, 도 294에서 나타낸 바와 같이, 영역(3544-1)에 있어서는, 예측 화상(3543)의 HD 화소와 HD 화상(3541)의 HD 화소의 차분도 작아지므로, 흑색에 가까운 화상이 표시된다.

이에 비해, 도 297에 나타낸 상태의 경우, x = 0으로부터 x = 1.0의 범위에 존재하는 HD 화상(3541)의 2개의 HD 화소의 화소값(도면 중, 실선)의 차이는 커진다. 그 결과, 당연히, 이들 2개의 HD 화소의 화소값의 평균값인, SD 화상(3542)의 하나의 SD 화소의 화소값(도면 중, 점선)과 HD 화상(3541)의 2개의 HD 화소의 화소값의 각각과의 차분은, 도 295의 대응하는 차분에 대하여 크게 된다.

이와 같은 상태에서(도 297에 나타낸 상태에서), x = 0으로부터 x = 1.0의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소가 주목 화소가 되어, 종래의 클래스 분류 적응 처리에 의해 x = 0으로부터 x = 1.0의 범위에 HD 화소(예측 화상(3543)의 화소)가 생성된 경우에 대하여 생각한다. 이 경우, 도 296에 나타낸 바와 같이, 생성된 예측 화상(3543)의 HD 화소는, HD 화상(3541)의 HD 화소를 정확하게 예측한 것이라 할 수 없다. 즉, 도 296에 나타낸 바와 같이, 영역(3544-2)에 있어서는, 예측 화상(3543)의 HD 화소와 HD 화상(3541)의 HD 화소의 차분도 크게 되므로, 흰색에 가까운 화상이 표시된다.

그런데, 도 295와 도 297의 실세계(1)의 신호의 근사 함수 f(x)(도면 중, 일점 쇄선)의 각각을 비교하면, 도 295에 있어서는, x = 0으로부터 x = 1의 범위에서의 근사 함수 f(x)의 변화량은 작은데 비하여, 도 297에 있어서는, x = 0으로부터 x = 1의 범위에서의 근사 함수 f(x)의 변화량은 큰 것을 알 수 있다.

따라서, 도 295에서 나타내는 x = 0으로부터 x = 1.0의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소는, SD 화소 내에서의 근사 함수 f(x)의 변화량이 작은(즉, 실세계(1)의 신호의 변화량이 작은) SD 화소라고 할 수 있다.

이와 같은 관점으로부터, 전술한 조사 결과를 다시 말하면, 예를 들면, 도 295에서 나타내는 x = 0으로부터 x = 1.0의 범위에 존재하는 SD 화소와 같은, SD 화소 내에서의 근사 함수 f(x)의 변화가 적은(즉, 실세계(1)의 신호의 변화가 적은) SD화소로부터, 종래의 클래스 분류 적응 처리에 의해 HD 화소가 생성되면, 생성된 HD 화소는, 실세계(1)의 신호(지금의 경우, 가는 선의 화상)를 대략 정확하게 예측한 것이 된다.

이에 비하여, 도 297에 나타낸 x = 0으로부터 x = 1.0의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소는, SD 화소 내에서의 근사 함수 f(x)의 변화량이 큰(즉, 실세계(1)의 신호의 변화량이 큰) SD 화소라 할 수 있다.

이와 같은 관점으로부터, 전술한 조사 결과를 다시 말하면, 예를 들면, 도 297에 나타낸 x = 0으로부터 x = 1.0의 범위에 존재하는 SD 화소와 같은, SD 화소 내에서의 근사 함수 f(x)의 변화가 큰(즉, 실세계(1)의 신호의 변화가 큰) SD화소로부터, 종래의 클래스 분류 적응 처리에 의해 HD 화소가 생성되면, 생성된 HD 화소는, 실세계(1)의 신호(지금의 경우, 가는 선의 화상)를 정확하게 예측한 것이라 할 수 없다.

이상의 조사 결과를 정리하면, 도 298에 나타낸 바와 같은 상태의 경우, 종래의 화소 사이의 신호 처리(예를 들면, 클래스 분류 적응 처리)에서는, 화소 내의 디테일을 복원하는 것은 곤란하다는 것이다.

즉, 도 298은, 본원 출원인이 전술한 바와 같은 조사를 행한 결과로서, 얻어진 지견을 설명하는 도면이다.

도 298에 있어서, 도면 중 수평 방향은, 센서(2)(도 289)의 검출 소자가 배열되어 있는 방향(공간 방향) 중 1방향인 X 방향을 나타내고 있고, 도면 중 수직 방향은, 광의 레벨 또는 화소값을 나타내고 있다. 점선은, 화상인, 실세계(1)(도 289)의 신호의 X 단면 파형 F(x)를 나타내고 있고, 실선은, X 단면 파형 F(x)에 의해 표현되는 실세계(1)의 신호(화상)가 센서(2)에 입사된 경우, 센서(2)로부터 출력되는 화소값 P를 나타내고 있다. 또, 센서(2)의 하나의 검출 소자의 폭(X 방향의 길이)은, L_c로 기술되어 있고, △P는, 센서(2)의 하나의 검출 소자의 폭 L_c, 즉, 센서(2)의 화소폭L_c 내에서의 X 단면 파형 F(x)의 변화량을 나타내고 있다.

그런데, 전술한 SD 화상(3542)(도 293)은, 센서(2)로부터의 입력 화상(도 289)을 모방한 것이므로, SD 화상(3542)의 SD 화소폭 L_s(도 295과 도 297)는, 센서(2)의 화소폭(검출 소자의 폭) L_c로서 생각할 수 있다.

또, 전술한 조사에 있어서는, 가는 선에 대응하는 실세계(1)의 신호(근사 함수 f(x))에 대한 조사였지만, 가는 선에 한정되지 않고, 실세계(1)의 신호의 레벨의 변화는 존재한다.

따라서, 전술한 조사 결과를, 도 298에 나타낸 상태에 적용시키면, 다음과 같이 된다.

즉, 도 298에 나타낸 바와 같은, 화소 내에 있어서 실세계(1)의 신호의 변화량(X 단면 파형 F(x)의 변화량) △P가 큰 SD 화소(센서(2)로부터의 출력 화소)이 주목 화소가 되어, 종래의 클래스 분류 적응 처리에 의해 HD 화소(예를 들면, 도 289의 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상의 화소)가 생성된 경우, 생성된 HD 화소는, 실세계(1)의 신호(도 298의 예에서는, X 단면 파형 F(x)를 정확하게 예측한 것이라 할 수 없다.

구체적으로는, 클래스 분류 적응 처리를 시작으로 하는 종래의 방법에 있어서는, 센서(2)의 화소의 화소 사이의 화상 처리를 하고 있다.

즉, 도 298에서 나타낸 바와 같이, 실세계(1)에서는, 1화소 내의 영역에서 X 단면 파형 F(x)의 변화량 △P가 큰 상태에서 있어도, 센서(2)로부터는, X단면 파형 F(x)가 적분된(엄밀하게는, 실세계(1)의 신호가, 시공간 방향으로 적분된) 1개의 화소값 P(1화소 내에서 균일한 값 P)만이 출력된다.

종래의 방법에 있어서는, 그 화소값 P가 기준이 되고, 또한 화소값 P가 처리의 대상이 되어 화상 처리를 하고 있다. 환언하면, 종래의 방법에 있어서는, 화소 내에서의 실세계(1)의 신호(X 단면 파형 F(x)의 변화, 즉, 화소 내의 디테일을 무시하고, 화상 처리를 하고 있다.

이와 같이, 화소를 최소의 단위로 하여 처리하는 한, 비록 어떠한 화상 처리(클래스 분류 적응 처리에서도)를 행한다 하더라도, 화소 내에서의 실세계(1)의 신호의 변화를 정확하게 재현하는 것은 곤란하다. 특히, 실세계(1)의 신호의 변화량 △P가 큰 경우, 그 곤란함은 더욱 현저하게 된다.

환언하면, 전술한 클래스 분류 적응 처리가 가지는 과제, 즉, 도 289에 있어서, 센서(2)로부터 출력된 단계에서 실세계(1)의 디테일이 파괴된 입력 화상(SD 화상)은, 클래스 분류 적응 처리에 의해 비록 HD 화상이 되어도, 원래의 디테일이 완전하게 복원되지 않는 경우가 있는 과제가 발생하는 원인은, 화소 내에서의 실세계(1)의 신호의 변화량 △P를 고려하지 않고, 화소(1개의 화소값 밖에 가지고 있지 않은 화소)를 최소의 단위로 하여 클래스 분류 적응 처리가 행해지고 있기 때문이다.

상기 과제는, 클래스 분류 적응 처리에 한정되지 않고 종래의 화상 처리 방법의 모두가 가지는 과제이며, 과제가 발생하는 원인도 똑같다.

이상, 종래의 화상 처리 방법이 가지는 과제와 그 발생 요인에 대하여 설명하였다.

그런데, 전술한 바와 같이, 본 발명의 데이터 정상성 검출부(101)와 실세계 추정부(102)(도 3)는, 실세계(1)의 신호가 가지는 정상성을 이용하여, 센서(2)로부터의 입력 화상(즉, 화소 내에서의, 실세계(1)의 신호의 변화가 무시된 화상)으로부터, 실세계(1)의 신호를 추정할 수 있다. 즉, 실세계 추정부(102)는, 실세계(1)의 신호를 추정하는 것이 가능한 실세계 추정 정보를 출력할 수 있다.

따라서, 상기 실세계 추정 정보로부터, 화소 내에서의, 실세계(1)의 신호의 변화량의 추정도 가능하다.

그래서, 본원 출원인은, 종래의 클래스 분류 적응 처리에 의해 생성된 예측 화상(화소 내에서의, 실세계(1)의 신호의 변화를 고려하지 않고, 실세계(1)를 예측한 화상)을, 실세계 추정 정보에 따라 생성되는 소정의 보정 화상(화소 내에서의, 실세계(1)의 신호의 변화에 기인하는 예측 화상의 오차를 추정한 화상)에 의해 보정함으로써, 전술한 과제의 해결이 가능하게 된다는 사상에 따라, 예를 들면, 도 289에서 나타낸 바와 같은, 클래스 분류 적응 처리 보정 방법을 발명했다.

즉, 도 289에 있어서, 데이터 정상성 검출부(101)와 실세계 추정부(102)가, 실세계 추정 정보를 생성하고, 클래스 분류 적응 처리 보정부(3502)가, 생성된 실세계 추정 정보에 따라 소정의 보정 화상을 생성한다. 그리고, 가산부(3503)가, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상을, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 보정 화상에 의해 보정한다(구체적으로는, 예측 화상에 보정 화상을 가산한 화상을 출력 화상으로서 출력한다).

클래스 분류 적응 처리 보정 방법을 이용하는 화상 생성부(103) 중, 클래스 분류 적응 처리부(3501)의 상세한 것에 대하여는 이미 설명하였다. 또, 가산부(3503)는, 예측 화상과 보정 화상을 가산할 수 있는 것이면, 그 형태는 특히 한정되지 않고, 예를 들면, 종래부터 존재하는, 다양한 가산기나 프로그램 등을 적용할 수 있다.

그래서, 이하, 나머지의 클래스 분류 적응 처리 보정부(3502)의 상세한 것에 대하여 설명한다.

처음에, 클래스 분류 적응 처리 보정부(3502)의 원리에 대하여 설명한다.

전술한 바와 같이, 도 293에 있어서, HD 화상(3541)을, 센서(2)(도 289)에 입사되기 전의 원래의 화상(실세계(1)의 신호)으로 간주하고, 또한 SD 화상(3542)을, 센서(2)로부터의 입력 화상으로 간주하면, 예측 화상(3543)이, 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상(원래의 화상(HD 화상(3541)을 예측한 예측 화상)이 된다.

또, HD 화상(3541)으로부터, 그 예측 화상(3543)을 감산한 화상이, 차분 화상(3544)이다.

따라서, 클래스 분류 적응 처리 보정부(3502)가, 차분 화상(3544)을 생성하고, 그 차분 화상(3544)를 보정 화상으로서 출력할 수 있고, 가산부(3503)가, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상(3543)과 클래스 분류 적응 처리 보정부(3502)로부터 출력된 차분 화상(3544)(보정 화상)을 가산함으로써, HD 화상(3541)을 복원할 수 있다.

즉, 클래스 분류 적응 처리 보정부(3502)가, 화상인, 실세계(1)의 신호(센서(2)에 입사되기 전의 원래의 화상)와 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상의 차분 화상(단, 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상과 동일 해상도의 화상)을 적절히 예측하고, 예측한 차분 화상(이하, 차분 예측 화상이라 한다. 이것이, 전술한 차분 예측 화상의 명칭의 유래이다)을 보정 화상으로서 출력할 수 있고, 실세계(1)의 신호(원래의 화상)를 대략 복원할 수 있다.

그런데, 전술한 바와 같이, 실세계(1)의 신호(센서(2)에 입사되기 전의 원래의 화상)와 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상의 차분(오차)의 정도와 입력 화상의 1화소 내에서의, 실세계(1)의 신호의 변화량의 정도는 대응하고 있다. 또, 실세계 추정부(102)는, 실세계(1)의 신호 자체를 추정할 수 있으므로, 당연히, 입력 화상의 1화소 내에서의, 실세계(1)의 신호의 변화량의 정도를 나타내는 소정의 특징량을 화소마다 산출하는 것도 가능하다.

따라서, 클래스 분류 적응 처리 보정부(3502)는, 입력 화상의 각 화소의 각각에 대한 특징량을 취득함으로써, 차분 예측 화상을 생성하는(차분 화상을 예측하는)것이 가능하다.

그래서, 예를 들면, 클래스 분류 적응 처리 보정부(3502)는, 실세계 추정부(102)로부터, 특징량을 화소값으로 하는 화상(이하, 이와 같은 화상을, 특징량 화상이라 한다)을 실세계 추정 정보로서 실세계 추정부(102)로부터 입력한다.

이 때, 특징량 화상의 해상도는, 센서(2)로부터의 입력 화상과 동일한 해상도이다. 또, 보정 화상(차분 예측 화상)은, 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상과 동일한 해상도이다.

따라서, 클래스 분류 적응 처리 보정부(3502)가, 특징량 화상을 SD 화상으로 하고, 보정 화상(차분 예측 화상)을 HD 화상으로 하고, 종래의 클래스 분류 적응 처리를 이용하여, 특징량 화상으로부터 차분 화상을 예측 연산하면, 그 예측 연산의 결과가, 적절한 차분 예측 화상이 된다.

이상, 클래스 분류 적응 처리 보정부(3502)의 원리에 대하여 설명하였다.

도 299는, 이와 같은 원리에 의해 동작하는 클래스 분류 적응 처리 보정부(3502)의 구성예를 나타내고 있다.

도 299에 있어서, 실세계 추정부(102)로부터 입력된 특징량 화상(SD 화상)은, 영역 추출부(3551)와 영역 추출부(3555)에 각각 공급된다. 영역 추출부(3551)는, 공급된 특징량 화상으로부터, 클래스 분류를 행하기 위해 필요한 클래스 탭(주목 화소를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 추출하고, 패턴 검출부(3552)에 출력한다. 패턴 검출부(3552)는, 입력된 클래스 탭에 따라 특징량 화상의 패턴을 검출한다.

클래스 코드 결정부(3553)는, 패턴 검출부(3552)에 의해 검출된 패턴에 따라 클래스 코드를 결정하고, 보정 계수 메모리(3554), 및 영역 추출부(3555)에 출력한다. 보정 계수 메모리(3554)는, 학습에 의해 미리 구해진 클래스 코드마다의 계수를 기억하고 있고, 클래스 코드 결정부(3553)로부터 입력된 클래스 코드에 대응하는 계수를 판독하고, 보정 연산부(3556)에 출력한다.

그리고, 보정 계수 메모리(3554)의 계수의 학습 처리에 대하여는, 도 300의 클래스 분류 적응 처리 보정용 학습부의 블록도를 참조하여 후술한다.

또, 보정 계수 메모리(3554)에 기억되는 계수는, 후술하는 바와 같이, 차분 화상을 예측할(HD 화상인 차분 예측 화상을 생성할) 때에 사용되는 예측 계수이다. 그러나, 여기서는, 클래스 분류 적응 처리부(3501)의 계수 메모리(3514)(도 290)에 기억되어 있는 계수를, 예측 계수라 칭하고 있다. 따라서, 이하, 보정 계수 메모리(3554)에 기억되는 예측 계수를, 계수 메모리(3514)에 기억되는 예측 계수와 구 별하기 위하여, 보정 계수라고 한다.

영역 추출부(3555)는, 클래스 코드 결정부(3553)로부터 입력된 클래스 코드에 따라, 실세계 추정부(102)로부터 입력된 특징량 화상(SD 화상)으로부터, 차분 화상(HD 화상)을 예측(HD 화상인 차분 예측 화상을 생성)에 필요한 예측 탭(주목 화소를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 클래스 코드에 대응하여 추출하고, 보정 연산부(3556)에 출력한다. 보정 연산부(3556)는, 영역 추출부(3555)로부터 입력된 예측 탭과 보정 계수 메모리(3554)로부터 입력된 보정 계수를 사용하여 곱셈 및 덧셈 연산을 실행하고, 특징량 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 차분 예측 화상(HD 화상)의 HD 화소를 생성한다.

보다 상세하게는, 보정 계수 메모리(3554)는, 클래스 코드 결정부(3553)로부터 공급되는 클래스 코드에 대응하는 보정 계수를, 보정 연산부(3556)에 출력한다. 보정 연산부(3556)는, 영역 추출부(3555)로부터 공급되는 입력 화상의 소정의 화소 위치의 화소값으로부터 추출된 예측 탭(SD 화소)과 보정 계수 메모리(3554)로부터 공급된 보정 계수를 사용하여, 다음의 식(226)에서 나타내는 곱셈 및 덧셈 연산을 실행함으로써, 차분 예측 화상(HD 화상)의 HD 화소를 구한다(차분 화상을 예측 추정한다).

…(226)

식(226)에 있어서, u'는, 차분 예측 화상(HD 화상)의 HD 화소를 나타내고 있다. a_i(i는, 1 내지 n의 정수치)의 각각은, 예측 탭(SD 화소)의 각각을 나타내고 있다. 또, g_i의 각각은, 보정 계수의 각각을 나타내고 있다.

따라서, 도 289에 있어서, 클래스 분류 적응 처리부(3501)로부터는, 전술한 식(218)에서 나타내는 예측 화상의 HD 화소 q'가 출력되는 것에 대하여, 클래스 분류 적응 처리 보정부(3502)로부터는, 식(226)에서 나타내는 차분 예측 화상의 HD 화소 u'가 출력된다. 그리고, 가산부(3503)가, 예측 화상의 HD 화소 q'와 차분 예측 화상의 HD 화소 u'를 가산한 화소(이하, o'으로 기술함)를, 출력 화상의 HD 화소로서 외부에 출력한다.

즉, 화상 생성부(103)로부터 최종적으로 출력되는 출력 화상의 HD 화소 o'은, 다음의 식(227)에서 나타낸 바와 같이 된다.

…(227)

도 300은, 이와 같은 클래스 분류 적응 처리 보정부(3502)의 보정 계수 메모리(3554)에 기억되는 보정 계수(전술한 식(222)에 있어서의 g_i)를 결정하기 위한 학 습부, 즉, 전술한 도 291의 학습 장치(3504)의 클래스 분류 적응 처리 보정용 학습부(3561)의 상세한 구성예를 나타내고 있다.

도 291에 있어서, 전술한 바와 같이, 클래스 분류 적응 처리용 학습부(3521)는, 그 학습 처리를 종료하면, 클래스 분류 적응 처리 보정용 학습부(3561)에 대하여, 학습에 이용한 제1 교사 화상(HD 화상)과 제1 학생 화상(SD 화상)의 각각을 출력하고, 또한 학습에 의해 구해진 예측 계수를 사용하여 제1 학생 화상으로부터 제1 교사 화상을 예측한 화상인, 학습용 예측 화상을 출력한다.

도 300으로 복귀하고, 이들 중의 제1 학생 화상은, 데이터 정상성 검출부(3572)에 입력된다.

한편, 이들 중의 제1 교사 화상과 학습용 예측 화상은, 가산부(3571)에 입력된다. 단, 학습용 예측 화상은, 반전되어 입력된다.

가산부(3571)는, 입력된 제1 교사 화상과, 반전 입력된 학습용 예측 화상을 가산하고, 즉, 제1 교사 화상과 학습용 예측 화상의 차분 화상을 생성하고, 그것을 클래스 분류 적응 처리 보정용 학습부(3561)에 있어서의 교사 화상(이 교사 화상을, 전술한 바와 같이, 제1 교사 화상과 구별하기 위하여, 제2 교사 화상이라 한다)으로서 정규 방정식 생성부(3578)에 출력한다.

데이터 정상성 검출부(3572)는, 입력된 제1 학생 화상에 포함되는 데이터 정상성을 검출하고, 그 검출 결과를 데이터 정상성 정보로서 실세계 추정부(3573)에 출력한다.

실세계 추정부(3573)는, 입력된 데이터 정상성 정보에 따라, 특징량 화상을 생성하고, 그것을 클래스 분류 적응 처리 보정용 학습부(3561)에 있어서의 학생 화상(이 학생 화상을, 전술한 바와 같이, 제1 학생 화상과 구별하기 위하여, 제2 학생 화상이라 한다)으로서 영역 추출부(3574)과 영역 추출부(3577)의 각각에 출력한다.

영역 추출부(3574)는, 공급된 제2 학생 화상(SD 화상)으로부터, 클래스 분류를 행하기 위해 필요한 SD 화소(클래스 탭)를 추출하고, 패턴 검출부(3575)에 출력한다. 패턴 검출부(3575)는, 입력된 클래스 탭의 패턴을 검출하고, 검출 결과를 클래스 코드 결정부(3576)에 출력한다. 클래스 코드 결정부(3576)는, 입력된 패턴에 대응하는 클래스 코드를 결정하고, 상기 클래스 코드를 영역 추출부(3577), 및 정규 방정식 생성부(3578)의 각각에 출력한다.

영역 추출부(3577)는, 클래스 코드 결정부(3576)로부터 입력된 클래스 코드에 따라, 실세계 추정부(3573)로부터 입력된 제2 학생 화상(SD 화상)으로부터 예측 탭(SD 화소)을 추출하고, 정규 방정식 생성부(3578)에 출력한다.

그리고, 이상의 영역 추출부(3574), 패턴 검출부(3575), 클래스 코드 결정부(3576), 및 영역 추출부(3577)의 각각은, 도 299의 클래스 분류 적응 처리 보정부(3502)의 영역 추출부(3551), 패턴 검출부(3552), 클래스 코드 결정부(3553), 및 영역 추출부(3555)의 각각과 기본적으로 동일한 구성과 기능을 가지는 것이다. 또, 이상의 데이터 정상성 검출부(3572), 및 실세계 추정부(3573)의 각각은, 도 289의 데이터 정상성 검출부(101), 및 실세계 추정부(102)의 각각과 기본적으로 동일한 구성과 기능을 가지는 것이다.

정규 방정식 생성부(3578)는, 클래스 코드 결정부(3576)로부터 입력된 모든 클래스 코드에 대하여, 클래스 코드마다, 영역 추출부(3577)로부터 입력되는 제2 학생 화상(SD 화상)의 예측 탭(SD 화소)과 제2 교사 화상(HD 화상)의 HD 화소로부터 정규 방정식을 생성하고, 보정 계수 결정부(3579)에 공급한다. 보정 계수 결정부(3579)는, 정규 방정식 생성부(3578)로부터 소정의 클래스 코드에 대응하는 정규 방정식이 공급될 때, 상기 정규 방정식로부터 보정 계수의 각각을 연산하고, 보정 계수 메모리(3554)에 클래스 코드와 관련지어 기억시킨다.

정규 방정식 생성부(3578)과 보정 계수 결정부(3579)에 대하여 보다 상세하게 설명한다.

전술한 식(226)에 있어서, 학습 전에는 보정 계수 g_i의 각각이 미정 계수이다. 학습은, 클래스 코드마다 복수개의 교사 화상(HD 화상)의 HD 화소를 입력함으로써 행한다. 소정의 클래스 코드에 대응하는 HD 화소가 m개 존재하고, m개의 HD 화소의 각각을, u_k(k는, 1 내지 m의 정수치)로 기술하는 경우, 식(226)으로부터, 다 음의 식(228)이 설정된다.

…(228)

즉, 식(228)은, 우변의 연산함으로써, 소정의 HD 화소를 예측 추정할 수 있는 것을 나타내고 있다. 그리고, 식(228)에 있어서, e_k는 오차를 나타내고 있다. 즉, 우변의 연산 결과인 차분 예측 화상(HD 화상)의 HD 화소 u_k'가, 실제의 차분 화상의 HD 화소 u_k와 엄밀하게는 일치하지 않고, 소정의 오차 e_k를 포함한다.

그래서, 식(228)에 있어서, 예를 들면, 오차 e_k의 제곱합을 최소가 되도록 한 보정 계수 a_i가, 학습에 의해 구해지면 된다.

예를 들면, m＞n이 되도록, 차분 화상의 HD 화소 u_k를 학습에 의해 모을 수 있으면, 최소 자승법에 따라 보정 계수 a_i가 하나로 결정된다.

즉, 식(228)의 우변의 보정 계수 a_i를 최소 자승법에 의해 구하는 경우의 정규 방정식은, 다음의 식(229)에서 나타내는 바와 같다.

…(229)

식(229)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(230) 내지 (232)와 같이 정의하면, 정규 방정식은, 다음의 식(233)과 같이 표현된다.

…(230)

…(231)

…(232)

…(233)

식(231)에서 나타낸 바와 같이, 행렬 G_MAT의 각 성분은, 구하고 싶은 보정 계 수 g_i이다. 따라서, 식(233)에 있어서, 좌변의 행렬 A_MAT와 우변의 행렬 U_MAT가 결정되고, 행렬 해법에 따라 행렬 G_MAT (즉, 보정 계수 g_i)의 산출이 가능하다.

구체적으로는, 식(230)에서 나타낸 바와 같이, 행렬 A_MAT의 각 성분은, 예측 탭 a_ik가 이미 알려져 있으면 연산 가능하다. 예측 탭 a_ik는, 영역 추출부(3577)에 의해 추출되므로, 정규 방정식 생성부(3578)는, 영역 추출부(3577)로부터 공급되어 오는 예측 탭 a_ik의 각각을 이용하여 행렬 A_MAT의 각 성분을 연산할 수 있다.

또, 식(232)에서 나타낸 바와 같이, 행렬 U_MAT의 각 성분은, 예측 탭 a_ik와 차분 화상의 HD 화소 u_k가 이미 알려져 있으면 연산 가능하다. 예측 탭 a_ik는, 행렬 A_MAT의 각 성분에 포함되는 것과 동일하며, 또, 차분 화상의 HD 화소 u_k는, 가산부(3571)로부터 출력되는 제2 교사 화상의 HD 화소이다. 따라서, 정규 방정식 생성부(3578)는, 영역 추출부(3577)로부터 공급된 예측 탭 a_ik와 제2 교사 화상(제1 교사 화상과, 학습용 예측 화상의 차분 화상)을 이용하여 행렬 U_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(3578)는, 클래스 코드마다, 행렬 A_MAT와 행렬 U_MAT의 각 성분을 연산하고, 그 연산 결과를 클래스 코드에 대응시켜 보정 계수 결정부(3579)에 공급한다.

보정 계수 결정부(3579)는, 공급된 소정의 클래스 코드에 대응하는 정규 방정식에 따라, 전술한 식(233)의 행렬 G_MAT의 각 성분인 보정 계수 g_i를 연산한다.

구체적으로는, 전술한 식(233)의 정규 방정식은, 다음의 식(234)과 같이 변형할 수 있다.

…(234)

식(234)에 있어서, 좌변의 행렬 G_MAT의 각 성분이, 구하고 싶은 보정 계수 g_i이다. 또, 행렬 A_MAT와 행렬 U_MAT의 각각의 각 성분은, 정규 방정식 생성부(3578)로부터 공급되는 것이다. 따라서, 보정 계수 결정부(3579)는, 정규 방정식 생성부(3578)로부터 소정의 클래스 코드에 대응하는 행렬 A_MAT와 행렬 U_MAT의 각각의 각 성분이 공급될 때, 식(234)의 우변의 행렬 연산을 행함으로써 행렬 G_MAT를 연산하고, 그 연산 결과(보정 계수 g_i)를 클래스 코드에 대응시켜 보정 계수 메모리(3554)에 기억시킨다.

이상, 클래스 분류 적응 처리 보정부(3502)와 거기에 부수되는 학습부인, 클래스 분류 적응 처리 보정용 학습부(3561)의 상세한 것에 대하여 설명하였다.

그런데, 전술한 특징량 화상은, 클래스 분류 적응 처리 보정부(3502)가 그에 따라 보정 화상(차분 예측 화상)을 생성 가능하면, 그 형태는 특히 한정되지 않는다. 환언하면, 특징량 화상의 각 화소의 화소값, 즉, 특징량은, 전술한 바와 같이, 화소(센서(2)(도 289)의 화소) 내에서의 실세계(1)(도 289)의 신호의 변화량의 정도를 나타낼 수 있으면, 특히, 한정되지 않는다.

예를 들면, 특징량으로서, 화소 내 경사를 적용할 수 있다.

화소내 경사란, 여기서 새롭게 정의한 말이다. 그래서, 이하, 화소내 경사에 대하여 설명한다.

전술한 바와 같이, 도 289에 있어서, 화상인, 실세계(1)의 신호는, 3차원의 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 함수 F(x, y, t)에 의해 표현된다.

또, 예를 들면, 화상인, 실세계(1)의 신호가, 공간 방향의 소정의 방향으로 정상성을 가지는 경우, 함수 F(x, y, t)를, 공간 방향인 X 방향, Y 방향, 및 Z 방향 중 소정의 1방향(예를 들면, X 방향)으로 투영한 1차원의 파형(여기에서도, 이와 같은 파형 중 X 방향으로 투영 한 파형을, X단면 파형 F(x)이라고 한다)과 동일 형상의 파형이, 정상성의 방향으로 이어져 있다고 생각할 수 있다.

따라서, 실세계 추정부(102)는, 예를 들면, 데이터 정상성 검출부(101)로부터 출력되는, 실세계(1)의 신호가 가지는 정상성에 대응하는 데이터 정상성 정보(예를 들면, 각도)에 따라, X단면 파형 F(x)를, n차(n는, 임의의 정수)의 다항식인 근사 함수 f(x)에 의해 근사할 수 있다.

도 301은, 이와 같은 근사 함수 f(x)의 일례로서, 다음의 식(235)에서 나타내는 f₄(x)(5차의 다항식인 f₄(x))와 다음의 식(236)에서 나타내는 f₅(x)(1차의 다항식인 f₅(x))를 플롯한 것을 나타내고 있다.

…(235)

…(236)

그리고, 식(235)의 w₀내지 w₅, 및 식(236)의 w₀' 및 w₁'의 각각은, 실세계 추정부(102)가 연산한 다음의 계수를 각각 나타내고 있다.

또, 도 301에 있어서, 도면 중 수평 방향의 x축은, 주목 화소의 좌측단을 원점(x = 0)으로 한 경우에 있어서의, 주목 화소로부터의 공간 방향 X의 상대 위치를 나타내고 있다. 단, x축에 있어서는, 센서(2)의 검출 소자의 폭 L_c가 1이 되어 있 다. 또, 도면 중 수직 방향의 축은, 화소값을 나타내고 있다.

도 301에 나타낸 바와 같이, 1차의 근사 함수 f₅(x)(식(232)에서 나타내는 근사 함수 f₅(x))는, 주목 화소에 있어서의 X 단면 파형 F(x)를 직선 근사한 것이다. 이 근사 직선의 기울기를, 여기서는, 화소내 경사로 칭하고 있다. 즉, 화소내 경사란, 식(236)에 있어서의 x의 계수 w₁'이다.

화소내 경사가 높을 경우, 그것은, 주목 화소에 있어서의, X 단면 파형 F(x)의 변화량이 큰 것을 나타내고 있다. 이에 비해, 화소내 경사가 완만한 경우, 그것은, 주목 화소에 있어서의, X단면 파형 F(x)의 변화량이 작은 것을 나타내고 있다.

이와 같이, 화소내 경사는, 화소(센서(2)의 화소) 내에서의 실세계(1)의 신호의 변화량의 정도를 적절히 나타낼 수가 있다. 따라서, 특징량으로서, 화소내 경사를 적용할 수 있다.

예를 들면, 도 302에는, 화소내 경사를 특징량으로 하여 실제로 생성된 특징량 화상이 나타나 있다.

즉, 도 302에 있어서, 도면 중 좌측의 화상은, 전술한 도 293에 나타낸 SD 화상(3542)과 동일한 화상을 나타내고 있다. 또, 도면 중 우측의 화상은, 좌측의 SD 화상(3542)을 구성하는 각 화소의 각각에 대하여 화소내 경사를 구하고, 화소내 경사에 대응하는 값을 화소값으로서 플롯한 특징량 화상(3591)을 나타내고 있다. 단, 특징량 화상(3591)은, 화소내 경사가 없는 경우(근사 직선이, X 방향으로 평행한 경우), 흑색이 되고, 이에 비하여, 화소내 경사가 직각의 경우(근사 직선이, Y 방향으로 평행한 경우), 흰색이 되도록 생성되어 있다.

SD 화상(3542)의 영역(3542-1)은, 전술한 도 294의 차분 화상(3544)의 영역(3544-1)(전술한 도 295를 참조하여, 화소 내에서의 실세계(1)의 신호의 변화량이 작은 영역의 일례로서 설명한 영역)에 대응하는 영역이다. 이 SD 화상(3542)의 영역(3542-1)에 대응하는 특징량 화상(3591)의 영역이, 영역(3591-1)이다.

또, SD 화상(3542)의 영역(3542-2)은, 전술한 도 296의 차분 화상(3544)의 영역(3544-2)(전술한 도 297을 참조하여, 화소 내에서의 실세계(1)의 신호의 변화량이 큰 영역의 일례로서 설명한 영역)에 대응하는 영역이다. 이 SD 화상(3542)의 영역(3542-2)에 대응하는 특징량 화상(3591)의 영역이, 영역(3591-2)이다.

SD 화상(3542)의 영역(3542-1)과 특징량 화상(3591)의 영역(3591-1)을 비교하면, 실세계(1)의 신호의 변화량이 작은 영역은, 특징량 화상(3591)에 있어서는, 흑색에 가까운 영역(화소내 경사가 완만한 영역)이 되어 있는 것을 알 수 있다.

이에 비하여, SD 화상(3542)의 영역(3542-2)과 특징량 화상(3591)의 영역(3591-2)을 비교하면, 실세계(1)의 신호의 변화량이 큰 영역은, 특징량 화상(3591)에 있어서는, 흰색에 가까운 영역(화소내 경사가 급한 영역)이 되어 있 는 것을 알 수 있다.

이와 같이, 화소내 경사에 대응하는 값을 화소로 해서 생성된 특징량 화상은, 각 화소 내의 각각에 있어서의 실세계(1)의 신호의 변화량의 정도를 적절히 나타낼 수가 있다.

다음에, 화소내 경사의 구체적인 산출 방법에 대하여 설명한다.

즉, 주목 화소에 있어서의 화소내 경사를, grad라 기술하면, 화소내 경사 grad는, 다음의 식(237)으로 표현된다.

…(237)

식(237)에 있어서, P_n는, 주목 화소의 화소값을 나타내고 있다. P_c는, 중심 화소의 화소값을 나타내고 있다.

구체적으로는, 예를 들면, 도 303에 나타낸 바와 같이, 센서(2)로부터의 입력 화상 중, 5 × 5의 화소(도면 중 5 × 5 = 25개의 정방형)으로 이루어지는 영역인, 소정의 데이터 정상성을 가지는 영역(3601)(이하, 정상 영역(3601)이라고 한다)이 존재하는 경우, 상기 정상 영역(3601)의 중심의 화소(3602)가 중심 화소가 된다. 따라서, P_c는, 중심 화소(3602)의 화소값 이 된다. 그리고, 예를 들면, 화 소(3603)가 주목 화소가 되는 경우, P_n는, 주목 화소(3603)의 화소값이 된다.

또, 식(237)에 있어서, x_n'은, 주목 화소의 중심점에 있어서의 단면 방향 거리를 나타내고 있다. 그리고, 여기서는, 중심 화소(도 303의 예에서는, 화소(3602))의 중심을 공간 방향의 원점(0, 0)으로 하고, 그 원점을 지나는 데이터 정상성의 방향과 평행한 직선(도 303의 예에서는, 직선(3604))을 그었다고 하면, 그 직선에 대한 X 방향의 상대적인 거리를, 단면 방향 거리로 칭하고 있다.

도 304는, 도 303의 정상 영역(3601) 내의 각 화소의 단면 방향 거리를 나타낸 도면이다. 즉, 도 304에 있어서, 정상 영역(3601)의 각 화소(도면 중 5 × 5 = 25개의 정방형) 내의 각각에 기재되어 있는 값이, 대응하는 화소의 단면 방향 거리이다. 예를 들면, 주목 화소(3603)의 단면 거리 x_n'은, -2β이다.

단, 각 화소폭은, X 방향과 Y 방향 모두 1이 되어 있다. X 방향의 양의 방향은, 도면 중 우측 방향이 되어 있다. 또, β는 중심 화소(3602)의 Y 방향에 대하여 1개 근처(도면 중 1개 밑)의 화소(3605)의 단면 방향 거리를 나타내고 있다. 이 β는, 도 304에서 나타낸 바와 같은 각도 θ(직선(3604)의 방향과, X 방향이 이루는 각도 θ)가, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서 출력되어 있는 경우, 다음의 식(238)을 이용하여 간단하게 연산할 수 있다.

…(238)

이와 같이, 화소내 경사는, 중심 화소(도 304의 예에서는 화소(3602))와 주목 화소(도 304의 예에서는 화소(3603))의 2개의 입력 화소값과 각도 θ를 이용하는 간단한 연산으로 산출 가능하다. 따라서, 실세계 추정부(102)는, 화소내 경사에 대응하는 값을 화소값으로 하는 화상을, 특징량 화상으로서 생성하면, 그 처리량을 대폭 저감하는 것이 가능하게 된다.

그리고, 또한 정밀도가 양호한 화소내 경사를 구하고 싶은 경우, 실세계 추정부(102)는, 주목 화소의 주변 화소를 사용하여 최소 자승법에 의해 연산하면 된다. 구체적으로는, 실세계 추정부(102)는, 주목 화소를 포함하는 m개 (m는 2 이상의 정수)의 화소에 대하여 번호 i(i는, 1 내지 m)를 부여하고, 번호 i의 화소의 각각의 입력 화소값 P_i와 단면 방향 거리 x_i'를, 다음의 식(239)의 우변에 대입하여 주목 화소에 있어서의 화소내 경사 grad를 연산하면 된다. 즉, 식(239)은, 전술한 1변수를 최소 자승법으로 구하는 식과 동일한 식이다.

…(239)

다음에, 도 305를 참조하여, 클래스 분류 적응 처리 보정 방법을 이용하는 화상 생성부(103)(도 289)의 화상의 생성의 처리(도 40의 스텝 S103의 처리)에 대하여 설명한다.

도 289에 있어서, 화상인, 실세계(1)의 신호가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다. 상기 입력 화상은, 데이터 정상성 검출부(101)에 입력되면 모두, 화상 생성부(103)의 클래스 분류 적응 처리부(3501)에 입력된다.

그래서, 도 305의 스텝 S3501에 있어서, 클래스 분류 적응 처리부(3501)는, 입력된 입력 화상(SD 화상)에 대하여 클래스 분류 적응 처리를 실시하여, 예측 화상(HD 화상)을 생성하고, 가산부(3503)에 출력한다.

그리고, 이하, 이와 같은 클래스 분류 적응 처리부(3501)가 실행하는 스텝 S3501의 처리를, 「입력 화상 클래스 분류 적응 처리」라고 한다. 이 예의 「입력 화상 클래스 분류 적응 처리」의 상세한 것에 대하여는, 도 306의 흐름도를 참조하여 후술한다.

스텝 S3501의 처리와 거의 동시에, 데이터 정상성 검출부(101)는, 입력 화상에 포함되는 데이터 정상성을 검출하고, 그 검출 결과(지금의 경우, 각도)를 데이터 정상성 정보로서 실세계 추정부(102)에 출력한다(도 40의 스텝 S101의 처리).

실세계 추정부(102)는, 입력한 각도(데이터 정상성 정보)에 따라서, 실세계 추정 정보(지금의 경우, SD 화상인 특징량 화상)를 생성하고, 화상 생성부(103)의 클래스 분류 적응 처리 보정부(3502)에 공급한다(도 40의 스텝 S102의 처리).

그래서, 스텝 S3502에 있어서, 클래스 분류 적응 처리 보정부(3502)는, 공급된 특징량 화상(SD 화상)에 대하여 클래스 분류 적응 처리를 실시하여, 차분 예측 화상(HD 화상)을 생성하고(실제의 화상(실세계(1)의 신호)과 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상의 차분 화상(단, HD 화상)을 예측 연산하고), 그것을 보정 화상으로서 가산부(3503)에 출력한다.

그리고, 이하, 이와 같은 클래스 분류 적응 처리 보정부(3502)가 실행하는 스텝 S3502의 처리를, 「클래스 분류 적응 처리의 보정 처리」라고 한다. 이 예의 「클래스 분류 적응 처리의 보정 처리」의 상세한 것에 대하여는, 도 307의 흐름도를 참조하여 후술한다.

그리고, 스텝 S3503에 있어서, 가산부(3503)가, 스텝 S3501의 처리에서 클래스 분류 적응 처리부(3501)에 의해 생성된 예측 화상(HD 화상)의 주목 화소(HD 화소)와 상기 주목 화소에 대응하는, 스텝 S3502의 처리에서 클래스 분류 적응 처리 보정부(3502)에 의해 생성된 보정 화상(HD 화상)의 화소(HD 화소)를 가산하고, 출력 화상(HD 화상)의 화소(HD 화소)를 생성한다.

스텝 S3504에 있어서, 가산부(3503)는, 모든 화소의 처리가 종료되었는지 여부를 판정한다.

스텝 S3504에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S3501로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소가 되어있지 않는 화소가, 차례로 주목 화소가 되어, 스텝 S3501 내지 S3503의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S3504에 있어서, 모든 화소의 처리가 종료되었다고 판정하면), 가산부(3504)는, 스텝 S3505에 있어서, 출력 화상(HD 화상)을 외부에 출력한다. 그 후, 화상의 생성의 처리는 종료된다.

다음에, 도면을 참조하여, 이 예에 있어서의 「입력 화상 클래스 분류 적응 처리(스텝 S3501의 처리)」, 및 「클래스 분류 적응 처리의 보정 처리(스텝 S3502의 처리)」의 각각의 상세에 대하여, 그 순서대로 개별적으로 설명한다.

처음에, 도 306의 흐름도를 참조하여, 클래스 분류 적응 처리부(3501)(도 290)이 실행하는 「입력 화상 클래스 분류 적응 처리」의 상세에 대하여 설명한다.

입력 화상(SD 화상)이 클래스 분류 적응 처리부(3501)에 입력되면, 스텝 S3521에 있어서, 영역 추출부(3511)와 영역 추출부(3515)의 각각은, 입력 화상을 입력한다.

스텝 S3522에 있어서, 영역 추출부(3511)는, 입력 화상 중, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1이상의 위치)의 각각에 위치하는 화소(SD 화소)를, 클래스 탭으로서 추출하고, 패턴 검출부(3512)에 공급한다.

스텝 S3523에 있어서, 패턴 검출부(3512)는, 공급된 클래스 탭의 패턴을 검출하고, 클래스 코드 결정부(3513)에 공급한다.

스텝 S3524에 있어서, 클래스 코드 결정부(3513)는, 미리 설정되어 있는 복수개의 클래스 코드 중, 공급된 클래스 탭의 패턴에 적합한 클래스 코드를 결정하고, 계수 메모리(3514)로 영역 추출부(3515)의 각각에 공급한다.

스텝 S3525에 있어서, 계수 메모리(3514)는, 미리 학습 처리에 의해 결정된 복수개의 예측 계수(군) 중, 공급된 클래스 코드에 따라 지금부터 사용하는 예측 계수(군)를 판독하고, 예측 연산부(3516)에 공급한다.

그리고, 학습 처리에 대하여는, 도 311의 흐름도를 참조하여 후술한다.

스텝 S3526에 있어서, 영역 추출부(3515)는, 공급된 클래스 코드에 대응하여, 입력 화상 중, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1이상의 위치이며, 클래스 탭의 위치와는 독립적으로 설정된 위치. 단, 클래스 탭의 위치와 동일한 위치라도 된다)의 각각에 위치하는 화소(SD 화소)를, 예측 탭으로서 추출하고, 예측 연산부(3516)에 공급한다.

스텝 S3527에 있어서, 예측 연산부(3516)는, 영역 추출부(3515)로부터 공급된 예측 탭을, 계수 메모리(3514)로부터 공급된 예측 계수를 사용하여 연산하고, 예측 화상(HD 화상)을 생성하여 가산부(3503)에 출력한다.

구체적으로는, 예측 연산부(3516)는, 영역 추출부(3515)로부터 공급된 예측 탭의 각각을 c_i(i는, 1 내지 n 중 어느 하나의 정수)로 하고, 또한 계수 메모리(3514)로부터 공급된 예측 계수의 각각을 d_i로 하여 전술한 식(218)의 우변을 연산함으로써, 주목 화소(SD 화소)에 있어서의 HD 화소 q'를 산출하고, 그것을 예측 화상(HD 화상)을 구성하는 1개의 화소로서 가산부(3503)에 출력한다. 이로써, 입력 화상 클래스 분류 적응 처리가 종료된다.

다음에, 도 307의 흐름도를 참조하여, 클래스 분류 적응 처리 보정부(3502)(도 299)가 실행하는 「클래스 분류 적응 처리의 보정 처리」의 상세에 대하여 설명한다.

실세계 추정부(102)로부터 실세계 추정 정보로서 특징량 화상(SD 화상)이 클래스 분류 적응 처리 보정부(3502)에 입력되면, 스텝 S3541에 있어서, 영역 추출부(3551)와 영역 추출부(3555)의 각각은, 특징량 화상을 입력한다.

스텝 S3542에 있어서, 영역 추출부(3551)는, 특징량 화상 중, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1이상의 위치)의 각각에 위치하는 화소(SD 화소)를, 클래스 탭으로서 추출하고, 패턴 검출부(3552)에 공급한다.

구체적으로는, 이 예에 있어서는, 예를 들면, 도 308에 나타낸 바와 같은 클래스 탭(군)(3621)이 추출되었다고 가정한다. 즉, 도 308은, 클래스 탭 배치의 일례를 나타내고 있다.

도 308에 있어서, 도면 중 수평 방향은, 공간 방향의 1방향인 X 방향이 되어 있고, 도면 중 수직 방향은, 공간 방향의 다른 방향인 Y 방향이 되어 있다. 또, 주목 화소는, 화소(3621-2)가 되어 있다.

이 경우, 도 308의 예에서는, 주목 화소(3621-2), Y 방향에 대하여 주목 화소(3621-2)의 인접한 화소(3621-0) 및 화소(3621-4), 및 X 방향에 대하여 주목 화소(3621-2)의 인접한 화소(3621-1) 및 화소(3621-3)의 총 5개의 화소로 이루어지는 화소군(3621)이, 클래스 탭으로서 추출된다.

물론, 클래스 탭 배치는, 주목 화소(3621-2)를 포함하는 배치이면, 도 308의 예에 한정되지 않고, 다양한 배치가 가능하다.

도 307으로 복귀하고, 스텝 S3543에 있어서, 패턴 검출부(3552)는, 공급된 클래스 탭의 패턴을 검출하고, 클래스 코드 결정부(3553)에 공급한다.

구체적으로는, 이 예에 있어서는, 예를 들면, 패턴 검출부(3552)는, 도 308에 나타낸 5개의 클래스 탭(3621-0 내지 3621-4)의 각각의 화소값, 즉, 특징량의 값(예를 들면, 화소내 경사)의 각각이, 미리 설정된 복수개의 클래스 중 어느 클래스에 속하는지를 검출하고, 그들의 검출 결과를 하나로 모은 것을 패턴으로서 출력한다.

예를 들면, 지금, 도 309에서 나타낸 바와 같은 패턴이 검출되었다고 하자. 즉, 도 309는, 클래스 탭의 패턴의 일례를 나타내고 있다.

도 309에 있어서, 도면 중 수평 방향의 축은, 클래스 탭을 나타내고 있고, 도면 중 수직 방향의 축은, 화소내 경사를 나타내고 있다. 또, 화소내 경사에 의하여, 클래스(3631), 클래스(3632), 및 클래스(3633)의 3개의 클래스가 미리 설정되어 있는 것으로 한다.

이 경우, 도 309에서 나타내는 패턴은, 클래스 탭(3621-0)은 클래스(3631)에, 클래스 탭(3621-1)은 클래스(3631)에, 클래스 탭(3621-2)은 클래스(3633)에, 클래스 탭(3621-3)은 클래스(3631)에, 클래스 탭(3621-4)은 클래스(3632)에, 각각 속하는 패턴을 나타내고 있다.

이와 같이, 5개의 클래스 탭(3621-0 내지 3621-4)의 각각은, 3개의 클래스(3631 내지 3633) 중 어느 하나에 속하게 된다. 따라서, 이 예에 있어서는, 도 309에서 나타내는 패턴을 포함하여 총계 273 = 3＾5개의 패턴이 존재하게 된다.

도 307으로 복귀하고, 스텝 S3544에 있어서, 클래스 코드 결정부(3553)는, 미리 설정되어 있는 복수개의 클래스 코드 중, 공급된 클래스 탭의 패턴에 적합한 클래스 코드를 결정하고, 보정 계수 메모리(3554)와 영역 추출부(3555)의 각각에 공급한다. 지금의 경우, 273개의 패턴이 존재하므로, 미리 설정되어 있는 클래스 코드의 수도 273개(또는, 그 이상)가 된다.

스텝 S3545에 있어서, 보정 계수 메모리(3554)는, 미리 학습 처리에 의해 결정된 복수개의 보정 계수(군) 중, 공급된 클래스 코드에 따라 지금부터 사용하는 보정 계수(군)를 판독하고, 보정 연산부(3556)에 공급한다. 보정 계수 메모리(3554)에 기억되어 있는 보정 계수(군)의 각각은, 미리 설정된 클래스 코드 중 어느 하나에 대응되어 있으므로, 지금의 경우, 보정 계수(군)의 수는, 미리 설정되어 있는 클래스 코드의 수와 같은 수(273개 이상)이 된다.

그리고, 학습 처리에 대하여는, 도 311의 흐름도를 참조하여 후술한다.

스텝 S3546에 있어서, 영역 추출부(3555)는, 공급된 클래스 코드에 대응하여, 입력 화상 중, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1이상의 위치에서 있어, 클래스 탭의 위치와는 독립적으로 설정된 위치. 단, 클래스 탭의 위치와 동일한 위치라도 된다)의 각각에 위치하는 화소(SD 화소)를, 예측 탭으로서 추출하고, 보정 연산부(3556)에 공급한다.

구체적으로는, 이 예에 있어서는, 예를 들면, 도 310에 나타낸 바와 같은 예측 탭(군)(3641)이 추출된다고 하자. 즉, 도 310은, 예측 탭 배치의 일례를 나타내고 있다.

도 310에 있어서, 도면 중 수평 방향은, 공간 방향의 1방향인 X 방향이 되어 있고, 도면 중 수직 방향은, 공간 방향의 다른 방향인 Y 방향이 되어 있다. 또, 주목 화소는, 화소(3641-1)가 되어 있다. 즉, 화소(3641-1)는, 클래스 탭(3621-2)(도 308)에 대응하는 화소이다.

이 경우, 도 310의 예에서는, 주목 화소(3641-1)를 중심으로 하는 5 × 5의 화소군(총계 25개의 화소로 이루어지는 화소군)(3641)이, 예측 탭(군)으로서 추출된다.

물론, 예측 탭 배치는, 주목 화소(3641-1)를 포함하는 배치이면, 도 310의 예에 한정되지 않고, 다양한 배치가 가능하다.

도 307로 복귀하고, 스텝 S3547에 있어서, 보정 연산부(3556)는, 영역 추출부(3555)로부터 공급된 예측 탭을, 보정 계수 메모리(3554)로부터 공급된 보정 계수를 사용하여 연산하고, 차분 예측 화상(HD 화상)을 생성하고, 보정 화상으로서 가산부(3503)에 출력한다.

보다 상세하게는, 보정 연산부(3556)는, 영역 추출부(3555)로부터 공급된 예측 탭의 각각을 a_i(i는, 1 내지 n 중 어느 하나의 정수)로 하고, 또한 보정 계수 메모리(3554)로부터 공급된 보정 계수의 각각을 g_i로서 전술한 식(226)의 우변을 연산함으로써, 주목 화소(SD 화소)에 있어서의 HD 화소 u'를 산출하고, 그것을 보정 화상(HD 화상)을 구성하는 1개의 화소로서 가산부(3503)에 출력한다. 이로써, 클래스 분류 적응 처리의 보정 처리는 종료된다.

다음에, 도 311의 흐름도를 참조하여, 학습 장치(도 291)의 학습 처리, 즉, 클래스 분류 적응 처리부(3501)(도 290)가 사용하는 예측 계수와 클래스 분류 적응 처리 보정부(3502)(도 299)가 사용하는 보정 계수의 각각을 학습에 의해 생성하는 학습 처리에 대하여 설명한다.

스텝 S3561에 있어서, 클래스 분류 적응 처리용 학습부(3521)는, 클래스 분류 적응 처리부(3501)가 사용하는 예측 계수를 생성한다.

즉, 클래스 분류 적응 처리용 학습부(3521)은, 소정의 화상을 제1 교사 화상(HD 화상)으로서 입력하고, 그 제1 교사 화상의 해상도를 저감시켜서 제1 학생 화상(SD 화상)을 생성한다.

그리고, 클래스 분류 적응 처리용 학습부(3521)는, 클래스 분류 적응 처리에 의해 제1 학생 화상(SD 화상)으로부터 제1 교사 화상(HD 화상)을 적절히 예측 가능한 예측 계수를 생성하고, 클래스 분류 적응 처리부(3501)의 계수 메모리(3514)(도 290)에 기억시킨다.

그리고, 이하, 이와 같은 클래스 분류 적응 처리용 학습부(3521)가 실행하는 스텝 S3561의 처리를, 「클래스 분류 적응 처리용 학습 처리」라고 한다. 이 예의 「클래스 분류 적응 처리용 학습 처리」의 상세한 것에 대하여는, 도 312의 흐름도를 참조하여 후술한다.

클래스 분류 적응 처리부(3501)가 사용하는 예측 계수가 생성되면 스텝 S3562에 있어서, 클래스 분류 적응 처리 보정용 학습부(3561)는, 클래스 분류 적응 처리 보정부(3502)가 사용하는 보정 계수를 생성한다.

즉, 클래스 분류 적응 처리 보정용 학습부(3561)는, 클래스 분류 적응 처리 용 학습부(3521)로부터, 제1 교사 화상, 제1 학생 화상, 및 학습용 예측 화상(클래스 분류 적응 처리용 학습부(3521)에 의해 생성된 예측 계수를 사용하여, 제1 교사 화상을 예측한 화상)의 각각을 입력한다.

다음에, 클래스 분류 적응 처리 보정용 학습부(3561)는, 제2 교사 화상으로서, 제1 교사 화상과 학습용 예측 화상의 차분 화상을 생성하고, 또한 제2 학생 화상으로서, 제1 학생 화상으로부터 특징량 화상을 생성한다.

그리고, 클래스 분류 적응 처리 보정용 학습부(3561)는, 클래스 분류 적응 처리에 의해 제2 학생 화상(SD 화상)으로부터 제2 교사 화상(HD 화상)을 적절히 예측 가능한 예측 계수를 생성하고, 그것을 보정 계수로서 클래스 분류 적응 처리 보정부(3502)의 보정 계수 메모리(3554)에 기억시킨다. 이로써, 학습 처리는 종료된다.

그리고, 이하, 이와 같은 클래스 분류 적응 처리 보정용 학습부(3561)가 실행하는 스텝 S3562의 처리를, 「클래스 분류 적응 처리 보정용 학습 처리」라고 한다. 이 예의 「클래스 분류 적응 처리 보정용 학습 처리」의 상세한 것에 대하여는, 도 313의 흐름도를 참조하여 후술한다.

다음에, 도면을 참조하여, 이 예에 있어서의 「클래스 분류 적응 처리용 학습 처리(스텝 S3561의 처리)」, 및 「클래스 분류 적응 처리 보정용 학습 처리(스텝 S3562의 처리)」의 각각의 상세한 것에 대하여, 그 순서대로 개별적으로 설명한 다.

처음에, 도 312의 흐름도를 참조하여, 클래스 분류 적응 처리용 학습부(3521)(도 292)가 실행하는 「클래스 분류 적응 처리용 학습 처리」의 상세한 것에 대하여 설명한다.

스텝 S3581에 있어서, 다운 컨버트부(3531)으로 정규 방정식 생성부(3536)의 각각은, 공급된 소정의 화상을, 제1 교사 화상(HD 화상)으로서 입력한다. 그리고, 제1 교사 화상은, 전술한 바와 같이, 클래스 분류 적응 처리 보정용 학습부(3561)에도 입력된다.

스텝 S3582에 있어서, 다운 컨버트부(3531)는, 입력된 제1 교사 화상을 다운 컨버트하여(해상도를 저하시켜서) 제1 학생 화상(SD 화상)을 생성하고, 영역 추출부(3532)로 영역 추출부(3535)의 각각에 공급하고, 또한 클래스 분류 적응 처리 보정용 학습부(3561)에도 출력한다.

스텝 S3583에 있어서, 영역 추출부(3532)는, 공급된 제1 학생 화상으로부터 클래스 탭을 추출하여 패턴 검출부(3533)에 출력한다. 그리고, 스텝 S3583의 처리는, 블록에 입력되는 정보와, 블록으로부터 출력되는 정보는 엄밀하게는 다른 정보이지만(이하, 이와 같은 차이를, 단지, 입출력의 차이라고 한다), 전술한 스텝 S3522(도 306)의 처리와 기본적으로 동일한 처리이다.

스텝 S3584에 있어서, 패턴 검출부(3533)는, 공급된 클래스 탭으로부터 클래 스 코드를 결정하기 위한 패턴을 검출하고, 클래스 코드 결정부(3534)에 공급한다. 그리고, 스텝 S3584의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3523(도 306)의 처리와 기본적으로 동일한 처리이다.

스텝 S3585에 있어서, 클래스 코드 결정부(3534)는, 공급된 클래스 탭의 패턴에 따라 클래스 코드를 결정하고, 영역 추출부(3535)와 정규 방정식 생성부(3536)의 각각에 공급한다. 그리고, 스텝 S3585의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3524(도 306)의 처리와 기본적으로 동일한 처리이다.

스텝 S3586에 있어서, 영역 추출부(3535)는, 공급된 클래스 코드에 대응하여, 제1 학생 화상 중 예측 탭을 추출하고, 정규 방정식 생성부(3536)와 예측 연산부(3538)의 각각에 공급한다. 그리고, 스텝 S3586의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3526(도 306)의 처리와 기본적으로 동일한 처리이다.

스텝 S3587에 있어서, 정규 방정식 생성부(3536)는, 영역 추출부(3535)로부터 공급된 예측 탭(SD 화소), 및 제1 교사 화상(HD 화상)을 구성하는 HD 화소 중, 소정의 HD 화소로부터, 전술한 식(220)(즉, 식(221))에서 나타내는 정규 방정식을 생성하고, 클래스 코드 결정부(3534)로부터 공급된 클래스 코드와 함께 계수 결정부(3537)에 공급한다.

스텝 S3588에 있어서, 계수 결정부(3537)는, 공급된 정규 방정식을 풀어서 예측 계수를 결정하고, 즉, 전술한 식(225)의 우변을 연산함으로써 예측 계수를 산 출하고, 공급된 클래스 코드에 대응시켜 계수 메모리(3514)에 기억시키고, 또한 예측 연산부(3538)에 공급한다.

스텝 S3589에 있어서, 예측 연산부(3538)는, 영역 추출부(3535)로부터 공급된 예측 탭을, 계수 결정부(3537)로부터 공급된 예측 계수를 사용하여 연산하고, 학습용 예측 화상(HD 화소)을 생성한다.

구체적으로는, 예측 연산부(3538)는, 영역 추출부(3535)로부터 공급된 예측 탭의 각각을 c_i(i는, 1 내지 n 중 어느 하나의 정수)로 하고, 또한 계수 결정부(3537)로부터 공급된 예측 계수의 각각을 d_i로서 전술한 식(218)의 우변을 연산함으로써, 제1 교사 화상의 소정의 HD 화소 q를 예측한 HD 화소 q'을 산출하고, HD 화소 q'을 학습용 예측 화상의 하나의 화소로 한다.

스텝 S3590에 있어서, 모든 화소에 대하여 처리가 되었는지의 여부가 판정되고, 모든 화소에 대하여 처리가 되어 있지 않은 것으로 판정된 경우, 그 처리는, 스텝 S3583으로 되돌아온다. 즉, 모든 화소의 처리가 종료 되기까지, 스텝 S3583 내지 S3590의 처리가 반복된다.

그리고, 스텝 S3590에 있어서, 모든 화소에 대하여 처리가 행해진 것으로 판정된 경우, 스텝 S3591에 있어서, 예측 연산부(3538)는, 학습 예측 화상(스텝 S3589의 처리마다 생성된 각 HD 화소 q'로 구성되는 HD 화상)을, 클래스 분류 적응 처리 보정용 학습부(3561)에 출력한다. 이로써, 클래스 분류 적응 처리용 학습 처리는 종료된다.

이와 같이, 이 예에 있어서는, 모든 화소의 처리가 종료된 후, 제1 교사 화상을 예측한 HD 화상인 학습용 예측 화상이 클래스 분류 적응 처리 보정용 학습부(3561)에 출력된다. 즉, 모든 HD 화소(예측 화소)가 일괄 출력된다.

그러나, 모든 화소가 일괄 출력되는 것은 필수가 아니고, 스텝 S3589의 처리에 의해 HD 화소(예측 화소)가 생성될 때마다, 클래스 분류 적응 처리 보정용 학습부(3561)에 출력되어도 된다. 이 경우, 스텝 S3591의 처리는 생략된다.

다음에, 도 313의 흐름도를 참조하여, 클래스 분류 적응 처리 보정용 학습부(3561)(도 300)가 실행하는 「클래스 분류 적응 처리 보정용 학습 처리」의 상세한 것에 대하여 설명한다.

클래스 분류 적응 처리용 학습부(3521)로부터 제1 교사 화상(HD 화상)과 학습용 예측 화상(HD 화상)이 입력되면, 스텝 S3601에 있어서, 가산부(3571)는, 제1 교사 화상으로부터 학습용 예측 화상을 감산하고, 차분 화상(HD 화상)을 생성하고, 그것을 제2 교사 화상으로서 정규 방정식 생성부(3578)에 공급한다.

또, 클래스 분류 적응 처리용 학습부(3521)로부터 제1 학생 화상(SD 화상)이 입력되면, 스텝 S3602에 있어서, 데이터 정상성 검출부(3572)와 실세계 추정부(3573)는, 입력된 제1 학생 화상(SD 화상)으로부터 특징량 화상을 생성하고, 그것을 제2 학생 화상으로서 영역 추출부(3574)로 영역 추출부(3577)의 각각에 공급한다.

즉, 데이터 정상성 검출부(3572)는, 제1 학생 화상에 포함되는 데이터 정상성을 검출하고, 그 검출 결과(지금의 경우, 각도)를 데이터 정상성 정보로서 실세계 추정부(3573)에 출력한다. 그리고, 스텝 S3602의 데이터 정상성 검출부(3572)의 처리는, 입출력의 차이는 있지만, 전술한 도 40의 스텝 S101의 처리와 기본적으로 동일한 처리이다.

실세계 추정부(3573)는, 입력한 각도(데이터 정상성 정보)에 따라, 실세계 추정 정보(지금의 경우, SD 화상인 특징량 화상)를 생성하고, 그것을 제2 학생 화상으로서 영역 추출부(3574)로 영역 추출부(3577)의 각각에 공급한다. 그리고, 스텝 S3602의 실세계 추정부(3573)의 처리는, 입출력의 차이는 있지만, 전술한 도 40의 스텝 S102의 처리와 기본적으로 동일한 처리이다.

또, 스텝 S3601와 S3602의 처리의 순번은, 도 313의 예에 한정되지 않는다. 즉, 스텝 S3602의 처리가 먼저 실행되어도 되고, 스텝 S3601와 S3602의 처리가 동시에 실행되어도 된다.

스텝 S3603에 있어서, 영역 추출부(3574)는, 공급된 제2 학생 화상(특징량 화상)으로부터 클래스 탭을 추출하여 패턴 검출부(3575)에 출력한다. 그리고, 스텝 S3603의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3542(도 307)의 처리와 기본적으로 동일한 처리이다. 즉, 지금의 경우, 도 308에 나타낸 배치의 화소군(3621)이 클래스 탭으로서 추출된다.

스텝 S3604에 있어서, 패턴 검출부(3575)는, 공급된 클래스 탭로부터 클래스 코드를 결정하기 위한 패턴을 검출하고, 클래스 코드 결정부(3576)에 공급한다. 그리고, 스텝 S3604의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3543(도 307)의 처리와 기본적으로 동일한 처리이다. 즉, 지금의 경우, 학습 처리가 종료될 때는, 적어도 273개의 패턴이 검출 되게 된다.

스텝 S3605에 있어서, 클래스 코드 결정부(3576)는, 공급된 클래스 탭의 패턴에 따라 클래스 코드를 결정하고, 영역 추출부(3577)와 정규 방정식 생성부(3578)의 각각에 공급한다. 그리고, 스텝 S3605의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3544(도 307)의 처리와 기본적으로 동일한 처리이다. 즉, 지금의 경우, 학습 처리가 종료 될 때는, 적어도 273개의 클래스 코드가 결정되게 된다.

스텝 S3606에 있어서, 영역 추출부(3577)는, 공급된 클래스 코드에 대응하여, 제2 학생 화상(특징량 화상) 중 예측 탭을 추출하고, 정규 방정식 생성부(3578)에 공급한다. 그리고, 스텝 S3606의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3546(도 307)의 처리와 기본적으로 동일한 처리이다. 즉, 지금의 경우, 도 310에 나타낸 배치의 화소군(3641)이 예측 탭으로서 추출된다.

스텝 S3607에 있어서, 정규 방정식 생성부(3578)는, 영역 추출부(3577)로부터 공급된 예측 탭(SD 화소), 및 제2 교사 화상(HD 화상인, 제1 교사 화상과 학습용 예측 화상의 차분 화상)을 구성하는 HD 화소 중 소정의 HD 화소로부터, 전술한 식(229)(즉, 식(230))에서 나타내는 정규 방정식을 생성하고, 클래스 코드 결정부(3576)로부터 공급된 클래스 코드와 함께 보정 계수 결정부(3579)에 공급한다.

스텝 S3608에 있어서, 보정 계수 결정부(3579)는, 공급된 정규 방정식을 풀어서 보정 계수를 결정하고, 즉, 전술한 식(234)의 우변을 연산함으로써 보정 계수를 산출하고, 공급된 클래스 코드에 대응시켜 보정 계수 메모리(3554)에 기억시킨다.

스텝 S3609에 있어서, 모든 화소에 대하여 처리되었는지 여부가 판정되고, 모든 화소에 대하여 처리가 되어 있지 않은 것으로 판정된 경우, 그 처리는, 스텝 S3603으로 되돌아온다. 즉, 모든 화소의 처리가 종료되기까지, 스텝 S3603 내지 S3609의 처리가 반복된다.

그리고, 스텝 S3609에 있어서, 모든 화소에 대하여 처리가 되었다고 판정된 경우, 클래스 분류 적응 처리 보정용 학습 처리는 종료된다.

이상, 설명한 바와 같이, 클래스 분류 적응 보정 처리 방법에 있어서는, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상에 대하여, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 보정 화상(차분 예측 화상)이 가산되어 출력된다.

예를 들면, 전술한 도 293에 나타낸 HD 화상(3541)의 해상도를 저감시킨 화상인 SD 화상(3542)이 입력 화상이 되었을 경우, 클래스 분류 적응 처리부(3501)로부터는, 도 314에서 나타내는 예측 화상(3543)이 출력된다. 그리고, 상기 예측 화상(3543)에, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 보정 화상(도시하지 않음)이 가산되면(보정 화상에 의해 보정되면), 도 294에서 나타내는 출력 화상(3651)이 된다.

출력 화상(3651), 예측 화상(3543), 및 원래의 화상인 HD 화상(3541)(도 293)의 각각을 비교하면, 출력 화상(3651)은, 예측 화상(3543)보다 HD 화상(3541)에 더 가까운 화상이 되어 있는 것을 알 수 있다.

이와 같이, 클래스 분류 적응 처리 보정 방법에 있어서는, 클래스 분류 적응 처리를 포함하는 종래의 다른 방법과 비교하여, 원래의 화상(센서(2)에 입사되기 전의 실세계(1)의 신호)에 더 가까운 화상의 출력이 가능하게 된다.

환언하면, 클래스 분류 적응 처리 보정 방법에 있어서는, 예를 들면, 도 289의 데이터 정상성 검출부(101)가, 각각 시공간 적분 효과를 가지는, 센서(예를 들면, 도 289의 센서(2))의 복수개의 검출 소자에 의해 도 289의 실세계(1)의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상(도 289)에 있어서의 데이터 정상성을 검출한다.

예를 들면, 도 289의 실세계 추정부(102)는, 검출된 데이터 정상성에 대응하여, 실세계(1)의 광신호를 나타내는 광신호 함수 F(x)(도 298)가 가지는 실세계 특징(예를 들면, 도 289의 특징량 화상을 구성하는 화소에 대응하는 특징량)을 검출함으로써, 실세계(1)의 광신호를 추정한다.

상세하게는, 예를 들면, 실세계 추정부(102)는, 도출된 데이터 정상성에 대응하는 선(예를 들면, 도 303의 선(3604))으로부터 적어도 1차원 방향에 따른 거리(예를 들면, 도 303의 단면 방향 거리 Xn')에 대응하는 화소의 화소값이, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 광신호 함수 F(x)를, 예를 들면, 도 301의 근사 함수 f₅(x)에 의해 근사하고, 소정 화소(예를 들면, 도 303의 화소(3603)) 내에서의 근사 함수 f₅(x)의 경사인 화소내 경사(예를 들면, 전술한 식(234)의 grad이며, 식(236)의 x의 계수 w₁')를, 실세계 특징으로서 검출함으로써, 실세계(1)의 광신호를 추정한다.

그리고, 예를 들면, 도 289의 화상 생성부(103)가, 실세계 추정 수단에 의해 검출된 실세계 특징에 따라, 입력 화상보다 고화질인 출력 화상(도 289))을 예측하여 생성한다.

상세하게는, 예를 들면, 화상 생성부(103)에 있어서, 예를 들면, 도 289의 클래스 분류 적응 처리부(3501)가, 출력 화상에 있어서의 주목 화소의 주변에 위치하는, 실세계(1)의 광신호의 정상성이 결락된 입력 화상 내의 복수개의 화소의 화소값으로부터 주목 화소의 화소값(예를 들면, 도 289의 예측 화상의 화소이며, 전술한 식(224)의 q')을 예측한다.

한편, 예를 들면, 도 289의 클래스 분류 적응 처리 보정부(3502)는, 예를 들면, 도 289의 실세계 추정부(102)로부터 공급된 특징량 화상(실세계 추정 정보)으로부터, 클래스 분류 적응 처리부(3501)에 의해 예측된 예측 화상의 주목 화소의 화소값을 보정하는 보정항(예를 들면, 도 289의 보정 화상(차분 예측 화상)의 화소이며, 식(227)의 u')을 예측한다.

그리고, 예를 들면, 도 289의 가산부(3503)는, 클래스 분류 적응 처리부(3501)에 의해 예측된 예측 화상의 주목 화소의 화소값을, 클래스 분류 적응 처리부(3501)에 의해 예측된 보정항으로 보정한다(예를 들면, 식(224)와 같이 연산한다).

또, 클래스 분류 적응 처리 보정 방법에 있어서는, 예를 들면, 도 290의 계수 메모리(3514)에 기억되는 예측 계수를 학습에 의해 결정하는 도 291의 클래스 분류 적응 처리 학습부(3521)와 예를 들면, 도 299의 보정 계수 메모리(3554)에 기억되는 보정 계수를 학습에 의해 결정하는 도 291의 클래스 분류 적응 처리 보정용 학습부(3561)를 가지는 도 291의 학습 장치(3504)가 형성되어 있다.

상세하게는, 예를 들면, 도 292의 클래스 분류 적응 처리 학습부(3521)에는, 학습용 화상 데이터를 다운 컨버트하는 다운 컨버트부(3531), 및 학습용 화상 데이터를 제1 교사 화상으로 하고, 다운 컨버트부(3531)에 의해 다운 컨버트된 학습용 화상 데이터를 제1 학생 화상으로 하고, 제1 교사 화상과 제1 학생 화상의 관계를 학습함으로써, 예측 계수를 생성하는 계수 결정부(3537), 및 영역 추출부(3532) 내지 정규 방정식 생성부(3536)가 형성되어 있다.

클래스 분류 적응 처리 학습부(3521)에는 또한, 예를 들면, 계수 결정부(3537)에 의해 생성(결정)된 예측 계수를 사용하여, 제1 학생 화상으로부터 제1 교사 화상을 예측하는 화상 데이터로서, 학습용 예측 화상을 생성하는 예측 연산부(3538)가 형성되어 있다.

또, 예를 들면, 도 300의 클래스 분류 적응 처리 보정용 학습부(3561)에는, 제1 학생 화상에 있어서의 데이터 정상성을 검출하고, 검출한 데이터 정상성에 따라, 제1 학생 화상을 구성하는 각 화소의 각각에 대응하는 실세계 특징을 검출하고, 검출한 실세계 특징에 대응하는 값을 화소값으로 하는 특징량 화상(구체적으로는, 예를 들면, 도 302의 특징량 화상(3591))을, 제2 학생 화상(예를 들면, 도 300의 제2 학생 화상)으로서 생성하는 데이터 정상성 검출부(3572) 및 실세계 추정부(3573), 제1 교사 화상과, 학습용 예측 화상의 차분으로 이루어지는 화상 데이터(차분 화상)를, 제2 교사 화상으로서 생성하는 가산부(3571), 및 제2 교사 화 상과, 제2 학생 화상의 관계를 학습함으로써, 보정 계수를 생성하는 보정 계수 결정부(3579), 및 영역 추출부(3574) 내지 정규 방정식 생성부(3578)가 형성되어 있다.

따라서, 클래스 분류 적응 처리 보정 방법에 있어서는, 클래스 분류 적응 처리를 포함하는 종래의 다른 방법과 비교하여, 원래의 화상(센서(2)에 입사되기 전의 실세계(1)의 신호)에 더 가까운 화상의 출력이 가능하게 된다.

그리고, 클래스 분류 적응 처리는, 전술한 바와 같이, SD 화상에는 포함되어 있지 않지만, HD 화상에 포함되는 성분이 재현되는 점에서, 예를 들면, 단순한 보간 처리와는 상이하다. 즉, 전술한 식(218)이나 식(226)만을 보면, 이른바 보간 필터를 사용한 보간 처리와 동일하게 보이지만, 클래스 분류 적응 처리에서는, 그 보간 필터의 계수에 상당하는 예측 계수 d_i 또는 보충 계수 g_i가, 교사 데이터와 학생 데이터(제1 교사 화상과 제1 학생 화상, 또는 제2 교사 화상과 제2 학생 화상)를 사용한 학습에 의해 구해지기 때문에, HD 화상에 포함되는 성분을 재현할 수 있다. 이로부터, 전술한 바와 같은 클래스 분류 적응 처리는, 말하자면 화상의 창조(해상도 창조) 작용이 있는 처리라고 할 수 있다.

또한, 전술한 예에서는, 공간 해상도를 향상시키는 경우를 예를 들어 설명하였으나, 클래스 분류 적응 처리에 의하면, 교사 데이터 및 학생 데이터를 바꾸어 학습을 행함으로써 얻어지는 각종의 계수를 사용함으로써, 예를 들면, S/N(Signal to Noise Ratio)의 향상이나, 흐릿한 화상의 개선, 그 외의 각종의 처리를 행할 수 있다.

즉, 예를 들면, S/N의 향상이나 흐릿한 화상의 개선을, 클래스 분류 적응 처리에 의해 행하기 위해서는, S/N이 높은 화상 데이터를 교사 데이터로 하는 동시에, 그 교사 데이터의 S/N를 저하시킨 화상(또는, 모호하게 한 화상)을 학생 데이터로서, 계수를 구하면 된다.

이상, 본 발명의 실시예로서, 도 3의 구성의 신호 처리 장치에 대하여 설명하였으나, 본 발명의 실시예는, 도 3의 예에 한정되지 않고, 다양한 형태를 취할 수 있다. 즉, 도 1의 신호 처리 장치(4)의 실시예는, 도 3의 예에 한정되지 않고, 다양한 형태를 취할 수 있다.

예를 들면, 도 3의 구성의 신호 처리 장치는, 화상인, 실세계(1)의 신호가 가지는 정상성에 따라 신호 처리를 행한다. 그러므로, 도 3의 구성의 신호 처리 장치는, 실세계(1)의 신호 중 정상성이 존재하는 부분에 대하여는, 다른 신호 처리 장치의 신호 처리에 비하여, 정밀도가 양호한 신호 처리를 실행할 수 있고, 그 결과 더 실세계(1)의 신호에 가까운 화상 데이터를 출력하는 것이 가능하게 된다.

그러나, 도 3의 구성의 신호 처리 장치는, 정상성에 따라 신호 처리를 실행하는 이상, 실세계(1)의 신호 중 명확한 정상성이 존재하지 않는 부분에 대하여는, 정상성이 존재하는 부분에 대한 처리와 동등한 정밀도로, 신호 처리를 실행할 수 없고, 그 결과, 실세계(1)의 신호에 대하여 오차를 포함하는 화상 데이터를 출력하게 된다.

그래서, 도 3의 구성의 신호 처리 장치에 대하여 또한, 정상성을 이용하지 않는 다른 신호 처리를 행하는 장치(또는, 프로그램 등)를 부가할 수 있다. 이 경우, 실세계(1)의 신호 중 정상성이 존재하는 부분에 대하여는, 도 3의 구성의 신호 처리 장치가 신호 처리를 실행하고, 실세계(1)의 신호 중 명확한 정상성이 존재하지 않는 부분에 대하여는, 부가한 다른 장치(또는, 프로그램 등)가 신호 처리를 실행하게 된다. 그리고, 이하, 이와 같은 실시예를 병용 방법이라 한다.

이하, 도 315 내지 도 328을 참조하여, 구체적인 5개의 병용 방법(이하, 각각의 병용 방법을, 제1 내지 제5 병용 방법 이라고 한다)에 대하여 설명한다.

그리고, 각 병용 방법이 적용되는 신호 처리 장치의 각 기능이 하드웨어에 의해 실현되는지, 소프트 웨어에 의해 실현되는지는 관계없다. 즉, 후술하는 도 315 내지 도 317, 도 321, 도 323, 도 325, 및 도 327의 각각의 블록도는, 하드웨어의 블록도라고 생각해도 되고, 소프트 웨어에 의한 기능 블록도라고 생각해도 된다.

도 315는, 제1 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 315의 신호 처리 장치에 있어서는, 데이터(3)(도 1)의 일례인 화상 데이터가 입력되고, 입력된 화상 데이터(입력 화상)에 따라, 후술하는 화상 처리가 행해져서 화상이 생성되고, 생성된 화상(출력 화상)이 출력된다. 즉, 도 315는, 화상 처리 장치인 신호 처리 장치(4)(도 1)의 구성을 나타낸 도면이다.

신호 처리 장치(4)에 입력된 입력 화상(데이터(3)의 일례인 화상 데이터)은, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4104)의 각각에 공급된다.

데이터 정상성 검출부(4101)는, 입력 화상으로부터 데이터 정상성을 검출하여, 검출한 정상성을 나타내는 데이터 정상성 정보를 실세계 추정부(4102) 및 화상 생성부(4103)에 공급한다.

이와 같이, 데이터 정상성 검출부(4101)는, 도 3의 데이터 정상성 검출부(101)와 기본적으로 동일한 구성과 기능을 가지는 것이다. 따라서, 데이터 정상성 검출부(4101)는, 전술한 다양한 실시예를 취할 수 있다.

단, 데이터 정상성 검출부(4101)는 또한, 주목 화소의 영역을 특정하기 위한 정보(이하, 영역 특정 정보 이라고 함)를 생성하고, 영역 검출부(4111)에 공급한다.

이 영역 특정 정보는, 특히 한정되지 않고, 데이터 정상성 정보가 생성된 후에 새롭게 생성된 정보라도 되고, 데이터 정상성 정보가 생성되는 경우와 관련하여 생성되는 정보라도 된다.

구체적으로는, 예를 들면, 영역 특정 정보로서, 추정 오차가 사용 가능하다. 즉, 예를 들면, 데이터 정상성 검출부(4101)가, 데이터 정상성 정보로서 각도를 산출하고, 또한 그 각도를 최소 자승법에 의해 연산하는 경우, 최소 자승법의 연산으로 추정 오차가 부수적으로 산출된다. 이 추정 오차를, 영역 특정 정보로서 사용 가능하다.

실세계 추정부(4102)는, 입력 화상, 및 데이터 정상성 검출부(4101)로부터 공급된 데이터 정상성 정보에 따라, 실세계(1)(도 1)의 신호를 추정한다. 즉, 실세계 추정부(4102)는, 입력 화상이 취득되었을 때 센서(2)(도 1)에 입사된, 실세계(1)의 신호인 화상을 추정한다. 실세계 추정부(4102)는, 실세계(1)의 신호의 추정의 결과를 나타낸 실세계 추정 정보를 화상 생성부(4103)에 공급한다.

이와 같이, 실세계 추정부(4102)는, 도 3의 실세계 추정부(102)와 기본적으로 동일한 구성과 기능을 가지는 것이다. 따라서, 실세계 추정부(4102)는, 전술한 다양한 실시예를 취할 수 있다.

화상 생성부(4103)는, 실세계 추정부(4102)로부터 공급된, 추정된 실세계(1)의 신호를 나타낸 실세계 추정 정보에 따라, 실세계(1)의 신호에 의해 근사한 신호를 생성하여, 생성한 신호를 셀렉터(4112)에 공급한다. 또는, 화상 생성부(4103)는, 데이터 정상성 검출부(4101)로부터 공급된 데이터 정상성 정보, 및 실세계 추 정부(4102)로부터 공급된, 추정된 실세계(1)의 신호를 나타낸 실세계 추정 정보에 따라서, 실세계(1)의 신호에 의해 근사한 신호를 생성하여, 생성한 신호를 셀렉터(4112)에 공급한다.

즉, 화상 생성부(4103)는, 실세계 추정 정보에 따라, 실세계(1)의 화상에 의해 근사한 화상을 생성하고, 셀렉터(4112)에 공급한다. 또는, 화상 생성부(4103)는, 데이터 정상성 정보, 및 실세계 추정 정보에 따라, 실세계(1)의 화상에 의해 근사한 화상을 생성하고, 셀렉터(4112)에 공급한다.

이와 같이, 화상 생성부(4103)는, 도 3의 화상 생성부(103)와 기본적으로 동일한 구성과 기능을 가지는 것이다. 따라서, 화상 생성부(4103)는, 전술한 다양한 실시예를 취할 수 있다.

화상 생성부(4104)는, 입력 화상에 대하여 소정의 화상 처리를 행하며, 화상을 생성하고, 셀렉터(4112)에 공급한다.

그리고, 화상 생성부(4104)가 실행하는 화상 처리는, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4103)가 실행하는 화상 처리와는 상이한 화상 처리라면, 특히 한정되지 않는다.

예를 들면, 화상 생성부(4104)는, 종래의 클래스 분류 적응 처리를 행할 수 있다. 이 클래스 분류 적응 처리를 실행하는 화상 생성부(4104)의 구성예가, 도 316에 나타나 있다. 그리고, 도 316의 설명, 즉, 클래스 분류 적응 처리를 실행하 는 화상 생성부(4104)의 상세한 설명에 대해서는 후술한다. 또, 클래스 분류 적응 처리에 대하여도, 도 316의 설명 시에 병행하여 설명한다.

정상 영역 검출부(4105)에는, 영역 검출부(4111), 및 셀렉터(4112)가 형성되어 있다.

영역 검출부(4111)는, 데이터 정상성 검출부(4101)로부터 공급된 영역 특정 정보에 따라, 셀렉터(4112)에 공급된 화상(주목 화소)이, 정상 영역인지, 또는 비정상 영역인지를 검출하고, 그 검출 결과를 셀렉터(4112)에 공급한다.

그리고, 영역 검출부(4111)가 실행하는 영역 검출 처리는, 특히 한정되지 않고, 예를 들면, 전술한 추정 오차가 영역 특정 정보로서 공급되는 경우, 영역 검출부(4111)는, 공급된 추정 오차가 소정의 임계값보다도 작을 때, 입력 화상의 주목 화소는 정상 영역이라고 검출하고, 한편, 공급된 추정 오차가 소정의 임계값 이상일 때, 입력 화상의 주목 화소는 비정상 영역이라고 검출한다.

셀렉터(4112)는, 영역 검출부(4111)로부터 공급된 검출 결과에 따라, 화상 생성부(4103)로부터 공급된 화상, 또는 화상 생성부(4104)로부터 공급된 화상 중 어느 하나를 선택하고, 선택한 화상을 출력 화상으로서 외부에 출력한다.

즉, 영역 검출부(4111)에 의해 주목 화소가 정상 영역으로 검출되었을 경우, 셀렉터(4112)는, 화상 생성부(4103)로부터 공급된 화상(입력 화상의 주목 화소에 있어서의, 화상 생성부(4103)에 의해 생성된 화소)을 출력 화상으로서 선택한다.

이에 비해, 영역 검출부(4111)에 의해 주목 화소가 비정상 영역으로 검출되었을 경우, 셀렉터(4112)는, 화상 생성부(4104)로부터 공급된 화상(입력 화상의 주목 화소에 있어서의, 화상 생성부(4104)에 의해 생성된 화소)을 출력 화상으로서 선택한다.

그리고, 외부의 출력되는 곳에 따라서, 셀렉터(4112)는, 화소 단위로, 출력 화상을 출력(선택한 화소마다 출력)할 수도 있고, 모든 화소의 처리가 종료될 때까지 처리된 화소를 저장하여 두었다가, 모든 화소의 처리가 종료했을 때, 모든 화소를 일괄하여(출력 화상 전체를 1단위로 하여)출력할 수도 있다.

다음에, 도 316을 참조하여, 화상 처리의 일례인 클래스 분류 적응 처리를 실행하는 화상 생성부(4104)의 상세한 것에 대하여 설명한다.

도 316에 있어서, 화상 생성부(4104)가 실행하는 클래스 분류 적응 처리는, 예를 들면, 입력 화상의 공간 해상도를 향상시키는 처리인 것으로 한다. 즉, 표준 해상도의 화상인 입력 화상을, 고해상도의 화상인 예측 화상으로 변환하는 처리인 것으로 한다.

그리고, 이하의 설명에 있어서도, 표준 해상도의 화상을, 적절히, SD(Standard Definition) 화상이라고 하고, 또한 SD 화상을 구성하는 화소를, 적절히, SD 화소라고 하기로 한다.

또, 이하의 설명에 있어서도, 고해상도의 화상을, 적절히, HD(High Definition) 화상이라고 하고, 또한 HD 화상을 구성하는 화소를, 적절히, HD 화소라고 하기로 한다.

구체적으로는, 화상 생성부(4104)가 실행하는 클래스 분류 적응 처리는, 다음과 같다.

즉, 처음에, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(HD 화상)의 HD 화소를 구하기 위하여, 주목 화소를 포함한, 그 부근에 배치되는 SD 화소(이하의 설명에 있어서도, 이와 같은 SD 화소를, 클래스 탭이라고 한다)의 특징량의 각각을 구하여, 그 특징량마다 미리 분류된 클래스를 특정한다(클래스 탭 군의 클래스 코드를 특정한다).

그리고, 미리 설정된 복수개의 계수군(각 계수군의 각각은, 소정의 1개의 클래스 코드에 대응하고 있다) 중, 특정된 클래스 코드에 대응하는 계수군을 구성하는 각 계수와 주목 화소를 포함한, 그 부근의 SD 화소(이하의 설명에 있어서도, 이와 같은 입력 화상의 SD 화소를, 예측 탭 이라고 한다. 그리고, 예측 탭은, 클래스 탭과 같을 수도 있다)를 사용하여 곱셈 및 덧셈 연산을 실행함으로써, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(HD 화상)의 HD 화소를 구하는 것이다.

보다 상세하게는, 도 1에 있어서, 화상인, 실세계(1)의 신호(광의 강도의 분포)가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다.

도 316에 있어서, 상기 입력 화상(SD 화상)은, 화상 생성부(4104) 중 영역 추출부(4121)와 영역 추출부(4125)에 각각 공급된다. 영역 추출부(4125)는, 공급된 입력 화상으로부터, 클래스 분류를 행하기 위해 필요한 클래스 탭(주목 화소(SD 화소)를 포함하는 미리 설정된 위치에 존재하는 SD 화소)를 추출하고, 패턴 검출부(4122)에 출력한다. 패턴 검출부(4122)는, 입력된 클래스 탭에 따라 입력 화상의 패턴을 검출한다.

클래스 코드 결정부(4123)는, 패턴 검출부(4122)에 의해 검출된 패턴에 따라 클래스 코드를 결정하고, 계수 메모리(4124), 및 영역 추출부(4125)에 출력한다. 계수 메모리(4124)는, 학습에 의해 미리 구해진 클래스 코드마다의 계수를 기억하고 있고, 클래스 코드 결정부(4123)로부터 입력된 클래스 코드에 대응하는 계수를 판독하고, 예측 연산부(4126)에 출력한다.

그리고, 계수 메모리(4124)의 계수의 학습 처리에 대하여는, 도 317의 학습 장치의 블록도를 참조하여 후술한다.

또, 계수 메모리(4124)에 기억되는 계수는, 후술하는 바와 같이, 예측 화상(HD 화상)을 생성할 때 사용되는 계수이다. 따라서, 이하, 계수 메모리(4124)에 기억되는 계수를 예측 계수라고 한다.

영역 추출부(4125)는, 클래스 코드 결정부(4123)로부터 입력된 클래스 코드에 따라, 센서(2)로부터 입력된 입력 화상(SD 화상)으로부터, 예측 화상(HD 화상) 을 예측 생성하는데 필요한 예측 탭(주목 화소를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 클래스 코드에 대응하여 추출하고, 예측 연산부(4126)에 출력한다.

예측 연산부(4126)는, 영역 추출부(4125)로부터 입력된 예측 탭과 계수 메모리(4124)로부터 입력된 예측 계수를 사용하여 곱셈 및 덧셈 연산을 실행하고, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(HD 화상)의 HD 화소를 생성하고, 셀렉터(4112)에 출력한다.

보다 상세하게는, 계수 메모리(4124)는, 클래스 코드 결정부(4123)로부터 공급되는 클래스 코드에 대응하는 예측 계수를, 예측 연산부(4126)에 출력한다. 예측 연산부(4126)는, 영역 추출부(4125)로부터 공급되는 입력 화상의 소정의 화소 위치의 화소값으로부터 추출된 예측 탭과 계수 메모리(4124)로부터 공급된 예측 계수를 사용하여, 다음의 식(240)에서 나타내는 곱셈 및 덧셈 연산을 실행함으로써, 예측 화상(HD 화상)의 HD 화소를 구한다(예측 추정한다).

…(240)

식(240)에 있어서, q'는, 예측 화상(HD 화상)의 HD 화소를 나타내고 있다. c_i(i는, 1 내지 n의 정수치)의 각각은, 예측 탭(SD 화소)의 각각을 나타내고 있다. 또, d_i의 각각은, 예측 계수의 각각을 나타내고 있다.

이와 같이, 화상 생성부(4104)는, SD 화상(입력 화상)으로부터, 그에 대한 HD 화상을 예측 추정하므로, 여기서는, 화상 생성부(4104)로부터 출력되는 HD 화상을, 예측 화상이라고 칭하고 있다.

도 317은, 이와 같은 화상 생성부(4104)의 계수 메모리(4124)에 기억되는 예측 계수(식(237)에 있어서의 d_i)를 결정하기 위한 학습 장치(예측 계수의 산출 장치)를 나타내고 있다.

도 317에 있어서, 소정의 화상이, 교사 화상(HD 화상)으로서 다운 컨버트부(4141)와 정규 방정식 생성부(4146)의 각각에 입력된다.

다운 컨버트부(4146)는, 입력된 교사 화상(HD 화상)으로부터, 교사 화상보다 해상도가 낮은 학생 화상(SD 화상)을 생성하고(교사 화상을 다운 컨버트 한 것을 학생 화상으로 하고), 영역 추출부(4142)와 영역 추출부(4145)의 각각에 출력한다.

이와 같이, 학습 장치(4131)에는, 다운 컨버트부(4141)가 형성되어 있으므로, 교사 화상(HD 화상)은, 센서(2)(도 1)로부터의 입력 화상보다 고해상도의 화상일 필요는 없다. 왜냐하면, 교사 화상이 다운 컨버트된(해상도가 낮아진) 학생 화상을 SD 화상으로 하면, 학생 화상에 대한 교사 화상이 HD 화상이 되기 때문이다. 따라서, 교사 화상은, 예를 들면, 센서(2)로부터의 입력 화상 그 자체가 되어도 된다.

영역 추출부(4142)는, 다운 컨버트부(4141)로부터 공급된 학생 화상(SD 화상)으로부터, 클래스 분류를 행하기 위해 필요한 클래스 탭(SD 화소)을 추출하고, 패턴 검출부(4143)에 출력한다. 패턴 검출부(4143)는, 입력된 클래스 탭의 패턴을 검출하고, 그 검출 결과를 클래스 코드 결정부(4144)에 출력한다. 클래스 코드 결정부(4144)는, 입력된 패턴에 대응하는 클래스 코드를 결정하고, 그 클래스 코드를 영역 추출부(4145), 및 정규 방정식 생성부(4146)의 각각에 출력한다.

영역 추출부(4145)는, 클래스 코드 결정부(4144)로부터 입력된 클래스 코드에 따라, 다운 컨버트부(4141)로부터 입력된 학생 화상(SD 화상)으로부터 예측 탭(SD 화소)을 추출하고, 정규 방정식 생성부(4146)에 출력한다.

그리고, 이상의 영역 추출부(4142), 패턴 검출부(4143), 클래스 코드 결정부(4144), 및 영역 추출부(4145)의 각각은, 도 316의 화상 생성부(4104)의 영역 추출부(4121), 패턴 검출부(4122), 클래스 코드 결정부(4123), 및 영역 추출부(4125)의 각각과 기본적으로 동일한 구성과 기능을 가지는 것이다.

정규 방정식 생성부(4146)는, 클래스 코드 결정부(4144)로부터 입력된 모든 클래스 코드에 대하여, 클래스 코드마다, 영역 추출부(4145)로부터 입력되는 학생 화상(SD 화상)의 예측 탭(SD 화소)과 교사 화상(HD 화상)의 HD 화소로부터 정규 방 정식을 생성하고, 계수 결정부(4147)에 공급한다.

계수 결정부(4147)는, 정규 방정식 생성부(4146)로부터 소정의 클래스 코드에 대응하는 정규 방정식이 공급되었을 때, 상기 정규 방정식로부터 예측 계수의 각각을 연산하고, 계수 메모리(4124)에 클래스 코드와 관련지어 기억시킨다.

정규 방정식 생성부(4146)와 계수 결정부(4147)에 대하여 보다 상세하게 설명한다.

전술한 식(240)에 있어서, 학습 전에는 예측 계수 d_i의 각각이 미정 계수이다. 학습은, 클래스 코드마다 복수개의 교사 화상(HD 화상)의 HD 화소를 입력함으로써 행한다. 소정의 클래스 코드에 대응하는 HD 화소가 m개 존재하고, m개의 HD 화소의 각각을, q_k(k는, 1 내지 m의 정수치)로 기술하는 경우, 식(240)으로부터, 다음의 식(241)이 설정된다.

…(241)

즉, 식(241)은, 우변의 연산을함으로써, 소정의 HD 화소 q_k를 예측 추정할 수 있는 것을 나타내고 있다. 그리고, 식(241)에 있어서, e_k는, 오차를 나타내고 있다. 즉, 우변의 연산 결과인 예측 화상(HD 화상)의 HD 화소 q_k'가, 실제의 HD 화 소 q_k와 엄밀하게는 일치하지 않고, 소정의 오차 e_k를 포함한다.

그래서, 식(241)에 있어서, 오차 e_k의 제곱합을 최소로 하는 예측 계수 d_i가 학습에 의해 구해지면, 그 예측 계수 d_i는, 실제의 HD 화소 q_k를 예측하는데 최적인 계수라고 할 수 있다.

따라서, 예를 들면, 학습에 의해 모아진 m개(단, m은, n보다 큰 정수)의 HD 화소 q_k를 사용하여, 최소 자승법에 의해 최적인 예측 계수 di를 하나로 결정할 수 있다.

즉, 식(241)의 우변의 예측 계수 d_i를 최소 자승법으로 구하는 경우의 정규 방정식은, 다음의 식(242)으로 표현된다.

…(242)

따라서, 식(242)에서 나타내는 정규 방정식이 생성되고, 그 정규 방정식을 풀면, 예측 계수 d_i가 일의적으로 결정되게 된다.

구체적으로는, 식(242)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(243) 내지 (245)와 같이 정의하면, 정규 방정식은, 다음의 식(246)과 같이 표현된다.

…(243)

…(244)

…(245)

…(246)

식(244)에서 나타낸 바와 같이, 행렬 D_MAT의 각 성분은, 구하고자 하는 예측 계수 d_i이다. 따라서, 식(246)에 있어서, 좌변의 행렬 C_MAT와 우변의 행렬 Q_MAT가 결정되고, 행렬 해법에 따라 행렬 D_MAT (즉, 예측 계수 d_i)의 산출이 가능하다.

보다 구체적으로는, 식(243)에서 나타낸 바와 같이, 행렬 C_MAT의 각 성분은, 예측 탭 c_ik가 이미 알려져 있으면 연산 가능하다. 예측 탭 c_ik는, 영역 추출부(4145)에 의해 추출되므로, 정규 방정식 생성부(4146)는, 영역 추출부(4145)로부터 공급되는 예측 탭 c_ik의 각각을 이용하여 행렬 C_MAT의 각 성분을 연산할 수 있다.

또, 식(245)에서 나타낸 바와 같이, 행렬 Q_MAT의 각 성분은, 예측 탭 c_ik와 HD 화소 q_k가 이미 알려져 있으면 연산 가능하다. 예측 탭 c_ik는, 행렬 C_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, HD 화소 q_k는, 예측 탭 c_ik에 포함되는 주목 화소(학생 화상의 SD 화소)에 대한 교사 화상의 HD 화소이다. 따라서, 정규 방정식 생성부(4146)는, 영역 추출부(4145)로부터 공급된 예측 탭 c_ik와 교사 화상을 이용하여 행렬 Q_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(4146)는, 클래스 코드마다, 행렬 C_MAT와 행렬 Q_MAT의 각 성분을 연산하고, 그 연산 결과를 클래스 코드에 대응시켜 계수 결정부(4147)에 공급한다.

계수 결정부(4147)는, 공급된 소정의 클래스 코드에 대응하는 정규 방정식에 따라, 전술한 식(246)의 행렬 D_MAT의 각 성분인 예측 계수 d_i를 연산한다.

구체적으로는, 전술한 식(246)의 정규 방정식은, 다음의 식(247)과 같이 변형할 수 있다.

…(247)

식(247)에 있어서, 좌변의 행렬 D_MAT의 각 성분이, 구하고자 하는 예측 계수 d_i이다. 또, 행렬 C_MAT와 행렬 Q_MAT의 각각의 각 성분은, 정규 방정식 생성부(4146)로부터 공급되는 것이다. 따라서, 계수 결정부(4147)는, 정규 방정식 생성부(4146)로부터 소정의 클래스 코드에 대응하는 행렬 C_MAT와 행렬 Q_MAT의 각각의 각 성분이 공급되었을 때, 식(247)의 우변의 행렬 연산을 행함으로써 행렬 D_MAT를 연산하고, 그 연산 결과(예측 계수 d_i)를 클래스 코드에 대응시켜 계수 메모리(4124)에 기억시킨다.

그리고, 클래스 분류 적응 처리는, 전술한 바와 같이, SD 화상에는 포함되어 있지 않지만, HD 화상에 포함되는 성분이 재현되는 점에서, 예를 들면, 단순한 보간 처리와는 상이하다. 즉, 적응 처리에서는, 전술한 식(240)만을 보면, 이른바 보간 필터를 사용한 보간 처리와 동일하게 보이지만, 그 보간 필터의 계수에 상당하는 예측 계수 d_i가, 교사 데이터와 학생 데이터를 사용한 학습에 의해 구해지므로, HD 화상에 포함되는 성분을 재현할 수 있다. 이로부터, 전술한 바와 같은 클래스 분류 적응 처리는, 말하자면 화상의 창조(해상도 창조)작용이 있는 처리라고 할 수 있다.

또한, 전술한 예에서는, 공간 해상도를 향상시키는 경우를 예를 들어 설명하였으나, 클래스 분류 적응 처리에 의하면, 교사 데이터 및 학생 데이터를 바꾸어 학습을 행함으로써 얻어지는 각종의 계수를 사용함으로써, 예를 들면, S/N(Signal to Noise Ratio)의 향상이나, 흐릿한 화면의 개선, 그 외의 각종의 처리를 행할 수 있다.

즉, 예를 들면, S/N의 향상이나 흐릿한 화면의 개선을, 클래스 분류 적응 처리에 의해 행하기 위해서는, S/N이 높은 화상 데이터를 교사 데이터로 하고, 또한 그 교사 데이터의 S/N을 저하시킨 화상(또는, 모호하게 한 화상)을 학생 데이터로 해서, 계수를 구하면 된다.

이상, 클래스 분류 적응 처리를 실행하는 화상 생성부(4104)와 그 학습 장치(4131)의 각각의 구성에 대하여 설명하였다.

그리고, 전술한 바와 같이, 화상 생성부(4104)는, 클래스 분류 적응 처리 이외의 화상 처리를 실행하는 구성으로 할 수도 있지만, 설명의 간략상, 이하의 설명에 있어서는, 화상 생성부(4104)의 구성은, 전술한 도 316의 구성으로 한다. 즉, 이하, 화상 생성부(4104)는, 클래스 분류 적응 처리를 실행함으로써, 입력 화상보다 공간 해상도가 높은 화상을 생성하고, 셀렉터(4112)에 공급하는 것으로 한다.

다음에, 도 318을 참조하여, 제1 병용 방법이 적용되는 신호 처리 장치(도 315)의 신호의 처리에 대하여 설명한다.

그리고, 여기서는, 데이터 정상성 검출부(4101)는, 각도(화상인, 실세계(1)(도 1)의 신호의 주목 위치에서의, 정상성의 방향(공간 방향)과 공간 방향의 1방향인 X 방향(센서(2)(도 1)의 검출 소자의 소정의 한 변과 평행한 방향)과 이루는 각도)를 최소 자승법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력하는 것으로 한다.

데이터 정상성 검출부(4101)는 또, 각도를 연산할 때 병행하여 산출되는 추정 오차(최소 자승법의 오차)를, 영역 특정 정보로서 출력하는 것으로 한다.

도 1에 있어서, 화상인, 실세계(1)의 신호가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다.

도 315에 있어서, 상기 입력 화상은, 데이터 정상성 검출부(4101), 및 실세계 추정부(4102)에 입력되고, 또한 화상 생성부(4104)에 입력된다.

그래서, 도 318의 스텝 S4101에 있어서, 화상 생성부(4104)는, 입력 화상(SD 화상)의 소정의 SD 화소를 주목 화소로서 전술한 클래스 분류 적응 처리를 실행하고, 예측 화상(HD 화상)의 HD 화소(주목 화소에 있어서의 HD 화소)를 생성하고, 셀렉터(4112)에 공급한다.

그리고, 이하, 화상 생성부(4104)로부터 출력되는 화소와 화상 생성부(4103)로부터 출력되는 화소의 각각을 구별하는 경우, 화상 생성부(4104)로부터 출력되는 화소를 제1 화소라고 하고, 화상 생성부(4103)로부터 출력되는 화소를 제2 화소라 고 한다.

또, 이하, 이와 같은 화상 생성부(4104)가 실행하는 처리(지금의 경우, 스텝 S4101의 처리)를, 「클래스 분류 적응 처리의 실행 처리」라고 한다. 이 예의 「클래스 분류 적응 처리의 실행 처리」의 상세한 것에 대하여는, 도 319의 흐름도를 참조하여 후술한다.

한편, 스텝 S4102에 있어서, 데이터 정상성 검출부(4101)는, 정상성의 방향에 대응하는 각도를 검출하고, 또한 그 추정 오차를 연산한다. 검출된 각도는, 데이터 정상성 정보로서 실세계 추정부(4102)와 화상 생성부(4103)의 각각에 공급된다. 또, 연산된 추정 오차는, 영역 특정 정보로서 영역 검출부(4111)에 공급된다.

스텝 S4103에 있어서, 실세계 추정부(4102)는, 데이터 정상성 검출부(4101)에 의해 검출된 각도와 입력 화상에 따라, 실세계(1)의 신호를 추정한다.

그리고, 전술한 바와 같이, 실세계 추정부(4102)가 실행하는 추정의 처리는, 특히 한정되지 않고, 전술한 다양한 방법을 이용할 수 있다. 여기서는, 예를 들면, 실세계 추정부(4102)는, 실세계(1)의 신호를 나타내는 함수 F(이하의 설명에 있어서도, 함수 F를 광신호 함수 F라고 한다)를, 소정의 함수 f(이하의 설명에 있어서도, 함수 f를 근사 함수 f하고 한다)에 의해 근사함으로써, 실세계(1)의 신호(광신호 함수 F)를 추정한다.

또, 여기서는, 예를 들면, 실세계 추정부(4102)는, 근사 함수 f의 특징량(계 수)을, 실세계 추정 정보로서 화상 생성부(4103)에 공급한다.

스텝 S4104에 있어서, 화상 생성부(4103)는, 실세계 추정부(4102)에 의해 추정된 실세계(1)의 신호에 따라, 화상 생성부(4104)의 클래스 분류 적응 처리에 의해 생성된 제1 화소(HD 화소)에 대응하는 제2 화소(HD 화소)를 생성하고, 셀렉터(4112)에 공급한다.

지금의 경우, 실세계 추정부(4102)로부터 근사 함수 f의 특징량(계수)이 공급되므로, 화상 생성부(4103)는, 예를 들면, 공급된 근사 함수 f의 특징량에 따라, 근사 함수 f를 소정의 적분 범위에서 적분함으로써, 제2 화소(HD 화소)를 생성한다.

단, 적분 범위는, 화상 생성부(4104)로부터 출력되는 제1 화소(HD 화소)와 동일한 크기(동일한 해상도)의 제2 화소가 생성 가능한 범위가 된다. 즉, 공간 방향에 있어서는, 적분 범위는, 지금부터 생성되는 제2 화소의 화소폭이 된다.

그리고, 스텝 S4101의 「클래스 분류 적응 처리의 실행 처리」와, 스텝 S4102 내지 S4104의 일련의 처리의 순번은, 도 318의 예에 한정되지 않고, 스텝 S4102 내지 S4104의 일련의 처리가 먼저 실행되어도 상관없고, 스텝 S4101의 「클래스 분류 적응 처리의 실행 처리」와, 스텝 S4102 내지 S4104의 일련의 처리가 동시에 실행되어도 상관없다.

스텝 S4105에 있어서, 영역 검출부(4111)는, 스텝 S4102의 처리에서 데이터 정상성 검출부(4101)에 의해 연산된 추정 오차(영역 특정 정보)에 따라, 스텝 S4104의 처리에서 화상 생성부(4103)에 의해 생성된 제2 화소(HD 화소)의 영역을 검출한다.

즉, 제2 화소는, 데이터 정상성 검출부(4101)가 주목 화소로서 사용한 입력 화상의 SD 화소에 있어서의 HD 화소이다. 따라서, 주목 화소(입력 화상의 SD 화소)와 제2 화소(HD 화소)의 영역의 종류(정상 영역, 또는 비정상 영역)는 동일하다.

또, 데이터 정상성 검출부(4101)가 출력하는 영역 특정 정보는, 주목 화소에 있어서의 각도가 최소 자승법에 의해 산출된 경우의 추정 오차이다.

그래서, 영역 검출부(4111)는, 데이터 정상성 검출부(4101)로부터 공급된 주목 화소(입력 화상의 SD 화소)에 대한 추정 오차와 미리 설정된 임계값을 비교하고, 그 비교의 결과가, 추정 오차가 임계값보다도 작은 경우, 제2 화소는 정상 영역이라고 검출하고, 한편, 추정 오차가 임계값 이상인 경우, 제2 화소는 비정상 영역이라고 검출한다. 그리고, 검출 결과는, 셀렉터(4112)에 공급된다.

이 영역 검출부(4111)의 검출 결과가 셀렉터(4112)에 공급되면, 스텝 S4106에 있어서, 셀렉터(4112)는, 검출된 영역이, 정상 영역인지 여부를 판정한다.

스텝 S4106에 있어서, 검출된 영역이, 정상 영역으로 판정한 경우, 셀렉터(4112)는, 스텝 S4107에 있어서, 화상 생성부(4103)로부터 공급된 제2 화소 를, 출력 화상으로서 외부에 출력한다.

이에 비해, 스텝 S4106에 있어서, 검출된 영역이, 정상 영역이 아니라(비정상 영역)고 판정한 경우, 셀렉터(4112)는, 스텝 S4108에 있어서, 화상 생성부(4104)로부터 공급된 제1 화소를, 출력 화상으로서 외부에 출력한다.

그 후, 스텝 S4109에 있어서, 모든 화소의 처리가 종료되었는지 여부가 판정되고, 모든 화소의 처리가 아직 종료되지 않은 것으로 판정된 경우, 그 처리는, 스텝 S4101로 되돌아온다. 즉, 모든 화소의 처리가 종료되기까지, 스텝 S4101 내지 S4109의 처리가 반복된다.

그리고, 스텝 S4109에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 그 처리는 종료된다.

이와 같이, 도 318의 흐름도의 예에 있어서는, 제1 화소(HD 화소)와 제2 화소(HD 화소)가 생성될 때마다, 출력 화상으로서 제1 화소 또는 제2 화소가 화소 단위로 출력된다.

그러나, 전술한 바와 같이, 화소 단위로 출력되는 것은 필수가 아니고, 모든 화소의 처리가 종료된 후, 출력 화상으로서, 모든 화소가 일괄 출력되어도 된다. 이 경우, 스텝 S4107과 스텝 S4108의 각각의 처리에 있어서는, 화소(제1 화소 또는 제2 화소)는 출력되지 않고, 셀렉터(4112)에 1차 저장되고, 스텝 S4109의 처리 후에, 모든 화소를 출력하는 처리가 추가 된다.

다음에, 도 319의 흐름도를 참조하여, 도 316의 구성의 화상 생성부(4104)가 실행하는 「클래스 분류 적응 처리의 실행 처리」(예를 들면, 전술한 도 318의 스텝 S4101의 처리)의 상세한 것에 대하여 설명한다.

센서(2)로부터의 입력 화상(SD 화상)이 화상 생성부(4104)에 입력되면, 스텝 S4121에 있어서, 영역 추출부(4121)와 영역 추출부(4125)의 각각은, 입력 화상을 입력한다.

스텝 S4122에 있어서, 영역 추출부(4121)는, 입력 화상 중, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1이상의 위치)의 각각에 위치하는 화소(SD 화소)를, 클래스 탭으로서 추출하고, 패턴 검출부(4122)에 공급한다.

스텝 S4123에 있어서, 패턴 검출부(4122)는, 공급된 클래스 탭의 패턴을 검출하고, 클래스 코드 결정부(4123)에 공급한다.

스텝 S4124에 있어서, 클래스 코드 결정부(4123)는, 미리 설정되어 있는 복수개의 클래스 코드 중, 공급된 클래스 탭의 패턴에 적합한 클래스 코드를 결정하고, 계수 메모리(4124)와 영역 추출부(4125)의 각각에 공급한다.

스텝 S4125에 있어서, 계수 메모리(4124)는, 공급된 클래스 코드에 따라, 미리 학습 처리에 의해 결정된 복수개의 예측 계수(군) 중, 지금부터 사용하는 예측 계수(군)를 판독하고, 예측 연산부(4126)에 공급한다.

그리고, 학습 처리에 대하여는, 도 320의 흐름도를 참조하여 후술한다.

스텝 S4126에 있어서, 영역 추출부(4125)는, 공급된 클래스 코드에 대응하여, 입력 화상 중, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1이상의 위치에서 있어, 클래스 탭의 위치와는 독립적으로 설정된 위치. 단, 클래스 탭의 위치와 동일한 위치라도 된다)의 각각에 위치하는 화소(SD 화소)를, 예측 탭으로서 추출하고, 예측 연산부(4126)에 공급한다.

스텝 S4127에 있어서, 예측 연산부(4126)는, 영역 추출부(4125)로부터 공급된 예측 탭을, 계수 메모리(4124)로부터 공급된 예측 계수를 사용하여 연산하고, 예측 화상(제1 화소)을 생성하여 외부(도 315의 예에서는, 셀렉터(4112))에 출력한다.

구체적으로는, 예측 연산부(4126)는, 영역 추출부(4125)로부터 공급된 예측 탭의 각각을 c_i(i는, 1 내지 n 중 어느 하나의 정수)로 하고, 또한 계수 메모리(4124)로부터 공급된 예측 계수의 각각을 d_i로서 전술한 식(240)의 우변을 연산함으로써, 주목 화소(SD 화소)에 있어서의 HD 화소 q'를 산출하고, 그것을 예측 화상(HD 화상)의 소정의 1개의 화소(제1 화소)로서 외부에 출력한다. 그 후, 처리는 종료된다.

다음에, 도 320의 흐름도를 참조하여, 화상 생성부(4104)에 대한 학습 장치(4131)(도 317)가 실행하는 학습 처리(화상 생성부(4104)가 사용하는 예측 계 수를 학습에 의해 생성하는 처리)에 대하여 설명한다.

스텝 S4141에 있어서, 다운 컨버트부(4141)와 정규 방정식 생성부(4146)의 각각은, 공급된 소정의 화상을, 교사 화상(HD 화상)으로서 입력한다.

스텝 S4142에 있어서, 다운 컨버트부(4141)는, 입력된 교사 화상을 다운 컨버트하고(해상도를 저하시키고) 학생 화상(SD 화상)을 생성하고, 영역 추출부(4142)와 영역 추출부(4145)의 각각에 공급한다.

스텝 S4143에 있어서, 영역 추출부(4142)는, 공급된 학생 화상으로부터 클래스 탭을 추출하여 패턴 검출부(4143)에 출력한다. 그리고, 스텝 S4143의 처리는, 전술한 스텝 S4122(도 319)의 처리와 기본적으로 동일한 처리이다.

스텝 S4144에 있어서, 패턴 검출부(4143)는, 공급된 클래스 탭으로부터 클래스 코드를 결정하기 위한 패턴을 검출하고, 클래스 코드 결정부(4144)에 공급한다. 그리고, 스텝 S4144의 처리는, 전술한 스텝 S4123(도 319)의 처리와 기본적으로 동일한 처리이다.

스텝 S4145에 있어서, 클래스 코드 결정부(4144)는, 공급된 클래스 탭의 패턴에 따라 클래스 코드를 결정하고, 영역 추출부(4145)와 정규 방정식 생성부(4146)의 각각에 공급한다. 그리고, 스텝 S4145의 처리는, 전술한 스텝 S4124(도 319)의 처리와 기본적으로 동일한 처리이다.

스텝 S4146에 있어서, 영역 추출부(4145)는, 공급된 클래스 코드에 대응하여, 학생 화상 중 예측 탭을 추출하고, 정규 방정식 생성부(4146)에 공급한다. 그리고, 스텝 S4146의 처리는, 전술한 스텝 S4126(도 319)의 처리와 기본적으로 동일한 처리이다.

스텝 S4147에 있어서, 정규 방정식 생성부(4146)는, 영역 추출부(4145)로부터 공급된 예측 탭(SD 화소), 및 교사 화상(HD 화상)의 소정의 HD 화소로부터, 전술한 식(242)(즉, 식(243))에서 나타내는 정규 방정식을 생성하고, 생성한 정규 방정식과 클래스 코드 결정부(4144)로부터 공급된 클래스 코드를 관련지어 계수 결정부(4147)에 공급한다.

스텝 S4148에 있어서, 계수 결정부(4147)는, 공급된 정규 방정식을 풀어서 예측 계수를 결정하고, 즉, 전술한 식(247)의 우변을 연산함으로써 예측 계수를 산출하고, 공급된 클래스 코드에 대응시켜 계수 메모리(4124)에 기억시킨다.

그 후, 스텝 S4149에 있어서, 모든 화소에 대하여 처리되었는지 여부가 판정되고, 모든 화소에 대하여 처리가 되어 있지 않은 것으로 판정된 경우, 그 처리는, 스텝 S4143으로 되돌아온다. 즉, 모든 화소의 처리가 종료 되기까지, 스텝 S4143 내지 S4149의 처리가 반복된다.

그리고, 스텝 S4149에 있어서, 모든 화소에 대하여 처리가 되었다고 판정된 경우, 처리는 종료된다.

다음에, 도 321과 도 322를 참조하여, 제2 병용 방법에 대하여 설명한다.

도 321은, 제2 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 321에 있어서, 제1 병용 방법이 적용되는 신호 처리 장치(도 315)와 대응하는 부분에는, 대응하는 부호가 부여되고 있다.

도 315의 구성예(제1 병용 방법)에 있어서는, 영역 특정 정보는, 데이터 정상성 검출부(4101)로부터 출력되고, 영역 검출부(4111)에 입력되고 있었지만, 도 321의 구성예(제2 병용 방법)에 있어서는, 영역 특정 정보는, 실세계 추정부(4102)로부터 출력되고, 영역 검출부(4111)에 입력된다.

상기 영역 특정 정보는, 특히 한정되지 않고, 실세계 추정부(4102)가 실세계(1)(도 1)의 신호를 추정한 후에 새롭게 생성된 정보라도 되고, 실세계(1)의 신호가 추정되는 경우와 관련되어 생성되는 정보라도 된다.

구체적으로는, 예를 들면, 영역 특정 정보로서, 추정 오차가 사용 가능하다.

여기서, 추정 오차에 대하여 설명한다.

전술한 바와 같이, 데이터 정상성 검출부(4101)로부터 출력되는 추정 오차(도 315의 영역 특정 정보)는, 예를 들면, 데이터 정상성 검출부(4101)로부터 출력되는 데이터 정상성 정보가 각도이며, 또한 그 각도가 최소 자승법에 의해 연산되는 경우, 그 최소 자승법의 연산에 의해 부차적으로 산출되는 추정 오차이다.

이에 비해, 실세계 추정부(4102)로부터 출력되는 추정 오차(도 321의 영역 특정 정보)는, 예를 들면, 맵핑 오차이다.

즉, 실세계 추정부(4102)에 의해 실세계(1)의 신호가 추정되어 있으므로, 추정된 실세계(1)의 신호로부터 임의의 크기의 화소를 생성할 수 있다(화소값을 연산할 수 있다). 여기서는, 이와 같이, 새로운 화소를 생성하는 것을, 맵핑이라고 칭하고 있다.

따라서, 실세계 추정부(4102)는, 실세계(1)의 신호를 추정한 후, 그 추정한 실세계(1)의 신호로부터, 입력 화상의 주목 화소(실세계(1)이 추정되는 경우에 주목 화소로서 사용된 화소)가 배치되어 있던 위치에서의 새로운 화소를 생성한다(맵핑한다). 즉, 실세계 추정부(4102)는, 추정한 실세계(1)의 신호로부터, 입력 화상의 주목 화소의 화소값을 예측 연산한다.

그리고, 실세계 추정부(4102)는, 맵핑한 새로운 화소의 화소값(예측한 입력 화상의 주목 화소의 화소값)과 실제의 입력 화상의 주목 화소의 화소값의 차분을 연산한다. 상기 차분을, 여기서는, 맵핑 오차라고 칭하고 있다.

이와 같이 하여 실세계 추정부(4102)는, 맵핑 오차(추정 오차)를 연산함으로써, 연산한 맵핑 오차(추정 오차)를, 영역 특정 정보로서 영역 검출부(4111)에 공급할 수 있다.

그리고, 영역 검출부(4111)가 실행하는 영역 검출의 처리는, 전술한 바와 같이, 특히 한정되지 않지만, 예를 들면, 실세계 추정부(4102)가, 전술한 맵핑 오차( 추정 오차)를 영역 특정 정보로서 영역 검출부(4111)에 공급하는 경우, 영역 검출부(4111)는, 공급된 맵핑 오차(추정 오차)가 소정의 임계값보다도 작을 때, 입력 화상의 주목 화소는 정상 영역으로서 검출하고, 한편, 공급된 맵핑 오차(추정 오차)가 소정의 임계값 이상일 때, 입력 화상의 주목 화소는 비정상 영역으로서 검출한다.

그 외의 구성은, 도 315와 기본적으로 동일하다. 즉, 제2 병용 방법이 적용되는 신호 처리 장치(도 321)에 있어서도, 제1 병용 방법이 적용되는 신호 처리 장치(도 315)와 기본적으로 동일한 구성과 기능을 가지는, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 화상 생성부(4103), 화상 생성부(4104), 및 정상 영역 검출부(4105)(영역 검출부(4111) 및 셀렉터(4112))가 형성되어 있다.

도 322는, 도 321의 구성의 신호 처리 장치의 신호의 처리(제2 병용 방법의 신호의 처리)를 설명하는 흐름도이다.

제2 병용 방법의 신호의 처리는, 제1 병용 방법의 신호의 처리(도 318의 흐름도에서 나타내는 처리)와 유사한다. 그래서, 여기서는, 제1 병용 방법에 있어서 설명한 처리에 대하여는, 그 설명을 적절히 생략하고, 이하, 도 322의 흐름도를 참조하여, 제1 병용 방법과는 상이한 제2 병용 방법의 신호의 처리를 중심으로 설명한다.

그리고, 여기서는, 데이터 정상성 검출부(4101)는, 제1 병용 방법과 마찬가 지로, 각도(실세계(1)(도 1)의 신호의 주목 위치에서의, 정상성의 방향(공간 방향)과 공간 방향의(1)방향인 X 방향(센서(2)(도 1)의 검출 소자의 소정의 한 변과 평행한 방향)이 이루는 각도)를 최소 자승법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력한다.

단, 전술한 바와 같이, 제1 병용 방법에 있어서는, 데이터 정상성 검출부(4101)가 영역 특정 정보(예를 들면, 추정 오차)를 영역 검출부(4111)에 공급하고 있었는데 대하여, 제2 병용 방법에 있어서는, 실세계 추정부(4102)가 영역 특정 정보(예를 들면, 추정 오차(맵핑 오 차)를 영역 검출부(4111)에 공급한다.

따라서, 제2 병용 방법에 있어서는, 데이터 정상성 검출부(4101)의 처리로서, 스텝 S4162의 처리가 실행된다. 이 처리는, 제1 병용 방법에 있어서의, 도 318의 스텝 S4102의 처리에 해당한다. 즉, 스텝 S4162에 있어서, 데이터 정상성 검출부(4101)는, 입력 화상에 따라, 정상성의 방향에 대응하는 각도를 검출하고, 검출한 각도를 데이터 정상성 정보로서, 실세계 추정부(4102)로 화상 생성부(4103)의 각각에 공급한다.

또, 제2 병용 방법에 있어서는, 실세계 추정부(4102)의 처리로서, 스텝 S4163의 처리가 실행된다. 이 처리는, 제1 병용 방법에 있어서의, 도 318의 스텝 S4103의 처리에 해당한다. 즉, 스텝 S4163에 있어서, 실세계 추정부(4102)는, 스텝 S4162의 처리에서 데이터 정상성 검출부(4101)에 의해 검출된 각도로 따라서, 실세계(1)(도 1)의 신호를 추정하고, 또한 추정된 실세계(1)의 신호의 추정 오차, 즉, 맵핑 오차를 연산하고, 그것을 영역 특정 정보로서 영역 검출부(4111)에 공급한다.

그 외의 처리는, 제1 병용 방법의 대응하는 처리(도 318의 흐름도에서 나타내는 처리 중 대응하는 처리)와 기본적으로 동일하므로, 그 설명은 생략한다.

다음에, 도 323와 도 324를 참조하여, 제3 병용 방법에 대하여 설명한다.

도 323은, 제3 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 323에 있어서, 제1 병용 방법이 적용되는 신호 처리 장치(도 315)와 대응하는 부분에는, 대응하는 부호가 부여되고 있다.

도 315의 구성예(제1 병용 방법)에 있어서는, 정상 영역 검출부(4105)는, 화상 생성부(4103)와 화상 생성부(4104)의 후단에 설치되어 있었지만, 도 323의 구성예(제3 병용 방법)에 있어서는, 그에 대응하는 정상 영역 검출부(4161)가, 데이터 정상성 검출부(4101)의 후단이며, 실세계 추정부(4102)와 화상 생성부(4104)의 전단에 설치되어 있다.

이와 같은 설치 위치의 차이에 의하여, 제1 병용 방법에 있어서의 정상 영역 검출부(4105)와 제3 병용 방법에 있어서의 정상 영역 검출부(4161)는 약간 차이가 있다. 그래서, 이 차이를 중심으로, 정상 영역 검출부(4161)에 대하여 설명한다.

정상 영역 검출부(4161)에는, 영역 검출부(4171)와 실행 지령 생성부(4172)가 형성되어 있다. 이 중에서, 영역 검출부(4171)는, 정상 영역 검출부(4105)의 영역 검출부(4111)(도 315)와 기본적으로 동일한 구성과 기능을 가지고 있다. 한편, 실행 지령 생성부(4172)의 기능은, 정상 영역 검출부(4105)의 셀렉터(4112)(도 315)의 기능과 약간 차이가 있다.

즉, 전술한 바와 같이, 제1 병용 방법에 있어서의 셀렉터(4112)는, 영역 검출부(4111)의 검출 결과에 따라, 화상 생성부(4103)로부터의 화상과, 화상 생성부(4104)로부터의 화상 중 어느 하나를 선택하고, 선택한 화상을 출력 화상으로서 출력한다. 이와 같이, 셀렉터(4112)는, 영역 검출부(4111)의 검출 결과 외에, 화상 생성부(4103)로부터의 화상과, 화상 생성부(4104)로부터의 화상을 입력하고, 출력 화상을 출력한다.

한편, 제3 병용 방법에 있어서의 실행 지령 생성부(4172)는, 영역 검출부(4171)의 검출 결과에 따라, 입력 화상의 주목 화소(데이터 정상성 검출부(4101))가 주목 화소로 한 화소)에 있어서의 새로운 화소의 생성 처리를 실행하는 것은, 화상 생성부(4103)인지 화상 생성부(4104)인지를 선택한다.

즉, 영역 검출부(4171)가, 입력 화상의 주목 화소는 정상 영역이라는 검출 결과를 실행 지령 생성부(4172)에 공급한 경우, 실행 지령 생성부(4172)는, 화상 생성부(4103)를 선택하고, 실세계 추정부(4102)에 대하여, 그 처리의 실행을 개시 시키는 지령(이와 같은 지령을, 이하, 실행 지령 이라고 한다)을 공급한다. 그러면, 실세계 추정부(4102)가, 그 처리를 개시하고, 실세계 추정 정보를 생성하고, 화상 생성부(4103)에 공급한다. 화상 생성부(4103)는, 공급된 실세계 추정 정보(필요에 따라, 거기에 더하여 데이터 정상성 검출부(4101)로부터 공급된 데이터 정상성 정보)에 따라 새로운 화상을 생성하고, 그것을 출력 화상으로서 외부에 출력한다.

이에 비해, 영역 검출부(4171)가, 입력 화상의 주목 화소는 비정상 영역이라는 검출 결과를 실행 지령 생성부(4172)에 공급한 경우, 실행 지령 생성부(4172)는, 화상 생성부(4104)를 선택하고, 화상 생성부(4104)에 대하여 실행 지령을 공급한다. 그러면, 화상 생성부(4104)가, 그 처리를 개시하고, 입력 화상에 대하여 소정의 화상 처리(지금의 경우, 클래스 분류 적응 처리)를 행하여, 새로운 화상을 생성하고, 그것을 출력 화상으로서 외부에 출력한다.

이와 같이, 제3 병용 방법에 있어서의 실행 지령 생성부(4172)는, 영역 검출부(4171)의 검출 결과를 입력하고, 실행 지령을 출력한다. 즉, 실행 지령 생성부(4172)는, 화상을 입출력하지 않는다.

그리고, 정상 영역 검출부(4161) 이외의 구성은, 도 315와 기본적으로 동일하다. 즉, 제2 병용 방법이 적용되는 신호 처리 장치(도 323의 신호 처리 장치)에 있어서도, 제1 병용 방법이 적용되는 신호 처리 장치(도 315)와 기본적으로 동일한 구성과 기능을 가지는, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 화상 생성부(4103), 및 화상 생성부(4104)가 형성되어 있다.

단, 제3 병용 방법에 있어서는, 실세계 추정부(4102)와 화상 생성부(4104)의 각각은, 실행 지령 생성부(4172)로부터의 실행 지령이 입력되지 않으면, 그 처리를 실행하지 않는다.

그런데, 도 323의 예에서는, 화상의 출력 단위는 화소 단위로 되어 있다. 그래서, 도시는 하지 않지만, 출력 단위를 1프레임의 화상 전체로 하기 위해(모든 화소를 일괄하여 출력하기 위해), 예를 들면, 화상 생성부(4103)와 화상 생성부(4104)의 후단에, 화상 합성부를 추가로 설치할 수도 있다.

상기 화상 합성부는, 화상 생성부(4103)로부터 출력된 화소값과 화상 생성부(4104)로부터 출력된 화소값을 가산하고(합성하고), 가산한 값을 대응하는 화소의 화소값으로 한다. 이 경우, 화상 생성부(4103)와 화상 생성부(4104) 중, 실행 지령이 공급되어 있지 않는 쪽은, 그 처리를 실행하지 않고, 소정의 일정값(예를 들면, 0)을 화상 합성부에 항상 공급한다.

화상 합성부는, 이와 같은 처리를 모든 화소에 대하여 반복 실행하고, 모든 화소의 처리를 종료하면, 모든 화소를 일괄하여 (1프레임의 화상 데이터로서) 외부에 출력한다.

다음에, 도 324의 흐름도를 참조하여, 제3 병용 방법이 적용되는 신호 처리 장치(도 323)의 신호의 처리에 대하여 설명한다.

그리고, 여기서는, 제1 병용 방법과 마찬가지로, 데이터 정상성 검출부(4101)는, 각도(실세계(1)(도 1)의 신호의 주목 위치에서의, 정상성의 방향(공간 방향)과 공간 방향의 1방향인 X 방향(센서(2)(도 1)의 검출 소자의 소정의 한 변과 평행한 방향)이 이루는 각도)를 최소 자승법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력한다.

데이터 정상성 검출부(4101)는 또, 각도를 연산할 때 병행하여 산출되는 추정 오차(최소 자승법의 오차)를, 영역 특정 정보로서 출력한다.

도 1에 있어서, 실세계(1)의 신호가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다.

도 323에 있어서, 상기 입력 화상은, 화상 생성부(4104)에 입력되고, 또한 데이터 정상성 검출부(4101), 및 실세계 추정부(4102)에도 입력된다.

그래서, 도 324의 스텝 S4181에 있어서, 데이터 정상성 검출부(4101)는, 입력 화상에 따라, 정상성의 방향에 대응하는 각도를 검출하고, 또한 그 추정 오차를 연산한다. 검출된 각도는, 데이터 정상성 정보로서 실세계 추정부(4102)와 화상 생성부(4103)의 각각에 공급된다. 또, 연산된 추정 오차는, 영역 특정 정보로서 영역 검출부(4171)에 공급된다.

그리고, 스텝 S4181의 처리는, 전술한 스텝 S4102(도 318)의 처리와 기본적 으로 동일한 처리이다.

또, 전술한 바와 같이, 지금의 시점에 있어서는(실행 지령 생성부(4172)로부터 실행 지령이 공급되지 않는 한), 실세계 추정부(4102)도 화상 생성부(4104)도 그 처리를 실행하지 않는다.

스텝 S4182에 있어서, 영역 검출부(4171)는, 데이터 정상성 검출부(4101)에 의해 연산된 추정 오차(공급된 영역 특정 정보)에 따라, 입력 화상의 주목 화소(데이터 정상성 검출부(4101)가 각도를 검출하는 경우에 주목 화소가 되는 화소)의 영역을 검출하고, 그 검출 결과를 실행 지령 생성부(4172)에 공급한다. 그리고, 스텝 S4182의 처리는, 전술한 스텝 S4105(도 318)의 처리와 기본적으로 동일한 처리이다.

영역 검출부(4171)의 검출 결과가 실행 지령 생성부(4172)에 공급되면, 스텝 S4183에 있어서, 실행 지령 생성부(4172)는, 검출된 영역이, 정상 영역인지의 여부를 판정한다. 그리고, 스텝 S4183의 처리는, 전술한 스텝 S4106(도 318)의 처리와 기본적으로 동일한 처리이다.

스텝 S4183에 있어서, 검출된 영역이 정상 영역이 아닌 것으로 판정한 경우, 실행 지령 생성부(4172)는, 실행 지령을 화상 생성부(4104)에 공급한다. 그러면, 화상 생성부(4104)는, 스텝 S4184에 있어서, 「클래스 분류 적응 처리의 실행 처리」를 실행하여, 제1 화소(주목 화소(입력 화상의 SD 화소)에 있어서의 HD 화소)를 생성하고, 스텝 S4185에 있어서, 클래스 분류 적응 처리에 의해 생성된 제1 화소를, 출력 화상으로서 외부에 출력한다.

그리고, 스텝 S4184의 처리는, 전술한 스텝 S4101(도 318)의 처리와 기본적으로 동일한 처리이다. 즉, 도 319의 흐름도는, 스텝 S4184의 처리의 상세한 것을 설명하는 흐름도이기도 하다.

이에 비해, 스텝 S4183에 있어서, 검출된 영역이 정상 영역으로 판정한 경우, 실행 지령 생성부(4172)는, 실행 지령을 실세계 추정부(4102)에 공급한다. 그러면, 스텝 S4186에 있어서, 실세계 추정부(4102)는, 데이터 정상성 검출부(4101)에 의해 검출된 각도와 입력 화상에 따라, 실세계(1)의 신호를 추정한다. 그리고, 스텝 S4186의 처리는, 전술한 스텝 S4103(도 318)의 처리와 기본적으로 동일한 처리이다.

그리고, 화상 생성부(4103)는, 스텝 S4187에 있어서, 실세계 추정부(4102)에 의해 추정된 실세계(1)의 신호에 따라, 검출된 영역(즉, 입력 화상의 주목 화소(SD 화소))에 있어서의 제2 화소(HD 화소)를 생성하고, 스텝 S4188에 있어서, 상기 제2 화소를 출력 화상으로서 출력한다. 그리고, 스텝 S4187의 처리는, 전술한 스텝 S4104(도 318)의 처리와 기본적으로 동일한 처리이다.

제1 화소 또는 제2 화소가 출력 화상으로서 출력되면(스텝 S4185, 또는 스텝 S4188의 처리 후에), 스텝 S4189에 있어서, 모든 화소의 처리가 종료되었는지의 여 부가 판정되고, 모든 화소의 처리가 아직 종료되지 않은 것으로 판정된 경우, 그 처리는, 스텝 S4181로 되돌아온다. 즉, 모든 화소의 처리가 종료되기까지, 스텝 S4181 내지 S4189의 처리가 반복된다.

그리고, 스텝 S4189에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 그 처리는 종료된다.

이와 같이, 도 324의 흐름도의 예에 있어서는, 제1 화소(HD 화소)와 제2 화소(HD 화소)가 생성될 때마다, 출력 화상으로서 제1 화소 또는 제2 화소가 화소 단위로 출력된다.

그러나, 전술한 바와 같이, 도 323의 구성의 신호 처리 장치의 최종단(화상 생성부(4103)와 화상 생성부(4104)의 후단)에 화상 합성부(도시하지 않음)를 추가로 설치하면, 모든 화소의 처리가 종료된 후, 출력 화상으로서, 모든 화소를 일괄하여 출력하는 것이 가능하게 된다. 이 경우, 스텝 S4185와 스텝 S4188의 각각에 처리에 있어서는, 화소(제1 화소 또는 제2 화소)는 외부가 아닌 화상 합성부에 출력된다. 그리고, 스텝 S4189의 처리 전에, 화상 합성부가, 화상 생성부(4103)로부터 공급되는 화소의 화소값과 화상 생성부(4104)로부터 공급되는 화소의 화소값을 합성하여, 출력 화상의 화소를 생성하는 처리와, 스텝 S4189의 처리 후에, 화상 합성부가, 모든 화소를 출력하는 처리가 추가된다.

다음에, 도 325로 도 326을 참조하여, 제4 병용 방법에 대하여 설명한다.

도 325는, 제4 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 325에 있어서, 제3 병용 방법이 적용되는 신호 처리 장치(도 323)와 대응하는 부분에는, 대응하는 부호가 부여되어 있다.

도 323의 구성예(제3 병용 방법)에 있어서는, 영역 특정 정보는, 데이터 정상성 검출부(4101)로부터 출력되고, 영역 검출부(4171)에 입력되고 있었지만, 도 325의 구성예(제4 병용 방법)에 있어서는, 영역 특정 정보는, 실세계 추정부(4102)로부터 출력되고 영역 검출부(4171)에 입력된다.

그 외의 구성은, 도 323와 기본적으로 동일하다. 즉, 제4 병용 방법이 적용되는 신호 처리 장치(도 325)에 있어서도, 제3 병용 방법이 적용되는 신호 처리 장치(도 323)와 기본적으로 동일한 구성과 기능을 가지는, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 화상 생성부(4103), 화상 생성부(4104), 및 정상 영역 검출부(4161)(영역 검출부(4171) 및 실행 지령 생성부(4172))가 형성되어 있다.

그리고, 제3 병용 방법과 마찬가지로, 도시는 하지 않지만, 모든 화소를 일괄하여 출력하기 위하여, 예를 들면, 화상 생성부(4103)와 화상 생성부(4104)의 후단에, 화상 합성부를 추가로 설치할 수도 있다.

도 326은, 도 325의 구성의 신호 처리 장치의 신호의 처리(제4 병용 방법의 신호의 처리)를 설명하는 흐름도이다.

제4 병용 방법의 신호의 처리는, 제3 병용 방법의 신호의 처리(도 324의 흐름도에서 나타내는 처리)와 유사한다. 그래서, 여기서는, 제3 병용 방법에 있어서 설명한 처리에 대하여는, 그 설명을 적절히 생략하고, 이하, 도 326의 흐름도를 참조하여, 제3 병용 방법과는 상이한 제4 병용 방법의 신호의 처리를 중심으로 설명한다.

그리고, 여기서는, 데이터 정상성 검출부(4101)는, 제3 병용 방법과 마찬가지로, 각도(실세계(1)(도 1)의 신호의 주목 위치에서의, 정상성의 방향(공간 방향)과 공간 방향의 1방향인 X 방향(센서(2)(도 1)의 검출 소자의 소정의 한 변과 평행한 방향)이 이루는 각도)를 최소 자승법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력한다.

단, 전술한 바와 같이, 제3 병용 방법에 있어서는, 데이터 정상성 검출부(4101)가 영역 특정 정보(예를 들면, 추정 오차)를 영역 검출부(4171)에 공급하고 있었는데 비하여, 제4 병용 방법에 있어서는, 실세계 추정부(4102)가 영역 특정 정보(예를 들면, 추정 오차(맵핑 오 차))를 영역 검출부(4171)에 공급한다.

따라서, 제4 병용 방법에 있어서는, 데이터 정상성 검출부(4101)의 처리로서, 스텝 S4201의 처리가 실행된다. 이 처리는, 제3 병용 방법에 있어서의, 도 324의 스텝 S4181의 처리에 해당한다. 즉, 스텝 S4201에 있어서, 데이터 정상 성 검출부(4101)는, 입력 화상에 따라, 정상성의 방향에 대응하는 각도를 검출하고, 검출한 각도를 데이터 정상성 정보로서, 실세계 추정부(4102)와 화상 생성부(4103)의 각각에 공급한다.

또, 제4 병용 방법에 있어서는, 실세계 추정부(4102)의 처리로서, 스텝 S4202의 처리가 실행된다. 이 처리는, 제3 병용 방법에 있어서의, 도 318의 스텝 S4182의 처리에 해당한다. 즉, 실세계 추정부(4102)는, 스텝 S4202의 처리에서 데이터 정상성 검출부(4101)에 의해 검출된 각도에 따라서, 실세계(1)(도 1)의 신호를 추정하는 동시에 추정된 실세계(1)의 신호의 추정 오차, 즉, 맵핑 오차를 연산하고, 그것을 영역 특정 정보로서 영역 검출부(4171)에 공급한다.

그 외의 처리는, 제3 병용 방법의 대응하는 처리(도 324의 흐름도에서 나타내는 처리 중 대응하는 처리)와 기본적으로 동일하므로, 그 설명은 생략한다.

다음에, 도 327과 도 328을 참조하여, 제5 병용 방법에 대하여 설명한다.

도 327은, 제5 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 327에 있어서, 제3 및 제4 병용 방법이 적용되는 신호 처리 장치(도 323과 도 325)와 대응하는 부분에는, 대응하는 부호가 부여되고 있다.

도 323의 구성예(제3 병용 방법)에 있어서는, 데이터 정상성 검출부(4101)의 후단이며, 실세계 추정부(4102)와 화상 생성부(4104)의 전단에, 1개의 정상 영역 검출부(4161)가 설치되어 있다.

또, 도 325의 구성예(제4 병용 방법)에 있어서는, 실세계 추정부(4102)의 후단이며, 화상 생성부(4103)와 화상 생성부(4104)의 전단에, 1개의 정상 영역 검출부(4161)가 설치되어 있다.

이들에 비해, 도 327의 구성예(제5 병용 방법)에 있어서는, 제3 병용 방법과 마찬가지로, 데이터 정상성 검출부(4101)의 후단이며, 실세계 추정부(4102)와 화상 생성부(4104)의 전단에, 정상 영역 검출부(4181)가 설치되어 있다. 또한, 제4 병용 방법과 마찬가지로, 실세계 추정부(4102)의 후단이며, 화상 생성부(4103)와 화상 생성부(4104)의 전단에, 정상 영역 검출부(4182)가 설치되어 있다.

정상 영역 검출부(4181)와 정상 영역 검출부(4182)의 각각은, 정상 영역 검출부(4161)(도 323 또는 도 325)와 기본적으로 동일한 구성과 기능을 가지고 있다. 즉, 영역 검출부(4191)와 영역 검출부(4201)은 모두, 영역 검출부(4171)와 기본적으로 동일한 구성과 기능을 가지고 있다. 또, 실행 지령 생성부(4192)와 실행 지령 생성부(4202)는 모두, 실행 지령 생성부(4172)와 기본적으로 동일한 구성과 기능을 가지고 있다.

환언하면, 제5 병용 방법은, 제3 병용 방법과 제4 병용 방법을 조합한 것이다.

즉, 제3 병용 방법이나 제4 병용 방법에 있어서는, 1개의 영역 특정 정보( 제3 병용 방법에 있어서는, 데이터 정상성 검출부(4101)로부터의 영역 특정 정보이며, 제4 병용 방법에 있어서는, 실세계 추정부(4102)로부터의 영역 특정 정보이다)에 따라서, 입력 화상의 주목 화소가 정상 영역인지 비정상 영역인지가 검출된다. 따라서, 제3 병용 방법이나 제4 병용 방법에서는, 본래, 비정상 영역임에도 불구하고, 정상 영역으로 검출될 우려가 있다.

그래서, 제5 병용 방법에 있어서는, 처음에 데이터 정상성 검출부(4101)로부터의 영역 특정 정보(제5 병용 방법의 설명에 있어서는, 제1 영역 특정 정보라고 한다)에 따라, 입력 화상의 주목 화소가 정상 영역인지 비정상 영역인지가 검출된 후, 또한 실세계 추정부(4102)로부터의 영역 특정 정보(제5 병용 방법의 설명에 있어서는, 제2 영역 특정 정보라고 한다)에 따라, 입력 화상의 주목 화소가 정상 영역인지 비정상 영역인지가 검출된다.

이와 같이, 제5 병용 방법에 있어서는, 영역의 검출의 처리가 2회 행해지므로, 제3 병용 방법이나 제4 병용 방법과 비교하여, 정상 영역의 검출 정밀도가 높아지게 된다. 또한, 제1 병용 방법이나 제2 병용 방법에 있어서도, 제3 병용 방법이나 제4 병용 방법과 마찬가지로, 1개의 정상 영역 검출부(4105)(도 315 또는 도 321)밖에 설치되어 있지 않다. 따라서, 제1 병용 방법이나 제2 병용 방법과 비교하여도, 정상 영역의 검출 정밀도가 높아지게 된다. 그 결과, 제1 내지 제4 병용 방법 중 어느 하나보다 실세계(1)(도 1)의 신호에 가까운 화상 데이터를 출력하는 것이 가능하게 된다.

단, 제1 내지 제4 병용 방법에서도, 종래의 화상 처리를 행하는 화상 생성부(4104)와 본 발명이 적용되는 데이터 정상성을 이용하여 화상을 생성하는 장치 또는 프로그램 등(즉, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4103))을 병용하고 있는 것에는 변화는 없다.

따라서, 제1 내지 제4 병용 방법에서도, 종래의 신호 처리 장치나, 도 3의 구성의 본 발명의 신호 처리 중 어느 하나보다 실세계(1)(도 1)의 신호에 가까운 화상 데이터를 출력하는 것이 가능하게 된다.

한편, 처리 속도의 관점으로부터는, 제1 내지 제4 병용 방법에 있어서는, 영역의 검출의 처리가 1회만으로 끝나므로, 영역의 검출의 처리를 2회 행하는 제5 병용 방법보다 우수하게 된다.

따라서, 사용자(또는 제조자) 등은, 필요한 출력 화상의 품질과 필요한 처리 시간(출력 화상이 출력되기까지의 시간)에 합치한 병용 방법을 선택적으로 이용할 수 있다.

그리고, 도 327에 있어서의 그 외의 구성은, 도 323, 또는 도 325와 기본적으로 동일하다. 즉, 제5 병용 방법이 적용되는 신호 처리 장치(도 327)에 있어서도, 제3 또는 제4 병용 방법이 적용되는 신호 처리 장치(도 323, 또는 도 325)와 기본적으로 동일한 구성과 기능을 가지는, 데이터 정상성 검출부(4101), 실세계 추 정부(4102), 화상 생성부(4103), 및 화상 생성부(4104)가 형성되어 있다.

단, 제5 병용 방법에 있어서는, 실세계 추정부(4102)는, 실행 지령 생성부(4192)로부터의 실행 지령이 입력되지 않는 이상 화상 생성부(4103)는, 실행 지령 생성부(4202)로부터의 실행 지령이 입력되지 않는 이상 화상 생성부(4104)는, 실행 지령 생성부(4192), 또는 실행 지령 생성부(4202)로부터의 실행 지령이 입력되지 않는 이상 그 처리를 실행하지 않는다.

또, 제5 병용 방법에 있어서도, 제3 이나 제4 병용 방법과 마찬가지로, 도시는 하지 않지만, 모든 화소를 일괄하여 출력하기 위하여, 예를 들면, 화상 생성부(4103)와 화상 생성부(4104)의 후단에, 화상 합성부를 추가로 설치할 수도 있다.

다음에, 도 328의 흐름도를 참조하여, 제5 병용 방법이 적용되는 신호 처리 장치(도 327)의 신호의 처리에 대하여 설명한다.

그리고, 여기서는, 제3 이나 제4 병용 방법과 마찬가지로, 데이터 정상성 검출부(4101)는, 각도(실세계(1)(도 1)의 신호의 주목 위치에서의, 정상성의 방향(공간 방향)과 공간 방향의 1방향인 X 방향(센서(2)(도 1)의 검출 소자의 소정의 한 변과 평행한 방향)이 이루는 각도)를 최소 자승법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력한다.

또, 여기서는, 제3 병용 방법과 마찬가지로, 데이터 정상성 검출부(4101)는 또, 각도를 연산할 때 병행하여 산출되는 추정 오차(최소 자승법의 오차)를, 제1 영역 특정 정보로서 출력한다.

또한, 여기서는, 제4 병용 방법과 마찬가지로, 실세계 추정부(4102)는, 맵핑 오차(추정 오차)를, 제2 영역 특정 정보로서 출력한다.

도 1에 있어서, 실세계(1)의 신호가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다.

도 327에 있어서, 상기 입력 화상은, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4104)의 각각에 입력된다.

그래서, 도 328의 스텝 S4221에 있어서, 데이터 정상성 검출부(4101)는, 입력 화상에 따라, 정상성의 방향에 대응하는 각도를 검출하는 동시에, 그 추정 오차를 연산한다. 검출된 각도는, 데이터 정상성 정보로서 실세계 추정부(4102)와 화상 생성부(4103)의 각각에 공급된다. 또, 연산된 추정 오차는, 제1 영역 특정 정보로서 영역 검출부(4191)에 공급된다.

그리고, 스텝 S4221의 처리는, 전술한 스텝 S4181(도 324)의 처리와 기본적으로 동일한 처리이다.

또, 전술한 바와 같이, 지금의 시점에 있어서는(실행 지령 생성부(4192)로부터 실행 지령이 공급되지 않는 한), 실세계 추정부(4102)도 화상 생성부(4104)도 그 처리를 실행하지 않는다.

스텝 S4222에 있어서, 영역 검출부(4191)는, 데이터 정상성 검출부(4101)에 의해 연산된 추정 오차(공급된 제1 영역 특정 정보)에 따라, 입력 화상의 주목 화소(데이터 정상성 검출부(4101)가 각도를 검출하는 경우에 주목 화소로 한 화소)의 영역을 검출하고, 그 검출 결과를 실행 지령 생성부(4192)에 공급한다. 그리고, 스텝 S4222의 처리는, 전술한 스텝 S4182(도 324)의 처리와 기본적으로 동일한 처리이다.

영역 검출부(4181)의 검출 결과가 실행 지령 생성부(4192)에 공급되면, 스텝 S4223에 있어서, 실행 지령 생성부(4192)는, 검출된 영역이, 정상 영역인지의 여부를 판정한다. 그리고, 스텝 S4223의 처리는, 전술한 스텝 S4183(도 324)의 처리와 기본적으로 동일한 처리이다.

스텝 S4223에 있어서, 검출된 영역이 정상 영역이 아니라고(비정상 영역으로) 판정한 경우, 실행 지령 생성부(4192)는, 실행 지령을 화상 생성부(4104)에 공급한다. 그러면, 화상 생성부(4104)는, 스텝 S4224에 있어서, 「클래스 분류 적응 처리의 실행 처리」를 실행하여, 제1 화소(주목 화소(입력 화상의 SD 화소)에 있어서의 HD 화소)를 생성하고, 스텝 S4225에 있어서, 클래스 분류 적응 처리에 의해 생성된 제1 화소를, 출력 화상으로서 외부에 출력한다.

그리고, 스텝 S4224의 처리는, 전술한 스텝 S4184(도 324)의 처리와 기본적으로 동일한 처리이다. 즉, 도 319의 흐름도는, 스텝 S4186의 처리의 상세한 것을 설명하는 흐름도이기도 하다. 또, 스텝 S4225의 처리는, 전술한 스텝 S4185(도 324)의 처리와 기본적으로 동일한 처리이다.

이에 비해, 스텝 S4223에 있어서, 검출된 영역이 정상 영역으로 판정한 경우, 실행 지령 생성부(4192)는, 실행 지령을 실세계 추정부(4102)에 공급한다. 그러면, 스텝 S4226에 있어서, 실세계 추정부(4102)는, 스텝 S4221의 처리에서 데이터 정상성 검출부(4101)에 의해 검출된 각도에 따라서, 실세계(1)의 신호를 추정하는 동시에 그 추정 오차(맵핑 오차)를 연산한다. 추정된 실세계(1)의 신호는, 실세계 추정 정보로서 화상 생성부(4103)에 공급된다. 또, 연산된 추정 오차는, 제2 영역 특정 정보로서 영역 검출부(4201)에 공급된다.

그리고, 스텝 S4226의 처리는, 전술한 스텝 S4202(도 326)의 처리와 기본적으로 동일한 처리이다.

또, 전술한 바와 같이, 지금의 시점에 있어서는(실행 지령 생성부(4192), 또는 실행 지령 생성부(4202)로부터 실행 지령이 공급되지 않는 한), 화상 생성부(4103)도 화상 생성부(4104)도 그 처리를 실행하지 않는다.

스텝 S4227에 있어서, 영역 검출부(4201)는, 실세계 추정부(4102)에 의해 연산된 추정 오차(공급된 제2 영역 특정 정보)에 따라, 입력 화상의 주목 화소(데이터 정상성 검출부(4101)가 각도를 검출하는 경우에 주목 화소가 되는 화소)의 영역을 검출하고, 그 검출 결과를 실행 지령 생성부(4202)에 공급한다. 그리고, 스텝 S4227의 처리는, 전술한 스텝 S4203(도 326)의 처리와 기본적으로 동일한 처리이다.

영역 검출부(4201)의 검출 결과가 실행 지령 생성부(4202)에 공급되면, 스텝 S4228에 있어서, 실행 지령 생성부(4202)는, 검출된 영역이, 정상 영역인지의 여부를 판정한다. 그리고, 스텝 S4228의 처리는, 전술한 스텝 S4204(도 326)의 처리와 기본적으로 동일한 처리이다.

스텝 S4228에 있어서, 검출된 영역이 정상 영역이 아닌 것으로(비정상 영역으로) 판정한 경우, 실행 지령 생성부(4202)는, 실행 지령을 화상 생성부(4104)에 공급한다. 그러면, 화상 생성부(4104)는, 스텝 S4224에 있어서, 「클래스 분류 적응 처리의 실행 처리」를 실행하여, 제1 화소(주목 화소(입력 화상의 SD 화소)에 있어서의 HD 화소)를 생성하고, 스텝 S4225에 있어서, 클래스 분류 적응 처리에 의해 생성된 제1 화소를, 출력 화상으로서 외부에 출력한다.

그리고, 지금의 경우의 스텝 S4224의 처리는, 전술한 스텝 S4205(도 326)의 처리와 기본적으로 동일한 처리이다. 또, 지금의 경우의 스텝 S4225의 처리는, 전술한 스텝 S4206(도 326)의 처리와 기본적으로 동일한 처리이다.

이에 비해, 스텝 S4228에 있어서, 검출된 영역이 정상 영역으로 판정한 경우, 실행 지령 생성부(4202)는, 실행 지령을 화상 생성부(4103)에 공급한다. 그러면, 스텝 S4229에 있어서, 화상 생성부(4103)는, 실세계 추정부(4102)에 의해 추 정된 실세계(1)의 신호(및 필요에 따라 데이터 정상성 검출부(4101)로부터의 데이터 정상성 정보)에 따라, 영역 검출부(4201)에 의해 검출된 영역(즉, 입력 화상의 주목 화소(SD 화소))에 있어서의, 제2 화소(HD 화소)를 생성한다. 그리고, 스텝 S4230에 있어서, 화상 생성부(4103)는, 생성된 제2 화소를, 출력 화상으로서 외부에 출력한다.

그리고, 스텝 S4229와 S4230의 각각의 처리는, 전술한 스텝 S4207와 S4208(도 326)의 각각의 처리와 기본적으로 동일한 처리이다.

제1 화소 또는 제2 화소가 출력 화상으로서 출력되면(스텝 S4225, 또는 스텝 S4230의 처리 후), 스텝 S4231에 있어서, 모든 화소의 처리가 종료되었는지 여부가 판정되고, 모든 화소의 처리가 아직 종료되지 않은 것으로 판정된 경우, 그 처리는, 스텝 S4221로 되돌아온다. 즉, 모든 화소의 처리가 종료되기까지, 스텝 S4221 내지 S4231의 처리가 반복된다.

그리고, 스텝 S4231에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 그 처리는 종료된다.

이상, 도 315 내지 도 328을 참조하여, 본 발명의 신호 처리 장치(4)(도 1)의 실시예의 일례로서, 병용 방법에 대하여 설명하였다.

전술한 바와 같이, 병용 방법에 있어서는, 도 3의 구성의 본 발명의 신호 처리 장치에 대하여 또한, 정상성을 이용하지 않는 다른 신호 처리를 행하는 장치(또 는, 프로그램 등)가 부가되어 있다.

환언하면, 병용 방법에 있어서는, 종래의 신호 처리 장치(또는, 프로그램 등)에 대하여, 도 3의 구성의 본 발명의 신호 처리 장치(또는, 프로그램 등)가 부가되어 있다.

즉, 병용 방법에 있어서는, 예를 들면, 도 315나 도 321의 정상 영역 검출부(4105)가, 실세계(1)의 광신호가 투영되어 실세계(1)의 광신호의 정상성의 일부가 결락된 화상 데이터(예를 들면, 도 315나 도 321의 입력 화상) 내에 있어서, 화상 데이터의 데이터 정상성을 가지는 영역(예를 들면, 도 318의 스텝 S4106나 도 322의 스텝 S4166에 기재된 정상 영역)을 검출한다.

또, 도 315나 도 321의 실세계 추정부(4102)가, 실세계(1)의 광신호의 정상성의 일부가 결락된 화상 데이터의 데이터 정상성에 따라, 결락된 실세계(1)의 광신호의 정상성을 추정함으로써 광신호를 추정한다.

또한, 예를 들면, 도 315나 도 321의 데이터 정상성 검출부(4101)가, 실세계(1)의 광신호가 투영되어 실세계(1)의 광신호의 정상성의 일부가 결락된 화상 데이터 내에 있어서, 화상 데이터의 데이터 정상성의 기준축에 대한 각도(예를 들면, 도 318의 스텝 S4102나 도 322의 스텝 S4162에 기재된 각도)를 검출한다. 이 경우, 예를 들면, 도 315나 도 321의 정상 영역 검출부(4105)는, 각도에 따라 화상 데이터의 데이터 정상성을 가지는 영역을 검출하고, 실세계 추정부(4102)는, 그 영역에 대하여, 결락된 실세계(1)의 광신호의 정상성을 추정함으로써 광신호를 추정한다.

단, 도 315에 있어서는, 정상 영역 검출부(4105)는, 각도에 따라 정상인 모델과 입력 화상과의 오차(즉, 예를 들면, 도면 중의 영역 특정 정보로서, 도 318의 스텝 S4102의 처리에 의해 연산되는 추정 오차에 따라 입력 화상의 데이터 정상성을 가지는 영역을 검출한다.

이에 비해, 도 321에 있어서는, 정상 영역 검출부(4105)는, 실세계 추정부(4102)의 후단에 배치되고, 실세계 추정부(4102)에 의해 연산되는, 입력 화상에 대응하는 실세계(1)의 광신호를 나타내는 실세계 모델과 입력 화상과의 오차(즉, 예를 들면, 도면 중의 영역 특정 정보로서, 도 318의 스텝 S4163의 처리에 의해 연산되는 실세계의 신호의 추정 오차(맵핑 오 차)에 따라, 실세계 추정부(4102)에 의해 추정된 실세계 모델, 즉, 화상 생성부(4103)로부터 출력되는 화상을 선택적으로 출력한다(예를 들면, 도 321의 셀렉터(4112)가, 도 322의 스텝 S4166 내지 S4168의 처리를 실행한다).

이상, 도 315로 도 321의 예에서 설명하였지만, 이상 설명한 것은, 도 323, 도 325, 및 도 327에 있어서도 동일하다.

따라서, 병용 방법에 있어서는, 실세계(1)의 신호 중 정상성이 존재하는 부분(화상 데이터의 데이터 정상성을 가지는 영역)에 대하여는, 도 3의 구성의 신호 처리 장치에 해당하는 장치(또는 프로그램 등)가 신호 처리를 실행하고, 실세계(1)의 신호 중 명확한 정상성이 존재하지 않는 부분에 대해서는, 종래의 신호 처리 장치(또는, 프로그램 등)가 신호 처리를 실행하는 것이 가능하게 된다. 그 결과, 종래의 신호 처리 장치나, 도 3의 구성의 본 발명의 신호 처리 중 어느 하나보다 실세계(1)(도 1)의 신호에 가까운 화상 데이터를 출력하는 것이 가능하게 된다.

다음에, 도 329, 도 330을 참조하여, 데이터 정상성 검출부(101)로부터 직접 화상을 생성하는 예에 대하여 설명한다.

도 329의 데이터 정상성 검출부(101)는, 도 165의 데이터 정상성 검출부(101)에 화상 생성부(4501)를 부가한 것이다. 화상 생성부(4501)는, 실세계 추정부(802)로부터 출력되는 실세계의 근사 함수 f(x)의 계수를 실세계 추정 정보로서 취득하고, 이 계수에 따라, 각 화소를 재적분함으로써 화상을 생성하여 출력한다.

다음에, 도 330의 흐름도를 참조하여, 도 329의 데이터 정상성의 검출의 처리에 대하여 설명한다. 그리고, 도 330의 흐름도의 스텝 S4501 내지 S4504, 및 스텝 S4506 내지 S4511의 처리에 대해서는, 도 166의 흐름도의 스텝 S801 내지 S810의 처리와 동일하므로 그 설명은 생략한다.

스텝 S4504에 있어서, 화상 생성부(4501)는, 실세계 추정부(802)로부터 입력된 계수에 따라 각 화소를 재적분하여, 화상을 생성하여 출력한다.

이상의 처리에 의하여, 데이터 정상성 검출부(101)는, 영역 정보뿐만아니라, 그 영역 판정에 사용한(실세계 추정 정보에 따라 생성된 화소로 이루어지는) 화상을 출력할 수 있다.

이와 같이, 도 329의 데이터 정상성 검출부(101)에 있어서는, 화상 생성부(4501)가 형성되어 있다. 즉, 도 329의 데이터 정상성 검출부(101)는, 입력 화상의 데이터 정상성에 따라 출력 화상을 생성할 수 있다. 따라서, 도 329에서 나타내는 구성을 가지는 장치를, 데이터 정상성 검출부(101)의 실시예로 파악하는 것이 아니라, 도 1의 신호 처리 장치(화상 처리 장치)(4)의 다른 실시예로 파악할 수도 있다.

또한, 전술한 병용 방법이 적용되는 신호 처리 장치에 있어서, 실세계(1)의 신호 중 정상성이 존재하는 부분에 대하여 신호 처리를 실시하는 신호 처리부로서, 도 329에서 나타내는 구성을 가지는 장치(즉, 도 329의 데이터 정상성 검출부(101)와 동일한 기능과 구성을 가지는 신호 처리 장치)를 적용할 수도 있다.

구체적으로는, 예를 들면, 제1 병용 방법이 적용되는 도 315의 신호 처리 장치에 있어서는, 실세계(1)의 신호 중 정상성이 존재하는 부분에 대하여 신호 처리를 실시하는 신호 처리부는, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4103)로 되어 있다. 도시는 하지 않지만, 이들 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4103) 대신, 도 329의 구성의 신호 처리 장치(화상 처리 장치)를 적용할 수도 있다. 이 경우, 도 329의 비교부(804)가, 그 출력을 영역 특정 정보로서 영역 검출부(4111)에 공급하고, 또, 화상 생성부(4501)가, 출력 화상(제2 화소)을 셀렉터(4112)에 공급하게 된다.

이상에 있어서는, 화상의 처리에 해당하여, 적분 효과를 이용한 센서(2)에 의해 취득된 화상 데이터를 처리함으로써, 실세계를 추정하고, 실세계에 맞는 화상 처리를 행하는 예에 대하여 설명하였다.

그러나, 센서(2)에 입사하는 광신호는, 실제로는, 센서(2)의 바로 앞에 설치된 렌즈 등으로 되는 광학계를 통하여 입사된다. 따라서, 센서(2)에 의해 취득된 화상으로부터 실세계를 추정하고 화상을 처리하기 위해서는, 광학계에 의한 영향을 고려할 필요가 있다.

도 331은, 센서(2)의 전단에 설치되는 광학계(광학 블록(5110))의 구성예를 나타낸 도면이다.

실세계의 광신호는, 광학 블록(5110)의 렌즈(5101)를 거쳐, IR 컷 필터(5102)에 입사된다. IR 컷 필터는, CCD(5104)(센서(2)에 대응함)에서 수광 가능한 광의 주파수 성분 중, 적외 영역의 광의 성분을 제거한다. 이 처리에 의하여, 사람의 눈에서는 인식할 수 없는 여분의 광이 제거된다. 또한, 광신호는, IR 컷 필터(5102)를 투과한 후, OLPF(Optical Low Pass Filter)(5103)에 입사한다.

OLPF(5103)는, CCD(5104)의 화소 면적 이하의 범위에서 변화하는 고주파의 광신호를 평활화하여, CCD(5104)의 1화소분의 면적 내에 입사되는 광의 양의 왜곡을 작게한다.

따라서, 광학 블록(5110)에 의한 영향을 고려하기 위해서는, IR 컷 필터(5102), 및 OLPF(5103)의 각각에 대한 처리의 영향을 고려할 필요가 있다. 그런데, 상기 IR 컷 필터(5102), 및 OLPF(5103)는, 도 332에서 나타낸 바와 같이, 일체 형의 필터(5112)로 되어 있고, 그 착탈은, 일체로 되는 형식이 되는 경우가 있다. 또, IR 컷 필터(5102)의 영향은, 예를 들면, 도 332에서 나타낸 바와 같이, 단파장의 광만을 투과시키는 필터(5111)를 형성함으로써 그 영향을 억제할 수 있다.

그래서, 여기서는, OLPF(5103)에 의한 영향을 고려하여 화상 처리에 대하여 설명한다.

OLPF(5103)는, 도 333에 나타낸 바와 같이 2개의 수정(5121a, b)과, 상기 2개의 수정(5121a, b)에 끼워지도록 위상판(5122)이 형성되어 있다.

수정판(5121a, b)은, 도 334에서 나타낸 바와 같이, 각각의 두께가 t이며, 또, 광의 진입 방향에 대하여 소정 각도로 결정축이 설정되어 있다. 이 각도로 수정 판(5121a)에 대하여, z 방향으로 광이 입사되면 그 입사광과 같은 방향으로 상광선을, 또, 입사광에 대하여 소정 각도로 이상 광선을 각각 분리하여, 소정의 간격 d(x 방향으로)으로 후단의 결정(5121b)에 출사한다. 이 때, 수정판(5121a)은, 입사광 중, 서로 90도 상이한 2개의 파형의 광을 추출하여 상광선(예를 들면, y 방향의 파형) L1과 비정상 광선 L2(예를 들면, x 방향의 파형)로서 출사한다.

위상판(5122)(도 334에 있어서는, 도시하지 않음)은, 상광선, 및 이상 광선의 각각의 파형이 입사된 파형을 투과시키는 동시에, 그 파형과 수직 방향의 파형의 광을 발생하여 결정판(5121b)에 출사한다. 즉, 지금의 경우, 위상판(5122)은, 입사된 상광선이 y 방향의 파형이므로, 입사된 상광선의 파형을 투과시키고, 또한 x 방향의 파형을 발생하고, 이상 광선에 대하여는, 입사될 때 x 방향의 파형이므로, 입사된 이상 광선 자체를 투과시키고, 또한 그 파형과 90도 다른 y 방향의 파형을 발생하여, 결정판(5121b)에 출사한다.

결정판(5121b)은, 입사된 상광선 L1과 비정상 광선 L2의 각각을 입사 위치에서, 각각 상광선과 비정상 광선(L1과 L3, 및 L2와 L4)으로 분리하여, 상호의 거리가 d가 되도록 출사한다. 그 결과, 도 335에서 나타낸 바와 같이, 예를 들면, 지면 뒤로부터 입사되는 광 L1은, 수정(5121a)에 의해 광 L1, L2로 각각 분리되고, 또한, 수정(5121b)에 의해 L1과 L3, 및 L2와 L4로 각각 분리된다. 그리고, 이 때 광의 에너지는, 1회의 분리에 의해 1/2로 분리되어 있으므로, OLPF(5103)는, 입사된 광을 25%씩 수평 방향, 및 수직 방향으로 거리 d(OLPF 이동량 d라고도 함)만큼 떨어진 위치에 분산되어 출사하고 있다. 결과로서, CCD(5104)의 각 화소에는, 상이한 4화소분의 광이 25%씩 중첩된 광이 수광되어 화소값으로 변환되고, 화상 데이 터가 생성된다.

상기 OLPF 이동량 d는, 이하의 식(248)에 의해 구해진다.

d = t × (n_e ² - n_o ²)/(2 × n_e × n_o)

…(248)

그리고, OLPF(5103)는, 전술한 바와 같이, 입사광을 4화소로 분산할 뿐이 아니라, 더 많은 수정을 사용하여, 그 이외의 화소수로 분산시킬 수도 있다.

이와 같이 광학 블록(5110)에 의하여, 센서(2)에 입사되는 광은 실세계와는 상이하게 변화하고 있다. 그래서, 전술한 광학 블록(5110)의 특성을 고려한(여기서는, 특히, OLPF(5103)의 특성을 고려한) 화상 데이터의 처리에 대하여 설명한다.

도 336은, 전술한 광학 블록(5110)의 특성을 고려하여 화상 데이터를 처리할 수 있도록 한 신호 처리 장치의 구성을 나타낸 블록도이다. 그리고, 도 3을 참조하여 설명한 구성과 동일한 부위에 대하여는, 동일한 부호를 부여하여, 그 설명은, 적절히 생략한다.

OLPF 제거부(5131)는, 입력 화상 중에 포함되어 있는 전술한 광학 블록(5110) 중, 특히 OLPF(5103)의 특성을 고려하여, 입력 화상을 광학 블록(5110)에 입사하기 전의 화상으로 변환하여(추정하여), 데이터 정상성 검출부(102), 및 실세계 추정부(102)에 출력한다.

다음에, 도 337을 참조하여, 도 336의 OLPF 제거부(5131)의 구성에 대하여 설명한다.

클래스 탭 추출부(5141)는, 입력된 화상 데이터의 각 화소에 대하여, 대응하는 위치의 복수개의 화소(예를 들면, 도 338에 나타낸 바와 같은 주목 화소를 포함하는 수평 방향, 수직 방향, 또는 상하 좌우의 경사 방향에 인접한 합계 9화소. 그리고, 도 338에 있어서는, 2중원이 주목 화소이며, 그 이외의 화소는 원으로 나타나 있다)의 화소값을 클래스 탭으로서 추출하고, 특징량 연산부(5142)에 출력한다.

특징량 연산부(5142)는, 클래스 탭 추출부(5141)로부터 입력된 클래스 탭의 화소값에 따라 특징량을 연산하여, 클래스 분류부(5143)에 출력한다. 예를 들면, 상기 특징량은, 클래스 탭의 각 화소의 화소값의 총계이거나, 또는 인접하는 화소 사이의 차분의 합 등이다.

클래스 분류부(5143)는, 특징량 연산부(5142)로부터 입력된 특징량에 따라, 각 화소의 클래스(클래스 코드)를 결정하고, 결정한 클래스의 정보를 예측 탭 추출부(5145)에 추출하는 동시에, 계수 메모리(5144)를 제어하여, 그 결정한 클래스에 대응하는 예측 계수를 화소값 연산부(5146)에 공급시킨다. 상기 클래스는, 예를 들면, 특징량이 인접하는 화소 사이의 차분의 합일 경우, 그 합이 되는 값의 범위에 따라 설정되는 것이다. 예를 들면, 그 합이 0 내지 10 경우는, 클래스 1, 합의 값이 11 내지 20의 경우는, 클래스 2가 되는 것처럼 클래스 코드는 설정된다.

계수 메모리(5144)에 기억되어 있는, 특징량에 따른 클래스 코드마다의 예측 계수는, 도 341을 참조하여, 후술하는 학습 장치(5150)에 의해 미리 학습 처리에 의해 연산되고 기억되어 있다.

예측 탭 추출부(5145)는, 클래스 분류부(5143)로부터 입력된 클래스의 정보에 따라, 입력 화상의 주목 화소에 대응하는 예측 탭이 되는 복수개의 화소(클래스 탭과 같은 것도 있다)의 화소값을 추출하여 화소값 연산부(5146)에 출력한다. 예측 탭은, 클래스마다 설정되는 것이며, 예를 들면, 클래스 1의 경우는, 주목 화소 만이며, 클래스 2의 경우는, 주목 화소를 중심으로 한 3화소 × 3화소이며, 클래스 3의 경우는, 주목 화소를 중심으로 한 5화소 × 5화소 등과 같은 것이다.

화소값 연산부(5146)는, 예측 탭 추출부(5145)로부터 입력된 예측 탭이 되는 각 화소의 화소값과, 계수 메모리(5144)로부터 공급된 예측 계수의 값에 따라 화소값을 연산하여, 연산된 화소값에 따라 출력 화상을 생성하고, 출력한다. 화소값 연산부(5146)는, 예를 들면, 다음의 식(249)에서 나타내는 곱셈 및 덧셈 연산을 실행함으로써, 예측 화상의 화소를 구한다(예측 추정한다).

…(249)

식(249)에 있어서, q'은, 예측 화상(학생 화상으로부터 예측되는 화상)의 화소를 나타내고 있다. c_i(i는, 1 내지 n의 정수치)의 각각은, 예측 탭의 각각을 나타내고 있다. 또, d_i의 각각은, 예측 계수의 각각을 나타내고 있다.

이와 같이, OLPF 제거부(5131)는, 입력 화상으로부터, 그에 대한 OLPF에 의한 영향을 제거하고 화상을 예측 추정한다.

다음에, 도 339의 흐름도를 참조하여, 도 336을 참조하여 설명한 신호 처리 장치에 의한 신호의 처리에 대하여 설명한다. 그리고, 도 339의 흐름도에 있어서의 스텝 S5102 내지 S5104의 처리는, 도 40을 참조하여 설명한 처리와 동일하므로, 그 설명은 생략한다.

스텝 S5101에 있어서, OLPF 제거부(5131)는, OLPF의 제거 처리를 실행한다.

여기서, 도 340의 흐름도를 참조하여, OLPF의 제거 처리를 설명한다.

스텝 S5011에 있어서, 클래스 탭 추출부(5141)는, 입력 화상의 각 화소에 대하여 클래스 탭을 추출하여, 추출한 클래스 탭의 각 화소의 화소값을 특징량 연산부(5142)에 출력한다.

스텝 S5012에 있어서, 특징량 연산부(5142)는, 클래스 탭 추출부(5141)로부터 입력된 클래스 탭의 각 화소의 화소값에 따라 소정의 특징량을 연산하여 클래스 분류부(5143)에 출력한다.

스텝 S5013에 있어서, 클래스 분류부(5143)는, 특징량 연산부(5142)로부터 입력된 특징량에 따라 클래스를 분류하고, 분류한 클래스 코드를 예측 탭 추출부(5145)에 출력한다.

스텝 S5014에 있어서, 예측 탭 추출부(5145)는, 클래스 분류부(5143)로부터 입력된 클래스 코드의 정보에 따라, 입력 화상으로부터 예측 탭이 되는 복수개의 화소의 화소값을 추출하여, 화소값 연산부(5146)에 출력한다.

스텝 S5015에 있어서, 클래스 분류부(5143)는, 계수 메모리(5144)를 제어하여, 분류한 클래스(클래스 코드)에 따라, 대응하는 예측 계수를 화소값 연산부(5146)에 판독한다.

스텝 S5016에 있어서, 화소값 연산부(5146)는, 예측 탭 추출부(5145)로부터 입력된 예측 탭이 되는 각 화소의 화소값과, 계수 메모리(5144)로부터 공급된 예측 계수에 따라, 화소값을 연산한다.

스텝 S5017에 있어서, 화소값 연산부(5146)는, 모든 화소에 대하여 화소값을 연산했는지 여부를 판정하고, 모든 화소에 대한 화소값을 연산하고 있지 않은 것으로 판정된 경우, 그 처리는, 스텝 S5011로 되돌아온다. 즉, 모든 화소에 대하여, 화소값이 연산되었다고 판정되기까지, 스텝 S5011 내지 S5017의 처리가 반복되게 된다.

스텝 S5017에 있어서, 모든 화소에 대하여 화소값이 연산되었다고 판정된 경 우, 화소값 연산부(5146)은, 연산된 화상을 출력한다.

이상에 의하면, 광학 블록(5110)에 의해 생긴 OLPF(5103)에 의해 생기는 화상에의 영향을 제거하는 것이 가능해진다.

다음에, 도 341을 참조하여, 도 337의 계수 메모리(5144)에 미리 기억되는 예측 계수를 학습하는 학습 장치(5150)에 대하여 설명한다.

학습 장치(5150)은, 입력 화상으로서 고해상도 화상을 사용하여, 표준 해상도 화상으로 이루어지는 학생 화상과 교사 화상을 생성하여 학습 처리를 실행한다. 그리고, 이하, 표준 해상도의 화상을, 적절히, SD(Standard Definition) 화상이라 한다. 또, SD 화상을 구성하는 화소를, 적당히, SD 화소라고 한다. 또, 이에 비하여, 이하, 고해상도의 화상을, 적당히, HD(High Definition) 화상이라 한다. 또, HD 화상을 구성하는 화소를, 적절히, HD 화소라고 한다.

또한, 학습부(5152)의 클래스 탭 추출부(5162), 특징량 연산부(5163), 및 예측 탭 추출부(5165)는, 도 337의 OLPF 제거부(5131)의 클래스 탭 추출부(5141), 특징량 연산부(5142), 및 예측 탭 추출부(5145)와 각각 동일하므로, 그 설명은 생략한다.

학생 화상 생성부(5151)는, 입력 화상인 HD 화상을 OLPF(5103)를 고려하여 SD 화상으로 변환하여, OLPF(5103)에 의해 광학적으로 영향을 받은 학생 화상을 생성하여, 학습부(5152)의 화상 메모리(5161)에 출력한다.

학습부(5152)의 화상 메모리(5161)은, 입력된 SD 화상으로 이루어지는 학생 화상을 일시적으로 기억한 후, 순서대로 클래스 탭 추출부(5162), 및 예측 탭 추출부(5165)에 출력한다.

클래스 분류부(5164)는, 특징량 추출부(5163)로부터 입력된 각 화소마다의 클래스의 분류 결과(전술한 클래스 코드)를 예측 탭 추출부(5165), 및 학습 메모리(5167)에 출력한다.

덧셈 연산부(5166)는, 예측 탭 추출부(5165)로부터 입력되는 예측 탭의 각 화소의 화소값과 교사 화상 생성부(5153)로부터 입력되는 화상의 화소의 화소값으로부터 후술하는 정규 방정식을 생성할 때 필요한 각항의 서메이션의 항을 덧셈에 의해 생성하고, 학습 메모리(5167)에 출력한다.

학습 메모리(5167)는, 클래스 분류부(5164)로부터 공급되는 클래스 코드와, 덧셈 연산부(5166)로부터 입력되는 덧셈 결과를 대응시켜 기억하고, 적절히 정규 방정식 연산부(5168)에 공급한다.

정규 방정식 연산부(5168)는, 학습 메모리(5167)에 기억되어 있는 클래스 코드와 덧셈 결과에 따라 정규 방정식을 생성하는 동시에, 상기 정규 방정식을 연산하여, 각 예측 계수를 구하여, 계수 메모리(5154)에 클래스 코드에 대응시켜 기억시킨다. 그리고, 상기 계수 메모리(5154)에 기억된 예측 계수가, 도 337의 OLPF 제거부(5131)의 계수 메모리에 기억되게 된다.

정규 방정식 연산부(5168)에 대하여 보다 상세하게 설명한다.

전술한 식(249)에 있어서, 학습전은 예측 계수 d_i는 각각 미정 계수이다. 학습은, 클래스 코드마다 복수개의 교사 화상의 화소를 입력함으로써 행한다. 소정의 클래스 코드에 대응하는 교사 화상의 화소가 m개 존재하고, m개의 교사 화상의 화소의 각각을, q_k(k는, 1 내지 m의 정수치)로 기술하는 경우, 식(249)으로부터, 다음의 식(250)이 설정된다.

…(250)

즉, 식(250)은, 우변을 연산함으로써, 소정의 교사 화상의 화소 q_k를 예측 추정할 수 있는 것을 나타내고 있다. 그리고, 식(250)에 있어서, e_k는 오차를 나타내고 있다. 즉, 우변의 연산 결과인 예측 화상(학생 화상으로부터 예측 연산함으로써 얻어지는 화상)의 화소 q_k'가, 실제의 교사 화상의 화소 q_k와 엄밀하게는 일치하지 않고, 소정의 오차 e_k를 포함한다.

그래서, 식(250)에 있어서, 예를 들면, 오차 ek의 제곱합을 최소화시킨 예측 계수 d_i가, 학습에 의해 구해지면 된다.

구체적으로는, 예를 들면, m＞n이 되도록, 교사 화상의 화소 q_k를 학습에 의해 모을 수 있으면, 최소 자승법에 따라 예측 계수 d_i가 하나로 결정된다.

즉, 식(250)의 우변의 예측 계수 d_i를 최소 자승법으로 구하는 경우의 정규 방정식은, 다음의 식(251)에서 표현된다.

…(251)

따라서, 식(251)에서 나타내는 정규 방정식이 생성되고, 상기 정규 방정식을 풀면, 예측 계수 d_i가 하나로 결정되게 된다.

구체적으로는, 식(251)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(252) 내지 (254)와 같이 정의하면, 정규 방정식은, 다음의 식(255)와 같이 표현된다.

…(252)

…(253)

…(254)

…(255)

식(253)에서 나타낸 바와 같이, 행렬 D_MAT의 각 성분은, 구하고 싶은 예측 계수 d_i이다. 따라서, 식(255)에 있어서, 좌변의 행렬 C_MAT와 우변의 행렬 Q_MAT가 결정되고, 행렬 해법에 따라 행렬 D_MAT(즉, 예측 계수 d_i)의 산출이 가능하다.

보다 구체적으로는, 식(252)에서 나타낸 바와 같이, 행렬 C_MAT의 각 성분은, 예측 탭 c_ik가 이미 알려져 있으면 연산 가능하다. 예측 탭 c_ik는, 예측 탭 추출부(5165)에 의해 추출되므로, 덧셈 연산부(5166)는, 예측 탭 추출부(5165)로부터 공급된 예측 탭 c_ik의 각각을 이용하여 행렬 C_MAT의 각 성분을 덧셈 연산할 수 있다.

또, 식(254)에서 나타낸 바와 같이, 행렬 Q_MAT의 각 성분은, 예측 탭 c_ik와 교사 화상의 화소 q_k가 이미 알려져 있으면 연산 가능하다. 예측 탭 c_ik는, 행렬 C_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 교사 화상의 화소 q_k는, 예측 탭 c_ik에 포함되는 주목 화소(학생 화상의 SD 화소)에 대한 교사 화상의 SD 화소이다. 따라서, 덧셈 연산부(5166)는, 예측 탭 추출부(5165)로부터 공급된 예측 탭 c_ik와 교사 화상을 이용하여 행렬 Q_MAT의 각 성분을 덧셈 연산할 수 있다.

이같이 하여, 덧셈 연산부(5166)는, 행렬 C_MAT와 행렬 Q_MAT의 각 성분을 연산하고, 그 연산 결과를 클래스 코드에 대응시켜, 학습 메모리(5167)에 기억시킨다.

정규 방정식 연산부(5168)는, 학습 메모리(5167)에 기억되어 있는 클래스 코드에 대응하여 정규 방정식을 생성하고, 전술한 식(255)의 행렬 D_MAT의 각 성분인 예측 계수 d_i를 연산한다.

구체적으로는, 전술한 식(255)의 정규 방정식은, 다음의 식(256)과 같이 변형할 수 있다.

…(256)

식(256)에 있어서, 좌변의 행렬 D_MAT의 각 성분이, 구하고자 하는 예측 계수 d_i이다. 또, 행렬 C_MAT와 행렬 Q_MAT의 각각의 각 성분은, 학습 메모리(5167)로부터 공급되는 것이다. 따라서, 정규 방정식 연산부(5168)는, 학습 메모리에 기억된 소 정의 클래스 코드에 대응하는 행렬 C_MAT와 행렬 Q_MAT의 각각의 각 성분이 공급될 때, 식(255)의 우변의 행렬 연산을 행함으로써 행렬 D_MAT를 연산하고, 그 연산 결과(예측 계수 d_i)를 클래스 코드에 대응시켜 계수 메모리(5154)에 기억시킨다.

다음에, 전술한 도 337의 OLPF 제거부(5131)와 학습부(5131)의 관계로부터, 학습에 사용되는 학생 화상과 교사 화상에 대하여 설명한다.

도 342에서 나타낸 바와 같이, 학습부(5152)는, OLPF(5103)에 의해 필터 처리된 화상(이하, OLPF가 있는 화상이라 한다)과 OLPF(5103)에 의해 필터 처리되어 있지 않은 화상(이하, OLPF가 없는 화상이라 한다)을 사용하여 학습에 의해 예측 계수를 구한다.

그리고, 학습부(5152)에 의해 미리 학습에 의해 구해진 예측 계수를 사용하여, OLPF 제거부(5131)는, OLPF가 있는 화상을 OLPF(5103)에 의한 필터 처리의 영향을 제거하고 화상(이하, OLPF 제거 화상이라 한다)으로 변환한다(전술한 도 339의 흐름도를 참조하여 설명한 처리).

즉, 도 343에 나타낸 바와 같이, 학습부(5152)로 이루어지는 학습 처리는, OLPF가 없는 화상인 교사 화상과, OLPF가 있는 화상인 학생 화상으로 이루어지는 학습 쌍을 사용하여 실행된다.

그러므로, OLPF를 설치한 상태에서 입사되는 광을 센서(2)에 의해 수광하는 경우의 화상과, OLPF를 구비하지 않는 상태에서 센서(2)에 의해 수광하는 화상을 생성하여 학습 쌍으로 하지만, 실제로는, 각각의 화상을 화소 단위로 정확하게 위치를 맞추어서 사용하는 것은 극히 곤란하다.

그래서, 학습 장치(5110)는, 입력 화상에 고해상도 화상을 사용하여, OLPF가 있는 화상과 OLPF가 없는 화상을 시뮬레이션에 의해 생성하고 있다.

여기서는, 학습 장치(5110)에 있어서의 교사 화상 생성부(5153)에 의한 교사 화상의 생성 방법과 학생 화상 생성부(5151)에 의한 학생 화상의 생성 방법에 대하여 설명한다.

도 344는, 학습 장치(5110)의 교사 화상 생성부(5153)와 학생 화상 생성부(5151)의 각각의 상세한 구성을 나타낸 블록도이다.

교사 화상 생성부(5153)의 1/16 평균 처리부(5153a)는, 입력 화상인 고해상도 화상의 전범위에 있어서, 4화소 × 4화소의 합계 16화소의 화소값의 평균 화소값을 구하고, 그 16화소의 모든 화소값을 구해진 평균 화소값에 치환하여 교사 화상을 생성하여 출력한다. 이와 같이 처리함으로써, HD 화상의 화소수는, 외관상 1/16의 화소수(수평 방향, 및 수직 방향으로 각각 1/4의 화소수)가 된다.

즉, 상기 1/16 평균 처리부(5153a)는, 입력 화상인 HD 화상의 각 화소를 센서(2)에 입사되는 광으로 판다하여 HD 화상의 4화소 × 4화소의 범위를 SD 화상의 1화소라고 판단함으로써, 일종의 공간적인 적분 효과를 생기게 하여, OLPF(5103)에 의한 영향이 없는, 센서(2)에 의해 생성되는 화상(OLPF가 없는 화상)을 가상적으로 생성한다.

학생 화상 생성부(5151)의 OLPF 시뮬레이션 처리부(5151a)는, 입력된 HD 화상의 각 화소에 대하여, 도 334, 및 도 335를 참조하여 설명한 바와 같이, 각 화소의 화소값을 25%씩 분산시켜, 중첩함으로써, HD 화상의 각 화소를 광으로 판단할 때 OLPF(5103)에 의해 생기는 작용을 시뮬레이션한다.

1/16 평균 처리부(5135b)는, 교사 화상 생성부(5153)의 1/16 평균 처리부(5153a)와 동일한 것이며, 4화소 × 4화소의 합계 16화소의 평균 화소값을 16화소의 모든 화소값으로 치환하여, SD 화상의 학생 화상을 생성한다.

보다 상세하게는, OLPF 시뮬레이션 처리부(5151a)는, 예를 들면, 도 345에서 나타낸 바와 같이, 입사 위치의 화소 P1의 화소값을 1/4로 한 값을 화소 P1 내지 P4의 각각에 분산하고, 이 처리를 모든 화소에 있어서 실시하고, 각각에 분산한 값을 중첩함으로써 화소값을 구한다. 이 처리에 의하여, 예를 들면, 도 345에 있어서의 화소 P4는, 화소 P1 내지 P4의 평균 화소값이 된다.

여기서, 도 345에 있어서, 각 격자는, HD 화상의 1화소에 대응한다. 또, 점선으로 둘러싸인 4화소 × 4화소가 SD 화상의 1화소에 대응한다.

즉, 도 345에 있어서는, 화소 P1, P2와의 거리, 화소 P1, P3와의 거리, 및 화소 P2, P4의 거리는, 도 335에서 나타내는 OLPF(5103)에 의한 이동량 d에 해당한 다.

화소 P1, P2와의 거리, 화소 P1, P3와의 거리, 및 화소 P2, P4의 거리가, 2화소가 되는 것은, 도 346에 나타낸 바와 같이, 실제의 OLPF(5103)에 의한 OLPF 이동량 d가 3.35㎛인데 비하여, 실제의 CCD(5104)의 화소의 피치(화소 사이의 수평 방향, 및 수직 방향의 폭)가 6.45㎛여서, 그 상대비가 1.93이기 때문이다. 즉, 도면 중의 점선으로 둘러싸여 있는 바와 같이 OLPF 이동량을 2화소로 설정하고, 화소 피치를 4화소로 함으로써, 상대비가 2.0이 되므로, 실측값의 1.93에 가까운 상태에서, 센서(2)에 입사되기 전의 OLPF(5103)에 의해 생기는 현상을 시뮬레이션할 수 있다.

마찬가지로 하여, 도 346에 나타낸 바와 같이, OLPF 이동량을 4화소로 하고, 화소 피치를 8화소로 해도 되고, 이 비율을 유지하면서 OLPF 이동량과 화소 피치를 설정하면, 그 외의 OLPF 이동량과 화소 피치에서도 할 수 있다. 또한, OLPF 이동량을 6화소, 화소 피치를 11화소로 해도, 상대비는 1.83이 되므로, 이 비율에 의한 처리 시뮬레이션을 행해도 된다.

교사 화상 생성부(5153)가, 도 347에 나타낸 바와 같은 화상을 생성하는 경우, 학생 화상 생성부(5151)는, 도 348에 나타낸 바와 같은 화상을 생성한다. 양자 모두 HD 화상의 4화소 × 4화소가 실질적으로 SD 화상의 1화소로서 표시되어 있으므로, 모자이크 형태의 화상이 되어 있지만, 도 347에 나타낸 교사 화상은, 도면 중의 흰색으로 나타낸 에지 부분이, 도 348에 나타낸 학생 화상에 비해 명확하고, 학생 화상에 OLPF(5103)의 영향을 받은 화상이 생성되어 있다.

다음에, 도 349의 흐름도를 참조하여, 학습 처리에 대하여 설명한다.

스텝 S5031에 있어서, 학생 화상 생성부(5151)의 OLPF 시뮬레이션 처리부(5151a)는, 입력된 HD 화상의 각 화소의 화소값을 도 345를 참조하여 설명한 바와 같이, 25%씩 4화소로 분산하고, 각 화소 위치에 분산된 화소값을 중첩함으로써 화소값을 생성하여, OLPF(5103)에 의한 작용을 시뮬레이션하여, 처리 결과를 1/16 평균 처리부(5151b)에 출력한다.

스텝 S5032에 있어서, 1/16 평균 처리부(5151b)는, OLPF 시뮬레이션 처리부(5151a)로부터 입력된 OLPF 시뮬레이션 처리된 화상을 4화소 × 4화소의 합계 16화소 단위로 평균 화소값을 구하고, 또한 그 16화소의 화소값을 그 평균 화소값에 차례로 치환하여, 외관상 SD 화상이 된 학생 화상을 생성하여 학습부(5152)의 화상 메모리(5161)에 출력한다.

스텝 S5033에 있어서, 클래스 탭 추출부(5162)는, 화상 메모리(5161)에 기억된 화상 데이터로부터 주목 화소의 클래스 탭이 되는 화소의 화소값을 추출하고, 추출한 화소의 화소값을 특징량 연산부(5163)에 출력한다.

스텝 S5034에 있어서, 특징량 추출부(5163)는, 클래스 탭 추출부(5162)로부터 입력된 클래스 탭의 화소의 화소값의 정보를 사용하여, 주목 화소에 대응하는 특징량을 연산하고, 클래스 분류부(5164)에 출력한다.

스텝 S5035에 있어서, 클래스 분류부(5164)는, 입력된 특징량에 따라, 주목 화소가 되는 화소에 대응하는 클래스를 분류하여 클래스 코드를 결정하여, 예측 탭 추출부(5165)에 출력하는 동시에, 학습 메모리에 기억시킨다.

스텝 S5036에 있어서, 예측 탭 추출부(5165)는, 클래스 분류부(5164)로부터 입력된 클래스 코드에 따라서, 화상 메모리(5161)에 기억된 화상 데이터의 주목 화소에 대응하는 예측 탭의 화소의 화소값의 정보를 추출하여, 덧셈 연산부(5166)에 출력한다.

스텝 S5037에 있어서, 교사 화상 생성부(5153)의 1/16 평균 처리부(5153a)는, 입력 화상인 HD 화상을 4화소 × 4화소의 합계 16화소 단위로 평균 화소값을 구하고, 구해진 평균 화소값을, 그 16화소의 화소값에 치환함으로써, OLPF(5103)에 의한 영향을 받지 않는 OLPF가 없는 화상(외관상 SD 화상)을 생성하여 덧셈 연산부(5166)에 출력한다.

스텝 S5038에 있어서, 덧셈 연산부(5166)는, 예측 탭 추출부(5165)로부터 입력된 예측 탭의 화소의 화소값과, 교사 화상 생성부(5153)로부터 입력된 교사 화상의 각 화소의 화소값에 따라, 정규 방정식의 각항의 서메이션이 되는 값을 더하고, 학습 메모리(5167)에 출력하여, 클래스 코드에 대응시켜 기억시킨다.

스텝 S5039에 있어서, 정규 방정식 연산부(5168)는, 입력 화상에 대하여, 모 든 화소에 대한 덧셈 처리가 종료되었는지 여부를 판정하여, 모든 화소에 대한 덧셈 처리가 종료되지 않은 것으로 판정한 경우, 그 처리는, 스텝 S5032로 복귀하고, 그 이후의 처리가 반복된다. 즉, 모든 화소에 대하여 덧셈 처리가 종료될 때까지 스텝 S5032 내지 S5039의 처리가 반복되게 된다.

스텝 S5039에 있어서, 모든 화소에 대한 덧셈 처리가 종료되었다고 판정된 경우, 스텝 S5040에 있어서, 정규 방정식 연산부(5168)는, 학습 메모리(5167)에 기억되어 있는 덧셈 결과에 따라, 클래스 코드에 대응시켜 정규 방정식을 연산하고, 예측 계수를 요구 계수 메모리(5154)에 출력한다.

스텝 S5041에 있어서, 정규 방정식 연산부(5168)는, 모든 클래스의 예측 계수의 연산이 종료되었는지 여부를 판정하고, 모든 클래스에 대한 예측 계수의 연산이 종료되지 않은 것으로 판정한 경우, 그 처리는, 스텝 S5040으로 돌아온다. 즉, 모든 클래스에 대한 예측 계수의 연산이 종료될 때까지, 스텝 S5040의 처리가 반복된다.

스텝 S5041에 있어서, 모든 클래스에 대한 예측 계수의 연산이 종료되었다고 판정된 경우, 그 처리는 종료된다.

이상의 학습 처리에 의하여, 계수 메모리(5154)에 기억되어 있는 예측 계수를 계수 메모리(5144)에 카피하여, 사용함으로써 OLPF 제거부(5131)는, OLPF(5103)에 의해 필터 처리된 입력 화상으로부터, OLPF의 처리 효과를 제거하고 실세계의 화상에 가까운 화상을 생성하는 것이 가능해진다.

예를 들면, 이와같이 하여 구해진 예측 계수를 사용함으로써, OLPF 제거부(5131)는, 도 348에 나타낸 바와 같은, OLPF(5103)에 의한 필터 처리가 이루어진 화상(OLPF(5103)에 의한 처리를 시뮬레이션하여 얻어진 화상)이 입력된 경우, 도 340의 흐름도를 참조하여 설명한 OLPF의 제거 처리에 의해 도 350에 나타낸 바와 같은 화상을 생성한다.

이와 같이 처리된 도 350에 나타낸 화상은, 도 347에 나타낸 바와 같은 OLPF(5103)에 의한 필터 처리가 없는 상태의 입력 화상과 비교하여도 대략 비슷한 화상이 되어 있는 것을 알 수 있다.

또, 도 351에 나타낸 바와 같이, 도 347, 도 348, 및 도 350의 화상의 y 방향의 소정의 동일 위치에서, x 방향으로 화소값의 변화를 비교하여도, OLPF에 의한 효과를 제거한 화상은, OLPF에 의한 필터 처리가 이루어진 화상보다, OLPF에 의한 효과를 주지 않았던 화상에 가까운 값이 되어 있는 것을 알 수 있다.

그리고, 도 351에 있어서는, 실선이, 도 347의 화상(OLPF가 없는 화상)에 대응하는 화소값의 변화이며, 점선이, 도 348의 화상(OLPF가 있는 화상)이며, 또한 일점 쇄선이, 도 350의 화상(OLPF 제거 화상)이다.

이상에 의하면, 각각 공간 적분 효과를 가지는 복수개의 화소에 현실 세계의 광신호가 광학 로패스 필터를 통하여 투영된 화상 데이터가 취득되어 광학 로패스 필터에 의해 공간 방향 중 적어도 1차원 방향으로 광신호가 분산되어 적분되어 있는 것이 고려되어, 광학 로패스 필터에 입사되는 광신호를 추정하였으므로, 데이터가 취득된 현실 세계를 고려하여, 현실 세계의 사상에 대하여, 보다 정확하게, 보다 정밀도가 높은 처리 결과를 얻는 것이 가능해진다.

이상의 예에 있어서는, 데이터 정상성 검출부(101)의 전단에서, OLPF(5103)에 의한 필터 처리의 영향을 제거하는 예에 대하여 설명하였지만, 실세계 추정부(102)에 의해 OLPF(5103)의 영향을 고려하여 실세계를 추정할 수도 있다. 따라서, 이 경우, 신호 처리 장치의 구성은, 도 3을 참조하여 설명한 구성이 된다.

도 352는, OLPF(5103)의 영향을 고려하여 실세계를 추정한 실세계 추정부(102)의 구성을 나타낸 블록도이다.

도 352에서 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(5201), 입력 화상 기억부(5202), 입력 화소값 취득부(5203), 적분 성분 연산부(5204), 정규 방정식 생성부(5205), 및 근사 함수 생성부(5206)가 형성되어 있다.

조건 설정부(5201)는, 주목 화소에 대응하는 함수 F(x, y)를 추정하기 위해 사용하는 화소의 범위(탭 범위)나, 근사 함수 f(x, y), g(x, y)의 차수 n을 설정한다.

입력 화상 기억부(5202)는, 센서(2)로부터의 입력 화상(화소값)을 1차 저장한다.

입력 화소값 취득부(5203)는, 입력 화상 기억부(5202)에 기억된 입력 화상 중, 조건 설정부(5201)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(5205)에 공급한다. 즉, 입력 화소값 테이블은, 입력 화상의 영역에 포함되는 각 화소의 각각의 화소값이 기술된 테이블이다. 그리고, 입력 화소값 테이블의 구체예에 대하여는 후술한다.

그런데, 도 344, 도 345를 참조하여 설명한 바와 같이, OLPF(5103)는, 입사된 광을 OLPF 이동량 d로 4점에 분산하고 있다. 따라서, 화상 상의 각 화소는, 도 353에 나타낸 바와 같이, 스스로의 위치를 포함한 4점의 화소값의 25%씩 중첩되어 화소값이 생성된다. 그리고, 도 353에 있어서는, 점선으로 둘러싸여 있는 범위가 상이한 4화소의 포인트를 나타내고, 각각의 25%가 중첩되어 있는 것이 나타나 있다.

이상으로부터, OLPF(5103)에 의해 도 354에서 나타낸 바와 같이 4점으로 분산되어 있고, 이 분산된, 센서(2)의 바로 앞의 광의 분포를 나타낸 근사 함수 g(x, y)는, 실세계를 근사하는 근사 함수 f(x, y)를 사용하여, 이하의 식(257)에서 나타낸 바와 같은 관계식이 된다. 그리고, 도 354에 있어서는, 볼록한 곡선이 근사 함수 f(x, y)를 나타내고, 이들이 4개로 분산된 후, 중첩된 근사 함수가 g(x, y)이다.

g(x, y) = f(x, y) + f(x - d, y) + f(x, y - d) + f(x - d, y - d)

…(257)

또, 실세계의 근사 함수 f(x, y)는, 이하의 식(258)에서 나타낸다.

…(258)

여기서, w_i는, 근사 함수의 계수를 나타내고, s(= cot θ: θ는 정상성의 각도)는, 정상성의 기울기를 나타낸다.

따라서, 센서(2) 바로 앞의 광의 분포를 나타낸 근사 함수 g(x, y)는, 이하의 식(259)에서 나타낸다.

…(259)

실세계 추정부(102)는, 전술한 바와 같이, 근사 함수 f(x, y)의 특징량 w_i를 연산한다.

식(259)은, 다음의 식(260)과 같이 표현할 수 있다.

…(260)

식(260)에 있어서, S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)는, i차항의 적분 성분을 나타내고 있다. 즉, 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)는, 다음의 식(261)에서 나타내는 바와 같다.

…(261)

적분 성분 연산부(5204)는, 상기 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)를 연산한다.

구체적으로는, 식(261)에서 나타내는 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)는, 상대 화소 위치(x, y), 기울기 s, 및 i차항의 i가 이미 알려져 있으면, 연산 가능하다. 이들 중, 상대 화소 위치(x, y)는 주목 화소와 탭 범위에 의하여, 변수 s는 cotθ이므로 각도 θ에 의하여, i의 범위는 차수 n에 의하여, 각각 결정된다.

따라서, 적분 성분 연산부(5204)는, 조건 설정부(5201)에 의해 설정된 탭 범위 및 차수, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중 각도 θ에 따라 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(5205)에 공급한다.

정규 방정식 생성부(5205)는, 입력 화소값 취득부(5203)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(5204)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(260)을 최소 자승법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(5206)에 출력한다. 그리고, 정규 방정식의 구체예에 대하여는 후술한다.

근사 함수 생성부(5206)는, 정규 방정식 생성부(5205)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해법으로 풀어서, 전술한 식(259)의 특징량 w_i(즉, 2차원 다항식인 근사 함수 f(x, y)의 계수 w_i)의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 355의 흐름도를 참조하여, OLPF(5103)의 영향을 고려하여 실세계 의 추정 처리(도 40의 스텝 S102의 처리)에 대하여 설명한다.

예를 들면, 지금, 기울기 G_F로 표현되는 공간 방향의 정상성을 가지는 실세계(1)의 광신호가, 센서(2)에 의해 검출되어, 1프레임에 대응하는 입력 화상으로서, 입력 화상 기억부(5202)에 이미 기억되어 있는 것으로 한다. 또, 데이터 정상성 검출부(101)가, 스텝 S101(도 40)의 정상성의 검출의 처리에 있어서, 입력 화상 중, 데이터 정상성 정보로서 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 스텝 S5201에 있어서, 조건 설정부(5201)는, 조건(탭 범위와 차수)을 설정한다.

예를 들면, 지금, 도 356에 나타낸 탭 범위(5241)가 설정되고, 또한 차수로서 5차가 설정된 것으로 한다.

즉, 도 356은, 탭 범위의 일례를 설명하는 도면이다. 도 356에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향을 나타내고 있다. 또, 탭 범위(5241)는, X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 모두 20개의 화소(도면 중, 20개의 정방형)로 이루어지는 화소군을 나타내고 있다.

또한, 도 356에 나타낸 바와 같이, 주목 화소가, 탭 범위(5241) 중, 도면 중, 좌측으로부터 2화소째, 아래로부터 3화소째의 화소가 설정되었다고 가정한다. 또, 각 화소의 각각에 대하여, 주목 화소로부터의 상대 화소 위치(x, y)(주목 화소의 중심(0, 0)을 원점으로 하는 주목 화소 좌표계의 좌표값)에 따라, 도 356에 나타낸 바와 같은 번호 l(l은, 0 내지 19 중 어느 하나의 정수치)가 부여되어 있는 것으로 한다.

도 355로 복귀하고, 스텝 S5202에 있어서, 조건 설정부(5201)는, 주목 화소를 설정한다.

스텝 S5203에 있어서, 입력 화소값 취득부(5203)는, 조건 설정부(5201)에 의해 설정된 조건(탭 범위)에 따라 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 즉, 지금의 경우, 입력 화소값 취득부(5203)는, 입력 화소값 테이블로서, 20개의 입력 화소값 P(l)로 이루어지는 테이블을 생성한다.

그리고, 지금의 경우, 입력 화소값 P(l)와, 전술한 입력 화소값 P(x, y)의 관계는, 다음의 식(262)에서 나타내는 관계가 된다. 단, 식(262)에 있어서, 좌변이 입력 화소값 P(l)를 나타내고, 우변이 입력 화소값 P(x, y)를 나타내고 있다.

…(262)

스텝 S5204에 있어서, 적분 성분 연산부(5204)는, 조건 설정부(5201)에 의해 설정된 조건(탭 범위 및 차수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

지금과 같은 경우, 전술한 바와 같이, 입력 화소값은, P(x, y)가 아니고 P(l)에 의해, 화소의 번호 l의 값으로서 취득되므로, 적분 성분 연산부(5204)는, 전술한 식(261)의 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)를, 다음의 식(263)의 좌변에 나타낸 l의 함수로서 연산한다.

S_i(l)= S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5) (263)

구체적으로는, 지금의 경우, 다음의 식(264)에서 나타내는 적분 성분 S_i(l)이 연산된다.

…(264)

그리고, 식(264)에 있어서, 좌변이 적분 성분 S_i(l)을 나타내고, 우변이 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)를 나타내고 있다. 즉, 지금의 경우, i는 0 내지 5이므로, 20개의 S₀(l), 20개의 S₁(l), 20개의 S₂(l), 20개의 S₃(l), 20개의 S₄(l), 20개의 S₅(l)의 총계 120개의 S_i(l)이 연산된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(5204)는, 데이터 정상성 검출부(101)로부터 공급된 각도 θ에 대한 cotθ를연산하고, 그것을 변수 s로 한다. 다음에, 적분 성분 연산부(5204)는, 연산한 변수 s를 사용하여 식(264)의 우변에 나타낸 20개의 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)의 각각을, i = 0 내지 5의 각각에 대하여 연산한다. 즉, 120개의 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)가 연산된다. 그리고, 상기 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)의 연산에 있어서는, 전술한 식(261)이 사용된다. 그리고, 적분 성분 연산부(5204)는, 식(264)에 따라, 연산한 120개의 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)의 각각을, 대응하는 S_i(l)의 각각으로 변환하고, 변환한 120개의 S_i(l)을 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S5203의 처리와 스텝 S5204의 처리의 순서는, 도 355의 예에 한정되지 않고, 스텝 S5204의 처리가 먼저 실행되어도 되고, 스텝 S5203의 처리와 스텝 S5204의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S5205에 있어서, 정규 방정식 생성부(5205)는, 스텝 S5203의 처리에서 입력 화소값 취득부(5203)에 의해 생성된 입력 화소값 테이블과, 스텝 S5204의 처리에서 적분 성분 연산부(5204)에 의해 생성된 적분 성분 테이블에 따라, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 전술한 식(260)을 이용하여 최소 자승법에 의해 특징량 w_i가 연산되기 때문에(단, 식(258)에 있어서, 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)는, 식(262)에 의해 변환되는 Si(l)이 사용된다), 그에 대응하는 정규 방정식은, 다음의 식(265)과 같이 표현된다.

…(265)

그리고, 식(265)에 있어서, L은, 탭 범위의 화소의 번호 l 중 최대값을 나타내고 있다. N은, 다항식인 근사 함수 f(x)의 차수를 나타내고 있다. 구체적으로는, 지금의 경우, n = 5가 되고, L = 19가 된다.

식(265)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(266) 내지 식(268)과 같이 정의하면, 정규 방정식은, 다음의 식(269)과 같이 표현된다.

…(266)

…(267)

…(268)

…(269)

식(267)에서 나타낸 바와 같이, 행렬 W_MAT의 각 성분은, 구하고자 하는 특징량 w_i이다. 따라서, 식(269)에 있어서, 좌변의 행렬 S_MAT와 우변의 행렬 P_MAT가 결정되고, 행렬 해법에 따라 행렬 W_MAT의 연산이 가능하게 된다.

구체적으로는, 식(266)에서 나타낸 바와 같이, 행렬 S_MAT의 각 성분은, 전술한 적분 성분 S_i(l)에 의해 연산 가능하다. 즉, 적분 성분 S_i(l)은, 적분 성분 연산부(5204)로부터 공급된 적분 성분 테이블에 포함되어 있으므로, 정규 방정식 생성부(5205)는, 적분 성분 테이블을 이용하여 행렬 S_MAT의 각 성분을 연산할 수 있다.

또, 식(268)에서 나타낸 바와 같이, 행렬 P_MAT의 각 성분은, 적분 성분 S_i(l)과 입력 화소값 P(l)에 의해 연산 가능하다. 즉, 적분 성분 Si(l)은, 행렬 S_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 입력 화소값 P(l)은, 입력 화소값 취 득부(5203)로부터 공급된 입력 화소값 테이블에 포함되어 있으므로, 정규 방정식 생성부(5205)는, 적분 성분 테이블과 입력 화소값 테이블을 이용하여 행렬 P_MAT의 각 성분을 연산할 수 있다.

이와같이 하여, 정규 방정식 생성부(5205)는, 행렬 S_MAT와 행렬 P_MAT의 각 성분을 연산하고, 그 연산 결과(행렬 S_MAT와 행렬 P_MAT의 각 성분)를 정규 방정식 테이블로서 근사 함수 생성부(5206)에 출력한다.

정규 방정식 생성부(5205)로부터 정규 방정식 테이블이 출력되면 스텝 S5206에 있어서, 근사 함수 생성부(5206)는, 정규 방정식 테이블에 따라, 전술한 식(267)의 행렬 W_MAT의 각 성분인 특징량 w_i(즉, 2차원 다항식인 근사 함수 f(x, y)의 계수 w_i)를 연산한다.

구체적으로는, 전술한 식(269)의 정규 방정식은, 다음의 식(270)과 같이 변형할 수 있다.

…(270)

식(270)에 있어서, 좌변의 행렬 W_MAT의 각 성분이, 구한 있고 특징량 w_i이다. 또, 행렬 S_MAT와 행렬 P_MAT의 각각의 각 성분은, 정규 방정식 생성부(5205)로부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(5206)는, 정규 방정식 테이블을 이용하여, 식(270)의 우변의 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.

스텝 S5207에 있어서, 근사 함수 생성부(5206)는, 모든 화소의 처리가 종료되었는지의 여부를 판정한다.

스텝 S5207에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S5202로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소가 되어있지 않은 화소가, 차례로 주목 화소가 되어, 스텝 S5202내지 S5207의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S5207에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료된다.

도 357의 A는, 고정밀의 입력 화상(자전거의 스포크의 화상)을 나타내고, 도 357의 B는, 도 357의 A의 화상이 OLPF(5103)에 의해 처리된 화상이며, 도 357의 C는, 전술한 도 355의 흐름도를 참조하여 설명한 처리에 의해 도 357의 B의 화상으로부터 추정된 실세계의 근사 함수를 사용하여 화소를 생성한 화상이며, 도 357의 D는, 도 357의 B의 화상을 종래의 클래스 분류 적응 처리에 의해 생성한 화상이다.

도 357의 C의 화상은, 도 357의 D의 화상에 비하여, 에지가 강하게 표시되고 스포크의 윤곽이 분명히 표시되어 있는 것을 알 수 있다.

또, 도 358은, 도 357의 A 내지 D의 화상의 소정의 수직 방향의 위치에서의 수평 방향의 화소값의 변화를 나타낸 도면이다. 도 358에 있어서는, 1점 쇄선은, 도 357의 A의 화상에, 실선은, 도 357의 B의 화상에, 점선은, 도 357의 C의 화상에, 2점 쇄선은, 도 357의 D의 화상에 각각 대응하고 있다. 도 358에 나타낸 바와 같이, 스포크 형상을 표시하고 있는 공간 방향 X = 10부근에 있어서, 도 352의 실세계 추정부(102)에 의해 OLPF(5103)의 영향을 고려하여 처리 화상인 점선 쪽이, 2점 쇄선으로 나타낸 종래의 클래스 분류 적응 처리에 의해 생성된 화상보다, 입력 화상에 가까운 값이 얻어지고 있는 것을 알 수 있다.

특히, 화소값이 작은 부분은, 스포크의 에지 부분의 반사 부분이지만, 이 부분에 대하여는, OLPF를 고려한 처리에 의해 표현력이 향상되어 있다.

도 352의 실세계 추정부(102)에 의하면, OLPF(5103)에 의한 영향을 고려한 실세계의 근사 함수 f(x)를 구하는 것이 가능해지고, 또한 OLPF(5103)에 의한 영향을 고려한 실세계의 근사 함수 f(x)로부터 OLPF(5103)에 의한 영향을 고려한 화소를 생성하는 것이 가능해진다.

이상, 2차원 다항식 근사 방법의 설명으로서 공간 방향(X 방향과 Y 방향)에 대한 근사 함수 f(x, y)의 계수(특징량 w_i)를 연산하는 예를 사용하였지만, 물론, 공간 방향(X 방향, 또는 Y 방향) 중 어느 하나에만 적용하고, 1차원 다항식 근사 방법으로 해도 된다.

이상에 의하면, 각각 공간 적분 효과를 가지는 복수개의 화소에 현실 세계의 광신호가 광학 로패스 필터를 통하여 투영되어, 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터의 공간 방향 중 적어도 1차원 방향의 위치에 대응하는 주목 화소의 화소값이, 광학 로패스 필터에 대응한 복수개의 실세계 함수 중 적어도 1차원 방향의 적분에 의해 취득된 화소값인 것으로 하여 복수개의 실세계 함수를 추정함으로써, 현실 세계의 광신호에 대응하는 함수를 추정하였으므로, 보다 충실하게 실세계를 추정하는 것이 가능해진다.

이상에 있어서는, 도 336의 신호 처리 장치에 있어서는, 센서(2)로부터 입력되는 화상으로부터 OLPF(5103)의 영향을 제거하도록 하여 신호 처리를 실행하고, 도 352의 실세계 추정부(102)에서는, OLPF(5103)의 영향을 고려하여 실세계의 근사 함수를 생성하는 처리에 의하여, 결과적으로 신호 처리에 있어서 OLPF(5103)의 영향을 고려한 처리를 행하였지만, 예를 들면, OLPF가 없는 HD 화상을 교사 화상으로 하고, OLPF가 있는 SD 화상을 학생 화상으로서 학습에 의해 예측 계수를 설정하고, 클래스 분류 적응 처리에 의해 화상을 생성할 수도 있다.

도 359는, OLPF가 없는 HD 화상을 교사 화상으로 하고, OLPF가 있는 SD 화상을 학생 화상으로서 학습에 의해 예측 계수를 설정하고, 클래스 분류 적응 처리에 의해 화상을 생성한 신호 처리 장치(5221)의 구성을 나타낸 블록도이다.

그리고, 도 359에 있어서의 신호 처리 장치(5221)는, 실질적으로, 도 337의 OLPF 제거부(5131)와 동일한 구성이며, 신호 처리 장치(5221)의 클래스 탭 추출부(5241), 특징량 연산부(5242), 클래스 분류부(5243), 계수 메모리(5244), 예측 탭 추출부(5245), 및 화소값 연산부(5246)는, OLPF 제거부(5131)의 신호 처리 장치(5141)의 클래스 탭 추출부(5141), 특징량 연산부(5142), 클래스 분류부(5143), 계수 메모리(5144), 예측 탭 추출부(5145), 및 화소값 연산부(5146)는, 동일한 것이므로 그 설명은 생략한다. 단, 계수 메모리(5244)에 기억되어 있는 예측 계수는, 계수 메모리(5144)와는 상이한 학습에 의해 얻어지므로, 상이한 것이라 할 수 있다. 계수 메모리(5244)에 기억되는 예측 계수의 학습에 대하여는, 도 361의 학습 장치를 참조하여 후술한다.

다음에, 도 360의 흐름도를 참조하여, 도 359의 신호 처리 장치(5221)에 의한 신호 처리에 대하여 설명하지만, 실질적으로, 도 340의 흐름도에 있어서의 처리와 동일하므로, 그 설명은 생략한다.

이상에 의하면, 각각 공간 적분 효과를 가지는 복수개의 화소에 현실 세계의 광신호가 광학 로패스 필터를 통하여 투영됨으로써 취득되는 제1 화상 데이터를 취 득하고, 제2 화상 데이터 내의 주목 화소에 대응하는 복수개의 화소를 제1 화상 데이터로부터 추출하고, 제1 화상 데이터로부터 광학 로패스 필터에 입사되는 광신호가 직접 투영됨으로써 취득되는 제2 화상 데이터를 예측하도록 미리 학습하고, 추출한 복수개의 화소와 예측에 따라 제2 화상 데이터 내의 주목 화소의 화소값을 예측하도록 했으므로, 실세계에 충실한 화상을 생성하는 것이 가능해진다.

다음에, 도 361을 참조하여, 도 359의 신호 처리 장치의 계수 메모리(5244)에 기억되는 예측 계수를 학습하는(전술에 있어서의 도 359의 신호 처리 장치는, 예측 계수를 사용하여 화소값을 예측하는 예측 수단이므로, 예측 계수를 학습하는 것은, 즉, 이 예측 수단을 학습하는 것이 된다) 학습 장치에 대하여 설명한다. 그리고, 도 361의 학습부(5252)는, 도 341의 학습부(5152)와 실질적으로 동일한 것이며, 학습부(5252)의 화상 메모리(5261), 클래스 탭 추출부(5262), 특징량 추출부(5263), 클래스 분류부(5264), 예측 탭 추출부(5265), 덧셈 연산부(5266), 학습 메모리(5267), 정규 방정식 연산부(5268), 및 계수 메모리(5254)는, 학습부(5152)의 화상 메모리(5161), 클래스 탭 추출부(5162), 특징량 추출부(5163), 클래스 분류부(5164), 예측 탭 추출부(5165), 덧셈 연산부(5166), 학습 메모리(5167), 정규 방정식 연산부(5168), 및 계수 메모리(5154)와 동일한 것이므로, 그 설명은 생략한다.

또, 도 362에서 나타낸 바와 같이, 교사 화상 생성부(5253)의 1/16 평균 처 리부(5253a), 및 학생 화상 생성부(5251)의 OLPF 시뮬레이션 처리부(5251a)는, 도 344의 교사 화상 생성부(5153)의 1/16 평균 처리부(5153a), 및 학생 화상 생성부(5151)의 OLPF 시뮬레이션 처리부(5151a)와 동일하므로, 그 설명도 생략한다.

학생 화상 생성부(5251)의 1/64 평균 처리부(5251b)는, OLPF 시뮬레이션에 의해 OLPF(5103)에 의한 처리가 이루어진 HD 화상의 각 화소를 센서(2)에 입사되는 광으로 판단하여 HD 화상의 8화소 × 8화소의 범위를 SD 화상의 1화소로 진단하는 것으로, 일종의 공간적인 적분 효과를 생기게 하여, OLPF(5103)에 의한 영향이 없는, 센서(2)에 의해 생성되는 화상(OLPF가 없는 SD 화상)을 가상적으로 생성한다.

다음에, 도 363의 흐름도를 참조하여, 도 361의 학습 장치에 의한 학습 처리에 대하여 설명한다.

그리고, 스텝 S5231의 처리, 및 S5233 내지 S5241의 처리는, 도 349의 흐름도를 참조하여 설명한 스텝 S5031의 처리, 및 스텝 S5033 내지 S5041의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S5232에 있어서, 1/64 평균 처리부(5251b)는, OLPF 시뮬레이션 처리부(5251a)로부터 입력된 OLPF 시뮬레이션 처리된 화상을 8화소 × 8화소의 합계 64화소 단위로 평균 화소값을 구하고, 또한 그 64화소의 화소값을 그 평균 화소값에 차례로 치환하여, 외관상 SD 화상이 된 학생 화상을 생성항여 학습부(5252)의 화상 메모리(5261)에 출력한다.

이상의 처리에 의하여, 계수 메모리(5254)에는, OLPF가 없는 HD 화상을 교사 화상으로하고, OLPF가 있는 SD 화상을 학생 화상으로 했을 때의 예측 계수가 기억되게 된다. 또한, 계수 메모리(5254)에 기억된 예측 계수를, 신호 처리 장치(5221)의 계수 메모리(5244)에 카피 등을 행함으로써, 도 360의 신호의 처리를 실행하는 것이 가능해지고, 또한 OLPF가 있는 SD 화상을 OLPF가 없는 HD 화상으로 변환하는 것이 가능해진다.

이상의 처리를 정리하면, 실세계의 화상에 OLPF의 처리가 실시되고, 또한 촬상 소자(센서(2)에 의해 촬상된 SD 화상(도면 중의 실세계 ＋ LPF ＋ 촬상 소자)은, 도 337의 OLPF 제거부(5131)에 의해 도 364의 화살표 A에서 나타낸 바와 같이, OLPF에 의한 처리가 제거된 SD 화상(도면 중의 실세계 ＋ 촬상 소자)로 변환되고, 또한 정상성 검출부(101), 및 실세계 추정부(102)에 의하여, 도 364의 화살표 A'에서 나타낸 바와 같이, OLPF에 의한 처리 전의 실세계가 추정된다.

또, 도 352에서 나타내는 실세계 추정부(102)는, SD 화상(도면 중의 실세계 ＋ LPF ＋ 촬상 소자)으로부터, 도 364의 화살표 B에서 나타낸 바와 같이 OLPF에 의한 처리 전의 실세계를 추정한다.

또한, 도 359에서 나타내는 신호 처리 장치(5221)는, 도 364의 화살표 C에서 나타낸 바와 같이, SD 화상(도면 중의 실세계 ＋ LPF ＋ 촬상 소자)으로부터 실세 계를 OLPF의 영향을 받지 않는 상태에서 촬상 소자에 의해 촬상한 HD 화상을 생성한다.

또, 종래의 클래스 분류 적응 처리는, 도 364의 화살표 D에서 나타낸 바와 같이, SD 화상(도면 중의 실세계 ＋ LPF ＋ 촬상 소자)으로부터 실세계를 OLPF를 통한 상태에서 촬상 소자에 의해 촬상한 HD 화상을 생성한다.

또한, 도 3의 신호 처리 장치는, 도 364의 화살표 E에서 나타낸 바와 같이, SD 화상(도면 중의 실세계 ＋ LPF ＋ 촬상 소자)으로부터 OLPF에 의해 영향을 받으므로 실세계를 추정한다.

이상에 의하면, 제2 화상 데이터에 대응하는 광신호가 광학 로패스 필터를 통과했을 때의 광신호에 대응하는 화상 데이터를 연산하고, 제1 화상 데이터로서 출력하고, 제2 화상 데이터 내의 주목 화소에 대응하는 복수개의 화소를 제1 화상 데이터로부터 추출하고, 추출한 복수개의 화소의 화소값으로부터, 주목 화소의 화소값을 예측하도록 학습하였으므로, 실세계에 충실한 화상을 생성하는 것이 가능해진다.

또, 이상에 있어서는, 실세계를 근사하는 근사 함수 f(x)를 연속 함수로서 취급해 왔지만, 예를 들면, 영역마다 불연속인 근사 함수 f(x)를 설정할 수도 있다.

즉, 이상에 있어서는, 도 365에서 나타낸 바와 같이 실세계의 광의 강도의 분포를 나타내는 1차원의 단면이 되는 곡선(도면 중의 점선으로 나타낸 곡선)의 함수(근사 함수)를 다항식에 의해 근사하고, 정상성의 방향으로 이 곡선이 연속하여 존재하는 것을 이용하여 실세계를 추정하였다.

그러나, 이 단면이 되는 곡선은, 반드시 다항식과 같은 연속 함수일 필요는 없고, 예를 들면, 도 366에 나타낸 바와 같이 영역마다 상이한 불연속 함수이라도 된다. 즉, 도 366의 경우, 영역 a₁≤x＜a₂일 때, 근사 함수는 f(x) = w₁이며, 영역 a₂≤x＜a₃일 때, 근사 함수는 f(x) = w₂이며, 영역 a₃≤x＜a₄일 때, 근사 함수는 f(x) = w₃이며, 영역 a₄≤x＜a₅일 때, 근사 함수는 f(x) = w₄이며, 또한 영역 a₅≤x＜a₆일 때, 근사 함수는 f(x) = w₅이며, 각각 영역마다 상이한 근사 함수 f(x)가 설정되어 있다. 또, w_i는, 실질적으로, 각 영역에 있어서의 광의 강도의 레벨로 생각할 수 있다.

이와 같이 도 366에 나타낸 바와 같은 불연속 함수는, 이하의 식(271)의 일반식에서 정의된다.

f(x) = w_i (a_i≤x＜a_i+1)

…(271)

여기서, i는, 영역이 설정된 개수를 나타내고 있다.

이와 같이 도 366에 나타낸 것과 같은 단면의 분포(단면의 곡선에 대응하는 것)는, 각 영역마다 정수로서 설정되어 있다. 그리고, 도 366에 나타내는, 화소값의 단면의 분포는, 도 365의 점선으로 나타내는 곡선의 분포와 비교하여, 그 형상이 크고 상이한 것으로 되어 있지만, 실제로는, 각 함수 f(x)가 설정되는 범위(여기서는, a_i≤x＜a_i+1)의 폭을 미소하게 함으로써, 불연속 함수의 단면의 분포와 연속 함수의 단면의 곡선은, 기하학적으로 근사 가능한 레벨로 할 수 있다.

따라서, 식(271)에서 정의되는, 실세계의 불연속 함수로 이루어지는 근사 함수 f(x)를 사용함으로써, 이하의 식(272)에 의해 화소값 P가 구해지게 된다.

…(272)

여기서, x_e, x_s는, X 방향의 적분 범위를 나타낸 값을 나타내고, x_s가 적분 개시 위치를, x_e가 적분 종료 위치를 각각 나타내고 있다.

그러나, 실제로는, 전술한 식(271)에서 나타낸 바와 같은 실세계를 근사하는 함수를 직접 구하는 것은 곤란하다.

도 366에 나타낸 바와 같은 화소값의 단면의 분포는, 정상성의 방향에 대하여 연속하여 존재하는 것으로 가정되므로, 공간에 있어서의 광의 강도의 분포는, 도 367에 나타낸 바와 같이 된다. 여기서, 도 367의 좌측은, 연속 함수로 이루어지는 근사 함수 f(x)가 정상성의 방향으로 연속적으로 존재하고 경우의 화소값의 분포에 대응한 것이며, 도 367의 우측은, 좌측에 대응하는 동일한 분포를, 도 366의 불연속 함수로 이루어지는 근사 함수 f(x)를 사용하여, 정상성의 방향에 대하여 연속적으로 존재한 경우의 화소값의 분포에 대응한 것이다.

즉, 정상성의 방향을 따라, 도 366에 나타낸 단면의 형상이 연속 상태가 되므로 불연속 함수를 사용한 근사 함수 f(x)를 사용한 경우, 각 레벨 w_i는, 정상성의 방향을 따라 밴드형으로 분포하게 된다.

도 367의 우측에서 나타낸 바와 같은 불연속 함수에 의해 정의된 근사 함수 f(x)를 사용하여, 각 영역의 레벨을 결정하기 위해서는, 각 화소의 총 면적 중, 각 레벨(각 함수)이 설정된 범위에 차지하는, 영역마다의 면적의 비율에 따른 가중과 그 레벨과의 곱셈 및 덧셈을 구하고, 대응하는 화소의 화소값을 사용하여 정규 방정식을 생성하고, 최소 자승법을 이용하여, 각 영역의 화소값을 구할 필요가 있다.

즉, 도 368에서 나타낸 바와 같이, 도 368의 좌측에 나타낸 불연속 함수가 분포하는 경우, 도 368의 두꺼운 선으로 둘러싸인 격자로 나타낸 주목 화소(그리고, 도 368은, 지면을 XY 평면으로 했을 때의 화소의 배열을 나타낸 상면도이며, 각 격자가 화소에 해당한다)의 화소값을 구하는 경우, 주목 화소 중의 사선부 로 나타낸 부분보다 상부에 존재하는 삼각형 형태(저변이 상부의 삼각형)의 범위가 f(x) = w₂에 의해 설정된 범위이며, 사선부가 f(x) = w₃에 의해 설정된 범위이며, 사선부의 하부에 존재하는 삼각형 형태(저변이 하부의 삼각형)의 범위가 f(x) = w₄에 의해 설정된 범위가 되어 있다. 주목 화소의 면적이 1인 경우, f(x) = w₂에 의해 설정된 범위가 차지하는 비율이 0.2, f(x) = w₃에 의해 설정된 범위가 차지하는 비율이 0.5, 및 f(x) = w₄에 의해 설정된 범위가 차지하는 비율이 0.3일 때, 주목 화소의 화소값 P는, 각 범위의 화소값과 비율의 누적 합으로 표현되므로, 이하의 식(273)에서 나타내는 연산에 의해 구해진다.

P = 0. 2 × W₂ + 0. 5 × W₃ + 0. 3 × W₄

…(273)

따라서, 각 화소에 대하여, 식(273)에서 나타내는 관계를 사용하여 화소값과의 관계식을 생성함으로써, 예를 들면, 레벨 w₁ 내지 w₅를 구하기 위해서는, 모든 레벨을 포함하는 최저 5화소분의 화소값과의 관계를 나타낸 식(273)을 얻을 수 있으면, 예를 들면, 최소 자승법(관계식의 개수와 미지수가 같은 개수인 경우는 연립 방정식)에 의해 화소값의 레벨을 나타낸 w₁ 내지 w₅를 얻을 수 있다.

이와 같이 정상성을 사용한 2차원의 관계를 이용함으로써, 불연속 함수로 이 루어지는 근사 함수 f(x)를 구하는 것이 가능해진다.

정상성 검출부(101)에 의해 정상성의 각도 θ가 결정되므로, 원점(0, 0)을 지나는 각도 θ의 직선은 하나로 정해져서, Y 방향의 임의의 위치 y에 있어서의, 직선의 X 방향의 위치 x₁이, 다음의 식(274)과 같이 표현된다. 단, 식(274)에 있어서, s는 정상성의 기울기를 나타내고, 정상성의 기울기는, 각도 θ일 때, cotθ(= s)에 의해 표현된다.

x₁ = s × y

…(274)

즉, 데이터 정상성에 대응하는 직선상의 점은, 좌표값(x₁, y)에 의해 나타된다.

식(274)로부터, 단면 방향 거리 x'(정상성이 존재하는 직선에 따라 X 방향으로 어긋난 거리)는, 다음의 식(275)과 같이 표현된다.

x' = x x1 = x s × y

…(275)

따라서, 입력 화상의 임의의 위치(x, y)에 있어서의 근사 함수 f(x, y)는, 식(271)과 식(275)로부터, 다음의 식(276)과 같이 나타낸다.

f(x, y)= w_i (a_i≤(x - s × y)＜a_i+1)

…(276)

그리고, 식(276)에 있어서, w_i는, 각 영역에 있어서의 광의 강도의 레벨을 나타낸 특징량이라 할 수 있다. 그리고, 이하에 있어서, w_i는, 특징량이라 한다.

따라서, 실세계 추정부(102)는, 식(276)의 각 영역마다의 특징량 w_i를 연산할 수 있으면, 불연속 함수로 이루어지는 근사 함수 f(x, y)를 추정함으로써, 파형 F(x, y)를 추정할 수 있다.

그래서, 이하, 식(276)의 특징량 w_i를 연산하는 방법에 대하여 설명한다.

즉, 식(276)에서 나타내는 근사 함수 f(x, y)를, 화소(센서(2)의 검출 소자)에 대응하는 적분 범위(공간 방향의 적분 범위)에서 적분하면, 그 적분값이, 화소의 화소값의 추정 값이 된다. 이 것을, 식으로 나타낸 것이, 다음의 식(277)이다. 그리고, 불연속 함수를 사용한 2차원의 근사 방법에 있어서는, 프레임 방향 T는 일정값으로 간주되므로, 식(277)은, 공간 방향(X 방향과 Y방향)의 위치 x, y를 변수로 하는 방정식이 된다.

…(277)

식(277)에 있어서, P(x, y)는, 센서(2)로부터의 입력 화상 중, 그 중심 위치 가 위치(x, y)(주목 화소로부터의 상대 위치(x, y))에 존재하는 화소의 화소값을 나타내고 있다.

이와 같이, 2차원 근사 방법에 있어서는, 입력 화소값 P(x, y)와 2차원의 근사 함수 f(x, y)의 관계를, 식(277)에 의해 나타낼 수 있으므로, 실세계 추정부(102)는, 식(277)을 이용하여, 특징량 w_i를, 예를 들면, 최소 자승법 등에 의해 연산함으로써, 2차원의 함수 F(x, y)(공간 방향의 정상성을 가지는 실세계(1)의 광신호를, 공간 방향으로 주목하여 나타낸 파형 F(x, y))를 추정할 수 있다.

여기서, 도 369를 참조하여, 이상과 같은, 불연속 함수에 의해 근사 함수 f(x)를 설정하고, 실세계를 추정하는 실세계 추정부(102)의 구성에 대하여 설명한다.

도 369에서 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(5301), 입력 화상 기억부(5302), 입력 화소값 취득부(5303), 적분 성분 연산부(5304), 정규 방정식 생성부(5305), 및 근사 함수 생성부(5306)이 형성되어 있다.

조건 설정부(5301)는, 주목 화소에 대응하는 함수 F(x, y)를 추정하기 위하여 사용하는 화소의 범위(탭 범위)나, 근사 함수 f(x, y)의 범위(예를 들면, a_i≤x＜a_i+1의 폭, i의 개수)를 설정한다.

입력 화상 기억부(5302)는, 센서(2)로부터의 입력 화상(화소값)을 일시적으 로 저장한다.

입력 화소값 취득부(5303)는, 입력 화상 기억부(5302)에 기억된 입력 화상 중, 조건 설정부(5301)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(5305)에 공급한다. 즉, 입력 화소값 테이블은, 입력 화상의 영역에 포함되는 각 화소의 각각의 화소값이 기술된 테이블이다. 그리고, 입력 화소값 테이블의 구체예에 대하여는 후술한다.

그런데, 전술한 바와 같이, 2차원 근사 방법을 이용하는 실세계 추정부(102)는, 전술한 식(277)을 최소 자승법으로 풀어서, 전술한 식(276)에서 나타내는 근사 함수 f(x, y)의 특징량 w_i를 연산한다.

식(277)은, 다음의 식(278)과 같이 나타낼 수 있다.

…(278)

식(278)에 있어서, T_i(x_s, x_e, y_s, y_e)는, 적분 범위가 되는 영역 중, 특징량 w_i가 되는 영역(광의 레벨 w_i가 되는 영역)의 적분 결과, 즉, 면적을 나타내고 있다. 그리고, 이하, T_i(x_s, x_e, y_s, y_e)는, 적분 성분이라 한다.

적분 성분 연산부(5304)는, 상기 적분 성분 T_i(x_s, x_e, y_s, y_e) (= (x - 0.5, x + 0.5, y - 0.5, y + 0.5): 1화소분의 영역을 취하는 경우)를 연산한다.

구체적으로는, 식(278)에서 나타내는 적분 성분 T_i(x_s, x_e, y_s, y_e)는, 도 368을 참조하여 전술한 바와 같이, 구하려고 하는 화소 중의, 소정의 특징량 w_i의 면적을 구하는 것이다. 따라서, 적분 성분 연산부(5304)는, 적분 성분 T_i(x_s, x_e, y_s, y_e)를, 각 특장량마다의 폭 d와 데이터 정상성의 각도 θ의 정보에 따라, 기하학적으로 각 특징량 w_i마다 차지하는 면적을 구해도 되고, 심슨의 공식으로 따라서 다중 분할하여 적분하여 구해도 되고, 면적을 구하는 방법은 그들에 한정되지 않고, 예를 들면, 몬테 카를로 법(Monte Carle method)에 따라 면적을 구할 수도 있다.

도 368에서 설명한 바와 같이, a_i≤(x - s × y)＜a_i+1의 폭과 정상성의 기울기를 나타낸 변수 s, 및 상대 화소 위치(x, y)가 이미 알려져 있으면, 특징량 w_i의 연산은 가능하다. 이들 중, 상대 화소 위치(x, y)는 주목 화소와 탭 범위에 의하여, 변수 s는 cotθ이므로, 각도 θ에 의하여, a_i≤(x - s × y)＜a_i+1의 폭은, 미리 설정되므로, 각각의 값은 미리 알려지게 된다.

따라서, 적분 성분 연산부(5304)는, 조건 설정부(5301)에 의해 설정된 탭 범 위 및 폭, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중 각도 θ에 따라 적분 성분 Ti(x - 0.5, x + 0.5, y - 0.5, y + 0.5)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(5305)에 공급한다.

정규 방정식 생성부(5305)는, 입력 화소값 취득부(5303)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(5304)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(277), 즉, 식(278)을 최소 자승법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(5306)에 출력한다. 그리고, 정규 방정식의 구체예에 대하여는 후술한다.

근사 함수 생성부(5306)은, 정규 방정식 생성부(5305)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해법으로 풀어서, 전술한 식(278)의 특징량 w_i의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 370의 흐름도를 참조하여, 불연속 함수를 사용한 2차원의 근사 방법이 적용되는 실세계의 추정 처리(도 40의 스텝 S102의 처리)에 대하여 설명한다.

예를 들면, 지금, 기울기 G_F로 나타내는 공간 방향의 정상성을 가지는 실세계(1)의 광신호가, 센서(2)에 의해 검출되어, 1프레임에 대응하는 입력 화상으로서, 입력 화상 기억부(5302)에 이미 기억되어 있는 것으로 한다. 또, 데 이터 정상성 검출부(101)가, 스텝 S101(도 406)의 정상성의 검출 처리에 있어서, 입력 화상 중 데이터 정상성 정보로서 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 스텝 S5301에 있어서, 조건 설정부(5301)는, 조건(탭 범위, a_i≤x＜a_i+1의 폭(동일한 특징량의 폭), 및 i의 개수)을 설정한다.

예를 들면, 지금, 도 371에 나타낸 탭 범위가 설정되고, 또한 폭 d가 설정된 것으로 한다.

즉, 도 371은, 탭 범위의 일례를 설명하는 도면이다. 도 371에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향을 나타내고 있다. 또, 탭 범위는, 도 371의 우측의 모두 15개의 화소(도면 중 우측의 두꺼운 선으로 둘러싸인 15개의 격자)로 이루어지는 화소군을 나타내고 있다.

또한, 도 371에 나타낸 바와 같이, 주목 화소가, 탭 범위 중, 도면 중, 사선부의 화소로 설정되는 것으로 한다. 또, 각 화소의 각각에 대하여, 주목 화소로부터의 상대 화소 위치(x, y)(주목 화소의 중심(0, 0)을 원점으로 하는 주목 화소 좌표계의 좌표값)에 따라, 도 371에 나타낸 바와 같은 번호 l(l은, 0 내지 14 중 어느 하나의 정수치)가 부여되는 것으로 한다.

도 370으로 복귀하여, 스텝 S5302에 있어서, 조건 설정부(5301)는, 주목 화 소를 설정한다.

스텝 S5303에 있어서, 입력 화소값 취득부(5303)는, 조건 설정부(5301)에 의해 설정된 조건(탭 범위)에 따라 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 즉, 지금의 경우, 입력 화소값 취득부(5303)는, 입력 화상의 영역(도 371의 번호 0 내지 14가 부여된 화소)의 화소의 화소값을 취득하고, 입력 화소값 테이블로서, 15개의 입력 화소값 P(l)으로 이루어지는 테이블을 생성한다.

스텝 S5304에 있어서, 적분 성분 연산부(5304)는, 조건 설정부(5301)에 의해 설정된 조건(탭 범위, 폭, i의 개수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

지금의 경우, 적분 성분 연산부(5304)는, 전술한 식(278)의 적분 성분 T_i(x_s, x_e, y_s, y_e)(= T_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5): 1화소의 크기를 1 × 1로 나타내는 경우)를, 다음의 식(279)의 좌변에 나타낸 적분 성분 T_i(l)인 l의 함수로서 연산한다.

T_i(l) = T_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5) (279)

즉, 지금의 경우, 예를 들면, i가 0 내지 5라고 하면, 15개의 T₀(l), 15개의 T₁(l), 15개의 T₂(l), 15개의 T₃(l), 15개의 T₄(l), 15개의 T₅(l)의 모두 90개의 T_i(l)이 연산되어, 이들을 포함하는 적분 성분 테이블이 생성된다.

그리고, 스텝 S5303의 처리와 스텝 S5304의 처리의 순서는, 도 370의 예에 한정되지 않고, 스텝 S5304의 처리가 먼저 실행되어도 되고, 스텝 S5303의 처리와 스텝 S5304의 처리가 동시에 실행되어도 된다.

다음에, 스텝(5305)에 있어서, 정규 방정식 생성부(5305)는, 스텝 S5303의 처리에서 입력 화소값 취득부(5303)에 의해 생성된 입력 화소값 테이블과, 스텝 S5304의 처리에서 적분 성분 연산부(5304)에 의해 생성된 적분 성분 테이블에 따라, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 전술한 식(278)을 이용하여 최소 자승법에 의해 특징량 w_i가 연산되므로, 그에 대응하는 정규 방정식은, 다음의 식(280)과 같이 나타낸다.

…(280)

그리고, 식(280)에 있어서, L은, 탭 범위의 화소의 번호 l 중 최대값을 나타내고 있다. n은, 근사 함수 f(x)를 정의한 특징량 w_i의 i의 개수를 나타내고 있다. v_l은, 가중을 나타내고 있다. 구체적으로는, 지금의 경우, L = 15가 된다.

식(280)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(281) 내지 (283)과 같이 정의하면, 정규 방정식은, 다음의 식(284)과 같이 나타낸다.

…(281)

…(282)

…(283)

…(284)

식(282)에서 나타낸 바와 같이, 행렬 W_MAT의 각 성분은, 구하고자 하는 특징량 w_i이다. 따라서, 식(284)에 있어서, 좌변의 행렬 T_MAT와 우변의 행렬 P_MAT가 결정되고, 행렬 해법에 의해 행렬 W_MAT의 연산이 가능하게 된다.

구체적으로는, 식(281)에서 나타낸 바와 같이, 행렬 T_MAT의 각 성분은, 전술한 적분 성분 T_i(l)에 의해 연산 가능하다. 즉, 적분 성분 T_i(l)은, 적분 성분 연산부(5304)로부터 공급된 적분 성분 테이블에 포함되어 있으므로, 정규 방정식 생성부(5305)는, 적분 성분 테이블을 이용하여 행렬 T_MAT의 각 성분을 연산할 수 있다.

또, 식(283)에서 나타낸 바와 같이, 행렬 P_MAT의 각 성분은, 적분 성분 T_i(l)과 입력 화소값 P(l)에 의해 연산 가능하다. 즉, 적분 성분 T_i(l)은, 행렬 T_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 입력 화소값 P(l)은, 입력 화소값 취득부(5303)로부터 공급된 입력 화소값 테이블에 포함되어 있으므로, 정규 방정식 생성부(5305)는, 적분 성분 테이블과 입력 화소값 테이블을 이용하여 행렬 P_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(5305)는, 행렬 T_MAT와 행렬 P_MAT의 각 성분을 연산하고, 그 연산 결과(행렬 T_MAT와 행렬 P_MAT의 각 성분)를 정규 방정식 테이블로서 근사 함수 생성부(5306)에 출력한다.

정규 방정식 생성부(5305)로부터 정규 방정식 테이블이 출력되면 스텝 S5306에 있어서, 근사 함수 생성부(5306)는, 정규 방정식 테이블에 따라, 전술한 식(284)의 행렬 W_MAT의 각 성분인 특징량 w_i (즉, 불연속 함수로 이루어지는 2차원의 근사 함수 f(x, y)의 영역마다 정의되는 함수인 레벨 w_i)를 연산한다.

구체적으로는, 전술한 식(284)의 정규 방정식은, 다음의 식(285)과 같이 변형할 수 있다.

…(285)

식(285)에 있어서, 좌변의 행렬 W_MAT의 각 성분이, 구하고자 하는 특징량 w_i이다. 또, 행렬 T_MAT와 행렬 P_MAT의 각각의 각 성분은, 정규 방정식 생성부(5305)로부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(5306)는, 정규 방정식 테이블을 이용하여, 식(285)의 우변의 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.

스텝 S5307에 있어서, 근사 함수 생성부(5306)는, 모든 화소의 처리가 종료되었는지 여부를 판정한다.

스텝 S5307에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S5302로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소가 되지 않은 화소가, 차례대로 주목 화소가 되어, 스텝 S5302 내지 S5307의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S5307에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료된다.

이상, 불연속 함수를 사용한 2차원의 근사 방법의 설명으로서 공간 방향(X 방향과 Y 방향)에 대한 근사 함수 f(x, y)의 특징량 w_i를 연산하는 예를 사용하였지만, 불연속 함수를 사용한 2차원의 근사 방법은, 시공간 방향(X 방향과 T 방향, 또는 Y 방향과 T 방향)에 대하여도 적용할 수 있다.

즉, 전술한 예는, 실세계(1)의 광신호가, 예를 들면, 공간 방향의 정상성을 가지는 경우의 예였으므로, 전술한 식(277)에서 나타낸 바와 같은, 공간 방향(X 방향과 Y 방향)의 2차원 적분이 포함되는 식이 이용되었다. 그러나, 2차원 적분은, 공간 방향뿐만 아니라, 시공간 방향(X 방향과 T 방향, 또는 Y 방향과 T 방향)에 대하여 적용할 수도 있다.

환언하면, 불연속 함수를 사용한 2차원 근사 방법에 있어서는, 추정하고 싶은 광신호 함수 F(x, y, t)가, 공간 방향의 정상성 뿐만아니라, 시공간 방향(단, X 방향과 T 방향, 또는 Y 방향과 T 방향)의 정상성을 가지고 있는 경우라도, 2차원의 불연속 함수에 의해 근사할 수 있다.

구체적으로는, 예를 들면, 도 372에서 나타낸 바와 같은, 물체(도면 중의 장난감의 비행기) D1(도면 중의 하단의 프레임 화상)이, X 방향으로 수평으로 등속으로 움직이고, 물체 D2(도면 중의 중단의 프레임 화상)까지 이동하는 경우, X-T 평면에 있어서, 그 물체의 모션은 도 372의 상부에서 나타낸 바와 같이, 궤적 L1과 같이 표현된다. 그리고, 도 372의 상단은, 도면 중의 OPQR을 각 정점으로 한, 면의 화소값의 변화를 나타낸 것이다.

환언하면, 궤적 L1은, X-T 평면에 있어서의 시공간 방향의 정상성의 방향을 나타내고 있다고 할 수도 있다. 따라서, 데이터 정상성 검출부(101)는, 전술한 각도θ(X-Y 평면에 있어서의, 소정의 기울기(각도)로 표현되는 공간 방향의 정상성에 대응하는 데이터 정상성 정보)와 마찬가지로, X-T 평면에 있어서의 시공간 방향의 정상성을 나타내는 기울기(정상성의 각도)에 대응하는 데이터 정상성 정보로서, 도 372에서 나타낸 바와 같은 궤적이 이루는 각도(엄밀하게는, 도시는 하지 않지만, 물체가 D1으로부터 D2로 이동할 때의 궤적(전술한 움직임)으로서의 데이터 정상성의 방향과, 공간 방향의 X 방향이 이루는 각도)를 출력할 수 있다.

따라서, 2차원의 불연속 함수를 사용한 근사 방법을 이용하는 실세계 추정부(102)는, 모션 θ를 전술한 각도 θ 대신에 사용하면, 전술한 방법과 동일한 방법으로, 근사 함수 f(x, t)의 특징량 w_i를 연산하는 것이 가능하게 된다. 단, 이 경우, 사용되는 식은, 전술한 식(277)이 아니고, 다음의 식(286)이다.

…(286)

X-T 평면상의 처리인 경우, 도 371의 우측에서 나타나 있는 각 화소와 불연 속 함수의 관계는, 도 373에 나타낸 바와 같다. 즉, 도 373에 있어서는, 공간 방향 X의 단면 형상(불연속 함수에 의한 단면 형상)이 프레임 방향 T에 대하여 소정의 정상성의 방향을 따라 연속하게 된다. 결과로서, 레벨이, 레벨 w₁ 내지 w₅의 5종류인 경우, 도 371의 좌측에서 나타낸 바와 같은 동일한 레벨이 되는 띠가 정상성의 방향을 따라 분포 하게 된다.

따라서, 이 경우, 화소값은, 도 373의 우측에 있는 것처럼 X-T 평면상에 존재하는 화소를 사용함으로써, 구할 수 있다. 그리고, 도 373의 우측에 있어서, 각 격자는 화소를 나타내지만, X 방향은, 화소의 폭이지만, 프레임 방향으로 대해서는, 각 격자의 단위가 1프레임 분에 행당한다.

또, 공간 방향 X 대신에, 공간 방향 Y에 주목하는 근사 함수 f(y, t)도, 전술한 근사 함수 f(x, t)와 똑같이 동일하게 취급할 수 있다.

이상에 있어서는, 불연속 함수로 이루어지는 2차원의 근사 함수를 설정하고, 실세계를 추정하는 방법에 대하여 설명하였으나, 또한 불연속 함수로 이루어지는 3차원의 근사 함수에 의한 실세계의 추정도 가능하다.

예를 들면, 도 374에서 나타낸 바와 같이 영역마다 상이한 2차원의 불연속인 함수를 생각한다. 즉, 도 374의 경우, 영역 a₁≤x＜a₂, b₁≤y＜b₂일 때, 근사 함수는 f(x, y) = w₁이고, 영역 a₂≤x＜a₃, b₃≤y＜b₄일 때, 근사 함수는 f(x, y) = w₂이 며, 영역 a₃≤x＜a₄, b₅≤y＜b₆일 때, 근사 함수는 f(x, y) = w₃이며, 영역 a₄≤x＜a₅, b₇≤y＜b₈일 때, 근사 함수는 f(x, y) = w₄이며, 영역 a₃≤x＜a₄, b₉≤y＜b₁₀일 때, 근사 함수는 f(x, y) = w₅와 같이, 각각 영역마다 상이한 근사 함수 f(x, y)가 설정되어 있다. 또, w_i는, 실질적으로, 각 영역에 있어서의 광의 강도의 레벨이라고 생각할 수 있다.

이와 같이 도 374에서 나타낸 바와 같은 불연속 함수는, 이하의 식(287)의 일반식에서 정의된다.

f(x, y)= w_i (a_j≤x＜a_{j +1} & b_{2k -1}≤y＜b_2k)

…(287)

그리고, 여기서, j, k는, 임의의 정수이지만, i는, j와 k의 조합에 의해 표현 가능한 영역을 식별하는 일련 번호이다.

이와 같이 도 374에서 나타낸 단면의 분포(단면의 곡선에 대응하는 것)는, 각 영역마다 정수로서 설정되어 있다.

따라서, 식(287)에서 정의되는, 실세계의, 불연속 함수로 이루어지는 근사 함수 f(x, y)를 사용함으로써, 이하의 식(288)에 의해 화소값 P(x, y)가 구해지게 된다.

…(288)

여기서, x_e, x_s는, X 방향의 적분 범위를 나타낸 값을 나타내고, x_s가 X 방향의 적분 개시 위치를, x_e가 X 방향의 적분 종료 위치를 각각 나타내고 있다. 마찬가지로, y_e, y_s는, Y 방향의 적분 범위를 나타낸 값을 나타내고, y_s가 Y 방향의 적분 개시 위치를, y_e가 Y 방향의 적분 종료 위치를 각각 나타내고 있다.

그러나, 실제로는, 전술한 식(287)에서 나타낸 바와 같은 실세계를 근사하는 함수를 직접 구하는 것은 곤란하다.

도 374에서 나타낸 바와 같은 화소값의 단면의 분포는, 프레임 방향의 정상성의 방향에 대하여 연속하여 존재하는 것으로 가정되므로, 공간에 있어서의 광의 강도의 분포는, 도 375에서 나타낸 바와 같이 된다. 여기서, 도 375의 좌측은, 불연속 함수로 이루어지는 근사 함수 f(x, y)가 프레임 방향과 X 방향의 정상성 방향으로 연속적으로 존재하는 경우의 화소값의 분포의 X-T 평면에 의해 표현한 것이며, 도면 중 우측에는, 도 374에서, X-Y 평면상의 광의 강도의 레벨의 단면이, 프레임 방향으로 연속되는 분포가 나타나 있다.

즉, 정상성의 방향을 따라, 도 374에서 나타낸 단면의 형상이 연속한 상태가 되므로 도 375의 우측에 나타낸 바와 같이, 각 레벨 w_i의 영역은, 정상성의 방향를 따른 봉형의 분포가 된다.

도 375의 우측에서 나타낸 바와 같은 불연속 함수에 의해 정의된 근사 함수 f(x, y)를 사용하여, 각 3차원의 영역의 화소값을 결정하려면, 전술한 2차원에 있어서, 면적을 사용하던 방법과 마찬가지로 하여, 체적에 의한 비율을 사용하여 계산한다. 즉, 각 화소의 총체적(X 방향, Y 방향, 및 T 방향으로 이루어지는 3차원의 체적) 중, 각 레벨이 설정된 범위가 차지하는 체적의 비율에 따른 가중과 그 레벨과의 적합을 구하여, 대응하는 화소의 화소값을 사용함으로써, 예를 들면, 최소 자승법을 이용하여, 각 영역의 화소값을 구한다.

즉, 도 376에 나타낸 바와 같이, 경계 R을 경계로 하여, 한쪽의 영역의 레벨이 f(x, y) = w₁이며, 다른 쪽의 영역의 레벨이 f(x, y) = w₂인 것으로 한다. 또, XYT 공간 상에서 도면 중의 ABCDEFGH로 이루어지는 입방체가, 주목 화소를 나타내고 있는 것으로 한다. 또한, 주목 화소에 있어서의 경계 R과의 단면은, IJKL로 이루어지는 직사각형인 것으로 한다.

또, 화소 P의 체적 중, IBJ-KFL으로 이루어지는 삼각기둥이 되는 부분이 차지하는 비율을 M1, 및 그 이외의 부분(ADCJI-EGHLK)으로 이루어지는 5각 기둥)의 체적이 차지하는 비율을 M2에서 나타내는 것으로 한다. 그리고, 여기서 말하는 체 적은, XYT 공간 상의 전유 영역의 크기를 나타낸 것이다.

이 때, 주목 화소의 화소값 P는, 각 범위의 화소값과 비율의 누적합으로 표현되므로, 이하의 식(289)에서 나타내는 연산에 의해 구해진다.

P = M1 × w₁ ＋ M2 × w₂

…(289)

따라서, 각 화소에 대하여, 식(289)에서 나타내는 관계를 사용하여 화소값과의 관계를 나타낸 식을 생성함으로써, 예를 들면, 화소값을 나타낸 계수로서 w₁ 내지 w₂를 구하기 위해서는, 각각의 계수를 포함하는 최저 2화소분 이상의 화소값과, 그 화소의 식(289)의 관계를 나타내는 것이 얻어지면, 예를 들면, 최소 자승법(미지수와 관계식이 같은 수의 경우는, 연립 방정식)에 의해 화소값의 레벨을 나타낸 w₁ 내지 w₂를 얻는 것이 가능해진다.

이와 같이 정상성을 사용한 3차원의 관계를 이용함으로써, 불연속 함수로 이루어지는 근사 함수 f(x, y)를 구하는 것이 가능해진다.

예를 들면, 정상성 검출부(101)에 의해 출력되는, X-Y 평면형의 정상성의 각도 θ에 해당하는, 움직임 θ에 따라, X-T 평면 상, 및 Y-T 평면 상의 속도 v_x, v_y(실질적으로, X-T 평면, 및 Y-T 평면의 기울기)를 구할 수 있으므로, X 방향 및 Y 방향의 임의의 위치(x, y)에 있어서의, 정상성의 직선의 X 방향의 위치 x_l 및 Y 방향의 위치 y_l이, 다음의 식(290)과 같이 나타낸가.

x_l = v_x × t, y_l = v_y × t

…(290)

즉, 데이터 정상성에 대응하는 직선상의 점은, 좌표값(x_l, y_l)으로 나타낸다.

식(290)로부터, 단면 방향 거리 x', y'(정상성이 존재하는 직선에 따라 X 방향, 및 Y 방향으로 어긋난 거리)는, 다음의 식(291)과 같이 표현된다.

x' = x - x_l = x v_x × t, y' = y - y_l = y - v_y × t

…(291)

따라서, 입력 화상의 임의의 위치(x, y)에 있어서의 근사 함수 f(x, y)는, 식(287)과 식(291)로부터, 다음의 식(292)과 같이 나타낸다.

f(x, y, t)= w_i (a_j≤(x - vx × t)＜a_{j +1} & b_{2k -1}≤(y - vy × t)＜b_2k)

…(292)

따라서, 실세계 추정부(102)는, 식(292)의 각 영역마다의 특징량 w_i를 연산할 수 있으면, 불연속 함수로 이루어지는 근사 함수 f(x, y, t)를 추정함으로써, 파형 F(x, y, t)를 추정할 수 있다.

그래서, 이하, 식(292)의 특징량 w_i를 연산하는 방법에 대하여 설명한다.

즉, 식(292)로 표현되는 근사 함수 f(x, y, t)를, 화소(센서(2)의 검출 소자)에 대응하는 적분 범위(공간 방향의 적분 범위)에서 적분하면, 그 적분값이, 화소의 화소값의 추정값이 된다. 이것을, 식으로 표현한 것이, 다음의 식(293)이다.

…(293)

식(293)에 있어서, P(x, y, t)는, 센서(2)로부터의 입력 화상 중, 그 중심 위치가 위치(x, y, t)(주목 화소로부터의 상대 위치(x, y, t)에 존재하는 화소의 화소값을 나타내고 있다.

이와 같이, 3차원의 근사 방법에 있어서는, 입력 화소값 P(x, y, t)과 불연속 함수로 이루어지는 3차원의 근사 함수 f(x, y, t)의 관계를, 식(293)으로 나타낼 수 있으므로, 실세계 추정부(102)는, 식(293)을 이용하여, 특징량 w_i를, 예를 들면, 최소 자승법 등에 의해 연산함으로써, 3차원의 함수 F(x, y, t)(공간 방향의 정상성을 가지는 실세계(1)의 광신호를, 시공간 방향으로 주목해 나타낸 파형 F(x, y, t))를 추정하는 것이 가능해진다.

다음에, 도 377을 참조하여, 이상과 같은, 불연속 함수로 이루어지는 3차원의 근사 함수 f(x, y, t)를 설정하고, 실세계를 추정하는 실세계 추정부(102)의 구성에 대하여 설명한다.

도 377에 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(5321), 입력 화상 기억부(5322), 입력 화소값 취득부(5323), 적분 성분 연산부(5304), 정규 방정식 생성부(5325), 및 근사 함수 생성부(5326)가 형성되어 있다.

조건 설정부(5321)은, 주목 화소에 대응하는 함수 F(x, y, t)를 추정하기 위해 사용하는 화소의 범위(탭 범위)나, 근사 함수 f(x, y, t)의 범위(예를 들면, a_j≤(x - v_x × t)＜a_{j +1}, 및 b_{2k -1}≤(y - v_y × t)＜b_2k의 폭, i의 개수)를 설정한다.

입력 화상 기억부(5322)는, 센서(2)로부터의 입력 화상(화소값)을 일시적으로 저장한다.

입력 화소값 취득부(5323)는, 입력 화상 기억부(5322)에 기억된 입력 화상 중, 조건 설정부(5321)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(5325)에 공급한다. 즉, 입력 화소값 테이블은, 입력 화상의 영역에 포함되는 각 화소의 각각의 화소값이 기술된 테이블이다. 그리고, 입력 화소값 테이블의 구체예에 대하여는 후술한다.

그런데, 전술한 바와 같이, 3차원 근사 방법을 이용하는 실세계 추정부(102)는, 전술한 식(293)을 최소 자승법으로 풀어서, 전술한 식(292)에서 나타내는 근사 함수 f(x, y, t)의 특징량 w_i를 연산한다.

식(293)은, 다음의 식(294)과 같이 나타낼 수 있다.

…(294)

식(294)에 있어서, T_i(x_s, x_e, y_s, y_e, t_s, t_e)는, 적분 범위가 되는 영역 중, 특징량 w_i가 되는 영역(광의 레벨 w_i가 되는 영역)의 적분 결과, 즉, 체적을 나타내고 있다. 그리고, 이하, T_i(x_s, x_e, y_s, y_e, t_s, t_e)는, 적분 성분이라 한다. 그리고, 상기 식(294)는, 2차원의 연산에 있어서의 적분 성분 T_i(x_s, x_e, y_s, y_e, t_s, t_e)에 대응하는 것이다.

적분 성분 연산부(5324)는, 상기 적분 성분 T_i(x_s, x_e, y_s, y_e, t_s, t_e) (= (x - 0.5, x + 0.5, y - 0.5, y + 0.5, t - 0.5, t + 0.5): 1화소분의 영역을 취하는 경우)를 연산한다.

구체적으로는, 식(294)에서 나타내는 적분 성분 T_i(x_s, x_e, y_s, y_e, t_s, t_e) 는, 도 376을 참조하여 전술한 바와 같이, 요구하려고 하는 화소 중의, 소정의 특징량 w_i의 체적을 구하는 것이다. 따라서, 적분 성분 연산부(5324)는, 적분 성분 T_i(x_s, x_e, y_s, y_e, t_s, t_e)를, 각 특장량마다의 폭 d, e, 및 정상성의 방향의 정보(즉, 예를 들면, 속도 v_x, v_y, 또는 정상성의 소정의 축에 대한 각도 θ)에 따라, 기하학적으로 각 특징량 w_i마다 차지하는 체적을 구하여도 되고, 심슨의 공식으로 따라서 다중 분할하여 적분하여 구하여도 되고, 체적을 구하는 방법은 그들에 한정되지 않고, 예를 들면, 몬테 카를로법에 따라 체적을 구할 수도 있다.

도 376에서 설명한 바와 같이, a_j≤(x - v_x × t)＜a_{j +1}, 및 b_{2k -1}≤(y - v_y × t)＜b_2k의 각각의 폭과 정상성의 방향의 정보(즉, 예를 들면, 속도 v_x, v_y, 또는 정상성의 소정의 축에 대하는 각도θ), 및 상대 화소 위치(x, y, t)가 이미 알려져 있으면, 특징량 w_i의 연산은 가능하다. 이들 중, 상대 화소 위치(x, y, t)는 주목 화소와 탭 범위에 의하여, 정상성의 정보는, 정상성 검출부(101)에 의해 검출된 정보로부터, 또, a_j≤(x - v_x × t)＜a_{j +1}, 및 b_{2k -1}≤(y - v_y × t)＜b_2k의 폭은, 미리 설정되므로, 각각의 값은 미리 알려지게 된다.

따라서, 적분 성분 연산부(5324)는, 조건 설정부(5321)에 의해 설정된 탭 범위 및 폭, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보에 따라 적분 성분 T_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5, t - 0.5, t + 0.5)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(5325)에 공급한다.

정규 방정식 생성부(5325)는, 입력 화소값 취득부(5323)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(5324)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(293), 즉, 식(294)을 최소 자승법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(5326)에 출력한다.

근사 함수 생성부(5326)는, 정규 방정식 생성부(5325)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해법으로 풀어서, 전술한 식(294)의 특징량 w_i의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 378의 흐름도를 참조하여, 불연속 함수를 사용한 3차원의 근사 방법이 적용되는 실세계의 추정 처리(도 40의 스텝 S102의 처리)에 대하여 설명한다.

예를 들면, 지금, X-t 평면, 및 Y-t 평면에 대하여 각각 속도 v_x, v_y로 나타내는 시공간 방향의 정상성을 가지는 실세계(1)의 광신호가, 센서(2)에 의해 검출되어, 1프레임에 대응하는 입력 화상으로서, 입력 화상 기억부(5322)에 이미 기억되어 있는 것으로 한다. 또, 데이터 정상성 검출부(101)가, 스텝 S101(도 406)의 정상성의 검출의 처리에 있어서, 입력 화상 중 데이터 정상성 정보로서 속도 v_x, v_y 를 얻을 수 있는 것으로 한다.

이 경우, 스텝 S5321에 있어서, 조건 설정부(5321)는, 조건(탭 범위, a_j≤(x - v_x × t)＜a_{j +1}, 및 b_{2k -1}≤(y - v_y × t)＜b_2k의 폭(동일한 특징량(동일한 근사 함수가 되는 영역의 폭 d, e), 및 i의 개수)을 설정한다.

예를 들면, 지금, 도 379에서 나타내는 탭 범위가 설정되면 모두, 폭으로서 수평 방향의 폭 × 수직 방향의 폭 = d × e가 설정되었다고 한다

설정된 탭의 범위는, 예를 들면, 도 379에서 나타나 있는 것으로 한다. 도 379에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향을 나타내고 있다. 또, t는, 프레임의 번호를 나타내고, 또, 탭 범위는, 도 379의 우측 각 프레임 9개로 3프레임 분이 되는 화소 P0 내지 P26의 합계 27개의 화소로 이루어지는 화소군을 나타내고 있다.

또한, 도 379에 나타낸 바와 같이, 주목 화소가, 프레임 번호 t = n의 도면 중, 중앙부의 화소 P13에 설정되는 것으로 한다. 또, 각 화소의 각각에 대하여, 주목 화소로부터의 상대 화소 위치(x, y, t)(주목 화소의 중심(0, 0, 0)을 원점으로 하는 주목 화소 좌표계의 좌표값)에 따라서, 도 379에서 나타낸 바와 같은 번호 l(l은, P0 내지 P26중 어느 하나를 나타낸 정수치)가 부여되는 것으로 한다.

도 378로 복귀하고, 스텝 S5322에 있어서, 조건 설정부(5321)는, 주목 화소를 설정한다.

스텝 S5323에 있어서, 입력 화소값 취득부(5323)는, 조건 설정부(5321)에 의해 설정된 조건(탭 범위)에 따라 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 즉, 지금의 경우, 입력 화소값 취득부(5323)는, 입력 화상의 영역(도 379 중의 번호 P0 내지 P26가 부여된 화소)의 화소의 화소값을 취득하고, 입력 화소값 테이블로서, 27개의 입력 화소값 P(l)로 이루어지는 테이블을 생성한다.

스텝 S5324에 있어서, 적분 성분 연산부(5324)는, 조건 설정부(5321)에 의해 설정된 조건(탭 범위, 폭, i의 개수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

지금의 경우, 적분 성분 연산부(5324)는, 전술한 식(294)의 적분 성분 T_i(x_s, x_e, y_s, y_e, t_s, t_e)(=T_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5, t - 0.5, t + 0.5): 1화소의 크기를 X 방향 × Y 방향 × 프레임 방향 t = 1 × 1에 의해 나타내는 경우)를, 다음의 식(295)의 좌변에 나타낸 적분 성분 T_i(l)을 l의 함수로서 연산한다.

T_i(l) = T_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5, t - 0.5, t + 0.5)

…(295)

즉, 지금의 경우, 예를 들면, i가 0 내지 5인 것으로 하면, 27개의 T₀(l), 27개의 T₁(l), 27개의 T₂(l), 27개의 T₃(l), 27개의 T₄(l), 27개의 T₅(l)의 총계 162개의 T_i(l)이 연산되어 이들을 포함하는 적분 성분 테이블이 생성된다.

그리고, 스텝 S5323의 처리와 스텝 S5324의 처리의 순서는, 도 378의 예에 한정되지 않고, 스텝 S5324의 처리가 먼저 실행되어도 되고, 스텝 S5323의 처리와 스텝 S5324의 처리가 동시에 실행되어도 된다.

다음에, 스텝(5325)에 있어서, 정규 방정식 생성부(5325)는, 스텝 S5323의 처리에서 입력 화소값 취득부(5323)에 의해 생성된 입력 화소값 테이블과, 스텝 S5304의 처리에서 적분 성분 연산부(5324)에 의해 생성된 적분 성분 테이블에 따라, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 전술한 식(295)를 이용하여 최소 자승법에 의해 특징량 w_i가 연산되므로, 그에 대응하는 정규 방정식은, 다음의 식(296)과 같이 표현된다.

…(296)

그리고, 식(296)에 있어서, L은, 탭 범위의 화소의 번호 l 중 최대값을 나타내고 있다. n은, 근사 함수 f(x)를 정의한 특징량 w_i의 i의 개수를 나타내고 있다. v_l은, 가중을 나타내고 있다. 구체적으로는, 지금의 경우, L = 27이 된다.

상기 정규 방정식은, 전술한 식(280)과 동일한 형식이며, 전술한 2차원에 있어서의 방법과 동일한 것으로, 이후의 정규 방정식의 해법에 대한 설명은 생략한다.

스텝 S5327에 있어서, 근사 함수 생성부(5326)는, 모든 화소의 처리가 종료되었는지 여부를 판정한다.

스텝 S5327에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S5322로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소가 되지 않은 화소가, 차례대로 주목 화소가 되어, 스텝 S5322 내지 S5327의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S5327에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료된다.

결과로서, 예를 들면, 도 380에 나타낸 바와 같이, 정상성의 방향(X 방향의 속도가 v_x, Y 방향의 속도가 v_y)을 따른 두꺼운 선으로 나타낸 봉형의 영역마다 각 특징량인 레벨(불연속 함수) w₁ 내지 w₅가 설정되고, 실세계의 근사 함수가 추정된다. 지금의 경우, 각 봉형의 영역은 X-Y 평면에 대한 단면의 크기는 d × e이다.

또, 가는 선으로 그려진 봉형의 영역은, Y 방향의 속도가 v_y = 0인 경우를 나타내고 있다. 즉, 단순하게 수평 방향으로 이동하는 경우는, 각 레벨 w_i가 설정되는 봉형의 영역은, X-t 평면에 대하여 평행한 관계를 유지한다. 이것은, X 방향의 속도가 v_x = 0인 경우도 마찬가지라고 할 수 있다. 즉, 이 경우는, 각 봉형의 영역이, Y-t 평면에 대하여 평행한 관계가 유지되게 된다.

또한, 시간 방향으로 변화가 없고, X-Y 평면 상에 정상성이 있는 경우, 각 함수마다의 봉형의 영역은, X-Y 평면에 대하여 평행한 위치를 유지하게 된다. 즉, 시간 방향으로 변화가 없고, X-Y 평면에 정상성이 존재하는 경우, 가는 선, 또는 2치 에지가 존재한다.

또, 이상에 있어서는, 불연속으로 함수가 설정되는 각 영역이 2차원 공간에 배치되는(봉형의 영역이, 면을 구성하도록 배치되는) 경우에 대하여 설명하였지만, 예를 들면, 도 381에 나타낸 바와 같이, 각 영역은, XYT의 3차원의 공간 내에 입체적으로 배치되도록 해도 된다.

또, 이상의 예에 있어서는, 불연속 함수로서 각 영역마다 상수의 특징량 w_i가 설정되는 경우에 대하여 설명하였지만, 상수가 아닌 연속 함수라도 동일하게 실시할 수 있다. 즉, 예를 들면, 도 382에서 나타낸 바와 같이, X 방향에 대한 함수일 때, 화상 중의 X0≤X＜X1의 영역에서는, 특징량 w₁은, w₁ = f₀(x)으로 설정하고, 화상 중의 X1≤X＜X2의 영역에서는, 특징량 w₂는, w₂ = f₁(x)으로 설정할 수도 있다. 연속하는 함수라도, 영역마다 상이한 함수로서 설정할 수도 있다. 이 경우, 설정되는 함수는, 예를 들면, 다항식 근사를 사용해도 된고, 그 이외의 함수라도 된다.

또한, 불연속 함수로서 각 영역마다 상수의 특징량 w_i가 설정되는 경우, 각각의 영역에서 전혀 연속하지 않는 함수를 설정할 수도 있다. 즉, 예를 들면, 도 383에 나타낸 바와 같이, X 방향에 대한 함수 일 때, 화상 중의 X0≤X＜X1의 영역에서는, 특징량 w₁는, w₁ = f₀(x)로 설정하고, 화상 중의 X1≤X＜X2의 영역에서는, 특징량 w₂는, w₂ = f₁(x)로 설정하여, 각각의 함수(예를 들면, f₀(x)와 f₁(x)가, 각각 불연속라도 동일한 처리를 할 수 있다. 이 경우도, 설정되는 함수는, 예를 들면, 다항식 근사를 사용해도 되고, 그 이외의 함수라도 된다.

이와 같이, 도 377의 실세계 추정부(102)는, 각 화소값을 불연속 함수에 의해 설정하는 경우, 정상성의 방향(각도, 또는 움직임(움직임으로부터 구해지는 속도의 방향))에 따른 봉형의 영역마다, 불연속으로 함수를 설정함으로써, 실세계의 근사 함수를 설정하는 것이 가능하다.

다음에, 도 384를 참조하여, 전술한 도 369의 실세계 추정부(102)에 의해 추정된 실세계 추정 정보에 따라, 화상을 생성하는 화상 생성부(103)에 대하여 설명한다.

도 384의 화상 생성부(103)는, 실세계 추정 정보 취득부(5341), 가중 계산부(5342), 및 화소 생성부(5343)로 구성되어 있다.

실세계 추정 정보 취득부(5341)는, 도 369의 실세계 추정부(102)로부터 출력되는 실세계 추정 정보로서의 특징량, 즉, 정상성의 방향을 따라 분할된 영역마다 설정되는 화소값을 설정하는 함수(불연속 함수로 이루어지는 근사 함수 f(x))를 취득하고, 가중 계산부(5342)에 출력한다.

가중 계산부(5342)는, 실세계 추정 정보 취득부(5341)로부터 입력되는 실세 계 추정 정보인, 정상성의 방향을 따라 분할된 영역의 정보에 의해, 생성하려고 하는 화소에 포함되는 각 영역의 면적의 비율을 가중으로서 계산하고, 실세계 추정 정보 취득부(5341)로부터 입력된 각 영역마다 설정된 함수의 정보와 함께 화소 생성부(5343)에 출력한다.

화소 생성부(5343)는, 가중 계산부로부터 입력된 생성하려고 하는 화소에 포함되는 영역마다의 면적의 비율에 따라 계산된 가중 정보와, 각 영역마다 설정된 레벨의 함수(불연속 함수로 이루어지는 근사 함수 f(x))에 따라서, 레벨을 구하고, 생성하려고 하는 화소마다, 구해진 레벨과 가중의 누적 합을 구하여, 그 화소의 화소값으로서 출력한다.

다음에, 도 385의 흐름도를 참조하여, 도 384의 화상 생성부(103)에 의한 화상 생성의 처리에 대하여 설명한다.

스텝 S5341에 있어서, 실세계 추정 정보 취득부(5341)는, 도 369의 실세계 추정부(102)로부터 입력되는 실세계 추정 정보(불연속 함수로 이루어지는 근사 함수 f(x))를 취득하여, 가중 계산부(5342)에 출력한다.

스텝 S5342에 있어서, 가중 계산부(5342)는, 생성하려고 하는 화소를 설정하고, 스텝 S5343에 있어서, 입력된 실세계 추정 정보에 따라, 생성하려는 화소에 대하여, 상기 생성하려는 화소에 포함되는, 설정된 영역마다의, 생성하려는 화소에 대한 면적의 비율을 구하고, 이것을, 각 영역의 가중으로서 계산하고, 실세계 추정 정보 취득부(5341)로부터 입력된, 각 영역마다의 레벨을 설정하는 함수와 함께 화소 생성부(5343)에 출력한다.

예를 들면, 도 386에서 나타내는 바와 같이, 특징량이 설정된 경우에 대하여 설명한다. 여기서, 입력된 화상의 화소가 가는 선의 격자에 의해 나타나고 있고, 생성하려는 화소가 두꺼운 선의 격자에 의해 나타나 있는 것으로 한다. 즉, 지금의 경우, 4배 밀도의 화소가 생성된다. 또, w₁ 내지 w₅에서 나타내는 화소의 배열에 대하여 우측으로 상승하는 밴드형으로 설정된 5개의 영역이 정상성의 방향을 따라 설정된 영역이며, 각 영역의 레벨은, w₁ 내지 w₅인 것으로 한다.

도 386에 나타낸 사선형태로 칠해져 있는 화소를 생성하려는 주목 화소인 것으로 하는 경우, 주목 화소는, 영역 w₃, w₄에 걸쳐 있으므로, 주목 화소 내의, 각 영역이 차지하는 면적이 각각 m₁, m₂였을 때, 생성되는 가중은, 생성하려는 화소의 면적이 m이라면, 각각 영역 w₃의 가중은, m₁/m이 되고, 영역 w4의 가중은, m₂/m가 된다. 이와 같이, 가중 계산부(5342)는, 구해진 영역마다의 가중 정보와, 각 영역의 레벨을 설정하는 함수의 정보를 화소 생성부(5343)에 출력한다.

스텝 S5344에 있어서, 화소 생성부(5343)는, 가중 계산부(5342)로부터 입력된, 주목 화소에 걸쳐진 영역마다의 가중과 각 영역마다의 레벨에 따라, 화소값을 결정하고, 화소를 생성한다.

즉, 도 386을 참조하여 설명한 주목 화소의 경우, 화소 생성부(5343)에는, 각각 가중의 정보로서, 영역 w₃는 m₁/m이며, 영역 w₄는 m₂/m이라는 정보를 취득하게 된다. 또한, 동시에 취득하는 각 영역마다의 레벨과의 누적합을 구하여 화소값을 결정하고, 화소를 생성한다.

즉, 예를 들면, 영역 w₃, w₄의 레벨을 결정하는 근사 함수가, 각각의 영역에서 w₃, w₄(모두, 상수)였던 경우, 가중과의 누적합을 구함으로써, 이하의 식(297)에서 나타낸 바와 같이 화소값이 결정된다.

P = w₃ × m₁/m ＋ w₄ × m₂/m

…(297)

스텝 S5345에 있어서, 실세계 추정 정보 취득부(5341)는, 생성하려는 화상의 모든 화소에 대하여 처리가 종료되었는지의 여부를 판정하고, 모든 화소에 대하여 처리가 종료되지 않은 것으로 판정한 경우, 그 처리는, 스텝 S5342로 복귀하고, 그 이후의 처리가 반복된다. 즉, 모든 화소에 대하여 처리가 완료된 것으로 판정되기까지, 스텝 S5342 내지 S5345의 처리가 반복된다.

스텝 S5345에 있어서, 모든 화소에 대하여 처리가 종료되었다고 판정된 경우, 그 처리는 종료된다.

즉, 예를 들면, 수평 방향으로 물체가 시간적으로 우측 방향으로 이동하는 경우, 실세계에 있어서의 X-T 공간의 실제의 화소값의 변화는, 도 387의 A에서 나타낸 바와 같이, 정상성의 방향을 따라, 동일한 화소값 레벨이 되는 영역이 계속되는 것을 알고 있다. 그러므로, 도 387의 B에서 나타낸 바와 같은 모델을 사용하여, 그 이상의 밀도의 화소를 생성하면, 화소의 형상이, 실제의 우측으로 상승하는 직선적인 움직임을 표현할 수 없기 때문에, 예를 들면, 확대 화상을 생성하려고 하면, 화소값이 변화하는 경계 부근에서는 기하학적으로 계단형으로 배치된 화소값의 변화에 의해 정확한 화소값을 확대 화상의 화소 생성에 반영할 수 없었다.

이에 비해, 도 369의 실세계 추정부(102)의 실세계의 근사 함수의 추정에 있어서의 모델은, 도 387의 C에서 나타낸 바와 같이, 실제의 움직임에 충실한 모델을 정상성의 방향을 따라 생성하게 되므로, 화소 이하의 변화도 정확하게 표현할 수 있고, 예를 들면, 확대 화상에 사용하는, 고밀도 화소를 보다 정확하게 생성하는 것이 가능해진다.

이상의 처리에 의하여, 화소 이하의 영역에 있어서의 광의 강도의 분포를 고려하여 화소를 생성할 수 있고, 보다 고밀도의 화소를 정확하게 생성하는 것이 가능하기 때문에, 예를 들면, 확대 화상을 선명하게 생성하는 것이 가능하다.

다음에, 도 388을 참조하여, 전술한 도 377의 실세계 추정부(102)에 의해 추 정된 실세계 추정 정보에 따라, 화상을 생성하는 화상 생성부(103)에 대하여 설명한다.

도 388의 화상 생성부(103)는, 실세계 추정 정보 취득부(5351), 가중 계산부(5352), 및 화소 생성부(5353)에 의해 구성되어 있다.

실세계 추정 정보 취득부(5351)는, 도 377의 실세계 추정부(102)로부터 출력되는 실세계 추정 정보로서의 특징량, 즉, 정상성의 방향을 따라 분할된 영역마다 설정되는 화소값을 설정하는 함수(불연속 함수로 이루어지는 근사 함수 f(x))를 취득하고, 가중 계산부(5352)에 출력한다.

가중 계산부(5352)는, 실세계 추정 정보 취득부(5351)로부터 입력되는 실세계 추정 정보인, 정상성의 방향을 따라 분할된 영역의 정보에 따라, 생성하려는 화소에 포함되는 각 영역의 체적(여기서 말하는 체적은, X 방향, Y 방향, 및 프레임 방향 t의 3차원 공간 상의 체적)의 비율을 가중으로서 계산하고, 실세계 추정 정보 취득부(5351)로부터 입력된 각 영역마다 설정된 함수의 정보와 함께 화소 생성부(5353)에 출력한다.

화소 생성부(5353)는, 가중 계산부로부터 입력된 생성하려는 화소에 포함되는 영역마다의 체적의 비율에 따라 계산된 가중의 정보와, 각 영역마다 설정된 레벨의 함수(불연속 함수로 이루어지는 근사 함수 f(x))에 따라, 레벨을 구하고, 생성하려는 화소마다, 구해진 레벨과 가중의 누적합을 구하여, 그 화소의 화소값으로 서 출력한다.

다음에, 도 389의 흐름도를 참조하여, 도 388의 화상 생성부(103)에 의한 화상 생성의 처리에 대하여 설명한다.

스텝 S5351에 있어서, 실세계 추정 정보 취득부(5351)는, 도 377의 실세계 추정부(102)로부터 입력되는 실세계 추정 정보(불연속 함수로 이루어지는 근사 함수 f(x))를 취득하고, 가중 계산부(5352)에 출력한다.

스텝 S5352에 있어서, 가중 계산부(5342)는, 생성하려는 화소를 설정하고, 스텝 S5353에 있어서, 입력된 실세계 추정 정보에 따라, 생성하려는 화소에 대하여, 상기 생성하려는 화소에 포함되는, 설정된 영역마다의, 생성하려는 화소에 대한 체적의 비율을 구하고, 이것을, 각 영역의 가중으로서 계산하고, 실세계 추정 정보 취득부(5351)로부터 입력된, 각 영역마다의 레벨을 설정하는 함수와 함께 화소 생성부(5353)에 출력한다.

예를 들면, 도 390에서 나타낸 바와 같이, X 방향, Y 방향, 및 프레임 방향 T의 3차원 공간 내에 있어서, 생성하려는 화소로서 주목 화소가 설정되는 것으로 한다. 그리고, 도 390에 있어서는, 두꺼운 선으로 나타낸 입방체가 주목 화소이다. 또, 가는 선으로 그려져 있는 입방체는, 주목 화소에 인접하는 화소를 나타내고 있다.

예를 들면, 도 391에서 나타낸 바와 같이, 특징량이 설정된 경우에 대하여 설명한다. 그리고, 도 391에 나타낸 w₁ 내지 w₃에서 나타내는 봉형으로 설정된 3개의 영역이 정상성의 방향을 따라 설정된 영역이며, 각 영역의 레벨은, w₁ 내지 w₃인 것으로 한다.

도 391에 나타낸 바와 같이, 주목 화소는, 영역 w₁ 내지 w₃에 걸쳐 있으므로, 주목 화소 내의, 각 영역이 차지하는 체적이 각각 M₁ 내지 M₃였을 때, 생성되는 가중은, 생성하려는 화소의 체적이 M이면, 각각 영역 w₁의 가중은, M₁/M이 되고, 영역 w₂의 가중은, M₂/M가 되고, 영역 w₃의 가중은, M₃/M가 된다. 이와 같이 구해진 영역마다의 가중의 정보와, 각 영역의 레벨을 설정하는 함수의 정보를 화소 생성부(5353)에 출력한다.

스텝 S5354에 있어서, 화소 생성부(5353)는, 가중 계산부(5342)로부터 입력된, 주목 화소에 걸치는 영역마다의 가중과, 각 영역마다의 레벨에 따라, 화소값을 결정하고, 화소를 생성한다.

즉, 도 391을 참조하여 설명한 주목 화소의 경우, 화소 생성부(5353)에는, 각각 가중의 정보로서, 영역 w₁은 M₁/M이며, 영역 w₂는 M₂/M이며, 영역 w₃는 M₃/M인 것으로 정보를 취득하게 된다. 또한, 동시에 취득하는 각 영역마다의 레벨과의 누적합을 구하여 화소값을 결정하고, 화소를 생성한다.

즉, 예를 들면, 영역 w₁ 내지 w₃의 레벨을 결정하는 근사 함수가, 각각의 영역에서 w₁ 내지 w₃(모두, 상수)였던 경우, 가중과의 누적합을 구함으로써, 이하의 식(298)에서 나타낸 바와 같이 화소값을 결정한다.

P = w₁ × M₁/M ＋ w₂ × M₂/M ＋ w₃ × M₃/M

…(298)

스텝 S5355에 있어서, 실세계 추정 정보 취득부(5351)는, 생성하려는 화상의 모든 화소에 대하여 처리가 종료되었는지의 여부를 판정하고, 모든 화소에 대하여 처리가 종료되지 않은 것으로 판정한 경우, 그 처리는, 스텝 S5352로 복귀하고, 그 이후의 처리가 반복된다. 즉, 모든 화소에 대하여 처리가 완료된 것으로 판정될 때까지, 스텝 S5352 내지 S5355의 처리가 반복된다.

스텝 S5355에 있어서, 모든 화소에 대하여 처리가 종료되었다고 판정된 경우, 그 처리는 종료된다.

도 392의 A 내지 D는, 원래 화상에 대하여 16배 밀도(수평 방향, 및 수직 방향으로 각각 4배의 밀도)의 화소를 생성한 경우의 처리 결과를 나타내고 있다. 여기서, 도 392의 A는, 원래 화상이며, 도 392의 B는, 종래의 클래스 분류 적응 처리에 의한 처리 결과이며, 도 392의 C는, 전술한 다항식으로 이루어지는 실세계의 근사 함수에 의한 처리 결과이며, 또한 도 392의 D는, 불연속 함수로 이루어지는 실 세계의 근사 함수에 의한 처리 결과를 각각 나타내고 있다.

불연속 함수로 이루어지는 실세계의 근사 함수에 의한 처리 결과는, 화상의 번짐이 적고, 원래 화상에 가까운 선명한 화상이 생성되는 것을 알 수 있다.

또, 도 393은, 고밀도의 원래 화상에 있어서의, 수평 방향, 및 수직 방향으로 4화소 × 4화소씩 평균 화소값을 구하고, 또한 그 16화소의 화소값을 구해진 평균 화소값으로서, 공간 해상도를 16분의 1까지 저하시킨 후, 전술한 다항식으로 이루어지는 실세계의 근사 함수에 의한 처리 결과와, 불연속 함수로 이루어지는 실세계의 근사 함수에 의한 처리 결과를 비교한 것이다. 그리고, 도 393에 있어서, 실선은, 원래 화상이며, 점선은, 다항식으로 이루어지는 실세계의 근사 함수에 의한 처리 결과이며, 일점 쇄선이, 불연속 함수로 이루어지는 실세계의 근사 함수에 의한 처리 결과이다. 또, 도면 중 가로축은, X 방향의 좌표 위치에서 있어, 세로축은 화소값을 나타내고 있다.

불연속 함수로 이루어지는 실세계의 근사 함수에 의한 처리 결과는, 다항식으로 이루어지는 실세계의 근사 함수에 의한 처리 결과와 비교하여, X= 651 내지 655에 있어서, 각각의 원래 화상에 대하여, 더욱 일치하고 있고, 16배 밀도의 화소 생성에 있어서도 정확하게 화소값을 재현하고 있는 것을 알 수 있다.

이상의 처리에 의하여, 화소 이하의 영역에 있어서의 광의 강도의 분포를 고려하여 화소를 생성할 수 있고, 보다 고밀도의 화소를 정확하게 생성하는 것이 가 능하기 때문에, 예를 들면, 확대 화상을 선명히 생성하는 것이 가능해진다.

또한, 전술한 바와 같이, 불연속 함수로 이루어지는 실세계의 근사 함수를 설정하는 방법에 의하여, 화상에 움직임의 흔들림이 발생해도 제거할 수 있다.

여기서, 도 394 내지 도 409를 참조하여, 입력 화상과 움직임의 흔들림에 대하여 설명한다.

도 394는, 센서(2)에 의한 촬상을 설명하는 도면이다. 센서(2)는, 예를 들면, 고체 촬상 소자인 CCD(Charge-Coupled Device) 영역 센서를 구비한 CCD 비디오 카메라 등으로 구성된다. 현실 세계에 있어서의, 전경에 대응하는 오브젝트는, 현실 세계에 있어서의, 배경과 대응하는 오브젝트와, 센서 사이를, 예를 들면, 도면 중의 좌측으로부터 우측으로 수평 이동한다.

센서(2)는, 전경에 대응하는 오브젝트를, 배경과 대응하는 오브젝트와 함께 촬상한다. 센서(2)는, 촬상한 화상을 1프레임 단위로 출력한다. 예를 들면, 센서(2)는, 1초동안 30프레임으로 이루어지는 화상을 출력한다. 센서(2)의 노광 시간은, 1/30초로 할 수 있다. 노광 시간은, 센서(2)가 입력된 광을 전하로의 변환을 개시하고나서부터, 입력된 광을 전하로의 변환을 종료할 때까지의 기간이다. 이하, 노광 시간을 셔터 시간이라고도 한다.

도 395는, 화소의 배치를 설명하는 도면이다. 도 395에 있어서, A 내지 I는, 개개의 화소를 나타낸다. 화소는, 화상에 대응하는 평면 상에 배치되어 있다. 1개의 화소에 대응하는 1개의 검출 소자는, 센서(2) 상에 배치되어 있다. 센서(2)가 화상을 촬상할 때, 1개의 검출 소자는, 화상을 구성하는 1개의 화소에 대응하는 화소값을 출력한다. 예를 들면, 검출 소자의 X 방향의 위치는, 화상 상의 가로 방향의 위치에 대응하고, 검출 소자의 Y 방향의 위치는, 화상 상의 세로 방향의 위치에 대응한다.

도 396에 나타낸 바와 같이, 예를 들면, CCD인 검출 소자는, 셔터 시간에 대응하는 기간에, 입력된 광을 전하로 변환하여, 변환된 전하를 축적한다. 전하의 양은, 입력된 광의 강도와 광이 입력되어 있는 시간에 대략 비례한다. 검출 소자는, 셔터 시간에 대응하는 기간에 있어서, 입력된 광으로부터 변환된 전하를, 이미 축적되어 있는 전하에 더하여 간다. 즉, 검출 소자는, 셔터 시간에 대응하는 기간동안, 입력되는 광을 적분하여, 적분된 광에 대응하는 양의 전하를 축적한다. 검출 소자는, 시간에 대하여, 적분 효과가 있다고도 할 수 있다.

검출 소자에 축적된 전하는, 도시하지 않는 회로에 의하여, 전압값이 변환되고, 전압값은 또한 디지털 데이터 등의 화소값으로 변환되어 출력된다. 따라서, 센서(2)로부터 출력되는 개개의 화소값은, 전경 또는 배경에 대응하는 오브젝트의 공간적으로 확대되는 어떤 부분을, 셔터 시간에 대하여 적분한 결과인, 1차원의 공간에 투영된 값을 가진다.

도 397은, 움직이고 있는 전경에 대응하는 오브젝트와, 정지하고 있는 배경 에 대응하는 오브젝트를 촬상하여 얻어지는 화상을 설명하는 도면이다. 도 397의 A는, 움직임을 따른 전경에 대응하는 오브젝트와, 정지하고 있는 배경에 대응하는 오브젝트를 촬상하여 얻어지는 화상을 나타내고 있다. 도 397의 A에 나타낸 예에 있어서, 전경에 대응하는 오브젝트는, 화면에 대하여 좌측으로부터 우측으로 수평 이동하고 있다.

도 397의 B는, 도 397의 A에 나타낸 화상의 하나의 라인에 대응하는 화소값을 시간 방향으로 전개한 모델도이다. 도 397의 B의 가로 방향은, 도 397의 A의 공간 방향 X에 대응하고 있다.

배경 영역의 화소는, 배경의 성분, 즉, 배경의 오브젝트에 대응하는 화상의 성분만으로, 그 화소값이 구성되어 있다. 전경 영역의 화소는, 전경의 성분, 즉, 전경의 오브젝트에 대응하는 화상의 성분만으로, 그 화소값이 구성되어 있다.

혼합 영역의 화소는, 배경의 성분, 및 전경의 성분으로, 그 화소값이 구성되어 있다. 혼합 영역은, 배경의 성분, 및 전경의 성분으로, 그 화소값이 구성되어 있으므로, 왜곡 영역이라고도 할 수 있다. 혼합 영역은, 또한 커버드 백그라운드 영역 및 앵커드 백그라운드 영역으로 분류된다.

커버드백 그라운드 영역은, 전경 영역에 대하여, 전경의 오브젝트의 진행 방향의 전단부에 대응하는 위치의 혼합 영역이며, 시간의 경과에 대응하여 배경 성분이 전경에 덮어 숨겨지는 영역을 말한다.

이에 비해, 앵커드 백그라운드 영역은, 전경 영역에 대하여, 전경의 오브젝트의 진행 방향의 후단부에 대응하는 위치의 혼합 영역이며, 시간의 경과에 대응하여 배경 성분이 나타나는 영역을 말한다.

도 398은, 이상과 같은, 배경 영역, 전경 영역, 혼합 영역, 커버드 백그라운드 영역, 및 앵커드 백그라운드 영역을 설명하는 도면이다. 도 397에 나타낸 화상에 대응하는 경우, 배경 영역은, 정지 부분이며, 전경 영역은, 움직이는 부분이며, 혼합 영역의 커버드 백그라운드 영역은, 배경으로부터 전경으로 변화하는 부분이며, 혼합 영역의 앵커드 백그라운드 영역은, 전경으로부터 배경으로 변화하는 부분이다.

도 399는, 정지하고 있는 전경에 대응하는 오브젝트 및 정지하고 있는 배경에 대응하는 오브젝트를 촬상한 화상에 있어서의, 인접하여 1열로 배열되어 있는 화소의 화소값을 시간 방향으로 전개한 모델도이다. 예를 들면, 인접하여 1열로 배열된 화소로서, 화면의 하나의 라인 상에 배열되어 있는 화소를 선택할 수 있다.

도 399에 나타낸 F01 내지 F04의 화소값은, 정지하고 있는 전경의 오브젝트에 대응하는 화소의 화소값이다. 도 399에 나타낸 B01 내지 B04의 화소값은, 정지하고 있는 배경의 오브젝트에 대응하는 화소의 화소값이다.

도 399에 있어서의 세로 방향은, 시간에 대응하고, 도면 중의 위에서 아래로 향하여 시간이 경과한다. 도 399의 직사각형의 외관의 위치는, 센서(2)가 입력된 광의 전하로의 변환을 개시하는 시각에 대응하고, 도 399의 직사각형의 하변의 위치는, 센서(2)가 입력된 광의 전하로의변환을 종료할 때의 시각에 대응한다. 즉, 도 399의 직사각형의 상변으로부터 하변까지의 거리는, 셔터 시간에 대응한다.

이하에 있어서, 셔터 시간과 프레임 간격이 동일한 경우를 예로 설명한다.

도 399에 있어서의 가로 방향은, 도 397에서 설명한 공간 방향 X에 대응한다. 보다 구체적으로는, 도 399에 나타낸 예에 있어서, 도 399중의 "F01"라고 기재된 직사각형의 좌변으로부터 "B04"라고 기재된 직사각형의 우변까지의 거리는, 화소의 피치의 8배, 즉, 연속되어 있는 8개의 화소의 간격에 대응한다.

전경의 오브젝트 및 배경의 오브젝트가 정지하고 있는 경우, 셔터 시간에 대응하는 기간에 있어서, 센서(2)에 입력되는 광은 변화하지 않는다.

여기서, 셔터 시간에 대응하는 기간을 2개 이상의 같은 길이의 기간에 분할한다. 가상 분할수는, 전경에 대응하는 오브젝트의 셔터 시간 내에서의 움직임량 v 등에 대응하여 설정된다. 예를 들면, 도 400에 나타낸 바와 같이, 4인 움직임량 v에 대응하여, 가상 분할수는, 4가 되고, 셔터 시간에 대응하는 기간은 4개로 분할된다.

도 400 중의 가장 위의 행은, 셔터가 열리고 최초의, 분할된 기간에 대응한다. 도면 중의 위로부터 2번째 행은, 셔터가 열리고 2번째, 분할된 기간에 대응한다. 도면 중의 위로부터 3번째 행은, 셔터가 열리고 3번째, 분할된 기간에 대응한 다. 도면 중의 위로부터 4번째 행은, 셔터가 열리고 4번째, 분할된 기간에 대응한다.

이하, 움직임량 v에 대응하여 분할된 셔터 시간을 셔터 시간/v라고도 한다.

전경에 대응하는 오브젝트가 정지하고 있을 때, 센서(2)에 입력되는 광은 변화하지 않기 때문에, 전경의 성분 F01/v은, 화소값 F01를 가상 분할수로 나눈 값과 같다. 마찬가지로, 전경에 대응하는 오브젝트가 정지하고 있을 때, 전경의 성분 F02/v는, 화소값 F02를 가상 분할수로 나눈 값과 같고, 전경의 성분 F03/v는, 화소값 F03를 가상 분할수로 나눈 값과 같고, 전경의 성분 F04/v는, 화소값 F04를 가상 분할수로 나눈 값과 같다.

배경으로 대응하는 오브젝트가 정지하고 있을 때, 센서(2)에 입력되는 광은 변화하지 않기 때문에, 배경의 성분 B01/v은, 화소값 B01을 가상 분할수로 나눈 값과 같다. 마찬가지로, 배경에 대응하는 오브젝트가 정지하고 있을 때, 배경의 성분 B02/v는, 화소값 B02를 가상 분할수로 나눈 값과 같고, B03/v는, 화소값 B03를 가상 분할수로 나눈 값과 같고, B04/v는, 화소값 B04를 가상 분할수로 나눈 값과 같다.

즉, 전경에 대응하는 오브젝트가 정지하고 있는 경우, 셔터 시간에 대응하는 기간에 있어서, 센서(2)에 입력되는 전경의 오브젝트에 대응하는 광이 변화하지 않기 때문에, 셔터가 열리고 최초의, 셔터 시간/v에 대응하는 전경의 성분 F01/v과 셔터가 열리고 2번째의, 셔터 시간/v에 대응하는 전경의 성분 F01/v과 셔터가 열리고 3번째의, 셔터 시간/v에 대응하는 전경의 성분 F01/v과 셔터가 열리고 4번째의, 셔터 시간/v에 대응하는 전경의 성분 F01/v은, 동일한 값이 된다. F02/v 내지 F04/v도, F01/v와 마찬가지의 관계를 가진다.

배경에 대응하는 오브젝트가 정지하고 있는 경우, 셔터 시간에 대응하는 기간에 있어서, 센서(2)에 입력되는 배경의 오브젝트에 대응하는 광은 변화하지 않기 때문에, 셔터가 열리고 최초의, 셔터 시간/v에 대응하는 배경의 성분 B01/v과 셔터가 열리고 2번째의, 셔터 시간/v에 대응하는 배경의 성분 B01/v과 셔터가 열리고 3번째의, 셔터 시간/v에 대응하는 배경의 성분 B01/v과 셔터가 열리고 4번째의, 셔터 시간/v에 대응하는 배경의 성분 B01/v은, 동일한 값이 된다. B02/v 내지 B04/v도, 마찬가지의 관계를 가진다.

다음에, 전경에 대응하는 오브젝트가 이동하고, 배경에 대응하는 오브젝트가 정지하고 있는 경우에 대하여 설명한다.

도 401은, 전경에 대응하는 오브젝트가 도면 중, 우측으로 이동하는 경우의, 커버드 백그라운드 영역을 포함하는, 1개의 라인상의 화소의 화소값을 시간 방향으로 전개한 모델도이다. 도 401에 있어서, 전경의 움직임량 v는, 4이다. 1프레임은 짧은 시간이므로, 전경에 대응하는 오브젝트가 강체이며, 등속으로 이동하고 있는 것으로 가정할 수 있다. 도 401에 있어서, 전경에 대응하는 오브젝트의 화상은, 하나의 프레임을 기준으로 하여 다음의 프레임에 있어서 4화소분 우측에 표시되도록 이동한다.

도 401에 있어서, 가장 좌측의 화소 내지 좌측으로부터 4번째 화소는, 전경 영역에 속한다. 도 401에 있어서, 좌측으로부터 5번째 내지 좌측으로부터 7번째 화소는, 커버드 백그라운드 영역인 혼합 영역에 속한다. 도 401에 있어서, 가장 우측의 화소는, 배경 영역에 속한다.

전경에 대응하는 오브젝트가 시간의 경과와 함께 배경에 대응하는 오브젝트를 덮어사 숨기도록 이동하고 있으므로, 커버드 백그라운드 영역에 속하는 화소의 화소값에 포함되는 성분은, 셔터 시간에 대응하는 기간이 있는 시점에서, 배경의 성분으로부터, 전경의 성분으로 바뀐다.

예를 들면, 도 401 중에 두꺼운 선으로 둘러싸인 화소값 M은, 식(299)에 의해 표현된다.

M = B02/v + B02/v + F07/v + F06/v

…(299)

예를 들면, 좌측으로부터 5번째의 화소는, 1개의 셔터 시간/v에 대응하는 배경의 성분을 포함하고, 3개의 셔터 시간/v에 대응하는 전경의 성분을 포함하므로, 좌측으로부터 5번째 화소의 혼합비 α는, 1/4이다. 좌측으로부터 6번째 화소는, 2개의 셔터 시간/v에 대응하는 배경의 성분을 포함하고, 2개의 셔터 시간/v에 대응 하는 전경의 성분을 포함하므로, 좌측으로부터 6번째 화소의 혼합비 α는, 1/2이다. 좌측으로부터 7번째 화소는, 3개의 셔터 시간/v에 대응하는 배경의 성분을 포함하고, 1개의 셔터 시간/v에 대응하는 전경의 성분을 포함하므로, 좌측으로부터 7번째의 화소의 혼합비 α는, 3/4이다.

전경에 대응하는 오브젝트가, 강체이며, 전경의 화상이 다음의 프레임에 있어서 4화소 우측으로 표시되도록 등속으로 이동한다고 가정할 수 있으므로, 예를 들면, 도 401 중의 좌측으로부터 4번째 화소의, 셔터가 열리고 최초의, 셔터 시간/v의 전경의 성분 F07/v은, 도 401 중의 좌측으로부터 5번째 화소의, 셔터가 열리고 2번째 셔터 시간/v에 대응하는 전경의 성분과 같다. 마찬가지로, 전경의 성분 F07/v은, 도 401 중의 좌측으로부터 6번째 화소의, 셔터가 열리고 3번째 셔터 시간/v에 대응하는 전경의 성분과, 도 401 중의 좌측으로부터 7번째 화소의, 셔터가 열리고 4번째 셔터 시간/v에 대응하는 전경의 성분과, 각각 동일하다.

전경에 대응하는 오브젝트가, 강체이며, 전경의 화상이 다음 프레임에 있어서 4화소 우측에 표시되도록 등속으로 이동한다고 가정할 수 있으므로, 예를 들면, 도 401 중의 좌측으로부터 3번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 전경의 성분 F06/v은, 도 401 중의 좌측으로부터 4번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v에 대응하는 전경의 성분과 동일하다. 마찬가지로, 전경의 성분 F06/v은, 도 401 중의 좌측으로부터 5번째 화소의, 셔터가 열리고 3번째의 셔터 시 간/v에 대응하는 전경의 성분과, 도 401 중의 좌측으로부터 6번째의 화소의, 셔터가 열리고 4번째의 셔터 시간/v에 대응하는 전경의 성분과, 각각 동일하다.

전경에 대응하는 오브젝트가, 강체이며, 전경의 화상이 다음 프레임에 있어서 4화소 우측에 표시되도록 등속으로 이동한다고 가정할 수 있으므로, 예를 들면, 도 401 중의 좌측으로부터 2번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 전경의 성분 F05/v는, 도 401 중의 좌측으로부터 3번째의 화소의, 셔터가 열리고 2번째의 셔터 시간/v에 대응하는 전경의 성분과 동일하다. 마찬가지로, 전경의 성분 F05/v는, 도 401 중의 좌측으로부터 4번째의 화소의, 셔터가 열리고 3번째의 셔터 시간/v에 대응하는 전경의 성분과, 도 401 중의 좌측으로부터 5번째의 화소의, 셔터가 열리고 4번째의 셔터 시간/v에 대응하는 전경의 성분과, 각각 같다.

전경에 대응하는 오브젝트가, 강체이며, 전경의 화상이 다음 프레임에 있어서 4화소 우측에 표시되도록 등속으로 이동한다고 가정할 수 있으므로, 예를 들면, 도 401 중의 가장 좌측의 화소의, 셔터가 열리고 최초의 셔터 시간/v의 전경의 성분 F04/v는, 도 401 중의 좌측으로부터 2번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v에 대응하는 전경의 성분과 동일하다. 마찬가지로, 전경의 성분 F04/v는, 도 401 중의 좌측으로부터 3번째 화소의, 셔터가 열리고 3번째의 셔터 시간/v에 대응하는 전경의 성분과, 도 401 중의 좌측으로부터 4번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v에 대응하는 전경의 성분과, 각각 같다.

이와 같은 움직이고 있는 오브젝트에 대응하는 전경의 영역 상태가, 움직임의 흔들림이다. 또, 움직이고 있는 오브젝트에 대응하는 전경의 영역은, 이와 같이 모션 흔들림을 포함하므로, 왜곡 영역이라고 할 수도 있다.

도 402는, 전경이 도면 중의 우측으로 이동하는 경우의, 앵커드 백그라운드 영역을 포함하는, 1개의 라인상의 화소의 화소값을 시간 방향으로 전개한 모델도이다. 도 402에 있어서, 전경의 웅직임량 v는, 4이다. 1프레임은 짧은 시간이므로, 전경에 대응하는 오브젝트가 강체이며, 등속으로 이동하고 있는 것으로 가정할 수 있다. 도 402에 있어서, 전경에 대응하는 오브젝트의 화상은, 하나의 프레임을 기준으로 하여 다음의 프레임에 있어서 4화소분 우측으로 이동한다.

도 402에 있어서, 가장 좌측의 화소 내지 좌측으로부터 4번째 화소는, 배경 영역에 속한다. 도 402에 있어서, 좌측으로부터 5번째 내지 좌측으로부터 7번째 화소는, 앵커드 백그라운드인 혼합 영역에 속한다. 도 402에 있어서, 가장 우측의 화소는, 전경 영역에 속한다.

배경에 대응하는 오브젝트를 덮고있던 전경에 대응하는 오브젝트가 시간의 경과와 함께 배경에 대응하는 오브젝트의 앞에서부터 제거되도록 이동하고 있으므로, 앵커드 백그라운드 영역에 속하는 화소의 화소값에 포함되는 성분은, 셔터 시간에 대응하는 기간이 있는 시점에서, 전경의 성분으로부터, 배경의 성분으로 바뀐다.

예를 들면, 도 402 중에 두꺼운 선에 둘러싸인 화소값 M'은, 식(300)에 의해 표현된다.

M' = F02/v + F01/v + B26/v + B26/v

…(300)

예를 들면, 좌측으로부터 5번째 화소는, 3개의 셔터 시간/v에 대응하는 배경의 성분을 포함하고, 1개의 셔터 시간/v에 대응하는 전경의 성분을 포함하므로, 좌측으로부터 5번째 화소의 혼합비 α는, 3/4이다. 좌측으로부터 6번째 화소는, 2개의 셔터 시간/v에 대응하는 배경의 성분을 포함하고, 2개의 셔터 시간/v에 대응하는 전경의 성분을 포함하므로, 좌측으로부터 6번째 화소의 혼합비 α는, 1/2이다. 좌측으로부터 7번째 화소는, 1개의 셔터 시간/v에 대응하는 배경의 성분을 포함하고, 3개의 셔터 시간/v에 대응하는 전경의 성분을 포함하므로, 좌측으로부터 7번째 화소의 혼합비 α는, 1/4이다.

식(299) 및 식(300)을 보다 일반화하면, 화소값 M는, 식(301)에 의해 표현된다.

…(301)

여기서, α는 혼합비이다. B는, 배경의 화소값이며, Fi/v는, 전경의 성분이 다.

전경에 대응하는 오브젝트가 강체이며, 등속으로 움직인다고 가정할 수 있고, 또한 움직임량 v가 4이므로, 예를 들면, 도 402 중의 좌측으로부터 5번째 화소의, 셔터가 열리고 최초의, 셔터 시간/v의 전경의 성분 F01/v은, 도 402 중의 좌측으로부터 6번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v에 대응하는 전경의 성분과 같다. 마찬가지로, F01/v은, 도 402 중의 좌측으로부터 7번째 화소의, 셔터가 열리고 3번째의 셔터 시간/v에 대응하는 전경의 성분과, 도 402 중의 좌측으로부터 8번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v에 대응하는 전경의 성분과, 각각 동일하다.

전경에 대응하는 오브젝트가 강체이며, 등속으로 움직인다고 가정할 수 있고, 또한 가상 분할수가 4이므로, 예를 들면, 도 402 중의 좌측으로부터 6번째 화소의, 셔터가 열리고 최초의, 셔터 시간/v의 전경의 성분 F02/v는, 도 402 중의 좌측으로부터 7번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v에 대응하는 전경의 성분과 같다. 마찬가지로, 전경의 성분 F02/v는, 도 402 중의 좌측으로부터 8번째 화소의, 셔터가 열리고 3번째의 셔터 시간/v에 대응하는 전경의 성분과 같다.

전경에 대응하는 오브젝트가 강체이며, 등속으로 움직인다고 가정할 수 있고, 또한 움직임량 v가 4이므로, 예를 들면, 도 402 중의 좌측으로부터 7번째 화소의, 셔터가 열리고 최초의, 셔터 시간/v의 전경의 성분 F03/v은, 도 402 중의 좌 측으로부터 8번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v에 대응하는 전경의 성분과 동일하다.

도 400 내지 도 402의 설명에 있어서, 가상 분할수는, 4인 것으로 하여 설명하였으나, 가상 분할수는, 움직임량 v에 대응한다. 움직임량 v는, 일반적으로, 전경에 대응하는 오브젝트의 이동 속도에 대응한다. 예를 들면, 전경에 대응하는 오브젝트가, 하나의 프레임을 기준으로 하여 다음 프레임에 있어서 4화소분 우측으로 표시되도록 이동하고 있을 때, 움직임량 v는, 4가 된다. 움직임량 v에 대응하여, 가상 분할수는, 4가 된다. 마찬가지로, 예를 들면, 전경에 대응하는 오브젝트가, 하나의 프레임을 기준으로 하여 다음 프레임에 있어서 6화소분 좌측으로 표시되도록 이동하고 있을 때, 움직임량 v는, 6이 되고, 가상 분할수는, 6이 된다.

도 403 및 도 404에, 이상에서 설명한, 전경 영역, 배경 영역, 커버드 백그라운드 영역 또는 앵커드 백그라운드 영역으로 이루어지는 혼합 영역과, 분할된 셔터 시간에 대응하는 전경의 성분 및 배경의 성분과의 관계를 나타낸다.

도 403은, 정지하고 있는 배경의 앞을 이동하고 있는 오브젝트에 대응하는 전경을 포함하는 화상으로부터, 전경 영역, 배경 영역, 및 혼합 영역의 화소를 추출한 예를 나타낸다. 도 403에 나타낸 예에 있어서, 전경에 대응하는 오브젝트는, 화면에 대하여 수평으로 이동하고 있다.

프레임#n+1은, 프레임#n의 다음 프레임이며, 프레임#n+2는, 프레임#n+1의 다 음 프레임이다.

프레임#n 내지 프레임#n+2 중, 어느 하나로부터 추출한, 전경 영역, 배경 영역, 및 혼합 영역의 화소를 추출하여, 움직임량 v를 4로서, 추출된 화소의 화소값을 시간 방향으로 전개한 모델을 도 404에 나타낸다.

전경 영역의 화소값은, 전경에 대응하는 오브젝트가 이동하므로, 셔터 시간/v의 기간에 대응하는, 4개의 상이한 전경의 성분으로 구성된다. 예를 들면, 도 404에 나타낸 전경 영역의 화소 중 가장 좌측에 위치하는 화소는, F01/v, F02/v, F03/v, 및 F04/v에 의해 구성된다. 즉, 전경 영역의 화소는, 움직임의 흔들림을 포함하고 있다.

배경에 대응하는 오브젝트가 정지하고 있으므로, 셔터 시간에 대응하는 기간에 있어서, 센서(2)에 입력되는 배경에 대응하는 광은 변화하지 않는다. 이 경우, 배경 영역의 화소값은, 움직임의 흔들림을 포함하지 않는다.

커버드 백그라운드 영역 또는 앵커드 백그라운드 영역로 이루어지는 혼합 영역에 속하는 화소의 화소값은, 전경의 성분과, 배경의 성분으로 구성된다.

다음에, 오브젝트에 대응하는 화상이 움직이고 있을 때, 복수개의 프레임에 있어서의, 인접하여 1열로 배열되어 있는 화소로서, 프레임 상에서 동일한 위치의 화소의 화소값을 시간 방향으로 전개한 모델에 대하여 설명한다. 예를 들면, 오브젝트에 대응하는 화상이 화면에 대하여 수평으로 움직이고 있을 때, 인접하여 1열 로 배열되어 있는 화소로서 화면의 하나의 라인 상에 배열되어 있는 화소를 선택할 수 있다.

도 405는, 정지하고 있는 배경에 대응하는 오브젝트를 촬상한 화상의 3개의 프레임의, 인접하여 1열로 배열되어 있는 화소로서, 프레임 상에서 동일한 위치의 화소의 화소값을 시간 방향으로 전개한 모델도이다. 프레임#n은 프레임#n-1의 다음 프레임이며, 프레임#n+1은, 프레임#n의 다음 프레임이다. 다른 프레임도 마찬가지로 칭한다.

도 405에 나타낸 B01 내지 B12의 화소값은, 정지하고 있는 배경의 오브젝트에 대응하는 화소의 화소값이다. 배경에 대응하는 오브젝트가 정지하고 있으므로, 프레임#n-1 내지 프레임 n+1에 있어서, 대응하는 화소의 화소값은, 변화하지 않는다. 예를 들면, 프레임#n-1에 있어서의 B05의 화소값을 가지는 화소의 위치에 대응하는, 프레임#n에 있어서의 화소, 및 프레임#n+1에 있어서의 화소는, 각각, B05의 화소값을 가진다.

도 406은, 정지하고 있는 배경에 대응하는 오브젝트와 함께 도면 중의 우측으로 이동하는 전경에 대응하는 오브젝트를 촬상한 화상의 3개의 프레임의, 인접하여 1열로 배열되어 있는 화소로서, 프레임 상에서 동일한 위치의 화소의 화소값을 시간 방향으로 전개한 모델도이다. 도 406에 나타낸 모델은, 커버드 백그라운드 영역을 포함한다.

도 406에 있어서, 전경에 대응하는 오브젝트가, 강체이며, 등속으로 이동한다고 가정할 수 있어서, 전경의 화상이 다음 프레임에 있어서 4화소 우측에 표시되도록 이동하므로, 전경의 움직임량 v는, 4이며, 가상 분할수는, 4이다.

예를 들면, 도 406 중의 프레임#n-1의 가장 좌측의 화소의, 셔터가 열리고 최초의 셔터 시간/v의 전경의 성분은, F12/v가 되고, 도 406 중의 좌측으로부터 2번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v의 전경의 성분도, F12/v가 된다. 도 406 중의 좌측으로부터 3번째 화소의, 셔터가 열리고 3번째의 셔터 시간/v의 전경의 성분, 및 도 406 중의 좌측으로부터 4번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 전경의 성분은, F12/v가 된다.

도 406 중의 프레임#n-1의 가장 좌측의 화소의, 셔터가 열리고 2번째의 셔터 시간/v의 전경의 성분은, F11/v이 되고, 도 406 중의 좌측으로부터 2번째 화소의, 셔터가 열리고 3번째의 셔터 시간/v의 전경의 성분도, F11/v 이 된다. 도 406 중의 좌측으로부터 3번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 전경의 성분은, F11/v이 된다.

도 406 중의 프레임#n-1의 가장 좌측의 화소의, 셔터가 열리고 3번째의 셔터 시간/v의 전경의 성분은, F10/v이 되고, 도 406 중의 좌측으로부터 2번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 전경의 성분도, F10/v이 된다. 도 406 중의 프레임#n-1의 가장 좌측의 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 전경의 성분은, F09/v가 된다.

배경에 대응하는 오브젝트가 정지하고 있으므로, 도 406 중의 프레임#n-1의 좌측으로부터 2번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 배경의 성분은, B01/v이 된다. 도 406 중의 프레임#n-1의 좌측으로부터 3번째 화소의, 셔터가 열리고 최초 및 2번째의 셔터 시간/v의 배경의 성분은, B02/v가 된다. 도 406 중의 프레임#n-1의 좌측으로부터 4번째 화소의, 셔터가 열리고 최초 내지 3번째 셔터 시간/v의 배경의 성분은, B03/v이 된다.

도 406 중의 프레임#n-1에 있어서, 가장 좌측의 화소는, 전경 영역에 속하고, 좌측으로부터 2번째 내지 4번째 화소는, 커버드 백그라운드 영역인 혼합 영역에 속한다.

도 406 중의 프레임#n-1의 좌측으로부터 5번째 화소 내지 12번째 화소는, 배경 영역에 속하여, 그 화소값은, 각각, B04 내지 B11이 된다.

도 406 중의 프레임#n의 좌측으로부터 첫번째 화소 내지 5번째 화소는, 전경 영역에 속한다. 프레임#n의 전경 영역에 있어서의, 셔터 시간/v의 전경의 성분은, F05/v 내지 F12/v 중 어느 하나이다.

전경에 대응하는 오브젝트가, 강체이며, 등속으로 이동한다고 가정할 수 있어서, 전경의 화상이 다음 프레임에 있어서 4화소 우측으로 표시되도록 이동하므로, 도 406 중의 프레임#n의 좌측으로부터 5번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 전경의 성분은, F12/v가 되고, 도 406 중의 좌측으로부터 6번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v의 전경의 성분도, F12/v가 된다. 도 406 중의 좌측으로부터 7번째 화소의, 셔터가 열리고 3번째의 셔터 시간/v의 전경의 성분, 및 도 406 중의 좌측으로부터 8번째 화소의, 셔터가 열리고 4번째 셔터 시간/v의 전경의 성분은, F12/v 가 된다.

도 406 중의 프레임#n의 좌측으로부터 5번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v의 전경의 성분은, F11/v이 되고, 도 406 중의 좌측으로부터 6번째 화소의, 셔터가 열리고 3번째의 셔터 시간/v의 전경의 성분도, F11/v이 된다. 도 406 중의 좌측으로부터 7번째 화소의, 셔터가 열리로 4번째의 셔터 시간/v의 전경의 성분은, F11/v이 된다.

도 406 중의 프레임#n의 좌측으로부터 5번째의 화소의, 셔터가 열리고 3번째의 셔터 시간/v의 전경의 성분은, F10/v이 되고, 도 406 중의 좌측으로부터 6번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 전경의 성분도, F10/v이 된다. 도 406 중의 프레임#n의 좌측으로부터 5번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 전경의 성분은, F09/v가 된다.

배경에 대응하는 오브젝트가 정지하고 있으므로, 도 406 중의 프레임#n의 좌측으로부터 6번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 배경의 성분은, B05/v가 된다. 도 406 중의 프레임#n의 좌측으로부터 7번째 화소의, 셔터가 열리 고 최초 및 2번째의 셔터 시간/v의 배경의 성분은, B06/v이 된다. 도 406 중의 프레임#n의 좌측으로부터 8번째 화소의, 셔터가 열리고 최초 내지 3번째의, 셔터 시간/v의 배경의 성분은, B07/v이 된다.

도 406 중의 프레임#n에 있어서, 좌측으로부터 6번째 내지 8번째 화소는, 커버드 백그라운드 영역인 혼합 영역에 속한다.

도 406 중의 프레임#n의 좌측으로부터 9번째 화소 내지 12번째 화소는, 배경 영역에 속하거, 화소값은, 각각, B08 내지 B11이 된다.

도 406 중의 프레임#n+1의 좌측으로부터 첫번째 화소 내지 9번째 화소는, 전경 영역에 속한다. 프레임#n+1의 전경 영역에 있어서의, 셔터 시간/v의 전경의 성분은, F01/v 내지 F12/v 중 어느 하나이다.

전경에 대응하는 오브젝트가, 강체이며, 등속으로 이동한다고 가정할 수 있어서 전경의 화상이 다음 프레임에 있어서 4화소 우측으로 표시되도록 이동하므로, 도 406 중의 프레임#n+1의 좌측으로부터 9번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 전경의 성분은, F12/v가 되고, 도 406 중의 좌측으로부터 10번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v의 전경의 성분도, F12/v가 된다. 도 406 중의 좌측으로부터 11번째 화소의, 셔터가 열리고 3번째의 셔터 시간/v의 전경의 성분, 및 도 406 중의 좌측으로부터 12번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 전경의 성분은, F12/v가 된다.

도 406 중의 프레임#n+1의 좌측으로부터 9번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v의 기간의 전경의 성분은, F11/v이 되고, 도 406 중의 좌측으로부터 10번째 화소의, 셔터가 열리고 3번째의 셔터 시간/v의 전경의 성분도, F11/v이 된다. 도 406 중의 좌측으로부터 11번째 화소의, 셔터가 열리고 4번째의, 셔터 시간/v의 전경의 성분은, F11/v이 된다.

도 406 중의 프레임#n+1의 좌측으로부터 9번째 화소의, 셔터가 열리고 3번째의, 셔터 시간/v의 전경의 성분은, F10/v이 되고, 도 406 중의 좌측으로부터 10번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 전경의 성분도, F10/v가 된다. 도 406 중의 프레임#n+1의 좌측으로부터 9번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 전경의 성분은, F09/v가 된다.

배경에 대응하는 오브젝트가 정지하고 있으므로, 도 406 중의 프레임#n+1의 좌측으로부터 10번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 배경의 성분은, B09/v가 된다. 도 406 중의 프레임#n+1의 좌측으로부터 11번째 화소의, 셔터가 열리고 최초 및 2번째의 셔터 시간/v의 배경의 성분은, B10/v이 된다. 도 406 중의 프레임#n+1의 좌측으로부터 12번째 화소의, 셔터가 열리고 최초 내지 3번째의, 셔터 시간/v의 배경의 성분은, B11/v이 된다.

도 406 중의 프레임#n+1에 있어서, 좌측으로부터 10번째 내지 12번째 화소는, 커버드 백그라운드 영역인 혼합 영역에 대응한다.

도 407은, 도 406에 나타낸 화소값으로부터 전경의 성분을 추출한 화상의 모델도이다.

도 408은, 정지하고 있는 배경과 함께 도면 중의 우측으로 이동하는 오브젝트에 대응하는 전경을 촬상한 화상의 3개의 프레임의, 인접하여 1열로 배열되어 있는 화소로서, 프레임 상에서 동일한 위치의 화소의 화소값을 시간 방향으로 전개한 모델도이다. 도 408에 있어서, 앵커드 백그라운드 영역이 포함되어 있다.

도 408에 있어서, 전경에 대응하는 오브젝트는, 강체이며, 또한 등속으로 이동하고 있는 것으로 가정할 수 있다. 전경에 대응하는 오브젝트가, 다음 프레임에 있어서 4화소분 우측으로 표시되도록 이동하고 있으므로, 움직임량 v는, 4이다.

예를 들면, 도 408중의 프레임#n-1의 가장 좌측의 화소의, 셔터가 열리고 최초의, 셔터 시간/v의 전경의 성분은, F13/v이 되고, 도 408 중의 좌측으로부터 2번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v의 전경의 성분도, F13/v이 된다. 도 408 중의 좌측으로부터 3번째 화소의, 셔터가 열리고 3번째의 셔터 시간/v의 전경의 성분, 및 도 408 중의 좌측으로부터 4번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 전경의 성분은, F13/v 이 된다.

도 408 중의 프레임#n-1의 좌측으로부터 2번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 전경의 성분은, F14/v가 되고, 도 408 중의 좌측으로부터 3번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v의 전경의 성분도, F14/v가 된다. 도 408 중의 좌측으로부터 3번째 화소의, 셔터가 열리고 최초의, 셔터 시간/v의 전경의 성분은, F15/v가 된다.

배경에 대응하는 오브젝트가 정지하고 있으므로, 도 408 중의 프레임#n-1의 가장 좌측의 화소의, 셔터가 열리고 2번째 내지 4번째의, 셔터 시간/v의 배경의 성분은, B25/v가 된다. 도 408 중의 프레임#n-1의 좌측으로부터 2번째 화소의, 셔터가 열리고 3번째 및 4번째의, 셔터 시간/v의 배경의 성분은, B26/v이 된다. 도 408 중의 프레임#n-1의 좌측으로부터 3번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 배경의 성분은, B27/v이 된다.

도 408 중의 프레임#n-1에 있어서, 가장 좌측의 화소 내지 3번째 화소는, 앵커드 백그라운드 영역인 혼합 영역에 속한다.

도 408 중의 프레임#n-1의 좌측으로부터 4번째 화소 내지 12번째 화소는, 전경 영역에 속한다. 프레임의 전경의 성분은, F13/v 내지 F24/v 중 어느 하나이다.

도 408 중의 프레임#n의 가장 좌측의 화소 내지 좌측으로부터 4번째 화소는, 배경 영역에 속하여, 화소값은, 각각, B25 내지 B28이 된다.

전경에 대응하는 오브젝트가, 강체이며, 등속으로 이동한다고 가정할 수 있어서, 전경의 화상이 다음 프레임에 있어서 4화소 우측으로 표시되도록 이동하므로, 도 408 중의 프레임#n의 좌측으로부터 5번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 전경의 성분은, F13/v이 되고, 도 408 중의 좌측으로부터 6 번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v의 전경의 성분도, F13/v이 된다. 도 408 중의 좌측으로부터 7번째 화소의, 셔터가 열리고 3번째의 셔터 시간/v의 전경의 성분, 및 도 408 중의 좌측으로부터 8번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 전경의 성분은, F13/v이 된다.

도 408 중의 프레임#n의 좌측으로부터 6번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 전경의 성분은, F14/v가 되고, 도 408 중의 좌측으로부터 7번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v의 전경의 성분도, F14/v가 된다. 도 408 중의 좌측으로부터 8번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 전경의 성분은, F15/v가 된다.

배경에 대응하는 오브젝트가 정지하고 있으므로, 도 408 중의 프레임#n의 좌측으로부터 5번째 화소의, 셔터가 열리고 2번째 내지 4번째의 셔터 시간/v의 배경의 성분은, B29/v가 된다. 도 408 중의 프레임#n의 좌측으로부터 6번째 화소의, 셔터가 열리고 3번째 및 4번째의 셔터 시간/v의 배경의 성분은, B30/v이 된다. 도 408 중의 프레임#n의 좌측으로부터 7번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 배경의 성분은, B31/v이 된다.

도 408 중의 프레임#n에 있어서, 좌측으로부터 5번째 화소 내지 7번째 화소는, 앵커드 백그라운드 영역에서 있는 혼합 영역에 속한다.

도 408 중의 프레임#n의 좌측으로부터 8번째 화소 내지 12번째 화소는, 전경 영역에 속한다. 프레임#n의 전경 영역에 있어서의, 셔터 시간/v의 기간에 대응하는 값은, F13/v 내지 F20/v 중 어느 하나이다.

도 408 중의 프레임#n+1의 가장 좌측의 화소 내지 좌측으로부터 8번째 화소는, 배경 영역에 속하여, 화소값은, 각각, B25 내지 B32가 된다.

전경에 대응하는 오브젝트가, 강체이며, 등속으로 이동한다고 가정할 수 있어서 전경의 화상이 다음 프레임에 있어서 4화소 우측으로 표시되도록 이동하므로, 도 408 중의 프레임#n+1의 좌측으로부터 9번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 전경의 성분은, F13/v이 되고, 도 408 중의 좌측으로부터 10번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v의 전경의 성분도, F13/v이 된다. 도 408 중의 좌측으로부터 11번째 화소의, 셔터가 열리고 3번째의 셔터 시간/v의 전경의 성분, 및 도 408 중의 좌측으로부터 12번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 전경의 성분은, F13/v이 된다.

도 408 중의 프레임#n+1의 좌측으로부터 10번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 전경의 성분은, F14/v가 되고, 도 408 중의 좌측으로부터 11번째 화소의, 셔터가 열리고 2번째의 셔터 시간/v의 전경의 성분도, F14/v가 된다. 도 408 중의 좌측으로부터 12번째 화소의, 셔터가 열리고 최초의 셔터 시간/v의 전경의 성분은, F15/v가 된다.

배경에 대응하는 오브젝트가 정지하고 있으므로, 도 408 중의 프레임#n+1의 좌측으로부터 9번째 화소의, 셔터가 열리고 2번째 내지 4번째의, 셔터 시간/v의 배경의 성분은, B33/v이 된다. 도 408 중의 프레임#n+1의 좌측으로부터 10번째 화소의, 셔터가 열리고 3번째 및 4번째의 셔터 시간/v의 배경의 성분은, B34/v가 된다. 도 408 중의 프레임#n+1의 좌측으로부터 11번째 화소의, 셔터가 열리고 4번째의 셔터 시간/v의 배경의 성분은, B35/v가 된다.

도 408 중의 프레임#n+1에 있어서, 좌측으로부터 9번째 화소 내지 11번째 화소는, 앵커드 백그라운드 영역인 혼합 영역에 속한다.

도 408 중의 프레임#n+1의 좌측으로부터 12번째 화소는, 전경 영역에 속한다. 프레임#n+1의 전경 영역에 있어서의, 셔터 시간/v의 전경의 성분은, F13/v 내지 F16/v 중 어느 하나이다.

도 409는, 도 408에 나타낸 화소값으로부터 전경의 성분을 추출한 화상의 모델도이다.

입력 화상과 움직임의 흔들림에 대하여 설명하였지만, 이상에 있어서는, 가상 분할수에 의해 화소 내의 성분의 변화을 설명하였지만, 가상 분할수를 무한하게 함으로써, 각 성분은, 예를 들면, 도 373의 우측에 있는 레벨 w₁ 내지 w5에서 나타내는 밴드형의 영역과 동일한 구성이 된다.

즉, X-T 평면 상(X-Y 평면에서도 같음)의 정상성의 방향으로 따른 영역마다 불연속 함수로서 레벨을 설정하는 것은, 셔터 시간 내의 성분의 변화를 분할수에 의하지 않고, 직선적인 영역으로서 설정한 것이라 할 수 있다.

그러므로, 정상성의 방향을 따른 영역마다 불연속 함수로 이루어지는 근사 함수를 사용하여, 실세계를 추정함으로써, 전술한 움직임의 흔들림이 생기는 메카니즘을 추정할 수 있다.

따라서, 이 특성을 이용함으로써, 1회의 셔터 시간 내의 화소(프레임 방향으로 1화소 이하의 화소)를 생성함으로써, 실질적으로 움직임의 흔들림을 제거하는 것이 가능해진다.

도 410은, 클래스 분류 적응 처리에 의해 움직임의 흔들림을 제거하는 경우의 처리 결과와, 정상성의 방향에 따른 영역마다 불연속 함수를 설정함으로써 얻어지는 실세계의 근사 함수를 사용하여 움직임의 흔들림을 제거하는 경우의 처리 결과를 비교한 것이다. 그리고, 도 410에 있어서는, 점선이, 입력 화상(움직임의 흔들림의 존재하는 화상)의 화소값의 변화를 나타낸 것이며, 실선은, 클래스 분류 적응 처리에 의해 움직임의 흔들림을 제거하는 경우의 처리 결과를 나타낸 것이며, 일점 쇄선이, 정상성의 방향에 따른 영역마다 불연속 함수를 설정함으로써 얻어지는 실세계의 근사 함수를 사용하여 움직임의 흔들림을 제거하는 경우의 처리 결과를 나타내고 있다. 또한, 가로축은, 입력 화상의 X 방향의 좌표를 나타내고, 세로축은, 화소값을 나타내고 있다.

영역마다의 불연속 함수로 이루어지는 실세계의 근사 함수를 사용하여 움직임의 흔들림을 제거하는 경우의 처리 결과는, 클래스 분류 적응 처리에 의해 움직임의 흔들림을 제거하는 경우의 처리 결과에 비하여, X = (379, 376)부근을 중심으로 하여, 에지 부분의 화소값의 변화가 심하고, 움직임의 흔들림이 제거되어, 화상의 콘트라스트가 확실한 화상이 되어 있는 것을 알 수 있다.

또, 도 411에 나타낸 바와 같이, 장난감 비행기 형상의 물체가 수평 방향으로 이동할 때 움직임의 흔들림이 생긴 때의 화상을, 정상성의 방향을 따른 영역마다 불연속 함수를 설정하여 실세계의 근사 함수를 사용하여 움직임의 흔들림을 제거하는 경우의 처리 결과(도 369의 실세계 추정부(102)와 도 384의 화상 생성부(103)를 사용하여 생성된 움직임의 흔들림이 제거된 화상)와 그 외의 방식으로 움직임의 흔들림을 제거한 처리 결과의 비교가, 도 412의 A 내지 D에 나타나 있다.

즉, 도 412의 A는, 도 411 중의 흑색 선으로 둘러싸인 부분의 움직임의 흔들림이 생긴 화상 그 자체(흔들림 제거 처리 전의 화상)이며, 도 412의 B는, 도 412의 A의 움직임의 흔들림이 생긴 화상을, 영역마다 설정되는 불연속 함수로 이루어지는 실세계의 근사 함수를 사용하여 움직임의 흔들림을 제거한 화상이며, 도 412의 C는, 입력 화상의 피사체가 정지한 상태에서 촬상된 화상이며, 도 412의 D는, 그 외의 방식으로 움직임의 흔들림을 제거한 처리 결과의 화상이다.

영역마다 설정되는 불연속 함수로 이루어지는 실세계의 근사 함수를 사용하여 움직임의 흔들림을 제거하고 화상(도 412의 B의 화상)은, 그 외의 방식에 의해 움직임의 흔들림을 제거한 처리 결과의 화상(도 412의 D의 화상)과 비교하여, 도면 중의 「C」와「A」에 인접하고 있는 부위가, 보다 선명한 화상이 되어 있고, 또, 문자가 존재하는 영역이, 보다 명확하게 표시되어 있는 것을 알 수 있다. 이로써, 영역마다 설정되는 불연속 함수로 이루어지는 실세계의 근사 함수를 사용하여 움직임의 흔들림을 제거하는 처리에 의하여, 세부가 선명하게 표시되는 것을 알 수 있다.

또한, 도 413에 나타낸 바와 같이, 장난감 비행기 형상의 물체가 경사 방향(우측 대각선으로 상승하는 방향)으로 이동할 때 움직임의 흔들림이 생긴 때의 화상을, 정상성의 방향을 따른 영역마다 불연속 함수를 설정하여 실세계의 근사 함수를 사용하여 움직임의 흔들림을 제거한 경우의 처리 결과(도 377의 실세계 추정부(102)와 도 388의 화상 생성부(103)를 사용하여 생성된 움직임의 흔들림이 제거된 화상)와 그 외의 방식에 의해 움직임의 흔들림을 제거한 처리 결과의 비교가, 도 414의 A 내지 D에 나타나 있다.

즉, 도 414의 A는, 도 413 중의 흑색 선으로 둘러싸인 분분의 움직임의 흔들림이 생긴 흔들림 제거 처리 전의 화상이며, 도 414의 B는, 도 414의 A의 움직임의 흔들림이 생긴 화상을, 영역마다 설정되는 불연속 함수로 이루어지는 실세계의 근 사 함수를 사용하여 움직임의 흔들림을 제거한 화상이며, 도 414의 C는, 입력 화상의 피사체가 정지한 상태에서 촬상된 화상이며, 도 414의 D는, 그 외의 방식으로 움직임의 흔들림을 제거한 처리 결과의 화상이다. 그리고, 화상은, 도 413의 도면 중에 두꺼운 선으로 직사각형 표시가 되어있는 위치 부근의 것이다.

영역마다 설정되는 불연속 함수로 이루어지는 실세계의 근사 함수를 사용하여 움직임의 흔들림을 제거한 화상은, 도 412를 참조하여 설명한 바와 같이, 그 외의 방식으로 움직임의 흔들림을 제거한 처리 결과의 화상과 비교하여, 도면 중의 「C」와「A」의 인접하고 있는 부위가, 보다 선명한 화상이 되어 있고, 또, 문자가 존재하는 영역이, 더 분명하게 표시되어 있는 것을 알 수 있다. 이로써, 영역마다 설정되는 불연속 함수로 이루어지는 실세계의 근사 함수를 사용하여 움직임의 흔들림을 제거하는 처리에 의하여, 세부가 선명히 표시되는 것을 알 수 있다.

또한, 영역마다 설정되는 불연속 함수로 이루어지는 실세계의 근사 함수를 사용하여 움직임의 흔들림을 제거하는 경우, 도 415의 A에서 나타내는 우측으로 상승하는 방향으로 움직임의 흔들림이 생긴 경사 방향에 상단의 원래 화상이 입력되면, 도 415의 B에서 나타낸 바와 같은 화상이 출력된다. 즉, 원래 화상의 중앙부의 세로줄에 움직임의 흔들림이 생긴 화상의 경우, 영역마다 설정되는 불연속 함수로 이루어지는 실세계의 근사 함수를 사용하여 움직임의 흔들림을 제거함으로써, 세로줄 부분이, 선명한 화상이 된다.

즉, 도 412의 A 내지 D, 및 도 415의 A, B에서 나타낸 바와 같이, 도 377의 실세계 추정부, 및 도 388의 화상 생성부(103)는, 도 391에 나타낸 바와 같은 3차원의 봉형의 영역마다, 각각에 불연속인 함수로서 실세계를 추정하는 근사 함수를 설정함로써, 수평 방향, 및 수직 방향 뿐만아니라, 그들의 움직임의 조합이 되는 경사 방향의 움직임에 의해 생기는 움직임의 흔들림도 제거할 수도 있다.

이상에 의하면, 각각 시공간 적분 효과를 가지는 복수개의 화소에 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터 정상성을 검출하고, 화상 데이터 정상성 검출 수단에 의해 검출된 화상 데이터 정상성에 대응하여, 화상 데이터의 시공간 방향 중, 적어도 1차원 방향의 위치에 대응하는 각 화소의 화소값이 적어도 1차원 방향의 적분에 의해 취득된 화소값으로 하여, 화상 데이터를 불연속인 함수로 근사함으로써, 현실 세계의 광신호에 대응하는 함수를 추정하였으므로, 확대 화상에 사용하는 고밀도 화소의 생성이나, 새로운 프레임의 화소를 생성하는 것이 가능해져, 어느 경우에 있어서도, 보다 선명한 화상을 생성하는 것이 가능해진다.

그리고, 센서(2)는, 고체 촬상 소자이다, 예를 들면, BBD(Bucket Brigade Device), CID(Charge Injection Device), 또는 CPD(Charge Priming Device) 등의 센서라도 좋다.

이와 같이 화상 처리 장치는, 각각 공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광신호가 광학 로패스 필터를 통하여 투영됨으로써 취득된, 현실 세계의 광신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터를 입력하는 입력 수단과, 광학 로패스 필터에 의해 공간 방향 중 적어도 1차원 방향으로 광신호가 분산되어 적분되어 있는 것을 고려하여 광학 로패스 필터에 입사되는 광신호를 추정하는 실세계 추정 수단을 구비할 수 있다.

실세계 추정 수단에는, 화상 데이터의 공간 방향 중, 적어도 1차원 방향의 위치에 대응하는 주목 화소의 화소값이, 광학 로패스 필터에 의해 공간 방향으로 분산된 복수개의 광신호에 대응하는 복수개의 실세계 함수 중, 적어도 1차원 방향의 적분에 의해 취득된 화소값으로 하여 복수개의 실세계 함수를 추정함으로써, 현실 세계의 광신호를 근사하는 함수를 생성하는 실세계 추정 수단을 설치할 수 있다.

화상 데이터 정상성을 검출하는 화상 데이터 정상성 검출 수단을 또한 설치할 수 있어서, 실세계 추정 수단에는, 화상 데이터 정상성 검출 수단에 의해 검출된 정상성에 따라, 화상 데이터의 공간 방향 중, 적어도 1차원 방향의 위치에 대응하는 주목 화소의 화소값이, 광학 로패스 필터에 대응한 복수개의 실세계 함수 중 적어도 1차원 방향의 적분에 의해 취득된 화소값인 것으로 하여 복수개의 실세계 함수를 추정함으로써, 현실 세계의 광신호를 근사하는 함수를 생성시킬 수 있다.

실세계 추정 수단에 의해 추정된 실세계 함수를 적어도 1차원 방향의 원하는 단위로 적분함으로써, 원하는 크기의 화소에 대응하는 화소값을 생성하는 화소값 생성 수단을 또한 설치할 수 있다.

또, 제1 화상 데이터로부터 제2 화상 데이터를 예측하는 예측 수단을 학습하는 학습 장치는, 제2 화상 데이터에 대응하는 광신호가 광학 로패스 필터를 통과했을 때의 광신호에 대응하는 화상 데이터를 연산하고, 제1 화상 데이터로서 출력하는 연산 수단과, 제2 화상 데이터 내의 주목 화소에 대응하는 복수개의 화소를 제1 화상 데이터로부터 추출하는 제1 탭 추출 수단과, 제1 탭 추출 수단에 의해 추출된 복수개의 화소의 화소값으로부터, 주목 화소의 화소값을 예측하는 예측 수단을 학습하는 학습 수단을 구비할 수 있다.

제2 화상 데이터 내의 주목 화소에 대응하는 복수개의 화소를 제1 화상 데이터로부터 추출하는 제2 탭 추출 수단과, 제2 탭 추출 수단에 의해 추출된 복수개의 화소의 화소값에 따라, 주목 화소에 대응하는 특징을 검출하는 특징 검출 수단을 또한 설치할 수 있고, 학습 수단에는, 특징 검출 수단에 의해 검출된 특징마다, 제1 탭 추출 수단에 의해 추출된 복수개의 화소의 화소값으로부터, 주목 화소의 화소값을 예측하는 예측 수단을 학습시킬 수 있다.

연산 수단에는, 대상이 되는 광학 로패스 필터의 광신호를 분산하는 위상 시프트량과 촬상 소자의 화소간 거리의 관계에 따라, 제2 화상 데이터로부터 제1 화상 데이터를 연산시킬 수 있다.

제1 화상 데이터로부터 제2 화상 데이터를 예측하는 화상 처리 장치는, 각각 공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광신호가 광학 로패스 필터를 통하여 투영됨으로써 취득되는 제1 화상 데이터를 입력하는 입력 수단과, 제2 화상 데이터 내의 주목 화소에 대응하는 복수개의 화소를 제1 화상 데이터로부터 추출하는 제1 탭 추출 수단과, 제1 화상 데이터로부터 광학 로패스 필터에 입사되는 광신호가 직접 투영됨으로써 취득되는 제2 화상 데이터를 예측하도록 미리 학습되어 있는 예측 수단을 기억하는 기억 수단과, 제1 탭 추출 수단에 의해 추출된 복수개의 화소와 예측 수단에 따라 제2 화상 데이터 내의 주목 화소의 화소값을 예측하는 예측 연산 수단을 구비시킬 수 있다.

제2 화상 데이터 내의 주목 화소에 대응하는 복수개의 화소를 제1 화상 데이터로부터 추출하는 제2 탭 추출 수단과, 제2 탭 추출 수단에 의해 추출된 복수개의 화소의 화소값에 따라, 주목 화소에 대응하는 특징을 검출하는 특징 검출 수단을 또한 설치시킬 수 있고, 예측 수단은, 특징 검출 수단에 의해 검출된 특징마다, 제1 탭 추출 수단에 의해 추출된 복수개의 화소의 화소값으로부터, 주목 화소의 화소값을 예측하도록 미리 학습되어 있도록 할 수 있다.

예측 수단은, 대상이 되는 광학 로패스 필터의 광신호를 분산하는 위상 시프트량과 촬상 소자의 화소간 거리의 관계에 따라, 제2 화상 데이터로부터 연산된, 제1 화상 데이터로부터 광학 로패스 필터에 입사되는 광신호가 직접 투영됨으로써 취득되는 제2 화상 데이터를 예측하도록 미리 학습되어 있도록 할 수 있다.

또한, 화상 처리 장치는, 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광신호가 투영됨으로써 취득된, 현실 세계의 광신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터 정상성을 검출하는 화상 데이터 정상성 검출 수단과, 화상 데이터 정상성 검출 수단에 의해 검출된 화상 데이터 정상성에 대응하여, 화상 데이터의 시공간 방향 중, 적어도 1차원 방향의 위치에 대응하는 각 화소의 화소값이 적어도 1차원 방향의 적분에 의해 취득된 화소값으로 하고, 화상 데이터를 불연속 함수에 의해 근사함으로써, 현실 세계의 광신호를 추정하는 실세계 추정 수단을 구비하도록 시킬 수 있다.

실세계 추정 수단에는, 현실 세계의 광신호를 근사하는 함수로서, 적어도 1차원 방향으로 소정 단위로 분할된 불연속 함수를 생성시키도록 할 수 있다.

소정 단위로 분할된 불연속인 함수의 각각의 소정 단위 내의 레벨은 일정값이 도록 할 수 있다.

소정 단위로 분할된 불연속인 함수의 각각의 소정 단위 내의 레벨은 다항식에서 근사되도록 할 수 있다.

본 발명의 신호 처리를 행하는 프로그램을 기록한 기록 매체는, 도 2에서 나타낸 바와 같이, 컴퓨터와는 별도로, 사용자에게 프로그램을 제공하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(51)(플렉시블 디스크를 포함), 광디스 크(52)(CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)를 포함), 광자기 디스크(53)(MD(Mini-Disk)(상표)를 포함), 또는 반도체 메모리(54) 등으로 이루어지는 패키지 미디어에 의해 구성될 뿐아니라, 컴퓨터에 미리 내장된 상태에서 사용자에게 제공되는, 프로그램이 기록되어 있는 ROM(22)이나, 기억부(28)에 포함되는 하드 디스크 등으로 구성된다.

그리고, 전술한 일련의 처리를 실행시키는 프로그램은, 필요에 따라 라우터, 모뎀 등의 인터페이스를 통하여, 로컬 영역 네트워크, 인터넷, 디지털 위성방송 등, 유선 또는 무선의 통신 매체를 통하여 컴퓨터에 인스톨 되도록 할수도 있다.

그리고, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

본 발명에 의하면, 이상과 같이, 정확하고, 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

또, 본 발명에 의하면, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

Claims (8)

1. 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광신호가 투영됨으로써 취득된, 상기 현실 세계의 광신호의 정상성(定常性)의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터에 있어서의 화상 데이터 정상성의 기준축에 대한 각도를, 매칭(matching) 처리에 의해 검출하는 제1 각도 검출 수단과,

   상기 제1 각도 검출 수단에 의해 검출된 각도에 대응하는 소정 영역 내의 상기 화상 데이터에 따라서, 통계 처리에 의해 상기 각도를 검출하는 제2 각도 검출 수단과,

   상기 제2 각도 검출 수단에 의해 검출된 상기 각도에 따라서, 상기 결락된 현실 세계의 광신호의 정상성을 추정함으로써 상기 광신호를 추정하는 실세계 추정 수단

   을 구비한 것을 특징으로 하는 화상 처리 장치.
2. 제1항에 있어서

   상기 제1 각도 검출 수단은,

   상기 화상 데이터 내의 주목 화소를 기준으로 한 각각의 각도의 직선에 인접하는 복수개의 화소를 중심으로 한 화상 블록을 검출하는 화소 검출 수단과,

   상기 화소 검출 수단에 의해 검출된 각각의 화상 블록끼리의 상관 관계를 검출하는 상관 관계 검출 수단을 추가로 구비하고,

   상기 상관 관계 검출 수단에 의해 검출된 상기 각각의 화상 블록끼리의 상관값에 따라 상기 화상 데이터 정상성의 기준축에 대한 각도를 검출하는

   것을 특징으로 화상 처리 장치.
3. 제1항에 있어서,

   상기 제2 각도 검출 수단은 복수개의 통계 처리 수단을 추가로 구비하고,

   상기 제2 각도 검출 수단은 상기 제1 각도 검출 수단에 의해 검출된 각도에 따라서 상기 복수개의 통계 처리 수단 중에서 하나의 통계 처리 수단에 의해 상기 각도를 검출하는

   것을 특징으로 하는 화상 처리 장치.
4. 제3항에 있어서,

   상기 복수개의 통계 처리 수단 중 하나의 통계 처리 수단은,

   상기 소정 영역 내의 화소의 화소값의 최대값과 최소값의 차이인 다이내믹 레인지(dyanmic range)를 검출하는 다이내믹 레인지 검출 수단과,

   상기 소정 영역 내의 액티비티(activity)에 따른 방향으로 인접하는 화소 사이의 차분값을 검출하는 차분값 검출 수단과,

   상기 다이내믹 레인지와 상기 차분값에 따라서, 결락된 현실 세계의 광신호의 정상성에 대응하는 화상 데이터 정상성의 기준축에 대한 각도를 통계적으로 검출하는 통계적 각도 검출 수단을 추가로 구비하는

   것을 특징으로 화상 처리 장치.
5. 제3항에 있어서,

   상기 복수개의 통계 처리 수단 중 하나의 통계 처리 수단은,

   주목 화소의 화소값과, 상기 소정 영역 내의 다른 화소의 화소값의 상관값이 임계값 이상인 화소의 개수를 상기 주목 화소에 대응하는 도수로 하는 도수 검출 수단과,

   상기 도수 검출 수단에 의해 검출된 각각의 주목 화소의 화소에 따라 회귀 직선을 검출함으로써, 상기 화상 데이터 정상성의 기준축에 대한 각도를 통계적으로 검출하는 통계적 각도 검출 수단을 구비하는

   것을 특징으로 하는 화상 처리 장치.
6. 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광신호 가 투영됨으로써 취득된, 상기 현실 세계의 광신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터에 있어서의 화상 데이터 정상성의 기준축에 대한 각도를, 매칭 처리에 의해 검출하는 제1 각도 검출 스텝과,

   상기 제1 각도 검출 스텝의 처리에 의해 검출된 각도에 대응하는 소정 영역 내의 상기 화상 데이터에 따라서, 통계 처리에 의해 상기 각도를 검출하는 제2 각도 검출 스텝과,

   상기 제2 각도 검출 스텝의 처리에 의해 검출된 상기 각도에 따라서, 상기 결락된 현실 세계의 광신호의 정상성을 추정함으로써 상기 광신호를 추정하는 실세계 추정 스텝

   을 포함하는 것을 특징으로 하는 화상 처리 방법.
7. 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광신호가 투영됨으로써 취득된, 상기 현실 세계의 광신호가 투영되고, 현실 세계의 광신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터에 있어서의 화상 데이터 정상성의 기준축에 대한 각도를, 매칭 처리에 의해 검출하는 제1 각도 검출 스텝과,

   상기 제1 각도 검출 스텝의 처리에 의해 검출된 각도에 대응하는 소정 영역 내의 상기 화상 데이터에 따라서, 통계 처리에 의해 상기 각도를 검출하는 제2 각 도 검출 스텝과,

   상기 제2 각도 검출 스텝의 처리에 의해 검출된 상기 각도에 따라서, 상기 결락된 현실 세계의 광신호의 정상성을 추정함으로써 상기 광신호를 추정하는 실세계 추정 스텝

   을 포함하는 처리를 실행시키는, 컴퓨터가 판독 가능한 프로그램이 기록되어 있는 것을 특징으로 하는 기록 매체.
8. 삭제

Images