KR20050101572A - 화상 처리 장치 및 방법, 및 프로그램 - Google Patents

Abstract

본 발명은, 현실세계의 사상(事象)에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 한다. 역감마 보정부(5001)는, 현실세계의 광신호가 투영되어 현실세계의 광신호의 정상성의 일부가 결락되고, 감마 보정된 입력 화상에, 역감마 보정을 적용한다. 데이터 정상성 검출부(101)는, 역감마 보정된 입력 화상에 있어서의, 현실세계의 광신호의 정상성에 대응하는 데이터의 정상성(定常性)을 검출한다. 실세계 추정부(102)는, 데이터의 정상성에 따라서, 현실세계의 광신호의 정상성을 추정함으로써 광신호를 추정한다. 화상 생성부(103)는, 추정된 광신호로부터 출력 화상을 생성한다. 제시계(提示系) 특성 보정부(5002)는, 생성된 출력 화상에, 제시계의 특성에 대응하는 보정을 적용한다. 본 발명은, 보다 고해상도의 화상을 생성하는 화상 처리 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법, 및 프로그램{IMAGE PROCESSING DEVICE, METHOD, AND PROGRAM}

본 발명은, 화상 처리 장치 및 방법, 및 프로그램에 관한 것이며, 특히, 데이터가 취득된 현실세계를 고려한 화상 처리 장치 및 방법, 및 프로그램에 관한 것이다.

실세계(현실세계)에 있어서의 사상(事象)을 센서로 검출하고, 센서가 출력하는 샘플링 데이터를 처리하는 기술이 널리 이용되고 있다. 예를 들면, 실세계를 이미지 센서로 촬상하고, 화상 데이터인 샘플링 데이터를 처리하는 화상 처리 기술이 널리 이용되고 있다.

또, 비디오 카메라는, 감마 보정 회로를 내장하고 있고, 출력하는 화상 데이터에 대하여, 감마 보정 처리를 실시한다. 일본국 특개평 10－233942호 공보에 있어서는, 비디오 카메라로부터 출력된 화상 데이터가, 역감마 보정 회로에 의해 역감마 보정 처리되어, 선형 특성의 화상 데이터가 되는 것이 개시되어 있다. 이 화상 데이터에 대하여, 보간 필터에 의하여, 확대, 축소, 화소수 변환 처리 등의 보간 필터 처리가 행해진 후에, LCD 특성 보정 회로에 의해 LCD에 있어서의 비선형 특성과 역특성의 보정 처리가 행해진다.

또한, 일본국 특개 2001－250119호 공보에 있어서는, 1차원을 가지는 현실세계의 신호인 제1 신호를 센서에 의해 검출함으로써 얻은, 1차원과 비교하여 차원이 적은 2차원을 가지고, 제1 신호에 대한 왜곡을 포함하는 제2 신호를 취득하고, 제2 신호에 따른 신호 처리를 행함으로써, 제2 신호에 비해 불균일이 경감된 제3 신호를 생성하는 것이 개시되어 있다.

그러나, 1차원을 가지는 현실세계의 신호인 제1 신호가 투영됨으로써 취득되는, 현실세계의 신호의 정상성의 일부가 결락된 1차원보다 적은 2차원의 제2 신호에는, 결락된 현실세계의 신호의 정상성(定常性)에 대응하는 데이터의 정상성을 가지는 것을 고려하여 제2 신호로부터 제1 신호를 추정하는 신호 처리는 지금까지 고려되지 않았다.

도 1은 본 발명의 원리를 나타낸 도면이다.

도 2는 신호 처리 장치(4)의 구성의 예를 나타낸 블록도이다.

도 3은 신호 처리 장치(4)를 나타낸 블록도이다.

도 4는 종래의 신호 처리 장치(121)의 처리의 원리를 설명하는 도면이다.

도 5는 신호 처리 장치(4)의 처리의 원리를 설명하는 도면이다.

도 6은 본 발명의 원리를 보다 구체적으로 설명하는 도면이다.

도 7은 본 발명의 원리를 보다 구체적으로 설명하는 도면이다.

도 8은 이미지 센서 위의 화소의 배치의 예를 설명하는 도면이다.

도 9는 CCD인 검출 소자의 동작을 설명하는 도면이다.

도 10은 화소 D 내지 화소 F에 대응하는 검출 소자에 입사되는 광과 화소값의 관계를 설명하는 도면이다.

도 11은 시간의 경과와 1개의 화소에 대응하는 검출 소자에 입사되는 광과 화소값의 관계를 설명하는 도면이다.

도 12는 실세계(1)의 선형의 물체의 화상의 예를 나타낸 도면이다.

도 13은 실제 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다.

도 14는 화상 데이터의 모식도이다.

도 15는 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 것의 실세계(1)의 화상의 예를 나타낸 도면이다.

도 16은 실제 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다.

도 17은 화상 데이터의 모식도이다.

도 18은 본 발명의 원리를 설명하는 도면이다.

도 19는 본 발명의 원리를 설명하는 도면이다.

도 20은 고해상도 데이터(181)의 생성의 예를 설명하는 도면이다.

도 21은 모델(161)에 의한 근사를 설명하는 도면이다.

도 22는 M개의 데이터(162)에 의한 모델(161)의 추정을 설명하는 도면이다.

도 23은 실세계(1)의 신호와 데이터(3)의 관계를 설명하는 도면이다.

도 24는 식을 세울 때 주목하는 데이터(3)의 예를 나타낸 도면이다.

도 25는 식을 세울 때, 실세계(1)에 있어서의 2개의 물체에 대한 신호 및 혼합 영역에 속하는 값을 설명하는 도면이다.

도 26은 식(18), 식(19), 및 식(22)으로 표현되는 정상성을 설명하는 도면이다.

도 27은 데이터(3)로부터 추출되는, M개의 데이터(162)의 예를 나타낸 도면이다.

도 28은 데이터(3)인 화소값이 취득된 영역을 설명하는 도면이다.

도 29는 화소의 시공간 방향의 위치의 근사를 설명하는 도면이다.

도 30은 데이터(3)에 있어서의, 시간 방향 및 2차원의 공간 방향의 실세계(1)의 신호의 적분을 설명하는 도면이다.

도 31은 공간 방향으로부터 해상도가 높은 고해상도 데이터(181)를 생성할 때, 적분의 영역을 설명하는 도면이다.

도 32는 시간 방향으로부터 해상도가 높은 고해상도 데이터(181)를 생성할 때의, 적분의 영역을 설명하는 도면이다.

도 33은 모션 흔들림을 제거하고 고해상도 데이터(181)를 생성할 때의, 적분의 영역을 설명하는 도면이다.

도 34는 시간 공간 방향으로부터 해상도가 높은 고해상도 데이터(181)를 생성할 때의, 적분의 영역을 설명하는 도면이다.

도 35는 입력 화상의 원래의 화상을 나타낸 도면이다.

도 36은 입력 화상의 예를 나타낸 도면이다.

도 37은 종래의 클래스 분류 적응 처리를 적용하여 얻어진 화상을 나타낸 도면이다.

도 38은 가는 선의 영역을 검출한 결과를 나타낸 도면이다.

도 39는 신호 처리 장치(4)로부터 출력된 출력 화상의 예를 나타낸 도면이다.

도 40은 신호 처리 장치(4)에 의한, 신호의 처리를 설명하는 흐름도이다.

도 41은 데이터 정상성 검출부(101)의 구성을 나타낸 블록도이다.

도 42는 배경의 앞에 가는 선이 있는 실세계(1)의 화상을 나타낸 도면이다.

도 43은 평면에 의한 배경의 근사를 설명하는 도면이다.

도 44는 가는 선의 화상이 투영된 화상 데이터의 단면 형상을 나타낸 도면이다.

도 45는 가는 선의 화상이 투영된 화상 데이터의 단면 형상을 나타낸 도면이다.

도 46은 가는 선의 화상이 투영된 화상 데이터의 단면 형상을 나타낸 도면이다.

도 47은 정점의 검출 및 단조 증감 영역의 검출의 처리를 설명하는 도면이다.

도 48은 정점의 화소값이 임계값을 넘고, 인접하는 화소의 화소값이 임계값 이하인 가는 선 영역을 검출하는 처리를 설명하는 도면이다.

도 49는 도 48의 점선 AA'에서 나타내는 방향으로 배열된 화소의 화소값을 나타낸 도면이다.

도 50은 단조 증감 영역의 연속성의 검출의 처리를 설명하는 도면이다.

도 51은 평면에서의 근사에 의해 정상 성분을 추출한 화상의 예를 나타낸 도면이다.

도 52는 단조 감소하고 있는 영역을 검출한 결과를 나타낸 도면이다.

도 53은 연속성이 검출된 영역을 나타낸 도면이다.

도 54는 연속성이 검출된 영역의 화소값을 나타낸 도면이다.

도 55는 가는 선의 화상이 투영된 영역의 검출의 다른 처리 예를 나타낸 도면이다.

도 56은 정상성 검출의 처리를 설명하는 흐름도이다.

도 57은 시간 방향의 데이터 정상성을 검출의 처리를 설명하는 도면이다.

도 58은 비정상 성분 추출부(201)의 구성을 나타낸 블록도이다.

도 59는 기각되는 회수를 설명하는 도면이다.

도 60은 입력 화상의 예를 나타낸 도면이다.

도 61은 기각을 하지 않고 평면에서 근사한 결과, 얻어지는 표준오차를 화소값으로 한 화상을 나타낸 도면이다.

도 62는 기각을 하여 평면에서 근사한 결과, 얻어지는 표준 오차를 화소값으로 한 화상을 나타낸 도면이다.

도 63은 기각된 회수를 화소값으로 한 화상을 나타낸 도면이다.

도 64는 평면의 공간 방향 X의 기울기를 화소값으로 한 화상을 나타낸 도면이다.

도 65는 평면의 공간 방향 Y의 기울기를 화소값으로 한 화상을 나타낸 도면이다.

도 66은 평면에서 나타내는 근사치로 이루어지는 화상을 나타낸 도면이다.

도 67은 평면에서 나타내는 근사치와 화소값의 차분으로 이루어지는 화상을 나타낸 도면이다.

도 68은 비정상 성분의 추출의 처리를 설명하는 흐름도이다.

도 69는 정상 성분의 추출의 처리를 설명하는 흐름도이다.

도 70은 정상 성분의 추출의 다른 처리를 설명하는 흐름도이다.

도 71은 정상 성분의 추출의 또 다른 처리를 설명하는 흐름도이다.

도 72는 데이터 정상성 검출부(101)의 다른 구성을 나타낸 블록도이다.

도 73은 데이터 정상성을 가지는 입력 화상에 있어서의 액티비티를 설명하는 도면이다.

도 74는 액티비티를 검출하기 위한 블록을 설명하는 도면이다.

도 75는 액티비티에 대한 데이터 정상성의 각도를 설명하는 도면이다.

도 76은 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타낸 블록도이다.

도 77은 화소의 그룹을 설명하는 도면이다.

도 78은 화소의 그룹의 위치와 데이터 정상성의 각도와의 관계를 설명하는 도면이다.

도 79는 데이터 정상성의 검출의 처리를 설명하는 흐름도이다.

도 80은 시간 방향 및 공간 방향의 데이터 정상성의 각도를 검출할 때에, 추출되는 화소의 그룹을 나타낸 도면이다.

도 81은 데이터 정상성 검출부(101)의 보다 상세한 다른 구성을 나타낸 블록도이다.

도 82는 설정된 직선의 각도의 범위에 따른 수의 화소로 이루어지는 화소의 그룹을 설명하는 도면이다.

도 83은 설정된 직선의 각도의 범위를 설명하는 도면이다.

도 84는 설정된 직선의 각도의 범위와 화소의 그룹의 수, 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 85는 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 86은 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 87은 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 88은 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 89는 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 90은 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 91은 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 92는 화소의 그룹의 수 및 화소의 그룹마다의 화소의 수를 설명하는 도면이다.

도 93은 데이터 정상성의 검출의 처리를 설명하는 흐름도이다.

도 94는 데이터 정상성 검출부(101)의 또 다른 구성을 나타낸 블록도이다.

도 95는 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타낸 블록도

이다.

도 96은 블록의 예를 설명하는 도면이다.

도 97은 주목 블록과 참조 블록과의, 화소값의 차분의 절대값의 산출 처리를 설명하는 도면이다.

도 98은 주목 화소의 주변의 화소의 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리를 설명하는 도면이다.

도 99는 시프트량 γ와 각도 θ의 관계를 나타낸 도면이다.

도 100은 시프트량γ에 대한, 주목 화소 주변의 화소의 위치와, 주목 화소를 통하여, 각도 θ를 가지는 직선과의 공간 방향 X의 거리를 나타낸 도면이다.

도 101은 주목 화소를 통하여, 공간 방향 X의 축에 대하여 각도 θ의 직선과의 거리가 최소의 참조 블록을 나타낸 도면이다.

도 102는 검출하는 데이터 정상성의 각도의 범위를 1/2로 하는 처리를 설명하는 도면이다.

도 103은 데이터 정상성 검출 처리를 설명하는 흐름도이다.

도 104는 공간 방향 및 공간 방향의 데이터 정상성의 각도를 검출할 때에, 추출되는 블록을 나타낸 도면이다.

도 105는 입력 화상의 컴퍼넌트 신호에 따라서, 데이터 정상성 검출 처리를 실행하는 데이터 정상성 검출부(101)의 구성을 나타낸 블록도이다.

도 106은 입력 화상의 컴퍼넌트 신호에 따라서, 데이터 정상성 검출 처리를 실행하는 데이터 정상성 검출부(101)의 구성을 나타낸 블록도이다.

도 107은 데이터 정상성 검출부(101)의 또 다른 구성을 나타낸 블록도이다.

도 108은 입력 화상에 있어서의, 기준 축을 기준으로 한 데이터 정상성 각도를 설명하는 도면이다.

도 109는 입력 화상에 있어서의, 기준 축을 기준으로 한 데이터 정상성 각도를 설명하는 도면이다.

도 110은 입력 화상에 있어서의, 기준 축을 기준으로 한 데이터 정상성 각도를 설명하는 도면이다.

도 111은 입력 화상에 있어서의, 화소의 공간 방향의 위치에 대한, 화소값의 변화와 회귀 직선과의 관계를 나타낸 도면이다.

도 112는 회귀 직선 A와 예를 들면, 기준 축인 공간 방향 X를 나타낸 축과의 각도를 설명하는 도면이다.

도 113은 영역의 예를 나타낸 도면이다.

도 114는 도 107의 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성 검출 처리를 설명하는 흐름도이다.

도 115는 데이터 정상성 검출부(101)의 또 다른 구성을 나타낸 블록도이다.

도 116은 입력 화상에 있어서의, 화소의 공간 방향의 위치에 대한, 화소값의 변화와 회귀 직선과의 관계를 나타낸 도면이다.

도 117은 표준 편차와 데이터 정상성을 가지는 영역의 관계를 설명하는 도면이다.

도 118은 영역의 예를 나타낸 도면이다.

도 119는 도 115의 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성 검출 처리를 설명하는 흐름도이다.

도 120은 도 115의 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성 검출의 다른 처리를 설명하는 흐름도이다.

도 121은 본 발명을 적용한 가는 선, 또는 2진수 에지의 각도를 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 구성을 나타내는 블록도이다.

도 122는 데이터 정상성 정보의 검출 방법을 설명하는 도면이다.

도 123은 데이터 정상성 정보의 검출 방법을 설명하는 도면이다.

도 124는 도 121의 데이터 정상성 검출부의 보다 상세한 구성을 나타낸 도면이다.

도 125는 수평/수직 판정 처리를 설명하는 도면이다.

도 126은 수평/수직 판정 처리를 설명하는 도면이다.

도 127a는 현실 세계의 가는 선과 센서에 의해 촬상되는 가는 선의 관계를 설명하는 도면이다.

도 127b는 현실 세계의 가는 선과 센서에 의해 촬상되는 가는 선의 관계를 설명하는 도면이다.

도 127c는 현실 세계의 가는 선과 센서에 의해 촬상되는 가는 선의 관계를 설명하는 도면이다.

도 128a는 현실 세계의 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 128b는 현실 세계의 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 129a는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 129b는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 130a는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계의 예를 설명하는 도면이다.

도 130b는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계의 예를 설명하는 도면이다.

도 131a는 현실 세계의 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 131b는 현실 세계의 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 132a는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 132b는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계를 설명하는 도면이다.

도 133a는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계의 예를 설명하는 도면이다.

도 133b는 센서에 의해 촬상된 화상의 가는 선과 배경의 관계의 예를 설명하는 도면이다.

도 134는 가는 선의 각도를 구하기 위한 모델을 나타낸 도면이다.

도 135는 가는 선의 각도를 구하기 위한 모델을 나타낸 도면이다.

도 136a는 주목 화소에 대응하는 다이나믹 레인지 블록의 화소값의 최대값과 최소값을 설명하는 도면이다.

도 136b는 주목 화소에 대응하는 다이나믹 레인지 블록의 화소값의 최대값과 최소값을 설명하는 도면이다.

도 137a는 가는 선의 각도를 구하는 방법을 설명하는 도면이다.

도 137b는 가는 선의 각도를 구하는 방법을 설명하는 도면이다.

도 137c는 가는 선의 각도를 구하는 방법을 설명하는 도면이다.

도 138은 가는 선의 각도를 구하는 방법을 설명하는 도면이다.

도 139는 추출 블록과 다이나믹 레인지 블록을 설명하는 도면이다.

도 140은 최소 자승법의 해법을 설명하는 도면이다.

도 141은 최소 자승법의 해법을 설명하는 도면이다.

도 142a는 2진수 에지를 설명하는 도면이다.

도 142b는 2진수 에지를 설명하는 도면이다.

도 142c는 2진수 에지를 설명하는 도면이다.

도 143a는 센서에 의해 촬상된 화상의 2진수 에지를 설명하는 도면이다.

도 143b는 센서에 의해 촬상된 화상의 2진수 에지를 설명하는 도면이다.

도 144a는 센서에 의해 촬상된 화상의 2진수 에지의 예를 설명하는 도면이다.

도 144b는 센서에 의해 촬상된 화상의 2진수 에지의 예를 설명하는 도면이다.

도 145a는 센서에 의해 촬상된 화상의 2진수 에지를 설명하는 도면이다.

도 145b는 센서에 의해 촬상된 화상의 2진수 에지를 설명하는 도면이다.

도 146은 2진수 에지의 각도를 구하기 위한 모델을 나타낸 도면이다.

도 147a는 2진수 에지의 각도를 구하는 방법을 설명하는 도면이다.

도 147b는 2진수 에지의 각도를 구하는 방법을 설명하는 도면이다.

도 147c는 2진수 에지의 각도를 구하는 방법을 설명하는 도면이다.

도 148은 2진수 에지의 각도를 구하는 방법을 설명하는 도면이다.

도 149는 가는 선, 또는 2진수 에지의 각도를 데이터 정상성과 검출하는 처리를 설명하는 흐름도이다.

도 150은 데이터 추출 처리를 설명하는 흐름도이다.

도 151은 정규 방정식에의 덧셈 처리를 설명하는 흐름도이다.

도 152a는 본 발명을 적용하여 구한 가는 선의 기울기와, 상관 관계를 사용하여 구한 가는 선의 각도를 비교하는 도면이다.

도 152b는 본 발명을 적용하여 구한 가는 선의 기울기와, 상관 관계를 사용하여 구한 가는 선의 각도를 비교하는 도면이다.

도 153a는 본 발명을 적용하여 구한 2진수 에지의 기울기와, 상관 관계를 사용하여 구한 가는 선의 각도를 비교하는 도면이다.

도 153b는 본 발명을 적용하여 구한 2진수 에지의 기울기와, 상관 관계를 사용하여 구한 가는 선의 각도를 비교하는 도면이다.

도 154는 본 발명을 적용한 혼합비를 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 구성을 나타낸 블록도이다.

도 155a는 혼합비를 구하는 방법을 설명하는 도면이다.

도 155b는 혼합비를 구하는 방법을 설명하는 도면이다.

도 155c는 혼합비를 구하는 방법을 설명하는 도면이다.

도 156은 혼합비를 데이터 정상성과 검출하는 처리를 설명하는 흐름도이다.

도 157은 정규 방정식에의 덧셈 처리를 설명하는 흐름도이다.

도 158a는 가는 선의 혼합비의 분포예를 나타낸 도면이다.

도 158b는 가는 선의 혼합비의 분포예를 나타낸 도면이다.

도 159a는 2진수 에지의 혼합비의 분포예를 나타낸 도면이다.

도 159b는 2진수 에지의 혼합비의 분포예를 나타낸 도면이다.

도 160은 혼합비의 직선 근사를 설명하는 도면이다.

도 161a는 물체의 움직임을 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 161b는 물체의 움직임을 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 162a는 물체의 움직임을 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 162b는 물체의 움직임을 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 163a는 물체의 움직임에 의한 혼합비를 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 163b는 물체의 움직임에 의한 혼합비를 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 163c는 물체의 움직임에 의한 혼합비를 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.

도 164는 물체의 움직임에 의한 혼합비를 데이터 정상성 정보로서 구할 때의 혼합비의 직선 근사를 설명하는 도면이다.

도 165는 본 발명을 적용한 처리 영역을 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 구성을 나타낸 블록도이다.

도 166은 도 165의 데이터 정상성 검출부에 의한 정상성의 검출의 처리를 설명하는 흐름도이다.

도 167은 도 165의 데이터 정상성 검출부에 의한 정상성의 검출의 처리의 적분 범위를 설명하는 도면이다.

도 168은 도 165의 데이터 정상성 검출부에 의한 정상성의 검출의 처리의 적분 범위를 설명하는 도면이다.

도 169는 본 발명을 적용한 처리 영역을 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 그 외의 구성을 나타낸 블록도이다.

도 170은 도 169의 데이터 정상성 검출부에 의한 정상성의 검출의 처리를 설명하는 흐름도이다.

도 171은 도 169의 데이터 정상성 검출부에 의한 정상성의 검출의 처리의 적분 범위를 설명하는 도면이다.

도 172는 도 169의 데이터 정상성 검출부에 의한 정상성의 검출의 처리의 적분 범위를 설명하는 도면이다.

도 173은 실세계 추정부(102)의 구성을 나타낸 블록도이다.

도 174는 실세계(1)의 신호에서의, 가는 선의 폭을 검출하는 처리를 설명하는 도면이다.

도 175는 실세계(1)의 신호에서의, 가는 선의 폭을 검출하는 처리를 설명하는 도면이다.

도 176은 실세계(1)의 신호에서의, 가는 선의 신호의 레벨을 추정하는 처리를 설명하는 도면이다.

도 177은 실세계의 추정 처리를 설명하는 흐름도이다.

도 178은 실세계 추정부(102)의 다른 구성을 나타낸 블록도이다.

도 179는 경계 검출부(2121)의 구성을 나타낸 블록도이다.

도 180은 분배비의 산출 처리를 설명하는 도면이다.

도 181은 분배비의 산출 처리를 설명하는 도면이다.

도 182는 분배비의 산출 처리를 설명하는 도면이다.

도 183은 단조 증감 영역의 경계를 나타낸 회귀 직선의 산출 처리를 설명하는 도면이다.

도 184는 단조 증감 영역의 경계를 나타낸 회귀 직선의 산출 처리를 설명하는 도면이다.

도 185는 실세계 추정 처리를 설명하는 흐름도이다.

도 186은 경계 검출 처리를 설명하는 흐름도이다.

도 187은 공간 방향의 미분값을 실세계 추정 정보로서 추정하는 실세계 추정부의 구성을 나타낸 블록도이다.

도 188은 도 187의 실세계 추정부에 의한 실세계 추정 처리를 설명하는 흐름도이다.

도 189는 참조 화소를 설명하는 도면이다.

도 190은 공간 방향의 미분값을 구하는 위치를 설명하는 도면이다.

도 191은 공간 방향의 미분값과 시프트량의 관계를 설명하는 도면이다.

도 192는 공간 방향의 기울기를 실세계 추정 정보로서 추정하는 실세계 추정부의 구성을 나타낸 블록도이다.

도 193은 도 192의 실세계 추정부에 의한 실세계 추정의 처리를 설명하는 흐름도이다.

도 194는 공간 방향의 기울기를 구하는 처리를 설명하는 도면이다.

도 195는 공간 방향의 기울기를 구하는 처리를 설명하는 도면이다.

도 196은 프레임 방향의 미분값을 실세계 추정 정보로서 추정하는 실세계 추정부의 구성을 나타낸 블록도이다.

도 197은 도 196의 실세계 추정부에 의한 실세계 추정 처리를 설명하는 흐름도이다.

도 198은 참조 화소를 설명하는 도면이다.

도 199는 프레임 방향의 미분값을 구하는 위치를 설명하는 도면이다.

도 200은 프레임 방향의 미분값과 시프트량의 관계를 설명하는 도면이다.

도 201은 프레임 방향의 기울기를 실세계 추정 정보로서 추정하는 실세계 추정부의 구성을 나타낸 블록도이다.

도 202는 도 201의 실세계 추정부에 의한 실세계 추정 처리를 설명하는 흐름도이다.

도 203은 프레임 방향의 기울기를 구하는 처리를 설명하는 도면이다.

도 204는 프레임 방향의 기울기를 구하는 처리를 설명하는 도면이다.

도 205는 도 3의 실세계 추정부의 실시예 1인, 함수 근사 방법의 원리를 설명하는 도면이다.

도 206은 센서가 CCD인 경우의 적분 효과를 설명하는 도면이다.

도 207은 도 206의 센서의 적분 효과의 구체적인 예를 설명하는 도면이다.

도 208은 도 206의 센서의 적분 효과의 구체적인 다른 예를 설명하는 도면이다.

도 209는 도 207에 나타낸 가는 선이 포함된 실세계 영역을 나타낸 도면이다.

도 210은 도 3의 실세계 추정부의 실시예 1의 원리를, 도 219의 예와 대비시켜 설명하는 도면이다.

도 211은 도 207에 나타내는 가는 선이 포함된 데이터 영역을 나타낸 도면이다.

도 212는 도 211의 가는 선이 포함된 데이터 영역에 포함되는 각각의 화소값 그래프에서 나타낸 면이다.

도 213은 도 212의 가는 선이 포함된 데이터 영역에 포함되는 각가의 화소값을 근사한 근사 함수를 그래프에서 나타낸 도면이다.

도 214는 도 207에 나타낸 가는 선이 포함된 실세계 영역이 가지는 공간 방향의 정상성을 설명하는 도면이다.

도 215는 도 225의 가는 선이 포함된 데이터 영역에 포함되는 각각의 화소값을 그래프로 나타낸 도면이다.

도 216은 도 215에서 나타내는 각각의 입력 화소값을, 소정의 시프트량만큼 시프트시킨 상태를 설명하는 도면이다.

도 217은 공간 방향의 정상성을 고려하여, 도 226의 가는 선이 포함된 데이터 영역에 포함되는 각각의 화소값을 근사한 근사 함수를 그래프에서 나타낸 도면이다.

도 218은 공간 혼합 영역을 설명하는 도면이다.

도 219는 공간 혼합 영역에 있어서의, 실세계 신호를 근사한 근사 함수를 설명하는 도면이다.

도 220은 센서의 적분 특성과 공간 방향의 정상성의 양쪽을 고려하여, 도 226의 가는 선이 포함된 데이터 영역에 대응하는 실세계 신호를 근사한 근사 함수를 그래프에서 나타낸 도면이다.

도 221은 도 205에서 나타내는 원리를 가지는 함수 근사 방법 중, 1차 다항식 근사 방법을 이용하는 실세계 추정부의 구성예를 설명하는 블록도이다.

도 222는 도 221의 구성의 실세계 추정부가 실행하는 실세계 추정 처리를 설명하는 흐름도이다.

도 223은 탭 범위를 설명하는 도면이다.

도 224는 공간 방향의 정상성을 가지는 실세계 신호를 설명하는 도면이다.

도 225는 센서가 CCD인 경우의 적분 효과를 설명하는 도면이다.

도 226은 단면 방향 거리를 설명하는 도면이다.

도 227은 도 219에서 나타내는 원리를 가지는 함수 근사 방법 중, 2차 다항식 근사 방법을 이용하는 실세계 추정부의 구성예를 설명하는 블록도이다.

도 228은 도 241의 구성의 실세계 추정부가 실행하는 실세계의 추정 처리를 설명하는 흐름도이다.

도 229는 탭 범위를 설명하는 도면이다.

도 230은 시공간 방향의 정상성의 방향을 설명하는 도면이다.

도 231은 센서가 CCD인 경우의 적분 효과를 설명하는 도면이다.

도 232는 공간 방향의 정상성을 가지는 실세계 신호를 설명하는 도면이다.

도 233은 시공간 방향의 정상성을 가지는 실세계 신호를 설명하는 도면이다.

도 234는 도 205에서 나타내는 원리를 가지는 함수 근사 방법 중, 3차원 함수 근사 방법을 이용하는 실세계 추정부의 구성예를 설명하는 블록도이다.

도 235는 도 234의 구성의 실세계 추정부가 실행하는 실세계의 추정 처리를 설명하는 흐름도이다.

도 236은 도 3의 화상 생성부의 실시예 1인, 재적분 방법의 원리를 설명하는 도면이다.

도 237은 입력 화소와 그 입력 화소에 대응하는, 실세계의 신호를 근사하는 근사 함수의 예를 설명하는 도면이다.

도 238은 도 237에서 나타내는 근사 함수로부터, 도 237에 나타낸 1개의 입력 화소에 있어서의, 고해상도의 4개의 화소를 창조하는 예를 설명하는 도면이다.

도 239는 도 236에서 나타내는 원리를 가지는 재적분 방법 중, 1차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명하는 블록도이다.

도 240은 도 239의 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명하는 흐름도이다.

도 241은 입력 화상의 원래의 화상의 예를 나타낸 도면이다.

도 242는 도 241의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 243은 입력 화상의 예를 나타낸 도면이다.

도 244는 도 243의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 245는 입력 화상에 대하여 종래의 클래스 분류 적응 처리를 실시하여 얻어지는 화상의 예를 나타낸 도면이다.

도 246은 도 245의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 247은 입력 화상에 대하여 본 발명의 1차원 재적분 방법의 처리를 실시하여 얻어지는 화상의 예를 나타낸 도면이다.

도 248은 도 247의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 249는 공간 방향의 정상성을 가지는 실세계 신호를 설명하는 도면이다.

도 250은 도 236에서 나타내는 원리를 가지는 재적분 방법 중, 2차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명하는 블록도이다.

도 251은 단면 방향 거리를 설명하는 도면이다.

도 252는 도 250의 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명하는 흐름도이다.

도 253은 입력 화소의 일례를 설명하는 도면이다.

도 254는 2차원 재적분 방법에 의하여, 도 276에 나타낸 1개의 입력 화소에

있어서의, 고해상도의 4개의 화소를 창조하는 예를 설명하는 도면이다.

도 255는 시공간 방향의 정상성의 방향을 설명하는 도면이다.

도 256은 도 236에서 나타내는 원리를 가지는 재적분 방법 중, 3차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명하는 블록도이다.

도 257은 도 256의 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명하는 흐름도이다.

도 258은 본 발명을 적용한 화상 생성부의 그 외의 구성을 나타낸 블록도이다.

도 259는 도 258의 화상 생성부에 의한 화상의 생성 처리를 설명하는 흐름도이다.

도 260은 입력 화소로부터 4배 밀도의 화소를 생성하는 처리를 설명하는 도면이다.

도 261은 화소값을 나타낸 근사 함수와 시프트량의 관계를 나타낸 도면이다.

도 262는 본 발명을 적용한 화상 생성부의 그 외의 구성을 나타낸 블록도이다.

도 263은 도 285의 화상 생성부에 의한 화상의 생성의 처리를 설명하는 흐름도이다.

도 264는 입력 화소로부터 4배 밀도의 화소를 생성하는 처리를 설명하는 도면이다.

도 265는 화소값을 나타낸 근사 함수와 시프트량과의 관계를 나타낸 도면이다.

도 266은 도 3의 화상 생성부의 실시예의 일례인, 클래스 분류 적응 처리 보정 방법의 1차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명하는 블록도이다.

도 267은 도 266의 화상 생성부의 클래스 분류 적응 처리부의 구성예를 설명하는 블록도이다.

도 268은 도 266의 클래스 분류 적응 처리부와, 클래스 분류 적응 처리 보정부가 사용하는 계수를 학습에 의해 결정하는 학습 장치의 구성예를 나타낸 블록도이다.

도 269는 도 268의 클래스 분류 적응 처리용 학습부의 상세한 구성예를 설명하는 블록도이다.

도 270은 도 267의 클래스 분류 적응 처리부의 처리 결과의 예를 나타낸 도면이다.

도 271은 도 270의 예측 화상과 HD 화상의 차분 화상을 나타낸 도면이다.

도 272는 도 271에서 나타내는 영역에 포함되는 X 방향으로 연속된 6개의 HD 화소 중, 도면 중앙 좌측으로부터 4개의 HD 화소에 대응하는, 도 270의 HD 화상의 구체적인 화소값, SD 화상의 구체적인 화소값, 및 실제 파형(실세계의 신호)의 각각을 플롯한 것을 나타낸 도면이다.

도 273은 도 270의 예측 화상과 HD 화상의 차분 화상을 나타내는 도면이다.

도 274는 도 273에 나타낸 영역에 포함되는 X 방향으로 연속된 6개의 HD 화소 중, 도면 중앙 좌측으로부터 4개의 HD 화소에 대응하는, 도 270의 HD 화상의 구체적인 화소값, SD 화상의 구체적인 화소값, 및 실제 파형(실세계의 신호)의 각각을 플롯한 것을 나타낸 도면이다.

도 275는 도 272 내지 도 274에 나타내는 내용에 따라 얻어진 지견을 설명하는 도면이다.

도 276은 도 266의 화상 생성부의 클래스 분류 적응 처리 보정부의 구성예를 설명하는 블록도이다.

도 277은 도 268의 클래스 분류 적응 처리 보정용 학습부의 상세한 구성예를 설명하는 블록도이다.

도 278은 화소 내 기울기를 설명하는 도면이다.

도 279는 도 270의 SD 화상과, 상기 SD 화상의 각 화소의 화소내 기울기를 화소값으로 하는 특징량 화상을 나타내는 도면이다.

도 280은 화소 내 기울기의 산출 방법을 설명하는 도면이다.

도 281은 화소 내 기울기의 산출 방법을 설명하는 도면이다.

도 282는 도 266의 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명하는 흐름도이다.

도 283은 도 282의 화상 생성 처리의 입력 화상 클래스 분류 적응 처리를 상세하게 설명하는 흐름도이다.

도 284는 도 282의 화상 생성 처리의 클래스 분류 적응 처리의 보정 처리를 상세하게 설명하는 흐름도이다.

도 285는 클래스 탭의 배치예를 설명하는 도면이다.

도 286은 클래스 분류의 일례를 설명하는 도면이다.

도 287은 예측 탭 배치예를 설명하는 도면이다.

도 288은 도 268의 학습 장치의 학습 처리를 설명하는 흐름도이다.

도 289는 도 288의 학습 처리의 클래스 분류 적응 처리용 학습 처리를 상세하게 설명하는 흐름도이다.

도 290은 도 288의 학습 처리의 클래스 분류 적응 처리 보정용 학습 처리의

상세를 설명하는 흐름도이다.

도 291은 도 270의 예측 화상과, 그 예측 화상에 보정 화상을 가산한 화상(

도 266의 화상 생성부에 의해 생성되는 화상)을 나타낸 도면이다.

도 292는 도 1의 신호 처리 장치의 실시예의 다른 예인, 병용 방법을 이용

하는 신호 처리 장치의 제1 구성예를 설명하는 블록도이다.

도 293은 도 292의 신호 처리 장치의, 클래스 분류 적응 처리를 실행하는

화상 생성부의 구성예를 설명하는 블록도이다.

도 294는 도 293의 화상 생성부에 대한 학습 장치의 구성예를 설명하는 블록도이다.

도 295는 도 292의 구성의 신호 처리 장치가 실행하는 신호 처리를 설명하는 흐름도이다.

도 296은 도 295의 신호의 처리의 클래스 분류 적응 처리의 실행 처리를 상세하게 설명하는 흐름도이다.

도 297은 도 294의 학습 장치의 학습 처리를 설명하는 흐름도이다.

도 298은 도 1의 신호 처리 장치의 실시예의 다른 예인, 병용 방법을 이용하는 신호 처리 장치의 제2 구성예를 설명하는 블록도이다.

도 299는 도 296의 구성의 신호 처리 장치가 실행하는 신호 처리를 설명하는 흐름도이다.

도 300은 도 1의 신호 처리 장치의 실시예의 다른 예인, 병용 방법을 이용하는 신호 처리 장치의 제3 구성예를 설명하는 블록도이다.

도 301은 도 298의 구성의 신호 처리 장치가 실행하는 신호 처리를 설명하는 흐름도이다.

도 302는 도 1의 신호 처리 장치의 실시예의 다른 예인, 병용 방법을 이용하는 신호 처리 장치의 제4 구성예를 설명하는 블록도이다.

도 303은 도 300의 구성의 신호 처리 장치가 실행하는 신호 처리를 설명하는 흐름도이다.

도 304는 도 1의 신호 처리 장치의 실시예의 다른 예인, 병용 방법을 이용하는 신호 처리 장치의 제5 구성예를 설명하는 블록도이다.

도 305는 도 302의 구성의 신호 처리 장치가 실행하는 신호의 처리를 설명하는 흐름도이다.

도 306은 데이터 정상성 검출부의 다른 실시예의 구성을 나타낸 블록도이다.

도 307은 도 306의 데이터 정상성 검출부에 의한 데이터 정상성 검출 처리를 설명하는 흐름도이다.

도 308은 신호 처리 장치의 다른 구성을 나타낸 블록도이다.

도 309는 감마 보정을 설명하는 도면이다.

도 310은 감마 보정 커브를 나타낸 도면이다.

도 311은 감마 보정을 실행하지 않는 경우의, 비직선적인 표시 화상을 설명하는 도면이다.

도 312는 감마 보정에 의한 화소값의 변화의 예를 나타낸 도면이다.

도 313은 역감마 보정 커브를 나타낸 도면이다.

도 314는 신호의 처리를 설명하는 흐름도이다.

본 발명은 이와 같은 상황을 감안하여 이루어진 것이며, 데이터가 취득된 현실세계를 고려하여, 현실세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 하는 것을 목적으로 한다.

본 발명의 화상 처리 장치는, 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실세계의 광신호가 투영됨으로써 취득된, 현실세계의 광신호의 정상성의 일부가 결락되고, 감마 보정된 제1 화상 데이터에, 역감마 보정을 적용하여, 역감마 보정된 제1 화상 데이터를 출력하는 역감마 보정 수단과, 역감마 보정 수단으로부터 출력된 제1 화상 데이터 내에 있어서의, 현실세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 수단과, 화상 데이터 정상성 검출 수단에 의해 검출된 화상 데이터의 정상성에 따라, 현실세계의 광신호의 정상성을 추정함으로써 광신호를 근사하는 함수를 생성하는 실세계 추정 수단과, 실세계 추정 수단에 의해 생성된 함수로부터 제2 화상 데이터를 생성하는 화상 생성 수단과, 화상 생성 수단에 의해 생성된 제2 화상 데이터에, 제시계(提示系)의 특성에 대응하는 보정을 적용하는 제시계 특성 보정 수단을 포함하는 것을 특징으로 한다.

화상 데이터 정상성 검출 수단은, 제1 화상 데이터 내의 복수개의 화소값의 불연속부를 검출하는 불연속부 검출 수단과, 불연속부로부터 화소값의 변화의 정점(頂点)을 검출하는 정점 검출 수단과, 정점으로부터 화소값이 단조 증가 또는 단조 감소하고 있는 단조 증감 영역을 검출하는 단조 증감 영역 검출 수단과, 인접하는 위치에 단조 증감 영역이 존재하는 단조 증감 영역을 화상 데이터의 정상성을 가지는 정상 영역으로서 검출하는 연속성 검출 수단을 구비할 수 있다.

본 발명의 화상 처리 방법은, 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실세계의 광신호가 투영됨으로써 취득된, 현실세계의 광신호의 정상성의 일부가 결락되고, 감마 보정된 제1 화상 데이터에, 역감마 보정을 적용하여, 역감마 보정된 제1 화상 데이터를 출력하는 역감마 보정 스텝과, 역감마 보정 스텝에 있어서 출력된 제1 화상 데이터 내에 있어서의, 현실세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 스텝과, 화상 데이터 정상성 검출 스텝에 있어서 검출된 화상 데이터의 정상성에 따라서, 현실세계의 광신호의 정상성을 추정함으로써 광신호를 근사하는 함수를 생성하는 실세계 추정 스텝과, 실세계 추정 스텝에 있어서 생성된 함수로부터 제2 화상 데이터를 생성하는 화상 생성 스텝과, 화상 생성 스텝에 있어서 생성된 제2 화상 데이터에, 제시계의 특성에 대응하는 보정을 적용하는 제시계 특성 보정 스텝을 포함하는 것을 특징으로 한다.

본 발명의 프로그램은, 컴퓨터에, 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실세계의 광신호가 투영됨으로써 취득된, 현실세계의 광신호의 정상성의 일부가 결락되고, 감마 보정된 제1 화상 데이터에, 역감마 보정을 적용하여, 역감마 보정된 제1 화상 데이터를 출력하는 역감마 보정 스텝과, 역감마 보정 스텝에 있어서 출력된 제1 화상 데이터 내에 있어서의, 현실세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 스텝과, 화상 데이터 정상성 검출 스텝에 있어서 검출된 화상 데이터의 정상성에 따라서, 현실세계의 광신호의 정상성을 추정함으로써 광신호를 근사하는 함수를 생성하는 실세계 추정 스텝과, 실세계 추정 스텝에 있어서 생성된 함수로부터 제2 화상 데이터를 생성하는 화상 생성 스텝과, 화상 생성 스텝에 있어서 생성된 제2 화상 데이터에, 제시계의 특성에 대응하는 보정을 적용하는 제시계 특성 보정 스텝을 실행시키는 것을 특징으로 한다.

본 발명의 화상 처리 장치 및 방법, 및 프로그램에 있어서는, 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실세계의 광신호가 투영됨으로써 취득된, 현실세계의 광신호의 정상성의 일부가 결락되고, 감마 보정된 제1 화상 데이터에, 역감마 보정이 적용되어 역감마 보정된 제1 화상 데이터가 출력되고, 출력된 제1 화상 데이터 내에 있어서의, 현실세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성이 검출되고, 검출된 화상 데이터의 정상성에 따라서, 현실세계의 광신호의 정상성을 추정함으로써 광신호를 근사하는 함수가 생성되고, 생성된 함수로부터 제2 화상 데이터가 생성되고, 생성된 제2 화상 데이터에, 제시계의 특성에 대응하는 보정이 적용된다.

화상 처리 장치는, 독립된 장치일 수도 있고, 화상 처리를 행하는 블록일 수도 있다.

도 1은, 본 발명의 원리를 나타내고 있다. 도 1에서 나타낸 바와 같이, 공간, 시간, 및 질량 등의 차원을 가지는 실세계(1)의 사상(현상)은, 센서(2)에 의해 취득되어 데이터화된다. 실세계(1)의 사상이란, 광(화상), 음성, 압력, 온도, 질량, 농도, 밝기/어두움, 또는 냄새 등을 말한다. 실세계(1)의 사상은, 시공간 방향으로 분포하고 있다. 예를 들면, 실세계(1)의 화상은, 실세계(1)의 광의 강도의 시공간 방향의 분포이다.

센서(2)에 주목하면, 공간, 시간, 및 질량의 차원을 가지는 실세계(1)의 사상 중, 센서(2)가 취득 가능한, 실세계(1)의 사상이, 센서(2)에 의하여, 데이터(3)로 변환된다. 센서(2)에 의하여, 실세계(1)의 사상을 나타내는 정보가 취득된다고도 말할 수 있다.

즉, 센서(2)는, 실세계(1)의 사상을 나타내는 정보를, 데이터(3)로 변환한다. 공간, 시간, 및 질량 등의 차원을 가지는 실세계(1)의 사상(현상)을 나타내는 정보인 신호가 센서(2)에 의해 취득되어 데이터화된다고도 말할 수 있다.

이하, 실세계(1)에 있어서의, 화상, 음성, 압력, 온도, 질량, 농도, 밝기/어두움, 또는 냄새 등의 사상의 분포를, 실세계(1)의 사상을 나타내는 정보인 신호라고도 한다. 또, 실세계(1)의 사상을 나타내는 정보인 신호를, 단지, 실세계(1)의 신호라고도 한다. 본 명세서에 있어서, 신호는, 현상 및 사상을 포함하고, 송신측에 의사가 없는 것도 포함하는 것으로 한다.

센서(2)로부터 출력되는 데이터(3)(검출 신호)은, 실세계(1)의 사상을 나타내는 정보를, 실세계(1)와 비교하여, 보다 낮은 차원의 시공간에 투영하여 얻어진 정보이다. 예를 들면, 동화상의 화상 데이터인 데이터(3)는, 실세계(1)의 3차원의 공간 방향 및 시간 방향의 화상이, 2차원의 공간 방향, 및 시간 방향으로 이루어지는 시공간에 투영되어 얻어진 정보이다. 또, 예를 들면, 데이터(3)가 디지털 데이터일 때, 데이터(3)는, 샘플링 단위에 따라, 보정할 수 있다. 데이터(3)가 아날로그 데이터일 때, 데이터(3)에 있어서, 다이나믹 레인지에 따라, 정보가 압축되든지, 또는 리미터 등에 의하여, 정보의 일부가 삭제되어 있다.

이와 같이, 소정의 차원을 가지는 실세계(1)의 사상을 나타내는 정보인 신호를 데이터(3)(검출 신호)에 투영함으로써, 실세계(1)의 사상을 나타내는 정보의 일부가 결락된다. 즉, 센서(2)가 출력하는 데이터(3)에 있어서, 실세계(1)의 사상을 나타내는 정보의 일부가 결락되어 있다.

그러나, 투영에 의해 실세계(1)의 사상을 나타내는 정보의 일부가 결락되어 있다하더라도, 데이터(3)는, 실세계(1)의 사상(현상)을 나타내는 정보인 신호를 추정하기 위한 유의 정보를 포함하고 있다.

본 발명에 있어서는, 실세계(1)의 정보인 신호를 추정하기 위한 유의 정보로서, 데이터(3)에 포함되는 정상성을 가지는 정보를 이용한다. 정상성은, 새로이 정의한 개념이다.

여기서, 실세계(1)에 주목하면, 실세계(1)의 사상은, 소정 차원의 방향으로 일정한 특징을 포함한다. 예를 들면, 실세계(1)의 물체(유체물)에 있어서, 공간 방향 또는 시간 방향으로, 형상, 모양, 또는 색채 등이 연속하는지, 또는 형상, 모양, 또는 색채 등의 패턴이 반복한다.

따라서, 실세계(1)의 사상을 나타내는 정보에는, 소정 차원의 방향으로 일정한 특징이 포함되게 된다.

보다 구체적인 예를 들면, 실, 끈, 또는 로프 등의 선형 물체는, 길이 방향의 임의의 위치에 있어서, 단면 형상이 동일하다는 길이 방향, 즉 공간 방향으로 일정한 특징을 가진다. 길이 방향의 임의의 위치에 있어서, 단면 형상이 동일하다는 공간 방향으로 일정한 특징은, 선형 물체가 길다는 특징으로부터 생긴다.

따라서, 선형 물체의 화상은, 길이 방향의 임의의 위치에 있어서, 단면 형상이 동일하다는 길이 방향, 즉 공간 방향으로 일정한 특징을 가지고 있다.

또, 공간 방향으로 확대하는 유체물인, 단색의 물체는, 부위에 관계없이, 동일한 색을 가진다는 공간 방향으로 일정한 특징을 가지고 있다고 할 수 있다.

마찬가지로, 공간 방향으로 확대하는 유체물인, 단색의 물체의 화상은, 부위에 관계없이, 동일한 색을 가진다는 공간 방향으로 일정한 특징을 가지고 있다.

이와 같이, 실세계(1)(현실 세계)의 사상은, 소정의 차원의 방향으로 일정한 특징을 가지고 있으므로, 실세계(1)의 신호는, 소정 차원의 방향으로 일정한 특징을 가진다.

본 명세서에 있어서, 이와 같은 소정 차원의 방향으로 일정한 특징을 정상성이라고 한다. 실세계(1)(현실 세계)의 신호의 정상성이란, 실세계(1)(현실 세계)의 사상을 나타내는 신호가 가지고 있는, 소정 차원의 방향으로 일정한 특징을 말한다.

실세계(1)(현실 세계)에는, 이와 같은 정상성이 무수히 존재한다.

다음에, 데이터(3)에 주목하면, 데이터(3)는, 센서(2)에 의하여, 소정의 차원을 가지는 실세계(1)의 사상을 나타내는 정보인 신호가 투영된 것이므로, 실세계의 신호의 정상성에 대응하는 정상성을 포함하고 있다. 데이터(3)는, 실세계의 신호의 정상성이 투영된 정상성을 포함하고 있다고도 할 수 있다.

그러나, 전술한 바와 같이, 센서(2)가 출력하는 데이터(3)에 있어서, 실세계(1)의 정보의 일부가 결락되어 있으므로, 데이터(3)로부터, 실세계(1)(현실 세계)의 신호에 포함되는 정상성의 일부가 결락된다.

환언하면, 데이터(3)는, 데이터 정상성으로서 실세계(1)(현실 세계)의 신호의 정상성 중, 일부의 정상성을 포함한다. 데이터 정상성이란, 데이터(3)가 가지고 있는, 소정의 차원의 방향으로 일정한 특징이다.

본 발명에 있어서는, 실세계(1)의 사상을 나타내는 정보인 신호를 추정하기 위한 유의 정보로서, 데이터(3)가 가지는, 데이터 정상성이 이용된다.

예를 들면, 본 발명에 있어서는, 데이터 정상성을 이용하여, 데이터(3)를 신호 처리함으로써, 결락된, 실세계(1)의 사상을 나타내는 정보가 생성된다.

그리고, 본 발명에 있어서는, 실세계(1)의 사상을 나타내는 정보인 신호의 차원의, 길이(공간), 시간, 및 질량 중, 공간 방향 또는 시간 방향의 정상성이 이용된다.

도 1으로 되돌아와서, 센서(2)는, 예를 들면, 디지털 스틸 카메라, 또는 비디오 카메라 등으로 구성되며, 실세계(1)의 화상을 촬상하고, 얻어진 데이터(3)인 화상 데이터를 신호 처리 장치(4)에 출력한다. 센서(2)는, 예를 들면, 서모그라피 장치, 또는 광 탄성을 이용한 압력 센서 등으로 할 수 있다.

신호 처리 장치(4)는, 예를 들면, 퍼스널 컴퓨터 등으로 구성된다.

신호 처리 장치(4)는, 예를 들면, 도 2에서 나타낸 바와 같이 구성된다. CPU(Central Processing Unit)(21)는, ROM(Read Only Memory)(22), 또는 기억부(28)에 기억되어 있는 프로그램에 따라 각종 처리를 실행한다. RAM(Random Access Memory)(23)에는, CPU(21)가 실행하는 프로그램이나 데이터 등이 적절히 기억된다. 이들 CPU(21), ROM(22), 및 RAM(23)은, 버스(24)에 의해 서로 접속되어 있다.

CPU(21)에는 또, 버스(24)를 통하여 입출력 인터페이스(25)가 접속되어 있다. 입출력 인터페이스(25)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(26), 디스플레이, 스피커 등으로 이루어지는 출력부(27)가 접속되어 있다. CPU(21)는, 입력부(26)로부터 입력되는 지령에 대응하여 각종 처리를 실행한다. 그리고, CPU(21)는, 처리 결과 얻어진 화상이나 음성 등을 출력부(27)에 출력한다.

입출력 인터페이스(25)에 접속되어 있는 기억부(28)는, 예를 들면 하드 디스크 등으로 구성되며, CPU(21)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(29)는, 인터넷, 그 외의 네트워크를 통하여 외부의 장치와 통신한다. 이 예의 경우, 통신부(29)는 센서(2)가 출력하는 데이터(3)를 입력하는 취득부로서 역할한다.

또, 통신부(29)를 통하여 프로그램을 취득하고, 기억부(28)에 기억 해도 된다. 입출력 인터페이스(25)에 접속되어 있는 드라이브(30)는, 자기 디스크(51), 광디스크(52), 광자기 디스크(53), 또는 반도체 메모리(54) 등이 장착되었을 때, 이들을 구동하고, 거기에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는, 필요에 따라 기억부(28)에 전송되고, 기억된다.

도 3은, 신호 처리 장치(4)를 나타낸 블록도이다.

그리고, 신호 처리 장치(4)의 각 기능을 하드웨어로 실현할 수도 있고, 소프트웨어로 실현할 수도 있다. 즉, 본 명세서의 각 블록도는, 하드웨어의 블록도라고 생각할 수도 있고, 소프트 웨어에 의한 기능 블록도라고 생각할 수도 있다.

도 3에 구성을 나타낸 신호 처리 장치(4)에 있어서는, 데이터(3)의 일례인 화상 데이터가 입력되고, 입력된 화상 데이터(입력 화상)로부터 데이터 정상성이 검출된다. 다음에, 검출된 데이터 정상성으로부터, 센서(2)에 의해 취득된 실세계(1)의 신호가 추정된다. 그리고, 추정된 실세계(1)의 신호에 따라서, 화상이 생성되고, 생성된 화상(출력 화상)이 출력된다. 즉, 도 3은, 화상 처리 장치인 신호 처리 장치(4)의 구성을 나타낸 도면이다.

신호 처리 장치(4)에 입력된 입력 화상(데이터(3)의 일례인 화상 데이터)은, 데이터 정상성 검출부(101) 및 실세계 추정부(102)에 공급된다.

데이터 정상성 검출부(101)는, 입력 화상으로부터 데이터 정상성을 검출하여, 검출한 정상성을 나타내는 데이터 정상성 정보를 실세계 추정부(102) 및 화상 생성부(103)에 공급한다. 데이터 정상성 정보는, 예를 들면, 입력 화상에 있어서의, 데이터 정상성을 가지는 화소의 영역의 위치, 데이터 정상성을 가지는 화소의 영역의 방향(시간 방향 및 공간 방향의 각도 또는 기울기), 또는 데이터 정상성을 가지는 화소의 영역의 길이 등을 포함한다. 데이터 정상성 검출부(101)의 구성의 자세한 것은, 후술한다.

실세계 추정부(102)는, 입력 화상, 및 데이터 정상성 검출부(101)으로부터 공급된 데이터 정상성 정보에 따라서, 실세계(1)의 신호를 추정한다. 즉, 실세계 추정부(102)는, 입력 화상이 취득되었을 때 센서(2)에 입사된, 실세계의 신호인 화상을 추정한다. 실세계 추정부(102)는, 실세계(1)의 신호의 추정의 결과를 나타내는 실세계 추정 정보를 화상 생성부(103)에 공급한다. 실세계 추정부(102)의 구성의 상세에 대하여는, 후술한다.

화상 생성부(103)는, 실세계 추정부(102)로부터 공급된, 추정된 실세계(1)의 신호를 나타낸 실세계 추정 정보에 따어서, 실세계(1)의 신호에 의해 근사한 신호를 생성하여, 생성한 신호를 출력한다. 또는, 화상 생성부(103)는, 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보, 및 실세계 추정부(102)로부터 공급된, 추정된 실세계(1)의 신호를 나타낸 실세계 추정 정보에 따라서, 실세계(1)의 신호에 의해 근사한 신호를 생성하여, 생성한 신호를 출력한다.

즉, 화상 생성부(103)는, 실세계 추정 정보에 따라서, 실세계(1)의 화상에 의해 근사한 화상을 생성하여, 생성한 화상을 출력 화상으로서 출력한다. 또는, 화상 생성부(103)는, 데이터 정상성 정보 및 실세계 추정 정보에 따라서, 실세계(1)의 화상에 의해 근사한 화상을 생성하여, 생성한 화상을 출력 화상으로서 출력한다.

예를 들면, 화상 생성부(103)는, 실세계 추정 정보에 따라서, 추정된 실세계(1)의 화상을 원하는 공간 방향 또는 시간 방향의 범위에서 적분함으로써, 입력 화상과 비교하여, 공간 방향 또는 시간 방향으로부터 고해상도의 화상을 생성하여, 생성한 화상을 출력 화상으로서 출력한다. 예를 들면, 화상 생성부(103)는, 외부 삽입 보간에 의하여, 화상을 생성하여, 생성한 화상을 출력 화상으로서 출력한다.

화상 생성부(103)의 구성의 상세에 대해서는, 후술한다.

다음에, 도 4내지 도 7을 참조하여, 본 발명의 원리를 설명한다.

도 4는, 종래의 신호 처리 장치(121)에 있어서의 처리의 원리를 설명하는 도면이다. 종래의 신호 처리 장치(121)는, 데이터(3)를 처리의 기준으로 하고, 또한 데이터(3)를 처리의 대상으로 하여, 고해상도화 등의 처리를 실행한다. 종래의 신호 처리 장치(121)에 있어서는, 실세계(1)가 고려되지 않고, 데이터(3)가 최종적인 기준이 되어서, 데이터(3)에 포함되어 있는 정보 이상의 정보를 출력으로서 얻을 수 없다.

또, 종래의 신호 처리 장치(121)에 있어서, 데이터(3)에 존재하는, 센서(2)에 의한 왜곡(실세계(1)의 정보인 신호와 데이터(3)의 차이)은 전혀 고려되지 않기 때문에, 종래의 신호 처리 장치(121)는, 왜곡을 포함한 채 신호를 출력하게 된다. 또한, 신호 처리 장치(121)의 처리의 내용에 따라서는, 데이터(3)에 존재하는, 센서(2)에 의한 왜곡이 더욱 증폭되어, 증폭된 왜곡을 포함하는 데이터가 출력되게 된다.

이와 같이, 종래의 신호 처리에 있어서는, 데이터(3)가 취득된 실세계(1)(의 신호) 자체가 고려되지는 않았다. 환언하면, 종래의 신호 처리에 있어서는, 데이터(3)에 포함되어 있는 정보의 프레임 내에서 실세계(1)를 파악하고 있었으므로, 데이터(3)에 포함되어 있는 정보 및 왜곡에 의하여, 신호 처리의 한계가 결정된다.

이에 비해, 본 발명의 신호 처리에 있어서는, 실세계(1)(의 신호) 자체를 명확하게 고려하여, 처리가 실행된다.

도 5는, 본 발명에 관한 신호 처리 장치(4)에 있어서의 처리의 원리를 설명하는 도면이다.

실세계(1)의 사상을 나타내는 정보인 신호를 센서(2)가 취득하고, 센서(2)가, 실세계(1)의 정보인 신호를 투영한 데이터(3)를 출력하는 점에서는, 종래와 동일하다.

그러나, 본 발명에 있어서는, 센서(2)에 의해 취득된, 실세계(1)의 사상을 나타내는 정보인 신호가 명확하게 고려된다. 즉, 데이터(3)가, 센서(2)에 의한 왜곡(실세계(1)의 정보인 신호와 데이터(3)의 차이)를 포함하는 것을 의식하여 신호 처리가 행해진다.

이와 같이함으로써, 본 발명의 신호 처리에 있어서는, 데이터(3)에 포함되어 있는 정보 및 왜곡에 의해 처리의 결과가 한정되지 않고, 예를 들면, 종래와 비교하여, 실세계(1)의 사상에 대하여, 보다 정확하며, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다. 즉, 본 발명에 의하면, 센서(2)에 입력된, 실세계(1)의 사상을 나타내는 정보인 신호에 대하여, 보다 정확하며, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

도 6 및 도 7은, 본 발명의 원리를 보다 구체적으로 설명하는 도면이다.

도 6에 나타낸 바와 같이, 예를 들면, 화상인, 실세계(1)의 신호가, 렌즈, 또는 광학 LPF(Low Pass Filter) 등으로 이루어지는 광학계(141)에 의하여, 센서(2)의 일례인 CCD(Charge Coupled Device)의 수광면에 결상된다. 센서(2)의 일례인 CCD는, 적분 특성을 가지고 있으므로, CCD로부터 출력되는 데이터(3)에는, 실세계(1)의 화상과 차이가 생기게 된다. 센서(2)의 적분 특성의 상세한 내용에 대하여는, 후술한다.

본 발명의 신호 처리에 있어서는, CCD에 의해 취득된 실세계(1)의 화상과, CCD에 의해 촬상되어 출력된 데이터(3)의 관계가 명확하게 고려된다. 즉, 데이터(3)와 센서(2)에 의해 취득된 실세계의 정보인 신호와의 관계가 명확하게 고려된다.

보다 구체적으로는, 도 7에 나타낸 바와 같이, 신호 처리 장치(4)는, 모델(161)을 사용하여, 실세계(1)를 근사(기술)한다. 모델(161)은, 예를 들면, N개의 변수로 표현된다. 보다 정확하게는, 모델(161)은, 실세계(1)의 신호를 근사(기술)한다.

모델(161)을 예측하기 위하여, 신호 처리 장치(4)는, 데이터(3)로부터, M개의 데이터(162)를 추출한다. 데이터(3)로부터, M개의 데이터(162)를 추출할 때, 신호 처리 장치(4)는, 데이터(3)에 포함되는 데이터 정상성을 이용한다. 환언하면, 신호 처리 장치(4)는, 데이터(3)에 포함되는 데이터 정상성에 따라서, 모델(161)을 예측하기 위한 데이터(162)를 추출한다. 결과적으로, 모델(161)은, 데이터 정상성에 구속되게 된다.

즉, 모델(161)은, 센서(2)로 취득되었을 때, 데이터(3)에 있어서 데이터 정상성을 생기게 하는, 정상성(소정의 차원의 방향으로 일정한 특징)을 가지는 실세계(1)의 사상(을 나타내는 정보(신호))을 근사한다.

여기서, 데이터(162)의 수 M이, 모델의 변수의 수 N이상이면, M개의 데이터(162)로부터, N개의 변수로 표현되는 모델(161)을 예측할 수 있다.

이와 같이, 실세계(1)(의 신호)을 근사(기술)하는 모델(161)을 예측함으로써, 신호 처리 장치(4)는, 실세계(1)의 정보인 신호를 고려할 수 있다.

다음에, 센서(2)의 적분 효과에 대하여 설명한다.

화상을 촬상하는 센서(2)인, CCD 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등의 이미지 센서는, 현실 세계를 촬상할 때, 현실 세계의 정보인 신호를 2차원의 데이터에 투영한다. 이미지 센서의 각 화소는, 이른바 수광면(수광 영역)으로서 각각 소정의 면적을 가진다. 소정의 면적을 가지는 수광면에 입사한 광은, 화소마다, 공간 방향 및 시간 방향으로 적분되어 각 화소에 대하여 1개의 화소값으로 변환된다.

도 8내지 도 11을 참조하여, 화상의 공간적 및 시간적 적분에 대하여 설명한다.

이미지 센서는, 현실 세계의 대상물(오브젝트)을 촬상하고, 촬상의 결과 얻어진 화상 데이터를 1프레임 단위로 출력한다. 즉, 이미지 센서는, 실세계(1)의 대상물에서 반사된 광인, 실세계(1)의 신호를 취득하고, 데이터(3)를 출력한다.

예를 들면, 이미지 센서는, 1초간에 30프레임으로 이루어지는 화상 데이터를 출력한다. 이 경우, 이미지 센서의 노광 시간은, 1/30초로 할 수 있다. 노광 시간은, 이미지 센서가 입사된 광의 전하에의 변환을 개시하고 나서, 입사된 광의 전하에의 변환을 종료할 때까지의 기간이다. 이하, 노광 시간을 셔터 시간이라고도 한다.

도 8은, 이미지 센서 위의 화소의 배치의 예를 설명하는 도면이다. 도 8에 있어서, A 내지 I는, 개개의 화소를 나타낸다. 화소는, 화상 데이터에 의해 표시되는 화상에 대응하는 평면상에 배치되어 있다. 1개의 화소에 대응하는 1개의 검출 소자는, 이미지 센서 상에 배치되어 있다. 이미지 센서가 실세계(1)의 화상을 촬상할 때, 1개의 검출 소자는, 화상 데이터를 구성하는 1개의 화소에 대응하는 1개의 화소값을 출력한다. 예를 들면, 검출 소자의 공간 방향 X의 위치(X 좌표)는, 화상 데이터에 의해 표시되는 화상 상의 가로 방향의 위치에 대응하고, 검출 소자의 공간 방향 Y의 위치(Y 좌표)는, 화상 데이터에 의해 표시되는 화상상의 세로 방향의 위치에 대응한다.

실세계(1)의 광의 강도 분포는, 3차원의 공간 방향, 및 시간 방향으로 확대되지만, 이미지 센서는, 2차원의 공간 방향, 및 시간 방향으로, 실세계(1)의 광을 취득하고, 2차원의 공간 방향, 및 시간 방향의 광의 강도의 분포를 표현하는 데이터(3)를 생성한다.

도 9에서 나타낸 바와 같이, 예를 들면, CCD인 검출 소자는, 셔터 시간에 대응하는 기간, 수광면(수광 영역)(검출 영역)에 입력된 광을 전하로 변환하여, 변환된 전하를 축적한다. 광은, 3차원의 공간 위의 위치, 및 시각에 의하여, 강도가 결정되는 실세계(1)의 정보(신호)이다. 실세계(1)의 광의 강도의 분포는, 3차원의 공간 상의 위치 x, y, z, 및 시각 t를 변수로 하는 함수 F(x, y, z, t)로 나타낼 수 있다.

CCD인 검출 소자에 축적되는 전하의 양은, 2차원의 공간 상에서 확대되는 수광면의 전체에 입사된 광의 강도와 광이 입사되고 있는 시간에 대략 비례한다. 검출 소자는, 셔터 시간에 대응하는 기간에 있어서, 수광면의 전체에 입사된 광으로부터 변환된 전하를, 이미 축적되어 있는 전하에 더하여 간다. 즉, 검출 소자는, 셔터 시간에 대응하는 기간, 2차원의 공간 상에서 확대되는 수광면의 전체에 입사되는 광을 적분하여, 적분된 광에 대응하는 양의 전하를 축적한다. 검출 소자는, 공간(수광면) 및 시간(셔터 시간)에 대하여, 적분 효과가 있다고도 말할 수 있다.

검출 소자에 축적된 전하는, 회로(도시하지 않음)에 의하여, 전압값으로 변환되고, 전압값은 또한 디지털 데이터 등의 화소값으로 변환되어, 데이터(3)로서 출력된다. 따라서, 이미지 센서로부터 출력되는 개개의 화소값은, 실세계(1)의 정보(신호)의 시간적 및 공간적으로 확대되는 부분을, 셔터 시간의 시간 방향 및 검출 소자의 수광면의 공간 방향에 대해서 적분 한 결과인, 1차원의 공간에 투영한 값을 가진다.

즉, 1개의 화소의 화소값은, F(x, y, t)의 적분으로 표현된다. F(x, y, t)는, 검출 소자의 수광면에 있어서의, 광의 강도의 분포를 나타내는 함수이다. 예를 들면, 화소값 P는, 식(1)로 표현된다.

…(1)

78)

식(1)에 있어서, x₁은, 검출 소자의 수광면의 좌측 경계의 공간 좌표(X 좌표)이다. x₂는, 검출 소자의 수광면의 우측 경계의 공간 좌표(X 좌표)이다. 식(1)에 있어서, y₁은, 검출 소자의 수광면의 상측의 경계의 공간 좌표(Y 좌표)이다. y₂는, 검출 소자의 수광면의 하측 경계의 공간 좌표(Y 좌표)이다. 또, t₁은, 입사된 광의 전하에의 변환을 개시한 시각이다. t₂는, 입사된 광의 전하에의 변환을 종료했을 때 시각이다.

79)

그리고, 실제로는, 이미지 센서로부터 출력되는 화상 데이터의 화소값은, 예를 들면 프레임 전체적으로, 그 게인이 보정되어 있다.

80)

화상 데이터의 각 화소값은, 이미지 센서의 각 검출 소자의 수광면에 입사한 광의 적분값이며, 이미지 센서에 입사된 광 중에서, 검출 소자의 수광면보다 미소한 실세계(1)의 광의 파형은, 적분값으로서의 화소값에 숨겨져 버린다.

81)

이하, 본 명세서에 있어서, 소정의 차원을 기준으로 하여 표현되는 신호의 파형을 단지 파형이라고도 한다.

82)

이와 같이, 실세계(1)의 화상은, 화소를 단위로 하여, 공간 방향 및 시간 방향으로 적분되어 버리므로, 화상 데이터에 있어서는, 실세계(1)의 화상의 정상성의 일부가 결락하고, 실세계(1)의 화상의 정상성의 다른 일부 만이 화상 데이터에 포함되게 된다. 또는, 화상 데이터에는, 실세계(1)의 화상의 정상성으로부터 변화해 버린 정상성이 포함되는 경우가 있다.

83)

적분 효과를 가지는 이미지 센서에 의해 촬상된 화상의, 공간 방향의 적분 효과에 대하여 더 설명한다.

84)

도 10은, 화소 D내지 화소 F에 대응하는 검출 소자에 입사되는 광과 화소값의 관계를 설명하는 도면이다. 도 10의 F(x)는, 공간 상(검출 소자 상)의 공간 방향 X의 좌표 x를 변수로 하는, 실세계(1)의 광의 강도의 분포를 나타내는 함수의 예이다. 환언하면, F(x)는, 공간 방향 Y 및 시간 방향으로 일정한 경우의, 실세계(1)의 광의 강도의 분포를 나타내는 함수의 예이다. 도 10에 있어서, L은, 화소 D내지 화소 F에 대응하는 검출 소자의 수광면의 공간 방향 X의 길이를 나타낸다.

85)

1개의 화소의 화소값은, F(x)의 적분으로 표현된다. 예를 들면, 화소 E의 화소값 P는, 식(2)로 표현된다.

…(2)

식(2)에 있어서, x₁은, 화소 E에 대응하는 검출 소자의 수광면의 좌측 경계의 공간 방향 X의 공간 좌표이다. x₂는, 화소 E에 대응하는 검출 소자의 수광면의 우측 경계의 공간 방향 X의 공간 좌표이다.

마찬가지로, 적분 효과를 가지는 이미지 센서에 의해 촬상된 화상의, 시간 방향의 적분 효과에 대하여 더 설명한다.

도 11은, 시간의 경과와 1개의 화소에 대응하는 검출 소자에 입사되는 광과 화소값의 관계를 설명하는 도면이다. 도 11의 F(t)는, 시각 t를 변수로 하는, 실세계(1)의 광의 강도의 분포를 나타내는 함수이다. 환언하면, F(t)는, 공간 방향 Y 및 공간 방향 X으로 일정한 경우의, 실세계(1)의 광의 강도의 분포를 나타내는 함수의 예이다. ts는, 셔터 시간을 나타낸다.

프레임 #n-1은, 프레임 #n에 대하여 시간적으로 앞선 프레임이며, 프레임 #n+1은, 프레임 #n에 대하여 시간적으로 나중의 프레임이다. 즉, 프레임 #n-1, 프레임 #n, 및 프레임 #n+1은, 프레임 #n-1, 프레임 #n, 및 프레임 #n+1의 순서로 표시된다.

그리고, 도 11에 나타낸 예에 있어서, 셔터 시간 ts와 프레임 간격이 동일하다.

1개의 화소의 화소값은, F(t)의 적분으로 표현된다. 예를 들면, 프레임 #n의 화소의 화소값 P는, 식(3)으로 표현된다.

…(3)

92)

식(3)에 있어서, t₁은, 입사된 광의 전하에의 변환을 개시한 시각이다. t₂는, 입사된 광의 전하에의 변환을 종료했을 때 시각이다.

93)

이하, 센서(2)에 의한 공간 방향의 적분 효과를 간단히 공간 적분 효과라 하고, 센서(2)에 의한 시간 방향의 적분 효과를 간단히 시간 적분 효과라 한다.

또, 공간 적분 효과 또는 시간 적분 효과를 간단히 적분 효과라고도 한다.

94)

다음에, 적분 효과를 가지는 이미지 센서에 의해 취득된 데이터(3)에 포함되는 데이터 정상성의 예에 대하여 설명한다.

도 12는, 실세계(1)의 선형의 물건(예를 들면, 가는 선)의 화상, 즉 광의 강도의 분포의 예를 나타낸 도면이다. 도 12에 있어서, 도면 중의 상측의 위치는, 광의 강도(레벨)를 나타내고, 도면 중의 우상측의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중의 우측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다.

실세계(1)의 선형의 물건의 화상에는, 소정의 정상성이 포함된다. 즉, 도 12에서 나타내는 화상은, 길이 방향의 임의의 위치에 있어서, 단면 형상(길이 방향으로 직교하는 방향의 위치의 변화에 대한 레벨의 변화)이 동일한 정상성을 가진다.

도 13은, 도 12에서 나타내는 화상에 대응하는, 실제 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다.

도 14는, 도 13에 나타낸 화상 데이터의 모식도이다.

도 14에서 나타내는 모식도는, 이미지 센서의 화소의 배열(화소의 세로 또는 가로의 배열)과 어긋난 방향으로 뻗는, 각 화소의 수광면의 길이 L보다 짧은 직경의 선형의 물건의 화상을, 이미지 센서로 촬상하여 얻어진 화상 데이터의 모식도이다. 도 14에서 나타내는 화상 데이터가 취득되었을 때 이미지 센서에 입사된 화상은, 도 12의 실세계(1)의 선형의 물건의 화상이다.

도 14에 있어서, 도면 중의 상측의 위치는, 화소값을 나타내고, 도면 중의 우상측의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중의 우측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다. 도 14에 있어서의 화소값을 나타내는 방향은, 도 12에 있어서의 레벨의 방향으로 대응하고, 도 14에 있어서의 공간 방향 X, 및 공간 방향 Y는, 도 12에 있어서의 방향과 동일하다.

각 화소의 수광면의 길이 L보다 짧은 직경의 선형의 물체의 화상을, 이미지 센서로 촬상한 경우, 촬상의 결과 얻어지는 화상 데이터에 있어서, 선형의 물체는, 모식적으로, 예를 들면, 경사지고 어긋나서 배열되는, 복수개의 소정의 길이의 원호 형상(어묵형)으로 표현된다. 각 원호 형상은, 대략 동일한 형상이다. 1개의 원호 형상은, 세로로 1열의 화소 위, 또는 가로로 1열의 화소 위에 형성된다. 예를 들면, 도 14에 있어서의 1개의 원호 형상은, 세로로 1열의 화소의 위에 형성된다.

이와 같이, 예를 들면, 이미지 센서로 촬상되어 취득된 화상 데이터에 있어서는, 실세계(1)의 선형의 물체의 화상이 가지고 있던, 길이 방향의 임의의 위치에 있어서, 공간 방향 Y에 있어서의 단면 형상이 동일하다는 정상성이 없어져 있다. 또, 실세계(1)의 선형의 물체의 화상이 가지고 있던 정상성은, 세로로 1열의 화소 위, 또는 가로로 1열의 화소 위에 형성된, 동일 형상인 원호 형상이 일정한 간격으로 배열되는 정상성이 변화하고 있다고 할 수 있다.

도 15는, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 것의 실세계(1)의 화상, 즉 광의 강도의 분포의 예를 나타낸 도면이다. 도 15에 있어서, 도면 중의 상측 위치는, 광의 강도(레벨)를 나타내고, 도면 중의 우상측의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중의 우측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다.

배경과는 상이한 색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상에는, 소정의 정상성이 포함된다. 즉, 도 15에서 나타내는 화상은, 에지의 길이 방향의 임의의 위치에 있어서, 단면 형상(에지에 직교하는 방향의 위치의 변화에 대한 레벨의 변화)이 동일하다는 정상성을 가진다.

도 16은, 도 15에서 나타내는 화상에 대응하는, 실제의 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다. 도 16에 나타낸 바와 같이, 화상 데이터는, 화소를 단위로 한 화소값으로 이루어지므로, 계단형이 된다.

도 17은, 도 16에 나타낸 화상 데이터의 모식도이다.

도 17에 나타낸 모식도는, 이미지 센서의 화소의 배열(화소의 세로 또는 가로의 배열)과 어긋난 방향으로 에지가 연장되는, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 것의 실세계(1)의 화상을, 이미지 센서로 촬상하여 얻어진 화상 데이터의 모식도이다. 도 17에 나타낸 화상 데이터가 취득되었을 때 이미지 센서에 입사된 화상은, 도 15에서 나타내는, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 것의 실세계(1)의 화상이다.

도 17에 있어서, 도면 중의 상측의 위치는, 화소값을 나타내고, 도면 중의 우상측의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중의 우측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다. 도 17에 있어서의 화소값을 나타낸 방향은, 도 15에 있어서의 레벨의 방향으로 대응하고, 도 17에 있어서의 공간 방향 X, 및 공간 방향 Y는, 도 15에 있어서의 방향과 같다.

배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 것의 실세계(1)의 화상을, 이미지 센서로 촬상한 경우, 촬상의 결과 얻어지는 화상 데이터에 있어서, 직선형의 에지는, 모식적으로, 예를 들면, 경사지게 어긋나게 배열된, 복수개의 소정의 길이의 멈춤쇠(pawl) 형상으로 표현된다. 각 멈춤쇠 형상은, 대략 동일한 형상이다. 1개의 멈춤쇠 형상은, 세로로 1열의 화소 위, 또는 가로로 1열의 화소의 위에 형성된다. 예를 들면, 도 17에 있어서, 1개의 멈춤쇠 형상은, 세로로 1열의 화소의 위에 형성된다.

이와 같이, 예를 들면, 이미지 센서로 촬상되어 취득된 화상 데이터에 있어서는, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이 가지고 있던, 에지의 길이 방향의 임의의 위치에 있어서, 단면 형상이 동일한 정상성이 없어진다. 또, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이 가지고 있던 정상성은, 세로로 1열의 화소 위, 또는 가로로 1열의 화소 위에 형성된, 동일 형상인 멈춤쇠 형상이 일정한 간격으로 배열되는 정상성이 변화하고 있다고 할 수 있다.

데이터 정상성 검출부(101)는, 이와 같은, 예를 들면, 입력 화상인 데이터(3)가 가지는 데이터 정상성을 검출한다. 예를 들면, 데이터 정상성 검출부(101)는, 소정의 차원의 방향으로 일정한 특징을 가지는 영역을 검출함으로써, 데이터 정상성을 검출한다. 예를 들면, 데이터 정상성 검출부(101)는, 도 14에서 나타내는, 동일한 원호 형상이 일정한 간격으로 배열되는 영역을 검출한다. 또, 예를 들면, 데이터 정상성 검출부(101)는, 도 17에 나타내는, 동일한 멈춤쇠 형상이 일정한 간격으로 배열되는 역을 검출한다.

또, 데이터 정상성 검출부(101)는, 동일한 형상의 배열 방법을 나타내는, 공간 방향의 각도(기울기)를 검출함으로써, 데이터 정상성을 검출한다.

또, 예를 들면, 데이터 정상성 검출부(101)는, 공간 방향 및 시간 방향의 동일한 형상의 배열 법을 나타내는, 공간 방향 및 시간 방향의 각도(움직임)을 검출함으로써, 데이터 정상성을 검출한다.

또한, 예를 들면, 데이터 정상성 검출부(101)는, 소정의 차원의 방향으로 일정한 특징을 가지는 영역의 길이를 검출함으로써, 데이터 정상성을 검출한다.

이하, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이 센서(2)에 의해 투영된 데이터(3)의 부분을 2진수 에지라고도 한다.

다음에, 본 발명의 원리를 보다 구체적으로 설명한다.

도 18에 나타낸 바와 같이, 종래의 신호 처리에 있어서는, 데이터(3)로부터, 예를 들면, 원하는 고해상도 데이터(181)가 생성된다.

이에 비해, 본 발명에 관한 신호 처리에 있어서는, 데이터(3)로부터, 실세계(1)가 추정되어, 추정된 결과에 따라, 고해상도 데이터(181)가 생성된다. 즉, 도 19에서 나타낸 바와 같이, 실세계(1)가, 데이터(3)로부터 추정되어, 고해상도 데이터(181)가, 데이터(3)를 고려하여, 추정된 실세계(1)로부터 고해상도 데이터(181)가 생성된다.

실세계(1)로부터 고해상도 데이터(181)를 생성하기 위해서는, 실세계(1)와 데이터(3)의 관계를 고려할 필요가 있다. 예를 들면, 실세계(1)가, CCD인 센서(2)에 의하여, 데이터(3)에 투영되면 어떻게 되는지가 고려된다.

CCD인 센서(2)는, 전술한 바와 같이, 적분 특성을 가진다. 즉, 데이터(3)의 하나의 단위(예를 들면, 화소값)는, 실세계(1)의 신호를 센서(2)의 검출 소자(예를 들면, CCD)의 검출 영역(예를 들면, 수광면)으로 적분함으로써 산출할 수 있다.

이것을 고해상도 데이터(181)에 대하여 적용시키면, 가상적인 고해상도의 센서가 실세계(1)의 신호를 데이터(3)에 투영하는 처리를, 추정된 실세계(1)에 적용함으로써, 고해상도 데이터(181)를 얻을 수 있다.

환언하면, 도 20에 나타낸 바와 같이, 데이터(3)로부터 실세계(1)의 신호를 추정할 수 있으면, 실세계(1)의 신호를, 가상적인 고해상도의 센서의 검출 소자의 검출 영역마다(시공간 방향으로)적분함으로써, 고해상도 데이터(181)에 포함되는 1개의 값을 얻을 수 있다.

예를 들면, 센서(2)의 검출 소자의 검출 영역의 크기와 비교하여, 실세계(1)의 신호의 변화가, 더 작으면, 데이터(3)는, 실세계(1)의 신호의 작은 변합을 나타낼 수가 없다. 그래서, 데이터(3)로부터 추정된 실세계(1)의 신호를, 실세계(1)의 신호의 변화와 비교하여, 더 작은 영역마다(시공간 방향으로)적분함으로써, 실세계(1)의 신호의 작은 변합을 나타낸 고해상도 데이터(181)를 얻을 수 있다.

즉, 가상적인 고해상도 센서의 각 검출 소자에 대하여, 추정된 실세계(1)의 신호를 검출 영역에서 적분함으로써, 고해상도 데이터(181)를 얻을 수 있다.

본 발명에 있어서, 화상 생성부(103)는, 예를 들면, 가상적인 고해상도 센서의 각 검출 소자의 시공간 방향의 영역에서, 추정된 실세계(1)의 신호를 적분함으로써, 고해상도 데이터(181)를 생성한다.

다음에, 데이터(3)로부터, 실세계(1)를 추정하기 위하여, 본 발명에 있어서는, 데이터(3)와 실세계(1)의 관계, 정상성, 및 데이터(3)에 있어서의 공간 혼합이 이용된다.

여기서, 혼합이란, 데이터(3)에 있어서, 실세계(1)에 있어서의 2개의 물체에 대한 신호가 혼합되어 1개의 값이 되는 것을 말한다.

공간 혼합이란, 센서(2)의 공간 적분 효과에 의한, 2개의 물체에 대한 신호의 공간 방향의 혼합을 말한다.

실세계(1) 자체는, 무한개의 사상로 이루어지고, 따라서, 실세계(1) 자체를, 예를 들면, 수식으로 표현하기 위해서는, 무한개의 변수가 필요해진다. 데이터(3)로부터, 실세계(1)의 모든 사상을 예측할 수 없다.

마찬가지로, 데이터(3)로부터, 실세계(1)의 신호의 모두를 예측할 수 없다.

그래서, 도 21에 나타낸 바와 같이, 본 발명에 있어서는, 실세계(1)의 신호 중, 정상성을 가지고, 함수 f(x, y, z, t)로 나타낼 수 있는 부분에 주목하고, 함수 f(x, y, z, t)로 나타낼 수 있는, 정상성을 가지는 실세계(1)의 신호 부분이, N개의 변수로 표현되는 모델(161)로 근사된다. 그리고, 도 22에서 나타낸 바와 같이, 모델(161)이, 데이터(3) 중의, M개의 데이터(162)로부터 예측된다.

M개의 데이터(162)로부터 모델(161)의 예측을 가능하게 하기 위해서는, 제 1에, 모델(161)을, 정상성에 따라, N개의 변수로 나타내고, 제 2에, 센서(2)의 적분 특성에 따라, N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)의 관계를 나타내는, N개의 변수를 사용한 식을 세우는 것이 필요하다. 모델(161)이, 정상성에 따라, N개의 변수로 표현되어 있으므로, N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)의 관계를 나타내는, N개의 변수를 사용한 식은, 정상성을 가지는 실세계(1)의 신호의 부분과 데이터 정상성을 가지는 데이터(3)의 부분과의 관계를 기술하고 있다고 할 수 있다.

환언하면, N개의 변수로 표현되는 모델(161)로 근사되는, 정상성을 가지는 실세계(1)의 신호의 부분은, 데이터(3)에 있어서, 데이터 정상성을 발생시킨다.

데이터 정상성 검출부(101)는, 정상성을 가지는 실세계(1)의 신호 부분에 의하여, 데이터 정상성이 생긴 데이터(3)의 부분, 및 데이터 정상성이 생긴 부분의 특징을 검출한다.

예를 들면, 도 23에 나타낸 바와 같이, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상에 있어서, 도 23중 A에서 나타내는, 주목하는 위치에서의 에지는, 기울기를 가지고 있다. 도 23의 B의 화살표는, 에지의 경사를 나타낸다. 소정의 에지의 기울기는, 기준이 되는 축에 대하는 각도 또는 기준이 되는 위치에 대한 방향으로 나타낼 수가 있다. 예를 들면, 소정의 에지의 기울기는, 공간 방향 X의 좌표 축과 에지의 각도로 나타낼 수가 있다. 예를 들면, 소정의 에지의 기울기는, 공간 방향 X의 길이 및 공간 방향 Y의 길이에서 나타내는 방향으로 나타낼 수 있다.

배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이, 센서(2)에 의해 취득되어, 데이터(3)가 출력되었을 때, 데이터(3)에 있어서, 실세계(1)의 화상에 있어서의, 에지의 주목하는 위치 A에 대한, 도 23중 A'에서 나타낸 위치에, 에지에 대응하는 멈춤쇠 형상이 배열되어, 실세계(1)의 화상의 에지의 기울기에 대응하는, 도 23중 B'에서 나타내는 기울기의 방향으로, 에지에 대응하는 멈춤쇠 형상이 배열된다.

N개의 변수로 표현되는 모델(161)은, 이와 같은, 데이터(3)에 있어서, 데이터 정상성을 생기게 하는, 실세계(1)의 신호의 부분을 근사한다.

N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)의 관계를 나타내는, N개의 변수를 사용한 식을 세울 때, 데이터(3)에 있어서, 데이터 정상성이 생긴 부분의 값을 이용한다.

이 경우에 있어서, 도 24에서 나타내는, 데이터(3)에 있어서, 데이터 정상성이 생기고, 혼합 영역에 속하는 값에 주목하여, 실세계(1)의 신호를 적분한 값이, 센서(2)의 검출 소자가 출력하는 값과 동일한 것으로 하여, 식을 세울 수 있다. 예를 들면, 데이터 정상성이 생기고 있는, 데이터(3)에 있어서의 복수개의 값에 대하여, 복수개의 식을 세울 수 있다.

도 24에 있어서, A는, 에지의 주목하는 위치를 나타내고, A'는, 실세계(1)의 화상에 있어서의, 에지의 주목하는 위치(A)에 대한, 화소(의 위치)를 나타낸다.

여기서, 혼합 영역은, 데이터(3)에 있어서, 실세계(1)에 있어서의 2개의 물체에 대한 신호가 혼합되어 1개의 값으로 되어 있는 데이터의 영역을 말한다. 예를 들면, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상에 대한 데이터(3)에 있어서, 직선형의 에지를 가지는 것에 대한 화상, 및 배경에 대한 화상이 적분되어 있는 화소값은, 혼합 영역에 속한다.

도 25는, 식을 세울 경우에, 실세계(1)에 있어서의 2개의 물체에 대한 신호 및 혼합 영역에 속하는 값을 설명하는 도면이다.

143)

도 25의 좌측은, 센서(2)의 하나의 검출 소자의 검출 영역에서 취득되는, 공간 방향 X 및 공간 방향 Y에 소정의 크기로 확대되는, 실세계(1)에 있어서의 2개의 물체에 대한 실세계(1)의 신호를 나타낸다. 도 25의 우측은, 도 25의 좌측에 나타낸 실세계(1)의 신호가 센서(2)의 하나의 검출 소자에 의해 투영된, 데이터(3)의 하나의 화소의 화소값 P를 나타낸다. 즉, 센서(2)의 하나의 검출 소자에 의해 취득된, 공간 방향 X 및 공간 방향 Y에 소정의 크기로 확대되는, 실세계(1)에 있어서의 2개의 물체에 대한 실세계(1)의 신호가 투영된, 데이터(3)의 하나의 화소의 화소값 P를 나타낸다.

144)

도 25의 L는, 실세계(1)에 있어서의 1개의 물체에 대한, 도 25의 흰색 부분의 실세계(1)의 신호의 레벨을 나타낸다. 도 25의 R은, 실세계(1)에 있어서의 다른 1개의 물체에 대한, 도 25의 사선으로 표현되는 부분의 실세계(1)의 신호 레벨을 나타낸다.

145)

여기서, 혼합비 α는, 센서(2)의 하나의 검출 소자의, 공간 방향 X 및 공간 방향 Y로 소정의 크기로 확대되는 검출 영역에 입사된, 2개의 물체에 대한 신호(의 면적)의 비율을 나타낸다. 예를 들면, 혼합비 α는, 센서(2)의 하나의 검출 소자의 검출 영역의 면적에 대한, 공간 방향 X 및 공간 방향 Y로 소정의 크기로 확대되는, 센서(2)의 하나의 검출 소자의 검출 영역에 입사된, 레벨 L의 신호의 면적의 비율을 나타낸다.

146)

이 경우에 있어서, 레벨 L, 레벨 R, 및 화소값 P의 관계는, 식(4)에서 나타낼 수가 있다.

α×L + (1 - α)×R = P …(4)

그리고, 레벨 R은, 주목하고 있는 화소의 우측에 위치하고 있는, 데이터(3)의 화소의 화소값으로 할 수 있는 경우가 있고, 레벨 L은, 주목하고 있는 화소의 좌측에 위치하고 있는, 데이터(3)의 화소값으로 할수 있는 경우가 있다.

또, 혼합비 α 및 혼합 영역은, 공간 방향과 마찬가지로, 시간 방향을 고려할 수 있다. 예를 들면, 센서(2)에 대하여 촬상의 대상이 되는 실세계(1)의 물체가 이동하고 있을 때, 시간 방향으로, 센서(2)의 하나의 검출 소자의 검출 영역에 입사되는, 2개의 물체에 대한 신호의 비율은 변화한다. 센서(2)의 하나의 검출 소자의 검출 영역에 입사된, 시간 방향으로 비율이 변화하는, 2개의 물체에 대한 신호는, 센서(2)의 검출 소자에 의하여, 데이터(3)의 하나의 값에 투영된다.

센서(2)의 시간 적분 효과에 의한, 2개의 물체에 대한 신호의 시간 방향의 혼합을 시간 혼합 이라고 한다.

데이터 정상성 검출부(101)는, 예를 들면, 실세계(1)에 있어서의 2개의 물체에 대한 실세계(1)의 신호가 투영된, 데이터(3)에 있어서의 화소의 영역을 검출한다. 데이터 정상성 검출부(101)는, 예를 들면, 실세계(1)의 화상의 에지의 기울기에 대응하는, 데이터(3)에 있어서의 기울기를 검출한다.

그리고, 실세계 추정부(102)는, 예를 들면, 데이터 정상성 검출부(101)에 의해 검출된, 소정의 혼합비 α를 가지는 화소의 영역, 및 영역의 기울기에 따라서, N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)의 관계를 나타내는, N개의 변수를 사용한 식을 세우고, 식을 풀어서, 실세계(1)의 신호를 추정한다.

또한, 구체적인 실세계(1)의 추정에 대하여 설명한다.

함수 F(x, y, z, t)로 표현되는 실세계의 신호 중, 공간 방향 Z의 단면(센서(2)의 위치)에 있어서의 함수 F(x, y, t)로 표현되는 실세계의 신호를, 공간 방향 X에 있어서의 위치 x, 공간 방향 Y에 있어서의 위치 y, 및 시각 t로 정해지는 근사 함수 f(x, y, t)로 근사하는 것을 생각한다.

여기서, 센서(2)의 검출 영역은, 공간 방향 X 및 공간 방향 Y로 확대된다. 환언하면, 근사 함수 f(x, y, t)는, 센서(2)에 의해 취득되는, 공간 방향 및 시간 방향으로 확대되는 실세계(1)의 신호를 근사하는 함수이다.

센서(2)에 의한 실세계(1)의 신호의 투영에 의하여, 데이터(3)의 값P(x, y, t)를 얻을 수 있다고 가정한다. 데이터(3)의 값P(x, y, t)는, 예를 들면, 이미지 센서인 센서(2)가 출력하는, 화소값이다.

여기서, 센서(2)에 의한 투영을 식으로 정할 수 있는 경우, 근사 함수 f(x, y, t)를 투영하여 얻어진 값을 투영 함수 S(x, y, t)로 나타낼 수가 있다.

투영 함수 S(x, y, t)를 구하기 위해서는, 이하와 같은 문제가 있다.

제 1에, 일반적으로, 실세계(1)의 신호를 나타내는 함수 F(x, y, z, t)는, 무한 차수의 함수가 될 수 있다.

제 2에, 비록, 실세계의 신호를 함수로서 기술할 수 있다하더라도, 센서(2)의 투영을 통한, 투영 함수 S(x, y, t)를 정하는 것은, 일반적으로는 할 수 없다. 즉, 센서(2)에 의한 투영 동작, 바꾸어 말하면 센서(2)의 입력 신호와 출력 신호의 관계를 모르기 때문에, 투영 함수 S(x, y, t)를 정할 수 없다.

제 1문제점에 대하여, 실세계(1)의 신호를 근사하는 함수 f(x, y, t)를 기술 가능한 함수(예를 들면, 유한 차수의 함수)인 함수 fi(x, y, t)와 변수 wi를 곱해서 더함으로써 표현하는 것을 생각한다.

또, 제 2문제점에 대하여, 센서(2)에 의한 투영을 정식화함으로써, 함수 fi(x, y, t)의 기술로부터, 함수 Si(x, y, t)를 기술할 수 있다.

즉, 실세계(1)의 신호를 근사하는 함수 f(x, y, t)를 함수 fi(x, y, t) 및 변수 wi의 곱하고 더해서 표현하면, 식(5)를 얻을 수 있다.

…(5)

예를 들면, 식(6)에서 나타낸 바와 같이, 센서(2)의 투영을 정식화함으로써, 식(5)로부터, 데이터(3)와 실세계의 신호의 관계를 식(7)과 같이 정식화할 수 있다.

…(6)

…(7)

식(7)에 있어서, j는, 데이터의 인덱스이다.

식(7)의 N개의 변수 w_i(i =1 내지 N)가 공통인 M개의 데이터 군(j =1 내지 M)이 존재하면, 식(8)을 만족시키므로, 데이터(3)로부터 실세계의 모델(161)을 구할 수 있다.

N ≤ M …(8)

N은, 실세계(1)를 근사하는 모델(161)을 표현하는 변수의 개수이다. M는, 데이터(3)에 포함되는 데이터(162)의 개수이다.

실세계(1)의 신호를 근사하는 함수 f(x, y, t)를 식(5)에서 나타냄으로써, w_i로서의 변수의 부분을 독립시킬 수 있다. 이 때, i는, 그대로 변수의 개수를 나타내게 된다. 또, f_i에서 나타내는 함수의 형태를 독립시킬 수 있어 f_i로서 원하는 함수를 이용할 수 있게 된다.

따라서, 함수 f_i의 형태에 의존하지 않고, 변수 w_i의 개수 N을 정의할 수 있고, 변수 w_i의 개수 N과 데이터의 개수 M의 관계에 의해 변수 w_i를 구할 수 있다.

즉, 이하의 3개를 사용함으로써, 데이터(3)로부터 실세계(1)를 추정할 수 있게 된다.

제 1에, N개의 변수를 정한다, 즉, 식(5)를 정한다. 이것은, 정상성을 사용하여 실세계(1)를 기술함으로써 가능하게 된다. 예를 들면, 단면이 다항식으로 표현되고, 같은 단면 형상이 일정 방향으로 계속되는, 모델(161)에 의해 실세계(1)의 신호를 기술할 수 있다.

제 2에, 예를 들면, 센서(2)에 의한 투영을 정식화하여, 식(7)을 기술한다. 예를 들면, 실세계(2)의 신호의 적분을 행한 결과가 데이터(3)인 것으로 정식화한다.

제 3에, M개의 데이터(162)를 모아서, 식(8)을 만족시킨다. 예를 들면, 데이터 정상성 검출부(101)에 의해 검출된, 데이터 정상성을 가지는 영역으로부터, 데이터(162)가 모아진다. 예를 들면, 정상성의 일례인, 일정한 단면이 계속되는 영역의 데이터(162)가 모아진다.

이와 같이, 식(5)에 의하여, 데이터(3)와 실세계(1)의 관계를 기술하고, M개의 데이터(162)를 모아서, 식(8)을 만족시킴으로써, 실세계(1)를 추정할 수 있다.

보다 구체적으로는, N = M 일 때, 변수의 개수 N과 식의 개수 M이 같으므로, 연립 방정식을 세위서, 변수 wi를 구할 수 있다.

또, N ＜ M 일 때, 다양한 해법을 적용할 수 있다. 예를 들면, 최소 자승법에 의하여, 변수 wi를 구할 수 있다.

여기서, 최소 자승법에 따르는 해법에 대하여, 상세하게 기재한다.

먼저, 식(7)에 따라, 실세계(1)로부터 데이터(3)를 예측하는 식(9)를 나타낸다.

…(9)

식(9)에 있어서, P'_j(x_j, y_j, t_j)는, 예측값이다.

예측값 P'와 실측값 P의 차분 제곱합 E는, 식(10)으로 나타된다.

…(10)

차분 제곱합 E가 최소가 되도록, 변수 w_i가 구해진다. 따라서, 각 변수 w_k에 의한 식(10)의 편미분값은 0이 된다. 즉, 식(11)이 성립된다.

…(11)

식(11)에 의해 식(12)가 도출된다.

…(12)

식(12)가 K = 1 내지 N에서 성립될 때, 최소 자승법에 따르는 해를 얻을 수 있다. 이 때의 정규 방정식은, 식(13)에서 나타낸다.

…(13)

단, 식(13)에 있어서, S_i(x_j, y_j, t_j)는, S_i(j)로 기술한다.

…(14)

…(15)

…(16)

식(14) 내지 식(16)으로부터, 식(13)은, S_MATW_MAT = P_MAT로 나타낼 수 있다.

식(13)에 있어서, S_i는, 실세계(1)의 투영을 나타낸다. 식(13)에 있어서, P_j는, 데이터(3)를 나타낸다. 식(13)에 있어서, w_i는, 실세계(1)의 신호의 특징을 기술하고, 구하려고 하는 변수이다.

따라서, 식(13)에 데이터(3)를 입력하고, 행렬 해법 등에 의해 W_MAT를 구함으로써, 실세계(1)를 추정할 수 있게 된다. 즉, 식(17)을 연산함으로써, 실세계(1)를 추정할 수 있게 된다.

W_MAT = S_MAT - 1P_MAT …(17)

그리고, S_MAT가 정칙이 아닌 경우, S_MAT의 전치 행렬을 이용하여, W_MAT를 구할 수 있다.

실세계 추정부(102)는, 예를 들면, 식(13)에 데이터(3)를 입력하고, 행렬 해법 등에 의해 WMAT를 구함으로써, 실세계(1)를 추정한다.

여기서, 더 구체적인 예를 설명한다. 예를 들면, 실세계(1)의 신호의 단면 형상, 즉 위치의 변화에 대한 레벨의 변합을, 다항식으로 기술한다. 실세계(1)의 신호의 단면 형상이 일정하고, 실세계(1)의 신호의 단면이 등속으로 이동한다고 가정한다. 그리고, 센서(2)에 의한 실세계(1)의 신호로부터 데이터(3)로의 투영을, 실세계(1)의 신호의 시공간 방향의 3차원으로 적분함으로써 정식화한다.

실세계(1)의 신호의 단면 형상이, 등속으로 이동한다는 가정으로부터, 식(18) 및 식(19)를 얻을 수 있다.

…(18)

…(19)

여기서, v_x 및 v_y는, 일정하다.

실세계(1)의 신호의 단면 형상은, 식(18) 및 식(19)을 사용함으로써, 식(20)으로 표현된다.

f(x', y')=f(x + v_xt, y + v_yt)…(20)

센서(2)에 의한 실세계(1)의 신호로부터 데이터(3)로의 투영을, 실세계(1)의 신호의 시공간 방향의 3차원으로 적분하여 정식화하면, 식(21)을 얻을 수 있다.

…(21)

식(21)에 있어서, S(x, y, t)는, 공간 방향 X에 대하여, 위치 x_s로부터 위치 x_e까지, 공간 방향 Y에 대하여, 위치 y_s로부터 위치 y_e까지, 시간 방향 t에 대하여, 시각 t_s로부터 시각 t_e까지의 영역, 즉 시공간의 직육면체로 표현되는 영역의 적분값을 나타낸다.

식(21)을 정할 수 있는 원하는 함수 f(x', y')를 사용하여, 식(13)을 풀면, 실세계(1)의 신호를 추정할 수 있다.

이하에서는, 함수 f(x', y')의 일례로서, 식(22)에 나타낸 함수를 사용하기로 한다

f(x', y') = w₁x' + w₂y' + w₃

=w₁(x + v_xt) + w₂(y + v_yt) + w₃…(22)

즉, 실세계(1)의 신호가, 식(18), 식(19), 및 식(22)로 표현되는 정상성을 포함한다고 가정하고 있다. 이것은, 도 26에 나타낸 바와 같이, 일정한 형상의 단면이, 시공간 방향으로 이동하고 있는 것을 나타낸다.

식(21)에, 식(22)을 대입함으로써, 식(23)을 얻을 수 있다.

…(23)

단,

Volume = (x_e-x_s)(y_e-y_s)(t_e-t_s)

S₀(x, y, t) = Volume/2 × (x_e + x_s + v_x(t_e + t_s))

S₁(x, y, t) = Volume/2 ×(x_e + y_s + v_y(t_e + t_s))

S₂(x, y, t) = 1

이다.

도 27은, 데이터(3)로부터 추출되는, M개의 데이터(162)의 예를 나타낸 도면이다. 예를 들면, 27개의 화소값이, 데이터(162)로서 추출되어, 추출된 화소값이, P_j(x, y, t)가 된다. 이 경우, j는, 0 내지 26이다.

도 27에 나타낸 예에 있어서, n인 시각 t의 주목하는 위치에 대응하는 화소의 화소값이 P₁₃(x, y, t)이며, 데이터 정상성을 가지는 화소의 화소값이 배열 방향(예를 들면, 데이터 정상성 검출부(101)에 의해 검출된, 같은 형상인 멈춤쇠 형상의 배열 방향)이, P₄(x, y, t), P13(x, y, t), 및 P₂₂(x, y, t)를 연결하는 방향일 때, n인 시각 t에 있어서의, 화소값 P₉(x, y, t) 내지 P₁₇(x, y, t), n보다 시간적으로 앞선, n-1인 시각 t에 있어서의, 화소값 P₀(x, y, t) 내지 P₈(x, y, t), 및 n보다 시간적으로 나중인, n+1인 시각 t에 있어서의, 화소값 P₁₈(x, y, t) 내지 P₂₆(x, y, t)이 추출된다.

여기서, 센서(2)인 이미지 센서로부터 출력된, 데이터(3)인 화소값이 취득된 영역은, 도 28에 나타낸 바와 같이, 시간 방향 및 2차원 공간 방향으로 확대된다. 그래서, 예를 들면, 도 29에서 나타낸 바와 같이, 화소에 대응하는 직육면체(화소값이 취득된 영역)의 중심을, 화소의 시공간 방향의 위치로서 사용할 수 있다. 도 29의 원형은, 중심을 나타낸다.

27개의 화소값 P₀(x, y, t) 내지 P₂₆(x, y, t), 및 식(23)으로부터, 식(13)을 생성하고, W를 구함으로써, 실세계(1)를 추정하는 것이 가능하게 된다.

이와 같이, 실세계 추정부(102)는, 예를 들면, 27의 화소값 P₀(x, y, t) 내지 P₂₆(x, y, t), 및 식(23)으로부터, 식(13)을 생성하고, W를 구함으로써, 실세계(1)의 신호를 추정한다.

그리고, 함수 f_i(x, y, t)로서 가우스 함수, 또는 시그모이드 함수(Sigmoid Function) 등을 이용할 수 있다.

도 30내지 도 34를 참조하여, 추정된 실세계(1)의 신호로부터, 데이터(3)에 대응하는, 보다 고해상도의 고해상도 데이터(181)를 생성하는 처리의 예에 대하여 설명한다.

도 30에 나타낸 바와 같이, 데이터(3)는, 시간 방향 및 2차원의 공간 방향으로 실세계(1)의 신호가 적분된 값을 가진다. 예를 들면, 센서(2)인 이미지 센서로부터 출력된, 데이터(3)인 화소값은, 검출 소자에 입사된 광인, 실세계(1)의 신호가, 시간 방향으로, 검출 시간인 셔터 시간으로 적분되어 공간 방향으로, 검출 소자의 수광 영역에서 적분된 값을 가진다.

이에 비해, 도 31에 나타낸 바와 같이, 공간 방향으로부터 해상도가 높은 고해상도 데이터(181)는, 추정된 실세계(1)의 신호를, 시간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 시간과 같은 시간으로 적분하는 동시에 공간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 소자의 수광 영역과 비교하여, 보다 좁은 영역에서 적분함으로써, 생성된다.

그리고, 공간 방향으로 보다 해상도가 높은 고해상도 데이터(181)를 생성하는 경우에 있어서, 추정된 실세계(1)의 신호가 적분되는 영역은, 데이터(3)를 출력한 센서(2)의 검출 소자의 수광 영역과 전혀 관계없이 설정할 수 있다. 예를 들면, 고해상도 데이터(181)에, 데이터(3)에 대하여, 공간 방향으로 정수배의 해상도를 갖게 하는 것은 물론, 5/3배 등, 데이터(3)에 대하여, 공간 방향으로 유리수배의 해상도를 갖게 할 수 있다.

또, 도 32에서 나타낸 바와 같이, 시간 방향으로 보다 해상도가 높은 고해상도 데이터(181)는, 추정된 실세계(1)의 신호를, 공간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 소자의 수광 영역과 같은 영역에서 적분하는 동시에 시간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 시간과 비교하여, 보다 짧은 시간에 적분함으로써, 생성된다.

그리고, 시간 방향으로 보다 해상도가 높은 고해상도 데이터(181)를 생성하는 경우에 있어서, 추정된 실세계(1)의 신호가 적분되는 시간은, 데이터(3)를 출력한 센서(2)의 검출 소자의 셔터 시간과 전혀 관계없이 설정할 수 있다. 예를 들면, 고해상도 데이터(181)에, 데이터(3)에 대하여, 시간 방향으로 정수배의 해상도를 갖게 하는 것은 물론, 7/4배 등, 데이터(3)에 대하여, 시간 방향으로 유리수배의 해상도를 갖게 할 수 있다.

도 33에 나타낸 바와 같이, 움직임의 흔들림을 제거한 고해상도 데이터(181)는, 추정된 실세계(1)의 신호를, 시간 방향으로 적분하지 않고, 공간 방향으로만 적분함으로써, 생성된다.

또한, 도 34에서 나타낸 바와 같이, 시간 방향 및 공간 방향으로 보다 해상도가 높은 고해상도 데이터(181)는, 추정된 실세계(1)의 신호를, 공간 방향으로, 데이터(3)을 출력한 센서(2)의 검출 소자의 수광 영역과 비교하여, 보다 좁은 영역에서 적분하는 동시에 시간 방향으로, 데이터(3)를 출력한 센서(2)의 검출 시간과 비교하여, 보다 짧은 시간에 적분함으로써, 생성된다.

이 경우에 있어서, 추정된 실세계(1)의 신호가 적분되는 영역 및 시간은, 데이터(3)를 출력한 센서(2)의 검출 소자의 수광 영역 및 셔터 시간과 전혀 관계없이 설정할 수 있다.

이와 같이, 화상 생성부(103)는, 예를 들면, 추정된 실세계(1)의 신호를 원하는 시공간의 영역에서 적분함으로써, 시간 방향, 또는 공간 방향으로, 보다 고해상도의 데이터를 생성한다.

이상과 같이, 실세계(1)의 신호를 추정함으로써, 실세계(1)의 신호에 대하여 보다 정확하며, 시간 방향, 또는 공간 방향으로, 보다 고해상도의 데이터를 생성할 수 있다.

도 35내지 도 39를 참조하여, 본 발명에 관한 신호 처리 장치(4)의, 입력 화상의 예와 처리의 결과의 예를 나타낸다.

도 35는, 입력 화상의 원래의 화상을 나타내는 도면이다. 도 36은, 입력 화상의 예를 나타낸 도면이다. 도 36에 나타낸 입력 화상은, 도 35에서 나타내는 화상의 2 x 2의 화소로 이루어지는 블록에 속하는 화소의 화소값의 평균값을, 1개의 화소의 화소값으로서 생성된 화상이다. 즉, 입력 화상은, 도 35에서 나타내는 화상에, 센서의 적분 특성을 모방한, 공간 방향의 적분을 적용함으로써 얻어진 화상이다.

도 35에서 나타내는 원래의 화상에 있어서, 상하 방향으로부터, 대략 5도 시계 방향으로 경사진 가는 선의 화상이 포함되어 있다. 마찬가지로, 도 36에 나타낸 입력 화상에 있어서, 상하 방향으로부터, 대략 5도 시계 방향으로 경사진 가는 선의 화상이 포함되어 있다.

도 37은, 도 36에 나타낸 입력 화상에, 종래의 클래스 분류 적응 처리를 적용하여 얻어진 화상을 나타낸 도면이다. 여기서, 클래스 분류 적응 처리는, 클래스 분류 처리와 적응 처리로 이루어지고, 클래스 분류 처리에 의하여, 데이터를, 그 성질에 따라서 클래스를 나누고, 각 클래스마다 적응 처리를 실시하는 것이다. 적응 처리에서는, 예를 들면, 저화질 또는 표준 화질의 화상이, 소정의 탭 계수를 사용하여 맵핑(사상)됨으로써, 고화질의 화상으로 변환된다.

도 37에 나타낸 화상에 있어서, 가는 선의 화상이, 도 35의 원래의 화상과는 상이하게 되어 있는 것을 알 수 있다.

도 38은, 데이터 정상성 검출부(101)에 의한, 도 36의 예에서 나타내는 입력 화상으로부터 가는 선의 영역을 검출한 결과를 나타낸 도면이다. 도 38에 있어서, 흰색 영역은, 가는 선의 영역, 즉, 도 14에서 나타내는 원호 형상이 배열되어 있는 영역을 나타낸다.

도 39는, 도 36에 나타낸 화상을 입력 화상으로서, 본 발명에 관한 신호 처리 장치(4)로부터 출력된 출력 화상의 예를 나타낸 도면이다. 도 39에서 나타낸 바와 같이, 본 발명에 관한 신호 처리 장치(4)에 의하면, 도 35에서 나타내는 원래의 화상의 가는 선의 화상에 보다 가까운 화상을 얻을 수 있다.

도 40은, 본 발명에 관한 신호 처리 장치(4)에 의한, 신호의 처리를 설명하는 흐름도이다.

스텝 S101에 있어서, 데이터 정상성 검출부(101)는, 정상성의 검출 처리를 실행한다. 데이터 정상성 검출부(101)는, 데이터(3)인 입력 화상에 포함되어 있는 데이터 정상성을 검출하여, 검출한 데이터 정상성을 나타내는 데이터 정상성 정보를 실세계 추정부(102) 및 화상 생성부(103)에 공급한다.

데이터 정상성 검출부(101)는, 현실 세계의 신호의 정상성에 대응하는 데이터 정상성을 검출한다. 스텝 S101의 처리에 있어서, 데이터 정상성 검출부(101)에 의해 검출되는 데이터 정상성은, 데이터(3)에 포함되는, 실세계(1)의 화상의 정상성의 일부, 또는 실세계(1)의 신호의 정상성으로부터 변화해 버린 정상성이다.

예를 들면, 데이터 정상성 검출부(101)는, 소정의 차원의 방향으로 일정한 특징을 가지는 영역을 검출함으로써, 데이터 정상성을 검출한다. 또, 예를 들면, 데이터 정상성 검출부(101)는, 동일한 형상의 배열 방법을 나타내는, 공간 방향의 각도(기울기)를 검출함으로써, 데이터 정상성을 검출한다.

스텝 S101에 있어서의, 정상성 검출 처리의 자세한 것에 대해서는, 후술한다. 그리고, 데이터 정상성 정보는, 데이터(3)의 특징을 나타낸 특징량으로서 이용할 수 있다.

스텝 S102에 있어서, 실세계 추정부(102)는, 실세계의 추정 처리를 실행한다. 즉, 실세계 추정부(102)는, 입력 화상, 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보에 따라서, 실세계(1)의 신호를 추정한다. 예를 들면, 스텝 S102의 처리에 있어서, 실세계 추정부(102)는, 실세계(1)를 근사(기술)하는 모델(161)을 예측함으로써, 실세계(1)의 신호를 추정한다. 실세계 추정부(102)는, 추정된 실세계(1)의 신호를 나타내는 실세계 추정 정보를 화상 생성부(103)에 공급한다.

예를 들면, 실세계 추정부(102)는, 선형의 물체의 폭을 예측함으로써, 실세계(1)의 신호를 추정한다. 또, 예를 들면, 실세계 추정부(102)는, 선형의 물체의 색을 나타낸 레벨을 예측함으로써, 실세계(1)의 신호를 추정한다.

스텝 S102에 있어서의, 실세계 추정 처리의 자세한 것에 대해서는, 후술한다.

그리고, 실세계 추정 정보는, 데이터(3)의 특징을 나타낸 특징량으로서 이용할 수 있다.

스텝 S103에 있어서, 화상 생성부(103)는, 화상 생성 처리를 실행하고, 종료한다. 즉, 화상 생성부(103)는, 실세계 추정 정보에 따라서, 화상을 생성하여, 생성한 화상을 출력한다. 또는, 화상 생성부(103)는, 데이터 정상성 정보 및 실세계 추정 정보에 따라서, 화상을 생성하여, 생성한 화상을 출력한다.

예를 들면, 스텝 S103의 처리에 있어서, 화상 생성부(103)은, 실세계 추정 정보에 따라서, 생성된 현실 세계의 광신호를 근사하는 함수를 공간 방향으로 적분함으로써, 입력 화상과 비교하여, 공간 방향으로부터 고해상도의 화상을 생성하여, 생성한 화상을 출력한다. 예를 들면, 화상 생성부(103)는, 실세계 추정 정보에 따라서, 생성된 현실 세계의 광신호를 근사하는 함수를 시공간 방향으로 적분함으로써, 입력 화상과 비교하여, 시간 방향 및 공간 방향으로 보다 고해상도의 화상을 생성하여, 생성한 화상을 출력한다. 스텝 S103에 있어서의, 화상의 생성의 처리의 자세한 것에 대해서는, 후술한다.

이와 같이, 본 발명에 관한 신호 처리 장치(4)는, 데이터(3)로부터 데이터 정상성을 검출하고, 검출한 데이터 정상성에 따라서, 실세계(1)를 추정한다. 그리고, 신호 처리 장치(4)는, 추정된 실세계(1)에 따라서, 보다 실세계(1)에 근사한 신호를 생성한다.

이상과 같이, 현실 세계의 신호를 추정하여 처리를 실행하도록 한 경우에는, 정확하고, 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

또, 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되어 현실 세계의 신호의 정상성의 일부가 결락된 제1 차원보다 적은 제2 차원의 제2 신호의, 결락된 현실 세계의 신호의 정상성에 대응하는 데이터 정상성을 검출하고, 검출된 데이터 정상성에 따라, 결락된 현실 세계의 신호의 정상성을 추정함으로써 제1 신호를 추정하도록 한 경우에는, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

다음에, 데이터 정상성 검출부(101)의 구성을 상세하게 설명한다.

도 41은, 데이터 정상성 검출부(101)의 구성을 나타낸 블록도이다.

도 41에 구성을 나타낸 데이터 정상성 검출부(101)는, 가는 선인 대상물을 촬상했을 때, 대상물이 가지는 단면 형상이 동일하다는 정상성으로부터 생긴, 데이터(3)에 포함되는 데이터 정상성을 검출한다. 즉, 도 41에 구성을 나타낸 데이터 정상성 검출부(101)는, 가는 선인 실세계(1)의 화상이 가지는, 길이 방향의 임의의 위치에 있어서, 길이 방향으로 직교하는 방향의 위치의 변화에 대한 광의 레벨의 변화가 동일하다는 정상성으로부터 생긴, 데이터(3)에 포함되는 데이터 정상성을 검출한다.

보다 구체적으로는, 도 41에 구성을 나타낸 데이터 정상성 검출부(101)는, 가는 선의 화상을 공간 적분 효과를 가지는 센서(2)로 촬상하여 얻어진 데이터(3)에 포함되는, 경사지게 어긋나게 인접하여 배열된, 복수개의 소정의 길이의 원호 형상(어묵형)이 배치되는 영역을 검출한다.

데이터 정상성 검출부(101)는, 데이터(3)인 입력 화상으로부터, 데이터 정상성을 가지는 가는 선의 화상이 투영된 화상 데이터의 부분(이하, 정상 성분이라고도 함) 이외의 화상 데이터의 부분(이하, 비정상 성분이라 함)을 추출하고, 추출된 비정상 성분과 입력 화상으로부터, 실세계(1)의 가는 선의 화상이 투영된 화소를 검출하고, 입력 화상에 있어서의, 실세계(1)의 가는 선의 화상이 투영된 화소로 이루어지는 영역을 검출한다.

비정상 성분 추출부(201)는, 입력 화상으로부터 비정상 성분을 추출하여, 입력 화상과 함께, 추출된 비정상 성분을 나타낸 비정상 성분 정보를 정점 검출부(202) 및 단조 증감 검출부(203)에 공급한다.

예를 들면, 도 42에서 나타낸 바와 같이, 대략 일정한 광의 레벨의 배경의 앞에 가는 선이 있는 실세계(1)의 화상이 데이터(3)에 투영 되었을 때, 도 43에 나타낸 바와 같이, 비정상 성분 추출부(201)는, 데이터(3)인 입력 화상에 있어서의 배경을 평면에서 근사함으로써, 배경인 비정상 성분을 추출한다. 도 43에 있어서, 실선은, 데이터(3)의 화소값을 나타내고, 점선은, 배경을 근사하는 평면에서 나타내는 근사치를 나타낸다. 도 43에 있어서, A는, 가는 선의 화상이 투영된 화소의 화소값을 나타내고, PL은, 배경을 근사하는 평면을 나타낸다.

이와 같이, 데이터 정상성을 가지는 화상 데이터의 부분에 있어서의, 복수개의 화소의 화소값은, 비정상 성분에 대하여 불연속이 된다.

비정상 성분 추출부(201)는, 실세계(1)의 광신호인 화상이 투영되어 실세계(1)의 화상의 정상성의 일부가 결락된, 데이터(3)인 화상 데이터의 복수개의 화소의 화소값의 불연속부를 검출한다.

비정상 성분 추출부(201)에 있어서의 비정상 성분의 추출의 처리의 자세한 것에 대해서는, 후술한다.

정점 검출부(202) 및 단조 증감 검출부(203)는, 비정상 성분 추출부(201)로부터 공급된 비정상 성분 정보에 따라서, 입력 화상으로부터 비정상 성분을 제거한다. 예를 들면, 정점 검출부(202) 및 단조 증감 검출부(203)는, 입력 화상의 각 화소 중, 배경의 화상 만이 투영된 화소의 화소값을 0(제로)로 설정함으로써, 입력 화상으로부터 비정상 성분을 제거한다. 또, 예를 들면, 정점 검출부(202) 및 단조 증감 검출부(203)는, 입력 화상의 각 화소의 화소값으로부터, 평면 PL로 근사되는 값을 뺌으로써, 입력 화상으로부터 비정상 성분을 제거한다.

입력 화상으로부터 배경을 제거할 수 있으므로, 정점 검출부(202) 내지 연속성 검출부(204)는, 가는 선이 투영된 화상 데이터의 부분만을 처리의 대상으로 할 수 있어서 정점 검출부(202) 내지 연속성 검출부(204)에 있어서의 처리가 보다 용이하게 된다.

그리고, 비정상 성분 추출부(201)는, 입력 화상으로부터 비정상 성분을 제거하고 화상 데이터를 정점 검출부(202) 및 단조 증감 검출부(203)에 공급할 수도 있다.

이하에 설명하는 처리의 예에 있어서, 입력 화상으로부터 비정상 성분이 제거된 화상 데이터, 즉, 정상 성분을 포함하는 화소만으로 이루어지는 화상 데이터가 대상이 된다.

여기서, 정점 검출부(202) 내지 연속성 검출부(204)가 검출하려고 하는, 가는 선의 화상이 투영된 화상 데이터에 대하여 설명한다.

도 42에서 나타내는 가는 선의 화상이 투영된 화상 데이터의 공간 방향 Y의 단면 형상(공간 방향의 위치의 변화에 대한 화소값의 변화)은, 광학 LPF가 없는 것으로 한 경우, 센서(2)인 이미지 센서의 공간 적분 효과에 의해, 도 44에 나타낸 사다리꼴, 또는 도 45에 나타낸 삼각형이 되는 것을 생각할 수 있다. 그러나, 통상의 이미지 센서는, 광학 LPF를 구비하고, 이미지 센서는, 광학 LPF를 통과한 화상을 취득하고, 취득한 화상을 데이터(3)에 투영 하므로, 현실적으로는, 가는 선의 화상 데이터의 공간 방향 Y의 단면 형상은, 도 46에 나타낸 바와 같은 가우스 분포에 유사한 형상이 된다.

정점 검출부(202) 내지 연속성 검출부(204)는, 가는 선의 화상이 투영된 화소로서, 동일한 단면 형상(공간 방향의 위치의 변화에 대한 화소값의 변화)이 화면의 상하 방향으로 일정한 간격으로 배열되어 이루어지는 영역을 검출하고, 또한 실세계(1)의 가는 선의 길이 방향에 대응한, 영역의 연결을 검출함으로써, 데이터 정상성을 가지는 영역인, 가는 선의 화상이 투영된 화소로 이루어지는 영역을 검출한다. 즉, 정점 검출부(202) 내지 연속성 검출부(204)는, 입력 화상에 있어서의, 세로로 1열의 화소 위에, 원호 형상(어묵형)이 형성되는 영역을 검출하고, 검출된 영역이 가로 방향에 인접하여 배열되어 있는지 여부를 판정하여, 실세계(1)의 신호인 가는 선의 화상의 길이 방향에 대응한, 원호 형상이 형성되는 영역의 연결을 검출한다.

또, 정점 검출부(202) 내지 연속성 검출부(204)는, 가는 선의 화상이 투영된 화소로서, 동일한 단면 형상이 화면의 좌우방향으로 일정한 간격으로 배열되어 이루어지는 영역을 검출하고, 또한 실세계(1)의 가는 선의 길이 방향에 대응한, 검출된 영역의 연결을 검출함으로써, 데이터 정상성을 가지는 영역인, 가는 선의 화상이 투영된 화소로 이루어지는 영역을 검출한다. 즉, 정점 검출부(202) 내지 연속성 검출부(204)는, 입력 화상에 있어서의, 가로로 1열의 화소 위에, 원호 형상이 형성되는 영역을 검출하고, 검출된 영역이 세로 방향에 인접하여 배열되어 있는지 여부를 판정하고, 실세계(1)의 신호인 가는 선의 화상의 길이 방향에 대응한, 원호 형상이 형성되는 영역의 연결을 검출한다.

먼저, 가는 선의 화상이 투영된 화소로서, 화면의 상하 방향으로 동일한 원호 형상이 일정한 간격으로 배열되어 이루어지는 영역을 검출하는 처리를 설명한다.

정점 검출부(202)는, 주위의 화소와 비교하여, 보다 큰 화소값을 가지는 화소, 즉 정점을 검출하고, 정점의 위치를 나타내는 정점 정보를 단조 증감 검출부(203)에 공급한다. 화면의 상하 방향으로 1열로 배열된 화소를 대상으로 한 경우, 정점 검출부(202)는, 화면의 상측에 위치하는 화소의 화소값, 및 화면의 하측에 위치하는 화소의 화소값과 비교하여, 보다 큰 화소값을 가지는 화소를 정점으로서 검출한다. 정점 검출부(202)는, 1개의 화상, 예를 들면, 1개의 프레임의 화상으로부터, 하나 또는 복수개의 정점을 검출한다.

1개의 화면에는, 프레임 또는 필드가 포함된다. 이하의 설명에 있어서, 마찬가지이다.

예를 들면, 정점 검출부(202)는, 1프레임의 화상으로부터 아직 주목 화소가 되지 않은 화소 중 주목 화소를 선택하고, 주목 화소의 화소값과, 주목 화소의 상측의 화소의 화소값을 비교하고, 주목 화소의 화소값과 주목 화소의 하측의 화소의 화소값을 비교하여, 상측의 화소의 화소값보다 큰 화소값을 가지고, 하측의 화소의 화소값보다 큰 화소값을 가지는 주목 화소를 검출하여, 검출된 주목 화소를 정점으로 한다. 정점 검출부(202)는, 검출된 정점을 나타낸 정점 정보를 단조 증감 검출부(203)에 공급한다.

정점 검출부(202)가, 정점을 검출하지 않는 경우도 있다. 예를 들면, 1개의 화상의 화소의 화소값이 모두 같은 값 일 때, 또는 하나 또는 두 방향에 대하여 화소값이 감소하고 있을 때, 정점은 검출되지 않는다. 이 경우, 가는 선의 화상은, 화상 데이터에 투영되고 있지 않다.

단조 증감 검출부(203)는, 정점 검출부(202)로부터 공급된, 정점의 위치를 나타내는 정점 정보에 따라서, 정점 검출부(202)에 의해 검출된 정상점에 대하여 상하 방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보를 검출하고, 정점 정보와 함께, 검출한 영역을 나타낸 영역 정보를 연속성 검출부(204)에 공급한다.

보다 구체적으로는, 단조 증감 검출부(203)는, 정점의 화소값을 기준으로 하여, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역을, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다. 단조 감소란, 정점으로부터의 거리가 보다 긴 화소의 화소값이, 정점으로부터의 거리가 짧은 화소의 화소값과 비교하여, 보다 작은 것을 말한다.

또, 단조 증감 검출부(203)는, 정점의 화소값을 기준으로 하여, 단조 증가하고 있는 화소값을 가지는 화소로 이루어지는 영역을, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다. 단조 증가란, 정점으로부터의 거리가 보다 긴 화소의 화소값이, 정점으로부터의 거리가 짧은 화소의 화소값과 비교하여, 보다 큰 것을 말한다.

이하, 단조 증가하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리는, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리와 동일하므로, 그 설명은 생략한다. 가는 선의 화상이 투영된 화소로서, 화면의 가로 방향에 동일한 원호 형상이 일정한 간격으로 배열되어 이루어지는 영역을 검출하는 처리에 있어서의, 단조 증가하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리도, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리와 동일하므로, 그 설명은 생략한다.

예를 들면, 단조 증감 검출부(203)는, 정상점에 대하여 세로로 1열로 각 화소에 대하여, 각 화소의 화소값과 상측의 화소의 화소값과의 차분, 및 하측의 화소의 화소값과의 차분을 구한다. 그리고, 단조 증감 검출부(203)은, 차분의 부호가 변화하는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역을 검출한다.

또한, 단조 증감 검출부(203)는, 화소값이 단조 감소하고 있는 영역으로부터, 정점의 화소값의 부호를 기준으로 하여, 정점의 화소값의 부호와 동일한 부호의 화소값을 가지는 화소로 이루어지는 영역을, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다.

예를 들면, 단조 증감 검출부(203)는, 각 화소의 화소값의 부호와 상측의 화소의 화소값의 부호 및 하측의 화소의 화소값의 부호를 비교하고, 화소값의 부호가 변화하는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역으로부터, 정점과 동일한 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

이와 같이, 단조 증감 검출부(203)는, 상하 방향으로 배열되어, 정점에 대하여 화소값이 단조 감소하고, 정점과 동일한 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

도 47은, 공간 방향 Y의 위치에 대하는 화소값으로부터, 가는 선의 화상이 투영된 화소의 영역을 검출하는, 정점의 검출 및 단조 증감 영역의 검출의 처리를 설명하는 도면이다.

도 47 내지 도 49에 있어서, P는, 정점을 나타낸다. 도 41에서 구성이 나타내는 데이터 정상성 검출부(101)의 설명에 있어서, P는, 정점을 나타낸다.

정점 검출부(202)는, 각 화소의 화소값과 이것에 공간 방향 Y에 인접하는 화소의 화소값을 비교하여, 공간 방향 Y에 인접하는 2개의 화소의 화소값보다 큰 화소값을 가지는 화소를 검출함으로써, 정점 P를 검출한다.

정점 P와 정점 P의 공간 방향 Y의 양쪽의 화소로 이루어지는 영역은, 정점 P의 화소값에 대하여, 공간 방향 Y의 양쪽의 화소의 화소값이 단조 감소하는 단조 감소 영역이다. 도 47에 있어서, A에서 나타낸 화살표, 및 B에서 나타낸 화살표는, 정점 P의 양측에 존재하는 단조 감소 영역을 나타낸다.

단조 증감 검출부(203)는, 각 화소의 화소값과 그 화소에 공간 방향 Y에 인접하는 화소의 화소값의 차분을 구하여, 차분의 부호가 변화하는 화소를 검출한다. 단조 증감 검출부(203)는, 검출된, 차분의 부호가 변화하는 화소와, 그 바로 앞쪽(정점 P측)의 화소의 경계를, 가는 선의 화상이 투영된 화소로 이루어지는 가는 선 영역의 경계로 한다.

도 47에 있어서, 차분의 부호가 변화하는 화소와, 그 바로 앞쪽(정점 P측)의 화소의 경계인 가는 선 영역의 경계는 C에서 나타낸다.

또한, 단조 증감 검출부(203)는, 단조 감소 영역에 있어서, 각 화소의 화소값의 부호와 그 화소에 공간 방향 Y에 인접하는 화소의 화소값의 부호를 비교하여, 화소값의 부호가 변화하는 화소를 검출한다. 단조 증감 검출부(203)는, 검출된, 화소값의 부호가 변화하는 화소와, 그 바로 앞쪽(정점 P측)의 화소의 경계를 가는 선 영역의 경계로 한다.

도 47에 있어서, 화소값의 부호가 변화하는 화소와, 그 바로 앞쪽(정점 P측)의 화소의 경계인 가는 선 영역의 경계는 D에서 나타낸다.

도 47에 나타낸 바와 같이, 가는 선의 화상이 투영된 화소로 이루어지는 가는 선 영역 F는, 가는 선 영역의 경계 C와 가는 선 영역의 경계 D에 의해 협지되는 영역이 된다.

단조 증감 검출부(203)는, 이와 같은 단조 증감 영역으로 이루어지는 가는 선 영역 F 중, 미리 정한 임계값보다 긴 가는 선 영역 F, 즉, 임계값보다 많은 개수의 화소를 포함하는 가는 선 영역 F를 구한다. 예를 들면, 임계값이 3일 때, 단조 증감 검출부(203)는, 4개 이상의 화소를 포함하는 가는 선 영역 F를 검출한다.

또한, 이와 같이 검출된 가는 선 영역 F 중, 단조 증감 검출부(203)는, 정점 P의 화소값, 및 정점 P의 우측의 화소의 화소값, 및 정점 P의 좌측의 화소의 화소값을, 각각 임계값과 비교하여, 정점 P의 화소값이 임계값을 넘어 정점 P의 우측의 화소의 화소값이 임계값 이하며, 정점 P의 좌측의 화소의 화소값이 임계값 이하인 정점 P가 속하는 가는 선 영역 F를 검출하고, 검출된 가는 선 영역 F를 가는 선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보로 한다.

바꾸어 말하면, 정점 P의 화소값이 임계값 이하이거나, 정점 P의 우측의 화소의 화소값이 임계값을 초과하거나, 또는 정점 P의 좌측의 화소의 화소값이 임계값을 초과하는 정점 P가 속하는 가는 선 영역 F는, 가는 선의 화상의 성분을 포함하지 않는 것으로 판정되고, 가는 선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보로부터 제거된다.

즉, 도 48에 나타낸 바와 같이, 단조 증감 검출부(203)는, 정점 P의 화소값을 임계값과 비교하는 동시에, 정점 P에 대하여, 공간 방향 X(점선 AA'에서 나타낸 방향)에 인접하는 화소의 화소값을, 임계값과 비교하여, 정점 P의 화소값이 임계값을 넘고, 공간 방향 X에 인접하는 화소의 화소값이 임계값 이하인, 정점 P가 속하는 가는 선 영역 F를 검출한다.

도 49는, 도 48의 점선 AA'에서 나타낸 공간 방향 X에 배열된 화소의 화소값을 나타낸 도면이다. 정점 P의 화소값이 임계값 ThS를 넘고, 정점 P의 공간 방향 X에 인접하는 화소의 화소값이, 임계값 ThS 이하인, 정점 P가 속하는 가는 선 영역 F는, 가는 선의 성분을 포함한다.

그리고, 단조 증감 검출부(203)는, 배경의 화소값을 기준으로 하여, 정점 P의 화소값과 배경의 화소값의 차분을 임계값과 비교하는 동시에, 정점 P에 대하여, 공간 방향 X에 인접하는 화소의 화소값과 배경의 화소값의 차분을, 임계값과 비교하여, 정점 P의 화소값과 배경의 화소값의 차분이 임계값을 넘어 공간 방향 X에 인접하는 화소의 화소값과 배경의 화소값의 차분이 임계값 이하인, 정점 P가 속하는 가는 선 영역 F를 검출할 수도 있다.

단조 증감 검출부(203)는, 정점 P를 기준으로 하여, 화소값이 단조 감소하고, 화소값의 부호가 정점 P와 동일한 화소로 이루어지는 영역으로서, 그 정점 P가 임계값을 넘고, 정점 P의 우측의 화소의 화소값이 임계값 이하이며, 정점 P의 좌측의 화소의 화소값이 임계값 이하인 것을 나타내는 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

287)

화면의 상하 방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역을 검출하는 경우에 있어서, 단조 증감 영역 정보에 의해 나타내는 영역에 속하는 화소는, 상하 방향으로 배열되어, 가는 선의 화상이 투영된 화소를 포함한다. 즉, 단조 증감 영역 정보에 의해 나타내는 영역은, 화면의 상하 방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역을 포함한다.

이와 같이, 정점 검출부(202) 및 단조 증감 검출부(203)는, 가는 선의 화상이 투영된 화소에 있어서, 공간 방향 Y의 화소값의 변화가, 가우스 분포와 유사한 성질을 이용하여, 가는 선의 화상이 투영된 화소로 이루어지는 정상 영역을 검출한다.

연속성 검출부(204)는, 단조 증감 검출부(203)로부터 공급된 단조 증감 영역 정보에서 나타내는, 상하 방향으로 배열된 화소로 이루어지는 영역 중, 가로 방향에 인접하고 있는 화소를 포함하는 영역, 즉, 서로 닮은 화소값의 변합을 가지고, 세로 방향으로 중복되어 있는 영역을, 연속되어 있는 영역으로서 검출하고, 정점 정보, 및 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다. 데이터 정상성 정보는, 단조 증감 영역 정보, 및 영역의 연결을 나타내는 정보 등을 포함하고 있다.

가는 선이 투영된 화소에 있어서, 원호 형상이 인접하도록 일정한 간격으로 배열되므로, 검출된 연속되어 있는 영역은, 가는 선이 투영된 화소를 포함하고 있다.

검출된 연속되어 있는 영역이, 가는 선이 투영된, 원호 형상이 인접하도록 일정한 간격으로 배열되는 화소를 포함하므로, 검출된 연속되어 있는 영역을 정상 영역으로 하고, 연속성 검출부(204)는, 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다.

즉, 연속성 검출부(204)는, 길이 방향으로 연속한다는, 실세계(1)의 가는 선의 화상의 정상성으로부터 생긴, 가는 선을 촬상하여 얻어진 데이터(3)에 있어서의, 원호 형상이 인접하도록 일정한 간격으로 배열되는 정상성을 이용하여, 정점 검출부(202) 및 단조 증감 검출부(203)에 있어서 검출된 영역의 후보를 또한 좁혀간다.

도 50은, 단조 증감 영역의 연속성을 검출의 처리를 설명하는 도면이다.

도 50에 나타낸 바와 같이, 연속성 검출부(204)는, 화면의 세로 방향으로 1열로 배열된 화소로 이루어지는 가는 선 영역 F에 대하여, 가로 방향에 인접하는 화소를 포함하고 있을 때, 2개의 단조 증감 영역의 사이에 연속성이 있다고 하고, 가로 방향에 인접하는 화소를 포함하지 않은 때, 2개의 가는 선 영역 F 사이에 연속성이 없다고 한다. 예를 들면, 화면의 세로 방향으로 1열로 배열된 화소로 이루어지는 가는 선 영역 F_-1은, 화면의 세로 방향으로 1열로 배열된 화소로 이루어지는 가는 선 영역 F₀의 화소와 가로 방향에 인접하는 화소를 포함하고 있을 때, 가는 선 영역 F0와 연속되어 있다. 화면의 세로 방향으로 1열로 배열된 화소로 이루어지는 가는 선 영역 F0는, 화면의 세로 방향으로 1열로 배열된 화소로 이루어지는 가는 선 영역 F₁의 화소와, 가로 방향으로 인접하는 화소를 포함하고 있을 때, 가는 선 영역 F1과 연속되어 있게 된다.

이와 같이, 정점 검출부(202) 내지 연속성 검출부(204)에 의하여, 화면의 상하 방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역이 검출된다.

정점 검출부(202) 내지 연속성 검출부(204)는, 전술한 바와 같이, 화면의 상하 방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역을 검출하고, 또한 화면의 좌우방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역을 검출한다.

그리고, 처리의 순서는, 본 발명을 한정하는 것이 아니고, 병렬로 실행해도 되는 것은 당연하다.

즉, 정점 검출부(202)는, 화면의 좌우 방향으로 1열로 배열된 화소를 대상으로 하여, 화면의 좌측에 위치하는 화소의 화소값, 및 화면의 우측에 위치하는 화소의 화소값과 비교하여, 보다 큰 화소값을 가지는 화소를 정점으로서 검출하고, 검출한 정점의 위치를 나타내는 정점 정보를 단조 증감 검출부(203)에 공급한다. 정점 검출부(202)는, 1개의 화상, 예를 들면, 1프레임의 화상으로부터, 하나 또는 복수개의 정점을 검출한다.

예를 들면, 정점 검출부(202)는, 1프레임의 화상으로부터 아직 주목 화소가 되어 있지 않은 화소 중 주목 화소를 선택하고, 주목 화소의 화소값과 주목 화소의 좌측의 화소의 화소값을 비교하고, 주목 화소의 화소값과 주목 화소의 우측의 화소의 화소값을 비교하여, 좌측의 화소의 화소값보다 큰 화소값을 가지고, 우측의 화소의 화소값보다 큰 화소값을 가지는 주목 화소를 검출하여, 검출된 주목 화소를 정점으로 한다. 정점 검출부(202)는, 검출된 정점을 나타낸 정점 정보를 단조 증감 검출부(203)에 공급한다.

정점 검출부(202)가, 정점을 검출하지 않는 경우도 있다.

단조 증감 검출부(203)는, 정점 검출부(202)에서 검출된 정상점에 대하여 좌우 방향으로 1열로 배열된 화소로서, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보를 검출하고, 정점 정보와 함께, 검출한 영역을 나타낸 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

보다 구체적으로는, 단조 증감 검출부(203)는, 정점의 화소값을 기준으로 하여, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역을, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다.

예를 들면, 단조 증감 검출부(203)는, 정점에 대하여 가로로 1열의 각 화소에 대하여, 각 화소의 화소값과 좌측 화소의 화소값과의 차분, 및 우측 화소의 화소값과의 차분을 구한다. 그리고, 단조 증감 검출부(203)는, 차분의 부호가 변화하는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역을 검출한다.

또한, 단조 증감 검출부(203)는, 화소값이 단조 감소하고 있는 영역으로부터, 정점의 화소값의 부호를 기준으로 하여, 정점의 화소값의 부호와 동일한 부호의 화소값을 가지는 화소로 이루어지는 영역을, 가는 선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다.

예를 들면, 단조 증감 검출부(203)는, 각 화소의 화소값의 부호와 좌측 화소의 화소값의 부호 또는 우측 화소의 화소값의 부호를 비교하고, 화소값의 부호가 변화하는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역으로부터, 정점과 동일한 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

이와 같이, 단조 증감 검출부(203)는, 좌우방향으로 배열되어, 정점에 대하여 화소값이 단조 감소하고, 정점과 동일한 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는, 이와 같은 단조 증감 영역으로 이루어지는 가는 선 영역 중, 미리 정한 임계값보다 긴 가는 선 영역, 즉, 임계값보다 많은 개수의 화소를 포함하는 가는 선 영역을 구한다.

또한, 이와 같이 검출된 가는 선 영역 중, 단조 증감 검출부(203)는, 정점의 화소값, 및 정점의 상측 화소의 화소값, 및 정점의 하측 화소의 화소값을, 각각 임계값과 비교하여, 정점의 화소값이 임계값을 넘어 정점의 상측 화소의 화소값이 임계값 이하이고, 정점의 하측 화소의 화소값이 임계값 이하인 정점이 속하는 가는 선 영역을 검출하고, 검출된 가는 선 영역을 가는 선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보로 한다.

바꾸어 말하면, 정점의 화소값이 임계값 이하이거나, 정점의 상측 화소의 화소값이 임계값을 초과하거나, 또는 정점의 하측 화소의 화소값이 임계값을 초과하는 정점이 속하는 가는 선 영역은, 가는 선의 화상의 성분을 포함하지 않는다고 판정되어, 가는 선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보로부터 제거된다.

그리고, 단조 증감 검출부(203)는, 배경의 화소값을 기준으로 하여, 정점의 화소값과 배경의 화소값의 차분을 임계값과 비교하는 동시에, 정점에 대하여, 상하 방향으로 인접하는 화소의 화소값과 배경의 화소값의 차분을, 임계값과 비교하여, 정점의 화소값과 배경의 화소값의 차분이 임계값을 넘어 상하 방향으로 인접하는 화소의 화소값과 배경의 화소값과의 차분이 임계값 이하인, 검출된 가는 선 영역을 가는 선의 화상의 성분을 포함하는 화소로 이루어지는 영역의 후보으로 할 수도 있다.

단조 증감 검출부(203)는, 정점을 기준으로 하여, 화소값이 단조 감소하고, 화소값의 부호가 정점과 동일한 화소로 이루어지는 영역으로서, 그 정점이 임계값을 초과하여 정점의 우측 화소의 화소값이 임계값 이하이며, 정점의 좌측 화소의 화소값이 임계값 이하인 것을 나타낸 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

화면의 좌우방향으로 1열로 배열되는 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역을 검출하는 경우에 있어서, 단조 증감 영역 정보에 의해 나타내는 영역에 속하는 화소는, 좌우방향으로 배열되어, 가는 선의 화상이 투영된 화소를 포함한다. 즉, 단조 증감 영역 정보에 의해 나타내는 영역은, 화면의 좌우방향으로 배열된 1열의 화소로서, 가는 선의 화상이 투영된 것으로 이루어지는 영역을 포함한다.

연속성 검출부(204)는, 단조 증감 검출부(203)으로부터 공급된 단조 증감 영역 정보에 의해 나타내는, 좌우방향으로 배열되는 화소로 이루어지는 영역 중, 세로 방향으로 인접하고 있는 화소를 포함하는 영역, 즉, 서로 닮은 화소값의 변합을 가지고, 가로 방향으로 중복되어 있는 영역을, 연속되어 있는 영역으로서 검출하고, 정점 정보, 및 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다. 데이터 정상성 정보는, 영역의 연결을 나타내는 정보를 포함하고 있다.

가는 선이 투영된 화소에 있어서, 원호 형상이 인접하도록 일정한 간격으로 배열되므로, 검출된 연속되어 있는 영역은, 가는 선이 투영된 화소를 포함하고 있다.

검출된 연속되어 있는 영역이, 가는 선이 투영된, 원호형상이 인접하도록 일정한 간격으로 배열되는 화소를 포함하므로, 검출된 연속되어 있는 영역을 정상 영역으로 하고, 연속성 검출부(204)는, 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다.

즉, 연속성 검출부(204)는, 길이 방향으로 연속한다고 하는, 실세계(1)의 가는 선의 화상의 정상성으로부터 생긴, 가는 선을 촬상하여 얻어진 데이터(3)에 있어서의, 원호 형상이 인접하도록 일정한 간격으로 배열되는 정상성을 이용하여, 정점 검출부(202) 및 단조 증감 검출부(203)에 있어서 검출된 영역의 후보를 더 좁힌다.

도 51은, 평면에서의 근사에 의해 정상 성분을 추출한 화상의 예를 나타낸 도면이다. 도 52는, 도 51에 나타낸 화상으로부터 정점을 검출하고, 단조 감소하고 있는 영역을 검출한 결과를 나타낸 도면이다. 도 52에 있어서, 흰색으에서 나타낸 부분이, 검출된 영역이다.

도 53은, 도 52에 나타낸 화상으로부터, 인접하고 있는 영역의 연속성을 검출하여, 연속성이 검출된 영역을 나타낸 도면이다. 도 53에 있어서, 흰색으에서 나타낸 부분이, 연속성이 검출된 영역이다. 연속성의 검출에 의하여, 영역이 또한 특정되어 있는 것을 알 수 있다.

도 54는, 도 53에 나타낸 영역의 화소값, 즉, 연속성이 검출된 영역의 화소값을 나타낸 도면이다.

이와 같이, 데이터 정상성 검출부(101)는, 입력 화상인 데이터(3)에 포함되어 있는 정상성을 검출할 수 있다. 즉, 데이터 정상성 검출부(101)는, 가는 선인 실세계(1)의 화상이 데이터(3)에 투영됨으로써 생긴, 데이터(3)에 포함되는 데이터 정상성을 검출할 수 있다. 데이터 정상성 검출부(101)는, 데이터(3)로부터, 가는 선인 실세계(1)의 화상이 투영된 화소로 이루어지는 영역을 검출한다.

도 55는, 정상성 검출부(101)에 있어서의, 가는 선의 화상이 투영된, 정상성을 가지는 영역의 검출의 다른 처리의 예를 나타낸 도면이다.

정상성 검출부(101)는, 도 55에 나타낸 바와 같이, 각 화소에 대하여, 인접하는 화소와의 화소값의 차분의 절대값을 계산한다. 계산된 차분의 절대값은, 화소에 대응시켜, 배치된다. 예를 들면, 도 55에 나타낸 바와 같이, 화소값이 각각 P0, P1, P2인 화소가 배열되어 있을 때, 정상성 검출부(101)는, 차분 d0 = P0 - P1 및 차분 d1= P1 - P2를 계산한다. 또한, 정상성 검출부(101)는, 차분 d0 및 차분 d1의 절대값을 산출한다.

화소값 P0, P1, 및 P2에 포함되어 있는 비정상성 성분이 동일할 때, 차분 d0 및 차분 d1에는, 가는 선의 성분에 대응한 값만이 설정되게 된다.

따라서, 정상성 검출부(101)는, 화소에 대응시켜 배치되어 있는 차분의 절대값 중, 인접하는 차분의 값이 동일할 때, 그 2개의 차분의 절대값에 대응하는 화소(2개의 차분의 절대값의 사이에 있는 화소)에 가는 선의 성분이 포함되어 있다고 판정한다.

정상성 검출부(101)에 있어서는, 이와 같은, 간편한 방법으로 가는 선을 검출할 수도 있다.

도 56은, 정상성 검출의 처리를 설명하는 흐름도이다.

스텝 S201에 있어서, 비정상 성분 추출부(201)는, 입력 화상으로부터, 가는 선이 투영된 부분 이외의 부분인 비정상 성분을 추출한다. 비정상 성분 추출부(201)는, 입력 화상과 함께, 추출된 비정상 성분을 나타내는 비정상 성분 정보를 정점 검출부(202) 및 단조 증감 검출부(203)에 공급한다. 비정상 성분 추출 처리의 자세한 것에 대해서는, 후술한다.

스텝 S202에 있어서, 정점 검출부(202)는, 비정상 성분 추출부(201)로부터 공급된 비정상 성분 정보에 따라서, 입력 화상으로부터 비정상 성분을 제거하고, 입력 화상에 정상 성분을 포함하는 화소만을 남긴다. 또한, 스텝 S202에 있어서, 정점 검출부(202)는, 정점을 검출한다.

즉, 정점 검출부(202)는, 화면의 세로 방향을 기준으로 하여, 처리를 실행하는 경우, 정상 성분을 포함하는 화소에 대하여, 각 화소의 화소값과, 상측 및 하측 화소의 화소값을 비교하여, 상측 화소의 화소값 및 하측 화소의 화소값보다 큰 화소값을 가지는 화소를 검출함으로써, 정점을 검출한다. 또, 스텝 S202에 있어서, 정점 검출부(202)는, 화면의 가로 방향을 기준으로 하여, 처리를 실행하는 경우, 정상 성분을 포함하는 화소에 대하여, 각 화소의 화소값과 우측 및 좌측 화소의 화소값을 비교하여, 우측 화소의 화소값 및 좌측 화소의 화소값보다 큰 화소값을 가지는 화소를 검출함으로써, 정점을 검출한다.

정점 검출부(202)는, 검출한 정점을 나타내는 정점 정보를 단조 증감 검출부(203)에 공급한다.

330)

스텝 S203에 있어서, 단조 증감 검출부(203)는, 비정상 성분 추출부(201)로부터 공급된 비정상 성분 정보에 따라서, 입력 화상으로부터 비정상 성분을 제거하여, 입력 화상에 정상 성분을 포함하는 화소만을 남긴다. 또한, 스텝 S203에 있어서, 단조 증감 검출부(203)는, 정점 검출부(202)로부터 공급된, 정점의 위치를 나타내는 정점 정보에 따라서, 정점에 대한 단조 증감을 검출함으로써, 데이터 정상성을 가지는 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는, 화면의 세로 방향을 기준으로 하여, 처리를 실행하는 경우, 정점의 화소값, 및 정점에 대하여 세로로 1열로 배열된 화소의 화소값에 따라서, 세로로 배열된 1열의 화소로서, 1개의 가는 선의 화상이 투영된 화소로 이루어지는 단조 증감을 검출함으로써, 데이터 정상성을 가지는 화소로 이루어지는 영역을 검출한다. 즉, 스텝 S203에 있어서, 단조 증감 검출부(203)는, 화면의 세로 방향을 기준으로 하여, 처리를 실행하는 경우, 정점 및 정점에 대하여 세로로 1열로 배열된 화소에 대하여, 각 화소의 화소값과 상측 또는 하측 화소의 화소값과의 차분을 구하여, 차분의 부호가 바뀌는 화소를 검출한다. 또, 단조 증감 검출부(203)는, 정점 및 정점에 대하여 세로로 1열로 배열된 화소에 대하여, 각 화소의 화소값의 부호와, 그 화소의 상측 또는 하측 화소의 화소값의 부호를 비교하여, 화소값의 부호가 바뀌는 화소를 검출한다. 또한, 단조 증감 검출부(203)는, 정점의 화소값, 및 정점의 우측 및 좌측 화소의 화소값을, 임계값과 비교하여, 정점의 화소값이 임계값을 넘고, 우측 및 좌측 화소의 화소값이 임계값 이하인 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는, 이와 같이 검출된 영역을 단조 증감 영역으로서, 단조 증감 영역을 나타낸 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

또, 단조 증감 검출부(203)는, 화면의 가로 방향을 기준으로 하여, 처리를 실행하는 경우, 정점의 화소값, 및 정점에 대하여 가로로 1열로 배열된 화소의 화소값에 따라서, 가로로 배열된 1열의 화소로서, 1개의 가는 선의 화상이 투영된 화소로 이루어지는 단조 증감을 검출함으로써, 데이터 정상성을 가지는 화소로 이루어지는 영역을 검출한다. 즉, 스텝 S203에 있어서, 단조 증감 검출부(203)는, 화면의 가로 방향을 기준으로 하여, 처리를 실행하는 경우, 정점 및 정점에 대하여 가로로 1열로 배열된 화소에 대하여, 각 화소의 화소값과, 좌측 또는 우측 화소의 화소값의 차분을 구하여, 차분의 부호가 바뀌는 화소를 검출한다. 또, 단조 증감 검출부(203)는, 정점 및 정점에 대하여 가로로 1열로 배열되는 화소에 대하여, 각 화소의 화소값의 부호와, 그 화소의 좌측 또는 우측 화소의 화소값의 부호를 비교하여, 화소값의 부호가 변화하는 화소를 검출한다. 또한, 단조 증감 검출부(203)는, 정점의 화소값, 및 정점의 상측 및 하측 화소의 화소값을, 임계값과 비교하여, 정점의 화소값이 임계값을 초과하고 상측 및 하측 화소의 화소값이 임계값 이하인 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는, 이와 같이 검출된 영역을 단조 증감 영역으로서, 단조 증감 영역을 나타낸 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

스텝 S204에 있어서, 단조 증감 검출부(203)는, 모든 화소의 처리가 종료되었는지 여부를 판정한다. 예를 들면, 비정상 성분 추출부(201)는, 입력 화상의 하나의 화면(예를 들면, 프레임 또는 필드 등)의 모든 화소에 대하여, 정점을 검출하고, 단조 증감 영역을 검출했는지의 여부를 판정한다.

스텝 S204에 있어서, 모든 화소의 처리가 종료되어 있지 않은, 즉 정점의 검출 및 단조 증감 영역 검출 처리의 대상이 되어 있지 않은 화소가 아직 있다고 판정한 경우, 스텝 S202으로 복귀하고, 정점의 검출 및 단조 증감 영역 검출 처리의 대상이 되어 있지 않은 화소로부터 처리의 대상이 되는 화소를 선택하여, 정점의 검출 및 단조 증감 영역의 검출의 처리를 반복한다.

스텝 S204에 있어서, 모든 화소의 처리가 종료되었다고, 즉, 모든 화소를 대상으로 하여 정점 및 단조 증감 영역이 검출되었다고 판정된 경우, 스텝 S205로 진행하여, 연속성 검출부(204)는, 단조 증감 영역 정보에 따라서, 검출된 영역의 연속성을 검출한다. 예를 들면, 연속성 검출부(204)는, 단조 증감 영역 정보에 의해 나타내는, 화면의 세로 방향으로 1열로 배열되는 화소로 이루어지는 단조 증감 영역에 대하여, 가로 방향에 인접하는 화소를 포함하고 있을 때, 2개의 단조 증감 영역의 사이에 연속성이 있다고 하고, 가로 방향에 인접하는 화소를 포함하지 않을 때, 2개의 단조 증감 영역의 사이에 연속성이 없다고 한다. 예를 들면, 연속성 검출부(204)는, 단조 증감 영역 정보에 의해 나타내는, 화면의 가로 방향으로 (1열로 배열되는 화소로 이루어지는 단조 증감 영역에 대하여, 세로 방향에 인접하는 화소를 포함하고 있을 때, 2개의 단조 증감 영역의 사이에 연속성이 있다고 하고, 세로 방향에 인접하는 화소를 포함하지 않을 때, 2개의 단조 증감 영역의 사이에 연속성이 없다고 한다.

연속성 검출부(204)는, 검출된 연속되어 있는 영역을 데이터 정상성을 가지는 정상 영역으로하고, 정점의 위치 및 정상 영역을 나타내는 데이터 정상성 정보를 출력한다. 데이터 정상성 정보는, 영역의 연결을 나타내는 정보를 포함하고 있다. 연속성 검출부(204)로부터 출력되는 데이터 정상성 정보는, 실세계(1)의 가는 선의 화상이 투영된 화소로 이루어지는, 정상 영역에서 있는 가는 선 영역을 나타낸다.

스텝 S206에 있어서, 정상성 방향 검출부(205)는, 모든 화소의 처리가 종료되었는지 여부를 판정한다. 즉, 정상성 방향 검출부(205)는, 입력 화상의 소정의 프레임의 모든 화소에 대하여, 영역의 연속성을 검출했는지 여부를 판정한다.

스텝 S206에 있어서, 모든 화소의 처리가 종료하고 있지 않는, 즉, 영역의 연속성 검출 처리의 대상이 되지 않은 화소가 아직 있다고 판정된 경우, 스텝 S205로 복귀하여, 영역의 연속성 검출 처리의 대상 되지 않은 화소로부터 처리 대상이 되는 화소를 선택하여, 영역의 연속성 검출 처리를 반복한다.

스텝 S206에 있어서, 모든 화소의 처리가 종료되어, 즉, 모든 화소를 대상으로 영역의 연속성이 검출되었다고 판정된 경우, 처리는 종료한다.

이와 같이, 입력 화상인 데이터(3)에 포함되어 있는 정상성이 검출된다. 즉, 가는 선인 실세계(1)의 화상이 데이터(3)에 투영됨으로써 생긴, 데이터(3)에 포함되는 데이터 정상성이 검출되어 데이터(3)로부터, 가는 선인 실세계(1)의 화상이 투영된 화소로 이루어지는, 데이터 정상성을 가지는 영역이 검출된다.

그리고, 도 41에서 구성이 나타내는 데이터 정상성 검출부(101)는, 데이터(3)의 프레임으로부터 검출된 데이터 정상성을 가지는 영역에 따라서, 시간 방향의 데이터 정상성을 검출할 수 있다.

예를 들면, 도 57에 나타낸 바와 같이, 연속성 검출부(204)는, 프레임 #n에 있어서, 검출된 데이터 정상성을 가지는 영역, 프레임 #n-1에 있어서, 검출된 데이터 정상성을 가지는 영역, 및 프레임 #n+1에 있어서, 검출된 데이터 정상성을 가지는 영역에 따라서, 영역의 단부를 연결함으로써, 시간 방향의 데이터 정상성을 검출한다.

프레임 #n-1은, 프레임 #n에 대하여 시간적으로 이전의 프레임이며, 프레임 #n+1은, 프레임 #n에 대하여 시간적으로 이후의 프레임이다. 즉, 프레임 #n-1, 프레임 #n, 및 프레임 #n+1은, 프레임 #n-1, 프레임 #n, 및 프레임 #n+1의 순서로 표시된다.

보다 구체적으로는, 도 57에 있어서, G는, 프레임 #n에 있어서, 검출된 데이터 정상성을 가지는 영역, 프레임 #n-1에 있어서, 검출된 데이터 정상성을 가지는 영역, 및 프레임 #n+1에 있어서, 검출된 데이터 정상성을 가지는 영역의 각각의 일단을 연결함으로써 얻어진 움직임 벡터를 나타내고, G'는, 검출된 데이터 정상성을 가지는 영역의 각각의 다른 일단을 연결함으로써 얻어진 움직임 벡터를 나타낸다. 움직임 벡터 G 및 움직임 벡터 G'는, 시간 방향의 데이터 정상성의 일례이다.

또한, 도 41에서 구성이 나타내는 데이터 정상성 검출부(101)는, 데이터 정상성을 가지는 영역의 길이를 나타내는 정보를, 데이터 정상성 정보로서 출력할 수 있다.

도 58은, 데이터 정상성을 가지고 있지 않은 화상 데이터의 부분인 비정상 성분을 평면에서 근사하여, 비정상 성분을 추출하는, 비정상 성분 추출부(201)의 구성을 나타낸 블록도이다.

도 58에 구성을 나타낸 비정상 성분 추출부(201)는, 입력 화상으로부터 소정의 개수의 화소가 되는 블록을 추출하고, 블록과 평면에서 나타내는 값과의 오차가 소정의 임계값 미만이 되도록, 블록을 평면에서 근사하여, 비정상 성분을 추출한다.

입력 화상은, 블록 추출부(221)에 공급되면 모두, 그대로 출력된다.

블록 추출부(221)는, 입력 화상으로부터, 소정의 개수의 화소로 이루어지는 블록을 추출한다. 예를 들면, 블록 추출부(221)는, 7 x 7의 화소로 이루어지는 블록을 추출하여, 평면 근사부(222)에 공급한다. 예를 들면, 블록 추출부(221)는, 추출되는 블록의 중심이 되는 화소를 라스터 스캔(raster scan) 순으로 이동시켜, 차례로, 입력 화상으로부터 블록을 추출한다.

평면 근사부(222)는, 블록에 포함되는 화소의 화소값을 소정의 평면에서 근사한다. 예를 들면, 평면 근사부(222)는, 식(24)으로 표현되는 평면에서 블록에 포함되는 화소의 화소값을 근사한다.

Z = ax + by + c (24)

식(24)에 있어서, x는, 화소의 화면 위의 한쪽의 방향(공간 방향 X)의 위치를 나타내고, y는, 화소의 화면 위의 다른 한쪽의 방향(공간 방향 Y)의 위치를 나타낸다. z는, 평면에서 나타내는 근사치를 나타낸다. a는, 평면의 공간 방향 X의 기울기를 나타내고, b는, 평면의 공간 방향 Y의 기울기를 나타낸다. 식(24)에 있어서, c는, 평면의 오프셋(절편)을 나타낸다.

예를 들면, 평면 근사부(222)는, 회귀의 처리에 의하여, 기울기 a, 기울기 b, 및 오프셋 c를 구함으로써, 식(24)에 의해 표현되는 평면에서, 블록에 포함되는 화소의 화소값을 근사한다. 평면 근사부(222)는, 기각을 따른 회귀의 처리에 의하여, 경사 a, 기울기 b, 및 오프셋 c를 구함으로써, 식(24)으로 표현되는 평면에서, 블록에 포함되는 화소의 화소값을 근사한다.

예를 들면, 평면 근사부(222)는, 최소 자승법에 의하여, 블록의 화소의 화소값에 대하여, 오차가 최소가 되는 식(24)에 의해 표현되는 평면을 구함으로써, 평면에서 블록에 포함되는 화소의 화소값을 근사한다.

그리고, 평면 근사부(222)는, 식(24)에 의해 표현되는 평면에서 블록을 근사한다고 설명하였으나, 식(24)에 의해 표현되는 평면에 한정되지 않고, 보다 높은 자유도를 가진 함수, 예를 들면, n차(n은, 임의의 정수) 다항식으로 표현되는 면에서 블록을 근사할 수도 있다.

반복 판정부(223)는, 블록의 화소값을 근사한 평면에서 나타내는 근사치와, 블록이 대응하는 화소의 화소값의 오차를 계산한다. 식(25)는, 블록의 화소값을 근사한 평면에서 나타내는 근사치와, 블록이 대응하는 화소의 화소값 zi의 차분인 오차 ei를 나타낸 식이다.

…(25)

식(25)에 있어서, z햇(z에^을 붙인 문자를 z햇이라 한다. 이하, 본 명세서에 있어서, 동일하게 기재함)은, 블록의 화소값을 근사한 평면에서 나타내는 근사치를 나타내고, a햇은, 블록의 화소값을 근사한 평면의 공간 방향 X의 기울기를 나타내고, b햇은, 블록의 화소값을 근사한 평면의 공간 방향 Y의 경사를 나타낸다. 식(25)에 있어서, c햇은, 블록의 화소값을 근사한 평면의 오프셋(절편)을 나타낸다.

반복 판정부(223)는, 식(25)에서 나타내는, 근사치와 블록이 대응하는 화소의 화소값과의 오차 ei가, 가장 큰 화소를 기각한다. 이와 같이 함으로써, 가는 선이 투영된 화소, 즉 정상성을 가지는 화소가 기각된다. 반복 판정부(223)는, 기각한 화소를 나타낸 기각 정보를 평면 근사부(222)에 공급한다.

또한, 반복 판정부(223)는, 표준오차를 산출하여, 표준오차가, 미리 정한 근사 종료 판정용 임계값 이상이며, 블록의 화소 중, 반 이상의 화소가 기각되어 있지 않을 때, 반복 판정부(223)는, 평면 근사부(222)에, 블록에 포함되는 화소 중, 기각된 화소를 제외한 화소를 대상으로 하여, 평면에 의한 근사 처리를 반복시킨다.

정상성을 가지는 화소가 기각되므로, 기각된 화소를 제외한 화소를 대상으로 하여 평면에서 근사를함으로써, 평면은, 비정상 성분을 근사 하게 된다.

반복 판정부(223)는, 표준오차가, 근사 종료 판정용 임계값 미만일 때, 또는 블록의 화소 중, 반 이상의 화소가 기각 되었을 때, 평면에 의한 근사를 종료한다.

5 x 5의 화소로 이루어지는 블록에 대하여, 표준오차 es는, 예를 들면, 식(26)에 의해 산출된다.

…(26)

여기서, n은, 화소수이다.

그리고, 반복 판정부(223)는, 표준오차에 한정되지 않고, 블록에 포함되는 모든 화소에 대한 오차의 제곱의 합을 산출하여, 이하의 처리를 실행할 수도 있다.

여기서, 라스터 스캔(raster scan) 방향으로 1화소씩 어긋나는 블록을 평면에서 근사할 때, 도 59에 나타낸 바와 같이, 도면 중 흑색 원으에서 나타낸, 정상성을 가지는 화소, 즉 가는 선의 성분을 포함하는 화소는, 복수회 기각된다.

반복 판정부(223)는, 평면에 의한 근사를 종료했을 때, 블록의 화소값을 근사한 평면을 나타내는 정보(식(24)의 평면의 경사 및 절편)을, 비정상 성분 정보로서 출력한다.

그리고, 반복 판정부(223)는, 화소마다의 기각된 회수와 미리 정한 임계값을 비교하여, 기각된 회수가 임계값 이상인 화소를 정상 성분을 포함하는 화소인 것으로 하여, 정상 성분을 포함하는 화소를 나타내는 정보를 정상 성분 정보로서 출력할 수도 있다. 이 경우, 정점 검출부(202) 내지 정상성 방향 검출부(205)는, 정상 성분 정보에 의해 나타내는, 정상 성분을 포함하는 화소를 대상으로 하여, 각각의 처리를 실행한다.

도 60 내지 도 67을 참조하여, 비정상 성분 추출 처리의 결과의 예를 설명한다.

도 60은, 가는 선이 포함되는 화상으로부터, 원래의 화상의 2 × 2의 화소의 화소값의 평균값을 화소값으로서 생성한 입력 화상의 예를 나타낸 도면이다.

도 61은, 도 60에 나타낸 화상을, 기각하지 않고 평면에서 근사한 결과 얻어지는 표준오차를 화소값으로 하는 화상을 나타낸 도면이다. 도 61에 나타낸 예에 있어서, 주목하고 있는 1개의 화소에 대한 5 × 5의 화소로 이루어지는 블록을 평면에서 근사하였다. 도 61에 있어서, 백색 화소는 보다 큰 화소값, 즉, 보다 큰 표준오차를 가지는 화소이며, 흑색 화소는 보다 작은 화소값, 즉, 보다 작은 표준오차를 가지는 화소이다.

도 61로부터, 기각하지 않고 평면에서 근사한 결과 얻어지는 표준오차를 화소값으로 한 경우, 비정상부의 주변에 넓게, 큰 값이 구해지는 것을 확인할 수 있다.

도 62 내지 도 67에 나타낸 예에 있어서, 주목하고 있는 1개의 화소에 대한 7 × 7의 화소로 이루어지는 블록을 평면에서 근사하였다. 7 × 7의 화소로 이루어지는 블록을 평면에서 근사하는 경우, 1개의 화소가 49개의 블록에 반복 포함되게 되므로, 정상 성분을 포함하는 화소는, 가장 많다 하더라도 49회 기각된다.

도 62는, 도 60에 나타낸 화상을, 기각하여 평면에서 근사할 때, 얻어지는 표준오차를 화소값으로 한 화상이다.

도 62에 있어서, 백색 화소는 보다 큰 화소값, 즉, 보다 큰 표준오차를 가지는 화소이며, 흑색 화소는 보다 작은 화소값, 즉, 보다 작은 표준오차를 가지는 화소이다. 기각을 하지 않는 경우와 비교하여, 기각을 한 경우, 전체적으로, 표준오차가 보다 작아지는 것을 알 수 있다.

도 63은, 도 60에 나타낸 화상을, 기각하여 평면에서 근사할 때, 기각된 회수를 화소값으로 한 화상을 나타낸 도면이다. 도 63에 있어서, 백색 화소는 보다 큰 화소값, 즉, 기각된 회수가 보다 많은 화소이며, 흑색 화소는 보다 작은 화소값, 즉, 기각된 회수가 보다 적은 화소이다.

도 63으로부터, 가는 선의 화상이 투영된 화소는, 보다 많이 기각되어 있는 것을 알 수 있다. 기각된 회수를 화소값으로 한 화상을 사용하여, 입력 화상의 비정상부를 마스크하는 화상을 생성할 수도 있다.

도 64는, 블록의 화소값을 근사한 평면의 공간 방향 X의 경사를 화소값으로 한 화상을 나타낸 도면이다. 도 65는, 블록의 화소값을 근사한 평면의 공간 방향 Y의 경사를 화소값으로 한 화상을 나타낸 도면이다.

도 66은, 블록의 화소값을 근사한 평면에서 나타내는 근사치로 이루어지는 화상을 나타낸 도면이다. 도 66에 나타낸 화상으로부터는, 가는 선이 없어진 것을 알 수 있다.

도 67은, 도 60에 나타낸, 원래의 화상의 2 × 2의 화소의 블록의 평균값을 화소의 화소값으로서 생성한 화상과, 도 66에 나타내는, 평면에서 나타내는 근사치로 이루어지는 화상의 차분으로 이루어지는 화상을 나타낸 도면이다. 도 67의 화상의 화소값은, 비정상 성분이 제거되므로, 가는 선의 화상이 투영된 값만을 포함한다. 도 67로부터도 알 수 있는 바와 같이, 원래의 화소값과 근사한 평면에서 나타내는 근사치의 차분으로 이루어지는 화상에서는, 원래의 화상의 정상 성분이 잘 추출되어 있는 것을 확인할 수 있다.

기각된 회수, 블록의 화소의 화소값을 근사하는 평면의 공간 방향 X의 경사, 블록의 화소의 화소값을 근사하는 평면의 공간 방향 Y의 경사, 블록의 화소의 화소값을 근사하는 평면에서 나타내는 근사치, 및 오차 ei는, 입력 화상의 특징량으로서도 이용할 수 있다.

도 68은, 스텝 S201에 대응하는, 도 58에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 비정상 성분의 추출 처리를 설명하는 흐름도이다.

스텝 S221에 있어서, 블록 추출부(221)는, 입력 화소로부터, 소정 개수의 화소로 이루어지는 블록을 추출하고, 추출한 블록을 평면 근사부(222)에 공급한다. 예를 들면, 블록 추출부(221)는, 입력 화소로부터, 아직, 선택되지 않은 화소 중, 1개의 화소를 선택하고, 선택된 화소를 중심으로 하는 7 × 7의 화소로 이루어지는 블록을 추출한다. 예를 들면, 블록 추출부(221)는, 라스터 스캔 순으로 화소를 선택할 수 있다.

스텝 S222에 있어서, 평면 근사부(222)는, 추출된 블록을 평면에서 근사한다. 평면 근사부(222)는, 예를 들면, 회귀 처리에 의하여, 추출된 블록의 화소의 화소값을, 평면에서 근사한다. 예를 들면, 평면 근사부(222)는, 회귀 처리에 의하여, 추출된 블록의 화소 중, 기각된 화소를 제외한 화소의 화소값을, 평면에서 근사한다. 스텝 S223에 있어서, 반복 판정부(223)는, 반복 판정을 실행한다. 예를 들면, 블록의 화소의 화소값과 근사한 평면의 근사치로부터 표준오차를 산출하고, 기각된 화소의 수를 카운트함으로써, 반복 판정을 실행한다.

스텝 S224에 있어서, 반복 판정부(223)는, 표준오차가 임계값 이상인지 여부를 판정하고, 표준오차가 임계값 이상으로 판정된 경우, 스텝 S225로 진행한다.

그리고, 스텝 S224에 있어서, 반복 판정부(223)는, 블록의 화소 중, 반 이상의 화소가 기각되었는지 여부, 및 표준오차가 임계값 이상인지 여부를 판정하고, 블록의 화소 중, 반 이상의 화소가 기각되지 않고, 표준오차가 임계값 이상으로 판정된 경우, 스텝 S225로 진행해도 된다.

스텝 S225에 있어서, 반복 판정부(223)는, 블록의 화소마다, 화소의 화소값과 근사한 평면의 근사치의 오차를 산출하여, 오차가 가장 큰 화소를 기각하고, 평면 근사부(222)에 통지한다. 그리고, 스텝 S222로 복귀하여, 기각된 화소를 제외한, 블록의 화소를 대상으로 하여, 평면에 의한 근사 처리 및 반복 판정 처리가 반복된다.

스텝 S225에 있어서, 라스터 스캔 방향으로 1화소씩 어긋난 블록이 스텝 S221의 처리에 의해 추출되는 경우, 도 59에 나타낸 바와 같이, 가는 선의 성분을 포함하는 화소(도면 중의 흑색 원)는, 복수회 기각된다.

스텝 S224에 있어서, 표준오차가 임계값 이상이 아닌 것으로 판정된 경우, 블록이 평면에서 근사되었으므로, 스텝 S226으로 진행한다.

그리고, 스텝 S224에 있어서, 반복 판정부(223)는, 블록의 화소 중, 반 이상의 화소가 기각되었는지 여부, 및 표준오차가 임계값 이상인지 여부를 판정하여, 블록의 화소 중, 반 이상의 화소가 기각되었는지, 또는 표준오차가 임계값 이상이 아닌 것으로 판정된 경우, 스텝 S225로 진행해도 된다.

스텝 S226에 있어서, 반복 판정부(223)는, 블록의 화소의 화소값을 근사하는 평면의 경사 및 절편을, 비정상 성분 정보로서 출력한다.

스텝 S227에 있어서, 블록 추출부(221)는, 입력 화상의 하나의 화면의 모든 화소에 대하여 처리가 종료되었는지 여부를 판정하여, 아직 처리 대상이 되지 않은 화소가 있다고 판정된 경우, 스텝 S221로 복귀하고, 아직 처리 대상 되지 않은 화소로부터 블록을 추출하여, 전술한 처리를 반복한다.

스텝 S227에 있어서, 입력 화상의 하나의 화면의 모든 화소에 대하여, 처리가 종료되었다고 판정된 경우, 처리를 종료한다.

이와 같이, 도 58에 구성을 나타낸 비정상 성분 추출부(201)는, 입력 화상으로부터 비정상 성분을 추출할 수 있다. 비정상 성분 추출부(201)가 입력 화상의 비정상 성분을 추출하므로, 정점 검출부(202) 및 단조 증감 검출부(203)는, 입력 화상과, 비정상 성분 추출부(201)에서 추출된 비정상 성분의 차분을 구함으로써, 정상 성분을 포함하는 차분을 대상으로 하여 처리를 실행할 수 있다.

그리고, 평면에 의한 근사 처리에 있어서 산출되는, 기각한 경우의 표준오차, 기각하지 않는 경우의 표준오차, 화소의 기각된 회수, 평면의 공간 방향 X의 경사(식(24)에 있어서의 a햇), 평면의 공간 방향 Y의 경사(식(24)에 있어서의 b햇), 평면에서 치환하여 때의 레벨(식(24)에 있어서의 c하트), 및 입력 화상의 화소값과 평면에서 나타내는 근사치와의 차분은, 특징량으로서 이용할 수 있다.

도 69는, 스텝 S201에 대응하는 비정상 성분의 추출 처리를 대신하는, 도 58에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 정상 성분의 추출 처리를 설명하는 흐름도이다. 스텝 S241 내지 스텝 S245의 처리는, 스텝 S221 내지 스텝 S225의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S246에 있어서, 반복 판정부(223)는, 평면에서 나타내는 근사치와 입력 화상의 화소값과의 차분을, 입력 화상의 정상 성분으로서 출력한다. 즉, 반복 판정부(223)는, 평면에 의한 근사치와 진치인 화소값의 차분을 출력한다.

그리고, 반복 판정부(223)는, 평면에서 나타내는 근사치와 입력 화상의 화소값의 차분이, 소정의 임계값 이상인 화소의 화소값을, 입력 화상의 정상 성분으로서 출력할 수도 있다.

스텝 S247의 처리는, 스텝 S227의 처리와 동일하므로, 그 설명은 생략한다.

평면이 비정상 성분을 근사하고 있으므로, 비정상 성분 추출부(201)는, 입력 화상의 각 화소의 화소값으로부터, 화소값을 근사하는 평면에서 나타내는 근사치를 뺄셈함으로써, 입력 화상으로부터 비정상 성분을 제거할 수 있다. 이 경우, 정점 검출부(202) 내지 연속성 검출부(204)는, 입력 화상의 정상 성분, 즉 가는 선의 화상이 투영된 값만을 처리 대상으로 할 수 있어서 정점 검출부(202) 내지 연속성 검출부(204)에 있어서의 처리가 보다 용이하게 된다.

도 70은, 스텝 S201에 대응하는 비정상 성분의 추출의 처리를 대신하는, 도 58에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 정상 성분의 추출의 다른 처리를 설명하는 흐름도이다. 스텝 S261 내지 스텝 S265의 처리는, 스텝 S221 내지 스텝 S225의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S266에 있어서, 반복 판정부(223)는, 화소마다의, 기각 회수를 기억하고, 스텝 S262으로 복귀하여, 처리를 반복한다.

스텝 S264에 있어서, 표준오차가 임계값 이상이 아닌 것으로 판정된 경우, 블록이 평면에서 근사 되었으므로, 스텝 S267로 진행하고, 반복 판정부(223)는, 입력 화상의 하나의 화면의 모든 화소에 대하여 처리가 종료되었는지 여부를 판정하여, 아직 처리 대상 되지 않은 화소가 있다고 판정된 경우, 스텝 S261에 되돌아와서, 아직 처리 대상이 되지 않은 화소에 대하여 블록을 추출하여, 전술한 처리를 반복한다.

스텝 S267에 있어서, 입력 화상의 하나의 화면의 모든 화소에 대하여, 처리가 종료되었다고 판정된 경우, 스텝 S268로 진행하고, 반복 판정부(223)는, 아직 선택되지 않은 화소로부터 1개의 화소를 선택하고, 선택된 화소에 대하여, 기각 회수가, 임계값 이상인지 여부를 판정한다. 예를 들면, 반복 판정부(223)는, 스텝 S268에 있어서, 선택된 화소에 대하여, 기각 회수가, 미리 기억하고 있는 임계값 이상인지 여부를 판정한다.

스텝 S268에 있어서, 선택된 화소에 대하여, 기각 회수가, 임계값 이상으로 판정된 경우, 선택된 화소가 정상 성분을 포함하므로, 스텝 S269로 진행하고, 반복 판정부(223)는, 선택된 화소의 화소값(입력 화상에 있어서의 화소값)을 입력 화상의 정상 성분으로서 출력하고, 스텝 S270으로 진행한다.

스텝 S268에 있어서, 선택된 화소에 대하여, 기각 회수가, 임계값 이상이 아닌 것으로 판정된 경우, 선택된 화소가 정상 성분을 포함하지 않기 때문에, 스텝 S269의 처리를 스킵하여, 스텝 S270으로 진행한다. 즉, 기각 회수가, 임계값 이상이 아닌 것으로 판정된 화소는, 화소값이 출력되지 않는다.

그리고, 기각 회수가, 임계값 이상이 아닌 것으로 판정된 화소에 대하여, 반복 판정부(223)는, 0(제로)를 설정한 화소값을 출력해도 된다.

스텝 S270에 있어서, 반복 판정부(223)는, 입력 화상의 하나의 화면의 모든 화소에 대하여, 기각 회수가 임계값 이상인지 여부를 판정하는 처리가 종료되었는지 여부를 판정하고, 모든 화소에 대하여 처리를 종료하지 않은 것으로 판정된 경우, 아직 처리의 대상이 되지 않은 화소가 남아 있으므로, 스텝 S268로 복귀하고, 아직 처리의 대상 되지 않은 화소로부터 1개의 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S270에 있어서, 입력 화상의 하나의 화면의 모든 화소에 대하여 처리가 종료되었다고 판정된 경우, 처리는 종료된다.

이와 같이, 비정상 성분 추출부(201)는, 정상 성분 정보로서, 입력 화상의 화소 중, 정상 성분을 포함하는 화소의 화소값을 출력할 수 있다. 즉, 비정상 성분 추출부(201)는, 입력 화상의 화소 중, 가는 선의 화상의 성분을 포함하는 화소의 화소값을 출력할 수 있다.

도 71은, 스텝 S201에 대응하는 비정상 성분 추출 처리를 대신하는, 도 58에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 정상 성분의 추출의 또 다른 처리를 설명하는 흐름도이다. 스텝 S281 내지 스텝 S288의 처리는, 스텝 S261 내지 스텝 S268의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S289에 있어서, 반복 판정부(223)는, 평면에서 나타내는 근사치와 선택된 화소의 화소값의 차분을 입력 화상의 정상 성분으로서 출력한다. 즉, 반복 판정부(223)는, 입력 화상으로부터 비정상 성분을 제거하고 화상을 정상성 정보로서 출력한다.

스텝 S290의 처리는, 스텝 S270의 처리와 동일하므로, 그 설명은 생략한다.

이와 같이, 비정상 성분 추출부(201)는, 입력 화상으로부터 비정상 성분을 제거하고 화상을 정상성 정보로서 출력할 수 있다.

이상과 같이, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된, 제1 화상 데이터의 복수개의 화소의 화소값의 불연속부를 검출하고, 검출된 불연속부로부터 데이터 정상성을 검출하고, 검출된 데이터 정상성에 따라서, 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 근사하는 모델(함수)을 생성하고, 생성된 함수에 따라 제2 화상 데이터를 생성하는 경우, 현실 세계의 사상에 대하여,보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

도 72는, 데이터 정상성 검출부(101)의 다른 구성을 나타낸 블록도이다.

도 72에 구성을 나타내는 데이터 정상성 검출부(101)에 있어서는, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향에 대한 화소값의 변화, 즉 입력 화상의 공간 방향의 액티비티가 검출되고, 검출된 액티비티에 따라, 주목 화소 및 기준축을 기준으로 한 각도마다, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 그룹이, 복수개 추출되어 추출된 화소의 그룹의 상관 관계가 검출되어 상관 관계에 따라, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도가 검출된다.

데이터 정상성의 각도란, 기준축과 데이터(3)가 가지고 있는, 일정한 특징이 반복적으로 나타나는 소정의 차원의 방향이 이루는 각도를 말한다. 일정한 특징이 반복적으로 나타난다는 것은, 예를 들면, 데이터(3)에 있어서의 위치의 변화에 대한 값의 변화, 즉 단면 형상이 같은 경우 등을 말한다.

기준축은, 예를 들면, 공간 방향 X를 나타내는 축(화면의 수평 방향), 또는 공간 방향 Y를 나타내는 축(화면의 수직 방향) 등으로 정할 수 있다.

입력 화상은, 액티비티 검출부(401) 및 데이터 선택부(402)에 공급된다.

액티비티 검출부(401)는, 입력 화상의 공간 방향에 대한 화소값의 변화, 즉 공간 방향의 액티비티를 검출하여, 검출한 결과를 나타낸 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

예를 들면, 액티비티 검출부(401)는, 화면의 수평 방향에 대한 화소값의 변화, 및 화면의 수직 방향에 대한 화소값의 변합을 검출하고, 검출된 수평 방향에 대한 화소값의 변화 및 수직 방향에 대한 화소값의 변합을 비교함으로써, 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰지, 또는 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰지를 검출한다.

액티비티 검출부(401)는, 검출의 결과인, 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 것을 나타내거나, 또는 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 것을 나타낸 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 경우, 예를 들면, 도 73에 나타낸 바와 같이, 수직 방향으로 1열의 화소에 원호 형상(어묵형) 또는 멈춤쇠 형상으로 형성되고, 원호 형상 또는 멈춤쇠 형상이 수직으로 보다 가까운 방향으로 반복하여 형성되어 있다. 즉, 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 경우, 기준축을 공간 방향 X를 나타낸 축으로 하면, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도는, 45도 내지 90도 중 어느 하나의 값이다.

수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 경우, 예를 들면, 수평 방향으로 1열의 화소에 원호 형상 또는 멈춤쇠 형상이 형성되고, 원호 형상 또는 멈춤쇠 형상이 수평 방향으로 보다 가까운 방향으로 반복하여 형성되어 있다. 즉, 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 경우, 기준축을 공간 방향 X를 나타낸 축으로 하면, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도는, 0도 내지 45도 중 어느 하나의 값이다.

예를 들면, 액티비티 검출부(401)는, 도 74에서 나타내는, 주목 화소를 중심으로 한 3 × 3의 9개의 화소로 이루어지는 블록을 입력 화상으로부터 추출한다. 액티비티 검출부(401)는, 세로로 인접하는 화소에 대한 화소값의 차분의 합, 및 가로로 인접하는 화소에 대한 화소값의 차분의 합을 산출한다. 가로로 인접하는 화소에 대한 화소값의 차분의 합 hdiff는, 식(27)에서 구해진다.

h_diff = ∑(P_i+1,j - P_i,j)…(27)

마찬가지로, 세로로 인접하는 화소에 대한 화소값의 차분의 합 vdiff는, 식(28)에서 구해진다.

v_diff = ∑(P_i,j+1 - P_i,j)…(28)

식(27) 및 식(28)에 있어서, P는, 화소값을 나타내고, i는, 화소의 가로 방향의 위치를 나타내고, j는, 화소의 세로 방향의 위치를 나타낸다.

액티비티 검출부(401)는, 산출된 가로로 인접하는 화소에 대한 화소값의 차분의 합 hdiff 및 세로로 인접하는 화소에 대한 화소값의 차분의 합 vdiff를 비교하여, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도의 범위를 판정할 수도 있다. 즉, 이 경우, 액티비티 검출부(401)는, 공간 방향의 위치에 대한 화소값의 변화에서 나타내는 형상이 수평 방향으로 반복하여 형성되어 있는지, 혹은 수직 방향으로 반복하여 형성되어 있는지를 판정한다.

예를 들면, 가로로 1열의 화소 상에 형성된 원호에 대한 가로 방향의 화소값의 변화는, 세로 방향의 화소값의 변화와 비교하여 크고, 가로로 1열의 화소 상에 형성된 원호에 대한 세로 방향의 화소값의 변화는, 가로 방향의 화소값의 변화와 비교하여 크고, 데이터 정상성의 방향, 즉, 데이터(3)인 입력 화상이 가지고 있는, 일정한 특징의 소정의 차원의 방향의 변화는, 데이터 정상성에 직교하는 방향의 변화와 비교하여 작다고 할 수 있다. 바꾸어 말하면, 데이터 정상성의 방향의 차분과 비교하여, 데이터 정상성의 방향으로 직교하는 방향(이하, 비정상 방향)의 차분은 크다.

예를 들면, 도 75에 나타낸 바와 같이, 액티비티 검출부(401)는, 산출된 가로로 인접하는 화소에 대한 화소값의 차분의 합 hdiff 및 세로로 인접하는 화소에 대한 화소값의 차분의 합 vdiff를 비교하여, 가로로 인접하는 화소에 대한 화소값의 차분의 합 hdiff가 큰 경우, 기준축을 기준으로 한 데이터 정상성의 각도가, 45도 내지 135도 중 어느 하나의 값인 것으로 판정하고, 세로에 인접하는 화소에 대한 화소값의 차분의 화vdiff가 큰 경우, 기준축을 기준으로 한 데이터 정상성의 각도가, 0도 내지 45도 중 어느 하나의 값, 또는 135도 내지 180도 중 어느 하나의 값인 것으로 판정한다.

예를 들면, 액티비티 검출부(401)는, 판정의 결과를 나타낸 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

그리고, 액티비티 검출부(401)는, 5 × 5의 25개의 화소로 이루어지는 블록, 또는 7 × 7의 49개의 화소로 이루어지는 블록 등, 임의의 크기의 블록을 추출하여, 액티비티를 검출할 수 있다.

데이터 선택부(402)는, 입력 화상의 화소로부터 주목 화소의 순서대로 선택하고, 액티비티 검출부(401)로부터 공급된 액티비티 정보에 따라서, 주목 화소 및 기준축을 기준으로 한 각도마다, 수직 방향으로 1열 또는 수평 방향으로1 열의 소정 개수의 화소로 이루어지는 화소의 그룹을, 복수개 추출한다.

예를 들면, 액티비티 정보가 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 것을 나타내고 있을 때, 데이터 정상성의 각도가, 45도 내지 135도 중 어느 하나의 값이므로, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 45도 내지 135도의 범위의 소정 각도마다, 수직 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 그룹을, 복수개 추출한다.

액티비티 정보가 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 것을 나타내고 있을 때, 데이터 정상성의 각도가, 0도 내지 45도 또는 135도 내지 180도 중 어느 하나의 값이므로, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 0도 내지 45도 또는 135도 내지 180도의 범위의 소정 각도마다, 수평 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 ㄱ그룹을, 복수개 추출한다.

또, 예를 들면, 데이터 정상성의 각도가 45도 내지 135도 중 어느 하나의 값인 것을, 액티비티 정보가 나타내고 있을 때, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 45도 내지 135도의 범위의 소정 각도마다, 수직 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 그룹을, 복수개 추출한다.

데이터 정상성의 각도가 0도 내지 45도 또는 135도 내지 180도 중 어느 하나의 값인 것을, 액티비티 정보가 나타내고 있을 때, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 0도 내지 45도 또는 135도 내지 180도의 범위의 소정 각도마다, 수평 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 그룹을, 복수개 추출한다.

데이터 선택부(402)는, 추출한 화소로 이루어지는 복수개의 그룹을 오차 추정부(403)에 공급한다.

오차 추정부(403)는, 추출한 화소로 이루어지는 복수개의 그룹에 대하여, 각도마다, 화소의 그룹의 상관 과계를 검출한다.

예를 들면, 오차 추정부(403)는, 1개의 각도에 대응하는, 수직 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 복수개의 그룹에 대하여, 화소의 그룹에 있어서 대응하는 위치의 화소의 화소값의 상관 관계를 검출한다. 오차 추정부(403)는, 1개의 각도에 대응하는, 수평 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 복수개의 그룹에 대하여, 그룹에 있어서의 대응하는 위치의 화소의 화소값의 상관 관계를 검출한다.

오차 추정부(403)는, 검출한 상관 관계를 나타내는 상관 정보를 정상 방향 도출부(404)에 공급한다. 오차 추정부(403)는, 상관 관계를 나타낸 값으로서, 데이터 선택부(402)로부터 공급된, 주목 화소를 포함하는 그룹의 화소의 화소값과 다른 그룹에 있어서의 대응하는 위치의 화소의 화소값의 차분의 절대값의 합을 산출하고, 차분의 절대값의 합을 상관 정보로서 정상 방향 도출부(404)에 공급한다.

정상 방향 도출부(404)는, 오차 추정부(403)로부터 공급된 상관 정보에 따라, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출하여, 각도를 나타내는 데이터 정상성 정보를 출력한다. 예를 들면, 정상 방향 도출부(404)는, 오차 추정부(403)로부터 공급된 상관 정보에 따라, 데이터 정상성의 각도로서 가장 상관 관계가 강한 화소의 그룹에 대한 각도를 검출하여, 검출된 가장 상관의 강한 화소의 그룹에 대한 각도를 나타내는 데이터 정상성 정보를 출력한다.

이하의 설명에 있어서, 적절히, 0도 내지 90도의 범위(이른바 제1 상한)의 데이터 정상성의 각도를 검출한다고 가정하여 설명한다.

도 76은, 도 72에 나타내는 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타낸 블록도이다.

데이터 선택부(402)는, 화소 선택부(411-1) 내지 화소 선택부(411-L)를 포함한다. 오차 추정부(403)는, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)를 포함한다. 정상 방향 도출부(404)는, 최소 오차 각도 선택부(413)를 포함한다.

먼저, 액티비티 정보에 의해 나타내는, 데이터 정상성의 각도가 45도 내지 135도 중 어느 하나의 값 일 때의 화소 선택부(411-1) 내지 화소 선택부(411-L)의 처리를 설명한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 공간 방향 X를 나타낸 축을 기준 축으로 하여, 주목 화소를 지나는, 각각 상이한 소정 각도의 직선을 설정한다. 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 속하는 화소로서, 주목 화소의 상측의 소정 개수의 화소, 및 주목 화소의 하측의 소정 개수의 화소, 및 주목 화소를 화소의 그룹으로서 선택한다.

예를 들면, 도 77에 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 속하는 화소로부터, 주목 화소를 중심으로 하여 9개의 화소를 화소의 그룹으로서 선택한다.

도 77에 있어서, 격자 모양의 하나의 사각(1개의 격자)은, 1개의 화소를 나타낸다. 도 77에 있어서, 중앙에 나타낸 원형은, 주목 화소를 나타낸다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측의 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 77에 있어서, 주목 화소의 좌하측의 원형은, 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 상측의 소정 개수의 화소, 및 선택된 화소의 하측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

예를 들면, 도 77에 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측으로 2개 째의 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 77에 있어서, 가장 좌측의 원형은, 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로롤 1열의 화소의 열의, 좌측에 2개 째의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 상측의 소정 개수의 화소, 및 선택된 화소의 하측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

예를 들면, 도 77에 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측으로 2개 째의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로1 열의 화소의 열의, 우측의 세로롤 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 77에 있어서, 주목 화소의 우측 상측의 원형은, 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 상측의 소정 개수의 화소, 및 선택된 화소의 하측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

예를 들면, 도 77에 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측으로 2번째의 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 77에 있어서, 가장 우측의 원형은, 이와 같이 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측으로 2개 째의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 상측의 소정 개수의 화소, 및 선택된 화소의 하측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

예를 들면, 도 77에 나타낸 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측에 2개 째의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 그룹으로서 선택한다.

이와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 각각, 화소의 그룹을 5개 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 서로 상이한 각도(에 설정된 직선)에 대한, 화소의 그룹을 선택한다. 예를 들면, 화소 선택부(411-1)는, 45도에 대한, 화소의 그룹을 선택하고, 화소 선택부(411-2)는, 47.5도에 대한, 화소의 그룹을 선택하고, 화소 선택부(411-3)는, 50도에 대한, 화소의 그룹을 선택한다. 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 52.5도로부터135도 까지의, 2.5도마다의 각도에 대하여, 화소의 그룹을 선택한다.

그리고, 화소의 그룹의 수는, 예를 들면, 3개, 또는 7개 등, 임의로 정할 수 있기 때문에, 본 발명을 한정하는 것은 아니다. 또, 1개의 그룹으로서 선택된 화소의 수는, 예를 들면, 5개, 또는 13개 등, 임의로 정할 수 있어서, 본 발명을 한정하는 것은 아니다.

그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 세로 방향으로 소정 범위의 화소로부터, 화소의 그룹을 선택하도록 할 수 있다. 예를 들면, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 세로 방향으로 121개의 화소(주목 화소에 대하여, 상 방향으로 60화소, 하 방향으로 60화소)로부터, 화소의 그룹을 선택한다. 이 경우, 데이터 정상성 검출부(101)는, 공간 방향 X를 나타낸 축에 대하여, 88.09도까지, 데이터 정상성의 각도를 검출할 수 있다.

화소 선택부(411-1)는, 선택한 화소의 그룹을 추정 오차 산출부(412-1)에 공급하고, 화소 선택부(411-2)는, 선택한 화소의 그룹을 추정 오차 산출부(412-2)에 공급한다. 마찬가지로, 화소 선택부(411-3) 내지 화소 선택부(411-L)의 각각은, 선택한 화소의 그룹을 추정 오차 산출부(412-3) 내지 추정 오차 산출부(412-L)의 각각에 공급한다.

추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 복수개의 그룹에 있어서의 대응하는 위치의 화소의 화소값의 상관 관계를 검출한다. 예를 들면, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 상관 관계를 나타낸 값으로서, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 그룹의 화소의 화소값과 다른 그룹에 있어서의 대응하는 위치의 화소의 화소값의 차분의 절대값의 합을 산출한다.

보다 구체적으로는, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 그룹의 화소의 화소값과 주목 화소의 좌측의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 그룹의 화소의 화소값에 따라서, 가장 위의 화소의 화소값의 차분을 산출하고, 위로부터 2번째의 화소의 화소값의 차분을 산출하도록, 위의 화소로부터 순서대로 화소값의 차분의 절대값을 산출하여, 또한 산출된 차분의 절대값의 합을 산출한다. 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 그룹의 화소의 화소값과 주목 화소의 좌측에 2번 째의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 그룹의 화소의 화소값에 따라서, 위의 화소로부터 순서대로 화소값의 차분의 절대값을 산출하여, 산출된 차분의 절대값의 합을 산출한다.

그리고, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 그룹의 화소의 화소값과 주목 화소의 우측의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 그룹의 화소의 화소값에 따라서, 가장 위의 화소의 화소값의 차분을 산출하고, 위로부터 2번째의 화소의 화소값의 차분을 산출하도록, 위의 화소로부터 순서대로 화소값의 차분의 절대값을 산출하고, 또한 산출된 차분의 절대값의 합을 산출한다. 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 그룹의 화소의 화소값과 주목 화소의 우측으로 2번째의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 그룹의 화소의 화소값에 따라서, 위의 화소로부터 순서대로 화소값의 차분의 절대값을 산출하여, 산출된 차분의 절대값의 합을 산출한다.

추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 이와 같이 산출된 화소값의 차분의 절대값의 합을 모두 가산하여, 화소값의 차분의 절대값의 총계를 산출한다.

추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 검출된 상관 관계를 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다. 예를 들면, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 산출된 화소값의 차분의 절대값의 총계를 최소 오차 각도 선택부(413)에 공급한다.

그리고, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소값의 차분의 절대값의 합에 한정되지 않고, 화소값의 차분의 제곱의 합, 또는 화소값에 따른 상관 계수 등 다른 값을 상관 값으로서 산출할 수 있다.

최소 오차 각도 선택부(413)는, 서로 상이한 각도에 대한, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)에 있어서 검출된 상관 관계에 따라, 결락된 실세계(1)의 광신호인 화상의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출한다. 즉, 최소 오차 각도 선택부(413)는, 서로 상이한 각도에 대한, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)에 있어서 검출된 상관 관계에 따라, 가장 강한 상관 관계를 선택하고, 선택된 상관 관계가 검출된 각도를, 기준축을 기준으로 한 데이터 정상성의 각도로 함으로써, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출한다.

예를 들면, 최소 오차 각도 선택부(413)는, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)로부터 공급된, 화소값의 차분의 절대값의 총계 중, 최소의 총계를 선택한다. 최소 오차 각도 선택부(413)는, 선택된 총계가 산출된 화소의 그룹에 대하여, 주목 화소에 대하여, 좌측에 2번째의 세로로 1열의 화소의 열에 속하는 화소로서, 직선에 가장 가까운 위치의 화소의 위치, 및 주목 화소에 대하여, 우측에 2번째의 세로로 1열의 화소의 열에 속하는 화소로서, 직선에 가장 가까운 위치의 화소의 위치를 참조한다.

도 77에 나타낸 바와 같이, 최소 오차 각도 선택부(413)는, 주목 화소의 위치에 대한, 참조하는 화소의 위치의 세로 방향의 거리 S를 구한다. 최소 오차 각도 선택부(413)는, 도 78에 나타낸 바와 같이, 식(29)로부터, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터인 입력 화상에 있어서의, 기준축인 공간 방향 X를 나타낸 축을 기준으로 한 데이터 정상성의 각도θ를 검출한다.

θ = tan^-1(s/2)…(29)

다음에, 액티비티 정보에 의해 나타내는, 데이터 정상성의 각도가 0도 내지 45도 및 135도 내지 180도 중 어느 하나의 값일 때의 화소 선택부(411-1) 내지 화소 선택부(411-L)의 처리를 설명한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 공간 방향 X를 나타낸 축을 기준 축으로 하여, 주목 화소를 통과하는, 소정 각도의 직선을 설정하고, 주목 화소가 속하는 가로로 1열의 화소의 열에 속하는 화소로서, 주목 화소의 좌측의 소정 개수의 화소, 및 주목 화소의 우측의 소정 개수의 화소, 및 주목 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 상측의 가로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 상측의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정 개수의 화소, 및 선택된 화소의 우측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 상측에 2번째의 가로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 상측에 2번째의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정 개수의 화소, 및 선택된 화소의 우측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 하측의 가로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 하측의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정 개수의 화소, 및 선택된 화소의 우측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 하측에 2번째의 가로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 하측에 2번째의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정 개수의 화소, 및 선택된 화소의 우측의 소정 개수의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

이와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 각각, 화소의 그룹을 5개 선택한다.

화소 선택부(411-1) 내지 화소 선택부(411-L)는, 서로 상이한 각도에 대한, 화소의 그룹을 선택한다. 예를 들면, 화소 선택부(411-1)는, 0도에 대한, 화소의 그룹을 선택하고, 화소 선택부(411-2)는, 2.5도에 대한, 화소의 그룹을 선택하고, 화소 선택부(411-3)은, 5도에 대한, 화소의 그룹을 선택한다. 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 7.5도로부터 45도 및 135도로부터 180도까지의, 2.5도마다의 각도에 대한, 화소의 그룹을 선택한다.

화소 선택부(411-1)는, 선택한 화소의 그룹을 추정 오차 산출부(412-1)에 공급하고, 화소 선택부(411-2)는, 선택한 화소의 그룹을 추정 오차 산출부(412-2)에 공급한다. 마찬가지로, 화소 선택부(411-3) 내지 화소 선택부(411-L)의 각각은, 선택한 화소의 그룹을 추정 오차 산출부(412-3) 내지 추정 오차 산출부(412-L)의 각각에 공급한다.

추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 복수개의 그룹에 있어서의 대응하는 위치의 화소의 화소값의 상관 관계를 검출한다. 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)는, 검출된 상관 관계를 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다.

최소 오차 각도 선택부(413)는, 추정 오차 산출부(412-1) 내지 추정 오차 산출부(412-L)에 있어서 검출된 상관에 따라, 결락된 실세계(1)의 광신호인 화상의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출한다.

다음에, 도 79의 흐름도를 참조하여, 스텝 S101의 처리에 대응하는, 도 72에서 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성의 검출의 처리를 설명한다.

스텝 S401에 있어서, 액티비티 검출부(401) 및 데이터 선택부(402)는, 입력 화상으로부터, 주목하고 있는 화소인 주목 화소를 선택한다. 액티비티 검출부(401) 및 데이터 선택부(402)는, 동일한 주목 화소를 선택한다. 예를 들면, 액티비티 검출부(401) 및 데이터 선택부(402)는, 입력 화상으로부터, 라스터 스캔 순으로, 주목 화소를 선택한다.

스텝 S402에 있어서, 액티비티 검출부(401)는, 주목 화소에 대한 액티비티를 검출한다. 예를 들면, 액티비티 검출부(401)는, 주목 화소를 중심으로 한 소정 개수의 화소로 이루어지는 블록의 세로 방향으로 배열된 화소의 화소값의 차분 및 가로 방향으로 배열된 화소의 화소값의 차분에 따라서, 액티비티를 검출한다.

액티비티 검출부(401)는, 주목 화소에 대한 공간 방향의 액티비티를 검출하여, 검출한 결과를 나타낸 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

스텝 S403에 있어서, 데이터 선택부(402)는, 주목 화소를 포함하는 화소의 열로부터, 주목 화소를 중심으로 한 소정 개수의 화소를, 화소의 그룹으로서 선택한다. 예를 들면, 데이터 선택부(402)는, 주목 화소가 속하는 세로 또는 가로로 1열의 화소의 열에 속하는 화소로서, 주목 화소의 상측 또는 좌측의 소정 개수의 화소, 및 주목 화소의 하측 또는 우측의 소정 개수의 화소, 및 주목 화소를 화소의 그룹으로서 선택한다.

스텝 S404에 있어서, 데이터 선택부(402)는, 스텝 S402의 처리에 의해 검출된 액티비티에 따른, 소정 범위의 각도마다, 소정 개수의 화소의 열로부터, 각각 소정 개수의 화소를, 화소의 그룹으로서 선택한다. 예를 들면, 데이터 선택부(402)는, 소정 범위의 각도를 가지고, 공간 방향 X를 나타낸 축을 기준 축으로 하여, 주목 화소를 지나는 직선을 설정하고, 주목 화소에 대하여, 가로 방향 또는 세로 방향으로 1열 또는 2열 떨어진 화소로서, 직선에 가장 가까운 화소를 선택하고, 선택된 화소의 상측 또는 좌측의 소정 개수의 화소, 및 선택된 화소의 하측 또는 우측의 소정 개수의 화소, 및 선에 가장 가까운 선택된 화소를 화소의 그룹으로서 선택한다. 데이터 선택부(402)는, 각도마다, 화소의 그룹을 선택한다.

데이터 선택부(402)는, 선택한 화소의 그룹을 오차 추정부(403)에 공급한다.

스텝 S405에 있어서, 오차 추정부(403)는, 주목 화소를 중심으로 한 화소의 그룹과, 각도마다 선택한 화소의 그룹의 상관 관계를 계산한다. 예를 들면, 오차 추정부(403)는, 각도마다, 주목 화소를 포함하는 그룹의 화소의 화소값과 다른 그룹에 있어서의 대응하는 위치의 화소의 화소값의 차분의 절대값의 합을 산출한다.

각도마다 선택된, 화소의 그룹의 상호의 상관 관계에 따라서, 데이터 정상성의 각도를 검출할 수도 있다.

오차 추정부(403)는, 산출된 상관 관계를 나타내는 정보를, 정상 방향 도출부(404)에 공급한다.

스텝 S406에 있어서, 정상 방향 도출부(404)는, 스텝 S405의 처리에 의해 산출된 상관 관계에 따라서, 상관 관계가 가장 강한 화소의 그룹의 위치로부터, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터인 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출한다. 예를 들면, 정상 방향 도출부(404)는, 화소값의 차분의 절대값의 총계 중, 최소의 총계를 선택하고, 선택된 총계가 산출된 화소의 그룹의 위치로부터, 데이터 정상성의 각도θ를 검출한다.

정상 방향 도출부(404)는, 검출한 데이터 정상성의 각도를 나타내는 데이터 정상성 정보를 출력한다.

스텝 S407에 있어서, 데이터 선택부(402)는, 모든 화소의 처리가 종료되었는지 여부를 판정하고, 모든 화소의 처리가 종료되지 않은 것으로 판정된 경우, 스텝 S401로 복귀하고, 아직 주목 화소로서 선택되지 않은 화소로부터 주목 화소를 선택하고, 전술한 처리를 반복한다.

스텝 S407에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 처리는 종료된다.

이와 같이, 데이터 정상성 검출부(101)는, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출할 수 있다.

그리고, 도 72에서 구성이 나타내는 데이터 정상성 검출부(101)는, 주목하고 있는 프레임인 주목 프레임의, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향의 액티비티를 검출하고, 검출된 액티비티에 따라, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 움직임 벡터마다, 주목 프레임 및 주목 프레임의 시간적으로 전 또는 후의 프레임의 각각으로부터, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 그룹을, 복수개 추출하여, 추출된 화소의 그룹의 상관 관계를 검출하고, 상관 관계에 따라서, 입력 화상에 있어서의, 시간 방향 및 공간 방향의 데이터 정상성의 각도를 검출할 수도 있다.

예를 들면, 도 80에 나타낸 바와 같이, 데이터 선택부(402)는, 검출된 액티비티에 따라, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 움직임 벡터마다, 주목 프레임인 프레임#n, 프레임#n-1, 및 프레임#n+1의 각각으로부터, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정 개수의 화소로 이루어지는 화소의 그룹을, 복수개 추출한다.

프레임#n-1은, 프레임#n에 대하여 시간적으로 이전의 프레임이며, 프레임#n+1은, 프레임#n에 대하여 시간적으로 이후의 프레임이다. 즉, 프레임#n-1, 프레임#n, 및 프레임#n+1은, 프레임#n-1, 프레임#n, 및 프레임#n+1의 순서로 표시된다.

오차 추정부(403)는, 추출한 화소로 이루어지는 복수개의 그룹에 대하여, 1

의 각도 및 1개의 움직임 벡터마다, 화소의 그룹의 상관 관계를 검출한다. 정상 방향 도출부(404)는, 화소의 그룹의 상관 관계에 따라, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 입력 화상에 있어서의, 시간 방향 및 공간 방향의 데이터 정상성의 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다.

도 81은, 도 72에 나타내는 데이터 정상성 검출부(101)의 보다 상세한 다른 구성을 나타낸 블록도이다. 도 76에 나타낸 경우와 동일한 부분에는, 동일한 번호를 부여하고, 그 설명은 생략한다.

데이터 선택부(402)는, 화소 선택부(421-1) 내지 화소 선택부(421-L)를 포함한다. 오차 추정부(403)는, 추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)를 포함한다.

도 81에 나타낸 데이터 정상성 검출부(101)에 있어서는, 각도의 범위에 대한 개수의 화소로 이루어지는, 화소의 그룹으로서, 각도의 범위에 대한 개수의 그룹이 추출되어, 추출된 화소의 그룹의 상관 관계가 검출되어 검출된 상관 관계에 따라서, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도가 검출된다.

먼저, 액티비티 정보에서 나타내는, 데이터 정상성의 각도가 45도 내지 135도 중 어느 하나의 값일 때의 화소 선택부(421-1) 내지 화소 선택부(421-L)의 처리를 설명한다.

도 82의 좌측에 나타낸 바와 같이, 도 76에 나타낸 데이터 정상성 검출부(101)에 있어서는, 설정된 직선의 각도에 따르지 않고, 일정한 개수의 화소로 이루어지는 화소의 그룹이 추출되는 것에 비하여, 도 81에 나타낸 데이터 정상성 검출부(101)에 있어서는, 도 82의 우측에 나타낸 바와 같이, 설정된 직선의 각도의 범위에 따른 개수의 화소로 이루어지는 화소의 그룹이 추출된다. 또, 도 81에 나타낸 데이터 정상성 검출부(101)에 있어서는, 화소의 그룹이, 설정된 직선의 각도의 범위에 따른 개수만큼 추출된다.

화소 선택부(421-1) 내지 화소 선택부(421-L)는, 45도 내지 135도의 범위의,

공간 방향 X를 나타낸 축을 기준 축으로 하여, 주목 화소를 지나는, 각각 서로 상

한 소정 각도의 직선을 설정한다.

화소 선택부(421-1) 내지 화소 선택부(421-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선의 각도의 범위에 따른 개수의, 주목 화소의 상측의 화소, 및 주목 화소의 하측의 화소, 및 주목 화소를 화소의 그룹으로서 선택한다.

화소 선택부(421-1) 내지 화소 선택부(421-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 대하여, 화소를 기준으로 한 가로 방향에 소정의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택하고, 선택된 화소에 대하여 세로로 1열의 화소로부터, 설정된 직선의 각도의 범위에 따른 개수의, 선택된 화소의 상측의 화소, 및 선택된 화소의 하측의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도의 범위에 따른 개수의 화소를, 화소의 그룹으로서 선택한다. 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도의 범위에 따른 개수의, 화소의 그룹을 선택한다.

예를 들면, 공간 방향 X에 대하여 대략 45도의 각도에 위치하는, 검출 소자의 검출 영역의 폭과 대략 동일한 폭의 가는 선의 화상이 센서(2)로 촬상되었을 경우, 가는 선의 화상은, 공간 방향 Y으로 1열로 배열된 3개의 화소에 원호 형상이 형성되도록, 데이터(3)에 투영된다. 이에 비해, 공간 방향 X에 대하여 대략 수직으로 위치하는, 검출 소자의 검출 영역의 폭과 대략 동일한 폭의 가는 선의 화상이 센서(2)로 촬상되었을 경우, 가는 선의 화상은, 공간 방향 Y으로 1열로 배열된, 다수의 화소에 원호 형상이 형성되도록, 데이터(3)에 투영된다.

화소의 그룹에 동일한 개수의 화소가 포함되어 있다고 하면, 가는 선이 공간 방향 X에 대하여 대략 45도의 각도에 위치하는 경우, 화소의 그룹에 있어서, 가는 선의 화상이 투영된 화소수가 적게 되어, 분해능이 저하되게 된다. 역으로, 가는 선이 공간 방향 X에 대하여 대략 수직으로 위치하는 경우, 화소의 그룹에 있어서, 가는 선의 화상이 투영된 화소 중, 일부의 화소에 대하여 처리가 실행되어, 정확성이 저하될 우려가 있다.

그래서, 가는 선의 화상이 투영된 화소가 대략 동등하게 되도록, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정하는 직선이 공간 방향 X에 대하여 45도의 각도로부터 보다 가까울 때, 각각 화소의 그룹에 포함되는 화소의 수를 적게 하여, 화소의 그룹의 수를 많게 하고, 설정하는 직선이 공간 방향 X에 대하여 수직으로 보다 가까운 경우, 각각의 화소의 그룹에 포함되는 화소의 수를 많게 하여, 화소의 그룹의 수가 적어지도록, 화소 및 화소의 그룹을 선택한다.

예를 들면, 도 83 및 도 84에서 나타낸 바와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 45도 이상 63.4도 미만의 범위(도 83 및 도 84에 있어서, A에서 나타낸 범위)에 있을 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 5개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 5화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 5개의 화소를 화소의 그룹으로서 선택한다.

즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 45도 이상 63.4도 미만의 범위에 있을 때, 입력 화상으로부터, 각각 5개의 화소로 이루어지는, 11개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소는, 주목 화소에 대하여, 세로 방향으로 5화소 내지 9화소 떨어진 위치에 있다.

도 84에 있어서, 열의 수는, 주목 화소의 좌측 또는 우측의, 화소의 그룹으로서 화소가 선택되는 화소의 열의 수를 나타낸다. 도 84에 있어서, 1열의 화소의 수는, 주목 화소에 대하여, 세로로 1열의 화소의 열, 또는 주목 화소의 좌측 또는 우측의 열로부터, 화소의 그룹으로서 선택되는 화소의 수를 나타낸다. 도 84에 있어서, 화소의 선택 범위는, 주목 화소에 대한, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소의 세로 방향의 위치를 나타낸다.

도 85에서 나타낸 바와 같이, 예를 들면, 화소 선택부(421-1)는, 설정된 직선의 각도가, 45도일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 5개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 5화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 5개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-1)는, 입력 화상으로부터, 각각 5개의 화소로 이루어지는, 11개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 5화소 떨어진 위치에 있다.

그리고, 도 85 내지 도 92에 있어서, 점선으로 표현되고 사각(점선으로 나누어진 1개의 격자)은, 1개의 화소를 나타내고, 실선으에서 나타내는 사각은, 화소의 그룹을 나타낸다. 도 85내지 도 92에 있어서, 주목 화소의 공간 방향 X의 좌표를 0으로 하고, 주목 화소의 공간 방향 Y의 좌표를 0으로 하였다.

또, 도 85내지 도 92에 있어서, 사선으에서 나타내는 사각은, 주목 화소 또는 설정된 직선에 가장 가까운 위치의 화소를 나타낸다. 도 85 내지 도 92에 있어서, 두꺼운 선으에서 나타내는 사각은, 주목 화소를 중심으로 하여 선택된 화소의 그룹을 나타낸다.

도 86에 나타낸 바와 같이, 예를 들면, 화소 선택부(421-2)는, 설정된 직선의 각도가, 60.9도 일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 5개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 5화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 5개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-2)는, 입력 화상으로부터, 각각 5개의 화소로 이루어지는, 11개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 9화소 떨어진 위치에 있다.

예를 들면, 도 83 및 도 84에서 나타낸 바와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 63.4도 이상 71.6도 미만의 범위(도 83 및 도 84에 있어서, B에서 나타낸 범위)에 있을 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 7개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 4화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 7개의 화소를 화소의 그룹으로서 선택한다.

즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 63.4도 이상 71.6도 미만의 범위에 있을 때, 입력 화상으로부터, 각각 7개의 화소로 이루어지는, 9개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소의 세로 방향의 위치는, 주목 화소에 대하여, 8화소 내지 11화소이다.

도 87에 나타낸 바와 같이, 예를 들면, 화소 선택부(421-3)는, 설정된 직선의 각도가, 63.4도일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 7개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 4화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 7개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-3)는, 입력 화상으로부터, 각각 7개의 화소로 이루어지는, 9개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 8화소 떨어진 위치에 있다.

또, 도 88에 나타낸 바와 같이, 예를 들면, 화소 선택부(421-4)는, 설정된 직선의 각도가, 70.0도 일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 7개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 4화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 7개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-4)는, 입력 화상으로부터, 각각 7개의 화소로 이루어지는, 9개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 11화소 떨어진 위치에 있다.

예를 들면, 도 83 및 도 84에서 나타낸 바와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 71.6도 이상 76.0도 미만의 범위(도 83 및 도 84에 있어서, C에서 나타낸 범위)에 있을 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 9개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 3화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 9개의 화소를 화소의 그룹으로서 선택한다.

즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 71.6도 이상 76.0도 미만의 범위에 있을 때, 입력 화상으로부터, 각각 9개의 화소로 이루어지는, 7개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소의 세로 방향의 위치는, 주목 화소에 대하여, 9화소 내지 11화소이다.

도 89에서 나타낸 바와 같이, 예를 들면, 화소 선택부(421-5)는, 설정된 직선의 각도가, 71.6도 일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 9개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 3화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 9개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-5)는, 입력 화상으로부터, 각각 9개의 화소로 이루어지는, 7개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 9화소 떨어진 위치에 있다.

또, 도 90에 나타낸 바와 같이, 예를 들면, 화소 선택부(421-6)는, 설정된 직선의 각도가, 74.7도일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 9개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 3화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 9개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-6)는, 입력 화상으로부터, 각각 9개의 화소로 이루어지는, 7개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 11화소 떨어진 위치에 있다.

예를 들면, 도 83 및 도 84에서 나타낸 바와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 76.0도 이상 87.7도 이하의 범위(도 83 및 도 84에 있어서, D에서 나타낸 범위)에 있을 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 11개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 2화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 11개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 76.0도 이상 87.7도 이하의 범위에 있을 때, 입력 화상으로부터, 각각 11개의 화소로 이루어지는, 5개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소의 세로 방향의 위치는, 주목 화소에 대하여, 8화소 내지 50화소이다.

도 91에 나타낸 바와 같이, 예를 들면, 화소 선택부(421-7)는, 설정된 직선의 각도가, 76.0도 일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한 11개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 2화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 11개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-7)는, 입력 화상으로부터, 각각 11개의 화소로 이루어지는, 5개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 8화소 떨어진 위치에 있다.

또, 도 92에서 나타낸 바와 같이, 예를 들면, 화소 선택부(421-8)은, 설정된 직선의 각도가, 87.7도 일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열로부터, 주목 화소를 중심으로 한11개의 화소를 화소의 그룹으로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 2화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 11개의 화소를 화소의 그룹으로서 선택한다. 즉, 화소 선택부(421-8)는, 입력 화상으로부터, 각각 11개의 화소로 이루어지는, 5개의 화소의 그룹을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 세로 방향으로 50화소 떨어진 위치에 있다.

이와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 각각, 각도의 범위에 대응한 소정 개수의 화소로 이루어지는, 각도의 범위에 대응한 소정 개수의 화소의 그룹을 선택한다.

화소 선택부(421-1)는, 선택한 화소의 그룹을 추정 오차 산출부(422-1)에 공급하고, 화소 선택부(421-2)는, 선택한 화소의 그룹을 추정 오차 산출부(422-2)에 공급한다. 마찬가지로, 화소 선택부(421-3) 내지 화소 선택부(421-L)의 각각은, 선택한 화소의 그룹을 추정 오차 산출부(422-3) 내지 추정 오차 산출부(422-L)의 각각에 공급한다.

추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)는, 화소 선택부(421-1) 내지 화소 선택부(421-L) 중 어느 하나로부터 공급된, 복수개의 그룹에 있어서의 대응하는 위치의 화소의 화소값의 상관 관계를 검출한다. 예를 들면, 추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)는, 화소 선택부(421-1) 내지 화소 선택부(421-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 화소의 그룹의 화소의 화소값과 다른 화소의 그룹에 있어서의 대응하는 위치의 화소의 화소값의 차분의 절대값의 합을 산출하고, 주목 화소를 포함하는 화소의 그룹 이외의 화소의 그룹에 포함되는 화소수로, 산출된 합을 나눗셈한다. 산출된 합을, 주목 화소를 포함하는 그룹 이외의 그룹에 포함되는 화소수로, 나눗셈하는 것은, 설정된 직선의 각도에 따라서 선택되는 화소수가 상이하므로, 상관 관계를 나타낸 값을 정규화하기 위해서이다.

추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)는, 검출된 상관 관계를 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다. 예를 들면, 추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)는, 정규화된 화소값의 차분의 절대값의 합을 최소 오차 각도 선택부(413)에 공급한다.

다음에, 액티비티 정보에 의해 나타내는, 데이터 정상성의 각도가 0도 내지 45도 및 135도 내지 180도 중 어느 하나의 값 일 때의 화소 선택부(421-1) 내지 화소 선택부(421-L)의 처리를 설명한다.

화소 선택부(421-1) 내지 화소 선택부(421-L)는, 0도 내지 45도 또는 135도 내지 180도의 범위의, 공간 방향 X를 나타낸 축을 기준 축으로 하여, 주목 화소를 지나는, 각각 서로 상이한 소정 각도의 직선을 설정한다.

화소 선택부(421-1) 내지 화소 선택부(421-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열에 속하는 화소로서, 설정된 직선의 각도의 범위에 따른 개수의, 주목 화소의 좌측의 화소, 및 주목 화소의 우측의 화소, 및 주목 화소를 화소의 그룹으로서 선택한다.

화소 선택부(421-1) 내지 화소 선택부(421-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열에 대하여, 화소를 기준으로 한 세로 방향으로 소정의 거리에 있는, 상측 및 하측의 가로로 1열의 화소의 열에 속하는 화소로서, 설정된 직선에 가장 가까운 위치의 화소를 선택하고, 선택된 화소에 대하여 가로로 1열의 화소로부터, 설정된 직선의 각도의 범위에 따른 수의, 선택된 화소의 좌측의 화소, 및 선택된 화소의 우측의 화소, 및 선택된 화소를 화소의 그룹으로서 선택한다.

즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도의

범위에 따른 개수의 화소를, 화소의 그룹으로서 선택한다. 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도의 범위에 따른 개수의, 화소의 그룹을 선택한다.

화소 선택부(421-1)는, 선택한 화소의 그룹을 추정 오차 산출부(422-1)에 공급하고, 화소 선택부(421-2)는, 선택한 화소의 그룹을 추정 오차 산출부(422-2)에 공급한다. 마찬가지로, 화소 선택부(421-3) 내지 화소 선택부(421-L)의 각각은, 선택한 화소의 그룹을 추정 오차 산출부(422-3) 내지 추정 오차 산출부(422-L)의 각각에 공급한다.

추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)는, 화소 선택부(421-1) 내지 화소 선택부(421-L) 중 어느 하나로부터 공급된, 복수개의 그룹에 있어서의 대응하는 위치의 화소의 화소값의 상관 관계를 검출한다.

추정 오차 산출부(422-1) 내지 추정 오차 산출부(422-L)는, 검출된 상관 관계를 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다.

다음에, 도 93의 흐름도를 참조하여, 스텝 S101의 처리에 대응하는, 도 81에서 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성의 검출의 처리를 설명한다.

스텝 S421 및 스텝 S422의 처리는, 스텝 S401 및 스텝 S402의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S423에 있어서, 데이터 선택부(402)는, 스텝 S422의 처리에 의해 검출된 액티비티에 대한 소정 범위의 각도마다, 주목 화소를 포함하는 화소의 열로부터, 주목 화소를 중심으로 한, 각도의 범위에 대하여 정한 개수의 화소를, 화소의 그룹으로서 선택한다. 예를 들면, 데이터 선택부(402)는, 주목 화소가 속하는 세로 또는 가로로 1열의 화소의 열에 속하는 화소로서, 설정하는 직선의 각도에 대하여, 각도의 범위에 의해 정한 개수의, 주목 화소의 상측 또는 좌측의 화소, 및 주목 화소의 하측 또는 우측의 화소, 및 주목 화소를 화소의 그룹으로서 선택한다.

스텝 S424에 있어서, 데이터 선택부(402)는, 스텝 S422의 처리에서 검출된 액티비티에 따른, 소정 범위의 각도마다, 각도의 범위에 대하여 정한 개수의 화소의 열로부터, 각도의 범위에 대하여 정한 개수의 화소를, 화소의 그룹으로서 선택한다. 예를 들면, 데이터 선택부(402)는, 소정 범위의 각도를 가지고, 공간 방향 X를 나타낸 축을 기준 축으로 하여, 주목 화소를 지나는 직선을 설정하고, 주목 화소에 대하여, 가로 방향 또는 세로 방향으로, 설정하는 직선의 각도의 범위에 대하여 소정 범위만큼 떨어진 화소로서, 직선에 가장 가까운 화소를 선택하고, 선택된 화소의 상측 또는 좌측의, 설정하는 직선의 각도의 범위에 대한 수의 화소, 및 선택된 화소의 하측 또는 우측의, 설정하는 직선의 각도의 범위에 대한 수의 화소, 및 선택된 선에 가장 가까운 화소를 화소의 그룹으로서 선택한다. 데이터 선택부(402)는, 각도마다, 화소의 그룹을 선택한다.

데이터 선택부(402)는, 선택한 화소의 그룹을 오차 추정부(403)에 공급한다.

스텝 S425에 있어서, 오차 추정부(403)는, 주목 화소를 중심으로 한 화소의 그룹과, 각도마다 선택한 화소의 그룹의 상관 관계를 계산한다. 예를 들면, 오차 추정부(403)는, 주목 화소를 포함하는 그룹의 화소의 화소값과, 다른 그룹에 있어서의 대응하는 위치의 화소의 화소값의 차분의 절대값의 합을 산출하고, 다른 그룹에 속하는 화소수에 으해, 화소값의 차분의 절대값의 합을 나눗셈함으로써, 상관 관계를 계산한다.

각도마다 선택된, 화소의 그룹의 상호의 상관 관계에 따라서, 데이터 정상성의 각도를 검출할 수도 있다.

오차 추정부(403)는, 산출된 상관 관계를 나타내는 정보를, 정상 방향 도출부(404)에 공급한다.

스텝 S426 및 스텝 S427의 처리는, 스텝 S406 및 스텝 S407의 처리와 동일하므로, 그 설명은 생략한다.

이와 같이, 데이터 정상성 검출부(101)는, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를, 보다 정확하게, 보다 정밀하게 검출할 수 있다. 도 81에 구성을 나타낸 데이터 정상성 검출부(101)는, 특히, 데이터 정상성의 각도가 45도 부근인 경우에 있어서, 가는 선의 화상이 투영된, 보다 많은 화소의 상관 관계를 평가할 수 있으므로, 보다 정밀도가 양호하게 데이터 정상성의 각도를 검출할 수 있다.

그리고, 도 81에서 구성이 나타내는 데이터 정상성 검출부(101)에 있어서도, 주목하고 있는 프레임인 주목 프레임의, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향의 액티비티를 검출하고, 검출된 액티비티에 따라, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 움직임 벡터마다, 주목 프레임 및 주목 프레임의 시간적으로 전 또는 후의 프레임의 각각으로부터, 수직 방향으로 1열 또는 수평 방향으로 1열의, 공간적인 각도의 범위에 대하여 정한 개수의 화소로 이루어지는 화소의 그룹을, 공간적인 각도의 범위에 대하여 정한 개수만큼 추출하고, 추출된 화소의 그룹의 상관 관계를 검출하고, 상관 관계에 따라, 입력 화상에 있어서의, 시간 방향 및 공간 방향의 데이터 정상성의 각도를 검출할 수도 있다.

도 94는, 데이터 정상성 검출부(101)의 또 다른 구성을 나타낸 블록도이다.

도 94에 구성을 나타낸 데이터 정상성 검출부(101)에 있어서는, 주목하고 있는 화소인 주목 화소에 대하여, 소정 개수의 화소로 이루어지는, 주목 화소를 중심으로 한 블록과, 주목 화소의 주변의, 각각, 소정 개수의 화소로 이루어지는 복수개의 블록이 추출되어, 주목 화소를 중심으로 한 블록과 주변의 블록의 상관 관계가 검출되어, 상관 관계에 따라, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도가 검출된다.

데이터 선택부(441)는, 입력 화상의 화소로부터 주목 화소를 순서대로 선택하고, 주목 화소를 중심으로 한, 소정 개수의 화소로 이루어지는 블록, 및 주목 화소의 주변의, 소정 개수의 화소로 이루어지는 복수개의 블록을 추출하고, 추출한 블록을 오차 추정부(442)에 공급한다.

예를 들면, 데이터 선택부(441)는, 주목 화소를 중심으로 한 5 × 5의 화소로 이루어지는 블록, 주목 화소의 주변으로부터, 주목 화소 및 기준축을 기준으로 한 소정 각도의 범위마다, 5 × 5의 화소로 이루어지는 2개의 블록을 추출한다.

오차 추정부(442)는, 데이터 선택부(441)로부터 공급된, 주목 화소를 중심으로 한 블록과, 주목 화소의 주변의 블록과의 상관 관계를 검출하여, 검출한 상관 관계를 나타낸 상관 정보를 정상 방향 도출부(443)에 공급한다.

예를 들면, 오차 추정부(442)는, 각도의 범위마다, 주목 화소를 중심으로 한 5 × 5의 화소로 이루어지는 블록과, 1개의 각도의 범위에 대응하는, 5 × 5의 화소로 이루어지는 2개의 블록에 대하여, 화소값의 상관 관계를 검출한다.

정상성 방향 도출부(443)는, 오차 추정부(442)로부터 공급된 상관 관계 정보에 따라, 상관 관계가 가장 강한, 주목 화소의 주변의 블록의 위치로부터, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다. 예를 들면, 정상 방향 도출부(443)는, 오차 추정부(442)로부터 공급된 상관 관계의 정보에 따라, 주목 화소를 중심으로 한 5 × 5의 화소로 이루어지는 블록에 대하여 가장 상관 관계가 강한, 5 × 5의 화소로 이루어지는 2개의 블록에 대한 각도의 범위를, 데이터 정상성의 각도로서 검출하고, 검출된 각도를 나타내는 데이터 정상성 정보를 출력한다.

도 95는, 도 94에 나타내는 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타낸 블록도이다.

데이터 선택부(441)는, 화소 선택부(461-1) 내지 화소 선택부(461-L)를 포함한다. 오차 추정부(442)는, 추정 오차 산출부(462-1) 내지 추정 오차 산출부(462-L)를 포함한다. 정상 방향 도출부(443)는, 최소 오차 각도 선택부(463)를 포함한다.

예를 들면, 데이터 선택부(441)에는, 화소 선택부(461-1) 내지 화소 선택부 (461-8)가 설치된다. 예를 들면, 오차 추정부(442)에는, 추정 오차 산출부(462-1) 내지 추정 오차 산출부(462-8)가 설치된다.

화소 선택부(461-1) 내지 화소 선택부(461-L)의 각각은, 주목 화소를 중심으로 한, 소정 개수의 화소로 이루어지는 블록, 및 주목 화소 및 기준축을 기준으로 한 소정 각도의 범위에 대응한, 소정 개수의 화소로 이루어지는 2개의 블록을 추출한다.

도 96은, 화소 선택부(461-1) 내지 화소 선택부(461-L)에 의해 추출되는, 5 × 5의 화소의 블록의 예를 설명하는 도면이다. 도 96에 있어서의 중앙의 위치는, 주목 화소의 위치를 나타낸다.

그리고, 5 × 5의 화소의 블록은, 일례에 불과하며, 블록에 포함되는 화소의 수는, 본 발명을 한정하는 것은 아니다.

예를 들면, 화소 선택부(461-1)는, 주목 화소를 중심으로 한, 5 × 5의 화소의 블록을 추출하는 동시에, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 대응하는, 주목 화소에 대하여, 우측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5화소의 블록(도 96중 A에서 나타낸다)을 추출하고, 주목 화소에 대하여, 좌측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 A'에서 나타낸다)을 추출한다. 화소 선택부(461-1)는, 추출한, 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-1)에 공급한다.

화소 선택부(461-2)는, 주목 화소를 중심으로 한, 5 × 5의 화소의 블록을 추출하는 동시에, 18.4도 내지 33.7도의 범위에 대응하는, 주목 화소에 대하여, 우측으로 10화소 이동하고, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5화소의 블록(도 96중 B에서 나타낸다)을 추출하고, 주목 화소에 대하여, 좌측으로 10화소 이동하고, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 B'에서 나타낸다)을 추출한다. 화소 선택부(461-2)는, 추출한, 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-2)에 공급한다.

화소 선택부(461-3)는, 주목 화소를 중심으로 하는, 5 × 5의 화소의 블록을 추출하는 동시에, 33.7도 내지 56.3도의 범위에 대응하는, 주목 화소에 대하여, 우측으로 5화소 이동하고, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 C에서 나타낸다)을 추출하고, 주목 화소에 대하여, 좌측으로 5화소 이동하고, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5화소의 블록(도 96중 C'에서 나타낸다)을 추출한다. 화소 선택부(461-3)는, 추출한, 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-3)에 공급한다.

화소 선택부(461-4)는, 주목 화소를 중심으로 하는, 5 × 5의 화소의 블록을 추출하는 동시에, 56.3도 내지 71.6도의 범위에 대응하는, 주목 화소에 대하여, 우측으로 5화소 이동하고, 상측으로 10화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 D에서 나타낸다)을 추출하고, 주목 화소에 대하여, 좌측으로 5화소 이동하고, 하측으로 10화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 D'에서 나타낸다)을 추출한다. 화소 선택부(461-4)는, 추출한 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-4)에 공급한다.

화소 선택부(461-5)는, 주목 화소를 중심으로 하는, 5 × 5의 화소의 블록을 추출하는 동시에, 71.6도 내지 108.4도의 범위에 대응하는, 주목 화소에 대하여, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 E에서 나타낸다)을 추출하고, 주목 화소에 대하여, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 E'에서 나타낸다)을 추출한다. 화소 선택부(461-5)는, 추출한 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-5)에 공급한다.

화소 선택부(461-6)는, 주목 화소를 중심으로 하는, 5 × 5의 화소의 블록을 추출하는 동시에, 108.4도 내지 123.7도의 범위에 대응한, 주목 화소에 대하여, 좌측으로 5화소 이동하고, 상측으로 10화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 F에서 나타낸다)을 추출하고, 주목 화소에 대하여, 우측으로 5화소 이동하고, 하측으로 10화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 F'에서 나타낸다)를 추출한다. 화소 선택부(461-6)는, 추출한 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-6)에 공급한다.

화소 선택부(461-7)는, 주목 화소를 중심으로 하는, 5 × 5의 화소의 블록을 추출하는 동시에, 123.7도 내지 146.3도의 범위에 대응한, 주목 화소에 대하여, 좌측으로 5화소 이동하고, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 G에서 나타낸다)을 추출하고, 주목 화소에 대하여, 우측으로 5화소 이동하고, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 G'에서 나타낸다)을 추출한다. 화소 선택부(461-7)은, 추출한 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-7)에 공급한다.

화소 선택부(461-8)는, 주목 화소를 중심으로 하는, 5 × 5의 화소의 블록을 추출하는 동시에, 146.3도 내지 161.6도의 범위에 대응하는, 주목 화소에 대하여, 좌측으로 10화소 이동하고, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 H에서 나타낸다)을 추출하고, 주목 화소에 대하여, 우측으로 10화소 이동하고, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 블록(도 96중 H'에서 나타낸다)을 추출한다. 화소 선택부(461-8)는, 추출한 5 × 5의 화소의 3개의 블록을 추정 오차 산출부(462-8)에 공급한다.

이하, 주목 화소를 중심으로 하는, 소정 개수의 화소로 이루어지는 블록을 주목 블록이라 한다

이하, 주목 화소 및 기준축을 기준으로 하는 소정 각도의 범위에 대응하는, 소정 개수의 화소로 이루어지는 블록을 참조 블록이라 한다.

이와 같이, 화소 선택부(461-1) 내지 화소 선택부(461-8)는, 예를 들면, 주목 화소를 중심으로 하여, 25 × 25의 화소의 범위로부터, 주목 블록 및 참조 블록을 추출한다.

추정 오차 산출부(462-1) 내지 추정 오차 산출부(462-L)는, 화소 선택부(461-1) 내지 화소 선택부(461-L)로부터 공급되는, 주목 블록과, 2개의 참조 블록의 상관 관계를 검출하여, 검출한 상관 관계를 나타낸느 상관 정보를 최소 오차 각도 선택부(463)에 공급한다.

예를 들면, 추정 오차 산출부(462-1)는, 주목 화소를 중심으로 하는, 5 × 5의 화소로 이루어지는 주목 블록과, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 대응하여 추출되는, 주목 화소에 대하여, 우측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5의 화소의 참조 블록에 대하여, 주목 블록에 포함되는 화소의 화소값과 참조 블록에 포함되는 화소의 화소값의 차분의 절대값을 산출한다.

이 경우에 있어서, 추정 오차 산출부(462-1)는, 도 97에 나타낸 바와 같이, 주목 블록의 중앙의 화소와 참조 블록의 중앙의 화소가 겹치는 위치를 기준으로 하여, 화소값의 차분의 절대값의 산출에, 주목 화소의 화소값이 사용되도록, 참조 블록에 대하여, 주목 블록의 위치를, 좌측으로 2화소 내지 우측으로 2화소 중 어느 하나, 상측으로 2화소 내지 하측으로 2화소 중 어느 하나 이동시켰을 경우과 겹쳐지는 위치가 되는 화소의 화소값의 차분의 절대값을 산출한다. 즉, 주목 블록과 참조 블록의 25종류의 위치에서의, 대응하는 위치의 화소의 화소값의 차분의 절대값이 산출된다. 바꾸어 말하면, 화소값의 차분의 절대값이 산출되는 경우에 있어서, 상대적으로 이동되는 주목 블록 및 참조 블록으로 이루어지는 범위는, 9 × 9화소이다.

도 97에 있어서, 사각은, 화소를 나타내고, A는, 참조 블록을 나타내고, B는, 주목 블록을 나타낸다. 도 97에 있어서, 두꺼운 선은, 주목 화소를 나타낸다. 즉, 도 97은, 참조 블록에 대하여, 주목 블록이 우측으로 2화소, 및 상측으로 1화소 이동한 경우의 예를 나타낸 도면이다.

또한, 추정 오차 산출부(462-1)는, 주목 화소를 중심으로 한, 5 × 5 화소로 이루어지는 주목 블록과, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 대응하여 추출되는, 주목 화소에 대하여, 좌측으로 5화소 이동한 위치에 있는 화소를 중심으로 하는, 5 × 5화소의 참조 블록에 대하여, 주목 블록에 포함되는 화소의 화소값과 참조 블록에 포함되는 화소의 화소값의 차분의 절대값을 산출한다.

그리고, 추정 오차 산출부(462-1)는, 산출된 차분의 절대값의 합을 구하여, 차분의 절대값의 합을, 상관 관계를 나타내는 상관 정보로서 최소 오차 각도 선택부(463)에 공급한다.

추정 오차 산출부(462-2)는, 5 × 5화소로 이루어지는 주목 블록과, 18.4도 내지 33.7도의 범위에 대응하여 추출된, 5 × 5화소의 2개의 참조 블록에 대하여, 화소값의 차분의 절대값을 산출하고, 또한 산출된 차분의 절대값의 합을 산출한다. 추정 오차 산출부(462-1)는, 산출된 차분의 절대값의 합을, 상관 관계를 나타낸 상관 정보로서 최소 오차 각도 선택부(463)에 공급한다.

마찬가지로, 추정 오차 산출부(462-3) 내지 추정 오차 산출부(462-8)의 각각은, 5 × 5화소로 이루어지는 주목 블록과, 소정 각도의 범위에 대응하여 추출된, 5 × 5화소의 2개의 참조 블록에 대하여, 화소값의 차분의 절대값을 산출하고, 또한 산출된 차분의 절대값의 합을 산출한다. 추정 오차 산출부(462-3) 내지 추정 오차 산출부(462-8)의 각각은, 산출된 차분의 절대값의 합을, 상관 관계를 나타낸 상관 관계 정보로서 최소 오차 각도 선택부(463)에 공급한다.

최소 오차 각도 선택부(463)는, 추정 오차 산출부(462-1) 내지 추정 오차 산출부(462-8)로부터 공급된, 상관 정보로서의 화소값의 차분의 절대값의 합 중에서, 가장 강한 상관 관계를 나타낸, 최소의 값이 얻어진 참조 블록의 위치로부터, 2개의 참조 블록에 대한 각도를 데이터 정상성의 각도로서 검출하고, 검출된 각도를 나타내는 데이터 정상성 정보를 출력한다.

여기서, 참조 블록의 위치와, 데이터 정상성의 각도의 범위의 관계에 대하여 설명한다.

실세계의 신호를 근사하는 근사 함수 f(x)를 n차의 1차원 다항식에서 근사한 경우, 근사 함수 f(x)는, 식(30)에 의해 나타낼 수가 있다.

…(30)

근사 함수 f(x)에 의해 근사되는 실세계(1)의 신호의 파형이, 공간 방향 Y에 대하여 일정한 경사(각도)를 가지는 경우, 식(30)에 있어서의, x를 x + γy로 함으로써 얻어진 식(31)에서, 실세계(1)의 신호를 근사하는 근사 함수(x, y)는, 표현된다.

…(31)

γ는, 공간 방향 Y의 위치의 변화에 대한, 공간 방향 X의 위치의 변화의 비율을 나타낸다. 이하, γ를 시프트량이라고도 한다.

도 98은, 주목 화소의 위치와, 각도θ를 가지는 직선과의 공간 방향 X의 거리를 0(제로)로 한 때, 즉, 주목 화소를 직선이 통과할 때의, 주목 화소의 주변의 화소의 위치와, 각도θ를 가지는 직선과의 공간 방향 X의 거리를 나타낸 도면이다. 여기서, 화소의 위치는, 화소의 중심의 위치이다. 또, 위치와 직선과의 거리는, 위치가 직선에 대하여 좌측에 있을 때, 마이너스의 값으로 나타나고, 위치가 직선에 대하여 우측에 있을 때, 플러스의 값으에서 나타낸다.

예를 들면, 주목 화소의 우측에 인접하는 화소의 위치, 즉 공간 방향 X의 좌표 x가 1만큼 증가하는 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리는, 1이며, 주목 화소의 좌측에 인접하는 화소의 위치, 즉 공간 방향 X의 좌표 x가 1만큼 감소하는 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리는, -1이다. 주목 화소의 상측에 인접하는 화소의 위치, 즉 공간 방향 Y의 좌표 y가 1 증가하는 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리는 -γ이고, 주목 화소의 하측에 인접하는 화소의 위치, 즉 공간 방향 Y의 좌표 y가 1만큼 감소하는 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리는, γ이다.

각도 θ가 45도를 넘고 90도 미만이며, 시프트량γ가, 0을 넘고 1 미만일 때, 시프트량 γ와 각도 θ사이에는, γ = 1/tanθ의 관계식이 성립된다. 도 99는, 시프트량 γ와 각도 θ의 관계를 나타낸 도면이다.

여기서, 시프트량 γ의 변화에 대한, 주목 화소의 주변의 화소의 위치와, 주목 화소를 지나고, 각도θ를 가지는 직선과의 공간 방향 X의 거리의 변화에 주목한다.

도 100은, 시프트량 γ에 대한, 주목 화소의 주변의 화소의 위치와, 주목 화소를 지나고, 각도θ를 가지는 직선과의 공간 방향 X의 거리를 나타낸 도면이다. 도 100에 있어서, 우측으로 상승하는 일점 쇄선은, 시프트량 γ에 대한, 주목 화소의 하측에 인접하는 화소의 위치와 직선과의 공간 방향 X의 거리를 나타내고, 좌측으로 하강하는 일점 쇄선은, 시프트량γ에 대한, 주목 화소의 상측에 인접하는 화소의 위치와 직선과의 공간 방향 X의 거리를 나타낸다.

도 100에 있어서, 우측으로 상승하는 2점 쇄선은, 시프트량 γ에 대한, 주목 화소로부터, 2화소 하측에서, 1화소 좌측에 위치하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타내고, 좌측으로 하강하는 2점 쇄선은, 시프트량 γ에 대한, 주목 화소로부터, 2화소 상측에서, 1화소 우측에 위치하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타낸다.

도 100에 있어서, 우측으로 상승하는 3점 쇄선은, 시프트량 γ에 대한, 주목 화소로부터, 1화소 하측에서, 1화소 좌측에 위치하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타내고, 좌측으로 하강하는 3점 쇄선은, 시프트량 γ에 대한, 주목 화소로부터, 1화소 상측에서, 1화소 우측에 위치하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타낸다.

도 100으로부터, 시프트량 γ에 대하여, 거리가 가장 작은 화소를 알 수 있다.

즉, 시프트량 γ가 0 내지 1/3일 때, 주목 화소의 상측에 인접하는 화소 및 주목 화소의 하측에 인접하는 화소로부터, 직선까지의 거리가 최소이다. 즉, 각 θ가 71.6도 내지 90도 일 때, 주목 화소의 상측에 인접하는 화소 및 주목 화소의 하측에 인접하는 화소로부터, 직선까지의 거리가 최소이다.

시프트량 γ가 1/3 내지 2/3일 때, 주목 화소에 대하여, 2화소 상측에서, 1화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 2화소 하측에서, 1화소 좌측에 위치하는 화소로부터, 직선까지의 거리가 최소이다. 즉, 각 θ가 56.3도 내지 71.6도일 때, 주목 화소에 대하여, 2화소 상측에서, 1화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 2화소 하측에서, 1화소 좌측에 위치하는 화소로부터, 직선 까지의 거리가 최소이다.

또, 시프트량 γ가 2/3 내지 1일 때, 주목 화소에 대하여, 1화소 상측에서, 1화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 1화소 하측에서, 1화소 좌측에 위치하는 화소로부터, 직선까지의 거리가 최소이다. 즉, 각 θ가 45도 내지 56.3도일 때, 주목 화소에 대하여, 1화소 상측에서, 1화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 1화소 하측에서, 1화소 좌측에 위치하는 화소로부터, 직선 까지의 거리가 최소이다.

각 θ가 0도로부터 45도까지의 범위의 직선과 화소의 관계도, 마찬가지로 생각할 수 있다.

도 98에 나타낸 화소를, 주목 블록 및 참조 블록으로 바꾸어서, 참조 블록과 직선의 공간 방향 X의 거리를 생각할 수 있다.

도 101에, 주목 화소를 지나고, 공간 방향 X의 축에 대하여 각 θ의 직선과의 거리가 최소의 참조 블록을 나타낸다.

도 101에 있어서의 A 내지 H 및 A' 내지 H'는, 도 96에 있어서의 A 내지 H 및 A' 내지 H'의 참조 블록을 나타낸다.

즉, 주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 0도 내지 18.4도 및 161.6도 내지 180.0도 중 어느 하나의 각 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 A 및 A'의 참조 블록의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, A 및 A'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, A 및 A'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 있다고 할 수 있다.

주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 18.4도 내지 33.7도 중 어느 하나의 각 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록의 각각과의 공간 방향 X의 거리 중, 직선과 B 및 B'의 참조 블록의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, B 및 B'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, B 및 B'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 18.4도 내지 33.7도의 범위에 있다고 할 수 있다.

주목 화소를 통하고, 공간 방향 X의 축을 기준으로 한, 33.7도 내지 56.3도 중 어느 하나의 각 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록의 각각과의 공간 방향 X의 거리 중, 직선과 C 및 C'의 참조 블록과의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, C 및 C'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, C 및 C'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 33.7도 내지 56.3도의 범위에 있다고 할 수 있다.

주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 56.3도 내지 71.6도 중 어느 하나의 각도θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 D 및 D'의 참조 블록과의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, D 및 D'의 참조 블록과의 상관 관계가 가장 강할 때, 주목 블록과, D 및 D'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 56.3도 내지 71.6도의 범위에 있다고 할 수 있다.

주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 71.6도 내지 108.4도 중 어느 하나의 각도θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 E 및 E'의 참조 블록의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, E 및 E'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, E 및 E'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 71.6도 내지 108.4도의 범위에 있다고 할 수 있다.

주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 108.4도 내지 123.7도 중 어느 하나의 각도θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 F 및 F'의 참조 블록의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, F 및 F'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, F 및 F'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 108.4도 내지 123.7도의 범위에 있다고 할 수 있다.

주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 123.7도 내지 146.3도 중 어느 하나의 각도θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 G 및 G'의 참조 블록의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, G 및 G'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, G 및 G'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 123.7도 내지 146.3도의 범위에 있다고 할 수 있다.

주목 화소를 지나고, 공간 방향 X의 축을 기준으로 한, 146.3도 내지 161.6도 중 어느 하나의 각 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 H 및 H'의 참조 블록의 거리가 최소가 된다. 따라서, 역으로 생각하면, 주목 블록과, H 및 H'의 참조 블록의 상관 관계가 가장 강할 때, 주목 블록과, H 및 H'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복적으로 나타나 있으므로, 데이터 정상성의 각도는, 146.3도 내지 161.6도의 범위에 있다고 할 수 있다.

이와 같이, 데이터 정상성 검출부(101)는, 주목 블록과 참조 블록의 상관 관계에 따라서, 데이터 정상성의 각도를 검출할 수 있다.

그리고, 도 94에 구성을 나타내는 데이터 정상성 검출부(101)에 있어서는, 데이터 정상성의 각도의 범위를 데이터 정상성 정보로서 출력하도록 해도 되고, 데이터 정상성의 각도의 범위를 나타내는 대표치를 데이터 정상성 정보로서 출력할 수도 있다. 예를 들면, 데이터 정상성의 각도의 범위의 중앙값을 대표치로 할 수 있다.

또한, 도 94에 구성을 나타내는 데이터 정상성 검출부(101)는, 상관 관계가 가장 강한 참조 블록의 주변의 참조 블록의 상관 관계를 이용함으로써, 검출하는 데이터 정상성의 각도의 범위를 1/2로, 즉, 검출하는 데이터 정상성의 각도의 분해능을 2배로 할 수 있다.

예를 들면, 주목 블록과, E 및 E'의 참조 블록의 상관이 가장 강할 때, 최소 오차 각도 선택부(463)는, 도 102에서 나타낸 바와 같이, 주목 블록에 대한, D 및 D'의 참조 블록의 상관 관계와 주목 블록에 대한, F 및 F'의 참조 블록의 상관 관계를 비교한다. 주목 블록에 대한, D 및 D'의 참조 블록의 상관 관계가, 주목 블록에 대한, F 및 F'의 참조 블록의 상관 관계와 비교하여, 강한 경우, 최소 오차 각도 선택부(463)는, 데이터 정상성의 각도에, 71.6도 내지 90도의 범위를 설정한다. 또, 이 경우, 최소 오차 각도 선택부(463)는, 데이터 정상성의 각도로, 대표치로서 81도를 설정해도 된다.

주목 블록에 대한, F 및 F'의 참조 블록의 상관이, 주목 블록에 대한, D 및 D'의 참조 블록의 상관과 비교하여, 강한 경우, 최소 오차 각도 선택부(463)는, 데이터 정상성의 각도로서, 90도 내지 108.4도의 범위를 설정한다. 또, 이 경우, 최소 오차 각도 선택부(463)는, 데이터 정상성의 각도로, 대표치로서 99도를 설정해도 된다.

최소 오차 각도 선택부(463)는, 마찬가지의 처리에 의해, 다른 각도의 범위에 대하여도, 검출하는 데이터 정상성의 각도의 범위를 1/2로 할 수 있다.

그리고, 도 102를 참조하여 설명한 방법을, 간이 16 방위 검출 방법이라고도 한다.

이와 같이, 도 94에 구성을 나타낸 데이터 정상성 검출부(101)는, 간단한 처리에 의해, 보다 범위가 좁은, 데이터 정상성의 각도를 검출할 수 있다.

다음에, 도 103의 흐름도를 참조하여, 스텝 S101의 처리에 대응하는, 도 94에서 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성 검출의 처리를 설명한다.

스텝 S441에 있어서, 데이터 선택부(441)는, 입력 화상으로부터, 주목하고 있는 화소인 주목 화소를 선택한다. 예를 들면, 데이터 선택부(441)는, 입력 화상으로부터, 라스터 스캔 순으로, 주목 화소를 선택한다.

스텝 S442에 있어서, 데이터 선택부(441)는, 주목 화소를 중심으로 하는 소정 개수의 화소로 이루어지는 주목 블록을 선택한다. 예를 들면, 데이터 선택부(441)는, 주목 화소를 중심으로 하는 5 × 5 화소로 이루어지는 주목 블록을 선택한다.

스텝 S443에 있어서, 데이터 선택부(441)는, 주목 화소 주변의 소정의 위치의 소정 개수의 화소로 이루어지는 참조 블록을 선택한다. 예를 들면, 데이터 선택부(441)는, 주목 화소 및 기준축을 기준으로 한 소정 각도의 범위마다, 주목 블록의 크기를 기준으로 한, 소정의 위치의 화소를 중심으로 하는 5 × 5 화소로 이루어지는 참조 블록을 선택한다.

데이터 선택부(441)는, 주목 블록 및 참조 블록을 오차 추정부(442)에 공급한다.

스텝 S444에 있어서, 오차 추정부(442)는, 주목 화소 및 기준축을 기준으로 한 소정 각도의 범위마다, 주목 블록과, 각도의 범위에 대응한 참조 블록과의 상관 관계를 계산한다. 오차 추정부(442)는, 산출된 상관 관계를 나타낸 상관 정보를 정상 방향 도출부(443)에 공급한다.

스텝 S445에 있어서, 정상 방향 도출부(443)는, 주목 블록에 대하여, 상관 관계가 가장 강한 참조 블록의 위치로부터, 결락된 실세계(1)의 광신호인 화상의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출한다.

정상 방향 도출부(443)는, 검출한 데이터 정상성의 각도를 나타내는 데이터 정상성 정보를 출력한다.

스텝 S446에 있어서, 데이터 선택부(441)는, 모든 화소의 처리가 종료되었는지 여부를 판정하고, 모든 화소의 처리가 종료되지 않은 것으로 판정된 경우, 스텝 S441로 복귀하고, 아직 주목 화소로서 선택되지 않은 화소로부터 주목 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S446에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 처리는 종료된다.

이와 같이, 도 94에 구성을 나타낸 데이터 정상성 검출부(101)는, 보다 간단한 처리에 의해, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출할 수 있다. 또, 도 94에 구성을 나타낸 데이터 정상성 검출부(101)는, 입력 화상 중의, 비교적 좁은 범위의 화소의 화소값을 사용하여, 데이터 정상성의 각도를 검출할 수 있으므로, 입력 화상에 노이즈 등이 포함되어 있어도, 보다 정확하게 데이터 정상성의 각도를 검출할 수 있다.

그리고, 도 94에서 구성이 나타내는 데이터 검출부(101)는, 주목하고 있는 프레임인 주목 프레임의, 주목하고 있는 화소인 주목 화소에 대하여, 주목 프레임으로부터, 소정 개수의 화소로 이루어지는, 주목 화소를 중심으로 한 블록과, 주목 화소의 주변의, 각각, 소정 개수의 화소로 이루어지는 복수개의 블록을 추출하는 동시에, 주목 프레임에 대하여 시간적으로 전 또는 후의 프레임으로부터, 소정 개수의 화소로 이루어지는, 주목 화소에 대응하는 위치의 화소를 중심으로 한 블록과, 주목 화소에 대응하는 위치의 화소의 주변의, 각각, 소정 개수의 화소로 이루어지는 복수개의 블록을 추출하고, 주목 화소를 중심으로 한 블록과 공간 목표 또는 시간적으로 주변의 블록의 상관 관계를 검출하고, 상관 관계에 따라, 입력 화상에 있어서의, 시간 방향 및 공간 방향의 데이터 정상성의 각도를 검출해도 된다.

예를 들면, 도 104에 나타낸 바와 같이, 데이터 선택부(441)는, 주목 프레임인 프레임#n로부터 주목 화소를 순서대로 선택하고, 프레임#n로부터, 주목 화소를 중심으로 한, 소정 개수의 화소로 이루어지는 블록, 및 주목 화소의 주변의, 소정 개수의 화소로 이루어지는 복수개의 블록을 추출한다. 또, 데이터 선택부(441)는, 프레임#n-1 및 프레임#n+1의 각각으로부터, 주목 화소의 위치에 대응하는 위치의 화소를 중심으로 한, 소정 개수의 화소로 이루어지는 블록, 및 주목 화소의 위치에 대응하는 위치의 화소의 주변의, 소정 개수의 화소로 이루어지는 복수개의 블록을 추출한다. 데이터 선택부(441)는, 추출한 블록을 오차 추정부(442)에 공급한다.

오차 추정부(442)는, 데이터 선택부(441)로부터 공급된, 주목 화소를 중심으로 한 블록과, 공간 목표 또는 시간적으로 주변의 블록의 상관 관계를 검출하여, 검출한 상관 관계를 나타낸 상관 정보를 정상 방향 도출부(443)에 공급한다. 정상성 방향 도출부(443)는, 오차 추정부(442)로부터 공급된 상관 정보에 따라, 상관이 가장 강한, 공간 목표 또는 시간적으로 주변의 블록의 위치로부터, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 입력 화상에 있어서의, 시간 방향 및 공간 방향의 데이터 정상성의 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다.

또, 데이터 정상성 검출부(101)는, 입력 화상의 컴퍼넌트 신호에 따라서, 데이터 정상성 검출의 처리를 실행할 수 있다.

도 105는, 입력 화상의 컴퍼넌트 신호에 따라서, 데이터 정상성 검출의 처리를 실행하는 데이터 정상성 검출부(101)의 구성을 나타내는 블록도이다.

데이터 정상성 검출부(481-1 내지 481-3)의 각각은, 전술한, 또는 후술하는 데이터 정상성 검출부(101)와 동일한 구성을 가지고, 입력 화상의 컴퍼넌트 신호의 각각을 처리의 대상으로 하여, 전술한, 또는 후술하는 처리를 실행한다.

데이터 정상성 검출부(481-1)은, 입력 화상의 제1 컴퍼넌트 신호에 따라서, 데이터 정상성을 검출하고, 제1 컴퍼넌트 신호로부터 검출된 데이터 정상성을 나타내는 정보를 결정부(482)에 공급한다. 예를 들면, 데이터 정상성 검출부(481-1)는, 입력 화상의 휘도 신호에 따라서, 데이터 정상성을 검출하고, 휘도 신호로부터 검출된 데이터 정상성을 나타내는 정보를 결정부(482)에 공급한다.

데이터 정상성 검출부(481-2)는, 입력 화상의 제2 컴퍼넌트 신호에 따라서, 데이터 정상성을 검출하고, 제2 컴퍼넌트 신호로부터 검출된 데이터 정상성을 나타내는 정보를 결정부(482)에 공급한다. 예를 들면, 데이터 정상성 검출부(481-2)는, 입력 화상의 색차 신호인 I신호에 따라서, 데이터 정상성을 검출하고, I신호로부터 검출된 데이터 정상성을 나타내는 정보를 결정부(482)에 공급한다.

데이터 정상성 검출부(481-3)은, 입력 화상의 제3 컴퍼넌트 신호에 따라서, 데이터 정상성을 검출하고, 제3 컴퍼넌트 신호로부터 검출된 데이터 정상성을 나타내는 정보를 결정부(482)에 공급한다. 예를 들면, 데이터 정상성 검출부(481-2)는, 입력 화상의 색차 신호이다. 신호에 따라서, 데이터 정상성을 검출하고, Q신호로부터 검출된 데이터 정상성을 나타내는 정보를 결정부(482)에 공급한다.

결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성을 나타내는 정보에 따라서, 입력 화상에 있어서의 최종적인 데이터 정상성을 검출하여, 검출한 데이터 정상성을 나타내는 데이터 정상성 정보를 출력한다.

예를 들면, 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성 중, 최대의 데이터 정상성을 최종적인 데이터 정상성으로 한다. 또, 예를 들면, 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성 중, 최소의 데이터 정상성을 최종적인 데이터 정상성으로 한다.

또한, 예를 들면, 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성의 평균값을 최종적인 데이터 정상성으로 한다. 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)으로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성의 중앙값을 최종적인 데이터 정상성으로 해도 된다.

또, 예를 들면, 결정부(482)는, 외부로부터 입력된 신호에 따라서, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성 중, 외부로부터 입력된 신호로 지정되는 데이터 정상성을 최종적인 데이터 정상성으로 한다. 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터 정상성 중, 미리 정한 데이터 정상성을 최종적인 데이터 정상성으로 해도 된다.

그리고, 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된, 각 컴퍼넌트 신호의 데이터 정상성의 검출의 처리에 의해 구한 오차에 따라서, 최종적인 데이터 정상성을 결정해도 된다. 데이터 정상성의 검출의 처리에 의해 구해지는 오차에 대하여는, 후술한다.

도 106은, 입력 화상의 컴퍼넌트 신호에 따라서, 데이터 정상성의 검출 처리를 실행하는 데이터 정상성 검출부(101)의 다른 구성을 나타낸 도면이다.

컴퍼넌트 처리부(491)는, 입력 화상의 컴퍼넌트 신호에 따라서, 1개의 신호를 생성하고, 데이터 정상성 검출부(492)에 공급한다. 예를 들면, 컴퍼넌트 처리부(491)는, 입력 화상의 각 컴퍼넌트 신호에서의 값을, 화면 상에서 동일한 위치의 화소에 대하여, 가산함으로써, 컴퍼넌트 신호값의 합으로 이루어지는 신호를 생성한다.

예를 들면, 컴퍼넌트 처리부(491)는, 입력 화상의 각 컴퍼넌트 신호에서의 화소값을, 화면 상에서 동일한 위치의 화소에 대하여, 평균함으로써, 컴퍼넌트 신호의 화소값의 평균값으로 이루어지는 신호를 생성한다.

데이터 정상성 검출부(492)는, 컴퍼넌트 처리부(491)로부터 공급된, 신호에 따라서, 입력 화상에 있어서의, 데이터 정상성을 검출하고, 검출한 데이터 정상성을 나타내는 데이터 정상성 정보를 출력한다.

데이터 정상성 검출부(492)는, 전술한, 또는 후술하는 데이터 정상성 검출부(101)와 동일한 구성을 가지고, 컴퍼넌트 처리부(491)으로부터 공급된 신호를 대상으로 하여, 전술한, 또는 후술하는 처리를 실행한다.

이와 같이, 데이터 정상성 검출부(101)는, 컴퍼넌트 신호에 따라서, 입력 화상의 데이터 정상성을 검출함으로써, 입력 화상에 노이즈 등이 포함되어 있어도, 보다 정확하게, 데이터 정상성을 검출할 수 있다. 예를 들면, 데이터 정상성 검출부(101)는, 컴퍼넌트 신호에 따라서, 입력 화상의 데이터 정상성을 검출함으로써, 보다 정확하게, 데이터 정상성의 각도(경사), 혼합비, 또는 데이터 정상성을 가지는 영역을 검출할 수 있다.

그리고, 컴퍼넌트 신호는, 휘도 신호 및 색차 신호에 한정되지 않고, RGB 신호, 또는 YUV 신호 등 다른 방식의 컴퍼넌트 신호일 수도 있다.

이상과 같이, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터의, 결락된 현실 세계의 광신호의 정상성에 대응하는 데이터 정상성의, 기준 축에 대한 각도를 검출하고, 검출된 각도에 따라서, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하도록 하는 경우, 현실 세계의 사상에 대하여,보다 정확하게, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

또, 현실 세계의 광신호가 복수개의 검출 소자에 투영됨으로써 취득된, 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터의 주목하고 있는 주목 화소 및 기준축을 기준으로 한 각도마다, 소정 개수의 화소로 이루어지는 화소의 그룹으로서, 복수개의 그룹를 추출하고, 각도마다 추출된, 복수개의 그룹에 있어서의 대응하는 위치의 화소의 화소값의 상관 관계를 검출하고, 검출된 상관 관계에 따라서, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출하고, 검출된 화상 데이터에 있어서의 기준 축에 대한 데이터 정상성의 각도에 따라서, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하도록 한 경우, 현실 세계의 사상에 대하여,보다 정확하게, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

도 107은, 데이터 정상성 검출부(101)의 또 다른 구성을 나타내는 블록도이다.

도 107에 나타내는 데이터 정상성 검출부(101)에 있어서는, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터의 주목하고 있는 화소인 주목 화소에 대응하는 영역이 선택되고, 주목 화소의 화소값과 선택된 영역에 속하는 화소의 화소값의 상관 값이 임계값 이상인 화소에, 상관 값에 따라서 도수가 설정되는 것에 의하여, 영역에 속하는 화소의 도수가 검출되어 검출된 화소에 따라서 회귀선을 검출함으로써, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터의 데이터 정상성이 검출된다.

프레임 메모리(501)는, 입력 화상을 프레임 단위로 기억하고, 기억되어 있는 프레임을 구성하는 화소의 화소값을 화소 취득부(502)에 공급한다. 프레임 메모리(501)는, 1개의 페이지에 입력 화상의 현재의 프레임을 기억하고, 다른 페이지에 기억하고 있는, 현재의 프레임에 대하여 1개 전(과거)의 프레임의 화소의 화소값을 화소 취득부(502)에 공급하고, 입력 화상의 프레임 전환의 시각에 있어서, 페이지를 전환함으로써, 화소 취득부(502)에, 동영상인 입력 화상의 프레임의 화소의 화소값을 공급할 수 있다.

화소 취득부(502)는, 프레임 메모리(501)로부터 공급된 화소의 화소값에 따라서, 주목하고 있는 화소인 주목 화소를 선택하고, 선택된 주목 화소에 대응하는, 소정 개수의 화소로 이루어지는 영역을 선택한다. 예를 들면, 화소 취득부(502)는, 주목 화소를 중심으로 하는 5 × 5화소로 이루어지는 영역을 선택한다.

화소 취득부(502)가 선택하는 영역의 크기는, 본 발명을 한정하는 것은 아니다.

화소 취득부(502)는, 선택한 영역의 화소의 화소값을 취득하여, 선택한 영역의 화소의 화소값을 도수 검출부(503)에 공급한다.

도수 검출부(503)는, 화소 취득부(502)로부터 공급된, 선택된 영역의 화소의 화소값에 따라서, 주목 화소의 화소값과 선택된 영역에 속하는 화소의 화소값의 상관값이 임계값 이상인 화소에, 상관값에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출한다. 도수 검출부(503)에 있어서의, 상관치에 따른 도수의 설정의 처리의 자세한 것은, 후술한다.

도수 검출부(503)는, 검출한 화소를 회귀 직선 연산부(504)에 공급한다.

회귀 직선 연산부(504)는, 도수 검출부(503)으로부터 공급된 화소에 따라, 회귀선을 연산한다. 예를 들면, 회귀 직선 연산부(504)는, 도수 검출부(503)로부터 공급된 화소에 따라, 회귀 직선을 연산한다. 또, 예를 들면, 회귀 직선 연산부(504)는, 도수 검출부(503)로부터 공급된 화소에 따라서, 소정의 곡선인 회귀선을 연산한다. 회귀 직선 연산부(504)는, 연산된 회귀선 및 연산의 결과를 나타내는 연산 결과 파라미터를 각도 산출부(505)에 공급한다. 연산 파라미터가 나타내는 연산의 결과에는, 후술하는 변동 및 공변동 등이 포함된다.

각도 산출부(505)는, 회귀 직선 연산부(504)로부터 공급된 연산 결과 파라미터에서 나타내는, 회귀선에 따라, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터인 입력 화상의 데이터 정상성을 검출한다. 예를 들면, 각도 산출부(505)는, 회귀 직선 연산부(504)로부터 공급된 연산 결과 파라미터에서 나타내는, 회귀 직선에 따라서, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출한다. 각도 산출부(505)는, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 나타내는 데이터 정상성 정보를 출력한다.

도 108 내지 도 110을 참조하여, 입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도에 대하여 설명한다.

도 108에 있어서, 원형은, 1개의 화소를 나타내고, 2중 원형은, 주목 화소를 나타낸다. 원형의 색은, 화소의 화소값의 개략을 나타내고, 보다 밝은 색은, 보다 큰 화소값을 나타낸다. 예를 들면, 검은색은, 30인 화소값을 나타내고, 흰색은, 120인 화소값을 나타낸다.

도 108에 나타내는 화소로 이루어지는 화상을 사람이 인식한 경우, 화상을 인식하는 인간은, 우상측 경사 방향으로 직선이 뻗어 있는 것을 인식할 수 있다.

도 107에 구성을 나타낸 데이터 정상성 검출부(101)는, 도 108에 나타낸 화소로 이루어지는 입력 화상을 입력했을 때, 우상측 경사 방향으로 직선이 뻗어 있는 것을 검출한다.

도 109는, 도 108에 나타낸 화소의 화소값을 수치에서 나타낸 도면이다. 원형은, 1개의 화소를 나타내고, 원형 중의 수치는, 화소값을 나타낸다.

예를 들면, 주목 화소의 화소값은, 120이며, 주목 화소의 상측의 화소의 화소값은, 100이며, 주목 화소의 하측의 화소의 화소값은, 100이다. 또, 주목 화소의 좌측의 화소의 화소값은, 80이며, 주목 화소의 우측의 화소의 화소값은, 80이다. 마찬가지로, 주목 화소의 좌하측 화소의 화소값은, 100이며, 주목 화소의 우상측 화소의 화소값은, 100이다. 주목 화소의 좌상측 화소의 화소값은, 30이며, 주목 화소의 우하측 화소의 화소값은, 30이다.

도 107에 구성을 나타내는 데이터 정상성 검출부(101)는, 도 109에서 나타내는 입력 화상에 대하여, 도 110에 나타낸 바와 같이, 회귀 직선 A를 긋는다.

도 111은, 입력 화상에 있어서의, 화소의 공간 방향의 위치에 대하는, 화소값의 변화와 회귀 직선 A의 관계를 나타낸 도면이다. 데이터 정상성을 가지는 영역에 있어서의 화소의 화소값은, 예를 들면, 도 111에 나타낸 바와 같이, 산맥 형태로 변화하고 있다.

도 107에 구성을 나타내는 데이터 정상성 검출부(101)는, 데이터 정상성을 가지는 영역에 있어서의 화소의 화소값을 가중으로 해서 최소 자승법에 의해 회귀 직선 A를 긋는다. 데이터 정상성 검출부(101)에 의해 구해진 회귀 직선 A는, 주목 화소의 주변에 있어서의 데이터 정상성을 표현하고 있다.

입력 화상에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도는, 도 112에서 나타낸 바와 같이, 회귀 직선 A와, 예를 들면 기준축인 공간 방향 X를 나타낸 축의 각도θ를 구함으로써, 검출된다.

다음에, 도 107에 구성을 나타내는 데이터 정상성 검출부(101)에 있어서의, 회귀 직선의 구체적인 산출 방법에 대하여 설명한다.

도수 검출부(503)는, 예를 들면, 화소 취득부(502)로부터 공급된, 주목 화소를 중심으로 하는, 공간 방향 X에 9화소, 공간 방향 Y에 5화소, 합계 45화소로 이루어지는 영역의 화소의 화소값으로부터, 영역에 속하는 화소의 좌표에 대응하는 도수를 검출한다.

예를 들면, 도수 검출부(503)는, 식(32)에서 나타내는 연산에 의하여, 도수를 산출함으로써, 영역에 속하는, 좌표(x_i, y_j)의 도수 L_{i ,j}를 검출한다.

…(32)

식(32)에 있어서, P_{0 , 0}는, 주목 화소의 화소값을 나타내고, P_i,j는, 좌표(x_i, y_j)의 화소의 화소값을 나타낸다. Th는, 임계값을 나타낸다.

i는, 영역 내에서의, 공간 방향 X의 화소의 순번을 나타내고, 1 ≤ i ≤ k이다. j는, 영역 내에서의, 공간 방향 Y의 화소의 순번을 나타내고, 1 ≤ j ≤ j이다.

k는, 영역에 있어서의, 공간 방향 X의 화소수를 나타내고, j는, 영역에 있어서의, 공간 방향 Y의 화소의 수를 나타낸다. 예를 들면, 영역이, 공간 방향 X에 9화소, 공간 방향 Y에 5화소, 합계 45화소로 이루어지는 때, K는, 9이며, j는, 5이다.

도 113은, 화소 취득부(502)에 있어서 취득되는 영역의 예를 나타낸 도면이다. 도 113에 있어서, 점선의 사각은, 1개의 화소를 나타낸다.

예를 들면, 도 113에 나타낸 바와 같이, 영역이, 공간 방향 X에 대하여, 주목 화소를 중심으로 한 9화소, 공간 방향 Y에 대하여, 주목 화소를 중심으로 한 5화소로 이루어지고, 주목 화소의 좌표(x, y)가 (0, 0)일 때, 영역의 좌측 위의 화소의 좌표(x, y)는, (-4, 2)이며, 영역의 우측 위의 화소의 좌표(x, y)는, (4, 2)이며, 영역의 좌측 아래의 화소의 좌표(x, y)는, (-4, -2)이며, 영역의 우측 아래의 화소의 좌표(x, y)는, (4, -2)이다.

영역의 좌측의 화소의, 공간 방향 X에 있어서의, 화소의 순번 i는, 1이며, 영역의 우측의 화소의, 공간 방향 X에 있어서의, 화소의 순번 i는, 9이다. 영역의 하측의 화소의, 공간 방향 Y에 있어서의, 화소의 순번 j는, 1이며, 영역의 상측의 화소의, 공간 방향 Y에 있어서의, 화소의 순번 j는, 5이다.

즉, 주목 화소의 좌표(x₅, y₃)를 (0, 0)으로 할 때, 영역의 좌측 위의 화소의 좌표(x₁, y₅)는, (-4, 2)이며, 영역의 우측 위의 화소의 좌표(x₉, y₅)는, (4, 2)이며, 영역의 좌측 아래의 화소의 좌표(x₁, y₁)는, (-4, -2)이며, 영역의 우측 아래의 화소의 좌표(x₉, y₁)는, (4, -2)이다.

도수 검출부(503)는, 식(32)에 있어서, 상관 값으로서, 주목 화소의 화소값과 영역에 속하는 화소의 화소값의 차분의 절대값을 산출하므로, 실세계(1)의 가는 선의 화상이 투영된, 입력 화상에 있어서의, 데이터 정상성을 가지는 영역뿐만 아니라, 배경과는 상이한 색이며, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이 투영된, 입력 화상에 있어서의, 2진수 에지의 데이터 정상성을 가지는 영역에 있어서의, 화소값의 공간적인 변화의 특징을 나타낸 화소를 검출할 수 있다.

그리고, 도수 검출부(503)는, 화소의 화소값과의 차분의 절대값에 한정되지 않고, 상관 계수 등 다른 상관치에 따라서, 화소를 검출할 수도 있다.

또, 식(32)에 있어서, 지수 함수를 적용하고 있는 것은, 화소값의 차이에 대하여, 도수에 크게 차이가 나게 하기 위함이며, 다른 함수를 적용해도 된다.

임계값 Th는, 임의의 값으로 정할 수 있다. 예를 들면, 임계값 Th는, 30으로 할 수 있다.

이와 같이, 도수 검출부(503)는, 선택된 영역에 속하는 화소의 화소값과의 상관 값이 임계값 이상인 화소에, 상관치에 따르는 도수를 설정함으로써, 영역에 속하는 화소의 도소를 검출한다.

또, 예를 들면, 도수 검출부(503)는, 식(33)에서 나타내는 연산에 의하여, 화소를 산출함으로써, 영역에 속하는, 좌표(x_i, y_j)의 화소 L_{i ,j}를 검출한다.

…(33)

좌표(x_i, y_j)에 있어서의 도수를 L_{i ,j}(1 ≤ i ≤k, 1 ≤ j ≤ l)로 할 때, 좌표 x_i에 있어서의, 공간 방향 Y의 도수 L_{i ,j}의 합 q_i는, 식(34)에 의해 나타내고, 좌표 y_j에 있어서의, 공간 방향 X의 도수 Li, j의 합 h_j는, 식(35)에 의해 나타낸다.

…(34)

…(35)

도수의 총계 u는, 식(36)에 의해 나타낸다.

…(36)

도 113에 나타낸 예에 있어서, 주목 화소의 좌표의 화소 L_{5 ,3}은, 3이며, 주목 화소의 상측의 화소의 좌표의 도수 L_{5 ,4}는, 1이며, 주목 화소의 우측 상측의 화소의 좌표의 도수 L_{6 ,4}는, 4이며, 주목 화소에 대하여, 2화소 상측이며, 1화소 우측의 화소의 좌표의 도수 L_{6 ,5}는, 2이며, 주목 화소에 대하여, 2화소 상측이며, 2화소 우측의 화소의 좌표의 도수 L_{7 ,5}는, 3이다. 또, 주목 화소의 하측의 화소의 좌표의 도수 L_{5 ,2}는, 2이며, 주목 화소의 좌측의 화소의 좌표의 도수 L_{4 ,3}은, 1이며, 주목 화소의 좌측 하측의 화소의 좌표의 도수 L_{4 ,2}는, 3이며, 주목 화소에 대하여, 1화소 하측이며, 2화소 좌측의 화소의 좌표의 도수 L_{3 ,2}는, 2이며, 주목 화소에 대하여, 2화소 하측이며, 2화소 좌측의 화소의 좌표의 도수 L_{3 ,1}은, 4이다. 도 113에 나타낸 영역의 다른 화소의 좌표의 도수는, 0이며, 도 113에 있어서, 0일 때 도수의 기재는 생략한다.

도 113에 나타낸 영역에 있어서, 공간 방향 Y의 도수의 합 q1은, i가 1인 도수 L이 모두 0이므로, 0이며, q₂는, i가 2인 도수 L이 모두 0이므로, 0이다. q₃는, 도수 L_{3 ,2}가 2이며, 도수 L_{3 ,1}이 4이므로, 6이다. 마찬가지로, q₄는, 4이며, q₅는, 6이며, q₆는, 6이며, q₇는, 3이며, q₈는, 0이며, q₉는, 0이다.

도 113에서 나타낸 영역에 있어서, 공간 방향 X의 도수의 합 h₁는, 도수 L_{3 ,1}이 4이므로, 4이다. h₂는, 도수 L_{3 ,2}가 2이며, 도수 L_{4 ,2}가 3이며, 도수 L_{5 ,2}가 2이므로, 7이다. 마찬가지로, h₃은, 4이며, h₄는, 5이며, h₅는, 5이다.

도 113에 나타낸 영역에 있어서, 도수의 총계 u는, 25이다.

공간 방향 Y의 도수 L_{i ,j}의 함 q_i에, 좌표 x_i를 곱한 결과를 가산한 합 T_x는, 식(37)에 의해 나타낸다.

…(37)

공간 방향 X의 도수 L_{i ,j}의 합 h_j에, 좌표 y_j를 곱한 결과를 가산한 합 T_y는, 식(37)에 의해 나타낸다.

…(38)

예를 들면, 도 113에 나타낸 영역에 있어서, q₁이 0이며, x₁이 -4이므로, q₁x₁은 )이며, q₂가 0이며, x₂가 -3이므로, q₂x₂는 0이다. 마찬가지로, q₃가 6이며, x₃가 -2이므로, q₃x₃는 -12이며, q₄가 4이며, x₄가 -1이므로, q₄x₄는, -4이며, q₅가 6이며, x₅가 0이므로, q₅x₅는 0이다. 마찬가지로, q₆가 6이며, x₆가 1이므로, q₆x₆는 6이며, q₇가 3이며, x₇이 2이므로, q₇x₇은 6이며, q₈이 0이며, x₈이 3이므로, q₈x₈은 0이며, q₉이 0이며, x₉이 4이므로, q₉x₉는 0이다. 따라서, q₁x₁ 내지 q₉x₉의 합인 T_x는, -4이다.

예를 들면, 도 113에 나타낸 영역에 있어서, h₁이 4이며, y₁이 -2이므로, h₁y₁은 -8이며, h₂가 7이며, y₂가 -1이므로, h₂y₂는 -7이다. 마찬가지로, h₃가 4이며, y₃가 0이므로, h₃y₃는 0이며, h₄가 5이며, y₄가 1이므로, h₄y₄는, 5이며, h₅가 5이며, y₅가 2이므로, h₅y₅는 10이다. 따라서, h₁y₁ 내지 h₅y₅의 합인 T_y는, 0이다.

또, Q_i를 다음과 같이 정의한다.

…(39)

x의 변동 S_x는, 식(40)에 의해 나타낸다.

…(40)

y의 변동 S_y는, 식(41)에 의해 나타낸다.

…(41)

공변동 S_xy는, 식(42)에 의해 나타낸다.

…(42)

식(43)에 나타내는 1차 회귀 직선을 구하는 것을 생각한다.

y = ax + b …(43)

경사 a 및 절편 b는, 최소 자승법에 의하여, 다음과 같이 구할 수 있다.

…(44)

…(45)

단, 정확한 회귀 직선을 구하기 위한 필요 조건은, 도수 L_{i ,j}가, 회귀 직선에 대하여, 가우스 분포 상태로, 분포하고 있는 것이다. 역으로 말하면, 도수 검출부(503)는, 도수 L_{i ,j}가 가우스 분포하도록, 영역의 화소의 화소값을 도수 L_{i , j}로 변환할 필요가 있다.

회귀 직선 연산부(504)는, 식(44) 및 식(45)에서 나타내는 연산을 실행하여, 회귀 직선을 구한다.

각도 산출부(505)는, 식(46)에 나타낸 연산에 의하여, 회귀 직선의 경사 a를, 기준축인 공간 방향 X의 축에 대하는 각도 θ로 변환한다.

θ = tan^-1(a)…(46)

그리고, 회귀 직선 연산부(504)가 소정의 곡선인 회귀선을 연산하는 경우, 각도 산출부(505)는, 기준 축에 대한, 주목 화소의 위치에서의 회귀선의 각도θ를 구한다.

여기서, 화소마다 데이터 정상성을 검출하기 위해서는, 절편 b는, 불필요하다. 그래서, 식(47)에 나타내는 1차 회귀 직선을 구하는 것을 생각한다.

y = ax …(47)

이 경우, 회귀 직선 연산부(504)는, 최소 자승법에 의하여, 경사 a를 식(48)에서 구할 수 있다.

…(48)

도 114의 흐름도를 참조하여, 스텝 S101의 처리에 대응하는, 도 107에서 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성의 검출 처리를 설명한다.

스텝 S501에 있어서, 화소 취득부(502)는, 아직 주목 화소가 되지 않은 화소 중 주목 화소를 선택한다. 예를 들면, 화소 취득부(502)는, 라스터 스캔 순으로, 주목 화소를 선택한다. 스텝 S502에 있어서, 화소 취득부(502)는, 주목 화소를 중심으로 하는 영역에 포함되는 화소의 화소값을 취득하고, 취득한 화소의 화소값을 도수 검출부(503)에 공급한다. 예를 들면, 화소 취득부(502)는, 주목 화소를 중심으로 한, 9 × 5화소로 이루어지는 영역을 선택하고, 영역에 포함되는 화소의 화소값을 취득한다.

스텝 S503에 있어서, 도수 검출부(503)는, 영역에 포함되는 화소의 화소값을 도수로 변환함으로써, 도수를 검출한다. 예를 들면, 도수 검출부(503)는, 식(32)에 나타내는 연산에 의하여, 화소값을 도수 L_{i ,j}로 변환한다. 이 경우에 있어서, 도수 L_{i ,j}가 가우스 분포하도록, 영역의 화소의 화소값이 도수 L_{i ,j}로 변환된다. 도수 검출부(503)는, 변환된 도수를 회귀 직선 연산부(504)에 공급한다.

스텝 S504에 있어서, 회귀 직선 연산부(504)는, 도수 검출부(503)로부터 공급된 도수에 따라서, 회귀선을 구한다. 예를 들면, 회귀 직선 연산부(504)는, 도수 검출부(503)로부터 공급된 도수에 따라서, 회귀 직선을 구한다. 보다 구체적으로는, 회귀 직선 연산부(504)는, 식(44) 및 식(45)에서 나타내는 연산을 실행하여, 회귀 직선을 구한다. 회귀 직선 연산부(504)는, 산출된 결과인 회귀 직선을 나타낸 연산 결과 파라미터를 각도 산출부(505)에 공급한다.

스텝 S505에 있어서, 각도 산출부(505)는, 기준 축에 대한 회귀 직선의 각도를 산출함으로써, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터의 데이터 정상성을 검출한다. 예를 들면, 각도 산출부(505)는, 식(46)에 나타낸 연산에 의하여, 회귀 직선의 경사 a를, 기준축인 공간 방향 X의 축에 대한 각도 θ로 변환한다. 각도 산출부(505)는, 기준 축에 대한 회귀 직선의 각도를 나타내는 데이터 정상성 정보를 출력한다.

그리고, 각도 산출부(505)는, 경사 a를 나타내는 데이터 정상성 정보를 출력해도 된다.

스텝 S506에 있어서, 화소 취득부(502)는, 모든 화소의 처리가 종료되었는지 여부를 판정하고, 모든 화소의 처리다 종료되지 않은 것으로 판정된 경우, 스텝 S501로 복귀하고, 아직 주목 화소로서 선택되지 않은 화소로부터 주목 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S506에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 처리는 종료된다.

이와 같이, 도 107에 구성을 나타내는 데이터 정상성 검출부(101)는, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의, 기준축을 기준으로 한 데이터 정상성의 각도를 검출할 수 있다.

특히, 도 107에 구성을 나타내는 데이터 정상성 검출부(101)는, 비교적 좁은 영역의 화소의 화소값에 따라서, 화소 이하의 각도를 구할 수 있다.

이상과 같이, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터의 주목하고 있는 화소인 주목 화소에 대응하는 영역을 선택하고, 주목 화소의 화소값과 선택된 영역에 속하는 화소의 화소값의 상관 값이 임계값 이상인 화소에, 상관치에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출하고, 검출된 화소에 따라서 회귀선을 검출함으로써, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터의 데이터 정상성을 검출하고, 검출된 화상 데이터의 데이터 정상성에 따라, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하도록 한 경우, 현실 세계의 사상에 대하여,보다 정확하게, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

그리고, 도 107에 구성을 나타낸 데이터 정상성 검출부(101)는, 주목 화소가 속하는 주목 프레임과, 주목 프레임의 시간적으로 전후의 프레임에 대하여, 소정의 영역에 속하는 화소의 화소값을 도수로 변환하여, 도수에 따라서, 회귀 평면을 구하도록 하면, 공간 방향의 데이터 정상성의 각도와 함께, 시간 방향의 데이터 정상성의 각도를 검출할 수 있다.

도 115는, 데이터 정상성 검출부(101)의 또다른 구성을 나타낸 블록도이다.

도 115에 나타내는 데이터 정상성 검출부(101)에 있어서는, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터의 주목하고 있는 화소인 주목 화소에 대응하는 영역이 선택되고, 주목 화소의 화소값과 선택된 영역에 속하는 화소의 화소값의 상관 값이 임계값 이상인 화소에, 상관치에 따른 도수가 설정됨으로써, 영역에 속하는 화소의 화소가 검출되어 검출된 화소에 따라 회귀선을 검출함으로써, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의 데이터 정상성을 가지는 영역을 검출한다.

프레임 메모리(601)는, 입력 화상을 프레임 단위로 기억하고, 기억되어 있는 프레임을 구성하는 화소의 화소값을 화소 취득부(602)에 공급한다. 프레임 메모리(601)는, 1개의 페이지에 입력 화상의 현재의 프레임을 기억하고, 다른 페이지에 기억하고 있는, 현재의 프레임에 대하여 1개 전(과거)의 프레임의 화소의 화소값을 화소 취득부(602)에 공급하고, 입력 화상의 프레임의 전환의 시각에 있어서, 페이지를 전환함으로써, 화소 취득부(602)에, 동영상인 입력 화상의 프레임의 화소의 화소값을 공급할 수 있다.

화소 취득부(602)는, 프레임 메모리(601)로부터 공급된 화소의 화소값에 따라서, 주목하고 있는 화소인 주목 화소를 선택하고, 선택된 주목 화소에 대응하는, 소정 개수의 화소로 이루어지는 영역을 선택한다. 예를 들면, 화소 취득부(602)는, 주목 화소를 중심으로 하는 5 × 5화소로 이루어지는 영역을 선택한다.

화소 취득부(602)가 선택하는 영역의 크기는, 본 발명을 한정하는 것은 아니다.

화소 취득부(602)는, 선택한 영역의 화소의 화소값을 취득하여, 선택한 영역의 화소의 화소값을 도수 검출부(603)에 공급한다.

도수 검출부(603)는, 화소 취득부(602)로부터 공급된, 선택된 영역의 화소의 화소값에 따라서, 주목 화소의 화소값과 선택된 영역에 속하는 화소의 화소값의 상관 값이 임계값 이상인 화소에, 상관치에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출한다. 도수 검출부(603)에 있어서의, 상관치에 따른 도수 설정의 처리의 자세한 것에 대해서는, 후술한다.

도수 검출부(603)는, 검출한 화소를 회귀 직선 연산부(604)에 공급한다.

회귀 직선 연산부(604)는, 도수 검출부(603)로부터 공급된 화소에 따라, 회귀선을 연산한다. 예를 들면, 회귀 직선 연산부(604)는, 도수 검출부(603)로부터 공급된 화소에 따라, 회귀 직선을 연산한다. 또, 예를 들면, 회귀 직선 연산부(604)는, 도수 검출부(603)로부터 공급된 화소에 따라, 소정의 곡선인 회귀선을 연산한다. 회귀 직선 연산부(604)는, 연산된 회귀선 및 연산의 결과를 나타내는 연산 결과 파라미터를 영역 산출부(605)에 공급한다. 연산 파라미터가 나타낸 연산의 결과에는, 후술하는 변동 및 공변동 등이 포함된다.

영역 산출부(605)는, 회귀 직선 연산부(604)로부터 공급된 연산 결과 파라미터에 의해 나타내는, 회귀선에 따라, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터인 입력 화상에 있어서 데이터 정상성을 가지는 영역을 검출한다.

도 116은, 입력 화상에 있어서의, 화소의 공간 방향의 위치에 대한, 화소값의 변화와 회귀 직선 A와의 관계를 나타낸 도면이다. 데이터 정상성을 가지는 영역에 있어서의 화소의 화소값은, 예를 들면, 도 116에 나타낸 바와 같이, 산맥 형태로 변화하고 있다.

도 115에 구성을 나타낸 데이터 정상성 검출부(101)는, 데이터 정상성을 가지는 영역에 있어서의 화소의 화소값을 가중으로 하여, 최소 자승법에 의해 회귀 직선 A를 긋는다. 데이터 정상성 검출부(101)에 의해 구해진 회귀 직선 A는, 주목 화소의 주변에 있어서의 데이터 정상성을 표현하고 있다.

회귀 직선을 긋는다는 것은, 가우스 함수를 전제로 한 근사를 의미한다. 도 117에 나타낸 바와 같이, 도 115에 구성을 나타낸 데이터 정상성 검출부(101)는, 예를 들면, 표준 편차를 구함으로써, 가는 선의 화상이 투영된, 데이터(3)에 있어서의 영역의, 대략적인 폭의 길이를 알 수 있다. 또, 예를 들면, 도 115에 구성을 나타낸 데이터 정상성 검출부(101)는, 상관 계수에 따라서, 가는 선의 화상이 투영된, 데이터(3)에 있어서의 영역의, 대략적인 폭의 길이를 알 수 있다.

다음에, 도 115에 구성을 나타낸 데이터 정상성 검출부(101)에 있어서의, 회귀 직선의 구체적인 산출 방법에 대하여 설명한다.

도수 검출부(603)는, 예를 들면, 화소 취득부(602)로부터 공급된, 주목 화소를 중심으로 하는, 공간 방향 X로 9화소, 공간 방향 Y으로 5화소, 합계 45화소로 이루어지는 영역의 화소의 화소값으로부터, 영역에 속하는 화소의 좌표에 대응하는 도수를 검출한다.

예를 들면, 도수 검출부(603)는, 식(49)에서 나타내는 연산에 의하여, 도수를 산출함으로써, 영역에 속하는, 좌표(x_i,y_j)의 도수 L_{i ,j}를 검출한다.

…(49)

식(49)에 있어서, P_{0 , 0}는, 주목 화소의 화소값을 나타내고, P_i,j는, 좌표(x_i, y_j)의 화소의 화소값을 나타낸다. Th는, 임계값을 나타낸다.

i는, 영역 내에서의, 공간 방향 X의 화소의 순번을 나타내고, 1 ≤ i ≤ k이다. j는, 영역 내에서의, 공간 방향 Y의 화소의 순번을 나타내고, 1 ≤ j ≤ l이다.

k는, 영역에 있어서의, 공간 방향 X의 화소수를 나타내고, j는, 영역에 있어서의, 공간 방향 Y의 화소수를 나타낸다. 예를 들면, 영역이, 공간 방향 X로 9화소, 공간 방향 Y로 5화소, 합계 45화소로 이루어질 때, K는, 9이며, j는, 5이다.

도 118은, 화소 취득부(602)에 있어서 취득되는 영역의 예를 나타낸 도면이다. 도 118에 있어서, 점선의 사각은, 1개의 화소를 나타낸다.

예를 들면, 도 118에 나타낸 바와 같이, 영역이, 공간 방향 X에 대하여, 주목 화소를 중심으로 한 9화소, 공간 방향 Y에 대하여, 주목 화소를 중심으로 한 5화소로 이루어지고, 주목 화소의 좌표(x, y)가 (0, 0)일 때, 영역의 좌상측의 화소의 좌표(x, y)는, (-4, 2)이며, 영역의 우상측의 화소의 좌표(x, y)는, (4, 2)이며, 영역의 좌하측의 화소의 좌표(x, y)는, (-4, -2)이며, 영역의 우하측의 화소의 좌표(x, y)는, (4, -2)이다.

영역의 좌측의 화소의, 공간 방향 X에 있어서의, 화소의 순번 i는, 1이며, 영역의 우측의 화소의, 공간 방향 X에 있어서의, 화소의 순번 i는, 9이다. 영역의 하측의 화소의, 공간 방향 Y에 있어서의, 화소의 순번 j는, 1이며, 영역의 상측의 화소의, 공간 방향 Y에 있어서의, 화소의 순번 j는, 5이다.

즉, 주목 화소의 좌표(x_5, y₃)를(0, 0)으로 할 때, 영역의 좌상측 화소의 좌표(x₁, y₅)는, (-4, 2)이며, 영역의 우상측 화소의 좌표(x₉, y₅)는, (4, 2)이며, 영역의 좌하측 화소의 좌표(x₁, y₁)는, (-4, -2)이며, 영역의 우하측 화소의 좌표(x₉, y₁)는, (4, -2)이다.

도수 검출부(603)는, 식(49)에 있어서, 상관 값으로서, 주목 화소의 화소값과 영역에 속하는 화소의 화소값의 차분의 절대값을 산출하므로, 실세계(1)의 가는 선의 화상이 투영된, 입력 화상에 있어서의, 데이터 정상성을 가지는 영역만이 아니라, 배경과 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계(1)의 화상이 투영된, 입력 화상에 있어서의, 2진수 에지의 데이터 정상성을 가지는 영역에 있어서의, 화소값의 공간적인 변화의 특징을 나타낸 화소를 검출할 수 있다.

그리고, 도수 검출부(603)는, 화소의 화소값과의 차분의 절대값에 한정되지 않고, 상관계수 등 다른 상관치에 따라서, 화소를 검출할 수도 있다.

또, 식(49)에 있어서, 지수 함수를 적용하고 있는 것은, 화소값의 차이에 대하여, 도수에 크게 차이를 두기 위해서이고, 다른 함수를 적용할 수도 있다.

임계값 Th는, 임의의 값으로 정할 수 있다. 예를 들면, 임계값 Th는, 30으로 정할 수 있다.

이와 같이, 도수 검출부(603)는, 선택된 영역에 속하는 화소의 화소값과의 상관 값이 임계값 이상인 화소에, 상관치에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출한다.

또, 예를 들면, 도수 검출부(603)는, 식(50)에서 나타내는 연산에 의하여, 화소를 산출함으로써, 영역에 속하는, 좌표(x_i,y_j)의 도수 L_{i ,j}를 검출한다.

…(50)

좌표(x_i, y_j)에 있어서의 도수를 L_{i ,j}(1≤i≤k, (1≤j≤l)로 할 때, 좌표 x_i에 있어서의, 공간 방향 Y의 도수 L_{i ,j}의 합 q_i는, 식(51)으로 표현되고, 좌표 y_j에 있어서의, 공간 방향 X의 도수 L_{i ,j}의 합 h_j는, 식(52)으로 표현된다.

…(51)

…(52)

도수의 총계 u는, 식(53)으로 표현된다.

…(53)

도 118에 나타낸 예에 있어서, 주목 화소의 좌표의 도수 L_{5 ,3}은, 3이며, 주목 화소의 상측의 화소의 좌표의 두수 L_{5 ,4}는, 1이며, 주목 화소의 우상측의 화소의 좌표의 도수 L_{6 ,4}는, 4이며, 주목 화소에 대하여, 2화소 상측에서, 1화소 우측의 화소의 좌표의 도수 L_{6 ,5}는, 2이며, 주목 화소에 대하여, 2화소 상측에서, 2화소 우측의 화소의 좌표의 도수 L_{7 ,5}는, 3이다. 또, 주목 화소의 하측의 화소의 좌표의 화소 L_5,2는, 2이며, 주목 화소의 좌측의 화소의 좌표의 도수 L_{4 ,3}은, 1이며, 주목 화소의 좌하측의 화소의 좌표의 도수 L_{4 ,2}는, 3이며, 주목 화소에 대하여, 1화소 하측에서, 2화소 좌측의 화소의 좌표의 도수 L_{3 ,2}는, 2이며, 주목 화소에 대하여, 2화소 하측에서, 2화소 좌측의 화소의 좌표의 화소 L_{3 ,1}은, 4이다. 도 118에 나타낸 영역의 다른 화소의 좌표의 화소는, 0이며, 도 118에 있어서, 0일 때 수의 기재는 생략한다.

도 118에 나타낸 영역에 있어서, 공간 방향 Y의 도수의 합 q₁는, i가 1일 때 도수 L이 모두 0이므로, 0이며, q₂는, i가 2일 때 도수 L이 모두 0이므로, 0이다. q₃는, 도수 L_{3 , 2}이 2이며, 도수 L_{3 ,1}이 4이므로, 6이다. 마찬가지로, q₄는, 4이며, q₅는, 6이며, q₆는, 6이며, q₇는, 3이며, q₈는, 0이며, q₉는, 0이다.

도 118에 나타낸 영역에 있어서, 공간 방향 X의 도수의 합 h₁는, 도수 L_{3 ,1}이 4이므로, 4이다. h₂는, 도수 L_{3 ,2}가 2이며, 도수 L_{4 ,2}가 3이며, 도수 L_{5 ,2}가 2이므로, 7이다. 마찬가지로, h₃는, 4이며, h₄는, 5이며, h₅는, 5이다.

도 118에 나타낸 영역에 있어서, 도수의 총계 u는, 25이다.

공간 방향 Y의 도수 L_{i ,j}의 합 q_i에, 좌표 x_i를 곱한 결과를 가산한 합 T_x는, 식(54)으로 표현된다.

…(54)

공간 방향 X의 도수 L_{i ,j}의 합 h_j에, 좌표 y_j를 곱한 결과를 가산한 합 T_y는, 식(55)으로 표현된다.

…(55)

예를 들면, 도 118에 나타낸 영역에 있어서, q₁가 0이며, x₁이 -4이므로, q₁x₁는 0이며, q₂가 0이며, x₂가 -3이므로, q₂x₂는 0이다. 마찬가지로, q₃가 6이며, x₃가 -2이므로, q₃x₃는 -12이며, q₄가 4이며, x₄가 -1이므로, q₄x₄는, -4이며, q₅가 6이며, x₅가 0이므로, q₅x₅는 0이다. 마찬가지로, q₆가 6이며, x₆가 1이므로, q₆x₆는 6이며, q₇가 3이며, x₇가 2이므로, q₇x₇는 6이며, q₈가 0이며, x₈가 3이므로, q₈x₈는0이며, q₉가 0이며, x₉가 4이므로, q₉x₉는 0이다. 따라서, q₁x₁ 내지 q₉x₉의 합인 T_x는, -4이다.

예를 들면, 도 118에 나타낸 영역에 있어서, h₁이 4이며, y₁이 -2이므로, h₁y₁은 -8이며, h₂가 7이며, y₂가- 1이므로, h₂y₂는 -7이다. 마찬가지로, h₃가 4이며, y₃가 0이므로, h₃y₃는 0이며, h₄가 5이며, y₄가 1이므로, h₄y₄는, 5이며, h₅가 5이며, y₅가 2이므로, h₅y₅는 10이다. 따라서, h₁y₁ 내지 h₅y₅의 합인 T_y는, 0이다.

또, Q_i를 다음과 같이 정의한다.

…(56)

x의 변동 S_x는, 식(57)으로 표현된다.

…(57)

y의 변동 S_y는, 식(58)으로 표현된다.

…(58)

공변동 S_xy는, 식(59)으로 표현된다.

…(59)

식(60)에 나타낸 1차 회귀 직선을 구하는 것을 생각한다.

y=ax+b …(60)

경사 a 및 절편 b는, 최소 자승법에 의하여, 다음과 같이 구할 수 있다.

…(61)

…(62)

단, 정확한 회귀 직선을 구하기 위한 필요 조건은, 화소 L_{i ,j}가, 회귀 직선에 대하여, 가우스 분포 상태로, 분포하고 있는 것이다. 역으로 말하면, 도수 검출부(603)는, 화소 L_{i ,j}가 가우스 분포하도록, 영역의 화소의 화소값을 화소 L_{i ,j}로 변환할 필요가 있다.

회귀 직선 연산부(604)는, 식(61) 및 식(62)에서 나타내는 연산을 실행하여, 회귀 직선을 구한다.

또, 화소마다 데이터 정상성을 검출하기 위해서는, 절편 b는, 불필요하다. 그래서, 식(63)에 나타낸 1차 회귀 직선을 구하는 것을 생각한다.

y=ax …(63)

이 경우, 회귀 직선 연산부(604)는, 최소 자승법에 의하여, 경사 a를 식(64)에서 구할 수 있다.

…(64)

데이터 정상성을 가지는 영역을 특정하는 제1 방법에 있어서는, 식(60)에 나타낸 회귀 직선의 추정 오차가 이용된다.

y의 변동 Sy는, 식(65)에서 나타내는 연산으로 구해진다.

…(65)

추정 오차의 분산은, 변동을 사용하여, 식(66)에서 나타내는 연산으로 구해진다.

…(66)

따라서, 표준 편차는, 이하의 식에서 도출된다.

…(67)

단, 표준 편차는, 가는 선의 화상이 투영된 영역을 대상으로 하는 경우, 가는 선의 폭에 적합한 양이므로, 한 마디로, 표준 편차가 큰 것을 가지고, 데이터의 정상을 가지는 영역이 아니라고 판단할 수 없다. 그러나, 예를 들면, 클래스 분류 적응 처리가 파탄하는 것은, 데이터의 정상을 가지는 영역 중이라 하더라도, 가는 선의 폭이 좁은 부분이므로, 클래스 분류 적응 처리가 파탄할 가능성이 큰 영역을 검출하기 위하여, 표준 편차를 사용하여 검출된 영역을 나타내는 정보를 이용할 수 있다.

영역 산출부(605)는, 식(67)에서 나타내는 연산에 의하여, 표준 편차를 산출하여, 표준 편차에 따라서, 입력 화상에 있어서의, 데이터 정상성을 가지는 영역을 산출한다. 예를 들면, 영역 산출부(605)는, 표준 편차에 소정의 계수를 곱하여 거리를 구하고, 회귀 직선으로부터, 구한 거리 이내의 영역을, 데이터 정상성을 가지는 영역으로 한다. 예를 들면, 영역 산출부(605)는, 회귀 직선을 중심으로 하여, 회귀 직선으로부터 표준 편차 이내의 거리의 영역을, 데이터 정상성을 가지는 영역으로서 산출한다.

제2 방법에 있어서는, 화소의 상관 관계를 데이터의 정상을 가지는 영역의 검출에 사용한다.

상관계수 rxy는, x의 변동 Sx, y의 변동 Sy, 및 공변동 Sxy에 따라서, 식(68)에서 나타내는 연산으로 구할 수 있다.

…(68)

상관 관계에는, 플러스의 상관 관계와 마이너스의 상관 관계가 있으므로, 영역 산출부(605)는, 상관 계수 rxy의 절대값을 구하여, 상관계수 rxy의 절대값이 1에 가까울수록, 상관이 강하다고 판정한다. 보다 구체적으로는, 영역 산출부(605)는, 임계값과 상관계수 rxy의 절대값을 비교하고, 상관계수 rxy의 절대값이 임계값 이상인 영역을, 데이터 정상성을 가지는 영역으로서 검출한다.

도 119의 흐름도를 참조하여, 스텝 S101의 처리에 대응하는, 도 115로 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성의 검출의 처리를 설명한다.

스텝 S601에 있어서, 화소 취득부(602)는, 아직 주목 화소가 되지 않은 화소 중 주목 화소를 선택한다. 예를 들면, 화소 취득부(602)는, 라스터 스캔 순으로, 주목 화소를 선택한다. 스텝 S602에 있어서, 화소 취득부(602)는, 주목 화소를 중심으로 하는 영역에 포함되는 화소의 화소값을 취득하고, 취득한 화소의 화소값을 도수 검출부(603)에 공급한다. 예를 들면, 화소 취득부(602)는, 주목 화소를 중심으로 한, 9 × 5화소로 이루어지는 영역을 선택하고, 영역에 포함되는 화소의 화소값을 취득한다.

스텝 S603에 있어서, 도수 검출부(603)는, 영역에 포함되는 화소의 화소값을 도수로 변환함으로써, 도수를 검출한다. 예를 들면, 도수 검출부(603)는, 식(49)에서 나타내는 연산에 의하여, 화소값을 화소 Li, j로 변환한다. 이 경우에 있어서, 화소 Li, j가 가우스 분포 상태로 분포하도록, 영역의 화소의 화소값이 화소 Li, j로 변환된다. 도수 검출부(603)는, 변환된 화소를 회귀 직선 연산부(604)에 공급한다.

스텝 S604에 있어서, 회귀 직선 연산부(604)는, 도수 검출부(503)로부터 공급된 화소에 따라서, 회귀선을 구한다. 예를 들면, 회귀 직선 연산부(604)는, 도수 검출부(603)로부터 공급된 화소에 따라서, 회귀 직선을 구한다. 보다 구체적으로는, 회귀 직선 연산부(604)는, 식(61) 및 식(62)에서 나타내는 연산을 실행하여, 회귀 직선을 구한다. 회귀 직선 연산부(604)는, 산출된 결과인 회귀 직선을 나타낸 연산 결과 파라미터를 영역 산출부(605)에 공급한다.

스텝 S605에 있어서, 영역 산출부(605)는, 회귀 직선에 대한 표준 편차를 산출한다. 예를 들면, 영역 산출부(605)는, 식(67)에 나타낸 연산에 의하여, 회귀 직선에 대한 표준 편차를 산출한다.

스텝 S606에 있어서, 영역 산출부(605)는, 표준 편차로부터, 입력 화상에 있어서의, 데이터 정상성을 가지는 영역을 특정한다. 예를 들면, 영역 산출부(605)는, 표준 편차에 소정의 계수를 곱하여 거리를 구하고, 회귀 직선으로부터, 구한 거리 이내의 영역을, 데이터 정상성을 가지는 영역으로서 특정한다.

영역 산출부(605)는, 데이터 정상성을 가지는 영역을 나타내는 데이터 정상성 정보를 출력한다.

스텝 S607에 있어서, 화소 취득부(602)는, 모든 화소의 처리가 종료되었는지 여부를 판정하고, 모든 화소의 처리가 종료되지 않은 것으로 판정된 경우, 스텝 S601로 복귀하고, 아직 주목 화소로서 선택되지 않은 화소로부터 주목 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S607에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 처리는 종료된다.

도 120의 흐름도를 참조하여, 스텝 S101의 처리에 대응하는, 도 115로 구성이 나타내는 데이터 정상성 검출부(101)에 의한, 데이터 정상성의 검출의 다른 처리를 설명한다. 스텝 S621 내지 스텝 S624의 처리는, 스텝 S601 내지 스텝 S604의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S625에 있어서, 영역 산출부(605)는, 회귀 직선에 대한 상관계수를 산출한다. 예를 들면, 영역 산출부(605)는, 식(68)에서 나타내는 연산에 의하여, 회귀 직선에 대한 상관계수를 산출한다.

스텝 S626에 있어서, 영역 산출부(605)는, 상관계수로부터, 입력 화상에 있어서의, 데이터 정상성을 가지는 영역을 특정한다. 예를 들면, 영역 산출부(605)는, 미리 기억하고 있는 임계값과 상관계수의 절대값을 비교하고, 상관계수의 절대값이 임계값 이상인 영역을, 데이터 정상성을 가지는 영역으로서 특정한다.

영역 산출부(605)는, 데이터 정상성을 가지는 영역을 나타내는 데이터 정상성 정보를 출력한다.

스텝 S627의 처리는, 스텝 S607의 처리와 동일하므로, 그 설명은 생략한다.

이와 같이, 도 115에 구성을 나타낸 데이터 정상성 검출부(101)는, 결락된 실세계(1)의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의, 데이터 정상성을 가지는 영역을 검출할 수 있다.

이상과 같이, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터의 주목하고 있는 화소인 주목 화소에 대응하는 영역을 선택하고, 주목 화소의 화소값과 선택된 영역에 속하는 화소의 화소값과의 상관 값이 임계값 이상인 화소에, 상관치에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출하고, 검출된 도수에 따라 회귀선을 검출함으로써, 결락된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터에 있어서의 데이터 정상성을 가지는 영역을 검출하고, 검출된 화상 데이터의 데이터 정상성에 따라, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하도록 한 경우, 현실 세계의 사상에 대하여, 보다 정확하게, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

도 121은, 데이터 정상성 검출부(101)의 그 외의 실시예의 구성을 나타내고 있다.

도 121의 데이터 정상성 검출부(101)는, 데이터 선택부(701), 데이터 덧셈부(702), 및 정상 방향 도출부(703)로 구성된다.

데이터 선택부(701)는, 입력 화상의 각 화소를 주목 화소로서 그 주목 화소마다 대응하는 화소의 화소값 데이터를 선택하여, 데이터 덧셈부(702)에 출력한다.

데이터 덧셈부(702)는, 데이터 선택부(701)로부터 입력된 데이터에 따라, 최소 자승법에 있어서의 덧셈 연산을 행하고, 덧셈 연산 결과를 정상 방향 도출부(703)에 출력한다. 상기 데이터 덧셈부(702)에 의한 덧셈 연산이란, 후술하는 최소 자승법의 연산에 사용하는 서메이션 항에 있어서의 연산이며, 그 연산 결과는, 정상성의 각도를 검출하기 위한 화상 데이터의 특징이라 할 수 있다.

정상 방향 도출부(703)는, 데이터 덧셈부(702)로부터 입력된 덧셈 연산 결과로부터 정상 방향, 즉, 데이터 정상성이 가지는 기준축으로부터의 각도(예를 들면, 가는 선, 또는 2진수 에지 등의 경사, 또는 방향)를 연산하고, 이것을 데이터 정상성 정보로서 출력한다.

다음에, 도 122를 참조하여, 데이터 정상성 검출부(101)에 있어서의 정상성(방향, 또는 각도)을 검출하는 동작의 개요에 대하여 설명한다. 그리고, 도 122, 도 123중, 도 6, 도 7에 있어서의 경우와 대응하는 부분에 대하여는, 동일한 부호를 부여하고, 이하에서는, 그 설명은, 적절히 생략한다.

도 122에서 나타낸 바와 같이, 실세계(1)의 신호(예를 들면, 화상)는, 광학계(141)(예를 들면, 렌즈, 또는 LPF(Low Pass Filter) 등으로 이루어진다)에 의하여, 센서(2)(예를 들면, CCD(Charge Coupled Device), 또는 CMOS(Complementary Metal-Oxide Semiconductor) 등)의 수광면에 결상된다. 센서(2)는, 예를 들면, CCD나 CMOS와 같은 적분 특성을 가지는 소자로 구성된다. 이와 같은 구성에 의하여, 센서(2)로부터 출력되는 데이터(3)로부터 얻어지는 화상은, 실세계(1)의 화상과는 상이한 화상이 된다(실세계(1)의 화상과는 차이가 생기게 된다).

그래서, 데이터 정상성 검출부(101)는, 도 123에 나타낸 바와 같이, 모델(705)를 사용하여, 실세계(1)를 근사식에 의해 근사적으로 기술하여, 그 근사식으로부터 데이터 정상성을 추출한다. 모델(705)는, 예를 들면, N개의 변수로 표현된다. 보다 정확하게는, 모델(705)는, 실세계(1)의 신호를 근사(기술)한다.

데이터 정상성 검출부(101)는, 모델(705)를 예측하기 위하여, 데이터(3)로부터, M개의 데이터(706)을 추출한다. 그 결과, 모델(705)는, 데이터 정상성에 구속 되게 된다.

즉, 모델(705)는, 센서(2)로 취득되었을 때, 데이터(3)에 있어서 데이터의 데이터 정상성을 생기게 하는, 정상성(소정의 차원의 방향으로 일정한 특징)을 가지는 실세계(1)의 사상(를 나타내는 정보(신호)를 근사한다.

여기서, 데이터(706)의 수 M이, 모델(705)의 변수의 수 N 이상이면, M개의 데이터(706)로부터, N개의 변수에 의해 나타내는 모델(705)를 예측할 수 있다.

또한, 데이터 정상성 검출부(101)는, 실세계(1)(의 신호)을 근사(기술)하는 모델(705)을 예측함으로써, 실세계(1)의 정보인 신호에 포함되는 데이터 정상성을, 예를 들면, 가는 선이나 2진수 에지의 방향(경사, 또는 소정의 방향을 축으로했을 때의 축과 이루는 각도)으로서 도출하고, 데이터 정상성 정보로서 출력한다.

다음에, 도 124를 참조하여, 입력 화상로부터 가는 선의 방향(각도)을 데이터 정상성 정보로서 출력하는 데이터 정상성 검출부(101)에 대하여 설명한다.

데이터 선택부(701)는, 수평/수직 판정부(711), 및 데이터 취득부(712)에 의해 구성되어 있다. 수평/수직 판정부(711)는, 주목 화소와 그 주변의 화소 사이의 화소값의 차분으로부터, 입력 화상의 가는 선의 수평 방향에 대한 각도가, 수평 방향으로 가까운 가는 선인지, 수직 방향으로 가까운 가는 선인지를 판정하고, 판정 결과를 데이터 취득부(712), 및 데이터 덧셈부(702)에 각각 출력한다.

보다 상세하게는, 예를 들면, 상기와 동일한 효과가 있는 방법이라는 의미로, 다른 방법을 사용할 수도 있다. 예를 들면, 간이 16방위 검출 방법을 여기서 사용해도 된다. 도 125에서 나타낸 바와 같이, 수평/수직 판정부(711)는, 주목 화소와 그 주목 화소에 인접하는 화소 사이의 차분(화소 사이의 화소값의 차분) 중, 수평 방향의 화소 사이의 차분(액티비티)의 합(hdiff)와 수직 방향의 화소 사이의 차분(액티비티)의 합의 차분(vdiff)을 구하여, 주목 화소가 수직 방향으로 인접하는 화소 사이와의 차분의 합이 큰지, 또는 수평 방향으로 인접하는 화소 사이와의 차분의 화가 큰가를 판정한다. 여기서, 도 125에 있어서는, 각 격자가 화소를 나타내고, 도면 중의 중앙의 화소가 주목 화소이다. 또, 도면 중의 점선 화살표에서 나타낸 화소 사이의 차분이, 수평 방향의 화소 사이의 차분이며, 그 합을 hdiff에서 나타낸다. 또한, 도면 중의 실선 화살표에서 나타낸 화소 사이의 차분이, 수직 방향의 화소 사이의 차분이며, 그 합을 vdiff에서 나타낸다.

이와 같이 구해진 수평 방향의 화소 사이의 화소값의 차분의 합 hdiff와 수직 방향의 화소 사이의 화소값의 차분의 합 vdiff에 따라서, 수평/수직 판정부(711)는, hdiff－vdiff가 양이면, 수직 방향보다 수평 방향의 화소 사이의 화소값의 변화(액티비티)가 크기 때문에, 도 126에 나타낸 바와 같이, 수평 방향에 대한 각도가 θ(0도 ≤ θ ≤ 180도)에서 나타내는 경우, 45도＜ θ ≤ 135도, 즉, 수직 방향에 가까운 각도의 가는 선에 속하고 있는 화소인 것으로 판정하고, 역으로 음이면 수직 방향의 화소 사이의 화소값의 변화(액티비티)가 크기 때문에, 0도≤ θ ＜ 45도, 또는 135도 ＜ θ ≤ 180도, 즉, 수평 방향에 가까운 각도의 가는 선에 속하고 있는 화소인 것으로 판정한다(가는 선이 계속될 방향(각도)에 존재하는 화소는, 모두 가는 선을 표현하는 화소이므로, 그 화소 사이의 변화(액티비티)는 작아진다.

또, 수평/수직 판정부(711)는, 입력 화상의 각 화소를 식별하는 카운터(도시하지 않음)를 구비하고 있고, 필요에 따라 적절히 사용한다.

그리고, 도 125에 있어서는, 주목 화소를 중심으로 하여, 3화소 × 3화소의 범위에 있어서의 수직 방향과 수평 방향의 화소 사이의 화소값의 차분의 합을 비교하여, 가는 선이 수직 방향으로 가까운지, 또는 수평 방향으로 가까운인지를 판정하는 예에 대하여 설명하였으나, 그 이상의 화소수를 사용하여 동일한 방법으로 가는 선의 방향을 판정해도 되고, 예를 들면, 주목 화소를 중심으로 하여 5화소 × 5화소나, 7화소 × 7화소 등, 그 이상의 화소수의 블록에 따라 판정할 수도 있다.

데이터 취득부(712)는, 수평/수직 판정부(711)로부터 입력된 가는 선의 방향의 판정 결과에 따라, 주목 화소에 대응하는 수평 방향으로 줄선 복수개의 화소로 이루어지는 블록 단위, 또는 수직 방향으로 배열된 복수개의 화소의 블록 단위로 화소값을 판독(취득)하여, 판독한(취득한)주목 화소마다 대응하는 복수개의 화소 사이에서의, 수평/수직 방향 판정부(711)의 판정 결과의 방향으로 인접하는 화소 사이의 차분 데이터와 함께, 소정의 화소수의 블록에 포함되는 화소로부터, 화소값의 최대값과 최소값의 데이터를 데이터 덧셈부(702)에 출력한다. 그리고, 이하에 있어서는, 데이터 취득부(712)에 의하여, 주목 화소에 대응하여 취득되는 복수개의 화소의 블록을 취득 블록이라 한다(취득 블록은, 예를 들면, 후술하는 도 139에서 나타내는 복수개의 화소(각 격자) 중, 흑선의 정방형이 나타낸 화소를 주목 화소 로 할 때, 그 상하 3화소분과 좌우 1화소분의 합계 15화소 등이다.

데이터 덧셈부(702)의 차분 덧셈부(721)는, 데이터 선택부(701)로부터 입력된 차분 데이터를 검출하고, 데이터 선택부(701)의 수평/수직 판정부(711)로부터 입력되는 수평 방향, 또는 수직 방향의 판정 결과에 따라, 후술하는 최소 자승법의 해법에 의해 필요한 덧셈 처리를 실행하고, 그 덧셈 결과를 정상 방향 도출부(703)에 출력한다. 보다 구체적으로는, 복수개의 화소 중 수평/수직 판정부(711)에 의한 판정 방향과 인접하는 화소 i와 화소 i+1의 화소 사이의 화소값의 차분 데이터를 yi로 하고, 주목 화소에 대응하는 취득 블록이 n개의 화소로 구성된 경우, 차분 덧셈부(721)는, 수평 방향, 또는 수직 방향마다 y1² + y2² + y3² + …를 덧셈 연산하고, 정상 방향 도출부(703)에 출력한다.

MaxMin 취득부(722)는, 데이터 선택부(701)로부터 입력되는 주목 화소에 대응하는 취득 블록에 포함되는 각 화소마다 설정되는 블록(이하, 다이나믹 레인지 블록이라 한다(다이나믹 레인지 블록은, 후술하는 도 139에서 나타내는 취득 블록의 화소 중, 예를 들면, 화소 pix12에 대하여, 흑색 실선으로 둘러싸여 있는, 다이나믹 레인지 블록 B1으에서 나타내는, 화소 pix12의 상하 3화소분의 합계 7화소 등이다)에 포함되는 화소의 화소값의 최대값과 최소값을 취득하면, 그 차분으로부터 다이나믹 레인지 Dri(취득 블록 내의 i번의 화소에 대응하는, 다이나믹 레인지 블록에 포함되는 화소의 화소값의 최대값과 최소값의 차분)를 연산(검출)하여, 차분 덧셈부(723)에 출력한다.

차분 덧셈부(723)는, MaxMin 취득부(722)로부터 입력된 다이나믹 레인지 Dri와 데이터 선택부(701)로부터 입력된 차분 데이터를 검출하고, 검출한 다이나믹 레인지 Dri와 차분 데이터에 따라, 데이터 선택부(701)의 수평/수직 판정부(711)로부터 입력되는 수평 방향, 또는 수직 방향마다, 다이나믹 레인지 Dri와 차분 데이터 yi를 곱한 값을 더하여, 연산 결과를 정상 방향 도출부(703)에 출력한다. 즉, 차분 덧셈부(723)가 출력하는 연산 결과는, 수평 방향, 또는 수직 방향마다 y1 × r1 ＋ y2 × Dr2 ＋ y3 × Dr3＋ …가된다.

정상 방향 도출부(703)의 정상 방향 연산부(731)는, 데이터 덧셈부(702)로부터 입력되는, 수평 방향, 또는 수직 방향마다의 덧셈 연산 결과에 따라, 가는 선의 각도(방향)를 연산하고, 연산된 각도를 정상성 정보로서 출력한다.

여기서, 가는 선의 방향(가는 선의 경사, 또는 각도)의 연산 방법에 대하여 설명한다.

도 127a에 나타낸 바와 같은 입력 화상 중의 흰색 선에 의해 둘러싸이는 부분을 확대하면, 가는 선(도면 중, 우측으로 상승하고 경사 방향의 흰색 선)은, 실제로는, 도 127b에 나타낸 바와 같이 표시되어 있다. 즉, 현실 세계에 있어서는, 도 127c에서 나타낸 바와 같이, 화상은, 가는 선의 레벨(도 127c 중 엷은 사선부)과 배경 레벨의 2종류의 레벨이 경계를 형성하고, 그 외의 레벨이 존재하지 않는 상태가 된다. 이에 비해, 센서(2)에 의해 촬상된 화상, 즉, 화소 단위로 촬상된 화상은, 도 127b에 나타낸 바와 같이, 그 적분 효과에 의해 배경 레벨과 가는 선 레벨이 공간적으로 혼합된 화소가, 그 비율(혼합비)을 일정한 패턴으로 변화하도록 세로 방향으로 배치된 복수개의 화소로 이루어지는 블록이 가는 선 방향으로 반복하여 배치된 화상이 된다. 그리고, 도 127b에 있어서, 각 정방형상의 격자는, CCD의 1화소를 나타내고, 각변의 길이를 d_CCD로 한다. 또, 격자은, 격자형으로 전부 칠해진 부분이 배경의 레벨에 해당하는 화소값의 최소값이며, 그 외의 사선형으로 전부 칠해진 부분은, 사선의 밀도가 낮아지면 화소값이 높아지게 된다(따라서, 사선이 없는 백색의 격자가 화소값의 최대값이 된다).

도 128a에 나타낸 바와 같이, 현실 세계의 배경 상에 가는 선이 존재하는 경우, 현실 세계의 화상은, 도 128b에 나타낸 바와 같이, 가로축에 레벨, 세로축에 그 레벨에 대응하는 부분의 화상 상의 면적을 나타내면, 화상 중의 배경에 해당하는 면적과 가는 선에 해당하는 부분의 면적의, 화상 상에서의 점유 면적의 관계가 나타난다.

마찬가지로 하여, 센서(2)에 의해 촬상된 화상은, 도 129a에 나타낸 바와 같이, 배경 레벨의 화소 중에, 세로로 배열된 배경 레벨과 가는 선 레벨이 혼합된 화소가, 그 혼합비를 소정의 패턴으로 변화시키면서 세로 방향에 배치된 블록이, 가는 선의 존재하는 방향으로 반복하여 배치된 화상이 되므로, 도 129b에 나타낸 바와 같이, 배경의 레벨이 되는 영역(배경 영역)과 가는 선의 레벨의 중간의 레벨을 취하는, 배경과 가는 선이 공간적으로 혼합한 결과 생기는 화소로 이루어지는 공간 혼합 영역이 존재한다. 여기서, 도 129b에 있어서 세로축은, 화소수이지만, 1화소의 면적은(d_CCD)²이 되므로, 도 129b의 화소값의 레벨과 화소수의 관계는, 화소값의 레벨과 면적의 분포의 관계와 동일하다고 할 수 있다.

이것은, 도 130a의 실제의 화상 중, 흰색 선으로 둘러싸이는 부분(31화소 × 31화소의 화상)에 있어서도, 도 130b에 나타낸 바와 같이 동일한 결과를 얻을 수 있다. 즉, 도 130a에 나타내는 배경 부분(도 130a 중에서는, 흑색으로 보이는 부분)은, 도 130b에 나타낸 바와 같이, 화소값 레벨이 낮은(화소값이 20부근의) 화소가 많이 분포하고 있고, 이들 변화가 적은 부분이, 배경 영역의 화상을 형성한다. 이에 비해, 도 130b의 화소값 레벨이 낮지 않은 부분, 즉, 화소값 레벨이 40부근 내지 160부근에 분포하는 화소는, 가는 선의 화상을 형성하는, 공간 혼합 영역에 속하는 화소이며, 각 화소값마다의 화소수는 적지만, 넓은 화소값의 범위에 분포하고 있다.

그런데, 현실 세계의 화상에 있어서의 배경과 가는 선의 각각의 레벨은, 예를 들면, 도 131a에 나타내는 화살표 방향(Y 좌표 방향)으로 보면, 도 131b에 나타낸 바와 같이 변화하게 된다. 즉, 화살표의 기점으로부터 가는 선까지의 배경 영역에서는, 비교적 레벨의 낮은 배경 레벨이 되고, 가는 선의 영역에서는, 레벨이 높은 가는 선의 레벨이 되고, 가는 선 영역을 지나서 다시 배경 영역으로 돌아오면, 레벨이 낮은 배경의 레벨로 된다. 결과로서, 가는 선 영역만이 높은 레벨이 되는 펄스형의 파형이 된다.

이에 비하여, 센서(2)에 의해 촬상된 화상 중, 도 131a 중, 화살표 방향에 대응하는, 도 132a의 공간 방향 X = X1상의 화소(도 132a에 있어서는, 흑색 원으로 나타나 있는 화소)의 화소값과 그 화소의 공간 방향 Y의 관계는, 도 132b에 나타낸 바와 같이 된다. 그리고, 도 132a에 있어서, 우측으로 상승하는 2개의 흰색 선의 사이가, 현실 세계의 화상 상에서의 가는 선을 나타내고 있다.

즉, 도 132b에 나타낸 바와 같이, 도 132a 중, 중앙의 화소에 대응하는 화소가 가장 높은 화소값을 취하기 때문에, 각 화소의 화소값은, 공간 방향 Y의 위치가, 도면 중의 하부로부터 중앙의 화소로 향함에 따라 높아지고, 중앙의 위치를 지나면, 서서히 감소하게 된다. 결과로서, 도 132b에 나타낸 바와 같이, 산(mountain) 형의 파형이 형성된다. 또, 도 132a의 공간 방향 X = X0, X2에 대응하는 각 화소의 화소값의 변화는, 공간 방향 Y의 피크 위치가, 가는 선의 경사에 따라 어긋나지만, 동일한 외형이 된다.

예를 들면, 도 133a에 나타낸 바와 같은, 실제로 센서(2)에 의해 촬상된 화상의 경우에도, 도 133b에 나타낸 바와 같이, 동일한 결과를 얻을 수 있다. 즉, 도 133b는, 도 133a의 화상 중, 흰색 선으로 둘러싸이는 범위의 가는 선 부근의 화소값을 소정의 공간 방향 X(도면 중에서는, X=(561, 562, 563)마다의, 공간 방향 Y에 대응한 화소값의 변화를 나타내고 있다. 이와 같이, 실제의 센서(2)에 의해 촬상된 화상에 있어서도, X = 561에 있어서는, Y = 730부근에서, X = 562에 있어서는, Y = 705부근에서, X = 563에 있어서는, Y = 685부근에서, 각각 피크가 되는 산형의 파형이 되어 있다.

이와 같이, 현실 세계의 화상의 가는 선 부근의 레벨의 변화를 나타낸 파형은 펄스형의 파형이 되는 데 비하여, 센서(2)에 의해 촬상된 화상의 화소값의 변화를 나타낸 파형은 산형의 파형이 된다.

즉, 환언하면, 현실 세계의 화상의 레벨은, 도 131b에 나타낸 바와 같은 파형이 되어야하지만, 센서(2)에 의해 촬상됨으로써, 촬상된 화상은, 도 132b에 나타낸 바와 같이, 그 변화에 왜곡이 생겨서, 현실 세계의 화상과는 상이한(현실 세계의 정보가 결락된)파형으로 변화하고 있다고 할 수 있다.

그래서, 이 센서(2)에 의해 촬상된 화상으로부터, 현실 세계의 화상의 정상성 정보를 취득하기 위하여, 센서(2)로부터 취득된 화상의 데이터로부터 현실 세계를 근사적으로 기술하기 위한 모델(도 123의 모델(705)에 해당함)을 설정한다. 예를 들면, 가는 선의 경우, 도 134에 나타낸 바와 같이, 현실 세계의 화상을 설정한다. 즉, 도면 중 좌측의 배경 부분의 레벨을 B1, 도면 중 우측의 배경 부분의 레벨을 B2, 가는 선 부분의 레벨을 L, 가는 선의 혼합비를α, 가는 선의 폭을 W, 가는 선의 수평 방향에 대한 각도를 θ로서, 각각 파라미터를 설정하고, 모델화하여, 현실 세계를 근사적으로 표현하는 함수를 설정하고, 각 파라미터를 구함으로써 현실 세계를 근사적으로 표현하는 근사 함수를 구하고, 그 근사 함수로부터 가는 선의 방향(경사, 또는 기준 축에 대하는 각도)을 구한다.

이 때, 배경 영역은, 좌측, 및 우측은, 동일한 것으로서 근사할 수 있으므로, 도 135에 나타낸 바와 같이, 통일하여 B(= B1 = B2)로 한다. 또, 가는 선의 폭을 1화소 이상인 것으로 한다. 이와 같이 설정된 현실 세계를 센서(2)에 의해 촬상할 때, 촬상된 화상은, 도 136a에 나타낸 바와 같이 촬상된다. 그리고, 도 136a에 있어서, 우측으로 상승하는 2개의 흰색 선의 사이가, 현실 세계의 화상 상에서의 가는 선을 나타내고 있다.

즉, 현실 세계의 가는 선상의 위치에 존재하는 화소는, 가는 선의 레벨에 가장 가까운 레벨이 되고, 수직 방향(공간 방향 Y의 방향)에 대하여 가는 선으로부터 멀어짐에 따라 화소값이 감소하고, 가는 선 영역에 접하지 않는 위치에 존재하는 화소의 화소값, 즉, 배경 영역의 화소는, 배경 레벨의 화소값이 된다. 이 때, 가는 선 영역과 배경 영역에 걸치는 위치에 존재하는 화소의 화소값은, 배경 레벨의 화소값 B와 가는 선 레벨의 화소값 L이, 혼합비 α로 혼합된 화소값이 된다.

이와 같이, 촬상된 화상의 각 화소를 주목 화소로 한 경우, 데이터 취득부(712)는, 그 주목 화소에 대응하는 취득 블록의 화소를 추출하고, 그 추출한 취득 블록을 구성하는 화소마다, 다이나믹 레인지 블록을 추출하고, 그 다이나믹 레인지 블록을 구성하는 화소 중 최대값이 되는 화소값을 취하는 화소와 최소값이 되는 화소값을 취하는 화소를 추출한다. 즉, 도 136a에 나타낸 바와 같이, 취득 블록 중의 소정의 화소(도면 중의 1격자 중에 흑색 실선으로 정방형이 기술된 화소 pix4)에 대응한 다이나믹 레인지 블록의 화소(예를 들면, 도면 중의 흑색 실선으로 둘러싸인 화소 pix1 내지 7의 7화소)가 추출되었을 경우, 그 각 화소에 대응하는 현실 세계의 화상은, 도 136b에 나타낸 바와 같이 된다.

즉, 도 136b에 나타낸 바와 같이, 화소 pix1는, 좌측의 대략 1/8의 면적을 차지하는 부분이 배경 영역이 되고, 우측의 대략 7/8의 면적을 차지하는 부분이 가는 선 영역이 된다. 화소 pix2는, 대략 전 영역이 가는 선 영역이 된다. 화소 pix3는, 좌측의 대략 7/8의 면적을 차지하는 부분이 가는 선 영역이 되고, 우측 1/8의 면적을 차지하는 부분이 가는 선 영역이 된다. 화소 pix4는, 좌측의 대략 2/3의 면적을 차지하는 부분이 가는 선 영역이 되고, 우측의 대략 1/3의 면적을 차지하는 부분이 배경 영역이 된다. 화소 pix5는, 좌측의 대략 1/3의 면적을 차지하는 부분이 가는 선 영역이 되고, 우측의 대략 2/3의 면적을 차지하는 부분이 배경 영역이 된다. 화소 pix6는, 좌측의 대략 1/8의 면적을 차지하는 부분이 가는 선 영역이 되고, 우측의 대략 7/8의 면적을 차지하는 부분이 배경 영역이 된다. 또한, 화소 pix7은, 전체가 배경 영역이 된다.

결과로서, 도 136a 및 도 136b에 나타내는 다이나믹 레인지 블록의 각 화소 pix1 내지 7의 화소값은, 가는 선 영역과 배경 영역의 면적의 비율에 대응한 혼합비로, 배경 레벨과 가는 선 레벨이 혼합된 화소값이 된다. 즉, 배경 레벨: 전경 레벨의 혼합비는, 화소 pix1가 대략 1 : 7, 화소 pix2가 대략 0 : 1, 화소 pix3가 대략 1 : 7, 화소 pix4가 대략 1 : 2, 화소 pix5가 대략 2 : 1, 화소 pix6가 대략 7 : 1, 및 화소 pix7가 대략 1 : 0이 된다.

따라서, 추출된 다이나믹 레인지 블록의 화소 pix1 내지 7의 각 화소의 화소값은, 화소 pix2가 가장 높고, 이어서 화소 pix1, 3이 계속되어, 이하 화소값이 높은 순으로 화소 pix4, 5, 6, 7이 된다. 따라서, 도 136b에 나타내는 경우, 최대값은, 화소 pix2의 화소값이며, 최소값은, 화소 pix7의 화소값이 된다.

또, 도 137a에 나타낸 바와 같이, 가는 선의 방향은, 화소값의 최대값을 취하는 화소가 연속할 방향인 것으로 말할 수 있으므로, 이 최대값을 취하는 화소가 배치된 방향이 가는 선의 방향이 된다.

여기서, 가는 선의 방향을 나타낸 경사 G_fl는, 공간 방향 X의 단위 거리에 대한, 공간 방향 Y로의 변화(거리의 변화)의 비이므로, 도 137a에 나타낸 바와 같은 경우, 도면 중의 공간 방향 X에의 1화소의 거리에 대한, 공간 방향 Y의 거리가 경사 G_fl이 된다.

공간 방향 X0 내지 X2의 각각의 공간 방향 Y에 대한 화소값의 변화는, 도 137b에 나타낸 바와 같이, 각 공간 방향 X마다 소정의 간격으로 산형의 파형이 반복되게 된다. 전술한 바와 같이, 센서(2)에 의해 촬상된 화상에 있어서, 가는 선은, 최대값을 취하는 화소가 연속하는 방향이므로, 각 공간 방향 X의 최대값이 되는 공간 방향 Y의 간격 S가, 가는 선의 경사 Gfl이 된다. 즉, 도 137c에 나타낸 바와 같이, 수평 방향으로 1화소의 거리에 대한 수직 방향의 변화량이 경사 G_fl이 된다. 따라서, 가는 선의 경사 Gfl(수평 방향을 기준 축으로 했을 때의 각도에 대응)는, 도 137c에 나타낸 바와 같이, 그 경사에 대응하는 수평 방향을 기준 축으로 한 가는 선의 각도를 θ로서 표현하는 경우, 이하의 식(69)에서 나타내는 관계가 성립하게 된다.

θ = Tan^-1(G_fl)( = Tan^-1(S))

…(69)

또, 도 135에 나타낸 바와 같은 모델을 설정하고, 또한 공간 방향 Y의 화소와 화소값의 관계가, 도 137b에 나타내는 산형의 파형이, 완전한 삼각파형(상승, 또는 하강이 직선적으로 변화하는, 이등변 삼각형의 파형)인 것으로 가정하는 경우, 도 138에 나타낸 바와 같이, 소정의 주목 화소의 공간 방향 X에 있어서의, 공간 방향 Y 상에 존재하는 각 화소의 화소값의 최대값을 Max = L(여기서는, 현실 세계의 가는 선의 레벨에 대응하는 화소값), 최소값을 Min = B(여기서는, 현실 세계의 배경의 레벨에 대응하는 화소값)로 할 때, 이하의 식(70)에서 나타내는 관계가 성립한다.

L－B = Gfl × d_y

…(70)

여기서, d_y는, 공간 방향 Y의 화소 사이의 화소값의 차분을 나타낸다.

즉, 공간 방향의 경사 Gfl는, 클수록 가는 선이 보다 수직에 가까워지기 때문에, 산형의 파형은, 밑변이 큰 이등변 삼각형의 파형이 되고, 역으로, 경사 S가 작을수록 밑변이 작은 이등변 삼각형의 파형이 된다. 이 결과, 경사 G_fl이 클수록, 공간 방향 Y의 화소 사이의 화소값의 차분 d_y는 작고, 경사 S가 작을 수록, 공간 방향 Y의 화소 사이의 화소값의 차분 d_y는 커진다.

그래서, 전술한 식(70)의 관계가 성립하는 경사 Gfl를 구함으로써, 가는 선의 기준 축에 대한 각도 θ를 구하는 것이 가능해진다. 식(70)은, 경사 G_fl을 변수로 한 1변수 함수이므로, 주목 화소에 대하여, 주변의 화소 사이의 화소값의(수직 방향의) 차분 d_y, 및 최대값, 및 최소값의 차분(L－B)을 1 그룹 이용하면 구할 수 있지만, 전술한 바와 같이, 공간 방향 Y의 화소값의 변화가 완전한 삼각파형인 것을 전제으로 한 근사식을 사용한 것이므로, 주목 화소에 대응하는 추출 블록의 각 화소에 대하여 다이나믹 레인지 블록을 추출하고, 또한 그 최대값과 최소값으로부터 다이나믹 레인지 Dr을 구하는 동시에, 추출 블록의 각 화소마다의 공간 방향 Y의 화소 사이의 화소값의 차분 d_y를 사용하여, 최소 자승법에 의해 통계적으로 구한다.

여기서, 최소 자승법에 따르는 통계적인 처리의 설명에 있어서, 먼저, 추출 블록, 및 다이나믹 레인지 블록에 대하여, 상세히 설명한다.

추출 블록은, 예를 들면, 도 139에서 나타낸 바와 같이, 주목 화소(도면 중의 흑색 실선으로 정방형이 그려져 있는 격자형의 화소)의, 공간 방향 Y에 대하여 상하 3화소분, 공간 방향 X에 대하여, 좌우 1화소분의 합계 15화소 등이라도 된다. 또, 이 경우, 추출 블록의 각 화소의 화소 사이의 화소값의 차분 d_y는, 예를 들면, 화소 pix11에 대응하는 차분이 d_y11에서 나타내는 때, 공간 방향 X = X0의 경우, 화소 pix11와 pix12, pix12와 pix13, pix13와 pix14, pix15와 pix16, pix16와 pix17의 화소 사이의 화소값의 차분 d_y11 내지 d_y16를 얻을 수 있게 된다. 이 때, 공간 방향 X = X1, X2대하여도, 마찬가지로 하여 화소 사이의 화소값의 차분을 얻을 수 있다. 결과로서, 이 경우, 화소 사이의 화소값의 차분 d_y는, 18개 존재하게 된다.

또한, 추출 블록의 각 화소에 대하여, 다이나믹 레인지 블록의 화소가, 예를 들면, 화소 pix11에 대하여는, 수평/수직 판정부(711)의 판정 결과에 따라, 지금의 경우, 수직 방향인 것으로 판정되므로, 도 139에서 나타낸 바와 같이, 화소 pix11를 포함하여, 수직 방향(공간 방향 Y)의 상하 방향으로 각각 3화소분의 다이나믹 레인지 블록 B1의 범위의 7화소인 것 로 하면, 이 다이나믹 레인지 블록 B1의 화소의 화소값의 최대값과 최소값을 구하고, 또한 이 최대값과 최소값으로부터 얻어지는 다이나믹 레인지를 다이나믹 레인지 Dr11로 한다. 마찬가지로 하여, 추출 블록의 화소 pix12에 대하여는, 도 139중의 다이나믹 레인지 블록 B2의 7화소로부터 마찬가지로 하여 다이나믹 레인지 Dr12를 구한다. 이같이 하여, 추출 블록 내의 18개의 화소간 차분 d_yi와 대응하는 다이나믹 레인지 Dri의 조합에 따라, 최소 자승법을 이용하여 통계적으로 경사 Gfl가 구해진다.

다음에, 1변수의 최소 자승법의 해법에 대하여 설명한다. 그리고, 여기서는, 수평/수직 판정부(711)의 판정 결과가 수직 방향에서 만난 것으로 한다.

1변수의 최소 자승법에 따르는 해법은, 예를 들면, 도 140에 나타낸 흑점에 나타낸 모든 실측값에 대한 거리를 최소로 하는, 예측치 Dri_c으로 이루어지는 직선의 경사 Gfl를 구하는 것이다. 그래서, 전술한 식(70)에서 나타내는 관계로부터 이하와 같은 방법에 의하여, 경사 S가 구해진다.

즉, 전술한 식(70)은, 최대값과 최소값의 차분을 다이나믹 레인지 Dr 로 할 때, 이하의 식(71)에서 나타낸 바와 같이 기술된다.

Dr = Gfl × d_y

…(71)

전술한 식(71)에, 추출 블록의 각 화소 사이에 관한 차분 d_yi를 대입함으로써 다이나믹 레인지 Dri_c가 구해지게 된다. 따라서, 각 화소에 대하여, 이하의 식(72)의 관계가 만족하게 된다.

Dri_c = Gfl × d_y

…(72)

여기서, 차분 d_yi는, 각 화소 i의 공간 방향 Y의 화소 사이의 화소값의 차분(예를 들면, 화소 i에 대하여, 상방향, 또는 하방향으로 인접한 화소와의 화소 사이의 화소값의 차분이며, Dri_c는, 화소 i에 대하여 식(70)이 성립할 때 얻어지는 다이나믹 레인지이다.

전술한 바와 같이, 여기서 말하는 최소 자승법은, 추출 블록의 화소 i의 다이나믹 레인지 Dri_c와 도 136a 및 도 136b를 참조하여 설명한 방법으로 얻어지는, 화소 i의 실측값이 되는 다이나믹 레인지 Dri_r와의 차분 제곱합 Q가, 화상 내의 모든 화소에 있어서 최소가 되는 때의 경사 Gfl를 구하는 방법이다. 따라서, 차분 제곱합 Q는 이하의 식(73)에 의해 구해지게 된다.

…(73)

식(73)에서 나타내는 차분 제곱합 Q는, 2차 함수이므로, 변수 Gfl(경사 Gfl)에 대하여 도 141에 나타낸 바와 같은 아래의 볼록한 곡선이 되므로, 경사 Gfl가 최소가 되는 Gflmin이 최소 자승법의 해가 된다.

식(73)에서 나타내는 차분 제곱합 Q는, 변수 Gfl에 의해 미분되면 이하에 나타내는 식(74)에서 나타내는 Q/dGfl이 된다.

…(74)

식(74)이, 0이 되는 Gfl이 도 141에 나타낸 차분 제곱합 Q의 최소값을 취하는 Gflmin이 되므로, 식(74)가 0이 될 때의 식을 전개함으로써, 이하의 식(75)에서 경사 Gfl이 구해지게 된다.

…(75)

전술한 식(75)는, 이른바, 1변수(경사 Gfl)의 정규 방정식이 된다.

이같이 하여, 얻어진 경사 Gfl을 전술한 식(69)에 대입함으로써, 가는 선의 경사 Gfl에 대응하는, 수평 방향을 기준 축으로 했을 때의 가는 선의 각도 θ를 얻을 수 있다.

그리고, 이상의 설명에 있어서는, 주목 화소가, 수평 방향을 기준 축으로 했을 때의 각도 θ가 45도 ≤ θ ＜ 135도의 범위가 되는 가는 선 상의 화소인 경우의 예에 대하여 설명하였지만, 예를 들면, 주목 화소가, 수평 방향을 기준 축에 대하는 가는 선의 각도 θ가 0도 ≤ θ ＜ 45도, 또는 135도 ≤ θ ＜ 108도가 되는, 수평 방향으로 가까운 가는 선 상의 화소인 경우, 화소 i에 인접하는 화소 사이의 화소값의 차분은, 수평 방향으로 인접하는 화소 사이의 화소값의 차분 d_xi가 되고, 마찬가지로, 화소 i에 대응하는 복수개의 화소로부터 화소값의 최대값, 또는 최소값을 구할 때, 추출하는 다이나믹 레인지 블록의 화소에 대하여도, 화소 i에 대하여 수평 방향으로 존재하는 복수개의 화소 중에서 선택되게 된다. 이 경우의 처리에 대하여는, 전술한 설명에 있어서 수평 방향과 수직 방향의 관계가 바뀔 뿐이므로, 그 설명은 생략한다.

또, 동일한 방법에 의하여, 2진수 에지의 경사에 대응하는 각도를 구하는 것도 가능하다.

즉, 도 142a에 나타낸 바와 같은 입력 화상 중의 흰색 선에 의해 둘러싸이는 부분을 확대하면, 화상 중의 에지 부분(도면 중, 검은 천의 기에 그려진 「+」가 흰색으로 그려진 문자 아래 부분)(이하, 이와 같이, 2진수의 레벨로 이루어지는 화상 상의 에지 부분을 2진수 에지라고도 한다)은, 실제로는, 도 142b에 나타낸 바와 같이 표시되어 있다. 즉, 현실 세계에 있어서는, 도 142c에 나타낸 바와 같이, 화상에서는, 제1 레벨(기의 땅의 레벨)과 제2 레벨(문자의 레벨(도 142c 중에서는 농도가 연한 사선부)의 2종류의 레벨로 이루어지는 경계가 형성되어 있고, 그 외의 레벨이 존재하지 않는다. 이에 비해, 센서(2)에 의해 촬상된 화상, 즉, 화소 단위로 촬상된 화상은, 도 142b에 나타낸 바와 같이, 제1 레벨과 제2 레벨이 공간적으로 혼합된 화소가, 그 비율(혼합비)을 일정한 패턴으로 변화하도록 세로 방향으로 배치된 복수개의 화소로 이루어지는 블록이 에지가 구성되어 있는 방향으로 반복하여 배치된 영역을 경계로 한 제1 레벨의 화소가 배치되는 부분과 제2 레벨 화소가 배치되는 부분이 존재하는 화상이 된다.

즉, 도 143a에 나타낸 바와 같이, 공간 방향 X = X0, X1, X2에 대하여, 각각의 공간 방향 Y로의 화소값의 변화는, 도 143b 중은, 각 화소값은, 도면 중의 아래로부터 2진수 에지(도 143a) 중의 우측으로 상승하는 직선)의 경계 앞 부근까지는, 소정의 최소값의 화소값으로 되어 있지만, 2진수 에지의 경계 앞 부근에서, 화소값이 서서히 증대하고, 에지를 넘으면 도면 중의 점 PE에 있어서, 화소값이 소정의 최대값이 된다. 보다 상세하게는, 공간 방향 X = X0의 변화는, 도 143b에 나타낸 바와 같이, 화소값이 최소값이 되는 점 PS를 지난 후, 서서히 화소값이 증대하고, 화소값이 최대값이 되는 점 P0로 된다. 이에 비해, 공간 방향 X = X1에 대응하는 각 화소의 화소값의 변화는, 공간 방향으로 어긋난 파형이 되므로, 도 143b에 나타낸 바와 같이, 화소값의 최소값으로부터 서서히 화소값이 증대하는 위치가 공간 방향 Y의 정방향으로 더 어긋난, 도면 중의 점 P1를 경유하여, 화소값의 최대값까지 증대한다. 또한, 공간 방향 X = X2에 있어서의 공간 방향 Y의 화소값의 변화는, 공간 방향 Y의 플러스 방향으로 또한 어긋난 도면 중의 점 P2를 경유하여 감소하고, 화소값의 최대값으로부터 최소값이 된다.

이것은, 실제 화상 중의 흰색 선으로 둘러싸이는 부분에 있어서도, 동일한 경향이 나타난다. 즉, 도 144a의 실제 화상 중의 흰색 선으로 둘러싸이는 부분(31화소×31화소의 화상)에 있어서, 배경 부분(도 144a) 중, 흑색 부분)은, 도 144b에 나타낸 바와 같이, 화소값이 낮은(화소값이 90부근의) 화소수가 많이 분포하고 있고, 이들 변화가 적은 부분이, 배경 영역의 화상을 형성한다. 이에 비해, 도 144b의 화소값이 낮지 않은 부분, 즉, 화소값이 100부근 내지 200부근에 분포하는 화소는, 문자 영역과 배경 영역의 공간 혼합 영역에 속하는 화소의 분포이며, 각 화소값마다의 화소수는 적지만, 넓은 화소값의 범위에 분포하고 있다. 또한, 화소값의 높은 문자 영역(도 144a) 중, 백색 부분)의 화소가, 220으에서 나타낸 화소값의 부근에 많이 분포하고 있다.

이 결과, 도 145a에서 나타내는 에지 화상에 있어서의 소정의 공간 방향 X에 대한, 공간 방향 Y의 화소값의 변화는, 도 145b에 나타낸 바와 같이 된다.

즉, 도 145b는, 도 145a의 화상 중, 흰색 선으로 둘러싸이는 범위의 에지 부근의 화소값을 소정의 공간 방향 X(도면 중에서는, X = 658, 659, 660마다의, 공간 방향 Y에 대응한 화소값의 변화를 나타내고 있다. 이와 같이, 실제 센서(2)에 의해 촬상된 화상에 있어서도, X = 658에 있어서, 화소값은, Y = 374부근에서 증대를 개시하고(도면 중, 흑색 원으에서 나타낸 분포), X = 382부근에서 최대 화소값에 도달한다. 또, X = 659에 있어서는, 공간 방향 Y에 대하여 정방향으로 어긋나는, 화소값은, Y = 378부근에서 증대를 개시하고(도면 중, 흑색 삼각으로 나타나는 분포), X = 386부근에서 최대 화소값에 도달한다. 또한, X = 660에 있어서는, 공간 방향 Y에 대하여, 또한 정방향으로 어긋난, 화소값은, Y = 382부근에서 증대를 개시하고(도면 중, 흑색 사각으에서 나타내는 분포), X = 390부근에서 최대 화소값에 도달한다.

그래서, 상기 센서(2)에 의해 촬상된 화상으로부터, 현실 세계의 화상의 정상성 정보를 취득하기 위하여, 센서(2)로부터 취득된 화상의 데이터로부터 현실 세계를 근사적으로 기술하기 위한 모델을 설정한다. 예를 들면, 2진수 에지의 경우, 도 146에 나타낸 바와 같이, 현실 세계의 화상을 설정한다. 즉, 도면 중 좌측의 배경 부분의 레벨을 V1, 도면 중 우측의 문자 부분의 레벨을 V2, 2진수 에지 부근의 화소 사이의 혼합비를α, 에지의 수평 방향에 대한 각도를 θ로서 파라미터를 설정하고, 모델화하여, 현실 세계를 근사적으로 표현하는 함수를 설정하고, 각 파라미터를 구함으로써 현실 세계를 근사적으로 표현하는 함수를 구하고, 그 근사 함수로부터 에지의 방향(기울기, 또는 기준 축에 대한 각도)을 구한다.

여기서, 에지의 방향을 나타낸 기울기는, 공간 방향 X의 단위 거리에 대한, 공간 방향 Y로의 변화(거리의 변화)의 비이므로, 도 147a에 나타낸 바와 같은 경우, 도면 중의 공간 방향 X로의 1화소의 거리에 대한, 공간 방향 Y의 거리가 기울기가 된다.

공간 방향 X0 내지 X2의 각각의 공간 방향 Y에 대한 화소값의 변화는, 도 147b에 나타낸 바와 같이, 각 공간 방향 X마다 소정의 간격으로 동일한 파형이 반복되게 된다. 전술한 바와 같이, 센서(2)에 의해 촬상된 화상에 있어서, 에지는, 유사한 화소값의 변화(지금의 경우, 최소값으로부터 최대값으로 변화하는, 소정의 공간 방향 Y 상의 화소값의 변화)가 공간적으로 연속하는 방향이므로, 각 공간 방향 X에 있어서, 공간 방향 Y의 화소값의 변화가 개시되는 위치, 또는 변화가 종료하는 위치가 되는 공간 방향 Y의 간격 S가, 에지의 경사 Gfe가 된다. 즉, 도 147c에 나타낸 바와 같이, 수평 방향으로 1화소의 거리에 대한 수직 방향의 변화량이 경사 Gfe가 된다.

그런데, 이 관계는, 도 137a 내지 137c를 참조하여 전술한 가는 선의 경사 Gfl에 있어서의 관계와 동일하다. 따라서, 그 관계식에 대해서도, 동일하게 된다. 즉, 2진수 에지의 경우의 관계식은, 도 148에 나타낸 것과 같이, 배경 영역의 화소값을 V1, 문자 영역의 화소값을 V2의 각각은 최소값, 및 최대값이 된다. 또, 에지 부근의 화소의 혼합비를α로 하고, 에지의 경사를 Gfe라 하면, 성립하는 관계식은, 전술한 식(69) 내지 식(71)과 마찬가지로 된다((단, Gfl은, Gfe로 바뀐다).

그러므로, 도 124에서 나타내는 데이터 정상성 검출부(101)는, 동일한 처리에 의하여, 가는 선의 경사에 대응하는 각도, 및 에지의 경사에 대응하는 각도를, 데이터 정상성 정보로서 검출할 수 있다. 그래서, 이하에 있어서는, 경사는, 가는 선의 경사와 2진수 에지의 경사를 총칭하여, 경사 Gf 이라고 한다. 또, 전술한 식(73) 내지 식(75)에 있어서의 경사 Gfl은, Gfe라도 되고, 결과로서, 기울기 Gf와 바꾸어진 것으로 생각한다.

다음에, 도 149의 흐름도를 참조하여, 데이터 정상성의 검출의 처리를 설명한다.

스텝 S701에 있어서, 수평/수직 판정부(711)는, 입력 화상의 각 화소를 식별하는 카운터 T를 초기화한다.

스텝 S702에 있어서, 수평/수직 판정부(711)는, 후단의 처리에 필요한 데이터의 추출 처리를 실행한다.

여기서, 도 150의 흐름도를 참조하여, 데이터를 추출하는 처리에 대하여 설명한다.

스텝 S711에 있어서, 데이터 선택부(701)의 수평/수직 판정부(711)는, 각 주목 화소 T에 대하여, 도 125를 참조하여 설명한 바와 같이, 수평 방향, 수직 방향, 및 대각선 방향으로 인접하는 9화소의 수평 방향으로 인접하는 화소 사이의 화소값의 차분(액티비티)의 합 hdiff와 수직 방향으로 인접하는 화소 사이의 화소값의 차분(액티비티)의 합 vdiff를 연산하고, 또한 그 차분(hdiff－vdiff)을 구하고, 차분(hdiff－vdiff) ≥ 0의 경우, 그 주목 화소 T가, 수평 방향을 기준 축으로 했을 때, 그 기준축과의 각도 θ가 45도 ≤ θ ＜ 135도가 되는, 수직 방향으로 가까운 가는 선, 또는 2진수 에지 부근의 화소인 것으로 간주하여, 사용하는 추출 블록을 수직 방향으로 대응하는 판정 결과를 데이터 취득부(712), 및 데이터 덧셈부(702)에 출력한다.

한편, 차분(hdiff－vdiff)＜ 0의 경우, 수평/수직 판정부(711)는, 그 주목 화소가, 수평 방향을 기준 축으로 했을 때, 그 기준축과 가는 선, 또는 2진수 에지가 이루는 각도θ가 0도 ≤ θ ＜ 45도, 또는 135도 ≤ θ ＜180도가 되는, 수평 방향으로 가까운 가는 선, 또는 에지 부근의 화소인 것으로 간주하여, 사용하는 추출 블록을 수평 방향으로 대응한 것으로 하는 판정 결과를 데이터 취득부(712), 및 데이터 덧셈부(702)에 출력한다.

즉, 가는 선, 또는 2진수 에지의 경사가 수직 방향으로 가깝다는 것은, 예를 들면, 도 131a에 나타낸 바와 같이, 도면 중의 화살표가 가는 선과 교차하는 부분이 증가하게 되므로, 수직 방향의 화소수를 많게 한 추출 블록을 설정한다(가로가 긴 추출 블록을 설정한다. 마찬가지로 하여, 가는 선의 경사가 수평 방향으로 가까운 경우에 대하여도, 수평 방향의 화소수를 많게 한 추출 블록을 설정하도록 한다(가로가 긴 추출 블록을 설정한다). 이와 같이함으로써, 불필요한 계산량을 증가시키지 않고, 정확한 최대값과 최소값의 연산이 가능해진다.

스텝 S712에 있어서, 데이터 취득부(712)는, 주목 화소에 대하여 수평/수직 판정부(711)로부터 입력되는 수평 방향, 또는 수직 방향의 판정 결과에 대응한 추출 블록의 화소를 추출한다. 즉, 예를 들면, 도 139에서 나타낸 바와 같이, 주목 화소를 중심으로 하여, (수평 방향으로 3화소) × (수직 방향으로 7화소)의 합계 21화소를 추출 블록으로 하여 추출하고, 기억한다.

스텝 S713에 있어서, 데이터 취득부(712)는, 추출 블록의 각 화소에 대하여, 수평/수직 판정부(711)의 판정 결과에 대응한 방향으로 대응하는 다이나믹 레인지 블록의 화소를 추출하고, 기억한다. 즉, 도 139를 참조하여, 전술한 바와 같이, 예를 들면, 추출 블록의 화소 pix11에 대하여는, 지금의 경우, 수평/수직 판정부(711)의 판정 결과가 수직 방향이 되므로, 데이터 취득부(712)는, 수직 방향으로, 다이나믹 레인지 블록 B1을, 마찬가지로 하여, 화소 pix12는, 다이나믹 레인지 블록 B2를 추출한다. 그 외의 추출 블록에 대하여도 마찬가지로 하여 다이나믹 레인지 블록이 추출된다.

즉, 상기 데이터 추출 처리에 의하여, 소정의 주목 화소 T에 대하여, 정규 방정식의 연산에 필요한 화소의 정보가 데이터 취득부(712)에 축적되게 된다(처리되는 영역이 선택되게 된다).

여기서, 도 149의 흐름도의 설명으로 되돌아온다.

스텝 S703에 있어서, 데이터 덧셈부(702)는, 정규 방정식(여기서는, 식(74))의 연산의 각 항에 필요한 값의 덧셈 처리를 실행한다.

여기서, 도 24의 흐름도를 참조하여, 정규 방정식의 덧셈 처리에 대하여 설명한다.

스텝 S721에 있어서, 차분 덧셈부(721)는, 데이터 선택부(701)의 수평/수직 판정부(711)의 판정 결과에 따라, 데이터 취득부(712)에 기억되어 있는 추출 블록의 화소 사이의 화소값의 차분을 구하고(검출하고), 또한 제곱하여 더한다. 즉, 수평/수직 판정부(711)의 판정 결과가 수직 방향인 경우, 차분 덧셈부(721)는, 추출 블록의 각 화소에 대하여 수직 방향으로 인접하는 화소 사이의 화소값의 차분을 구하고, 또한 제곱하여 더한다. 마찬가지로 하여, 수평/수직 판정부(711)의 판정 결과가 수평 방향인 경우, 차분 덧셈부(721)는, 추출 블록의 각 화소에 대하여 수평 방향으로 인접하는 화소 사이의 화소값의 차분을 구하여, 또한 제곱하여 더한다. 결과로서, 차분 덧셈부(721)는, 전술한 식(75)의 분모가 되는 항의 차분의 제곱합을 생성하고, 기억한다.

스텝 S722에 있어서, MaxMin 취득부(722)는, 데이터 취득부(712)에 기억된 다이나믹 레인지 블록에 포함되는 화소의 화소값의 최대값과 최소값을 취득하고, 스텝 S723에 있어서, 그 최대값과 최소값과의 차분으로부터 다이나믹 레인지를 구하고(검출하고), 차분 덧셈부(723)에 출력한다. 즉, 도 136b에서 나타나 있는, 화소 pix1 내지 7로 이루어지는 7화소의 다이나믹 레인지 블록의 경우, pix2의 화소값이 최대값으로서 검출되고, pix7의 화소가 최소값으로서 검출되어 이들 차분이 다이나믹 레인지로서 구해진다.

스텝 S724에 있어서, 차분 덧셈부(723)는, 데이터 취득부(712)에 기억되어 있는 추출 블록의 화소 사이 중에서, 데이터 선택부(701)의 수평/수직 판정부(711)의 판정 결과에 대응하는 방향에 인접하는 화소 사이의 화소값의 차분을 구하고(검출하고), MaxMin 취득부(722)로부터 입력된 다이나믹 레인지를 곱한 값을 더한다. 즉, 차분 덧셈부(721)는, 전술한 식(75)의 분자가 되는 항의 합을 생성하고, 기억한다.

여기서, 도 149의 흐름도의 설명으로 되돌아온다.

스텝 S704에 있어서, 차분 덧셈부(721)는, 추출 블록의 모든 화소의 화소 사이의 화소값의 차분(수평/수직 판정부(711)의 판정 결과에 대응하는 방향에 인접하는 화소 사이의 화소값의 차분)을 더할지의 여부를 판정하고, 예를 들면, 추출 블록의 모든 화소의 화소 사이의 차분을 더하지 않은 것으로 판정한 경우, 그 처리는, 스텝 S702로 복귀하고, 그 이후의 처리가 반복된다. 즉, 추출 블록의 모든 화소의 화소 사이의 화소값의 차분이 더해졌다고 판정되기까지, 스텝 S702 내지 S704의 처리가 반복된다.

스텝 S704에 있어서, 추출 블록의 모든 화소의 화소 사이의 화소값의 차분이 더해졌다고 판정된 경우, 스텝 S705에 있어서, 차분 덧셈부(721, 723)는, 스스로 기억하고 있는 덧셈 결과를 정상 방향 도출부(703)에 출력한다.

스텝 S706에 있어서, 정상 방향 연산부(731)는, 데이터 덧셈부(702)의 차분 덧셈부(721)로부터 입력된, 취득 블록의 각 화소 사이 중에서, 수평/수직 판정부(711)에 의해 판정된 방향으로 인접하는 화소 사이의 화소값의 차분의 제곱합, 차분 덧셈부(723)로부터 입력된, 취득 블록의 각 화소 사이 중에서, 수평/수직 판정부(711)에 의해 판정된 방향으로 인접하는 화소 사이의 화소값의 차분, 및 취득 블록의 각 화소에 대응하는 다이나믹 레인지와의 곱한 합에 따라서, 전술한 식(75)에서 나타낸 정규 방정식을 풀어서, 최소 자승법을 이용하여 통계적으로 주목 화소의 데이터 정상성 정보인, 정상성의 방향을 나타낸 각도(가는 선, 또는 2진수 에지의 경사를 나타낸 각도)를 연산하고, 출력한다.

스텝 S707에 있어서, 데이터 취득부(712)는, 입력 화상의 모든 화소에 대하여 처리가 행해졌는지 아닌지를 판정하고, 예를 들면, 입력 화상의 모든 화소에 대하여 처리가 되어 있지 않은, 즉, 입력 화상의 모든 화소에 대하여, 가는 선, 또는 2진수 에지의 각도의 정보를 출력하지 않은 것으로 판정한 경우, 스텝 S708에 있어서, 카운터 T를 1만큼 증가하여, 그 처리는, 스텝 S702로 되돌아온다. 즉, 입력 화상 중 처리하려고 하는 화소가 변경되어, 입력 화상의 모든 화소에 대하여 처리가 될 때까지, 스텝 S702 내지 S708의 처리가 반복되게 된다. 상기 카운터 T에 의한 화소의 변화는, 예를 들면, 라스터 스캔 등이라도 되고, 그 이외의 규칙에 의해 차례로 변화하는 것이라도 된다.

스텝 S707에 있어서, 입력 화상의 모든 화소에 대하여 처리가 된 것으로 판정된 경우, 스텝 S709에 있어서, 데이터 취득부(712)는, 다음 입력 화상이 있는지 여부를 판정하고, 다음 입력 화상이 있다고 판정된 경우, 그 처리는, 스텝 S701로 복귀하고, 그 이후의 처리가 반복된다.

스텝 S709에 있어서, 다음 입력 화상은 없다고 판정된 경우, 그 처리는, 종료된다.

이상의 처리에 의하여, 가는 선, 또는 2진수 에지의 각도가, 정상성 정보로서 검출되어, 출력된다.

이와 같이 통계적 처리에 의해 얻어지는 가는 선, 또는 에지의 경사의 각도는, 상관 관계를 사용하여 얻어지는 가는 선, 또는 2진수 에지의 각도와 대략 일치한다. 즉, 도 152a에 나타낸 바와 같은 화상의 흰색 선으로 둘러싸이는 범위의 화상에 대하여, 가는 선 상의 소정의 수평 방향의 좌표 상의 공간 방향 Y로의 기울기의 변화는, 도 152b에 나타낸 바와 같이, 상관 관계을 사용한 방법에 의해 얻어지는 가는 선의 기울기를 나타낸 각도(도면 중의 흑색 원 표시)와 도 124에서 나타낸 데이터 정상성 검출부(101)에 의해 통계 처리에 의해 얻어지는 가는 선의 각도(도면 중의 흑색 삼각 표시)는, 가는 선 근방의 공간 방향 Y의 좌표 상에서, 각각 대략 일치하고 있다. 그리고, 도 152b에 있어서는, 도면 중의 흑색 실선으로 협지된 공간 방향 Y = 680 내지 730이 가는 선 상의 좌표이다.

마찬가지로 하여, 도 153a에 나타낸 바와 같은 화상의 흰색 선으로 둘러싸이는 범위의 화상에 대하여, 2진수 에지 상의 소정의 수평 방향의 좌표 상의 공간 좌표 Y로의 기울기의 변화는, 도 153b에 나타낸 바와 같이, 상관 관계를 사용한 방법에 의해 얻어지는 2진수 에지의 기울기를 나타낸 각도(도면 중의 흑색 원 표시)와 도 124에서 나타낸 데이터 정상성 검출부(101)에 의해 통계 처리에 의해 얻어지는 2진수 에지의 각도(도면 중의 흑색 삼각 표시)는, 가는 선 근방의 공간 방향 Y의 좌표 상에서, 각각 대략 일치하고 있다. 그리고, 도 153b에 있어서는, 공간 방향 Y = 376부근 내지 388부근이 가는 선상의 좌표이다.

결과로서, 도 124에 나타내는 데이터 정상성 검출부(101)는, 데이터 정상성으로서 가는 선, 또는 2진수 에지의 각도를 구할 때, 소정의 화소로 이루어지는 블록에 의한 상관 관계를 사용하는 방법과 상이하고, 각 화소의 주변의 정보를 사용하여, 통계적으로 가는 선, 또는 2진수 에지의 경사를 나타낸 각도(여기서는, 수평 방향을 기준 축으로 한 각도)를 구할 수 있으므로, 상관 관계를 사용한 방법으로 보여지도록, 소정 각도의 범위에 따라서 전환되지 않기 때문에, 모든 가는 선, 또는 2진수 에지의 경사의 각도를 동일한 처리에 의해 구할 수 있어서, 처리를 간단하게 할 수 있다.

또, 이상에 있어서는, 데이터 정상성 검출부(101)는, 가는 선, 또는 2진수 에지의 소정의 기준축과 이루는 각도를 정상성 정보로서 출력하는 예에 대하여 설명하였지만, 후단의 처리에 따라서는, 경사를 그대로 출력함으로써, 처리 효율이 향상되는 것도 생각할 수 있다. 그와 같은 경우, 데이터 정상성 검출부(101)의 정상 방향 도출부(703)의 정상 방향 연산부(731)는, 최소 자승법에 의해 구해진 가는 선, 또는 2진수 에지의 경사 Gf를, 그대로 정상성 정보로서 출력할 수도 있다.

또한, 이상에 있어서는, 식(75)에 있어서, 다이나믹 레인지 Dri_r은, 추출 블록의 각 화소에 대하여 구해지는 것으로 연산하였지만, 상기 다이나믹 레인지는, 다이나믹 레인지 블록을 충분히 크게 설정함으로써, 즉, 많은 주목 화소에 대하여, 그 주변이 많은 화소를 사용하도록 설정함으로써, 화상 중의 화소의 화소값의 최대값과 최소값이, 항상 선택되게 된다. 따라서, 다이나믹 레인지 Dri_r은, 추출 블록의 각 화소에 대하여 연산하지 않고, 추출 블록 중, 또는 화상 데이터 내의 화소의 최대값과 최소값으로부터 얻어지는 다이나믹 레인지를 고정값으로서 연산할 수도 있다.

즉, 이하의 식(76)과 같이, 화소 사이의 화소값의 차분만을 더함으로써, 가는 선의 각도 θ(기울기 Gf)를 구할 수도 있다. 이와 같이, 다이나믹 레인지를 고정함으로써, 연산 처리를 보다 간소화할 수 있고, 고속으로 처리할 수 있다.

…(76)

다음에, 도 154를 참조하여, 데이터 정상성 정보로서, 각 화소의 혼합비를 검출하는 데이터 정상성 검출부(101)에 대하여 설명한다.

그리고, 도 154의 데이터 정상성 검출부(101)에 있어서는, 도 124의 데이터 정상성 검출부(101)에 있어서의 경우와 대응하는 부분에 대하여는, 동일한 부호를 부여하고, 이하에서는, 그 설명은, 적절히 생략한다.

도 154의 데이터 정상성 검출부(101)에 있어서, 도 124의 데이터 정상성 검출부(101)과 상이한 점은, 데이터 덧셈부(702), 및 정상성 방향 도출부(703)를 대신하여, 데이터 덧셈부(751), 및 혼합비 도출부(761)가 형성되어 있는 점이다.

데이터 덧셈부(751)의 MaxMin 취득부(752)는, 도 124에 있어서의 MaxMin 취득부(722)와 동일한 처리를 행하는 것이지만, 다이나믹 레인지 블록의 각 화소의 화소값의 최대값과 최소값을 취득하고, 최대값과 최소값의 차분(다이나믹 레인지)을 구하고, 덧셈부(753, 755)에 출력하는 동시에, 최대값을 차분 연산부(754)에 출력한다.

덧셈부(753)는, MaxMin 취득부로부터 입력된 값을 제곱하여, 추출 블록의 모든 화소에 대하여 더하며, 그 합을 구하여, 혼합비 도출부(761)에 출력한다.

차분 연산부(754)는, 데이터 취득부(712)의 취득 블록의 각 화소에 대하여, 대응하는 다이나믹 레인지 블록의 최대값과의 차분을 구하여, 덧셈부(755)에 출력한다.

덧셈부(755)는, 취득 블록의 각 화소에 대하여, MaxMin 취득부(752)로부터 입력된 최대값과 최소값의 차분(다이나믹 레인지)과, 차분 연산부(754)로부터 입력된 취득 블록의 각 화소의 화소값과 대응하는 다이나믹 레인지 블록의 최대값과의 차분을 곱하여, 그 합을 구하고, 혼합비 도출부(761)에 출력한다.

혼합비 도출부(761)의 혼합비 산출부(762)는, 데이터 덧셈부의 덧셈부(753, 755)의 각각으로부로터 입력된, 값에 따라, 주목 화소의 혼합비를 최소 자승법에 의해 통계적으로 구하고, 데이터 정상성 정보로서 출력한다.

다음에, 혼합비의 도출 방법에 대하여 설명한다.

도 155a에 나타낸 바와 같이, 화상 상에 가는 선이 존재하는 경우, 센서(2)에 의해 촬상된 화상은, 도 155b에 나타낸 바와 같은 화상이 된다. 상기 화상에 대하여, 도 155b의 공간 방향 X = X1 상의 흑색 실선으로 둘러싸인 화소에 대하여 주목한다. 그리고, 도 155b의 흰색 선에 끼인 범위는, 현실 세계에 있어서의 가는 선 영역에 대응하는 위치를 나타낸다. 이 화소의 화소값 M은, 배경 영역의 레벨에 대응하는 화소값 B와 가는 선 영역의 레벨에 대응하는 화소값 L의 중간 색이 될 것이며, 보다 상세하게는, 상기 화소값 PS는, 배경 영역과 가는 선 영역의 면적 비로, 각각의 레벨이 혼합되어 있을 것이다. 따라서, 상기 화소값 PS는, 이하의 식(77)에 의해 표현된다.

P_S =α × B + (1- α) × L

…(77)

여기서, α는 혼합비이며, 보다 구체적으로는, 주목되지 않은 화소 중, 배경 영역이 차지하는 면적의 비율을 나타낸 것이다. 따라서, (1-α)는, 가는 선 영역 이 차지하는 면적의 비율을 나타내고 있다고 할 수 있다. 그리고, 배경 영역의 화소는, 배경에 존재하는 오브젝트의 성분이라고도 생각할 수 있으므로, 배경 오브젝트 성분이라고도 할 수 있다. 또, 가는 선 영역의 화소는, 배경 오브젝트에 대하여 전경 오브젝트의 성분인 것으로 생각되므로, 전경 오브젝트 성분이라고도 할 수 있다.

이 결과, 혼합비 α는, 식(77)을 전개함으로써, 이하의 식(78)로 표현할 수 있게 된다.

α= (P_S－L)/(B－L)

…(78)

또한, 지금의 경우, 화소값은, 제1 화소값(화소값 B)의 영역과 제2 화소값(화소값 L)의 영역을 걸치는 위치에 존재하는 것이 전제이므로, 화소값 L은, 화소값의 최대값 Max로 치환할 수 있고, 또한 화소값 B는, 화소값의 최소값과 치환할 수 있다. 따라서, 혼합비 α는, 이하의 식(79)에서도 표현할 수 있다.

α= (P_S－Max)/(Min－Max)

…(79)

이상의 결과, 혼합비 α는, 주목 화소에 대한 다이나믹 레인지 블록의 다이나믹 레인지(Min－Max)에 해당)와, 주목 화소와, 다이나믹 레인지 블록 내의 화소의 최대값과의 차분으로부터 구할 수 있지만, 보다 정밀도를 향상시키기 위하여, 여기서는, 최소 자승법에 의해 통계적으로 혼합비 α를 구한다.

즉, 전술한 식(79)는, 전개하면 이하의 식 (80)이 된다.

(PS－Max) = α × (Min－Max)

…(80)

상기 식(80)은, 전술한 식(71)와 마찬가지로 1변수의 최소 자승법의 식이 된다. 즉, 식(71)에 있어서는, 최소 자승법에 의해 경사 Gf가 구해졌지만, 여기서는, 혼합비 α가 구해지게 된다. 따라서, 이하의 식(81)에서 나타내는 정규 방정식을 풀면, 혼합비 α는, 통계적으로 구해진다.

…(81)

여기서, i는, 추출 블록의 각 화소를 식별하는 것이다. 따라서, 식(81)에 있어서는, 추출 블록의 화소수는 n이다.

다음에, 도 156의 흐름도를 참조하여, 혼합비를 데이터 정상성으로 했을 때의 데이터 정상성 검출의 처리에 대하여 설명한다.

스텝 S731에 있어서, 수평/수직 판정부(711)는, 입력 화상의 각 화소를 식별하는 카운터 U를 초기화한다.

스텝 S732에 있어서, 수평/수직 판정부(711)는, 후단의 처리에 필요한 데이터의 추출 처리를 실행한다. 그리고, 스텝 S732의 처리는, 도 150의 흐름도를 참조하여 설명한 처리와 동일하므로, 그 설명은 생략한다.

스텝 S733에 있어서, 데이터 덧셈부(751)는, 정규 방정식(여기서는, 식(81))의 연산의 각 항에 필요한 값의 덧셈 처리를 실행한다.

여기서, 도 157의 흐름도를 참조하여, 정규 방정식의 덧셈 처리에 대하여 설명한다.

스텝 S751에 있어서, MaxMin 취득부(752)는, 데이터 취득부(712)에 기억된 다이나믹 레인지 블록에 포함되는 화소의 화소값의 최대값과 최소값을 취득하고, 그 중에서, 최소값을 차분 연산부(754)에 출력한다.

스텝 S752에 있어서, MaxMin 취득부(752)는, 그 최대값과 최소값의 차분으로부터 다이나믹 레인지를 구하고, 차분 덧셈 포함부(753, 755)에 출력한다.

스텝 S753에 있어서, 덧셈부(753)는, MaxMin 취득부(752)로부터 입력된 다이나믹 레인지(Max－Min)를 제곱하여, 더한다. 즉, 덧셈부(753)는, 전술한 식(81)의 분모에 해당하는 값을 더함으로써 생성한다.

스텝 S754에 있어서, 차분 연산부(754)는, MaxMin 취득부(752)로부터 입력된 다이나믹 레인지 블록의 최대값과, 추출 블록에 있어서의 지금 현재 처리 중의 화소의 화소값의 차분을 구하여, 덧셈부(755)에 출력한다.

스텝 S755에 있어서, 덧셈부(755)는, MaxMin 취득부(752)로부터 입력된 다이나믹 레인지와 차분 연산부(754)로부터 입력된, 지금 현재 처리하고 있는 화소의 화소값과, 다이나믹 레인지 블록의 화소 중 최대값이 되는 값의 차분을 곱하여, 더한다. 즉, 덧셈부(755)는, 전술한 식(81)의 분자의 항에 해당하는 값을 생성한다.

이상과 같이, 데이터 덧셈부(751)은, 덧셈 처리에 의하여, 전술한 식(81)의 각항의 연산을 실행한다.

여기서, 도 156의 흐름도의 설명으로 되돌아온다.

스텝 S734에 있어서, 차분 덧셈부(721)는, 추출 블록의 모든 화소에 대하여, 덧셈이 종료되었는지 여부를 판정하고, 예를 들면, 추출 블록의 모든 화소에 대한 덧셈 처리가 종료하지 않은 것으로 판정한 경우, 그 처리는, 스텝 S732로 복귀하고, 그 이후의 처리가 반복된다. 즉, 추출 블록의 모든 화소에 대하여, 덧셈 처리가 종료되었다고 판정될 때까지, 스텝 S732 내지 S734의 처리가 반복된다.

스텝 S734에 있어서, 추출 블록의 모든 화소에 대하여 덧셈이 종료되었다고 판정된 경우, 스텝 S735에 있어서, 덧셈부(753, 755)는, 스스로 기억하고 있는 덧셈 결과를 혼합비 도출부(761)에 출력한다.

스텝 S736에 있어서, 혼합비 도출부(761)의 혼합비 산출부(762)는, 데이터 덧셈부(751)의 덧셈부(753, 755)로부터 입력된, 다이나믹 레인지의 제곱합, 및 추출 블록의 각 화소의 화소값과, 다이나믹 레인지 블록의 최대값의 차분과, 다이나믹 레인지를 곱한 합에 따라서, 전술한 식(81)에서 나타낸 정규 방정식을 풀어서, 최소 자승법을 이용하여 통계적으로 주목 화소의 데이터 정상성 정보인, 혼합비를 연산하고, 출력한다.

스텝 S737에 있어서, 데이터 취득부(712)는, 입력 화상의 모든 화소에 대하여 처리되었는지 여부를 판정하고, 예를 들면, 입력 화상의 모든 화소에 대하여 처리되지 않은, 즉, 입력 화상의 모든 화소에 대하여, 혼합비를 출력하지 않은 것으로 판정한 경우, 스텝 S738에 있어서, 카운터 U를 1만큼 증가시켜, 그 처리는, 스텝 S732로 되돌아온다.

즉, 입력 화상 중 처리하려고 하는 화소가 변경되어, 입력 화상의 모든 화소에 대하여 혼합비가 연산 되기까지, 스텝 S732내지 S738의 처리가 반복된다. 상기 카운터 U에 의한 화소의 변화는, 예를 들면, 라스터 스캔 등으로 할 수도 있고, 그 이외의 규칙에 의해 차례로 변화해 나갈 수도 있다.

스텝 37에 있어서, 입력 화상의 모든 화소에 대하여 처리된 것으로 판정된 경우, 스텝 S739에 있어서, 데이터 취득부(712)는, 다음 입력 화상이 있는지 여부를 판정하고, 다음 입력 화상이 있다고 판정된 경우, 그 처리는, 스텝 S731로 복귀하고, 그 이후의 처리가 반복된다.

스텝 S739에 있어서, 다음 입력 화상은 없다고 판정된 경우, 그 처리는, 종료된다.

이상의 처리에 의하여, 각 화소의 혼합비가, 정상성 정보로서 검출되어, 출력된다.

이상의 방법에 의하여, 예를 들면, 도 158a에서 나타내는 화상 중, 흰색 선 내의 가는 선의 화상에 대하여, 소정의 공간 방향 X = 561, 562, 563 상의 혼합비의 변화가, 도 158b에 나타나 있다. 도 158b에 나타낸 바와 같이, 수평 방향으로 연속하는 공간 방향 Y의 혼합비의 변화는, 각각, 공간 방향 X = 563의 경우, 혼합비는, 공간 방향 Y= 660부근에서 상승하고, Y = 685부근에서 피크가 되어, Y = 710까지 감소한다. 또, 공간 방향 X = 562의 경우, 혼합비는, 공간 방향 Y = 680부근에서 상승하고, Y = 705부근에서 피크가 되어, Y = 735까지 감소한다. 또한, 공간 방향 X = 561의 경우, 혼합비는, 공간 방향 Y = 705부근에서 상승하고, Y = 725부근에서 피크가 되어, Y = 755까지 감소한다.

이와 같이, 도 158b에 나타낸 바와 같이, 연속하는 공간 방향 X의 각각의 혼합비의 변화는, 혼합비에 의해 변화하는 화소값의 변화(도 133b에 나타낸 화소값의 변화)와 동일한 변화이며, 주기적으로 연속되어 있으므로, 가는 선 근방의 화소의 혼합비가 정확하게 표현되어 있는 것을 알 수 있다.

또, 마찬가지로 하여, 도 159a에서 나타내는 화상 중의 흰색 선 내의 2진수 에지의 화상에 대하여, 소정의 공간 방향 X = 658, 659, 660상의 혼합비의 변화가, 도 159b에 나타나 있다. 도 159b에 나타낸 바와 같이, 수평 방향으로 연속하는 공간 방향 Y의 혼합비의 변화는, 각각, 공간 방향 X = 660의 경우, 혼합비는, 공간 방향 Y = 750부근에서 상승하고, Y = 765부근에서 피크가 된다. 또, 공간 방향 X = 659의 경우, 혼합비는, 공간 방향 Y = 760부근에서 상승하고, Y = 775부근에서 피크가 된다. 또한, 공간 방향 X = 658의 경우, 혼합비는, 공간 방향 Y = 770부근에서 상승하고, Y = 785부근에서 피크가 된다.

이와 같이, 도 159b에 나타낸 바와 같이, 2진수 에지의 혼합비의 변화는, 혼합비에 의해 변화하는 화소값의 변화(도 145b에 나타낸 화소값의 변화)와 대략 동일하며, 주기적으로 연속되어 있으므로, 2진수 에지 근방의 화소값의 혼합비가 정확하게 표현되어 있는 것을 알 수 있다.

이상에 의하면, 최소 자승법에 의해 통계적으로 데이터 정상성 정보로서, 각 화소의 혼합비를 구할 수 있다. 또한, 상기 혼합비에 따라, 각 화소의 화소값을 직접 생성하는 것이 가능해진다.

또, 혼합비의 변화가, 정상성을 가지는 것이며, 또한 상기 혼합비의 변화가 직선에 근사하면, 이하의 식(82)에서 나타낸 바와 같은 관계가 성립한다.

α= m × y ＋ n

…(82)

여기서, m은, 혼합비 α가, 공간 방향 Y에 대하여 변화할 때의 기울기를 나타내고, 또, n은, 혼합비 α가 직선적으로 변화할 때의 절편에 해당한다.

즉, 도 160에 나타낸 바와 같이, 혼합비를 나타낸 직선은, 배경 영역의 레벨에 해당하는 화소값 B와, 가는 선의 레벨에 해당하는 레벨 L의 경계를 나타낸 직선이며, 이 경우, 공간 방향 Y에 대하여 단위 거리만큼 진행되었을 때의 혼합비의 변화량이 기울기 m이 된다.

그래서, 식(82)을, 식(77)에 대입하면 이하의 식(83)이 도출된다.

M = (m × y ＋n) × B + (1- (m × y ＋n)) × L

…(83)

또한, 이 식(83)을 전개하면, 이하의 식(84)이 도출된다.

M－L = (y × B - y × L) × m + (B - L) × n

…(84)

식(84)에 있어서는, 제1항의 m이, 혼합비의 공간 방향의 기울기를 나타내고, 제2 항이 혼합비의 절편을 나타낸 항이다. 따라서, 전술한 식(84)의 m, n을 2변수의 최소 자승법을 이용하여, 정규 방정식을 생성하고, 구할 수도 있다.

그러나, 혼합비 α의 기울기 m은, 전술한 가는 선이나 2진수 에지의 기울기(전술한 경사 Gf) 자체이므로, 미리, 전술한 방법을 이용하여, 가는 선, 또는 2진수 에지의 기울기 Gf를 구한 후, 그 기울기를 사용하여, 식(84)에 대입함으로써, 절편의 항에 대한 1변수의 함수로 하고, 전술한 방법과 마찬가지로, 1변수의 최소 자승법에 의해 구할 수도 있다.

이상의 예에 있어서는, 공간 방향의 가는 선, 또는 2진수 에지의 각도(기울기), 또는 혼합비를 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부(101)에 대하여 설명하였지만, 예를 들면, 공간 내의 축(공간 방향 X, Y) 중 어느 하나를, 시간 방향(프레임 방향 T)의 축에 치환함으로써 얻어지는, 공간 방향에서의 각도로 대응하는 것이라도 된다. 즉, 공간 내의 축(공간 방향 X, Y) 중 어느 하나를, 시간 방향(프레임 방향 T)의 축에 치환함으로써 얻어지는 각도에 대응하는 것이란, 물체의 움직임 벡터(움직임 벡터의 방향)이다.

보다 구체적으로는, 도 161a에 나타낸 바와 같이, 물체가, 시간이 진행되는 것에 따라 공간 방향 Y에 대하여, 도면 중의 상방향으로 이동하고 있는 경우, 도면 중의 가는 선에 해당하는 부분(도 131a와 비교)에는, 물체의 이동 궤적이 나타나게 된다. 따라서, 시간 방향 T의 가는 선에 있어서의 경사는, 도 161a에 있어서는, 물체가 움직이는 방향(물체의 움직임을 나타낸 각도)을 나타낸 것(움직임 벡터의 방향과 동일한 값의 것)이다. 따라서, 현실 세계에 있어서, 도 161a 중의 화살표에서 나타내는, 소정의 시각에 있어서의 프레임에서는, 도 161b에 나타낸 바와 같이 물체의 궤적이 되는 부분이, 물체의 (색의) 레벨이 되고, 그 이외의 부분이, 배경의 레벨이 된 펄스형의 파형이 된다.

이와 같이, 센서(2)에 의해 움직이는 물체를 촬상한 경우, 도 162a에 나타낸 바와 같이, 시각 T1 내지 T3에 있어서의 프레임의 각 화소의 화소값의 분포는, 도 162b에 나타낸 바와 같이, 공간 방향 Y에 대하여, 각각 산형의 파형을 취한다. 이 관계는, 도 132a, 도 132b를 참조하여, 설명한 공간 방향 X, Y에 있어서의 관계와 동일한 것으로 생각할 수 있다. 따라서, 프레임 방향 T에 대하여, 물체에 움직임이 있는 경우, 전술한 가는 선의 경사, 또는 2진수 에지의 각도(기울기)의 정보와 동일한 방법에 의하여, 물체의 움직임 벡터의 방향을 데이터 정상성 정보로서 구하는 것도 가능하다. 그리고, 도 162b에 있어서는, 프레임 방향 T(시간 방향 T)에 대하여, 각 격자는, 1프레임의 화상을 구성하는 셔터 시간이 된다.

또, 마찬가지로 하여, 도 163a에 나타낸 바와 같이, 프레임 방향 T마다, 공간 방향 Y에 대하여 물체에 움직임이 있는 경우, 도 163b에 나타낸 바와 같이, 소정의 시각 T1에 해당하는 프레임 상에서 공간 방향 Y를 향하여, 물체의 움직임에 대응하여, 각 화소값을 얻을 수 있게 된다. 이 때, 예를 들면, 도 163b에 있어서의, 흑색 실선으로 둘러싸인 화소의 화소값은, 도 163c에 나타낸 바와 같이, 물체의 움직임에 대응하여, 배경의 레벨과 물체의 레벨이 프레임 방향으로 혼합비 β로 혼합되고 있는 화소값이다.

이 관계는, 도 155a, 도 155b, 도 155c를 참조하여 설명한 관계와 같다.

또한, 도 164에서 나타낸 바와 같이, 물체의 레벨 O와 배경의 레벨 B는, 프레임 방향(시간 방향)의 혼합비 β에 의해 직선 근사할 수도 있다. 이 관계는, 도 160을 참조하여 설명한 공간 방향의 혼합비의 직선 근사와 마찬가지의 관계이다.

따라서, 공간 방향의 혼합비 α와 동일한 방법에 의하여, 시간(프레임) 방향의 혼합비 β를 데이터 정상성 정보로서 구하는 것도 가능하다.

또, 프레임 방향, 또는 공간 방향 중 어느 하나의 1차원을 선택하여, 정상성의 각도, 또는 모션 벡터의 방향을 구하도록 해도 되고, 마찬가지로 하여 혼합비 α, β를 선택적으로 구할 수도 있다.

이상에 의하면, 현실 세계의 광신호를 투영하고, 현실 세계의 광신호의 정상성의 일부가 결락된 화상 데이터 내의 주목 화소에 대응하는 영역을 선택하고, 선택한 영역 내의, 결락된 현실 세계의 광신호의 정상성에 대응하는 화상 데이터 정상성의 기준 축에 대한 각도를 검출하기 위한 특징을 검출하고, 검출한 특징에 따라 통계적으로 각도를 검출하고, 검출한 화상 데이터 정상성의 기준 축에 대한 각도에 따라, 결락된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하도록 했으므로, 정상성의 각도(움직임 벡터의 방향), 또는 (시공간의) 혼합비를 구하는 것이 가능해진다.

다음에, 도 165를 참조하여, 데이터 정상성 정보로서 데이터 정상성 정보를 사용한 처리를 해야할 영역의 정보를 출력하는, 데이터 정상성 정보 검출부(101)에 대하여 설명한다.

각도 검출부(801)는, 입력된 화상 중, 정상성을 가지는 영역, 즉, 화상 상에 있어서 정상성을 가지는 가는 선이나 2진수 에지를 구성하는 부분의 공간 방향의 각도를 검출하고, 검출한 각도를 실세계 추정부(802)에 출력한다. 그리고, 상기 각도 검출부(801)는, 도 3에 있어서의 데이터 정상성 검출부(101)와 동일한 것이다.

실세계 추정부(802)는, 각도 검출부(801)로부터 입력된 데이터 정상성의 방향을 나타낸 각도와, 입력 화상의 정보에 따라 실세계를 추정한다. 즉, 실세계 추정부(802)는, 입력된 각도와 입력 화상의 각 화소로부터 실세계의 광신호의 강도 분포를 근사적으로 기술하는 근사 함수의 계수를 구하여, 구한 계수를 실세계의 추정 결과로서 오차 연산부(803)에 출력한다. 그리고, 상기 실세계 추정부(802)는, 도 3에 있어서의 실세계 추정부(102)와 동일한 것이다.

오차 연산부(803)는, 실세계 추정부(802)로부터 입력된 계수에 따라, 근사적으로 기술된 현실 세계의 광의 강도 분포를 나타낸 근사 함수를 구성하고, 또한 상기 근사 함수에 따라 각 화소 위치에 해당하는 광의 강도를 적분하여, 근사 함수에 의해 추정된 광의 강도 분포로부터 각 화소의 화소값을 생성하고, 실제로 입력된 화소값과의 차분을 오차로서 비교부(804)에 출력한다.

비교부(804)는, 각 화소에 대하여 오차 연산부(803)로부터 입력된 오차와, 미리 설정된 임계값을 비교함으로써, 정상성 정보를 사용한 처리를 실시하는 화소가 존재하는 처리 영역과, 비처리 영역을 식별하여, 상기 정상성 정보를 사용한 처리를 하는 처리 영역과, 비처리 영역의 식별이 이루어진 영역 정보를 정상성 정보로서 출력한다.

다음에, 도 166의 흐름도를 참조하여, 도 165의 데이터 정상성 검출부(101)에 의한, 정상성의 검출의 처리에 대하여 설명한다.

스텝 S801에 있어서, 각도 검출부(801)는, 입력된 화상을 취득하고, 스텝 S802에 있어서, 정상성의 방향을 나타내는 각도를 검출한다. 보다 상세하게는, 각도 검출부(801)는, 예를 들면, 수평 방향을 기준 축으로 했을 때의 가는 선, 또는 2진수 에지가 가지는 정상성의 방향을 나타낸 각도를 검출하여, 실세계 추정부(802)에 출력한다.

스텝 S803에 있어서, 실세계 추정부(802)는, 각도 검출부(801)로부터 입력되는 각도의 정보와, 입력 화상의 정보에 따라, 현실 세계를 표현하는 함수 F(x)를 근사적으로 기술하는, 다항식으로 이루어지는 근사 함수 f(x)의 계수를 구하여, 오차 연산부(803)에 출력한다. 즉, 현실 세계를 표현하는 근사 함수 f(x)는, 이하의 식(85)와 같은 1차원 다항식으로 나타낸다.

…(85)

여기서, wi는, 다항식의 계수이며, 실세계 추정부(802)는, 상기 계수 wi를 구하여, 오차 연산부(803)에 출력한다. 또한, 각도 검출부(801)로부터 입력되는 각도로로부터, 정상성의 방향으로부터 경사를 구할 수 있으므로(G_f = tan^-1θ, G_f: 기울기, θ: 각도), 상기 기울기 G_f의 구속 조건을 대입함으로써, 전술한 식(85)의 식은, 이하의 식(86)에서 나타낸 바와 같이, 2차원 다항식으로 기술할 수 있다.

…(86)

즉, 전술한 식(86)은, 식(85)에서 기술되는 1차원의 근사 함수 f(x)가, 공간 방향 Y로 평행이동함으로써 생기는 어긋난 폭을 시프트량 α(= －dy/Gf: dy는, 공간 방향 Y로의 변화량)로 표현함으로써 얻어지는 2차원 함수 f(x, y)를 기술하고 있다.

따라서, 실세계 추정부(802)는, 입력 화상과, 정상성 방향의 각도의 정보를 사용하여, 전술한 식(86)의 각 계수 wi를 풀어서, 구해진 계수 wi를 오차 연산부(803)에 출력한다.

여기서, 도 166의 흐름도의 설명으로 되돌아온다.

스텝 S804에 있어서, 오차 연산부(803)는, 실세계 추정부(802)로부터 입력된 계수로부터, 각 화소에 대하여 재적분을 실행한다. 즉, 오차 연산부(803)은, 실세계 추정부(802)로부터 입력된 계수로부터, 전술한 식(86)을, 이하의 식(87)에서 나타낸 바와 같이, 각 화소에 대하여 적분한다.

…(87)

여기서, S_S는, 도 167에 나타낸 공간 방향의 적분 결과를 나타낸다. 또, 그 적분 범위는, 도 167에 나타낸 바와 같이, 공간 방향 X에 대하여는, x_m 내지 x_{m +B}이며, 공간 방향 Y에 대하여는, y_m 내지 y_{m +A}이다. 또, 도 167에 있어서는, 각 격자(정방형)는, 1화소를 나타내는 것으로 하고, 공간 방향 X, Y에 대하여, 모두 1인 것으로 한다.

따라서, 오차 연산부(803)는, 도 168에 나타낸 바와 같이, 근사 함수 f(x, y)에서 나타내는 곡면의 공간 방향 X에 대하여 x_m 내지 x_{m +1}, 및 공간 방향 Y에 대하여 y_m 내지 y_{m +1}(A = B = 1)이며, 이하의 식(88)에서 나타낸 바와 같은 적분 연산을 각 화소에 대하여 실행하고, 실세계를 근사적으로 표현하는 근사 함수를 공간적으로 적분함으로써 얻어지는 각 화소의 화소값 P_S를 연산한다.

…(88)

즉, 이 처리에 의하여, 오차 연산부(803)는, 말하자면 일종의 화소값 생성부로서 기능하고, 근사 함수로부터 화소값을 생성한다.

스텝 S805에 있어서, 오차 연산부(803)는, 전술한 식(88)에서 나타낸 바와 같은 적분에 의해 얻어진 화소값과 입력 화상의 화소값의 차분을 연산하고, 이것을 오차로서 비교부(804)에 출력한다. 즉, 오차 연산부(803)는, 전술한 도 167, 도 168에 나타낸 적분 범위(공간 방향 X에 대하여 x_m내지 x_{m +1}, 및 공간 방향 Y에 대하여 y_m내지 y_{m +1})에 대응하는 화소의 화소값과, 화소에 대응하는 범위의 적분 결과에 의해 얻어진 화소값의 차분을, 오차로서 구하여 비교부(804)에 출력한다.

스텝 S806에 있어서, 비교부(804)는, 오차 연산부(803)로부터 입력되는 적분에 의해 얻어진 화소값과 입력 화상의 화소값의 오차의 절대값이, 소정의 임계값 이하인지 여부를 판정한다.

스텝 S806에 있어서, 오차가 소정의 임계값 이하로 판정된 경우, 스텝 S807에 있어서, 비교부(804)는, 적분에 의해 얻어진 화소값이, 입력 화상의 화소의 화소값과 가까운 값이 얻어지므로, 그 화소의 화소값을 연산할 때에 설정한 근사 함수가, 현실 세계의 광신호의 광의 강도 분포와 충분히 근사하고 있는 것으로 간주하여, 지금 처리한 화소의 영역은, 정상성 정보에 따른 근사 함수에 의한 처리를 행하는 처리 영역으로서 인식한다. 보다 상세하게는, 비교부(804)는, 도시하지 않는 메모리에 지금 처리한 화소가, 이후의 처리 영역의 화소인 것을 기억시킨다.

한편, 스텝 S806에 있어서, 오차가 소정의 임계값 이하가 아닌 것으로 판정된 경우, 스텝 S808에 있어서, 비교부(804)는, 적분에 의해 얻어진 화소값이, 실제의 화소값과 많은 차이가 나는 값이 되어 있으므로, 그 화소의 화소값을 연산할 때 설정한 근사 함수가, 현실 세계의 광신호의 광의 강도 분포와 충분히 근사하지 않은 것으로 간주하여, 지금 처리한 화소의 영역은, 후단에 있어서 정상성 정보에 따른 근사 함수에 의한 처리를 행하지 않는 비처리 영역으로서 인식한다. 보다 상세하게는, 비교부(804)는, 도시하지 않는 메모리에 지금 처리한 화소의 영역이, 이후의 비처리 영역인 것을 기억시킨다.

스텝 S809에 있어서, 비교부(804)는, 모든 화소에서 처리가 실행되었는지 여부를 판정하고, 모든 화소에서 처리가 실행되어 있지 않은 것으로 판정된 경우, 그 처리는, 스텝 S802로 복귀하고, 그 이후의 처리가 반복된다. 즉, 모든 화소에 대하여, 적분에 의한 화소값과, 입력된 화소값의 비교가 이루어져서, 처리 영역인지 여부의 판정 처리가 완료될 때까지, 스텝 S802 내지 S809의 처리가 반복된다.

스텝 S809에 있어서, 모든 화소에 대하여, 재적분에 의한 화소값과, 입력된 화소값의 비교가 이루어져서, 처리 영역인지 여부의 판정 처리가 완료한 것으로 판정된 경우, 스텝 S810에 있어서, 비교부(804)는, 도시하지 않는 메모리에 기억되어 있는, 입력 화상에 대하여, 후단의 처리에 있어서 공간 방향의 정상성 정보에 따른 처리가 되는 처리 영역과, 공간 방향의 정상성 정보에 따른 처리가 되지 않는 비처리 영역이 식별된 영역 정보를, 정상성 정보로서 출력한다.

이상의 처리에 의하면, 정상성 정보에 따라 연산된 근사 함수 f(x)를 사용하여 각 화소에 대응하는 범위의 적분 결과에 따라 얻어진 화소값과, 실제 입력 화상 중의 화소값과의 오차에 따라, 근사 함수의 표현의 확실성에 대한 평가가 영역마다(화소마다) 이루어지게 되고, 오차가 작은 영역, 즉, 근사 함수에 따른 적분에 의해 얻어지는 화소값이 확실하게 화소가 존재할 것 같은 영역만을 처리 영역으로 하고, 그 이외의 영역을 비처리 영역으로 하게 되므로, 확실한 것 같은 영역에만 공간 방향의 정상성 정보에 따른 처리를 실시할 수 있어서, 필요한 처리 만 실행시키도록 할 수 있으므로, 처리 속도를 향상 시킬 수 있고, 또한 확실한 것 같은 영역에만 처리를 실행시킬 수 있으므로, 이 처리에 의한 화질 열화를 억제할 수 있다.

다음에, 도 169를 참조하여, 데이터 정상성 정보로서 데이터 정상성 정보를 사용한 처리를 행하는 화소가 존재하는 영역 정보를 출력하는, 데이터 정상성 정보 검출부(101)의 그 외의 실시예에 대하여 설명한다.

움직임 검출 부(821)는, 입력된 화상 중, 정상성을 가지는 영역, 즉, 화상 상에 있어서 프레임 방향으로 정상성을 가지는 움직임(움직임 벡터의 방향: V_f)을 검출하고, 검출한 움직임을 실세계 추정부(822)에 출력한다. 그리고, 상기 움직임 검출 부(821)는, 도 3에 있어서의 데이터 정상성 검출부(101)와 동일한 것이다.

실세계 추정부(822)는, 움직임 검출 부(821)로부터 입력된 데이터 정상성의 움직임과 입력 화상의 정보에 따라 실세계를 추정한다. 즉, 실세계 추정부(822)는, 입력된 움직임과, 입력 화상의 각 화소로부터 프레임 방향(시간 방향)의 실세계의 광신호의 강도 분포를 근사적으로 기술하는 근사 함수의 계수를 구하여, 구한 계수를 실세계의 추정 결과로서 오차 연산부(823)에 출력한다. 그리고, 상기 실세계 추정부(822)는, 도 3에 있어서의 실세계 추정부(102)와 동일한 것이다.

오차 연산부(823)는, 실세계 추정부(822)로부터 입력된 계수에 따라, 근사적으로 기술된 프레임 방향의 현실 세계의 광의 강도 분포를 나타낸 근사 함수를 구성하고, 또한 상기 근사 함수로부터 프레임마다 각 화소 의 위치에 해당하는 광의 강도를 적분하여, 근사 함수에 의해 추정된 광의 강도 분포로부터 각 화소의 화소값을 생성하고, 실제로 입력된 화소값과의 차분을 오차로서 비교부(824)에 출력한다.

비교부(824)는, 각 화소에 대하여 오차 연산부(823)로부터 입력된 오차와, 미리 설정된 임계값을 비교함으로써, 정상성 정보를 사용한 처리를 실시하는 화소가 존재하는 처리 영역과, 비처리 영역을 식별하여, 상기 정상성 정보를 사용한 처리를 하는 처리 영역과 비처리 영역의 식별이 이루어진 영역 정보를 정상성 정보로서 출력한다.

다음에, 도 170의 흐름도를 참조하여, 도 169의 데이터 정상성 검출부(101)에 의한, 정상성 검출 처리에 대하여 설명한다.

스텝 S821에 있어서, 움직임 검출 부(801)는, 입력된 화상을 취득하고, 스텝 S822에 있어서, 정상성을 나타내는 움직임을 검출한다. 보다 상세하게는, 움직임 검출 부(801)은, 예를 들면, 입력 화상 중, 움직이는 물체의 움직임(움직임 벡터의 방향: V_f)을 검출하여, 실세계 추정부(822)에 출력한다.

스텝 S823에 있어서, 실세계 추정부(822)는, 움직임 검출부(821)로부터 입력되는 움직임의 정보와, 입력 화상의 정보에 따라, 현실 세계를 표현하는 프레임 방향의 함수 F(t)를 근사적으로 기술하는, 다항식으로 이루어지는 함수 f(t)의 계수를 구하여, 오차 연산부(823)에 출력한다. 즉, 현실 세계를 표현하는 함수 f(t)는, 이하의 식(89)와 같은 1차원 다항식으로 나타낸다.

…(89)

여기서, wi는, 다항식의 계수이며, 실세계 추정부(822)는, 상기 계수 wi를 구하여, 오차 연산부(823)에 출력한다. 또한, 움직임 검출부(821)로부터 입력되는 움직임에 의하여, 정상성의 움직임을 구할 수 있으므로(V_f = tan^-1θ, V_f: 움직임 벡터의 프레임 방향의 기울기, θv: 움직임 벡터의 프레임 방향의 각도), 이 기울기의 구속 조건을 대입함으로써, 전술한 식(89)의 식은, 이하의 식(90)에서 나타낸 바와 같이, 2차원 다항식으로 기술할 수 있다.

…(90)

즉, 전술한 식(90)은, 식(89)에서 기술되는 1차원 근사 함수 f(t)가, 공간 방향 Y로 평행이동함으로써 생기는 어긋난 폭을, 시프트량αt(=－dy/V_f: dy는, 공간 방향 Y로의 변화량)로 표현함으로써 얻어지는 2차원 함수 f(t, y)를 기술하고 있다.

따라서, 실세계 추정부(822)는, 입력 화상과, 정상성의 움직임 정보를 사용하여, 전술한 식(90)의 각 계수 wi를 풀어서, 구해진 계수 wi를 오차 연산부(823)에 출력한다.

여기서, 도 170의 흐름도의 설명으로 되돌아온다.

스텝 S824에 있어서, 오차 연산부(823)는, 실세계 추정부(822)로부터 입력된 계수로부터, 각 화소에 대하여 프레임 방향으로 적분을 실행한다. 즉, 오차 연산부(823)는, 실세계 추정부(822)로부터 입력된 계수로부터, 전술한 식(90)을, 이하의 식(91)에서 나타낸 바와 같이, 각 화소에 대하여 적분한다.

…(91)

여기서, S_t는, 도 171에 나타낸 프레임 방향의 적분 결과를 나타낸다. 또, 그 적분 범위는, 도 171에 나타낸 바와 같이, 프레임 방향 T에 대해서는, T_m 내지 T_{m +B}이며, 공간 방향 Y에 대하여는, y_m 내지 y_{m +A}이다. 또, 도 171에 있어서는, 각 격자(정방형)는, 1화소를 나타내는 것으로 하고, 프레임 방향 T, 및 공간 방향 Y가 모두 1인 것으로 한다. 여기서, 프레임 방향 T에 대하여 1이라 함은, 1프레임 분의 셔터 시간을 1로 한다는 의미이다.

따라서, 오차 연산부(823)는, 도 172에서 나타낸 바와 같이, 근사 함수 f(t, y)에 의해 나타내는 곡면의 공간 방향 T에 대하여 T_m 내지 T_{m +1}, 및 공간 방향 Y에 대하여 y_m 내지 y_{m +1}(A = B = 1)이며, 이하의 식(92)에서 나타낸 바와 같은 적분 연산을 각 화소에 대하여 실행하고, 실세계를 근사적으로 표현하는 함수로부터 얻어지는 각 화소의 화소값 P_t를 연산한다.

…(92)

즉, 이 처리에 의하여, 오차 연산부(823)는, 말하자면 일종의 화소값 생성부로서 기능하고, 근사 함수로부터 화소값을 생성한다.

스텝 S825에 있어서, 오차 연산부(803)는, 전술한 식(92)에서 나타낸 바와 같은 적분에 의해 얻어진 화소값과, 입력 화상의 화소값의 차분을 연산하고, 이것을 오차로서 비교부(824)에 출력한다. 즉, 오차 연산부(823)는, 전술한 도 171, 도 172에서 나타낸 적분 범위(공간 방향 T에 대하여 T_m 내지 T_{m +1}, 및 공간 방향 Y에 대하여 y_m 내지 y_{m +1})에 대응하는 화소의 화소값과, 화소에 대응하는 범위의 적분 결과에 의해 얻어진 화소값의 차분을, 오차로서 구하여 비교부(824)에 출력한다.

스텝 S826에 있어서, 비교부(824)는, 오차 연산부(823)로부터 입력된 적분에 의해 얻어진 화소값과 입력 화상의 화소값의 오차의 절대값이, 소정의 임계값 이하인지 여부를 판정한다.

스텝 S826에 있어서, 오차가 소정의 임계값 이하로 판정된 경우, 스텝 S827에 있어서, 비교부(824)는, 적분에 의해 얻어진 화소값이, 입력 화상의 화소값에 가까운 값이 얻어지므로, 그 화소의 화소값을 연산할 때 설정한 근사 함수가, 실세계의 광신호의 광의 강도 분포와 충분히 근사되어 있는 것으로 간주하여, 지금 처리한 화소의 영역은, 처리 영역으로서 인식한다. 보다 상세하게는, 비교부(824)는, 도시하지 않는 메모리에 지금 처리한 화소가, 이후의 처리 영역의 화소인 것을 기억시킨다.

한편, 스텝 S826에 있어서, 오차가 소정의 임계값 이하가 아니라고 판정된 경우, 스텝 S828에 있어서, 비교부(824)는, 적분에 의해 얻어진 화소값이, 실제의 화소값과 많이 차이가 나는 값이 되어 있으므로, 그 화소의 화소값을 연산할 때 설정한 근사 함수가, 현실 세계의 광의 강도 분포와 충분히 근사 하지 않은 것으로 간주하고, 지금 처리한 화소의 영역은, 후단에 있어서 정상성 정보에 따른 근사 함수에 의한 처리를 행하지 않는 비처리 영역으로서 인식한다. 보다 상세하게는, 비교부(824)는, 도시하지 않는 메모리에 지금 처리한 화소의 영역이, 이후의 비처리 영역인 것을 기억시킨다.

스텝 S829에 있어서, 비교부(824)는, 모든 화소에서 처리가 실행되었는지 여부를 판정하고, 모든 화소에서 처리가 실행되어 있지 않은 것으로 판정된 경우, 그 처리는, 스텝 S822로 복귀하고, 그 이후의 처리가 반복된다. 즉, 모든 화소에 대하여, 적분에 의한 화소값과, 입력된 화소값의 비교가 이루어져 처리 영역인지 여부의 판정 처리가 완료될 때까지, 스텝 S822 내지 S829의 처리가 반복된다.

스텝 S829에 있어서, 모든 화소에 대하여, 재적분에 의한 화소값과, 입력된 화소값의 비교가 이루어져서, 처리 영역인지 여부의 판정 처리가 완료되었다고 판정된 경우, 스텝 S830에 있어서, 비교부(824)는, 도시하지 않는 메모리에 기억되어 있는, 입력 화상에 대하여, 후단의 처리에 있어서 프레임 방향의 정상성 정보에 따른 처리가 되는 처리 영역과, 프레임 방향의 정상성 정보에 따른 처리가 되지 않는 비처리 영역이 식별된 영역 정보를, 정상성 정보로서 출력한다.

이상의 처리에 의하면, 정상성 정보에 따라 연산된 근사 함수 f(t)를 사용한 각 화소에 대응하는 범위의 적분 결과에 따라 얻어진 화소값과, 실제의 입력 화상 중의 화소값의 오차에 따라, 근사 함수의 표현의 확실성의 평가가 영역마다(화소마다) 이루어지고, 오차가 작은 영역, 즉, 근사 함수에 따라 적분에 의해 얻어지는 화소값이 확실한 것 같은 화소가 존재하는 영역만을 처리 영역으로 하고, 그 이외의 영역을 비처리 영역으로 하게 되므로, 확실한 것 같은 영역에만 프레임 방향의 정상성 정보에 따른 처리를 실시할 수 있어서, 필요한 처리 만을 실행시키도록 할 수 있으므로, 처리 속도를 향상 시킬 수 있고, 또한 확실한 것 같은 영역에만 처리를 실행시키는 것이 가능하므로, 이 처리에 의한 화질 열화를 억제할 수 있다.

도 165 및 도 169의 데이터 정상성 정보 검출부(101)의 구성을 조합시켜, 시공간 방향 중, 어느 하나의 1차원을 선택하여, 선택적으로 영역 정보를 출력시키도록 해도 된다.

이상에 의하면, 각각 시공간 적분 효과를 가지는, 센서의 복수개의 검출 소자에 의해 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 화상 데이터에 있어서의 데이터 정상성을 검출하고, 검출한 정상성에 대응하여, 화상 데이터의 시공간 방향 중 적어도 1차원 방향의 위치에 대응하는 각 화소의 화소값이 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여 현실 세계의 광신호에 대응하는 함수를 근사함으로써, 현실 세계의 광신호에 대응하는 함수를 추정하고, 추정한 함수를 적어도 1차원 방향의 각 화소에 대응하는 단위로 적분함으로써 취득되는 화소값과, 각 화소의 화소값의 차분값을 검출하고, 차분값에 따라 함수를 선택적으로 출력하도록 했으므로, 근사 함수에 따라 적분에 의해 얻어지는 화소값이 확실한 것 같은 화소가 존재하는 영역만을 처리 영역으로 하고, 그 이외의 영역을 비처리 영역으로 할 수 있어서, 확실한 것 같은 영역에만 프레임 방향의 정상성 정보에 따른 처리를 실시할 수 있어서, 필요한 처리 만을 실행시키도록 할 수 있으므로, 처리 속도를 향상 시킬 수 있고, 또한 확실한 것 같은 영역에만 처리를 실행시킬 수 있으므로, 이 처리에 의한 화질 열화를 억제할 수 있다.

다음에, 실세계(1)의 신호의 추정에 대하여 설명한다.

도 173은, 실세계 추정부(102)의 구성을 나타낸 블록도이다.

도 173에 구성을 나타낸 실세계 추정부(102)에 있어서는, 입력 화상, 및 정상성 검출부(101)로부터 공급된 데이터 정상성 정보에 따라서, 실세계(1)의 신호인 화상에 있어서의, 가는 선의 폭이 검출되어 가는 선의 레벨(실세계(1)의 신호의 광의 강도)이 추정된다.

선폭 검출부(2101)는, 정상성 검출부(101)로부터 공급된, 가는 선의 화상이 투영된 화소로 이루어지는, 가는 선 영역에서 있는 정상 영역을 나타내는 데이터 정상성 정보에 따라서, 가는 선의 폭을 검출한다. 선폭 검출부(2101)는, 데이터 정상성 정보와 함께, 검출된 가는 선의 폭을 나타낸 가는 선 폭 정보를 신호 레벨 추정부(2102)에 공급한다.

신호 레벨 추정부(2102)는, 입력 화상, 선폭 검출부(2101)로부터 공급된 가는 선의 폭을 나타낸 가는 선 폭 정보, 및 데이터 정상성 정보에 따라서, 실세계(1)의 신호인, 가는 선의 화상의 레벨, 즉 광의 강도의 레벨을 추정하고, 가는 선의 폭 및 가는 선의 화상의 레벨을 나타낸 실세계 추정 정보를 출력한다.

도 174 및 도 175는, 실세계(1)의 신호에서의, 가는 선의 폭을 검출하는 처리를 설명하는 도면이다.

도 174 및 도 175에 있어서, 두꺼운 선으로 둘러싸는 영역(4개의 사각으로 이루어지는 영역)은, 1개의 화소를 나타내고, 점선으로 둘러싸는 영역은, 가는 선의 화상이 투영된 화소로 이루어지는, 가는 선 영역을 나타내고, 원형은, 가는 선 영역의 중심을 나타낸다. 도 174 및 도 175에 있어서, 사선은, 센서(2)에 입사된 가는 선의 화상을 나타낸다. 사선은, 센서(2)에, 실세계(1)의 가는 선의 화상이 투영된 영역을 나타내고 있다고 할 수 있다.

도 174 및 도 175에 있어서, S는, 가는 선 영역의 중심의 위치로부터 산출되는 기울기를 나타내고, D는, 가는 선 영역의 중복이다. 여기서, 기울기 S는, 가는 선 영역이 인접하고 있으므로, 화소를 단위로 한, 중심과 중심의 거리이다. 또, 가는 선 영역의 중복 D는, 2개의 가는 선 영역에 있어서, 인접하고 있는 화소의 수이다.

도 174 및 도 175에 있어서, W는, 가는 선의 폭을 나타낸다.

도 174에 있어서, 기울기 S는, 2이며, 중복 D는, 2이다.

도 175에 있어서, 기울기 S는, 3이며, 중복 D는, 1이다.

가는 선 영역이 인접하고, 가는 선 영역이 인접하는 방향의 중심과 중심의 거리는, 1화소이므로, W : D = 1 : S가 성립하고, 가는 선의 폭 W는, 중복 D/기울기 S에 의해 구할 수 있다.

예를 들면, 도 174에 나타낸 바와 같이, 기울기 S는, 2이며, 중복 D는, 2일 때 2/2는, 1이므로, 가는 선의 폭 W는, 1이다. 또, 예를 들면, 도 175에서 나타낸 바와 같이, 경사 S는, 3이며, 중복 D는, 1일 때, 가는 선의 폭 W는, 1/3이다.

선폭 검출부(2101)는, 이와 같이, 가는 선 영역의 중심의 위치로부터 산출되는 기울기, 및 가는 선 영역의 중복으로부터, 가는 선의 폭을 검출한다.

도 176은, 실세계(1)의 신호에서의, 가는 선의 신호의 레벨을 추정하는 처리를 설명하는 도면이다.

도 176에 있어서, 두꺼운 선으로 둘러싸는 영역(4개의 사각으로 이루어지는 영역)은, 1개의 화소를 나타내고, 점선으로 둘러싸는 영역은, 가는 선의 화상이 투영된 화소로 이루어지는, 가는 선 영역을 나타낸다. 도 176에 있어서, E는, 가는 선 영역의 화소를 단위로 한, 가는 선 영역의 길이를 나타내고, D는, 가는 선 영역의 중복(다른 가는 선 영역에 인접하고 있는 화소의 수)이다.

가는 선의 신호의 레벨은, 처리 단위(가는 선 영역) 내에서 일정하면 근사하고, 가는 선이 투영된 화소의 화소값에 투영된, 가는 선 이외의 화상의 레벨은, 인접하고 있는 화소의 화소값에 대한 레벨과 같아지게 근사한다.

가는 선의 신호의 레벨을 C로 할 때, 가는 선 영역에 투영된 신호(화상)에 있어서의, 도면 중의, 가는 선의 신호가 투영된 부분의 좌측 부분의 레벨을 A로 하고, 도면 중의, 가는 선의 신호가 투영된 부분의 우측 부분의 레벨을 B로 한다.

이 때, 식(93)이 성립한다.

가는 선 영역의 화소값의 총계 = (E - D)/2*A + (E - D)/2*B + D*C ?93)

가는 선의 폭이 일정하고, 가는 선 영역의 폭은, 1화소이므로, 가는 선 영역의 가는 선(의 신호가 투영된 부분)의 면적은, 가는 선 영역의 중복 D와 같다. 가는 선 영역의 폭은, 1화소이므로, 가는 선 영역의 화소를 단위로 한, 가는 선 영역의 면적은, 가는 선 영역의 길이 E와 같다.

가는 선 영역 중, 가는 선의 좌측의 면적은, (E-D)/2이다. 가는 선 영역 중, 가는 선의 우측의 면적은, (E-D)/2이다.

식(93)의 우측 변의 제1 항은, 좌측에 인접하고 있는 화소에 투영된 신호의 레벨과 같은 레벨의 신호가 투영된 화소값의 부분이고, 식(94)에 의해 나타낼 수 있다.

…(94)

식(94)에 있어서, A_i는, 좌측에 인접하고 있는 화소의 화소값을 나타낸다.

식(94)에 있어서, α_i는, 좌측에 인접하고 있는 화소에 투영된 신호의 레벨과 같은 레벨의 신호가, 가는 선 영역의 화소에 투영되는 면적의 비율을 나타낸다. 즉, α_i는, 가는 선 영역의 화소의 화소값에 포함되어 있는, 좌측에 인접하고 있는 화소의 화소값과 같은 화소값의 비율을 나타낸다.

i는, 가는 선 영역의 좌측에 인접하고 있는 화소의 위치를 나타낸다.

예를 들면, 도 176에 있어서, 가는 선 영역의 화소의 화소값에 포함되어 있는, 가는 선 영역의 좌측에 인접하고 있는 화소의 화소값 A₀와 같은 화소값의 비율은, α₀이다. 도 176에 있어서, 가는 선 영역의 화소의 화소값에 포함되어 있는, 가는 선 영역의 좌측에 인접하고 있는 화소의 화소값 A₁과 같은 화소값의 비율은, α₁이다. 도 176에 있어서, 가는 선 영역의 화소의 화소값에 포함되어 있는, 가는 선 영역의 좌측에 인접하고 있는 화소의 화소값 A₂와 같은 화소값의 비율은, α₂이다.

식(93)의 우변의 제 2항은, 우측에 인접하고 있는 화소에 투영된 신호의 레벨과 같은 레벨의 신호가 투영된 화소값의 부분이며, 식(95)에 의해 나타낼 수 있다.

…(95)

식(95)에 있어서, B_j는, 우측에 인접하고 있는 화소의 화소값을 나타낸다.

식(95)에 있어서, β_j는, 우측에 인접하고 있는 화소에 투영된 신호의 레벨과 같은 레벨의 신호가, 가는 선 영역의 화소에 투영되는 면적의 비율을 나타낸다. 즉, β_j는, 가는 선 영역의 화소의 화소값에 포함되어 있는, 우측에 인접하고 있는 화소의 화소값과 같은 화소값의 비율을 나타낸다.

j는, 가는 선 영역의 우측에 인접하고 있는 화소의 위치를 나타낸다.

예를 들면, 도 176에 있어서, 가는 선 영역의 화소의 화소값에 포함되어 있는, 가는 선 영역의 우측에 인접하고 있는 화소의 화소값 B₀와 같은 화소값의 비율은, β₀이다. 도 176에 있어서, 가는 선 영역의 화소의 화소값에 포함되어 있는, 가는 선 영역의 우측에 인접하고 있는 화소의 화소값 B₁과 같은 화소값의 비율은, β₁이다. 도 176에 있어서, 가는 선 영역의 화소의 화소값에 포함되어 있는, 가는 선 영역의 우측에 인접하고 있는 화소의 화소값 B₂와 같은 화소값의 비율은, β₂이다.

이와 같이, 신호 레벨 추정부(2102)는, 식(94) 및 식(95)에 따라서, 가는 선 영역에 포함되는 화소값 중, 가는 선 이외의 화상의 화소값을 산출하고, 식(93)에 따라서, 가는 선 영역의 화소값으로부터 가는 선 이외의 화상의 화소값을 제거함으로써, 가는 선 영역에 포함되는 화소값 중, 가는 선 만의 화상의 화소값을 구한다. 그리고, 신호 레벨 추정부(2102)는, 가는 선 만의 화상의 화소값과 가는 선의 면적으로부터, 가는 선의 신호의 레벨을 구한다. 보다 구체적으로는, 신호 레벨 추정부(2102)는, 가는 선 영역에 포함되는 화소값 중, 가는 선 만의 화상의 화소값을, 가는 선 영역의 가는 선의 면적, 즉 가는 선 영역의 중복 D로 나눗셈함으로써, 가는 선의 신호의 레벨을 산출한다.

신호 레벨 추정부(2102)는, 실세계(1)의 신호에서의, 가는 선의 폭, 및 가는 선의 신호의 레벨을 나타낸 실세계 추정 정보를 출력한다.

본 발명의 방법에서는, 가는 선의 파형을 화소가 아닌 기하학적으로 기술하고 있으므로, 어떠한 해상도에서도 사용할 수 있다.

다음에, 스텝 S102의 처리에 대응하는, 실세계의 추정의 처리를 도 177의 흐름도를 참조하여 설명한다.

스텝 S2101에 있어서, 선폭 검출부(2101)는, 데이터 정상성 정보에 따라서, 가는 선의 폭을 검출한다. 예를 들면, 선폭 검출부(2101)은, 가는 선 영역의 중심의 위치로부터 산출되는 기울기, 및 가는 선 영역의 중복으로부터, 중복을 기울기로 나눗셈함으로써, 실세계(1)의 신호에서의, 가는 선의 폭을 추정한다.

스텝 S2102에 있어서, 신호 레벨 추정부(2102)는, 가는 선의 폭, 및 가는 선 영역에 인접하는 화소의 화소값에 따라서, 가는 선의 신호의 레벨을 추정하고, 추정된 가는 선의 폭 및 가는 선의 신호의 레벨을 나타낸 실세계 추정 정보를 출력하여, 처리는 종료된다. 예를 들면, 신호 레벨 추정부(2102)는, 가는 선 영역에 포함되는 가는 선 이외의 화상이 투영된 화소값을 산출하고, 가는 선 영역으로부터 가는 선 이외의 화상이 투영된 화소값을 제거함으로써, 가는 선 만의 화상이 투영된 화소값을 구하여, 구해진 가는 선 만의 화상이 투영된 화소값과 가는 선의 면적으로부터, 가는 선의 신호의 레벨을 산출함으로써, 실세계(1)의 신호에서의, 가는 선의 레벨을 추정한다.

이와 같이, 실세계 추정부(102)는, 실세계(1)의 신호의 가는 선의 폭 및 레벨을 추정할 수 있다.

이상과 같이, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 제1 화상 데이터의, 데이터 정상성을 검출하고, 데이터 정상성에 대응하는 현실 세계의 광신호의 파형을 나타내는 모델에 따라, 제1 화상 데이터 정상성으로부터 현실 세계의 광신호의 파형을 추정하고, 추정된 광신호를 제2 화상 데이터로 변환하도록 한 경우, 현실 세계의 광신호에 대하여,보다 정확하고, 보다 정밀도 높은 처리 결과를 얻을 수 있게 된다.

도 178은, 실세계 추정부(102)의 다른 구성을 나타낸 블록도이다.

도 178에 구성을 나타낸 실세계 추정부(102)에 있어서는, 입력 화상, 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보에 따라서, 영역이 재차 검출되어 재차 검출된 영역에 따라서, 실세계(1)의 신호인 화상에 있어서의, 가는 선의 폭이 검출되어 실세계(1)의 신호의 광의 강도(레벨)가 추정된다. 예를 들면, 도 178에 구성을 나타낸 실세계 추정부(102)에 있어서는, 가는 선의 화상이 투영된 화소로 이루어지는 정상성 영역이 재차 검출되어 재차 검출된 영역에 따라서, 실세계(1)의 신호인 화상에 있어서의, 가는 선의 폭이 검출되어 실세계(1)의 신호의 광의 강도가 추정된다.

데이터 정상성 검출부(101)로부터 공급되고, 도 178에 구성을 나타낸 실세계 추정부(102)에 입력되는 데이터 정상성 정보에는, 데이터(3)인 입력 화상 중, 가는 선의 화상이 투영된 정상 성분 이외의 비정상 성분을 나타낸 비정상 성분 정보, 정상 영역 안의 단조 증감 영역을 나타낸 단조 증감 영역 정보, 및 정상 영역을 나타내는 정보 등이 포함되어 있다. 예를 들면, 데이터 정상성 정보에 포함되는 비정상 성분 정보는, 입력 화상에 있어서의 배경 등의 비정상 성분을 근사하는 평면의 기울기 및 절편으로 이루어진다.

실세계 추정부(102)에 입력된 데이터 정상성 정보는, 경계 검출부(2121)에 공급된다. 실세계 추정부(102)에 입력된 입력 화상은, 경계 검출부(2121) 및 신호 레벨 추정부(2102)에 공급된다.

경계 검출부(2121)는, 데이터 정상성 정보에 포함되는 비정상 성분 정보, 및 입력 화상으로부터, 가는 선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성하고, 정상 성분만으로 이루어지는 화상에 따라서, 화소에 투영된, 실세계(1)의 신호인 가는 선의 화상이 투영된 비율을 나타낸 분배비를 산출하고, 산출된 분배비로부터 가는 선 영역의 경계를 나타낸 회귀 직선을 산출함으로써, 정상 영역인 가는 선 영역을 다시 검출한다.

도 193은, 경계 검출부(2121)의 구성을 나타낸 블록도이다.

분배비 산출부(2131)는, 데이터 정상성 정보, 데이터 정상성 정보에 포함되는 비정상 성분 정보, 및 입력 화상으로부터, 가는 선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성한다. 보다 구체적으로는, 분배비 산출부(2131)는, 데이터 정상성 정보에 포함되는 단조 증감 영역 정보에 따라서, 입력 화상으로부터, 정상 영역 중의 인접하는 단조 증감 영역을 검출하고, 검출된 단조 증감 영역에 속하는 화소의 화소값으로부터, 정상 성분 정보에 포함되는 기울기 및 절편에 나타낸 평면에서 근사되는 근사치를 뺄셈함으로써, 가는 선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성한다.

그리고, 분배비 산출부(2131)는, 입력 화상의 화소의 화소값으로부터, 정상 성분 정보에 포함되는 기울기 및 절편에 나타낸 평면에서 근사되는 근사치를 뺄셈함으로써, 가는 선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성할 수도 있다.

분배비 산출부(2131)는, 생성된 정상 성분만으로 이루어지는 화상에 따라서, 실세계(1)의 신호인 가는 선의 화상이, 정상 영역 중의 인접하는 단조 증감 영역에 속하는 2개의 화소에 분배된 비율을 나타낸 분배비를 산출한다. 분배비 산출부(2131)는, 산출한 분배비를 회귀 직선 산출부(2132)에 공급한다.

도 180 내지 도 182를 참조하여, 분배비 산출부(2131)에 있어서의, 분배비 산출 처리를 설명한다.

도 180의 좌측의 2열의 수치는, 입력 화상의 화소값으로부터, 정상 성분 정보에 포함되는 기울기 및 절편에 의해 나타낸 평면에서 근사되는 근사치를 뺄셈함으로써, 산출된 화상 중, 세로로 2열의 화소의 화소값을 나타낸다. 도 180의 좌측의 사각으로 둘러싸는 2개의 영역은, 인접하는 2개의 단조 증감 영역인, 단조 증감 영역(2141-1) 및 단조 증감 영역(2141-2)을 나타낸다. 즉, 단조 증감 영역(2141-1) 및 단조 증감 영역(2141-2)에 나타낸 수치는, 데이터 정상성 검출부(101)에 있어서 검출된 정상성 영역인 단조 증감 영역에 속하는 화소의 화소값을 나타낸다.

도 180의 우측의 1열의 수치는, 도 180의 좌측의 2열의 화소의 화소값 중, 가로로 배열된 화소의 화소값을 가산한 값을 나타낸다. 즉, 도 180의 우측의 1열의 수치는, 세로로 1열의 화소로 이루어지는 단조 증감 영역이며, 2개의 인접하는 것에 대하여, 가로로 인접하는 화소마다, 가는 선의 화상이 투영된 화소값을 가산한 값을 나타낸다.

예를 들면, 각각, 세로로 1열의 화소로 이루어지고, 인접하는 단조 증감 영역(2141-1)및 단조 증감 영역(2141-2) 중 어느 하나에 속하여, 가로로 인접하는 화소의 화소값이, 2 및 58일 때, 가산한 값은, 60이다. 각각, 세로로 1열의 화소로 이루어지고, 인접하는 단조 증감 영역(2141-1) 및 단조 증감 영역(2141-2) 중 어느 하나에 속하여, 가로로 인접하는 화소의 화소값이, 1 및 65일 때, 가산한 값은, 66이다.

도 180의 우측의 1열의 수치, 즉, 세로로 1열의 화소로 이루어지고, 2개의 인접하는 단조 증감 영역의 가로 방향에 인접하는 화소에 대하여, 가는 선의 화상이 투영된 화소값을 가산한 값은, 대략 일정하게 되는 것을 알 수 있다.

마찬가지로, 가로로 1열의 화소로 이루어지고, 2개의 인접하는 단조 증감 영역의 세로 방향에 인접하는 화소에 대하여, 가는 선의 화상이 투영된 화소값을 가산한 값은, 대략 일정하게 된다.

분배비 산출부(2131)는, 2개의 인접하는 단조 증감 영역의 인접하는 화소에 대하여, 가는 선의 화상이 투영된 화소값을 가산한 값이, 대략 일정하게 되는 성질을 이용하여, 가는 선의 화상이 1열의 화소의 화소값에 어떻게 분배되어 있는지를 산출한다.

분배비 산출부(2131)는, 도 181에 나타낸 바와 같이, 세로로 1열의 화소로 이루어지는 단조 증감 영역에서 있어, 2개의 인접하는 것에 속하는 화소의 화소값을, 가로로 인접하는 화소마다, 가는 선의 화상이 투영된 화소값을 가산한 값으로 나눗셈함으로써, 2개의 인접하는 단조 증감 영역에 속하는 각 화소에 대하여, 분배비를 산출한다. 단, 산출된 결과, 100을 초과하는 분배비에는, 100이 설정된다.

예를 들면, 도 181에 나타낸 바와 같이, 세로로 1열의 화소로 이루어지는 단조 증감 영역이며, 2개의 인접하는 것에 속하는, 가로로 인접하는 화소의 화소값이, 각각 2 및 58일 때, 가산한 값이 60이므로, 각각의 화소에 대하여, 3.5 및 96.5인 분배비가 산출된다. 세로로 1열의 화소로 이루어지는 단조 증감 영역이며, 2개의 인접하는 것에 속하는, 가로로 인접하는 화소의 화소값이, 각각 1 및 65일 때, 가산한 값이 65이므로, 각각의 화소에 대하여, 1.5 및 98.5의 분배비가 산출된다.

이 경우에 있어서, 3개의 단조 증감 영역이 인접하는 경우, 어느쪽의 열부터 계산 할지는, 도 182에 나타낸 바와 같이, 가로로 인접하는 화소마다, 가는 선의 화상이 투영된 화소값을 가산한, 2개의 값 중, 정점 P의 화소값에 더 가까운 값에 따라서, 분배비가 산출된다.

예를 들면, 정점 P의 화소값이 81이며, 주목하고 있는 단조 증감 영역에 속하는 화소의 화소값이 79일 때, 좌측에 인접하는 화소의 화소값이 3이며, 우측에 인접하는 화소의 화소값이 -1인 경우, 좌측에 인접하는 화소의 화소값을 가산한 값이, 82이며, 우측에 인접하는 화소의 화소값을 가산한 값이, 78이므로, 정점 P의 화소값 81에 더 가까운, 82가 선택되고, 좌측에 인접하는 화소에 따라서, 분배비가 산출된다. 마찬가지로, 정점 P의 화소값이 81이며, 주목하고 있는 단조 증감 영역에 속하는 화소의 화소값이 75일 때, 좌측에 인접하는 화소의 화소값이 0이며, 우측에 인접하는 화소의 화소값이 3인 경우, 좌측에 인접하는 화소의 화소값을 가산한 값이, 75이며, 우측에 인접하는 화소의 화소값을 가산한 값이, 78이므로, 정점 P의 화소값 81에 더 가까운, 78이 선택되고, 우측에 인접하는 화소에 따라서, 분배비가 산출된다.

이와 같이, 분배비 산출부(2131)는, 세로로 1열의 화소로 이루어지는 단조 증감 영역에 대하여, 분배비를 산출한다.

분배비 산출부(2131)는, 동일한 처리에 의해, 가로로 1열의 화소로 이루어지는 단조 증감 영역에 대하여, 분배비를 산출한다.

회귀 직선 산출부(2132)는, 단조 증감 영역의 경계가 직선인 것으로 가정하여, 분배비 산출부(2131)에 있어서 산출된 분배비에 따라서, 단조 증감 영역의 경계를 나타낸 회귀 직선을 산출함으로써, 정상 영역 중의 단조 증감 영역을 다시 검출한다.

도 183 및 도 184를 참조하여, 회귀 직선 산출부(2132)에 있어서의, 단조 증감 영역의 경계를 나타낸 회귀 직선의 산출의 처리를 설명한다.

도 183에 있어서, 흰색 원은, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 상측의 경계에 위치하는 화소를 나타낸다. 회귀 직선 산출부(2132)는, 회귀 처리에 의하여, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 상측의 경계에 대하여 회귀 직선을 산출한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 상측의 경계에 위치하는 화소와의 거리의 제곱의 합이 최소가 되는 직선 A를 산출한다.

또, 도 183에 있어서, 흑색 원은, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 하측의 경계에 위치하는 화소를 나타낸다. 회귀 직선 산출부(2132)는, 회귀 처리에 의하여, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 하측의 경계에 대하여 회귀 직선을 산출한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 하측의 경계에 위치하는 화소와의 거리의 제곱의 합이 최소가 되는 직선 B를 산출한다.

회귀 직선 산출부(2132)는, 산출된 회귀 직선에 따라서, 단조 증감 영역의 경계를 결정함으로써, 정상 영역 내의 단조 증감 영역을 다시 검출한다.

도 184에 나타낸 바와 같이, 회귀 직선 산출부(2132)는, 산출된 직선 A에 따라서, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 상측의 경계를 결정한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 각각에 대하여, 산출된 직선 A에 가장 가까운 화소로부터 상측의 경계를 결정한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 각각에 대하여, 산출된 직선 A에 가장 가까운 화소가 영역에 포함되도록 상측의 경계를 결정한다.

도 184에 나타낸 바와 같이, 회귀 직선 산출부(2132)는, 산출된 직선 B에 따라서, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 하측의 경계를 결정한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 각각에 대하여, 산출된 직선 B에 가장 가까운 화소로부터 하측의 경계를 결정한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역(2141-1) 내지 단조 증감 영역(2141-5)의 각각에 대하여, 산출된 직선 B에 가장 가까운 화소가 영역에 포함되도록 상측의 경계를 결정한다.

이와 같이, 회귀 직선 산출부(2132)는, 데이터 정상성 검출부(101)에 의해 검출된 정상 영역의 경계를 회귀하는 회귀선에 따라, 정점으로부터 단조롭게 화소값이 증가 또는 감소하고 있는 영역을 다시 검출한다. 즉, 회귀 직선 산출부(2132)는, 산출된 회귀 직선에 따라서, 단조 증감 영역의 경계를 결정함으로써, 정상 영역 내의 단조 증감 영역인 영역을 다시 검출하고, 검출한 영역을 나타낸 영역 정보를 선폭 검출부(2101)에 공급한다.

이상과 같이, 경계 검출부(2121)는, 화소에 투영된, 실세계(1)의 신호인 가는 선의 화상이 투영된 비율을 나타낸 분배비를 산출하고, 산출된 분배비로부터 단조 증감 영역의 경계를 나타낸 회귀 직선을 산출함으로써, 정상 영역 안의 단조 증감 영역을 다시 검출한다. 이와 같이 함으로써, 보다 정확하게 단조 증감 영역을 검출할 수 있다.

도 178에 나타낸 선폭 검출부(2101)는, 경계 검출부(2121)로부터 공급된, 재차 검출된 영역을 나타낸 영역 정보에 따라서, 도 173에 나타낸 경우와 동일한 처리에 의해, 가는 선의 폭을 검출한다. 선폭 검출부(2101)는, 데이터 정상성 정보와 함께, 검출된 가는 선의 폭을 나타낸 가는 선 폭 정보를 신호 레벨 추정부(2102)에 공급한다.

도 178에 나타내는 신호 레벨 추정부(2102)의 처리는, 도 173에 나타낸 경우와 동일한 처리이므로, 그 설명은 생략한다.

도 185는, 스텝 S102의 처리에 대응하는, 도 178에 구성을 나타낸 실세계 추정부(102)에 의한, 실세계 추정의 처리를 설명하는 흐름도이다.

스텝 S2121에 있어서, 경계 검출부(2121)는, 데이터 정상성 검출부(101)에 의해 검출된 정상 영역에 속하는 화소의 화소값에 따라, 다시 영역을 검출하는, 경계 검출의 처리를 실행한다. 경계 검출의 처리의 자세한 것은, 후술한다.

스텝 S2122 및 스텝 S2123의 처리는, 스텝 S2101 및 스텝 S2102의 처리와 동일하므로, 그 설명은 생략한다.

도 186은, 스텝 S2121의 처리에 대응하는, 경계 검출의 처리를 설명하는 흐름도이다.

스텝 S2131에 있어서, 분배비산출부(2131)는, 단조 증감 영역을 나타내는 데이터 정상성 정보 및 입력 화상에 따라서, 가는 선의 화상이 투영된 비율을 나타낸 분배비를 산출한다. 예를 들면, 분배비 산출부(2131)는, 데이터 정상성 정보에 포함되는 단조 증감 영역 정보에 따라서, 입력 화상으로부터, 정상 영역 안의 인접하는 단조 증감 영역을 검출하고, 검출된 단조 증감 영역에 속하는 화소의 화소값으로부터, 정상 성분 정보에 포함되는 기울기 및 절편으로 나타낸 평면에서 근사되는 근사치를 뺄셈함으로써, 가는 선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성한다. 그리고, 분배비 산출부(2131)는, 1열의 화소로 이루어지는 단조 증감 영역에서 있어, 2개의 인접하는 것에 속하는 화소의 화소값을, 인접하는 화소의 화소값의 합으로 나눗셈함으로써, 2개의 인접하는 단조 증감 영역에 속하는 각 화소에 대하여, 분배비를 산출한다.

분배비 산출부(2131)는, 산출된 분배비를 회귀 직선 산출부(2132)에 공급한다.

스텝 S2132에 있어서, 회귀 직선 산출부(2132)는, 가는 선의 화상이 투영된 비율을 나타낸 분배비에 따라서, 단조 증감 영역의 경계를 나타낸 회귀 직선을 산출함으로써, 정상 영역 내의 영역을 다시 검출한다. 예를 들면, 회귀 직선 산출부(2132)는, 단조 증감 영역의 경계가 직선인 것으로 가정하여, 단조 증감 영역의 일단의 경계를 나타내는 회귀 직선을 산출하고, 단조 증감 영역의 타단의 경계를 나타내는 회귀 직선을 산출함으로써, 정상 영역 내의 단조 증감 영역을 다시 검출한다.

회귀 직선 산출부(2132)는, 다시 검출된, 정상 영역 내의 영역을 나타내는 영역 정보를 선폭 검출부(2101)에 공급하여, 처리는 종료된다.

이와 같이, 도 178에 구성을 나타내는 실세계 추정부(102)는, 가는 선의 화상이 투영된 화소로 이루어지는 영역을 재차 검출하고, 재차 검출된 영역에 따라서, 실세계(1)의 신호인 화상에 있어서의, 가는 선의 폭을 검출하고, 실세계(1)의 신호의 광의 강도(레벨)를 추정한다. 이와 같이 하여, 실세계(1)의 신호에 대하여, 보다 정확하게, 가는 선의 폭을 검출하고, 보다 정확하게, 광의 강도를 추정할 수 있다.

이상과 같이, 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된 제1 화상 데이터에 있어서의, 복수개의 화소의 화소값의 불연속부를 검출하고, 검출된 불연속부로부터, 데이터 정상성을 가지는 정상 영역을 검출하고, 검출된 정상 영역에 속하는 화소의 화소값에 따라, 다시 영역을 검출하고, 다시 검출된 영역에 따라 실세계를 추정하도록 한 경우, 현실 세계의 사상에 대하여, 보다 정확하게, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

다음에, 도 187을 참조하여, 정상성을 가지는 영역에 있어서의, 화소마다의 공간 방향의 근사 함수의 미분값을 실세계 추정 정보로서 출력하는 실세계 추정부(102)에 대하여 설명한다.

참조 화소 추출부(2201)는, 데이터 정상성 검출부(101)로부터 입력되는 데이터 정상성 정보(정상성의 각도, 또는 영역의 정보)에 따라, 입력 화상의 각 화소가 처리 영역인지 여부를 판정하고, 처리 영역인 경우에는, 입력 화상의 화소의 화소값을 근사하는 근사 함수를 구하기 위해 필요한 참조 화소의 정보(연산에 필요한 주목 화소 주변의 복수개의 화소의 위치, 및 화소값)를 추출하여, 근사 함수 추정부(2202)에 출력한다.

근사 함수 추정부(2202)는, 참조 화소 추출부(2201)로부터 입력된 참조 화소의 정보에 따라 주목 화소 주변의 화소의 화소값을 근사적으로 기술하는 근사 함수를 최소 자승법에 따라 추정하고, 추정한 근사 함수를 미분 처리부(2203)에 출력한다.

미분 처리부(2203)는, 근사 함수 추정부(2202)로부터 입력된 근사 함수에 따라, 데이터 정상성 정보의 각도(예를 들면, 가는 선이나 2진수 에지의 소정의 축에 대한 각도: 기울기)에 따라, 주목 화소로부터 생성하려고 하는 화소의 위치의 시프트량을 구하고, 그 시프트량에 따른 근사 함수 상의 위치에서의 미분값(정상성에 대응하는 선으로부터의 1차원 방향을 따른 거리에 대응하는 각 화소의 화소값을 근사하는 함수의 미분값)을 연산하고, 또한 주목 화소의 위치, 화소값, 및 정상성의 경사의 정보를 부가하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

다음에, 도 188의 흐름도를 참조하여, 도 187의 실세계 추정부(102)에 의한 실세계 추정의 처리에 대하여 설명한다.

스텝 S2201에 있어서, 참조 화소 추출부(2201)는, 입력 화상과 함께, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서의 각도, 및 영역의 정보를 취득한다.

스텝 S2202에 있어서, 참조 화소 추출부(2201)는, 입력 화상의 미처리 화소로부터 주목 화소를 설정한다.

스텝 S2203에 있어서, 참조 화상 추출부(2201)는, 데이터 정상성 정보의 영역의 정보에 따라, 주목 화소가, 처리 영역의 것인지 여부를 판정하고, 처리 영역의 화소가 아닌 것으로 판정한 경우, 그 처리는, 스텝 S2210으로 진행하고, 그 주목 화소에 대하여는, 처리 영역 밖인 것을 근사 함수 추정부(2202)를 통하여, 미분 처리부(2203)에게 전해 이에 따라, 미분 처리부(2203)가, 대응하는 주목 화소에 대한 미분값을 0으로 하고, 또한 그 주목 화소의 화소값을 부가하여 실세계 추정 정보로서 화상 생성부(103)에 출력하는 동시에, 그 처리는, 스텝 S2211로 진행한다. 또, 주목 화소가 처리 영역의 것이라고 판정된 경우, 그 처리는, 스텝 S2204로 진행한다.

스텝 S2204에 있어서, 참조 화소 추출부(2201)는, 데이터 정상성 정보에 포함되는 각도의 정보로부터, 데이터 정상성이 가지는 방향이, 수평 방향에 가까운 각도인가, 또는 수직에 가까운 각도인지 여부를 판정한다. 즉, 참조 화소 추출부(2201)는, 데이터 정상성이 가지는 각도 θ가, 0도≤θ＜45도, 또는 135도≤θ＜180도의 경우, 주목 화소의 정상성의 방향은, 수평 방향과 가까운 것으로 판정하고, 데이터 정상성이 가지는 각도 θ가, 45도≤θ＜135도의 경우, 주목 화소의 정상성의 방향은, 수직 방향과 가까운 것으로 판정한다.

스텝 S2205에 있어서, 참조 화소 추출부(2201)는, 판정한 방향에 대응한 참조 화소의 위치 정보, 및 화소값을 각각 입력 화상으로부터 추출하고, 근사 함수 추정부(2202)에 출력한다. 즉, 참조 화소는, 후술하는 근사 함수를 연산할 때 사용되는 데이터가 되므로, 기울기에 따라 추출되는 것이 바람직하다. 따라서, 수평 방향, 또는 수직 방향 중 어느 하나의 판정 방향에 대응하여, 그 방향으로 긴 범위의 참조 화소가 추출된다. 보다 구체적으로는, 예를 들면, 도 189에 나타낸 바와 같이, 기울기 G_f가 수직 방향에 가까우면, 수직 방향인 것으로 판정된다. 이 경우, 참조 화소 추출부(2201)는, 예를 들면, 도 189에 나타낸 바와 같이, 도 189의 중앙의 화소 (0, 0)를 주목 화소로 할 때, 화소 (-1, 2), (-1, 1), (-1, 0), (-1, -1), (-1, -2), (0, 2), (0, 1), (0, 0), (0, -1), (0, -2), (1, 2), (1, 1), (1, 0), (1, -1), (1, -2)의 각각의 화소값을 추출한다. 그리고, 도 189에 있어서는, 각 화소의 수평 방향, 및 수직 방향의 크기가 1인 것으로 한다.

즉, 참조 화소 추출부(2201)는, 주목 화소를 중심으로 하여 수직(상하) 방향으로 각각 2화소×수평(좌우)방향으로 각각 1화소의 합계 15화소가 되도록, 수직 방향으로 긴 범위의 화소를 참조 화소로서 추출한다.

역으로, 수평 방향인 것으로 판정된 경우, 주목 화소를 중심으로 하여 수직(상하)방향으로 각각 1화소×수평(좌우)방향으로 각각 2화소의 합계 15화소가 되도록, 수평 방향으로 긴 범위의 화소를 참조 화소로서 추출하여, 근사 함수 추정부(2202)에 출력한다. 물론, 참조 화소는, 전술한 바와 같이 15화소로 한정되는 것이 아니고, 그 이외의 개수이라도 된다.

스텝 S2206에 있어서, 근사 함수 추정부(2202)는, 참조 화소 추출부(2201)로부터 입력된 참조 화소의 정보에 따라, 최소 자승법에 의해 근사 함수 f(x)를 추정하고, 미분 처리부(2203)에 출력한다.

즉, 근사 함수 f(x)는, 이하의 식(96)에서 나타낸 바와 같은 다항식이다.

…(96)

이와 같이, 식(96)의 다항식의 각 계수 W₁ 내지 W_{n +1}이 구해지고, 각 참조 화소의 화소값(참조 화소값)을 근사하는 근사 함수 f(x)가 구해지게 된다. 그러나, 계수의 수보다 많은 참조 화소값이 필요하므로, 예를 들면, 참조 화소가, 도 189에 나타낸 바와 같은 경우, 합계 15화소이므로, 다항식의 계수는, 15개까지만 구할 수 있다. 그래서, 이 경우, 다항식은, 14차 까지의 다항식으로 하고, 계수 W₁ 내지 W₁₅를 구함으로써 근사 함수를 추정하는 것으로 한다. 그리고, 지금의 경우, 15 다음의 다항식으로 이루어지는 근사 함수 f(x)를 설정하여, 연립 방정식으로 할 수도 있다.

따라서, 도 189에 나타낸 15개의 참조 화소값을 사용할 때, 근사 함수 추정부(2202)는, 이하의 식(97)을, 최소 자승법을 이용하여 푸는 것에 의해 추정한다.

P(-1, -2) = f(-1 -Cx(-2))

P(-1, -1) = f(-1 -Cx(-1))

P(-1, 0) = f(-1) (=f(-1-Cx(0)))

P(-1, 1) = f(-1 -Cx(1))

P(-1, 2) = f(-1 -Cx(2))

P(0), -2) = f(0 -Cx(-2))

P(0), -1) = f(0 -Cx(-1))

P(0, 0) = f(0) (=f(0 - Cx(0)))

P(0, 1) = f(0 - Cx(1))

P(0, 2) = f(0 - Cx(2))

P(1), -2) = f(1 - Cx(-2))

P(1), -1) = f(1 - Cx(-1))

P(1, 0) = f(1) (= f(1-Cx(0)))

P(1, 1) = f(1 - Cx(1))

P(1, 2) = f(1 - Cx(2))

…(97)

그리고, 다항식의 차수에 맞추어서, 참조 화소의 수를 변경할 수도 있다.

여기서, Cx(ty)는, 시프트량이며, 정상성의 기울기를 G_f로 나타낼 때, Cx(ty) = ty/G_f에 의해 정의된다. 상기 시프트량 Cx(ty)는, 공간 방향 Y = 0의 위치 상에서 정의되는 근사 함수 f(x)가, 기울기 G_f에 따라, 연속되어 있는 것(정상성을 가지고 있다)을 전제로 할 때, 공간 방향 Y = ty의 위치에서의, 공간 방향 X에 대한 어긋난 폭을 나타낸 것이다. 따라서, 예를 들면, 공간 방향 Y = 0의 위치 상에서 근사 함수가 f(x)로서 정의되어 있는 경우, 상기 근사 함수 f(x)는, 공간 방향 Y = ty에 있어서는, 경사 G_f에 따라 공간 방향 X에 대하여 Cx(ty)만큼 어긋나 있을 것이므로, 함수는, f(x－Cx(ty))(= f(x－ty/Gf))에 의해 정의된다.

스텝 S2207에 있어서, 미분 처리부(2203)는, 근사 함수 추정부(2202)로부터 입력된 근사 함수 f(x)에 따라서, 생성하려고 하는 화소의 위치에서의, 시프트량을 구한다.

즉, 수평 방향, 및 수직 방향으로 각각 2배의 밀도(합계 4배의 밀도)가 되도록 화소를 생성하는 경우, 미분 처리부(2203)는, 예를 들면, 먼저 수직 방향으로 2배의 밀도가 되는 화소 Pa, Pb로 2분할하기 위하여, 도 190에서 나타낸 바와 같이, 주목 화소의 중심 위치가 Pin(Xin, Yin)에서의 미분값을 구하기 위해, 중심 위치의 Pin(Xin, Yin)의 시프트량을 구한다. 상기 시프트량은, Cx(0)가 되므로, 실질적으로는 0이 된다. 그리고, 도 190 중에 있어서, 화소 Pin은, (Xin, Yin)를 대략 중심 위치로 하는 정방형이며, 화소 Pa, Pb는, (Xin, Yin + 0.25), (Xin, Yin - 0.25)를 각각 대략 중심 위치로 하는 도면 중 수평 방향으로 긴 직사각형이다.

스텝 S2208에 있어서, 미분 처리부(2203)는, 근사 함수 f(x)를 미분하여, 근사 함수의 1차 미분 함수 f(x)를 구하고, 구해진 시프트량에 따른 위치에서의 미분값을 구하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다. 즉, 지금의 경우, 미분 처리부(2203)는, 미분값 f(Xin)를 구하고, 그 위치(지금의 경우, 주목 화소(Xin, Yin))와 그 화소값, 및 정상성의 방향의 기울기의 정보를 부가하여 출력한다.

스텝 S2209에 있어서, 미분 처리부(2203)는, 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 요구되어 있는지 여부를 판정한다. 예를 들면, 지금의 경우, 2배의 밀도가 되기 위해 미분값 밖에 구하여져 있지 않으므로(공간 방향 Y 방향에 대한 2배의 밀도가 되기 위한 미분값 밖에 구해져 있지 않으므로), 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 구해져 있지 않은 것으로 판정하고, 그 처리는, 스텝 S2207로 되돌아온다.

스텝 S2207에 있어서, 미분 처리부(2203)는, 재차, 근사 함수 추정부(2202)로부터 입력된 근사 함수 f(x)에 따라서, 생성하려고 하는 화소의 위치에서의, 시프트량을 구한다. 즉, 미분 처리부(2203)는, 지금의 경우, 2분할된 화소 Pa, Pb의 각각을 2분할하기 위해 필요한 미분값을 각각 구한다. 화소 Pa, Pb의 화소의 위치는, 도 190에 있어서의 흑색 원으로 나타낸 각각의 위치이므로, 미분 처리부(2203)는, 각각의 위치에 대응하는 시프트량을 구한다. 화소 Pa, Pb의 시프트량은, 각각 Cx(0.25), Cx(-0.25)가 된다.

스텝 S2208에 있어서, 미분 처리부(2203)는, 근사 함수 f(x)를 1차 미분하여, 화소 Pa, Pb의 각각에 대응한 시프트량에 따른 위치에서의 미분값을 구하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

즉, 도 189에 나타낸 참조 화소를 사용하는 경우, 미분 처리부(2203)는, 도 191에서 나타낸 바와 같이, 구해진 근사 함수 f(x)에 대하여 미분 함수 f(x)를 구하여, 공간 방향 X에 대하여, 시프트량 Cx(0.25), Cx(-0.25)만큼 어긋난 위치가 되는 (Xin - Cx(0.25))와 (Xin - Cx(- (0.25))의 위치에서의 미분값을 각각 f(Xin - Cx(0.25))', f(Xin-Cx(-0.25))' 구하고, 그 미분값에 대응하는 위치 정보를 부가하여, 이것을 실세계 추정 정보로서 출력한다. 그리고, 최초의 처리에 의해 화소값의 정보가 출력되어 있으므로 화소값의 정보는 부가되지 않는다.

스텝 S2209에 있어서, 재차, 미분 처리부(2203)는, 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 요구되고 있는지 여부를 판정한다. 예를 들면, 지금의 경우, 4배의 밀도가 되므로의 미분 값이 구해진 것이 되므로, 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 구해졌다고 판정하고, 그 처리는, 스텝 S2211로 진행한다.

스텝 S2211에 있어서, 참조 화소 추출부(2201)는, 모든 화소를 처리했는지 여부를 판정하고, 모든 화소를 처리하고 있지 않은 것으로 판정한 경우, 그 처리는, 스텝 S2202로 되돌아온다. 또, 스텝 S2211에 있어서, 모든 화소를 처리했다고 판정한 경우, 그 처리는, 종료된다.

전술한 바와 같이, 입력 화상에 대하여, 수평 방향, 및 수직 방향으로 4배의 밀도가 되도록 화소를 생성하는 경우, 화소는, 분할되는 화소의 중앙의 위치의 근사 함수의 미분값을 사용하여, 외삽 보간에 의해 분할되므로, 4배 밀도의 화소를 생성하는데는, 합계 3개의 미분값의 정보가 필요하다.

즉, 도 190에서 나타낸 바와 같이, 1화소에 대하여 최종적으로는, 화소 P01, P02, P03, P04의 4화소(도 190에 있어서, 화소 P01, P02, P03, P04는, 도면 중의 4개의 x표의 위치를 중심 위치로 하는 정방형이며, 각변의 길이는, 화소 Pin이, 각각 1이므로, 화소 P01, P02, P03, P04는, 각각 대략 0.5가 된다)의 생성에 필요한 미분 값이 필요하므로, 4배 밀도의 화소를 생성하는데는, 먼저, 수평 방향, 또는 수직 방향(지금의 경우, 수직 방향)으로 2배 밀도의 화소를 생성하고(전술한 최초의 스텝 S2207, S2208의 처리), 또한 분할된 2화소를, 각각 최초에 분할한 방향과 수직의 방향(지금의 경우, 수평 방향)으로 분할하기(전술한 2번째의 스텝 S2207, S2208의 처리)위해서 이다.

그리고, 이상의 예에 있어서는, 4배 밀도의 화소를 연산할 때의 미분값을 예로서 설명하였지만, 그 이상의 밀도의 화소를 연산하는 경우, 스텝 S2207 내지 S2209의 처리를 반복함으로써, 화소값의 연산에 필요한 더 많은 미분값을 구할 수도 있다. 또, 이상의 예에서는, 배 밀도의 화소값을 구하는 예에 대하여 설명하였지만, 근사 함수 f(x)는 연속 함수이므로, 배밀도 이외의 화소값 대하여도 필요한 미분값을 구하는 것이 가능해진다.

이상에 의하면, 주목 화소 근방의 화소의 화소값을 근사적으로 표현하는 근사 함수를 구하고, 공간 방향의 화소 위치에 대응하는 위치의 미분값을 실세계 추정 정보로서 출력하는 것이 가능해진다.

이상의 도 187에 있어서 설명한 실세계 추정부(102)에 있어서는, 화상을 생성하는데 필요한 미분값을 실세계 추정 정보로서 출력하였지만, 미분값은, 필요한 위치에서의 근사 함수 f(x)의 기울기와 동일한 값이다.

그래서, 다음은, 도 192를 참조하여, 근사 함수 f(x)를 구하지 않고, 화소 생성에 필요한 근사 함수 f(x) 상의 경사만을 직접 구하여, 실세계 추정 정보로서 출력하는 실세계 추정부(102)에 대하여 설명한다.

참조 화소 추출부(2211)는, 데이터 정상성 검출부(101)로부터 입력되는 데이터 정상성 정보(정상성의 각도, 또는 영역의 정보)에 따라서, 입력 화상의 각 화소가 처리 영역인지 여부를 판정하고, 처리 영역일 경우에는, 입력 화상으로부터 경사를 구하기 위해 필요한 참조 화소의 정보(연산에 필요한 주목 화소를 포함하는 수직 방향으로 배열된 주변의 복수개의 화소, 또는 주목 화소를 포함하는 수평 방향으로 배열된 주변의 복수개의 화소의 위치, 및 각각의 화소값의 정보)를 추출하여, 기울기 추정부(2212)에 출력한다.

기울기 추정부(2212)는, 참조 화소 추출부(2211)로부터 입력된 참조 화소의 정보에 따라, 화소 생성에 필요한 화소 위치의 경사의 정보를 생성하여, 실세계 추정 정보로서 화상 생성부(103)에 출력한다. 보다 상세하게는, 경사 추정부(2212)는, 화소 사이의 화소값의 차분 정보를 사용하여, 실세계를 근사적으로 표현하는 근사 함수 f(x) 상의 주목 화소의 위치에서의 기울기를 구하고, 이것에, 주목 화소의 위치 정보, 화소값, 및 정상성의 방향의 기울기의 정보를 실세계 추정 정보로서 출력한다.

다음에, 도 193의 흐름도를 참조하여, 도 192의 실세계 추정부(102)에 의한 실세계 추정의 처리에 대하여 설명한다.

스텝 S2221에 있어서, 참조 화소 추출부(2211)는, 입력 화상과 함께, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서의 각도, 및 영역의 정보를 취득한다.

스텝 S2222에 있어서, 참조 화소 추출부(2211)는, 입력 화상의 미처리 화소로부터 주목 화소를 설정한다.

스텝 S2223에 있어서, 참조 화상 추출부(2211)는, 데이터 정상성 정보의 영역의 정보에 따라, 주목 화소가, 처리 영역의 것인지 여부를 판정하고, 처리 영역의 화소가 아닌 것으로 판정한 경우, 그 처리는, 스텝 S2228로 진행하고, 그 주목 화소에 대하여는, 처리 영역 밖인 것을 경사 추정부(2212)에게 전해 이에 따라, 경사 추정부(2212)가, 대응하는 주목 화소에 대한 경사를 0으로 하고, 또한 그 주목 화소의 화소값을 부가하여 실세계 추정 정보로서 화상 생성부(103)에 출력하는 동시에, 그 처리는, 스텝 S2229로 진행한다. 또, 주목 화소가 처리 영역의 것이라고 판정된 경우, 그 처리는, 스텝 S2224로 진행한다.

스텝 S2224에 있어서, 참조 화소 추출부(2211)는, 데이터 정상성 정보에 포함되는 각도의 정보로부터, 데이터 정상성이 가지는 방향이, 수평 방향에 가까운 각도인가, 또는 수직에 가까운 각도인지 여부를 판정한다. 즉, 참조 화소 추출부(2211)는, 데이터 정상성이 가지는 각도 θ가, 0도≤θ＜45도, 또는 135도≤θ＜180도의 되는 경우, 주목 화소의 정상성의 방향은, 수평 방향과 가까운 것으로 판정하고, 데이터 정상성이 가지는 각도 θ가, 45도≤θ＜135도의 경우, 주목 화소의 정상성의 방향은, 수직 방향과 가까운 것으로 판정한다.

스텝 S2225에 있어서, 참조 화소 추출부(2211)는, 판정한 방향에 대응한 참조 화소의 위치 정보, 및 화소값을 각각 입력 화상으로부터 추출하고, 경사 추정부(2212)에 출력한다. 즉, 참조 화소는, 후술하는 경사를 연산할 때 사용되는 데이터가 되므로, 정상성의 방향을 나타낸 경사에 따라 추출되는 것이 바람직하다. 따라서, 수평 방향, 또는 수직 방향 중 어느 하나의 판정 방향에 대응하여, 그 방향으로 긴 범위의 참조 화소가 추출된다. 보다 구체적으로는, 예를 들면, 경사가 수직 방향에 가까운 것으로 판정된 경우, 참조 화소 추출부(2211)는, 도 194에 나타낸 바와 같이, 도 194 중의 중앙의 화소 (0, 0)를 주목 화소로 할 때, 화소(0, 2), (0, 1), (0, 0), (0, -1), (0, -2)의 각각의 화소값을 추출한다. 그리고, 도 194에 있어서는, 각 화소의 크기가 수평 방향, 및 수직 방향에 대하여 각각 1인 것으로 한다.

즉, 참조 화소 추출부(2211)는, 주목 화소를 중심으로 하여 수직(상하) 방향으로 각각 2화소의 합계 5화소가 되도록, 수직 방향으로 긴 범위의 화소를 참조 화소로서 추출한다.

역으로, 수평 방향인 것으로 판정된 경우, 주목 화소를 중심으로 하여 수평(좌우) 방향으로 2화소의 합계 5화소가 되도록, 수평 방향으로 긴 범위의 화소를 참조 화소로서 추출하여, 근사 함수 추정부(2202)에 출력한다. 물론, 참조 화소는, 전술한 바와 같이 5화소로 한정되는 것이 아니고, 그 이외의 개수라도 된다.

스텝 S2226에 있어서, 경사 추정부(2212)는, 참조 화소 추출부(2211)로부터 입력된 참조 화소의 정보와, 정상성 방향의 경사 G_f에 따라, 각각의 화소값의 시프트량을 연산한다. 즉, 공간 방향 Y = 0에 대응하는 근사 함수 f(x)를 기준으로 한 경우, 공간 방향 Y = -2, -1, 1, 2에 대응하는 근사 함수는, 도 194에 나타낸 바와 같이, 정상성의 경사 G_f에 따라 연속되어 있는 것이 되므로, 각 근사 함수는, f(x - Cx(2)), f(x - Cx(1)), f(x - Cx(-1)), f(x - Cx(-2))와 같이 기술되어 공간 방향 Y = -2, -1, 1, 2마다, 각 시프트량분 만큼 공간 방향 X에 어긋난 함수로서 표현된다.

그래서, 경사 추정부(2212)는, 이들 시프트량 Cx(-2) 내지 Cx(2)를 구한다. 예를 들면, 참조 화소가, 도 194에 나타낸 바와 같이 추출되었을 경우, 그 시프트량은, 도면 중의 참조 화소 (0, 2)는, Cx(2) = 2/G_f가 되고, 참조 화소(0, 1)은, Cx(1) = 1/G_f가 되고, 참조 화소(0, 0)는, Cx(0) = 0이 되고, 참조 화소(0, -1)은, Cx(-1) = -1/G_f가 되고, 참조 화소(0, -2)는, Cx(-2) = -2/G_f가 된다.

스텝 S2227에 있어서, 경사 추정부(2212)는, 주목 화소의 위치에서의 근사 함수 f(x) 상의 기울기를 연산한다(추정한다). 예를 들면, 도 194에 나타낸 바와 같이, 주목 화소에 대하여 정상성의 방향이, 수직 방향에 가까운 각도의 경우, 수평 방향으로 인접하는 화소 사이에서는 화소값이 크게 달라지고, 수직 방향의 화소 사이에서는, 화소 사이의 변화가 작고, 변화가 유사하므로, 경사 추정부(2212)는, 수직 방향의 화소 사이의 변화를 시프트량에 의한 공간 방향 X의 변화로 보아서, 수직 방향의 화소 사이의 차분을 수평 방향의 화소 사이의 차분에 치환하여, 주목 화소의 위치에서의 근사 함수 f(x) 상에서의 기울기를 구한다.

즉, 현실 세계를 근사적으로 기술하는 근사 함수 f(x)가 존재한다고 가정하면, 전술한 시프트량과 각 참조 화소의 화소값의 관계는, 도 195에서 나타낸 바와 같게 된다. 여기서, 도 194의 각 화소의 화소값은, 위로부터 P(0, 2), P(0, 1), P(0, 0), P(0, -1), P(0, -2)로 표현된다. 결과적으로, 주목 화소(0, 0) 근방의 화소값 P와 시프트량 Cx는, (P, Cx) = (P(0, 2), －Cx(2)), (P(0, 1), -Cx(1)), (P(0, -1), -Cx(-1)), (P(0, -2), -Cx(-2)), P(0, 0), 0)의 5그룹의 관계를 얻을 수 있게 된다.

그런데, 화소값 P, 시프트량 Cx, 및 기울기 Kx(근사 함수 f(x) 상의 기울기)는, 이하와 같은 식(98)과 같은 관계가 성립하게 된다.

P=Kx x

…(98)

전술한 식(98)은, 변수 Kx에 대한 1변수의 함수이므로, 경사 추정부(2212)는, 상기 변수 Kx(기울기)에 대하여, 1변수의 최소 자승법에 의해 기울기 Kx를 구한다.

즉, 경사 추정부(2212)는, 이하에 나타내는 것과 같은 식(99)와 같은 정규 방정식을 풀어서, 주목 화소의 기울기를 구하고, 주목 화소의 화소값, 및 정상성의 방향의 기울기의 정보를 부가하여, 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

…(99)

여기서, i는, 전술한 참조 화소의 화소값 P와 시프트량 C의 그룹을 각각 식별하는 번호이며, 1 내지 m이다. 또, m은, 주목 화소를 포함하는 참조 화소수가 된다.

스텝 S2229에 있어서, 참조 화소 추출부(2211)는, 모든 화소를 처리했는지 여부를 판정하고, 모든 화소를 처리하고 있지 않은 것으로 판정한 경우, 그 처리는, 스텝 S2222로 되돌아온다. 또, 스텝 S2229에 있어서, 모든 화소가 처리되었다고 판정된 경우, 그 처리는, 종료된다.

그리고, 전술한 처리에 의해 실세계 추정 정보로서 출력되는 기울기는, 최종적으로 요구하려고 하는 화소값을 외삽 보간하여, 연산할 때 사용된다. 또, 이상의 예에 있어서는, 2배 밀도의 화소를 연산할 때의 기울기를 예로서 설명하였지만, 그 이상의 밀도의 화소를 연산하는 경우, 화소값의 연산에 필요한, 더 많은 위치에서의 기울기를 구할 수도 있다.

예를 들면, 도 190에서 나타낸 바와 같이, 수평 방향으로 2배의 밀도, 또 수직 방향으로 2배의 밀도의 공간 방향으로 합계 4배의 밀도의 화소를 생성하는 경우, 전술한 바와 같이, 도 190 중의 Pin, Pa, Pb의 각각의 위치에 대응하는 근사 함수 f(x)의 기울기 Kx를 구하면 된다.

또, 이상의 예에 대하여 는, 배밀도의 화소값을 구하는 예에 대하여 설명하였지만, 근사 함수 f(x)는 연속 함수이므로, 배밀도 이외의 위치의 화소의 화소값 대하여도 필요한 기울기를 구하는 것이 가능해진다.

이상에 의하면, 주목 화소 근방의 화소의 화소값을 사용하여, 실세계를 근사적으로 표현하는 근사 함수를 구하지 않고, 공간 방향의 화소의 생성에 필요한 위치의 근사 함수 상의 기울기를 실세계 추정 정보로서 생성하고, 또한 출력하는 것이 가능해진다.

다음에, 도 196을 참조하여, 정상성을 가지는 영역에 있어서의, 화소마다의 프레임 방향(시간 방향)의 근사 함수 상의 미분값을 실세계 추정 정보로서 출력하는 실세계 추정부(102)에 대하여 설명한다.

참조 화소 추출부(2231)는, 데이터 정상성 검출부(101)로부터 입력되는 데이터 정상성 정보(정상성의 움직임(움직임 벡터), 및 영역의 정보)에 따라, 입력 화상의 각 화소가 처리 영역인지 여부를 판정하고, 처리 영역인 경우에는, 입력 화상의 화소의 화소값을 근사하는 근사 함수를 구하기 위해 필요한 참조 화소의 정보(연산에 필요한 주목 화소 주변의 복수개의 화소의 위치, 및 화소값)를 추출하여, 근사 함수 추정부(2202)에 출력한다.

근사 함수 추정부(2232)는, 참조 화소 추출부(2231)로부터 입력된 프레임 방향의 참조 화소의 정보에 따라 주목 화소 주변의 각 화소의 화소값을 근사적으로 기술하는 근사 함수를 최소 자승법에 따라 추정하고, 추정한 함수를 미분 처리부(2233)에 출력한다.

미분 처리부(2233)는, 근사 함수 추정부(2232)로부터 입력된 프레임 방향의 근사 함수에 따라, 데이터 정상성 정보의 움직임에 따라, 주목 화소로부터 생성하려고 하는 화소의 위치의 프레임 방향의 시프트량을 구하고, 그 시프트량에 따른 프레임 방향의 근사 함수 상의 위치에서의 미분값(정상성에 대응하는 선으로부터의 1차원 방향에 따른 거리에 대응하는 각 화소의 화소값을 근사하는 함수의 미분값)을 연산하고, 또한 주목 화소의 위치, 화소값, 및 정상성의 움직임의 정보를 부가하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

다음에, 도 197의 흐름도를 참조하여, 도 196의 실세계 추정부(102)에 의한 실세계 추정 처리에 대하여 설명한다.

스텝 S2241에 있어서, 참조 화소 추출부(2231)는, 입력 화상과 함께, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서의 움직임, 및 영역의 정보를 취득한다.

스텝 S2242에 있어서, 참조 화소 추출부(2231)는, 입력 화상의 미처리 화소로부터 주목 화소를 설정한다.

스텝 S2243에 있어서, 참조 화상 추출부(2231)는, 데이터 정상성 정보의 영역의 정보에 따라, 주목 화소가, 처리 영역의 것인지 여부를 판정하고, 처리 영역의 화소가 아닌 것으로 판정한 경우, 그 처리는, 스텝 S2250으로 진행하고, 그 주목 화소에 대하여는, 처리 영역 밖인 것을 근사 함수 추정부(2232)를 통하여, 미분 처리부(2233)에게 전하고 이에 따라, 미분 처리부(2233)가, 대응하는 주목 화소에 대한 미분값을 0으로 하고, 또한 그 주목 화소의 화소값을 부가하여 실세계 추정 정보로서 화상 생성부(103)에 출력하는 동시에, 그 처리는, 스텝 S2251으로 진행한다. 또, 주목 화소가 처리 영역의 것이라고 판정된 경우, 그 처리는, 스텝 S2244으로 진행한다.

스텝 S2244에 있어서, 참조 화소 추출부(2231)는, 데이터 정상성 정보에 포함되는 움직임의 정보로부터, 데이터 정상성이 가지는 방향이, 공간 방향에 가까운 움직임인가, 또는 프레임 방향에 가까운 움직임인지 여부를 판정한다. 즉, 도 198에서 나타낸 바와 같이, 프레임 방향 T와 공간 방향 Y로 이루어지는 면에 있어서, 프레임 방향을 기준 축으로 한, 시간과 공간의 면 내의 방향을 나타낸 각도를 θｖ라 하면, 참조 화소 추출부(2201)는, 데이터 정상성이 가지는 각도 θｖ가, 0도≤θｖ＜45도, 또는 135도≤θｖ＜180도가 되는 경우, 주목 화소의 정상성의 움직임은, 프레임 방향(시간 방향)에 가까운 것으로 판정하고, 데이터 정상성이 가지는 각도 θ가, 45도≤θ＜135도가 되는 경우, 주목 화소의 정상성의 방향은, 공간 방향과 가까운 것으로 판정한다.

스텝 S2245에 있어서, 참조 화소 추출부(2201)는, 판정한 방향에 대응한 참조 화소의 위치 정보, 및 화소값을 각각 입력 화상으로부터 추출하고, 근사 함수 추정부(2232)에 출력한다. 즉, 참조 화소는, 후술하는 근사 함수를 연산할 때 사용되는 데이터가 되므로, 각도로 따라서 추출되는 것이 바람직하다. 따라서, 프레임 방향, 또는 공간 방향 중 어느 하나의 판정 방향에 대응하여, 그 방향으로 긴 범위의 참조 화소가 추출된다. 보다 구체적으로는, 예를 들면, 도 198에서 나타낸 바와 같이, 움직임 방향 V_f가 공간 방향에 가까운 공간 방향인 것으로 판정되고, 이 경우, 참조 화소 추출부(2231)는, 예를 들면, 도 198에서 나타낸 바와 같이, 도 198 중의 중앙의 화소(t, y) = (0, 0)를 주목 화소로 할 때, 화소 (t, y) = (-1, 2), (-1, 1), (-1, 0), (-1, -1), (-1, -2), (0, 2), (0, 1), (0, 0), (0, -1), (0, -2), (1, 2), (1, 1), (1, 0), (1, -1), (1, -2)의 각각의 화소값을 추출한다. 그리고, 도 198에 있어서는, 각 화소의 프레임 방향, 및 공간 방향의 크기가 1인 것으로 한다.

즉, 참조 화소 추출부(2231)는, 주목 화소를 중심으로 하여 공간(도면 중의 상하) 방향으로 각각 2화소×프레임(도면 중의 좌우) 방향으로 각각 1프레임 분의 합계 15화소가 되도록, 프레임 방향에 대하여 공간 방향이 긴 범위의 화소를 참조 화소로서 추출한다.

역으로, 프레임 방향인 것으로 판정된 경우, 주목 화소를 중심으로 하여 공간(도면 중의 상하) 방향으로 각각 1화소×프레임(도면 중의 좌우) 방향으로 각각 2프레임 분의 합계 15화소가 되도록, 프레임 방향으로 긴 범위의 화소를 참조 화소로서 추출하여, 근사 함수 추정부(2232)에 출력한다. 물론, 참조 화소는, 전술한 바와 같이 15화소로 한정되는 것이 아니고, 그 이외의 개수이라도 된다.

스텝 S2246에 있어서, 근사 함수 추정부(2232)는, 참조 화소 추출부(2231)로부터 입력된 참조 화소의 정보에 따라, 최소 자승법에 의해 근사 함수 f(t)를 추정하고, 미분 처리부(2233)에 출력한다.

즉, 근사 함수 f(t)는, 이하의 식(100)에서 나타낸 바와 같은 다항식이다.

…(100)

이와 같이, 식(100)의 다항식의 각 계수 W₁ 내지 W_{n +1}이 구해지고, 각 참조 화소의 화소값을 근사하는 프레임 방향의 근사 함수 f(t)가 구해지게 된다. 그러나, 계수의 수보다 많은 참조 화소값이 필요하므로, 예를 들면, 참조 화소가, 도 198에서 나타낸 바와 같은 경우, 합계 15화소이므로, 다항식의 계수는, 15개 까지만 구할 수 있다. 그래서, 이 경우, 다항식은, 14차 까지의 다항식으로 하고, 계수 W₁ 내지 W₁₅를 구함으로써 근사 함수를 추정하는 것으로 한다. 그리고, 지금의 경우, 15 다음의 다항식으로 이루어지는 근사 함수 f(x)를 설정하여, 연립 방정식으로 해도 된다.

따라서, 도 198에서 나타내는 15개의 참조 화소값을 사용할 때, 근사 함수 추정부(2232)는, 이하의 식(101)을, 최소 자승법을 이용하여 푸는 것에 의해 추정한다.

P(-1, -2) = f(-1 - Ct(-2))

P(-1, -1) = f(-1 - Ct(-1))

P(-1, 0) = f(-1) (= f(-1 - Ct(0)))

P(-1, 1) = f(-1 - Ct(1))

P(-1, 2) = f(-1 - Ct(2))

P(0), -2) = f(0 - Ct(-2))

P(0), -1) = f(0 - Ct(-1))

P(0, 0) = f(0)(= f(0 - Ct(0)))

P(0, 1) = f(0 - Ct(1))

P(0, 2) = f(0 - Ct(2))

P(1), -2) = f(1 - Ct(-2))

P(1), -1) = f(1 - Ct(-1))

P(1, 0) = f(1)(= f(1-Ct(0)))

P(1, 1) = f(1 - Ct(1))

P(1, 2) = f(1 - Ct(2))

…(101)

그리고, 다항식의 차수에 맞추어서, 참조 화소의 수를 변경할 수도 있다.

여기서, Ct(ty)는, 시프트량이며, 전술한 Cx(ty)와 동일한 것이며, 정상성의 기울기를 V_f로 나타낼 때, Ct(ty) = ty/V_f로 정의된다. 이 시프트량 Ct(ty)는, 공간 방향 Y = 0의 위치 상에서 정의되는 근사 함수 f(t)가, 기울기 V_f를 따라서, 연속되어 있는 것(정상성을 가지고 있는 것) 을 전제로 할 때, 공간 방향 Y = ty의 위치에서의, 프레임 방향 T에 대한 어긋난 폭을 나타낸 것이다. 따라서, 예를 들면, 공간 방향 Y = 0의 위치 상에서 근사 함수가 f(t)로서 정의되어 있는 경우, 상기 근사 함수 f(t)는, 공간 방향 Y = ty에 있어서는, 프레임 방향(시간 방향 T)에 대하여 Ct(ty)만큼 어긋나 있으므로, 함수는, f(t - Ct(ty) (= f(t - ty/V_f)에 의해 정의된다.

스텝 S2247에 있어서, 미분 처리부(2233)는, 근사 함수 추정부(2232)로부터 입력된 근사 함수 f(t)에 따라, 생성하려고 하는 화소의 위치에서의, 시프트량을 구한다.

즉, 프레임 방향, 및 공간 방향으로 각각 2배의 밀도(합계 4배의 밀도)가 되도록 화소를 생성하는 경우, 미분 처리부(2233)는, 예를 들면, 먼저, 공간 방향으로 2배의 밀도가 되는 화소 Pat, Pbt로 2분할하기 위하여, 도 199에 나타낸 바와 같이, 주목 화소의 중심 위치가 Pin(Tin, Yin)에서의 미분값을 구하므로 중심 위치의 Pin(Tin, Yin)의 시프트량을 구한다. 이 시프트량은, Ct(0)이 되므로, 실질적으로는 0가 된다. 그리고, 도 199 중에 있어서, 화소 Pin는, (Tin, Yin)를 대략 중심 위치로 하는 정방형이며, 화소 Pat, Pbt는, (Tin, Yin + 0.25), (Tin, Yin - 0.25)를 각각 대략 중심 위치로 하는 도면 중, 수평 방향으로 긴 직사각형이다. 또, 주목 화소 Pin의 프레임 방향 T의 길이가 1인 것은, 1프레임 분의 셔터 시간에 대응하는 것을 의미한다.

스텝 S2248에 있어서, 미분 처리부(2233)는, 근사 함수 f(t)를 미분하여, 근사 함수의 1차 미분 함수 f(t)’을 구하고, 구해진 시프트량에 따른 위치에서의 미분값을 구하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다. 즉, 지금의 경우, 미분 처리부(2233)는, 미분값 f(Tin)’을 구하고, 그 위치(지금의 경우, 주목 화소 (Tin, Yin))와 그 화소값, 및 정상성의 방향의 움직임의 정보를 부가하여 출력한다.

스텝 S2249에 있어서, 미분 처리부(2233)는, 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 요구되어 있는지 여부를 판정한다. 예를 들면, 지금의 경우, 공간 방향으로 2배의 밀도가 되기위한 미분값 밖에 구해져 있지 않으므로(프레임 방향으로 2배의 밀도가 되기 위한 미분 값이 구해져 있지 않음), 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 구해져 있지 않은 것으로 판정하고, 그 처리는, 스텝 S2247로 되돌아온다.

스텝 S2247에 있어서, 미분 처리부(2203)는, 재차, 근사 함수 추정부(2202)로부터 입력된 근사 함수 f(t)에 따라, 생성하려고 하는 화소의 위치에서의, 시프트량을 구한다. 즉, 미분 처리부(2203)는, 지금의 경우, 2분할된 화소 Pat, Pbt의 각각을 또한 2분할하기 위해 필요한 미분값을 각각 구한다. 화소 Pat, Pbt의 화소의 위치는, 도 199에 있어서의 흑색 원으로 나타낸 각각의 위치이므로, 미분 처리부(2233)는, 각각의 위치에 대응하는 시프트량을 구한다. 화소 Pat, Pbt의 시프트량은, 각각 Ct(0.25), Ct(-0.25)가 된다.

스텝 S2248에 있어서, 미분 처리부(2233)는, 근사 함수 f(t)를 미분하여, 화소 Pat, Pbt의 각각에 대응한 시프트량에 따른 위치에서의 미분값을 구하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

즉, 도 198에서 나타낸 참조 화소를 사용하는 경우, 미분 처리부(2233)는, 도 200에서 나타낸 바와 같이, 구해진 근사 함수 f(t)에 대하여 미분 함수 f(t)’을 구하고, 공간 방향 T에 대하여, 시프트량 Ct(0.25), Ct(-0.25)만큼 어긋난 위치가 된다(Tin - Ct(0.25))와 (Tin - Ct(-0.25))의 위치에서의 미분값을 각각 f(Tin - Ct(0.25))’, (Tin - Ct(-0.25))’로서 구하고, 그 미분값에 대응하는 위치 정보를 부가하여, 이것을 실세계 추정 정보로서 출력한다. 그리고, 최초의 처리에 의해 화소값의 정보가 출력되어 있으므로 화소값의 정보는 부가되지 않는다.

스텝 S2249에 있어서, 다시, 미분 처리부(2233)는, 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 요구되고 있는지 여부를 판정한다. 예를 들면, 지금의 경우, 공간 방향 Y와 프레임 방향 T에 대하여 각각 2배(합계 4배)의 밀도가 되기 위한 미분 값이 구해진 것이 되므로, 요구되고 있는 밀도의 화소를 생성하는데 필요한 만큼의 미분 값이 구해진 것으로 판정하고, 그 처리는, 스텝 S2251로 진행한다.

스텝 S2251에 있어서, 참조 화소 추출부(2231)는, 모든 화소를 처리했는지 여부를 판정하고, 모든 화소를 처리하고 있지 않은 것으로 판정한 경우, 그 처리는, 스텝 S2242로 돌아온다. 또, 스텝 S2251에 있어서, 모든 화소를 처리했다고 판정한 경우, 그 처리는, 종료한다.

전술한 바와 같이, 입력 화상에 대하여, 프레임 방향(시간 방향), 및 공간 방향으로 4배의 밀도가 되도록 화소를 생성하는 경우, 화소는, 분할되는 화소의 중앙의 위치의 근사 함수의 미분값을 사용하여, 외삽 보간에 의해 분할되므로, 4배 밀도의 화소를 생성하는데는, 합계 3개의 미분값의 정보가 필요하다.

즉, 도 199에 나타낸 바와 같이, 1화소에 대하여 최종적으로는, 화소 P01t, P02t, P03t, P04t의 4화소(도 199에 있어서, 화소 P01t, P02t, P03t, P04t는, 도면 중의 4개의 x표의 위치를 중심 위치로 하는 정방형이며, 각변의 길이는, 화소 Pin이, 각각 1이므로, 화소 P01t, P02t, P03t, P04t는, 각각 대략 0.5가 된다)의 생성에 필요한 미분 값이 필요하므로, 4배 밀도의 화소를 생성하는데는, 먼저, 프레임 방향, 또는 공간 방향으로 2배 밀도의 화소를 생성하고(전술한 최초의 스텝 S2247, S2248의 처리), 또한 분할된 2화소를, 각각 최초에 분할한 방향과 수직의 방향(지금의 경우, 프레임 방향)으로 분할하기 위해서이다(전술한 2번째의 스텝 S2247, S2248의 처리).

그리고, 이상의 예에 있어서는, 4배 밀도의 화소를 연산할 때의 미분값을 예로서 설명하였 지만, 그 이상의 밀도의 화소를 연산하는 경우, 스텝 S2247 내지 S2249의 처리를 반복함으로써, 화소값의 연산에 필요한 더 많은 미분값을 구할 수도 있다. 또, 이상의 예에 대하여 는, 배 밀도의 화소값을 구하는 예에 대하여 설명하였지만, 근사 함수 f(t)는 연속 함수이므로, 배 밀도 이외의 화소값 대하여도 필요한 미분값을 구하는 것이 가능해진다.

이상에 의하면, 주목 화소 근방의 화소의 화소값을 근사적으로 표현하는 근사 함수를 구하고, 화소의 생성에 필요한 위치의 미분값을 실세계 추정 정보로서 출력하는 것이 가능해진다.

이상의 도 196에 있어서 설명한 실세계 추정부(102)에 있어서는, 화상을 생성하는데 필요한 미분값을 실세계 추정 정보로서 출력하고 있었지만, 미분값은, 필요한 위치에서의 근사 함수 f(t)의 기울기와 동일한 값이다.

그래서, 다음은, 도 201을 참조하여, 근사 함수를 구하지 않고, 화소 생성에 필요한, 근사 함수 위의 프레임 방향의 기울기만을 직접 구하여, 실세계 추정 정보로서 출력하는 실세계 추정부(102)에 대하여 설명한다.

참조 화소 추출부(2251)는, 데이터 정상성 검출부(101)로부터 입력되는 데이터 정상성 정보(정상성의 움직임, 및 영역의 정보)에 따라, 입력 화상의 각 화소가 처리 영역인지 여부를 판정하고, 처리 영역일 경우에는, 입력 화상으로부터 기울기를 구하기 위해 필요한 참조 화소의 정보(연산에 필요한 주목 화소를 포함하는 공간 방향으로 배열된 주변의 복수개의 화소, 또는 주목 화소를 포함하는 프레임 방향으로 배열된 주변의 복수개의 화소의 위치, 및 각각의 화소값의 정보)를 추출하여, 기울기 추정부(2252)에 출력한다.

기울기 추정부(2252)는, 참조 화소 추출부(2251)로부터 입력된 참조 화소의 정보에 따라, 화소 생성에 필요한 화소 위치의 기울기의 정보를 생성하여, 실세계 추정 정보로서 화상 생성부(103)에 출력한다. 보다 상세하게는, 기울기 추정부(2252)는, 화소 사이의 화소값의 차분 정보를 사용하여, 각 참조 화소의 화소값을 근사적으로 표현하는 근사 함수 상의 주목 화소의 위치에서의 프레임 방향의 기울기를 구하고, 이것에, 주목 화소의 위치 정보, 화소값, 및 정상성의 방향의 움직임의 정보를 실세계 추정 정보로서 출력한다.

다음에, 도 202의 흐름도를 참조하여, 도 201의 실세계 추정부(102)에 의한 실세계 추정 처리에 대하여 설명한다.

스텝 S2261에 있어서, 참조 화소 추출부(2251)는, 입력 화상과 함께, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서의 움직임, 및 영역의 정보를 취득한다.

스텝 S2262에 있어서, 참조 화소 추출부(2251)는, 입력 화상의 미처리 화소로부터 주목 화소를 설정한다.

스텝 S2263에 있어서, 참조 화상 추출부(2251)는, 데이터 정상성 정보의 영역의 정보에 따라, 주목 화소가, 처리 영역의 것인지 여부를 판정하고, 처리 영역의 화소가 아닌 것으로 판정한 경우, 그 처리는, 스텝 S2268로 진행하고, 그 주목 화소에 대하여는, 처리 영역 밖인 것을 기울기 추정부(2252)에게 전해 이에 따라, 기울기 추정부(2252)가, 대응하는 주목 화소에 대한 경사를 0으로 하고, 또한 그 주목 화소의 화소값을 부가하여 실세계 추정 정보로서 화상 생성부(103)에 출력하고, 또한 그 처리는, 스텝 S2269로 진행한다. 또, 주목 화소가 처리 영역의 것이라고 판정된 경우, 그 처리는, 스텝 S2264로 진행한다.

스텝 S2264에 있어서, 참조 화소 추출부(2211)는, 데이터 정상성 정보에 포함되는 움직임의 정보로부터, 데이터 정상성의 움직임이, 프레임 방향에 가까운 움직임인가, 또는 공간 방향에 가까운 움직임인지 여부를 판정한다. 즉, 프레임 방향 T와 공간 방향 Y로 이루어지는 면에 있어서, 프레임 방향을 기준 축으로 한, 시간과 공간의 면 내의 방향을 나타낸 각도를 θｖ라 하면, 참조 화소 추출부(2251)는, 데이터 정상성의 움직임의 각도θｖ가, 0도≤θｖ＜45도, 또는 135도≤θｖ＜180도가 되는 경우, 주목 화소의 정상성의 움직임은, 프레임 방향에 가까운 것으로 판정하고, 데이터 정상성이 가지는 각도 θｖ가, 45도≤θｖ＜135도가 되는 경우, 주목 화소의 정상성의 움직임은, 공간 방향에 가까운 것으로 판정한다.

스텝 S2265에 있어서, 참조 화소 추출부(2251)는, 판정한 방향에 대응한 참조 화소의 위치 정보, 및 화소값을 각각 입력 화상으로부터 추출하고, 기울기 추정부(2252)에 출력한다. 즉, 참조 화소는, 후술하는 기울기를 연산할 때 사용되는 데이터가 되므로, 정상성의 움직임에 따라 추출되는 것이 바람직하다. 따라서, 프레임 방향, 또는 공간 방향 중 어느 하나의 판정 방향에 대응하여, 그 방향으로 긴 범위의 참조 화소가 추출된다. 보다 구체적으로는, 예를 들면, 움직임이 공간 방향에 가까운 것으로 판정된 경우, 참조 화소 추출부(2251)는, 도 203에 나타낸 바와 같이, 도 203 중의 중앙의 화소(t, y) = (0, 0)를 주목 화소로 할 때, 화소(t, y) = (0, 2), (0, 1), (0, 0), (0, -1), (0, -2)의 각각의 화소값을 추출한다. 그리고, 도 203에 있어서는, 각 화소의 크기가 프레임 방향, 및 공간 방향에 대해 각각 1인 것으로 한다.

즉, 참조 화소 추출부(2251)은, 주목 화소를 중심으로 하여 공간(도면 중의 상하) 방향으로 각각 2화소의 합계 5화소가 되도록, 공간 방향으로 긴 범위의 화소를 참조 화소로서 추출한다.

역으로, 프레임 방향인 것으로 판정된 경우, 주목 화소를 중심으로 하여 프레임(도면 중의 좌우) 방향으로 2화소의 합계 5화소가 되도록, 수평 방향으로 긴 범위의 화소를 참조 화소로서 추출하여, 근사 함수 추정부(2252)에 출력한다. 물론, 참조 화소는, 전술한 바와 같이 5화소로 한정되는 것이 아니고, 그 이외의 개수이라도 된다.

스텝 S2266에 있어서, 기울기 추정부(2252)는, 참조 화소 추출부(2251)로부터 입력된 참조 화소의 정보와, 정상성 방향의 움직임 V_f의 방향에 따라, 각각의 화소값의 시프트량을 연산한다. 즉, 공간 방향 Y = 0에 대응하는 근사 함수 f(t)를 기준으로 한 경우, 공간 방향 Y = -2, -1, 1, 2에 대응하는 근사 함수는, 도 203에 나타낸 바와 같이, 정상성의 경사 V_f에 따라 연속되어 있게 되므로, 각 근사 함수는, f(t - Ct(2)), f(t - Ct(1)), f(t - Ct(-1)), f(t - Ct(-2))와 같이 기술되어 공간 방향 Y = -2, -1, 1, 2마다, 각 시프트량분 만큼 프레임 방향 T에 어긋난 함수로서 표현된다.

그래서, 기울기 추정부(2252)는, 이들 시프트량 Ct(-2) 내지 Ct(2)를 구한다. 예를 들면, 참조 화소가, 도 203에 나타낸 바와 같이 추출되었을 경우, 상기 시프트량은, 도면 중의 참조 화소 (0, 2)는, Ct(2) = 2/V_f가 되고, 참조 화소 (0, 1)는, Ct(1) = 1/V_f가 되고, 참조 화소(0, 0)는, Ct(0) = 0가 되고, 참조 화소 (0, -1)은, Ct(-1) = -1/V_f가 되고, 참조 화소(0, -2)는, Ct(-2) = -2/V_f가 된다. 기울기 추정부(2252)는, 이들 시프트량 Ct(-2) 내지 Ct(2)를 구한다.

스텝 S2267에 있어서, 기울기 추정부(2252)는, 주목 화소의 프레임 방향의 기울기를 연산한다(추정한다). 예를 들면, 도 203에 나타낸 바와 같이, 주목 화소에 대하여 정상성의 방향이, 공간 방향에 가까운 각도의 경우, 프레임 방향에 인접하는 화소 사이에서는 화소값이 크게 다르므로, 공간 방향의 화소 사이에서는, 화소 사이의 변화가 작고, 변화가 유사하므로, 기울기 추정부(2252)는, 공간 방향의 화소 사이의 변화를 시프트량에 의한 프레임 방향 T의 변화로 보아서, 공간 방향의 화소 사이의 차분을 프레임 방향의 화소 사이의 차분에 치환하여, 주목 화소에서의 기울기를 구한다.

즉, 현실 세계를 근사적으로 기술하는 함수 f(t)가 존재한다고 가정하면, 전술한 시프트량과 각 참조 화소의 화소값과의 관계는, 도 204에 나타낸 바와 같은 것이 된다. 여기서, 도 204의 각 화소의 화소값은, 위로부터 P(0, 2), P(0, 1), P(0, 0), P(0, -1), P(0, -2)로 표현된다. 결과적으로, 주목 화소(0, 0) 근방의 화소값 P와 시프트량 Ct는, (P, Ct) = (P(0, 2), -Ct(2)), (P(0, 1), -Ct(1)), (P(0), -1), -Ct(-1)), (P(0), -2), -Ct(-2)), (P(0, 0), 0))의 5그룹의 관계를 얻을 수 있게 된다.

그런데, 화소값 P, 시프트량 Ct, 및 기울기 Kt(근사 함수 f(t) 상의 기울기)는, 이하의 식(102)와 같은 관계가 성립하게 된다.

P=Kt t

…(102)

전술한 식(102)느, 변수 Kt에 대한 1변수의 함수이므로, 기울기 추정부(2212)는, 상기 변수 Kt(기울기)에 대하여, 1변수의 최소 자승법에 의해 기울기 Kt를 구한다.

즉, 기울기 추정부(2252)는, 이하에 나타내는 식(103)과 같은 정규 방정식을 풀어서, 주목 화소의 기울기를 구하고, 주목 화소의 화소값, 및 정상성의 방향의 기울기의 정보를 부가하여, 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

…(103)

여기서, i는, 전술한 참조 화소의 화소값 P와 시프트량 Ct의 그룹을 각각 식별하는 번호이며, 1 내지 m이다. 또, m은, 주목 화소를 포함하는 참조 화소수가 된다.

스텝 S2269에 있어서, 참조 화소 추출부(2251)는, 모든 화소를 처리했는지 여부를 판정하고, 모든 화소를 처리하고 있지 않은 것으로 판정한 경우, 그 처리는, 스텝 S2262로 돌아온다. 또, 스텝 S2269에 있어서, 모든 화소가 처리된 것으로 판정된 경우, 그 처리는, 종료된다.

그리고, 전술한 처리에 의해 실세계 추정 정보로서 출력되는 프레임 방향의 기울기는, 최종적으로 요구하려고 하는 화소값을 외삽 보간하여 연산할 때 사용된다. 또, 이상의 예에 있어서는, 2배 밀도의 화소를 연산할 때의 기울기를 예로서 설명하였지만, 그 이상의 밀도의 화소를 연산하는 경우, 화소값의 연산에 필요한, 더 많은 위치에서의 경사를 구할 수도 있다.

예를 들면, 도 190에서 나타낸 바와 같이, 수평 방향으로 2배의 밀도, 또한 프레임 방향으로 2배의 밀도의 시공간 방향으로 합계 4배의 밀도의 화소를 생성하는 경우, 전술한 바와 같이, 도 190 중의 Pin, Pat, Pbt의 각각의 위치에 대응하는 근사 함수 f(t)의 기울기 Kt를 구하면 된다.

또, 이상의 예에 대하여 는, 배 밀도의 화소값을 구하는 예에 대하여 설명하였지만, 근사 함수 f(t)는 연속 함수이므로, 배 밀도 이외의 위치의 화소의 화소값 대하여도 필요한 경사를 구하는 것이 가능해진다.

물론, 프레임 방향, 또는 공간 방향에 대한 근사 함수 위의 기울기, 또는 미분값을 구하는 처리의 순서는 관계없다. 또한, 공간 방향에 있어서, 전술한 예에 있어서는, 공간 방향 Y와 프레임 방향 T의 관계를 사용하여, 설명하였지만, 공간 방향 X와 프레임 방향 T의 관계를 사용하여도 된다. 또한, 시공간 방향 중 어느 하나의 2차원의 관계로부터(어느 하나로부터 1차원 방향의) 기울기, 또는 미분값을 선택적으로 구할 수도 있다.

이상에 의하면, 주목 화소 근방의 화소의 화소값을 사용하여, 실세계를 근사적으로 표현하는 프레임 방향의 근사 함수를 구하지 않고, 화소의 생성에 필요한 위치의 프레임 방향(시간 방향)의 근사 함수 상의 기울기를 실세계 추정 정보로서 생성하고, 또한 출력하는 것이 가능해진다.

다음에, 도 205 내지 도 235를 참조하여, 실세계 추정부(102)(도 3)의 실시예의 다른 예에 대하여 설명한다.

도 205는, 이 예의 실시예의 원리를 설명하는 도면이다.

도 205에서 나타낸 바와 같이, 센서(2)에 입사되는 화상인, 실세계(1)의 신호(광의 강도의 분포)는, 소정의 함수 F에 의해 표현된다. 그리고, 이하, 이 예의 실시예의 설명에 있어서는, 화상인, 실세계(1)의 신호를, 특히 광신호라 하고, 함수 F를, 특히 광신호 함수 F라고 한다.

이 예의 실시예에 있어서는, 광신호 함수 F에 의해 표현되는 실세계(1)의 광신호가 소정의 정상성을 가지는 경우, 실세계 추정부(102)가, 센서(2)로부터의 입력 화상(정상성에 대응하는 데이터 정상성을 포함하는 화상 데이터)과 데이터 정상성 검출부(101)로부터의 데이터 정상성 정보(입력 화상의 데이터 정상성에 대응하는 데이터 정상성 정보)를 사용하여, 광신호 함수 F를 소정의 함수 f에 의해 근사함으로써, 광신호 함수 F를 추정한다. 그리고, 이하, 이 예의 실시예의 설명에 있어서는, 함수 f를, 특히 근사 함수 f라고 한다.

환언하면, 이 예의 실시예에 있어서는, 실세계 추정부(102)가, 근사 함수 f에 의해 표현되는 모델(161)(도 7)을 사용하여, 광신호 함수 F로 표현되는 화상(실세계(1)의 광신호)을 근사(기술)한다. 따라서, 이하, 이 예의 실시예를, 함수 근사 방법이라 한다.

여기서, 함수 근사 방법의 구체적인 설명에 들어가기 전에, 본원 출원인이 함수 근사 방법을 발명하기에 이른 배경에 대하여 설명한다.

도 206은, 센서(2)가 CCD가 되는 경우의 적분 효과를 설명하는 도면이다.

도 206에 나타낸 바와 같이, 센서(2)의 평면상에는, 복수개의 검출 소자(2-1)가 배치되어 있다.

도 206의 예에서는, 검출 소자(2-1)의 소정의 1변에 평행한 방향이, 공간 방향의 1방향인 X 방향으로 되어 있고, X 방향으로 수직인 방향이, 공간 방향의 다른 방향인 Y 방향로 되어 있다. 그리고, X－Y 평면에 수직인 방향이, 시간 방향인 t 방향으로 되어 있다.

또, 도 206의 예에서는, 센서(2)의 각 검출 소자(2-1)의 각각의 공간적인 형상은, 1변의 길이가 1인 정방형로 되어 있다. 그리고, 센서(2)의 셔터 시간(노광 시간)이 1로 되어 있다.

또한, 도 206의 예에서는, 센서(2)의 소정의 1개의 검출 소자(2-1)의 중심이, 공간 방향(X 방향과 Y 방향)의 원점(X 방향의 위치 x = 0, 및 Y 방향의 위치 y = 0)이 되어 있고, 또, 노광 시간의 중간 시각이, 시간 방향(t 방향)의 원점(t 방향)의 위치 t = 0로 되어 있다.

이 경우, 공간 방향의 원점(x = 0, y =0)에 그 중심이 존재하는 검출 소자(2-1)은, X 방향으로 -0.5 내지 0.5의 범위, Y 방향으로 -0.5 내지 0.5의 범위, 및 t 방향으로 -0.5 내지 0.5의 범위에서 광신호 함수 F(x, y, t)를 적분하고, 그 적분값을 화소값 P로서 출력하게 된다.

즉, 공간 방향의 원점에 그 중심이 존재하는 검출 소자(2-1)로부터 출력되는 화소값 P는, 다음의 식(104)에 의해 표현된다.

…(104)

그 외의 검출 소자(2-1)도 마찬가지로, 대상으로 하는 검출 소자(2-1)의 중심을 공간 방향의 원점으로 정함으로써, 식(104)에서 나타내는 화소값 P를 출력하게 된다.

도 207은, 센서(2)의 적분 효과의 구체적인 예를 설명하는 도면이다.

도 207에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 206)을 나타내고 있다.

실세계(1)의 광신호 중 1부분(이하, 이와 같은 부분을, 영역이라 한다)(2301)은, 소정의 정상성을 가지는 영역의 일례를 나타내고 있다.

그리고, 실제로는, 영역(2301)은 연속된 광신호의 1부분(연속된 영역)이다. 이에 비해, 도 207에 있어서는, 영역(2301)은, 20개의 소영역(정방형의 영역)으로 구분되어 있는 것처럼 나타나 있다. 이것은, 영역(2301)의 크기가, X 방향에 대하여 4개분, 또한 Y 방향에 대하여 5개분의 센서(2)의 검출 소자(화소)가 배열된 크기에 해당하는 것을 나타내기 때문이다. 즉, 영역(2301) 내의 20개의 소영역(가상 영역)의 각각은 1개의 화소에 해당한다.

또, 영역(2301) 중 도면의 흰색 부분은 가는 선에 대응하는 광신호를 나타내고 있다. 따라서, 영역(2301)은, 가는 선이 계속되는 방향으로 정상성을 가지고 있게 된다. 그래서, 이하, 영역(2301)을, 가는 선 함유 실세계 영역(2301)이라고 한다.

이 경우, 가는 선 함유 실세계 영역(2301)(실세계(1)의 광신호의 1부분)이 센서(2)에 의해 검출되면, 센서(2)로부터는, 적분 효과에 의하여, 입력 화상(화소값)의 영역(2302)(이하, 가는 선 함유 데이터 영역(2302)이라 한다)가 출력된다.

그리고, 가는 선 함유 데이터 영역(2302)의 각 화소의 각각은, 도면 중, 화상으로 나타나 있지만, 실제로는, 소정의 1개의 값을 나타내는 데이터이다. 즉, 가는 선 함유 실세계 영역(2301)은, 센서(2)의 적분 효과에 의하여, 소정의 1개의 화소값을 각각 가지는 20개의 화소(X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소)로 구분된 가는 선 함유 데이터 영역(2302)으로 변화되어 버린다(왜곡되어 버린다).

도 208은, 센서(2)의 적분 효과의 구체적인 다른 예(도 207과는 상이한 예)를 설명하는 도면이다.

도 208에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 206)을 나타내고 있다.

실세계(1)의 광신호의 1부분(영역)(2303)은, 소정의 정상성을 가지는 영역의 다른 예(도 207의 가는 선 함유 실세계 영역(2301)과는 상이한 예)를 나타내고 있다.

그리고, 영역(2303)은, 가는 선 함유 실세계 영역(2301)과 동일한 크기를 가지는 영역이다. 즉, 가는 선 함유 실세계 영역(2301)와 마찬가지로, 영역(2303)도, 실제로는 연속된 실세계(1)의 광신호의 1부분(연속된 영역)이지만, 도 208에 있어서는, 센서(2)의 1화소에 해당하는 20개의 소영역(정방형의 영역)으로 구분되어 있는 것처럼 나타나 있다.

또, 영역(2303)은, 소정의 제1 광의 강도(값)를 가지는 제1 부분과 소정의 제2 광의 강도(값)를 가지는 제2 부분의 에지를 포함하고 있다. 따라서, 영역(2303)은, 에지가 계속되는 방향으로 정상성을 가지고 있게 된다. 그래서, 이하, 영역(2303)을, 2진수 에지 함유 실세계 영역(2303)이라고 한다.

이 경우, 2진수 에지 함유 실세계 영역(2303)(실세계(1)의 광신호의 1부분)이 센서(2)에 의해 검출되면, 센서(2)로부터는, 적분 효과에 의하여, 입력 화상(화소값)의 영역(2304)(이하, 2진수 에지 함유 데이터 영역(2304)이라고 한다)가 출력된다.

그리고, 2진수 에지 함유 데이터 영역(2304)의 각 화소값의 각각은, 가는 선 함유 데이터 영역(2302)와 마찬가지로, 도면 중, 화상으로 표현되어 있지만, 실제로는, 소정값을 나타내는 데이터이다. 즉, 2진수 에지 함유 실세계 영역(2303)은, 센서(2)의 적분 효과에 의하여, 소정의 1개의 화소값을 각각 가지는 20개의 화소(X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소)로 구분된 2진수 에지 함유 데이터 영역(2304)으로 변화하여 버린다(왜곡되어 버린다).

종래의 화상 처리 장치는, 이와 같은 가는 선 함유 데이터 영역(2302)나 2진수 에지 함유 데이터 영역(2304) 등, 센서(2)로부터 출력된 화상 데이터를 원점(기준)으로 하면 모두, 화상 데이터를 처리의 대상으로 하여, 그 이후의 화상 처리를 행하고 있었다. 즉, 센서(2)로부터 출력된 화상 데이터는, 적분 효과에 의해 실세계(1)의 광신호와는 상이한 것(왜곡한 것)이 되어 있음에도 불구하고, 종래의 화상 처리 장치는, 상기 실세계(1)의 광신호와는 상이한 데이터를 양으로서 화상 처리를 행하였다.

그 결과, 종래의 화상 처리 장치에서는, 센서(2)로부터 출력된 단계에서, 실세계의 디테일이 파괴되어 버린 파형(화상 데이터)을 기준으로 하여, 그 파형으로부터, 원래의 디테일을 복원하는 것은 매우 곤란한 과제가 있었다.

그래서, 함수 근사 방법에 있어서는, 상기 과제를 해결하기 위하여, 전술한 바와 같이(도 205에서 나타낸 바와 같이), 실세계 추정부(102)가, 가는 선 함유 데이터 영역(2302)나 2진수 에지 함유 데이터 영역(2304)와 같은 센서(2)로부터 출력된 화상 데이터(입력 화상)로부터, 광신호 함수 F(실세계(1)의 광신호)를 근사 함수 f에 의해 근사함으로써, 광신호 함수 F를 추정한다.

이로써, 실세계 추정부(102)로부터 후단에 있어서(지금의 경우, 도 3의 화상 생성부(103)), 적분 효과가 고려된 화상 데이터, 즉, 근사 함수 f에 의해 표현 가능한 화상 데이터를 원점으로서 그 처리를 실행하는 것이 가능하게 된다.

이하, 도면을 참조하여, 이와 같은 함수 근사 방법 중, 3개의 구체적인 방법(제1 내지 제3 함수 근사 방법)의 각각에 대하여 개별적으로 설명한다.

처음에, 도 209 내지 도 223을 참조하여, 제1 함수 근사 방법에 대하여 설명한다.

도 209는, 전술한 도 207에 나타내는 가는 선 함유 실세계 영역(2301)을 재차 나타낸 도면이다.

도 209에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 206)을 나타내고 있다.

제1 함수 근사 방법은, 예를 들면, 도 209에 나타낸 바와 같은 가는 선 함유 실세계 영역(2301)에 대응하는 광신호 함수 F(x, y, t)를 X 방향(도면 중 화살표(2311)의 방향)에 투영한 1차원의 파형(이하, 이와 같은 파형을, X 단면 파형 F(x)라고 한다)을, n차(n는, 임의의 정수)의 다항식인 근사 함수 f(x)에 의해 근사하는 방법이다. 따라서, 이하, 제1 함수 근사 방법을, 특히, 1차원 다항식 근사 방법이라 한다.

그리고, 1차원 다항식 근사 방법에 있어서, 근사의 대상이 되는 X 단면 파형 F(x)는, 물론, 도 209의 가는 선 함유 실세계 영역(2301)에 대응하는 것에 한정되지 않는다. 즉, 후술하는 바와 같이, 1차원 다항식 근사 방법에 있어서는, 정상성을 가지는 실세계(1)의 광신호에 대응하는 X단면 파형 F(x)이면, 어느 것이라도 근사할 수 있다.

또, 광신호 함수 F(x, y, t)의 투영의 방향은 X 방향에 한정되지 않고, Y 방향 또는 t 방향이라도 된다. 즉, 1차원 다항식 근사 방법에 있어서는, 광신호 함수 F(x, y, t)를 Y 방향으로 투영한 함수 F(y)를, 소정의 근사 함수 f(y)로 근사할 수도 있고, 광신호 함수 F(x, y, t)를 t 방향으로 투영 한 함수 F(t)를, 소정의 근사 함수 f(t)로 근사할 수도 있다.

보다 상세하게는, 1차원 다항식 근사 방법은, 예를 들면, X 단면 파형 F(x)를, 다음의 식(105)에서 나타낸 바와 같은, n차 다항식인 근사 함수 f(x)로 근사하는 방법이다.

…(105)

즉, 1차원 다항식 근사 방법에 있어서는, 실세계 추정부(102)가, 식(105)의 x^i의 계수(특징량 w_i를 연산함으로써, X 단면 파형 F(x)를 추정한다.상기 특징량 w_i의 연산 방법은, 특히 한정되지 않고, 예를 들면, 다음의 제1 내지 제3의 방법이 사용 가능하다.

즉, 제1 방법은, 종래부터 이용되고 있는 방법이다.

이에 비해, 제2 방법은, 본원 출원인이 새로 발명한 방법으로서, 제1 방법에 비하여, 보다 더, 공간방향의 정상성을 고려한 방법이다.

그러나, 후술하는 바와 같이, 제1 방법과 제2 방법에 있어서는, 센서(2)의 적분 효과가 고려되어 있지 않다. 따라서, 제1 방법 또는 제2 방법에 의해 연산된 특징량 w_i를 전술한 식(105)에 대입하여 얻어지는 근사 함수 f(x)는, 입력 화상의 근사 함수이지만, 엄밀하게는, X 단면 파형 F(x)의 근사 함수라고는 할 수 없다.

그래서, 본원 출원인은, 제2 방법에 대하여, 센서(2)의 적분효과를 또한 고려하여 특징량 w_i를 연산하는 제3 방법을 발명했다.이 제3 방법에 의해 연산된 특징량 w_i를, 전술한 식(105)에 대입하여 얻어지는 근사 함수 f(x)는, 센서(2)의 적분 효과를 고려하고 있는 점에서, X 단면 파형 F(x)의 근사 함수라고 할 수 있다.

이와 같이, 엄밀하게는, 제1 방법과 제2 방법은, 1차원 다항식 근사 방법이라고는 할 수 없으며, 제3 방법만이 1차원 다항식 근사 방법이라고 할 수 있다.

환언하면, 도 210에 나타난 바와 같이, 제2 방법은, 1차원 다항식 근사 방법과는 상이한, 본 발명의 실세계추정부(102)의 실시예이다.즉, 도 210은, 제2 방법에 대응하는 실시예의 원리를 설명하는 도면이다.

도 210로 나타낸 바와 같이, 제2방법에 대응하는 실시예에 있어서는, 광신호 함수 F로 나타내는 실세계(1)의 광신호가 소정의 정상성을 가지는 경우, 실세계 추정부(102)가, 센서(2)로부터의 입력 화상(정상성에 대응하는 데이터의 정상성을 포함하는 화상 데이터)과, 데이터 정상성 검출부(101)으로부터의 데이터 정상성 정보(입력화상의 데이터 정상성에 대응하는 데이터 정상성정보)를 사용하여, X 단면파형 F(x)를 근사하는 것이 아니라, 센서(2)로부터의 입력 화상을 소정의 근사 함수 f₂(x)로 근사한다.

이와 같이, 제2 방법은, 센서(2)의 적분 효과를 고려하지 않고, 입력 화상의 근사에 머물고 있는 점에서, 제3 방법과 동일 레벨의 방법이라고는 말하기 어렵다. 그러나 제2 방법은, 공간 방향의 정상성을 고려하고 있는 점에서, 종래의 제1의방법보다 우수한 방법이다.

이하, 제1 방법, 제2 방법, 및 제3 방법의 각각의 상세에 대하여, 그 순서로 개별적으로 설명하겠다.

그리고, 이하, 제1 방법, 제2 방법, 및 제3 방법에 의해 생성되는 근사 함수 f(x)의 각각을, 다른 방법의 것과 구별하는 경우, 특히, 근사 함수 f₁(x), 근사 함수수 f₂(x), 및 근사 함수 f₃(x)로 각각 칭한다.

처음에, 제1 방법의 상세에 대하여 설명한다.

제1 방법에 있어서는, 전술한 식(105)에 나타낸 근사 함수 f₁(x)가, 도 211의 가는 선 함유 실세계 영역(2301) 내에서 성립된다고 하여, 다음의 예측 방정식(106)을 정의한다.

(106)

식(106)에 있어서, x는, 주목 화소로부터의 X 방향에 대한 상대적인 화소 위치를 나타내고 있다. y는, 주목 화소로부터의 Y 방향에 대한 상대적인 화소 위치를 나타내고 있다. e는, 오차를 나타내고 있다.구체적으로는, 예를 들면, 지금, 도225에 나타낸 바와 같이, 주목 화소가, 가는 선 함유 데이터 영역(2302)(가는선 함유 실세계 영역(2301)(도 209)이 센서(2)에 의해 검출되어, 출력된 데이터) 중의, 도면 중, 좌측으로부터 X 방향으로 2번째 화소이며, 아래로부터 Y 방향으로 3번째 화소인 것으로 한다. 또한, 주목 화소의 중심을 원점(0, 0)으로 하고, 센서(2)의 X 방향과 Y 방향(도 206)의 각각에 평행한 x축과 y축을 축으로 하는 좌표계(이하, 주목 화소 좌표계 라고 함)가 설정되어 있는 것으로 한다. 이 경우, 주목 화소 좌표계의 좌표값(x, y)이, 상대 화소 위치를 나타내게 된다.

또, 식(106)에 있어서, P(x, y)는, 상대 화소 위치(x, y)에 있어서의 화소값을 나타내고 있다. 구체적으로는, 지금의 경우, 가는 선 함유 데이터 영역(2302) 내의 P(x, y)는, 도 212에 나타낸 바와 같이 된다.

도 212는, 상기 화소값 P(x, y)를 그래프화한 것을 나타내고 있다.

도 212에 있어서, 각 그래프의 각각의 세로축은, 화소값을 나타내고 있고, 가로축은, 주목 화소로부터의 X 방향의 상대 위치 x를 나타내고 있다.또한, 도면중, 위로부터 첫번째의 그래프의 점선은 입력 화소값 P(x, -2)를, 위로부터 2번째의 그래프의 3점쇄선은 입력 화소값 P(x, -1)를, 위로부터 3번째의 그래프의 실선은 입력 화소값 P(x, 0)를, 위로부터 4번째의 그래프의 1점 쇄선은 입력 화소값 P(x, 1)를, 위로부터 5번째(아래로부터 1번째)의 그래프의 2점 쇄선은 입력 화소값 P(x, 2)를, 각각 나타내고 있다.

전술한 식(106)에 대하여, 도 212에 나타낸 20개의 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)(단, x는, -1 내지 2 중, 어느 하나의 정수치)의 각각을 대입하면, 다음의 식(107)에서 나타내는 20개의 방정식이 생성된다. 그리고, e_k(k는, 1 내지 20중 어느 하나의 정수치)의 각각은, 오차를 나타내고 있다.

(107)

식(107)은, 20개의 방정식로 구성되어 있으므로, 근사 함수 f₁(x)의 특징량 w_i의 개수가 20개보다 적은 경우, 즉, 근사 함수 f₁(x)가 19차보다 적은 차수의 다항식인 경우, 예를 들면, 최소 자승법을 이용하여 특징량 w_i의 산출이 가능하다. 그리고, 최소 자승법의 구체적인 해법은 후술하겠다.

예를 들면, 지금, 근사 함수 f₁(x)의 차수가 5차인 경우, 식(107)을 이용하여 최소 자승법에 의해 연산된 근사 함수 f₁(x)(연산된 특징량 w_i에 의해 생성되는 근사 함수 f₁(x))는, 도 213에 나타낸 곡선과 같이 된다.

그리고, 도 213에 있어서, 세로축은 화소값을 나타내고 있고, 가로축은 주목 화소로부터의 상대 위치 x를 나타내고 있다.

즉, 도 211의 가는 선 함유 데이터 영역(2302)을 구성하는 20개의 화소값 P(x, y)의 각각 (도 212에 나타낸 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각)을, 예를 들면, x 축에 따라 그대로 더하면 (Y 방향의 상대 위치 y를 일정하다고 간주하여, 도 212에 나타낸 5개의 그래프를 중복시킴), 도 213에 나타낸 바와 같은, x 축에 평행한 복수개의 선(점선, 3점쇄선, 실선, 1점 쇄선, 및 2점 쇄선)이 분포한다.

단, 도 213에 있어서는, 점선은 입력 화소값 P(x, -2)를, 3점 쇄선은 입력 화소값 P(x, -1)를, 실선은 입력 화소값 P(x, 0)를, 1점 쇄선은 입력 화소값 P(x, 1)를, 2점 쇄선은 입력 화소값 P(x, 2)를, 각각 나타내고 있다. 또한, 동일한 화소값의 경우, 실제로는 2개 이상의 선이 겹치게 되지만, 도 213에 있어서는각 선의 구별이 되도록, 각 선이 겹치지 않도록 그려져있다.

그리고, 이와 같이 분포한 20개의 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각과 값 f₁(x)의 오차가 최소가 되는록 하는 회귀 곡선(최소 자승법에 의해 연산된 특징량 w_i를 전술한 식(104)에 대입하여 얻어지는 근사 함수 f₁(x))가, 도 213에 나타낸 곡선(근사 함수 f₁(x))이 된다.

이와 같이, 근사 함수 f₁(x)는, Y 방향의 화소값(주목 화소로부터의 X 방향의 상대 위치 x가 동일한 화소값)P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x,2)의 평균값을, X 방향으로 연결한 곡선을 단지 나타내고 있는 것에 불과하다. 즉, 광신호가 가지는 공간방 향의 정상성을 고려 하지 않고, 근사 함수 f₁(x)가 생성되어 있다.

예를 들면, 지금의 경우, 근사의 대상은, 가는 선 함유 실세계 영역(2301)(도 209)이 되어있다. 이 가는 선 함유 실세계 영역(2301)은, 도 214에 나타낸 바와 같이, 기울기 G_F로 나타내는 공간 방향의 정상성을 가지고 있다. 그리고, 도 214에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 206)을 나타내고 있다

따라서, 데이터 정상성 검출부(101)(도 205)는, 공간 방향의 정상성의 기울기 G_F에 대응하는 데이터 정상성 정보로서, 도 214에 나타낸 바와 같은 각도 θ(기울기 G_F에 대응하는 기울기 G_F로 나타내는 데이터 정상성의 방향과 X 방향이 이루는 각도 θ)를 출력할 수 있다.

그러나, 제1 방법에 있어서는, 데이터 정상성 검출부(101)로부터 출력되는 데이터 정상성 정보는 일체 이용되고 있지 않다.

환언하면, 도 214에 나타낸 바와 같이, 가는 선 함유 실세계 영역(2301)의 공간 방향의 정상성의 방향은 대략 각도 θ 방향이다. 그러나, 제1 방법은, 가는 선 함유 실세계 영역(2301)의 공간 방향의 정상성의 방향은 Y 방향인 것으로 가정하여(즉, 각도 θ가 90도인 것으로 가정하여), 근사 함수 f₁(x)의 특징량 w_i를 연산하는 방법이다.

그로 인하여, 근사 함수 f₁(x)는, 그 파형이 무디어져, 원래의 화소값로부터 디테일이 감소하는 함수가 되어 버린다. 환언하면, 도시는 하지 않지만, 제1 방법에 의해 생성되는 근사 함수 f₁(x)는, 실제의 X 단면 파형 F(x)와는 크게 다른 파형이 되어 버린다.

그래서, 본원 출원인은, 제1 방법에 대하여, 공간 방향의 정상성을 보다 더 고려하여(각도 θ를 이용하여) 특징량 w_i를 연산하는 제2 방법을 발명했다.

즉, 제2 방법은, 가는 선 함유 실세계 영역(2301)의 정상성의 방향은 약 각도 θ 방향인 것으로 하여, 근사 함수 f₂(x)의 특징량 w_i를 연산하는 방법이다.

구체적으로는, 예를 들면, 공간 방향의 정상성에 대응하는 데이터 정상성을 나타내는 기울기 G_F는, 다음의 식(108)에 의해 나타낸다.

(108)

그리고, 식(108)에 있어서, dx는, 도 214에 나타낸 바와 같은 X 방향의 미소 이동량을 나타내고 있고, dy는, 도 214에 나타낸 바와 같은 dx에 대한 Y 방향의 미소 이동량을 나타내고 있다.

이 경우, 시프트량 C_x(y)를, 다음의 식(109)과 같이 정의하면, 제2 방법에 있어서는, 제1 방법으로 이용한 식(106)에 해당하는 식은, 다음의 식(110)과 같이 된다.

(109)

(110)

즉, 제1 방법에서 이용한 식(106)은, 화소의 중심의 위치(x, y) 중 X 방향의 위치 x가, 동일한 위치에 위치하는 화소의 화소값 P(x, y)가 모두 같은 값인 것을 나타내고 있다. 환언하면, 식(106)은, 같은 화소값의 화소가 Y 방향으로 이어져 있는(Y 방향으로 정상성이 있다) 것을 나타내고 있다.

이에 비해, 제2 방법으로 이용하는 식(110)은, 화소의 중심의 위치가 (x, y)인 화소의 화소값 P(x, y)는, 주목 화소(그 중심의 위치가 원점(0, 0)인 화소)로부터 X 방향으로 x 만큼 멀어진 장소에 위치하는 화소의 화소값(f₂(x)와는 일치하지 않고, 그 화소로부터 더욱 X 방향으로 시프트량 C_x(y)만큼 멀어진 장소에 위치하는 화소(주목 화소로부터 X 방향으로 x＋C_x(y)만큼 멀어진 장소에 위치하는 화소)의 화소값(f₂(x＋C_x(y))와 같은 값인 것을 나타내고 있다. 환언하면, 식(110)은, 같은 화소값의 화소가, 시프트량 C_x(y)에 대응하는 각도 θ 방향으로 이어져 있다(대략 각도 θ 방향으로 정상성이 있다)것을 나타내고 있다.

이와 같이, 시프트량 C_x(y)가, 공간 방향의 정상성(지금의 경우, 도 214의 기울기 G_F로 나타내는 정상성(엄밀하게는, 기울기 G_F로 나타내는 데이터 정상성)을 고려한 보정량이며, 시프트량 C_x(y)에 의해 식(106)을 보정한 것이 식(110)이 된다.

이 경우, 도 211로 나타내는 가는 선 함유 데이터 영역(2302)의 20개의 화소값 P(x, y)(단, x는, -1 내지 2 중 어느 하나의 정수치, y는, -2 내지 2 중 어느 하나의 정수치)의 각각을, 전술한 식(110)에 대입하면 다음의 식(111)에서 나타내는 20개의 방정식이 생성된다.

(111)

식(111)은, 전술한 식(107)와 마찬가지로, 20개의 방정식로 구성되어 있다. 따라서, 제1 방법과 마찬가지로 제2 방법에 있어서도, 근사 함수 f₂(x)의 특징량 w_i의 개수가 20개 보다 적은 경우, 즉, 근사 함수 f₂(x)가 19차 보다 적은 차수의 다항식인 경우, 예를 들면, 최소 자승법을 이용하여 특징량 w_i의 산출이 가능하다. 그리고, 최소 자승법의 구체적인 해법은 후술한다.

예를 들면, 제1 방법과 마찬가지로 근사 함수 f₂(x)의 차수가 5차인 경우, 제2 방법에 있어서는, 다음과 같이 함으로써 특징량 w_i가 연산된다.

즉, 도 215는, 식(111)의 좌변에 나타나는 화소값 P(x, y)를 그래프화한 것을 나타내고 있다. 도 215에 나타내는 5개의 그래프의 각각은, 기본적으로 도226에 나타낸 것과 동일하다.

도 215로 나타낸 바와 같이, 최대의 화소값(가는 선에 대응하는 화소값)은, 기울기 G_F로 나타내는 데이터 정상성의 방향으로 이어져 있다.

그런데, 제2 방법에 있어서는, 도 215로 나타내는 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각을, 예를 들면, x 축에 따라 더하는 경우, 제1 방법과 같이 그대로 더하는(y를 일정하다고 간주하여, 도 215에 나타내는 상태대로 5개의 그래프를 중복시킴) 것은 아니고, 도 216에 나타낸 상태로 변화시키고 나서 더한다.

즉, 도 216은, 도 215에 나타내는 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각을, 전술한 식(109)에서 나타내는 시프트량 C_x(y)만큼 시프트시킨 상태를 나타내고 있다. 환언하면, 도 216은, 도 215에서 나타내는 5개의 그래프를, 데이터 정상성의 실제의 방향을 나타내는 기울기 G_F를, 마치 기울기 G_F'로 하도록(도면 중, 점선의 직선을 실선의 직선으로 하도록)이동시킨 상태를 나타내고 있다.

도 216의 상태에서, 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각을, 예를 들면, x 축에 따라 더하면(도 216에 나타낸 상태에서 5개의 그래프를 중복시키면), 도 217에 나타낸 바와 같은, x 축에 평행한 복수개의 선(점선, 3점 쇄선, 실선, 1점 쇄선, 및 2점 쇄선)이 분포한다.

그리고, 도 217에 있어서, 세로축은 화소값을 나타내고 있고, 가로축은 주목 화소로부터의 상대 위치 x를 나타내고 있다.또한, 점선은 입력 화소값 P(x, -2)를, 3점 쇄선은 입력 화소값 P(x, -1)를, 실선은 입력 화소값 P(x, 0)를, 1점 쇄선은 입력 화소값 P(x, 1)를, 2점 쇄선은 입력 화소값 P(x, 2)를, 각각 나타내고 있다.또한, 동일한 화소값의 경우, 실제로는 2개 이상의 선이 겹치게되지만, 도 217에 있어서는, 각 선의 구별이 되도록, 각 선이 겹치지 않도록 그려져있다.

그리고, 이와 같이 분포된 20개의 입력 화소값 P(x, y)의 각각 (단, x는, -1 내지 2중 어느 하나의 정수치. y는, -2내지 2중 어느 하나의 정수치)와 값 f₂(x+C_x(y)의 오차가 최소가 되도록 하는 회귀 곡선(최소 자승법에 의해 연산된 특징량 w_i를 전술한 식(104)에 대입하여 얻어지는 근사 함수 f₂(x))는, 도 217의 실선으로 나타내는 f₂(x)로 된다.

이와 같이, 제2 방법에 의해 생성된 근사 함수 f₂(x)는, 데이터 정상성 검출부(101)(도 205)로부터 출력되는 각도 θ 방향(즉, 대략 공간 방향의 정상성의 방향)의 입력 화소값 P(x, y)의 평균값을 X 방향으로 연결한 곡선을 나타내게 된다.

이에 비해, 전술한 바와 같이, 제1 방법에 의해 생성된 근사 함수 f₁(x)는, Y 방향(즉, 공간 방향의 정상성과는 다른 방향)의 입력 화소값 P(x, y)의 평균값을, X 방향으로 연결한 곡선을 단지 나타내고 있는 것에 불과하다.

따라서, 도 217에 나타낸 바와 같이, 제2 방법에 의해 생성된 근사 함수 f₂(x)는, 제1 방법에 의해 생성된 근사 함수 f₁(x)보다도, 그 파형의 무딘 정도가 감소하고, 또한 원래의 화소값에 대한 디테일의 줄어드는 상태도 감소하는 함수가 된다. 환언하면, 도시는 하지 않지만, 제2 방법에 의해 생성되는 근사함수 f₂(x)는, 제1 방법에 의해 생성되는 근사 함수 f₁(x)보다도 실제의 X 단면 파형 F(x)에 더 가까운 파형이 된다.

그러나, 전술한 바와 같이, 근사 함수 f₂(x)는, 공간 방향의 정상성이 고려된 것이지만, 입력 화상(입력 화소값)을 원점(기준)으로하여 생성된 것임에 틀림없다.즉, 전술한 도 210로 나타낸 바와 같이, 근사 함수 f₂(x)는, X 단면 파형 F(x)와는 상이한 입력 화상을 근사한에 지나지 않고, X 단면 파형 F(x)를 근사하다고는 말하기 어렵다. 환언하면, 제2 방법은, 전술한 식(110)이 성립한다고 하여 특징량 w_i를 연산하는 방법이며, 전술한 식(104)의 관계는 고려하고 있지 않다(센서(2)의 적분 효과를 고려하고 있지 않다.)

그래서, 본원 출원인은, 제2 방법에 대하여, 센서(2)의 적분 효과를 또한 고려함으로써 근사 함수 f₃(x)의 특징량 w_i를 연산하는 제3 방법을 발명했다.

즉, 제3 방법은, 공간 혼합 영역의 개념을 도입한 방법이다.

제3 방법의 설명 전에, 도 218을 참조하여, 공간 혼합 영역에 대하여 설명한

다.

도 218에 있어서, 실세계(1)의 광신호의일부분(2321)(이하, 영역(2321)이라고 함)은, 센서(2)의 하나의 검출 소자(화소)와 같은 면적을 가지는 영역을 나타내고 있다.

영역(2321)이 센서(2)에 검출되면, 센서(2)로부터는, 영역(2321)이 시공간 방향(X 방향, Y 방향, 및 t 방향)에 적분된 값(1개의 화소값)(2322)가 출력된다. 그리고, 화소값(2322)는, 도면 중, 화상으로서 나타나 있지만, 실제로는, 소정값을 나타내는 데이터이다.

실세계(1)의 영역(2321)은, 전경(예를 들면, 전술한 가는 선)에 대응하는 광신호(도면 중 흰 영역)와 배경으로 대응하는 광신호(도면 중 검은 영역)에 명확하게 구분된다.

이에 비해, 화소값(2322)는, 전경에 대응하는 실세계(1)의 광신호와 배경에 대응하는 실세계(1)의 광신호가 적분된 값이다. 환언하면, 화소값(2322)는, 전경에 대응하는 광의 레벨과 배경으로 대응하는 광의 레벨이 공간적으로 혼합된 레벨에 대응하는 값이다.

이와 같이, 실세계(1)의 광신호 중 1화소(센서(2)의 검출 소자)에 대응하는부분이, 동일 레벨의 광신호가 공간적으로 한결같이 분포하는 부분이 아닌, 전경과 배경과 같이 상이한 레벨의 광신호의 각각이 분포하는 부분인 경우, 그영역은, 센서(2)에 의해 검출되면, 센서(2)의 적분 효과에 의하여, 상이한 광의 레벨이 마치 공간적으로 혼합되어(공간 방향으로 적분되어) 1개의 화소값으로 되어버린다. 이와 같이, 전경에 대한 화상(실세계(1)의 광신호)과, 배경에 대한 화상(실세계(1)의 광신호)이 공간적으로 적분되어 있는 화소로 이루어지는 영역

을, 여기서는, 공간 혼합 영역이라 칭하고 있다.

따라서, 제3 방법에 있어서는, 실세계 추정부(102)(도 205)가, 실세계(1)의 원래의 영역(2321)(실세계(1)의 광신호 중, 센서(2)의 1화소에 대응하는 부분(2321)을 나타내는 X 단면 파형 F(x)를, 예를 들면, 도 219에 나타낸 바와 같은, 1차의 다항식인 근사 함수 f₃(x)에 근사함으로써, X 단면 파형F(x)를 추정한다.

즉, 도 219는, 공간 혼합 영역인 화소값(2322)(도 218)에 대응하는 근사 함수 f₃(x), 즉, 실세계(1)의 영역(2331) 내의 실선(도 218)에 대응하는 X 단면 파형 F(x)를 근사한 근사 함수 f₃(x)의 예를 나타내고 있다.도 219에 있어서, 도면 중 수평 방향의 축은, 화소값(2322)에 대응하는 화소의 좌측 하단 x_s로부터 우측 하단 x_e 까지의 변(도 218)에 평행한 축을 나타내고 있고, x축로 되어 있다. 도면 중 수직 방향의 축은, 화소값을 나타내는 축이 되어 있다.

도 219에 있어서, 근사 함수 f₃(x)를 x_s로부터 x_e의 범위(화소폭)에서 적분한 것이, 센서(2)로부터 출력되는 화소값 P(x, y)와 대략 일치한다(오차 e 만큼 존재함)고 하고, 다음의 식(112)를 정의한다.

(112)

지금의 경우, 도 214에 나타낸 가는 선 함유 데이터 영역(2302)의 20개의 화소값 P(x, y)(단, x는, -1 내지 2 중 어느 하나의 정수치.y는, -2 내지 2 중 어느 하나의 정수치)로부터, 근사 함수 f₃(x)의 특징량 w_i가 산출되므로, 식(112)의 화소값 P는, 화소값 P(x, y)로 된다.

또, 제2 방법과 마찬가지로, 공간 방향의 정상성도 고려할 필요가 있으므로, 식(112)의 적분 범위의 개시 위치 x_s와 종료 위치 x_e의 각각은, 시프트량 C_x(y)에도 의존하게 된다. 즉, 식(112)의 적분 범위의 개시 위치 x_s와 종료 위치 x_e의 각각은, 다음의 식(113)과 같이 나타낸다.

(113)

이 경우, 도 214에 나타낸 가는 선 함유 데이터 영역(2302)의 각 화소값 각각, 즉, 도 215로 나타내는 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1),P(x, 2)의 각각 (단, x는, -1 내지 2 중 어느 하나의 정수치)을, 전술한 식(112)(적분 범위는, 전술한 식(113))에 대입하면 다음의 식(114)에서 나타내는 20개의 방정식이 생성된다.

(114)

식(114)는, 전술한 식(111)과 마찬가지로, 20개의 방정식로 구성되어 있다. 따라서, 제2 방법과 마찬가지로 제3 방법에 있어서도, 근사 함수 f₃(x)의 특징량 w_i의 개수가 20개보다 적은 경우, 즉, 근사 함수 f₃(x)가 19차보다 적은 차수의 다항식인 경우, 예를 들면, 최소 자승법을 이용하여 특징량 w_i의 산출이 가능하다. 그리고, 최소 자승법의 구체적인 해법은 후술한다.

예를 들면, 근사 함수 f₃(x)의 차수가 5차으로된 경우, 식(114)을 이용하여 최소 자승법에 의해 연산된 근사 함수 f₃(x)(연산된 특징량 w_i에 의해 생성되는 근사 함수 f₃(x))는, 도 220의 실선으로 나타낸 곡선과 같이 된다.

그리고, 도 220에 있어서, 세로축은 화소값을 나타내고 있고, 가로축은 주목 화소로부터의 상대 위치 x를 나타내고 있다.

도 220로 나타낸 바와 같이, 제3 방법에 의해 생성된 근사 함수 f₃(x)(도면 중, 실선으로 나타낸 곡선)는, 제2 방법에 의해 생성된 근사 함수 f₂(x)(도면 중, 점선으로 나타낸 곡선)와 비교하면, x = 0에 있어서의 화소값이 커지고, 또, 곡선의 경사의 정도도 급격한 파형으로 된다. 이것은, 입력 화소로부터 디테일이 증가하여, 입력 화소의 해상도와는 무관계으로 되어 있기 때문이다.즉, 근사 함수 f₃(x)는, X 단면 파형 F(x)를 근사하고 있는 것으로 말할 수 있다. 따라서, 도시는 하지않지만, 근사 함수 f₃(x)는, 근사 함수 f₂(x)보다도 X 단면 파형 F(x)에 가까운 파형이 된다.

도 221은, 이와 같은 1차 다항식 근사 방법을 이용하는 실세계 추정부(102)의 구성예를 나타내고 있다.

도 221에 있어서, 실세계 추정부(102)는, 예를 들면, 특징량 w_i를 전술한 제3 방법(최소 자승법)에 의해 연산하고, 연산한 특징량 w_i를 이용하여 전술한 식(105)의 근사 함수 f(x)를 생성함으로써, X 단면 파형 F(x)를 추정한다.

도 221로 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(2331), 입력 화상 기억부(2332), 입력 화소값 취득부(2333), 적분 성분 연산부(2334), 정규 방정식 생성부(2335), 및 근사 함수 생성부(2336)이 형성되어 있다.

조건 설정부(2331)는, 주목 화소에 대응하는 X 단면 파형 F(x)를 추정하기 위해 사용하는 화소의 범위(이하, 탭 범위 이라고 함)나, 근사 함수 f(x)의 차수 n을 설정한다.

입력 화상 기억부(2332)는, 센서(2)로부터의 입력 화상(화소값)을 1차적으로 저장한다.

입력 화소값 취득부(2333)는, 입력 화상 기억부(2332)에 기억된 입력 화상 중, 조건 설정부(2231)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(2335)에 공급한다. 즉, 입력 화소값 테이블은, 입력 화상의 영역에 포함되는 각 화소의 각각의 화소값이 기술된 테이블이다. 그리고, 입력 화소값 테이블의 구체예에 대하여는 후술한다.

그런데, 여기서는, 실세계 추정부(102)는, 전술한 식(112)과 식(113)을 이용하여 최소 자승법에 의해 근사 함수 f(x)의 특징량 w_i를 연산하지만, 전술한 식(112)은, 다음의 식(115)와 같이 나타낼 수 있다.

(115)

식(115)에 있어서, S_i (x_s, x_e)는, i 차항의 적분 성분을 나타내고 있다.즉적분 성분 S_i (x_s, x_e)는, 다음의 식(116)으로 나타낸다.

(116)

적분 성분 연산부(2334)는, 이 적분 성분 S_i(x_s, x_e)를 연산한다.

구체적으로는, 식(116)에서 나타내는 적분 성분 S_i(x_s, x_e) (단, x_s와 x_e는, 전술한 식(112)에서 나타내는 값)은, 상대 화소 위치(x, y), 시프트량 C_x(y), 및 i 차항의 i가 이미 알려져 있으면 연산 가능하다. 또, 이들 중의, 상대 화소 위치(x, y)는 주목 화소와 탭 범위에 의하여, 시프트량 C_x(y)는 각도 θ에 의해(전술한식(107)과 식(109)에 의해), i의 범위는 차수 n에 의하여, 각각 결정된다.

따라서, 적분 성분 연산부(2334)는, 조건 설정부(2331)에 의해 설정된 탭 범위 및 차수, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중의 각도 θ에 따라서 적분 성분 S_i(x_s, x_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(2335)에 공급한다.

정규 방정식 생성부(2335)는, 입력 화소값 취득부(2333)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(2334)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(112), 즉, 식(115)의 우변의 특징량 w_i를 최소 자승법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(2336)에 공급한다. 그리고, 정규 방정식의 구체예에 대하여는 후술한다.

근사 함수 생성부(2336)는, 정규 방정식 생성부(2335)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해법으로 풀어서, 전술한 식(115)의 특징량 w_i (즉, 1차원 다항식인 근사 함수 f(x)의 계수w_i)의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 222의 흐름도를 참조하여, 1차원 다항식 근사 방법을 이용하는 실세계 추정부(102)(도 221)의 실세계의 추정 처리(도 40의 스텝 S102의 처리)에 대하여 설명한다.

예를 들면, 지금, 센서(2)로부터 출력된 1프레임의 입력 화상으로서, 전술한 도 207의 가는 선 함유 데이터 영역(2302)를 포함하는 입력 화상이, 이미 입력 화상 기억부(2332)에 기억되어 있는 것으로 한다. 또, 데이터 정상성 검출부(101)가 스텝 S101(도 40)의 정상성의 검출의 처리에 있어서, 가는 선 함유 데이터 영역(2302)에 대하여 그 처리를 실시하여, 데이터 정상성 정보로서 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 도 222의 스텝 S2301에 있어서, 조건 설정부(2331)은, 조건(탭 범위와 차수)을 설정한다.

예를 들면, 지금, 도 223에 나타낸 탭 범위(2351)가 설정되고, 또한 차수로서 5차가 설정된다고 한다.

즉, 도 223은, 탭 범위의 일례를 설명하는 도면이다. 도 223에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 206)을 나타내고 있다. 또한, 탭 범위(2351)는, X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소(도면 중, 20개의 정방형)로 이루어지는 화소군을 나타내고 있다.

또한, 도 223에 나타낸 바와 같이, 주목 화소가, 탭 범위(2351) 중의, 도면중, 좌측으로부터 2화소째이며, 아래로부터 3화소째의 화소로 설정된다고 한다.

또한, 각 화소의 각각에 대하여, 주목 화소로부터의 상대 화소 위치(x, y)(주목 화소의 중심(0, 0)을 원점으로 하는 주목 화소 좌표계의 좌표값)에 따라, 도 223에 나타낸 바와 같은 번호 l(l은, 0 내지 19 중 어느 하나의 정수치)가 부여되는 것으로 한다.

도 222으로 돌아가, 스텝 S2302에 있어서, 조건 설정부(2331)는, 주목 화소를 설정한다.

스텝 S2303에 있어서, 입력 화소값 취득부(2333)는, 조건 설정부(2331)에 의해 설정된 조건(탭 범위)에 따라서 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 즉, 지금의 경우, 입력 화소값 취득부(2333)는, 가는 선 함유 데이터 영역(2302)(도 211)을 취득하고, 입력 화소값 테이블로서, 20개의 입력 화소값 P(l)으로 이루어지는 테이블을 생성한다.

그리고, 지금의 경우, 입력 화소값 P(l)과, 전술한 입력 화소값 P(x, y)의 관계는, 다음의 식(117)에서 나타내는 관계가 된다. 단, 식(117)에 있어서, 좌변이 입력 화소값 P(l)을 나타내고, 우변이 입력 화소값 P(x, y)를 나타내고 있다.

(117)

스텝 S2304에 있어서, 적분 성분 연산부(2334)는, 조건 설정부(2331)에 의해 설정된 조건(탭 범위 및 차수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

지금의 경우, 전술한 바와 같이, 입력 화소값은, P(x, y)가 아니고 P(l)이라는, 화소의 번호 l의 값으로서 취득되므로, 적분 성분 연산부(2334)는, 전술한 식(116)의 적분 성분 S_i(x_s, x_e)를, 다음의 식(118)의 좌변에 나타낸 적분 성분 S_i(l)이라는 l의 함수로서 연산한다.

S_i(l) = S_i(x_s, x_e) ?(118)

구체적으로는, 지금의 경우, 다음의 식(119)에서 나타내는 적분 성분 S_i(l)가 연산된다.

(119)

그리고, 식(119)에 있어서, 좌변이 적분 성분 S_i(l)를 나타내고, 우변이 적분 성분 S_i(x_s, x_e)를 나타내고 있다. 즉, 지금의 경우, i는 0 내지 5이므로, 20개의 S₀(l), 20개의 S₁(l), 20개의 S₂(l), 20개의 S₃(l), 20개의 S₄(l), 20개의 S₅(l)의 총계 120개의 S_i(l)이 연산되게 된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(2334)는, 데이터 정상성 검출부(101)로부터 공급된 각도 θ를 사용하여, 시프트량 C_x(-2), C_x(-1), C_x(1), C_x(2)의 각각을 연산한다. 다음에, 적분 성분 연산부(2334)는, 연산한 시프트량 C_x(-2), C_x(-1), C_x(1), C_x(2)를 사용한 식(118)의 우변에 나타내는 20개의 적분 성분 S_i(x_s, x_e)의 각각을, I = 0 내지 5의 각각에 대하여 연산한다. 즉, 120개의 적분 성분 S_i(x_s, x_e)가 연산된다. 그리고, 상기 적분 성분 S_i(x_s, x_e)의 연산에 있어서는, 전술한 식(116)이 사용된다. 그리고,적분 성분 연산부(2334)는, 식(119)에 따라, 연산한 120개의 적분 성분 S_i(x_s, x_e)의 각각을, 대응하는 적분 성분 S_i(l)로 변환하여, 변환한 120개의 적분 성분 S_i(l)을 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S2303의 처리와 스텝 S2304의 처리의 순서는, 도 222의 예에 한정되지 않고, 스텝 S2304의 처리가 먼저 실행되어도 되고, 스텝 S2303의 처리와 스텝 S2304의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S2305에 있어서, 정규 방정식 생성부(2335)는, 스텝 S2303의 처리에서 입력 화소값 취득부(2333)에 의해 생성된 입력 화소값 테이블과, 스텝 S2304의 처리에서 적분 성분 연산부(2334)에 의해 생성된 적분 성분 테이블에 따라서, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 최소 자승법에 의하여, 전술한 식(115)에 대응하는 다음의 식(120)의 특징량 w_i를 연산한다. 그리고, 그에 대응하는 정규 방정식은, 다음의 식(121)과 같이 나타낸다.

…(120)

…(121)

그리고, 식(121)에 있어서, L은, 탭 범위의 화소의 번호 l 중 최대값을 나타내고 있다. n은, 다항식인 근사 함수 f(x)의 차수를 나타내고 있다. 구체적으로는, 지금의 경우, n = 5가 되고, L = 19가 된다.

식(121)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(122) 내지 (124)와 같이 정의하면, 정규 방정식은, 다음의 식(125)와 같이 나타낸다.

…(122)

…(123)

…(124)

…(125)

식(123)에서 나타낸 바와 같이, 행렬 W_MAT의 각 성분은, 구하고자 하는 특징량 w_i이다. 따라서, 식(125)에 있어서, 좌변의 행렬 S_MAT와 우변의 행렬 P_MAT가 결정되면, 행렬 해법에 따라 행렬 W_MAT(즉, 특징량 w_i)의 산출이 가능하다.

구체적으로는, 식(122)에서 나타낸 바와 같이, 행렬 S_MAT의 각 성분은, 전술한 적분 성분 S_i(l)이 이미 알려져 있으면 연산 가능하다. 적분 성분 S_i(l)은, 적분 성분 연산부(2334)로부터 공급된 적분 성분 테이블에 포함되어 있으므로, 정규 방정식 생성부(2335)는, 적분 성분 테이블을 이용하여 행렬 S_MAT의 각 성분을 연산할 수 있다.

또, 식(124)에서 나타낸 바와 같이, 행렬 P_MAT의 각 성분은, 적분 성분 S_i(l)과 입력 화소값 P(l)이 이미 알려져 있으면 연산 가능하다. 적분 성분 S_i(l)은, 행렬 S_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 입력 화소값 P(l)은, 입력 화소값 취득부(2333)로부터 공급된 입력 화소값 테이블에 포함되어 있으므로, 정규방정식 생성부(2335)는, 적분 성분 테이블과 입력 화소값 테이블을 이용하여 행렬 P_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(2335)는, 행렬 S_MAT와 행렬 P_MAT의 각 성분을 연산하고, 그 연산 결과(행렬 S_MAT와 행렬 P_MAT의 각 성분)를 정규 방정식 테이블로서 근사 함수 생성부(2336)에 출력한다.

정규 방정식 생성부(2335)로부터 정규 방정식 테이블이 출력되면, 스텝 S2306에 있어서, 근사 함수 생성부(2336)는, 정규 방정식 테이블에 따라, 전술한 식(125)의 행렬 W_MAT의 각 성분인 특징량 w_i (즉, 1차원 다항식인 근사 함수 f(x)의 계수 w_i)를 연산한다.

구체적으로는, 전술한 식(125)의 정규 방정식은, 다음의 식(126)과 같이 변형할 수 있다.

…(126)

식(126)에 있어서, 좌변의 행렬 W_MAT의 각 성분이, 구하고자 하는 특징량 w_i이다.

또, 행렬 S_MAT와 행렬 P_MAT의 각각의 각 성분은, 정규 방정식 생성부(2335)로부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(2336)는, 정규 방정식 테이블을 이용하여, 식(126)의 우변의 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.

스텝 S2307에 있어서, 근사 함수 생성부(2336)는, 모든 화소의 처리가 종료되었는지의 여부를 판정한다.

스텝 S2307에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S2302으로 돌아가고, 그 이후의 처리가 반복된다.

즉, 아직 주목 화소로 여겨지지 않는 화소가, 차례로 주목 화소가 되어, 스텝 S2302 내지 S2307의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S2307에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료된다.

그리고, 이상과 같이 하여 연산된 계수(특징량) w_i에 의해 생성되는 근사 함수 f(x)의 파형은, 전술한 도 220의 근사 함수 f₃(x)와 같은 파형이 된다.

이와 같이, 1차원 다항식 근사 방법에 있어서는, 1차원의 X 단면 파형 F(x)와 동일 형상의 파형이 정상성의 방향으로 이어져 있다고 가정하여, 1차원의 다항식인 근사 함수 f(x)의 특징량이 연산된다. 따라서, 1차원 다항식 근사 방법에 있어서는, 다른 함수 근사 방법과 비교하여, 적은 연산 처리량으로 근사 함수 f(x)의 특징량의 산출이 가능해진다.

환언하면, 1차원 다항식 근사 방법에 있어서는, 예를 들면, 도 205(도 3)의 데이터 정상성 검출부(101)가, 각각 시공간 적분 효과를 가지는, 센서의 복수개의 검출 소자(예를 들면, 도 206의 센서(2)의 검출 소자(2-1))에 의해 실세계(1)의 광신호(예를 들면, 도 207의 실세계(1)의 광신호의 일부분(2301)이 투영되어, 실세계(1)의 광신호의 정상성(예를 들면, 도 214의 기울기 G_F로 나타내는 정상성)의 일부가 결락된, 검출 소자(2-1)에 의해 투영된 화소값(예를 들면, 도 212의 각 그래프에 나타내는 입력 화소값 P(x, y))를 가지는 복수개의 화소로 이루어지는 화상 데이터(예를 들면, 도 207의 화상 데이터(입력 화상의 영역)(2302)에 있어서의 데이터 정상성(예를 들면, 도 214의 기울기 G_F로 나타내는 데이터 정상성)을 검출한다.

예를 들면, 도 205(도 3)의 실세계 추정부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하여, 화상 데이터의 시공간 방향 중 1차원 방향(예를 들면, 도 209의 화살표(2311)), 즉, X 방향)의 위치에 대응하는 화소의 화소값(예를 들면, 전술한 식(112)의 좌변인 입력 화소값 P)이, 1차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 식(112)의 우변에 나타낸 바와 같이, 근사 함수 f₃(x)가 X 방향으로 적분된 값)인 것으로 하여, 실세계(1)의 광신호를 나타내는 광신호 함수 F(구체적으로는, X 단면 파형 F(x))를 소정의 근사 함수 f(구체적으로는, 예를 들면, 도 220의 근사 함수 f₃(x))로 근사함으로써, 광신호 함수 F를 추정한다.

상세하게는, 예를 들면, 실세계 추정부(102)는, 정상성 검출 핸드부(101)에 의해 검출된 데이터 정상성에 대응하는 선(예를 들면, 도 216의 기울기 G_F에 대응하는 선(점선))으로부터의 1차원 방향(예를 들면, X 방향)에 따른 거리(예를 들면, 도230의 시프트량 C_x(y)에 대응하는 화소의 화소값이, 1차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 전술한 식(112)에 나타낸 바와 같은 적분법위에서, 식(112)의 우변에 나타낸 바와 같이, 근사 함수 f₃(x)가 X 방향으로 적분된 값)인 것으로 하여, 광신호 함수 F를 근사 함수 f로 근사함으로써, 광신호 함수 F를 추정한다.

따라서, 1차원 다항식 근사 방법에 있어서는, 다른 함수 근사 방법과 비교하여, 적은 연산 처리량으로 근사 함수 f(x)의 특징량의 산출이 가능해진다.

다음에, 도 224 내지 도 230을 참조하여, 제2 함수 근사 방법에 대하여 설명한다.

즉, 제2 함수 근사 방법이란, 예를 들면, 도 224에 나타낸 바와 같은, 기울기 G_F로 나타내는 공간 방향의 정상성을 가지는 실세계(1)의 광신호를, X－Y 평면 상(공간 방향의 일방향인 X 방향과, X 방향으로 수직인 Y 방향으로 수평인 평면상)의 파형 F(x, y)로 간주하여, 2차원의 다항식인 근사 함수 f(x, y)로 파형 F(x, y)를 근사함으로써, 그 파형 F(x, y)를 추정하는 방법이다. 따라서, 이하, 제2함수 근사 방법을, 2차원 다항식 근사 방법이라고 한다.

그리고, 도 224에 있어서, 도면 중, 수평 방향은, 공간 방향의 일방향인 X 방향을, 우측 상방향은, 공간 방향의 다른 방향인 Y 방향을, 수직 방향은, 광의 레벨을, 각각 나타내고 있다. G_F는, 공간 방향의 정상성의 기울기를 나타내고 있다.

또, 2차원 다항식 근사 방법의 설명에 있어서도, 센서(2)는, 도 225에서 나타낸 바와 같은, 복수개의 검출 소자(2-1)가 그 평면상에 배치되어 구성되는 CCD가 된다.

도 225의 예에서는, 검출 소자(2-1)의 소정의 1변에 평행한 방향이, 공간 방향의 일방향인 X 방향이 되어 있고, X 방향으로 수직인 방향이, 공간 방향의 다른 방향인 Y 방향이 되어 있다. 그리고, X－Y 평면에 수직인 방향이, 시간 방향인 t 방향이 되어 있다.

또, 도 225의 예에서는, 센서(2)의 각 검출 소자(2-1)의 각각의 공간적인 형상은, 1변의 길이가 1인 정방형로 되어 있다. 그리고, 센서(2)의 셔터 시간(노광 시간)이 1로 되어 있다.

또한, 도 225의 예에서는, 센서(2)의 소정의 1개의 검출 소자(2-1)의 중심이, 공간 방향(X 방향과 Y 방향)의 원점(X 방향의 위치 x = 0, 및 Y 방향의 위치 y = 0가 되어 있고, 또, 노광 시간의 중간 시각이, 시간 방향(t 방향)의 원점(t 방향의 위치 t = 0)이 되어 있다.

이 경우, 공간 방향의 원점(x = 0, y = 0)에 그 중심이 존재하는 검출 소자(2-1)는, X 방향으로 -0.5 내지 0.5의 범위, Y 방향으로 -0. 5내지 0.5의 범위, 및 t 방향으로 -0.5 내지 0.5의 범위에서 광신호 함수 F(x, y, t)를 적분하고, 그 적분값을 화소값 P로서 출력하게 된다.

즉, 공간 방향의 원점에 그 중심이 존재하는 검출 소자(2-1)로부터 출력되는 화소값 P는, 다음의 식(127)으로 나타낸다.

…(127)

그 외의 검출 소자(2-1)도 마찬가지로, 대상으로 하는 검출 소자(2-1)의 중심을 공간 방향의 원점으로 함으로써, 식(127)에서 나타내는 화소값 P를 출력하게 된다.

그런데, 전술한 바와 같이, 2차원 다항식 근사 방법은, 실세계(1)의 광신호를, 예를 들면, 도 224에 나타낸 바와 같은 파형 F(x, y)로서 취급하여, 그 2차원의 파형 F(x, y)를, 2차원의 다항식인 근사 함수 f(x, y)에 근사하는 방법이다.

그래서, 우선, 이와 같은 근사 함수 f(x, y)를 2차원의 다항식으로 나타내는 방법에 대하여 설명한다.

전술한 바와 같이, 실세계(1)의 광신호는, 3차원의 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 광신호 함수 F(x, y, t)로 나타낸다. 이 광신호 함수 F(x, y, t)를, Y 방향의 임의의 위치 y에 있어서, X 방향으로 투영한 1차원의 파형을, 여기서는, X 단면 파형 F(x)라 칭하고 있다.

상기 X 단면 파형 F(x)에 주목하면, 실세계(1)의 신호가, 공간 방향의 소정의 방향으로 정상성을 가지고 있는 경우, X 단면 파형 F(x)와 동일 형상의 파형이 그 정상성의 방향으로 이어져 있다고 생각할 수 있다. 예를 들면, 도 224의 예에서는, X 단면 파형 F(x)와 동일 형상의 파형이, 기울기 G_F의 방향으로 이어져 있다. 환언하면, X 단면 파형 F(x)와 동일 형상의 파형이 기울기 G_F의 방향으로 이어져, 파형 F(x, y)가 형성되어 있다고도 할 수 있다.

따라서, 파형 F(x, y)를 근사하는 근사 함수 f(x, y)의 파형은, X 단면 파형 F(x)를 근사하는 근사 함수 f(x)와 동일 형상의 파형이 이어져서 형성된다고 생각함으로써, 근사 함수 f(x, y)를 2차원의 다항식으로 나타낼 수 있다.

보다 상세하게, 근사 함수 f(x, y)의 나타내는 방법에 대하여 설명한다.

예를 들면, 지금, 전술한 도 224에 나타낸 바와 같은, 실세계(1)의 광신호, 즉,기울기 G_F로 나타내는 공간 방향의 정상성을 가지는 광신호가, 센서(2)(도 225)에 의해 검출되어 입력 화상(화소값)으로서 출력된 것으로 한다.

또한, 도 226에 나타낸 바와 같이, 데이터 정상성 검출부(101)(도 3)가, 상기 입력 화상 중의, X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소(도면 중, 점선으로 나타내는 20개의 정방형)로 구성되는 입력 화상의 영역(2401)에 대하여 그 처리를 실행하고, 데이터 정상성 정보의 하나로서 각도 θ (기울기 G_F에 대응하는 기울기 G_F로 나타내는 데이터 정상성의 방향과, X 방향과 이루는 각도 θ)를 출력했다고 한다.

그리고, 입력 화상의 영역(2401)에 있어서, 도면 중 수평 방향은, 공간 방향의 일방향인 X 방향을 나타내고 있고, 도면 중 수직 방향은, 공간 방향의 다른 방향인 Y 방향을 나타내고 있다.

또, 도 226 중, 좌측으로부터 2화소째이며, 아래로부터 3화소째의 화소가 주목 화소가 되고, 상기 주목 화소의 중심을 원점(0, 0)이 되도록 (x, y) 좌표계가 설정되어 있다. 그리고, 원점(0, 0)을 지나는 각도 θ의 직선(데이터 정상성의 방향을 나타내는 기울기 G_F의 직선)에 대한 X 방향의 상대적인 거리(이하, 단면 방향 거리라고 칭함)가 x'로 기술되어 있다.

또한, 도 226 중, 우측의 그래프는, X 단면 파형 F(x')가 근사된 함수로서, n차(n은, 임의의 정수)의 다항식인 근사 함수 f(x')를 나타내고 있다.

우측의 그래프의 축 중, 도면 중 수평 방향의 축은, 단면 방향 거리를 나타내고 있고, 도면중 수직 방향의 축은, 화소값을 나타내고 있다.

이 경우, 도 226에 나타낸 근사 함수 f(x')는, n차 다항식이므로, 다음의 식(128)과 같이 나타낸다.

…(128)

또, 각도 θ가 결정되어 있으므로, 원점(0, 0)을 지나는 각도 θ의 직선은 하나로 정해져, Y 방향의 임의의 위치 y에 있어서의, 직선의 X 방향의 위치 x_l이, 다음의 식(129)와 같이 나타낸다. 단, 식(129)에 있어서, s는 cotθ를 나타내고 있다.

x_l = s y ?129)

즉, 도 226에 나타낸 바와 같이, 기울기 G_F로 나타내는 데이터 정상성에 대응하는 직선 상의 점은, 좌표값(x_l, y)로 나타낸다.

식(129)로부터, 단면 방향 거리 x'는, 다음의 식(130)과 같이 나타낸다.

x' = x－x_l = x－s × y …(130)

따라서, 입력 화상의 영역(2401) 내의 임의의 위치(x, y)에 있어서의 근사 함수 f(x, y)는, 식(128)과 식(130)으로부터, 다음의 식(131)과 같이 나타낸다.

…(131)

그리고, 식(131)에 있어서, w_i는, 근사 함수 f(x, y)의 계수를 나타내고 있다. 그리고, 근사 함수 f(x, y)를 포함하는 근사 함수 f의 계수 w_i를, 근사 함수 f의 특징량으로 할 수도 있다. 따라서, 이하, 근사 함수 f의 계수 w_i를, 근사 함수 f의 특징량 w_i라고도 한다.

이와 같이 하여, 각도 θ가 이미 알려져 있으면, 2차원 파형의 근사 함수 f(x, y)를, 식(131)의 다항식으로서 나타낼 수 있다.

따라서, 실세계 추정부(102)는, 식(131)의 특징량 w_i를 연산할 수 있으면, 도 224에 나타낸 바와 같은 파형 F(x, y)를 추정할 수 있다.

그래서, 이하, 식(131)의 특징량 w_i를 연산하는 방법에 대하여 설명한다.

즉, 식(131)에서 나타내는 근사 함수 f(x, y)를, 화소(센서(2)의 검출 소자(2-1)(도 225))에 대응하는 적분 범위(공간 방향의 적분 범위)에서 적분하면, 그 적분값이, 화소의 화소값의 추정값이 된다. 이것을, 식으로 나타낸 것이 다음의 식(132)이다. 그리고, 2차원 다항식 근사 방법에 있어서는, 시간 방향 t는 일정값으로 간주하므로, 식(132)는, 공간 방향(X 방향과 Y 방향)의 위치 x, y를 변수로 하는 방정식이 되어 있다.

…(132)

식(132)에 있어서, P(x, y)는, 센서(2)로부터의 입력 화상 중의, 그 중심 위치가 위치(x, y)(주목 화소로부터의 상대 위치(x, y))에 존재하는 화소의 화소값을 나타내고 있다. 또, e는, 오차를 나타내고 있다.

이와 같이, 2차원 다항식 근사 방법에 있어서는, 입력 화소값 P(x, y)와 2차원의 다항식인 근사 함수 f(x, y)의 관계를, 식(132)로 나타낼 수 있으므로, 실세계 추정부(102)는, 식(132)을 이용하여, 특징량 w_i를, 예를 들면, 최소자승법 등에 의해 연산함으로써(연산한 특징량 w_i를 식(130)에 대입하여 근사 함수 f(x, y)를 생성함으로써), 2차원의 함수 F(x, y)(기울기 G_F(도 224)로 나타내는 공간 방향의 정상성을 가지는 실세계(1)의 광신호를, 공간 방향으로 착목하여 나타낸 파형 F(x, y))를 추정하는 것이 가능해진다.

도 227은, 이와 같은 2차원 다항식 근사 방법을 이용하는 실세계 추정부(102)의 구성예를 나타내고 있다.

도 227에 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(2421), 입력 화상 기억부(2422), 입력 화소값 취득부(2423), 적분 성분 연산부(2424), 정규 방정식 생성부(2425), 및 근사 함수 생성부(2426)가 형성되어 있다.

조건 설정부(2421)는, 주목 화소에 대응하는 함수 F(x, y)를 추정하기 위해 사용하는 화소의 범위(탭 범위)와, 근사 함수 f(x, y)의 차수 n을 설정한다.

입력 화상 기억부(2422)는, 센서(2)로부터의 입력 화상(화소값)을 1차적으로 저장한다.

입력 화소값 취득부(2423)는, 입력 화상 기억부(2422)에 기억된 입력 화상 중의, 조건 설정부(2421)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(2425)에 공급한다. 즉, 입력 화소값 테이블은, 입력 화상의 영역에 포함되는 각 화소의 각각의 화소값이 기술된 테이블이다. 그리고, 입력 화소값 테이블의 구체예에 대하여는 후술한다.

그런데, 전술한 바와 같이, 2차원 다항식 근사 방법을 이용하는 실세계 추정부(102)는, 전술한 식(132)을 최소 자승법으로 풀어서, 전술한 식(131)에서 나타내는 근사 함수 f(x, y)의 특징량 w_i를 연산한다.

식(132)는, 식(133) 내지 식(135)를 사용함으로써 얻어지는 식(136)을 사용함으로써, 식(137)과 같이 나타낼 수 있다.

…(133)

…(134)

…(135)

…(136)

…(137)

식(137)에 있어서, S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)는, i차항의 적분 성분을 나타내고 있다. 즉, 적분 성분 S_i (x - 0.5, x + 0.5, y -0.5, y + 0.5)는, 다음의 식(138)에서 나타내는 바와 같다.

…(138)

적분 성분 연산부(2424)는, 상기 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)를 연산한다.

구체적으로는, 식(138)에서 나타내는 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)는, 상대 화소 위치(x, y), 전술한 식(131)에 있어서의 변수 s, 및 i차항의 i가 이미 알려져 있으면, 연산 가능하다. 이들 중의, 상대 화소 위치(x, y)는 주목 화소와 탭 범위에 의하여, 변수 s는 cotθ이므로, 각도 θ에 의하여, i의 범위는 차수 n에 의하여, 각각 결정된다.

따라서, 적분 성분 연산부(2424)는, 조건 설정부(2421)에 의해 설정된 탭 범위 및 차수, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중의 각도 θ에 따라 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(2425)에 공급한다.

정규 방정식 생성부(2425)는, 입력 화소값 취득부(2423)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(2424)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(132), 즉, 식(137)을 최소 자승법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(2426)에 출력한다. 그리고, 정규 방정식의 구체예에 대하여는 후술한다.

근사 함수 생성부(2426)는, 정규 방정식 생성부(2425)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해법으로 풀어서, 전술한 식(132)의 특징량 w_i (즉, 2차원 다항식인 근사 함수 f(x, y)의 계수 w_i)의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 228의 흐름도를 참조하여, 2차원 다항식 근사 방법이 적용되는 실세계의 추정 처리(도 40의 스텝 S102의 처리)에 대하여 설명한다.

예를 들면, 지금, 기울기 G_F로 나타내는 공간 방향의 정상성을 가지는 실세계(1)의 광신호가, 센서(2)(도 225)에 의해 검출되어, 1프레임에 대응하는 입력 화상으로서, 입력 화상 기억부(2422)에 이미 기억되어 있는 것으로 한다. 또, 데이터 정상성 검출부(101)가, 스텝 S101(도 40)의 정상성의 검출의 처리에 있어서, 입력 화상 중의, 전술한 도 226에 나타낸 영역(2401)에 대하여 처리를 실시하여, 데이터 정상성 정보로서 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 스텝 S2401에 있어서, 조건 설정부(2421)는, 조건(탭 범위와 차수)을 설정한다.

예를 들면, 지금, 도 229에 나타낸 탭 범위(2441)가 설정되고, 또한 차수로서 5차가 설정된 것으로 한다.

즉, 도 229는, 탭 범위의 일례를 설명하는 도면이다. 도 229에 있어서, X 방향과 Y 방향은, 센서(2)의 X 방향과 Y 방향(도 225)을 나타내고 있다. 또, 탭 범위(2441)는, X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소(도면 중, 20개의 정방형)로 이루어지는 화소군을 나타내고 있다.

또한, 도 229에 나타낸 바와 같이, 주목 화소가, 탭 범위(2441) 중의, 도면 중, 좌측으로부터 2화소째이며, 아래로부터 3화소째의 화소로 설정된다고 한다.

또, 각 화소의 각각에 대하여, 주목 화소로부터의 상대 화소 위치 (x, y)(주목 화소의 중심(0, 0)을 원점으로 하는 주목 화소 좌표계의 좌표값)에 따라, 도 229에 나타낸 바와 같은 번호 l(l은, 0 내지 19 중 어느 하나의 정수치)이 부여된다고 한다.

도 228로 되돌아가, 스텝 S2402에 있어서, 조건 설정부(2421)는, 주목 화소를 설정한다.

스텝 S2403에 있어서, 입력 화소값 취득부(2423)는, 조건 설정부(2421)에 의해 설정된 조건(탭 범위)에 따라 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 즉, 지금의 경우, 입력 화소값 취득부(2423)는, 입력 화상의 영역(2401)(도 226)을 취득하고, 입력 화소값 테이블로서, 20개의 입력 화소값 P(l)로 이루어지는 테이블을 생성한다.

그리고, 지금의 경우, 입력 화소값 P(l)과, 전술한 입력 화소값 P(x, y)의 관계는, 다음의 식(139)에서 나타내는 관계가 된다. 단, 식(139)에 있어서, 좌변이 입력 화소값 P(l)을 나타내고, 우변이 입력 화소값 P(x, y)를 나타내고 있다.

…(139)

스텝 S2404에 있어서, 적분 성분 연산부(2424)는, 조건 설정부(2421)에 의해 설정된 조건(탭 범위 및 차수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

지금의 경우, 전술한 바와 같이, 입력 화소값은, P(x, y)가 아닌, 화소의 번호 l의 값으로 나타내는 P(l)이 취득되므로, 적분 성분 연산부(2424)는, 전술한 식(138)의 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)를, 다음의 식(140)의 좌변에 나타낸 l의 함수인 적분 성분 S_i (l)로서 연산한다.

S_i (l) = S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5) ?140)

구체적으로는, 지금의 경우, 다음의 식(141)에서 나타내는 적분 성분 S_i(l)이 연산된다.

…(141)

그리고, 식(141)에 있어서, 좌변이 적분 성분 S_i(l)을 나타내고, 우변이 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)를 나타내고 있다.즉, 지금의 경우, i는 0 내지 5이므로, 20개의 S₀(l), 20개의 S₁(l), 20개의 S₂(l), 20개의 S₃(l), 20개의 S₄(l), 20개의 S₅(l)의 총계 120개의S_i(l)이 연산된다.

보다 구체적으로는, 우선, 적분 성분 연산부(2424)는, 데이터 정상성 검출부(101)로부터 공급된 각도 θ에 대한 cotθ를 연산하고, 그것을 변수 s로 한다.

다음에, 적분 성분 연산부(2424)는, 연산한 변수 s를 사용하여 식(140)의 우변에 나타내는 20개의 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)의 각각을, i = 0 내지 5의 각각에 대하여 연산한다. 즉, 120개의 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)가 연산된다. 그리고, 상기 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)의 연산에 있어서는, 전술한 식(138)이 사용된다. 그리고, 적분 성분 연산부(2424)는, 식(141)에 따라, 연산된 120개의 적분 성분 S_i(x - 0.5, x + 0.5, y - 0.5, y + 0.5)의 각각을, 대응하는 S_i(l)의 각각으로 변환하고, 변환한 120개의 S_i (l)을 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S2403의 처리와 스텝 S2404의 처리의 순서는, 도 228의 예로 한정되지 않고, 스텝 S2404의 처리가 먼저 실행되어도 되고, 스텝 S2403의 처리와 스텝 S2404의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S2405에 있어서, 정규 방정식 생성부(2425)는, 스텝 S2403의 처리에서 입력 화소값 취득부(2423)에 의해 생성된 입력 화소값 테이블과, 스텝 S2404의 처리에서 적분 성분 연산부(2424)에 의해 생성된 적분 성분 테이블에 따라서, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 전술한 식(137)을 이용하여 최소 자승법에 의해 특징량 w_i가 연산되므로(단, 식(136)에 있어서, 적분 성분 S_i(x -0.5, x + 0.5, y - 0.5, y + 0.5)는, 식(140)에 의해 변환되는 S_i(l)이 사용된다), 그에 대응하는 정규 방정식은, 다음의 식(142)과 같이 나타낸다.

…(142)

그리고, 식(142)에 있어서, L은, 탭 범위의 화소의 번호 l 중 최대값을 나타내고 있다. n은, 다항식인 근사 함수 f(x)의 차수를 나타내고 있다. 구체적으로는, 지금의 경우, n = 5가 되고, L = 19가 된다.

식(142)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(143) 내지 (145)와 같이 정의하면, 정규 방정식은, 다음의 식(146)과 같이 나타낸다.

…(143)

…(144)

…(145)

…(146)

식(144)에서 나타낸 바와 같이, 행렬 W_MAT의 각 성분은, 구하고자 하는 특징량 w_i이다. 따라서, 식(146)에 있어서, 좌변의 행렬 S_MAT와 우변의 행렬 P_MAT가 결정되면, 행렬 해법에 의해 행렬 W_MAT의 연산이 가능하게 된다.

구체적으로는, 식(143)에서 나타낸 바와 같이, 행렬 S_MAT의 각 성분은, 전술한 적분 성분 S_i (l)에 의해 연산 가능하다. 즉, 적분 성분 S_i(l)은, 적분 성분 연산부(2424)로부터 공급된 적분 성분 테이블에 포함되어 있으므로, 정규 방정식 생성부(2425)는, 적분 성분 테이블을 이용하여 행렬 S_MAT의 각 성분을 연산할 수 있다.

또, 식(145)에서 나타낸 바와 같이, 행렬 P_MAT의 각 성분은, 적분 성분 S_i(l)과 입력 화소값 P(l)에 의해 연산 가능하다. 즉, 적분 성분 S_i(l)은, 행렬 S_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 입력 화소값 P(l)은, 입력 화소값 취득부(2423)로부터 공급된 입력 화소값 테이블에 포함되어 있으므로, 정규 방정식 생성부(2425)는, 적분 성분 테이블과 입력 화소값 테이블을 이용하여 행렬 P_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(2425)는, 행렬 S_MAT와 행렬 P_MAT의 각 성분을 연산하고, 그 연산 결과(행렬 S_MAT와 행렬 P_MAT의 각 성분)를 정규 방정식 테이블로서 근사 함수 생성부(2426)에 출력한다.

정규 방정식 생성부(2425)로부터 정규 방정식 테이블이 출력되면, 스텝 S2406에 있어서, 근사 함수 생성부(2426)는, 정규 방정식 테이블에 따라, 전술한 식(146)의 행렬 W_MAT의 각 성분인 특징량 w_i (즉, 2차원 다항식인 근사 함수 f(x, y)의 계수w_i)를 연산한다.

구체적으로는, 전술한 식(146)의 정규 방정식은, 다음의 식(147)과 같이 변형할 수 있다.

…(147)

식(147)에 있어서, 좌변의 행렬 W_MAT의 각 성분이, 구하고자 하는 특징량 w_i이다. 또, 행렬 S_MAT와 행렬 P_MAT의 각각의 각 성분은, 정규 방정식 생성부(2425)로부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(2426)는, 정규 방정식 테이블을 이용하여, 식(147)의 우변의 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.

스텝 S2407에 있어서, 근사 함수 생성부(2426)는, 모든 화소의 처리가 종료되었는지의 여부를 판정한다.

스텝 S2407에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S2402로 돌아가고, 그 이후의 처리가 반복된다.

즉, 아직 주목 화소로 여겨지지 않는 화소가, 차례로 주목 화소가 되어, 스텝 S2402 내지 S2407의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S2407에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료된다.

이상, 2차원 다항식 근사 방법의 설명으로서, 공간 방향(X 방향과 Y 방향)에 대한 근사 함수 f(x, y)의 계수(특징량) w_i를 연산하는 예를 사용하였지만, 2차원 다항식 근사 방법은, 시공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여도 적용 가능하다.

즉, 전술한 예는, 실세계(1)의 광신호가, 예를 들면, 기울기 G_F(도 224)로 나타내는 공간 방향의 정상성을 가지는 경우의 예였으므로, 전술한 식(132)에서 나타낸 바와 같은, 공간 방향(X 방향과 Y 방향)의 2차원 적분이 포함되는 식이 이용되었다. 그러나, 2차원 적분은, 공간 방향 만에 의한 것이 아니고, 시공간방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여 적용할 수도 있다.

환언하면, 2차원 다항식 근사 방법에 있어서는, 추정하고 싶은 광신호 함수 F(x, y, t)가, 공간 방향의 정상성 뿐만아니라, 시공간 방향(단, X 방향과 t 방향, 또는 Y 방향과 t 방향)의 정상성을 가지고 있는 경우라도, 2차원의 다항식에 의해 근사할 수 있다.

구체적으로는, 예를 들면, X 방향으로 수평으로 등속으로 움직이고 있는 물체가 있는 경우, 그 물체의 움직임의 방향은, 도 230에서 나타낸 바와 같은 X-t 평면에 있어서는, 기울기 V_F와 같이 나타낸다. 환언하면, 기울기 V_F는, X-t 평면에 있어서의 시공간 방향의 정상성의 방향을 나타내고 있는 것이라고 할 수도 있다. 따라서, 데이터 정상성 검출부(101)는, 전술한 각도 θ(X-Y 평면에 있어서의, 기울기 G_F로 나타내는 공간 방향의 정상성에 대응하는 데이터 정상성 정보)와 마찬가지로, X-t 평면에 있어서의 시공간 방향의 정상성을 나타내는 기울기 V_F에 대응하는 데이터 정상성 정보로서, 도 230에서 나타낸 바와 같은 움직임 θ(엄밀하게는, 도시는 하지 않지만, 기울기 V_F에 대응하는 기울기 V_f로 나타내는 데이터 정상성의 방향과 공간 방향의 X 방향이 이루는 각도인 움직임 θ)을 출력할 수 있다.

따라서, 2차원 다항식 근사 방법을 이용하는 실세계 추정부(102)는, 움직임 θ를 전술한 각도 θ 대신 사용하면, 전술한 방법과 동일한 방법으로, 근사 함수 f(x, t)의 계수(특징량) w_i를 연산하는 것이 가능하게 된다. 단, 이 경우, 사용되는 식은, 전술한 식(132)이 아니고, 다음의 식(148)이다.

…(148)

그리고, 식(148)에 있어서, s는 cotθ(단, θ는 움직임)이다.

또, 공간 방향 X 대신, 공간 방향 Y에 주목한 근사 함수 f(y, t)도, 전술한 근사 함수 f(x, t)와 똑같이 취급할 수 있다.

이와 같이, 2차원 다항식 근사 방법에 있어서는, 예를 들면, 도 205(도 3)의 데이터 정상성 검출부(101)가, 각각 시공간 적분 효과를 가지는, 센서의 복수개의 검출 소자(예를 들면, 도 225의 센서(2)의 검출 소자(2-1))에 의해 실세계(1)(도 205)의 광신호가 투영되어, 실세계(1)의 광신호의 정상성(예를 들면, 도 224의 기울기 G_F로 나타내는 정상성)의 일부가 결락된, 검출 소자(2-1)에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 화상 데이터(예를 들면, 도 205의 입력 화상)에 있어서의 데이터 정상성(예를 들면, 도 226의 기울기 G_F로 나타내는 데이터 정상성)을 검출한다.

그리고, 예를 들면, 도 205(도 3)의 실세계 추정부(102)(그 구성은, 도 227)가, 데이터 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하여, 화상 데이터의 시공간 방향 중, 적어도 2차원 방향(예를 들면, 도 224과 도 225의 공간 방향 X와 공간 방향 Y)의 위치에 대응하는 화소의 화소값(예를 들면, 전술한 식(131)의 좌변인 입력 화소값 P(x, y)가, 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 식(132)의 우변에 나타낸 바와 같이, 전술한 식(131)에서 나타내는 근사 함수 f(x, y)가 X 방향과 Y 방향으로 적분된 값)인 것으로 하여, 실세계(1)의 광신호를 나타내는 광신호 함수 F(구체적으로는, 도 224의 함수 F(x, y))를, 다항식인 근사 함수 f(예를 들면, 식(131)에서 나타내는 근사 함수 f(x, y))로 근사함으로써, 광신호 함수 F를 추정한다.

상세하게는, 예를 들면, 실세계 추정부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하는 선(예를 들면, 도 226의 기울기 G_F에 대응하는 선(화살표)으로부터 적어도 2차원 방향을 따른 거리(예를 들면, 도 226의 단면 방향 거리 x')에 대응하는 화소의 화소값이, 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 현실 세계의 광신호를 나타내는 제1 함수를, 다항식인 제2 함수로 근사함으로써, 제1 함수를 추정한다.

이와 같이, 2차원 다항식 근사 방법은, 1차원이 아닌 2차원의 적분 효과를 고려하고 있으므로, 1차원 다항식 근사 방법과 비교하여, 보다 정확하게 실세계(1)의 광신호를 추정하는 것이 가능하게 된다.

다음에, 도 231내지 도 235를 참조하여, 제3 함수 근사 방법에 대하여 설명한다.

즉, 제3 함수 근사 방법이란, 예를 들면, 시공간 방향 중 소정의 방향의 정상성을 가지는 실세계(1)의 광신호를, 광신호 함수 F(x, y, t)로 나타내는 것에 주목하여, 근사 함수 f(x, y, t)로 광신호 함수 F(x, y, t)를 근사함으로써, 광신호 함수 F(x, y, t)를 추정하는 방법이다. 따라서, 이하, 제3 함수 근사 방법을, 3차원 함수 근사 방법이라고 한다.

또, 3차원 함수 근사 방법의 설명에 있어서도, 센서(2)는, 도 231에서 나타낸 바와 같은, 복수개의 검출 소자(2-1)가 그 평면 상에 배치되어 구성되는 CCD가 된다.

도 231의 예에서는, 검출 소자(2-1)의 소정의 한변에 평행한 방향이, 공간 방향의 일방향인 X 방향이 되어 있고, X 방향으로 수직인 방향이, 공간 방향의 다른 방향인 Y 방향이 되어 있다. 그리고, X－Y 평면에 수직인 방향이, 시간 방향인 t 방향이 되어 있다.

또, 도 231의 예에서는, 센서(2)의 각 검출 소자(2-1)의 각각의 공간적인 형상은, 한변의 길이가 1인 정방형이 되어 있다. 그리고, 센서(2)의 셔터 시간(노광 시간)이 1로 되어 있다.

또한, 도 231의 예에서는, 센서(2)의 소정의 1개의 검출 소자(2-1)의 중심이, 공간 방향(X 방향과 Y 방향)의 원점(X 방향의 위치 x=0, 및 Y 방향의 위치 y=0)이 되어 있고, 또, 노광 시간의 중간 시각이, 시간 방향(t 방향)의 원점(t 방향의 위치 t = 0)이 되어 있다.

이 경우, 공간 방향의 원점(x = 0, y = 0)에 그 중심이 존재하는 검출 소자(2-1)는, X 방향으로 -0. 5 내지 0.5의 범위, Y 방향으로 -0.5 내지 0.5의 범위, 및 t 방향으로 -0.5 내지 0.5의 범위에서 광신호 함수 F(x, y, t)를 적분하고, 그 적분값을 화소값 P로서 출력하게 된다.

즉, 공간 방향의 원점에 그 중심이 존재하는 검출 소자(2-1)로부터 출력되는 화소값 P는, 다음의 식(149)에서 나타낸다.

…(149)

그 외의 검출 소자(2-1)도 마찬가지로, 대상으로 하는 검출 소자(2-1)의 중심을 공간 방향의 원점으로 함으로써, 식(149)에서 나타내는 화소값 P를 출력하게 된다.

그런데, 전술한 바와 같이, 3차원 함수 근사 방법에 있어서는, 광신호 함수 F(x, y, t)는, 3차원의 근사 함수 f(x, y, t)에 근사된다.

구체적으로는, 예를 들면, 근사 함수 f(x, y, t)를, N개의 변수(특징량)를 가지는 함수로 하고, 식(149)에 대응하는 입력 화소값 P(x, y, t)와 근사 함수 f(x, y, t)의 관계식을 정의한다. 이로써, N보다 큰 M개의 입력 화소값 P(x, y, t)가 취득되어 있으면, 정의된 관계식으로부터 N개의 변수(특징량)의 산출이 가능하다. 즉, 실세계 추정부(102)는, M개의 입력 화소값 P(x, y, t)를 취득하여 N개의 변수(특징량)를 연산함으로써, 광신호 함수 F(x, y, t)를 추정할 수 있다.

이 경우, 실세계 추정부(102)는, 센서(2)로부터의 입력 화상(입력 화소값)에 포함되는 데이터 정상성을 제한함으로써(즉, 데이터 정상성 검출부(101)로부터 출력되는 입력 화상에 대한 데이터 정상성 정보를 이용하여), 입력 화상 전체 중의, M개의 입력 화상 P(x, y, t)를 추출(취득)한다. 결과적으로, 예측 함수 f(x, y, t)는, 데이터 정상성에 구속된다.

예를 들면, 도 232에 나타낸 바와 같이, 입력 화상에 대응하는 광신호 함수 F(x, y, t)가, 기울기 G_F로 나타내는 공간 방향의 정상성을 가지고 있는 경우, 데이터 정상성 검출부(101)는, 입력 화상에 대한 데이터 정상성 정보로서, 각도 θ(기울기 G_F에 대응하는 기울기 G_F (도시하지 않음)로 나타내는 데이터 정상성의 방향과 X 방향이 이루는 각도 θ)를 출력하게 된다.

이 경우, 광신호 함수 F(x, y, t)를 X 방향으로 투영한 1차원의 파형(여기에서는, 이와 같은 파형을, X 단면 파형이라 한다)은, Y 방향의 어느 위치에서 투영한 경우라도 동일한 형상인 것으로 한다.

즉, 동일 형상의 X 단면 파형이, 정상성의 방향(X 방향에 대하여 각도 θ 방향)으로 이어져 있는 2차원의(공간 방향의) 파형이 존재한다고 하고, 그와 같은 2차원 파형이 시간 방향 t에 이어진 3차원 파형을, 근사 함수 f(x, y, t)로 근사한다.

환언하면, 주목 화소의 중심으로부터 Y 방향으로 위치 y 만큼 어긋난 X 단면 파형은, 주목 화소의 중심을 지나는 X 단면 파형이 X 방향으로 소정의 양(각도 θ에 따라 변화하는 양)만큼 이동한(시프트한) 파형이 된다. 그리고, 이하, 이와같은 양을, 시프트량이라고 한다.

이 시프트량은, 다음과 같이 산출이 가능하다.

즉, 기울기 V_f (예를 들면, 도 232의 기울기 V_F에 대응하는, 데이터 정상성의 방향을 나타내는 기울기 V_f)와 각도 θ는, 다음의 식(150)과 같이 나타낸다.

…(150)

그리고, 식(150)에 있어서, dx는, X 방향의 미소 이동량을 나타내고 있고, dy는, dx에 대한 Y 방향의 미소 이동량을 나타내고 있다.

따라서, X 방향에 대한 시프트량을 C_x(y)라 기술하면, 다음의 식(151)과 같이 나타난다.

…(151)

이와 같이 하여, 시프트량 C_x(y)를 정의하면, 식(149)에 대응하는 입력 화소값 P(x, y, t)와 근사 함수 f(x, y, t)의 관계식은, 다음의 식(152)과 같이 나타낸다.

…(152)

식(152)에 있어서, e는, 오차를 나타내고 있다. t_s는, t 방향의 적분 개시 위치를 나타내고 있고, t_e는, t 방향의 적분 종료 위치를 나타내고 있다. 마찬가지로, y_s는, Y 방향의 적분 개시 위치를 나타내고 있고, y_e는, Y 방향의 적분 종료 위치를 나타내고 있다. 또, x_s는, X 방향의 적분 개시 위치를 나타내고 있고, x_e는, X 방향의 적분 종료 위치를 나타내고 있다. 단, 구체적인 각 적분 범위의 각각은, 다음의 식(153)에서 나타내는 바와 같다.

…(153)

식(153)에서 나타내는 바와 같이, 주목 화소로부터 공간 방향으로 (x, y)만큼 떨어져 위치하는 화소에 대한 X 방향의 적분 범위를, 시프트량 C_x(y)만큼 이동시킴으로써, 동일 형상의 X 단면 파형이, 정상성의 방향(X 방향에 대하여 각도 θ 방향)으로 이어져 있는 것을 나타낼 수 있다.

이와 같이, 3차원 함수 근사 방법에 있어서는, 화소값 P(x, y, t)와 3차원의 근사 함수 f(x, y, t)의 관계를 식(152)(적분 범위는, 식(153))에서 나타내는 것이 가능하므로, 식(152)과 식(153)을 이용하여, 근사 함수 f(x, y, t)의 N개의 특징량을, 예를 들면, 최소 자승법 등에 의해 연산함으로써, 광신호 함수 F(x, y,t)(예를 들면, 도 232에 나타낸 바와 같은 기울기 V_F로 나타내는 공간 방향의 정상성을 가지는 광신호)의 추정이 가능하게 된다.

그리고, 광신호 함수 F(x, y, t)로 나타내는 광신호가, 예를 들면, 도 232에 나타낸 바와 같은 기울기 V_F로 나타내는 공간 방향의 정상성을 가지고 있는 경우, 다음과 같이 하여 광신호 함수 F(x, y, t)를 근사해도 된다.

즉, 광신호 함수 F(x, y, t)를 Y 방향으로 투영한 1차원의 파형(이하, 이와 같은 파형을, Y단면 파형이라고 한다)은, X 방향의 어느 위치에서 투영한 경우라도 동일한 형상인 것으로 한다.

환언하면, 동일 형상의 Y단면 파형이, 정상성의 방향(X 방향에 대하여 각도 θ 방향)에 이어져 있는 2차원의(공간 방향의) 파형이 존재한다고 하고, 그와 같은 2차원 파형이 시간 방향 t로 이어진 3차원 파형을, 근사 함수 f(x, y, t)로 근사한다.

따라서, 주목 화소의 중심으로부터 X 방향으로 x 만큼 어긋난 Y 단면 파형은, 주목 화소의 중심을 통과하는 Y 단면 파형이 Y 방향으로 소정의 시프트량(각도 θ에 따라 변화하는 시프트량)만큼 이동한 파형이 된다.

상기 시프트량은, 다음과 같이 하여 산출할 수 있다.

즉, 기울기 G_F가, 전술한 식(150)과 같이 나타나므로, Y 방향에 대한 시프트량을 C_y(x)로 기술하면, 다음의 식(154)와 같이 나타낸다.

…(154)

이와 같이 하여, 시프트량 C_y(x)을 정의하면, 식(149)에 대응하는 입력 화소값 P(x, y, t)와 근사 함수 f(x, y, t)의 관계식은, 시프트량 C_x(y)를 정의했을 때와 마찬가지로, 전술한 식(152)로 나타낸다.

단, 이번에는, 구체적인 각 적분 범위의 각각은, 다음의 식(155)에서 나타내는 바와 같이 된다.

…(155)

식(155)(및 전술한 식(152))에서 나타낸 바와 같이, 주목 화소로부터 (x, y)만큼 떨어져 위치하는 화소에 대한 Y 방향의 적분 범위를, 시프트량 C_y(x)만큼 이동시킴으로써, 동일 형상의 Y 단면 파형이, 정상성의 방향(X 방향에 대하여 각도 θ 방향)에 이어져 있는 것을 나타낼 수 있게 된다.

이와 같이, 3차원 함수 근사 방법에 있어서는, 전술한 식(152)의 우변의 적분 범위를 식(153)뿐만아니라 식(155)에 의해서도 가능하므로, 적분 범위로서 식(155)가 채용된 식(152)을 이용하여, 근사 함수 f(x, y, t)의 n개의 특징량을, 예를 들면, 최소 자승법 등에 의해 연산함으로써, 광신호 함수 F(x, y, t)(기울기 G_F로 나타내는 공간 방향의 정상성을 가지는 실세계(1)의 광신호)의 추정이 가능해진다.

이와 같이, 적분 범위를 나타내는 식(153)과 식(155)는, 정상성의 방향에 맞추어서 주변 화소를 X 방향으로 시프트 시킬지(식(153)의 경우), 또는 Y 방향으로 시프트 시킬지(식(155)의 경우)가 다를 뿐, 본질적으로는 동일한 것을 나타내고 있다.

그러나, 정상성의 방향(기울기 G_F)에 따라, 광신호 함수 F(x, y, t)를, X 단면 파형의 모임으로 파악하는 것과, Y단면 파형의 모임으로 파악하는 것은 상이하였다. 즉, 정상성의 방향이 Y 방향에 가까운 경우, 광신호 함수 F(x, y, t)를, X 단면 파형의 모임이라고 파악하는 것이 더 적합하다. 이에 비해, 정상성의 방향이 X 방향에 가까운 경우, 광신호 함수 F(x, y, t)를, Y단면 파형의 모임이라고 파악하는 것이 더 적합하다.

따라서, 실세계 추정부(102)는, 적분 범위로서 식(153)과 식(155)의 양쪽을 준비해두고, 정상성의 방향에 따라, 적선식(152)의 우변의 적분 범위로서 식(153)과 식(155) 중 어느 한쪽을 선택하면 된다.

이상, 광신호 함수 F(x, y, t)가 공간 방향(X 방향과 Y 방향)의 정상성(예를 들면, 도 232의 기울기 G_F로 나타내는 공간 방향의 정상성)을 가지는 경우에 관한 3차원 함수 방법에 대하여 설명하였으나, 3차원 함수 방법은, 도 233에 나타낸 바와 같이, 광신호 함수 F(x, y, t)가 시공간 방향(X 방향, Y 방향, 및 t 방향)의 정상성(기울기 V_F로 나타내는 정상성)을 가지는 경우에 대하여도 적용 가능하다.

즉, 도 233에 있어서, 프레임 번호＃N-1의 프레임에 대응하는 광신호 함수가 F(x, y, #N-1)가 되고, 프레임 번호＃N의 프레임에 대응하는 광신호 함수가 F(x, y, #N)가 되고, 또한, 프레임 번호＃N+1의 프레임에 대응하는 광신호 함수가 F(x, y, #N+1)가 되어 있다.

그리고, 도 233에 있어서, 도면 중, 수평 방향은, 공간 방향의 일방향인 X 방향이 되어 있고, 우상측 대각선 방향은, 공간 방향의 다른 방향인 Y 방향이 되어 있고, 또한 수직 방향은, 시간 방향인 t 방향이 되어 있다.

또, 프레임#N-1은, 프레임#N에 대하여 시간적으로 앞선 프레임이며, 프레임#N+1은, 프레임#N에 대하여 시간적으로 나중의 프레임이다. 즉, 프레임#N-1, 프레임#N, 및 프레임#N+1은, 프레임#N-1, 프레임#N, 및 프레임#N+1의 순서로 나타낸다.

도 233의 예에서는, 기울기 V_F로 나타내는 방향(도면 중 좌측 하단 앞에서부터 우측 상단의 내측 방향)에 따른 단면의 광의 레벨이 대략 일정하게 되어 있다. 따라서, 도 233의 예에서는, 광신호 함수 F(x, y, t)는, 기울기 V_F로 나타내는 시공간 방향의 정상성을 가지고 있다고 할 수 있다.

이 경우, 시공간 방향의 정상성을 나타내는 함수 C(x, y, t)를 정의하고, 또한 정의된 함수 C(x, y, t)를 이용하여, 전술한 식(152)의 적분 범위를 정의하면, 전술한 식(153)이나 식(155)와 같이, 근사 함수 f(x, y, t)의 N개의 특징량의 산출이 가능하게 된다.

함수 C(x, y, t)는, 정상성의 방향을 나타내는 함수이면 특히 한정되지 않는다. 단, 이하에 있어서는, 직선적인 정상성인 것으로 하여, 그에 대응하는 함수 C(x, y, t)로서 전술한 공간 방향의 정상성을 나타내는 함수인 시프트량 C_x(y)(식(151))이나 시프트량 C_y(x)(식(153))에 해당하는, C_x(t)와 C_y(t)를 다음과 같이 정의하고자 한다.

즉, 전술한 공간 방향의 데이터 정상성을 나타내는 기울기 G_F에 대응하는, 시공간 방향의 데이터 정상성의 기울기를 V_f라 하면, 상기 기울기 V_f를 X 방향의 기울기(이하, V_fx라고 기술)와 Y 방향의 기울기(이하, V_fy라고 기술)로 분할하면, 기울기 V_fx는 다음의 식(156)에서, 기울기 V_fy는 다음의 식(157)에서, 각각 나타낸다.

…(156)

…(157)

이 경우, 함수 C_x(t)는, 식(156)에서 나타내는 기울기 V_fx를 이용하여, 다음의 식(158)과 같이 나타낸다.

…(158)

마찬가지로, 함수 C_y(t)는, 식(157)에서 나타내는 기울기 V_fy를 이용하여, 다음의 식(159)와 같이 나타낸다.

…(159)

이와 같이 하여, 시공간 방향의 정상성(2511)을 나타내는 함수 C_x(t)와 함수C_y(t)를 정의하면, 식(152)의 적분 범위는, 다음의 식(160)과 같이 나타낸다.

…(160)

이와 같이, 3차원 함수 근사 방법에 있어서는, 화소값 P(x, y, t)와 3차원의 근사 함수 f(x, y, t)의 관계를 식(152)에서 나타내는 것이 가능하므로, 상기 식(152)의 우변의 적분 범위로서 식(160)을 이용하여, 근사 함수 f(x, y, t)의 n＋1개의 특징량을, 예를 들면, 최소 자승법 등에 의해 연산함으로써, 광신호 함수 F(x, y, t)(시공간 방향의 소정의 방향으로 정상성을 가지는 실세계(1)의 광신호)를 추정하는 것이 가능해진다.

도 234는, 이와 같은 3차원 함수 근사 방법을 이용하는 실세계 추정부(102)의 구성예를 나타내고 있다.

그리고, 3차원 함수 근사 방법을 이용하는 실세계 추정부(102)가 연산하는 근사 함수 f(x, y, t)(실제로는, 그 특징량(계수)을 연산한다)는, 특히 한정되지 않지만, 이하의 설명에 있어서는, n(n = N-1)차의 다항식이 된다.

도 234에 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(2521), 입력 화상 기억부(2522), 입력 화소값 취득부(2523), 적분 성분 연산부(2524), 정규 방정식 생성부(2525), 및 근사 함수 생성부(2526)가 형성되어 있다.

조건 설정부(2521)는, 주목 화소에 대응하는 광신호 함수 F(x, y, t)를 추정하기 위해 사용하는 화소의 범위(탭 범위)와, 근사 함수 f(x, y, t)의 차수 n을 설정한다.

입력 화상 기억부(2522)는, 센서(2)로부터의 입력 화상(화소값)을 1차적으로 저장한다.

입력 화소값 취득부(2523)는, 입력 화상 기억부(2522)에 기억된 입력 화상 중의, 조건 설정부(2521)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(2525)에 공급한다. 즉, 입력 화소값 테이블은, 입력 화상의 영역에 포함되는 각 화소의 각각의 화소값이 기술된 테이블이다.

그런데, 전술한 바와 같이, 3차원 함수 근사 방법을 이용하는 실세계 추정부(102)는, 전술한 식(152)(단 적분 범위는, 식(153), 식(156), 또는 식(160))을 이용하여 최소 자승법에 의해 근사 함수 f(x, y)의 N개의 특징량(지금의 경우, 각 차의 계수)을 연산한다.

식(152)의 우변은, 그 적분을 연산함으로써, 다음의 식(161)과 같이 나타낼 수 있다.

…(161)

식(161)에 있어서, w_i는, i차항의 계수(특징량)를 나타내고 있고, 또, S_i(x_s, x_e, y_s, y_e, t_s, t_e)는, i차항의 적분 성분을 나타내고 있다. 단, x_s는 X 방향의 적분 범위의 개시 위치를, x_e는 X 방향의 적분 범위의 종료 위치를, y_s는 Y 방향의 적분 범위의 개시 위치를, y_e는 Y 방향의 적분 범위의 종료 위치를, t_s는 t 방향의 적분 범위의 개시 위치를, t_e는 t 방향의 적분 범위의 종료 위치를, 각각 나타내고 있다.

적분 성분 연산부(2524)는, 상기 적분 성분 S_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산한다.

즉, 적분 성분 연산부(2524)는, 조건 설정부(2521)에 의해 설정된 탭 범위 및 차수, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중의 각도 또는 움직임(적분 범위로서 전술한 식(153) 또는 식(156)이 이용되는 경우에는 각도이며, 전술한 식(160)이 이용되는 경우에는 움직임이다)에 따라 적분 성분 S_i(xs, xe, ys, ye, t_s, te)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(2525)에 공급한다.

정규 방정식 생성부(2525)는, 입력 화소값 취득부(2523)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(2524)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(161)을 최소 자승법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(2526)에 출력한다. 정규 방정식의 예에 대하여서는, 후술한다.

근사 함수 생성부(2526)는, 정규 방정식 생성부(2525)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해법으로 풀어서, 특징량 w_i(지금의 경우, 3차원 다항식인 화소값 함수 f(x, y)의 계수 w_i)의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 235의 흐름도를 참조하여, 3차원 함수 근사 방법이 적용되는 실세계의 추정 처리(도 40의 스텝 S102의 처리)에 대하여 설명한다.

처음에, 스텝 S2501에 있어서, 조건 설정부(2521)는, 조건(탭 범위와 차수)을 설정한다.

예를 들면, 지금, L개의 화소로 이루어지는 탭 범위가 설정된 것으로 한다. 또, 각 화소의 각각에 대하여, 소정의 번호 l(l은, 0 내지 L-1중 어느 하나의 정수치)가 부여되는 것으로 한다.

다음에, 스텝 S2502에 있어서, 조건 설정부(2521)는, 주목 화소를 설정한다.

스텝 S2503에 있어서, 입력 화소값 취득부(2523)는, 조건 설정부(2521)에 의해 설정된 조건(탭 범위)에 따라 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 지금의 경우, L개의 입력 화소값 P(x, y, t)로 이루어지는 테이블이 생성되게 된다. 여기서, L개의 입력 화소값 P(x, y, t)의 각각을, 그 화소의 번호 l의 함수로서 P(l)이라고 기술하기로 한다. 즉, 입력 화소값 테이블은, L개의 P(l)이 포함되는 테이블이 된다.

스텝 S2504에 있어서, 적분 성분 연산부(2524)는, 조건 설정부(2521)에 의해 설정된 조건(탭 범위 및 차수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 또는 움직임)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

단, 지금의 경우, 전술한 바와 같이, 입력 화소값은, P(x, y, t)가 아니고, 화소의 번호 l의 값인 P(l)가 취득되므로, 적분 성분 연산부(2524)는, 전술한 식(161)의 적분 성분 S_i(x_s, x_e, y_s, y_e, t_s, t_e)를, l의 함수인 적분 성분 S_i(l)를 연산하게 된다. 즉, 적분 성분 테이블은, L × i개의 S_i (l)이 포함되는 테이블이 된다.

그리고, 스텝 S2503의 처리와 스텝 S2504의 처리의 순서는, 도 235의 예에 한정되지 않고, 스텝 S2504의 처리가 먼저 실행되어도 되고, 스텝 S2503의 처리와 스텝 S2504의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S2505에 있어서, 정규 방정식 생성부(2525)는, 스텝 S2503의 처리에서 입력 화소값 취득부(2523)에 의해 생성된 입력 화소값 테이블과, 스텝 S2504의 처리에서 적분 성분 연산부(2524)에 의해 생성된 적분 성분 테이블에 따라, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 최소 자승법에 의하여, 전술한 식(161)에 대응하는 다음의 식(162)의 특징량 w_i를 연산한다. 그리고, 그에 대응하는 정규 방정식은, 다음의 식(163)과 같이 나타낸다.

…(162)

…(163)

식(163)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(164) 내지 (166)과 같이 정의하면, 정규 방정식은, 다음의 식(167)과 같이 나타낸다.

…(164)

…(165)

…(166)

…(167)

식(165)에서 나타낸 바와 같이, 행렬 W_MAT의 각 성분은, 구하고자 하는 특징량 w_i이다. 따라서, 식(167)에 있어서, 좌변의 행렬 S_MAT와 우변의 행렬 P_MAT가 결정되면, 행렬 해법에 의해 행렬 W_MAT(즉, 특징량 w_i)의 산출이 가능하다.

구체적으로는, 식(164)에서 나타낸 바와 같이, 행렬 S_MAT의 각 성분은, 전술한 적분 성분 S_i(l)이 이미 알려져 있으면 연산 가능하다. 적분 성분 S_i(l)은, 적분 성분 연산부(2524)로부터 공급된 적분 성분 테이블에 포함되어 있으므로, 정규 방정식 생성부(2525)는, 적분 성분 테이블을 이용하여 행렬 S_MAT의 각 성분을 연산할수 있다.

또, 식(166)에서 나타낸 바와 같이, 행렬 P_MAT의 각 성분은, 적분 성분 S_i(l)과 입력 화소값 P(l)이 이미 알려져 있으면 연산 가능하다. 적분 성분 S_i(l)은, 행렬 S_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 입력 화소값 P(l)은, 입력 화소값 취득부(2523)로부터 공급된 입력 화소값 테이블에 포함되어 있으므로, 정규 방정식 생성부(2525)는, 적분 성분 테이블과 입력 화소값 테이블을 이용하여 행렬 P_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(2525)는, 행렬 S_MAT와 행렬 P_MAT의 각 성분을 연산하고, 그 연산 결과(행렬 S_MAT와 행렬 P_MAT의 각 성분)를 정규 방정식 테이블로서 근사 함수 생성부(2526)에 출력한다.

정규 방정식 생성부(2526)로부터 정규 방정식 테이블이 출력되면, 스텝 S2506에 있어서, 근사 함수 생성부(2526)는, 정규 방정식 테이블에 따라, 전술한 식(167)의 행렬 W_MAT의 각 성분인 특징량 w_i (즉, 근사 함수 f(x, y, t)의 계수 w_i)를 연산한다.

구체적으로는, 전술한 식(167)의 정규 방정식은, 다음의 식(168)과 같이 변형할 수 있다.

…(168)

식(168)에 있어서, 좌변의 행렬 W_MAT의 각 성분이, 구하고자 하는 특징량 w_i이다. 또, 행렬 S_MAT와 행렬 P_MAT의 각각의 각 성분은, 정규 방정식 생성부(2525)로부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(2526)는, 정규 방정식 테이블을 이용하여, 식(168)의 우변의 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.

스텝 S2507에 있어서, 근사 함수 생성부(2526)는, 모든 화소의 처리가 종료되었는지의 여부를 판정한다.

스텝 S2507에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S2502으로 돌아가, 그 이후의 처리가 반복된다.

즉, 아직 주목 화소로 여겨지지 않는 화소가, 차례로 주목 화소가 되어, 스텝 S2502 내지 S2507의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S5407에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료된다.

이상, 설명한 바와 같이, 3차원 함수 근사 방법은, 1차원이나 2차원이 아닌, 시공간 방향의 3차원의 적분 효과를 고려하고 있으므로, 1차원 다항식 근사 방법 및 2차원 다항식 근사 방법과 비교하여, 보다 정확하게 실세계(1)의 광신호를 추정하는 것이 가능하게 된다.

환언하면, 3차원 함수 근사 방법에 있어서는, 예를 들면, 도 205(도 3)의 실세계 추정부(102)(그 구성은, 예를 들면, 도 234)는, 각각 시공간 적분 효과를 가지는, 센서의 복수개의 검출 소자(예를 들면, 도 231의 센서(2)의 검출 소자(2-1))에 의해 실세계(1)의 광신호가 투영되어, 실세계(1)의 광신호의 정상성(예를 들면, 도 232의 기울기 G_F, 또는 도 233의 기울기 V_F로 나타내는 정상성)의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상의, 시공간 방향 중 적어도 1차원 방향(예를 들면, 도 233의 공간 방향 X, 공간 방향 Y, 및 시간 방향 t의 3차원 방향)의 위치에 대응하는 상기 화소의 상기 화소값(예를 들면, 식(153)의 좌변의 입력 화소값 P(x, y, z)가, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 전술한 식(153)의 우변에 나타낸 바와 같이, 근사 함수 f(x, y, t)가 X 방향, Y 방향, 및 t 방향의 3차원으로 적분된 값)인 것으로 하여, 실세계의 광신호를 나타내는 광신호 함수 F(구체적으로는, 예를 들면, 도 232이나 도 233의 광신호 함수 F(x, y, t))를 소정의 근사 함수 f(구체적으로는, 예를 들면, 식(152)의 우변의 근사 함수 f(x, y, t))로 근사함으로써, 광신호 함수 F를 추정한다.

또한, 예를 들면, 도 205(도 3)의 데이터 정상성 검출부(101)가, 입력 화상의 데이터 정상성을 검출한 경우, 실세계 추정부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하여, 화상 데이터의 시공간 방향 중 적어도 1차원 방향의 위치에 대응하는 화소의 화소값이, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 광신호 함수 F를 근사 함수 f로 근사함으로써, 광신호 함수 F를 추정한다.

상세하게는, 예를 들면, 실세계 추정부(102)는, 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하는 선으로부터의 적어도 1차원 방향을 따른 거리(예를들면, 전술한 식(151)의 시프트량 C_x(y)에 대응하는 화소의 화소값이, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 전술한 식(153)에서 나타낸 바와 같은 적분 범위에서, 식(152)의 우변에 나타낸 바와 같이, 근사함수 f(x, y, t)가 X 방향, Y 방향, 및 t 방향의 3차원으로 적분된 값)인 것으로 하여, 광신호 함수 F를 근사 함수로 근사함으로써, 광신호 함수를 추정한다.

따라서, 3차원 함수 근사 방법에 의해, 보다 정확하게 실세계(1)의 광신호를 추정하는 것이 가능하게 된다.

다음에, 도 236 내지 도 257을 참조하여, 화상 생성부(103)(도 3)의 실시예의 일례에 대하여 설명한다.

도 236은, 이 예의 실시예의 원리를 설명하는 도면이다.

도 236에서 나타낸 바와 같이, 이 예의 실시예에 있어서는, 실세계 추정부(102)가, 함수 근사 방법을 이용하는 것이 전제가 된다. 즉, 센서(2)에 입사되는 화상인, 실세계(1)의 신호(광의 강도의 분포)가, 소정의 함수 F로 표시되는 것으로서, 실세계 추정부(102)가, 센서(2)로부터 출력된 입력 화상(화소값 P)과, 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보를 사용하여, 함수 F를 소정의 함수 f로 근사함으로써, 함수 F를 추정하는 것이 전제가 된다.

그리고, 이하, 이 예의 실시예의 설명에 있어서도, 화상인, 실세계(1)의 신호를, 특히 광신호라 하고, 함수 F를, 특히 광신호 함수 F 라고 한다. 또, 함수 f를, 특히 근사 함수 f라고 한다.

그래서, 이 예의 실시예에 있어서는, 이와 같은 전제에 따라서, 화상 생성부(103)가, 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보와, 실세계 추정부(102)로부터 출력된 실세계 추정 정보(도 236의 예에서는, 근사 함수 f의 특징량)를 사용하여, 근사 함수 f를 소정의 시공간 범위에서 적분하고, 그 적분값을 출력 화소값 M(출력 화상)으로서 출력한다. 그리고, 이 예의 실시예에 있어서는, 입력 화상의 화소와 출력 화상의 화소를 구별하기 위하여, 입력 화소값을 P로 기술하고, 출력 화소값을 M으로 기술한다.

환언하면, 광신호 함수 F가 한번 적분되어 입력 화소값 P가 되고, 상기 입력 화소값 P로부터 광신호 함수 F가 추측되고(근사 함수 f로 근사 되고), 추측된 광신호 함수 F(즉, 근사 함수 f)가 재차 적분되어, 출력 화소값 M이 생성된다.

따라서, 이하, 화상 생성부(103)가 실행하는 근사 함수 f의 적분을, 재적분이라고 한다. 또, 이 예의 실시예를, 재적분 방법이라고 한다.

그리고, 후술하는 바와 같이, 재적분 방법에 있어서, 출력 화소값 M이 생성되는 경우의 근사 함수 f의 적분 범위는, 입력 화소값 P가 생성되는 경우의 광신호 함수 F의 적분 범위(즉, 공간 방향에 있어서는, 센서(2)의 검출 소자의 세로폭과 가로폭이며, 시간 방향에 있어서는, 센서(2)의 노광 시간)로 한정되지 않고, 임의의 적분 범위가 가능하다.

예를 들면, 출력 화소값 M이 생성되는 경우, 근사 함수 f의 적분 범위 중의 공간 방향의 적분 범위를 가변함으로써, 그 적분 범위에 따라 출력 화상의 화소 피치를 가변하는 것이 가능하게 된다. 즉, 공간 해상도의 창조가 가능하게 된다.

마찬가지로, 예를 들면, 출력 화소값 M이 생성되는 경우, 근사 함수 f의 적분 범위 중의 시간 방향의 적분 범위를 가변함으로써, 시간 해상도의 창조가 가능하게 된다.

이하, 도면을 참조하여, 이와 같은 재적분 방법 중 3개의 구체적인 방법에 대하여 각각 개별적으로 설명한다.

즉, 3개의 구체적인 방법이란, 함수 근사 방법의 3개의 구체적인 방법(실세계 추정부(102)의 실시예의 전술한 3개의 구체적인 예)의 각각에 대응하는 재적분 방법이다.

구체적으로, 첫번째 방법은, 전술한 1차원 다항식 근사 방법(함수 근사 방법의 하나)에 대응하는 재적분 방법이다. 따라서, 첫번째의 방법에서는 1차원의 재적분을 행하게 되므로, 이하, 이와 같은 재적분 방법을, 1차원 재적분 방법이라고 한다.

두번째 방법은, 전술한 2차원 다항식 근사 방법(함수 근사 방법의 하나)에 대응하는 재적분 방법이다. 따라서, 두번째 방법에서는 2차원의 재적분을 행하게 되므로, 이하, 이와 같은 재적분 방법을, 2차원 재적분 방법이라고 한다.

세번째의 방법은, 전술한 3차원 함수 근사 방법(함수 근사 방법의 하나)에 대응하는 재적분 방법이다. 따라서, 세번째의 방법에서는 3차원의 재적분을 행하게 되므로, 이하, 이와 같은 재적분 방법을, 3차원 재적분 방법이라고 한다.

이하, 1차원 재적분 방법, 2차원 재적분 방법, 및 3차원 재적분 방법의 각각의 상세에 대하여, 그 순서대로 설명한다.

처음에, 1차원 재적분 방법에 대하여 설명한다.

1차원 재적분 방법에 있어서는, 1차원 다항식 근사 방법에 의해 근사 함수 f(x)가 이미 생성되어 있는 것이 전제가 된다.

즉, 3차원의 공간 위의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 광신호 함수 F(x, y, t)를, 공간 방향인 X 방향, Y 방향, 및 Z 방향, 및 시간 방향인 t 방향 중의 소정의 일방향(예를 들면, X 방향)에 투영한 1차원의 파형(재적분 방법의 설명에 있어서도, 이와 같은 파형 중 X 방향으로 투영한 파형을, X 단면 파형 F(x)이라고 함)이, n차(n은, 임의의 정수)의 다항식인 근사 함수 f(x)로 근사되어 있는 것이 전제가 된다.

이 경우, 1차원 재적분 방법에 있어서는, 출력 화소값 M은, 다음의 식(169)과 같이 연산된다.

…(169)

그리고, 식(169)에 있어서, x_s는, 적분 개시 위치를 나타내고 있고, x_e는, 적분 종료 위치를 나타내고 있다. 또, G_e는, 소정의 게인을 나타내고 있다.

구체적으로는, 예를 들면, 지금, 실세계 추측부(102)가, 도 237에 나타낸 바와 같은 화소(3101)(센서(2)의 소정의 1개의 검출 소자에 대응하는 화소(3101)를 주목 화소로서, 도 237에 나타낸 바와 같은 근사 함수 f(x)(X 단면 파형 F(x)의 근사 함수 f(x))를 이미 생성하고 있는 것으로 한다.

그리고, 도 237의 예에서는, 화소(3101)의 화소값(입력 화소값)이 P가 되고, 또한, 화소(3101)의 형상이, 한변의 길이가 1인 정방형이 되어 있다. 또, 공간 방향 중의, 화소(3101)의 한변에 평행한 방향(도면 중 수평 방향)이 X 방향이 되고, X 방향으로 수직인 방향(도면 중 수직 방향)이 Y 방향이 되어 있다.

또, 도 237의 하측에, 화소(3101)의 중심이 원점이 되는 공간 방향(X 방향과 Y 방향)의 좌표계(이하, 주목 화소 좌표계 라고 함)와, 그 좌표계에 있어서의 화소(3101)가 나타나 있다.

또한, 도 237의 상측으로, y = 0(y는, 도면 중 하측에 나타낸 주목 화소 좌표계의 Y 방향의 좌표값)에 있어서의 근사 함수 f(x)를 그래프화한 것이 나타나 있다. 이 그래프에 있어서, 도면 중 수평 방향으로 평행한 축은, 도면 중 하측에 나타낸 주목 화소 좌표계의 X 방향의 x축과 동일한 축이며(원점도 동일하며), 도면 중 수직 방향으로 평행한 축은, 화소값을 나타내는 축이 되어 있다.

이 경우, 근사 함수 f(x)와 화소(3101)의 화소값 P 사이에는, 다음의 식(170)의 관계가 성립한다.

…(170)

또, 도 237에 나타낸 바와 같이, 화소(3101)는, 기울기 G_F로 나타내는 공간 방향의 데이터 정상성을 가지고 있는 것으로 한다. 그리고, 데이터 정상성 검출부(101)(도 236)가, 기울기 G_F로 나타내는 데이터 정상성에 대응하는 데이터 정상성 정보로서, 도 237에 나타낸 바와 같은 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 예를 들면, 1차원 재적분 방법에 있어서는, 도 238에 나타낸 바와 같이, X 방향으로 -0.5 내지 0.5의 범위, 또한 Y 방향으로 -0.5 내지 0.5의 범위(도 237의 화소(3101)이 위치하는 범위)에, 4개의 화소(3111) 내지 화소(3114)를 새로 창조할 수 있다.

그리고, 도 238의 하측에, 도 237의 것과 동일한 주목 화소 좌표계와, 상기 주목 화소 좌표계에 있어서의 화소(3111) 내지 화소(3114)가 나타나 있다. 또, 도 238의 상측에, 도 237의 것과 동일한 그래프(y = 0에 있어서의 근사 함수 f(x)를 그래프화한 것)가 나타나 있다.

구체적으로는, 도 238에 나타낸 바와 같이, 1차원 재적분 방법에 있어서는, 식(171)에 의해 화소(3111)의 화소값 M1의 산출이, 식(172)에 의해 화소(3112)의 화소값 M2의 산출이, 식(173)에 의해 화소(3113)의 화소값 M3의 산출이, 식(174)에 의해 화소(3114)의 화소값 M4의 산출이, 각각 가능하다.

…(171)

…(172)

…(173)

…(174)

그리고, 식(171)의 x_s1, 식(172)의 x_s2, 식(173)의 x_s3, 및 식(174)의 x_s4의 각각은, 대응하는 식의 적분 개시 위치를 나타내고 있다. 또, 식(171)의 x_e1, 식(172)의 x_e2, 식(173)의 x_e3, 및 식(174)의 x_e4의 각각은, 대응하는 식의 적분 종료 위치를 나타내고 있다.

식(171) 내지 식(174)의 각각의 우변의 적분 범위는, 화소(3111) 내지 화소(3114)의 각각의 화소폭(X 방향의 길이)이 된다. 즉, x_e1-x_s1, x_e2-x_s2, x_e3-x_s3, x_e4-x_s4의 각각은, 0.5가 된다.

단, 지금의 경우, y = 0에 있어서의 근사 함수 f(x)와 동일 형상의 1차원의 파형이, Y 방향이 아니고, 기울기 G_F로 나타내는 데이터 정상성의 방향(즉, 각도 θ 방향)에 이어져 있다고 생각할 수 있다(실제로는, y = 0에 있어서의 X 단면 파형 F(x)와 동일 형상의 파형이 정상성의 방향으로 이어져 있다). 즉, 도 238의 주목 화소 좌표계에 있어서의 원점(0, 0)(도 237의 화소(3101)의 중심)에 있어서의 화소값 f(0)를 화소값 f1으로 한 경우, 화소값 f1이 계속될 방향은, Y 방향이 아니고, 기울기 G_F로 나타내는 데이터 정상성의 방향(각도 θ 방향)이다.

환언하면, Y 방향의 소정의 위치 y(단, y는0이외의 수치)에 있어서의 근사 함수 f(x)의 파형을 생각한 경우, 화소값 f1로 되는 위치는, 위치(0, y)가 아니고, 위치(0, y)로부터 X 방향으로 소정의 양(여기에서도, 이와 같은 양을 시프트량이라고 함.또, 시프트량은, Y 방향의 위치 y에 의존하는 양이므로, 이 시프트량을 C_x(y)라고 기술하기로 함)만큼 이동한 위치(C_x(y), y)이다.

따라서, 전술한 식(171) 내지 식(174)의 각각의 우변의 적분 범위로서, 구하고 싶으느 화소값 M(l)(단, l는, 1 내지 4 중 어느 하나의 정수치)의 중심이 존재하는 Y 방향의 위치 y를 고려하여 범위, 즉, 시프트량 C_x(y)을 고려한 적분 범위의 설정이 필요하다.

구체적으로는, 예를 들면, 화소(3111)과 화소(3112)의 중심이 존재하는 Y 방향의 위치 y는, y = 0이 아니고, y = 0.25이다.

따라서, y = 0.25에 있어서의 근사 함수 f(x)의 파형은, y = 0에 있어서의 근사 함수 f(x)의 파형을 X 방향으로 시프트량 C_x(0.25)만큼 이동시킨 파형에 해당한다.

환언하면, 전술한 식(171)에 있어서, 화소(3111)에 대한 화소값 M1은, y = 0에 있어서의 근사 함수 f(x)를 소정의 적분 범위(개시 위치 x_s1로부터 종료 위치 x_e1까지)에서 적분한 것이라 하면, 그 적분 범위는, 개시 위치 x_s1 = -0.5로부터 종료 위치 x_e1 = 0까지의 범위(화소(3111)이 X 방향으로 차지하는 범위 자체)가 아니고, 도 238에 나타낸 범위, 즉, 개시 위치x_s1 = -0.5 + C_x(0.25)로부터 종료 위치 x_e1 = 0 + C_x(0.25)(시프트량 C_x(0.25)만큼 화소(3111)를 임시로 이동시켰을 경우에 있어서의, 화소(3111)가 X 방향으로 차지하는 범위)가 된다.

마찬가지로, 전술한 식(172)에 있어서, 화소(3112)에 대한 화소값 M2는, y = 0에 있어서의 근사 함수 f(x)를 소정의 적분 범위(개시 위치 x_s2로부터 종료 위치 x_e2까지)에서 적분한 것으로 하면, 그 적분 범위는, 개시 위치 x_s2 = 0으로부터 종료 위치 x_e2 = 0.5까지의 범위(화소(3112)의 X 방향으로 차지하는 범위 자체)가 아니고, 도 238에서 나타낸 범위, 즉, 개시 위치 x_s2 = 0 + C_x(0.25)로부터 종료 위치 x_e1 = 0.5 + C_x(0.25)(시프트량 C_x(0.25)만큼 화소(3112)를 임시로 이동시켰을 경우에 있어서의, 화소(3112)의 X 방향으로 차지하는 범위)가 된다.

또, 예를 들면, 화소(3113)와 화소(3114)의 중심이 존재하는 Y 방향의 위치 y는, y = 0이 아니고, y = -0.25이다.

따라서, y = -0.25에 있어서의 근사 함수 f(x)의 파형은, y = 0에 있어서의 근사 함수 f(x)의 파형을 X 방향으로 시프트량 C_x(-0.25)만큼 이동시킨 파형에 해당한다.

환언하면, 전술한 식(173)에 있어서, 화소(3113)에 대한 화소값 M(3)는, y = 0에 있어서의 근사 함수 f(x)를 소정의 적분 범위(개시 위치 x_s3로부터 종료 위치 x_e3까지)에서 적분한 것으로 하면, 그 적분 범위는, 개시 위치 x_s3 = -0.5로부터 종료 위치 x_e3 = 0까지의 범위(화소(3113)의 X 방향으로 차지하는 범위 자체)가 아니고, 도 238에 나타낸 범위, 즉, 개시 위치x_s3 = -0.5 + C_x(-0.25)로부터 종료 위치 x_e3 = 0 + C_x(-0.25)(시프트량 C_x(-0.25)만큼 화소(3113)를 임시로 이동시켰을 경우에 있어서의, 화소(3113)의 X 방향으로 차지하는 범위)가 된다.

마찬가지로, 전술한 식(174)에 있어서, 화소(3114)에 대한 화소값 M4는, y = 0에 있어서의 근사 함수 f(x)를 소정의 적분 범위(개시 위치 x_s4로부터 종료 위치 x_e4까지)에서 적분한 것으로 하면, 그 적분 범위는, 개시 위치 x_s4 = 0부터 종료 위치 x_e4 = 0.5까지의 범위(화소(3114)의 X 방향이 차지하는 범위 자체)가 아니고, 도 238에 나타낸 범위, 즉, 개시 위치x_s4 = 0 + C_x(-0.25)로부터 종료 위치x_e1 = 0.5 + C_x(-0.25)(시프트량 C_x(-0.25)만큼 화소(3114)를 임시로 이동시켰을 경우에 있어서의, 화소(3114)의 X 방향으로 차지하는 범위)가 된다.

따라서, 화상 생성부(102)(도 236)는, 전술한 식(171) 내지 식(174)의 각각에, 전술한 적분 범위 중 대응하는 것을 대입하여 각각 연산하고, 그들의 연산 결과를 출력 화소값 M(1) 내지 M(4)의 각각으로서 출력하게 된다.

이와 같이, 화상 생성부(102)는, 1차원 재적분 방법을 이용함으로써, 센서(2)(도 236)로부터의 출력 화소(3101)(도 237)에 있어서의 화소로서, 출력 화소(3101)보다 공간 해상도가 높은 4개의 화소, 즉, 화소(3111) 내지 화소(3114)(도 238)를 창조할 수 있다. 또한, 도시는 하지 않지만, 전술한 바와 같이, 화상 생성부(102)는, 화소(3111) 내지 화소(3114)뿐만아니라, 적분 범위를 적절하게 바꾸면, 출력 화소(3101)에 대하여 임의의 배율의 공간 해상도의 화소를 열화시키지 않고 창조할 수 있다.

도 239는, 이와 같은 1차원 재적분 방법을 이용하는 화상 생성부(103)의 구성예를 나타내고 있다.

도 239에서 나타낸 바와 같이, 이 예의 화상 생성부(103)에는, 조건 설정부(3121), 특징량 기억부(3122), 적분 성분 연산부(3123), 및 출력 화소값 연산부(3124)가 형성되어 있다.

조건 설정부(3121)는, 실세계 추정부(102)로부터 공급된 실세계 추정 정보(도 239의 예에서는, 근사 함수 f(x)의 특징량)에 따라 근사 함수 f(x)의 차수 n을 설정한다.

조건 설정부(3121)는 또, 근사 함수 f(x)를 재적분하는 경우(출력 화소값을 연산하는 경우)의 적분 범위를 설정한다. 그리고, 조건 설정부(3121)가 설정하는 적분 범위는, 화소의 폭일 필요는 없다. 예를 들면, 근사 함수 f(x)는 공간 방향(X 방향)으로 적분되므로, 센서(2)(도 236)로부터의 입력 화상의 각 화소의 공간적인 크기에 대한, 출력 화소(화상 생성부(103)가 지금부터 연산하는 화소)의 상대적인 크기(공간 해상도의 배율)를 알면, 구체적인 적분 범위의 결정이 가능하다. 따라서, 조건 설정부(3121)는, 적분 범위로서 예를 들면, 공간 해상도 배율을 설정할 수도 있다.

특징량 기억부(3122)는, 실세계 추정부(102)로부터 순서대로 공급되는 근사 함수 f(x)의 특징량을 1차적으로 기억한다. 그리고, 특징량 기억부(3122)는, 근사 함수 f(x)의 특징량 전부를 기억하면, 근사 함수 f(x)의 특징량을 전부 포함하는 특징량 테이블을 생성하여, 출력 화소값 연산부(3124)에 공급한다.

그런데, 전술한 바와 같이, 화상 생성부(103)는, 전술한 식(169)를 이용하여 출력 화소값 M을 연산하지만, 전술한 식(169)의 우변에 포함되는 근사 함수 f(x)는, 구체적으로는, 다음의 식(175)과 같이 나타낸다.

…(175)

그리고, 식(175)에 있어서, w_i는, 실세계 추정부(102)로부터 공급되는 근사 함수 f(x)의 특징량을 나타내고 있다.

따라서, 전술한 식(169)의 우변의 근사 함수 f(x)에, 식(175)의 근사 함수 f(x)를 대입하여, 식(169)의 우변을 전개(연산)하면, 출력 화소값 M은, 식(176)과 같이 나타낸다.

…(176)

식(176)에 있어서, K_i(x_s, x_e)는, i차항의 적분 성분을 나타내고 있다. 즉, 적분 성분 K_i(x_s, x_e)는, 다음의 식(177)에서 나타내는 바와 같다.

…(177)

적분 성분 연산부(3123)는, 상기 적분 성분 K_i(x_s, x_e)를 연산한다.

구체적으로는, 식(177)에서 나타낸 바와 같이, 적분 성분 K_i(x_s, x_e)는, 적분 범위의 개시 위치 x_s, 및 종료 위치 x_e, 게인 G_e, 및 i차항의 i가 이미 알려져 있으면 연산 가능하다.

이들 중의, 게인 G_e는, 조건 설정부(3121)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

i의 범위는, 조건 설정부(3121)에 의해 설정된 차수 n에 의해 결정된다.

또, 적분 범위의 개시 위치 x_s, 및 종료 위치 x_e의 각각은, 지금부터 생성하는 출력 화소의 중심 화소 위치(x, y) 및 화소폭, 및 데이터 정상성의 방향을 나타내는 시프트량 C_x(y)에 의해 결정된다. 그리고, (x, y)는, 실세계 추정부(102)가 근사 함수 f(x)를 생성했을 때의 주목 화소의 중심 위치로부터의 상대 위치를 나타내고 있다.

또한, 지금부터 생성하는 출력 화소의 중심 화소 위치(x, y) 및 화소폭의 각각은, 조건 설정부(3121)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

또, 시프트량 C_x(y)와 데이터 정상성 검출부(101)로부터 공급된 각도 θ는, 식(178)과 식(179)와 같은 관계가 성립되므로, 시프트량 C_x(y)는 각도 θ에 의해 결정된다.

…(178)

…(179)

그리고, 식(178)에 있어서, G_f는, 데이터 정상성의 방향을 나타내는 경사를 나타내고, θ는, 데이터 정상성 검출부(101)(도 236)로부터 출력되는 데이터 정상성 정보의 하나인 각도(공간 방향의 일방향인 X 방향과, 기울기 G_f로 나타내는 데이터 정상성의 방향이 이루는 각도)를 나타내고 있다. 또, dx는, X 방향의 미소 이동량을 나타내고 있고, dy는, dx에 대한 Y 방향(X 방향과 수직인 공간방향)의 미소 이동량을 나타내고 있다.

따라서, 적분 성분 연산부(3123)는, 조건 설정부(3121)에 의해 설정된 차수 및 공간 해상도 배율(적분 범위), 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중의 각도 θ에 따라 적분 성분 K_i(x_s, x_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 출력 화소값 연산부(3124)에 공급한다.

출력 화소값 연산부(3124)는, 특징량 기억부(3122)로부터 공급된 특징량 테이블과, 적분 성분 연산부(3123)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(176)의 우변을 연산하고, 그 연산 결과를 출력 화소값 M로서 외부에 출력한다.

다음에, 도 240의 흐름도를 참조하여, 1차원 재적분 방법을 이용하는 화상 생성부(103)(도 239)의 화상의 생성의 처리(도 40의 스텝 S103의 처리)에 대하여 설명한다.

예를 들면, 지금, 전술한 도 40의 스텝 S102의 처리에 의해, 실세계 추측부(102)가, 전술한 도 237에 나타낸 바와 같은 화소(3101)를 주목 화소로서, 도 237에 나타낸 바와 같은 근사 함수 f(x)를 이미 생성하고 있는 것으로 한다.

또, 전술한 도 40의 스텝 S101의 처리에 의해, 데이터 정상성 검출부(101)가, 데이터 정상성 정보로서, 도 237에 나타낸 바와 같은 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 도 240의 스텝 S3101에 있어서, 조건 설정부(3121)는, 조건(차수와 적분 범위)을 설정한다.

예를 들면, 지금, 차수로서 5가 설정되고, 또한 적분 범위로서 공간 4배 밀도(화소의 피치폭이 상하 좌우 모두 1/ 2배가 되는 공간 해상도 배율)이 설정된 것으로 한다.

즉, 이 경우, 도 238에 나타낸 바와 같이, X 방향으로 -0.5 내지 0.5의 범위, 또한 Y 방향으로 -0.5 내지 0.5의 범위(도 237의 화소(3101)의 범위)에, 4개의 화소(3111) 내지 화소(3114)를 새로 창조하기로 설정된 것으로 한다.

스텝 S3102에 있어서, 특징량 기억부(3122)는, 실세계 추정부(102)로부터 공급된 근사 함수 f(x)의 특징량을 취득하여, 특징량 테이블을 생성한다.

지금의 경우, 5차의 다항식인 근사 함수 f(x)의 계수 w₀ 내지 w₅가 실세계 추정부(102)로부터 공급되므로, 특징량 테이블로서, (w₀, w₁, w₂, w₃, w₄, w₅)가 생성된다.

스텝 S3103에 있어서, 적분 성분 연산부(3123)는, 조건 설정부(3121)에 의해 설정된 조건(차수 및 적분 범위), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

구체적으로는, 예를 들면, 지금부터 생성하는 화소(3111) 내지 화소(3114)의 각각에 대하여, 번호(이와 같은 번호를, 이하, 모드 번호 이라고 함) 1 내지 4의 각각이 부여되어 있다고 하면, 적분 성분 연산부(3123)는, 전술한 식(177)의 적분 성분 K_i(x_s, x_e)를, 다음의 식(180)의 좌변에 나타낸 적분 성분 K_i(l)를 l(단, l는 모드 번호를 나타내고 있다)의 함수로서 연산한다.

K_i(l) = K_i(x_s, x_e) …(180)

구체적으로는, 지금의 경우, 다음의 식(181)에서 나타내는 적분 성분 K_i(l)이 연산된다.

…(181)

그리고, 식(181)에 있어서, 좌변이 적분 성분 K_i(l)을 나타내고, 우변이 적분 성분K_i(x_s, x_e)를 나타내고 있다. 즉, 지금의 경우, l은, 1 내지 4 중 어느 하나이며, 또한 i는 0 내지 5 중 어느 하나이므로, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 6개의 K_i(4)의 총계 24개의 K_i(l)이 연산된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(3123)는, 데이터 정상성 검출부(101)로부터 공급된 각도 θ를 사용하여, 전술한 식(178)과 식(179)로부터 시프트량 C_x(-0.25), 및 C_x(0.25)의 각각을 연산한다.

다음에, 적분 성분 연산부(3123)는, 연산한 시프트량 C_x(-0.25), 및 C_x(0.25)를 사용하여, 식(181)의 4개의 식의 각 우변의 적분 성분 K_i(x_s, x_e)의 각각을, I = 0 내지 5에 대하여 각각 연산한다. 그리고, 상기 적분 성분 K_i(x_s, x_e)의 연산에 있어서는, 전술한 식(177)이 사용된다.

그리고, 적분 성분 연산부(3123)는, 식(181)에 따라, 연산된 24개의 적분 성분 K_i(x_s, x_e)의 각각을, 대응하는 적분 성분 K_i(l)로 변환하여, 변환된 24개의 적분 성분 K_i(l)(즉, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 및 6개의 K_i(4))을 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S3102의 처리와 스텝 S3103의 처리의 순서는, 도 240의 예에 한정되지 않고, 스텝 S3103의 처리가 먼저 실행되어도 되고, 스텝 S3102의 처리와 스텝 S3103의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S3104에 있어서, 출력 화소값 연산부(3124)는, 스텝 S3102의 처리에서 특징량 기억부(3122)에 의해 생성된 특징량 테이블과, 스텝 S3103의 처리에서 적분 성분 연산부(3123)에 의해 생성된 적분 성분 테이블에 따라 출력 화소값 M(1) 내지 M(4)의 각각을 연산한다.

구체적으로는, 지금의 경우, 출력 화소값 연산부(3124)는, 전술한 식(176)에 대응하는, 식(182) 내지 식(185)의 우변을 연산함으로써, 화소(3111)(모드 번호 1의 화소)의 화소값 M(1), 화소(3112)(모드 번호 2의 화소)의 화소값 M(2), 화소(3113)(모드 번호 3의 화소)의 화소값 M(3), 및 화소(3114)(모드 번호 4의 화소)의 화소값 M(4)의 각각을 연산한다.

…(182)

…(183)

…(184)

…(185)

스텝 S3105에 있어서, 출력 화소값 연산부(3124)는, 모든 화소의 처리를 종료하였는지의 여부를 판정한다.

스텝 S3105에 있어서, 모든 화소의 처리가 아직 종료되지 않은 것으로 판정된 경우, 처리는 스텝 S3102로 되돌아가, 그 이후의 처리가 반복된다.

즉, 아직 주목 화소로 여겨지지 않는 화소가, 순서대로 주목 화소가 되어, 스텝 S3102 내지 S3104의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S3105에 있어서, 모든 화소의 처리가 종료되었다고 판정하면), 출력 화소값 연산부(3124)는, 스텝 S3106에 있어서, 화상을 출력한다. 그 후, 화상 생성 처리는 종료된다.

다음에, 도 241 내지 도 248을 참조하여, 소정의 입력 화상에 대하여, 1차원 재적분 방법을 적용하여 얻어진 출력 화상과, 다른 방법(종래의 클래스 분류 적응 처리)을 적용하여 얻어진 출력 화상의 상이한 점에 대하여 설명한다.

도 241은, 입력 화상의 원래의 화상을 나타낸 도면이며, 도 242는, 도 241의 원래의 화상에 대응하는 화상 데이터를 나타내고 있다.도 242에 있어서, 도면 중수직 방향의 축은, 화소값을 나타내고, 도면 중 우측 하방향의 축은, 화상의 공간방향의 일방향인 X 방향을 나타내고, 도면 중 우측 상방향의 축은, 화상의 공간 방향의 다른 방향인 Y 방향을 나타낸다.

그리고, 후술하는 도 244, 도 246, 및 도 248의 축의 각각은, 도 242의 축과 대응하고 있다.

도 243은, 입력 화상의 예를 나타낸 도면이다. 도 243에 나타낸 입력 화상은, 도 241에서 나타내는 화상의 2 × 2의 화소로 이루어지는 블록에 속하는 화소의 화소값의 평균값을, 1개의 화소의 화소값으로서 생성된 화상이다. 즉, 입력 화상은, 도 241에서 나타내는 화상에, 센서의 적분 특성을 모방한, 공간 방향의 적분을 적용함으로써 얻어진 화상이다. 또, 도 244는, 도 243의 입력 화상에 대응하는 화상 데이터를 나타내고 있다.

도 241에서 나타내는 원래의 화상에 있어서, 상하 방향으로부터, 대략 5도 시계 방향으로 기울어진 가는 선의 화상이 포함되어 있다. 마찬가지로, 도 243에 나타낸 입력 화상에 있어서, 상하 방향으로부터, 대략 5도 시계 방향으로 기울어진 가는 선의 화상이 포함되어 있다.

도 245는, 도 243에 나타낸 입력 화상에, 종래의 클래스 분류 적응 처리를 적용하여 얻어진 화상(이하, 도 245에 나타낸 화상을, 종래의 화상이라 한다)을 나타낸 도면이다. 또, 도 246은, 종래의 화상에 대응하는 화상 데이터를 나타내고 있다.

그리고, 클래스 분류 적응 처리는, 클래스 분류 처리와 적응 처리로 이루어지고, 클래스 분류 처리에 의하여, 데이터를, 그 성질에 따라 클래스 분류를 하고, 각 클래스마다 적응 처리를 실시하는 것이다. 적응 처리에서는, 예를 들면, 저화질 또는 표준 화질의 화상이, 소정의 탭 계수를 사용하여 맵핑(사상)됨으로써, 고화질의 화상으로 변환된다.

도 247은, 도 243에 나타낸 입력 화상에, 본 발명이 적용되는 1차원 재적분 방법을 적용하여 얻어진 화상(이하, 도 247에 나타낸 화상을, 본 발명의 화상이라 한다)을 나타낸 도면이다. 또, 도 248은, 본 발명의 화상에 대응하는 화상 데이터를 나타내고 있다.

도 245의 종래의 화상과, 도 247의 본 발명의 화상을 비교하면, 종래의 화상에 있어서는, 가는 선의 화상이, 도 241의 원래의 화상과는 상이한 데 비하여, 본 발명의 화상에 있어서는, 가는 선의 화상이, 도 241의 원래의 화상과 거의 동일한 것을 알 수 있다.

이 차이가 생기는 이유는, 종래의 클래스 분류 적응 처리는, 어디까지나 도 243의 입력 화상을 기준(원점)으로 하여 처리를 행하는 방법인데 비해, 본 발명의 1차원 재적분 방법은, 가는 선의 정상성을 고려하여, 도 241의 원래의 화상을 추정하고(원래의 화상에 대응하는 근사 함수 f(x)를 생성하고), 추정한 원래의 화상을 기준(원점)으로 하여 처리를 행하는(재적분하여 화소값을 연산함) 방법이기 때문이다.

이와 같이, 1차원 재적분 방법에 있어서는, 1차원 다항식 근사 방법에 의해 생성된 1차원의 다항식인 근사 함수 f(x)(실세계의 X 단면 파형 F(x)의 근사 함수 f(x))를 기준(원점)으로 하여, 근사 함수 f(x)를 임의의 범위에서 적분함으로써 출력 화상(화소값)이 생성된다.

따라서, 1차원 재적분 방법에 있어서는, 종래의 다른 방법과 비교하여, 원래의 화상(센서(2)에 입사되기 전의 실세계(1)의 광신호)에 보다 가까운 화상의 출력이 가능하게 된다.

환언하면, 1차원 재적분 방법에 있어서는, 도 236의 데이터 정상성 검출부(101)가, 각각 시공간 적분 효과를 가지는, 센서(2)의 복수개의 검출 소자에 의해 실세계(1)의 광신호가 투영되어, 실세계(1)의 광신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상에 있어서의 데이터 정상성을 검출하고, 실세계 추정부(102)가, 검출된 데이터의 정상성에 대응하여, 입력 화상의 시공간 방향 중 1차원 방향의 위치에 대응하는 화소의 화소값이, 상기 1차원 방향의 적분 효과에 의해 취득된 화소값으로 하여, 실세계(1)의 광신호를 나타내는 광신호 함수 F(구체적으로는, X 단면 파형 F(x))를, 소정의 근사 함수 f(x)로 근사함으로써, 광신호 함수 F를 추정하는 것이 전제가 된다.

상세하게는, 예를 들면, 검출된 데이터 정상성에 대응하는 선으로부터의 1차원 방향을 따른 거리에 대응하는 각 화소의 화소값이, 상기 1차원 방향의 적분효과에 의해 취득된 화소값으로 하여, X 단면 파형 F(x)가 근사 함수 f(x)로 근사되어 있는 것이 전제가 된다.

그리고, 1차원 재적분 방법에 있어서는, 이와 같은 전제에 따라서, 예를 들면, 도 236(도 3)의 화상 생성부(103)가, 실세계 추정부(102)에 의해 추정된 X 단면 파형 F(x), 즉, 근사 함수 f(x)를, 1차원 방향의 원하는 단위로 적분함으로써 원하는 크기의 화소에 대응하는 화소값 M을 생성하고, 그것을 출력 화상으로서 출력한다.

따라서, 1차원 재적분 방법에 있어서는, 종래의 다른 방법과 비교하여, 원래의 화상(센서(2)에 입사되기 전의 실세계(1)의 광신호)에 보다 가까운 화상의 출력이 가능하게 된다.

또, 1차원 재적분 방법에 있어서는, 전술한 바와 같이, 적분 범위는 임의이므로, 적분 범위를 가변함으로써, 입력 화상의 해상도와는 상이한 해상도(시간 해상도, 또는 공간 해상도)를 창조하는 것도 가능하게 된다. 즉, 입력 화상의 해상도에 대하여, 정수치 만이 아닌 임의의 배율의 해상도의 화상을 생성하는 것이 가능하게 된다.

또한, 1차원 재적분 방법에 있어서는, 다른 재적분 방법과 비교하여, 보다 적은 연산 처리량에 의해 출력 화상(화소값)의 산출이 가능해진다.

다음으로, 도 249 내지 도 255를 참조하여, 2차원 재적분 방법에 대하여 설명한다.

2차원 재적분 방법에 있어서는, 2차원 다항식 근사 방법에 의해 근사 함수 f(x, y)가 이미 생성되어 있는 것이 전제가 된다.

즉, 예를 들면, 도 249에서 나타낸 바와 같은, 기울기 G_F로 나타내는 공간 방향의 정상성을 가지는 실세계(1)(도 236)의 광신호를 나타내는 화상 함수 F(x, y, t)를, 공간 방향(X 방향과 Y 방향)에 투영한 파형, 즉, X－Y 평면 상의 파형 F(x, y)가, n차(n은, 임의의 정수)의 다항식인 근사 함수 f(x, y)에 근사되어 있는 것이 전제가 된다.

도 249에 있어서, 도면 중, 수평 방향은, 공간 방향의 일방향인 X 방향을, 우상측 방향은, 공간 방향의 다른 방향인 Y 방향을, 수직 방향은, 광의 레벨을, 각각 나타내고 있다. G_F는, 공간 방향의 정상성의 기울기를 나타내고 있다.

그리고, 도 249의 예에서는, 정상성의 방향은, 공간 방향(X 방향과 Y 방향)이 되어 있기 때문에, 근사의 대상이 되는 광신호의 투영 함수는, 함수 F(x, y)가 되어 있지만, 후술하는 바와 같이, 정상성의 방향에 따라, 함수 F(x, t)나 함수 F(y, t)가 근사의 대상이 될수도 있다.

도 249의 예의 경우, 2차원 재적분 방법에 있어서는, 출력 화소값 M은, 다음의 식

(186)과 같이 연산된다.

…(186)

그리고, 식(186)에 있어서, y_s는, Y 방향의 적분 개시 위치를 나타내고 있고, y_e는, Y 방향의 적분 종료 위치를 나타내고 있다. 마찬가지로, x_s는, X 방향의 적분 개시 위치를 나타내고 있고, x_e는, X 방향의 적분 종료 위치를 나타내고 있다. 또, Ge는, 소정의 게인을 나타내고 있다.

식(186)에 있어서, 적분 범위는 임의로 설정 가능하므로, 2차원 재적분 방법에 있어서는, 상기 적분 범위를 적절하게 바꾸어서, 원래의 화소(센서(2)(도 236)로부터의 입력 화상의 화소)에 대하여 임의의 배율의 공간 해상도의 화소를 열화시키지 않고 창조하는 것이 가능하게 된다.

도 250은, 2차원 재적분 방법을 이용하는 화상 생성부(103)의 구성예를 나타내고 있다.

도 250에 나타낸 바와 같이, 이 예의 화상 생성부(103)에는, 조건 설정부(3201), 특징량 기억부(3202), 적분 성분 연산부(3203), 및 출력 화소값 연산부(3204)가 구비되어 있다.

조건 설정부(3201)는, 실세계 추정부(102)로부터 공급된 실세계 추정 정보(도 250의 예에서는, 근사 함수 f(x, y)의 특징량)에 따라서, 근사 함수 f(x, y)의 차수 n을 설정한다.

조건 설정부(3201)는 또, 근사 함수 f(x, y)를 재적분하는 경우(출력 화소값을 연산하는 경우)의 적분 범위를 설정한다. 그리고, 조건 설정부(3201)가 설정하는 적분 범위는, 화소의 세로폭이나 가로폭일 필요는 없다. 예를 들면, 근사 함수 f(x, y)는 공간 방향(X 방향과 Y 방향)으로 적분되므로, 센서(2)로부터의 입력 화상의 각 화소의 공간적인 크기에 대한, 출력 화소(화상 생성부(103)가 지금부터 생성하는 화소)의 상대적인 크기(공간 해상도의 배율)를 알면, 구체적인 적분 범위의 결정이 가능하다. 따라서, 조건 설정부(3201)는, 적분 범위로서, 예를 들면, 공간 해상도 배율을 설정할 수도 있다.

특징량 기억부(3202)는, 실세계 추정부(102)로부터 순서대로 공급되는 근사 함수 f(x, y)의 특징량을 1차적으로 기억한다. 그리고, 특징량 기억부(3202)는, 근사 함수 f(x, y)의 특징량 모두를 기억하면, 근사 함수 f(x, y)의 특징량을 모두 포함하는 특징량 테이블을 생성하고, 출력 화소값 연산부(3204)에 공급한다.

여기서, 근사 함수 f(x, y)의 상세한 것에 대하여 설명한다.

예를 들면, 지금, 전술한 도 249에서 나타낸 바와 같은 기울기 G_F로 나타내는 공간 방향의 정상성을 가지는 실세계(1)(도 236)의 광신호(파형 F(x, y)로 나타내는 광신호)가, 센서(2)(도 236)에 의해 검출되어 입력 화상(화소값)으로서 출력된 것으로 한다.

또한, 예를 들면, 도 251에서 나타낸 바와 같이, 데이터 정상성 검출부(101)(도3)가, 상기 입력 화상 중, X 방향으로 4화소분, 또한 Y 방향으로 5화소분의 총계 20개의 화소(도면 중, 점선으로 나타내는 20개의 정방형)로 구성되는 입력 화상의 영역(3221)에 대하여 그 처리를 실행하고, 데이터 정상성 정보의 하나로서 각도 θ(기울기 G_F에 대응하는 기울기 G_F로 나타내는 데이터 정상성의 방향과, X 방향이 이루는 각도 θ)를 출력 한 것으로 한다.

그리고, 실세계 추정부(102)에서 보면, 데이터 정상성 검출부(101)는, 주목 화소에 있어서의 각도 θ를 단지 출력하면 되므로, 데이터 정상성 검출부(101)의 처리 범위는, 전술한 입력 화상의 영역(3221)에 한정되지 않는다.

또, 입력 화상의 영역(3221)에 있어서, 도면 중 수평 방향은, 공간 방향의 일방향인 X 방향을 나타내고 있고, 도면 중 수직 방향은, 공간 방향의 다른 방향인 Y 방향을 나타내고 있다.

또한, 도 251 중, 좌측으로부터 2화소째이며, 아래로부터 3화소째의 화소가 주목 화소가 되고, 상기 주목 화소의 중심을 원점(0, 0)이 되도록 (x, y) 좌표계가 설정되어 있다. 그리고, 원점(0, 0)을 지나고 방향과 각도 θ를 이루는 직선(데이터 정상성의 방향을 나타내는 기울기 G_F의 직선)에 대한 X 방향의 상대적인 거리(이하, 단면 방향 거리라고 한다)가 x'로 되어 있다.

또한, 도 251중, 우측의 그래프는, 3차원의 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 화상 함수 F(x, y, t)를, Y 방향의 임의의 위치 y에 있어서, X 방향으로 투영한 1차원의 파형(이하, 이와 같은 파형을, X 단면 파형 F(x')라고 한다)이 근사된 함수이며, n차(n은, 임의의 정수)의 다항식인 근사 함수 f(x')를 나타내고 있다. 우측의 그래프의 축 중, 도면 중 수평 방향의 축은, 단면 방향 거리를 나타내고 있고, 도면 중 수직 방향의 축은, 화소값을 나타내고 있다.

이 경우, 도 251에서 나타내는 근사 함수 f(x')는, n차의 다항식이므로, 다음의 식(187)과 같이 나타낸다.

…(187)

또, 각도 θ가 결정되어 있으므로, 원점(0, 0)을 지나고 X 방향과 각도 θ를 이루는 직선은 하나로 정해져서, Y 방향의 임의의 위치 y에 있어서의, 직선의 X 방향의 위치 x_l이, 다음의 식(188)와 같이 나타낸다. 단, 식(191)에 있어서, s는 cotθ를 나타내고 있다.

x_l = s × y …(188)

즉, 도 274에서 나타낸 바와 같이, 기울기 G_f로 나타내는 데이터 정상성에 대응하는 직선 상의 점은, 좌표값(x_l, y)으로 나타낸다.

식(188)로부터, 단면 방향 거리 x'는, 다음의 식(189)와 같이 나타낸다.

x' = x－x_l = x－s × y …(189)

따라서, 입력 화상의 영역(3221) 내의 임의의 위치(x, y)에 있어서의 근사 함수 f(x, y)는, 식(190)과 식(192)로부터, 다음의 식(190)과 같이 나타낸다.

…(190)

그리고, 식(190)에 있어서, w_i는, 근사 함수 f(x, y)의 특징량을 나타내고있다.

도 250으로 되돌아가, 식(190)에 포함되는 특징량 w_i 가, 실세계 추정부(102)로부터 공급되고, 특징량 기억부(3202)에 기억된다. 특징량 기억부(3202)는, 식(193)으로 나타내는 특징량 w_i 모두를 기억하면, 특징량 w_i를 모두 포함하는 특징량 테이블을 생성하여, 출력 화소값 연산부(3204)에 공급한다.

또, 전술한 식(186)의 우변의 근사 함수 f(x, y)에, 식(190)의 근사 함수 f(x, y)를 대입하여, 식(186)의 우변을 전개(연산)하면, 출력 화소값 M은, 다음의 식(191)과 같이 나타낸다.

…(191)

식(191)에 있어서, K_i(x_s, x_e, y_s, y_e)는, i차항의 적분 성분을 나타내고 있다.

즉, 적분 성분 K_i(x_s, x_e, y_s, y_e)는, 다음의 식(192)에서 나타내는 바와 같다.

…(192)

적분 성분 연산부(3203)는, 상기 적분 성분K_i(x_s, x_e, y_s, y_e)를 연산한다.

구체적으로는, 식(191)과 식(192)에서 나타낸 바와 같이, 적분 성분 K_i(x_s, x_e, y_s, y_e)는, 적분 범위의 X 방향의 개시 위치 x_s, 및 X 방향의 종료 위치 x_e, 적분 범위의 Y 방향의 개시 위치 y_s, 및 Y 방향의 종료 위치 y_e, 변수 s, 게인 G_e, 및 i차항의 i가 이미 알려져 있으면 연산 가능하다.

이들 중, 게인 G_e는, 조건 설정부(3201)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

i의 범위는, 조건 설정부(3201)에 의해 설정된 차수 n에 의해 결정된다.

변수 s는, 전술한 바와 같이, cotθ이므로, 데이터 정상성 검출부(101)로부터 출력되는 각도 θ에 의해 결정된다.

또, 적분 범위의 X 방향의 개시 위치 x_s, 및 X 방향의 종료 위치 x_e, 및 적분 범위의 Y 방향의 개시 위치 y_s, 및 Y 방향의 종료 위치 y_e의 각각은, 지금부터 생성하는 출력 화소의 중심 화소 위치(x, y) 및 화소폭에 의해 결정된다.

그리고, (x, y)는, 실세계 추정부(102)가 근사 함수 f(x)를 생성했을 때의 주목 화소의 중심 위치로부터의 상대 위치를 나타내고 있다.

또한, 지금부터 생성하는 출력 화소의 중심 화소 위치(x, y) 및 화소폭의 각각은, 조건 설정부(3201)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

따라서, 적분 성분 연산부(3203)는, 조건 설정부(3201)에 의해 설정된 차수 및 공간 해상도 배율(적분 범위), 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중, 각도 θ에 따라 적분 성분 K_i(x_s, x_e, y_s, y_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 출력 화소값 연산부(3204)에 공급한다.

출력 화소값 연산부(3204)는, 특징량 기억부(3202)로부터 공급된 특징량 테이블과, 적분 성분 연산부(3203)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(191)의 우변을 연산하고, 그 연산 결과를 출력 화소값 M로서 외부에 출력한다.

다음에, 도 252의 흐름도를 참조하여, 2차원 재적분 방법을 이용하는 화상 생성부(103)(도 251)의 화상 생성의 처리(도 40의 스텝 S103의 처리)에 대하여 설명한다.

예를 들면, 지금, 도 249에서 나타내는 함수 F(x, y)로 나타내는 광신호가 센서(2)에 입사되어 입력 화상이 되고, 전술한 도 40의 스텝 S102의 처리에 의해, 실세계 추측부(102)가, 상기 입력 화상 중의, 도 253에 나타낸 바와 같은 1개의 화소(3231)를 주목 화소로서, 함수 F(x, y)를 근사하는 근사 함수 f(x, y)를 이미 생성하고 있는 것으로 한다.

그리고, 도 253에 있어서, 화소(3231)의 화소값(입력 화소값)이 P가 되고, 또한, 화소(3231)의 형상이, 1변의 길이가 1인 정방형이 되어 있다. 또, 공간 방향 중의, 화소(3231)의 1변에 평행한 방향이 X 방향이 되고, X 방향과 수직인 방향이 Y 방향이 되어 있다. 또한, 화소(3231)의 중심이 원점이 되는 공간 방향(X 방향과 Y 방향)의 좌표계(이하, 주목 화소 좌표계라고 한다)가 설정되어 있다.

또, 도 253에 있어서, 전술한 도 40의 스텝 S101의 처리에 의해, 데이터 정상성 검출부(101)가, 화소(3231)를 주목 화소로서, 기울기 G_F로 나타내는 데이터 정상성에 대응하는 데이터 정상성 정보로서, 각도 θ를 이미 출력하고 있는 것으로 한다.

도 252로 되돌아가, 이 경우, 스텝 S3201에 있어서, 조건 설정부(3201)는, 조건(차수와 적분 범위)을 설정한다.

예를 들면, 지금, 차수로서 5가 설정되고, 또한 적분 범위로서 공간 4배밀도(화소의 피치폭이 상하 좌우 모두 1/ 2배가 되는 공간 해상도 배율)이 설정된 것으로 한다.

즉, 이 경우, 도 254에 나타낸 바와 같이, X 방향으로 -0.5 내지 0.5의 범위, 또한 Y 방향으로 -0.5 내지 0.5의 범위(도 253의 화소(3231)의 범위)에, 4개의 화소(3241) 내지 화소(3244)를 새로 창조하는 설정이 된다. 그리고, 도 254에 있어서도, 도 253과 동일한 주목 화소 좌표계가 나타나 있다.

또, 도 254에 있어서, M(1)은, 지금부터 생성되는 화소(3241)의 화소값을, M(2)는, 지금부터 생성되는 화소(3242)의 화소값을, M(3)는, 지금부터 생성되는 화소(3243)의 화소값을, M(4)는, 지금부터 생성되는 화소(3241)의 화소값을, 각각 나타내고 있다.

도 252로 되돌아가, 스텝 S3202에 있어서, 특징량 기억부(3202)는, 실세계 추정부(102)로부터 공급된 근사 함수 f(x, y)의 특징량을 취득하고, 특징량 테이블을 생성한다. 지금의 경우, 5차의 다항식인 근사 함수 f(x)의 계수 w₀ 내지 w₅가 실세계 추정부(102)로부터 공급되므로, 특징량 테이블로서, (w₀, w₁, w₂, w₃, w₄, w₅)가 생성된다.

스텝 S3203에 있어서, 적분 성분 연산부(3203)는, 조건 설정부(3201)에 의해 설정된 조건(차수 및 적분 범위), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하고, 적분 성분 테이블을 생성한다.

구체적으로는, 예를 들면, 지금부터 생성되는 화소(3241) 내지 화소(3244)의 각각에 대하여, 번호(이와 같은 번호를, 이하, 모드 번호라고 한다) 1 내지 4의 각각이 부여되어 있다고 하면, 적분 성분 연산부(3203)는, 전술한 식(191)의 적분 성분 K_i(x_s, x_e, y_s, y_e)를, 다음의 식(193)의 좌변에 나타낸 적분 성분 K_i(l)인 l(단, l는 모드 번호를 나타내고 있다)의 함수로서 연산한다.

K_i(l) = K_i(x_s, x_e, y_s, y_e) …(193)

구체적으로는, 지금의 경우, 다음의 식(194)에서 나타내는 적분 성분 Ki(l)이 연산된다.

…(194)

그리고, 식(194)에 있어서, 좌변이 적분 성분 K_i(l)을 나타내고, 우변이 적분 성분K_i(x_s, x_e, y_s, y_e)를 나타내고 있다. 즉, 지금의 경우, l은, 1 내지 4 중 어느 하나이며, 또한, i는 0 내지 5 중 어느 하나이므로, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 6개의 K_i(4)의 총계 24개의 K_i(l)이 연산된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(3203)는, 데이터 정상성 검출부(101)로부터 공급된 각도 θ를 사용하여, 전술한 식(188)의 변수 s(s = cotθ)를 연산한다.

다음에, 적분 성분 연산부(3203)은, 연산한 변수 s를 사용하여, 식(194)의 4개의 식의 각 우변의 적분 성분 K_i(x_s, x_e, y_s, y_e)의 각각을, I = 0 내지 5에 대하여 각각 연산한다. 그리고, 상기 적분 성분K_i(x_s, x_e, y_s, y_e)의 연산에 있어서는, 전술한 식(191)가 사용된다.

그리고, 적분 성분 연산부(3203)는, 식(194)에 따라, 연산한 24개의 적분 성분 K_i(x_s, x_e, y_s, y_e)의 각각을, 대응하는 적분 성분 K_i(l)로 변환하여, 변환한 24개의 적분 성분 K_i(l)(즉, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 6개의 K_i(4))을 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S3202의 처리와 스텝 S3203의 처리의 순서는, 도 252의 예에 한정되지 않고, 스텝 S3203의 처리가 먼저 실행되어도 되고, 스텝 S3202의 처리와 스텝 S3203의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S3204에 있어서, 출력 화소값 연산부(3204)는, 스텝 S3202의 처리에서 특징량 기억부(3202)에 의해 생성된 특징량 테이블과, 스텝 S3203의 처리에서 적분 성분 연산부(3203)에 의해 생성된 적분 성분 테이블에 따라 출력 화소값 M(1) 내지 M(4)의 각각을 연산한다.

구체적으로는, 지금의 경우, 출력 화소값 연산부(3204)는, 전술한 식(191)에 대응하는, 다음의 식(195) 내지 식(198)의 우변의 각각을 연산함으로써, 도 254에서 나타낸, 화소(3241)(모드 번호 1의 화소)의 화소값 M(1), 화소(3242)(모드 번호 2의 화소)의 화소값 M(2), 화소(3243)(모드 번호 3의 화소)의 화소값 M(3), 및 화소(3244)(모드 번호 4의 화소)의 화소값 M(4)의 각각을 연산한다.

…(195)

…(196)

…(197)

…(198)

단, 지금의 경우, 식(195) 내지 식(198)의 n은 모두 5가 된다.

스텝 S3205에 있어서, 출력 화소값 연산부(3204)는, 모든 화소의 처리가 종료되었는지의 여부를 판정한다.

스텝 S3205에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S3202로 되돌아가고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 여겨지지 않는 화소가, 순서대로 주목 화소가 되어, 스텝 S3202 내지 S3204의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S3205에 있어서, 모든 화소의 처리가 종료되었다고 판정하면), 출력 화소값 연산부(3204)는, 스텝 S3206에 있어서, 화상을 출력한다. 그 후, 화상의 생성의 처리는 종료된다.

이와 같이, 2차원 재적분 방법을 이용함으로써, 센서(2)(도 236)로부터의 입력 화상의 화소(3231)(도 253)에 있어서의 화소로서, 입력 화소(3231)보다 공간 해상도가 높은 4개의 화소, 즉, 화소(3241) 내지 화소(3244)(도277)를 창조할 수 있다. 또한, 도시는 하지 않지만, 전술한 바와 같이, 화상 생성부(103)는, 화소(3241) 내지 화소(3244) 뿐만아니라, 적분 범위를 적절히 바꾸는 것으로, 입력 화소(3231)에 대하여 임의의 배율의 공간 해상도의 화소를 열화시키지 않고 창조할 수 있다.

이상, 2차원 재적분 방법의 설명으로서, 공간 방향(X 방향과 Y 방향)에 대한 근사 함수 f(x, y)를 2차원 적분하는 예를 사용하였지만, 2차원 재적분 방법은, 시공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여도 적용 가능하다.

즉, 전술한 예는, 실세계(1)(도 236)의 광신호가, 예를 들면, 도 249에서 나타낸 바와 같은 기울기 G_F로 나타내는 공간 방향의 정상성을 가지는 경우의 예였으므로, 전술한 식(186)에서 나타낸 바와 같은, 공간 방향(X 방향과 Y 방향)의 2차원 적분이 포함되는 식이 이용되었다. 그러나, 2차원 적분은, 공간 방향만이 아닌, 시공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여 적용할 수도 있다.

환언하면, 2차원 재적분 방법의 전제가 되는 2차원 다항식 근사 방법에 있어서는, 광신호를 나타내는 화상 함수 F(x, y, t)가, 공간 방향의 정상성뿐만아니라, 시공간 방향(단, X 방향과 t 방향, 또는 Y 방향과 t 방향)의 정상성을 가지고 있는 경우라도, 2차원의 다항식에 의해 근사할 수 있다.

구체적으로는, 예를 들면, X 방향으로 수평으로 등속으로 움직이고 있는 물체가 있는 경우, 그 물체의 움직임의 방향은, 도 255에 나타낸 바와 같은 X-t 평면에 있어서는, 기울기 V_F와 같이 나타낸다. 환언하면, 기울기 V_F는, X-t 평면에 있어서의 시공간 방향의 정상성의 방향을 나타내고 있다고도 할 수 있다. 따라서, 데이터 정상성 검출부(101)(도 236)는, 전술한 각도 θ(X-Y 평면에 있어서의, 공간 방향의 정상성을 나타내는 기울기 G_F에 대응하는 데이터 정상성 정보)와 마찬가지로, X-t 평면에 있어서의 시공간 방향의 정상성을 나타내는 기울기 V_F에 대응하는 데이터 정상성 정보로서, 도 255에 나타낸 바와 같은 움직임 θ(엄밀하게는, 도시는 하지 않지만, 기울기 V_F에 대응하는 기울기 V_f로 나타내는 데이터 정상성의 방향과, 공간 방향의 X 방향이 이루는 각도인 움직임 θ)을 출력할 수 있다.

또, 2차원 다항식 근사 방법을 이용하는 실세계 추정부(102)(도 236)는, 움직임 θ를 전술한 각도 θ 대신 사용하면, 전술한 방법과 동일한 방법으로, 근사 함수 f(x, t)의 계수(특징량) w_i를 연산하는 것이 가능하게 된다. 단, 이 경우, 사용되는 식은, 전술한 식(190)이 아니고, 다음의 식(199)이다.

…(199)

그리고, 식(199)에 있어서, s는 cotθ(단, θ는 움직임)이다.

따라서, 2차원 재적분 방법을 이용하는 화상 생성부(103)(도 236)는, 다음의 식(200)의 우변에, 전술한 식(199)의 f(x, t)를 대입하여, 연산함으로써, 화소값 M을 산출하는 것이 가능하게 된다.

…(200)

그리고, 식(200)에 있어서, t_s는, t 방향의 적분 개시 위치를 나타내고있고, t_e는, t 방향의 적분 종료 위치를 나타내고 있다.마찬가지로, x_s는, X 방향의 적분 개시 위치를 나타내고 있고, x_e는, X 방향의 적분 종료 위치를 나타내고있다. Ge는, 소정의 게인을 나타내고 있다.

또, 공간 방향 X 대신, 공간 방향 Y에 주목한 근사 함수 f(y, t)도, 전술한 근사 함수 f(x, t)와 똑같이 취급할 수 있다.

그런데, 식(196)에 있어서, t 방향을 일정하게 하고, 즉, t 방향의 적분을 무시하여 적분함으로써, 시간 방향으로는 적분되지 않는 데이터, 즉, 움직임의 흔들림이 없는 데이터를 얻는 것이 가능하게 된다. 환언하면, 이 방법은, 2차원의 다항식 중 소정의 1차원을 일정하게 하여 재적분하는 점에서, 2차원 재적분 방법의 하나로 간주해도 되고, 실제로는, X 방향의 1차원의 재적분을 하게 된다는 점에서, 1차원 재적분 방법의 하나로 간주해도 된다.

또, 식(200)에 있어서, 적분 범위는 임의로 설정 가능하므로, 2차원 재적분 방법에 있어서는, 이 적분 범위를 적절히 바꾸어서, 원래의 화소(센서(2)(도259)로부터의 입력 화상의 화소)에 대하여 임의의 배율의 해상도의 화소를 열화시키지 않고 창조하는 것이 가능하게 된다.

즉, 2차원 재적분 방법에 있어서는, 시간 방향 t의 적분 범위를 적절히 바꾸는 것으로, 시간 해상도의 창조가 가능하게 된다. 또, 공간 방향 X(또는, 공간 방향 Y)의 적분 범위를 적절히 바꾸는 것으로, 공간 해상도의 창조가 가능하게 된다. 또한, 시간 방향 t와 공간 방향 X의 적분 범위의 각각을 적절히 바꾸는 것으로, 시간 해상도와 공간 해상도의 양쪽의 창조가 가능하게 된다.

그리고, 전술한 바와 같이, 시간 해상도와 공간 해상도 중 어느 한쪽의 창조는, 1차원 재적분 방법에서도 가능하지만, 양쪽의 해상도의 창조는, 1차원 재적분 방법에서는 원리상 불가능하고, 2차원 이상의 재적분을 행함으로써 비로소 가능하게 된다. 즉, 2차원 재적분 방법과 후술하는 3차원 재적분 방법에 의해 비로소, 양쪽의 해상도의 창조가 가능하게 된다.

또, 2차원 재적분 방법은, 1차원이 아닌 2차원의 적분 효과를 고려하고 있으므로, 보다 실세계(1)(도 236)의 광신호에 가까운 화상을 생성하는 것도 가능하게 된다.

환언하면, 2차원 재적분 방법에 있어서는, 예를 들면, 도 236(도 3)의 데이터 정상성 검출부(101)가, 각각 시공간 적분 효과를 가지는, 센서(2)의 복수개의 검출 소자에 의해 실세계(1)의 광신호가 투영되어, 실세계(1)의 광신호의 정상성(예를 들면, 도 249의 기울기 G_F로 나타내는 정상성)의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상에 있어서의 데이터 정상성(예를 들면, 도 251의 기울기 G_f로 나타내는 데이터 정상성)을 검출한다.

그리고, 예를 들면, 도 236(도 3)의 실세계 추정부(102)가, 데이터 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하여, 화상 데이터의 시공간 방향 중 적어도 2차원 방향(예를 들면, 도 249의 공간 방향 X와 공간 방향 Y)의 위치에 대응하는 화소의 화소값이, 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 실세계(1)의 광신호를 나타내는 광신호 함수 F(구체적으로는, 도272의 함수 F(x, y)를, 다항식인 근사 함수 f(x, y)로 근사함으로써, 광신호 함수 f를 추정하는 것이 전제가 되어 있다.

상세하게는, 예를 들면, 실세계 추정부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하는 선(예를 들면, 도 251의 기울기 G_F F에 대응하는 선(화살표)으로부터의 적어도 2차원 방향을 따른 거리(예를 들면, 도 251의 단면 방향 거리 x')에 대응하는 화소의 화소값이, 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 현실 세계의 광신호를 나타내는 제1 함수를, 다항식인 제2 함수로 근사함으로써, 제1 함수를 추정하는 것이 전제가 되어 있다.

2차원 재적분 방법에 있어서는, 이와 같은 전제에 따라, 예를 들면, 도 236(도 3)의 화상 생성부(103)(그 구성은, 도 250)가, 실세계 추정부(102)에 의해 추정된 함수 F(x, y), 즉, 근사 함수 f(x, y)를, 적어도 2차원 방향의 원하는 단위로 적분(예를 들면, 전술한 식(183)의 우변을 연산함)함으로써 원하는 크기의 화소(예를 들면, 도 236의 출력 화상(화소값 M.구체적으로는, 예를 들면, 도 254의 화소(3241) 내지 화소(3244))에 대응하는 화소값을 생성한다.

따라서, 2차원 재적분 방법에 있어서는, 시간 해상도와 공간 해상도 중 어느 한쪽의 창조만이 아니라, 양쪽의 해상도의 창조가 가능하게 된다. 또, 2차원 재적분 방법에 있어서는, 1차원 재적분 방법과 비교하여, 보다 실세계(1)(도 236)의 광신호에 가까운 화상을 생성하는 경우도 가능하게 된다.

다음에, 도 256와 도 257을 참조하여, 3차원 재적분 방법에 대하여 설명한다.

3차원 재적분 방법에 있어서는, 3차원 함수 근사 방법에 의해 근사 함수 f(x, y, t)가 이미 생성되어 있는 것이 전제가 된다.

이 경우, 3차원 재적분 방법에 있어서는, 출력 화소값 M은, 다음의 식(201)과 같이 연산된다.

…(201)

그리고, 식(201)에 있어서, t_s는, t 방향의 적분 개시 위치를 나타내고 있고, t_e는, t 방향의 적분 종료 위치를 나타내고 있다. 마찬가지로, y_s는, Y 방향의 적분 개시 위치를 나타내고 있고, y_e는, Y 방향의 적분 종료 위치를 나타내고 있다. 또, x_s는, X 방향의 적분 개시 위치를 나타내고 있고, x_e는, X 방향의 적분 종료 위치를 나타내고 있다. 또한, Ge는, 소정의 게인을 나타내고 있다.

식(201)에 있어서, 적분 범위는 임의로 설정 가능하므로, 3차원 재적분 방법에 있어서는, 이 적분 범위를 적절히 바꾸는 것으로, 원래의 화소(센서(2)(도 236)로부터의 입력 화상의 화소))에 대하여 임의의 배율의 시공간 해상도의 화소를 열화시키지 않고 창조하는 것이 가능하게 된다. 즉, 공간 방향의 적분 범위를 작게 하면, 화소 피치를 자유롭게 상세하게 할 수 있다. 역으로, 공간 방향의 적분 범위를 크게 하면, 화소 피치를 자유롭게 크게 할 수 있다.또, 시간 방향의 적분 범위를 작게 하면, 실세계 파형에 따라 시간 해상도를 창조할 수 있다.

도 256은, 3차원 재적분 방법을 이용하는 화상 생성부(103)의 구성예를 나타내고 있다.

도 256에서 나타낸 바와 같이, 이 예의 화상 생성부(103)에는, 조건 설정부(3301), 특징량 기억부(3302), 적분 성분 연산부(3303), 및 출력 화소값 연산부(3304)가 형성되어 있다.

조건 설정부(3301)는, 실세계 추정부(102)로부터 공급된 실세계 추정 정보(도 256의 예에서는, 근사 함수 f(x, y, t)의 특징량)에 따라 근사 함수 f(x, y, t)의 차수 n을 설정한다.

조건 설정부(3301)는 또한, 근사 함수 f(x, y, t)를 재적분하는 경우(출력 화소값을 연산하는 경우)의 적분 범위를 설정한다. 그리고, 조건 설정부(3301)가 설정하는 적분 범위는, 화소의 폭(세로폭과 가로폭)과 셔터 시간 자체일 필요는 없다. 예를 들면, 센서(2)(도 236)로부터의 입력 화상의 각 화소의 공간적인 크기에 대한, 출력 화소(화상 생성부(103)가 지금부터 생성하는 화소)의 상대적인 크기(공간 해상도의 배율)를 알면, 구체적인 공간 방향의 적분 범위의 결정이 가능하다. 마찬가지로, 센서(2)(도 236)의 셔터 시간에 대한 출력 화소값의 상대적인 시간(시간 해상도의 배율)을 알면, 구체적인 시간 방향의 적분 범위의 결정이 가능하다. 따라서, 조건 설정부(3301)는, 적분 범위로서 예를 들면, 공간 해상도 배율이나 시간 해상도 배율을 설정할 수도 있다.

특징량 기억부(3302)는, 실세계 추정부(102)로부터 순서대로 공급되는 근사 함수 f(x, y, t)의 특징량을 1차적으로 기억한다. 그리고, 특징량 기억부(3302)는, 근사 함수 f(x, y, t)의 특징량의 모두를 기억하면, 근사 함수 f(x, y, t)의 특징량을 모두 포함하는 특징량 테이블을 생성하고, 출력 화소값 연산부(3304)에 공급한다.

그런데, 전술한 식(201)의 우변의 근사 함수 f(x, y)의 우변을 전개(연산)하면, 출력 화소값 M은, 다음의 식(202)와 같이 나타낸다.

…(202)

식(202)에 있어서, K_i(x_s, x_e, y_s, y_e, t_s, t_e)는, i차항의 적분 성분을 나타내고 있다. 단, x_s는 X 방향의 적분 범위의 개시 위치를, x_e는 X 방향의 적분 범위의 종료 위치를, y_s는 Y 방향의 적분 범위의 개시 위치를, y_e는 Y 방향의 적분 범위의 종료 위치를, t_s는 t 방향의 적분 범위의 개시 위치를, t_e는 t 방향의 적분 범위의 종료 위치를, 각각 나타내고 있다.

적분 성분 연산부(3303)는, 상기 적분 성분 K_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산한다.

구체적으로는, 적분 성분 연산부(3303)는, 조건 설정부(3301)에 의해 설정된 차수, 및 적분 범위(공간 해상도 배율이나 시간 해상도 배율), 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중, 각도 θ 또는 움직임 θ에 따라 상기 적분 성분 K_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산하여, 그 연산 결과를 적분 성분 테이블로서 출력 화소값 연산부(3304)에 공급한다.

출력 화소값 연산부(3304)는, 특징량 기억부(3302)로부터 공급된 특징량 테이블과, 적분 성분 연산부(3303)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식(202)의 우변을 연산하여, 그 연산 결과를 출력 화소값 M으로서 외부에 출력한다.

다음에, 도 257의 흐름도를 참조하여, 3차원 재적분 방법을 이용하는 화상 생성부(103)(도 256)의 화상의 생성의 처리(도 40의 스텝 S103의 처리)에 대하여 설명한다.

예를 들면, 지금, 전술한 도 40의 스텝 S102의 처리에 의해, 실세계 추측부(102)(도 236)가, 입력 화상 중, 소정의 화소를 주목 화소로서 실세계(1)(도 236)의 광신호를 근사하는 근사 함수 f(x, y, t)를 이미 생성하고 있는 것으로 한다.

또, 전술한 도 40의 스텝 S101의 처리로, 데이터 정상성 검출부(101)(도259)가, 실세계 추정부(102)와 같은 화소를 주목 화소로서, 데이터 정상성 정보로서, 각도 θ 또는 움직임 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 도 257의 스텝 S3301에 있어서, 조건 설정부(3301)는, 조건(차수와 적분 범위)을 설정한다.

스텝 S3302에 있어서, 특징량 기억부(3302)는, 실세계 추정부(102)로부터 공급된 근사 함수 f(x, y, t)의 특징량 w_i를 취득하여, 특징량 테이블을 생성한다.

스텝 S3303에 있어서, 적분 성분 연산부(3303)는, 조건 설정부(3301)에 의해 설정된 조건(차수 및 적분 범위), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ 또는 움직임 θ)에 따라서, 적분 성분을 연산하여, 적분 성분 테이블을 생성한다.

그리고, 스텝 S3302의 처리와 스텝 S3303의 처리의 순서는, 도 257의 예에 한정되지 않고, 스텝 S3303의 처리가 먼저 실행되어도 되고, 스텝 S3302의 처리와 스텝 S3303의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S3304에 있어서, 출력 화소값 연산부(3304)는, 스텝 S3302의 처리에서 특징량 기억부(3302)에 의해 생성된 특징량 테이블과, 스텝 S3303의 처리에서 적분 성분 연산부(3303)에 의해 생성된 적분 성분 테이블에 따라서 각 출력 화소값의 각각을 연산한다.

스텝 S3305에 있어서, 출력 화소값 연산부(3304)는, 모든 화소의 처리가 종료되었는지의 여부를 판정한다.

스텝 S3305에 있어서, 모든 화소의 처리가 아직 종료되지 않은 것으로 판정된 경우, 처리는 스텝 S3302로 되돌아가고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 여겨지지 않는 화소가, 순서대로 주목 화소가 되어, 스텝 S3302 내지 S3304의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S3305에 있어서, 모든 화소의 처리가 종료되었다고 판정되면), 출력 화소값 연산부(3304)는, 스텝 S3306에 있어서, 화상을 출력한다. 그 후, 화상의 생성의 처리는 종료된다.

이와 같이, 전술한 식(201)에 있어서, 그 적분 범위는 임의로 설정 가능하므로, 3차원 재적분 방법에 있어서는, 상기 적분 범위를 적절히 바꾸는 것으로, 원래의 화소(센서(2)(도 236)로부터의 입력 화상의 화소)에 대하여 임의의 배율의 해상도의 화소를 열화시키지 않고 창조하는 것이 가능하게 된다.

즉, 3차원 재적분 방법에 있어서는, 시간 방향의 적분 범위를 적절히 바꾸는 것으로, 시간 해상도의 창조가 가능하게 된다. 또, 공간 방향의 적분 범위를 적절히 바꾸는 것으로, 공간 해상도의 창조가 가능하게 된다. 또한, 시간 방향과 공간방향의 적분 범위의 각각을 적절히 바꾸는 것으로, 시간 해상도와 공간 해상도의 양쪽의 창조가 가능하게 된다.

구체적으로는, 3차원 재적분 방법에 있어서는, 2차원이나 1차원으로 저하시킬 때의 근사가 없기 때문에 정밀도가 높은 처리가 가능하게 된다. 또, 경사 방향의 움직임도 2차원으로 저하시키지 않고 처리하는 것이 가능하게 된다. 또한, 2차원으로 저하되어 있지 않기 때문에 각 차원의 가공이 가능하게 된다. 예를 들면, 2차원 재적분 방법에 있어서, 공간 방향(X 방향과 Y 방향)으로 물러나는 경우에는 시간 방향인 t 방향의 가공을 할 수 없게 되어 버린다. 이에 비해, 3차원 재적분 방법에 있어서는, 시공간 방향의 어떠한 가공도 가능하게 된다.

그리고, 전술한 바와 같이, 시간 해상도와 공간 해상도 중 어느 한쪽의 창조는, 1차원 재적분 방법에서도 가능하지만, 양쪽의 해상도의 창조는, 1차원 재적분 방법에서는 원리상 불가능하고, 2차원 이상의 재적분을 행함으로써 비로소 가능하게 된다. 즉, 전술한 2차원 재적분 방법과 3차원 재적분 방법에서 비로소, 양쪽의 해상도의 창조가 가능하게 된다.

또, 3차원 재적분 방법은, 1차원이나 2차원이 아니라, 3차원의 적분 효과를 고려하고 있으므로, 보다 실세계(1)(도 236)의 광신호에 가까운 화상을 생성하는 것도 가능하게 된다.

환언하면, 3차원 재적분 방법에 있어서는, 예를 들면, 도 236(도 3)의 실세계 추정부(102)는, 각각 시공간 적분 효과를 가지는, 센서(2)의 복수개의 검출 소자에 의해 실세계(1)의 광신호가 투영되어 실세계(1)의 광신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상의, 시공간 방향 중, 적어도 1차원 방향의 위치에 대응하는 화소의 화소값이, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값으로 하여, 실세계의 광신호를 나타내는 광신호 함수 F를 소정의 근사 함수 f로 근사함으로써, 광신호 함수 F를 추정하는 것이 전제가 된다.

또한, 예를 들면, 도 236(도3)의 데이터 정상성 검출부(101)가, 입력 화상의 데이터 정상성을 검출한 경우, 실세계 추정부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하여, 화상 데이터의 시공간 방향 중, 적어도 1차원 방향의 위치에 대응하는 화소의 화소값이, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 광신호 함수 F를 근사 함수 f로 근사함으로써, 광신호 함수 F를 추정하는 것이 전제가 된다.

상세하게는, 예를 들면, 실세계 추정부(102)는, 정상성 검출부(101)에 의해 검출된 데이터 정상성에 대응하는 선으로부터의 적어도 1차원 방향을 따른 거리에 대응하는 화소의 화소값이, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 광신호 함수 F를 근사 함수로 근사함으로써, 광신호 함수를 추정하는 것이 전제가 된다.

3차원 재적분 방법에 있어서는, 예를 들면, 도 236(도 3)의 화상 생성부(103)(그 구성은, 도 256)가, 실세계 추정부(102)에 의해 추정된 광신호 함수 F, 즉, 근사 함수 f를, 적어도 1차원 방향의 원하는 단위로 적분하는(예를 들면, 전술한 식(198)의 우변을 연산함) 것에 의해 원하는 크기의 화소에 대응하는 화소값을 생성한다.

따라서, 3차원 재적분 방법은, 종래의 화상 생성 방법이나, 전술한 1차원 또는 2차원 재적분 방법과 비교하여, 보다 실세계(1)(도 236)의 광신호에 가까운 화상을 생성하는 것도 가능하게 된다.

다음에, 도 258을 참조하여, 실세계 추정부(102)로부터 입력되는 실세계 추정 정보가, 참조 화소의 각 화소값을 근사적으로 나타내는 근사 함수 f(x) 상의, 각 화소의 미분값, 또는 기울기의 정보인 경우, 각 화소의 미분값, 또는 기울기에 따라, 새로 화소를 생성하고, 화상을 출력하는 화상 생성부(103)에 대하여 설명한다.

그리고, 여기서 말하는 미분값은, 참조 화소의 각 화소값을 근사적으로 나타내는 근사 함수 f(x)를 구한 후, 상기 근사 함수 f(x)로부터 얻어지는 1차 미분식 f(x)(근사 함수가 프레임 방향의 경우, 근사 함수 f(t)로부터 얻어지는 1차 미분식 f(t))를 사용하여, 소정의 위치에서 얻어지는 값이다. 또, 여기서 말하는 경사는, 전술한 근사 함수 f(x)(또는, f(t))를 구하는 것이 아니라, 소정의 위치에서의 주변 화소의 화소값으로부터 직접 얻어지는 근사 함수 f(x) 상의 소정의 위치의 기울기를 나타내고 있다. 그러나, 미분값은, 근사 함수 f(x)의 소정의 위치에서의 기울기이므로, 모두, 상기 근사 함수 f(x) 상의 소정의 위치에서의 기울기이다. 그래서, 실세계 추정부(102)로부터 입력되는 실세계 추정정보로서의 미분값과 기울기에 대해서는, 도 258, 및 도 262의 화상 생성부(103)의 설명에 있어서는, 통일하여 근사 함수 f(x)(또는, f(t)) 상의 기울기라고 한다.

경사 취득부(3401)는, 실세계 추정부(102)로부터 입력되는 참조 화소의 화소값을 근사적으로 나타내는 근사 함수 f(x)에 대한, 각 화소의 기울기의 정보와, 대응하는 화소의 화소값, 및 정상성의 방향의 기울기를 취득하여, 외삽 보간부(3402)에 출력한다.

외삽 보간부(3402)는, 경사 취득부(3401)로부터 입력된 각 화소의 근사함수 f(x) 상의 기울기와, 대응하는 화소의 화소값, 및 정상성의 방향의 기울기에 따라, 외삽 보간에 의하여, 입력 화상보다 소정의 배율의 고밀도의 화소를 생성하고, 출력 화상으로서 출력한다.

다음에, 도 259의 흐름도를 참조하여, 도 258의 화상 생성부(103)에 의한 화상 생성의 처리에 대하여 설명한다.

스텝 S3401에 있어서, 기울기 취득부(3401)는, 실세계 추정부(102)로부터 입력되는, 각 화소의 근사 함수 f(x) 상의 기울기(미분값), 위치, 화소값, 및 정상성의 방향의 경사의 정보를 실세계 추정 정보로서 취득한다.

이 때, 예를 들면, 입력 화상에 대하여 공간 방향 X, 및 공간 방향 Y에 대하여 각각 2배(합계 4배)의 밀도의 화소로 이루어지는 화상을 생성하는 경우, 실세계 추정부(102)로부터는, 도 260에 나타낸 바와 같은 화소 Pin에 대하여, 기울기 f(Xin) (화소 Pin의 중앙 위치에 있어서의 기울기), f(Xin - Cx(-(0.25)) (화소 Pin으로부터 Y 방향으로 2배 밀도의 화소가 생성될 때의 화소 Pa의 중앙 위치의 경사), f(Xin - Cx(0.25)) (화소 Pin으로부터 Y 방향으로 2배 밀도의 화소가 생성될 때의 화소 Pb의 중앙 위치의 경사), 화소 Pin의 위치, 화소값, 및 정상성의 방향의 기울기 G_f의 정보가 입력된다.

스텝 S3402에 있어서, 기울기 취득부(3401)는, 입력된 실세계 추정 정보 중, 대응하는 주목 화소의 정보를 선택하고, 외삽 보간부(3402)에 출력한다.

스텝 S3403에 있어서, 외삽 보간부(3402)는, 입력된 화소의 위치 정보와 정상성의 방향의 경사 G_f로부터 시프트량을 구한다.

여기서, 시프트량 Cx(ty)는, 정상성의 기울기가 Gf로 나타낼 때, Cx(ty) = ty/Gf에 의해 정의된다. 상기 시프트량 Cx(ty)는, 공간 방향 Y = 0의 위치 상에서 정의되는 근사 함수 f(x)가, 공간 방향 Y = ty의 위치에서의, 공간 방향 X에 대한 어긋난 폭을 나타낸 것이다. 따라서, 예를 들면, 공간 방향 Y = 0의 위치 상에서 근사 함수가 f(x)로서 정의되어 있는 경우, 상기 근사 함수 f(x)는, 공간 방향 Y = ty에 있어서는, 공간 방향 X에 대하여 Cx(ty)만큼 어긋난 함수가 되므로, 근사 함수는, f(x - Cx(ty) (= f(x - ty/Gf)로 정의된다.

예를 들면, 도 260에 나타낸 바와 같은 화소 Pin의 경우, 도면 중의 1화소(도면 중의 1화소의 크기는, 수평 방향, 및 수직 방향 모두 1인 것으로 한다)를 수직 방향으로 2분할할 때(수직 방향으로 배 밀도의 화소를 생성할 때), 외삽 보간부(3402)는, 요구하려고 하는 화소 Pa, Pb의 시프트량을 구한다. 즉, 지금의 경우, 화소 Pa, Pb는, 화소 Pin으로부터 보아서, 공간 방향 Y에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 화소 Pa, Pb의 시프트량은, 각각 Cx(-0.25), Cx(0.25)가 된다. 그리고, 도 260 중에서, 화소 Pin은, (Xin, Yin)를 대략 중심 위치로 하는 정방형이며, 화소 Pa, Pb는, (Xin, Yin + 0.25), (Xin, Yin - 0.25)를 각각 대략 중심 위치로 하는 도면 중, 수평 방향으로 긴 직사각형이다.

스텝 S3404에 있어서, 외삽 보간부(3402)는, 스텝 S3403의 처리에 의해 구해진 시프트량 Cx, 실세계 추정 정보로서 취득된 화소 Pin의 근사 함수 f(x) 상의 주목 화소 상에서의 경사 f(Xin) , 및 화소 Pin의 화소값에 따라, 이하의 식(203), 식(204)에 의해 외삽 보간을 사용하여 화소 Pa, Pb의 화소값을 구한다.

Pa = Pin - f(Xin) Cx(0.25)

…(203)

Pb = Pin - f(Xin) Cx(-0.25)

…(204)

이상의 식(203), 식(204)에 있어서, Pa, Pb, Pin는, 화소 Pa, Pb, Pin의 화소값을 나타낸다.

즉, 도 261에서 나타낸 바와 같이, 주목 화소 Pin에 있어서의 경사 f(Xin)를 X 방향의 이동거리, 즉, 시프트량을 곱하는 것으로 화소값의 변화량을 설정하고, 주목 화소의 화소값을 기준으로 하여, 새롭게 생성하는 화소의 화소값을 설정한다.

스텝 S3405에 있어서, 외삽 보간부(3402)는, 소정의 해상도의 화소를 얻었는지 여부를 판정한다. 예를 들면, 소정의 해상도가 입력 화상의 화소에 대하여, 수직 방향으로 2배의 밀도의 화소이면, 이상의 처리에 의하여, 외삽 보간부(3402)는, 소정의 해상도의 화상을 얻었다고 판정하지만, 예를 들면, 입력 화상의 화소에 대하여, 4배의 밀도(수평 방향으로 2배 × 수직 방향으로 2배)의 화소를 원하였을 경우, 이상의 처리에서는, 소정의 해상도의 화소를 얻지 못한 것이 된다. 그래서, 4배의 밀도의 화상이 원하던 화상인 경우, 외삽 보간부(3402)는, 소정의 해상도의 화소를 얻지 못하였다고 판정하고, 그 처리는, 스텝 S3403으로 되돌아온다.

스텝 S3403에 있어서, 외삽 보간부(3402)는, 2번째의 처리에서, 요구하려고 하는 화소 P01, P02, P03, 및 P04(주목 화소 Pin에 대하여 4배가 되는 밀도의 화소)를 생성하려고 하는 화소의 중심 위치로부터의 시프트량을 각각 구한다. 즉, 지금의 경우, 화소 P01, P02는, 화소 Pa로부터 얻어지는 것이므로, 화소 Pa로부터의 시프트량이 각각 구해지게 된다. 여기서, 화소 P01, P02는, 화소 Pa로부터 보았을 때 공간 방향 X에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 그 값 그 자체가 시프트량이 된다(공간 방향 X에 대하여 시프트하고 있기 때문에). 마찬가지로 하여, 화소 P03, P04는, 화소 Pb로부터 보았을 때 공간 방향 X에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 그 값 그 자체가 시프트량이 된다. 그리고, 도 260에 있어서, 화소 P01, P02, P03, P04는, 도면 중의 4개의 x표의 위치를 중심 위치로 하는 정방형이며, 각 변의 길이는, 화소 Pin이, 각각 1이므로, 화소 P01, P02, P03, P04는, 각각 대략 0.5가 된다.

스텝 S3404에 있어서, 외삽 보간부(3402)는, 스텝 S3403의 처리에 의해 구해진 시프트량 Cx, 실세계 추정 정보로서 취득된 화소 Pa, Pb의 근사 함수 f(x) 상의 소정의 위치에서의 기울기 f(Xin - Cx(-0.25)) , f(Xin - Cx(0.25)) , 및 전술한 처리에 의해 구해진 화소 Pa, Pb의 화소값에 따라, 외부 삽입 보간에 의해 이하의 식(205) 내지 식(208)에 의해 화소 P01, P02, P03, P04의 화소값을 구하고, 도시하지 않는 메모리에 기억시킨다.

P01 = Pa ＋ f(Xin - Cx(0.25)) (-0.25)

…(205)

P02 = Pa ＋ f(Xin -Cx(0.25)) (0.25)

…(206)

P03 = Pb ＋ f(Xin - Cx(-0.25)) (-0.25)

…(207)

P04 = Pb ＋ f(Xin -Cx(-0.25)) (0.25)

…(208)

전술한 식(205) 내지 식(208)에 있어서, P01 내지 P04는, 화소 P01 내지 P04의 각각의 화소값을 나타낸다.

스텝 S3405에 있어서, 외삽 보간부(3402)는, 소정의 해상도의 화소를 얻었는지 여부를 판정하고, 지금의 경우, 원하고 있던 4배의 밀도의 화소를 얻을 수 있었으므로, 외삽 보간부(3402)는, 소정의 해상도의 화소를 얻을 수 있었다고 판정하고, 그 처리는, 스텝 S3406으로 진행한다.

스텝 S3406에 있어서, 기울기 취득부(3401)는, 모든 화소에서 처리가 되었는지 여부를 판정하고, 또, 모든 화소에 대하여 처리가 되어 있지 않은 것으로 판정한 경우, 그 처리는, 스텝 S3402로 복귀하고, 그 이후의 처리가 반복된다.

스텝 S3406에 있어서, 기울기 취득부(3401)는, 모든 화소에 대하여 처리가 행해진 것으로 판정한 경우, 스텝 S3407에 있어서, 외삽 보간부(3402)는, 도시하지 않는 메모리에 기억되어 있는, 생성된 화소로 이루어지는 화상을 출력한다.

즉, 도 261에서 나타낸 바와 같이, 근사 함수 f(x) 상의 기울기 f(x)를 사용하여, 그 기울기를 구한 주목 화소로부터 공간 방향 X로 떨어진 거리에 따라, 새로운 화소의 화소값이 외입 보간에 의해 구해진다.

그리고, 이상의 예에 있어서는, 4배 밀도의 화소를 연산할 때의 기울기(미분값)를 예로서 설명하였지만, 더 많은 위치에서의, 경사의 정보가, 실세계 추정 정보로서 얻어지고, 전술한 바와 마찬가지의 방법으로, 그 이상의 공간 방향의 밀도의 화소를 연산하는 경우도 가능하다.

또, 이상의 예에 대하여 는, 배 밀도의 화소값을 구하는 예에 대하여 설명하였지만, 근사 함수 f(x)는 연속 함수이므로, 배 밀도 이외의 화소값에 대하여도 필요한 경사(미분값)의 정보를 얻을 수 있으면, 더 고밀도의 화소로 이루어지는 화상을 생성하는 것이 가능해진다.

이상에 의하면, 실세계 추정 정보로서 공급되는 입력 화상의 각 화소의 화소값을 공간 방향으로 근사하는 근사 함수 f(x)의 기울기(또는, 미분값)f(x)를 정보에 따라, 입력 화상보다 고해상도의 화상의 화소를 생성하는 것이 가능해진다.

다음에, 도 262를 참조하여, 실세계 추정부(102)로부터 입력되는 실세계 추정 정보가, 참조 화소의 화소값을 근사적으로 표현하는 프레임 방향(시간 방향)의 함수 f(t) 상의, 각 화소의 미분값, 또는 기울기의 정보인 경우, 각 화소의 미분값, 또는 기울기에 따라, 새롭게 화소를 생성하고, 화상을 출력하는 화상 생성부(103)에 대하여 설명한다.

경사 취득부(3411)는, 실세계 추정부(102)로부터 입력되는 참조 화소의 화소값을 근사적으로 표현하는 근사 함수 f(t) 상의, 각 화소의 위치에서의 기울기의 정보와, 대응하는 화소의 화소값, 및 정상성의 움직임을 취득하여, 외삽 보간부(3412)에 출력한다.

외삽 보간부(3412)는, 경사 취득부(3411)로부터 입력된 각 화소의 근사 함수 f(t) 상의 경사와 대응하는 화소의 화소값, 및 정상성의 움직임에 따라, 외삽 보간에 의하여, 입력 화상보다 소정의 배율의 고밀도의 화소를 생성하고, 출력 화상으로서 출력한다.

다음에, 도 263의 흐름도를 참조하여, 도 262의 화상 생성부(103)에 의한 화상의 생성의 처리에 대하여 설명한다.

스텝 S3421에 있어서, 경사 취득부(3411)는, 실세계 추정부(102)로부터 입력되는, 각 화소의 근사 함수 f(t) 상의 기울기(미분값), 위치, 화소값, 및 정상성의 움직임의 정보를 실세계 추정 정보로서 취득한다.

이 때, 예를 들면, 입력 화상에 대하여 공간 방향, 및 프레임 방향으로 각각 2배(합계 4배)의 밀도의 화소로 이루어지는 화상을 생성하는 경우, 실세계 추정부(102)로부터는, 도 264에 나타낸 바와 같은 화소 Pin에 대하여, 기울기 f(Tin) (화소 Pin의 중앙 위치에 있어서의 기울기), f(Tin - Ct(0.25)) (화소 Pin으로부터 Y 방향으로 2배 밀도의 화소가 생성될 때의 화소 Pat의 중앙 위치의 기울기), f(Tin - Ct(-0.25)) (화소 Pin으로부터 Y 방향으로 2배 밀도의 화소가 생성될 때의 화소 Pbt의 중앙 위치의 기울기), 화소 Pin의 위치, 화소값, 및 정상성의 움직임(움직임 벡터)의 정보가 입력된다.

스텝 S3422에 있어서, 경사 취득부(3411)는, 입력된 실세계 추정 정보 중, 대응하는 주목 화소의 정보를 선택하고, 외삽 보간부(3412)에 출력한다.

스텝 S3423에 있어서, 외삽 보간부(3412)는, 입력된 화소의 위치 정보와 정상성의 방향의 경사로부터 시프트량을 구한다.

여기서, 시프트량 Ct(ty)는, 정상성의 움직임(프레임 방향과 공간 방향으로 이루어지는 면에 대한 기울기)이 V_f로 나타낼 때, Ct(ty) = ty/V_f로 정의된다. 상기 시프트량 Ct(ty)는, 공간 방향 Y = 0의 위치 상에서 정의되는 근사 함수 f(t)가, 공간 방향 Y = ty의 위치에서의, 프레임 방향 T에 대한 어긋난 폭을 나타낸 것이다. 따라서, 예를 들면, 공간 방향 Y = 0의 위치 상에서 근사 함수가 f(t)로서 정의되어 있는 경우, 상기 근사 함수 f(t)는, 공간 방향 Y = ty에 있어서는, 공간 방향 T에 대하여 Ct(ty)만큼 어긋난 함수가 되므로, 근사 함수는, f(t - Ct(ty) (= f(t - ty/V_f)로 정의된다.

예를 들면, 도 264에 나타낸 바와 같은 화소 Pin의 경우, 도면 중의 1화소(도면 중의 1화소의 크기는, 프레임 방향, 및 공간 방향 모두 1인 것으로 한다)를 공간 방향으로 2분할할 때(공간 방향으로 배 밀도의 화소를 생성할 때), 외삽 보간부(3412)는, 요구하려고 하는 화소 Pat, Pbt의 시프트량을 구한다. 즉, 지금의 경우, 화소 Pat, Pbt는, 화소 Pin으로부터 보았을 때, 공간 방향 Y에 대하여, 각각 0.25, -0.25만큼 시프트하고 있으므로, 화소 Pat, Pbt의 시프트량은, 각각 Ct(-0.25), Ct(0.25)가 된다. 그리고, 도 264 중에 있어서, 화소 Pin은, (Xin, Yin)을 대략 중심 위치로 하는 정방형이며, 화소 Pat, Pbt는, (Xin, Yin + 0.25), (Xin, Yin -0.25)를 각각 대략 중심 위치로 하는 도면 중 수평 방향으로 긴 직사각형이다.

스텝 S3424에 있어서, 외삽 보간부(3412)는, 스텝 S3423의 처리에 의해 구해진 시프트량, 실세계 추정 정보로서 취득된 화소 Pin의 근사 함수 f(t) 상의 주목 화소 상에서의 기울기 f(Tin) , 및 화소 Pin의 화소값에 따라, 외삽 보간에 의해 이하의 식(209), 식(210)에 의해 화소 Pat, Pbt의 화소값을 구한다.

Pat = Pin - f(Tin) Ct(0.25)

…(209)

Pbt = Pin - f(Xin) Ct(-0.25)

…(210)

이상의 식(209), 식(210)에 있어서, Pat, Pbt, Pin은, 화소 Pat, Pbt, Pin의 화소값을 나타낸다.

즉, 도 265에 나타낸 바와 같이, 주목 화소 Pin에 있어서의 기울기 f(Xin) 에, X 방향의 이동거리, 즉, 시프트량을 곱하여 화소값의 변화량을 설정하고, 주목 화소의 화소값을 기준으로 하여, 새롭게 생성하는 화소의 화소값을 설정한다.

스텝 S3425에 있어서, 외삽 보간부(3412)는, 소정의 해상도의 화소를 얻을 수 있었는지 여부를 판정한다. 예를 들면, 소정의 해상도가 입력 화상의 화소에 대하여, 공간 방향으로 2배의 밀도의 화소이면, 이상의 처리에 의하여, 외삽 보간부(3402)는, 소정의 해상도의 화상을 얻을 수 있었다고 판정하지만, 예를 들면, 입력 화상의 화소에 대하여, 4배의 밀도(프레임 방향으로 2배 × 공간 방향으로 2배)의 화소를 원하였을 경우, 이상의 처리에서는, 소정의 해상도의 화소를 얻지 못한 것이 된다. 그래서, 4배의 밀도의 화상이 원하던 화상인 경우, 외삽 보간부(3412)는, 소정의 해상도의 화소를 얻지 못하고 있다고 판정하고, 그 처리는, 스텝 S3423로 되돌아온다.

스텝 S3423에 있어서, 외삽 보간부(3412)는, 2번째의 처리에서, 요구하려고 하는 화소 P01t, P02t, P03t, 및 P04t(주목 화소 Pin에 대하여 4배가 되는 밀도의 화소)를 생성하려고 하는 화소의 중심 위치로부터의 시프트량을 각각 구한다. 즉, 지금의 경우, 화소 P01t, P02t는, 화소 Pat로부터 얻어지는 것이므로, 화소 Pat로부터의 시프트량이 각각 구해지는 것이 된다. 여기서, 화소 P01t, P02t는, 화소 Pat로부터 보았을 때 프레임 방향 T에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 그 값 그 자체가 시프트량이 된다(공간 방향 X에 대하여 시프트하고 있기 때문에). 마찬가지로 하여, 화소 P03t, P04t는, 화소 Pbt로부터 보았을 때 프레임 방향 T에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 그 값 자체가 시프트량이 된다. 그리고, 도 264에 있어서, 화소 P01t, P02t, P03t, P04t는, 도면 중의 4개의 x표의 위치를 중심 위치로 하는 정방형이며, 각변의 길이는, 화소 Pin이, 각각 1이므로, 화소 P01t, P02t, P03t, P04t는, 각각 대략 0.5가 된다.

스텝 S3424에 있어서, 외삽 보간부(3412)는, 스텝 S3423의 처리에 의해 구해진 시프트량 Ct, 실세계 추정 정보로서 취득된 화소 Pat, Pbt의 근사 함수 f(t) 상의 소정의 위치에서의 경사 f(Tin - Ct(0.25)) , f(Tin - Ct(-0.25)) , 및 전술한 처리에 의해 구해진 화소 Pat, Pbt의 화소값에 따라, 외삽 보간에 의해 이하의 식(211) 내지 식(214)에 의해 화소 P01t, P02t, P03t, P04t의 화소값을 구하고, 도시하지 않는 메모리에 기억시킨다.

P01t = Pat ＋ f(Tin - Ct(0.25)) (-0.25) (211)

P02t = Pat ＋ f(Tin - Ct(0.25)) (0.25) (212)

P03t = Pbt ＋ f(Tin - Ct(-0.25)) (-0.25) (213)

P04t = Pbt ＋ f(Tin - Ct(-0.25)) (0.25) (214)

전술한 식(205) 내지 식(208)에 있어서, P01t 내지 P04t는, 화소 P01t 내지 P04t의 각각의 화소값을 나타낸다.

스텝 S3425에 있어서, 외삽 보간부(3412)는, 소정의 해상도의 화소를 얻을 수 있었는지 여부를 판정하고, 지금의 경우, 원하고 있던 4배 밀도의 화소를 얻을 수 있었으므로, 외삽 보간부(3412)는, 소정의 해상도의 화소를 얻을 수 있었다고 판정하고, 그 처리는, 스텝 S3426으로 진행한다.

스텝 S3426에 있어서, 경사 취득부(3411)는, 모든 화소에서 처리가 이루어졌는지 여부를 판정하고, 또, 모든 화소에 대하여 처리가 되어 있지 않은 것으로 판정한 경우, 그 처리는, 스텝 S3422으로 복귀하고, 그 이후의 처리가 반복된다.

스텝 S3426에 있어서, 경사 취득부(3411)는, 모든 화소에 대하여 처리가 행해진 것으로 판정된 경우, 스텝 S3427에 있어서, 외삽 보간부(3412)는, 도시하지 않는 메모리에 기억되어 있는, 생성된 화소로 이루어지는 화상을 출력한다.

즉, 도 265에 나타낸 바와 같이, 근사 함수 f(t) 상의 경사 f(t) 을 사용하여, 그 기울기를 구한 주목 화소로부터 프레임 방향 T로 떨어져 있는 프레임 수에 따라, 새로운 화소의 화소값이 외삽 보간에 의해 구해진다.

그리고, 이상의 예에 있어서는, 4배 밀도의 화소를 연산할 때의 기울기(미분값)를 예로서 설명하였지만, 더 많은 위치에서의, 기울기의 정보가, 실세계 추정 정보로서 얻어지고, 전술한 바와 마찬가지의 방법으로, 그 이상의 프레임 방향의 밀도의 화소를 연산하는 경우도 가능하다.

또, 이상의 예에 대하여 는, 배 밀도의 화소값을 구하는 예에 대하여 설명하였지만, 근사 함수 f(t)는 연속 함수이므로, 배 밀도 이외의 화소값에 대하여도 필요한 기울기(미분값)의 정보를 얻을 수 있으면, 더 고밀도의 화소로 이루어지는 화상을 생성하는 것이 가능해진다.

이상의 처리에 의하여, 실세계 추정 정보로서 공급되는 입력 화상의 각 화소의 화소값을 프레임 방향으로 근사하는 근사 함수 f(t)의 기울기(또는, 미분값)f(t) 의 정보에 따라, 입력 화상보다 고해상도의 화상의 화소를 프레임 방향으로도 생성하는 것이 가능해진다.

이상에 의하면, 각각 시공간 적분 효과를 가지는, 센서의 복수개의 검출 소자에 의해 현실 세계의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 화상 데이터에 있어서의 데이터 정상성을 검출하고, 검출된 정상성에 대응하여, 화상 데이터 내의 주목 화소에 대하여 시공간 방향 중, 1차원 방향으로 시프트한 위치의 복수개 화소의 화소값의 기울기를, 현실 세계의 광신호에 대응하는 함수로서 추정하고, 주목 화소의 중심 위치로부터 1차원 방향으로 시프트한 위치를 중심으로 하는 기울기를 가지는 직선의 상기 주목 화소 내에 배치되는 양단의 값을 주목 화소보다 고해상도의 화소의 화소값으로서 생성하도록 했으므로, 입력 화상보다 시공간 방향으로 고해상도의 화소를 생성하는 것이 가능해진다.

다음에, 도 266내지 도 291을 참조하여, 화상 생성부(103)(도 3)의 실시예의 또 다른 예에 대하여 설명한다.

도 266은, 이 예의 실시예가 적용되는 화상 생성부(103)의 구성예를 나타내고 있다.

도 266에서 나타내는 화상 생성부(103)에는, 종래의 클래스 분류 적응 처리를 실행하는 클래스 분류 적응 처리부(3501), 클래스 분류 적응 처리에 대한 보정의 처리(처리의 상세한 것에 대하여는 후술)를 실행하는 클래스 분류 적응 처리 보정부(3502), 및 클래스 분류 적응 처리부(3501)로부터 출력된 화상과, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 화상을 가산하고, 가산한 화상을 출력 화상으로서 외부에 출력하는 가산부(3503)가 형성되어 있다.

그리고, 이하, 클래스 분류 적응 처리부(3501)로부터 출력되는 화상을, 예측 화상이라 하고, 클래스 분류 적응 처리 보정부(3502)로부터 출력되는 화상을, 보정 화상, 또는 차분 예측 화상이라 한다. 단, 예측 화상과 차분 예측 화상의 명칭의 유래에 대하여는 각각 후술한다.

또, 이 예의 실시예에 있어서는, 클래스 분류 적응 처리는, 예를 들면, 입력 화상의 공간 해상도를 향상시키는 처리인 것으로 한다. 즉, 표준 해상도의 화상인 입력 화상을, 고해상도의 화상인 예측 화상으로 변환하는 처리인 것으로 한다.

그리고, 이하, 표준 해상도의 화상을, 적절히, SD(Standard Definition) 화상이라 한다. 또, SD 화상을 구성하는 화소를, 적절히, SD 화소라고 한다.

이에 비해, 이하, 고해상도의 화상을, 적절히, HD(High Definition) 화상이라 한다. 또, HD 화상을 구성하는 화소를, 적절히, HD 화소라고 한다.

구체적으로는, 이 예의 실시예에 있어서, 클래스 분류 적응 처리는, 다음과 같은 처리이다.

즉, 처음에, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(HD 화상)의 HD 화소를 구하기 위하여, 주목 화소를 포함한, 그 부근에 배치되는 SD 화소(이하, 이와 같은 SD 화소를, 클래스 탭이라고 한다)의 특징량의 각각을 구하여, 그 특징량마다 미리 분류된 클래스를 특정한다(클래스 탭 군의 클래스 코드를 특정한다).

그리고, 미리 설정된 복수개의 계수군(각 계수군의 각각은, 소정의 1개의 클래스 코드에 대응하고 있는) 중, 특정된 클래스 코드에 대응하는 계수군을 구성하는 각 계수와 주목 화소를 포함한, 그 부근의 SD 화소(이하, 이와 같은 입력 화상의 SD 화소를, 예측 탭 이라고 한다. 그리고, 예측 탭은, 클래스 탭과 동일할 수도 있다)를 사용하여 곱셈 및 덧셈 연산을 실행함으로써, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(HD 화상)의 HD 화소를 구하는 것이다.

따라서, 이 예의 실시예에 있어서는, 입력 화상(SD 화상)은, 클래스 분류 적응 처리부(3501)에 있어서, 종래의 클래스 분류 적응 처리가 행해져서 예측 화상(HD 화상)이 되고, 또한 가산부(3503)에 있어서, 상기 예측 화상이, 클래스 분류 적응 처리 보정부(3502)로부터의 보정 화상에 의해 보정되어(보정 화상이 가산되어) 출력 화상(HD 화상)이 된다.

즉, 이 예의 실시예는, 정상성의 관점으로부터는, 정상성을 사용하여 처리를 행하는 화상 처리 장치(도 3) 중 화상 생성부(103)의 하나의 실시예라 할 수 있다. 이에 비해, 클래스 분류 적응 처리의 관점으로부터는, 센서(2)로 클래스 분류 적응 처리부(3501)으로 구성되는 종래의 화상 처리 장치에 대하여, 클래스 분류 적응 처리의 보정을 행하기 위하여, 데이터 정상성 검출부(101), 실세계 추정부(102), 클래스 분류 적응 처리 보정부(3502), 및 가산부(3503)을 더 부가한 화상 처리 장치의 실시예라 할 수 있다.

따라서, 이하, 이 예의 실시예를, 전술한 재적분 방법에 대하여, 클래스 분류 적응 처리 보정 방법 이라고 한다.

클래스 분류 적응 처리 보정 방법을 이용하는 화상 생성부(103)에 대하여 보다 상세하게 설명한다.

도 266에 있어서, 화상인, 실세계(1)의 신호(광의 강도의 분포)가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다. 이 입력 화상은, 데이터 정상성 검출부(101)에 입력되면 모두, 화상 생성부(103)의 클래스 분류 적응 처리부(3501)에 입력된다.

클래스 분류 적응 처리부(3501)는, 입력 화상에 대하여, 종래의 클래스 분류 적응 처리를 실시하여 예측 화상을 생성하고, 가산부(3503)에 출력한다.

이와 같이, 클래스 분류 적응 처리부(3501)는, 센서(2)로부터의 입력 화상(화상 데이터)을 기준으로 하면 모두, 입력 화상 그자체를 처리의 대상으로 하고 있다. 즉, 센서(2)로부터의 입력 화상은, 전술한 적분 효과에 의해 실세계(1)의 신호와는 상이한 것(왜곡한 것)으로 되어 있음에도 불구하고, 클래스 분류 적응 처리부(3501)는, 그 실세계(1)의 신호와는 상이한 입력 화상을 양으로서 처리하고 있다.

그 결과, 센서(2)로부터 출력된 단계에서 실세계(1)의 디테일이 파괴된 입력 화상(SD 화상)은, 클래스 분류 적응 처리에 의해 비록 HD 화상이 되어도, 원래의 디테일이 완전하게 복원되지 않는 경우가 있는 과제가 발생한다.

그래서, 상기 과제를 해결하기 위하여, 클래스 분류 적응 처리 보정 방법에 있어서는, 화상 생성부(103)의 클래스 분류 적응 처리 보정부(3502)가, 센서(2)로부터의 입력 화상이 아니고, 센서(2)에 입사되기 전의 원래의 화상(소정의 정상성을 가지는 실세계(1)의 신호)을 추정하는 정보(실세계 추정 정보)를 기준으로 하면 모두, 그 실세계 추정 정보를 처리의 대상으로 하여, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상을 보정하기 위한 보정 화상을 생성한다.

이 실세계 추정 정보는, 데이터 정상성 검출부(101)으로 실세계 추정부(102)에 의해 생성된다.

즉, 데이터 정상성 검출부(101)는, 센서(2)로부터의 입력 화상에 포함되는 데이터 정상성(센서(2)에 입사된 실세계(1)의 신호가 가지는 정상성에 대응하는 데이터 정상성)을 검출하고, 그 검출 결과를 데이터 정상성 정보로서 실세계 추정부(102)에 출력한다.

그리고, 데이터 정상성 정보는, 도 266의 예에서는 각도로 되어 있지만, 각도로 한정되지 않고, 전술한 다양한 정보가 사용 가능하다.

실세계 추정부(102)는, 입력된 각도(데이터 정상성 정보)에 따라, 실세계 추정 정보를 생성하고, 화상 생성부(103)의 클래스 분류 적응 처리 보정부(3502)에 출력한다.

그리고, 실세계 추정 정보는, 도 266의 예에서는 특징량 화상(그에 대한 자세한 것은 후술한다)로 되어 있지만, 특징량 화상에 한정되지 않고, 전술한 다양한 정보가 사용 가능하다.

클래스 분류 적응 처리 보정부(3502)는, 입력된 특징량 화상(실세계 추정 정보)에 따라 보정 화상을 생성하고, 가산부(3503)에 출력한다.

가산부(3503)는, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상과, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 보정 화상을 가산하고, 가산한 화상(HD 화상)을 출력 화상으로서 외부에 출력한다.

이와 같이 하여 출력된 출력 화상은, 예측 화상보다 더 실세계(1)의 신호(화상)에 가까운 화상이 된다. 즉, 클래스 분류 적응 처리 보정 방법은, 전술한 과제를 해결 가능한 방법이다.

또한, 도 266와 같이 신호 처리 장치(화상 처리 장치)(4)를 구성함으로써, 1프레임에 전체적으로 처리를 응용하는 것이 가능하게 된다. 즉, 후술하는 병용 방법을 이용하는 신호 처리 장치(예를 들면, 후술하는 도 292) 등에서는, 화소의 영역을 특정한 다음 출력 화상을 생성할 필요가 있지만, 도 266의 신호 처리 장치(4)는, 이 영역 특정이 불필요하게 되는 효과를 가질 수 있게 된다.

다음에, 화상 생성부(103) 중 클래스 분류 적응 처리부(3501)의 상세한 것에 대하여 설명한다.

도 267은, 클래스 분류 적응 처리부(3501)의 구성예를 나타내고 있다.

도 267에 있어서, 센서(2)로부터 입력된 입력 화상(SD 화상)은, 영역 추출부(3511)와 영역 추출부(3515)에 각각 공급된다. 영역 추출부(3511)는, 공급된 입력 화상으로부터, 클래스 분류를 행하기 위해 필요한 클래스 탭(주목 화소(SD 화소)를 포함하는 미리 설정된 위치에 존재하는 SD 화소)를 추출하고, 패턴 검출부(3512)에 출력한다. 패턴 검출부(3512)는, 입력된 클래스 탭에 따라 입력 화상의 패턴을 검출한다.

클래스 코드 결정부(3513)는, 패턴 검출부(3512)에 의해 검출된 패턴에 따라 클래스 코드를 결정하고, 계수 메모리(3514), 및 영역 추출부(3515)에 출력한다. 계수 메모리(3514)는, 학습에 의해 미리 구해진 클래스 코드마다의 계수를 기억하고 있고, 클래스 코드 결정부(3513)로부터 입력된 클래스 코드에 대응하는 계수를 판독하고, 예측 연산부(3516)에 출력한다.

그리고, 계수 메모리(3514)의 계수의 학습 처리에 대하여는, 도 269의 클래스 분류 적응 처리용 학습부의 블록도를 참조하여 후술한다.

또, 계수 메모리(3514)에 기억되는 계수는, 후술하는 바와 같이, 예측 화상(HD 화상)을 생성할 때 사용되는 계수이다. 따라서, 이하, 계수 메모리(3514)에 기억되는 계수를, 다른 계수와 구별하기 위하여, 예측 계수라고 한다.

영역 추출부(3515)는, 클래스 코드 결정부(3513)로부터 입력된 클래스 코드에 따라, 센서(2)로부터 입력된 입력 화상(SD 화상)으로부터, 예측 화상(HD 화상)을 예측 생성하는데 필요한 예측 탭(주목 화소를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 클래스 코드에 대응하여 추출하고, 예측 연산부(3516)에 출력한다.

예측 연산부(3516)는, 영역 추출부(3515)로부터 입력된 예측 탭과 계수 메모리(3514)로부터 입력된 예측 계수를 사용하여 곱셉 연산을 실행하고, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(HD 화상)의 HD 화소를 생성하고, 가산부(3503)에 출력한다.

보다 상세하게는, 계수 메모리(3514)는, 클래스 코드 결정부(3513)로부터 공급되는 클래스 코드에 대응하는 예측 계수를, 예측 연산부(3516)에 출력한다. 예측 연산부(3516)는, 영역 추출부(3515)로부터 공급되는 입력 화상의 소정의 화소 위치의 화소값으로부터 추출된 예측 탭과 계수 메모리(3514)로부터 공급된 예측 계수를 사용하여, 다음의 식(215)에서 나타내는 곱셈 및 덧셈 연산을 실행함으로써, 예측 화상(HD 화상)의 HD 화소를 구한다(예측 추정한다).

…(215)

식(215)에 있어서, q'은, 예측 화상(HD 화상)의 HD 화소를 나타내고 있다. c_i(i는, 1 내지 n의 정수치)의 각각은, 예측 탭(SD 화소)의 각각을 나타내고 있다. 또, d_i의 각각은, 예측 계수의 각각을 나타내고 있다.

이와 같이, 클래스 분류 적응 처리부(3501)는, SD 화상(입력 화상)으로부터, 그에 대한 HD 화상을 예측 추정하므로, 여기서는, 클래스 분류 적응 처리부(3501)로부터 출력되는 HD 화상을, 예측 화상이라 하고 있다.

도 268은, 이와 같은 클래스 분류 적응 처리부(3501)의 계수 메모리(3514)에 기억되는 예측 계수(식(212)에 있어서의 i)를 결정하기 위한 학습 장치(예측 계수의 산출 장치)를 나타내고 있다_.

그리고, 클래스 분류 적응 처리 보정 방법에 있어서는, 계수 메모리(3514) 외에, 클래스 분류 적응 처리 보정부(3502)의 계수 메모리(후술하는 도 276에서 나타내는 보정 계수 메모리(3554))가 형성되어 있다. 따라서, 도 268에 나타낸 바와 같이, 클래스 분류 적응 처리 방법에 있어서의 학습 장치(3504)에는, 클래스 분류 적응 처리부(3501)의 계수 메모리(3514)에 기억되는 예측 계수(식(212)에 있어서의 i)를 결정하기 위한 학습부(3521)(이하, 클래스 분류 적응 처리용 학습부(3521)라고 한다) 외에, 클래스 분류 적응 처리 보정부(3502)의 보정 계수 메모리(3554)에 기억되는 계수를 결정하기 위한 학습부(3561)(이하, 클래스 분류 적응 처리 보정용 학습부(3561)라고 한다)가 형성되어 있다.

따라서, 이하, 클래스 분류 적응 처리용 학습부(3521)에 있어서의 교사 화상을 제1 교사 화상라고 칭하는데 대하여, 클래스 분류 적응 처리 보정용 학습부(3561)에 있어서의 교사 화상을 제2 교사 화상라 칭한다. 마찬가지로, 이하, 클래스 분류 적응 처리용 학습부(3521)에 있어서의 학생 화상을 제1 학생 화상이라 칭하는데 대하여, 클래스 분류 적응 처리 보정용 학습부(3561)에 있어서의 학생 화상을 제2 학생 화상이라 칭한다.

그리고, 클래스 분류 적응 처리 보정용 학습부(3561)에 대하여는 후술한다.

도 269는, 클래스 분류 적응 처리용 학습부(3521)의 상세한 구성예를 나타내고 있다.

도 269에 있어서, 소정의 화상이, 제1 교사 화상(HD 화상)으로서 다운 컨버트부(3531)와 정규 방정식 생성부(3536)의 각각에 입력되면 모두, 클래스 분류 적응 처리 보정용 학습부(3561)(도 268)에 입력된다.

다운 컨버트부(3531)는, 입력된 제1 교사 화상(HD 화상)으로부터, 제1 교사 화상보다 해상도가 낮은 제1 학생 화상(SD 화상)을 생성하고(제1 교사 화상을 다운 컨버트한 것을 제1 학생 화상으로 하고), 영역 추출부(3532), 영역 추출부(3535), 및 클래스 분류 적응 처리 보정용 학습부(3561)(도 268)의 각각에 출력한다.

이와 같이, 클래스 분류 적응 처리용 학습부(3521)에는, 다운 컨버트부(3531)가 형성되어 있으므로, 제1 교사 화상(HD 화상)은, 전술한 센서(2)(도 266)로부터의 입력 화상보다 고해상도의 화상일 필요는 없다. 왜냐하면, 제1 교사 화상이 다운 컨버트된(해상도을 저하된) 제1 학생 화상을 SD 화상으로 하면, 제1 학생 화상에 대한 제1 교사 화상이 HD 화상이 되기 때문이다. 따라서, 제1 교사 화상은, 예를 들면, 센서(2)로부터의 입력 화상 그 자체가 되어도 된다.

영역 추출부(3532)는, 공급된 제1 학생 화상(SD 화상)으로부터, 클래스 분류를 행하기 위해 필요한 클래스 탭(SD 화소)을 추출하고, 패턴 검출부(3533)에 출력한다. 패턴 검출부(3533)는, 입력된 클래스 탭의 패턴을 검출하고, 그 검출 결과를 클래스 코드 결정부(3534)에 출력한다. 클래스 코드 결정부(3534)는, 입력된 패턴에 대응하는 클래스 코드를 결정하고, 그 클래스 코드를 영역 추출부(3535), 및 정규 방정식 생성부(3536)의 각각에 출력한다.

영역 추출부(3535)는, 클래스 코드 결정부(3534)로부터 입력된 클래스 코드에 따라, 다운 컨버트부(3531)로부터 입력된 제1 학생 화상(SD 화상)으로부터 예측 탭(SD 화소)을 추출하고, 정규 방정식 생성부(3536)과 예측 연산부(3558)의 각각에 출력한다.

그리고, 이상의 영역 추출부(3532), 패턴 검출부(3533), 클래스 코드 결정부(3534), 및 영역 추출부(3535)의 각각은, 도 267의 클래스 분류 적응 처리부(3501)의 영역 추출부(3511), 패턴 검출부(3512), 클래스 코드 결정부(3513), 및 영역 추출부(3515)의 각각과 기본적으로 동일한 구성과 기능을 가지는 것이다.

정규 방정식 생성부(3536)는, 클래스 코드 결정부(3534)로부터 입력된 모든 클래스 코드에 대하여, 클래스 코드마다, 영역 추출부(3535)로부터 입력되는 제1 학생 화상(SD 화상)의 예측 탭(SD 화소)과 제1 교사 화상(HD 화상)의 HD 화소로부터 정규 방정식을 생성하고, 계수 결정부(3537)에 공급한다. 계수 결정부(3537)는, 정규 방정식 생성부(3537)로부터 소정의 클래스 코드에 대응하는 정규 방정식이 공급되었을 때, 상기 정규 방정식로부터 예측 계수의 각각을 연산하고, 계수 메모리(3514)에 클래스 코드와 관련지어 기억시키고, 또한 예측 연산부(3538)에 공급한다.

정규 방정식 생성부(3536)와 계수 결정부(3537)에 대하여 보다 상세하게 설명한다.

전술한 식(215)에 있어서, 학습 전에는 예측 계수 d_i의 각각이 미정 계수이다. 학습은, 클래스 코드마다 복수개의 교사 화상(HD 화상)의 HD 화소를 입력함으로써 행하여 진다. 소정의 클래스 코드에 대응하는 HD 화소가 m개 존재하고, m개의 HD 화소의 각각을, q_k(k는, 1 내지 m의 정수치)로 기술하는 경우, 식(215)으로부터, 다음의 식(216)이 설정된다.

…(216)

즉, 식(216)은, 우변의 연산을함으로써, 소정의 HD 화소 q_k를 예측 추정할 수 있는 것을 나타내고 있다. 그리고, 식(216)에 있어서, e_k는 오차를 나타내고 있다. 즉, 우변의 연산 결과인 예측 화상(HD 화상)의 HD 화소 q_k'가, 실제의 HD 화소 q_k와 엄밀하게는 일치하지 않고, 소정의 오차 e_k를 포함한다.

그래서, 식(216)에 있어서, 예를 들면, 오차 e_k의 자승합을 최소가 되도록 한 예측 계수 d_i가, 학습에 의해 구해지면 된다.

구체적으로는, 예를 들면, m＞n이 되도록, HD 화소 q_k를 학습에 의해 모을 수가 있으면, 최소 자승법에 따라 예측 계수 d_i가 하나로 결정된다.

즉, 식(216)의 우변의 예측 계수 d_i를 최소 자승법으로 구하는 경우의 정규 방정식은, 다음의 식(217)으로 표현된다.

…(217)

따라서, 식(217)에서 나타내는 정규 방정식이 생성되고, 그 정규 방정식을 풀어서 예측 계수 d_i가 하나로 결정되게 된다.

구체적으로는, 식(217)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(218) 내지 (220)과 같이 정의하면, 정규 방정식은, 다음의 식(221)과 같이 표현된다.

…(218)

…(219)

…(220)

…(221)

식(219)에서 나타낸 바와 같이, 행렬 D_MAT의 각 성분은, 구하고 싶은 예측 계수 d_i이다. 따라서, 식(221)에 있어서, 좌변의 행렬 C_MAT와 우변의 행렬 Q_MAT가 결정되고, 행렬 해법에 따라 행렬 D_MAT (즉, 예측 계수 d_i)의 산출이 가능하다.

보다 구체적으로는, 식(218)에서 나타낸 바와 같이, 행렬 C_MAT의 각 성분은, 예측 탭 c_ik를 이미 알고 있으면 연산 가능하다. 예측 탭 c_ik는, 영역 추출부(3535)에 의해 추출되므로, 정규 방정식 생성부(3536)은, 영역 추출부(3535)로부터 공급되어 오는 예측 탭 c_ik의 각각을 이용하여 행렬 C_MAT의 각 성분을 연산할 수 있다.

또, 식(220)에서 나타낸 바와 같이, 행렬 Q_MAT의 각 성분은, 예측 탭 c_ik와 HD 화소 q_k가 이미 알려져 있으면 연산 가능하다. 예측 탭 c_ik는, 행렬 C_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, HD 화소 q_k는, 예측 탭 c_ik에 포함되는 주목 화소(제1 학생 화상의 SD 화소)에 대한 제1 교사 화상의 HD 화소다. 따라서, 정규 방정식 생성부(3536)는, 영역 추출부(3535)로부터 공급된 예측 탭 c_ik와 제1 교사 화상을 이용하여 행렬 Q_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(3536)은, 클래스 코드마다, 행렬 C_MAT와 행렬 Q_MAT의 각 성분을 연산하고, 그 연산 결과를 클래스 코드에 대응시켜 계수 결정부(3537)에 공급한다.

계수 결정부(3537)는, 공급된 소정의 클래스 코드에 대응하는 정규 방정식에 따라, 전술한 식(221)의 행렬 D_MAT의 각 성분인 예측 계수 d_i를 연산한다.

구체적으로는, 전술한 식(221)의 정규 방정식은, 다음의 식(222)과 같이 변형할 수 있다.

…(222)

식(222)에 있어서, 좌변의 행렬 D_MAT의 각 성분이, 구하고 싶은 예측 계수 d_i이다. 또, 행렬 C_MAT와 행렬 Q_MAT의 각각의 각 성분은, 정규 방정식 생성부(3536)로부터 공급되는 것이다. 따라서, 계수 결정부(3537)는, 정규 방정식 생성부(3536)로부터 소정의 클래스 코드에 대응하는 행렬 C_MAT와 행렬 Q_MAT의 각각의 각 성분이 공급될 때, 식(222)의 우변의 행렬 연산을 행함으로써 행렬 D_MAT를 연산하고, 그 연산 결과(예측 계수 d_i)를 클래스 코드에 대응시켜 계수 메모리(3514)에 기억시키고, 또한 예측 연산부(3538)에 공급한다.

예측 연산부(3538)는, 영역 추출부(3535)로부터 입력된 예측 탭과 계수 결정부(3537)에 의해 결정된 예측 계수를 사용하여 곱셈 및 덧셈 연산을 실행하고, 제1 학생 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(제1 교사 화상을 예측하는 화상)의 HD 화소를 생성하고, 그것을 학습용 예측 화상으로서 클래스 분류 적응 처리 보정용 학습부(3561)(도 268)에 출력한다.

보다 상세하게는, 예측 연산부(3538)는, 영역 추출부(3535)로부터 공급되는 제1 학생 화상의 소정의 화소 위치의 화소값으로부터 추출된 예측 탭을, c_i(i는, 1 내지 n의 정수치)으로 하고, 계수 결정부(3537)로부터 공급된 예측 계수를, d_i로서 전술한 식(215)에서 나타내는 곱셈 및 덧셈 연산을 실행함으로써, 학습용 예측 화상(HD 화상)의 HD 화소 q'을 구한다(제1 교사 화상을 예측 추정한다).

여기서, 도 270 내지 도 275를 참조하여, 전술한 종래의 클래스 분류 적응 처리(클래스 분류 적응 처리부(3501)가 가지는 과제, 즉, 도 266에 있어서, 센서(2)로부터 출력된 단계에서 실세계(1)의 디테일이 파괴된 입력 화상(SD 화상)은, 클래스 분류 적응 처리부(3501)에 의해 비록 HD 화상(실세계(1)의 신호를 예측하는 예측 화상)이 되어도, 원래의 디테일이 완전하게 복원되지 않는 경우가 있는 과제에 대하여 설명한다.

도 270은, 클래스 분류 적응 처리부(3501)의 처리 결과의 예를 나타내고 있다.

도 270에 있어서, HD 화상(3541)은, 도면 중 상하 방향으로부터, 대략 5도 시계 방향으로 기운 가는 선의 화상이 포함되는 화상이다. 또, SD 화상(3542)은, HD 화상(3541)의 2 2의 화소(HD 화소)로 이루어지는 블록에 속하는 화소(HD 화소)의 화소값의 평균값을, 1개의 화소(SD 화소)의 화소값으로 하여 생성된 화상이다. 즉, SD 화상(3542)은, HD 화상(3541)이 다운 컨버트된(해상도가 떨어진) 화상이다.

환언하면, HD 화상(3541)은, 센서(2)(도 266)에 입사되기 전의 화상(실세계(1)(도 266)의 신호)을 모방한 화상인 것으로 한다. 이 경우, SD 화상(3542)은, HD 화상(3541)에, 센서(2)의 적분 특성을 모방한, 공간 방향의 적분을 적용함으로써 얻어진 화상에 해당하게 된다. 즉, SD 화상(3542)은, 센서(2)로부터의 입력 화상을 모방한 화상이 된다.

또, SD 화상(3542)을 클래스 분류 적응 처리부(3501)(도 266)에 입력시켜, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상이, 예측 화상(3543)이다. 즉, 예측 화상(3543)은, 종래의 클래스 분류 적응 처리에 의해 생성된 HD 화상(원래의 HD 화상(3541)과 동일 해상도의 화상)이다. 단, 클래스 분류 적응 처리부(3501)가 예측 연산에 사용한 예측 계수(계수 메모리(3514)(도 267)에 기억된 예측 계수)는, HD 화상(3541)을 제1 교사 화상으로 하고, 또한 SD 화상(3542)을 제1 학생 화상으로서, 클래스 분류 적응 처리용 학습부(3561)(도 269)에 학습 연산시킨 것이다.

HD 화상(3541), SD 화상(3542), 및 예측 화상(3543)의 각각을 비교하면, 예측 화상(3543)은, SD 화상(3542)보다, HD 화상(3541)에 더 가까운 화상이 되어 있는 것을 알 수 있다.

이 비교 결과는, 클래스 분류 적응 처리부(3501)가, HD 화상(3541)의 디테일이 파괴된 SD 화상(3542)인데 비하여, 종래의 클래스 분류 적응 처리를 실시하면, 원래의 디테일이 복원된 예측 화상(3543)을 생성할 수 있는 것을 의미하고 있다.

그러나, 예측 화상(3543)과 HD 화상(3541)을 비교하면, 예측 화상(3543)은, HD 화상(3541)을 완전하게 복원한 화상이라고 하기 어렵다.

그래서, 본원 출원인은, 예측 화상(3543)이 HD 화상(3541)을 완전하게 복원되어 있지 않은 이유를 조사하기 위하여, 소정의 가산기(3546)에 의하여, HD 화상(3541)과, 예측 화상(3543)의 반전 입력의 가산 화상, 즉, HD 화상(3541)과, 예측 화상(3543)의 차분 화상(화소의 차분이 큰 경우, 흰색에 가까운 화소로 하고, 화소의 차분이 작을 경우, 흑색에 가까운 화소로 한 화상)(3544)를 생성했다.

마찬가지로, 본원 출원인은, 소정의 가산기(3547)에 의하여, HD 화상(3541)과, SD 화상(3542)의 반전 입력의 가산 화상, 즉, HD 화상(3541)과, SD 화상(3542)의 차분 화상(화소의 차분이 큰 경우, 흰색에 가까운 화소로 하고, 화소의 차분이 작은 경우, 흑색에 가까운 화소로 한 화상)(3545)을 생성했다.

그리고, 본원 출원인은, 이와 같이 하여 생성된 차분 화상(3544)과 차분 화상(3545)를 비교함으로써, 다음과 같은 조사 결과를 얻었다.

즉, HD 화상(3541)과 SD 화상(3542)의 차분이 큰 영역(차분 화상(3545)의 흰색에 가까운 영역)과, HD 화상(3541)과 예측 화상(3543)의 차분이 큰 영역(차분 화상(3544)의 흰색에 가까운 영역)은 대략 대응하고 있다.

환언하면, 예측 화상(3543)이 HD 화상(3541)을 완전하게 복원되어 있지 않은 영역은, 예측 화상(3543) 중, HD 화상(3541)과 SD 화상(3542)의 차분이 큰 영역(차분 화상(3545)의 흰색에 가까운 영역)에 대략 일치한다.

그래서, 본원 출원인은, 상기 조사 결과의 요인을 해명하기 위하여, 또한 다음과 같은 조사를 하였다.

즉, 본원 출원인은, 먼저, HD 화상(3541)과 예측 화상(3543)의 차분이 작은 영역(차분 화상(3544)의 흑색에 가까운 영역)에 있어서, HD 화상(3541)의 구체적인 화소값, SD 화상(3542)의 구체적인 화소값, 및 HD 화상(3541)에 대응하는 실제의 파형(실세계(1)의 신호)을 조사했다. 그 조사 결과가, 도 271와 도 272에 나타나 있다.

도 271은, 조사한 영역 중 일례를 나타내고 있다. 그리고, 도 271에 있어서, 도면 중, 수평 방향은, 공간 방향의 1방향인 X 방향으로 되어 있고, 또, 수직 방향은, 공간 방향의 다른 방향인 Y 방향으로 되어 있다.

즉, 본원 출원인은, HD 화상(3541)과 예측 화상(3543)의 차분이 작은 영역의 일례로서, 도 271에서 나타내는, 차분 화상(3544)의 영역(3544-1)에 대하여 조사했다.

도 272는, 도 271에서 나타내는 영역(3544-1)에 포함되는 X 방향으로 연속되는 6개의 HD 화소 중, 도면 중 좌측으로부터 4개 분의 HD 화소에 대응하는, HD 화상(3541)의 구체적인 화소값, SD 화상(3542)의 구체적인 화소값, 및 실제의 파형(실세계(1)의 신호)의 각각을 플롯한 것을 나타내고 있다.

도 272에 있어서, 세로축은 화소값을, 가로축은 공간 방향 X에 평행한 x축을, 각각 나타내고 있다. x축에 있어서, 원점은, 차분 화상(3544)의 6개의 HD 화소 중, 도면의 좌측으로부터 3번째의 HD 화소의 좌측단의 위치로 되어 있고, 그 원점을 기준으로 하여 좌표값이 부여되어 있다. 단, x축의 좌표값은, 차분 화상(3544)의 HD 화소의 화소폭을 0.5로 부여하고 있다. 즉, 차분 화상(3544)은 HD 화상이므로, HD 화상(3541)의 화소폭 L_t(이하, HD 화소폭 L_t라고 한다)도 0.5가 된다. 따라서, 지금의 경우, SD 화상(3542)의 화소폭(이하, SD 화소폭 L_s라고 한다)은, HD 화소폭 L_t의 2배가 되므로, SD 화소폭 L_s는 1이된다.

또, 도 272에 있어서, 실선은, HD 화상(3541)의 화소값을, 점선은, SD 화상(3542)의 화소값을, 일점 쇄선은, 실세계(1)의 신호의 X 단면 파형을, 각각 나타내고 있다. 단, 실세계(1)의 신호의 파형을 실제로 묘사하는 것은 곤란하므로, 도 272에서 나타내는 일점 쇄선은, 전술한 1차원 다항식 근사 방법(도 266의 실세계 추정부(102)의 일실시예)에 의해 X 단면 파형이 근사된 근사 함수 f(x)가 나타나 있다.

다음에, 본원 출원인은, 전술한 차분이 작은 영역의 조사와 마찬가지로, HD 화상(3541)과 예측 화상(3543)의 차분이 큰 영역(차분 화상(3544)의 흰색에 가까운 영역)에 있어서도, HD 화상(3541)의 구체적인 화소값, SD 화상(3542)의 구체적인 화소값, 및 HD 화상(3541)에 대응하는 실제의 파형(실세계(1)의 신호)을 조사했다. 그 조사 결과가, 도 273과 도 274에 나타나 있다.

도 273은, 조사한 영역 중 일례를 나타내고 있다. 그리고, 도 273에 있어서, 도면 중, 수평 방향은, 공간 방향의 1방향인 X 방향으로 되어 있고, 또, 수직 방향은, 공간 방향의 다른 방향인 Y 방향으로 되어 있다.

즉, 본원 출원인은, HD 화상(3541)과 예측 화상(3543)의 차분이 큰 영역의 일예로서, 도 273에 나타낸, 차분 화상(3544)의 영역(3544-2)에 대하여 조사했다.

도 274는, 도 273에 나타낸 영역(3544-2)에 포함되는 X 방향으로 연속되는 6개의 HD 화소 중, 도면 중 좌측으로부터 4개 분의 HD 화소에 대응하는, HD 화상(3541)의 구체적인 화소값, SD 화상(3542)의 구체적인 화소값, 및 실제의 파형(실세계(1)의 신호)의 각각을 플롯한 것을 나타내고 있다.

도 274에 있어서, 세로축은 화소값을, 가로축은 공간 방향 X에 평행한 x축을, 각각 나타내고 있다. x 축에 있어서, 원점은, 차분 화상(3544)의 6개의 HD 화소 중 도면 중 좌측으로부터 3번째의 HD 화소의 좌측단의 위치로 되어 있고, 그 원점을 기준으로 하여 좌표값이 부여되어 있다. 단, x축의 좌표값은, SD 화소폭 L_s를 1로서 부여하고 있다.

도 274에 있어서, 실선은, HD 화상(3541)의 화소값을, 점선은, SD 화상(3542)의 화소값을, 일점 쇄선은, 실세계(1)의 신호의 X 단면 파형을, 각각 나타내고 있다. 단, 도 274에 나타낸 일점 쇄선은, 도 272에서 나타내는 일점 쇄선과 마찬가지로, X 단면 파형이 근사된 근사 함수 f(x)가 나타나 있다.

도 272와 도 274를 비교하면, 양자의 근사 함수 f(x)의 파형의 형상으로부터, 어느 영역도 가는 선의 영역을 포함하고 있는 것을 알 수 있다.

그러나, 도 272에 있어서는, 가는 선의 영역은, 대략 x = 0으로부터 x = 1의 범위에 존재하는데 비하여, 도 274에 있어서는, 가는 선의 영역은, 대략 x = -0.5로부터 x = 0.5의 범위에 존재한다. 즉, 도 272에 있어서는, x = 0으로부터 x = 1의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소 내에 가는 선의 영역이 대략 포함되게 된다. 이에 비하여, 도 274에 있어서는, x = 0으로부터 x = 1의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소 내에, 가는 선의 영역이 일부만 포함되게(가는 선과 배경의 경계선이 포함되게) 된다.

따라서, 도 272에서 나타내는 상태의 경우, x = 0으로부터 x = 1.0의 범위에 존재하는 HD 화상(3541)의 2개의 HD 화소의 화소값(도면 중, 실선)의 차이는 작아진다. 그 결과, 당연히, 이들 2개의 HD 화소의 화소값의 평균값인, SD 화상(3542)의 하나의 SD 화소의 화소값(도면 중, 점선)과 HD 화상(3541)의 2개의 HD 화소의 화소값의 각각과의 차분은 작아지게 된다.

이와 같은 상태에서(도 272에서 나타내는 상태에서), x = 0으로부터 x = 1.0의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소가 주목 화소가 되어, 종래의 클래스 분류 적응 처리에 의해 x = 0으로부터 x = 1.0의 범위에 2개의 HD 화소(예측 화상(3543)의 화소)가 생성된 경우에 대하여 생각한다. 이 경우, 도 271에서 나타낸 바와 같이, 생성된 예측 화상(3543)의 HD 화소는, HD 화상(3541)의 HD 화소를 대략 정확하게 예측한 것이된다. 즉, 도 271에서 나타낸 바와 같이, 영역(3544-1)에 있어서는, 예측 화상(3543)의 HD 화소와 HD 화상(3541)의 HD 화소의 차분도 작아지므로, 흑색에 가까운 화상이 표시된다.

이에 비해, 도 274에 나타낸 상태의 경우, x = 0으로부터 x = 1.0의 범위에 존재하는 HD 화상(3541)의 2개의 HD 화소의 화소값(도면 중, 실선)의 차이는 커진다. 그 결과, 당연히, 이들 2개의 HD 화소의 화소값의 평균값인, SD 화상(3542)의 하나의 SD 화소의 화소값(도면 중, 점선)과 HD 화상(3541)의 2개의 HD 화소의 화소값의 각각과의 차분은, 도 272의 대응하는 차분에 대하여 크게 된다.

이와 같은 상태에서(도 274에 나타낸 상태에서), x = 0으로부터 x = 1.0의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소가 주목 화소가 되어, 종래의 클래스 분류 적응 처리에 의해 x = 0으로부터 x = 1.0의 범위에 HD 화소(예측 화상(3543)의 화소)가 생성된 경우에 대하여 생각한다. 이 경우, 도 273에 나타낸 바와 같이, 생성된 예측 화상(3543)의 HD 화소는, HD 화상(3541)의 HD 화소를 정확하게 예측한 것이라 할 수 없다. 즉, 도 273에 나타낸 바와 같이, 영역(3544-2)에 있어서는, 예측 화상(3543)의 HD 화소와 HD 화상(3541)의 HD 화소의 차분도 크게 되므로, 흰색에 가까운 화상이 표시된다.

그런데, 도 272와 도 274의 실세계(1)의 신호의 근사 함수 f(x)(도면 중, 일점 쇄선)의 각각을 비교하면, 도 272에 있어서는, x = 0으로부터 x = 1의 범위에서의 근사 함수 f(x)의 변화량은 작은데 비하여, 도 274에 있어서는, x = 0으로부터 x = 1의 범위에서의 근사 함수 f(x)의 변화량은 큰 것을 알 수 있다.

따라서, 도 272에서 나타내는 x = 0으로부터 x = 1.0의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소는, SD 화소 내에서의 근사 함수 f(x)의 변화량이 작은(즉, 실세계(1)의 신호의 변화량이 작은) SD 화소라고 할 수 있다.

이와 같은 관점으로부터, 전술한 조사 결과를 다시 말하면, 예를 들면, 도 272에서 나타내는 x = 0으로부터 x = 1.0의 범위에 존재하는 SD 화소와 같은, SD 화소 내에서의 근사 함수 f(x)의 변화가 적은(즉, 실세계(1)의 신호의 변화가 적은) SD화소로부터, 종래의 클래스 분류 적응 처리에 의해 HD 화소가 생성되면, 생성된 HD 화소는, 실세계(1)의 신호(지금의 경우, 가는 선의 화상)를 대략 정확하게 예측한 것이 된다.

이에 비하여, 도 274에 나타낸 x = 0으로부터 x = 1.0의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소는, SD 화소 내에서의 근사 함수 f(x)의 변화량이 큰(즉, 실세계(1)의 신호의 변화량이 큰) SD 화소라 할 수 있다.

이와 같은 관점으로부터, 전술한 조사 결과를 다시 말하면, 예를 들면, 도 274에 나타낸 x = 0으로부터 x = 1.0의 범위에 존재하는 SD 화소와 같은, SD 화소 내에서의 근사 함수 f(x)의 변화가 큰(즉, 실세계(1)의 신호의 변화가 큰) SD화소로부터, 종래의 클래스 분류 적응 처리에 의해 HD 화소가 생성되면, 생성된 HD 화소는, 실세계(1)의 신호(지금의 경우, 가는 선의 화상)를 정확하게 예측한 것이라 할 수 없다.

이상의 조사 결과를 정리하면, 도 275에 나타낸 바와 같은 상태의 경우, 종래의 화소 사이의 신호 처리(예를 들면, 클래스 분류 적응 처리)에서는, 화소 내의 디테일을 복원하는 것은 곤란하다는 것이다.

즉, 도 275는, 본원 출원인이 전술한 바와 같은 조사를 행한 결과로서, 얻어진 지견을 설명하는 도면이다.

도 275에 있어서, 도면 중 수평 방향은, 센서(2)(도 266)의 검출 소자가 배열되어 있는 방향(공간 방향) 중 1방향인 X 방향을 나타내고 있고, 도면 중 수직 방향은, 광의 레벨 또는 화소값을 나타내고 있다. 점선은, 화상인, 실세계(1)(도 266)의 신호의 X 단면 파형 F(x)를 나타내고 있고, 실선은, X 단면 파형 F(x)에 의해 표현되는 실세계(1)의 신호(화상)가 센서(2)에 입사된 경우, 센서(2)로부터 출력되는 화소값 P를 나타내고 있다. 또, 센서(2)의 하나의 검출 소자의 폭(X 방향의 길이)은, L_c로 기술되어 있고, △P는, 센서(2)의 하나의 검출 소자의 폭 L_c, 즉, 센서(2)의 화소폭L_c 내에서의 X 단면 파형 F(x)의 변화량을 나타내고 있다.

그런데, 전술한 SD 화상(3542)(도 270)은, 센서(2)로부터의 입력 화상(도 266)을 모방한 것이므로, SD 화상(3542)의 SD 화소폭 L_s(도 272과 도 274)는, 센서(2)의 화소폭(검출 소자의 폭) L_c로서 생각할 수 있다.

또, 전술한 조사에 있어서는, 가는 선에 대응하는 실세계(1)의 신호(근사 함수 f(x))에 대한 조사였지만, 가는 선에 한정되지 않고, 실세계(1)의 신호의 레벨의 변화는 존재한다.

따라서, 전술한 조사 결과를, 도 275에 나타낸 상태에 적용시키면, 다음과 같이 된다.

즉, 도 275에 나타낸 바와 같은, 화소 내에 있어서 실세계(1)의 신호의 변화량(X 단면 파형 F(x)의 변화량) △P가 큰 SD 화소(센서(2)로부터의 출력 화소)이 주목 화소가 되어, 종래의 클래스 분류 적응 처리에 의해 HD 화소(예를 들면, 도 266의 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상의 화소)가 생성된 경우, 생성된 HD 화소는, 실세계(1)의 신호(도 275의 예에서는, X 단면 파형 F(x)를 정확하게 예측한 것이라 할 수 없다.

구체적으로는, 클래스 분류 적응 처리를 시작으로 하는 종래의 방법에 있어서는, 센서(2)의 화소의 화소 사이의 화상 처리를 하고 있다.

즉, 도 275에서 나타낸 바와 같이, 실세계(1)에서는, 1화소 내의 영역에서 X 단면 파형 F(x)의 변화량 △P가 큰 상태에서 있어도, 센서(2)로부터는, X단면 파형 F(x)가 적분된(엄밀하게는, 실세계(1)의 신호가, 시공간 방향으로 적분된) 1개의 화소값 P(1화소 내에서 균일힌 값 P)만이 출력된다.

종래의 방법에 있어서는, 그 화소값 P가 기준이 되고, 또한 화소값 P가 처리의 대상이 되어 화상 처리를 하고 있다. 환언하면, 종래의 방법에 있어서는, 화소 내에서의 실세계(1)의 신호(X 단면 파형 F(x)의 변화, 즉, 화소 내의 디테일을 무시하고, 화상 처리를 하고 있다.

이와 같이, 화소를 최소의 단위로 하여 처리하는 한, 비록 어떠한 화상 처리(클래스 분류 적응 처리에서도)를 행한다 하더라도, 화소 내에서의 실세계(1)의 신호의 변합을 정확하게 재현하는 것은 곤란하다. 특히, 실세계(1)의 신호의 변화량 △P가 큰 경우, 그 곤란함은 더욱 현저하게 된다.

환언하면, 전술한 클래스 분류 적응 처리가 가지는과제, 즉, 도 266에 있어서, 센서(2)로부터 출력된 단계에서 실세계(1)의 디테일이 파괴된 입력 화상(SD 화상)은, 클래스 분류 적응 처리에 의해 비록 HD 화상이 되어도, 원래의 디테일이 완전하게 복원되지 않는 경우가 있는 과제가 발생하는 원인은, 화소 내에서의 실세계(1)의 신호의 변화량 △P를 고려하지 않고, 화소(1개의 화소값 밖에 가지고 있지 않은 화소)를 최소의 단위로 하여 클래스 분류 적응 처리가 행해지고 있기 때문이다.

상기 과제는, 클래스 분류 적응 처리에 한정되지 않고 종래의 화상 처리 방법의 모두가 가지는 과제이며, 과제가 발생하는 원인도 똑 같다.

이상, 종래의 화상 처리 방법이 가지는 과제와 그 발생 요인에 대하여 설명하였다.

그런데, 전술한 바와 같이, 본 발명의 데이터 정상성 검출부(101)와 실세계 추정부(102)(도 3)는, 실세계(1)의 신호가 가지는 정상성을 이용하여, 센서(2)로부터의 입력 화상(즉, 화소 내에서의, 실세계(1)의 신호의 변화가 무시된 화상)으로부터, 실세계(1)의 신호를 추정할 수 있다. 즉, 실세계 추정부(102)는, 실세계(1)의 신호를 추정하는 것이 가능한 실세계 추정 정보를 출력할 수 있다.

따라서, 상기 실세계 추정 정보로부터, 화소 내에서의, 실세계(1)의 신호의 변화량의 추정도 가능하다.

그래서, 본원 출원인은, 종래의 클래스 분류 적응 처리에 의해 생성된 예측 화상(화소 내에서의, 실세계(1)의 신호의 변화를 고려하지 않고, 실세계(1)를 예측한 화상)을, 실세계 추정 정보에 따라 생성되는 소정의 보정 화상(화소 내에서의, 실세계(1)의 신호의 변화에 기인하는 예측 화상의 오차를 추정한 화상)에 의해 보정함으로써, 전술한 과제의 해결이 가능하게 된다는 사상에 따라, 예를 들면, 도 266에서 나타낸 바와 같은, 클래스 분류 적응 처리 보정 방법을 발명했다.

즉, 도 266에 있어서, 데이터 정상성 검출부(101)와 실세계 추정부(102)가, 실세계 추정 정보를 생성하고, 클래스 분류 적응 처리 보정부(3502)가, 생성된 실세계 추정 정보에 따라 소정의 보정 화상을 생성한다. 그리고, 가산부(3503)가, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상을, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 보정 화상에 의해 보정한다(구체적으로는, 예측 화상에 보정 화상을 가산한 화상을 출력 화상으로서 출력한다).

클래스 분류 적응 처리 보정 방법을 이용하는 화상 생성부(103) 중, 클래스 분류 적응 처리부(3501)의 상세한 것에 대하여는 이미 설명하였다. 또, 가산부(3503)는, 예측 화상과 보정 화상을 가산할 수 있는 것이면, 그 형태는 특히 한정되지 않고, 예를 들면, 종래부터 존재하는, 다양한 가산기나 프로그램 등을 적용할 수 있다.

그래서, 이하, 나머지의 클래스 분류 적응 처리 보정부(3502)의 상세한 것에 대하여 설명한다.

처음에, 클래스 분류 적응 처리 보정부(3502)의 원리에 대하여 설명한다.

전술한 바와 같이, 도 270에 있어서, HD 화상(3541)을, 센서(2)(도 266)에 입사되기 전의 원래의 화상(실세계(1)의 신호)으로 간주하고, 또한 SD 화상(3542)을, 센서(2)로부터의 입력 화상으로 간주하면, 예측 화상(3543)이, 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상(원래의 화상(HD 화상(3541)을 예측한 예측 화상)이 된다.

또, HD 화상(3541)으로부터, 그 예측 화상(3543)을 감산한 화상이, 차분 화상(3544)이다.

따라서, 클래스 분류 적응 처리 보정부(3502)가, 차분 화상(3544)을 생성하고, 그 차분 화상(3544)를 보정 화상으로서 출력할 수 있고, 가산부(3503)가, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상(3543)과 클래스 분류 적응 처리 보정부(3502)로부터 출력된 차분 화상(3544)(보정 화상)을 가산함으로써, HD 화상(3541)을 복원할 수 있다.

즉, 클래스 분류 적응 처리 보정부(3502)가, 화상인, 실세계(1)의 신호(센서(2)에 입사되기 전의 원래의 화상)와 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상의 차분 화상(단, 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상과 동일 해상도의 화상)을 적절히 예측하고, 예측한 차분 화상(이하, 차분 예측 화상이라 한다. 이것이, 전술한 차분 예측 화상의 명칭의 유래이다)을 보정 화상으로서 출력할 수 있고, 실세계(1)의 신호(원래의 화상)를 대략 복원할 수 있다.

그런데, 전술한 바와 같이, 실세계(1)의 신호(센서(2)에 입사되기 전의 원래의 화상)와 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상의 차분(오차)의 정도와 입력 화상의 1화소 내에서의, 실세계(1)의 신호의 변화량의 정도는 대응하고 있다. 또, 실세계 추정부(102)는, 실세계(1)의 신호 자체를 추정할 수 있으므로, 당연히, 입력 화상의 1화소 내에서의, 실세계(1)의 신호의 변화량의 정도를 나타내는 소정의 특징량을 화소마다 산출하는 것도 가능하다.

따라서, 클래스 분류 적응 처리 보정부(3502)는, 입력 화상의 각 화소의 각각에 대한 특징량을 취득함으로써, 차분 예측 화상을 생성하는(차분 화상을 예측하는)것이 가능하다.

그래서, 예를 들면, 클래스 분류 적응 처리 보정부(3502)는, 실세계 추정부(102)로부터, 특징량을 화소값으로 하는 화상(이하, 이와 같은 화상을, 특징량 화상이라 한다)을 실세계 추정 정보로서 실세계 추정부(102)로부터 입력한다.

이 때, 특징량 화상의 해상도는, 센서(2)로부터의 입력 화상과 동일한 해상도이다. 또, 보정 화상(차분 예측 화상)은, 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상과 동일한 해상도이다.

따라서, 클래스 분류 적응 처리 보정부(3502)가, 특징량 화상을 SD 화상으로 하고, 보정 화상(차분 예측 화상)을 HD 화상으로 하고, 종래의 클래스 분류 적응 처리를 이용하여, 특징량 화상으로부터 차분 화상을 예측 연산하면, 그 예측 연산의 결과가, 적절한 차분 예측 화상이 된다.

이상, 클래스 분류 적응 처리 보정부(3502)의 원리에 대하여 설명하였다.

도 276은, 이와 같은 원리에 의해 동작하는 클래스 분류 적응 처리 보정부(3502)의 구성예를 나타내고 있다.

도 276에 있어서, 실세계 추정부(102)로부터 입력된 특징량 화상(SD 화상)은, 영역 추출부(3551)와 영역 추출부(3555)에 각각 공급된다. 영역 추출부(3551)는, 공급된 특징량 화상으로부터, 클래스 분류를 행하기 위해 필요한 클래스 탭(주목 화소를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 추출하고, 패턴 검출부(3552)에 출력한다. 패턴 검출부(3552)는, 입력된 클래스 탭에 따라 특징량 화상의 패턴을 검출한다.

클래스 코드 결정부(3553)는, 패턴 검출부(3552)에 의해 검출된 패턴에 따라 클래스 코드를 결정하고, 보정 계수 메모리(3554), 및 영역 추출부(3555)에 출력한다. 보정 계수 메모리(3554)는, 학습에 의해 미리 구해진 클래스 코드마다의 계수를 기억하고 있고, 클래스 코드 결정부(3553)로부터 입력된 클래스 코드에 대응하는 계수를 판독하고, 보정 연산부(3556)에 출력한다.

그리고, 보정 계수 메모리(3554)의 계수의 학습 처리에 대하여는, 도 277의 클래스 분류 적응 처리 보정용 학습부의 블록도를 참조하여 후술한다.

또, 보정 계수 메모리(3554)에 기억되는 계수는, 후술하는 바와 같이, 차분 화상을 예측할(HD 화상인 차분 예측 화상을 생성할) 때에 사용되는 예측 계수이다. 그러나, 여기서는, 클래스 분류 적응 처리부(3501)의 계수 메모리(3514)(도 267)에 기억되어 있는 계수를, 예측 계수라 칭하고 있다. 따라서, 이하, 보정 계수 메모리(3554)에 기억되는 예측 계수를, 계수 메모리(3514)에 기억되는 예측 계수와 구별하기 위하여, 보정 계수라고 한다.

영역 추출부(3555)는, 클래스 코드 결정부(3553)로부터 입력된 클래스 코드에 따라, 실세계 추정부(102)로부터 입력된 특징량 화상(SD 화상)으로부터, 차분 화상(HD 화상)을 예측(HD 화상인 차분 예측 화상을 생성)에 필요한 예측 탭(주목 화소를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 클래스 코드에 대응하여 추출하고, 보정 연산부(3556)에 출력한다. 보정 연산부(3556)는, 영역 추출부(3555)로부터 입력된 예측 탭과 보정 계수 메모리(3554)로부터 입력된 보정 계수를 사용하여 곱셈 및 덧셈 연산을 실행하고, 특징량 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 차분 예측 화상(HD 화상)의 HD 화소를 생성한다.

보다 상세하게는, 보정 계수 메모리(3554)는, 클래스 코드 결정부(3553)로부터 공급되는 클래스 코드에 대응하는 보정 계수를, 보정 연산부(3556)에 출력한다. 보정 연산부(3556)는, 영역 추출부(3555)로부터 공급되는 입력 화상의 소정의 화소 위치의 화소값으로부터 추출된 예측 탭(SD 화소)과 보정 계수 메모리(3554)로부터 공급된 보정 계수를 사용하여, 다음의 식(223)에서 나타내는 곱셈 및 덧셈 연산을 실행함으로써, 차분 예측 화상(HD 화상)의 HD 화소를 구한다(차분 화상을 예측 추정한다).

…(223)

식(223)에 있어서, u'는, 차분 예측 화상(HD 화상)의 HD 화소를 나타내고 있다. a_i(i는, 1 내지 n의 정수치)의 각각은, 예측 탭(SD 화소)의 각각을 나타내고 있다. 또, g_i의 각각은, 보정 계수의 각각을 나타내고 있다.

따라서, 도 266에 있어서, 클래스 분류 적응 처리부(3501)로부터는, 전술한 식(215)에서 나타내는 예측 화상의 HD 화소 q'가 출력되는 것에 대하여, 클래스 분류 적응 처리 보정부(3502)로부터는, 식(223)에서 나타내는 차분 예측 화상의 HD 화소 u'가 출력된다. 그리고, 가산부(3503)가, 예측 화상의 HD 화소 q'와 차분 예측 화상의 HD 화소 u'를 가산한 화소(이하, o'으로 기술함)를, 출력 화상의 HD 화소로서 외부에 출력한다.

즉, 화상 생성부(103)로부터 최종적으로 출력되는 출력 화상의 HD 화소 o'은, 다음의 식(224)에서 나타낸 바와 같이 된다.

…(224)

도 277은, 이와 같은 클래스 분류 적응 처리 보정부(3502)의 보정 계수 메모리(3554)에 기억되는 보정 계수(전술한 식(219)에 있어서의 g_i)를 결정하기 위한 학습부, 즉, 전술한 도 268의 학습 장치(3504)의 클래스 분류 적응 처리 보정용 학습부(3561)의 상세한 구성예를 나타내고 있다.

도 268에 있어서, 전술한 바와 같이, 클래스 분류 적응 처리용 학습부(3521)는, 그 학습 처리를 종료하면, 클래스 분류 적응 처리 보정용 학습부(3561)에 대하여, 학습에 이용한 제1 교사 화상(HD 화상)과 제1 학생 화상(SD 화상)의 각각을 출력하고, 또한 학습에 의해 구해진 예측 계수를 사용하여 제1 학생 화상으로부터 제1 교사 화상을 예측한 화상인, 학습용 예측 화상을 출력한다.

도 277으로 복귀하고, 이들 중의 제1 학생 화상은, 데이터 정상성 검출부(3572)에 입력된다.

한편, 이들 중의 제1 교사 화상과 학습용 예측 화상은, 가산부(3571)에 입력된다. 단, 학습용 예측 화상은, 반전되어 입력된다.

가산부(3571)는, 입력된 제1 교사 화상과, 반전 입력된 학습용 예측 화상을 가산하고, 즉, 제1 교사 화상과 학습용 예측 화상의 차분 화상을 생성하고, 그것을 클래스 분류 적응 처리 보정용 학습부(3561)에 있어서의 교사 화상(이 교사 화상을, 전술한 바와 같이, 제1 교사 화상과 구별하기 위하여, 제2 교사 화상이라 한다)으로서 정규 방정식 생성부(3578)에 출력한다.

데이터 정상성 검출부(3572)는, 입력된 제1 학생 화상에 포함되는 데이터 정상성을 검출하고, 그 검출 결과를 데이터 정상성 정보로서 실세계 추정부(3573)에 출력한다.

실세계 추정부(3573)는, 입력된 데이터 정상성 정보에 따라, 특징량 화상을 생성하고, 그것을 클래스 분류 적응 처리 보정용 학습부(3561)에 있어서의 학생 화상(이 학생 화상을, 전술한 바와 같이, 제1 학생 화상과 구별하기 위하여, 제2 학생 화상이라 한다)으로서 영역 추출부(3574)과 영역 추출부(3577)의 각각에 출력한다.

영역 추출부(3574)는, 공급된 제2 학생 화상(SD 화상)으로부터, 클래스 분류를 행하기 위해 필요한 SD 화소(클래스 탭)를 추출하고, 패턴 검출부(3575)에 출력한다. 패턴 검출부(3575)는, 입력된 클래스 탭의 패턴을 검출하고, 검출 결과를 클래스 코드 결정부(3576)에 출력한다. 클래스 코드 결정부(3576)는, 입력된 패턴에 대응하는 클래스 코드를 결정하고, 상기 클래스 코드를 영역 추출부(3577), 및 정규 방정식 생성부(3578)의 각각에 출력한다.

영역 추출부(3577)는, 클래스 코드 결정부(3576)로부터 입력된 클래스 코드에 따라, 실세계 추정부(3573)로부터 입력된 제2 학생 화상(SD 화상)으로부터 예측 탭(SD 화소)을 추출하고, 정규 방정식 생성부(3578)에 출력한다.

그리고, 이상의 영역 추출부(3574), 패턴 검출부(3575), 클래스 코드 결정부(3576), 및 영역 추출부(3577)의 각각은, 도 276의 클래스 분류 적응 처리 보정부(3502)의 영역 추출부(3551), 패턴 검출부(3552), 클래스 코드 결정부(3553), 및 영역 추출부(3555)의 각각과 기본적으로 동일한 구성과 기능을 가지는 것이다. 또, 이상의 데이터 정상성 검출부(3572), 및 실세계 추정부(3573)의 각각은, 도 266의 데이터 정상성 검출부(101), 및 실세계 추정부(102)의 각각과 기본적으로 동일한 구성과 기능을 가지는 것이다.

정규 방정식 생성부(3578)는, 클래스 코드 결정부(3576)로부터 입력된 모든 클래스 코드에 대하여, 클래스 코드마다, 영역 추출부(3577)로부터 입력되는 제2 학생 화상(SD 화상)의 예측 탭(SD 화소)과 제2 교사 화상(HD 화상)의 HD 화소로부터 정규 방정식을 생성하고, 보정 계수 결정부(3579)에 공급한다. 보정 계수 결정부(3579)는, 정규 방정식 생성부(3578)로부터 소정의 클래스 코드에 대응하는 정규 방정식이 공급될 때, 상기 정규 방정식로부터 보정 계수의 각각을 연산하고, 보정 계수 메모리(3554)에 클래스 코드와 관련지어 기억시킨다.

정규 방정식 생성부(3578)과 보정 계수 결정부(3579)에 대하여 보다 상세하게 설명한다.

전술한 식(223)에 있어서, 학습 전에는 보정 계수 g_i의 각각이 미정 계수이다. 학습은, 클래스 코드마다 복수개의 교사 화상(HD 화상)의 HD 화소를 입력함으로써 행한다. 소정의 클래스 코드에 대응하는 HD 화소가 m개 존재하고, m개의 HD 화소의 각각을, u_k(k는, 1 내지 m의 정수치)로 기술하는 경우, 식(223)으로부터, 다음의 식(225)이 설정된다.

…(225)

즉, 식(225)은, 우변의 연산함으로써, 소정의 HD 화소를 예측 추정할 수 있는 것을 나타내고 있다. 그리고, 식(225)에 있어서, e_k는 오차를 나타내고 있다. 즉, 우변의 연산 결과인 차분 예측 화상(HD 화상)의 HD 화소 u_k'가, 실제의 차분 화상의 HD 화소 u_k와 엄밀하게는 일치하지 않고, 소정의 오차 e_k를 포함한다.

그래서, 식(225)에 있어서, 예를 들면, 오차 e_k의 제곱합을 최소가 되도록 한 보정 계수 a_i가, 학습에 의해 구해지면 된다.

예를 들면, m＞n이 되도록, 차분 화상의 HD 화소 u_k를 학습에 의해 모을 수 있으면, 최소 자승법에 따라 보정 계수 a_i가 하나로 결정된다.

즉, 식(225)의 우변의 보정 계수 a_i를 최소 자승법에 의해 구하는 경우의 정규 방정식은, 다음의 식(226)에서 나타내는 바와 같다.

…(226)

식(226)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(227) 내지 (229)와 같이 정의하면, 정규 방정식은, 다음의 식(230)과 같이 표현된다.

…(227)

…(228)

…(229)

…(230)

식(228)에서 나타낸 바와 같이, 행렬 G_MAT의 각 성분은, 구하고 싶은 보정 계수 g_i이다. 따라서, 식(230)에 있어서, 좌변의 행렬 A_MAT와 우변의 행렬 U_MAT가 결정되고, 행렬 해법에 따라 행렬 G_MAT (즉, 보정 계수 g_i)의 산출이 가능하다.

구체적으로는, 식(227)에서 나타낸 바와 같이, 행렬 A_MAT의 각 성분은, 예측 탭 a_ik가 이미 알려져 있으면 연산 가능하다. 예측 탭 a_ik는, 영역 추출부(3577)에 의해 추출되므로, 정규 방정식 생성부(3578)는, 영역 추출부(3577)로부터 공급되어 오는 예측 탭 a_ik의 각각을 이용하여 행렬 A_MAT의 각 성분을 연산할 수 있다.

또, 식(229)에서 나타낸 바와 같이, 행렬 U_MAT의 각 성분은, 예측 탭 a_ik와 차분 화상의 HD 화소 u_k가 이미 알려져 있으면 연산 가능하다. 예측 탭 a_ik는, 행렬 A_MAT의 각 성분에 포함되는 것과 동일하며, 또, 차분 화상의 HD 화소 u_k는, 가산부(3571)로부터 출력되는 제2 교사 화상의 HD 화소이다. 따라서, 정규 방정식 생성부(3578)는, 영역 추출부(3577)로부터 공급된 예측 탭 a_ik와 제2 교사 화상(제1 교사 화상과, 학습용 예측 화상의 차분 화상)을 이용하여 행렬 U_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(3578)는, 클래스 코드마다, 행렬 A_MAT와 행렬 U_MAT의 각 성분을 연산하고, 그 연산 결과를 클래스 코드에 대응시켜 보정 계수 결정부(3579)에 공급한다.

보정 계수 결정부(3579)는, 공급된 소정의 클래스 코드에 대응하는 정규 방정식에 따라, 전술한 식(230)의 행렬 G_MAT의 각 성분인 보정 계수 g_i를 연산한다.

구체적으로는, 전술한 식(230)의 정규 방정식은, 다음의 식(231)과 같이 변형할 수 있다.

…(231)

식(231)에 있어서, 좌변의 행렬 G_MAT의 각 성분이, 구하고 싶은 보정 계수 g_i이다. 또, 행렬 A_MAT와 행렬 U_MAT의 각각의 각 성분은, 정규 방정식 생성부(3578)로부터 공급되는 것이다. 따라서, 보정 계수 결정부(3579)는, 정규 방정식 생성부(3578)로부터 소정의 클래스 코드에 대응하는 행렬 A_MAT와 행렬 U_MAT의 각각의 각 성분이 공급될 때, 식(231)의 우변의 행렬 연산을 행함으로써 행렬 G_MAT를 연산하고, 그 연산 결과(보정 계수 g_i)를 클래스 코드에 대응시켜 보정 계수 메모리(3554)에 기억시킨다.

이상, 클래스 분류 적응 처리 보정부(3502)와 거기에 부수되는 학습부인, 클래스 분류 적응 처리 보정용 학습부(3561)의 상세한 것에 대하여 설명하였다.

그런데, 전술한 특징량 화상은, 클래스 분류 적응 처리 보정부(3502)가 그에 따라 보정 화상(차분 예측 화상)을 생성 가능하면, 그 형태는 특히 한정되지 않는다. 환언하면, 특징량 화상의 각 화소의 화소값, 즉, 특징량은, 전술한 바와 같이, 화소(센서(2)(도 266)의 화소) 내에서의 실세계(1)(도 266)의 신호의 변화량의 정도를 나타낼 수 있으면, 특히, 한정되지 않는다.

예를 들면, 특징량으로서, 화소 내 경사를 적용할 수 있다.

화소내 경사란, 여기서 새롭게 정의한 말이다. 그래서, 이하, 화소내 경사에 대하여 설명한다.

전술한 바와 같이, 도 266에 있어서, 화상인, 실세계(1)의 신호는, 3차원의 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 함수 F(x, y, t)에 의해 표현된다.

또, 예를 들면, 화상인, 실세계(1)의 신호가, 공간 방향의 소정의 방향으로 정상성을 가지는 경우, 함수 F(x, y, t)를, 공간 방향인 X 방향, Y 방향, 및 Z 방향 중 소정의 1방향(예를 들면, X 방향)으로 투영한 1차원의 파형(여기에서도, 이와 같은 파형 중 X 방향으로 투영 한 파형을, X단면 파형 F(x)이라고 한다)과 동일 형상의 파형이, 정상성의 방향으로 이어져 있다고 생각할 수 있다.

따라서, 실세계 추정부(102)는, 예를 들면, 데이터 정상성 검출부(101)로부터 출력되는, 실세계(1)의 신호가 가지는 정상성에 대응하는 데이터 정상성 정보(예를 들면, 각도)에 따라, X단면 파형 F(x)를, n차(n는, 임의의 정수)의 다항식인 근사 함수 f(x)에 의해 근사할 수 있다.

도 278은, 이와 같은 근사 함수 f(x)의 일례로서, 다음의 식(232)에서 나타내는 f₄(x)(5차의 다항식인 f₄(x))와 다음의 식(233)에서 나타내는 f₅(x)(1차의 다항식인 f₅(x))를 플롯한 것을 나타내고 있다.

…(232)

…(233)

그리고, 식(232)의 w₀내지 w₅, 및 식(233)의 w₀' 및 w₁'의 각각은, 실세계 추정부(102)가 연산한 다음의 계수를 각각 나타내고 있다.

또, 도 278에 있어서, 도면 중 수평 방향의 x축은, 주목 화소의 좌측단을 원점(x = 0)으로 한 경우에 있어서의, 주목 화소로부터의 공간 방향 X의 상대 위치를 나타내고 있다. 단, x축에 있어서는, 센서(2)의 검출 소자의 폭 L_c가 1이 되어 있다. 또, 도면 중 수직 방향의 축은, 화소값을 나타내고 있다.

도 278에 나타낸 바와 같이, 1차의 근사 함수 f₅(x)(식(229)에서 나타내는 근사 함수 f₅(x))는, 주목 화소에 있어서의 X 단면 파형 F(x)를 직선 근사한 것이다. 이 근사 직선의 기울기를, 여기서는, 화소내 경사로 칭하고 있다. 즉, 화소내 경사란, 식(233)에 있어서의 x의 계수 w₁'이다.

화소내 경사가 높을 경우, 그것은, 주목 화소에 있어서의, X 단면 파형 F(x)의 변화량이 큰 것을 나타내고 있다. 이에 비해, 화소내 경사가 완만한 경우, 그것은, 주목 화소에 있어서의, X단면 파형 F(x)의 변화량이 작은 것을 나타내고 있다.

이와 같이, 화소내 경사는, 화소(센서(2)의 화소) 내에서의 실세계(1)의 신호의 변화량의 정도를 적절히 나타낼 수가 있다. 따라서, 특징량으로서, 화소내 경사를 적용할 수 있다.

예를 들면, 도 279에는, 화소내 경사를 특징량으로 하여 실제로 생성된 특징량 화상이 나타나 있다.

즉, 도 279에 있어서, 도면 중 좌측의 화상은, 전술한 도 270에 나타낸 SD 화상(3542)과 동일한 화상을 나타내고 있다. 또, 도면 중 우측의 화상은, 좌측의 SD 화상(3542)을 구성하는 각 화소의 각각에 대하여 화소내 경사를 구하고, 화소내 경사에 대응하는 값을 화소값으로서 플롯한 특징량 화상(3591)을 나타내고 있다. 단, 특징량 화상(3591)은, 화소내 경사가 없는 경우(근사 직선이, X 방향으로 평행한 경우), 흑색이 되고, 이에 비하여, 화소내 경사가 직각의 경우(근사 직선이, Y 방향으로 평행한 경우), 흰색이 되도록 생성되어 있다.

SD 화상(3542)의 영역(3542-1)은, 전술한 도 271의 차분 화상(3544)의 영역(3544-1)(전술한 도 272를 참조하여, 화소 내에서의 실세계(1)의 신호의 변화량이 작은 영역의 일례로서 설명한 영역)에 대응하는 영역이다. 이 SD 화상(3542)의 영역(3542-1)에 대응하는 특징량 화상(3591)의 영역이, 영역(3591-1)이다.

또, SD 화상(3542)의 영역(3542-2)은, 전술한 도 273의 차분 화상(3544)의 영역(3544-2)(전술한 도 274를 참조하여, 화소 내에서의 실세계(1)의 신호의 변화량이 큰 영역의 일례로서 설명한 영역)에 대응하는 영역이다. 이 SD 화상(3542)의 영역(3542-2)에 대응하는 특징량 화상(3591)의 영역이, 영역(3591-2)이다.

SD 화상(3542)의 영역(3542-1)과 특징량 화상(3591)의 영역(3591-1)을 비교하면, 실세계(1)의 신호의 변화량이 작은 영역은, 특징량 화상(3591)에 있어서는, 흑색에 가까운 영역(화소내 경사가 완만한 영역)이 되어 있는 것을 알 수 있다.

이에 비하여, SD 화상(3542)의 영역(3542-2)과 특징량 화상(3591)의 영역(3591-2)을 비교하면, 실세계(1)의 신호의 변화량이 큰 영역은, 특징량 화상(3591)에 있어서는, 흰색에 가까운 영역(화소내 경사가 급한 영역)이 되어 있는 것을 알 수 있다.

이와 같이, 화소내 경사에 대응하는 값을 화소로 해서 생성된 특징량 화상은, 각 화소 내의 각각에 있어서의 실세계(1)의 신호의 변화량의 정도를 적절히 나타낼 수가 있다.

다음에, 화소내 경사의 구체적인 산출 방법에 대하여 설명한다.

즉, 주목 화소에 있어서의 화소내 경사를, grad라 기술하면, 화소내 경사 grad는, 다음의 식(234)으로 표현된다.

…(234)

식(234)에 있어서, P_n는, 주목 화소의 화소값을 나타내고 있다. P_c는, 중심 화소의 화소값을 나타내고 있다.

구체적으로는, 예를 들면, 도 280에 나타낸 바와 같이, 센서(2)로부터의 입력 화상 중, 5 × 5의 화소(도면 중 5 × 5 = 25개의 정방형)으로 이루어지는 영역인, 소정의 데이터 정상성을 가지는 영역(3601)(이하, 정상 영역(3601)이라고 한다)이 존재하는 경우, 상기 정상 영역(3601)의 중심의 화소(3602)가 중심 화소가 된다. 따라서, P_c는, 중심 화소(3602)의 화소값 이 된다. 그리고, 예를 들면, 화소(3603)가 주목 화소가 되는 경우, P_n는, 주목 화소(3603)의 화소값이 된다.

또, 식(234)에 있어서, x_n'은, 주목 화소의 중심점에 있어서의 단면 방향 거리를 나타내고 있다. 그리고, 여기서는, 중심 화소(도 280의 예에서는, 화소(3602))의 중심을 공간 방향의 원점(0, 0)으로 하고, 그 원점을 지나는 데이터 정상성의 방향과 평행한 직선(도 280의 예에서는, 직선(3604))을 그었다고 하면, 그 직선에 대한 X 방향의 상대적인 거리를, 단면 방향 거리로 칭하고 있다.

도 281은, 도 280의 정상 영역(3601) 내의 각 화소의 단면 방향 거리를 나타낸 도면이다. 즉, 도 281에 있어서, 정상 영역(3601)의 각 화소(도면 중 5 × 5 = 25개의 정방형) 내의 각각에 기재되어 있는 값이, 대응하는 화소의 단면 방향 거리이다. 예를 들면, 주목 화소(3603)의 단면 거리 x_n'은, -2β이다.

단, 각 화소폭은, X 방향과 Y 방향 모두 1이 되어 있다. X 방향의 양의 방향은, 도면 중 우측 방향이 되어 있다. 또, β는 중심 화소(3602)의 Y 방향에 대하여 1개 근처(도면 중 1개 밑)의 화소(3605)의 단면 방향 거리를 나타내고 있다. 이 β는, 도 281에서 나타낸 바와 같은 각도 θ(직선(3604)의 방향과, X 방향이 이루는 각도 θ)가, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서 출력되어 있는 경우, 다음의 식(235)을 이용하여 간단하게 연산할 수 있다.

…(235)

이와 같이, 화소내 경사는, 중심 화소(도 281의 예에서는 화소(3602))와 주목 화소(도 281의 예에서는 화소(3603))의 2개의 입력 화소값과 각도 θ를 이용하는 간단한 연산으로 산출 가능하다. 따라서, 실세계 추정부(102)는, 화소내 경사에 대응하는 값을 화소값으로 하는 화상을, 특징량 화상으로서 생성하면, 그 처리량을 대폭 저감하는 것이 가능하게 된다.

그리고, 또한 정밀도가 양호한 화소내 경사를 구하고 싶은 경우, 실세계 추정부(102)는, 주목 화소의 주변 화소를 사용하여 최소 자승법에 의해 연산하면 된다. 구체적으로는, 실세계 추정부(102)는, 주목 화소를 포함하는 m개 (m는 2 이상의 정수)의 화소에 대하여 번호 i(i는, 1 내지 m)를 부여하고, 번호 i의 화소의 각각의 입력 화소값 P_i와 단면 방향 거리 x_i'를, 다음의 식(236)의 우변에 대입하여 주목 화소에 있어서의 화소내 경사 grad를 연산하면 된다. 즉, 식(236)은, 전술한 1변수를 최소 자승법으로 구하는 식과 동일한 식이다.

…(236)

다음에, 도 282를 참조하여, 클래스 분류 적응 처리 보정 방법을 이용하는 화상 생성부(103)(도 266)의 화상의 생성의 처리(도 40의 스텝 S103의 처리)에 대하여 설명한다.

도 266에 있어서, 화상인, 실세계(1)의 신호가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다. 상기 입력 화상은, 데이터 정상성 검출부(101)에 입력되면 모두, 화상 생성부(103)의 클래스 분류 적응 처리부(3501)에 입력된다.

그래서, 도 282의 스텝 S3501에 있어서, 클래스 분류 적응 처리부(3501)는, 입력된 입력 화상(SD 화상)에 대하여 클래스 분류 적응 처리를 실시하여, 예측 화상(HD 화상)을 생성하고, 가산부(3503)에 출력한다.

그리고, 이하, 이와 같은 클래스 분류 적응 처리부(3501)가 실행하는 스텝 S3501의 처리를, 「입력 화상 클래스 분류 적응 처리」라고 한다. 이 예의 「입력 화상 클래스 분류 적응 처리」의 상세한 것에 대하여는, 도 283의 흐름도를 참조하여 후술한다.

스텝 S3501의 처리와 거의 동시에, 데이터 정상성 검출부(101)는, 입력 화상에 포함되는 데이터 정상성을 검출하고, 그 검출 결과(지금의 경우, 각도)를 데이터 정상성 정보로서 실세계 추정부(102)에 출력한다(도 40의 스텝 S101의 처리).

실세계 추정부(102)는, 입력한 각도(데이터 정상성 정보)에 따라서, 실세계 추정 정보(지금의 경우, SD 화상인 특징량 화상)를 생성하고, 화상 생성부(103)의 클래스 분류 적응 처리 보정부(3502)에 공급한다(도 40의 스텝 S102의 처리).

그래서, 스텝 S3502에 있어서, 클래스 분류 적응 처리 보정부(3502)는, 공급된 특징량 화상(SD 화상)에 대하여 클래스 분류 적응 처리를 실시하여, 차분 예측 화상(HD 화상)을 생성하고(실제의 화상(실세계(1)의 신호)과 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상의 차분 화상(단, HD 화상)을 예측 연산하고), 그것을 보정 화상으로서 가산부(3503)에 출력한다.

그리고, 이하, 이와 같은 클래스 분류 적응 처리 보정부(3502)가 실행하는 스텝 S3502의 처리를, 「클래스 분류 적응 처리의 보정 처리」라고 한다. 이 예의 「클래스 분류 적응 처리의 보정 처리」의 상세한 것에 대하여는, 도 284의 흐름도를 참조하여 후술한다.

그리고, 스텝 S3503에 있어서, 가산부(3503)가, 스텝 S3501의 처리에서 클래스 분류 적응 처리부(3501)에 의해 생성된 예측 화상(HD 화상)의 주목 화소(HD 화소)와 상기 주목 화소에 대응하는, 스텝 S3502의 처리에서 클래스 분류 적응 처리 보정부(3502)에 의해 생성된 보정 화상(HD 화상)의 화소(HD 화소)를 가산하고, 출력 화상(HD 화상)의 화소(HD 화소)를 생성한다.

스텝 S3504에 있어서, 가산부(3503)는, 모든 화소의 처리가 종료되었는지 여부를 판정한다.

스텝 S3504에 있어서, 모든 화소의 처리가 아직 종료되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S3501로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소가 되어있지 않는 화소가, 차례로 주목 화소가 되어, 스텝 S3501 내지 S3503의 처리가 반복된다.

그리고, 모든 화소의 처리가 종료되면(스텝 S3504에 있어서, 모든 화소의 처리가 종료되었다고 판정하면), 가산부(3504)는, 스텝 S3505에 있어서, 출력 화상(HD 화상)을 외부에 출력한다. 그 후, 화상의 생성의 처리는 종료된다.

다음에, 도면을 참조하여, 이 예에 있어서의 「입력 화상 클래스 분류 적응 처리(스텝 S3501의 처리)」, 및 「클래스 분류 적응 처리의 보정 처리(스텝 S3502의 처리)」의 각각의 상세에 대하여, 그 순서대로 개별적으로 설명한다.

처음에, 도 283의 흐름도를 참조하여, 클래스 분류 적응 처리부(3501)(도 267)이 실행하는 「입력 화상 클래스 분류 적응 처리」의 상세에 대하여 설명한다.

입력 화상(SD 화상)이 클래스 분류 적응 처리부(3501)에 입력되면, 스텝 S3521에 있어서, 영역 추출부(3511)와 영역 추출부(3515)의 각각은, 입력 화상을 입력한다.

스텝 S3522에 있어서, 영역 추출부(3511)는, 입력 화상 중, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1이상의 위치)의 각각에 위치하는 화소(SD 화소)를, 클래스 탭으로서 추출하고, 패턴 검출부(3512)에 공급한다.

스텝 S3523에 있어서, 패턴 검출부(3512)는, 공급된 클래스 탭의 패턴을 검출하고, 클래스 코드 결정부(3513)에 공급한다.

스텝 S3524에 있어서, 클래스 코드 결정부(3513)는, 미리 설정되어 있는 복수개의 클래스 코드 중, 공급된 클래스 탭의 패턴에 적합한 클래스 코드를 결정하고, 계수 메모리(3514)로 영역 추출부(3515)의 각각에 공급한다.

스텝 S3525에 있어서, 계수 메모리(3514)는, 미리 학습 처리에 의해 결정된 복수개의 예측 계수(군) 중, 공급된 클래스 코드에 따라 지금부터 사용하는 예측 계수(군)를 판독하고, 예측 연산부(3516)에 공급한다.

그리고, 학습 처리에 대하여는, 도 288의 흐름도를 참조하여 후술한다.

스텝 S3526에 있어서, 영역 추출부(3515)는, 공급된 클래스 코드에 대응하여, 입력 화상 중, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1이상의 위치이며, 클래스 탭의 위치와는 독립적으로 설정된 위치. 단, 클래스 탭의 위치와 동일한 위치라도 된다)의 각각에 위치하는 화소(SD 화소)를, 예측 탭으로서 추출하고, 예측 연산부(3516)에 공급한다.

스텝 S3527에 있어서, 예측 연산부(3516)는, 영역 추출부(3515)로부터 공급된 예측 탭을, 계수 메모리(3514)로부터 공급된 예측 계수를 사용하여 연산하고, 예측 화상(HD 화상)을 생성하여 가산부(3503)에 출력한다.

구체적으로는, 예측 연산부(3516)는, 영역 추출부(3515)로부터 공급된 예측 탭의 각각을 c_i(i는, 1 내지 n 중 어느 하나의 정수)로 하고, 또한 계수 메모리(3514)로부터 공급된 예측 계수의 각각을 d_i로 하여 전술한 식(215)의 우변을 연산함으로써, 주목 화소(SD 화소)에 있어서의 HD 화소 q'를 산출하고, 그것을 예측 화상(HD 화상)을 구성하는 1개의 화소로서 가산부(3503)에 출력한다. 이로써, 입력 화상 클래스 분류 적응 처리가 종료된다.

다음에, 도 284의 흐름도를 참조하여, 클래스 분류 적응 처리 보정부(3502)(도 276)가 실행하는 「클래스 분류 적응 처리의 보정 처리」의 상세에 대하여 설명한다.

실세계 추정부(102)로부터 실세계 추정 정보로서 특징량 화상(SD 화상)이 클래스 분류 적응 처리 보정부(3502)에 입력되면, 스텝 S3541에 있어서, 영역 추출부(3551)와 영역 추출부(3555)의 각각은, 특징량 화상을 입력한다.

스텝 S3542에 있어서, 영역 추출부(3551)는, 특징량 화상 중, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1이상의 위치)의 각각에 위치하는 화소(SD 화소)를, 클래스 탭으로서 추출하고, 패턴 검출부(3552)에 공급한다.

구체적으로는, 이 예에 있어서는, 예를 들면, 도 285에 나타낸 바와 같은 클래스 탭(군)(3621)이 추출되었다고 가정한다. 즉, 도 285는, 클래스 탭 배치의 일례를 나타내고 있다.

도 285에 있어서, 도면 중 수평 방향은, 공간 방향의 1방향인 X 방향이 되어 있고, 도면 중 수직 방향은, 공간 방향의 다른 방향인 Y 방향이 되어 있다. 또, 주목 화소는, 화소(3621-2)가 되어 있다.

이 경우, 도 285의 예에서는, 주목 화소(3621-2), Y 방향에 대하여 주목 화소(3621-2)의 인접한 화소(3621-0) 및 화소(3621-4), 및 X 방향에 대하여 주목 화소(3621-2)의 인접한 화소(3621-1) 및 화소(3621-3)의 총 5개의 화소로 이루어지는 화소군(3621)이, 클래스 탭으로서 추출된다.

물론, 클래스 탭 배치는, 주목 화소(3621-2)를 포함하는 배치이면, 도 285의 예에 한정되지 않고, 다양한 배치가 가능하다.

도 284으로 복귀하고, 스텝 S3543에 있어서, 패턴 검출부(3552)는, 공급된 클래스 탭의 패턴을 검출하고, 클래스 코드 결정부(3553)에 공급한다.

구체적으로는, 이 예에 있어서는, 예를 들면, 패턴 검출부(3552)는, 도 285에 나타낸 5개의 클래스 탭(3621-0 내지 3621-4)의 각각의 화소값, 즉, 특징량의 값(예를 들면, 화소내 경사)의 각각이, 미리 설정된 복수개의 클래스 중 어느 클래스에 속하는지를 검출하고, 그들의 검출 결과를 하나로 모은 것을 패턴으로서 출력한다.

예를 들면, 지금, 도 286에서 나타낸 바와 같은 패턴이 검출되었다고 하자. 즉, 도 286은, 클래스 탭의 패턴의 일례를 나타내고 있다.

도 286에 있어서, 도면 중 수평 방향의 축은, 클래스 탭을 나타내고 있고, 도면 중 수직 방향의 축은, 화소내 경사를 나타내고 있다. 또, 화소내 경사에 의하여, 클래스(3631), 클래스(3632), 및 클래스(3633)의 3개의 클래스가 미리 설정되어 있는 것으로 한다.

이 경우, 도 286에서 나타내는 패턴은, 클래스 탭(3621-0)은 클래스(3631)에, 클래스 탭(3621-1)은 클래스(3631)에, 클래스 탭(3621-2)은 클래스(3633)에, 클래스 탭(3621-3)은 클래스(3631)에, 클래스 탭(3621-4)은 클래스(3632)에, 각각 속하는 패턴을 나타내고 있다.

이와 같이, 5개의 클래스 탭(3621-0 내지 3621-4)의 각각은, 3개의 클래스(3631 내지 3633) 중 어느 하나에 속하게 된다. 따라서, 이 예에 있어서는, 도 286에서 나타내는 패턴을 포함하여 총계 273 = 3＾5개의 패턴이 존재하게 된다.

도 284으로 복귀하고, 스텝 S3544에 있어서, 클래스 코드 결정부(3553)는, 미리 설정되어 있는 복수개의 클래스 코드 중, 공급된 클래스 탭의 패턴에 적합한 클래스 코드를 결정하고, 보정 계수 메모리(3554)와 영역 추출부(3555)의 각각에 공급한다. 지금의 경우, 273개의 패턴이 존재하므로, 미리 설정되어 있는 클래스 코드의 수도 250개(또는, 그 이상)가 된다.

스텝 S3545에 있어서, 보정 계수 메모리(3554)는, 미리 학습 처리에 의해 결정된 복수개의 보정 계수(군) 중, 공급된 클래스 코드에 따라 지금부터 사용하는 보정 계수(군)를 판독하고, 보정 연산부(3556)에 공급한다. 보정 계수 메모리(3554)에 기억되어 있는 보정 계수(군)의 각각은, 미리 설정된 클래스 코드 중 어느 하나에 대응되어 있으므로, 지금의 경우, 보정 계수(군)의 수는, 미리 설정되어 있는 클래스 코드의 수와 같은 수(273개 이상)이 된다.

그리고, 학습 처리에 대하여는, 도 288의 흐름도를 참조하여 후술한다.

스텝 S3546에 있어서, 영역 추출부(3555)는, 공급된 클래스 코드에 대응하여, 입력 화상 중, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1이상의 위치에서 있어, 클래스 탭의 위치와는 독립적으로 설정된 위치. 단, 클래스 탭의 위치와 동일한 위치라도 된다)의 각각에 위치하는 화소(SD 화소)를, 예측 탭으로서 추출하고, 보정 연산부(3556)에 공급한다.

구체적으로는, 이 예에 있어서는, 예를 들면, 도 287에 나타낸 바와 같은 예측 탭(군)(3641)이 추출된다고 하자. 즉, 도 287은, 예측 탭 배치의 일례를 나타내고 있다.

도 287에 있어서, 도면 중 수평 방향은, 공간 방향의 1방향인 X 방향이 되어 있고, 도면 중 수직 방향은, 공간 방향의 다른 방향인 Y 방향이 되어 있다. 또, 주목 화소는, 화소(3641-1)가 되어 있다. 즉, 화소(3641-1)는, 클래스 탭(3621-2)(도 285)에 대응하는 화소이다.

이 경우, 도 287의 예에서는, 주목 화소(3641-1)를 중심으로 하는 5 × 5의 화소군(총계 25개의 화소로 이루어지는 화소군)(3641)이, 예측 탭(군)으로서 추출된다.

물론, 예측 탭 배치는, 주목 화소(3641-1)를 포함하는 배치이면, 도 287의 예에 한정되지 않고, 다양한 배치가 가능하다.

도 284로 복귀하고, 스텝 S3547에 있어서, 보정 연산부(3556)는, 영역 추출부(3555)로부터 공급된 예측 탭을, 보정 계수 메모리(3554)로부터 공급된 보정 계수를 사용하여 연산하고, 차분 예측 화상(HD 화상)을 생성하고, 보정 화상으로서 가산부(3503)에 출력한다.

보다 상세하게는, 보정 연산부(3556)는, 영역 추출부(3555)로부터 공급된 예측 탭의 각각을 a_i(i는, 1 내지 n 중 어느 하나의 정수)로 하고, 또한 보정 계수 메모리(3554)로부터 공급된 보정 계수의 각각을 g_i로서 전술한 식(223)의 우변을 연산함으로써, 주목 화소(SD 화소)에 있어서의 HD 화소 u'를 산출하고, 그것을 보정 화상(HD 화상)을 구성하는 1개의 화소로서 가산부(3503)에 출력한다. 이로써, 클래스 분류 적응 처리의 보정 처리는 종료된다.

다음에, 도 288의 흐름도를 참조하여, 학습 장치(도 268)의 학습 처리, 즉, 클래스 분류 적응 처리부(3501)(도 267)가 사용하는 예측 계수와 클래스 분류 적응 처리 보정부(3502)(도 276)가 사용하는 보정 계수의 각각을 학습에 의해 생성하는 학습 처리에 대하여 설명한다.

스텝 S3561에 있어서, 클래스 분류 적응 처리용 학습부(3521)는, 클래스 분류 적응 처리부(3501)가 사용하는 예측 계수를 생성한다.

즉, 클래스 분류 적응 처리용 학습부(3521)은, 소정의 화상을 제1 교사 화상(HD 화상)으로서 입력하고, 그 제1 교사 화상의 해상도를 저감시켜서 제1 학생 화상(SD 화상)을 생성한다.

그리고, 클래스 분류 적응 처리용 학습부(3521)는, 클래스 분류 적응 처리에 의해 제1 학생 화상(SD 화상)으로부터 제1 교사 화상(HD 화상)을 적절히 예측 가능한 예측 계수를 생성하고, 클래스 분류 적응 처리부(3501)의 계수 메모리(3514)(도 267)에 기억시킨다.

그리고, 이하, 이와 같은 클래스 분류 적응 처리용 학습부(3521)가 실행하는 스텝 S3561의 처리를, 「클래스 분류 적응 처리용 학습 처리」라고 한다. 이 예의 「클래스 분류 적응 처리용 학습 처리」의 상세한 것에 대하여는, 도 289의 흐름도를 참조하여 후술한다.

클래스 분류 적응 처리부(3501)가 사용하는 예측 계수가 생성되면 스텝 S3562에 있어서, 클래스 분류 적응 처리 보정용 학습부(3561)는, 클래스 분류 적응 처리 보정부(3502)가 사용하는 보정 계수를 생성한다.

즉, 클래스 분류 적응 처리 보정용 학습부(3561)는, 클래스 분류 적응 처리용 학습부(3521)로부터, 제1 교사 화상, 제1 학생 화상, 및 학습용 예측 화상(클래스 분류 적응 처리용 학습부(3521)에 의해 생성된 예측 계수를 사용하여, 제1 교사 화상을 예측한 화상)의 각각을 입력한다.

다음에, 클래스 분류 적응 처리 보정용 학습부(3561)는, 제2 교사 화상으로서, 제1 교사 화상과 학습용 예측 화상의 차분 화상을 생성하고, 또한 제2 학생 화상으로서, 제1 학생 화상으로부터 특징량 화상을 생성한다.

그리고, 클래스 분류 적응 처리 보정용 학습부(3561)는, 클래스 분류 적응 처리에 의해 제2 학생 화상(SD 화상)으로부터 제2 교사 화상(HD 화상)을 적절히 예측 가능한 예측 계수를 생성하고, 그것을 보정 계수로서 클래스 분류 적응 처리 보정부(3502)의 보정 계수 메모리(3554)에 기억시킨다. 이로써, 학습 처리는 종료된다.

그리고, 이하, 이와 같은 클래스 분류 적응 처리 보정용 학습부(3561)가 실행하는 스텝 S3562의 처리를, 「클래스 분류 적응 처리 보정용 학습 처리」라고 한다. 이 예의 「클래스 분류 적응 처리 보정용 학습 처리」의 상세한 것에 대하여는, 도 290의 흐름도를 참조하여 후술한다.

다음에, 도면을 참조하여, 이 예에 있어서의 「클래스 분류 적응 처리용 학습 처리(스텝 S3561의 처리)」, 및 「클래스 분류 적응 처리 보정용 학습 처리(스텝 S3562의 처리)」의 각각의 상세한 것에 대하여, 그 순서대로 개별적으로 설명한다.

처음에, 도 289의 흐름도를 참조하여, 클래스 분류 적응 처리용 학습부(3521)(도 269)가 실행하는 「클래스 분류 적응 처리용 학습 처리」의 상세한 것에 대하여 설명한다.

스텝 S3581에 있어서, 다운 컨버트부(3531)으로 정규 방정식 생성부(3536)의 각각은, 공급된 소정의 화상을, 제1 교사 화상(HD 화상)으로서 입력한다. 그리고, 제1 교사 화상은, 전술한 바와 같이, 클래스 분류 적응 처리 보정용 학습부(3561)에도 입력된다.

스텝 S3582에 있어서, 다운 컨버트부(3531)는, 입력된 제1 교사 화상을 다운 컨버트하여(해상도를 저하시켜서) 제1 학생 화상(SD 화상)을 생성하고, 영역 추출부(3532)로 영역 추출부(3535)의 각각에 공급하고, 또한 클래스 분류 적응 처리 보정용 학습부(3561)에도 출력한다.

스텝 S3583에 있어서, 영역 추출부(3532)는, 공급된 제1 학생 화상으로부터 클래스 탭을 추출하여 패턴 검출부(3533)에 출력한다. 그리고, 스텝 S3583의 처리는, 블록에 입력되는 정보와, 블록으로부터 출력되는 정보는 엄밀하게는 다른 정보이지만(이하, 이와 같은 차이를, 단지, 입출력의 차이라고 한다), 전술한 스텝 S3522(도 283)의 처리와 기본적으로 동일한 처리이다.

스텝 S3584에 있어서, 패턴 검출부(3533)는, 공급된 클래스 탭으로부터 클래스 코드를 결정하기 위한 패턴을 검출하고, 클래스 코드 결정부(3534)에 공급한다. 그리고, 스텝 S3584의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3523(도 283)의 처리와 기본적으로 동일한 처리이다.

스텝 S3585에 있어서, 클래스 코드 결정부(3534)는, 공급된 클래스 탭의 패턴에 따라 클래스 코드를 결정하고, 영역 추출부(3535)와 정규 방정식 생성부(3536)의 각각에 공급한다. 그리고, 스텝 S3585의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3524(도 283)의 처리와 기본적으로 동일한 처리이다.

스텝 S3586에 있어서, 영역 추출부(3535)는, 공급된 클래스 코드에 대응하여, 제1 학생 화상 중 예측 탭을 추출하고, 정규 방정식 생성부(3536)와 예측 연산부(3538)의 각각에 공급한다. 그리고, 스텝 S3586의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3526(도 283)의 처리와 기본적으로 동일한 처리이다.

스텝 S3587에 있어서, 정규 방정식 생성부(3536)는, 영역 추출부(3535)로부터 공급된 예측 탭(SD 화소), 및 제1 교사 화상(HD 화상)을 구성하는 HD 화소 중, 소정의 HD 화소로부터, 전술한 식(217)(즉, 식(218))에서 나타내는 정규 방정식을 생성하고, 클래스 코드 결정부(3534)로부터 공급된 클래스 코드와 함께 계수 결정부(3537)에 공급한다.

스텝 S3588에 있어서, 계수 결정부(3537)는, 공급된 정규 방정식을 풀어서 예측 계수를 결정하고, 즉, 전술한 식(222)의 우변을 연산함으로써 예측 계수를 산출하고, 공급된 클래스 코드에 대응시켜 계수 메모리(3514)에 기억시키고, 또한 예측 연산부(3538)에 공급한다.

스텝 S3589에 있어서, 예측 연산부(3538)는, 영역 추출부(3535)로부터 공급된 예측 탭을, 계수 결정부(3537)로부터 공급된 예측 계수를 사용하여 연산하고, 학습용 예측 화상(HD 화소)을 생성한다.

구체적으로는, 예측 연산부(3538)는, 영역 추출부(3535)로부터 공급된 예측 탭의 각각을 c_i(i는, 1 내지 n 중 어느 하나의 정수)로 하고, 또한 계수 결정부(3537)로부터 공급된 예측 계수의 각각을 d_i로서 전술한 식(215)의 우변을 연산함으로써, 제1 교사 화상의 소정의 HD 화소 q를 예측한 HD 화소 q'을 산출하고, HD 화소 q'을 학습용 예측 화상의 하나의 화소로 한다.

스텝 S3590에 있어서, 모든 화소에 대하여 처리가 되었는지의 여부가 판정되고, 모든 화소에 대하여 처리가 되어 있지 않은 것으로 판정된 경우, 그 처리는, 스텝 S3583으로 되돌아온다. 즉, 모든 화소의 처리가 종료 되기까지, 스텝 S3583 내지 S3590의 처리가 반복된다.

그리고, 스텝 S3590에 있어서, 모든 화소에 대하여 처리가 행해진 것으로 판정된 경우, 스텝 S3591에 있어서, 예측 연산부(3538)는, 학습 예측 화상(스텝 S3589의 처리마다 생성된 각 HD 화소 q'로 구성되는 HD 화상)을, 클래스 분류 적응 처리 보정용 학습부(3561)에 출력한다. 이로써, 클래스 분류 적응 처리용 학습 처리는 종료된다.

이와 같이, 이 예에 있어서는, 모든 화소의 처리가 종료된 후, 제1 교사 화상을 예측한 HD 화상인 학습용 예측 화상이 클래스 분류 적응 처리 보정용 학습부(3561)에 출력된다. 즉, 모든 HD 화소(예측 화소)가 일괄 출력된다.

그러나, 모든 화소가 일괄 출력되는 것은 필수가 아니고, 스텝 S3589의 처리에 의해 HD 화소(예측 화소)가 생성될 때마다, 클래스 분류 적응 처리 보정용 학습부(3561)에 출력되어도 된다. 이 경우, 스텝 S3591의 처리는 생략된다.

다음에, 도 290의 흐름도를 참조하여, 클래스 분류 적응 처리 보정용 학습부(3561)(도 277)가 실행하는 「클래스 분류 적응 처리 보정용 학습 처리」의 상세한 것에 대하여 설명한다.

클래스 분류 적응 처리용 학습부(3521)로부터 제1 교사 화상(HD 화상)과 학습용 예측 화상(HD 화상)이 입력되면, 스텝 S3601에 있어서, 가산부(3571)는, 제1 교사 화상으로부터 학습용 예측 화상을 감산하고, 차분 화상(HD 화상)을 생성하고, 그것을 제2 교사 화상으로서 정규 방정식 생성부(3578)에 공급한다.

또, 클래스 분류 적응 처리용 학습부(3521)로부터 제1 학생 화상(SD 화상)이 입력되면, 스텝 S3602에 있어서, 데이터 정상성 검출부(3572)와 실세계 추정부(3573)는, 입력된 제1 학생 화상(SD 화상)으로부터 특징량 화상을 생성하고, 그것을 제2 학생 화상으로서 영역 추출부(3574)로 영역 추출부(3577)의 각각에 공급한다.

즉, 데이터 정상성 검출부(3572)는, 제1 학생 화상에 포함되는 데이터 정상성을 검출하고, 그 검출 결과(지금의 경우, 각도)를 데이터 정상성 정보로서 실세계 추정부(3573)에 출력한다. 그리고, 스텝 S3602의 데이터 정상성 검출부(3572)의 처리는, 입출력의 차이는 있지만, 전술한 도 40의 스텝 S101의 처리와 기본적으로 동일한 처리이다.

실세계 추정부(3573)는, 입력한 각도(데이터 정상성 정보)에 따라, 실세계 추정 정보(지금의 경우, SD 화상인 특징량 화상)를 생성하고, 그것을 제2 학생 화상으로서 영역 추출부(3574)로 영역 추출부(3577)의 각각에 공급한다. 그리고, 스텝 S3602의 실세계 추정부(3573)의 처리는, 입출력의 차이는 있지만, 전술한 도 40의 스텝 S102의 처리와 기본적으로 동일한 처리이다.

또, 스텝 S3601와 S3602의 처리의 순번은, 도 290의 예에 한정되지 않는다. 즉, 스텝 S3602의 처리가 먼저 실행되어도 되고, 스텝 S3601와 S3602의 처리가 동시에 실행되어도 된다.

스텝 S3603에 있어서, 영역 추출부(3574)는, 공급된 제2 학생 화상(특징량 화상)으로부터 클래스 탭을 추출하여 패턴 검출부(3575)에 출력한다. 그리고, 스텝 S3603의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3542(도 284)의 처리와 기본적으로 동일한 처리이다. 즉, 지금의 경우, 도 285에 나타낸 배치의 화소군(3621)이 클래스 탭으로서 추출된다.

스텝 S3604에 있어서, 패턴 검출부(3575)는, 공급된 클래스 탭로부터 클래스 코드를 결정하기 위한 패턴을 검출하고, 클래스 코드 결정부(3576)에 공급한다. 그리고, 스텝 S3604의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3543(도 284)의 처리와 기본적으로 동일한 처리이다. 즉, 지금의 경우, 학습 처리가 종료될 때는, 적어도 250개의 패턴이 검출 되게 된다.

스텝 S3605에 있어서, 클래스 코드 결정부(3576)는, 공급된 클래스 탭의 패턴에 따라 클래스 코드를 결정하고, 영역 추출부(3577)와 정규 방정식 생성부(3578)의 각각에 공급한다. 그리고, 스텝 S3605의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3544(도 284)의 처리와 기본적으로 동일한 처리이다. 즉, 지금의 경우, 학습 처리가 종료 될 때는, 적어도 250개의 클래스 코드가 결정되게 된다.

스텝 S3606에 있어서, 영역 추출부(3577)는, 공급된 클래스 코드에 대응하여, 제2 학생 화상(특징량 화상) 중 예측 탭을 추출하고, 정규 방정식 생성부(3578)에 공급한다. 그리고, 스텝 S3606의 처리는, 입출력의 차이는 있지만, 전술한 스텝 S3546(도 284)의 처리와 기본적으로 동일한 처리이다. 즉, 지금의 경우, 도 287에 나타낸 배치의 화소군(3641)이 예측 탭으로서 추출된다.

스텝 S3607에 있어서, 정규 방정식 생성부(3578)는, 영역 추출부(3577)로부터 공급된 예측 탭(SD 화소), 및 제2 교사 화상(HD 화상인, 제1 교사 화상과 학습용 예측 화상의 차분 화상)을 구성하는 HD 화소 중 소정의 HD 화소로부터, 전술한 식(226)(즉, 식(227))에서 나타내는 정규 방정식을 생성하고, 클래스 코드 결정부(3576)로부터 공급된 클래스 코드와 함께 보정 계수 결정부(3579)에 공급한다.

스텝 S3608에 있어서, 보정 계수 결정부(3579)는, 공급된 정규 방정식을 풀어서 보정 계수를 결정하고, 즉, 전술한 식(231)의 우변을 연산함으로써 보정 계수를 산출하고, 공급된 클래스 코드에 대응시켜 보정 계수 메모리(3554)에 기억시킨다.

스텝 S3609에 있어서, 모든 화소에 대하여 처리되었는지 여부가 판정되고, 모든 화소에 대하여 처리가 되어 있지 않은 것으로 판정된 경우, 그 처리는, 스텝 S3603으로 되돌아온다. 즉, 모든 화소의 처리가 종료되기까지, 스텝 S3603 내지 S3609의 처리가 반복된다.

그리고, 스텝 S3609에 있어서, 모든 화소에 대하여 처리가 되었다고 판정된 경우, 클래스 분류 적응 처리 보정용 학습 처리는 종료된다.

이상, 설명한 바와 같이, 클래스 분류 적응 보정 처리 방법에 있어서는, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상에 대하여, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 보정 화상(차분 예측 화상)이 가산되어 출력된다.

예를 들면, 전술한 도 270에 나타낸 HD 화상(3541)의 해상도를 저감시킨 화상인 SD 화상(3542)이 입력 화상이 되었을 경우, 클래스 분류 적응 처리부(3501)로부터는, 도 291에서 나타내는 예측 화상(3543)이 출력된다. 그리고, 상기 예측 화상(3543)에, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 보정 화상(도시하지 않음)이 가산되면(보정 화상에 의해 보정되면), 도 271에서 나타내는 출력 화상(3651)이 된다.

출력 화상(3651), 예측 화상(3543), 및 원래의 화상인 HD 화상(3541)(도 270)의 각각을 비교하면, 출력 화상(3651)은, 예측 화상(3543)보다 HD 화상(3541)에 더 가까운 화상이 되어 있는 것을 알 수 있다.

이와 같이, 클래스 분류 적응 처리 보정 방법에 있어서는, 클래스 분류 적응 처리를 포함하는 종래의 다른 방법과 비교하여, 원래의 화상(센서(2)에 입사되기 전의 실세계(1)의 신호)에 더 가까운 화상의 출력이 가능하게 된다.

환언하면, 클래스 분류 적응 처리 보정 방법에 있어서는, 예를 들면, 도 266의 데이터 정상성 검출부(101)가, 각각 시공간 적분 효과를 가지는, 센서(예를 들면, 도 266의 센서(2))의 복수개의 검출 소자에 의해 도 266의 실세계(1)의 광신호가 투영되어 현실 세계의 광신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상(도 266)에 있어서의 데이터 정상성을 검출한다.

예를 들면, 도 266의 실세계 추정부(102)는, 검출된 데이터 정상성에 대응하여, 실세계(1)의 광신호를 나타내는 광신호 함수 F(x)(도 275)가 가지는 실세계 특징(예를 들면, 도 266의 특징량 화상을 구성하는 화소에 대응하는 특징량)을 검출함으로써, 실세계(1)의 광신호를 추정한다.

상세하게는, 예를 들면, 실세계 추정부(102)는, 도출된 데이터 정상성에 대응하는 선(예를 들면, 도 280의 선(3604))으로부터 적어도 1차원 방향에 따른 거리(예를 들면, 도 280의 단면 방향 거리 Xn')에 대응하는 화소의 화소값이, 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 광신호 함수 F(x)를, 예를 들면, 도 278의 근사 함수 f₅(x)에 의해 근사하고, 소정 화소(예를 들면, 도 280의 화소(3603)) 내에서의 근사 함수 f₅(x)의 경사인 화소내 경사(예를 들면, 전술한 식(231)의 grad이며, 식(233)의 x의 계수 w₁')를, 실세계 특징으로서 검출함으로써, 실세계(1)의 광신호를 추정한다.

그리고, 예를 들면, 도 266의 화상 생성부(103)가, 실세계 추정 수단에 의해 검출된 실세계 특징에 따라, 입력 화상보다 고화질인 출력 화상(도 266))을 예측하여 생성한다.

상세하게는, 예를 들면, 화상 생성부(103)에 있어서, 예를 들면, 도 266의 클래스 분류 적응 처리부(3501)가, 출력 화상에 있어서의 주목 화소의 주변에 위치하는, 실세계(1)의 광신호의 정상성이 결락된 입력 화상 내의 복수개의 화소의 화소값으로부터 주목 화소의 화소값(예를 들면, 도 266의 예측 화상의 화소이며, 전술한 식(221)의 q')을 예측한다.

한편, 예를 들면, 도 266의 클래스 분류 적응 처리 보정부(3502)는, 예를 들면, 도 266의 실세계 추정부(102)로부터 공급된 특징량 화상(실세계 추정 정보)으로부터, 클래스 분류 적응 처리부(3501)에 의해 예측된 예측 화상의 주목 화소의 화소값을 보정하는 보정항(예를 들면, 도 266의 보정 화상(차분 예측 화상)의 화소이며, 식(224)의 u')을 예측한다.

그리고, 예를 들면, 도 266의 가산부(3503)는, 클래스 분류 적응 처리부(3501)에 의해 예측된 예측 화상의 주목 화소의 화소값을, 클래스 분류 적응 처리부(3501)에 의해 예측된 보정항으로 보정한다(예를 들면, 식(221)과 같이 연산한다).

또, 클래스 분류 적응 처리 보정 방법에 있어서는, 예를 들면, 도 267의 계수 메모리(3514)에 기억되는 예측 계수를 학습에 의해 결정하는 도 268의 클래스 분류 적응 처리 학습부(3521)와 예를 들면, 도 276의 보정 계수 메모리(3554)에 기억되는 보정 계수를 학습에 의해 결정하는 도 268의 클래스 분류 적응 처리 보정용 학습부(3561)를 가지는 도 268의 학습 장치(3504)가 형성되어 있다.

상세하게는, 예를 들면, 도 269의 클래스 분류 적응 처리 학습부(3521)에는, 학습용 화상 데이터를 다운 컨버트하는 다운 컨버트부(3531), 및 학습용 화상 데이터를 제1 교사 화상으로 하고, 다운 컨버트부(3531)에 의해 다운 컨버트된 학습용 화상 데이터를 제1 학생 화상으로 하고, 제1 교사 화상과 제1 학생 화상의 관계를 학습함으로써, 예측 계수를 생성하는 계수 결정부(3537), 및 영역 추출부(3532) 내지 정규 방정식 생성부(3536)가 형성되어 있다.

클래스 분류 적응 처리 학습부(3521)에는 또한, 예를 들면, 계수 결정부(3537)에 의해 생성(결정)된 예측 계수를 사용하여, 제1 학생 화상으로부터 제1 교사 화상을 예측하는 화상 데이터로서, 학습용 예측 화상을 생성하는 예측 연산부(3538)가 형성되어 있다.

또, 예를 들면, 도 277의 클래스 분류 적응 처리 보정용 학습부(3561)에는, 제1 학생 화상에 있어서의 데이터 정상성을 검출하고, 검출한 데이터 정상성에 따라, 제1 학생 화상을 구성하는 각 화소의 각각에 대응하는 실세계 특징을 검출하고, 검출한 실세계 특징에 대응하는 값을 화소값으로 하는 특징량 화상(구체적으로는, 예를 들면, 도 279의 특징량 화상(3591))을, 제2 학생 화상(예를 들면, 도 277의 제2 학생 화상)으로서 생성하는 데이터 정상성 검출부(3572) 및 실세계 추정부(3573), 제1 교사 화상과, 학습용 예측 화상의 차분으로 이루어지는 화상 데이터(차분 화상)를, 제2 교사 화상으로서 생성하는 가산부(3571), 및 제2 교사 화상과, 제2 학생 화상의 관계를 학습함으로써, 보정 계수를 생성하는 보정 계수 결정부(3579), 및 영역 추출부(3574) 내지 정규 방정식 생성부(3578)가 형성되어 있다.

따라서, 클래스 분류 적응 처리 보정 방법에 있어서는, 클래스 분류 적응 처리를 포함하는 종래의 다른 방법과 비교하여, 원래의 화상(센서(2)에 입사되기 전의 실세계(1)의 신호)에 더 가까운 화상의 출력이 가능하게 된다.

그리고, 클래스 분류 적응 처리는, 전술한 바와 같이, SD 화상에는 포함되어 있지 않지만, HD 화상에 포함되는 성분이 재현되는 점에서, 예를 들면, 단순한 보간 처리와는 상이하다. 즉, 전술한 식(215)이나 식(223)만을 보면, 이른바 보간 필터를 사용한 보간 처리와 동일하게 보이지만, 클래스 분류 적응 처리에서는, 그 보간 필터의 계수에 상당하는 예측 계수 d_i 또는 보충 계수 g_i가, 교사 데이터와 학생 데이터(제1 교사 화상과 제1 학생 화상, 또는 제2 교사 화상과 제2 학생 화상)를 사용한 학습에 의해 구해지기 때문에, HD 화상에 포함되는 성분을 재현할 수 있다. 이로부터, 전술한 바와 같은 클래스 분류 적응 처리는, 말하자면 화상의 창조(해상도 창조) 작용이 있는 처리라고 할 수 있다.

또한, 전술한 예에서는, 공간 해상도를 향상시키는 경우를 예를 들어 설명하였으나, 클래스 분류 적응 처리에 의하면, 교사 데이터 및 학생 데이터를 바꾸어 학습을 행함으로써 얻어지는 각종의 계수를 사용함으로써, 예를 들면, S/N(Signal to Noise Ratio)의 향상이나, 흐릿한 화상의 개선, 그 외의 각종의 처리를 행할 수 있다.

즉, 예를 들면, S/N의 향상이나 흐릿한 화상의 개선을, 클래스 분류 적응 처리에 의해 행하기 위해서는, S/N이 높은 화상 데이터를 교사 데이터로 하는 동시에, 그 교사 데이터의 S/N를 저하시킨 화상(또는, 모호하게 한 화상)을 학생 데이터로서, 계수를 구하면 된다.

이상, 본 발명의 실시예로서, 도 3의 구성의 신호 처리 장치에 대하여 설명하였으나, 본 발명의 실시예는, 도 3의 예에 한정되지 않고, 다양한 형태를 취할 수 있다. 즉, 도 1의 신호 처리 장치(4)의 실시예는, 도 3의 예에 한정되지 않고, 다양한 형태를 취할 수 있다.

예를 들면, 도 3의 구성의 신호 처리 장치는, 화상인, 실세계(1)의 신호가 가지는 정상성에 따라 신호 처리를 행한다. 그러므로, 도 3의 구성의 신호 처리 장치는, 실세계(1)의 신호 중 정상성이 존재하는 부분에 대하여는, 다른 신호 처리 장치의 신호 처리에 비하여, 정밀도가 양호한 신호 처리를 실행할 수 있고, 그 결과 더 실세계(1)의 신호에 가까운 화상 데이터를 출력하는 것이 가능하게 된다.

그러나, 도 3의 구성의 신호 처리 장치는, 정상성에 따라 신호 처리를 실행하는 이상, 실세계(1)의 신호 중 명확한 정상성이 존재하지 않는 부분에 대하여는, 정상성이 존재하는 부분에 대한 처리와 동등한 정밀도로, 신호 처리를 실행할 수 없고, 그 결과, 실세계(1)의 신호에 대하여 오차를 포함하는 화상 데이터를 출력하게 된다.

그래서, 도 3의 구성의 신호 처리 장치에 대하여 또한, 정상성을 이용하지 않는 다른 신호 처리를 행하는 장치(또는, 프로그램 등)를 부가할 수 있다. 이 경우, 실세계(1)의 신호 중 정상성이 존재하는 부분에 대하여는, 도 3의 구성의 신호 처리 장치가 신호 처리를 실행하고, 실세계(1)의 신호 중 명확한 정상성이 존재하지 않는 부분에 대하여는, 부가한 다른 장치(또는, 프로그램 등)가 신호 처리를 실행하게 된다. 그리고, 이하, 이와 같은 실시예를 병용 방법이라 한다.

이하, 도 292 내지 도 305를 참조하여, 구체적인 5개의 병용 방법(이하, 각각의 병용 방법을, 제1 내지 제5 병용 방법 이라고 한다)에 대하여 설명한다.

그리고, 각 병용 방법이 적용되는 신호 처리 장치의 각 기능이 하드웨어에 의해 실현되는지, 소프트 웨어에 의해 실현되는지는 관계없다. 즉, 후술하는 도 292 내지 도 294, 도 298, 도 300, 도 302, 및 도 304의 각각의 블록도는, 하드웨어의 블록도라고 생각해도 되고, 소프트 웨어에 의한 기능 블록도라고 생각해도 된다.

도 292는, 제1 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 292의 신호 처리 장치에 있어서는, 데이터(3)(도 1)의 일례인 화상 데이터가 입력되고, 입력된 화상 데이터(입력 화상)에 따라, 후술하는 화상 처리가 행해져서 화상이 생성되고, 생성된 화상(출력 화상)이 출력된다. 즉, 도 292는, 화상 처리 장치인 신호 처리 장치(4)(도 1)의 구성을 나타낸 도면이다.

신호 처리 장치(4)에 입력된 입력 화상(데이터(3)의 일례인 화상 데이터)은, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4104)의 각각에 공급된다.

데이터 정상성 검출부(4101)는, 입력 화상으로부터 데이터 정상성을 검출하여, 검출한 정상성을 나타내는 데이터 정상성 정보를 실세계 추정부(4102) 및 화상 생성부(4103)에 공급한다.

이와 같이, 데이터 정상성 검출부(4101)는, 도 3의 데이터 정상성 검출부(101)와 기본적으로 동일한 구성과 기능을 가지는 것이다. 따라서, 데이터 정상성 검출부(4101)는, 전술한 다양한 실시예를 취할 수 있다.

단, 데이터 정상성 검출부(4101)는 또한, 주목 화소의 영역을 특정하기 위한 정보(이하, 영역 특정 정보 이라고 함)를 생성하고, 영역 검출부(4111)에 공급한다.

이 영역 특정 정보는, 특히 한정되지 않고, 데이터 정상성 정보가 생성된 후에 새롭게 생성된 정보라도 되고, 데이터 정상성 정보가 생성되는 경우와 관련하여 생성되는 정보라도 된다.

구체적으로는, 예를 들면, 영역 특정 정보로서, 추정 오차가 사용 가능하다. 즉, 예를 들면, 데이터 정상성 검출부(4101)가, 데이터 정상성 정보로서 각도를 산출하고, 또한 그 각도를 최소 자승법에 의해 연산하는 경우, 최소 자승법의 연산으로 추정 오차가 부수적으로 산출된다. 이 추정 오차를, 영역 특정 정보로서 사용 가능하다.

실세계 추정부(4102)는, 입력 화상, 및 데이터 정상성 검출부(4101)로부터 공급된 데이터 정상성 정보에 따라, 실세계(1)(도 1)의 신호를 추정한다. 즉, 실세계 추정부(4102)는, 입력 화상이 취득되었을 때 센서(2)(도 1)에 입사된, 실세계(1)의 신호인 화상을 추정한다. 실세계 추정부(4102)는, 실세계(1)의 신호의 추정의 결과를 나타낸 실세계 추정 정보를 화상 생성부(4103)에 공급한다.

이와 같이, 실세계 추정부(4102)는, 도 3의 실세계 추정부(102)와 기본적으로 동일한 구성과 기능을 가지는 것이다. 따라서, 실세계 추정부(4102)는, 전술한 다양한 실시예를 취할 수 있다.

화상 생성부(4103)는, 실세계 추정부(4102)로부터 공급된, 추정된 실세계(1)의 신호를 나타낸 실세계 추정 정보에 따라, 실세계(1)의 신호에 의해 근사한 신호를 생성하여, 생성한 신호를 셀렉터(4112)에 공급한다. 또는, 화상 생성부(4103)는, 데이터 정상성 검출부(4101)로부터 공급된 데이터 정상성 정보, 및 실세계 추정부(4102)로부터 공급된, 추정된 실세계(1)의 신호를 나타낸 실세계 추정 정보에 따라서, 실세계(1)의 신호에 의해 근사한 신호를 생성하여, 생성한 신호를 셀렉터(4112)에 공급한다.

즉, 화상 생성부(4103)는, 실세계 추정 정보에 따라, 실세계(1)의 화상에 의해 근사한 화상을 생성하고, 셀렉터(4112)에 공급한다. 또는, 화상 생성부(4103)는, 데이터 정상성 정보, 및 실세계 추정 정보에 따라, 실세계(1)의 화상에 의해 근사한 화상을 생성하고, 셀렉터(4112)에 공급한다.

이와 같이, 화상 생성부(4103)는, 도 3의 화상 생성부(103)와 기본적으로 동일한 구성과 기능을 가지는 것이다. 따라서, 화상 생성부(4103)는, 전술한 다양한 실시예를 취할 수 있다.

화상 생성부(4104)는, 입력 화상에 대하여 소정의 화상 처리를 행하며, 화상을 생성하고, 셀렉터(4112)에 공급한다.

그리고, 화상 생성부(4104)가 실행하는 화상 처리는, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4103)가 실행하는 화상 처리와는 상이한 화상 처리라면, 특히 한정되지 않는다.

예를 들면, 화상 생성부(4104)는, 종래의 클래스 분류 적응 처리를 행할 수 있다. 이 클래스 분류 적응 처리를 실행하는 화상 생성부(4104)의 구성예가, 도 293에 나타나 있다. 그리고, 도 293의 설명, 즉, 클래스 분류 적응 처리를 실행하는 화상 생성부(4104)의 상세한 설명에 대해서는 후술한다. 또, 클래스 분류 적응 처리에 대하여도, 도 293의 설명 시에 병행하여 설명한다.

정상 영역 검출부(4105)에는, 영역 검출부(4111), 및 셀렉터(4112)가 형성되어 있다.

영역 검출부(4111)는, 데이터 정상성 검출부(4101)로부터 공급된 영역 특정 정보에 따라, 셀렉터(4112)에 공급된 화상(주목 화소)이, 정상 영역인지, 또는 비정상 영역인지를 검출하고, 그 검출 결과를 셀렉터(4112)에 공급한다.

그리고, 영역 검출부(4111)가 실행하는 영역 검출 처리는, 특히 한정되지 않고, 예를 들면, 전술한 추정 오차가 영역 특정 정보로서 공급되는 경우, 영역 검출부(4111)는, 공급된 추정 오차가 소정의 임계값보다도 작을 때, 입력 화상의 주목 화소는 정상 영역이라고 검출하고, 한편, 공급된 추정 오차가 소정의 임계값 이상일 때, 입력 화상의 주목 화소는 비정상 영역이라고 검출한다.

셀렉터(4112)는, 영역 검출부(4111)로부터 공급된 검출 결과에 따라, 화상 생성부(4103)로부터 공급된 화상, 또는 화상 생성부(4104)로부터 공급된 화상 중 어느 하나를 선택하고, 선택한 화상을 출력 화상으로서 외부에 출력한다.

즉, 영역 검출부(4111)에 의해 주목 화소가 정상 영역으로 검출되었을 경우, 셀렉터(4112)는, 화상 생성부(4103)로부터 공급된 화상(입력 화상의 주목 화소에 있어서의, 화상 생성부(4103)에 의해 생성된 화소)을 출력 화상으로서 선택한다.

이에 비해, 영역 검출부(4111)에 의해 주목 화소가 비정상 영역으로 검출되었을 경우, 셀렉터(4112)는, 화상 생성부(4104)로부터 공급된 화상(입력 화상의 주목 화소에 있어서의, 화상 생성부(4104)에 의해 생성된 화소)을 출력 화상으로서 선택한다.

그리고, 외부의 출력되는 곳에 따라서, 셀렉터(4112)는, 화소 단위로, 출력 화상을 출력(선택한 화소마다 출력)할 수도 있고, 모든 화소의 처리가 종료될 때까지 처리된 화소를 저장하여 두었다가, 모든 화소의 처리가 종료했을 때, 모든 화소를 일괄하여(출력 화상 전체를 1단위로 하여)출력할 수도 있다.

다음에, 도 293을 참조하여, 화상 처리의 일례인 클래스 분류 적응 처리를 실행하는 화상 생성부(4104)의 상세한 것에 대하여 설명한다.

도 293에 있어서, 화상 생성부(4104)가 실행하는 클래스 분류 적응 처리는, 예를 들면, 입력 화상의 공간 해상도를 향상시키는 처리인 것으로 한다. 즉, 표준 해상도의 화상인 입력 화상을, 고해상도의 화상인 예측 화상으로 변환하는 처리인 것으로 한다.

그리고, 이하의 설명에 있어서도, 표준 해상도의 화상을, 적절히, SD(Standard Definition) 화상이라고 하고, 또한 SD 화상을 구성하는 화소를, 적절히, SD 화소라고 하기로 한다.

또, 이하의 설명에 있어서도, 고해상도의 화상을, 적절히, HD(High Definition) 화상이라고 하고, 또한 HD 화상을 구성하는 화소를, 적절히, HD 화소라고 하기로 한다.

구체적으로는, 화상 생성부(4104)가 실행하는 클래스 분류 적응 처리는, 다음과 같다.

즉, 처음에, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(HD 화상)의 HD 화소를 구하기 위하여, 주목 화소를 포함한, 그 부근에 배치되는 SD 화소(이하의 설명에 있어서도, 이와 같은 SD 화소를, 클래스 탭이라고 한다)의 특징량의 각각을 구하여, 그 특징량마다 미리 분류된 클래스를 특정한다(클래스 탭 군의 클래스 코드를 특정한다).

그리고, 미리 설정된 복수개의 계수군(각 계수군의 각각은, 소정의 1개의 클래스 코드에 대응하고 있다) 중, 특정된 클래스 코드에 대응하는 계수군을 구성하는 각 계수와 주목 화소를 포함한, 그 부근의 SD 화소(이하의 설명에 있어서도, 이와 같은 입력 화상의 SD 화소를, 예측 탭 이라고 한다. 그리고, 예측 탭은, 클래스 탭과 같을 수도 있다)를 사용하여 곱셈 및 덧셈 연산을 실행함으로써, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(HD 화상)의 HD 화소를 구하는 것이다.

보다 상세하게는, 도 1에 있어서, 화상인, 실세계(1)의 신호(광의 강도의 분포)가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다.

도 293에 있어서, 상기 입력 화상(SD 화상)은, 화상 생성부(4104) 중 영역 추출부(4121)와 영역 추출부(4125)에 각각 공급된다. 영역 추출부(4125)는, 공급된 입력 화상으로부터, 클래스 분류를 행하기 위해 필요한 클래스 탭(주목 화소(SD 화소)를 포함하는 미리 설정된 위치에 존재하는 SD 화소)를 추출하고, 패턴 검출부(4122)에 출력한다. 패턴 검출부(4122)는, 입력된 클래스 탭에 따라 입력 화상의 패턴을 검출한다.

클래스 코드 결정부(4123)는, 패턴 검출부(4122)에 의해 검출된 패턴에 따라 클래스 코드를 결정하고, 계수 메모리(4124), 및 영역 추출부(4125)에 출력한다. 계수 메모리(4124)는, 학습에 의해 미리 구해진 클래스 코드마다의 계수를 기억하고 있고, 클래스 코드 결정부(4123)로부터 입력된 클래스 코드에 대응하는 계수를 판독하고, 예측 연산부(4126)에 출력한다.

그리고, 계수 메모리(4124)의 계수의 학습 처리에 대하여는, 도 294의 학습 장치의 블록도를 참조하여 후술한다.

또, 계수 메모리(4124)에 기억되는 계수는, 후술하는 바와 같이, 예측 화상(HD 화상)을 생성할 때 사용되는 계수이다. 따라서, 이하, 계수 메모리(4124)에 기억되는 계수를 예측 계수라고 한다.

영역 추출부(4125)는, 클래스 코드 결정부(4123)로부터 입력된 클래스 코드에 따라, 센서(2)로부터 입력된 입력 화상(SD 화상)으로부터, 예측 화상(HD 화상)을 예측 생성하는데 필요한 예측 탭(주목 화소를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 클래스 코드에 대응하여 추출하고, 예측 연산부(4126)에 출력한다.

예측 연산부(4126)는, 영역 추출부(4125)로부터 입력된 예측 탭과 계수 메모리(4124)로부터 입력된 예측 계수를 사용하여 곱셈 및 덧셈 연산을 실행하고, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의, 예측 화상(HD 화상)의 HD 화소를 생성하고, 셀렉터(4112)에 출력한다.

보다 상세하게는, 계수 메모리(4124)는, 클래스 코드 결정부(4123)로부터 공급되는 클래스 코드에 대응하는 예측 계수를, 예측 연산부(4126)에 출력한다. 예측 연산부(4126)는, 영역 추출부(4125)로부터 공급되는 입력 화상의 소정의 화소 위치의 화소값으로부터 추출된 예측 탭과 계수 메모리(4124)로부터 공급된 예측 계수를 사용하여, 다음의 식(237)에서 나타내는 곱셈 및 덧셈 연산을 실행함으로써, 예측 화상(HD 화상)의 HD 화소를 구한다(예측 추정한다).

…(237)

식(237)에 있어서, q'는, 예측 화상(HD 화상)의 HD 화소를 나타내고 있다. c_i(i는, 1 내지 n의 정수치)의 각각은, 예측 탭(SD 화소)의 각각을 나타내고 있다. 또, d_i의 각각은, 예측 계수의 각각을 나타내고 있다.

이와 같이, 화상 생성부(4104)는, SD 화상(입력 화상)으로부터, 그에 대한 HD 화상을 예측 추정하므로, 여기서는, 화상 생성부(4104)로부터 출력되는 HD 화상을, 예측 화상이라고 칭하고 있다.

도 294는, 이와 같은 화상 생성부(4104)의 계수 메모리(4124)에 기억되는 예측 계수(식(234)에 있어서의 d_i)를 결정하기 위한 학습 장치(예측 계수의 산출 장치)를 나타내고 있다.

도 294에 있어서, 소정의 화상이, 교사 화상(HD 화상)으로서 다운 컨버트부(4141)와 정규 방정식 생성부(4146)의 각각에 입력된다.

다운 컨버트부(4146)는, 입력된 교사 화상(HD 화상)으로부터, 교사 화상보다 해상도가 낮은 학생 화상(SD 화상)을 생성하고(교사 화상을 다운 컨버트 한 것을 학생 화상으로 하고), 영역 추출부(4142)와 영역 추출부(4145)의 각각에 출력한다.

이와 같이, 학습 장치(4131)에는, 다운 컨버트부(4141)가 형성되어 있으므로, 교사 화상(HD 화상)은, 센서(2)(도 1)로부터의 입력 화상보다 고해상도의 화상일 필요는 없다. 왜냐하면, 교사 화상이 다운 컨버트된(해상도가 낮아진) 학생 화상을 SD 화상으로 하면, 학생 화상에 대한 교사 화상이 HD 화상이 되기 때문이다. 따라서, 교사 화상은, 예를 들면, 센서(2)로부터의 입력 화상 그 자체가 되어도 된다.

영역 추출부(4142)는, 다운 컨버트부(4141)로부터 공급된 학생 화상(SD 화상)으로부터, 클래스 분류를 행하기 위해 필요한 클래스 탭(SD 화소)을 추출하고, 패턴 검출부(4143)에 출력한다. 패턴 검출부(4143)는, 입력된 클래스 탭의 패턴을 검출하고, 그 검출 결과를 클래스 코드 결정부(4144)에 출력한다. 클래스 코드 결정부(4144)는, 입력된 패턴에 대응하는 클래스 코드를 결정하고, 그 클래스 코드를 영역 추출부(4145), 및 정규 방정식 생성부(4146)의 각각에 출력한다.

영역 추출부(4145)는, 클래스 코드 결정부(4144)로부터 입력된 클래스 코드에 따라, 다운 컨버트부(4141)로부터 입력된 학생 화상(SD 화상)으로부터 예측 탭(SD 화소)을 추출하고, 정규 방정식 생성부(4146)에 출력한다.

그리고, 이상의 영역 추출부(4142), 패턴 검출부(4143), 클래스 코드 결정부(4144), 및 영역 추출부(4145)의 각각은, 도 293의 화상 생성부(4104)의 영역 추출부(4121), 패턴 검출부(4122), 클래스 코드 결정부(4123), 및 영역 추출부(4125)의 각각과 기본적으로 동일한 구성과 기능을 가지는 것이다.

정규 방정식 생성부(4146)는, 클래스 코드 결정부(4144)로부터 입력된 모든 클래스 코드에 대하여, 클래스 코드마다, 영역 추출부(4145)로부터 입력되는 학생 화상(SD 화상)의 예측 탭(SD 화소)과 교사 화상(HD 화상)의 HD 화소로부터 정규 방정식을 생성하고, 계수 결정부(4147)에 공급한다.

계수 결정부(4147)는, 정규 방정식 생성부(4146)로부터 소정의 클래스 코드에 대응하는 정규 방정식이 공급되었을 때, 상기 정규 방정식로부터 예측 계수의 각각을 연산하고, 계수 메모리(4124)에 클래스 코드와 관련지어 기억시킨다.

정규 방정식 생성부(4146)와 계수 결정부(4147)에 대하여 보다 상세하게 설명한다.

전술한 식(237)에 있어서, 학습 전에는 예측 계수 d_i의 각각이 미정 계수이다. 학습은, 클래스 코드마다 복수개의 교사 화상(HD 화상)의 HD 화소를 입력함으로써 행한다. 소정의 클래스 코드에 대응하는 HD 화소가 m개 존재하고, m개의 HD 화소의 각각을, q_k(k는, 1 내지 m의 정수치)로 기술하는 경우, 식(237)으로부터, 다음의 식(238)이 설정된다.

…(238)

즉, 식(238)은, 우변의 연산을함으로써, 소정의 HD 화소 q_k를 예측 추정할 수 있는 것을 나타내고 있다. 그리고, 식(238)에 있어서, e_k는, 오차를 나타내고 있다. 즉, 우변의 연산 결과인 예측 화상(HD 화상)의 HD 화소 q_k'가, 실제의 HD 화소 q_k와 엄밀하게는 일치하지 않고, 소정의 오차 e_k를 포함한다.

그래서, 식(238)에 있어서, 오차 e_k의 제곱합을 최소로 하는 예측 계수 d_i가 학습에 의해 구해지면, 그 예측 계수 d_i는, 실제의 HD 화소 q_k를 예측하는데 최적인 계수라고 할 수 있다.

따라서, 예를 들면, 학습에 의해 모아진 m개(단, m은, n보다 큰 정수)의 HD 화소 q_k를 사용하여, 최소 자승법에 의해 최적인 예측 계수 di를 하나로 결정할 수 있다.

즉, 식(238)의 우변의 예측 계수 d_i를 최소 자승법으로 구하는 경우의 정규 방정식은, 다음의 식(239)으로 표현된다.

…(239)

따라서, 식(239)에서 나타내는 정규 방정식이 생성되고, 그 정규 방정식을 풀면, 예측 계수 d_i가 일의적으로 결정되게 된다.

구체적으로는, 식(239)에서 나타내는 정규 방정식의 각 행열의 각각을, 다음의 식(240) 내지 (242)와 같이 정의하면, 정규 방정식은, 다음의 식(243)과 같이 표현된다.

…(240)

…(241)

…(242)

…(243)

식(241)에서 나타낸 바와 같이, 행렬 D_MAT의 각 성분은, 구하고자 하는 예측 계수 d_i이다. 따라서, 식(243)에 있어서, 좌변의 행렬 C_MAT와 우변의 행렬 Q_MAT가 결정되고, 행렬 해법에 따라 행렬 D_MAT (즉, 예측 계수 d_i)의 산출이 가능하다.

보다 구체적으로는, 식(240)에서 나타낸 바와 같이, 행렬 C_MAT의 각 성분은, 예측 탭 c_ik가 이미 알려져 있으면 연산 가능하다. 예측 탭 c_ik는, 영역 추출부(4145)에 의해 추출되므로, 정규 방정식 생성부(4146)는, 영역 추출부(4145)로부터 공급되는 예측 탭 c_ik의 각각을 이용하여 행렬 C_MAT의 각 성분을 연산할 수 있다.

또, 식(242)에서 나타낸 바와 같이, 행렬 Q_MAT의 각 성분은, 예측 탭 c_ik와 HD 화소 q_k가 이미 알려져 있으면 연산 가능하다. 예측 탭 c_ik는, 행렬 C_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, HD 화소 q_k는, 예측 탭 c_ik에 포함되는 주목 화소(학생 화상의 SD 화소)에 대한 교사 화상의 HD 화소이다. 따라서, 정규 방정식 생성부(4146)는, 영역 추출부(4145)로부터 공급된 예측 탭 c_ik와 교사 화상을 이용하여 행렬 Q_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(4146)는, 클래스 코드마다, 행렬 C_MAT와 행렬 Q_MAT의 각 성분을 연산하고, 그 연산 결과를 클래스 코드에 대응시켜 계수 결정부(4147)에 공급한다.

계수 결정부(4147)는, 공급된 소정의 클래스 코드에 대응하는 정규 방정식에 따라, 전술한 식(243)의 행렬 D_MAT의 각 성분인 예측 계수 d_i를 연산한다.

구체적으로는, 전술한 식(243)의 정규 방정식은, 다음의 식(244)과 같이 변형할 수 있다.

…(244)

식(244)에 있어서, 좌변의 행렬 D_MAT의 각 성분이, 구하고자 하는 예측 계수 d_i이다. 또, 행렬 C_MAT와 행렬 Q_MAT의 각각의 각 성분은, 정규 방정식 생성부(4146)로부터 공급되는 것이다. 따라서, 계수 결정부(4147)는, 정규 방정식 생성부(4146)로부터 소정의 클래스 코드에 대응하는 행렬 C_MAT와 행렬 Q_MAT의 각각의 각 성분이 공급되었을 때, 식(244)의 우변의 행렬 연산을 행함으로써 행렬 D_MAT를 연산하고, 그 연산 결과(예측 계수 d_i)를 클래스 코드에 대응시켜 계수 메모리(4124)에 기억시킨다.

그리고, 클래스 분류 적응 처리는, 전술한 바와 같이, SD 화상에는 포함되어 있지 않지만, HD 화상에 포함되는 성분이 재현되는 점에서, 예를 들면, 단순한 보간 처리와는 상이하다. 즉, 적응 처리에서는, 전술한 식(237)만을 보면, 이른바 보간 필터를 사용한 보간 처리와 동일하게 보이지만, 그 보간 필터의 계수에 상당하는 예측 계수 d_i가, 교사 데이터와 학생 데이터를 사용한 학습에 의해 구해지므로, HD 화상에 포함되는 성분을 재현할 수 있다. 이로부터, 전술한 바와 같은 클래스 분류 적응 처리는, 말하자면 화상의 창조(해상도 창조)작용이 있는 처리라고 할 수 있다.

또한, 전술한 예에서는, 공간 해상도를 향상시키는 경우를 예를 들어 설명하였으나, 클래스 분류 적응 처리에 의하면, 교사 데이터 및 학생 데이터를 바꾸어 학습을 행함으로써 얻어지는 각종의 계수를 사용함으로써, 예를 들면, S/N(Signal to Noise Ratio)의 향상이나, 흐릿한 화면의 개선, 그 외의 각종의 처리를 행할 수 있다.

즉, 예를 들면, S/N의 향상이나 흐릿한 화면의 개선을, 클래스 분류 적응 처리에 의해 행하기 위해서는, S/N이 높은 화상 데이터를 교사 데이터로 하고, 또한 그 교사 데이터의 S/N을 저하시킨 화상(또는, 모호하게 한 화상)을 학생 데이터로 해서, 계수를 구하면 된다.

이상, 클래스 분류 적응 처리를 실행하는 화상 생성부(4104)와 그 학습 장치(4131)의 각각의 구성에 대하여 설명하였다.

그리고, 전술한 바와 같이, 화상 생성부(4104)는, 클래스 분류 적응 처리 이외의 화상 처리를 실행하는 구성으로 할 수도 있지만, 설명의 간략상, 이하의 설명에 있어서는, 화상 생성부(4104)의 구성은, 전술한 도 293의 구성으로 한다. 즉, 이하, 화상 생성부(4104)는, 클래스 분류 적응 처리를 실행함으로써, 입력 화상보다 공간 해상도가 높은 화상을 생성하고, 셀렉터(4112)에 공급하는 것으로 한다.

다음에, 도 295를 참조하여, 제1 병용 방법이 적용되는 신호 처리 장치(도 292)의 신호의 처리에 대하여 설명한다.

그리고, 여기서는, 데이터 정상성 검출부(4101)는, 각도(화상인, 실세계(1)(도 1)의 신호의 주목 위치에서의, 정상성의 방향(공간 방향)과 공간 방향의 1방향인 X 방향(센서(2)(도 1)의 검출 소자의 소정의 한 변과 평행한 방향)과 이루는 각도)를 최소 자승법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력하는 것으로 한다.

데이터 정상성 검출부(4101)는 또, 각도를 연산할 때 병행하여 산출되는 추정 오차(최소 자승법의 오차)를, 영역 특정 정보로서 출력하는 것으로 한다.

도 1에 있어서, 화상인, 실세계(1)의 신호가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다.

도 292에 있어서, 상기 입력 화상은, 데이터 정상성 검출부(4101), 및 실세계 추정부(4102)에 입력되고, 또한 화상 생성부(4104)에 입력된다.

그래서, 도 295의 스텝 S4101에 있어서, 화상 생성부(4104)는, 입력 화상(SD 화상)의 소정의 SD 화소를 주목 화소로서 전술한 클래스 분류 적응 처리를 실행하고, 예측 화상(HD 화상)의 HD 화소(주목 화소에 있어서의 HD 화소)를 생성하고, 셀렉터(4112)에 공급한다.

그리고, 이하, 화상 생성부(4104)로부터 출력되는 화소와 화상 생성부(4103)로부터 출력되는 화소의 각각을 구별하는 경우, 화상 생성부(4104)로부터 출력되는 화소를 제1 화소라고 하고, 화상 생성부(4103)로부터 출력되는 화소를 제2 화소라고 한다.

또, 이하, 이와 같은 화상 생성부(4104)가 실행하는 처리(지금의 경우, 스텝 S4101의 처리)를, 「클래스 분류 적응 처리의 실행 처리」라고 한다. 이 예의 「클래스 분류 적응 처리의 실행 처리」의 상세한 것에 대하여는, 도 296의 흐름도를 참조하여 후술한다.

한편, 스텝 S4102에 있어서, 데이터 정상성 검출부(4101)는, 정상성의 방향에 대응하는 각도를 검출하고, 또한 그 추정 오차를 연산한다. 검출된 각도는, 데이터 정상성 정보로서 실세계 추정부(4102)와 화상 생성부(4103)의 각각에 공급된다. 또, 연산된 추정 오차는, 영역 특정 정보로서 영역 검출부(4111)에 공급된다.

스텝 S4103에 있어서, 실세계 추정부(4102)는, 데이터 정상성 검출부(4101)에 의해 검출된 각도와 입력 화상에 따라, 실세계(1)의 신호를 추정한다.

그리고, 전술한 바와 같이, 실세계 추정부(4102)가 실행하는 추정의 처리는, 특히 한정되지 않고, 전술한 다양한 방법을 이용할 수 있다. 여기서는, 예를 들면, 실세계 추정부(4102)는, 실세계(1)의 신호를 나타내는 함수 F(이하의 설명에 있어서도, 함수 F를 광신호 함수 F라고 한다)를, 소정의 함수 f(이하의 설명에 있어서도, 함수 f를 근사 함수 f하고 한다)에 의해 근사함으로써, 실세계(1)의 신호(광신호 함수 F)를 추정한다.

또, 여기서는, 예를 들면, 실세계 추정부(4102)는, 근사 함수 f의 특징량(계수)을, 실세계 추정 정보로서 화상 생성부(4103)에 공급한다.

스텝 S4104에 있어서, 화상 생성부(4103)는, 실세계 추정부(4102)에 의해 추정된 실세계(1)의 신호에 따라, 화상 생성부(4104)의 클래스 분류 적응 처리에 의해 생성된 제1 화소(HD 화소)에 대응하는 제2 화소(HD 화소)를 생성하고, 셀렉터(4112)에 공급한다.

지금의 경우, 실세계 추정부(4102)로부터 근사 함수 f의 특징량(계수)이 공급되므로, 화상 생성부(4103)는, 예를 들면, 공급된 근사 함수 f의 특징량에 따라, 근사 함수 f를 소정의 적분 범위에서 적분함으로써, 제2 화소(HD 화소)를 생성한다.

단, 적분 범위는, 화상 생성부(4104)로부터 출력되는 제1 화소(HD 화소)와 동일한 크기(동일한 해상도)의 제2 화소가 생성 가능한 범위가 된다. 즉, 공간 방향에 있어서는, 적분 범위는, 지금부터 생성되는 제2 화소의 화소폭이 된다.

그리고, 스텝 S4101의 「클래스 분류 적응 처리의 실행 처리」와, 스텝 S4102 내지 S4104의 일련의 처리의 순번은, 도 295의 예에 한정되지 않고, 스텝 S4102 내지 S4104의 일련의 처리가 먼저 실행되어도 상관없고, 스텝 S4101의 「클래스 분류 적응 처리의 실행 처리」와, 스텝 S4102 내지 S4104의 일련의 처리가 동시에 실행되어도 상관없다.

스텝 S4105에 있어서, 영역 검출부(4111)는, 스텝 S4102의 처리에서 데이터 정상성 검출부(4101)에 의해 연산된 추정 오차(영역 특정 정보)에 따라, 스텝 S4104의 처리에서 화상 생성부(4103)에 의해 생성된 제2 화소(HD 화소)의 영역을 검출한다.

즉, 제2 화소는, 데이터 정상성 검출부(4101)가 주목 화소로서 사용한 입력 화상의 SD 화소에 있어서의 HD 화소이다. 따라서, 주목 화소(입력 화상의 SD 화소)와 제2 화소(HD 화소)의 영역의 종류(정상 영역, 또는 비정상 영역)는 동일하다.

또, 데이터 정상성 검출부(4101)가 출력하는 영역 특정 정보는, 주목 화소에 있어서의 각도가 최소 자승법에 의해 산출된 경우의 추정 오차이다.

그래서, 영역 검출부(4111)는, 데이터 정상성 검출부(4101)로부터 공급된 주목 화소(입력 화상의 SD 화소)에 대한 추정 오차와 미리 설정된 임계값을 비교하고, 그 비교의 결과가, 추정 오차가 임계값보다도 작은 경우, 제2 화소는 정상 영역이라고 검출하고, 한편, 추정 오차가 임계값 이상인 경우, 제2 화소는 비정상 영역이라고 검출한다. 그리고, 검출 결과는, 셀렉터(4112)에 공급된다.

이 영역 검출부(4111)의 검출 결과가 셀렉터(4112)에 공급되면, 스텝 S4106에 있어서, 셀렉터(4112)는, 검출된 영역이, 정상 영역인지 여부를 판정한다.

스텝 S4106에 있어서, 검출된 영역이, 정상 영역으로 판정한 경우, 셀렉터(4112)는, 스텝 S4107에 있어서, 화상 생성부(4103)로부터 공급된 제2 화소를, 출력 화상으로서 외부에 출력한다.

이에 비해, 스텝 S4106에 있어서, 검출된 영역이, 정상 영역이 아니라(비정상 영역)고 판정한 경우, 셀렉터(4112)는, 스텝 S4108에 있어서, 화상 생성부(4104)로부터 공급된 제1 화소를, 출력 화상으로서 외부에 출력한다.

그 후, 스텝 S4109에 있어서, 모든 화소의 처리가 종료되었는지 여부가 판정되고, 모든 화소의 처리가 아직 종료되지 않은 것으로 판정된 경우, 그 처리는, 스텝 S4101로 되돌아온다. 즉, 모든 화소의 처리가 종료되기까지, 스텝 S4101 내지 S4109의 처리가 반복된다.

그리고, 스텝 S4109에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 그 처리는 종료된다.

이와 같이, 도 295의 흐름도의 예에 있어서는, 제1 화소(HD 화소)와 제2 화소(HD 화소)가 생성될 때마다, 출력 화상으로서 제1 화소 또는 제2 화소가 화소 단위로 출력된다.

그러나, 전술한 바와 같이, 화소 단위로 출력되는 것은 필수가 아니고, 모든 화소의 처리가 종료된 후, 출력 화상으로서, 모든 화소가 일괄 출력되어도 된다. 이 경우, 스텝 S4107과 스텝 S4108의 각각의 처리에 있어서는, 화소(제1 화소 또는 제2 화소)는 출력되지 않고, 셀렉터(4112)에 1차 저장되고, 스텝 S4109의 처리 후에, 모든 화소를 출력하는 처리가 추가 된다.

다음에, 도 296의 흐름도를 참조하여, 도 293의 구성의 화상 생성부(4104)가 실행하는 「클래스 분류 적응 처리의 실행 처리」(예를 들면, 전술한 도 295의 스텝 S4101의 처리)의 상세한 것에 대하여 설명한다.

센서(2)로부터의 입력 화상(SD 화상)이 화상 생성부(4104)에 입력되면, 스텝 S4121에 있어서, 영역 추출부(4121)와 영역 추출부(4125)의 각각은, 입력 화상을 입력한다.

스텝 S4122에 있어서, 영역 추출부(4121)는, 입력 화상 중, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1이상의 위치)의 각각에 위치하는 화소(SD 화소)를, 클래스 탭으로서 추출하고, 패턴 검출부(4122)에 공급한다.

스텝 S4123에 있어서, 패턴 검출부(4122)는, 공급된 클래스 탭의 패턴을 검출하고, 클래스 코드 결정부(4123)에 공급한다.

스텝 S4124에 있어서, 클래스 코드 결정부(4123)는, 미리 설정되어 있는 복수개의 클래스 코드 중, 공급된 클래스 탭의 패턴에 적합한 클래스 코드를 결정하고, 계수 메모리(4124)와 영역 추출부(4125)의 각각에 공급한다.

스텝 S4125에 있어서, 계수 메모리(4124)는, 공급된 클래스 코드에 따라, 미리 학습 처리에 의해 결정된 복수개의 예측 계수(군) 중, 지금부터 사용하는 예측 계수(군)를 판독하고, 예측 연산부(4126)에 공급한다.

그리고, 학습 처리에 대하여는, 도 297의 흐름도를 참조하여 후술한다.

스텝 S4126에 있어서, 영역 추출부(4125)는, 공급된 클래스 코드에 대응하여, 입력 화상 중, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1이상의 위치에서 있어, 클래스 탭의 위치와는 독립적으로 설정된 위치. 단, 클래스 탭의 위치와 동일한 위치라도 된다)의 각각에 위치하는 화소(SD 화소)를, 예측 탭으로서 추출하고, 예측 연산부(4126)에 공급한다.

스텝 S4127에 있어서, 예측 연산부(4126)는, 영역 추출부(4125)로부터 공급된 예측 탭을, 계수 메모리(4124)로부터 공급된 예측 계수를 사용하여 연산하고, 예측 화상(제1 화소)을 생성하여 외부(도 292의 예에서는, 셀렉터(4112))에 출력한다.

구체적으로는, 예측 연산부(4126)는, 영역 추출부(4125)로부터 공급된 예측 탭의 각각을 c_i(i는, 1 내지 n 중 어느 하나의 정수)로 하고, 또한 계수 메모리(4124)로부터 공급된 예측 계수의 각각을 d_i로서 전술한 식(237)의 우변을 연산함으로써, 주목 화소(SD 화소)에 있어서의 HD 화소 q'를 산출하고, 그것을 예측 화상(HD 화상)의 소정의 1개의 화소(제1 화소)로서 외부에 출력한다. 그 후, 처리는 종료된다.

다음에, 도 297의 흐름도를 참조하여, 화상 생성부(4104)에 대한 학습 장치(4131)(도 294)가 실행하는 학습 처리(화상 생성부(4104)가 사용하는 예측 계수를 학습에 의해 생성하는 처리)에 대하여 설명한다.

스텝 S4141에 있어서, 다운 컨버트부(4141)와 정규 방정식 생성부(4146)의 각각은, 공급된 소정의 화상을, 교사 화상(HD 화상)으로서 입력한다.

스텝 S4142에 있어서, 다운 컨버트부(4141)는, 입력된 교사 화상을 다운 컨버트하고(해상도를 저하시키고) 학생 화상(SD 화상)을 생성하고, 영역 추출부(4142)와 영역 추출부(4145)의 각각에 공급한다.

스텝 S4143에 있어서, 영역 추출부(4142)는, 공급된 학생 화상으로부터 클래스 탭을 추출하여 패턴 검출부(4143)에 출력한다. 그리고, 스텝 S4143의 처리는, 전술한 스텝 S4122(도 296)의 처리와 기본적으로 동일한 처리이다.

스텝 S4144에 있어서, 패턴 검출부(4143)는, 공급된 클래스 탭으로부터 클래스 코드를 결정하기 위한 패턴을 검출하고, 클래스 코드 결정부(4144)에 공급한다. 그리고, 스텝 S4144의 처리는, 전술한 스텝 S4123(도 296)의 처리와 기본적으로 동일한 처리이다.

스텝 S4145에 있어서, 클래스 코드 결정부(4144)는, 공급된 클래스 탭의 패턴에 따라 클래스 코드를 결정하고, 영역 추출부(4145)와 정규 방정식 생성부(4146)의 각각에 공급한다. 그리고, 스텝 S4145의 처리는, 전술한 스텝 S4124(도 296)의 처리와 기본적으로 동일한 처리이다.

스텝 S4146에 있어서, 영역 추출부(4145)는, 공급된 클래스 코드에 대응하여, 학생 화상 중 예측 탭을 추출하고, 정규 방정식 생성부(4146)에 공급한다. 그리고, 스텝 S4146의 처리는, 전술한 스텝 S4126(도 296)의 처리와 기본적으로 동일한 처리이다.

스텝 S4147에 있어서, 정규 방정식 생성부(4146)는, 영역 추출부(4145)로부터 공급된 예측 탭(SD 화소), 및 교사 화상(HD 화상)의 소정의 HD 화소로부터, 전술한 식(239)(즉, 식(240))에서 나타내는 정규 방정식을 생성하고, 생성한 정규 방정식과 클래스 코드 결정부(4144)로부터 공급된 클래스 코드를 관련지어 계수 결정부(4147)에 공급한다.

스텝 S4148에 있어서, 계수 결정부(4147)는, 공급된 정규 방정식을 풀어서 예측 계수를 결정하고, 즉, 전술한 식(244)의 우변을 연산함으로써 예측 계수를 산출하고, 공급된 클래스 코드에 대응시켜 계수 메모리(4124)에 기억시킨다.

그 후, 스텝 S4149에 있어서, 모든 화소에 대하여 처리되었는지 여부가 판정되고, 모든 화소에 대하여 처리가 되어 있지 않은 것으로 판정된 경우, 그 처리는, 스텝 S4143으로 되돌아온다. 즉, 모든 화소의 처리가 종료 되기까지, 스텝 S4143 내지 S4149의 처리가 반복된다.

그리고, 스텝 S4149에 있어서, 모든 화소에 대하여 처리가 되었다고 판정된 경우, 처리는 종료된다.

다음에, 도 298과 도 299를 참조하여, 제2 병용 방법에 대하여 설명한다.

도 298은, 제2 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 298에 있어서, 제1 병용 방법이 적용되는 신호 처리 장치(도 292)와 대응하는 부분에는, 대응하는 부호가 부여되고 있다.

도 292의 구성예(제1 병용 방법)에 있어서는, 영역 특정 정보는, 데이터 정상성 검출부(4101)로부터 출력되고, 영역 검출부(4111)에 입력되고 있었지만, 도 298의 구성예(제2 병용 방법)에 있어서는, 영역 특정 정보는, 실세계 추정부(4102)로부터 출력되고, 영역 검출부(4111)에 입력된다.

상기 영역 특정 정보는, 특히 한정되지 않고, 실세계 추정부(4102)가 실세계(1)(도 1)의 신호를 추정한 후에 새롭게 생성된 정보라도 되고, 실세계(1)의 신호가 추정되는 경우와 관련되어 생성되는 정보라도 된다.

구체적으로는, 예를 들면, 영역 특정 정보로서, 추정 오차가 사용 가능하다.

여기서, 추정 오차에 대하여 설명한다.

전술한 바와 같이, 데이터 정상성 검출부(4101)로부터 출력되는 추정 오차(도 292의 영역 특정 정보)는, 예를 들면, 데이터 정상성 검출부(4101)로부터 출력되는 데이터 정상성 정보가 각도이며, 또한 그 각도가 최소 자승법에 의해 연산되는 경우, 그 최소 자승법의 연산에 의해 부차적으로 산출되는 추정 오차이다.

이에 비해, 실세계 추정부(4102)로부터 출력되는 추정 오차(도 298의 영역 특정 정보)는, 예를 들면, 맵핑 오차이다.

즉, 실세계 추정부(4102)에 의해 실세계(1)의 신호가 추정되어 있으므로, 추정된 실세계(1)의 신호로부터 임의의 크기의 화소를 생성할 수 있다(화소값을 연산할 수 있다). 여기서는, 이와 같이, 새로운 화소를 생성하는 것을, 맵핑이라고 칭하고 있다.

따라서, 실세계 추정부(4102)는, 실세계(1)의 신호를 추정한 후, 그 추정한 실세계(1)의 신호로부터, 입력 화상의 주목 화소(실세계(1)이 추정되는 경우에 주목 화소로서 사용된 화소)가 배치되어 있던 위치에서의 새로운 화소를 생성한다(맵핑한다). 즉, 실세계 추정부(4102)는, 추정한 실세계(1)의 신호로부터, 입력 화상의 주목 화소의 화소값을 예측 연산한다.

그리고, 실세계 추정부(4102)는, 맵핑한 새로운 화소의 화소값(예측한 입력 화상의 주목 화소의 화소값)과 실제의 입력 화상의 주목 화소의 화소값의 차분을 연산한다. 상기 차분을, 여기서는, 맵핑 오차라고 칭하고 있다.

이와 같이 하여 실세계 추정부(4102)는, 맵핑 오차(추정 오차)를 연산함으로써, 연산한 맵핑 오차(추정 오차)를, 영역 특정 정보로서 영역 검출부(4111)에 공급할 수 있다.

그리고, 영역 검출부(4111)가 실행하는 영역 검출의 처리는, 전술한 바와 같이, 특히 한정되지 않지만, 예를 들면, 실세계 추정부(4102)가, 전술한 맵핑 오차(추정 오차)를 영역 특정 정보로서 영역 검출부(4111)에 공급하는 경우, 영역 검출부(4111)는, 공급된 맵핑 오차(추정 오차)가 소정의 임계값보다도 작을 때, 입력 화상의 주목 화소는 정상 영역으로서 검출하고, 한편, 공급된 맵핑 오차(추정 오차)가 소정의 임계값 이상일 때, 입력 화상의 주목 화소는 비정상 영역으로서 검출한다.

그 외의 구성은, 도 292와 기본적으로 동일하다. 즉, 제2 병용 방법이 적용되는 신호 처리 장치(도 298)에 있어서도, 제1 병용 방법이 적용되는 신호 처리 장치(도 292)와 기본적으로 동일한 구성과 기능을 가지는, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 화상 생성부(4103), 화상 생성부(4104), 및 정상 영역 검출부(4105)(영역 검출부(4111) 및 셀렉터(4112))가 형성되어 있다.

도 299는, 도 298의 구성의 신호 처리 장치의 신호의 처리(제2 병용 방법의 신호의 처리)를 설명하는 흐름도이다.

제2 병용 방법의 신호의 처리는, 제1 병용 방법의 신호의 처리(도 295의 흐름도에서 나타내는 처리)와 유사한다. 그래서, 여기서는, 제1 병용 방법에 있어서 설명한 처리에 대하여는, 그 설명을 적절히 생략하고, 이하, 도 299의 흐름도를 참조하여, 제1 병용 방법과는 상이한 제2 병용 방법의 신호의 처리를 중심으로 설명한다.

그리고, 여기서는, 데이터 정상성 검출부(4101)는, 제1 병용 방법과 마찬가지로, 각도(실세계(1)(도 1)의 신호의 주목 위치에서의, 정상성의 방향(공간 방향)과 공간 방향의(1)방향인 X 방향(센서(2)(도 1)의 검출 소자의 소정의 한 변과 평행한 방향)이 이루는 각도)를 최소 자승법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력한다.

단, 전술한 바와 같이, 제1 병용 방법에 있어서는, 데이터 정상성 검출부(4101)가 영역 특정 정보(예를 들면, 추정 오차)를 영역 검출부(4111)에 공급하고 있었는데 대하여, 제2 병용 방법에 있어서는, 실세계 추정부(4102)가 영역 특정 정보(예를 들면, 추정 오차(맵핑 오 차)를 영역 검출부(4111)에 공급한다.

따라서, 제2 병용 방법에 있어서는, 데이터 정상성 검출부(4101)의 처리로서, 스텝 S4162의 처리가 실행된다. 이 처리는, 제1 병용 방법에 있어서의, 도 295의 스텝 S4102의 처리에 해당한다. 즉, 스텝 S4162에 있어서, 데이터 정상성 검출부(4101)는, 입력 화상에 따라, 정상성의 방향에 대응하는 각도를 검출하고, 검출한 각도를 데이터 정상성 정보로서, 실세계 추정부(4102)로 화상 생성부(4103)의 각각에 공급한다.

또, 제2 병용 방법에 있어서는, 실세계 추정부(4102)의 처리로서, 스텝 S4163의 처리가 실행된다. 이 처리는, 제1 병용 방법에 있어서의, 도 295의 스텝 S4103의 처리에 해당한다. 즉, 스텝 S4163에 있어서, 실세계 추정부(4102)는, 스텝 S4162의 처리에서 데이터 정상성 검출부(4101)에 의해 검출된 각도로 따라서, 실세계(1)(도 1)의 신호를 추정하고, 또한 추정된 실세계(1)의 신호의 추정 오차, 즉, 맵핑 오차를 연산하고, 그것을 영역 특정 정보로서 영역 검출부(4111)에 공급한다.

그 외의 처리는, 제1 병용 방법의 대응하는 처리(도 295의 흐름도에서 나타내는 처리 중 대응하는 처리)와 기본적으로 동일하므로, 그 설명은 생략한다.

다음에, 도 300와 도 301을 참조하여, 제3 병용 방법에 대하여 설명한다.

도 300은, 제3 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 300에 있어서, 제1 병용 방법이 적용되는 신호 처리 장치(도 292)와 대응하는 부분에는, 대응하는 부호가 부여되고 있다.

도 292의 구성예(제1 병용 방법)에 있어서는, 정상 영역 검출부(4105)는, 화상 생성부(4103)와 화상 생성부(4104)의 후단에 설치되어 있었지만, 도 300의 구성예(제3 병용 방법)에 있어서는, 그에 대응하는 정상 영역 검출부(4161)가, 데이터 정상성 검출부(4101)의 후단이며, 실세계 추정부(4102)와 화상 생성부(4104)의 전단에 설치되어 있다.

이와 같은 설치 위치의 차이에 의하여, 제1 병용 방법에 있어서의 정상 영역 검출부(4105)와 제3 병용 방법에 있어서의 정상 영역 검출부(4161)는 약간 차이가 있다. 그래서, 이 차이를 중심으로, 정상 영역 검출부(4161)에 대하여 설명한다.

정상 영역 검출부(4161)에는, 영역 검출부(4171)와 실행 지령 생성부(4172)가 형성되어 있다. 이 중에서, 영역 검출부(4171)는, 정상 영역 검출부(4105)의 영역 검출부(4111)(도 292)와 기본적으로 동일한 구성과 기능을 가지고 있다. 한편, 실행 지령 생성부(4172)의 기능은, 정상 영역 검출부(4105)의 셀렉터(4112)(도 292)의 기능과 약간 차이가 있다.

즉, 전술한 바와 같이, 제1 병용 방법에 있어서의 셀렉터(4112)는, 영역 검출부(4111)의 검출 결과에 따라, 화상 생성부(4103)로부터의 화상과, 화상 생성부(4104)로부터의 화상 중 어느 하나를 선택하고, 선택한 화상을 출력 화상으로서 출력한다. 이와 같이, 셀렉터(4112)는, 영역 검출부(4111)의 검출 결과 외에, 화상 생성부(4103)로부터의 화상과, 화상 생성부(4104)로부터의 화상을 입력하고, 출력 화상을 출력한다.

한편, 제3 병용 방법에 있어서의 실행 지령 생성부(4172)는, 영역 검출부(4171)의 검출 결과에 따라, 입력 화상의 주목 화소(데이터 정상성 검출부(4101))가 주목 화소로 한 화소)에 있어서의 새로운 화소의 생성 처리를 실행하는 것은, 화상 생성부(4103)인지 화상 생성부(4104)인지를 선택한다.

즉, 영역 검출부(4171)가, 입력 화상의 주목 화소는 정상 영역이라는 검출 결과를 실행 지령 생성부(4172)에 공급한 경우, 실행 지령 생성부(4172)는, 화상 생성부(4103)를 선택하고, 실세계 추정부(4102)에 대하여, 그 처리의 실행을 개시시키는 지령(이와 같은 지령을, 이하, 실행 지령 이라고 한다)을 공급한다. 그러면, 실세계 추정부(4102)가, 그 처리를 개시하고, 실세계 추정 정보를 생성하고, 화상 생성부(4103)에 공급한다. 화상 생성부(4103)는, 공급된 실세계 추정 정보(필요에 따라, 거기에 더하여 데이터 정상성 검출부(4101)로부터 공급된 데이터 정상성 정보)에 따라 새로운 화상을 생성하고, 그것을 출력 화상으로서 외부에 출력한다.

이에 비해, 영역 검출부(4171)가, 입력 화상의 주목 화소는 비정상 영역이라는 검출 결과를 실행 지령 생성부(4172)에 공급한 경우, 실행 지령 생성부(4172)는, 화상 생성부(4104)를 선택하고, 화상 생성부(4104)에 대하여 실행 지령을 공급한다. 그러면, 화상 생성부(4104)가, 그 처리를 개시하고, 입력 화상에 대하여 소정의 화상 처리(지금의 경우, 클래스 분류 적응 처리)를 행하여, 새로운 화상을 생성하고, 그것을 출력 화상으로서 외부에 출력한다.

이와 같이, 제3 병용 방법에 있어서의 실행 지령 생성부(4172)는, 영역 검출부(4171)의 검출 결과를 입력하고, 실행 지령을 출력한다. 즉, 실행 지령 생성부(4172)는, 화상을 입출력하지 않는다.

그리고, 정상 영역 검출부(4161) 이외의 구성은, 도 292와 기본적으로 동일하다. 즉, 제2 병용 방법이 적용되는 신호 처리 장치(도 300의 신호 처리 장치)에 있어서도, 제1 병용 방법이 적용되는 신호 처리 장치(도 292)와 기본적으로 동일한 구성과 기능을 가지는, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 화상 생성부(4103), 및 화상 생성부(4104)가 형성되어 있다.

단, 제3 병용 방법에 있어서는, 실세계 추정부(4102)와 화상 생성부(4104)의 각각은, 실행 지령 생성부(4172)로부터의 실행 지령이 입력되지 않으면, 그 처리를 실행하지 않는다.

그런데, 도 300의 예에서는, 화상의 출력 단위는 화소 단위로 되어 있다. 그래서, 도시는 하지 않지만, 출력 단위를 1프레임의 화상 전체로 하기 위해(모든 화소를 일괄하여 출력하기 위해), 예를 들면, 화상 생성부(4103)와 화상 생성부(4104)의 후단에, 화상 합성부를 추가로 설치할 수도 있다.

상기 화상 합성부는, 화상 생성부(4103)로부터 출력된 화소값과 화상 생성부(4104)로부터 출력된 화소값을 가산하고(합성하고), 가산한 값을 대응하는 화소의 화소값으로 한다. 이 경우, 화상 생성부(4103)와 화상 생성부(4104) 중, 실행 지령이 공급되어 있지 않는 쪽은, 그 처리를 실행하지 않고, 소정의 일정값(예를 들면, 0)을 화상 합성부에 항상 공급한다.

화상 합성부는, 이와 같은 처리를 모든 화소에 대하여 반복 실행하고, 모든 화소의 처리를 종료하면, 모든 화소를 일괄하여 (1프레임의 화상 데이터로서) 외부에 출력한다.

다음에, 도 301의 흐름도를 참조하여, 제3 병용 방법이 적용되는 신호 처리 장치(도 300)의 신호의 처리에 대하여 설명한다.

그리고, 여기서는, 제1 병용 방법과 마찬가지로, 데이터 정상성 검출부(4101)는, 각도(실세계(1)(도 1)의 신호의 주목 위치에서의, 정상성의 방향(공간 방향)과 공간 방향의 1방향인 X 방향(센서(2)(도 1)의 검출 소자의 소정의 한 변과 평행한 방향)이 이루는 각도)를 최소 자승법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력한다.

데이터 정상성 검출부(4101)는 또, 각도를 연산할 때 병행하여 산출되는 추정 오차(최소 자승법의 오차)를, 영역 특정 정보로서 출력한다.

도 1에 있어서, 실세계(1)의 신호가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다.

도 300에 있어서, 상기 입력 화상은, 화상 생성부(4104)에 입력되고, 또한 데이터 정상성 검출부(4101), 및 실세계 추정부(4102)에도 입력된다.

그래서, 도 301의 스텝 S4181에 있어서, 데이터 정상성 검출부(4101)는, 입력 화상에 따라, 정상성의 방향에 대응하는 각도를 검출하고, 또한 그 추정 오차를 연산한다. 검출된 각도는, 데이터 정상성 정보로서 실세계 추정부(4102)와 화상 생성부(4103)의 각각에 공급된다. 또, 연산된 추정 오차는, 영역 특정 정보로서 영역 검출부(4171)에 공급된다.

그리고, 스텝 S4181의 처리는, 전술한 스텝 S4102(도 295)의 처리와 기본적으로 동일한 처리이다.

또, 전술한 바와 같이, 지금의 시점에 있어서는(실행 지령 생성부(4172)로부터 실행 지령이 공급되지 않는 한), 실세계 추정부(4102)도 화상 생성부(4104)도 그 처리를 실행하지 않는다.

스텝 S4182에 있어서, 영역 검출부(4171)는, 데이터 정상성 검출부(4101)에 의해 연산된 추정 오차(공급된 영역 특정 정보)에 따라, 입력 화상의 주목 화소(데이터 정상성 검출부(4101)가 각도를 검출하는 경우에 주목 화소가 되는 화소)의 영역을 검출하고, 그 검출 결과를 실행 지령 생성부(4172)에 공급한다. 그리고, 스텝 S4182의 처리는, 전술한 스텝 S4105(도 295)의 처리와 기본적으로 동일한 처리이다.

영역 검출부(4171)의 검출 결과가 실행 지령 생성부(4172)에 공급되면, 스텝 S4183에 있어서, 실행 지령 생성부(4172)는, 검출된 영역이, 정상 영역인지의 여부를 판정한다. 그리고, 스텝 S4183의 처리는, 전술한 스텝 S4106(도 295)의 처리와 기본적으로 동일한 처리이다.

스텝 S4183에 있어서, 검출된 영역이 정상 영역이 아닌 것으로 판정한 경우, 실행 지령 생성부(4172)는, 실행 지령을 화상 생성부(4104)에 공급한다. 그러면, 화상 생성부(4104)는, 스텝 S4184에 있어서, 「클래스 분류 적응 처리의 실행 처리」를 실행하여, 제1 화소(주목 화소(입력 화상의 SD 화소)에 있어서의 HD 화소)를 생성하고, 스텝 S4185에 있어서, 클래스 분류 적응 처리에 의해 생성된 제1 화소를, 출력 화상으로서 외부에 출력한다.

그리고, 스텝 S4184의 처리는, 전술한 스텝 S4101(도 295)의 처리와 기본적으로 동일한 처리이다. 즉, 도 296의 흐름도는, 스텝 S4184의 처리의 상세한 것을 설명하는 흐름도이기도 하다.

이에 비해, 스텝 S4183에 있어서, 검출된 영역이 정상 영역으로 판정한 경우, 실행 지령 생성부(4172)는, 실행 지령을 실세계 추정부(4102)에 공급한다. 그러면, 스텝 S4186에 있어서, 실세계 추정부(4102)는, 데이터 정상성 검출부(4101)에 의해 검출된 각도와 입력 화상에 따라, 실세계(1)의 신호를 추정한다. 그리고, 스텝 S4186의 처리는, 전술한 스텝 S4103(도 295)의 처리와 기본적으로 동일한 처리이다.

그리고, 화상 생성부(4103)는, 스텝 S4187에 있어서, 실세계 추정부(4102)에 의해 추정된 실세계(1)의 신호에 따라, 검출된 영역(즉, 입력 화상의 주목 화소(SD 화소))에 있어서의 제2 화소(HD 화소)를 생성하고, 스텝 S4188에 있어서, 상기 제2 화소를 출력 화상으로서 출력한다. 그리고, 스텝 S4187의 처리는, 전술한 스텝 S4104(도 295)의 처리와 기본적으로 동일한 처리이다.

제1 화소 또는 제2 화소가 출력 화상으로서 출력되면(스텝 S4185, 또는 스텝 S4188의 처리 후에), 스텝 S4189에 있어서, 모든 화소의 처리가 종료되었는지의 여부가 판정되고, 모든 화소의 처리가 아직 종료되지 않은 것으로 판정된 경우, 그 처리는, 스텝 S4181로 되돌아온다. 즉, 모든 화소의 처리가 종료되기까지, 스텝 S4181 내지 S4189의 처리가 반복된다.

그리고, 스텝 S4189에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 그 처리는 종료된다.

이와 같이, 도 301의 흐름도의 예에 있어서는, 제1 화소(HD 화소)와 제2 화소(HD 화소)가 생성될 때마다, 출력 화상으로서 제1 화소 또는 제2 화소가 화소 단위로 출력된다.

그러나, 전술한 바와 같이, 도 300의 구성의 신호 처리 장치의 최종단(화상 생성부(4103)와 화상 생성부(4104)의 후단)에 화상 합성부(도시하지 않음)를 추가로 설치하면, 모든 화소의 처리가 종료된 후, 출력 화상으로서, 모든 화소를 일괄하여 출력하는 것이 가능하게 된다. 이 경우, 스텝 S4185와 스텝 S4188의 각각에 처리에 있어서는, 화소(제1 화소 또는 제2 화소)는 외부가 아닌 화상 합성부에 출력된다. 그리고, 스텝 S4189의 처리 전에, 화상 합성부가, 화상 생성부(4103)로부터 공급되는 화소의 화소값과 화상 생성부(4104)로부터 공급되는 화소의 화소값을 합성하여, 출력 화상의 화소를 생성하는 처리와, 스텝 S4189의 처리 후에, 화상 합성부가, 모든 화소를 출력하는 처리가 추가된다.

다음에, 도 302로 도 303을 참조하여, 제4 병용 방법에 대하여 설명한다.

도 302는, 제4 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 302에 있어서, 제3 병용 방법이 적용되는 신호 처리 장치(도 300)와 대응하는 부분에는, 대응하는 부호가 부여되어 있다.

도 300의 구성예(제3 병용 방법)에 있어서는, 영역 특정 정보는, 데이터 정상성 검출부(4101)로부터 출력되고, 영역 검출부(4171)에 입력되고 있었지만, 도 302의 구성예(제4 병용 방법)에 있어서는, 영역 특정 정보는, 실세계 추정부(4102)로부터 출력되고 영역 검출부(4171)에 입력된다.

그 외의 구성은, 도 300와 기본적으로 동일하다. 즉, 제4 병용 방법이 적용되는 신호 처리 장치(도 302)에 있어서도, 제3 병용 방법이 적용되는 신호 처리 장치(도 300)와 기본적으로 동일한 구성과 기능을 가지는, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 화상 생성부(4103), 화상 생성부(4104), 및 정상 영역 검출부(4161)(영역 검출부(4171) 및 실행 지령 생성부(4172))가 형성되어 있다.

그리고, 제3 병용 방법과 마찬가지로, 도시는 하지 않지만, 모든 화소를 일괄하여 출력하기 위하여, 예를 들면, 화상 생성부(4103)와 화상 생성부(4104)의 후단에, 화상 합성부를 추가로 설치할 수도 있다.

도 303은, 도 302의 구성의 신호 처리 장치의 신호의 처리(제4 병용 방법의 신호의 처리)를 설명하는 흐름도이다.

제4 병용 방법의 신호의 처리는, 제3 병용 방법의 신호의 처리(도 301의 흐름도에서 나타내는 처리)와 유사한다. 그래서, 여기서는, 제3 병용 방법에 있어서 설명한 처리에 대하여는, 그 설명을 적절히 생략하고, 이하, 도 303의 흐름도를 참조하여, 제3 병용 방법과는 상이한 제4 병용 방법의 신호의 처리를 중심으로 설명한다.

그리고, 여기서는, 데이터 정상성 검출부(4101)는, 제3 병용 방법과 마찬가지로, 각도(실세계(1)(도 1)의 신호의 주목 위치에서의, 정상성의 방향(공간 방향)과 공간 방향의 1방향인 X 방향(센서(2)(도 1)의 검출 소자의 소정의 한 변과 평행한 방향)이 이루는 각도)를 최소 자승법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력한다.

단, 전술한 바와 같이, 제3 병용 방법에 있어서는, 데이터 정상성 검출부(4101)가 영역 특정 정보(예를 들면, 추정 오차)를 영역 검출부(4171)에 공급하고 있었는데 비하여, 제4 병용 방법에 있어서는, 실세계 추정부(4102)가 영역 특정 정보(예를 들면, 추정 오차(맵핑 오 차))를 영역 검출부(4171)에 공급한다.

따라서, 제4 병용 방법에 있어서는, 데이터 정상성 검출부(4101)의 처리로서, 스텝 S4201의 처리가 실행된다. 이 처리는, 제3 병용 방법에 있어서의, 도 301의 스텝 S4181의 처리에 해당한다. 즉, 스텝 S4201에 있어서, 데이터 정상성 검출부(4101)는, 입력 화상에 따라, 정상성의 방향에 대응하는 각도를 검출하고, 검출한 각도를 데이터 정상성 정보로서, 실세계 추정부(4102)와 화상 생성부(4103)의 각각에 공급한다.

또, 제4 병용 방법에 있어서는, 실세계 추정부(4102)의 처리로서, 스텝 S4202의 처리가 실행된다. 이 처리는, 제3 병용 방법에 있어서의, 도 295의 스텝 S4182의 처리에 해당한다. 즉, 실세계 추정부(4102)는, 스텝 S4202의 처리에서 데이터 정상성 검출부(4101)에 의해 검출된 각도에 따라서, 실세계(1)(도 1)의 신호를 추정하는 동시에 추정된 실세계(1)의 신호의 추정 오차, 즉, 맵핑 오차를 연산하고, 그것을 영역 특정 정보로서 영역 검출부(4171)에 공급한다.

그 외의 처리는, 제3 병용 방법의 대응하는 처리(도 301의 흐름도에서 나타내는 처리 중 대응하는 처리)와 기본적으로 동일하므로, 그 설명은 생략한다.

다음에, 도 304과 도 305를 참조하여, 제5 병용 방법에 대하여 설명한다.

도 304는, 제5 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 304에 있어서, 제3 및 제4 병용 방법이 적용되는 신호 처리 장치(도 300과 도 302)와 대응하는 부분에는, 대응하는 부호가 부여되고 있다.

도 300의 구성예(제3 병용 방법)에 있어서는, 데이터 정상성 검출부(4101)의 후단이며, 실세계 추정부(4102)와 화상 생성부(4104)의 전단에, 1개의 정상 영역 검출부(4161)가 설치되어 있다.

또, 도 302의 구성예(제4 병용 방법)에 있어서는, 실세계 추정부(4102)의 후단이며, 화상 생성부(4103)와 화상 생성부(4104)의 전단에, 1개의 정상 영역 검출부(4161)가 설치되어 있다.

이들에 비해, 도 304의 구성예(제5 병용 방법)에 있어서는, 제3 병용 방법과 마찬가지로, 데이터 정상성 검출부(4101)의 후단이며, 실세계 추정부(4102)와 화상 생성부(4104)의 전단에, 정상 영역 검출부(4181)가 설치되어 있다. 또한, 제4 병용 방법과 마찬가지로, 실세계 추정부(4102)의 후단이며, 화상 생성부(4103)와 화상 생성부(4104)의 전단에, 정상 영역 검출부(4182)가 설치되어 있다.

정상 영역 검출부(4181)와 정상 영역 검출부(4182)의 각각은, 정상 영역 검출부(4161)(도 300 또는 도 302)와 기본적으로 동일한 구성과 기능을 가지고 있다. 즉, 영역 검출부(4191)와 영역 검출부(4201)은 모두, 영역 검출부(4171)와 기본적으로 동일한 구성과 기능을 가지고 있다. 또, 실행 지령 생성부(4192)와 실행 지령 생성부(4202)는 모두, 실행 지령 생성부(4172)와 기본적으로 동일한 구성과 기능을 가지고 있다.

환언하면, 제5 병용 방법은, 제3 병용 방법과 제4 병용 방법을 조합한 것이다.

즉, 제3 병용 방법이나 제4 병용 방법에 있어서는, 1개의 영역 특정 정보(제3 병용 방법에 있어서는, 데이터 정상성 검출부(4101)로부터의 영역 특정 정보이며, 제4 병용 방법에 있어서는, 실세계 추정부(4102)로부터의 영역 특정 정보이다)에 따라서, 입력 화상의 주목 화소가 정상 영역인지 비정상 영역인지가 검출된다. 따라서, 제3 병용 방법이나 제4 병용 방법에서는, 본래, 비정상 영역임에도 불구하고, 정상 영역으로 검출될 우려가 있다.

그래서, 제5 병용 방법에 있어서는, 처음에 데이터 정상성 검출부(4101)로부터의 영역 특정 정보(제5 병용 방법의 설명에 있어서는, 제1 영역 특정 정보라고 한다)에 따라, 입력 화상의 주목 화소가 정상 영역인지 비정상 영역인지가 검출된 후, 또한 실세계 추정부(4102)로부터의 영역 특정 정보(제5 병용 방법의 설명에 있어서는, 제2 영역 특정 정보라고 한다)에 따라, 입력 화상의 주목 화소가 정상 영역인지 비정상 영역인지가 검출된다.

이와 같이, 제5 병용 방법에 있어서는, 영역의 검출의 처리가 2회 행해지므로, 제3 병용 방법이나 제4 병용 방법과 비교하여, 정상 영역의 검출 정밀도가 높아지게 된다. 또한, 제1 병용 방법이나 제2 병용 방법에 있어서도, 제3 병용 방법이나 제4 병용 방법과 마찬가지로, 1개의 정상 영역 검출부(4105)(도 292 또는 도 298)밖에 설치되어 있지 않다. 따라서, 제1 병용 방법이나 제2 병용 방법과 비교하여도, 정상 영역의 검출 정밀도가 높아지게 된다. 그 결과, 제1 내지 제4 병용 방법 중 어느 하나보다 실세계(1)(도 1)의 신호에 가까운 화상 데이터를 출력하는 것이 가능하게 된다.

단, 제1 내지 제4 병용 방법에서도, 종래의 화상 처리를 행하는 화상 생성부(4104)와 본 발명이 적용되는 데이터 정상성을 이용하여 화상을 생성하는 장치 또는 프로그램 등(즉, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4103))을 병용하고 있는 것에는 변화는 없다.

따라서, 제1 내지 제4 병용 방법에서도, 종래의 신호 처리 장치나, 도 3의 구성의 본 발명의 신호 처리 중 어느 하나보다 실세계(1)(도 1)의 신호에 가까운 화상 데이터를 출력하는 것이 가능하게 된다.

한편, 처리 속도의 관점으로부터는, 제1 내지 제4 병용 방법에 있어서는, 영역의 검출의 처리가 1회만으로 끝나므로, 영역의 검출의 처리를 2회 행하는 제5 병용 방법보다 우수하게 된다.

따라서, 사용자(또는 제조자) 등은, 필요한 출력 화상의 품질과 필요한 처리 시간(출력 화상이 출력되기까지의 시간)에 합치한 병용 방법을 선택적으로 이용할 수 있다.

그리고, 도 304에 있어서의 그 외의 구성은, 도 300, 또는 도 302와 기본적으로 동일하다. 즉, 제5 병용 방법이 적용되는 신호 처리 장치(도 304)에 있어서도, 제3 또는 제4 병용 방법이 적용되는 신호 처리 장치(도 300, 또는 도 302)와 기본적으로 동일한 구성과 기능을 가지는, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 화상 생성부(4103), 및 화상 생성부(4104)가 형성되어 있다.

단, 제5 병용 방법에 있어서는, 실세계 추정부(4102)는, 실행 지령 생성부(4192)로부터의 실행 지령이 입력되지 않는 이상 화상 생성부(4103)는, 실행 지령 생성부(4202)로부터의 실행 지령이 입력되지 않는 이상 화상 생성부(4104)는, 실행 지령 생성부(4192), 또는 실행 지령 생성부(4202)로부터의 실행 지령이 입력되지 않는 이상 그 처리를 실행하지 않는다.

또, 제5 병용 방법에 있어서도, 제3 이나 제4 병용 방법과 마찬가지로, 도시는 하지 않지만, 모든 화소를 일괄하여 출력하기 위하여, 예를 들면, 화상 생성부(4103)와 화상 생성부(4104)의 후단에, 화상 합성부를 추가로 설치할 수도 있다.

다음에, 도 305의 흐름도를 참조하여, 제5 병용 방법이 적용되는 신호 처리 장치(도 304)의 신호의 처리에 대하여 설명한다.

그리고, 여기서는, 제3 이나 제4 병용 방법과 마찬가지로, 데이터 정상성 검출부(4101)는, 각도(실세계(1)(도 1)의 신호의 주목 위치에서의, 정상성의 방향(공간 방향)과 공간 방향의 1방향인 X 방향(센서(2)(도 1)의 검출 소자의 소정의 한 변과 평행한 방향)이 이루는 각도)를 최소 자승법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력한다.

또, 여기서는, 제3 병용 방법과 마찬가지로, 데이터 정상성 검출부(4101)는 또, 각도를 연산할 때 병행하여 산출되는 추정 오차(최소 자승법의 오차)를, 제1 영역 특정 정보로서 출력한다.

또한, 여기서는, 제4 병용 방법과 마찬가지로, 실세계 추정부(4102)는, 맵핑 오차(추정 오차)를, 제2 영역 특정 정보로서 출력한다.

도 1에 있어서, 실세계(1)의 신호가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다.

도 304에 있어서, 상기 입력 화상은, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4104)의 각각에 입력된다.

그래서, 도 305의 스텝 S4221에 있어서, 데이터 정상성 검출부(4101)는, 입력 화상에 따라, 정상성의 방향에 대응하는 각도를 검출하는 동시에, 그 추정 오차를 연산한다. 검출된 각도는, 데이터 정상성 정보로서 실세계 추정부(4102)와 화상 생성부(4103)의 각각에 공급된다. 또, 연산된 추정 오차는, 제1 영역 특정 정보로서 영역 검출부(4191)에 공급된다.

그리고, 스텝 S4221의 처리는, 전술한 스텝 S4181(도 301)의 처리와 기본적으로 동일한 처리이다.

또, 전술한 바와 같이, 지금의 시점에 있어서는(실행 지령 생성부(4192)로부터 실행 지령이 공급되지 않는 한), 실세계 추정부(4102)도 화상 생성부(4104)도 그 처리를 실행하지 않는다.

스텝 S4222에 있어서, 영역 검출부(4191)는, 데이터 정상성 검출부(4101)에 의해 연산된 추정 오차(공급된 제1 영역 특정 정보)에 따라, 입력 화상의 주목 화소(데이터 정상성 검출부(4101)가 각도를 검출하는 경우에 주목 화소로 한 화소)의 영역을 검출하고, 그 검출 결과를 실행 지령 생성부(4192)에 공급한다. 그리고, 스텝 S4222의 처리는, 전술한 스텝 S4182(도 301)의 처리와 기본적으로 동일한 처리이다.

영역 검출부(4181)의 검출 결과가 실행 지령 생성부(4192)에 공급되면, 스텝 S4223에 있어서, 실행 지령 생성부(4192)는, 검출된 영역이, 정상 영역인지의 여부를 판정한다. 그리고, 스텝 S4223의 처리는, 전술한 스텝 S4183(도 301)의 처리와 기본적으로 동일한 처리이다.

스텝 S4223에 있어서, 검출된 영역이 정상 영역이 아니라고(비정상 영역으로) 판정한 경우, 실행 지령 생성부(4192)는, 실행 지령을 화상 생성부(4104)에 공급한다. 그러면, 화상 생성부(4104)는, 스텝 S4224에 있어서, 「클래스 분류 적응 처리의 실행 처리」를 실행하여, 제1 화소(주목 화소(입력 화상의 SD 화소)에 있어서의 HD 화소)를 생성하고, 스텝 S4225에 있어서, 클래스 분류 적응 처리에 의해 생성된 제1 화소를, 출력 화상으로서 외부에 출력한다.

그리고, 스텝 S4224의 처리는, 전술한 스텝 S4184(도 301)의 처리와 기본적으로 동일한 처리이다. 즉, 도 296의 흐름도는, 스텝 S4186의 처리의 상세한 것을 설명하는 흐름도이기도 하다. 또, 스텝 S4225의 처리는, 전술한 스텝 S4185(도 301)의 처리와 기본적으로 동일한 처리이다.

이에 비해, 스텝 S4223에 있어서, 검출된 영역이 정상 영역으로 판정한 경우, 실행 지령 생성부(4192)는, 실행 지령을 실세계 추정부(4102)에 공급한다. 그러면, 스텝 S4226에 있어서, 실세계 추정부(4102)는, 스텝 S4221의 처리에서 데이터 정상성 검출부(4101)에 의해 검출된 각도에 따라서, 실세계(1)의 신호를 추정하는 동시에 그 추정 오차(맵핑 오차)를 연산한다. 추정된 실세계(1)의 신호는, 실세계 추정 정보로서 화상 생성부(4103)에 공급된다. 또, 연산된 추정 오차는, 제2 영역 특정 정보로서 영역 검출부(4201)에 공급된다.

그리고, 스텝 S4226의 처리는, 전술한 스텝 S4202(도 303)의 처리와 기본적으로 동일한 처리이다.

또, 전술한 바와 같이, 지금의 시점에 있어서는(실행 지령 생성부(4192), 또는 실행 지령 생성부(4202)로부터 실행 지령이 공급되지 않는 한), 화상 생성부(4103)도 화상 생성부(4104)도 그 처리를 실행하지 않는다.

스텝 S4227에 있어서, 영역 검출부(4201)는, 실세계 추정부(4102)에 의해 연산된 추정 오차(공급된 제2 영역 특정 정보)에 따라, 입력 화상의 주목 화소(데이터 정상성 검출부(4101)가 각도를 검출하는 경우에 주목 화소가 되는 화소)의 영역을 검출하고, 그 검출 결과를 실행 지령 생성부(4202)에 공급한다. 그리고, 스텝 S4227의 처리는, 전술한 스텝 S4203(도 303)의 처리와 기본적으로 동일한 처리이다.

영역 검출부(4201)의 검출 결과가 실행 지령 생성부(4202)에 공급되면, 스텝 S4228에 있어서, 실행 지령 생성부(4202)는, 검출된 영역이, 정상 영역인지의 여부를 판정한다. 그리고, 스텝 S4228의 처리는, 전술한 스텝 S4204(도 303)의 처리와 기본적으로 동일한 처리이다.

스텝 S4228에 있어서, 검출된 영역이 정상 영역이 아닌 것으로(비정상 영역으로) 판정한 경우, 실행 지령 생성부(4202)는, 실행 지령을 화상 생성부(4104)에 공급한다. 그러면, 화상 생성부(4104)는, 스텝 S4224에 있어서, 「클래스 분류 적응 처리의 실행 처리」를 실행하여, 제1 화소(주목 화소(입력 화상의 SD 화소)에 있어서의 HD 화소)를 생성하고, 스텝 S4225에 있어서, 클래스 분류 적응 처리에 의해 생성된 제1 화소를, 출력 화상으로서 외부에 출력한다.

그리고, 지금의 경우의 스텝 S4224의 처리는, 전술한 스텝 S4205(도 303)의 처리와 기본적으로 동일한 처리이다. 또, 지금의 경우의 스텝 S4225의 처리는, 전술한 스텝 S4206(도 303)의 처리와 기본적으로 동일한 처리이다.

이에 비해, 스텝 S4228에 있어서, 검출된 영역이 정상 영역으로 판정한 경우, 실행 지령 생성부(4202)는, 실행 지령을 화상 생성부(4103)에 공급한다. 그러면, 스텝 S4229에 있어서, 화상 생성부(4103)는, 실세계 추정부(4102)에 의해 추정된 실세계(1)의 신호(및 필요에 따라 데이터 정상성 검출부(4101)로부터의 데이터 정상성 정보)에 따라, 영역 검출부(4201)에 의해 검출된 영역(즉, 입력 화상의 주목 화소(SD 화소))에 있어서의, 제2 화소(HD 화소)를 생성한다. 그리고, 스텝 S4230에 있어서, 화상 생성부(4103)는, 생성된 제2 화소를, 출력 화상으로서 외부에 출력한다.

그리고, 스텝 S4229와 S4230의 각각의 처리는, 전술한 스텝 S4207와 S4208(도 303)의 각각의 처리와 기본적으로 동일한 처리이다.

제1 화소 또는 제2 화소가 출력 화상으로서 출력되면(스텝 S4225, 또는 스텝 S4230의 처리 후), 스텝 S4231에 있어서, 모든 화소의 처리가 종료되었는지 여부가 판정되고, 모든 화소의 처리가 아직 종료되지 않은 것으로 판정된 경우, 그 처리는, 스텝 S4221로 되돌아온다. 즉, 모든 화소의 처리가 종료되기까지, 스텝 S4221 내지 S4231의 처리가 반복된다.

그리고, 스텝 S4231에 있어서, 모든 화소의 처리가 종료되었다고 판정된 경우, 그 처리는 종료된다.

이상, 도 292 내지 도 305를 참조하여, 본 발명의 신호 처리 장치(4)(도 1)의 실시예의 일례로서, 병용 방법에 대하여 설명하였다.

전술한 바와 같이, 병용 방법에 있어서는, 도 3의 구성의 본 발명의 신호 처리 장치에 대하여 또한, 정상성을 이용하지 않는 다른 신호 처리를 행하는 장치(또는, 프로그램 등)가 부가되어 있다.

환언하면, 병용 방법에 있어서는, 종래의 신호 처리 장치(또는, 프로그램 등)에 대하여, 도 3의 구성의 본 발명의 신호 처리 장치(또는, 프로그램 등)가 부가되어 있다.

즉, 병용 방법에 있어서는, 예를 들면, 도 292나 도 298의 정상 영역 검출부(4105)가, 실세계(1)의 광신호가 투영되어 실세계(1)의 광신호의 정상성의 일부가 결락된 화상 데이터(예를 들면, 도 292나 도 298의 입력 화상) 내에 있어서, 화상 데이터의 데이터 정상성을 가지는 영역(예를 들면, 도 295의 스텝 S4106나 도 299의 스텝 S4166에 기재된 정상 영역)을 검출한다.

또, 도 292나 도 298의 실세계 추정부(4102)가, 실세계(1)의 광신호의 정상성의 일부가 결락된 화상 데이터의 데이터 정상성에 따라, 결락된 실세계(1)의 광신호의 정상성을 추정함으로써 광신호를 추정한다.

또한, 예를 들면, 도 292나 도 298의 데이터 정상성 검출부(4101)가, 실세계(1)의 광신호가 투영되어 실세계(1)의 광신호의 정상성의 일부가 결락된 화상 데이터 내에 있어서, 화상 데이터의 데이터 정상성의 기준 축에 대한 각도(예를 들면, 도 295의 스텝 S4102나 도 299의 스텝 S4162에 기재된 각도)를 검출한다. 이 경우, 예를 들면, 도 292나 도 298의 정상 영역 검출부(4105)는, 각도에 따라 화상 데이터의 데이터 정상성을 가지는 영역을 검출하고, 실세계 추정부(4102)는, 그 영역에 대하여, 결락된 실세계(1)의 광신호의 정상성을 추정함으로써 광신호를 추정한다.

단, 도 292에 있어서는, 정상 영역 검출부(4105)는, 각도에 따라 정상인 모델과 입력 화상과의 오차(즉, 예를 들면, 도면 중의 영역 특정 정보로서, 도 295의 스텝 S4102의 처리에 의해 연산되는 추정 오차에 따라 입력 화상의 데이터 정상성을 가지는 영역을 검출한다.

이에 비해, 도 298에 있어서는, 정상 영역 검출부(4105)는, 실세계 추정부(4102)의 후단에 배치되고, 실세계 추정부(4102)에 의해 연산되는, 입력 화상에 대응하는 실세계(1)의 광신호를 나타내는 실세계 모델과 입력 화상과의 오차(즉, 예를 들면, 도면 중의 영역 특정 정보로서, 도 295의 스텝 S4163의 처리에 의해 연산되는 실세계의 신호의 추정 오차(맵핑 오 차)에 따라, 실세계 추정부(4102)에 의해 추정된 실세계 모델, 즉, 화상 생성부(4103)로부터 출력되는 화상을 선택적으로 출력한다(예를 들면, 도 298의 셀렉터(4112)가, 도 299의 스텝 S4166 내지 S4168의 처리를 실행한다).

이상, 도 292로 도 298의 예에서 설명하였지만, 이상 설명한 것은, 도 300, 도 302, 및 도 304에 있어서도 동일하다.

따라서, 병용 방법에 있어서는, 실세계(1)의 신호 중 정상성이 존재하는 부분(화상 데이터의 데이터 정상성을 가지는 영역)에 대하여는, 도 3의 구성의 신호 처리 장치에 해당하는 장치(또는 프로그램 등)가 신호 처리를 실행하고, 실세계(1)의 신호 중 명확한 정상성이 존재하지 않는 부분에 대해서는, 종래의 신호 처리 장치(또는, 프로그램 등)가 신호 처리를 실행하는 것이 가능하게 된다. 그 결과, 종래의 신호 처리 장치나, 도 3의 구성의 본 발명의 신호 처리 중 어느 하나보다 실세계(1)(도 1)의 신호에 가까운 화상 데이터를 출력하는 것이 가능하게 된다.

다음에, 도 306, 도 307을 참조하여, 데이터 정상성 검출부(101)로부터 직접 화상을 생성하는 예에 대하여 설명한다.

도 306의 데이터 정상성 검출부(101)는, 도 165의 데이터 정상성 검출부(101)에 화상 생성부(4501)를 부가한 것이다. 화상 생성부(4501)는, 실세계 추정부(802)로부터 출력되는 실세계의 근사 함수 f(x)의 계수를 실세계 추정 정보로서 취득하고, 이 계수에 따라, 각 화소를 재적분함으로써 화상을 생성하여 출력한다.

다음에, 도 307의 흐름도를 참조하여, 도 306의 데이터 정상성의 검출의 처리에 대하여 설명한다. 그리고, 도 307의 흐름도의 스텝 S4501 내지 S4504, 및 스텝 S4506 내지 S4511의 처리에 대해서는, 도 166의 흐름도의 스텝 S801 내지 S810의 처리와 동일하므로 그 설명은 생략한다.

스텝 S4504에 있어서, 화상 생성부(4501)는, 실세계 추정부(802)로부터 입력된 계수에 따라 각 화소를 재적분하여, 화상을 생성하여 출력한다.

이상의 처리에 의하여, 데이터 정상성 검출부(101)는, 영역 정보뿐만아니라, 그 영역 판정에 사용한(실세계 추정 정보에 따라 생성된 화소로 이루어지는) 화상을 출력할 수 있다.

이와 같이, 도 306의 데이터 정상성 검출부(101)에 있어서는, 화상 생성부(4501)가 형성되어 있다. 즉, 도 306의 데이터 정상성 검출부(101)는, 입력 화상의 데이터 정상성에 따라 출력 화상을 생성할 수 있다. 따라서, 도 306에서 나타내는 구성을 가지는 장치를, 데이터 정상성 검출부(101)의 실시예로 파악하는 것이 아니라, 도 1의 신호 처리 장치(화상 처리 장치)(4)의 다른 실시예로 파악할 수도 있다.

또한, 전술한 병용 방법이 적용되는 신호 처리 장치에 있어서, 실세계(1)의 신호 중 정상성이 존재하는 부분에 대하여 신호 처리를 실시하는 신호 처리부로서, 도 306에서 나타내는 구성을 가지는 장치(즉, 도 306의 데이터 정상성 검출부(101)와 동일한 기능과 구성을 가지는 신호 처리 장치)를 적용할 수도 있다.

구체적으로는, 예를 들면, 제1 병용 방법이 적용되는 도 292의 신호 처리 장치에 있어서는, 실세계(1)의 신호 중 정상성이 존재하는 부분에 대하여 신호 처리를 실시하는 신호 처리부는, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4103)로 되어 있다. 도시는 하지 않지만, 이들 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4103) 대신, 도 306의 구성의 신호 처리 장치(화상 처리 장치)를 적용할 수도 있다. 이 경우, 도 306의 비교부(804)가, 그 출력을 영역 특정 정보로서 영역 검출부(4111)에 공급하고, 또, 화상 생성부(4501)가, 출력 화상(제2 화소)을 셀렉터(4112)에 공급하게 된다.

도 308은, 신호 처리 장치(4)의 다른 구성을 나타낸 블록도이다. 도 3에 나타낸 경우와 동인한 부분에는 동일한 번호를 부여하여, 그 설명은 생략한다.

도 308에서 그 구성이 나타내는 신호 처리 장치(4)에 있어서는, 센서(2)에 의해 촬상된 데이터(3)에 역감마 보정 처리가 적용되는 것으로, 비선형 특성이 상쇄되도록 보정된, 선형인 데이터(3)로부터 데이터의 정상성이 검출된다. 선형인 데이터(3) 및 검출된 데이터의 정상성에 따라서, 실세계(1)의 정상성이 추정되는 것으로, 실세계(1)의 신호가 추정된다. 그리고, 추정된 실세계(1)의 신호로부터, 출력 화상이 생성된다. 생성된 출력 화상은, 제시계(提示系)의 표시의 특성에 맞춘 보정 처리가 적용되어, 출력된다.

즉, 역감마 보정부(5001)는, 데이터(3)에 역감마 보정 처리를 적용하고, 역감마 보정된 데이터(3)를 데이터 정상성 검출부(101) 및 실세계 추정부(102)에 공급한다.

도 308의 신호 처리 장치(4)의 데이터 정상성 검출부(101)는, 역감마 보정되고, 실세계(1)의 화상에 대하여 선형의 데이터(3)에 따라서, 데이터의 정상성을 검출한다.

도 308의 신호 처리 장치(4)의 실세계 추정부(102)는, 검출된 데이터의 정상성, 및 역감마 보정된, 실세계(1)의 화상에 대하여 선형의 데이터(3)에 따라서, 실세계(1)의 신호(화상)를 추정한다.

제시계 특성 보정부(5002)는, 화상 생성부(103)로부터 출력된 화상에, 제시계의 표시의 특성에 맞춘 보정 처리를 적용하고, 보정된 화상을 출력한다. 예를 들면, 제시계가 CRT(Cathode-Ray Tube) 모니터일 경우, 제시계 특성 보정부(5002)는, 화상 생성부(103)로부터 출력된 화상에, 감마 보정 처리를 적용하여, 감마 보정된 출력 화상을 출력한다. 또, 예를 들면, 제시계가 액정 모니터일 경우, 제시계 특성 보정부(5002)는, 화상 생성부(103)로부터 출력된 화상에, 액정 모니터의 비선형성을 보정하는 처리를 적용하여, 보정된 출력 화상을 출력한다. 제시계는, CRT 및 액정에 한정되지 않고, 플라즈마 디스플레이(PDP(Plasma Display Panel)), 유기 EL(Electro Luminescence) 디스플레이, 플라즈마 어드레싱 액정(PALC), ELD(Electro Luminescence Display), FED(Field Emission Display), DMD(Digital Micromirror Device), SED(Surface-conduction Electron-emitter Display) 등이 사용될 수도 있다. 제시계 특성 보정부(5002)는, 화상 생성부(103)로부터 출력된 화상을, 각 제시계의 비선형성을 고려하여, 보정하면 된다.

여기서, 감마 보정에 대하여 설명한다.

이미지 센서인 센서(2)는, 실세계(1)의 화상을 촬상하여, 실세계(1)의 화상을 데이터(3)에 투영하고, 투영에 의해 얻어진 데이터(3)를 출력한다. 이미지 센서인 센서(2)는, 투영에 의해 얻어진 데이터(3)에 감마 보정을 적용하는 감마 보정 회로(5011)를 가진다.

도 309는, 감마 보정을 설명하는 도면이다.

센서(2)는, 현실세계의 촬상의 대상물인 오브젝트(5031)(의 화상)을 촬상하여, 화상 데이터인 데이터(3)를 출력한다. 화상 데이터인 데이터(3)는, CRT(Cathode-Ray Tube) 모니터(5032)에 공급되고, CRT 모니터(5032)는, 화상 데이터인 데이터(3)에 대응한 표시 화상을 표시한다.

CRT 모니터(5032)는, 입력에 대하여 비선형인 특성을 가지고 있지만, 센서(2)의 감마 보정 회로(5011)에 의하여, 사전에, 그 비선형 특성이 상쇄 되도록 화상 데이터인 데이터(3)가 보정되어 있으므로, CRT 모니터(5032)에 있어서는, 표시 화상이 선형으로 표시된다.

감마 보정 커브는, 도 310에 나타낸 바와 같이, 비교적 저휘도의 부분(진폭이 작은 부분)에 있어서는, 그 변화가 크게 반영되고, 비교적 고휘도의 부분(진폭이 큰 부분)에 있어서는, 그 변화가 작게 반영되는 특성을 가지므로, 센서(2)로부터 출력되는 화상 데이터인 데이터(3)는, 약간 왜곡된 특성의 데이터(3)가 된다.

도 309로 나타낸 바와 같이, CRT 모니터(5032)의 입출력 특성은, 감마 보정 커브에 대하여 역특성이 되므로, CRT 모니터(5032)에서는, 결국 정확한 표시 화상이 표시된다.

데이터(3)의 화소값과, 데이터(3)에 의해 CRT 모니터(5032)에 표시되는 표시 화상의 휘도의 관계는, 비직선이다.

오브젝트(5031)를 사람이 육안으로 본것과 동일한 화상에 접근하기 위해서, CRT 모니터(5032)의 레벨(화소값)과 표시되는 표시 화상의 휘도의 비직선성을 보정하기 위하여, CRT 모니터(5032)의 비직선성과 반대의 특성이 되도록, 센서(2)는, 화상 데이터인 데이터(3)를 보정한다. 이것이 센서(2)의 감마 보정이며, 센서(2)의 감마 보정 회로(5011)가 감마 보정의 처리를 실행한다.

도 310은, 감마 보정 회로(5011)의 입력 화소값과 출력 화소값의 관계를 나타낸 도면이다. 도 310에 있어서, 입력 화소값은, 가로축에 나타내고, 출력 화소값은, 세로축에 나타낸다.

예를 들면, 도 311에 나타낸 바와 같이, 센서(2)가 감마 보정을 실행하지 않는 경우, CRT 모니터(5032)는, 실세계(1)의 화상 레벨에 대하여, 비직선적인 표시 화상을 표시한다.

그러나, 센서(2)에 의해 감마 보정이 실행되면, 화상 데이터의 화소값과 오브젝트(5031)의 본래의 화상(실세계(1)의 화상) 사이에, 비직선인 차이가 생긴다.

도 312는, 감마 보정에 의한 화소값의 변화의 예를 나타낸 도면이다. 도 312의 실선은, 센서(2)에 의해 감마 보정하지 않았을 때의, 화상 데이터인 데이터(3)에 있어서의, 화소값에 대한 화소의 개수를 나타낸다. 도 312의 점선은, 센서(2)에 의해 감마 보정했을 때의, 화상 데이터인 데이터(3)에 있어서의, 화소값에 대한 화소의 개수를 나타낸다. 이 경우에 있어서, 감마 보정하지 않았을 때와 감마 보정했을 때의 촬상 대상물은 동일하다.

도 312에서 나타낸 바와 같이, 감마 보정 되었을 때, 데이터(3)는 전체적으로 화소값이 커지고, 화소값에 대한 화소의 개수의 분포 형태가 변화한다.

그래서, 처리 대상이 되는 데이터(3)에 있어서, 실세계(1)의 화상 사이에, 비직선인 차이가 생기지 않도록 하기 위하여, 역감마 보정부(5001)에 있어서, 감마 보정 회로(5011)의 보정과 역의 특성을 가지는 역감마 보정을 데이터(3)에 적용한다. 역감마 보정부(5001)는, 감마 보정 회로(5011)에 있어서의 보정 특성과 역특성의 입출력 특성을 가진다.

도 313은, 역감마 보정부(5001)에 있어서의, 입력 화소값과 출력 화소값의 관계를 나타낸 도면이다. 도 313에 있어서, 입력 화소값은, 가로축으로 나타내고, 출력 화소값은, 세로축에 나타낸다. 감마 보정이 적용된 데이터(3)에, 또 역감마 보정을 적용할 경우, 데이터(3)의 화소값과 오브젝트(5031)의 실세계(1) 화상의 레벨 사이의 비직선성이 제거된다.

즉, 역감마 보정부(5001)는, 화상 데이터인 데이터(3)에 대하여, 역감마 보정을 적용한다. 그 결과, 역감마 보정부(5001)가 출력하는 화상 데이터인 데이터(3)는, 실세계의 화상에 대하여 선형 특성을 가지게 된다.

이로써, 데이터 정상성의 검출 처리 및 실세계 추정 처리에 있어서, 보다 정확하게, 데이터의 정상성을 검출하고, 보다 정확하게, 실세계(1)의 화상을 추정할 수 있게 된다.

제시계 특성 보정부(5002)는, 생성된 화상에, 표시 화상을 표시하는 제시계의 표시 특성에 맞춘 보정을 적용한다. 예를 들면, 제시계 특성 보정부(5002)는, 생성된 화상에, 도 310에 나타낸 특성의 감마 보정 처리를 적용하고, 감마 보정된 화상을 출력한다.

도 314는, 도 308에 구성을 나타낸 신호 처리 장치에 있어서의 신호 처리를 설명하는 흐름도이다.

스텝 S5001에 있어서, 역감마 보정부(5001)는, 센서(2)로부터 공급된, 이미 감마 보정이 되어 있는 화상에, 역감마 보정 처리를 적용하여, 실세계(1)의 화상에 대하여 선형인 화소값을 가지는 데이터(3)를 정상성 검출부(101) 및 현실세계 추정부(102)에 공급한다.

스텝 S5002 내지 스텝 S5004의 처리는, 각각, 도 40의 스텝 S101 내지 스텝 S103의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S5005에 있어서, 제시계 특성 보정부(5002)는, 생성된 화상에, 표시 화상을 표시하는 제시계의 표시 특성에 맞춘 보정을 적용하여, 보정된 화상을 출력하고, 처리는 종료된다.

예를 들면, 스텝 S5005에 있어서, 스텝 S5004의 처리에 있어서 생성된 화상에, 감마 보정이 적용된다. 예를 들면, 스텝 S5005에 있어서, 스텝 S5004의 처리에 있어서 생성된 화상에, 액정 모니터의 비선형성을 보정하는 처리가 적용된다.

이와 같이, 도 308에서 구성이 나타내는 신호 처리 장치(4)는, 실세계(1)의 화상에 대하여 선형 화소값을 가지는 화상 데이터인 데이터(3)로부터 데이터의 정상성을 검출하고, 실세계(1)의 화상을 추정할 수 있으므로, 보다 정확하게 데이터의 정상성을 검출하고, 보다 정확하게 실세계(1)의 화상을 추정할 수 있다.

현실세계의 광신호가 투영되어 현실세계의 광신호의 정상성의 일부가 결락하고, 감마 보정된 제1 화상 데이터에, 역감마 보정을 적용하고, 역감마 보정된 제1 화상 데이터 내에서의, 현실세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하고, 검출된 화상 데이터의 정상성에 따라서, 현실세계의 광신호의 정상성을 추정함으로써 광신호를 추정하고, 추정된 광신호로부터 제2 화상 데이터를 생성하고, 생성된 제2 화상 데이터에, 제시계의 특성에 대응하는 보정을 적용한 경우, 현실세계의 사상에 대하여, 보다 정확하게, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

그리고, 센서(2)는, 고체 촬상 소자인, 예를 들면, BBD(Bucket Brigade Device), CID(Charge Injection Device), 또는 CPD(Charge Priming Device) 등의 센서를 사용할 수도 있다.

본 발명의 신호 처리를 행하는 프로그램을 기록한 기록 매체는, 도 2에 나타낸 바와 같이, 컴퓨터와는 별도로, 사용자에게 프로그램을 제공하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(51)(플렉시블 디스크 포함), 광디스크(52)(CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk) 포함), 광자기 디스크(53)(MD(Mini-Disk)(상표) 포함), 또는 반도체 메모리(54) 등으로 이루어지는 패키지 미디어에 의해 구성될 뿐 아니라, 컴퓨터에 미리 내장된 상태에서 사용자에게 제공되는, 프로그램이 기록되어 있는 ROM(22)이나, 기억부(28)에 포함되는 하드 디스크 등으로 구성된다.

그리고, 전술한 일련의 처리를 실행시키는 프로그램은, 필요에 따라 라우터, 모뎀 등의 인터페이스를 통하여, 로컬 영역 네트워크, 인터넷, 디지털 위성방송 등, 유무선 통신 매체를 통하여 컴퓨터에 인스톨될 수도 있다.

그리고, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

이상과 같이, 본 발명에 의하면, 정확하고, 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

또, 본 발명에 의하면, 현실세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

Claims (4)

1. 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실세계의 광신호가 투영됨으로써 취득된, 상기 현실세계의 광신호의 정상성(定常性)의 일부가 결락되고, 감마 보정된 제1 화상 데이터에, 역감마 보정을 적용하고, 역감마 보정된 상기 제1 화상 데이터를 출력하는 역감마 보정 수단과,

   상기 역감마 보정 수단으로부터 출력된 상기 제1 화상 데이터 내에 있어서의, 상기 현실세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 수단과,

   상기 화상 데이터 정상성 검출 수단에 의해 검출된 상기 화상 데이터의 정상성에 따라서, 상기 현실세계의 광신호의 정상성을 추정함으로써 상기 광신호를 근사시키는 함수를 생성하는 실세계 추정 수단과,

   상기 실세계 추정 수단에 의해 생성된 상기 함수로부터 제2 화상 데이터를 생성하는 화상 생성 수단과,

   상기 화상 생성 수단에 의해 생성된 상기 제2 화상 데이터에, 제시계(提示系)의 특성에 대응하는 보정을 적용하는 제시계 특성 보정 수단

   을 포함하는 것을 특징으로 하는 화상 처리 장치.
2. 제1항에 있어서,

   상기 화상 데이터 정상성 검출 수단은,

   상기 제1 화상 데이터 내의 복수개의 화소값의 불연속부를 검출하는 불연속부 검출 수단과,

   상기 불연속부로부터 상기 화소값의 변화의 정점(頂点)을 검출하는 정점 검출 수단과,

   상기 정점으로부터 상기 화소값이 단조 증가 또는 단도 감소하고 있는 단조 증감 영역을 검출하는 단조 증감 영역 검출 수단과,

   인접하는 위치에 상기 단조 증감 영역이 존재하는 상기 단조 증감 영역을 상기 화상 데이터의 정상성을 가지는 정상 영역으로서 검출하는 연속성 검출 수단

   을 포함하는 것을 특징으로 하는 화상 처리 장치.
3. 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실세계의 광신호가 투영됨으로써 취득된, 상기 현실세계의 광신호의 정상성의 일부가 결락되고, 감마 보정된 제1 화상 데이터에, 역감마 보정을 적용하여, 역감마 보정된 제1 화상 데이터를 출력하는 역감마 보정 스텝과,

   상기 역감마 보정 스텝에 있어서 출력된 상기 제1 화상 데이터 내에 있어서의, 상기 현실세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 스텝과,

   상기 화상 데이터 정상성 검출 스텝에 있어서 검출된 상기 화상 데이터의 정상성에 따라서, 상기 현실세계의 광신호의 정상성을 추정함으로써 상기 광신호를 근사시키는 함수를 생성하는 실세계 추정 스텝과,

   상기 실세계 추정 스텝에 있어서 생성된 상기 함수로부터 제2 화상 데이터를 생성하는 화상 생성 스텝과,

   상기 화상 생성 스텝에 있어서 생성된 상기 제2 화상 데이터에, 제시계의 특성에 대응하는 보정을 적용하는 제시계 특성 보정 스텝

   을 포함하는 것을 특징으로 하는 화상 처리 방법.
4. 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실세계의 광신호가 투영됨으로써 취득된, 상기 현실세계의 광신호의 정상성의 일부가 결락되고, 감마 보정된 제1 화상 데이터에, 역감마 보정을 적용하고, 역감마 보정된 제1 화상 데이터를 출력하는 역감마 보정 스텝과,

   상기 역감마 보정 스텝에 있어서 출력된 상기 제1 화상 데이터 내에 있어서의, 상기 현실세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 스텝과,

   상기 화상 데이터 정상성 검출 스텝에 있어서 검출된 상기 화상 데이터의 정상성에 따라서, 상기 현실세계의 광신호의 정상성을 추정함으로써 상기 광신호를 근사시키는 함수를 생성하는 실세계 추정 스텝과,

   상기 실세계 추정 스텝에 있어서 생성된 상기 함수로부터 제2 화상 데이터를 생성하는 화상 생성 스텝과,

   상기 화상 생성 스텝에 있어서 생성된 상기 제2 화상 데이터에, 제시계의 특성에 대응하는 보정을 적용하는 제시계 특성 보정 스텝

   을 포함하는 것을 특징으로 하는 컴퓨터가 판독 가능한 프로그램.