KR20050098925A - 신호 처리 장치 및 방법, 및 프로그램 - Google Patents

Abstract

본 발명은 데이터가 취득된 현실 세계를 고려하여, 현실 세계의 사상(事象)에 대하여, 보다 정확하고, 보다 정밀도 높은 처리 결과를 얻을 수 있도록 한다. 데이터 정상성(定常性) 검출부(101)는 제1 차원을 가지는 현실 세계의 화상이 투영되고, 현실 세계 화상의 정상성의 일부가 결락된 제1 차원보다 적은 제2 차원의 입력 화상의, 결락 된 현실 세계의 화상 정상성에 대응하는 데이터의 정상성을 검출한다. 실세계 추정부(102)는 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 따라, 결락된 현실 세계 화상의 정상성을 추정함으로써, 현실 세계의 화상을 추정한다. 본 발명은 입력 화상과 비교하여 보다 고해상도의 출력 화상을 출력하는 화상 처리 장치에 적용할 수 있다.

Description

신호 처리 장치 및 방법, 및 프로그램 {SIGNAL PROCESSING DEVICE, METHOD, AND PROGRAM}

본 발명은, 신호 처리 장치 및 방법, 및 프로그램에 관한 것이며, 특히, 데이터가 취득된 현실 세계를 고려하여 신호 처리 장치 및 방법, 및 프로그램에 관한 것이다.

실세계(현실 세계)에서의 사상(事象)을 센서로 검출하고, 센서가 출력하는 샘플링 데이터를 처리하는 기술이 널리 이용되고 있다. 예를 들면, 실세계를 이미지 센서로 촬상하고, 화상 데이터인 샘플링 데이터를 처리하는 화상 처리 기술이 널리 이용되고 있다.

또, 일본국 특개 2001-250119호 공보에서는, 제1 차원을 가지는 현실 세계의 신호인 제1 신호를 센서에 의해 검출함으로써 얻은, 제1 차원과 비교하여 차원이 적은 제2 차원을 가지고, 제1 신호에 대한 왜곡을 포함하는 제2 신호를 취득하고, 제2 신호에 따른 신호 처리를 행함으로써, 제2 신호에 비해 왜곡이 경감된 제3 신호를 생성하는 것이 개시되어 있다.

그러나, 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영됨으로써 취득되는, 현실 세계 신호의 정상성(定常性)의 일부가 결락된 제1 차원보다 적은 제2 차원의 제2 신호에는, 결락된 현실 세계 신호의 정상성에 대응하는 데이터의 정상성을 가지고 있는 것을 고려하여 제2 신호로부터 제1 신호를 추정하는 신호 처리는 지금까지 고려되고 있지 않았다.

도 1은 본 발명의 원리를 나타낸 도면이다.

도 2는 신호 처리 장치 구성의 예를 나타낸 블록도이다.

도 3은 신호 처리 장치를 나타낸 블록도이다.

도 4는 종래의 신호 처리 장치의 처리 원리를 설명한 도면이다.

도 5는 신호 처리 장치의 처리 원리를 설명한 도면이다.

도 6은 본 발명의 원리를 보다 구체적으로 설명한 도면이다.

도 7은 본 발명의 원리를 보다 구체적으로 설명한 도면이다.

도 8은 이미지 센서 상 화소의 배치예를 설명한 도면이다.

도 9는 CCD인 검출 소자의 동작을 설명한 도면이다.

도 10은 화소 D 내지 화소 F에 대응하는 검출 소자에 입사되는 광과, 화소값과의 관계를 설명한 도면이다.

도 11은 시간의 경과와, 1개의 화소에 대응하는 검출 소자에 입사되는 광과, 화소값과의 관계를 설명한 도면이다.

도 12는 실세계의 선형 물체의 화상예를 나타낸 도면이다.

도 13은 실제의 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다.

도 14는 화상 데이터의 모식도이다.

도 15는 배경과는 상이한 색으로서, 단색인 직선형 에지를 가지는 물체의 실세계(1) 화상예를 나타낸 도면이다.

도 16은 실제의 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다.

도 17은 화상 데이터의 모식도이다.

도 18은 본 발명의 원리를 설명한 도면이다.

도 19는 본 발명의 원리를 설명한 도면이다.

도 20은 고해상도 데이터의 생성의 예를 설명한 도면이다.

도 21은 모델에 의한 근사를 설명한 도면이다.

도 22는 M개의 데이터에 의한 모델의 추정을 설명한 도면이다.

도 23은 실세계의 신호와 데이터와의 관계를 설명한 도면이다.

도 24는 식을 세울 때 주목하는 데이터의 예를 나타낸 도면이다.

도 25는 식을 세우는 경우에 있어서의, 실세계에서의 2개의 물체에 대한 신호 및 혼합 영역에 속하는 값을 설명한 도면이다.

도 26은 식 (18), 식 (19), 및 식 (22)로 표시되는 정상성을 설명한 도면이다.

도 27은 데이터로부터 추출되는 M개의 데이터의 예를 나타낸 도면이다.

도 28은 데이터인 화소값이 취득된 영역을 설명한 도면이다.

도 29는 화소의 시공간 방향 위치의 근사를 설명한 도면이다.

도 30은 데이터에서의, 시간 방향 및 2차원 공간 방향의 실세계의 신호 적분을 설명한 도면이다.

도 31은 공간 방향에 의해 해상도가 높은 고해상도 데이터를 생성할 때의 적분의 영역을 설명한 도면이다.

도 32는 시간 방향에 의해 해상도가 높은 고해상도 데이터를 생성할 때의 적분의 영역을 설명한 도면이다.

도 33은 모션 블러링(blurring)을 제거하고 고해상도 데이터를 생성할 때의 적분의 영역을 설명한 도면이다.

도 34는 시간 공간 방향에 의해 해상도가 높은 고해상도 데이터를 생성할 때의 적분의 영역을 설명한 도면이다.

도 35는 입력 화상의 원래의 화상을 나타낸 도면이다.

도 36은 입력 화상의 예를 나타낸 도면이다.

도 37은 종래의 클래스 분류 적응 처리를 적용하여 얻어진 화상을 나타낸 도면이다.

도 38은 세선(細線)의 영역을 검출한 결과를 나타낸 도면이다.

도 39는 신호 처리 장치로부터 출력된 출력 화상예를 나타낸 도면이다.

도 40은 신호 처리 장치에 의한 신호 처리를 설명한 플로차트이다.

도 41은 데이터 정상성 검출부의 구성을 나타낸 블록도이다.

도 42는 배경의 앞에 세선이 있는 실세계의 화상을 나타낸 도면이다.

도 43은 평면에 의한 배경의 근사를 설명한 도면이다.

도 44는 세선의 화상이 투영된 화상 데이터의 단면 형상을 나타낸 도면이다.

도 45는 세선의 화상이 투영된 화상 데이터의 단면 형상을 나타낸 도면이다.

도 46은 세선의 화상이 투영된 화상 데이터의 단면 형상을 나타낸 도면이다.

도 47은 정점의 검출 및 단조(單調) 증감 영역의 검출 처리를 설명한 도면이다.

도 48은 정점의 화소값이 임계값을 넘고, 인접하는 화소의 화소값이 임계값 이하인 세선 영역을 검출하는 처리를 설명한 도면이다.

도 49는 도 48의 점선 AA'로 나타내는 방향으로 나란히 하는 화소의 화소값을 나타낸 도면이다.

도 50은 단조 증감 영역의 연속성 검출의 처리를 설명한 도면이다.

도 51은 평면에서의 근사에 의해 정상 성분을 추출한 화상의 예를 나타낸 도면이다.

도 52는 단조 감소하고 있는 영역을 검출한 결과를 나타낸 도면이다.

도 53은 연속성이 검출된 영역을 나타낸 도면이다.

도 54는 연속성이 검출된 영역의 화소값을 나타낸 도면이다.

도 55는 세선의 화상이 투영된 영역 검출의 다른 처리예를 나타낸 도면이다.

도 56은 정상성 검출의 처리를 설명한 플로차트이다.

도 57은 시간 방향 데이터의 정상성 검출 처리를 설명한 도면이다.

도 58은 비정상 성분 추출부의 구성을 나타낸 블록도이다.

도 59는 기각되는 회수를 설명한 도면이다.

도 60은 입력 화상의 예를 나타낸 도면이다.

도 61은 기각을 하지 않고 평면으로 근사시킨 결과 얻어지는 표준 오차를 화소값으로 한 화상을 나타낸 도면이다.

도 62는 기각을 하여 평면으로 근사시킨 결과 얻어지는 표준 오차를 화소값으로 한 화상을 나타낸 도면이다.

도 63은 기각된 회수를 화소값으로 한 화상을 나타낸 도면이다.

도 64는 평면의 공간 방향 X의 경사를 화소값으로 한 화상을 나타낸 도면이다.

도 65는 평면의 공간 방향 Y의 경사를 화소값으로 한 화상을 나타낸 도면이다.

도 66은 평면으로 나타나는 근사값으로 이루어지는 화상을 나타낸 도면이다.

도 67은 평면으로 나타나는 근사값과 화소값과의 차분으로 이루어지는 화상을 나타낸 도면이다.

도 68은 비정상 성분의 추출 처리를 설명한 플로차트이다.

도 69는 정상 성분의 추출 처리를 설명한 플로차트이다.

도 70은 정상 성분 추출의 다른 처리를 설명한 플로차트이다.

도 71은 정상 성분 추출의 또 다른 처리를 설명한 플로차트이다.

도 72는 데이터 정상성 검출부의 다른 구성을 나타낸 블록도이다.

도 73은 데이터의 정상성을 가지는 입력 화상에서의 액티비티를 설명한 도면이다.

도 74는 액티비티를 검출하기 위한 블록을 설명한 도면이다.

도 75는 액티비티에 대한 데이터의 정상성 각도를 설명한 도면이다.

도 76은 데이터 정상성 검출부의 보다 상세한 구성을 나타낸 블록도이다.

도 77은 화소의 조(組)를 설명한 도면이다.

도 78은 화소의 조 위치와 데이터의 정상성 각도와의 관계를 설명한 도면이다.

도 79는 데이터의 정상성 검출 처리를 설명한 플로차트이다.

도 80은 시간 방향 및 공간 방향 데이터의 정상성 각도를 검출할 때, 추출되는 화소의 조를 나타낸 도면이다.

도 81은 데이터 정상성 검출부의 보다 상세한 다른 구성을 나타낸 블록도이다.

도 82는 설정된 직선의 각도 범위에 따른 수의 화소로 이루어지는 화소의 조를 설명한 도면이다.

도 83은 설정된 직선의 각도 범위를 설명한 도면이다.

도 84는 설정된 직선의 각도 범위와, 화소의 조의 수, 및 화소의 조마다의 화소수를 설명한 도면이다.

도 85는 화소의 조의 수 및 화소의 조마다의 화소수를 설명한 도면이다.

도 86은 화소의 조의 수 및 화소의 조마다의 화소수를 설명한 도면이다.

도 87은 화소의 조의 수 및 화소의 조마다의 화소수를 설명한 도면이다.

도 88은 화소의 조의 수 및 화소의 조마다의 화소수를 설명한 도면이다.

도 89는 화소의 조의 수 및 화소의 조마다의 화소수를 설명한 도면이다.

도 90은 화소의 조의 수 및 화소의 조마다의 화소수를 설명한 도면이다.

도 91은 화소의 조의 수 및 화소의 조마다의 화소수를 설명한 도면이다.

도 92는 화소의 조의 수 및 화소의 조마다의 화소수를 설명한 도면이다.

도 93은 데이터의 정상성 검출 처리를 설명한 플로차트이다.

도 94는 데이터 정상성 검출부의 또 다른 구성을 나타낸 블록도이다.

도 95는 데이터 정상성 검출부의 보다 상세한 구성을 나타낸 블록도이다.

도 96은 블록의 예를 설명한 도면이다.

도 97은 주목 블록과 참조 블록과의 화소값 차분의 절대값 산출 처리를 설명한 도면이다.

도 98은 주목 화소의 주변 화소의 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리를 설명한 도면이다.

도 99는 시프트량 γ와 각도 θ와의 관계를 나타낸 도면이다.

도 100은 시프트량 γ에 대한 주목 화소의 주변 화소 위치와, 주목 화소를 통과하여 각도 θ를 가지는 직선과의 공간 방향 X의 거리를 나타낸 도면이다.

도 101은 주목 화소를 통과하고, 공간 방향 X의 축에 대하여 각도 θ의 직선과의 거리가 최소인 참조 블록을 나타낸 도면이다.

도 102는 검출하는 데이터의 정상성 각도의 범위를 1/2로 하는 처리를 설명한 도면이다.

도 103은 데이터의 정상성 검출 처리를 설명한 플로차트이다.

도 104는 간격 방향 및 공간 방향 데이터의 정상성 각도를 검출할 때, 추출되는 블록을 나타낸 도면이다.

도 105는 입력 화상의 컴퍼넌트 신호를 기초로 데이터의 정상성 검출 처리를 실행하는 데이터 정상성 검출부의 구성을 나타낸 블록도이다.

도 106은 입력 화상의 컴퍼넌트 신호를 기초로 데이터의 정상성 검출 처리를 실행하는 데이터 정상성 검출부의 구성을 나타낸 블록도이다.

도 107은 데이터 정상성 검출부의 또 다른 구성을 나타낸 블록도이다.

도 108은 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도를 설명한 도면이다.

도 109는 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도를 설명한 도면이다.

도 110은 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도를 설명한 도면이다.

도 111은 입력 화상에서의, 화소의 공간 방향 위치에 대한 화소값의 변화와, 회귀 직선과의 관계를 나타낸 도면이다.

도 112는 회귀 직선 A와, 예를 들면, 기준축인 공간 방향 X를 나타내는 축과의 각도를 설명한 도면이다.

도 113은 영역의 예를 나타낸 도면이다.

도 114는 도 107에서 구성이 나타난 데이터 정상성 검출부에 의한, 데이터의 정상성 검출 처리를 설명한 플로차트이다.

도 115는 데이터 정상성 검출부의 또 다른 구성을 나타낸 블록도이다.

도 116은 입력 화상에서의, 화소의 공간 방향 위치에 대한 화소값의 변화와, 회귀 직선과의 관계를 나타낸 도면이다.

도 117은 표준 편차와 데이터의 정상성을 가지는 영역과의 관계를 설명한 도면이다.

도 118은 영역의 예를 나타낸 도면이다.

도 119는 도 115에서 구성이 나타난 데이터 정상성 검출부에 의한, 데이터의 정상성 검출 처리를 설명한 플로차트이다.

도 120은 도 115에서 구성이 나타난 데이터 정상성 검출부에 의한, 데이터의 정상성 검출의 다른 처리를 설명한 플로차트이다.

도 121은 본 발명을 적용한 세선, 또는 2치 에지의 각도를 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 구성을 나타낸 블록도이다.

도 122는 데이터 정상성 정보의 검출 방법을 설명한 도면이다.

도 123은 데이터 정상성 정보의 검출 방법을 설명한 도면이다.

도 124는 도 121의 데이터 정상성 검출부의 보다 상세한 구성을 나타낸 도면이다.

도 125는 수평·수직 판정 처리를 설명한 도면이다.

도 126은 수평·수직 판정 처리를 설명한 도면이다.

도 127 (A)는 현실 세계의 세선과 센서에 의해 촬상되는 세선의 관계를 설명한 도면이다.

도 127 (B)는 현실 세계의 세선과 센서에 의해 촬상되는 세선의 관계를 설명한 도면이다.

도 127 (C)는 현실 세계의 세선과 센서에 의해 촬상되는 세선의 관계를 설명한 도면이다.

도 128 (A)는 현실 세계 화상의 세선과 배경의 관계를 설명한 도면이다.

도 128 (B)는 현실 세계 화상의 세선과 배경의 관계를 설명한 도면이다.

도 129 (A)는 센서에 의해 촬상된 화상의 세선과 배경의 관계를 설명한 도면이다.

도 129 (B)는 센서에 의해 촬상된 화상의 세선과 배경의 관계를 설명한 도면이다.

도 130 (A)는 센서에 의해 촬상된 화상의 세선과 배경의 관계의 예를 설명한 도면이다.

도 130 (B)는 센서에 의해 촬상된 화상의 세선과 배경의 관계의 예를 설명한 도면이다.

도 131 (A)는 현실 세계 화상의 세선과 배경의 관계를 설명한 도면이다.

도 131 (B)는 현실 세계 화상의 세선과 배경의 관계를 설명한 도면이다.

도 132 (A)는 센서에 의해 촬상된 화상의 세선과 배경의 관계를 설명한 도면이다.

도 132 (B)는 센서에 의해 촬상된 화상의 세선과 배경의 관계를 설명한 도면이다.

도 133 (A)는 센서에 의해 촬상된 화상의 세선과 배경의 관계의 예를 설명한 도면이다.

도 133 (B)는 센서에 의해 촬상된 화상의 세선과 배경의 관계의 예를 설명한 도면이다.

도 134는 세선의 각도를 구하기 위한 모델을 나타낸 도면이다.

도 135는 세선의 각도를 구하기 위한 모델을 나타낸 도면이다.

도 136 (A)는 주목 화소에 대응하는 다이나믹 레인지 블록 화소값의 최대값과 최소값을 설명한 도면이다.

도 136 (B)는 주목 화소에 대응하는 다이나믹 레인지 블록 화소값의 최대값과 최소값을 설명한 도면이다.

도 137 (A)는 세선의 각도를 구하는 방법을 설명한 도면이다.

도 137 (B)는 세선의 각도를 구하는 방법을 설명한 도면이다.

도 137 (C)는 세선의 각도를 구하는 방법을 설명한 도면이다.

도 138은 세선의 각도를 구하는 방법을 설명한 도면이다.

도 139는 추출 블록과 다이나믹 레인지 블록을 설명한 도면이다.

도 140은 최소 제곱법의 해법을 설명한 도면이다.

도 141은 최소 제곱법의 해법을 설명한 도면이다.

도 142 (A)는 2치 에지를 설명한 도면이다.

도 142 (B)는 2치 에지를 설명한 도면이다.

도 142 (C)는 2치 에지를 설명한 도면이다.

도 143 (A)는 센서에 의해 촬상된 화상의 2치 에지를 설명한 도면이다.

도 143 (B)는 센서에 의해 촬상된 화상의 2치 에지를 설명한 도면이다.

도 144 (A)는 센서에 의해 촬상된 화상의 2치 에지의 예를 설명한 도면이다.

도 144 (B)는 센서에 의해 촬상된 화상의 2치 에지의 예를 설명한 도면이다.

도 145 (A)는 센서에 의해 촬상된 화상의 2치 에지를 설명한 도면이다.

도 145 (B)는 센서에 의해 촬상된 화상의 2치 에지를 설명한 도면이다.

도 146은 2치 에지의 각도를 구하기 위한 모델을 나타낸 도면이다.

도 147 (A)는 2치 에지의 각도를 구하는 방법을 설명한 도면이다.

도 147 (B)는 2치 에지의 각도를 구하는 방법을 설명한 도면이다.

도 147 (C)는 2치 에지의 각도를 구하는 방법을 설명한 도면이다.

도 148은 2치 에지의 각도를 구하는 방법을 설명한 도면이다.

도 149는 세선, 또는 2치 에지의 각도를 데이터 정상성과 검출하는 처리를 설명한 플로차트이다.

도 150은 데이터 추출 처리를 설명한 플로차트이다.

도 151은 정규 방정식으로의 가산 대입 처리를 설명한 플로차트이다.

도 152 (A)는 본 발명을 적용하여 구한 세선의 경사와, 상관을 사용하여 구한 세선의 각도를 비교한 도면이다.

도 152 (B)는 본 발명을 적용하여 구한 세선의 경사와, 상관을 사용하여 구한 세선의 각도를 비교한 도면이다.

도 153 (A)는 본 발명을 적용하여 구한 2치 에지의 경사와 상관을 사용하여 구한 세선의 각도를 비교한 도면이다.

도 153 (B)는 본 발명을 적용하여 구한 2치 에지의 경사와 상관을 사용하여 구한 세선의 각도를 비교한 도면이다.

도 154는 본 발명을 적용한 혼합비를 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 구성을 나타낸 블록도이다.

도 155 (A)는 혼합비를 구하는 방법을 설명한 도면이다.

도 155 (B)는 혼합비를 구하는 방법을 설명한 도면이다.

도 155 (C)는 혼합비를 구하는 방법을 설명한 도면이다.

도 156은 혼합비를 데이터 정상성과 검출하는 처리를 설명한 플로차트이다.

도 157은 정규 방정식으로의 가산 대입 처리를 설명한 플로차트이다.

도 158 (A)는 세선의 혼합비 분포예를 나타낸 도면이다.

도 158 (B)는 세선의 혼합비 분포예를 나타낸 도면이다.

도 159 (A)는 2치 에지의 혼합비 분포예를 나타낸 도면이다.

도 159 (B)는 2치 에지의 혼합비 분포예를 나타낸 도면이다.

도 160은 혼합비의 직선 근사를 설명한 도면이다.

도 161 (A)는 물체의 모션을 데이터 정상성 정보로서 구하는 방법을 설명한 도면이다.

도 161 (B)는 물체의 모션을 데이터 정상성 정보로서 구하는 방법을 설명한 도면이다.

도 162 (A)는 물체의 모션을 데이터 정상성 정보로서 구하는 방법을 설명한 도면이다.

도 162 (B)는 물체의 모션을 데이터 정상성 정보로서 구하는 방법을 설명한 도면이다.

도 163 (A)는 물체의 모션에 의한 혼합비를 데이터 정상성 정보로서 구하는 방법을 설명한 도면이다.

도 163 (B)는 물체의 모션에 의한 혼합비를 데이터 정상성 정보로서 구하는 방법을 설명한 도면이다.

도 163 (C)는 물체의 모션에 의한 혼합비를 데이터 정상성 정보로서 구하는 방법을 설명한 도면이다.

도 164는 물체의 모션에 의한 혼합비를 데이터 정상성 정보로서 구할 때의 혼합비의 직선 근사를 설명한 도면이다.

도 165는 본 발명을 적용한 처리 영역을 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 구성을 나타낸 블록도이다.

도 166은 도 165의 데이터 정상성 검출부에 의한 정상성 검출의 처리를 설명한 플로차트이다.

도 167은 도 165의 데이터 정상성 검출부에 의한 정상성 검출 처리의 적분 범위를 설명한 도면이다.

도 168은 도 165의 데이터 정상성 검출부에 의한 정상성 검출 처리의 적분 범위를 설명한 도면이다.

도 169는 본 발명을 적용한 처리 영역을 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 그 밖의 구성을 나타낸 블록도이다.

도 170은 도 169의 데이터 정상성 검출부에 의한 정상성 검출의 처리를 설명한 플로차트이다.

도 171은 도 169의 데이터 정상성 검출부에 의한 정상성 검출 처리의 적분 범위를 설명한 도면이다.

도 172는 도 169의 데이터 정상성 검출부에 의한 정상성 검출 처리의 적분 범위를 설명한 도면이다.

도 173은 실세계 추정부(102)의 구성을 나타낸 블록도이다.

도 174는 실세계의 신호에 있어서의 세선의 폭을 검출하는 처리를 설명한 도면이다.

도 175는 실세계의 신호에 있어서의 세선의 폭을 검출하는 처리를 설명한 도면이다.

도 176은 실세계의 신호에 있어서의 세선의 신호 레벨을 추정하는 처리를 설명한 도면이다.

도 177은 실세계의 추정 처리를 설명한 플로차트이다.

도 178은 실세계 추정부의 다른 구성을 나타낸 블록도이다.

도 179는 경계 검출부의 구성을 나타낸 블록도이다.

도 180은 분배비의 산출 처리를 설명한 도면이다.

도 181은 분배비의 산출 처리를 설명한 도면이다.

도 182는 분배비의 산출 처리를 설명한 도면이다.

도 183은 단조 증감 영역의 경계를 나타내는 회귀 직선의 산출 처리를 설명한 도면이다.

도 184는 단조 증감 영역의 경계를 나타내는 회귀 직선의 산출 처리를 설명한 도면이다.

도 185는 실세계의 추정 처리를 설명한 플로차트이다.

도 186은 경계 검출의 처리를 설명한 플로차트이다.

도 187은 공간 방향의 미분값을 실세계 추정 정보로서 추정하는 실세계 추정부의 구성을 나타낸 블록도이다.

도 188은 도 187의 실세계 추정부에 의한 실세계 추정의 처리를 설명한 플로차트이다.

도 189는 참조 화소를 설명한 도면이다.

도 190은 공간 방향의 미분값을 구하는 위치를 설명한 도면이다.

도 191은 공간 방향의 미분값과 시프트량의 관계를 설명한 도면이다.

도 192는 공간 방향의 경사를 실세계 추정 정보로서 추정하는 실세계 추정부의 구성을 나타낸 블록도이다.

도 193은 도 192의 실세계 추정부에 의한 실세계 추정의 처리를 설명한 플로차트이다.

도 194는 공간 방향의 경사를 구하는 처리를 설명한 도면이다.

도 195는 공간 방향의 경사를 구하는 처리를 설명한 도면이다.

도 196은 프레임 방향의 미분값을 실세계 추정 정보로서 추정하는 실세계 추정부의 구성을 나타낸 블록도이다.

도 197은 도 196의 실세계 추정부에 의한 실세계 추정의 처리를 설명한 플로차트이다.

도 198은 참조 화소를 설명한 도면이다.

도 199는 프레임 방향의 미분값을 구하는 위치를 설명한 도면이다.

도 200은 프레임 방향의 미분값과 시프트량의 관계를 설명한 도면이다.

도 201은 프레임 방향의 경사를 실세계 추정 정보로서 추정하는 실세계 추정부의 구성을 나타낸 블록도이다.

도 202는 도 201의 실세계 추정부에 의한 실세계 추정의 처리를 설명한 플로차트이다.

도 203은 프레임 방향의 경사를 구하는 처리를 설명한 도면이다.

도 204는 프레임 방향의 경사를 구하는 처리를 설명한 도면이다.

도 205는 도 3의 실세계 추정부의 실시예의 일례인, 함수 근사 방법의 원리를 설명한 도면이다.

도 206은 센서가 CCD로 되는 경우의 적분 효과를 설명한 도면이다.

도 207은 도 206의 센서의 적분 효과의 구체적인 예를 설명한 도면이다.

도 208은 도 206의 센서의 적분 효과의 구체적인 다른 예를 설명한 도면이다.

도 209는 도 207에서 나타나는 세선 함유 실세계 영역을 나타낸 도면이다.

도 210은 도 3의 실세계 추정부의 실시예의 일례의 원리를 도 205의 예와 대비시켜 설명한 도면이다.

도 211은 도 207에서 나타나는 세선 함유 데이터 영역을 나타낸 도면이다.

도 212는 도 2방향으로 5 화소 세선 함유 데이터 영역에 포함되는 각 화소값의 각각을 그래프화한 도면이다.

도 213은 도 212의 세선 함유 데이터 영역에 포함되는 각 화소값을 근사시킨 근사 함수를 그래프화한 도면이다.

도 214는 도 207에서 나타나는 세선 함유 실세계 영역이 가지는 공간 방향의 정상성을 설명한 도면이다.

도 215는 도 211의 세선 함유 데이터 영역에 포함되는 각 화소값의 각각을 그래프화한 도면이다.

도 216은 도 215에서 나타나는 입력 화소값의 각각을 소정 시프트량만큼 시프트시킨 상태를 설명한 도면이다.

도 217은 공간 방향의 정상성을 고려하여, 도 212의 세선 함유 데이터 영역에 포함되는 각 화소값을 근사시킨 근사 함수를 그래프화한 도면이다.

도 218은 공간 혼합 영역을 설명한 도면이다.

도 219는 공간 혼합 영역에서의 실세계의 신호를 근사시킨 근사 함수를 설명한 도면이다.

도 220은 센서의 적분 특성과 공간 방향의 정상성의 양쪽을 고려하여, 도 212의 세선 함유 데이터 영역에 대응하는 실세계의 신호를 근사시킨 근사 함수를 그래프화한 도면이다.

도 221은 도 205에서 나타나는 원리를 가지는 함수 근사 방법 중, 1차 다항식 근사 방법을 이용하는 실세계 추정부의 구성예를 설명한 블록도이다.

도 222는 도 221 구성의 실세계 추정부가 실행하는 실세계의 추정 처리를 설명한 플로차트이다.

도 223은 탭 범위를 설명한 도면이다.

도 224는 공간 방향의 정상성을 가지는 실세계의 신호를 설명한 도면이다.

도 225는 센서가 CCD로 되는 경우의 적분 효과를 설명한 도면이다.

도 226은 단면(斷面) 방향 거리를 설명한 도면이다.

도 227은 도 205에서 나타나는 원리를 가지는 함수 근사 방법 중, 2차 다항식 근사 방법을 이용하는 실세계 추정부의 구성예를 설명한 블록도이다.

도 228은 도 227 구성의 실세계 추정부가 실행하는 실세계의 추정 처리를 설명한 플로차트이다.

도 229는 탭 범위를 설명한 도면이다.

도 230은 시공간 방향 정상성 방향을 설명한 도면이다.

도 231은 센서가 CCD로 되는 경우의 적분 효과를 설명한 도면이다.

도 232는 공간 방향의 정상성을 가지는 실세계의 신호를 설명한 도면이다.

도 233은 시공간 방향의 정상성을 가지는 실세계의 신호를 설명한 도면이다.

도 234는 도 205에서 나타나는 원리를 가지는 함수 근사 방법 중, 3차원 함수 근사 방법을 이용하는 실세계 추정부의 구성예를 설명한 블록도이다.

도 235는 도 234 구성의 실세계 추정부가 실행하는 실세계의 추정 처리를 설명한 플로차트이다.

도 236은 도 3의 화상 생성부의 실시예의 일례인, 재적분(再積分) 방법의 원리를 설명한 도면이다.

도 237은 입력 화소와, 그 입력 화소에 대응하는 실세계의 신호를 근사시키는 근사 함수의 예를 설명한 도면이다.

도 238은 도 237에서 나타나는 근사 함수로부터 도 237에서 나타나는 1개의 입력 화소에서의, 고해상도의 4개의 화소를 창조하는 예를 설명한 도면이다.

도 239는 도 236에서 나타나는 원리를 가지는 재적분 방법 중, 1차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명한 블록도이다.

도 240은 도 239 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명한 플로차트이다.

도 241은 입력 화상의 원래의 화상예를 나타낸 도면이다.

도 242는 도 241의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 243은 입력 화상의 예를 나타낸 도면이다.

도 244는 도 243의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 245는 입력 화상에 대하여 종래의 클래스 분류 적응 처리를 실행하여 얻어지는 화상예를 나타낸 도면이다.

도 246은 도 245의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 247은 입력 화상에 대하여 본 발명의 1차원 재적분 방법의 처리를 실행하여 얻어지는 화상예를 나타낸 도면이다.

도 248은 도 247의 화상에 대응하는 화상 데이터의 예를 나타낸 도면이다.

도 249는 공간 방향의 정상성을 가지는 실세계의 신호를 설명한 도면이다.

도 250은 도 236에서 나타나는 원리를 가지는 재적분 방법 중, 2차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명한 블록도이다.

도 251은 단면 방향 거리를 설명한 도면이다.

도 252는 도 250 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명한 플로차트이다.

도 253은 입력 화소의 일례를 설명한 도면이다.

도 254는 2차원 재적분 방법에 의해 도 253에서 나타나는 1개의 입력 화소에서의, 고해상도의 4개의 화소를 창조하는 예를 설명한 도면이다.

도 255는 시공간 방향 정상성 방향을 설명한 도면이다.

도 256은 도 236에서 나타나는 원리를 가지는 재적분 방법 중, 3차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명한 블록도이다.

도 257은 도 256 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명한 플로차트이다.

도 258은 본 발명을 적용한 화상 생성부의 그 밖의 구성을 나타낸 블록도이다.

도 259는 도 258의 화상 생성부에 의한 화상의 생성 처리를 설명한 플로차트이다.

도 260은 입력 화소로부터 4배 밀도의 화소를 생성하는 처리를 설명한 도면이다.

도 261은 화소값을 나타내는 근사 함수와 시프트량과의 관계를 나타낸 도면이다.

도 262는 본 발명을 적용한 화상 생성부의 그 밖의 구성을 나타낸 블록도이다.

도 263은 도 262의 화상 생성부에 의한 화상의 생성 처리를 설명한 플로차트이다.

도 264는 입력 화소로부터 4배 밀도의 화소를 생성하는 처리를 설명한 도면이다.

도 265는 화소값을 나타내는 근사 함수와 시프트량과의 관계를 나타낸 도면이다.

도 266은 도 3의 화상 생성부의 실시예의 일례인, 클래스 분류 적응 처리 보정 방법의 1차원 재적분 방법을 이용하는 화상 생성부의 구성예를 설명한 블록도이다.

도 267은 도 266의 화상 생성부의 클래스 분류 적응 처리부의 구성예를 설명한 블록도이다.

도 268은 도 266의 클래스 분류 적응 처리부와, 클래스 분류 적응 처리 보정부가 사용하는 계수를 학습에 의해 결정하는 학습 장치의 구성예를 나타낸 블록도이다.

도 269는 도 268의 클래스 분류 적응 처리용 학습부의 상세한 구성예를 설명한 블록도이다.

도 270은 도 267의 클래스 분류 적응 처리부의 처리 결과의 예를 나타낸 도면이다.

도 271은 도 270의 예측 화상과 HD 화상의 차분 화상을 나타낸 도면이다.

도 272는 도 271에서 나타나는 영역에 포함되는 X 방향으로 연속된 6개의 HD 화소 중, 도면 중 좌측으로부터 4개의 HD 화소에 대응하는, 도 270의 HD 화상의 구체적인 화소값, SD 화상의 구체적인 화소값, 및 실제의 파형(실세계의 신호)의 각각을 플롯한 것을 나타낸 도면이다.

도 273은 도 270의 예측 화상과 HD 화상의 차분 화상을 나타낸 도면이다.

도 274는 도 273에서 나타나는 영역에 포함되는 X 방향으로 연속된 6개의 HD 화소 중, 도면 중 좌측으로부터 4개의 HD 화소에 대응하는, 도 270의 HD 화상의 구체적인 화소값, SD 화상의 구체적인 화소값, 및 실제의 파형(실세계의 신호)의 각각을 플롯한 것을 나타낸 도면이다.

도 275는 도 272 내지 도 274에 나타나는 내용에 따라 얻어진 식견을 설명한 도면이다.

도 276은 도 266의 화상 생성부의 클래스 분류 적응 처리 보정부의 구성예를 설명한 블록도이다.

도 277은 도 268의 클래스 분류 적응 처리 보정용 학습부의 상세한 구성예를 설명한 블록도이다.

도 278은 화소 내 경사를 설명한 도면이다.

도 279는 도 270의 SD 화상과, 그 SD 화상의 각 화소의 화소 내 경사를 화소값으로 하는 특징량 화상을 나타낸 도면이다.

도 280은 화소 내 경사의 산출 방법을 설명한 도면이다.

도 281은 화소 내 경사의 산출 방법을 설명한 도면이다.

도 282는 도 266 구성의 화상 생성부가 실행하는 화상의 생성 처리를 설명한 플로차트이다.

도 283은 도 282의 화상 생성 처리의 입력 화상 클래스 분류 적응 처리의 상세를 설명한 플로차트이다.

도 284는 도 282의 화상 생성 처리의 클래스 분류 적응 처리의 보정 처리의 상세를 설명한 플로차트이다.

도 285는 클래스 탭의 배치예를 설명한 도면이다.

도 286은 클래스 분류의 일례를 설명한 도면이다.

도 287은 예측 탭 배치예를 설명한 도면이다.

도 288은 도 268의 학습 장치의 학습 처리를 설명한 플로차트이다.

도 289는 도 288의 학습 처리의 클래스 분류 적응 처리용 학습 처리의 상세를 설명한 플로차트이다.

도 290은 도 288의 학습 처리의 클래스 분류 적응 처리 보정용 학습 처리의 상세를 설명한 플로차트이다.

도 291은 도 270의 예측 화상과, 그 예측 화상에 보정 화상을 가산한 화상(도 266의 화상 생성부에 의해 생성되는 화상)을 나타낸 도면이다.

도 292는 도 1의 신호 처리 장치 실시예의 다른 예인, 병용 방법을 이용하는 신호 처리 장치의 제1 구성예를 설명한 블록도이다.

도 293은 도 292의 신호 처리 장치의, 클래스 분류 적응 처리를 실행하는 화상 생성부의 구성예를 설명한 블록도이다.

도 294는 도 293의 화상 생성부에 대한 학습 장치의 구성예를 설명한 블록도이다.

도 295는 도 292 구성의 신호 처리 장치가 실행하는 신호 처리를 설명한 플로차트이다.

도 296은 도 295의 신호 처리의 클래스 분류 적응 처리의 실행 처리의 상세를 설명한 플로차트이다.

도 297은 도 294의 학습 장치의 학습 처리를 설명한 플로차트이다.

도 298은 도 1의 신호 처리 장치 실시예의 다른 예인, 병용 방법을 이용하는 신호 처리 장치의 제2 구성예를 설명한 블록도이다.

도 299는 도 296 구성의 신호 처리 장치가 실행하는 신호 처리를 설명한 플로차트이다.

도 300은 도 1의 신호 처리 장치 실시예의 다른 예인, 병용 방법을 이용하는 신호 처리 장치의 제3 구성예를 설명한 블록도이다.

도 301은 도 298 구성의 신호 처리 장치가 실행하는 신호 처리를 설명한 플로차트이다.

도 302는 도 1의 신호 처리 장치 실시예의 다른 예인, 병용 방법을 이용하는 신호 처리 장치의 제4 구성예를 설명한 블록도이다.

도 303은 도 300 구성의 신호 처리 장치가 실행하는 신호 처리를 설명한 플로차트이다.

도 304는 도 1의 신호 처리 장치 실시예의 다른 예인, 병용 방법을 이용하는 신호 처리 장치의 제5 구성예를 설명한 블록도이다.

도 305는 도 302 구성의 신호 처리 장치가 실행하는 신호 처리를 설명한 플로차트이다.

도 306은 데이터 정상성 검출부의 다른 실시예의 구성을 나타낸 블록도이다.

도 307은 도 306의 데이터 정상성 검출부에 의한 데이터의 정상성 검출 처리를 설명한 플로차트이다.

본 발명은 이와 같은 상황을 감안하여 이루어진 것이며, 데이터가 취득된 현실 세계를 고려하여, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있도록 하는 것을 목적으로 한다.

본 발명의 신호 처리 장치는 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계 신호의 정상성의 일부가 결락된 제1 차원보다 적은 제2 차원의 제2 신호의, 결락된 현실 세계 신호의 정상성에 대응하는 데이터의 정상성을 검출하는 데이터 정상성 검출 수단과, 데이터 정상성 검출 수단에 의해 검출된 데이터의 정상성에 따라, 결락된 현실 세계 신호의 정상성을 추정함으로써 제1 신호를 추정하는 실세계 추정 수단을 포함하는 것을 특징으로 한다.

데이터 정상성 검출 수단은 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 제1 신호인 현실 세계의 광 신호가 투영됨으로써 취득된, 제2 신호인 현실 세계 광 신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터에서의 데이터 정상성을 검출하고, 실세계 추정 수단은 데이터 정상성 검출 수단에 의해 검출된 데이터의 정상성에 따라, 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수를 생성하도록 할 수 있다.

실세계 추정 수단은 데이터 정상성 검출 수단에 의해 검출된 데이터의 정상성에 따라, 화상 데이터의 시공간 방향 중 적어도 1차원 방향의 위치에 대응하는 화소의 화소값이 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여 화상 데이터를 근사시킴으로써, 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수를 생성하도록 할 수 있다.

실세계 추정 수단은 데이터 정상성 검출 수단에 의해 검출된 데이터의 정상성에 대응하여, 화상 데이터의 시공간 방향 중 1차원 방향의 위치에 대응하는 화소의 화소값이 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여 화상 데이터를 근사시킴으로써, 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수를 생성하도록 할 수 있다.

실세계 추정 수단은 정상성 검출 수단에 의해 검출된 데이터의 정상성에 대응하는 기준점으로부터 적어도 1차원 방향에 따른 소정 거리에 대응하는 각 화소의 화소값이 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여 화상 데이터를 근사시킴으로써, 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수를 생성하도록 할 수 있다.

신호 처리 장치는 실세계 추정 수단에 의해 생성된 제2 함수를 적어도 1차원 방향의 원하는 단위로 적분함으로써 원하는 크기의 화소에 대응하는 화소값을 생성하는 화소값 생성 수단을 추가로 설치할 수 있다.

화소값 생성 수단은 제2 함수를 적어도 1차원 방향의 각 화소에 대응하는 단위로 적분함으로써 화소값을 생성하고, 신호 처리 장치는 화소값 생성 수단에 의해 생성된 화소값과 화상 데이터를 구성하는 복수개 화소의 화소값과의 차분값을 검출하고, 차분값에 따라 제2 함수를 선택적으로 출력하는 출력 수단을 추가로 설치할 수 있다.

실세계 추정 수단은 데이터 정상성 검출 수단에 의해 검출된 데이터의 정상성에 대응하여, 화상 데이터의 시공간 방향 중 적어도 2차원 방향의 위치에 대응하는 화소의 화소값이 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여 화상 데이터를 다항식으로 근사시킴으로써, 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수를 생성하도록 할 수 있다.

실세계 추정 수단은 정상성 검출 수단에 의해 검출된 데이터의 정상성에 대응하는 기준점으로부터 적어도 2차원 방향에 따른 소정 거리에 대응하는 화소의 화소값이 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여 화상 데이터를 다항식으로 근사시킴으로써, 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수를 생성하도록 할 수 있다.

신호 처리 장치는 실세계 추정 수단에 의해 생성된 제2 함수를 적어도 2차원 방향의 원하는 단위로 적분함으로써 원하는 크기의 화소에 대응하는 화소값을 생성하는 화소값 생성 수단을 추가로 설치할 수 있다.

본 발명의 신호 처리 방법은 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계 신호의 정상성의 일부가 결락된 제1 차원보다 적은 제2 차원의 제2 신호의, 결락된 현실 세계 신호의 정상성에 대응하는 데이터의 정상성을 검출하는 데이터 정상성 검출 스텝과, 데이터 정상성 검출 스텝에서 검출된 데이터의 정상성에 따라, 결락된 현실 세계 신호의 정상성을 추정함으로써 제1 신호를 추정하는 실세계 추정 스텝을 포함하는 것을 특징으로 한다.

본 발명의 프로그램은, 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계 신호의 정상성의 일부가 결락된 제1 차원보다 적은 제2 차원의 제2 신호의, 결락된 현실 세계 신호의 정상성에 대응하는 데이터의 정상성을 검출하는 데이터 정상성 검출 스텝과, 데이터 정상성 검출 스텝에서 검출된 데이터의 정상성에 따라, 결락된 현실 세계 신호의 정상성을 추정함으로써 제1 신호를 추정하는 실세계 추정 스텝을 컴퓨터에 실행시키는 것을 특징으로 한다.

도 1은 본 발명의 원리를 나타내고 있다. 동 도면에서 나타낸 바와 같이, 공간, 시간, 및 질량 등의 차원을 가지는 실세계(1)의 사상(事象)(현상)은 센서(2)에 의해 취득되어 데이터화된다. 실세계(1)의 사상이란, 광(화상), 음성, 압력, 온도, 질량, 농도, 밝기/어두움, 또는 냄새 등을 말한다. 실세계(1)의 사상은 시공간 방향으로 분포되어 있다. 예를 들면, 실세계(1) 화상은 실세계(1)의 광 강도의 시공간 방향의 분포이다.

센서(2)에 주목하면, 공간, 시간, 및 질량의 차원을 가지는 실세계(1)의 사상 중, 센서(2)가 취득 가능한 실세계(1)의 사상이 센서(2)에 의해 데이터(3)로 변환된다. 센서(2)에 의해 실세계(1)의 사상을 나타내는 정보가 취득된다고도 말할 수 있다.

즉, 센서(2)는 실세계(1)의 사상을 나타내는 정보를 데이터(3)로 변환한다. 공간, 시간, 및 질량 등의 차원을 가지는 실세계(1)의 사상(현상)을 나타내는 정보인 신호가 센서(2)에 의해 취득되어 데이터화된다고도 말할 수 있다.

이하, 실세계(1)에서의, 화상, 음성, 압력, 온도, 질량, 농도, 밝기/어두움, 또는 냄새 등 사상의 분포를 실세계(1)의 사상을 나타내는 정보인 신호라고도 칭한다. 또, 실세계(1)의 사상을 나타내는 정보인 신호를 단지, 실세계(1)의 신호라고도 칭한다. 본 명세서에서, 신호는 현상 및 사상을 포함하며, 송신측에 의사가 없는 것도 포함하는 것으로 한다.

센서(2)로부터 출력되는 데이터(3)(검출 신호)는 실세계(1)의 사상을 나타내는 정보를 실세계(1)와 비교하여 보다 낮은 차원의 시공간에 투영하여 얻어진 정보이다. 예를 들면, 동화상의 화상 데이터인 데이터(3)는 실세계(1)의 3차원 공간 방향 및 시간 방향의 화상이 2차원 공간 방향, 및 시간 방향으로 이루어지는 시공간에 투영되어 얻어진 정보이다. 또, 예를 들면, 데이터(3)가 디지털 데이터일 때, 데이터(3)는 샘플링의 단위에 따라 사사 오입되어 있다. 데이터(3)가 아날로그 데이터일 때, 데이터(3)에서, 다이나믹 레인지에 따라 정보가 압축되어 있거나, 또는 리미터 등에 의해 정보의 일부가 삭제되어 있다.

이와 같이, 소정 차원을 가지는 실세계(1)의 사상을 나타내는 정보인 신호를 데이터(3)(검출 신호)에 투영함으로써, 실세계(1)의 사상을 나타내는 정보의 일부가 결락(缺落)된다. 즉, 센서(2)가 출력하는 데이터(3)에서, 실세계(1)의 사상을 나타내는 정보의 일부가 결락되어 있다.

그러나, 투영에 의해 실세계(1)의 사상을 나타내는 정보의 일부가 결락되어 있지만, 데이터(3)는 실세계(1)의 사상(현상)을 나타내는 정보인 신호를 추정하기 위한 유의(有意) 정보를 포함하고 있다.

본 발명에서는, 실세계(1)의 정보인 신호를 추정하기 위한 유의 정보로서, 데이터(3)에 포함되는 정상성을 가지는 정보를 이용한다. 정상성은 새로 정의한 개념이다.

여기에서, 실세계(1)에 주목하면, 실세계(1)의 사상은 소정 차원의 방향으로 일정한 특징을 포함한다. 예를 들면, 실세계(1)의 물체(유체물)에서, 공간 방향 또는 시간 방향으로 형상, 모양, 또는 색채 등이 연속되거나, 또는 형상, 모양, 또는 색채 등의 패턴이 반복된다.

따라서, 실세계(1)의 사상을 나타내는 정보에는, 소정 차원의 방향으로 일정한 특징이 포함되게 된다.

보다 구체적인 예를 들면, 실, 끈, 또는 로프 등의 선형 물체는 길이 방향의 임의의 위치에서, 단면 형상이 동일하다고 하는 길이 방향, 즉 공간 방향으로 일정한 특징을 가진다. 길이 방향의 임의의 위치에서, 단면 형상이 동일하다고 하는 공간 방향으로 일정한 특징은 선형의 물체가 길다고 하는 특징으로부터 생긴다.

따라서, 선형 물체의 화상은 길이 방향의 임의의 위치에서, 단면 형상이 동일하다고 하는 길이 방향, 즉 공간 방향으로 일정한 특징을 가지고 있다.

또, 공간 방향으로 확대를 가지는 유체물인, 단색의 물체는 부위에 관계없이, 동일한 색을 가진다고 하는 공간 방향으로 일정한 특징을 가지고 있다고 말할 수 있다.

동일하게, 공간 방향으로 확대를 가지는 유체물인, 단색 물체의 화상은 부위에 관계없이, 동일한 색을 가진다고 하는 공간 방향으로 일정한 특징을 가지고 있다.

이와 같이, 실세계(1)(현실 세계)의 사상은 소정 차원의 방향으로 일정한 특징을 가지고 있으므로, 실세계(1)의 신호는 소정 차원의 방향으로 일정한 특징을 가진다.

본 명세서에서, 이와 같은 소정 차원의 방향으로 일정한 특징을 정상성이라고 한다. 실세계(1)(현실 세계)의 신호의 정상성이란, 실세계(1)(현실 세계)의 사상을 나타내는 신호가 가지고 있는, 소정 차원의 방향으로 일정한 특징을 말한다.

실세계(1)(현실 세계)에는, 이와 같은 정상성이 무수히 존재한다.

다음에, 데이터(3)에 주목하면, 데이터(3)는 센서(2)에 의해 소정 차원을 가지는 실세계(1)의 사상을 나타내는 정보인 신호가 투영된 것이므로, 실세계의 신호의 정상성에 대응하는 정상성을 포함하고 있다. 데이터(3)는 실세계의 신호의 정상성이 투영된 정상성을 포함하고 있다고도 말할 수 있다.

그러나, 전술한 바와 같이, 센서(2)가 출력하는 데이터(3)에서, 실세계(1)의 정보 일부가 결락되어 있으므로, 데이터(3)로부터 실세계(1)(현실 세계)의 신호에 포함되는 정상성의 일부가 결락되어 버린다.

환언하면, 데이터(3)는 데이터의 정상성으로서 실세계(1)(현실 세계)의 신호 정상성 중, 일부의 정상성을 포함한다. 데이터의 정상성이란, 데이터(3)가 가지고 있는, 소정 차원의 방향으로 일정한 특징이다.

본 발명에서는, 실세계(1)의 사상을 나타내는 정보인 신호를 추정하기 위한 유의 정보로서, 데이터(3)가 가지는 데이터의 정상성이 이용된다.

예를 들면, 본 발명에서는, 데이터의 정상성을 이용하여, 데이터(3)를 신호 처리함으로써, 결락된 실세계(1)의 사상을 나타내는 정보가 생성된다.

그리고, 본 발명에서는, 실세계(1)의 사상을 나타내는 정보인 신호 차원의 길이(공간), 시간, 및 질량 중, 공간 방향 또는 시간 방향의 정상성이 이용된다.

도 1로 복귀하여, 센서(2)는, 예를 들면, 디지털 스틸 카메라, 또는 비디오 카메라 등으로 구성되며, 실세계(1) 화상을 촬상하여, 얻어진 데이터(3)인 화상 데이터를 신호 처리 장치(4)에 출력한다. 센서(2)는, 예를 들면, 서모그래피 장치, 또는 광 탄성을 이용한 압력 센서 등으로 할 수 있다.

신호 처리 장치(4)는, 예를 들면, 퍼스널 컴퓨터 등으로 구성된다.

신호 처리 장치(4)는, 예를 들면, 도 2에서 나타낸 바와 같이 구성된다. CPU(Central Processing Unit)(21)는 ROM(Read Only Memory)(22), 또는 기억부(28)에 기억되어 있는 프로그램에 따라 각종의 처리를 실행한다. RAM(Random Access Memory)(23)에는, CPU(21)가 실행하는 프로그램이나 데이터 등이 적당히 기억된다. 이들 CPU(21), ROM(22), 및 RAM(23)은 버스(24)에 의해 서로 접속되어 있다.

CPU(21)에는 또, 버스(24)를 통해 입출력 인터페이스(25)가 접속되어 있다. 입출력 인터페이스(25)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(26), 디스플레이, 스피커 등으로 이루어지는 출력부(27)가 접속되어 있다. CPU(21)는 입력부(26)로부터 입력되는 지령에 대응하여 각종의 처리를 실행한다. 그리고, CPU(21)는 처리의 결과 얻어진 화상이나 음성 등을 출력부(27)에 출력한다.

입출력 인터페이스(25)에 접속되어 있는 기억부(28)는, 예를 들면 하드 디스크 등으로 구성되며, CPU(21)가 실행하는 프로그램이나 각종의 데이터를 기억한다. 통신부(29)는 인터넷, 그 밖의 네트워크를 통해 외부의 장치와 통신한다. 이 예의 경우, 통신부(29)는 센서(2)가 출력하는 데이터(3)를 수납하는 취득부로서 기능한다.

또, 통신부(29)를 통해 프로그램을 취득하고, 기억부(28)에 기억해도 된다.

입출력 인터페이스(25)에 접속되어 있는 드라이브(30)는 자기 디스크(51), 광 디스크(52), 광자기 디스크(53), 또는 반도체 메모리(54) 등이 장착되었을 때, 이들을 구동하여, 거기에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는 필요에 따라 기억부(28)에 전송되고, 기억된다.

도 3은 신호 처리 장치(4)를 나타낸 블록도이다.

그리고, 신호 처리 장치(4)의 각 기능을 하드웨어로 실현하는가 소프트웨어로 실현하는가는 묻지 않는다. 즉, 본 명세서의 각 블록도는 하드웨어의 블록도라고 생각해도, 소프트웨어에 의한 기능 블록도라고 생각해도 된다.

도 3에 구성을 나타낸 신호 처리 장치(4)에서는, 데이터(3)의 일례인 화상 데이터가 입력되고, 입력된 화상 데이터(입력 화상)로부터 데이터의 정상성이 검출된다. 다음에, 검출된 데이터의 정상성으로부터 센서(2)에 의해 취득된 실세계(1)의 신호가 추정된다. 그리고, 추정된 실세계(1)의 신호를 기초로 화상이 생성되고, 생성된 화상(출력 화상)이 출력된다. 즉, 도 3은 화상 처리 장치인 신호 처리 장치(4)의 구성을 나타낸 도면이다.

신호 처리 장치(4)에 입력된 입력 화상(데이터(3)의 일례인 화상 데이터)은 데이터 정상성 검출부(101) 및 실세계 추정부(102)에 공급된다.

데이터 정상성 검출부(101)는 입력 화상으로부터 데이터의 정상성을 검출하고, 검출한 정상성을 나타내는 데이터 정상성 정보를 실세계 추정부(102) 및 화상 생성부(103)에 공급한다. 데이터 정상성 정보는, 예를 들면, 입력 화상에서의, 데이터의 정상성을 가지는 화소 영역의 위치, 데이터의 정상성을 가지는 화소 영역의 방향(시간 방향 및 공간 방향의 각도 또는 경사), 또는 데이터의 정상성을 가지는 화소 영역의 길이 등을 포함한다. 데이터 정상성 검출부(101) 구성의 상세는 후술한다.

실세계 추정부(102)는 입력 화상, 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보를 기초로 실세계(1)의 신호를 추정한다. 즉, 실세계 추정부(102)는 입력 화상이 취득되었을 때 센서(2)에 입사된, 실세계의 신호인 화상을 추정한다. 실세계 추정부(102)는 실세계(1)의 신호 추정 결과를 나타내는 실세계 추정 정보를 화상 생성부(103)에 공급한다. 실세계 추정부(102) 구성의 상세는 후술한다.

화상 생성부(103)는 실세계 추정부(102)로부터 공급된, 추정된 실세계(1)의 신호를 나타내는 실세계 추정 정보를 기초로 실세계(1)의 신호에 의해 근사시킨 신호를 생성하고, 생성한 신호를 출력한다. 또는, 화상 생성부(103)는 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보, 및 실세계 추정부(102)로부터 공급된, 추정된 실세계(1)의 신호를 나타내는 실세계 추정 정보를 기초로 실세계(1)의 신호에 의해 근사시킨 신호를 생성하고, 생성한 신호를 출력한다.

즉, 화상 생성부(103)는 실세계 추정 정보를 기초로 실세계(1) 화상에 의해 근사시킨 화상을 생성하고, 생성한 화상을 출력 화상으로서 출력한다. 또는, 화상 생성부(103)는 데이터 정상성 정보 및 실세계 추정 정보를 기초로 실세계(1) 화상에 의해 근사시킨 화상을 생성하고, 생성한 화상을 출력 화상으로서 출력한다.

예를 들면, 화상 생성부(103)는 실세계 추정 정보를 기초로 추정된 실세계(1) 화상을 원하는 공간 방향 또는 시간 방향의 범위에서 적분함으로써, 입력 화상과 비교하여, 공간 방향 또는 시간 방향에 의해 고해상도의 화상을 생성하고, 생성한 화상을 출력 화상으로서 출력한다. 예를 들면, 화상 생성부(103)는 외삽 보간(外揷補間)에 의해 화상을 생성하고, 생성한 화상을 출력 화상으로서 출력한다.

화상 생성부(103) 구성의 상세는 후술한다.

다음에, 도 4 내지 도 7을 참조하여, 본 발명의 원리를 설명한다.

도 4는 종래의 신호 처리 장치(121)에서의 처리의 원리를 설명한 도면이다. 종래의 신호 처리 장치(121)는 데이터(3)를 처리의 기준으로 하는 동시에, 데이터(3)를 처리의 대상으로 하여, 고해상도화 등의 처리를 실행한다. 종래의 신호 처리 장치(121)에서는, 실세계(1)가 고려되는 일은 없고, 데이터(3)가 최종적인 기준으로 되어, 데이터(3)에 포함되어 있는 정보 이상의 정보를 출력으로서 얻을 수는 없다.

또, 종래의 신호 처리 장치(121)에서, 데이터(3)에 존재하는 센서(2)에 의한 왜곡(실세계(1)의 정보인 신호와 데이터(3)와의 차)은 전혀 고려되지 않으므로, 종래의 신호 처리 장치(121)는 왜곡을 포함한 채의 신호를 출력하게 된다. 또한, 신호 처리 장치(121)의 처리 내용에 따라서는, 데이터(3)에 존재하는 센서(2)에 의한 왜곡이 더욱 증폭되고, 증폭된 왜곡을 포함하는 데이터가 출력되게 된다.

이와 같이, 종래의 신호 처리에서는, 데이터(3)가 취득된 실세계(1)(의 신호) 그 자체가 고려되는 일은 없었다. 환언하면, 종래의 신호 처리에서는, 데이터(3)에 포함되어 있는 정보의 틀 내에서 실세계(1)를 파악하고 있었으므로, 데이터(3)에 포함되어 있는 정보 및 왜곡에 의해 신호 처리의 한계가 결정된다. 그리고, 본 출원인은 실세계(1)를 고려하여 신호 처리를 별도로 제안하고 있지만, 후술하는 정상성을 고려하고 있지 않았다.

이에 대하여, 본 발명의 신호 처리에서는, 실세계(1)(의 신호) 그 자체를 명확하게 고려하여, 처리가 실행된다.

도 5는 본 발명에 관한 신호 처리 장치(4)에서의 처리의 원리를 설명한 도면이다.

실세계(1)의 사상을 나타내는 정보인 신호를 센서(2)가 취득하고, 센서(2)가 실세계(1)의 정보인 신호를 투영한 데이터(3)를 출력하는 점에서는, 종래와 동일하다.

그러나, 본 발명에서는, 센서(2)에 의해 취득된, 실세계(1)의 사상을 나타내는 정보인 신호가 명확하게 고려된다. 즉, 데이터(3)가 센서(2)에 의한 왜곡(실세계(1)의 정보인 신호와 데이터(3)와의 차)을 포함하는 것을 의식하여 신호 처리가 이루어진다.

이와 같이 함으로써, 본 발명의 신호 처리에서는, 데이터(3)에 포함되어 있는 정보 및 왜곡에 의해 처리의 결과가 한정되지 않고, 예를 들면, 종래와 비교하여, 실세계(1)의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다. 즉, 본 발명에 의하면, 센서(2)에 입력된, 실세계(1)의 사상을 나타내는 정보인 신호에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

도 6 및 도 7은 본 발명의 원리를 보다 구체적으로 설명한 도면이다.

도 6에서 나타낸 바와 같이, 예를 들면, 화상인 실세계(1)의 신호가 렌즈, 또는 광학 LPF(Low Pass Filter) 등으로 이루어지는 광학계(141)에 의해, 센서(2)의 일례인 CCD(Charge Coupled Device)의 수광면에 결상된다. 센서(2)의 일례인 CCD는 적분 특성을 가지고 있으므로, CCD로부터 출력되는 데이터(3)에는, 실세계(1) 화상과의 차가 생기게 된다. 센서(2)의 적분 특성의 상세에 대해서는, 후술한다.

본 발명의 신호 처리에서는, CCD에 의해 취득된 실세계(1) 화상과, CCD에 의해 촬상되어 출력된 데이터(3)와의 관계가 명확하게 고려된다. 즉, 데이터(3)와, 센서(2)로 취득된 실세계의 정보인 신호와의 관계가 명확하게 고려된다.

보다 구체적으로는, 도 7에서 나타낸 바와 같이, 신호 처리 장치(4)는 모델(161)을 사용하여, 실세계(1)를 근사(기술(記述))한다. 모델(161)은 예를 들면, N개의 변수로 표현된다. 보다 정확하게는, 모델(161)은 실세계(1)의 신호를 근사(기술)한다.

모델(161)을 예측하기 위해, 신호 처리 장치(4)는 데이터(3)로부터 M개의 데이터(162)를 추출한다. 데이터(3)로부터 M개의 데이터(162)를 추출할 때, 신호 처리 장치(4)는 데이터(3)에 포함되는 데이터의 정상성을 이용한다. 환언하면, 신호 처리 장치(4)는 데이터(3)에 포함되는 데이터의 정상성을 기초로 모델(161)을 예측하기 위한 데이터(162)를 추출한다. 결과적으로, 모델(161)은 데이터의 정상성에 구속되게 된다.

즉, 모델(161)은 센서(2)로 취득되었을 때, 데이터(3)에서 데이터의 정상성을 생기게 하는 정상성(소정 차원의 방향으로 일정한 특징)을 가지는 실세계(1)의 사상(을 나타내는 정보(신호))을 근사시킨다.

여기에서, 데이터(162)의 수 M이 모델의 변수의 수 N 이상이면, M개의 데이터(162)로부터 N개의 변수로 표현되는 모델(161)을 예측할 수 있다.

이와 같이, 실세계(1)(의 신호)를 근사(기술)시키는 모델(161)을 예측함으로써, 신호 처리 장치(4)는 실세계(1)의 정보인 신호를 고려할 수 있다.

다음에, 센서(2)의 적분 효과에 대하여 설명한다.

화상을 촬상하는 센서(2)인, CCD 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등의 이미지 센서는 현실 세계를 촬상할 때, 현실 세계의 정보인 신호를 2차원 데이터에 투영한다. 이미지 센서의 각 화소는 이른바 수광면(수광 영역)으로서 각각 소정 면적을 가진다. 소정 면적을 가지는 수광면에 입사한 광은 화소마다 공간 방향 및 시간 방향으로 적분되어 각 화소에 대하여 1개의 화소값으로 변환된다.

도 8 내지 도 11을 참조하여, 화상의 공간적 시간적인 적분에 대하여 설명한다.

이미지 센서는 현실 세계의 대상물(오브젝트)을 촬상하고, 촬상 결과 얻어진 화상 데이터를 1 프레임 단위로 출력한다. 즉, 이미지 센서는 실세계(1)의 대상물에서 반사된 광인 실세계(1)의 신호를 취득하고, 데이터(3)를 출력한다.

예를 들면, 이미지 센서는 1초간에 30프레임으로 이루어지는 화상 데이터를 출력한다. 이 경우, 이미지 센서의 노광 시간은 1/30초로 할 수 있다. 노광 시간은 이미지 센서가 입사된 광의 전하(電荷)로의 변환을 개시하고 나서 입사된 광의 전하로의 변환을 종료할 때까지의 기간이다. 이하, 노광 시간을 셔터 시간이라고도 한다.

도 8은 이미지 센서 상 화소의 배치예를 설명한 도면이다. 도 8 중에서, A 내지 I는 개개의 화소를 나타낸다. 화소는 화상 데이터에 의해 표시되는 화상에 대응하는 평면 상에 배치되어 있다. 1개의 화소에 대응하는 1개의 검출 소자는 이미지 센서 상에 배치되어 있다. 이미지 센서가 실세계(1) 화상을 촬상할 때, 1개의 검출 소자는 화상 데이터를 구성하는 1개의 화소에 대응하는 1개의 화소값을 출력한다. 예를 들면, 검출 소자의 공간 방향 X의 위치(X 좌표)는 화상 데이터에 의해 표시되는 화상 상의 가로 방향 위치에 대응하고, 검출 소자의 공간 방향 Y의 위치(Y 좌표)는 화상 데이터에 의해 표시되는 화상 상의 세로 방향 위치에 대응한다.

실세계(1)의 광 강도의 분포는 3차원 공간 방향, 및 시간 방향으로 확대를 가지지만, 이미지 센서는 2차원 공간 방향, 및 시간 방향에서 실세계(1)의 광을 취득하고, 2차원 공간 방향, 및 시간 방향의 광 강도의 분포를 표현하는 데이터(3)를 생성한다.

도 9에서 나타낸 바와 같이, 예를 들면, CCD인 검출 소자는 셔터 시간에 대응하는 기간, 수광면(수광 영역)(검출 영역)에 입력된 광을 전하로 변환하고, 변환된 전하를 축적한다. 광은 3차원 공간 상의 위치, 및 시각에 의해 강도가 결정되는 실세계(1)의 정보(신호)이다. 실세계(1)의 광 강도의 분포는 3차원 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 함수 F(x, y, z, t)로 나타낼 수 있다.

CCD인 검출 소자에 축적되는 전하의 양은 2차원 공간 상의 확대를 가지는 수광면 전체에 입사된 광의 강도와 광이 입사되어 있는 시간에 거의 비례한다. 검출 소자는 셔터 시간에 대응하는 기간에서, 수광면 전체에 입사된 광으로부터 변환된 전하를 이미 축적되어 있는 전하에 더해 간다. 즉, 검출 소자는 셔터 시간에 대응하는 기간, 2차원 공간 상의 확대를 가지는 수광면 전체에 입사되는 광을 적분하고, 적분된 광에 대응하는 양의 전하를 축적한다. 검출 소자는 공간(수광면) 및 시간(셔터 시간)에 대하여, 적분 효과가 있다고도 말할 수 있다.

검출 소자에 축적된 전하는 도시하지 않은 회로에 의해 전압값으로 변환되고, 전압값은 다시 디지털 데이터 등의 화소값으로 변환되어, 데이터(3)로서 출력된다. 따라서, 이미지 센서로부터 출력되는 개개의 화소값은 실세계(1) 정보(신호)의 시간적 공간적으로 확대를 가지는 어느 부분을 셔터 시간의 시간 방향 및 검출 소자의 수광면의 공간 방향에 대하여 적분한 결과인 1차원 공간에 투영한 값을 가진다.

즉, 1개 화소의 화소값은 F(x, y, t)의 적분으로 표현된다. F(x, y, t)는 검출 소자의 수광면에서의 광 강도의 분포를 나타내는 함수이다. 예를 들면, 화소값 P는 식 (1)로 표현된다.

···(1)

식 1에서, x₁은 검출 소자의 수광면 좌측 경계의 공간 좌표(X 좌표)이다. x₂는 검출 소자의 수광면 우측 경계의 공간 좌표(X 좌표)이다. 식 1에서, y₁은 검출 소자의 수광면 상측 경계의 공간 좌표(Y 좌표)이다. y₂는 검출 소자의 수광면 하측 경계의 공간 좌표(Y 좌표)이다. 또, t₁은 입사된 광의 전하로의 변환을 개시한 시각이다. t₂는 입사된 광의 전하로의 변환을 종료한 시각이다.

그리고, 실제로는, 이미지 센서로부터 출력되는 화상 데이터의 화소값은, 예를 들면 프레임 전체로서 그 게인이 보정되어 있다.

화상 데이터의 각 화소값은 이미지 센서의 각 검출 소자 수광면에 입사한 광의 적분값이며, 이미지 센서에 입사된 광 중, 검출 소자의 수광면보다 미소한 실세계(1)의 광의 파형은 적분값으로서의 화소값에 숨겨져 버린다.

이하, 본 명세서에서, 소정 차원을 기준으로 하여 표현되는 신호의 파형을 단지 파형이라고도 칭한다.

이와 같이, 실세계(1) 화상은 화소를 단위로 하여, 공간 방향 및 시간 방향으로 적분되어 버리므로, 화상 데이터에서는, 실세계(1) 화상의 정상성의 일부가 결락되고, 실세계(1) 화상의 정상성의 다른 일부만이 화상 데이터에 포함되게 된다. 또는, 화상 데이터에는, 실세계(1) 화상의 정상성으로부터 변화해 버린 정상성이 포함되는 것이 있다.

적분 효과를 가지는 이미지 센서에 의해 촬상된 화상의, 공간 방향의 적분 효과에 대하여 추가로 설명한다.

도 10은 화소 D 내지 화소 F에 대응하는 검출 소자에 입사되는 광과, 화소값과의 관계를 설명한 도면이다. 도 10의 F(x)는 공간 상(검출 소자 상)의 공간 방향 X의 좌표 x를 변수로 하는 실세계(1)의 광 강도의 분포를 나타내는 함수의 예이다. 바꾸어 말하면, F(x)는 공간 방향 Y 및 시간 방향으로 일정한 경우의, 실세계(1)의 광 강도의 분포를 나타내는 함수의 예이다. 도 10에서, L은 화소 D 내지 화소 F에 대응하는 검출 소자 수광면의 공간 방향 X의 길이를 나타낸다.

1개 화소의 화소값은 F(x)의 적분으로 표현된다. 예를 들면, 화소 E의 화소값 P는 식 (2)로 표현된다.

···(2)

식 (2)에서, x₁은 화소 E에 대응하는 검출 소자의 수광면 좌측 경계의 공간 방향 X의 공간 좌표이다. x₂는 화소 E에 대응하는 검출 소자의 수광면 우측 경계의 공간 방향 X의 공간 좌표이다.

동일하게, 적분 효과를 가지는 이미지 센서에 의해 촬상된 화상의, 시간 방향의 적분 효과에 대하여 추가로 설명한다.

도 11은 시간의 경과와, 1개의 화소에 대응하는 검출 소자에 입사되는 광과, 화소값과의 관계를 설명한 도면이다. 도 방향으로 5 화소 F(t)는 시각 t를 변수로 하는 실세계(1)의 광 강도의 분포를 나타내는 함수이다. 바꾸어 말하면, F(t)는 공간 방향 Y 및 공간 방향 X에 일정한 경우의, 실세계(1)의 광 강도의 분포를 나타내는 함수의 예이다. t_s는 셔터 시간을 나타낸다.

프레임 #n-1은 프레임 #n에 대하여 시간적으로 전의 프레임이며, 프레임 #n+1은 프레임 #n에 대하여 시간적으로 후의 프레임이다. 즉, 프레임 #n-1, 프레임 #n, 및 프레임 #n+1은 프레임 #n-1, 프레임 #n, 및 프레임 #n+1의 차례로 표시된다.

그리고, 도 11에서 나타낸 예에서, 셔터 시간 t_s와 프레임 간격이 동일하다.

1개 화소의 화소값은 F(t)의 적분으로 표현된다. 예를 들면, 프레임 #n 화소의 화소값 P는 식 (3)으로 표현된다.

···(3)

식 (3)에서, t₁은 입사된 광의 전하로의 변환을 개시한 시각이다. t₂는 입사된 광의 전하로의 변환을 종료한 시각이다.

이하, 센서(2)에 의한 공간 방향의 적분 효과를 단지 공간 적분 효과라고 칭하며, 센서(2)에 의한 시간 방향의 적분 효과를 단지 시간 적분 효과라고 칭한다. 또, 공간 적분 효과 또는 시간 적분 효과를 단지 적분 효과라고도 칭한다.

다음에, 적분 효과를 가지는 이미지 센서에 의해 취득된 데이터(3)에 포함되는 데이터 정상성의 예에 대하여 설명한다.

도 12는 실세계(1)의 선형 물체(예를 들면, 세선)의 화상, 즉 광 강도 분포의 예를 나타낸 도면이다. 도 12에서, 도면 중 상측의 위치는 광의 강도(레벨)를 나타내고, 도면 중 우상측의 위치는 화상의 공간 방향의 한 방향인 공간 방향 X의 위치를 나타내고, 도면 중 우측의 위치는 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다.

실세계(1)의 선형 물체의 화상에는, 소정 정상성이 포함된다. 즉, 도 12에서 나타낸 화상은 길이 방향의 임의의 위치에서, 단면 형상(길이 방향으로 직교하는 방향의 위치 변화에 대한 레벨의 변화)이 동일하다고 하는 정상성을 가진다.

도 13은 도 12에서 나타낸 화상에 대응하는 실제의 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다.

도 14는 도 13에 나타낸 화상 데이터의 모식도이다.

도 14에서 나타낸 모식도는 이미지 센서 화소의 줄(화소의 세로 또는 가로의 줄)과 어긋난 방향으로 연장되는, 각 화소의 수광면의 길이 L보다 짧은 직경의 선형 물체의 화상을 이미지 센서로 촬상하여 얻어진 화상 데이터의 모식도이다. 도 14에서 나타낸 화상 데이터가 취득되었을 때 이미지 센서에 입사된 화상은 도 12의 실세계(1)의 선형 물체의 화상이다.

도 14에서, 도면 중 상측의 위치는 화소값을 나타내고, 도면 중 우상측의 위치는 화상의 공간 방향의 한 방향인 공간 방향 X의 위치를 나타내고, 도면 중 우측의 위치는 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다. 도 14에서의 화소값을 나타내는 방향은 도 12에서의 레벨 방향에 대응하고, 도 14에서의 공간 방향 X, 및 공간 방향 Y는 도 12에서의 방향과 동일하다.

각 화소의 수광면의 길이 L보다 짧은 직경의 선형 물체의 화상을 이미지 센서로 촬상한 경우, 촬상 결과 얻어지는 화상 데이터에서, 선형 물체는 모식적으로, 예를 들면, 비스듬하게 어긋나 나란히 하는, 복수개의 소정 길이의 원호 형상(어묵형)으로 표현된다. 각 원호 형상은 대략 동일한 형상이다. 1개의 원호 형상은 세로로 1렬의 화소 상, 또는 가로로 1렬의 화소 상에 형성된다. 예를 들면, 도 14에서의 1개의 원호 형상은 세로로 1렬의 화소 상에 형성된다.

이와 같이, 예를 들면, 이미지 센서로 촬상되어 취득된 화상 데이터에서는, 실세계(1)의 선형 물체의 화상이 가지고 있던, 길이 방향의 임의의 위치에서, 공간 방향 Y에서의 단면 형상이 동일하다고 하는 정상성이 잃어지고 있다. 또, 실세계(1)의 선형 물체의 화상이 가지고 있던 정상성은 세로로 1렬의 화소 상, 또는 가로로 1렬의 화소 상에 형성된, 동일 형상인 원호 형상이 일정한 간격으로 나란히 한다고 하는 정상성으로 변화하고 있다고 말할 수 있다.

도 15는 배경과는 상이한 색으로서, 단색인 직선형 에지를 가지는 물체의 실세계(1) 화상, 즉 광 강도 분포의 예를 나타낸 도면이다. 도 15에서, 도면 중 상측의 위치는 광의 강도(레벨)를 나타내고, 도면 중 우상측의 위치는 화상의 공간 방향의 한 방향인 공간 방향 X의 위치를 나타내고, 도면 중 우측의 위치는 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다.

배경과는 상이한 색의 직선형 에지를 가지는 물체의 실세계(1) 화상에는, 소정 정상성이 포함된다. 즉, 도 15에서 나타낸 화상은 에지의 길이 방향의 임의의 위치에서, 단면 형상(에지에 직교하는 방향의 위치 변화에 대한 레벨의 변화)이 동일하다고 하는 정상성을 가진다.

도 16은 도 15에서 나타낸 화상에 대응하는 실제의 촬상에 의해 얻어진 화상 데이터의 화소값의 예를 나타낸 도면이다. 도 16에서 나타낸 바와 같이, 화상 데이터는 화소를 단위로 한 화소값으로 이루어지므로, 계단형으로 된다.

도 17은 도 16에 나타낸 화상 데이터의 모식도이다.

도 17에서 나타낸 모식도는 이미지 센서 화소의 줄(화소의 세로 또는 가로의 줄)과 어긋난 방향으로 에지가 연장되는, 배경과는 상이한 색으로서, 단색인 직선형 에지를 가지는 물체의 실세계(1) 화상을 이미지 센서로 촬상하여 얻어진 화상 데이터의 모식도이다. 도 17에서 나타낸 화상 데이터가 취득되었을 때 이미지 센서에 입사된 화상은 도 15에서 나타낸, 배경과는 상이한 색으로서, 단색인 직선형 에지를 가지는 물체의 실세계(1) 화상이다.

도 17에서, 도면 중 상측의 위치는 화소값을 나타내고, 도면 중 우상측의 위치는 화상의 공간 방향의 한 방향인 공간 방향 X의 위치를 나타내고, 도면 중 우측의 위치는 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다. 도 17에서의 화소값을 나타내는 방향은 도 15에서의 레벨의 방향에 대응하고, 도 17에서의 공간 방향 X, 및 공간 방향 Y는 도 15에서의 방향과 동일하다.

배경과는 상이한 색으로서, 단색인 직선형 에지를 가지는 물체의 실세계(1) 화상을 이미지 센서로 촬상한 경우, 촬상의 결과 얻어지는 화상 데이터에서, 직선형 에지는 모식적으로, 예를 들면, 비스듬하게 어긋나 나란히 하는, 복수개의 소정 길이의 폴(pawl) 형상으로 나타난다. 각 폴 형상은 대략 동일한 형상이다. 1개의 폴 형상은 세로로 1렬의 화소 상, 또는 가로로 1렬의 화소 상에 형성된다. 예를 들면, 도 17에서, 1개의 폴 형상은 세로로 1렬의 화소 상에 형성된다.

이와 같이, 예를 들면, 이미지 센서로 촬상되어 취득된 화상 데이터에서는, 배경과는 상이한 색으로서, 단색인 직선형 에지를 가지는 물체의 실세계(1) 화상이 가지고 있던, 에지의 길이 방향의 임의의 위치에서, 단면 형상이 동일하다고 하는 정상성이 잃어지고 있다. 또, 배경과는 상이한 색으로서, 단색인 직선형 에지를 가지는 물체의 실세계(1) 화상이 가지고 있던 정상성은 세로로 1렬의 화소 상, 또는 가로로 1렬의 화소 상에 형성된, 동일한 형상인 폴 형상이 일정한 간격으로 나란히 한다고 하는 정상성으로 변화하고 있다고 말할 수 있다.

데이터 정상성 검출부(101)는 이와 같은, 예를 들면, 입력 화상인 데이터(3)가 가지는 데이터의 정상성을 검출한다. 예를 들면, 데이터 정상성 검출부(101)는 소정 차원의 방향으로 일정한 특징을 가지는 영역을 검출함으로써, 데이터의 정상성을 검출한다. 예를 들면, 데이터 정상성 검출부(101)는 도 14에서 나타낸, 동일 원호 형상이 일정한 간격으로 나란히 하는 영역을 검출한다. 또, 예를 들면, 데이터 정상성 검출부(101)는 도 17에서 나타낸, 동일 폴 형상이 일정한 간격으로 나란히 하는 영역을 검출한다.

또, 데이터 정상성 검출부(101)는 동일한 형상의 병행 방법을 나타내는 공간 방향의 각도(경사)를 검출함으로써, 데이터의 정상성을 검출한다.

또, 예를 들면, 데이터 정상성 검출부(101)는 공간 방향 및 시간 방향의 동일한 형상의 병행 방법을 나타내는 공간 방향 및 시간 방향의 각도(모션)를 검출함으로써, 데이터의 정상성을 검출한다.

또한, 예를 들면, 데이터 정상성 검출부(101)는 소정 차원의 방향으로 일정한 특징을 가지는 영역의 길이를 검출함으로써, 데이터의 정상성을 검출한다.

이하, 배경과는 상이한 색으로서, 단색인 직선형 에지를 가지는 물체의 실세계(1) 화상이 센서(2)에 의해 투영된 데이터(3)의 부분을 2치 에지라고도 칭한다.

다음에, 본 발명의 원리를 보다 구체적으로 설명한다.

도 18에서 나타낸 바와 같이, 종래의 신호 처리에서는, 데이터(3)로부터, 예를 들면, 원하는 고해상도 데이터(181)가 생성된다.

이에 대하여, 본 발명에 관한 신호 처리에서는, 데이터(3)로부터 실세계(1)가 추정되고, 추정의 결과에 따라, 고해상도 데이터(181)가 생성된다. 즉, 도 19에서 나타낸 바와 같이, 실세계(1)가 데이터(3)로부터 추정되고, 고해상도 데이터(181)가 데이터(3)를 고려하여, 추정된 실세계(1)로부터 고해상도 데이터(181)가 생성된다.

실세계(1)로부터 고해상도 데이터(181)를 생성하기 위해서는, 실세계(1)와 데이터(3)와의 관계를 고려할 필요가 있다. 예를 들면, 실세계(1)가 CCD인 센서(2)에 의해 데이터(3)에 투영되면 어떻게 될지가 고려된다.

CCD인 센서(2)는 전술한 바와 같이, 적분 특성을 가진다. 즉, 데이터(3)의 하나의 단위(예를 들면, 화소값)는 실세계(1)의 신호를 센서(2)의 검출 소자(예를 들면, CCD)의 검출 영역(예를 들면, 수광면)에서 적분함으로써 산출할 수 있다.

이것을 고해상도 데이터(181)에 대하여 적용시키면, 가상적인 고해상도 센서가 실세계(1)의 신호를 데이터(3)에 투영하는 처리를 추정된 실세계(1)에 적용함으로써, 고해상도 데이터(181)가 얻어진다.

환언하면, 도 20에서 나타낸 바와 같이, 데이터(3)로부터 실세계(1)의 신호를 추정할 수 있으면, 실세계(1)의 신호를 가상적인 고해상도 센서 검출 소자의 검출 영역마다(시공간 방향으로) 적분함으로써, 고해상도 데이터(181)에 포함되는 1개의 값을 얻을 수 있다.

예를 들면, 센서(2) 검출 소자의 검출 영역의 크기와 비교하여, 실세계(1)의 신호 변화가 보다 작을 때, 데이터(3)는 실세계(1) 신호의 작은 변화를 나타낼 수 없다. 그래서, 데이터(3)로부터 추정된 실세계(1)의 신호를 실세계(1)의 신호 변화와 비교하여, 보다 작은 영역마다(시공간 방향으로) 적분함으로써, 실세계(1) 신호의 작은 변화를 나타내는 고해상도 데이터(181)가 얻어진다.

즉, 가상적인 고해상도 센서의 각 검출 소자에 대하여, 추정된 실세계(1)의 신호를 검출 영역에서 적분함으로써, 고해상도 데이터(181)가 얻어진다.

본 발명에서, 화상 생성부(103)는, 예를 들면, 가상적인 고해상도 센서의 각 검출 소자의 시공간 방향의 영역에서, 추정된 실세계(1)의 신호를 적분함으로써, 고해상도 데이터(181)를 생성한다.

다음에, 데이터(3)로부터 실세계(1)를 추정하기 위해, 본 발명에서는, 데이터(3)와 실세계(1)와의 관계, 정상성, 및 데이터(3)에서의 공간 혼합이 이용된다.

여기에서, 혼합이란, 데이터(3)에서, 실세계(1)에서의 2개의 물체에 대한 신호가 혼합되어 1개의 값으로 되는 것을 말한다.

공간 혼합이란, 센서(2)의 공간 적분 효과에 의한, 2개의 물체에 대한 신호의 공간 방향의 혼합을 말한다.

실세계(1) 그 자체는 무한의 수의 사상으로 이루어지고, 따라서, 실세계(1) 그 자체를, 예를 들면, 수식으로 표현하기 위해서는, 무한의 수의 변수가 필요해진다. 데이터(3)로부터 실세계(1)의 모든 사상을 예측할 수는 없다.

동일하게, 데이터(3)로부터 실세계(1)의 신호 모두를 예측할 수는 없다.

그래서, 도 21에서 나타낸 바와 같이, 본 발명에서는, 실세계(1)의 신호 중, 정상성을 가지고, 함수 f(x, y, z, t)로 나타낼 수 있는 부분에 주목하여, 함수 f(x, y, z, t)로 나타낼 수 있는, 정상성을 가지는 실세계(1)의 신호 부분이 N개의 변수로 표현되는 모델(161)로 근사된다. 그리고, 도 22에서 나타낸 바와 같이, 모델(161)이 데이터(3) 중, M개의 데이터(162)로부터 예측된다.

M개의 데이터(162)로부터 모델(161)의 예측을 가능하게 하는 데는, 첫째, 모델(161)을 정상성에 따라, N개의 변수로 나타내고, 둘째, 센서(2)의 적분 특성에 따라, N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)와의 관계를 나타내는, N개의 변수를 사용한 식을 세우는 것이 필요하다. 모델(161)이 정상성에 따라, N개의 변수로 표현되어 있으므로, N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)와의 관계를 나타내는, N개의 변수를 사용한 식은, 정상성을 가지는 실세계(1)의 신호 부분과, 데이터의 정상성을 가지는 데이터(3) 부분과의 관계를 기술하고 있다고도 말할 수 있다.

환언하면, N개의 변수로 표현되는 모델(161)로 근사되는, 정상성을 가지는 실세계(1)의 신호 부분은 데이터(3)에서 데이터의 정상성을 생기게한다.

데이터 정상성 검출부(101)는 정상성을 가지는 실세계(1)의 신호 부분에 의해 데이터의 정상성이 생긴 데이터(3)의 부분, 및 데이터의 정상성이 생긴 부분의 특징을 검출한다.

예를 들면, 도 23에서 나타낸 바와 같이, 배경과는 상이한 색으로서, 단색인 직선형 에지를 가지는 물체의 실세계(1) 화상에서, 도 23 중 A로 나타낸, 주목하는 위치에서의 에지는 경사를 가지고 있다. 도 23의 B의 화살표는 에지의 경사를 나타낸다. 소정 에지의 경사는 기준이 되는 축에 대한 각도 또는 기준이 되는 위치에 대한 방향으로 나타낼 수 있다. 예를 들면, 소정 에지의 경사는 공간 방향 X의 좌표 축과, 에지와의 각도로 나타낼 수 있다. 예를 들면, 소정 에지의 경사는 공간 방향 X의 길이 및 공간 방향 Y의 길이로 나타낸 방향으로 표시할 수 있다.

배경과는 상이한 색으로서, 단색인 직선형 에지를 가지는 물체의 실세계(1) 화상이 센서(2)로 취득되어, 데이터(3)가 출력되었을 때, 데이터(3)에서, 실세계(1) 화상에서의 에지의 주목하는 위치 (A)에 대한, 도 23 중 A'로 나타낸 위치에 에지에 대응하는 폴 형상이 병행하고, 실세계(1) 화상 에지의 경사에 대응하는, 도 23 중 B'로 나타낸 경사 방향으로 에지에 대응하는 폴 형상이 병행한다.

N개의 변수로 표현되는 모델(161)은 이와 같은 데이터(3)에서, 데이터의 정상성을 생기게 하는 실세계의(1)의 신호 부분을 근사시킨다.

N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)와의 관계를 나타내는, N개의 변수를 사용한 식을 세울 때, 데이터(3)에서, 데이터의 정상성이 생기고 있는 부분의 값을 이용한다.

이 경우에 있어서, 도 24에서 나타낸 데이터(3)에서, 데이터의 정상성이 생기고, 혼합 영역에 속하는 값에 주목하여, 실세계(1)의 신호를 적분한 값이 센서(2)의 검출 소자가 출력하는 값과 동일한 것으로 하여, 식을 세울 수 있다. 예를 들면, 데이터의 정상성이 생기고 있는, 데이터(3)에서의 복수개의 값에 대하여, 복수개의 식을 세울 수 있다.

도 24에서, A는 에지의 주목하는 위치를 나타내고, A'는 실세계(1) 화상에서의 에지의 주목하는 위치 (A)에 대한 화소(의 위치)를 나타낸다.

여기에서, 혼합 영역과는, 데이터(3)에서, 실세계(1)에서의 2개의 물체에 대한 신호가 혼합되어 1개의 값으로 되어 있는 데이터의 영역을 말한다. 예를 들면, 배경과는 상이한 색으로서, 단색인 직선형 에지를 가지는 물체의 실세계(1) 화상에 대한 데이터(3)에서, 직선형 에지를 가지는 물체에 대한 화상, 및 배경에 대한 화상이 적분되어 있는 화소값은 혼합 영역에 속한다.

도 25는 식을 세우는 경우에 있어서의, 실세계(1)에 있어서의 2개의 물체에 대한 신호 및 혼합 영역에 속하는 값을 설명한 도면이다.

도 25 중의 좌측은 센서(2)의 하나의 검출 소자의 검출 영역에서 취득되는, 공간 방향 X 및 공간 방향 Y로 소정 확대를 가지는, 실세계(1)에서의 2개의 물체에 대한 실세계(1)의 신호를 나타낸다. 도 25 중의 우측은 도 25 중의 좌측에 나타낸 실세계(1)의 신호가 센서(2)의 하나의 검출 소자에 의해 투영된, 데이터(3)의 하나의 화소의 화소값 P를 나타낸다. 즉, 센서(2)의 하나의 검출 소자에 의해 취득된, 공간 방향 X 및 공간 방향 Y로 소정 확대를 가지는, 실세계(1)에서의 2개의 물체에 대한 실세계(1)의 신호가 투영된, 데이터(3)의 하나의 화소의 화소값 P를 나타낸다.

도 25의 L은 실세계(1)에서의 1개의 물체에 대한, 도 25의 흰 부분의 실세계(1)의 신호 레벨을 나타낸다. 도 25의 R은 실세계(1)에서의 다른 1개의 물체에 대한, 도 25의 사선으로 표현되는 부분의 실세계(1)의 신호 레벨을 나타낸다.

여기에서, 혼합비 α는 센서(2)의 하나의 검출 소자의, 공간 방향 X 및 공간 방향 Y로 소정 확대를 가지는 검출 영역에 입사된, 2개의 물체에 대한 신호(의 면적)의 비율을 나타낸다. 예를 들면, 혼합비 α는 센서(2)의 하나의 검출 소자의 검출 영역의 면적에 대한, 공간 방향 X 및 공간 방향 Y로 소정 확대를 가지는, 센서(2)의 하나의 검출 소자의 검출 영역에 입사된, 레벨 L의 신호 면적의 비율을 나타낸다.

이 경우에 있어서, 레벨 L, 레벨 R, 및 화소값 P의 관계는 식 (4)로 나타낼 수 있다.

α×L+(1-α)×R=P ···(4)

그리고, 레벨 R은 주목하고 있는 화소의 우측에 위치하고 있는, 데이터(3) 화소의 화소값으로 할 수 있는 경우가 있고, 레벨 L은 주목하고 있는 화소의 좌측에 위치하고 있는, 데이터(3)의 화소값으로 할 수 있는 경우가 있다.

또, 혼합비 α 및 혼합 영역은 공간 방향과 동일하게, 시간 방향을 고려할 수 있다. 예를 들면, 센서(2)에 대하여 촬상의 대상이 되는 실세계(1)의 물체가 이동하고 있을 때, 시간 방향으로 센서(2)의 하나의 검출 소자의 검출 영역에 입사되는, 2개의 물체에 대한 신호의 비율은 변화한다. 센서(2)의 하나의 검출 소자의 검출 영역에 입사된, 시간 방향으로 비율이 변화하는 2개의 물체에 대한 신호는 센서(2)의 검출 소자에 의해 데이터(3)의 하나의 값에 투영된다.

센서(2)의 시간 적분 효과에 의한, 2개의 물체에 대한 신호의 시간 방향의 혼합을 시간 혼합이라고 칭한다.

데이터 정상성 검출부(101)는, 예를 들면, 실세계(1)에서의 2개의 물체에 대한 실세계(1)의 신호가 투영된, 데이터(3)에 있어서의 화소의 영역을 검출한다. 데이터 정상성 검출부(101)는, 예를 들면, 실세계(1) 화상 에지의 경사에 대응하는 데이터(3)에 있어서의 경사를 검출한다.

그리고, 실세계 추정부(102)는, 예를 들면, 데이터 정상성 검출부(101)에서 검출된, 소정 혼합비 α를 가지는 화소의 영역, 및 영역의 경사를 기초로 N개의 변수로 표현되는 모델(161)과 M개의 데이터(162)와의 관계를 나타내는, N개의 변수를 사용한 식을 세우고, 세운 식을 푸는 것에 의해, 실세계(1)의 신호를 추정한다.

또한, 구체적인 실세계(1)의 추정에 대하여 설명한다.

함수 F(x, y, z, t)로 표현되는 실세계의 신호 중, 공간 방향 Z의 단면(센서(2)의 위치)에서의 함수 F(x, y, t)로 표현되는 실세계의 신호를 공간 방향 X에서의 위치 x, 공간 방향 Y에서의 위치 y, 및 시각 t로 결정하는 근사 함수 f(x, y, t)로 근사시키는 것을 고려한다.

여기에서, 센서(2)의 검출 영역은 공간 방향 X 및 공간 방향 Y로 확대를 가진다. 환언하면, 근사 함수 f(x, y, t)는 센서(2)로 취득되는, 공간 방향 및 시간 방향으로 확대를 가지는 실세계(1)의 신호를 근사시키는 함수이다.

센서(2)에 의한 실세계(1)의 신호 투영에 의해 데이터(3)의 값 P(x, y, t)가 얻어지는 것으로 한다. 데이터(3)의 값 P(x, y, t)는, 예를 들면, 이미지 센서인 센서(2)가 출력하는 화소값이다.

여기에서, 센서(2)에 의한 투영을 정식화할 수 있는 경우, 근사 함수 f(x, y, t)를 투영하여 얻어진 값을 투영 함수 S(x, y, t)로 나타낼 수 있다.

투영 함수 S(x, y, t)를 구하는 데, 이하에 나타내는 문제가 있다.

첫째, 일반적으로, 실세계(1)의 신호를 나타내는 함수 F(x, y, z, t)는 무한의 차수(次數)의 함수로 될 수 있다.

둘째, 비록, 실세계의 신호를 함수로서 기술할 수 있었다고 해도, 센서(2)의 투영을 통한, 투영 함수 S(x, y, t)를 정하는 것은 일반적으로는 할 수 없다. 즉, 센서(2)에 의한 투영의 동작, 바꾸어 말하면 센서(2)의 입력 신호와 출력 신호와의 관계를 모르기 때문에, 투영 함수 S(x, y, t)를 정할 수 없다.

제1 문제점에 대하여, 실세계(1)의 신호를 근사시키는 함수 f(x, y, t)를 기술 가능한 함수(예를 들면, 유한 차수의 함수)인 함수 f_i(x, y, t) 및 변수 w_i의 적화(積和)로 표현하는 것을 고려한다.

또, 제2 문제점에 대하여, 센서(2)에 의한 투영을 정식화(定式化)함으로써, 함수 f_i(x, y, t)의 기술로부터 함수 S_i(x, y, t)를 기술할 수 있다.

즉, 실세계(1)의 신호를 근사시키는 함수 f(x, y, t)를 함수 f_i(x, y, t) 및 변수 w_i의 적화로 표현하면, 식 5가 얻어진다.

···(5)

예를 들면, 식 (6)으로 나타내는 바와 같이, 센서(2)의 투영을 정식화함으로써, 식 (5)로부터 데이터(3)와 실세계의 신호 관계를 식 (7)과 같이 정식화할 수 있다.

···(6)

···(7)

식 (7)에서, j는 데이터의 인덱스이다.

식 (7)의 N개의 변수 w_i(i=1 내지 N)가 공통인 M개의 데이터 군(j=1 내지 M)이 존재하면, 식 (8)을 만족시키므로, 데이터(3)로부터 실세계의 모델(161)을 구할 수 있다.

N≤M ···(8)

N은 실세계(1)를 근사시키는 모델(161)을 표현하는 변수의 수이다. M은 데이터(3)에 포함되는 데이터(162)의 수이다.

실세계(1)의 신호를 근사시키는 함수 f(x, y, t)를 식 (5)로 나타냄으로써, w_i로서 변수의 부분을 독립시킬 수 있다. 이 때, i는 그대로 변수의 수를 나타낸 것이 된다. 또, f_i로 나타낸 함수의 형태를 독립시킬 수 있어, f_i로서 원하는 함수를 이용할 수 있게 된다.

따라서, 함수 f_i의 형태에 의존하지 않고, 변수 w_i의 수 N을 정의할 수 있어, 변수 w_i의 수 N과 데이터의 수 M과의 관계에서 변수 w_i를 구할 수 있다.

즉, 이하의 3개를 사용함으로써, 데이터(3)로부터 실세계(1)를 추정할 수 있게 된다.

첫째, N개의 변수를 정하는, 즉, 식 (5)를 정한다. 이것은 정상성을 사용하여 실세계(1)를 기술함으로써 가능하게 된다. 예를 들면, 단면이 다항식으로 표현되고, 동일 단면 형상이 일정 방향으로 계속된다고 하는 모델(161)로 실세계(1)의 신호를 기술할 수 있다.

둘째, 예를 들면, 센서(2)에 의한 투영을 정식화하여, 식 (7)을 기술한다. 예를 들면, 실세계(2)의 신호 적분을 행한 결과가 데이터(3)인 것으로 정식화한다.

셋째, M개의 데이터(162)를 모아, 식 (8)을 만족시킨다. 예를 들면, 데이터 정상성 검출부(101)에서 검출된, 데이터의 정상성을 가지는 영역으로부터 데이터(162)가 모아진다. 예를 들면, 정상성의 일례인, 일정한 단면이 계속되는 영역의 데이터(162)가 모아진다.

이와 같이, 식 (5)에 의해 데이터(3)와 실세계(1)와의 관계를 기술하고, M개의 데이터(162)를 모음으로써, 식 (8)을 만족시킴에 따라, 실세계(1)를 추정할 수 있다.

보다 구체적으로는, N=M일 때, 변수의 수 N과 식의 수 M이 동일하므로, 연립 방정식을 세움으로서, 변수 w_i를 구할 수 있다.

또, N＜M일 때, 다양한 해법을 적용할 수 있다. 예를 들면, 최소 제곱법에 의해 변수 w_i를 구할 수 있다.

여기에서, 최소 제곱법에 의한 해법에 대하여, 상세하게 기재한다.

먼저, 식 (7)에 따라, 실세계(1)로부터 데이터(3)를 예측하는 식 (9)를 나타낸다.

···(9)

식 (9)에서, P'_j(x_j, y_j, t_j)는 예측값이다.

예측값 P'와 실측값 P와의 차분 제곱합 E는 식 (10)으로 표현된다.

···(10)

차분 제곱합 E가 최소로 되도록, 변수 w_i가 구해진다. 따라서, 각 변수 w_k에 의한 식 (10)의 편미분(偏微分)값은 0이 된다. 즉, 식 (11)이 성립된다.

···(11)

식 (11)로부터 식 (12)가 인도된다.

···(12)

식 (12)가 K=1 내지 N으로 성립될 때, 최소 제곱법에 의한 해법이 얻어진다. 이때의 정규 방정식은 식 (13)으로 나타낸다.

···(13)

단, 식 (13)에서, S_i(x_j, y_j, t_j)는 S_i(j)로 기술했다.

···(14)

···(15)

···(16)

식 (14) 내지 식 (16)으로부터 식 (13)은 S_MATW_MAT=P_MAT로 나타낼 수 있다.

식 (13)에서, S_i는 실세계(1)의 투영을 나타낸다. 식 (13)에서, P_j는 데이터(3)를 나타낸다. 식 (13)에서, w_i는 실세계(1)의 신호 특징을 기술하여, 구하려고 하는 변수이다.

따라서, 식 (13)에 데이터(3)를 입력하고, 행렬 해법 등에 의해 W_MAT를 구함으로써, 실세계(1)를 추정하는 것이 가능하게 된다. 즉, 식 (17)을 연산함으로써, 실세계(1)를 추정할 수 있게 된다.

W_MAT=S_MAT ^-1P_MAT ···(17)

그리고, S_MAT가 정식이 아닌 경우, S_MAT의 전치(前置) 행렬을 이용하여, W_MAT를 구할 수 있다.

실세계 추정부(102)는, 예를 들면, 식 (13)에 데이터(3)를 입력하고, 행렬 해법 등에 의해 W_MAT를 구함으로써, 실세계(1)를 추정한다.

여기에서, 보다 더욱 구체적인 예를 설명한다. 예를 들면, 실세계(1) 신호의 단면(斷面) 형상, 즉 위치의 변화에 대한 레벨의 변화를 다항식으로 기술한다. 실세계(1) 신호의 단면 형상이 일정하고, 실세계(1) 신호의 단면이 등속(等速)으로 이동한다고 가정한다. 그리고, 센서(2)에 의한 실세계(1)의 신호로부터 데이터(3)로의 투영을 실세계(1) 신호의 시공간 방향의 3차원에서 적분으로 정식화한다.

실세계(1) 신호의 단면 형상이 등속으로 이동한다는 가정으로부터 식 (18) 및 식 (19)가 얻어진다.

···(18)

···(19)

여기에서, v_x 및 v_y는 일정하다.

실세계(1) 신호의 단면 형상은 식 (18) 및 식 (19)를 사용함으로써, 식 (20)으로 표현된다.

f(x', y')=f(x+v_xt, y+v_yt) ···(20)

센서(2)에 의한 실세계(1)의 신호로부터 데이터(3)로의 투영을 실세계(1) 신호의 시공간 방향의 3차원에서 적분으로 정식화하면, 식 (21)이 얻어진다.

···(21)

식 (21)에서, S(x, y, t)는 공간 방향 X에 대하여, 위치 x_s로부터 위치 x_e까지, 공간 방향 Y에 대하여, 위치 y_s로부터 위치 y_e까지, 시간 방향 t에 대하여, 시각 t_s로부터 시각 t_e까지의 영역, 즉 시공간의 직육면체로 표현되는 영역의 적분값을 나타낸다.

식 (21)을 정할 수 있는 원하는 함수 f(x', y')를 사용하여, 식 (13)을 풀면, 실세계(1)의 신호를 추정할 수 있다.

이하에서는, 함수 f(x', y')의 일례로서, 식 (22)에 나타낸 함수를 사용하는 것으로 한다.

f(x', y')=w₁x'+w₂y'+w₃

=w₁(x+v_xt+w₂(y+v_yt)+w₃ ···(22)

즉, 실세계(1)의 신호가 식 (18), 식 (19), 및 식 (22)로 표시되는 정상성을 포함한다고 가정하고 있다. 이것은 도 26에서 나타낸 바와 같이, 일정한 형상의 단면이 시공간 방향으로 이동하고 있는 것을 나타낸다.

식 (21)에, 식 (22)를 대입함으로써, 식 (23)이 얻어진다.

···(23)

단,

Volume=(x_e-x_s)(y_e-y_s)(t_e-t_s)

S₀(x, y, t)=Volume/2×x_e+x_s+v_x(t_e+t_s)

S₁(x, y, t)=Volume/2×y_e+y_s+v_y(t_e+t_s)

S₂(x, y, t)=1

이다.

도 27은 데이터(3)로부터 추출되는 M개의 데이터(162)의 예를 나타낸 도면이다. 예를 들면, 27개의 화소값이 데이터(162)로서 추출되고, 추출된 화소값이 P_j(x, y, t)로 된다. 이 경우, j는 0 내지 26이다.

도 27에 나타낸 예에서, n인 시각 t의 주목하는 위치에 대응하는 화소의 화소값이 P₁₃(x, y, t)이며, 데이터의 정상성을 가지는 화소의 화소값이 나란히 하는 방향(예를 들면, 데이터 정상성 검출부(101)에서 검출된, 동일한 형상인 폴 형상이 나란히 하는 방향)이 P₄(x, y, t), P₁₃(x, y, t), 및 P₂₂(x, y, t)를 연결하는 방향일 때, n인 시각 t에서의 화소값 P₉(x, y, t) 내지 P₁₇(x, y, t), n보다 시간적으로 앞인, n-1인 시각 t에서의 화소값 P₀(x, y, t) 내지 P₈(x, y, t), 및 n보다 시간적으로 뒤인, n+1인 시각 t에서의 화소값 P₁₈(x, y, t) 내지 P₂₆(x, y, t)가 추출된다.

여기에서, 센서(2)인 이미지 센서로부터 출력된, 데이터(3)인 화소값이 취득된 영역은 도 28에서 나타낸 바와 같이, 시간 방향 및 2차원 공간 방향으로 확대를 가진다. 그래서, 예를 들면, 도 29에서 나타낸 바와 같이, 화소에 대응하는 직육면체(화소값이 취득된 영역)의 중심(重心)을 화소의 시공간 방향의 위치로서 사용할 수 있다. 도 29 중의 동그라미는 중심을 나타낸다.

27개의 화소값 P₀(x, y, t) 내지 P₂₆(x, y, t), 및 식 (23)으로부터 식 (13)을 생성하여, W를 구함으로써, 실세계(1)를 추정하는 것이 가능하게 된다.

이와 같이, 실세계 추정부(102)는, 예를 들면, 27개의 화소값 P₀(x, y, t) 내지 P₂₆(x, y, t), 및 식 (23)으로부터 식 (13)을 생성하여, W를 구함으로써, 실세계(1)의 신호를 추정한다.

그리고, 함수 f_i(x, y, t)로서 가우스 함수, 또는 시그모이드 함수 등을 이용할 수 있다.

도 30 내지 도 34를 참조하여, 추정된 실세계(1)의 신호로부터 데이터(3)에 대응하는, 보다 고해상도의 고해상도 데이터(181)를 생성하는 처리예에 대하여 설명한다.

도 30에서 나타낸 바와 같이, 데이터(3)는 시간 방향 및 2차원 공간 방향으로 실세계(1)의 신호가 적분된 값을 가진다. 예를 들면, 센서(2)인 이미지 센서로부터 출력된 데이터(3)인 화소값은 검출 소자에 입사된 광인 실세계(1)의 신호가 시간 방향으로 검출 시간인 셔터 시간으로 적분되어 공간 방향으로 검출 소자의 수광 영역에서 적분된 값을 가진다.

이에 대하여, 도 31에서 나타낸 바와 같이, 공간 방향에 의해 해상도가 높은 고해상도 데이터(181)는 추정된 실세계(1)의 신호를 시간 방향으로 데이터(3)를 출력한 센서(2)의 검출 시간과 동일 시간으로 적분하는 동시에, 공간 방향으로 데이터(3)를 출력한 센서(2) 검출 소자의 수광 영역과 비교하여, 보다 좁은 영역에서 적분함으로써 생성된다.

그리고, 공간 방향에 의해 해상도가 높은 고해상도 데이터(181)를 생성하는 경우에 있어서, 추정된 실세계(1)의 신호가 적분되는 영역은 데이터(3)를 출력한 센서(2) 검출 소자의 수광 영역과 전혀 관계없이 설정할 수 있다. 예를 들면, 고해상도 데이터(181)에 데이터(3)에 대하여, 공간 방향으로 정수배(整數倍)의 해상도를 갖게 하는 것은 물론, 5/3배 등 데이터(3)에 대하여, 공간 방향으로 유리 수배(有理數倍)의 해상도를 갖게 할 수 있다.

또, 도 32에서 나타낸 바와 같이, 시간 방향에 의해 해상도가 높은 고해상도 데이터(181)는 추정된 실세계(1)의 신호를 공간 방향으로 데이터(3)를 출력한 센서(2) 검출 소자의 수광 영역과 동일 영역에서 적분하는 동시에, 시간 방향으로 데이터(3)를 출력한 센서(2)의 검출 시간과 비교하여, 보다 짧은 시간으로 적분함으로써 생성된다.

그리고, 시간 방향에 의해 해상도가 높은 고해상도 데이터(181)를 생성하는 경우에 있어서, 추정된 실세계(1)의 신호가 적분되는 시간은 데이터(3)를 출력한 센서(2) 검출 소자의 셔터 시간과 전혀 관계없이 설정할 수 있다. 예를 들면, 고해상도 데이터(181)에 데이터(3)에 대하여, 시간 방향으로 정수배의 해상도를 갖게 하는 것은 물론, 7/4배 등 데이터(3)에 대하여, 시간 방향으로 유리수배의 해상도를 갖게 할 수 있다.

도 33에서 나타낸 바와 같이, 모션 블러링을 제거한 고해상도 데이터(181)는 추정된 실세계(1)의 신호를 시간 방향으로 적분하지 않고, 공간 방향으로만 적분함으로써 생성된다.

또한, 도 34에서 나타낸 바와 같이, 시간 방향 및 공간 방향에 의해 해상도가 높은 고해상도 데이터(181)는 추정된 실세계(1)의 신호를 공간 방향으로 데이터(3)를 출력한 센서(2) 검출 소자의 수광 영역과 비교하여, 보다 좁은 영역에서 적분하는 동시에, 시간 방향으로 데이터(3)를 출력한 센서(2)의 검출 시간과 비교하여, 보다 짧은 시간으로 적분함으로써 생성된다.

이 경우에 있어서, 추정된 실세계(1)의 신호가 적분되는 영역 및 시간은 데이터(3)를 출력한 센서(2) 검출 소자의 수광 영역 및 셔터 시간과 전혀 관계없이 설정할 수 있다.

이와 같이, 화상 생성부(103)는, 예를 들면, 추정된 실세계(1)의 신호를 원하는 시공간의 영역에서 적분함으로써, 시간 방향, 또는 공간 방향으로 보다 고해상도의 데이터를 생성한다.

이상과 같이, 실세계(1)의 신호를 추정함으로써, 실세계(1)의 신호에 대하여 보다 정확하게 시간 방향, 또는 공간 방향으로 보다 고해상도의 데이터를 생성할 수 있다.

도 35 내지 도 39를 참조하여, 본 발명에 관한 신호 처리 장치(4)의, 입력 화상의 예와, 처리 결과의 예를 나타낸다.

도 35는 입력 화상의 원래의 화상을 나타낸 도면이다. 도 36은 입력 화상의 예를 나타낸 도면이다. 도 36에서 나타낸 입력 화상은 도 35에서 나타낸 화상의 2×2의 화소로 이루어지는 블록에 속하는 화소의 화소값의 평균값을 1개 화소의 화소값으로서 생성한 화상이다. 즉, 입력 화상은 도 35에서 나타낸 화상에 센서의 적분 특성을 모방한 공간 방향의 적분을 적용함으로써 얻어진 화상이다.

도 35에서 나타낸 원래의 화상에서, 상하 방향으로부터 대략 5도 시계 방향으로 기울어진 세선(細線)의 화상이 포함되어 있다. 동일하게, 도 36에서 나타낸 입력 화상에서, 상하 방향으로부터 대략 5도 시계 방향으로 기울어진 세선의 화상이 포함되어 있다.

도 37은 도 36에서 나타낸 입력 화상에 종래의 클래스 분류 적응 처리를 적용하여 얻어진 화상을 나타낸 도면이다. 여기에서, 클래스 분류 적응 처리는 클래스 분류 처리와 적응 처리로 이루어지고, 클래스 분류 처리에 의해 데이터를 그 성질에 따라 클래스 구분하고, 각 클래스마다 적응 처리를 실행하는 것이다. 적응 처리에서는, 예를 들면, 저화질 또는 표준 화질의 화상이 소정 탭 계수를 사용하여 매핑(사상)됨으로써 고화질의 화상으로 변환된다.

도 37에서 나타낸 화상에서, 세선의 화상이 도 35의 원래의 화상과는 상이한 것으로 되어 있는 것을 알 수 있다.

도 38은 데이터 정상성 검출부(101)에 의한, 도 36의 예에서 나타낸 입력 화상으로부터 세선의 영역을 검출한 결과를 나타낸 도면이다. 도 38에서, 흰 영역은 세선의 영역, 즉, 도 14에서 나타낸 원호 형상이 나란히 하고 있는 영역을 나타낸다.

도 39는 도 36에서 나타낸 화상을 입력 화상으로서, 본 발명에 관한 신호 처리 장치(4)로부터 출력된 출력 화상예를 나타낸 도면이다. 도 39에서 나타낸 바와 같이, 본 발명에 관한 신호 처리 장치(4)에 의하면, 도 35에서 나타낸 원래 화상의 세선 화상에 의해 가까운 화상을 얻을 수 있다.

도 40은 본 발명에 관한 신호 처리 장치(4)에 의한, 신호 처리를 설명한 플로차트이다.

스텝 S101에서, 데이터 정상성 검출부(101)는 정상성 검출의 처리를 실행한다. 데이터 정상성 검출부(101)는 데이터(3)인 입력 화상에 포함되어 있는 데이터의 정상성을 검출하고, 검출한 데이터의 정상성을 나타내는 데이터 정상성 정보를 실세계 추정부(102) 및 화상 생성부(103)에 공급한다.

데이터 정상성 검출부(101)는 현실 세계 신호의 정상성에 대응하는 데이터의 정상성을 검출한다. 스텝 S101의 처리에서, 데이터 정상성 검출부(101)에 의해 검출되는 데이터의 정상성은 데이터(3)에 포함되는 실세계(1) 화상의 정상성의 일부이거나, 또는 실세계(1) 신호의 정상성으로부터 변화되어 버린 정상성이다.

예를 들면, 데이터 정상성 검출부(101)는 소정 차원의 방향으로 일정한 특징을 가지는 영역을 검출함으로써, 데이터의 정상성을 검출한다. 또, 예를 들면, 데이터 정상성 검출부(101)는 동일한 형상의 병행 방법을 나타내는 공간 방향의 각도(경사)를 검출함으로써, 데이터의 정상성을 검출한다.

스텝 S101에서의 정상성 검출 처리의 상세는 후술한다.

그리고, 데이터 정상성 정보는 데이터(3)의 특징을 나타내는 특징량으로서 이용할 수 있다.

스텝 S102에서, 실세계 추정부(102)는 실세계의 추정 처리를 실행한다. 즉, 실세계 추정부(102)는 입력 화상, 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보를 기초로 실세계(1)의 신호를 추정한다. 예를 들면, 스텝 S102의 처리에서, 실세계 추정부(102)는 실세계(1)를 근사(기술)시키는 모델(161)을 예측함으로써, 실세계(1)의 신호를 추정한다. 실세계 추정부(102)는 추정된 실세계(1)의 신호를 나타내는 실세계 추정 정보를 화상 생성부(103)에 공급한다.

예를 들면, 실세계 추정부(102)는 선형 물체의 폭을 예측함으로써, 실세계(1)의 신호를 추정한다. 또, 예를 들면, 실세계 추정부(102)는 선형 물체의 색을 나타내는 레벨을 예측함으로써, 실세계(1)의 신호를 추정한다.

스텝 S102에서의 실세계 추정 처리의 상세는 후술한다.

그리고, 실세계 추정 정보는 데이터(3)의 특징을 나타내는 특징량으로서 이용할 수 있다.

스텝 S103에서, 화상 생성부(103)는 화상의 생성 처리를 실행하고, 처리는 종료된다. 즉, 화상 생성부(103)는 실세계 추정 정보를 기초로 화상을 생성하고, 생성한 화상을 출력한다. 또는, 화상 생성부(103)는 데이터 정상성 정보 및 실세계 추정 정보를 기초로 화상을 생성하고, 생성한 화상을 출력한다.

예를 들면, 스텝 S103의 처리에서, 화상 생성부(103)는 실세계 추정 정보를 기초로 생성된 현실 세계의 광 신호를 근사시키는 함수를 공간 방향으로 적분함으로써, 입력 화상과 비교하여, 공간 방향에 의해 고해상도의 화상을 생성하고, 생성한 화상을 출력한다. 예를 들면, 화상 생성부(103)는 실세계 추정 정보를 기초로 생성된 현실 세계의 광 신호를 근사시키는 함수를 시공간 방향으로 적분함으로써, 입력 화상과 비교하여, 시간 방향 및 공간 방향에 의해 고해상도의 화상을 생성하고, 생성한 화상을 출력한다. 스텝 S103에서의 화상 생성 처리의 상세는 후술한다.

이와 같이, 본 발명에 관한 신호 처리 장치(4)는 데이터(3)로부터 데이터의 정상성을 검출하고, 검출한 데이터의 정상성을 기초로 실세계(1)를 추정한다. 그리고, 신호 처리 장치(4)는 추정된 실세계(1)를 기초로 보다 실세계(1)에 근사시킨 신호를 생성한다.

이상과 같이, 현실 세계의 신호를 추정해 처리를 실행하도록 한 경우에는, 정확하고, 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

또, 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계 신호의 정상성의 일부가 결락된 제1 차원보다 적은 제2 차원의 제2 신호의, 결락된 현실 세계 신호의 정상성에 대응하는 데이터의 정상성을 검출하고, 검출된 데이터의 정상성에 따라, 결락된 현실 세계 신호의 정상성을 추정함으로써 제1 신호를 추정하도록 한 경우에는, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

다음에, 데이터 정상성 검출부(101) 구성의 상세에 대하여 설명한다.

도 41은 데이터 정상성 검출부(101)의 구성을 나타낸 블록도이다.

도 41에 구성을 나타낸 데이터 정상성 검출부(101)는 세선인 대상물을 촬상했을 때, 대상물이 가지는 단면 형상이 동일하다고 하는 정상성으로부터 생긴, 데이터(3)에 포함되는 데이터의 정상성을 검출한다. 즉, 도 41에 구성을 나타낸 데이터 정상성 검출부(101)는 세선인 실세계(1) 화상이 가지는, 길이 방향의 임의의 위치에서, 길이 방향으로 직교하는 방향의 위치 변화에 대한 광 레벨의 변화가 동일하다고 하는 정상성으로부터 생긴, 데이터(3)에 포함되는 데이터의 정상성을 검출한다.

보다 구체적으로는, 도 41에 구성을 나타낸 데이터 정상성 검출부(101)는 세선의 화상을 공간 적분 효과를 가지는 센서(2)로 촬상하여 얻어진 데이터(3)에 포함되는, 비스듬하게 어긋나 인접하여 나란히 하는, 복수개의 소정 길이의 원호 형상(어묵형)이 배치되는 영역을 검출한다.

데이터 정상성 검출부(101)는 데이터(3)인 입력 화상으로부터 데이터의 정상성을 가지는 세선의 화상이 투영된 화상 데이터의 부분(이하, 정상 성분이라고도 함) 이외의 화상 데이터의 부분(이하, 비정상 성분이라고 함)을 추출하고, 추출된 비정상 성분과 입력 화상으로부터 실세계(1)의 세선 화상이 투영된 화소를 검출하고, 입력 화상에서의, 실세계(1)의 세선 화상이 투영된 화소로 이루어지는 영역을 검출한다.

비정상 성분 추출부(201)는 입력 화상으로부터 비정상 성분을 추출하고, 입력 화상과 함께, 추출된 비정상 성분을 나타낸 비정상 성분 정보를 정점 검출부(202) 및 단조 증감 검출부(203)에 공급한다.

예를 들면, 도 42에서 나타낸 바와 같이, 대략 일정한 광 레벨의 배경 앞에 세선이 있는 실세계(1) 화상이 데이터(3)에 투영되었을 때, 도 43에서 나타낸 바와 같이, 비정상 성분 추출부(201)는 데이터(3)인 입력 화상에서의 배경을 평면으로 근사시킴으로써, 배경인 비정상 성분을 추출한다. 도 43에서, 실선은 데이터(3)의 화소값을 나타내고, 점선은 배경을 근사시키는 평면으로 나타나는 근사값을 나타낸다. 도 43에서, A는 세선의 화상이 투영된 화소의 화소값을 나타내고, PL은 배경을 근사시키는 평면을 나타낸다.

이와 같이, 데이터의 정상성을 가지는 화상 데이터의 부분에서의, 복수개 화소의 화소값은 비정상 성분에 대하여 불연속으로 된다.

비정상 성분 추출부(201)는 실세계(1)의 광 신호인 화상이 투영되고, 실세계(1) 화상의 정상성의 일부가 결락된, 데이터(3)인 화상 데이터의 복수개 화소의 화소값의 불연속부를 검출한다.

비정상 성분 추출부(201)에서의 비정상 성분의 추출 처리의 상세는 후술한다.

정점 검출부(202) 및 단조 증감 검출부(203)는 비정상 성분 추출부(201)로부터 공급된 비정상 성분 정보를 기초로 입력 화상으로부터 비정상 성분을 제거한다. 예를 들면, 정점 검출부(202) 및 단조 증감 검출부(203)는 입력 화상의 각 화소 중, 배경의 화상만이 투영된 화소의 화소값을 0으로 설정함으로써, 입력 화상으로부터 비정상 성분을 제거한다. 또, 예를 들면, 정점 검출부(202) 및 단조 증감 검출부(203)는 입력 화상의 각 화소의 화소값으로부터 평면 PL에서 근사되는 값을 뺄셈함으로써, 입력 화상으로부터 비정상 성분을 제거한다.

입력 화상으로부터 배경을 제거할 수 있으므로, 정점 검출부(202) 내지 연속성 검출부(204)는 세선이 투영된 화상 데이터의 부분만을 처리의 대상으로 할 수 있어, 정점 검출부(202) 내지 연속성 검출부(204)에서의 처리가 보다 용이하게 된다.

그리고, 비정상 성분 추출부(201)는 입력 화상으로부터 비정상 성분을 제거한 화상 데이터를 정점 검출부(202) 및 단조 증감 검출부(203)에 공급하도록 해도 된다.

이하에 설명하는 처리예에서, 입력 화상으로부터 비정상 성분이 제거된 화상 데이터, 즉, 정상 성분을 포함하는 화소만으로 이루어지는 화상 데이터가 대상이 된다.

여기에서, 정점 검출부(202) 내지 연속성 검출부(204)가 검출하려고 하는 세선의 화상이 투영된 화상 데이터에 대하여 설명한다.

도 42에서 나타낸 세선의 화상이 투영된 화상 데이터의 공간 방향 Y의 단면 형상(공간 방향의 위치 변화에 대한 화소값의 변화)은 광학 LPF가 없는 것으로 한 경우, 센서(2)인 이미지 센서의 공간 적분 효과로부터 도 44에 나타낸 사다리꼴, 또는 도 45에 나타낸 삼각형이 되는 것을 고려할 수 있다. 그러나, 통상의 이미지 센서는 광학 LPF를 구비하고, 이미지 센서는 광학 LPF를 통과한 화상을 취득하고, 취득한 화상을 데이터(3)에 투영하므로, 현실적으로는, 세선의 화상 데이터의 공간 방향 Y의 단면 형상은 도 46에 나타낸 바와 같은 가우스 분포와 유사한 형상으로 된다.

정점 검출부(202) 내지 연속성 검출부(204)는 세선의 화상이 투영된 화소로서, 동일 단면 형상(공간 방향의 위치 변화에 대한 화소값의 변화)이 화면의 상하 방향으로 일정한 간격으로 나란히 하는 것으로 이루어지는 영역을 검출하고, 또한 실세계(1)의 세선의 길이 방향에 대응한 영역의 연결을 검출함으로써, 데이터의 정상성을 가지는 영역인, 세선의 화상이 투영된 화소로 이루어지는 영역을 검출한다. 즉, 정점 검출부(202) 내지 연속성 검출부(204)는 입력 화상에서의, 세로로 1렬의 화소 상에, 원호 형상(어묵형)이 형성되는 영역을 검출하고, 검출된 영역이 가로 방향으로 인접하여 나란히 하고 있는지 여부를 판정하여, 실세계(1)의 신호인 세선 화상의 길이 방향에 대응한, 원호 형상이 형성되는 영역의 연결을 검출한다.

또, 정점 검출부(202) 내지 연속성 검출부(204)는 세선의 화상이 투영된 화소로서, 동일 단면 형상이 화면의 좌우 방향으로 일정한 간격으로 나란히 하는 것으로 이루어지는 영역을 검출하고, 또한 실세계(1)의 세선의 길이 방향에 대응한, 검출된 영역의 연결을 검출함으로써, 데이터의 정상성을 가지는 영역인, 세선의 화상이 투영된 화소로 이루어지는 영역을 검출한다. 즉, 정점 검출부(202) 내지 연속성 검출부(204)는 입력 화상에서의, 가로로 1렬의 화소 상에, 원호 형상이 형성되는 영역을 검출하고, 검출된 영역이 세로 방향으로 인접하여 나란히 하고 있는지 여부를 판정하여, 실세계(1)의 신호인 세선의 화상의 길이 방향에 대응한, 원호 형상이 형성되는 영역의 연결을 검출한다.

먼저, 세선의 화상이 투영된 화소로서, 화면의 상하 방향으로 동일 원호 형상이 일정한 간격으로 나란히 하는 것으로 이루어지는 영역을 검출하는 처리를 설명한다.

정점 검출부(202)는 주위의 화소와 비교하여, 보다 큰 화소값을 가지는 화소, 즉 정점을 검출하고, 정점의 위치를 나타내는 정점 정보를 단조 증감 검출부(203)에 공급한다. 화면의 상하 방향으로 1렬로 나란히 하는 화소를 대상으로 한 경우, 정점 검출부(202)는 화면의 상측에 위치하는 화소의 화소값, 및 화면의 하측에 위치하는 화소의 화소값과 비교하여, 보다 큰 화소값을 가지는 화소를 정점으로서 검출한다. 정점 검출부(202)는 1개의 화상, 예를 들면, 1개의 프레임의 화상으로부터 1 또는 복수개의 정점을 검출한다.

1개의 화면에는, 프레임 또는 필드가 포함된다. 이하의 설명에서, 동일하다.

예를 들면, 정점 검출부(202)는 1 프레임의 화상으로부터 아직 주목 화소로 되어 있지 않은 화소 중 주목 화소를 선택하여, 주목 화소의 화소값과, 주목 화소 상측 화소의 화소값을 비교하고, 주목 화소의 화소값과, 주목 화소의 하측 화소의 화소값을 비교하여, 상측 화소의 화소값보다 큰 화소값을 가지고, 하측 화소의 화소값보다 큰 화소값을 가지는 주목 화소를 검출하여, 검출된 주목 화소를 정점으로 한다. 정점 검출부(202)는 검출된 정점을 나타내는 정점 정보를 단조 증감 검출부(203)에 공급한다.

정점 검출부(202)가 정점을 검출하지 않는 경우도 있다. 예를 들면, 1개 화상 화소의 화소값이 모두 동일한 값일 때, 또는 1 또는 2의 방향에 대하여 화소값이 감소하고 있을 때, 정점은 검출되지 않는다. 이 경우, 세선의 화상은 화상 데이터에 투영되어 있지 않다.

단조 증감 검출부(203)는 정점 검출부(202)로부터 공급된, 정점의 위치를 나타내는 정점 정보를 기초로 정점 검출부(202)에서 검출된 정점에 대하여 상하 방향으로 1렬로 나란히 하는 화소로서, 세선의 화상이 투영된 화소로 이루어지는 영역의 후보를 검출하고, 정점 정보와 함께, 검출한 영역을 나타내는 영역 정보를 연속성 검출부(204)에 공급한다.

보다 구체적으로는, 단조 증감 검출부(203)는 정점의 화소값을 기준으로 하여, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역을 세선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다. 단조 감소란, 정점으로부터의 거리가 보다 긴 화소의 화소값이 정점으로부터의 거리가 짧은 화소의 화소값과 비교하여, 보다 작은 것을 말한다.

또, 단조 증감 검출부(203)는 정점의 화소값을 기준으로 하여, 단조 증가하고 있는 화소값을 가지는 화소로 이루어지는 영역을 세선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다. 단조 증가란, 정점으로부터의 거리가 보다 긴 화소의 화소값이 정점으로부터의 거리가 짧은 화소의 화소값과 비교하여, 보다 큰 것을 말한다.

이하, 단조 증가하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리는 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리와 동일하므로, 그 설명은 생략한다. 세선의 화상이 투영된 화소로서, 화면의 가로 방향에 동일 원호 형상이 일정한 간격으로 나란히 하는 것으로 이루어지는 영역을 검출하는 처리에서의, 단조 증가하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리도, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역에 대한 처리와 동일하므로, 그 설명은 생략한다.

예를 들면, 단조 증감 검출부(203)는 정점에 대하여 세로로 1렬로 각 화소에 대하여, 각 화소의 화소값과, 상측 화소의 화소값과의 차분, 및 하측 화소의 화소값과의 차분을 구한다. 그리고, 단조 증감 검출부(203)는 차분의 부호가 변화하는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역을 검출한다.

또한, 단조 증감 검출부(203)는 화소값이 단조 감소하고 있는 영역으로부터 정점의 화소값의 부호를 기준으로 하여, 정점의 화소값의 부호와 동일 부호의 화소값을 가지는 화소로 이루어지는 영역을 세선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다.

예를 들면, 단조 증감 검출부(203)는 각 화소의 화소값의 부호와, 상측 화소의 화소값의 부호 및 하측 화소의 화소값의 부호를 비교하고, 화소값의 부호가 변화하는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역으로부터 정점과 동일 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

이와 같이, 단조 증감 검출부(203)는 상하 방향으로 나란히 하고, 정점에 대하여 화소값이 단조 감소해서, 정점과 동일 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

도 47은 공간 방향 Y의 위치에 대한 화소값으로부터 세선의 화상이 투영된 화소의 영역을 검출하는, 정점의 검출 및 단조 증감 영역의 검출 처리를 설명한 도면이다.

도 47 내지 도 49에서, P는 정점을 나타낸다. 도 41에서 구성이 나타난 데이터 정상성 검출부(101)의 설명에서, P는 정점을 나타낸다.

정점 검출부(202)는 각 화소의 화소값과, 이것에 공간 방향 Y에 인접하는 화소의 화소값을 비교하여, 공간 방향 Y에 인접하는 2개 화소의 화소값보다 큰 화소값을 가지는 화소를 검출함으로써, 정점 P를 검출한다.

정점 P와, 정점 P의 공간 방향 Y의 양측 화소로 이루어지는 영역은 정점 P의 화소값에 대하여, 공간 방향 Y의 양측 화소의 화소값이 단조롭게 감소하는 단조 감소 영역이다. 도 47에서, A로 나타낸 화살표, 및 B로 나타낸 화살표는, 정점 P의 양측에 존재하는 단조 감소 영역을 나타낸다.

단조 증감 검출부(203)는 각 화소의 화소값과, 그 화소에 공간 방향 Y에 인접하는 화소의 화소값과의 차분을 구해, 차분의 부호가 변화하는 화소를 검출한다. 단조 증감 검출부(203)는 검출된, 차분의 부호가 변화하는 화소와, 그 바로 앞쪽(정점 P측)의 화소와의 경계를 세선의 화상이 투영된 화소로 이루어지는 세선 영역의 경계로 한다.

도 47에서, 차분의 부호가 변화하는 화소와, 그 바로 앞쪽(정점 P측)의 화소와의 경계인 세선 영역의 경계는 C로 나타낸다.

또한, 단조 증감 검출부(203)는 단조 감소 영역에서, 각 화소의 화소값의 부호와, 그 화소에 공간 방향 Y에 인접하는 화소의 화소값의 부호를 비교하여, 화소값의 부호가 변화하는 화소를 검출한다. 단조 증감 검출부(203)는 검출된 화소값의 부호가 변화하는 화소와, 그 바로 앞쪽(정점 P측)의 화소와의 경계를 세선 영역의 경계로 한다.

도 47에서, 화소값의 부호가 변화하는 화소와, 그 바로 앞쪽(정점 P측)의 화소와의 경계인 세선 영역의 경계는 D로 나타낸다.

도 47에서 나타낸 바와 같이, 세선의 화상이 투영된 화소로 이루어지는 세선 영역 F는 세선 영역의 경계 C와, 세선 영역의 경계 D에 끼워지는 영역으로 된다.

단조 증감 검출부(203)는 이와 같은 단조 증감 영역으로 이루어지는 세선 영역 F 중에서, 미리 정한 임계값보다 긴 세선 영역 F, 즉, 임계값보다 많은 수의 화소를 포함하는 세선 영역 F를 구한다. 예를 들면, 임계값이 3일 때, 단조 증감 검출부(203)는 4개 이상의 화소를 포함하는 세선 영역 F를 검출한다.

또한, 이와 같이 검출된 세선 영역 F 중에서, 단조 증감 검출부(203)는 정점 P의 화소값, 및 정점 P의 우측 화소의 화소값, 및 정점 P의 좌측 화소의 화소값을 각각 임계값과 비교하여, 정점 P의 화소값이 임계값을 넘고, 정점 P의 우측 화소의 화소값이 임계값 이하이며, 정점 P의 좌측 화소의 화소값이 임계값 이하인 정점 P가 속하는 세선 영역 F를 검출하고, 검출된 세선 영역 F를 세선의 화상 성분을 포함하는 화소로 이루어지는 영역의 후보로 한다.

바꾸어 말하면, 정점 P의 화소값이 임계값 이하이거나, 정점 P의 우측 화소의 화소값이 임계값을 초과하거나, 또는 정점 P의 좌측 화소의 화소값이 임계값을 초과하는 정점 P가 속하는 세선 영역 F는 세선의 화상 성분을 포함하지 않는다고 판정되고, 세선의 화상 성분을 포함하는 화소로 이루어지는 영역의 후보로부터 제거된다.

즉, 도 48에서 나타낸 바와 같이, 단조 증감 검출부(203)는 정점 P의 화소값을 임계값과 비교하는 동시에, 정점 P에 대하여, 공간 방향 X(점선 AA'로 나타낸 방향)에 인접하는 화소의 화소값을 임계값과 비교하여, 정점 P의 화소값이 임계값을 넘고, 공간 방향 X에 인접하는 화소의 화소값이 임계값 이하인, 정점 P가 속하는 세선 영역 F를 검출한다.

도 49는 도 48의 점선 AA'로 나타낸 공간 방향 X에 나란히 하는 화소의 화소값을 나타낸 도면이다. 정점 P의 화소값이 임계값 Th_S를 넘고, 정점 P의 공간 방향 X에 인접하는 화소의 화소값이 임계값 Th_S 이하인, 정점 P가 속하는 세선 영역 F는 세선의 성분을 포함한다.

그리고, 단조 증감 검출부(203)는 배경의 화소값을 기준으로 하여, 정점 P의 화소값과 배경의 화소값과의 차분을 임계값과 비교하는 동시에, 정점 P에 대하여, 공간 방향 X에 인접하는 화소의 화소값과 배경의 화소값과의 차분을 임계값과 비교하여, 정점 P의 화소값과 배경의 화소값과의 차분이 임계값을 넘고, 공간 방향 X에 인접하는 화소의 화소값과 배경의 화소값과의 차분이 임계값 이하인, 정점 P가 속하는 세선 영역 F를 검출하도록 해도 된다.

단조 증감 검출부(203)는 정점 P를 기준으로 하여, 화소값이 단조 감소하고, 화소값의 부호가 정점 P와 동일한 화소로 이루어지는 영역으로서, 그 정점 P가 임계값을 넘고, 정점 P의 우측 화소의 화소값이 임계값 이하이며, 정점 P의 좌측 화소의 화소값이 임계값 이하인 것을 나타내는 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

화면의 상하 방향으로 1렬로 나란히 하는 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역을 검출하는 경우에 있어서, 단조 증감 영역 정보에 의해 나타나는 영역에 속하는 화소는 상하 방향으로 나란히 하여, 세선의 화상이 투영된 화소를 포함한다. 즉, 단조 증감 영역 정보에 의해 나타나는 영역은 화면의 상하 방향으로 1렬로 나란히 하는 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역을 포함한다.

이와 같이, 정점 검출부(202) 및 단조 증감 검출부(203)는 세선의 화상이 투영된 화소에서, 공간 방향 Y의 화소값의 변화가 가우스 분포와 유사하다고 하는 성질을 이용하여, 세선의 화상이 투영된 화소로 이루어지는 정상 영역을 검출한다.

연속성 검출부(204)는 단조 증감 검출부(203)로부터 공급된 단조 증감 영역 정보에서 나타나는, 상하 방향으로 나란히 하는 화소로 이루어지는 영역 중, 가로 방향으로 인접하고 있는 화소를 포함하는 영역, 즉, 서로 닮은 화소값의 변화를 가지고, 세로 방향으로 중복되어 있는 영역을 연속되어 있는 영역으로서 검출하고, 정점 정보, 및 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다. 데이터 정상성 정보는 단조 증감 영역 정보, 및 영역의 연결을 나타내는 정보 등을 포함하고 있다.

세선이 투영된 화소에서, 원호 형상이 인접하도록 일정한 간격으로 나란히 하므로, 검출된 연속되어 있는 영역은 세선이 투영된 화소를 포함하고 있다.

검출된 연속되어 있는 영역이 세선이 투영된 원호 형상이 인접하도록 일정한 간격으로 나란히 하는 화소를 포함하므로, 검출된 연속되어 있는 영역을 정상 영역으로 하고, 연속성 검출부(204)는 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다.

즉, 연속성 검출부(204)는 길이 방향으로 연속한다고 하는, 실세계(1)의 세선 화상의 정상성으로부터 생긴, 세선을 촬상하여 얻어진 데이터(3)에서의, 원호 형상이 인접하도록 일정한 간격으로 나란히 하는 정상성을 이용하여, 정점 검출부(202) 및 단조 증감 검출부(203)에서 검출된 영역의 후보를 더욱 좁힌다.

도 50은 단조 증감 영역의 연속성 검출 처리를 설명한 도면이다.

도 50에 나타낸 바와 같이, 연속성 검출부(204)는 화면의 세로 방향으로 1렬로 나란히 하는 화소로 이루어지는 세선 영역 F에 대하여, 가로 방향으로 인접하는 화소를 포함하고 있을 때, 2개의 단조 증감 영역 사이에 연속성이 있는 것으로 하고, 가로 방향으로 인접하는 화소를 포함하고 있지 않을 때, 2개의 세선 영역 F 사이에 연속성이 없는 것으로 한다. 예를 들면, 화면의 세로 방향으로 1렬로 나란히 하는 화소로 이루어지는 세선 영역 F_-1은 화면의 세로 방향으로 1렬로 나란히 하는 화소로 이루어지는 세선 영역 F₀의 화소와 가로 방향으로 인접하는 화소를 포함하고 있을 때, 세선 영역 F₀와 연속되어 있는 것으로 된다. 화면의 세로 방향으로 1렬로 나란히 하는 화소로 이루어지는 세선 영역 F₀는 화면의 세로 방향으로 1렬로 나란히 하는 화소로 이루어지는 세선 영역 F₁의 화소와 가로 방향으로 인접하는 화소를 포함하고 있을 때, 세선 영역 F₁와 연속되어 있는 것으로 된다.

이와 같이, 정점 검출부(202) 내지 연속성 검출부(204)에 의해, 화면의 상하 방향으로 1렬로 나란히 하는 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역이 검출된다.

정점 검출부(202) 내지 연속성 검출부(204)는 전술한 바와 같이, 화면의 상하 방향으로 1렬로 나란히 하는 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역을 검출하고, 또한 화면의 좌우 방향으로 1렬로 나란히 하는 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역을 검출한다.

그리고, 처리의 순서는, 본 발명을 한정하지 않고, 병렬로 실행하도록 해도 되는 것은 당연하다.

즉, 정점 검출부(202)는 화면의 좌우 방향으로 1렬로 나란히 하는 화소를 대상으로 하고, 화면의 좌측에 위치하는 화소의 화소값, 및 화면의 우측에 위치하는 화소의 화소값과 비교하여, 보다 큰 화소값을 가지는 화소를 정점으로서 검출하고, 검출한 정점의 위치를 나타내는 정점 정보를 단조 증감 검출부(203)에 공급한다. 정점 검출부(202)는 1개의 화상, 예를 들면, 1 프레임의 화상으로부터 1 또는 복수개의 정점을 검출한다.

예를 들면, 정점 검출부(202)는 1 프레임의 화상으로부터 아직 주목 화소로 되어 있지 않은 화소 중에서 주목 화소를 선택하여, 주목 화소의 화소값과, 주목 화소의 좌측 화소의 화소값을 비교하고, 주목 화소의 화소값과, 주목 화소의 우측 화소의 화소값을 비교하여, 좌측 화소의 화소값보다 큰 화소값을 가지고, 우측 화소의 화소값보다 큰 화소값을 가지는 주목 화소를 검출하여, 검출된 주목 화소를 정점으로 한다. 정점 검출부(202)는 검출된 정점을 나타내는 정점 정보를 단조 증감 검출부(203)에 공급한다.

정점 검출부(202)가 정점을 검출하지 않는 경우도 있다.

단조 증감 검출부(203)는 정점 검출부(202)에서 검출된 정점에 대하여 좌우 방향으로 1렬로 나란히 하는 화소로서, 세선의 화상이 투영된 화소로 이루어지는 영역의 후보를 검출하고, 정점 정보와 함께, 검출한 영역을 나타내는 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

보다 구체적으로는, 단조 증감 검출부(203)는 정점의 화소값을 기준으로 하여, 단조 감소하고 있는 화소값을 가지는 화소로 이루어지는 영역을 세선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다.

예를 들면, 단조 증감 검출부(203)는 정점에 대하여 가로로 1렬의 각 화소에 대하여, 각 화소의 화소값과, 좌측 화소의 화소값과의 차분, 및 우측 화소의 화소값과의 차분을 구한다. 그리고, 단조 증감 검출부(203)는 차분의 부호가 변화하는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역을 검출한다.

또한, 단조 증감 검출부(203)는 화소값이 단조 감소하고 있는 영역으로부터 정점의 화소값의 부호를 기준으로 하여, 정점의 화소값의 부호와 동일 부호의 화소값을 가지는 화소로 이루어지는 영역을 세선의 화상이 투영된 화소로 이루어지는 영역의 후보로서 검출한다.

예를 들면, 단조 증감 검출부(203)는 각 화소의 화소값의 부호와, 좌측 화소의 화소값의 부호 또는 우측 화소의 화소값의 부호를 비교하고, 화소값의 부호가 변화하는 화소를 검출함으로써, 화소값이 단조 감소하고 있는 영역으로부터 정점과 동일 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

이와 같이, 단조 증감 검출부(203)는 좌우 방향으로 나란히 하고, 정점에 대하여 화소값이 단조 감소하고, 정점과 동일 부호의 화소값을 가지는 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는 이와 같은 단조 증감 영역으로 이루어지는 세선 영역 중에서, 미리 정한 임계값보다 긴 세선 영역, 즉, 임계값보다 많은 수의 화소를 포함하는 세선 영역을 구한다.

또한, 이와 같이 검출된 세선 영역 중에서, 단조 증감 검출부(203)는 정점의 화소값, 및 정점의 상측 화소의 화소값, 및 정점의 하측 화소의 화소값을 각각 임계값과 비교하여, 정점의 화소값이 임계값을 넘고, 정점의 상측 화소의 화소값이 임계값 이하이며, 정점의 하측 화소의 화소값이 임계값 이하인 정점이 속하는 세선 영역을 검출하고, 검출된 세선 영역을 세선의 화상 성분을 포함하는 화소로 이루어지는 영역의 후보로 한다.

바꾸어 말하면, 정점의 화소값이 임계값 이하이거나, 정점의 상측 화소의 화소값이 임계값을 초과하거나, 또는 정점의 하측 화소의 화소값이 임계값을 초과하는 정점이 속하는 세선 영역은 세선의 화상 성분을 포함하지 않는 것으로 판정되고, 세선의 화상 성분을 포함하는 화소로 이루어지는 영역의 후보로부터 제거된다.

그리고, 단조 증감 검출부(203)는 배경의 화소값을 기준으로 하여, 정점의 화소값과 배경의 화소값과의 차분을 임계값과 비교하는 동시에, 정점에 대하여, 상하 방향으로 인접하는 화소의 화소값과 배경의 화소값과의 차분을 임계값과 비교하여, 정점의 화소값과 배경의 화소값과의 차분이 임계값을 넘고, 상하 방향으로 인접하는 화소의 화소값과 배경의 화소값과의 차분이 임계값 이하인, 검출된 세선 영역을 세선의 화상 성분을 포함하는 화소로 이루어지는 영역의 후보로 하도록 해도 된다.

단조 증감 검출부(203)는 정점을 기준으로 하여, 화소값이 단조 감소하고, 화소값의 부호가 정점과 동일 화소로 이루어지는 영역으로서, 그 정점이 임계값을 넘고, 정점의 우측 화소의 화소값이 임계값 이하이며, 정점의 좌측 화소의 화소값이 임계값 이하인 것을 나타내는 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

화면의 좌우 방향으로 1렬로 나란히 하는 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역을 검출하는 경우에 있어서, 단조 증감 영역 정보에 의해 나타나는 영역에 속하는 화소는 좌우 방향으로 나란히 하여, 세선의 화상이 투영된 화소를 포함한다. 즉, 단조 증감 영역 정보에 의해 나타나는 영역은 화면의 좌우 방향으로 나란히 하는 1렬의 화소로서, 세선의 화상이 투영된 것으로 이루어지는 영역을 포함한다.

연속성 검출부(204)는 단조 증감 검출부(203)로부터 공급된 단조 증감 영역 정보에서 나타나는, 좌우 방향으로 나란히 하는 화소로 이루어지는 영역 중, 세로 방향으로 인접하고 있는 화소를 포함하는 영역, 즉, 서로 닮은 화소값의 변화를 가지고, 가로 방향으로 중복되어 있는 영역을 연속되어 있는 영역으로서 검출하고, 정점 정보, 및 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다. 데이터 정상성 정보는 영역의 연결을 나타내는 정보를 포함하고 있다.

세선이 투영된 화소에서, 원호 형상이 인접하도록 일정한 간격으로 나란히 하므로, 검출된 연속되어 있는 영역은 세선이 투영된 화소를 포함하고 있다.

검출된 연속되어 있는 영역이, 세선이 투영된 원호 형상이 인접하도록 일정한 간격으로 나란히 하는 화소를 포함하므로, 검출된 연속되어 있는 영역을 정상 영역으로 하고, 연속성 검출부(204)는 검출된 연속되어 있는 영역을 나타내는 데이터 정상성 정보를 출력한다.

즉, 연속성 검출부(204)는 길이 방향으로 연속한다는, 실세계(1)의 세선 화상의 정상성으로부터 생긴, 세선을 촬상하여 얻어진 데이터(3)에서의, 원호 형상이 인접하도록 일정한 간격으로 나란히 하는 정상성을 이용하여, 정점 검출부(202) 및 단조 증감 검출부(203)에서 검출된 영역의 후보를 더욱 좁힌다.

도 51은 평면에서의 근사에 의해 정상 성분을 추출한 화상의 예를 나타낸 도면이다. 도 52는 도 51에 나타낸 화상으로부터 정점을 검출하고, 단조 감소하고 있는 영역을 검출한 흰색으로 나타나는 부분 결과를 나타낸 도면이다. 도 52에서, 흰색으로 나타나는 부분이 검출된 영역이다.

도 53은 도 52에 나타낸 화상으로부터, 인접하고 있는 영역의 연속성을 검출하고, 연속성이 검출된 영역을 나타낸 도면이다. 도 53에서, 흰색으로 나타나는 부분이, 연속성이 검출된 영역이다. 연속성의 검출에 의해 영역이 더욱 특정되어 있는 것을 알 수 있다.

도 54는 도 53에 나타낸 영역의 화소값, 즉, 연속성이 검출된 영역의 화소값을 나타낸 도면이다.

이와 같이, 데이터 정상성 검출부(101)는 입력 화상인 데이터(3)에 포함되어 있는 정상성을 검출할 수 있다. 즉, 데이터 정상성 검출부(101)는 세선인 실세계(1) 화상이 데이터(3)에 투영됨으로써 생긴, 데이터(3)에 포함되는 데이터의 정상성을 검출할 수 있다. 데이터 정상성 검출부(101)는 데이터(3)로부터 세선인 실세계(1) 화상이 투영된 화소로 이루어지는 영역을 검출한다.

도 55는 정상성 검출부(101)에서의, 세선의 화상이 투영된, 정상성을 가지는 영역 검출의 다른 처리예를 나타낸 도면이다. 정상성 검출부(101)는 도 55에 나타낸 바와 같이, 각 화소에 대하여, 인접하는 화소와의 화소값의 차분의 절대값을 계산한다. 계산된 차분의 절대값은 화소에 대응시켜 배치된다. 예를 들면, 도 55에 나타낸 바와 같이, 화소값이 각각 P0, P1, P2인 화소가 나란히 하고 있을 때, 정상성 검출부(101)는 차분 d0=P0-P1 및 차분 d1=P1-P2를 계산한다. 또한, 정상성 검출부(101)는 차분 d0 및 차분 d1의 절대값을 산출한다.

화소값 P0, P1, 및 P2에 포함되어 있는 비정상성 성분이 동일할 때, 차분 d0 및 차분 d1에는, 세선의 성분에 대응한 값만이 설정되게 된다.

따라서, 정상성 검출부(101)는 화소에 대응시켜 배치되어 있는 차분의 절대값 중, 인접하는 차분의 값이 동일할 때, 그 2개의 차분의 절대값에 대응하는 화소(2개의 차분의 절대값에 끼워진 화소)에 세선의 성분이 포함되어 있다고 판정한다. 그리고, 정상성 검출부(101)는 화소에 대응시켜 배치되어 있는 차분의 절대값 중, 인접하는 차분의 값이 동일한 경우, 차분의 절대값이 소정 임계값보다 작을 때, 그 2개의 차분의 절대값에 대응하는 화소(2개의 차분의 절대값에 끼워진 화소)에 세선의 성분이 포함되어 있지 않다고 판정한다.

정상성 검출부(101)에서는, 이와 같은 간편한 방법으로 세선을 검출할 수도 있다.

도 56은 정상성 검출의 처리를 설명한 플로차트이다.

스텝 S201에서, 비정상 성분 추출부(201)는 입력 화상으로부터 세선이 투영된 부분 이외의 부분인 비정상 성분을 추출한다. 비정상 성분 추출부(201)는 입력 화상과 함께, 추출된 비정상 성분을 나타내는 비정상 성분 정보를 정점 검출부(202) 및 단조 증감 검출부(203)에 공급한다. 비정상 성분의 추출 처리의 상세는 후술한다.

스텝 S202에서, 정점 검출부(202)는 비정상 성분 추출부(201)로부터 공급된 비정상 성분 정보를 기초로 입력 화상으로부터 비정상 성분을 제거하고, 입력 화상에 정상 성분을 포함하는 화소만을 남긴다. 또한, 스텝 S202에서, 정점 검출부(202)는 정점을 검출한다.

즉, 정점 검출부(202)는 화면의 세로 방향을 기준으로 하여, 처리를 실행하는 경우, 정상 성분을 포함하는 화소에 대하여, 각 화소의 화소값과, 상측 및 하측 화소의 화소값을 비교하여, 상측 화소의 화소값 및 하측 화소의 화소값보다 큰 화소값을 가지는 화소를 검출함으로써, 정점을 검출한다. 또, 스텝 S202에서, 정점 검출부(202)는 화면의 가로 방향을 기준으로 하여, 처리를 실행하는 경우, 정상 성분을 포함하는 화소에 대하여, 각 화소의 화소값과, 우측 및 좌측 화소의 화소값을 비교하여, 우측 화소의 화소값 및 좌측 화소의 화소값보다 큰 화소값을 가지는 화소를 검출함으로써, 정점을 검출한다.

정점 검출부(202)는 검출한 정점을 나타내는 정점 정보를 단조 증감 검출부(203)에 공급한다.

스텝 S203에서, 단조 증감 검출부(203)는 비정상 성분 추출부(201)로부터 공급된 비정상 성분 정보를 기초로 입력 화상으로부터 비정상 성분을 제거하고, 입력 화상에 정상 성분을 포함하는 화소만을 남긴다. 또한, 스텝 S203에서, 단조 증감 검출부(203)는 정점 검출부(202)로부터 공급된, 정점의 위치를 나타내는 정점 정보를 기초로 정점에 대한 단조 증감을 검출함으로써, 데이터의 정상성을 가지는 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는 화면의 세로 방향을 기준으로 하여, 처리를 실행하는 경우, 정점의 화소값, 및 정점에 대하여 세로로 1렬로 나란히 하는 화소의 화소값을 기초로 세로로 나란히 하는 1렬의 화소로서, 1개의 세선 화상이 투영된 화소로 이루어지는 단조 증감을 검출함으로써, 데이터의 정상성을 가지는 화소로 이루어지는 영역을 검출한다. 즉, 스텝 S203에서, 단조 증감 검출부(203)는 화면의 세로 방향을 기준으로 하여, 처리를 실행하는 경우, 정점 및 정점에 대하여 세로로 1렬로 나란히 하는 화소에 대하여, 각 화소의 화소값과, 상측 또는 하측 화소의 화소값과의 차분을 구해, 차분의 부호가 변화하는 화소를 검출한다. 또, 단조 증감 검출부(203)는 정점 및 정점에 대하여 세로로 1렬로 나란히 하는 화소에 대하여, 각 화소의 화소값의 부호와, 그 화소의 상측 또는 하측 화소의 화소값의 부호를 비교하고, 화소값의 부호가 변화하는 화소를 검출한다. 또한, 단조 증감 검출부(203)는 정점의 화소값, 및 정점의 우측 및 좌측 화소의 화소값을 임계값과 비교하여, 정점의 화소값이 임계값을 넘고, 우측 및 좌측 화소의 화소값이 임계값 이하인 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는 이와 같이 검출된 영역을 단조 증감 영역으로서, 단조 증감 영역을 나타내는 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

또, 단조 증감 검출부(203)는 화면의 가로 방향을 기준으로 하여, 처리를 실행하는 경우, 정점의 화소값, 및 정점에 대하여 가로로 1렬로 나란히 하는 화소의 화소값을 기초로 가로로 나란히 하는 1렬의 화소로서, 1개의 세선 화상이 투영된 화소로 이루어지는 단조 증감을 검출함으로써, 데이터의 정상성을 가지는 화소로 이루어지는 영역을 검출한다. 즉, 스텝 S203에서, 단조 증감 검출부(203)는 화면의 가로 방향을 기준으로 하여, 처리를 실행하는 경우, 정점 및 정점에 대하여 가로로 1렬로 나란히 하는 화소에 대하여, 각 화소의 화소값과, 좌측 또는 우측 화소의 화소값과의 차분을 구해, 차분의 부호가 변화하는 화소를 검출한다. 또, 단조 증감 검출부(203)는 정점 및 정점에 대하여 가로로 1렬로 나란히 하는 화소에 대하여, 각 화소의 화소값의 부호와, 그 화소의 좌측 또는 우측 화소의 화소값의 부호를 비교하고, 화소값의 부호가 변화하는 화소를 검출한다. 또한, 단조 증감 검출부(203)는 정점의 화소값, 및 정점의 상측 및 하측 화소의 화소값을 임계값과 비교하여, 정점의 화소값이 임계값을 넘고, 상측 및 하측 화소의 화소값이 임계값 이하인 화소로 이루어지는 영역을 검출한다.

단조 증감 검출부(203)는 이와 같이 검출된 영역을 단조 증감 영역으로서, 단조 증감 영역을 나타내는 단조 증감 영역 정보를 연속성 검출부(204)에 공급한다.

스텝 S204에서, 단조 증감 검출부(203)는 전(全)화소의 처리가 종료되었는지 여부를 판정한다. 예를 들면, 비정상 성분 추출부(201)는 입력 화상의 하나의 화면(예를 들면, 프레임 또는 필드 등)의 전 화소에 대하여, 정점을 검출하고, 단조 증감 영역을 검출했는지 여부를 판정한다.

스텝 S204에서, 전 화소의 처리가 종료되어 있지 않은, 즉, 정점의 검출 및 단조 증감 영역의 검출 처리 대상으로 되어 있지 않은 화소가 아직 있다고 판정된 경우, 스텝 S202로 복귀하고, 정점의 검출 및 단조 증감 영역의 검출 처리 대상으로 되어 있지 않은 화소로부터 처리의 대상이 되는 화소를 선택하여, 정점의 검출 및 단조 증감 영역의 검출 처리를 반복한다.

스텝 S204에서, 전 화소의 처리가 종료된, 즉, 모든 화소를 대상으로 하여 정점 및 단조 증감 영역이 검출되었다고 판정된 경우, 스텝 S205로 진행하고, 연속성 검출부(204)는 단조 증감 영역 정보를 기초로 검출된 영역의 연속성을 검출한다. 예를 들면, 연속성 검출부(204)는 단조 증감 영역 정보에서 나타나는, 화면의 세로 방향으로 1렬로 나란히 하는 화소로 이루어지는 단조 증감 영역에 대하여, 가로 방향으로 인접하는 화소를 포함하고 있을 때, 2개의 단조 증감 영역 사이에 연속성이 있는 것으로 하고, 가로 방향으로 인접하는 화소를 포함하고 있지 않을 때, 2개의 단조 증감 영역 사이에 연속성이 없는 것으로 한다. 예를 들면, 연속성 검출부(204)는 단조 증감 영역 정보에서 나타나는, 화면의 가로 방향으로 1렬로 나란히 하는 화소로 이루어지는 단조 증감 영역에 대하여 세로 방향으로 인접하는 화소를 포함하고 있을 때, 2개의 단조 증감 영역 사이에 연속성이 있는 것으로 하고, 세로 방향으로 인접하는 화소를 포함하고 있지 않을 때, 2개의 단조 증감 영역 사이에 연속성이 없는 것으로 한다.

연속성 검출부(204)는 검출된 연속되어 있는 영역을 데이터의 정상성을 가지는 정상 영역으로 하고, 정점의 위치 및 정상 영역을 나타내는 데이터 정상성 정보를 출력한다. 데이터 정상성 정보는 영역의 연결을 나타내는 정보를 포함하고 있다. 연속성 검출부(204)로부터 출력되는 데이터 정상성 정보는 실세계(1)의 세선 화상이 투영된 화소로 이루어지는 정상 영역인 세선 영역을 나타낸다.

스텝 S206에서, 정상성 방향 검출부(205)는 전 화소의 처리가 종료되었는지 여부를 판정한다. 즉, 정상성 방향 검출부(205)는 입력 화상의 소정 프레임의 전 화소에 대하여, 영역의 연속성을 검출했는지 여부를 판정한다.

스텝 S206에서, 전 화소의 처리가 종료되어 있지 않은, 즉, 영역의 연속성 검출의 처리 대상으로 되어 있지 않은 화소가 아직 있다고 판정된 경우, 스텝 S205로 복귀하고, 영역의 연속성 검출의 처리 대상으로 되어 있지 않은 화소로부터 처리의 대상이 되는 화소를 선택하여, 영역의 연속성 검출 처리를 반복한다.

스텝 S206에서, 전 화소의 처리가 종료된, 즉, 모든 화소를 대상으로 하여 영역의 연속성이 검출되었다고 판정된 경우, 처리는 종료된다.

이와 같이, 입력 화상인 데이터(3)에 포함되어 있는 정상성이 검출된다. 즉, 세선인 실세계(1) 화상이 데이터(3)에 투영됨으로써 생긴, 데이터(3)에 포함되는 데이터의 정상성이 검출되고, 데이터(3)로부터 세선인 실세계(1) 화상이 투영된 화소로 이루어지는 데이터의 정상성을 가지는 영역이 검출된다.

그리고, 도 41에서 구성이 나타난 데이터 정상성 검출부(101)는 데이터(3)의 프레임으로부터 검출된 데이터의 정상성을 가지는 영역을 기초로 시간 방향 데이터의 정상성을 검출할 수 있다.

예를 들면, 도 57에 나타낸 바와 같이, 연속성 검출부(204)는 프레임 #n에서 검출된 데이터의 정상성을 가지는 영역, 프레임 #n-1에서 검출된 데이터의 정상성을 가지는 영역, 및 프레임 #n+1에서 검출된 데이터의 정상성을 가지는 영역을 기초로 영역의 단부를 연결함으로써, 시간 방향 데이터의 정상성을 검출한다.

프레임 #n-1은 프레임 #n에 대하여 시간적으로 전의 프레임이며, 프레임 #n+1은 프레임 #n에 대하여 시간적으로 후의 프레임이다. 즉, 프레임 #n-1, 프레임 #n, 및 프레임 #n+1은 프레임 #n-1, 프레임 #n, 및 프레임 #n+1의 순으로 표시된다.

보다 구체적으로는, 도 57에서, G는 프레임 #n에서 검출된 데이터의 정상성을 가지는 영역, 프레임 #n-1에서 검출된 데이터의 정상성을 가지는 영역, 및 프레임 #n+1에서 검출된 데이터의 정상성을 가지는 영역 각각의 일단을 연결함으로써 얻어진 모션 벡터를 나타내고, G'는, 검출된 데이터의 정상성을 가지는 영역 각각의 다른 일단을 연결함으로써 얻어진 모션 벡터를 나타낸다. 모션 벡터 G 및 모션 벡터 G'는 시간 방향 데이터 정상성의 일례이다.

또한, 도 41에서 구성이 나타난 데이터 정상성 검출부(101)는 데이터의 정상성을 가지는 영역의 길이를 나타내는 정보를 데이터 정상성 정보로서 출력할 수 있다.

도 58은 데이터의 정상성을 가지고 있지 않은 화상 데이터의 부분인 비정상 성분을 평면으로 근사시켜, 비정상 성분을 추출하는 비정상 성분 추출부(201)의 구성을 나타낸 블록도이다.

도 58에 구성을 나타낸 비정상 성분 추출부(201)는 입력 화상으로부터 소정 수의 화소로 이루어지는 블록을 추출하고, 블록과 평면으로 나타난 값과의 오차가 소정 임계값 미만이 되도록, 블록을 평면으로 근사시켜, 비정상 성분을 추출한다.

입력 화상은 블록 추출부(221)에 공급되는 동시에, 그대로 출력된다.

블록 추출부(221)는 입력 화상으로부터 소정 수의 화소로 이루어지는 블록을 추출한다. 예를 들면, 블록 추출부(221)는 7×7개의 화소로 이루어지는 블록을 추출하여, 평면 근사부(222)에 공급한다. 예를 들면, 블록 추출부(221)는 추출되는 블록의 중심이 되는 화소를 래스터 스캔순으로 이동시키고, 차례로, 입력 화상으로부터 블록을 추출한다.

평면 근사부(222)는 블록에 포함되는 화소의 화소값을 소정 평면으로 근사시킨다. 예를 들면, 평면 근사부(222)는 식 (24)로 표현되는 평면에서 블록에 포함되는 화소의 화소값을 근사시킨다.

z=ax+by+c ···(24)

식 (24)에서, x는 화소의 화면 상의 한쪽 방향(공간 방향 X)의 위치를 나타내고, y는 화소의 화면 상의 다른 한쪽 방향(공간 방향 Y)의 위치를 나타낸다. z는 평면으로 나타나는 근사값을 나타낸다. a는 평면의 공간 방향 X의 경사를 나타내고, b는 평면의 공간 방향 Y의 경사를 나타낸다. 식 (24)에서, c는 평면의 오프셋(절편(切片))을 나타낸다.

예를 들면, 평면 근사부(222)는 회귀의 처리에 의해 경사 a, 경사 b, 및 오프셋 c를 구함으로써, 식 (24)로 표현되는 평면에서, 블록에 포함되는 화소의 화소값을 근사시킨다. 평면 근사부(222)는 기각을 수반하는 회귀의 처리에 의해 경사 a, 경사 b, 및 오프셋 c를 구함으로써, 식 (24)로 표현되는 평면에서, 블록에 포함되는 화소의 화소값을 근사시킨다.

예를 들면, 평면 근사부(222)는 최소 제곱법에 의해 블록 화소의 화소값에 대하여, 오차가 최소가 되는 식 (24)로 표현되는 평면을 구함으로써, 평면에서 블록에 포함되는 화소의 화소값을 근사시킨다.

그리고, 평면 근사부(222)는 식 (24)로 표현되는 평면에서 블록을 근사시키는 것으로 설명했지만, 식 (24)로 표현되는 평면에 한정되지 않고, 보다 높은 자유도를 가진 함수, 예를 들면, n차(N은 임의의 정수)의 다항식으로 표현되는 면에서 블록을 근사시키도록 해도 된다.

반복 판정부(223)는 블록의 화소값을 근사시킨 평면으로 나타나는 근사값과, 블록이 대응하는 화소의 화소값과의 오차를 계산한다. 식 (25)는 블록의 화소값을 근사시킨 평면으로 나타나는 근사값과, 블록이 대응하는 화소의 화소값 z_i와의 차분인 오차 e_i를 나타낸 식이다.

···(25)

식 (25)에서, z 하트(z에 ^를 교부한 문자를 z 하트라고 기술한다. 이하, 본 명세서에서, 동일하게 기재함)는 블록의 화소값을 근사시킨 평면으로 나타나는 근사값을 나타내고, a 하트는 블록의 화소값을 근사시킨 평면의 공간 방향 X의 경사를 나타내고, b 하트는 블록의 화소값을 근사시킨 평면의 공간 방향 Y의 경사를 나타낸다. 식 (25)에서, c 하트는 블록의 화소값을 근사시킨 평면의 오프셋(절편)을 나타낸다.

반복 판정부(223)는 식 (25)에서 나타나는, 근사값과 블록이 대응하는 화소의 화소값과의 오차 e_i가 가장 큰 화소를 기각한다. 이와 같이 함으로써, 세선이 투영된 화소, 즉 정상성을 가지는 화소가 기각되게 된다. 반복 판정부(223)는 기각한 화소를 나타내는 기각 정보를 평면 근사부(222)에 공급한다.

또한, 반복 판정부(223)는 표준 오차를 산출하고, 표준 오차가 미리 정한 근사 종료 판정용의 임계값 이상이며, 블록의 화소 중, 반 이상의 화소가 기각되어 있지 않을 때, 반복 판정부(223)는 평면 근사부(222)에, 블록에 포함되는 화소 중, 기각된 화소를 제외한 화소를 대상으로 하여, 평면에 의한 근사의 처리를 반복하게 한다.

정상성을 가지는 화소가 기각되므로, 기각된 화소를 제외한 화소를 대상으로 하여 평면으로 근사를 시킴으로써, 평면은 비정상 성분을 근사시키게 된다.

반복 판정부(223)는 표준 오차가 근사 종료 판정용의 임계값 미만일 때, 또는 블록의 화소 중, 반 이상의 화소가 기각되었을 때, 평면에 의한 근사를 종료한다.

5×5의 화소로 이루어지는 블록에 대하여, 표준 오차 e_s는, 예를 들면, 식 (26)에서 산출된다.

···(26)

여기에서, N은 화소의 수이다.

그리고, 반복 판정부(223)는 표준 오차에 한정되지 않고, 블록에 포함되는 모든 화소에 대한 오차의 2승의 합을 산출하고, 이하의 처리를 실행하도록 해도 된다.

여기에서, 래스터 스캔 방향으로 1 화소씩 어긋난 블록을 평면으로 근사시킬 때, 도 59에 나타낸 바와 같이, 도면 중 검은 동그라미로 나타낸 정상성을 가지는 화소, 즉 세선의 성분을 포함하는 화소는 복수회 기각되게 된다.

반복 판정부(223)는 평면에 의한 근사를 종료했을 때, 블록의 화소값을 근사시킨 평면을 나타내는 정보(식 (24)의 평면의 경사 및 절편)를 비정상 성분 정보로서 출력한다.

그리고, 반복 판정부(223)는 화소마다의 기각된 회수와 미리 정한 임계값을 비교하여, 기각된 회수가 임계값 이상인 화소를 정상 성분을 포함하는 화소인 것으로 하여, 정상 성분을 포함하는 화소를 나타내는 정보를 정상 성분 정보로서 출력하도록 해도 된다. 이 경우, 정점 검출부(202) 내지 정상성 방향 검출부(205)는 정상 성분 정보에서 나타나는, 정상 성분을 포함하는 화소를 대상으로 하여, 각각의 처리를 실행한다.

도 60 내지 도 67을 참조하여, 비정상 성분 추출 처리 결과의 예를 설명한다.

도 60은 세선이 포함되는 화상으로부터 원래 화상의 2×2 화소의 화소값의 평균값을 화소값으로 하여 생성한 입력 화상의 예를 나타낸 도면이다.

도 61은 도 60에서 나타낸 화상을, 기각을 하지 않고 평면으로 근사시킨 결과 얻어지는 표준 오차를 화소값으로 한 화상을 나타낸 도면이다. 도 61에서 나타낸 예에서, 주목하고 있는 1개의 화소에 대한 5×5의 화소로 이루어지는 블록을 평면으로 근사시켰다. 도 61에서, 흰 화소는 보다 큰 화소값, 즉, 보다 큰 표준 오차를 가지는 화소이며, 검은 화소는 보다 작은 화소값, 즉, 보다 작은 표준 오차를 가지는 화소이다.

도 61로부터 기각을 하지 않고 평면으로 근사시킨 결과 얻어지는 표준 오차를 화소값으로 한 경우, 비정상부의 주변으로 넓게, 큰 값이 구해지고 있는 것을 확인할 수 있다.

도 62 내지 도 67에서 나타낸 예에서, 주목하고 있는 1개의 화소에 대한 7×7개의 화소로 이루어지는 블록을 평면으로 근사시켰다. 7×7개의 화소로 이루어지는 블록을 평면으로 근사시키는 경우, 1개의 화소가 49의 블록에 반복 포함되게 되므로, 정상 성분을 포함하는 화소는 가장 많아 49회 기각되게 된다.

도 62는 도 60에서 나타낸 화상을, 기각을 하여 평면으로 근사시켰을 때, 얻어지는 표준 오차를 화소값으로 한 화상이다.

도 62에서, 흰 화소는 보다 큰 화소값, 즉, 보다 큰 표준 오차를 가지는 화소이며, 검은 화소는 보다 작은 화소값, 즉, 보다 작은 표준 오차를 가지는 화소이다. 기각을 하지 않은 경우와 비교하여, 기각을 한 경우, 전체적으로, 표준 오차가 보다 작아지는 것을 알 수 있다.

도 63은 도 60에서 나타낸 화상을, 기각을 하여 평면으로 근사시켰을 때, 기각된 회수를 화소값으로 한 화상을 나타낸 도면이다. 도 63에서, 흰 화소는 보다 큰 화소값, 즉, 기각된 회수가 보다 많은 화소이며, 검은 화소는 보다 작은 화소값, 즉, 기각된 회수가 보다 적은 화소이다.

도 63으로부터 세선의 화상이 투영된 화소는 보다 많이 기각되어 있는 것을 알 수 있다. 기각된 회수를 화소값으로 한 화상을 사용하여, 입력 화상의 비정상부를 마스크하는 화상을 생성하는 것도 가능하다.

도 64는 블록의 화소값을 근사시킨 평면의 공간 방향 X의 경사를 화소값으로 한 화상을 나타낸 도면이다. 도 65는 블록의 화소값을 근사시킨 평면의 공간 방향 Y의 경사를 화소값으로 한 화상을 나타낸 도면이다.

도 66은 블록의 화소값을 근사시킨 평면으로 나타나는 근사값으로 이루어지는 화상을 나타낸 도면이다. 도 66에서 나타낸 화상으로부터는, 세선이 사라져있는 것을 알 수 있다.

도 67은 도 60에서 나타낸, 원래 화상의 2×2 화소의 블록 평균값을 화소의 화소값으로서 생성한 화상과, 도 66에서 나타낸, 평면으로 나타나는 근사값으로 이루어지는 화상과의 차분으로 이루어지는 화상을 나타낸 도면이다. 도 67의 화상의 화소값은 비정상 성분이 제거되므로, 세선의 화상이 투영된 값만을 포함한다. 도 67로부터도 알 수 있는 바와 같이, 원래의 화소값과 근사시킨 평면으로 나타나는 근사값과의 차분으로 이루어지는 화상에서는, 원래 화상의 정상 성분이 잘 추출되어 있는 것을 확인할 수 있다.

기각된 회수, 블록 화소의 화소값을 근사시키는 평면의 공간 방향 X의 경사, 블록 화소의 화소값을 근사시키는 평면의 공간 방향 Y의 경사, 블록 화소의 화소값을 근사시키는 평면으로 나타나는 근사값, 및 오차 e_i는 입력 화상의 특징량으로서도 이용할 수 있다.

도 68은 스텝 S201에 대응하는, 도 58에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 비정상 성분의 추출 처리를 설명한 플로차트이다.

스텝 S221에서, 블록 추출부(221)는 입력 화소로부터 소정 수의 화소로 이루어지는 블록을 추출하고, 추출한 블록을 평면 근사부(222)에 공급한다. 예를 들면, 블록 추출부(221)는 입력 화소로부터 아직 선택되어 있지 않은 화소 중, 1개의 화소를 선택하고, 선택된 화소를 중심으로 하는 7×7개의 화소로 이루어지는 블록을 추출한다. 예를 들면, 블록 추출부(221)는 래스터 스캔순으로 화소를 선택할 수 있다.

스텝 S222에서, 평면 근사부(222)는 추출된 블록을 평면으로 근사시킨다. 평면 근사부(222)는, 예를 들면, 회귀의 처리에 의해 추출된 블록 화소의 화소값을 평면으로 근사시킨다. 예를 들면, 평면 근사부(222)는 회귀의 처리에 의해 추출된 블록의 화소 중, 기각된 화소를 제외한 화소의 화소값을 평면으로 근사시킨다. 스텝 S223에서, 반복 판정부(223)는 반복 판정을 실행한다. 예를 들면, 블록 화소의 화소값과 근사시킨 평면의 근사값으로부터 표준 오차를 산출하고, 기각된 화소의 수를 카운트함으로써, 반복 판정을 실행한다.

스텝 S224에서, 반복 판정부(223)는 표준 오차가 임계값 이상인지 여부를 판정하고, 표준 오차가 임계값 이상이라고 판정된 경우, 스텝 S225로 진행한다.

그리고, 스텝 S224에서, 반복 판정부(223)는 블록의 화소 중, 반 이상의 화소가 기각되었는지 여부, 및 표준 오차가 임계값 이상인지 여부를 판정하고, 블록의 화소 중, 반 이상의 화소가 기각되어 있지 않고, 표준 오차가 임계값 이상이라고 판정된 경우, 스텝 S225로 진행하도록 해도 된다.

스텝 S225에서, 반복 판정부(223)는 블록의 화소마다 화소의 화소값과 근사시킨 평면의 근사값과의 오차를 산출하여, 오차가 가장 큰 화소를 기각하고, 평면 근사부(222)에 통지한다. 수속은, 스텝 S222로 복귀하여, 기각된 화소를 제외한 블록의 화소를 대상으로 하여, 평면에 의한 근사의 처리 및 반복 판정의 처리가 반복된다.

스텝 S225에서, 래스터 스캔 방향으로 1 화소씩 어긋난 블록이 스텝 S221의 처리에서 추출되는 경우, 도 59에 나타낸 바와 같이, 세선의 성분을 포함하는 화소(도면 중 검은 동그라미로 나타냄)는 복수회 기각되게 된다.

스텝 S224에서, 표준 오차가 임계값 이상이 아니라고 판정된 경우, 블록이 평면으로 근사되었으므로, 스텝 S226으로 진행한다.

그리고, 스텝 S224에서, 반복 판정부(223)는 블록의 화소 중, 반 이상의 화소가 기각되었는지 여부, 및 표준 오차가 임계값 이상인지 여부를 판정하고, 블록의 화소 중, 반 이상의 화소가 기각되었거나, 또는 표준 오차가 임계값 이상이 아니라고 판정된 경우, 스텝 S225로 진행하도록 해도 된다.

스텝 S226에서, 반복 판정부(223)는 블록 화소의 화소값을 근사시키는 평면의 경사 및 절편을 비정상 성분 정보로서 출력한다.

스텝 S227에서, 블록 추출부(221)는 입력 화상의 하나의 화면의 전 화소에 대하여 처리를 종료했는지 여부를 판정하고, 아직 처리 대상으로 되어 있지 않은 화소가 있다고 판정된 경우, 스텝 S221로 복귀하여, 아직 처리의 대상으로 되어 있지 않은 화소로부터 블록을 추출하고, 전술한 처리를 반복한다.

스텝 S227에서, 입력 화상의 하나의 화면의 전 화소에 대하여, 처리를 종료했다고 판정된 경우, 처리는 종료된다.

이와 같이, 도 58에 구성을 나타낸 비정상 성분 추출부(201)는 입력 화상으로부터 비정상 성분을 추출할 수 있다. 비정상 성분 추출부(201)가 입력 화상의 비정상 성분을 추출하므로, 정점 검출부(202) 및 단조 증감 검출부(203)는 입력 화상과, 비정상 성분 추출부(201)에서 추출된 비정상 성분과의 차분을 구함으로써, 정상 성분을 포함하는 차분을 대상으로 하여 처리를 실행할 수 있다.

그리고, 평면에 의한 근사의 처리에서 산출되는, 기각한 경우의 표준 오차, 기각하지 않는 경우의 표준 오차, 화소의 기각된 회수, 평면의 공간 방향 X의 경사(식 (24)에서의 a 하트), 평면의 공간 방향 Y의 경사(식 (24)에서의 b 하트), 평면에서 치환했을 때의 레벨(식 (24)에서의 c 하트), 및 입력 화상의 화소값과 평면으로 나타나는 근사값과의 차분은 특징량으로서 이용할 수 있다.

도 69는 스텝 S201에 대응하는 비정상 성분의 추출 처리에 대신하는, 도 58에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 정상 성분의 추출 처리를 설명한 플로차트이다. 스텝 S241 내지 스텝 S245의 처리는 스텝 S221 내지 스텝 S225의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S246에서, 반복 판정부(223)는 평면으로 나타나는 근사값과 입력 화상의 화소값과의 차분을 입력 화상의 정상 성분으로서 출력한다. 즉, 반복 판정부(223)는 평면에 의한 근사값과, 참값인 화소값과의 차분을 출력한다.

그리고, 반복 판정부(223)는 평면으로 나타나는 근사값과 입력 화상의 화소값과의 차분이, 소정 임계값 이상인 화소의 화소값을 입력 화상의 정상 성분으로서 출력하도록 해도 된다.

스텝 S247의 처리는 스텝 S227의 처리와 동일하므로, 그 설명은 생략한다.

평면이 비정상 성분을 근사시키고 있으므로, 비정상 성분 추출부(201)는 입력 화상의 각 화소의 화소값으로부터 화소값을 근사시키는 평면으로 나타나는 근사값을 뺄셈함으로써, 입력 화상으로부터 비정상 성분을 제거할 수 있다. 이 경우, 정점 검출부(202) 내지 연속성 검출부(204)는 입력 화상의 정상 성분, 즉 세선의 화상이 투영된 값만을 처리의 대상으로 할 수 있어, 정점 검출부(202) 내지 연속성 검출부(204)에서의 처리가 보다 용이하게 된다.

도 70은 스텝 S201에 대응하는 비정상 성분의 추출 처리에 대신하는, 도 58에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 정상 성분 추출의 다른 처리를 설명한 플로차트이다. 스텝 S261 내지 스텝 S265의 처리는 스텝 S221 내지 스텝 S225의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S266에서, 반복 판정부(223)는 화소마다의, 기각의 회수를 기억하고, 스텝 S262으로 복귀하여, 처리를 반복한다.

스텝 S264에서, 표준 오차가 임계값 이상이 아니라고 판정된 경우, 블록이 평면으로 근사되었으므로, 스텝 S267로 진행하여, 반복 판정부(223)는 입력 화상의 하나의 화면의 전 화소에 대하여 처리를 종료했는지 여부를 판정하고, 아직 처리의 대상으로 되어 있지 않은 화소가 있다고 판정된 경우, 스텝 S261로 복귀하고, 아직 처리의 대상으로 되어 있지 않은 화소에 대하여 블록을 추출하여, 전술한 처리를 반복한다.

스텝 S267에서, 입력 화상의 하나의 화면의 전 화소에 대하여, 처리를 종료했다고 판정된 경우, 스텝 S268로 진행하여, 반복 판정부(223)는 아직 선택되어 있지 않은 화소로부터 1개의 화소를 선택하고, 선택된 화소에 대하여, 기각의 회수가 임계값 이상인지 여부를 판정한다. 예를 들면, 반복 판정부(223)는 스텝 S268에서, 선택된 화소에 대하여, 기각의 회수가 미리 기억하고 있는 임계값 이상인지 여부를 판정한다.

스텝 S268에서, 선택된 화소에 대하여, 기각의 회수가 임계값 이상이라고 판정된 경우, 선택된 화소가 정상 성분을 포함하므로, 스텝 S269로 진행하여, 반복 판정부(223)는 선택된 화소의 화소값(입력 화상에서의 화소값)을 입력 화상의 정상 성분으로서 출력하고, 스텝 S270으로 진행한다.

스텝 S268에서, 선택된 화소에 대하여, 기각의 회수가 임계값 이상이 아니라고 판정된 경우, 선택된 화소가 정상 성분을 포함하지 않기 때문에, 스텝 S269의 처리를 스킵하여, 수속은, 스텝 S270으로 진행한다. 즉, 기각의 회수가 임계값 이상이 아니라고 판정된 화소는 화소값이 출력되지 않는다.

그리고, 기각의 회수가 임계값 이상이 아니라고 판정된 화소에 대하여, 반복 판정부(223)는 0을 설정한 화소값을 출력하도록 해도 된다.

스텝 S270에서, 반복 판정부(223)는 입력 화상의 하나의 화면의 전 화소에 대하여, 기각의 회수가 임계값 이상인지 여부의 판정의 처리를 종료했는지 여부를 판정하고, 전 화소에 대하여 처리를 종료하고 있지 않다고 판정된 경우, 아직 처리의 대상으로 되어 있지 않은 화소가 있으므로, 스텝 S268로 복귀하고, 아직 처리의 대상으로 되어 있지 않은 화소로부터 1개의 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S270에서, 입력 화상의 하나의 화면의 전 화소에 대하여 처리를 종료했다고 판정된 경우, 처리는 종료된다.

이와 같이, 비정상 성분 추출부(201)는 정상 성분 정보로서, 입력 화상의 화소 중, 정상 성분을 포함하는 화소의 화소값을 출력할 수 있다. 즉, 비정상 성분 추출부(201)는 입력 화상의 화소 중, 세선의 화상 성분을 포함하는 화소의 화소값을 출력할 수 있다.

도 71은 스텝 S201에 대응하는 비정상 성분의 추출 처리에 대신하는, 도 58에 구성을 나타낸 비정상 성분 추출부(201)에 의한, 정상 성분 추출의 또 다른 처리를 설명한 플로차트이다. 스텝 S281 내지 스텝 S288의 처리는 스텝 S261 내지 스텝 S268의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S289에서, 반복 판정부(223)는 평면으로 나타나는 근사값과, 선택된 화소의 화소값과의 차분을 입력 화상의 정상 성분으로서 출력한다. 즉, 반복 판정부(223)는 입력 화상으로부터 비정상 성분을 제거한 화상을 정상성 정보로서 출력한다.

스텝 S290의 처리는 스텝 S270의 처리와 동일하므로, 그 설명은 생략한다.

이와 같이, 비정상 성분 추출부(201)는 입력 화상으로부터 비정상 성분을 제거하고 화상을 정상성 정보로서 출력할 수 있다.

이상과 같이, 현실 세계의 광 신호가 투영되고, 현실 세계 광 신호의 정상성의 일부가 결락된, 제1 화상 데이터의 복수개 화소의 화소값의 불연속부를 검출하고, 검출된 불연속부로부터 데이터의 정상성을 검출하고, 검출된 데이터의 정상성을 기초로 현실 세계 광 신호의 정상성을 추정함으로써 광 신호를 근사시키는 모델(함수)을 생성하고, 생성된 함수에 따라 제2 화상 데이터를 생성하도록 한 경우, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

도 72는 데이터 정상성 검출부(101)의 다른 구성을 나타낸 블록도이다.

도 72에 구성을 나타낸 데이터 정상성 검출부(101)에서는, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향에 대한 화소값의 변화, 즉 입력 화상의 공간 방향의 액티비티가 검출되고, 검출된 액티비티에 따라, 주목 화소 및 기준축을 기준으로 한 각도마다 수직 방향으로 1렬 또는 수평 방향으로 1렬의 소정 수의 화소로 이루어지는 화소의 조가 복수개 추출되고, 추출된 화소의 조의 상관(相關)이 검출되고, 상관에 따라, 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도가 검출된다.

데이터의 정상성 각도란, 기준축과, 데이터(3)가 가지고 있는, 일정한 특징이 반복해서 나타나는 소정 차원의 방향이 이루는 각도를 말한다. 일정한 특징이 반복해서 나타나는 것이란, 예를 들면, 데이터(3)에서의 위치의 변화에 대한 값의 변화, 즉 단면 형상이 동일한 경우 등을 말한다.

기준축은, 예를 들면, 공간 방향 X를 나타내는 축(화면의 수평 방향), 또는 공간 방향 Y를 나타내는 축(화면의 수직 방향) 등으로 할 수 있다.

입력 화상은 액티비티 검출부(401) 및 데이터 선택부(402)에 공급된다.

액티비티 검출부(401)는 입력 화상의 공간 방향에 대한 화소값의 변화, 즉 공간 방향의 액티비티를 검출하고, 검출한 결과를 나타내는 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

예를 들면, 액티비티 검출부(401)는 화면의 수평 방향에 대한 화소값의 변화, 및 화면의 수직 방향에 대한 화소값의 변화를 검출하고, 검출된 수평 방향에 대한 화소값의 변화 및 수직 방향에 대한 화소값의 변화를 비교함으로써, 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰가, 또는 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰가를 검출한다.

액티비티 검출부(401)는 검출의 결과인, 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 것을 나타내거나, 또는 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 것을 나타내는 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 경우, 예를 들면, 도 73에서 나타낸 바와 같이, 수직 방향으로 1렬의 화소에 원호 형상(어묵형) 또는 폴 형상이 형성되고, 원호 형상 또는 폴 형상이 수직으로부터 가까운 방향으로 반복하여 형성되어 있다. 즉, 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 경우, 기준축을 공간 방향 X를 나타내는 축으로 하면, 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도는 45도 내지 90도 중 어느 하나의 값이다.

수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 경우, 예를 들면, 수평 방향으로 1렬의 화소에 원호 형상 또는 폴 형상이 형성되고, 원호 형상 또는 폴 형상이 수평 방향에 의해 가까운 방향으로 반복하여 형성되어 있다. 즉, 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 경우, 기준축을 공간 방향 X를 나타내는 축으로 하면, 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도는 0도 내지 45도 중 어느 하나의 값이다.

예를 들면, 액티비티 검출부(401)는 도 74에서 나타낸, 주목 화소를 중심으로 한 3×3의 9개의 화소로 이루어지는 블록을 입력 화상으로부터 추출한다. 액티비티 검출부(401)는 세로로 인접하는 화소에 대한 화소값의 차분의 합, 및 가로로 인접하는 화소에 대한 화소값의 차분의 합을 산출한다. 가로로 인접하는 화소에 대한 화소값의 차분의 합 h_diff는 식 (27)에서 구해진다.

h_diff=Σ(P_{i+1, j}-P_{i, j}) ···(27)

동일하게, 세로로 인접하는 화소에 대한 화소값의 차분의 합 v_diff는 식 (28)에서 구해진다.

v_diff=Σ(P_{i, j+1}-P_{i, j}) ···(28)

식 (27) 및 식 (28)에서, P는 화소값을 나타내고, i는 화소의 가로 방향의 위치를 나타내고, J는 화소의 세로 방향의 위치를 나타낸다.

액티비티 검출부(401)는 산출된 가로로 인접하는 화소에 대한 화소값의 차분의 합 h_diff 및 세로로 인접하는 화소에 대한 화소값의 차분의 합 v_diff를 비교하여, 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도의 범위를 판정하도록 해도 된다. 즉, 이 경우, 액티비티 검출부(401)는 공간 방향의 위치에 대한 화소값의 변화에서 나타나는 형상이 수평 방향으로 반복하여 형성되어 있는가, 수직 방향으로 반복하여 형성되어 있는가를 판정한다.

예를 들면, 가로로 1렬의 화소 상에 형성된 원호에 대한 가로 방향 화소값의 변화는 세로 방향 화소값의 변화와 비교하여 크고, 가로로 1렬의 화소 상에 형성된 원호에 대한 세로 방향의 화소값의 변화는 가로 방향의 화소값의 변화와 비교하여 크고, 데이터의 정상성 방향, 즉, 데이터(3)인 입력 화상이 가지고 있는, 일정한 특징의 소정 차원의 방향 변화는 데이터의 정상성과 직교하는 방향 변화와 비교하여 작다고 말할 수 있다. 바꾸어 말하면, 데이터의 정상성 방향의 차분과 비교하여, 데이터의 정상성 방향으로 직교하는 방향(이하, 비정상 방향이라고도 칭함)의 차분은 크다.

예를 들면, 도 75에 나타낸 바와 같이, 액티비티 검출부(401)는 산출된 가로로 인접하는 화소에 대한 화소값의 차분의 합 h_diff 및 세로로 인접하는 화소에 대한 화소값의 차분의 합 v_diff를 비교하여, 가로로 인접하는 화소에 대한 화소값의 차분의 합 h_diff가 큰 경우, 기준축을 기준으로 한 데이터의 정상성 각도가 45도 내지 135도 중 어느 하나의 값이라고 판정하고, 세로로 인접하는 화소에 대한 화소값의 차분의 합 v_diff가 큰 경우, 기준축을 기준으로 한 데이터의 정상성 각도가 0도 내지 45도 중 어느 하나의 값, 또는 135도 내지 180도 중 어느 하나의 값이라고 판정한다.

예를 들면, 액티비티 검출부(401)는 판정의 결과를 나타내는 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

그리고, 액티비티 검출부(401)는 5×5의 25의 화소로 이루어지는 블록, 또는 7×7의 49의 화소로 이루어지는 블록 등 임의의 크기의 블록을 추출하여, 액티비티를 검출할 수 있다.

데이터 선택부(402)는 입력 화상의 화소로부터 주목 화소를 차례로 선택하고, 액티비티 검출부(401)로부터 공급된 액티비티 정보를 기초로 주목 화소 및 기준축을 기준으로 한 각도마다 수직 방향으로 1렬 또는 수평 방향으로 1렬의 소정 수의 화소로 이루어지는 화소의 조를 복수개 추출한다.

예를 들면, 액티비티 정보가 수직 방향에 대한 화소값의 변화와 비교하여, 수평 방향에 대한 화소값의 변화가 큰 것을 나타내고 있을 때, 데이터의 정상성 각도가 45도 내지 135도 중 어느 하나의 값이므로, 데이터 선택부(402)는 주목 화소 및 기준축을 기준으로 한 45도 내지 135도 범위의 소정 각도마다 수직 방향으로 1렬의 소정 수의 화소로 이루어지는 화소의 조를 복수개 추출한다.

액티비티 정보가 수평 방향에 대한 화소값의 변화와 비교하여, 수직 방향에 대한 화소값의 변화가 큰 것을 나타내고 있을 때, 데이터의 정상성 각도가 0도 내지 45도 또는 135도 내지 180도 중 어느 하나의 값이므로, 데이터 선택부(402)는 주목 화소 및 기준축을 기준으로 한 0도 내지 45도 또는 135도 내지 180도 범위의 소정 각도마다 수평 방향으로 1렬의 소정 수의 화소로 이루어지는 화소의 조를 복수개 추출한다.

또, 예를 들면, 데이터의 정상성 각도가 45도 내지 135도 중 어느 하나의 값인 것을 액티비티 정보가 나타내고 있을 때, 데이터 선택부(402)는 주목 화소 및 기준축을 기준으로 한 45도 내지 135도 범위의 소정 각도마다 수직 방향으로 1렬의 소정 수의 화소로 이루어지는 화소의 조를 복수개 추출한다.

데이터의 정상성 각도가 0도 내지 45도 또는 135도 내지 180도 중 어느 하나의 값인 것을 액티비티 정보가 나타내고 있을 때, 데이터 선택부(402)는 주목 화소 및 기준축을 기준으로 한 0도 내지 45도 또는 135도 내지 180도 범위의 소정 각도마다 수평 방향으로 1렬의 소정 수의 화소로 이루어지는 화소의 조를 복수개 추출한다.

데이터 선택부(402)는 추출한 화소로 이루어지는 복수개의 조를 오차 추정부(403)에 공급한다.

오차 추정부(403)는 추출한 화소로 이루어지는 복수개의 조에 대하여, 각도마다 화소의 조의 상관을 검출한다.

예를 들면, 오차 추정부(403)는 1개의 각도에 대응하는, 수직 방향으로 1렬의 소정 수의 화소로 이루어지는 화소의 복수개의 조에 대하여, 화소의 조에서의 대응하는 위치 화소의 화소값의 상관을 검출한다. 오차 추정부(403)는 1개의 각도에 대응하는 수평 방향으로 1렬의 소정 수의 화소로 이루어지는 화소의 복수개의 조에 대하여, 조에서의 대응하는 위치 화소의 화소값의 상관을 검출한다.

오차 추정부(403)는 검출한 상관을 나타내는 상관 정보를 정상 방향 도출부(404)에 공급한다. 오차 추정부(403)는 상관을 나타내는 값으로서, 데이터 선택부(402)로부터 공급된, 주목 화소를 포함하는 조 화소의 화소값과, 다른 조에서의 대응하는 위치 화소의 화소값의 차분의 절대값의 합을 산출하고, 차분의 절대값의 합을 상관 정보로서 정상 방향 도출부(404)에 공급한다.

정상 방향 도출부(404)는 오차 추정부(403)로부터 공급된 상관 정보에 따라, 결락된 실세계(1)의 광 신호의 정상성에 대응하는, 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다. 예를 들면, 정상 방향 도출부(404)는 오차 추정부(403)로부터 공급된 상관 정보에 따라, 데이터의 정상성 각도로서 가장 상관이 강한 화소의 조에 대한 각도를 검출하고, 검출된 가장 상관이 강한 화소의 조에 대한 각도를 나타내는 데이터 정상성 정보를 출력한다.

이하의 설명에서, 적당히 0도 내지 90도의 범위(이른바 제1 상한(象限))의 데이터 정상성 각도를 검출하는 것으로 하여 설명한다.

도 76은 도 72에 나타낸 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타낸 블록도이다.

데이터 선택부(402)는 화소 선택부 411-1 내지 화소 선택부 411-L을 포함한다. 오차 추정부(403)는 추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L을 포함한다. 정상 방향 도출부(404)는 최소 오차 각도 선택부(413)를 포함한다.

먼저, 액티비티 정보에서 나타나는, 데이터의 정상성 각도가 45도 내지 135도 중 어느 하나의 값일 때의 화소 선택부 411-1 내지 화소 선택부 411-L의 처리를 설명한다.

화소 선택부 411-1 내지 화소 선택부 411-L은 공간 방향 X를 나타내는 축을 기준축으로 하여, 주목 화소를 통과한다, 각각 상이한 소정 각도의 직선을 설정한다. 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열에 속하는 화소로서, 주목 화소 상측의 소정 수의 화소, 및 주목 화소 하측의 소정 수의 화소, 및 주목 화소를 화소의 조로서 선택한다.

예를 들면, 도 77에서 나타낸 바와 같이, 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열에 속하는 화소로부터 주목 화소를 중심으로 하여 9개의 화소를 화소의 조로서 선택한다.

도 77에서, 모눈형의 하나의 사각(1개의 모눈)은 1개의 화소를 나타낸다. 도 77에서, 중앙에 나타낸 동그라미는 주목 화소를 나타낸다.

화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열의, 좌측의 세로로 1렬 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 77에서, 주목 화소의 좌하측의 동그라미는 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열의, 좌측의 세로로 1렬 화소의 열에 속하는 화소로서, 선택된 화소 상측의 소정 수의 화소, 및 선택된 화소 하측의 소정 수의 화소, 및 선택된 화소를 화소의 조로서 선택한다.

예를 들면, 도 77에서 나타낸 바와 같이, 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열의, 좌측의 세로로 1렬 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 조로서 선택한다.

화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열의, 좌측에 두 번째의 세로로 1렬 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 77에서, 가장 좌측의 동그라미는 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열의, 좌측에 두 번째의 세로로 1렬 화소의 열에 속하는 화소로서, 선택된 화소 상측의 소정 수의 화소, 및 선택된 화소 하측의 소정 수의 화소, 및 선택된 화소를 화소의 조로서 선택한다.

예를 들면, 도 77에서 나타낸 바와 같이, 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열의, 좌측에 두 번째의 세로로 1렬 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 조로서 선택한다.

화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열의, 우측의 세로로 1렬 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 77에서, 주목 화소의 우상측의 동그라미는 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열의, 우측의 세로로 1렬 화소의 열에 속하는 화소로서, 선택된 화소 상측의 소정 수의 화소, 및 선택된 화소 하측의 소정 수의 화소, 및 선택된 화소를 화소의 조로서 선택한다.

예를 들면, 도 77에서 나타낸 바와 같이, 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열의, 우측의 세로로 1렬 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 조로서 선택한다.

화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열의, 우측에 두 번째의 세로로 1렬 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 77에서, 가장 우측의 동그라미는 이와 같이 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열의, 우측에 두 번째의 세로로 1렬 화소의 열에 속하는 화소로서, 선택된 화소 상측의 소정 수의 화소, 및 선택된 화소 하측의 소정 수의 화소, 및 선택된 화소를 화소의 조로서 선택한다.

예를 들면, 도 77에서 나타낸 바와 같이, 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 세로로 1렬 화소의 열의, 우측에 두 번째의 세로로 1렬 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 조로서 선택한다.

이와 같이, 화소 선택부 411-1 내지 화소 선택부 411-L은 각각 화소의 조를 5개 선택한다.

화소 선택부 411-1 내지 화소 선택부 411-L은 서로 상이한 각도(에 설정된 직선)에 대한 화소의 조를 선택한다. 예를 들면, 화소 선택부 411-1은 45도에 대한 화소의 조를 선택하고, 화소 선택부 411-2는 47.5도에 대한 화소의 조를 선택하고, 화소 선택부 411-3은 50도에 대한 화소의 조를 선택한다. 화소 선택부 411-1 내지 화소 선택부 411-L은 52.5도로부터 135도 까지의, 2.5도마다의 각도에 대한 화소의 조를 선택한다.

그리고, 화소의 조의 수는, 예를 들면, 3개, 또는 7개 등 임의의 수로 할 수 있으며, 본 발명을 한정하는 것은 아니다. 또, 1개의 조로서 선택된 화소의 수는, 예를 들면, 5개, 또는 13개 등 임의의 수로 할 수 있고, 본 발명을 한정하는 것은 아니다.

그리고, 화소 선택부 411-1 내지 화소 선택부 411-L은 세로 방향으로 소정 범위의 화소로부터 화소의 조를 선택하도록 할 수 있다. 예를 들면, 화소 선택부 411-1 내지 화소 선택부 411-L은 세로 방향으로 121개의 화소(주목 화소에 대하여, 상 방향으로 60화소, 하 방향으로 60화소)로부터 화소의 조를 선택한다. 이 경우, 데이터 정상성 검출부(101)는 공간 방향 X를 나타내는 축에 대하여, 88.09도까지 데이터의 정상성 각도를 검출할 수 있다.

화소 선택부 411-1은 선택한 화소의 조를 추정 오차 산출부 412-1에 공급하고, 화소 선택부 411-2는 선택한 화소의 조를 추정 오차 산출부 412-2에 공급한다. 동일하게, 화소 선택부 411-3 내지 화소 선택부 411-L의 각각은 선택한 화소의 조를 추정 오차 산출부 412-3 내지 추정 오차 산출부 412-L의 각각에 공급한다.

추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L은 화소 선택부 411-1 내지 화소 선택부 411-L 중 어느 하나로부터 공급된, 복수개의 조에서의 대응하는 위치 화소의 화소값의 상관을 검출한다. 예를 들면, 추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L은 상관을 나타내는 값으로서, 화소 선택부 411-1 내지 화소 선택부 411-L 중 어느 하나로부터 공급된, 주목 화소를 포함하는 조 화소의 화소값과, 다른 조에서의 대응하는 위치 화소의 화소값의 차분의 절대값의 합을 산출한다.

보다 구체적으로는, 추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L은 화소 선택부 411-1 내지 화소 선택부 411-L 중 어느 하나로부터 공급된, 주목 화소를 포함하는 조 화소의 화소값과, 주목 화소 좌측의 세로로 1렬 화소의 열에 속하는 화소로 이루어지는 조 화소의 화소값을 기초로 가장 위 화소의 화소값의 차분을 산출하고, 위로부터 2번째 화소의 화소값의 차분을 산출하도록, 위의 화소로부터 차례로 화소값의 차분의 절대값을 산출하고, 다시 산출된 차분의 절대값의 합을 산출한다. 추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L은 화소 선택부 411-1 내지 화소 선택부 411-L 중 어느 하나로부터 공급된, 주목 화소를 포함하는 조 화소의 화소값과, 주목 화소의 좌측에 두 번째의 세로로 1렬 화소의 열에 속하는 화소로 이루어지는 조 화소의 화소값을 기초로 위의 화소로부터 차례로 화소값의 차분의 절대값을 산출하고, 산출된 차분의 절대값의 합을 산출한다.

그리고, 추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L은 화소 선택부 411-1 내지 화소 선택부 411-L 중 어느 하나로부터 공급된, 주목 화소를 포함하는 조 화소의 화소값과, 주목 화소 우측의 세로로 1렬 화소의 열에 속하는 화소로 이루어지는 조 화소의 화소값을 기초로 가장 위 화소의 화소값의 차분을 산출하고, 위로부터 2번째 화소의 화소값의 차분을 산출하도록, 위의 화소로부터 차례로 화소값의 차분의 절대값을 산출하고, 다시 산출된 차분의 절대값의 합을 산출한다. 추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L은 화소 선택부 411-1 내지 화소 선택부 411-L 중 어느 하나로부터 공급된, 주목 화소를 포함하는 조 화소의 화소값과, 주목 화소의 우측에 두 번째의 세로로 1렬 화소의 열에 속하는 화소로 이루어지는 조 화소의 화소값을 기초로 위의 화소로부터 차례로 화소값의 차분의 절대값을 산출하고, 산출된 차분의 절대값의 합을 산출한다.

추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L은 이와 같이 산출된 화소값의 차분의 절대값의 합을 모두 가산하여, 화소값의 차분의 절대값의 총계를 산출한다.

추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L은 검출된 상관을 나타내는 정보를 최소 오차 각도 선택부(413)에 공급한다. 예를 들면, 추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L은 산출된 화소값의 차분의 절대값의 총계를 최소 오차 각도 선택부(413)에 공급한다.

그리고, 추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L은 화소값의 차분의 절대값의 합에 한정되지 않고, 화소값의 차분의 제곱의 합, 또는 화소값을 기초로 한 상관 계수 등 다른 값을 상관값으로서 산출하도록 할 수 있다.

최소 오차 각도 선택부(413)는 서로 상이한 각도에 대한 추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L에서 검출된 상관에 따라, 결락된 실세계(1)의 광 신호인 화상의 정상성에 대응하는, 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도를 검출한다. 즉, 최소 오차 각도 선택부(413)는 서로 상이한 각도에 대한 추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L에서 검출된 상관에 따라, 가장 강한 상관을 선택하고, 선택된 상관이 검출된 각도를, 기준축을 기준으로 한 데이터의 정상성 각도로 함으로써, 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도를 검출한다.

예를 들면, 최소 오차 각도 선택부(413)는 추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L로부터 공급된, 화소값의 차분의 절대값의 총계 중, 최소의 총계를 선택한다. 최소 오차 각도 선택부(413)는 선택된 총계가 산출된 화소의 조에 대하여, 주목 화소에 대하여 좌측에 두 번째의 세로로 1렬 화소의 열에 속하는 화소로서, 직선에 가장 가까운 위치 화소의 위치, 및 주목 화소에 대하여, 우측에 두 번째의 세로로 1렬 화소의 열에 속하는 화소로서, 직선에 가장 가까운 위치 화소의 위치를 참조한다.

도 77에서 나타낸 바와 같이, 최소 오차 각도 선택부(413)는 주목 화소의 위치에 대한 참조하는 화소의 위치의 세로 방향의 거리 S를 구한다. 최소 오차 각도 선택부(413)는 도 78에서 나타낸 바와 같이, 식 (29)로부터 결락된 실세계(1)의 광 신호 정상성에 대응하는, 화상 데이터인 입력 화상에서의 기준축인 공간 방향 X를 나타내는 축을 기준으로 한 데이터의 정상성 각도 θ를 검출한다.

θ=tan^-1(s/2) ···(29)

다음에, 액티비티 정보에서 나타나는 데이터의 정상성 각도가 0도 내지 45도 및 135도 내지 180도 중 어느 하나의 값일 때의 화소 선택부 411-1 내지 화소 선택부 411-L의 처리를 설명한다.

화소 선택부 411-1 내지 화소 선택부 411-L은 공간 방향 X를 나타내는 축을 기준축으로 하여, 주목 화소를 통과하는 소정 각도의 직선을 설정하고, 주목 화소가 속하는 가로로 1렬 화소의 열에 속하는 화소로서, 주목 화소 좌측의 소정 수의 화소, 및 주목 화소 우측의 소정 수의 화소, 및 주목 화소를 화소의 조로서 선택한다.

화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 가로로 1렬 화소의 열의, 상측의 가로로 1렬 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 가로로 1렬 화소의 열의, 상측의 가로로 1렬 화소의 열에 속하는 화소로서, 선택된 화소 좌측의 소정 수의 화소, 및 선택된 화소 우측의 소정 수의 화소, 및 선택된 화소를 화소의 조로서 선택한다.

화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 가로로 1렬 화소의 열의, 상측에 두 번째의 가로로 1렬 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 가로로 1렬 화소의 열의, 상측에 두 번째의 가로로 1렬 화소의 열에 속하는 화소로서, 선택된 화소 좌측의 소정 수의 화소, 및 선택된 화소 우측의 소정 수의 화소, 및 선택된 화소를 화소의 조로서 선택한다.

화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 가로로 1렬 화소의 열의, 하측의 가로로 1렬 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 가로로 1렬 화소의 열의, 하측의 가로로 1렬 화소의 열에 속하는 화소로서, 선택된 화소 좌측의 소정 수의 화소, 및 선택된 화소 우측의 소정 수의 화소, 및 선택된 화소를 화소의 조로서 선택한다.

화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 가로로 1렬 화소의 열의, 하측에 두 번째의 가로로 1렬 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부 411-1 내지 화소 선택부 411-L은 주목 화소가 속하는 가로로 1렬 화소의 열의, 하측에 두 번째의 가로로 1렬 화소의 열에 속하는 화소로서, 선택된 화소 좌측의 소정 수의 화소, 및 선택된 화소 우측의 소정 수의 화소, 및 선택된 화소를 화소의 조로서 선택한다.

이와 같이, 화소 선택부 411-1 내지 화소 선택부 411-L은 각각 화소의 조를 5개 선택한다.

화소 선택부 411-1 내지 화소 선택부 411-L은 서로 상이한 각도에 대한 화소의 조를 선택한다. 예를 들면, 화소 선택부 411-1은 0도에 대한 화소의 조를 선택하고, 화소 선택부 411-2는 2.5도에 대한 화소의 조를 선택하고, 화소 선택부 411-3은 5도에 대한 화소의 조를 선택한다. 화소 선택부 411-1 내지 화소 선택부 411-L은 7.5도로부터 45도 및 135도로부터 180도 까지의, 2.5도마다의 각도에 대한 화소의 조를 선택한다.

화소 선택부 411-1은 선택한 화소의 조를 추정 오차 산출부 412-1에 공급하고, 화소 선택부 411-2는 선택한 화소의 조를 추정 오차 산출부 412-2에 공급한다. 동일하게, 화소 선택부 411-3 내지 화소 선택부 411-L의 각각은 선택한 화소의 조를 추정 오차 산출부 412-3 내지 추정 오차 산출부 412-L의 각각에 공급한다.

추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L은 화소 선택부 411-1 내지 화소 선택부 411-L 중 어느 하나로부터 공급된, 복수개의 조에서의 대응하는 위치 화소의 화소값의 상관을 검출한다. 추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L은 검출된 상관을 나타내는 정보를 최소 오차 각도 선택부(413)에 공급한다.

최소 오차 각도 선택부(413)는 추정 오차 산출부 412-1 내지 추정 오차 산출부 412-L에서 검출된 상관에 따라, 결락된 실세계(1)의 광 신호인 화상의 정상성에 대응하는, 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도를 검출한다.

다음에, 도 79의 플로차트를 참조하여, 스텝 S101의 처리에 대응하는, 도 72에서 구성이 나타난 데이터 정상성 검출부(101)에 의한 데이터의 정상성 검출 처리를 설명한다.

스텝 S401에서, 액티비티 검출부(401) 및 데이터 선택부(402)는 입력 화상으로부터 주목하고 있는 화소인 주목 화소를 선택한다. 액티비티 검출부(401) 및 데이터 선택부(402)는 동일한 주목 화소를 선택한다. 예를 들면, 액티비티 검출부(401) 및 데이터 선택부(402)는 입력 화상으로부터 래스터 스캔순으로, 주목 화소를 선택한다.

스텝 S402에서, 액티비티 검출부(401)는 주목 화소에 대한 액티비티를 검출한다. 예를 들면, 액티비티 검출부(401)는 주목 화소를 중심으로 한 소정 수의 화소로 이루어지는 블록의 세로 방향으로 나란히 하는 화소의 화소값의 차분 및 가로 방향으로 나란히 하는 화소의 화소값의 차분을 기초로 액티비티를 검출한다.

액티비티 검출부(401)는 주목 화소에 대한 공간 방향의 액티비티를 검출하고, 검출한 결과를 나타내는 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.

스텝 S403에서, 데이터 선택부(402)는 주목 화소를 포함하는 화소의 열로부터 주목 화소를 중심으로 한 소정 수의 화소를 화소의 조로서 선택한다. 예를 들면, 데이터 선택부(402)는 주목 화소가 속하는 세로 또는 가로로 1렬 화소의 열에 속하는 화소로서, 주목 화소 상측 또는 좌측의 소정 수의 화소, 및 주목 화소의 하측 또는 우측의 소정 수의 화소, 및 주목 화소를 화소의 조로서 선택한다.

스텝 S404에서, 데이터 선택부(402)는 스텝 S402의 처리에서 검출된 액티비티를 기초로 한, 소정 범위의 각도마다 소정 수 화소의 열로부터 각각 소정 수의 화소를 화소의 조로서 선택한다. 예를 들면, 데이터 선택부(402)는 소정 범위의 각도를 가지고, 공간 방향 X를 나타내는 축을 기준축으로 하여, 주목 화소를 통과하는 직선을 설정하고, 주목 화소에 대하여, 가로 방향 또는 세로 방향으로 1렬 또는 2열 떨어진 화소로서, 직선에 가장 가까운 화소를 선택하고, 선택된 화소 상측 또는 좌측의 소정 수의 화소, 및 선택된 화소의 하측 또는 우측의 소정 수의 화소, 및 선에 가장 가까운 선택된 화소를 화소의 조로서 선택한다. 데이터 선택부(402)는 각도마다 화소의 조를 선택한다.

데이터 선택부(402)는 선택한 화소의 조를 오차 추정부(403)에 공급한다.

스텝 S405에서, 오차 추정부(403)는 주목 화소를 중심으로 한 화소의 조와, 각도마다 선택한 화소의 조와의 상관을 계산한다. 예를 들면, 오차 추정부(403)는 각도마다 주목 화소를 포함하는 조 화소의 화소값과, 다른 조에서의 대응하는 위치 화소의 화소값의 차분의 절대값의 합을 산출한다.

각도마다 선택된, 화소의 조 상호의 상관을 기초로 데이터의 정상성 각도를 검출하도록 해도 된다.

오차 추정부(403)는 산출된 상관을 나타내는 정보를 정상 방향 도출부(404)에 공급한다.

스텝 S406에서, 정상 방향 도출부(404)는 스텝 S405의 처리에 의해 산출된 상관을 기초로 상관이 가장 강한 화소의 조 위치로부터 결락된 실세계(1)의 광 신호의 정상성에 대응하는, 화상 데이터인 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도를 검출한다. 예를 들면, 정상 방향 도출부(404)는 화소값의 차분의 절대값의 총계 중, 최소의 총계를 선택하고, 선택된 총계가 산출된 화소의 조의 위치로부터 데이터의 정상성 각도 θ를 검출한다.

정상 방향 도출부(404)는 검출한 데이터의 정상성 각도를 나타내는 데이터 정상성 정보를 출력한다.

스텝 S407에서, 데이터 선택부(402)는 모든 화소의 처리를 종료했는지 여부를 판정하고, 모든 화소의 처리를 종료하고 있지 않다고 판정된 경우, 스텝 S401로 복귀하고, 아직 주목 화소로서 선택되어 있지 않은 화소로부터 주목 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S407에서, 모든 화소의 처리를 종료했다고 판정된 경우, 처리는 종료된다.

이와 같이, 데이터 정상성 검출부(101)는 결락된 실세계(1)의 광 신호의 정상성에 대응하는 화상 데이터에서의, 기준축을 기준으로 한 데이터의 정상성 각도를 검출할 수 있다.

그리고, 도 72에서 구성이 나타난 데이터 검출부(101)는 주목하고 있는 프레임인 주목 프레임의, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향의 액티비티를 검출하고, 검출된 액티비티에 따라, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 모션 벡터마다 주목 프레임 및 주목 프레임의 시간적으로 전 또는 후의 프레임 각각으로부터 수직 방향으로 1렬 또는 수평 방향으로 1렬의 소정 수의 화소로 이루어지는 화소의 조를 복수개 추출하고, 추출된 화소의 조의 상관을 검출하여, 상관에 따라, 입력 화상에서의 시간 방향 및 공간 방향 데이터의 정상성 각도를 검출하도록 해도 된다.

예를 들면, 도 80에 나타낸 바와 같이, 데이터 선택부(402)는 검출된 액티비티에 따라, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 모션 벡터마다 주목 프레임인 프레임 #n, 프레임 #n-1, 및 프레임 #n+1의 각각으로부터 수직 방향으로 1렬 또는 수평 방향으로 1렬의 소정 수의 화소로 이루어지는 화소의 조를 복수개 추출한다.

프레임 #n-1은 프레임 #n에 대하여 시간적으로 전의 프레임이며, 프레임 #n+1은 프레임 #n에 대하여 시간적으로 후의 프레임이다. 즉, 프레임 #n-1, 프레임 #n, 및 프레임 #n+1은 프레임 #n-1, 프레임 #n, 및 프레임 #n+1의 순으로 표시된다.

오차 추정부(403)는 추출한 화소로 이루어지는 복수개의 조에 대하여, 1개의 각도 및 1개의 모션 벡터마다 화소의 조의 상관을 검출한다. 정상 방향 도출부(404)는 화소의 조의 상관에 따라, 결락된 실세계(1)의 광 신호의 정상성에 대응하는, 입력 화상에서의 시간 방향 및 공간 방향 데이터의 정상성 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다.

도 81은 도 72에 나타내는 데이터 정상성 검출부(101)의 보다 상세한 다른 구성을 나타낸 블록도이다. 도 76에 나타낸 경우와 동일한 부분에는, 동일한 번호를 부여하고 있어, 그 설명은 생략한다.

데이터 선택부(402)는 화소 선택부 421-1 내지 화소 선택부 421-L을 포함한다. 오차 추정부(403)는 추정 오차 산출부 422-1 내지 추정 오차 산출부 422-L을 포함한다.

도 81에서 나타낸 데이터 정상성 검출부(101)에서는, 각도의 범위에 대한 수의 화소로 이루어지는 화소의 조로서, 각도의 범위에 대한 수의 조가 추출되고, 추출된 화소의 조의 상관이 검출되고, 검출된 상관에 따라, 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도가 검출된다.

먼저, 액티비티 정보에서 나타나는 데이터의 정상성 각도가 45도 내지 135도 중 어느 하나의 값일 때의 화소 선택부 421-1 내지 화소 선택부 421-L의 처리를 설명한다.

도 82의 좌측에 나타낸 바와 같이, 도 76에서 나타나는 데이터 정상성 검출부(101)에서는, 설정된 직선의 각도에 의하지 않고, 일정한 수의 화소로 이루어지는 화소의 조가 추출되는 것에 대하여, 도 81에서 나타나는 데이터 정상성 검출부(101)에서는, 도 82의 우측에 나타낸 바와 같이, 설정된 직선의 각도 범위에 따른 수의 화소로 이루어지는 화소의 조가 추출된다. 또, 도 81에서 나타나는 데이터 정상성 검출부(101)에서는, 화소의 조가 설정된 직선의 각도 범위에 따른 수만큼 추출된다.

화소 선택부 421-1 내지 화소 선택부 421-L은 45도 내지 135도 범위의 공간 방향 X를 나타내는 축을 기준축으로 하여, 주목 화소를 통과하는 각각 서로 상이한 소정 각도의 직선을 설정한다.

화소 선택부 421-1 내지 화소 선택부 421-L은 주목 화소가 속하는 세로로 1렬 화소의 열에 속하는 화소로서, 각각에 설정된 직선의 각도 범위에 따른 수의, 주목 화소의 상측 화소, 및 주목 화소의 하측 화소, 및 주목 화소를 화소의 조로서 선택한다.

화소 선택부 421-1 내지 화소 선택부 421-L은 주목 화소가 속하는 세로로 1렬 화소의 열에 대하여, 화소를 기준으로 한 가로 방향으로 소정 거리에 있는, 좌측 및 우측의 세로로 1렬 화소의 열에 속하는 화소로서, 각각에 설정된 직선에 가장 가까운 위치의 화소를 선택하고, 선택된 화소에 대하여 세로로 1렬의 화소로부터, 설정된 직선의 각도 범위에 따른 수의, 선택된 화소의 상측 화소, 및 선택된 화소의 하측 화소, 및 선택된 화소를 화소의 조로서 선택한다.

즉, 화소 선택부 421-1 내지 화소 선택부 421-L은 설정된 직선의 각도 범위에 따른 수의 화소를 화소의 조로서 선택한다. 화소 선택부 421-1 내지 화소 선택부 421-L은 설정된 직선의 각도 범위에 따른 수의, 화소의 조를 선택한다.

예를 들면, 공간 방향 X에 대하여 대략 45도의 각도에 위치하는 검출 소자의 검출 영역의 폭과 대략 동일한 폭의 세선 화상이 센서(2)로 촬상된 경우, 세선의 화상은 공간 방향 Y에 1렬로 나란히 하는 3개의 화소에 원호 형상이 형성되도록, 데이터(3)에 투영된다. 이에 대하여, 공간 방향 X에 대하여 대략 수직으로 위치하는 검출 소자의 검출 영역의 폭과 대략 동일한 폭의 세선 화상이 센서(2)로 촬상된 경우, 세선의 화상은 공간 방향 Y에 1렬로 나란히 하는 다수의 화소에 원호 형상이 형성되도록, 데이터(3)에 투영된다.

화소의 조에 동일한 수의 화소가 포함되는 것으로 하면, 세선이 공간 방향 X에 대하여 대략 45도의 각도에 위치하는 경우, 화소의 조에서, 세선의 화상이 투영된 화소의 수가 적게 되어, 분해능이 저하되게 된다. 역으로, 세선이 공간 방향 X에 대하여 대략 수직으로 위치하는 경우, 화소의 조에서, 세선의 화상이 투영된 화소 중, 일부의 화소에 대하여 처리가 실행되게 되어, 정확성이 저하될 우려가 있다.

그래서, 세선의 화상이 투영된 화소가 대략 동등하게 되도록, 화소 선택부 421-1 내지 화소 선택부 421-L은 설정하는 직선이 공간 방향 X에 대하여 45도의 각도에 보다 가까울 때, 각각 화소의 조에 포함되는 화소의 수를 적게 하여, 화소의 조의 수를 많게 하고, 설정하는 직선이 공간 방향 X에 대하여 수직으로 보다 가까운 경우, 각각 화소의 조에 포함되는 화소의 수를 많게 하고, 화소의 조의 수를 적게 하도록 화소 및 화소의 조를 선택한다.

예를 들면, 도 83 및 도 84에서 나타낸 바와 같이, 화소 선택부 421-1 내지 화소 선택부 421-L은 설정된 직선의 각도가 45도 이상 63.4도 미만의 범위(도 83 및 도 84에서, A로 나타낸 범위)에 있을 때, 주목 화소에 대하여 세로로 1렬 화소의 열로부터 주목 화소를 중심으로 한 5개의 화소를 화소의 조로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 5 화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1렬 화소의 열에 속하는 화소로부터 각각 5개의 화소를 화소의 조로서 선택한다.

즉, 화소 선택부 421-1 내지 화소 선택부 421-L은 설정된 직선의 각도가 45도 이상 63.4도 미만의 범위에 있을 때, 입력 화상으로부터 각각 5개의 화소로 이루어지는 11 화소의 조를 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소는 주목 화소에 대하여 세로 방향으로 5 화소 내지 9 화소 떨어진 위치에 있다.

도 84에서, 열의 수는 주목 화소의 좌측 또는 우측의, 화소의 조로서 화소가 선택되는 화소의 열의 수를 나타낸다. 도 84에서, 1렬의 화소수는 주목 화소에 대하여 세로로 1렬 화소의 열, 또는 주목 화소의 좌측 또는 우측의 열로부터 화소의 조로서 선택되는 화소의 수를 나타낸다. 도 84에서, 화소의 선택 범위는 주목 화소에 대한, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소의 세로 방향의 위치를 나타낸다.

도 85에서 나타낸 바와 같이, 예를 들면, 화소 선택부 421-1은 설정된 직선의 각도가 45도일 때, 주목 화소에 대하여 세로로 1렬 화소의 열로부터 주목 화소를 중심으로 한 5개의 화소를 화소의 조로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 5 화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1렬 화소의 열에 속하는 화소로부터 각각 5개의 화소를 화소의 조로서 선택한다. 즉, 화소 선택부 421-1은 입력 화상으로부터 각각 5개의 화소로 이루어지는 11 화소의 조를 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는 주목 화소에 대하여 세로 방향으로 5 화소 떨어진 위치에 있다.

그리고, 도 85 내지 도 92에서, 점선으로 표시된 사각(점선으로 나누어진 1개의 모눈)은 1개의 화소를 나타내고, 실선으로 표시된 사각은 화소의 조를 나타낸다. 도 85 내지 도 92에서, 주목 화소의 공간 방향 X의 좌표를 0으로 하고, 주목 화소의 공간 방향 Y의 좌표를 0으로 했다.

또, 도 85 내지 도 92에서, 사선으로 표시된 사각은 주목 화소 또는 설정된 직선에 가장 가까운 위치의 화소를 나타낸다. 도 85 내지 도 92에서, 태선(太線)으로 표시된 사각은 주목 화소를 중심으로 하여 선택된 화소의 조를 나타낸다.

도 86에서 나타낸 바와 같이, 예를 들면, 화소 선택부 421-2는 설정된 직선의 각도가 60.9도일 때, 주목 화소에 대하여 세로로 1렬 화소의 열로부터 주목 화소를 중심으로 한 5개의 화소를 화소의 조로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 5 화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1렬 화소의 열에 속하는 화소로부터 각각 5개의 화소를 화소의 조로서 선택한다. 즉, 화소 선택부 421-2는 입력 화상으로부터 각각 5개의 화소로 이루어지는 11 화소의 조를 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는 주목 화소에 대하여 세로 방향으로 9 화소 떨어진 위치에 있다.

예를 들면, 도 83 및 도 84에서 나타낸 바와 같이, 화소 선택부 421-1 내지 화소 선택부 421-L은 설정된 직선의 각도가 63.4도 이상 71.6도 미만의 범위(도 83 및 도 84에서, B로 나타낸 범위)에 있을 때, 주목 화소에 대하여 세로로 1렬 화소의 열로부터 주목 화소를 중심으로 한 7개의 화소를 화소의 조로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 4 화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1렬 화소의 열에 속하는 화소로부터 각각 7개의 화소를 화소의 조로서 선택한다.

즉, 화소 선택부 421-1 내지 화소 선택부 421-L은 설정된 직선의 각도가 63.4도 이상 71.6도 미만의 범위에 있을 때, 입력 화상으로부터 각각 7개의 화소로 이루어지는 9개 화소의 조를 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치 화소의 세로 방향의 위치는 주목 화소에 대하여, 8 화소 내지 11 화소이다.

도 87에서 나타낸 바와 같이, 예를 들면, 화소 선택부 421-3은 설정된 직선의 각도가 63.4도일 때, 주목 화소에 대하여 세로로 1렬 화소의 열로부터 주목 화소를 중심으로 한 7개의 화소를 화소의 조로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 4 화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1렬 화소의 열에 속하는 화소로부터 각각 7개의 화소를 화소의 조로서 선택한다. 즉, 화소 선택부 421-3은 입력 화상으로부터 각각 7개의 화소로 이루어지는 9개 화소의 조를 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는 주목 화소에 대하여 세로 방향으로 8 화소 떨어진 위치에 있다.

또, 도 88에서 나타낸 바와 같이, 예를 들면, 화소 선택부 421-4는 설정된 직선의 각도가 70.0도일 때, 주목 화소에 대하여 세로로 1렬 화소의 열로부터 주목 화소를 중심으로 한 7개의 화소를 화소의 조로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 4 화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1렬 화소의 열에 속하는 화소로부터 각각 7개의 화소를 화소의 조로서 선택한다. 즉, 화소 선택부 421-4는 입력 화상으로부터 각각 7개의 화소로 이루어지는 9개 화소의 조를 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는 주목 화소에 대하여 세로 방향으로 11 화소 떨어진 위치에 있다.

예를 들면, 도 83 및 도 84에서 나타낸 바와 같이, 화소 선택부 421-1 내지 화소 선택부 421-L은 설정된 직선의 각도가 71.6도 이상 76.0도 미만의 범위(도 83 및 도 84에서, C로 나타낸 범위)에 있을 때, 주목 화소에 대하여 세로로 1렬 화소의 열로부터 주목 화소를 중심으로 한 9개의 화소를 화소의 조로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 3 화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1렬 화소의 열에 속하는 화소로부터 각각 9개의 화소를 화소의 조로서 선택한다.

즉, 화소 선택부 421-1 내지 화소 선택부 421-L은 설정된 직선의 각도가 71.6도 이상 76.0도 미만의 범위에 있을 때, 입력 화상으로부터 각각 9개의 화소로 이루어지는 7개 화소의 조를 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치 화소의 세로 방향의 위치는 주목 화소에 대하여, 9 화소 내지 11 화소이다.

도 89에서 나타낸 바와 같이, 예를 들면, 화소 선택부 421-5는 설정된 직선의 각도가 71.6도일 때, 주목 화소에 대하여 세로로 1렬 화소의 열로부터 주목 화소를 중심으로 한 9개의 화소를 화소의 조로서 선택하는 동시에, 주목 화소에 대하여 가로 방향으로 3 화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1렬 화소의 열에 속하는 화소로부터 각각 9개의 화소를 화소의 조로서 선택한다. 즉, 화소 선택부 421-5는 입력 화상으로부터 각각 9개의 화소로 이루어지는 7개 화소의 조를 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는 주목 화소에 대하여 세로 방향으로 9 화소 떨어진 위치에 있다.

또, 도 90에서 나타낸 바와 같이, 예를 들면, 화소 선택부 421-6은 설정된 직선의 각도가 74.7도일 때, 주목 화소에 대하여 세로로 1렬 화소의 열로부터 주목 화소를 중심으로 한 9개의 화소를 화소의 조로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 3 화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1렬 화소의 열에 속하는 화소로부터 각각 9개의 화소를 화소의 조로서 선택한다. 즉, 화소 선택부 421-6은 입력 화상으로부터 각각 9개의 화소로 이루어지는 7개 화소의 조를 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는 주목 화소에 대하여 세로 방향으로 11 화소 떨어진 위치에 있다.

예를 들면, 도 83 및 도 84에서 나타낸 바와 같이, 화소 선택부 421-1 내지 화소 선택부 421-L은 설정된 직선의 각도가 76.0도 이상 87.7도 이하의 범위(도 83 및 도 84에서, D로 나타낸 범위)에 있을 때, 주목 화소에 대하여 세로로 1렬 화소의 열로부터 주목 화소를 중심으로 한 11의 화소를 화소의 조로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 2 화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1렬 화소의 열에 속하는 화소로부터 각각 11의 화소를 화소의 조로서 선택한다. 즉, 화소 선택부 421-1 내지 화소 선택부 421-L은 설정된 직선의 각도가 76.0도 이상 87.7도 이하의 범위에 있을 때, 입력 화상으로부터 각각 11의 화소로 이루어지는 5개 화소의 조를 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치 화소의 세로 방향의 위치는 주목 화소에 대하여, 8 화소 내지 50화소이다.

도 91에서 나타낸 바와 같이, 예를 들면, 화소 선택부 421-7은 설정된 직선의 각도가 76.0도일 때, 주목 화소에 대하여 세로로 1렬 화소의 열로부터 주목 화소를 중심으로 한 11의 화소를 화소의 조로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 2 화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1렬 화소의 열에 속하는 화소로부터 각각 11의 화소를 화소의 조로서 선택한다. 즉, 화소 선택부 421-7은 입력 화상으로부터 각각 11의 화소로 이루어지는 5개 화소의 조를 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는 주목 화소에 대하여 세로 방향으로 8 화소 떨어진 위치에 있다.

또, 도 92에서 나타낸 바와 같이, 예를 들면, 화소 선택부 421-8은 설정된 직선의 각도가 87.7도일 때, 주목 화소에 대하여 세로로 1렬 화소의 열로부터 주목 화소를 중심으로 한 11의 화소를 화소의 조로서 선택하는 동시에, 주목 화소에 대하여, 가로 방향으로 2 화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1렬 화소의 열에 속하는 화소로부터 각각 11의 화소를 화소의 조로서 선택한다. 즉, 화소 선택부 421-8은 입력 화상으로부터 각각 11의 화소로 이루어지는 5 화소의 조를 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는 주목 화소에 대하여 세로 방향으로 50화소 떨어진 위치에 있다.

이와 같이, 화소 선택부 421-1 내지 화소 선택부 421-L은 각각 각도의 범위에 대응한 소정 수의 화소로 이루어지는 각도의 범위에 대응한 소정 수 화소의 조를 선택한다.

화소 선택부 421-1은 선택한 화소의 조를 추정 오차 산출부 422-1에 공급하고, 화소 선택부 421-2는 선택한 화소의 조를 추정 오차 산출부 422-2에 공급한다. 동일하게, 화소 선택부 421-3 내지 화소 선택부 421-L의 각각은 선택한 화소의 조를 추정 오차 산출부 422-3 내지 추정 오차 산출부 422-L의 각각에 공급한다.

추정 오차 산출부 422-1 내지 추정 오차 산출부 422-L은 화소 선택부 421-1 내지 화소 선택부 421-L 중 어느 하나로부터 공급된 복수개의 조에서의 대응하는 위치 화소의 화소값의 상관을 검출한다. 예를 들면, 추정 오차 산출부 422-1 내지 추정 오차 산출부 422-L은 화소 선택부 421-1 내지 화소 선택부 421-L 중 어느 하나로부터 공급된, 주목 화소를 포함하는 화소의 조 화소의 화소값과, 다른 화소의 조에서의 대응하는 위치 화소의 화소값의 차분의 절대값의 합을 산출하고, 주목 화소를 포함하는 화소의 조 이외 화소의 조에 포함되는 화소의 수로, 산출된 합을 나눗셈한다. 산출된 합을 주목 화소를 포함하는 조 이외의 조에 포함되는 화소의 수로 나눗셈하는 것은 설정된 직선의 각도에 따라 선택되는 화소의 수가 상이하므로, 상관을 나타내는 값을 정규화하기 위해서이다.

추정 오차 산출부 422-1 내지 추정 오차 산출부 422-L은 검출된 상관을 나타내는 정보를 최소 오차 각도 선택부(413)에 공급한다. 예를 들면, 추정 오차 산출부 422-1 내지 추정 오차 산출부 422-L은 정규화된 화소값의 차분의 절대값의 합을 최소 오차 각도 선택부(413)에 공급한다.

다음에, 액티비티 정보에서 나타나는 데이터의 정상성 각도가 0도 내지 45도 및 135도 내지 180도 중 어느 하나의 값일 때의 화소 선택부 421-1 내지 화소 선택부 421-L의 처리를 설명한다.

화소 선택부 421-1 내지 화소 선택부 421-L은 0도 내지 45도 또는 135도 내지 180도 범위의, 공간 방향 X를 나타내는 축을 기준축으로 하여, 주목 화소를 통과하는, 각각 서로 상이한 소정 각도의 직선을 설정한다.

화소 선택부 421-1 내지 화소 선택부 421-L은 주목 화소가 속하는 가로로 1렬 화소의 열에 속하는 화소로서, 설정된 직선의 각도 범위에 따른 수의, 주목 화소 좌측의 화소, 및 주목 화소 우측의 화소, 및 주목 화소를 화소의 조로서 선택한다.

화소 선택부 421-1 내지 화소 선택부 421-L은 주목 화소가 속하는 가로로 1렬 화소의 열에 대하여, 화소를 기준으로 한 세로 방향으로 소정 거리에 있는, 상측 및 하측의 가로로 1렬 화소의 열에 속하는 화소로서, 설정된 직선에 가장 가까운 위치의 화소를 선택하고, 선택된 화소에 대하여 가로로 1렬의 화소로부터, 설정된 직선의 각도 범위에 따른 수의, 선택된 화소 좌측의 화소, 및 선택된 화소 우측의 화소, 및 선택된 화소를 화소의 조로서 선택한다.

즉, 화소 선택부 421-1 내지 화소 선택부 421-L은 설정된 직선의 각도 범위에 따른 수의 화소를 화소의 조로서 선택한다. 화소 선택부 421-1 내지 화소 선택부 421-L은 설정된 직선의 각도 범위에 따른 수의 화소의 조를 선택한다.

화소 선택부 421-1은 선택한 화소의 조를 추정 오차 산출부 422-1에 공급하고, 화소 선택부 421-2는 선택한 화소의 조를 추정 오차 산출부 422-2에 공급한다. 동일하게, 화소 선택부 421-3 내지 화소 선택부 421-L의 각각은 선택한 화소의 조를 추정 오차 산출부 422-3 내지 추정 오차 산출부 422-L의 각각에 공급한다.

추정 오차 산출부 422-1 내지 추정 오차 산출부 422-L은 화소 선택부 421-1 내지 화소 선택부 421-L 중 어느 하나로부터 공급된, 복수개의 조에서의 대응하는 위치 화소의 화소값의 상관을 검출한다.

추정 오차 산출부 422-1 내지 추정 오차 산출부 422-L은 검출된 상관을 나타내는 정보를 최소 오차 각도 선택부(413)에 공급한다.

다음에, 도 93의 플로차트를 참조하여, 스텝 S101의 처리에 대응하는, 도 81에서 구성이 나타난 데이터 정상성 검출부(101)에 의한, 데이터의 정상성 검출 처리를 설명한다.

스텝 S421 및 스텝 S422의 처리는 스텝 S401 및 스텝 S402의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S423에서, 데이터 선택부(402)는 스텝 S422의 처리에서 검출된 액티비티에 대한 소정 범위의 각도마다 주목 화소를 포함하는 화소의 열로부터 주목 화소를 중심으로 한, 각도의 범위에 대하여 정한 수의 화소를 화소의 조로서 선택한다. 예를 들면, 데이터 선택부(402)는 주목 화소가 속하는 세로 또는 가로로 1렬 화소의 열에 속하는 화소로서, 설정하는 직선의 각도에 대하여, 각도의 범위에 의해 정한 수의, 주목 화소 상측 또는 좌측의 화소, 및 주목 화소의 하측 또는 우측의 화소, 및 주목 화소를 화소의 조로서 선택한다.

스텝 S424에서, 데이터 선택부(402)는 스텝 S422의 처리에서 검출된 액티비티를 기초로 한, 소정 범위의 각도마다 각도의 범위에 대하여 정한 수 화소의 열로부터 각도의 범위에 대하여 정한 수의 화소를 화소의 조로서 선택한다. 예를 들면, 데이터 선택부(402)는 소정 범위의 각도를 가지고, 공간 방향 X를 나타내는 축을 기준축으로 하여, 주목 화소를 통과하는 직선을 설정하고, 주목 화소에 대하여, 가로 방향 또는 세로 방향으로, 설정하는 직선의 각도 범위에 대하여 소정 범위만큼 떨어진 화소로서, 직선에 가장 가까운 화소를 선택하고, 선택된 화소 상측 또는 좌측의, 설정하는 직선의 각도 범위에 대한 수의 화소, 및 선택된 화소의 하측 또는 우측의, 설정하는 직선의 각도 범위에 대한 수의 화소, 및 선택된 선에 가장 가까운 화소를 화소의 조로서 선택한다. 데이터 선택부(402)는 각도마다 화소의 조를 선택한다.

데이터 선택부(402)는 선택한 화소의 조를 오차 추정부(403)에 공급한다.

스텝 S425에서, 오차 추정부(403)는 주목 화소를 중심으로 한 화소의 조와, 각도마다 선택한 화소의 조와의 상관을 계산한다. 예를 들면, 오차 추정부(403)는 주목 화소를 포함하는 조 화소의 화소값과, 다른 조에서의 대응하는 위치 화소의 화소값의 차분의 절대값의 합을 산출하고, 다른 조에 속하는 화소의 수로 화소값의 차분의 절대값의 합을 나눗셈함으로써, 상관을 계산한다.

각도마다 선택된, 화소의 조 상호의 상관을 기초로 데이터의 정상성 각도를 검출하도록 해도 된다.

오차 추정부(403)는 산출된 상관을 나타내는 정보를 정상 방향 도출부(404)에 공급한다.

스텝 S426 및 스텝 S427의 처리는 스텝 S406 및 스텝 S407의 처리와 동일하므로, 그 설명은 생략한다.

이와 같이, 데이터 정상성 검출부(101)는 결락된 실세계(1) 광 신호의 정상성에 대응하는 화상 데이터에서의, 기준축을 기준으로 한 데이터의 정상성 각도를 보다 정확하게, 보다 정밀도 양호하게 검출할 수 있다. 도 81에 구성을 나타낸 데이터 정상성 검출부(101)는 특히 데이터의 정상성 각도가 45도 부근인 경우에 있어서, 세선의 화상이 투영된, 보다 많은 화소 상관을 평가할 수 있으므로, 보다 정밀도 양호하게 데이터의 정상성 각도를 검출할 수 있다.

그리고, 도 81에서 구성이 나타난 데이터 정상성 검출부(101)에서도, 주목하고 있는 프레임인 주목 프레임의, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향의 액티비티를 검출하고, 검출된 액티비티에 따라, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 모션 벡터마다 주목 프레임 및 주목 프레임의 시간적으로 전 또는 후의 프레임의 각각으로부터 수직 방향으로 1렬 또는 수평 방향으로 1렬의, 공간적인 각도의 범위에 대하여 정한 수의 화소로 이루어지는 화소의 조를 공간적인 각도의 범위에 대하여 정한 수만큼 추출하고, 추출된 화소의 조의 상관을 검출하고, 상관에 따라, 입력 화상에서의, 시간 방향 및 공간 방향 데이터의 정상성 각도를 검출하도록 해도 된다.

도 94는 데이터 정상성 검출부(101)의 또 다른 구성을 나타낸 블록도이다.

도 94에 구성을 나타낸 데이터 정상성 검출부(101)에서는, 주목하고 있는 화소인 주목 화소에 대하여, 소정 수의 화소로 이루어지는 주목 화소를 중심으로 한 블록과, 주목 화소 주변의 각각 소정 수의 화소로 이루어지는 복수개의 블록이 추출되고, 주목 화소를 중심으로 한 블록과 주변 블록과의 상관이 검출되고, 상관에 따라 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도가 검출된다.

데이터 선택부(441)는 입력 화상의 화소로부터 주목 화소를 차례로 선택하고, 주목 화소를 중심으로 한 소정 수의 화소로 이루어지는 블록, 및 주목 화소 주변의 소정 수의 화소로 이루어지는 복수개의 블록을 추출하고, 추출한 블록을 오차 추정부(442)에 공급한다.

예를 들면, 데이터 선택부(441)는 주목 화소를 중심으로 한 5×5 화소로 이루어지는 블록, 주목 화소의 주변으로부터 주목 화소 및 기준축을 기준으로 한 소정 각도의 범위마다 5×5 화소로 이루어지는 2개의 블록을 추출한다.

오차 추정부(442)는 데이터 선택부(441)로부터 공급된 주목 화소를 중심으로 한 블록과, 주목 화소 주변 블록과의 상관을 검출하고, 검출한 상관을 나타내는 상관 정보를 정상 방향 도출부(443)에 공급한다.

예를 들면, 오차 추정부(442)는 각도의 범위마다 주목 화소를 중심으로 한 5×5 화소로 이루어지는 블록과, 1개의 각도의 범위에 대응하는 5×5 화소로 이루어지는 2개의 블록에 대하여, 화소값의 상관을 검출한다.

정상성 방향 도출부(443)는 오차 추정부(442)로부터 공급된 상관 정보에 따라, 상관이 가장 강한, 주목 화소 주변 블록 위치로부터 결락된 실세계(1) 광 신호의 정상성에 대응하는, 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다. 예를 들면, 정상 방향 도출부(443)는 오차 추정부(442)로부터 공급된 상관 정보에 따라, 주목 화소를 중심으로 한 5×5 화소로 이루어지는 블록에 대하여 가장 상관이 강한, 5×5 화소로 이루어지는 2개의 블록에 대한 각도의 범위를 데이터의 정상성 각도로서 검출하고, 검출된 각도를 나타내는 데이터 정상성 정보를 출력한다.

도 95는 도 94에 나타내는 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타낸 블록도이다.

데이터 선택부(441)는 화소 선택부 461-1 내지 화소 선택부 461-L을 포함한다. 오차 추정부(442)는 추정 오차 산출부 462-1 내지 추정 오차 산출부 462-L을 포함한다. 정상 방향 도출부(443)는 최소 오차 각도 선택부(463)를 포함한다.

예를 들면, 데이터 선택부(441)에는, 화소 선택부 461-1 내지 화소 선택부 461-8이 형성된다. 예를 들면, 오차 추정부(442)에는, 추정 오차 산출부 462-1 내지 추정 오차 산출부 462-8이 형성된다.

화소 선택부 461-1 내지 화소 선택부 461-L의 각각은 주목 화소를 중심으로 한 소정 수의 화소로 이루어지는 블록, 및 주목 화소 및 기준축을 기준으로 한 소정 각도의 범위에 대응한, 소정 수의 화소로 이루어지는 2개의 블록을 추출한다.

도 96은 화소 선택부 461-1 내지 화소 선택부 461-L에 의해 추출되는 5×5 화소의 블록의 예를 설명한 도면이다. 도 96에서의 중앙의 위치는 주목 화소의 위치를 나타낸다.

그리고, 5×5 화소의 블록은, 일례로서, 블록에 포함되는 화소의 수는 본 발명을 한정하는 것은 아니다.

예를 들면, 화소 선택부 461-1은 주목 화소를 중심으로 한 5×5 화소의 블록을 추출하는 동시에, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 대응한, 주목 화소에 대하여 우측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 A로 나타냄)을 추출하고, 주목 화소에 대하여 좌측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 A'로 나타냄)을 추출한다. 화소 선택부 461-1은 추출한 5×5 화소의 3개의 블록을 추정 오차 산출부 462-1에 공급한다.

화소 선택부 461-2는 주목 화소를 중심으로 한 5×5 화소의 블록을 추출하는 동시에, 18.4도 내지 33.7도의 범위에 대응한, 주목 화소에 대하여 우측으로 10 화소 이동하고, 상측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 B로 나타냄)을 추출하고, 주목 화소에 대하여 좌측으로 10 화소 이동하고, 하측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 B'로 나타냄)을 추출한다. 화소 선택부 461-2는 추출한 5×5 화소의 3개의 블록을 추정 오차 산출부 462-2에 공급한다.

화소 선택부 461-3은 주목 화소를 중심으로 한 5×5 화소의 블록을 추출하는 동시에, 33.7도 내지 56.3도의 범위에 대응한, 주목 화소에 대하여 우측으로 5 화소 이동하고, 상측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 C로 나타냄)을 추출하고, 주목 화소에 대하여 좌측으로 5 화소 이동하고, 하측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 C'로 나타냄)을 추출한다. 화소 선택부 461-3은 추출한 5×5 화소의 3개의 블록을 추정 오차 산출부 462-3에 공급한다.

화소 선택부 461-4는 주목 화소를 중심으로 한 5×5 화소의 블록을 추출하는 동시에, 56.3도 내지 71.6도의 범위에 대응한, 주목 화소에 대하여 우측으로 5 화소 이동하고, 상측으로 10 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 D로 나타냄)을 추출하고, 주목 화소에 대하여 좌측으로 5 화소 이동하고, 하측으로 10 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 D'로 나타냄)을 추출한다. 화소 선택부 461-4는 추출한 5×5 화소의 3개의 블록을 추정 오차 산출부 462-4에 공급한다.

화소 선택부 461-5는 주목 화소를 중심으로 한 5×5 화소의 블록을 추출하는 동시에, 71.6도 내지 108.4도의 범위에 대응한, 주목 화소에 대하여, 상측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 E로 나타냄)을 추출하고, 주목 화소에 대하여, 하측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 E'로 나타냄)을 추출한다. 화소 선택부 461-5는 추출한 5×5 화소의 3개의 블록을 추정 오차 산출부 462-5에 공급한다.

화소 선택부 461-6은 주목 화소를 중심으로 한 5×5 화소의 블록을 추출하는 동시에, 108.4도 내지 123.7도의 범위에 대응한, 주목 화소에 대하여 좌측으로 5 화소 이동하고, 상측으로 10 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 F로 나타냄)을 추출하고, 주목 화소에 대하여 우측으로 5 화소 이동하고, 히측으로 10 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 F'로 나타냄)을 추출한다. 화소 선택부 461-6은 추출한 5×5 화소의 3개의 블록을 추정 오차 산출부 462-6에 공급한다.

화소 선택부 461-7은 주목 화소를 중심으로 한 5×5 화소의 블록을 추출하는 동시에, 123.7도 내지 146.3도의 범위에 대응한, 주목 화소에 대하여 좌측으로 5 화소 이동하고, 상측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 G로 나타냄)을 추출하고, 주목 화소에 대하여 우측으로 5 화소 이동하고, 하측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 G'로 나타냄)을 추출한다. 화소 선택부 461-7은 추출한 5×5 화소의 3개의 블록을 추정 오차 산출부 462-7에 공급한다.

화소 선택부 461-8은 주목 화소를 중심으로 한 5×5 화소의 블록을 추출하는 동시에, 146.3도 내지 161.6도의 범위에 대응한, 주목 화소에 대하여 좌측으로 10 화소 이동하고, 상측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 H로 나타냄)을 추출하고, 주목 화소에 대하여 우측으로 10 화소 이동하고, 하측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 블록(도 96 중 H'로 나타냄)을 추출한다. 화소 선택부 461-8은 추출한 5×5 화소의 3개의 블록을 추정 오차 산출부 462-8에 공급한다.

이하, 주목 화소를 중심으로 한, 소정 수의 화소로 이루어지는 블록을 주목 블록이라고 칭한다.

이하, 주목 화소 및 기준축을 기준으로 한 소정 각도의 범위에 대응한, 소정 수의 화소로 이루어지는 블록을 참조 블록이라고 칭한다.

이와 같이, 화소 선택부 461-1 내지 화소 선택부 461-8은, 예를 들면, 주목 화소를 중심으로 하여, 25×25 화소의 범위로부터 주목 블록 및 참조 블록을 추출한다.

추정 오차 산출부 462-1 내지 추정 오차 산출부 462-L은 화소 선택부 461-1 내지 화소 선택부 461-L로부터 공급된 주목 블록과, 2개의 참조 블록과의 상관을 검출하고, 검출한 상관을 나타내는 상관 정보를 최소 오차 각도 선택부(463)에 공급한다.

예를 들면, 추정 오차 산출부 462-1은 주목 화소를 중심으로 한 5×5 화소로 이루어지는 주목 블록과, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 대응하여 추출된, 주목 화소에 대하여 우측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 참조 블록에 대하여, 주목 블록에 포함되는 화소의 화소값과, 참조 블록에 포함되는 화소의 화소값과의 차분의 절대값을 산출한다.

이 경우에 있어서, 추정 오차 산출부 462-1은 도 97에 나타낸 바와 같이, 주목 블록의 중앙의 화소와 참조 블록의 중앙의 화소가 겹치는 위치를 기준으로 하여, 화소값의 차분의 절대값의 산출에 주목 화소의 화소값이 사용되도록, 참조 블록에 대하여 주목 블록의 위치를 좌측으로 2 화소 내지 우측으로 2 화소 중 어느 하나, 상측으로 2 화소 내지 하측으로 2 화소 중 어느 하나를 이동킨 경우와 겹쳐지는 위치가 되는 화소의 화소값의 차분의 절대값을 산출한다. 즉, 주목 블록과 참조 블록과의 25종류의 위치에서의, 대응하는 위치 화소의 화소값의 차분의 절대값이 산출된다. 바꾸어 말하면, 화소값의 차분의 절대값이 산출되는 경우에 있어서, 상대적으로 이동되는 주목 블록 및 참조 블록으로 이루어지는 범위는 9×9 화소이다.

도 97에서, 사각은 화소를 나타내고, A는 참조 블록을 나타내고, B는 주목 블록을 나타낸다. 도 97에서, 태선은 주목 화소를 나타낸다. 즉, 도 97은 참조 블록에 대하여, 주목 블록이 우측으로 2 화소, 및 상측으로 1 화소 이동한 경우의 예를 나타낸 도면이다.

또한, 추정 오차 산출부 462-1은 주목 화소를 중심으로 한 5×5 화소로 이루어지는 주목 블록과, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 대응하여 추출된, 주목 화소에 대하여 좌측으로 5 화소 이동한 위치에 있는 화소를 중심으로 한 5×5 화소의 참조 블록에 대하여, 주목 블록에 포함되는 화소의 화소값과, 참조 블록에 포함되는 화소의 화소값과의 차분의 절대값을 산출한다.

그리고, 추정 오차 산출부 462-1은 산출된 차분의 절대값의 합을 구하고, 차분의 절대값의 합을 상관을 나타내는 상관 정보로서 최소 오차 각도 선택부(463)에 공급한다.

추정 오차 산출부 462-2는 5×5 화소로 이루어지는 주목 블록과, 18.4도 내지 33.7도의 범위에 대응하여 추출된, 5×5 화소의 2개의 참조 블록에 대하여, 화소값의 차분의 절대값을 산출하고, 또한 산출된 차분의 절대값의 합을 산출한다. 추정 오차 산출부 462-1은 산출된 차분의 절대값의 합을 상관을 나타내는 상관 정보로서 최소 오차 각도 선택부(463)에 공급한다.

동일하게, 추정 오차 산출부 462-3 내지 추정 오차 산출부 462-8의 각각은 5×5 화소로 이루어지는 주목 블록과, 소정 각도의 범위에 대응하여 추출된, 5×5 화소의 2개의 참조 블록에 대하여 화소값의 차분의 절대값을 산출하고, 또한 산출된 차분의 절대값의 합을 산출한다. 추정 오차 산출부 462-3 내지 추정 오차 산출부 462-8의 각각은 산출된 차분의 절대값의 합을 상관을 나타내는 상관 정보로서 최소 오차 각도 선택부(463)에 공급한다.

최소 오차 각도 선택부(463)는 추정 오차 산출부 462-1 내지 추정 오차 산출부 462-8로부터 공급된, 상관 정보로서의 화소값의 차분의 절대값의 합 중, 가장 강한 상관을 나타내는 최소의 값이 얻어진 참조 블록의 위치로부터 2개의 참조 블록에 대한 각도를 데이터의 정상성 각도로서 검출하고, 검출된 각도를 나타내는 데이터 정상성 정보를 출력한다.

여기에서, 참조 블록의 위치와, 데이터의 정상성 각도의 범위와의 관계에 대하여 설명한다.

실세계의 신호를 근사시키는 근사 함수 f(x)를 n차의 1차원 다항식으로 근사시킨 경우, 근사 함수 f(x)는 식 (30)으로 표현할 수 있다.

···(30)

근사 함수 f(x)로 근사되는 실세계(1)의 신호 파형이 공간 방향 Y에 대하여 일정한 경사(각도)를 가지는 경우, 식 (30)에서의 x를 x+γy로 함으로써 얻어진 식 (31)에서, 실세계(1)의 신호를 근사시키는 근사 함수(x, y)는 표현된다.

···(31)

γ는 공간 방향 Y의 위치의 변화에 대한, 공간 방향 X의 위치 변화의 비율을 나타낸다. 이하, γ를 시프트량이라고도 칭한다.

도 98은 주목 화소의 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리를 0으로 했을 때, 즉, 주목 화소를 직선이 통과할 때의, 주목 화소의 주변 화소의 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리를 나타낸 도면이다. 여기에서, 화소의 위치는 화소의 중심 위치이다. 또, 위치와 직선과의 거리는 위치가 직선에 대하여 좌측에 있을 때, 마이너스의 값으로 나타나고, 위치가 직선에 대하여 우측에 있을 때, 플러스의 값으로 나타난다.

예를 들면, 주목 화소의 우측에 인접하는 화소의 위치, 즉 공간 방향 X의 좌표 x가 1 증가하는 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리는 1이며, 주목 화소의 좌측에 인접하는 화소의 위치, 즉 공간 방향 X의 좌표 x가 1 감소하는 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리는 -1이다. 주목 화소 상측에 인접하는 화소의 위치, 즉 공간 방향 Y의 좌표 y가 1 증가하는 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리는 -γ이며, 주목 화소의 하측에 인접하는 화소의 위치, 즉 공간 방향 Y의 좌표 y가 1 감소하는 위치와, 각도 θ를 가지는 직선과의 공간 방향 X의 거리는 γ이다.

각도 θ가 45도를 넘고 90도 미만이며, 시프트량 γ가 0을 넘고 1 미만일 때, 시프트량 γ와 각도 θ 사이에는, γ=1/tanθ의 관계식이 성립된다. 도 99는 시프트량 γ와 각도 θ와의 관계를 나타낸 도면이다.

여기에서, 시프트량 γ의 변화에 대한 주목 화소의 주변 화소의 위치와, 주목 화소를 통과하여 각도 θ를 가지는 직선과의 공간 방향 X의 거리의 변화에 주목한다.

도 100은 시프트량 γ에 대한 주목 화소의 주변 화소의 위치와, 주목 화소를 통과하여, 각도 θ를 가지는 직선과의 공간 방향 X의 거리를 나타낸 도면이다. 도 100에서, 우측 상승의 일점 쇄선은 시프트량 γ에 대한 주목 화소의 하측에 인접하는 화소의 위치와 직선과의 공간 방향 X의 거리를 나타내고, 좌측 하강의 일점 쇄선은 시프트량 γ에 대한 주목 화소 상측에 인접하는 화소의 위치와 직선과의 공간 방향 X의 거리를 나타낸다.

도 100에서, 우측 상승의 2점 쇄선은 시프트량 γ에 대한 주목 화소로부터 2 화소 하측에서, 1 화소 좌측에 위치하는 화소의 위치와 직선과의 공간 방향 X의 거리를 나타내고, 좌측 하강의 2점 쇄선은 시프트량 γ에 대한 주목 화소로부터 2 화소 상측에서, 1 화소 우측에 위치하는 화소의 위치와 직선과의 공간 방향 X의 거리를 나타낸다.

도 100에서, 우측 상승의 3점 쇄선은 시프트량 γ에 대한 주목 화소로부터 1 화소 하측에서, 1 화소 좌측에 위치하는 화소의 위치와 직선과의 공간 방향 X의 거리를 나타내고, 좌측 하강의 3점 쇄선은 시프트량 γ에 대한 주목 화소로부터 1 화소 상측에서, 1 화소 우측에 위치하는 화소의 위치와 직선과의 공간 방향 X의 거리를 나타낸다.

도 100으로부터 시프트량 γ에 대하여, 거리가 가장 작은 화소를 알 수 있다.

즉, 시프트량 γ가 0 내지 1/3일 때, 주목 화소 상측에 인접하는 화소 및 주목 화소의 하측에 인접하는 화소로부터 직선까지의 거리가 최소이다. 즉, 각도 θ가 71.6도 내지 90도일 때, 주목 화소 상측에 인접하는 화소 및 주목 화소의 하측에 인접하는 화소로부터 직선까지의 거리가 최소이다.

시프트량 γ가 1/3 내지 2/3일 때, 주목 화소에 대하여, 2 화소 상측에서, 1 화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 2 화소 하측에서, 1 화소 좌측에 위치하는 화소로부터 직선까지의 거리가 최소이다. 즉, 각도 θ가 56.3도 내지 71.6도일 때, 주목 화소에 대하여, 2 화소 상측에서, 1 화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 2 화소 하측에서, 1 화소 좌측에 위치하는 화소로부터 직선까지의 거리가 최소이다.

또, 시프트량 γ가 2/3 내지 1일 때, 주목 화소에 대하여, 1 화소 상측에서, 1 화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 1 화소 하측에서, 1 화소 좌측에 위치하는 화소로부터 직선까지의 거리가 최소이다. 즉, 각도 θ가 45도 내지 56.3도일 때, 주목 화소에 대하여, 1 화소 상측에서, 1 화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 1 화소 하측에서, 1 화소 좌측에 위치하는 화소로부터 직선까지의 거리가 최소이다.

각도 θ가 0도로부터 45도 까지의 범위의 직선과 화소와의 관계도, 동일하게 생각할 수 있다.

도 98에 나타낸 화소를 주목 블록 및 참조 블록에 치환하여, 참조 블록과 직선과의 공간 방향 X의 거리를 생각할 수 있다.

도 101에, 주목 화소를 통과하고, 공간 방향 X의 축에 대하여 각도 θ의 직선과의 거리가 최소인 참조 블록을 나타낸다.

도 101에서의 A 내지 H 및 A' 내지 H'는 도 96에서의 A 내지 H 및 A' 내지 H'의 참조 블록을 나타낸다.

즉, 주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한 0도 내지 18.4도 및 161.6도 내지 180.0도 중 어느 하나의 각도 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 A 및 A'의 참조 블록과의 거리가 최소로 된다. 따라서, 역으로 생각하면, 주목 블록과, A 및 A'의 참조 블록과의 상관이 가장 강할 때, 주목 블록과, A 및 A'의 참조 블록을 연결하는 방향으로 일정한 특징이 반복해서 나타나고 있으므로, 데이터의 정상성 각도는 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 있다고 말할 수 있다.

주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한 18.4도 내지 33.7도 중 어느 하나의 각도 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 B 및 B'의 참조 블록과의 거리가 최소로 된다. 따라서, 역으로 생각하면, 주목 블록과, B 및 B'의 참조 블록과의 상관이 가장 강할 때, 주목 블록과, B 및 B'의 참조 블록을 연결하는 방향으로 일정한 특징이 반복해서 나타나고 있으므로, 데이터의 정상성 각도는 18.4도 내지 33.7도의 범위에 있다고 말할 수 있다.

주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한 33.7도 내지 56.3도 중 어느 하나의 각도 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 C 및 C'의 참조 블록과의 거리가 최소로 된다. 따라서, 역으로 생각하면, 주목 블록과, C 및 C'의 참조 블록과의 상관이 가장 강할 때, 주목 블록과, C 및 C'의 참조 블록을 연결하는 방향으로 일정한 특징이 반복해서 나타나고 있으므로, 데이터의 정상성 각도는 33.7도 내지 56.3도의 범위에 있다고 말할 수 있다.

주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한 56.3도 내지 71.6도 중 어느 하나의 각도 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 D 및 D'의 참조 블록과의 거리가 최소로 된다. 따라서, 역으로 생각하면, 주목 블록과, D 및 D'의 참조 블록과의 상관이 가장 강할 때, 주목 블록과, D 및 D'의 참조 블록을 연결하는 방향으로 일정한 특징이 반복해서 나타나고 있으므로, 데이터의 정상성 각도는 56.3도 내지 71.6도의 범위에 있다고 말할 수 있다.

주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한 71.6도 내지 108.4도 중 어느 하나의 각도 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 E 및 E'의 참조 블록과의 거리가 최소로 된다. 따라서, 역으로 생각하면, 주목 블록과, E 및 E'의 참조 블록과의 상관이 가장 강할 때, 주목 블록과, E 및 E'의 참조 블록을 연결하는 방향으로 일정한 특징이 반복해서 나타나고 있으므로, 데이터의 정상성 각도는 71.6도 내지 108.4도의 범위에 있다고 말할 수 있다.

주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한 108.4도 내지 123.7도 중 어느 하나의 각도 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 F 및 F'의 참조 블록과의 거리가 최소로 된다. 따라서, 역으로 생각하면, 주목 블록과, F 및 F'의 참조 블록과의 상관이 가장 강할 때, 주목 블록과, F 및 F'의 참조 블록을 연결하는 방향으로 일정한 특징이 반복해서 나타나고 있으므로, 데이터의 정상성 각도는 108.4도 내지 123.7도의 범위에 있다고 말할 수 있다.

주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한 123.7도 내지 146.3도 중 어느 하나의 각도 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 G 및 G'의 참조 블록과의 거리가 최소로 된다. 따라서, 역으로 생각하면, 주목 블록과, G 및 G'의 참조 블록과의 상관이 가장 강할 때, 주목 블록과, G 및 G'의 참조 블록을 연결하는 방향으로 일정한 특징이 반복해서 나타나고 있으므로, 데이터의 정상성 각도는 123.7도 내지 146.3도의 범위에 있다고 말할 수 있다.

주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한 146.3도 내지 161.6도 중 어느 하나의 각도 θ를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록 각각과의 공간 방향 X의 거리 중, 직선과 H 및 H'의 참조 블록과의 거리가 최소로 된다. 따라서, 역으로 생각하면, 주목 블록과, H 및 H'의 참조 블록과의 상관이 가장 강할 때, 주목 블록과, H 및 H'의 참조 블록을 연결하는 방향으로 일정한 특징이 반복해서 나타나고 있으므로, 데이터의 정상성 각도는 146.3도 내지 161.6도의 범위에 있다고 말할 수 있다.

이와 같이, 데이터 정상성 검출부(101)는 주목 블록과 참조 블록과의 상관을 기초로 데이터의 정상성 각도를 검출할 수 있다.

그리고, 도 94에 구성을 나타낸 데이터 정상성 검출부(101)에서는, 데이터의 정상성 각도의 범위를 데이터 정상성 정보로서 출력하도록 해도 되고, 데이터의 정상성 각도의 범위를 나타낸 대표값을 데이터 정상성 정보로서 출력하도록 해도 된다. 예를 들면, 데이터의 정상성 각도 범위의 중앙값을 대표값으로 할 수 있다.

또한, 도 94에 구성을 나타낸 데이터 정상성 검출부(101)는 상관이 가장 강한 참조 블록 주변의 참조 블록의 상관을 이용함으로써, 검출하는 데이터의 정상성 각도의 범위를 1/2로, 즉, 검출하는 데이터의 정상성 각도의 분해능을 2배로 할 수 있다.

예를 들면, 주목 블록과, E 및 E'의 참조 블록과의 상관이 가장 강할 때, 최소 오차 각도 선택부(463)는 도 102에서 나타낸 바와 같이, 주목 블록에 대한 D 및 D'의 참조 블록의 상관과, 주목 블록에 대한 F 및 F'의 참조 블록의 상관을 비교한다. 주목 블록에 대한 D 및 D'의 참조 블록의 상관이 주목 블록에 대한 F 및 F'의 참조 블록의 상관과 비교하여 강한 경우, 최소 오차 각도 선택부(463)는 데이터의 정상성 각도로 71.6도 내지 90도의 범위를 설정한다. 또, 이 경우, 최소 오차 각도 선택부(463)는 데이터의 정상성 각도에 대표값으로서 81도를 설정하도록 해도 된다.

주목 블록에 대한 F 및 F'의 참조 블록의 상관이 주목 블록에 대한 D 및 D'의 참조 블록의 상관과 비교하여 강한 경우, 최소 오차 각도 선택부(463)는 데이터의 정상성 각도로 90도 내지 108.4도의 범위를 설정한다. 또, 이 경우, 최소 오차 각도 선택부(463)는 데이터의 정상성 각도에 대표값으로서 99도를 설정하도록 해도 된다.

최소 오차 각도 선택부(463)는 동일한 처리로 다른 각도의 범위 대해서도 검출하는 데이터의 정상성 각도의 범위를 1/2로 할 수 있다.

그리고, 도 102를 참조하여 설명한 방법을 간이(簡易) 16 방위 검출 방법이라고도 칭한다.

이와 같이, 도 94에 구성을 나타낸 데이터 정상성 검출부(101)는 간단한 처리로, 보다 범위가 좁은 데이터의 정상성 각도를 검출할 수 있다.

다음에, 도 103의 플로차트를 참조하여, 스텝 S101의 처리에 대응하는, 도 94에서 구성이 나타난 데이터 정상성 검출부(101)에 의한 데이터의 정상성 검출 처리를 설명한다.

스텝 S441에서, 데이터 선택부(441)는 입력 화상으로부터 주목하고 있는 화소인 주목 화소를 선택한다. 예를 들면, 데이터 선택부(441)는 입력 화상으로부터 래스터 스캔순으로 주목 화소를 선택한다.

스텝 S442에서, 데이터 선택부(441)는 주목 화소를 중심으로 하는 소정 수의 화소로 이루어지는 주목 블록을 선택한다. 예를 들면, 데이터 선택부(441)는 주목 화소를 중심으로 하는 5×5 화소로 이루어지는 주목 블록을 선택한다.

스텝 S443에서, 데이터 선택부(441)는 주목 화소 주변 소정 위치의 소정 수의 화소로 이루어지는 참조 블록을 선택한다. 예를 들면, 데이터 선택부(441)는 주목 화소 및 기준축을 기준으로 한 소정 각도의 범위마다 주목 블록의 크기를 기준으로 한 소정 위치의 화소를 중심으로 하는 5×5 화소로 이루어지는 참조 블록을 선택한다.

데이터 선택부(441)는 주목 블록 및 참조 블록을 오차 추정부(442)에 공급한다.

스텝 S444에서, 오차 추정부(442)는 주목 화소 및 기준축을 기준으로 한 소정 각도의 범위마다 주목 블록과, 각도의 범위에 대응한 참조 블록과의 상관을 계산한다. 오차 추정부(442)는 산출된 상관을 나타내는 상관 정보를 정상 방향 도출부(443)에 공급한다.

스텝 S445에서, 정상 방향 도출부(443)는 주목 블록에 대하여, 상관이 가장 강한 참조 블록의 위치로부터 결락된 실세계(1)의 광 신호인 화상의 정상성에 대응하는, 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도를 검출한다.

정상 방향 도출부(443)는 검출한 데이터의 정상성 각도를 나타내는 데이터 정상성 정보를 출력한다.

스텝 S446에서, 데이터 선택부(441)는 모든 화소의 처리를 종료했는지 여부를 판정하고, 모든 화소의 처리를 종료하고 있지 않다고 판정된 경우, 스텝 S441로 복귀하고, 아직 주목 화소로서 선택되어 있지 않은 화소로부터 주목 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S446에서, 모든 화소의 처리를 종료했다고 판정된 경우, 처리는 종료된다.

이와 같이, 도 94에 구성을 나타낸 데이터 정상성 검출부(101)는 보다 간단한 처리로, 결락된 실세계(1)의 광 신호의 정상성에 대응하는 화상 데이터에서의, 기준축을 기준으로 한 데이터의 정상성 각도를 검출할 수 있다. 또, 도 94에 구성을 나타낸 데이터 정상성 검출부(101)는 입력 화상 중, 비교적 좁은 범위 화소의 화소값을 사용하여, 데이터의 정상성 각도를 검출할 수 있으므로, 입력 화상에 노이즈 등이 포함되어 있어도, 보다 정확하게 데이터의 정상성 각도를 검출할 수 있다.

그리고, 도 94에서 구성이 나타난 데이터 검출부(101)는 주목하고 있는 프레임인 주목 프레임의, 주목하고 있는 화소인 주목 화소에 대하여, 주목 프레임으로부터 소정 수의 화소로 이루어지는 주목 화소를 중심으로 한 블록과, 주목 화소 주변의, 각각 소정 수의 화소로 이루어지는 복수개의 블록을 추출하는 동시에, 주목 프레임에 대하여 시간적으로 전 또는 후의 프레임으로부터 소정 수의 화소로 이루어지는 주목 화소에 대응하는 위치의 화소를 중심으로 한 블록과, 주목 화소에 대응하는 위치의 화소 주변의, 각각 소정 수의 화소로 이루어지는 복수개의 블록을 추출하고, 주목 화소를 중심으로 한 블록과 공간 목표 또는 시간적으로 주변 블록과의 상관을 검출하고, 상관에 따라, 입력 화상에서의, 시간 방향 및 공간 방향 데이터의 정상성 각도를 검출하도록 해도 된다.

예를 들면, 도 104에 나타낸 바와 같이, 데이터 선택부(441)는 주목 프레임인 프레임 #n으로부터 주목 화소를 차례로 선택하고, 프레임 #n으로부터 주목 화소를 중심으로 한, 소정 수의 화소로 이루어지는 블록, 및 주목 화소 주변의, 소정 수의 화소로 이루어지는 복수개의 블록을 추출한다. 또, 데이터 선택부(441)는 프레임 #n-1 및 프레임 #n+1의 각각으로부터 주목 화소의 위치에 대응하는 위치의 화소를 중심으로 한, 소정 수의 화소로 이루어지는 블록, 및 주목 화소의 위치에 대응하는 위치의 화소 주변의, 소정 수의 화소로 이루어지는 복수개의 블록을 추출한다. 데이터 선택부(441)는 추출한 블록을 오차 추정부(442)에 공급한다.

오차 추정부(442)는 데이터 선택부(441)으로부터 공급된, 주목 화소를 중심으로 한 블록과, 공간 목표 또는 시간적으로 주변 블록과의 상관을 검출하고, 검출한 상관을 나타내는 상관 정보를 정상 방향 도출부(443)에 공급한다. 정상성 방향 도출부(443)는 오차 추정부(442)로부터 공급된 상관 정보에 따라, 상관이 가장 강한 공간 목표 또는 시간적으로 주변 블록의 위치로부터 결락된 실세계(1)의 광 신호의 정상성에 대응하는, 입력 화상에서의 시간 방향 및 공간 방향 데이터의 정상성 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다.

또, 데이터 정상성 검출부(101)는 입력 화상의 컴퍼넌트 신호를 기초로 데이터의 정상성 검출 처리를 실행할 수 있다.

도 105는 입력 화상의 컴퍼넌트 신호를 기초로 데이터의 정상성 검출 처리를 실행하는 데이터 정상성 검출부(101)의 구성을 나타낸 블록도이다.

데이터 정상성 검출부 481-1 내지 481-3의 각각은 전술한, 또는 후술하는 데이터 정상성 검출부(101)와 동일한 구성을 가지고, 입력 화상의 컴퍼넌트 신호의 각각을 처리의 대상으로 하여, 전술한, 또는 후술하는 처리를 실행한다.

데이터 정상성 검출부 481-1은 입력 화상의 제1 컴퍼넌트 신호를 기초로 데이터의 정상성을 검출하고, 제1 컴퍼넌트 신호로부터 검출된 데이터의 정상성을 나타내는 정보를 결정부(482)에 공급한다. 예를 들면, 데이터 정상성 검출부 481-1은 입력 화상의 휘도 신호를 기초로 데이터의 정상성을 검출하고, 휘도 신호로부터 검출된 데이터의 정상성을 나타내는 정보를 결정부(482)에 공급한다.

데이터 정상성 검출부 481-2는 입력 화상의 제2 컴퍼넌트 신호를 기초로 데이터의 정상성을 검출하고, 제2 컴퍼넌트 신호로부터 검출된 데이터의 정상성을 나타내는 정보를 결정부(482)에 공급한다. 예를 들면, 데이터 정상성 검출부 481-2는 입력 화상의 색차 신호인 I 신호를 기초로 데이터의 정상성을 검출하고, I 신호로부터 검출된 데이터의 정상성을 나타내는 정보를 결정부(482)에 공급한다.

데이터 정상성 검출부 481-3은 입력 화상의 제3 컴퍼넌트 신호를 기초로 데이터의 정상성을 검출하고, 제3 컴퍼넌트 신호로부터 검출된 데이터의 정상성을 나타내는 정보를 결정부(482)에 공급한다. 예를 들면, 데이터 정상성 검출부 481-2는 입력 화상의 색차 신호인 Q 신호를 기초로 데이터의 정상성을 검출하고, Q 신호로부터 검출된 데이터의 정상성을 나타내는 정보를 결정부(482)에 공급한다.

결정부(482)는 데이터 정상성 검출부 481-1 내지 481-3으로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터의 정상성을 나타내는 정보를 기초로 입력 화상에서의 최종적인 데이터의 정상성을 검출하고, 검출한 데이터의 정상성을 나타내는 데이터 정상성 정보를 출력한다.

예를 들면, 결정부(482)는 데이터 정상성 검출부 481-1 내지 481-3으로부터 공급된, 각 컴퍼넌트 신호로부터 검출된 데이터의 정상성 중, 최대 데이터의 정상성을 최종적인 데이터의 정상성으로 한다. 또, 예를 들면, 결정부(482)는 데이터 정상성 검출부 481-1 내지 481-3으로부터 공급된 각 컴퍼넌트 신호로부터 검출된 데이터의 정상성 중, 최소 데이터의 정상성을 최종적인 데이터의 정상성으로 한다.

또한, 예를 들면, 결정부(482)는 데이터 정상성 검출부 481-1 내지 481-3으로부터 공급된 각 컴퍼넌트 신호로부터 검출된 데이터 정상성의 평균값을 최종적인 데이터의 정상성으로 한다. 결정부(482)는 데이터 정상성 검출부 481-1 내지 481-3으로부터 공급된 각 컴퍼넌트 신호로부터 검출된 데이터 정상성의 미디언(중앙값)을 최종적인 데이터의 정상성으로 하도록 해도 된다.

또, 예를 들면, 결정부(482)는 외부로부터 입력된 신호를 기초로 데이터 정상성 검출부 481-1 내지 481-3으로부터 공급된 각 컴퍼넌트 신호로부터 검출된 데이터의 정상성 중, 외부로부터 입력된 신호로 지정되는 데이터의 정상성을 최종적인 데이터의 정상성으로 한다. 결정부(482)는 데이터 정상성 검출부 481-1 내지 481-3으로부터 공급된 각 컴퍼넌트 신호로부터 검출된 데이터의 정상성 중, 미리 정한 데이터의 정상성을 최종적인 데이터의 정상성으로 하도록 해도 된다.

그리고, 결정부(482)는 데이터 정상성 검출부 481-1 내지 481-3으로부터 공급된 각 컴퍼넌트 신호 데이터의 정상성 검출 처리에서 구한 오차를 기초로 최종적인 데이터의 정상성을 결정하도록 해도 된다. 데이터의 정상성 검출 처리에서 구해지는 오차에 대해서는, 후술한다.

도 106은 입력 화상의 컴퍼넌트 신호를 기초로 데이터의 정상성 검출 처리를 실행하는 데이터 정상성 검출부(101)의 다른 구성을 나타낸 도면이다.

컴퍼넌트 처리부(491)는 입력 화상의 컴퍼넌트 신호를 기초로 1개의 신호를 생성하여, 데이터 정상성 검출부(492)에 공급한다. 예를 들면, 컴퍼넌트 처리부(491)는 입력 화상의 각 컴퍼넌트 신호에서의 값을 화면 상에서 동일 위치의 화소에 대하여 가산함으로써, 컴퍼넌트 신호의 값의 합으로 이루어지는 신호를 생성한다.

예를 들면, 컴퍼넌트 처리부(491)는 입력 화상의 각 컴퍼넌트 신호에서의 화소값을 화면 상에서 동일 위치의 화소에 대하여 평균함으로써, 컴퍼넌트 신호의 화소값의 평균값으로 이루어지는 신호를 생성한다.

데이터 정상성 검출부(492)는 컴퍼넌트 처리부(491)로부터 공급된 신호를 기초로 입력 화상에 있어서의 데이터의 정상성을 검출하고, 검출한 데이터의 정상성을 나타내는 데이터 정상성 정보를 출력한다.

데이터 정상성 검출부(492)는 전술한, 또는 후술하는 데이터 정상성 검출부(101)와 동일한 구성을 가지고, 컴퍼넌트 처리부(491)로부터 공급된 신호를 대상으로 하여, 전술한, 또는 후술하는 처리를 실행한다.

이와 같이, 데이터 정상성 검출부(101)는 컴퍼넌트 신호를 기초로 입력 화상 데이터의 정상성을 검출함으로써, 입력 화상에 노이즈 등이 포함되어 있어도, 보다 정확하게, 데이터의 정상성을 검출할 수 있다. 예를 들면, 데이터 정상성 검출부(101)는 컴퍼넌트 신호를 기초로 입력 화상 데이터의 정상성을 검출함으로써, 보다 정확하게, 데이터의 정상성 각도(경사), 혼합비, 또는 데이터의 정상성을 가지는 영역을 검출할 수 있다.

그리고, 컴퍼넌트 신호는 휘도 신호 및 색차 신호에 한정되지 않고, RGB 신호, 또는 YUV 신호 등 다른 방식의 컴퍼넌트 신호라도 된다.

이상과 같이, 현실 세계의 광 신호가 투영되고, 현실 세계 광 신호의 정상성의 일부가 결락된 화상 데이터의, 결락된 현실 세계 광 신호의 정상성에 대응하는 데이터 정상성의 기준축에 대한 각도를 검출하고, 검출된 각도에 따라, 결락된 현실 세계 광 신호의 정상성을 추정함으로써 광 신호를 추정하도록 한 경우, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

또, 현실 세계의 광 신호가 복수개의 검출 소자에 투영됨으로써 취득된, 현실 세계 광 신호의 정상성의 일부가 결락된 화상 데이터가 주목하고 있는 주목 화소 및 기준축을 기준으로 한 각도마다 소정 수의 화소로 이루어지는 화소의 조로서, 복수개의 조를 추출하고, 각도마다 추출된, 복수개의 조에서의 대응하는 위치 화소의 화소값의 상관을 검출하고, 검출된 상관에 따라, 결락된 현실 세계 광 신호의 정상성에 대응하는 화상 데이터에서의, 기준축을 기준으로 한 데이터의 정상성 각도를 검출하고, 검출된 화상 데이터에서의 기준축에 대한 데이터의 정상성 각도에 따라, 결락된 현실 세계 광 신호의 정상성을 추정함으로써 광 신호를 추정하도록 한 경우, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

도 107은 데이터 정상성 검출부(101)의 또 다른 구성을 나타낸 블록도이다.

도 107에 나타낸 데이터 정상성 검출부(101)에서는, 현실 세계의 광 신호가 투영되고, 현실 세계 광 신호의 정상성의 일부가 결락된 화상 데이터가 주목하고 있는 화소인 주목 화소에 대응하는 영역이 선택되고, 주목 화소의 화소값과, 선택된 영역에 속하는 화소의 화소값과의 상관값이 임계값 이상인 화소에, 상관값에 따른 도수가 설정됨으로써 영역에 속하는 화소의 도수가 검출되고, 검출된 도수에 따라 회귀선을 검출함으로써, 결락된 현실 세계 광 신호의 정상성에 대응하는 화상 데이터의 데이터 정상성이 검출된다.

프레임 메모리(501)는 입력 화상을 프레임 단위로 기억하고, 기억되어 있는 프레임을 구성하는 화소의 화소값을 화소 취득부(502)에 공급한다. 프레임 메모리(501)는 1개의 페이지에 입력 화상의 현재의 프레임을 기억하고, 다른 페이지에 기억하고 있는 현재의 프레임에 대하여 1개 전(과거)의 프레임 화소의 화소값을 화소 취득부(502)에 공급하고, 입력 화상 프레임의 변환 시각에서, 페이지를 변환함으로써, 화소 취득부(502)에 동영상인 입력 화상 프레임 화소의 화소값을 공급할 수 있다.

화소 취득부(502)는 프레임 메모리(501)로부터 공급된 화소의 화소값을 기초로 주목하고 있는 화소인 주목 화소를 선택하고, 선택된 주목 화소에 대응하는 소정 수의 화소로 이루어지는 영역을 선택한다. 예를 들면, 화소 취득부(502)는 주목 화소를 중심으로 하는 5×5 화소로 이루어지는 영역을 선택한다.

화소 취득부(502)가 선택하는 영역의 크기는 본 발명을 한정하는 것은 아니다.

화소 취득부(502)는 선택한 영역 화소의 화소값을 취득하여, 선택한 영역 화소의 화소값을 도수 검출부(503)에 공급한다.

도수 검출부(503)는 화소 취득부(502)로부터 공급된, 선택된 영역 화소의 화소값을 기초로 주목 화소의 화소값과, 선택된 영역에 속하는 화소의 화소값과의 상관값이 임계값 이상인 화소에 상관값에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출한다. 도수 검출부(503)에서의, 상관값에 따른 도수 설정 처리의 상세는 후술한다.

도수 검출부(503)는 검출한 도수를 회귀 직선 연산부(504)에 공급한다.

회귀 직선 연산부(504)는 도수 검출부(503)로부터 공급된 도수에 따라, 회귀선을 연산한다. 예를 들면, 회귀 직선 연산부(504)는 도수 검출부(503)로부터 공급된 도수에 따라, 회귀 직선을 연산한다. 또, 예를 들면, 회귀 직선 연산부(504)는 도수 검출부(503)로부터 공급된 도수에 따라, 소정 곡선인 회귀선을 연산한다. 회귀 직선 연산부(504)는 연산된 회귀선 및 연산의 결과를 나타내는 연산 결과 파라미터를 각도 산출부(505)에 공급한다. 연산 파라미터가 나타내는 연산의 결과에는, 후술하는 변동 및 공(共)변동(co-movement) 등이 포함된다.

각도 산출부(505)는 회귀 직선 연산부(504)로부터 공급된 연산 결과 파라미터로 나타내는 회귀선에 따라, 결락된 현실 세계 광 신호의 정상성에 대응하는, 화상 데이터인 입력 화상 데이터의 정상성을 검출한다. 예를 들면, 각도 산출부(505)는 회귀 직선 연산부(504)로부터 공급된 연산 결과 파라미터로 나타내는 회귀 직선에 따라, 결락된 실세계(1)의 광 신호의 정상성에 대응하는, 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도를 검출한다. 각도 산출부(505)는 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도를 나타내는 데이터 정상성 정보를 출력한다.

도 108 내지 도 110을 참조하여, 입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도에 대하여 설명한다.

도 108에서, 동그라미는 1개의 화소를 나타내고, 2중 동그라미는 주목 화소를 나타낸다. 동그라미의 색은 화소의 화소값의 개략을 나타내고, 보다 밝은 색은 보다 큰 화소값을 나타낸다. 예를 들면, 흑은 30인 화소값을 나타내고, 흰색은 120인 화소값을 나타낸다.

도 108에서 나타낸 화소로 이루어지는 화상을 인간이 본 경우, 화상을 본 인간은 경사 우측 상 방향으로 직선이 신장되어 있는 것으로 인식할 수 있다.

도 107에 구성을 나타낸 데이터 정상성 검출부(101)는 도 108에서 나타낸 화소로 이루어지는 입력 화상을 입력했을 때, 경사 우측 상 방향으로 직선이 신장되어 있는 것을 검출한다.

도 109는 도 108에서 나타낸 화소의 화소값을 수치로 나타낸 도면이다. 동그라미는 1개의 화소를 나타내고, 동그라미 가운데의 수치는 화소값을 나타낸다.

예를 들면, 주목 화소의 화소값은 120이며, 주목 화소 상측 화소의 화소값은 100이며, 주목 화소의 하측 화소의 화소값은 100이다. 또, 주목 화소의 좌측 화소의 화소값은 80이며, 주목 화소의 우측 화소의 화소값은 80이다. 동일하게, 주목 화소의 좌측 하측 화소의 화소값은 100이며, 주목 화소의 우상측 화소의 화소값은 100이다. 주목 화소의 좌측 상측 화소의 화소값은 30이며, 주목 화소의 우측 하측 화소의 화소값은 30이다.

도 107에 구성을 나타낸 데이터 정상성 검출부(101)는 도 109에서 나타낸 입력 화상에 대하여, 도 110에서 나타낸 바와 같이, 회귀 직선 A를 끌어 당긴다.

도 111은 입력 화상에서의, 화소의 공간 방향 위치에 대한 화소값의 변화와, 회귀 직선 A와의 관계를 나타낸 도면이다. 데이터의 정상성을 가지는 영역에서 화소의 화소값은, 예를 들면, 도 111에 나타낸 바와 같이, 산맥형으로 변화하고 있다.

도 107에 구성을 나타낸 데이터 정상성 검출부(101)는 데이터의 정상성을 가지는 영역에서 화소의 화소값을 중량으로 하고, 최소 제곱법에 의해 회귀 직선 A를 끌어 당긴다. 데이터 정상성 검출부(101)에 의해 구해진 회귀 직선 A는 주목 화소의 주변에서의 데이터의 정상성을 표현하고 있다.

입력 화상에서의 기준축을 기준으로 한 데이터의 정상성 각도는 도 112에서 나타낸 바와 같이, 회귀 직선 A와, 예를 들면, 기준축인 공간 방향 X를 나타내는 축과의 각도 θ를 구함으로써, 검출된다.

다음에, 도 107에 구성을 나타낸 데이터 정상성 검출부(101)에서의, 회귀 직선의 구체적인 산출 방법에 대하여 설명한다.

도수 검출부(503)는, 예를 들면, 화소 취득부(502)로부터 공급된, 주목 화소를 중심으로 하는 공간 방향 X에 9 화소, 공간 방향 Y에 5 화소, 계 45 화소로 이루어지는 영역 화소의 화소값으로부터 영역에 속하는 화소의 좌표에 대응하는 도수를 검출한다.

예를 들면, 도수 검출부(503)는 식 (32)로 나타내는 연산에 의해 도수를 산출함으로써, 영역에 속하는 좌표 (x_i, y_j)의 도수 L_i, _j를 검출한다.

···(32)

식 (32)에서, P₀, ₀은 주목 화소의 화소값을 나타내고, P_i, _J는 좌표 (x_i, y_{j) 화소의 화소값}을 나타낸다. Th는 임계값을 나타낸다.

i는 영역 내에서의, 공간 방향 X 화소의 순번을 나타내고, l≤i≤k이다. j는 영역 내에서의, 공간 방향 Y 화소의 순번을 나타내고, 1≤j≤l이다.

k는 영역에서의, 공간 방향 X의 화소수를 나타내고, l은 영역에서의, 공간 방향 Y의 화소수를 나타낸다. 예를 들면, 영역이 공간 방향 X에 9 화소, 공간 방향 Y에 5 화소, 계 45 화소로 이루어질 때, k는 9이며, l은 5이다.

도 113은 화소 취득부(502)에서 취득되는 영역의 예를 나타낸 도면이다. 도 113에서, 점선의 사각은 1개의 화소를 나타낸다.

예를 들면, 도 113에서 나타낸 바와 같이, 영역이 공간 방향 X에 대하여, 주목 화소를 중심으로 한 9 화소, 공간 방향 Y에 대하여, 주목 화소를 중심으로 한 5 화소로 이루어지고, 주목 화소의 좌표 (x, y)가 (0, 0)일 때, 영역 좌측 상의 화소 좌표 (x, y)는 (-4, 2)이며, 영역 우측 상의 화소 좌표 (x, y)는 (4, 2)이며, 영역 좌측 하의 화소 좌표 (x, y)는 (-4, -2)이며, 영역 우측 하의 화소 좌표 (x, y)는 (4, -2)이다.

영역 좌측 화소의 공간 방향 X에서의, 화소의 순번 i는 1이며, 영역 우측 화소의 공간 방향 X에서의, 화소의 순번 i는 9이다. 영역 하측 화소의 공간 방향 Y에서의, 화소의 순번 j는 1이며, 영역 상측 화소의 공간 방향 Y에서의, 화소의 순번 j는 5이다.

즉, 주목 화소의 좌표 (x₅, y₃)를 (0, 0)으로 했을 때, 영역 좌측 상의 화소 좌표 (x₁, y₅)는 (-4, 2)이며, 영역 우측 상의 화소 좌표 (x₉, y₅)는 (4, 2)이며, 영역 좌측 하의 화소 좌표 (x1, y1)은 (-4, -2)이며, 영역 우측 하의 화소 좌표 (x9, y1)은 (4, -2)이다.

도수 검출부(503)는 식 (32)에서, 상관값으로서 주목 화소의 화소값과, 영역에 속하는 화소의 화소값과의 차분의 절대값을 산출하므로, 실세계(1)의 세선 화상이 투영된, 입력 화상에서의 데이터의 정상성을 가지는 영역뿐만 아니라, 배경과는 상이한 색으로서, 단색인 직선형 에지를 가지는 물체의 실세계(1) 화상이 투영된, 입력 화상에서의 2치 에지 데이터의 정상성을 가지는 영역에서의 화소값의 공간적인 변화의 특징을 나타내는 도수를 검출할 수 있다.

그리고, 도수 검출부(503)는 화소의 화소값과의 차분의 절대값에 한정되지 않고, 상관 계수 등 다른 상관값을 기초로 도수를 검출하도록 해도 된다.

또, 식 (32)에서, 지수 함수를 적용하고 있는 것은 화소값의 차에 대하여 도수에 크게 차를 붙이기 때문이며, 다른 함수를 적용하도록 해도 된다.

임계값 Th는 임의의 값으로 할 수 있다. 예를 들면, 임계값 Th는 30으로 할 수 있다.

이와 같이, 도수 검출부(503)는 선택된 영역에 속하는 화소의 화소값과의 상관값이 임계값 이상인 화소에, 상관값에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출한다.

또, 예를 들면, 도수 검출부(503)는 식 (33)으로 나타낸 연산에 의해 도수를 산출함으로써, 영역에 속하는 좌표 (x_i, y_j)의 도수 L_i, _j를 검출한다.

···(33)

좌표 (x_i, y_j)에서의 도수를 L_i, _j(l≤i≤k, l≤i≤l)로 했을 때, 좌표 x_i에서의, 공간 방향 Y의 도수 L_i, _j의 합 Q_i는 식 (34)로 표현되고, 좌표 y_j에서의, 공간 방향 X의 도수 L_i, _j의 합 h_J는 식 (35)로 표현된다.

···(34)

···(35)

도수의 총계 u는 식 (36)으로 표현된다.

···(36)

도 113에서 나타낸 예에서, 주목 화소의 좌표 도수 L₅, ₃은 3이며, 주목 화소의 상측 화소의 좌표 도수 L₅, ₄는 1이며, 주목 화소의 우상측 화소의 좌표 도수 L₆, ₄는 4이며, 주목 화소에 대하여, 2 화소 상측으로서, 1 화소 우측 화소의 좌표 도수 L₆, ₅는 2이며, 주목 화소에 대하여, 2 화소 상측으로서, 2 화소 우측 화소의 좌표 도수 L₇, ₅는 3이다. 또, 주목 화소의 하측 화소의 좌표 도수 L₅, ₂는 2이며, 주목 화소의 좌측 화소의 좌표 도수 L₄, ₃은 1이며, 주목 화소의 좌측 하측 화소의 좌표 도수 L₄, ₂는 3이며, 주목 화소에 대하여, 1 화소 하측으로서, 2 화소 좌측 화소의 좌표 도수 L₃, ₂는 2이며, 주목 화소에 대하여, 2 화소 하측으로서, 2 화소 좌측 화소의 좌표 도수 L₃, ₁은 4이다. 도 113에서 나타낸 영역의 다른 화소의 좌표 도수는 0이며, 도 113에서, 0인 도수의 기재는 생략한다.

도 113에서 나타낸 영역에서, 공간 방향 Y의 도수의 합 Q₁은 i가 1인 도수 L이 모두 0이므로, 0이며, Q₂는 i가 2인 도수 L이 모두 0이므로, 0이다. Q₃은 도수 L₃, ₂가 2이며, 도수 L₃, ₁이 4이므로, 6이다. 동일하게, Q₄는 4이며, Q₅는 6이며, Q₆은 6이며, Q₇은 3이며, Q₈은 0이며, Q₉는 0이다.

도 113에서 나타낸 영역에서, 공간 방향 X의 도수의 합 h₁는 도수 L₃, ₁이 4이므로, 4이다. h₂는 도수 L₃, ₂가 2이며, 도수 L₄, ₂가 3이며, 도수 L₅, ₂가 2이므로, 7이다. 동일하게, h₃은 4이며, h₄는 5이며, h₅는 5이다.

도 113에서 나타낸 영역에서, 도수의 총계 u는 25이다.

공간 방향 Y의 도수 L_i, _j의 합 Q_i에 좌표 x_i를 곱한 결과를 가산한 합 Tx는 식 (37)로 표현된다.

···(37)

공간 방향 X의 도수 L_i, _j의 합 h_j에 좌표 y_j를 곱한 결과를 가산한 합 T_y는 식 (38)로 표현된다.

···(38)

예를 들면, 도 113에서 나타낸 영역에서, Q₁가 0이며, x₁가 -4이므로, Q₁x₁는 0이며, Q₂가 0이며, x₂가 -3이므로, Q₂x₂는 0이다. 동일하게, Q₃가 6이며, x₃가 -2이므로, Q₃x₃는 -12이며, Q₄가 4이며, x₄가 -1이므로, Q₄x₄는 -4이며, Q₅가 6이며, x₅가 0이므로, Q₅x₅는 0이다. 동일하게, Q₆가 6이며, x₆가 1이므로, Q₆x₆는 6이며, Q₇가 3이며, x₇가 2이므로, Q₇x₇는 6이며, Q₈가 0이며, x₈가 3이므로, Q₈x₈는 0이며, Q₉가 0이며, x₉가 4이므로, Q₉x₉는 0이다. 따라서, Q₁x₁ 내지 Q₉x₉의 합인 T_x는 -4이다.

예를 들면, 도 113에서 나타낸 영역에서, h₁가 4이며, y₁가 -2이므로, h₁y₁는 -8이며, h₂가 7이며, y₂가 -1이므로, h₂y₂는 -7이다. 동일하게, h₃가 4이며, y₃가 0이므로, h₃y₃는 0이며, h₄가 5이며, y₄가 1이므로, h₄y₄는 5이며, h₅가 5이며, y₅가 2이므로, h₅y₅는 10이다. 따라서, h₁y₁ 내지 h₅y₅의 합인 T_y는 0이다.

또, Q_i를 다음과 같이 정의한다.

···(39)

x의 변동 S_x는 식 (40)으로 표현된다.

···(40)

y의 변동 S_y는 식 (41)로 표현된다.

···(41)

공변동 S_xy는 식 (42)로 표현된다.

···(42)

식 (43)에 나타낸 1차 회귀 직선을 구하는 것을 고려한다.

y=ax+b ···(43)

경사 a 및 절편 b는 최소 제곱법에 의해 다음과 같이 구할 수 있다.

···(44)

···(45)

단, 정확한 회귀 직선을 구하기 위한 필요 조건은, 도수 L_{i , j}이 회귀 직선에 대하여, 가우스 분포 형상으로 분포되어 있는 것이다. 역으로 말하면, 도수 검출부(503)는 도수 L_{i , j}이 가우스 분포되도록, 영역 화소의 화소값을 도수 L_{i , j}로 변환할 필요가 있다.

회귀 직선 연산부(504)는 식 (44) 및 식 (45)로 나타낸 연산을 실행하여, 회귀 직선을 구한다.

각도 산출부(505)는 식 (46)에 나타낸 연산에 의해 회귀 직선의 경사 a를 기준축인 공간 방향 X의 축에 대한 각도 θ로 변환한다.

θ=tan_-1(a) ···(46)

그리고, 회귀 직선 연산부(504)가 소정 곡선인 회귀선을 연산하는 경우, 각도 산출부(505)는 기준축에 대한 주목 화소의 위치에서의 회귀선의 각도 θ를 구한다.

여기에서, 화소마다 데이터의 정상성을 검출하기 위해서는, 절편 b는 불필요하다. 그래서, 식 (47)에 나타낸 1차 회귀 직선을 구하는 것을 고려한다.

y=ax ···(47)

이 경우, 회귀 직선 연산부(504)는 최소 제곱법에 의해 경사 a를 식 (48)에서 구할 수 있다.

···(48)

도 114의 플로차트를 참조하여, 스텝 S101의 처리에 대응하는, 도 107에서 구성이 나타난 데이터 정상성 검출부(101)에 의한 데이터의 정상성 검출 처리를 설명한다.

스텝 S501에서, 화소 취득부(502)는 아직 주목 화소로 되어 있지 않은 화소 중 주목 화소를 선택한다. 예를 들면, 화소 취득부(502)는 래스터 스캔순으로 주목 화소를 선택한다. 스텝 S502에서, 화소 취득부(502)는 주목 화소를 중심으로 하는 영역에 포함되는 화소의 화소값을 취득하고, 취득한 화소의 화소값을 도수 검출부(503)에 공급한다. 예를 들면, 화소 취득부(502)는 주목 화소를 중심으로 한, 9×5 화소로 이루어지는 영역을 선택하고, 영역에 포함되는 화소의 화소값을 취득한다.

스텝 S503에서, 도수 검출부(503)는 영역에 포함되는 화소의 화소값을 도수로 변환함으로써 도수를 검출한다. 예를 들면, 도수 검출부(503)는 식 (32)에 나타낸 연산에 의해 화소값을 도수 L_{i , j}로 변환한다. 이 경우에 있어서, 도수 L_{i , j}이 가우스 분포되도록, 영역 화소의 화소값이 도수 L_{i , j}로 변환된다. 도수 검출부(503)는 변환된 도수를 회귀 직선 연산부(504)에 공급한다.

스텝 S504에서, 회귀 직선 연산부(504)는 도수 검출부(503)로부터 공급된 도수를 기초로 회귀선을 구한다. 예를 들면, 회귀 직선 연산부(504)는 도수 검출부(503)로부터 공급된 도수를 기초로 회귀 직선을 구한다. 보다 구체적으로는, 회귀 직선 연산부(504)는 식 (44) 및 식 (45)로 나타낸 연산을 실행하여 회귀 직선을 구한다. 회귀 직선 연산부(504)는 산출된 결과인 회귀 직선을 나타내는 연산 결과 파라미터를 각도 산출부(505)에 공급한다.

스텝 S505에서, 각도 산출부(505)는 기준축에 대한 회귀 직선의 각도를 산출함으로써, 결락된 현실 세계 광 신호의 정상성에 대응하는 화상 데이터의 데이터 정상성을 검출한다. 예를 들면, 각도 산출부(505)는 식 (46)에 나타낸 연산에 의해 회귀 직선의 경사 a를 기준축인 공간 방향 X의 축에 대한 각도 θ로 변환한다. 각도 산출부(505)는 기준축에 대한 회귀 직선의 각도를 나타내는 데이터 정상성 정보를 출력한다.

그리고, 각도 산출부(505)는 경사 a를 나타내는 데이터 정상성 정보를 출력하도록 해도 된다.

스텝 S506에서, 화소 취득부(502)는 모든 화소의 처리를 종료했는지 여부를 판정하고, 모든 화소의 처리를 종료하고 있지 않다고 판정된 경우, 스텝 S501으로 복귀하고, 아직 주목 화소로서 선택되어 있지 않은 화소로부터 주목 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S506에서, 모든 화소의 처리를 종료했다고 판정된 경우, 처리는 종료된다.

이와 같이, 도 107에 구성을 나타낸 데이터 정상성 검출부(101)는 결락된 실세계(1)의 광 신호의 정상성에 대응하는 화상 데이터에서의, 기준축을 기준으로 한 데이터의 정상성 각도를 검출할 수 있다.

특히, 도 107에 구성을 나타낸 데이터 정상성 검출부(101)는 비교적 좁은 영역 화소의 화소값을 기초로 화소 이하의 각도를 구할 수 있다.

이상과 같이, 현실 세계의 광 신호가 투영되고, 현실 세계 광 신호의 정상성의 일부가 결락된 화상 데이터가 주목하고 있는 화소인 주목 화소에 대응하는 영역을 선택하고, 주목 화소의 화소값과, 선택된 영역에 속하는 화소의 화소값과의 상관값이 임계값 이상인 화소에, 상관값에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출하고, 검출된 도수에 따라 회귀선을 검출함으로써, 결락된 현실 세계 광 신호의 정상성에 대응하는 화상 데이터의 데이터 정상성을 검출하고, 검출된 화상 데이터의 데이터 정상성에 따라, 결락된 현실 세계 광 신호의 정상성을 추정함으로써 광 신호를 추정하도록 한 경우, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

그리고, 도 107에 구성을 나타낸 데이터 정상성 검출부(101)는 주목 화소가 속하는 주목 프레임과, 주목 프레임의 시간적으로 전후의 프레임에 대하여, 소정 영역에 속하는 화소의 화소값을 도수로 변환하고, 도수를 기초로 회귀 평면을 구하도록 하면, 공간 방향 데이터의 정상성 각도와 함께, 시간 방향 데이터의 정상성 각도를 검출할 수 있다.

도 115는 데이터 정상성 검출부(101)의 또 다른 구성을 나타낸 블록도이다.

도 115에 나타낸 데이터 정상성 검출부(101)에서는, 현실 세계의 광 신호가 투영되고, 현실 세계 광 신호의 정상성의 일부가 결락된 화상 데이터가 주목하고 있는 화소인 주목 화소에 대응하는 영역이 선택되고, 주목 화소의 화소값과, 선택된 영역에 속하는 화소의 화소값과의 상관값이 임계값 이상인 화소에, 상관값에 따른 도수가 설정됨으로써, 영역에 속하는 화소의 도수가 검출되고, 검출된 도수에 따라 회귀선을 검출함으로써, 결락된 현실 세계 광 신호의 정상성에 대응하는, 화상 데이터에서의 데이터 정상성을 가지는 영역을 검출한다.

프레임 메모리(601)는 입력 화상을 프레임 단위로 기억하고, 기억되어 있는 프레임을 구성하는 화소의 화소값을 화소 취득부(602)에 공급한다. 프레임 메모리(601)는 1개의 페이지에 입력 화상의 현재의 프레임을 기억하고, 다른 페이지에 기억하고 있는 현재의 프레임에 대하여 1개 전(과거)의 프레임 화소의 화소값을 화소 취득부(602)에 공급하고, 입력 화상의 프레임 변환 시각에서, 페이지를 변환함으로써, 화소 취득부(602)에 동영상인 입력 화상의 프레임 화소의 화소값을 공급할 수 있다.

화소 취득부(602)는 프레임 메모리(601)로부터 공급된 화소의 화소값을 기초로 주목하고 있는 화소인 주목 화소를 선택하고, 선택된 주목 화소에 대응하는 소정 수의 화소로 이루어지는 영역을 선택한다. 예를 들면, 화소 취득부(602)는 주목 화소를 중심으로 하는 5×5 화소로 이루어지는 영역을 선택한다.

화소 취득부(602)가 선택하는 영역의 크기는 본 발명을 한정하는 것은 아니다.

화소 취득부(602)는 선택한 영역 화소의 화소값을 취득하고, 선택한 영역 화소의 화소값을 도수 검출부(603)에 공급한다.

도수 검출부(603)는 화소 취득부(602)로부터 공급된, 선택된 영역 화소의 화소값을 기초로 주목 화소의 화소값과, 선택된 영역에 속하는 화소의 화소값과의 상관값이 임계값 이상인 화소에 상관값에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출한다. 도수 검출부(603)에서의 상관값에 따른 도수 설정 처리의 상세는 후술한다.

도수 검출부(603)는 검출한 도수를 회귀 직선 연산부(604)에 공급한다.

회귀 직선 연산부(604)는 도수 검출부(603)로부터 공급된 도수에 따라, 회귀선을 연산한다. 예를 들면, 회귀 직선 연산부(604)는 도수 검출부(603)로부터 공급된 도수에 따라, 회귀 직선을 연산한다. 또, 예를 들면, 회귀 직선 연산부(604)는 도수 검출부(603)로부터 공급된 도수에 따라, 소정 곡선인 회귀선을 연산한다. 회귀 직선 연산부(604)는 연산된 회귀선 및 연산의 결과를 나타내는 연산 결과 파라미터를 영역 산출부(605)에 공급한다. 연산 파라미터가 나타내는 연산의 결과에는, 후술하는 변동 및 공변동 등이 포함된다.

영역 산출부(605)는 회귀 직선 연산부(604)로부터 공급된 연산 결과 파라미터로 나타낸 회귀선에 따라, 결락된 현실 세계 광 신호의 정상성에 대응하는, 화상 데이터인 입력 화상에서 데이터의 정상성을 가지는 영역을 검출한다.

도 116은 입력 화상에 있어서의 화소의 공간 방향 위치에 대한 화소값의 변화와, 회귀 직선 A와의 관계를 나타낸 도면이다. 데이터의 정상성을 가지는 영역에서 화소의 화소값은, 예를 들면, 도 116에 나타낸 바와 같이, 산맥 형상으로 변화하고 있다.

도 115에 구성을 나타낸 데이터 정상성 검출부(101)는 데이터의 정상성을 가지는 영역에서 화소의 화소값을 중량으로 하여 최소 제곱법에 의해 회귀 직선 A를 끌어 당긴다. 데이터 정상성 검출부(101)에 의해 구해진 회귀 직선 A는 주목 화소의 주변에서의 데이터의 정상성을 표현하고 있다.

회귀 직선을 끌어 당긴다고 하는 것은 가우스 함수를 전제로 한 근사를 의미한다. 도 117에 나타낸 바와 같이, 도 115에 구성을 나타낸 데이터 정상성 검출부(101)는, 예를 들면, 표준 편차를 구함으로써, 세선의 화상이 투영된 데이터(3)에서의 영역의, 대강의 폭을 알 수 있다. 또, 예를 들면, 도 115에 구성을 나타낸 데이터 정상성 검출부(101)는 상관 계수를 기초로 세선의 화상이 투영된 데이터(3)에서의 영역의, 대강의 폭을 알 수 있다.

다음에, 도 115에 구성을 나타낸 데이터 정상성 검출부(101)에서의, 회귀 직선의 구체적인 산출 방법에 대하여 설명한다.

도수 검출부(603)는, 예를 들면, 화소 취득부(602)로부터 공급된 주목 화소를 중심으로 하는 공간 방향 X에 9 화소, 공간 방향 Y에 5 화소, 계 45 화소로 이루어지는 영역 화소의 화소값으로부터 영역에 속하는 화소의 좌표에 대응하는 도수를 검출한다.

예를 들면, 도수 검출부(603)는 식 (49)로 나타낸 연산에 의해 도수를 산출함으로써, 영역에 속하는 좌표 (x_i, y_j)의 도수 L_{i , j}를 검출한다.

··· 49

식 (49)에서, P_{0 , 0}는 주목 화소의 화소값을 나타내고, P_{i, j}는 좌표 (x_i, y_{j) 화소의 화소값}을 나타낸다. Th는 임계값을 나타낸다.

i는 영역 내에서의, 공간 방향 X 화소의 순번을 나타내고, l≤i≤k이다. j는 영역 내에서의, 공간 방향 Y 화소의 순번을 나타내고, l≤i≤l이다.

k는 영역에서의, 공간 방향 X의 화소수를 나타내고, l은 영역에서의, 공간 방향 Y의 화소수를 나타낸다. 예를 들면, 영역이 공간 방향 X에 9 화소, 공간 방향 Y에 5 화소, 계 45 화소로 이루어질 때, K는 9이며, L은 5이다.

도 118은 화소 취득부(602)에서 취득되는 영역의 예를 나타낸 도면이다. 도 118에서, 점선의 사각은 1개의 화소를 나타낸다.

예를 들면, 도 118에서 나타낸 바와 같이, 영역이 공간 방향 X에 대하여, 주목 화소를 중심으로 한 9 화소, 공간 방향 Y에 대하여, 주목 화소를 중심으로 한 5 화소로 이루어지고, 주목 화소의 좌표 (x, y)가 (0, 0)일 때, 영역 좌측 상의 화소 좌표 (x, y)는 (-4, 2)이며, 영역 우측 상의 화소 좌표 (x, y)는 (4, 2)이며, 영역 좌측 하의 화소 좌표 (x, y)는 (-4, -2)이며, 영역 우측 하의 화소 좌표 (x, y)는 (4, -2)이다.

영역 좌측 화소의, 공간 방향 X에서의 화소의 순번 i는 1이며, 영역 우측 화소의, 공간 방향 X에서의 화소의 순번 i는 9이다. 영역 하측 화소의, 공간 방향 Y에서의 화소의 순번 j는 1이며, 영역 상측 화소의, 공간 방향 Y에서의 화소의 순번 j는 5이다.

즉, 주목 화소의 좌표 (x₅, y₃)를 (0, 0)으로 했을 때, 영역 좌측 상의 화소 좌표 (x₁, y₅)는 (-4, 2)이며, 영역 우측 상의 화소 좌표 (x₉, y₅)는 (4, 2)이며, 영역 좌측 하의 화소 좌표 (x₁, y₁)은 (-4, -2)이며, 영역 우측 하의 화소 좌표 (x₉, y₁)은 (4, -2)이다.

도수 검출부(603)는 식 (49)에서, 상관값으로서 주목 화소의 화소값과, 영역에 속하는 화소의 화소값과의 차분의 절대값을 산출하므로, 실세계(1)의 세선 화상이 투영된 입력 화상에서의, 데이터의 정상성을 가지는 영역뿐만 아니라, 배경과는 상이한 색으로서, 단색인 직선형 에지를 가지는 물체의 실세계(1) 화상이 투영된, 입력 화상에서의, 2치 에지 데이터의 정상성을 가지는 영역에서의, 화소값의 공간적인 변화의 특징을 나타낸 도수를 검출할 수 있다.

그리고, 도수 검출부(603)는 화소의 화소값과의 차분의 절대값에 한정되지 않고, 상관 계수 등 다른 상관값을 기초로 도수를 검출하도록 해도 된다.

또, 식 (49)에서, 지수 함수를 적용하고 있는 것은 화소값의 차에 대하여, 도수에 크게 차를 붙이기 때문이며, 다른 함수를 적용하도록 해도 된다.

임계값 Th는 임의의 값으로 할 수 있다. 예를 들면, 임계값 Th는 30으로 할 수 있다.

이와 같이, 도수 검출부(603)는 선택된 영역에 속하는 화소의 화소값과의 상관값이 임계값 이상인 화소에, 상관값에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출한다.

또, 예를 들면, 도수 검출부(603)는 식 (50)으로 나타낸 연산에 의해 도수를 산출함으로써, 영역에 속하는 좌표 (x_i, y_j)의 도수 L_{i , j}를 검출한다.

···(50)

좌표 (x_i, y_j)에서의 도수를 L_{i , j}(l≤i≤k, ㅣ≤j≤l)로 했을 때, 좌표 x_i에서의, 공간 방향 Y의 도수 L_{i , j}의 합 Q_i는 식 (51)로 표현되고, 좌표 y_j에서의, 공간 방향 X의 도수 L_{i , j}의 합 h_j는 식 (52)로 표현된다.

···(51)

···(52)

도수의 총계 u는 식 (53)로 표현된다.

···(53)

도 118에서 나타낸 예에서, 주목 화소의 좌표 도수 L_{5 , 3}은, 3이며, 주목 화소 상측 화소의 좌표 도수 L_{5 , 4}는 1이며, 주목 화소의 우상측 화소의 좌표 도수 L_{6 , 4}는 4이며, 주목 화소에 대하여, 2 화소 상측으로서, 1 화소 우측 화소의 좌표 도수 L_{6 , 5}는 2이며, 주목 화소에 대하여, 2 화소 상측으로서, 2 화소 우측 화소의 좌표 도수 L_{7 , 5}는 3이다. 또, 주목 화소의 하측 화소의 좌표 도수 L_{5 , 2}는 2이며, 주목 화소의 좌측 화소의 좌표 도수 L_{4 , 3}은 1이며, 주목 화소의 좌하측 화소의 좌표 도수 L_{4 , 2}는 3이며, 주목 화소에 대하여, 1 화소 하측으로서, 2 화소 좌측 화소의 좌표 도수 L_{3 , 2}는 2이며, 주목 화소에 대하여, 2 화소 하측으로서, 2 화소 좌측 화소의 좌표 도수 L_{3, 1}은 4이다. 도 118에서 나타낸 영역의 다른 화소의 좌표 도수는 0이며, 도 118에서, 0인 도수의 기재는 생략한다.

도 118에서 나타낸 영역에서, 공간 방향 Y의 도수의 합 Q₁는 i가 1인 도수 L이 모두 0이므로, 0이며, Q₂는 i가 2인 도수 L이 모두 0이므로, 0이다. Q₃는, 도수 L_{3 , 2}이 2이며, 도수 L_{3 , 1}이 4이므로, 6이다. 동일하게, Q₄는 4이며, Q₅는 6이며, Q₆는 6이며, Q₇는 3이며, Q₈는 0이며, Q₉는 0이다.

도 118에서 나타낸 영역에서, 공간 방향 X의 도수의 합 h₁는 도수 L_{3 , 1}이 4이므로, 4이다. h₂는 도수 L_{3 , 2}가 2이며, 도수 L_{4 , 2}가 3이며, 도수 L_{5 , 2}가 2이므로, 7이다. 동일하게, h₃는 4이며, h₄는 5이며, h₅는 5이다.

도 118에서 나타낸 영역에서, 도수의 총계 u는 25이다.

공간 방향 Y의 도수 L_{i , j}의 합 Q_i에 좌표 x_i를 곱한 결과를 가산한 합 T_x는 식 (54)로 표현된다.

···(54)

공간 방향 X의 도수 L_{i , j}의 합 h_j에, 좌표 y_j를 곱한 결과를 가산한 합 T_y는 식 (55)로 표현된다.

···(55)

예를 들면, 도 118에서 나타낸 영역에서, Q₁가 0이며, x₁가 -4이므로, Q₁x₁는 0이며, Q₂가 0이며, x₂가 -3이므로, Q₂x₂는 0이다. 동일하게, Q₃ 가 6이며, x₃가 -2이므로, Q₃x₃는 -12이며, Q₄가 4이며, x₄가 -1이므로, Q₄x₄는 -4이며, Q₅가 6이며, x₅가 0이므로, Q₅x₅는 0이다. 동일하게, Q₆가 6이며, x₆가 1이므로, Q₆x₆는 6이며, Q₇가 3이며, x₇가 2이므로, Q₇x₇는 6이며, Q₈가 0이며, x₈가 3이므로, Q₈x₈는 0이며, Q₉가 0이며, x₉가 4이므로, Q₉x₉는 0이다. 따라서, Q₁x₁ 내지 Q₉x₉의 합인 T_x는 -4이다.

예를 들면, 도 118에서 나타낸 영역에서, h₁가 4이며, y₁가 -2이므로, h₁y₁는 -8이며, h₂가 7이며, y₂가 -1이므로, h₂y₂는 -7이다. 동일하게, h₃가 4이며, y₃가 0이므로, h₃y₃는 0이며, h₄가 5이며, y₄가 1이므로, h₄y₄는 5이며, h₅가 5이며, y₅가 2이므로, h₅y₅는 10이다. 따라서, h₁y₁ 내지 h₅y₅의 합인 T_y는 0이다.

또, Q_i를 다음과 같이 정의한다.

···(56)

x의 변동 S_x는 식 (57)로 표현된다.

···(57)

y의 변동 S_y는 식 (58)로 표현된다.

···(58)

공변동 S_xy는 식 (59)로 표현된다.

···(59)

식 (60)에 나타낸 1차 회귀 직선을 구하는 것을 고려한다.

y=ax+b ···(60)

경사 a 및 절편 b는 최소 제곱법에 의해 다음과 같이 구할 수 있다.

···(61)

···(62)

단, 정확한 회귀 직선을 구하기 위한 필요 조건은 도수 L_{i , j}이 회귀 직선에 대하여, 가우스 분포 형상으로 분포되어 있는 것이다. 역으로 말하면, 도수 검출부(603)는 도수 L_{i , j}이 가우스 분포되도록, 영역 화소의 화소값을 도수 L_{i , j}로 변환할 필요가 있다.

회귀 직선 연산부(604)는 식 (61) 및 식 (62)에서 나타낸 연산을 실행하여, 회귀 직선을 구한다.

또, 화소마다 데이터의 정상성을 검출하기 위해서는, 절편 b는 불필요하다. 그래서, 식 (63)에 나타낸 1차 회귀 직선을 구하는 것을 고려한다.

y=ax ···(63)

이 경우, 회귀 직선 연산부(604)는 최소 제곱법에 의해 경사 a를 식 (64)에서 구할 수 있다.

···(64)

데이터의 정상성을 가지는 영역을 특정하는 제1 방법에서는, 식 (60)에 나타낸 회귀 직선의 추정 오차가 이용된다.

y의 변동 S_{y ·x}는 식 (65)로 나타낸 연산으로 구해진다.

···(65)

추정 오차의 분산은 변동을 사용하여, 식 (66)으로 나타낸 연산으로 구해진다.

···(66)

따라서, 표준 편차는, 이하의 식에서 도출된다.

···(67)

단, 표준 편차는, 세선의 화상이 투영된 영역을 대상으로 하는 경우, 세선의 폭에 상당하는 양이므로, 일률적으로, 표준 편차가 큰 것을 가지고, 데이터의 정상을 가지는 영역이 아니라고 하는 판단을 할 수 없다. 그러나, 예를 들면, 클래스 분류 적응 처리가 파탄되는 것은 데이터의 정상을 가지는 영역 중에서도, 세선의 폭이 좁은 부분이므로, 클래스 분류 적응 처리가 파탄될 가능성이 큰 영역을 검출하기 위해, 표준 편차를 사용하여 검출된 영역을 나타내는 정보를 이용할 수 있다.

영역 산출부(605)는 식 (67)로 나타낸 연산에 의해 표준 편차를 산출하고, 표준 편차를 기초로 입력 화상에서의, 데이터의 정상성을 가지는 영역을 산출한다. 예를 들면, 영역 산출부(605)는 표준 편차에 소정 계수를 곱하여 거리를 구하고, 회귀 직선으로부터 구한 거리 이내의 영역을 데이터의 정상성을 가지는 영역으로 한다. 예를 들면, 영역 산출부(605)는 회귀 직선을 중심으로 하여, 회귀 직선으로부터 표준 편차이내의 거리의 영역을 데이터의 정상성을 가지는 영역으로서 산출한다.

제2 방법에서는, 도수의 상관을 데이터의 정상을 가지는 영역의 검출에 사용한다.

상관 계수 r_xy은 x의 변동 S_{x , y}의 변동 S_y, 및 공변동 S_xy를 기초로 식 (68)로 나타낸 연산으로 구할 수 있다.

···(68)

상관에는, 플러스의 상관과 마이너스의 상관이 있으므로, 영역 산출부(605)는 상관 계수 r_xy의 절대값을 구하고, 상관 계수 r_xy의 절대값이 1에 가까울수록, 상관이 강하다고 판정한다. 보다 구체적으로는, 영역 산출부(605)는 임계값과, 상관 계수 r_xy의 절대값을 비교하여, 상관 계수 r_xy의 절대값이 임계값 이상인 영역을 데이터의 정상성을 가지는 영역으로서 검출한다.

도 119의 플로차트를 참조하여, 스텝 S101의 처리에 대응하는, 도 115에서 구성이 나타난 데이터 정상성 검출부(101)에 의한, 데이터의 정상성 검출 처리를 설명한다.

스텝 S601에서, 화소 취득부(602)는 아직 주목 화소로 되어 있지 않은 화소 중에서 주목 화소를 선택한다. 예를 들면, 화소 취득부(602)는 래스터 스캔순으로, 주목 화소를 선택한다. 스텝 S602에서, 화소 취득부(602)는 주목 화소를 중심으로 하는 영역에 포함되는 화소의 화소값을 취득하고, 취득한 화소의 화소값을 도수 검출부(603)에 공급한다. 예를 들면, 화소 취득부(602)는 주목 화소를 중심으로 한, 9×5 화소로 이루어지는 영역을 선택하고, 영역에 포함되는 화소의 화소값을 취득한다.

스텝 S603에서, 도수 검출부(603)는 영역에 포함되는 화소의 화소값을 도수로 변환함으로써 도수를 검출한다. 예를 들면, 도수 검출부(603)는 식 (49)로 나타낸 연산에 의해 화소값을 도수 L_{i , j}로 변환한다. 이 경우에 있어서, 도수 L_{i , j}이 가우스 분포 형상으로 분포하도록, 영역 화소의 화소값이 도수 L_{i , j}로 변환된다. 도수 검출부(603)는 변환된 도수를 회귀 직선 연산부(604)에 공급한다.

스텝 S604에서, 회귀 직선 연산부(604)는 도수 검출부(503)로부터 공급된 도수를 기초로 회귀선을 구한다. 예를 들면, 회귀 직선 연산부(604)는 도수 검출부(603)로부터 공급된 도수를 기초로 회귀 직선을 구한다. 보다 구체적으로는, 회귀 직선 연산부(604)는 식 (61) 및 식 (62)로 나타낸 연산을 실행하여, 회귀 직선을 구한다. 회귀 직선 연산부(604)는 산출된 결과인 회귀 직선을 나타내는 연산 결과 파라미터를 영역 산출부(605)에 공급한다.

스텝 S605에서, 영역 산출부(605)는 회귀 직선에 대한 표준 편차를 산출한다. 예를 들면, 영역 산출부(605)는 식 (67)로 나타낸 연산에 의해 회귀 직선에 대한 표준 편차를 산출한다.

스텝 S606에서, 영역 산출부(605)는 표준 편차로부터 입력 화상에 있어서의 데이터의 정상성을 가지는 영역을 특정한다. 예를 들면, 영역 산출부(605)는 표준 편차에 소정 계수를 곱하여 거리를 구하고, 회귀 직선으로부터 구한 거리 이내의 영역을 데이터의 정상성을 가지는 영역으로서 특정한다.

영역 산출부(605)는 데이터의 정상성을 가지는 영역을 나타내는 데이터 정상성 정보를 출력한다.

스텝 S607에서, 화소 취득부(602)는 모든 화소의 처리를 종료했는지 여부를 판정하고, 모든 화소의 처리를 종료하고 있지 않다고 판정된 경우, 스텝 S601로 복귀하고, 아직 주목 화소로서 선택되어 있지 않은 화소로부터 주목 화소를 선택하여, 전술한 처리를 반복한다.

스텝 S607에서, 모든 화소의 처리를 종료했다고 판정된 경우, 처리는 종료된다.

도 120의 플로차트를 참조하여, 스텝 S101의 처리에 대응하는, 도 115에서 구성이 나타난 데이터 정상성 검출부(101)에 의한 데이터의 정상성 검출의 다른 처리를 설명한다. 스텝 S621 내지 스텝 S624의 처리는 스텝 S601 내지 스텝 S604의 처리와 동일하므로, 그 설명은 생략한다.

스텝 S625에서, 영역 산출부(605)는 회귀 직선에 대한 상관 계수를 산출한다. 예를 들면, 영역 산출부(605)는 식 (68)로 나타낸 연산에 의해 회귀 직선에 대한 상관 계수를 산출한다.

스텝 S626에서, 영역 산출부(605)는 상관 계수로부터 입력 화상에서의, 데이터의 정상성을 가지는 영역을 특정한다. 예를 들면, 영역 산출부(605)는 미리 기억하고 있는 임계값과 상관 계수의 절대값을 비교하여, 상관 계수의 절대값이 임계값 이상인 영역을 데이터의 정상성을 가지는 영역으로서 특정한다.

영역 산출부(605)는 데이터의 정상성을 가지는 영역을 나타내는 데이터 정상성 정보를 출력한다.

스텝 S627의 처리는 스텝 S607의 처리와 동일하므로, 그 설명은 생략한다.

이와 같이, 도 115에 구성을 나타낸 데이터 정상성 검출부(101)는 결락된 실세계(1)의 광 신호의 정상성에 대응하는 화상 데이터에 있어서의 데이터의 정상성을 가지는 영역을 검출할 수 있다.

이상과 같이, 현실 세계의 광 신호가 투영되고, 현실 세계 광 신호의 정상성의 일부가 결락된 화상 데이터가 주목하고 있는 화소인 주목 화소에 대응하는 영역을 선택하고, 주목 화소의 화소값과, 선택된 영역에 속하는 화소의 화소값과의 상관값이 임계값 이상인 화소에, 상관값에 따른 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출하고, 검출된 도수에 따라 회귀선을 검출함으로써, 결락된 현실 세계 광 신호의 정상성에 대응하는, 화상 데이터에서의 데이터 정상성을 가지는 영역을 검출하고, 검출된 화상 데이터의 데이터 정상성에 따라, 결락된 현실 세계 광 신호의 정상성을 추정함으로써 광 신호를 추정하도록 한 경우, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

도 121은 데이터 정상성 검출부(101)의 그 밖의 실시예의 구성을 나타내고 있다.

도 121의 데이터 정상성 검출부(101)는 데이터 선택부(701), 데이터 가산 대입부(702), 및 정상 방향 도출부(703)로 구성된다.

데이터 선택부(701)는 입력 화상의 각 화소를 주목 화소로 하고, 그 주목 화소마다 대응하는 화소의 화소값 데이터를 선택하여, 데이터 가산 대입부(702)에 출력한다.

데이터 가산 대입부(702)는 데이터 선택부(701)로부터 입력된 데이터에 따라, 최소 제곱법에서의 가산 대입 연산을 행하고, 가산 대입 연산 결과를 정상 방향 도출부(703)에 출력한다. 이 데이터 가산 대입부(702)에 의한 가산 대입 연산이란, 후술하는 최소 제곱법의 연산에 사용하는 서메이션(summation)의 항에 있어서의 연산이며, 그 연산 결과는, 정상성의 각도를 검출하기 위한 화상 데이터의 특징이라고 말할 수 있다.

정상 방향 도출부(703)는 데이터 가산 대입부(702)로부터 입력된 가산 대입 연산 결과로부터 정상 방향, 즉, 데이터의 정상성이 가지는 기준축으로부터의 각도(예를 들면, 세선, 또는 2치 에지 등의 경사, 또는 방향)를 연산하고, 이것을 데이터 정상성 정보로서 출력한다.

다음에, 도 122를 참조하여, 데이터 정상성 검출부(101)에서의 정상성(방향, 또는 각도)을 검출하는 동작의 개요에 대하여 설명한다. 그리고, 도 122, 도 123 중, 도 6, 도 7에서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부여하고 있어, 이하에서는, 그 설명은, 적당히 생략한다.

도 122에서 나타낸 바와 같이, 실세계(1)의 신호(예를 들면, 화상)는 광학계(141)(예를 들면, 렌즈, 또는 LPF(Low Pass Filter) 등으로 이루어짐)에 의해 센서(2)(예를 들면, CCD(Charge Coupled Device), 또는 CMOS(Complementary Metal-Oxide Semiconductor) 등)의 수광면에 결상된다. 센서(2)는, 예를 들면, CCD나 CMOS와 같은 적분 특성을 가지는 소자로 구성된다. 이와 같은 구성에 의해 센서(2)로부터 출력되는 데이터(3)로부터 얻어지는 화상은 실세계(1) 화상과는 상이한 화상으로 된다(실세계(1) 화상과는 차가 생기게 된다).

그래서, 데이터 정상성 검출부(101)는 도 123에서 나타낸 바와 같이, 모델(705)을 사용하여, 실세계(1)를 근사식에 의해 근사적으로 기술하고, 그 근사식으로부터 데이터 정상성을 추출한다. 모델(705)은 예를 들면, N개의 변수로 표현된다. 보다 정확하게는, 모델(705)은 실세계(1)의 신호를 근사(기술)한다.

데이터 정상성 검출부(101)는 모델(705)을 예측하기 위해, 데이터(3)로부터 M개의 데이터(706)를 추출한다. 그 결과, 모델(705)은 데이터의 정상성에 구속되게 된다.

즉, 모델(705)은 센서(2)로 취득되었을 때, 데이터(3)에서 데이터의 데이터 정상성을 생기게 하는, 정상성(소정 차원의 방향으로 일정한 특징)을 가지는 실세계(1)의 사상(을 나타내는 정보(신호))을 근사시킨다.

여기에서, 데이터(706)의 수 M이 모델(705)의 변수의 수 N 이상이면, M개의 데이터(706)로부터 N개의 변수로 표현되는 모델(705)을 예측할 수 있다.

또한, 데이터 정상성 검출부(101)는 실세계(1)(의 신호)를 근사(기술)시키는 모델(705)을 예측함으로써, 실세계(1)의 정보인 신호에 포함되는 데이터 정상성을, 예를 들면, 세선이나 2치 에지의 방향(경사, 또는 소정 방향을 축으로 했을 때의 축과 이루는 각도)으로서 도출하여, 데이터 정상성 정보로서 출력한다.

다음에, 도 124를 참조하여, 입력 화상으로부터 세선의 방향(각도)을 데이터 정상성 정보로서 출력하는 데이터 정상성 검출부(101)에 대하여 설명한다.

데이터 선택부(701)는 수평·수직 판정부(711), 및 데이터 취득부(712)로 구성되어 있다. 수평·수직 판정부(711)는 주목 화소와 그 주변의 화소 사이의 화소값의 차분으로부터 입력 화상의 세선의 수평 방향에 대한 각도가 수평 방향으로 가까운 세선인가, 수직 방향으로 가까운 세선인가를 판정하고, 판정 결과를 데이터 취득부(712), 및 데이터 가산 대입부(702)에 각각 출력한다.

보다 상세하게는, 예를 들면, 이 방법이라고 하는 의미에서, 다른 방법으로도 된다. 예를 들면, 간이 16 방위 검출 방법을 여기에서 사용해도 된다. 도 125에서 나타낸 바와 같이, 수평·수직 판정부(711)는 주목 화소와, 그 주목 화소에 인접하는 화소 사이의 차분(화소 사이의 화소값의 차분) 중, 수평 방향 화소 사이의 차분(액티비티)의 합(hdiff)과, 수직 방향 화소 사이의 차분(액티비티)의 합의 차분(vdiff)을 구하고, 주목 화소가 수직 방향으로 인접하는 화소 사이와의 차분의 합이 큰가, 또는 수평 방향으로 인접하는 화소 사이와의 차분의 합이 큰가를 판정한다. 여기에서, 도 125에서는, 각 모눈이 화소를 나타내고, 도면 중 중앙의 화소가 주목 화소이다. 또, 도면 중 점선의 화살표로 나타낸 화소 사이의 차분이 수평 방향 화소 사이의 차분이며, 그 합이 hdiff로 나타난다. 또한, 도면 중 실선의 화살표로 나타낸 화소 사이의 차분이 수직 방향 화소 사이의 차분이며, 그 합이 vdiff로 나타난다.

이와 같이 구해진 수평 방향 화소 사이의 화소값의 차분화 hdiff와, 수직 방향 화소 사이의 화소값의 차분합 vdiff에 따라, 수평·수직 판정부(711)는 (hdiff－vdiff)가 플러스이면, 수직 방향보다 수평 방향 화소 사이의 화소값의 변화(액티비티)가 크기 때문에, 도 126에서 나타낸 바와 같이, 수평 방향에 대한 각도가 θ(0도≤θ≤180도)로 나타나는 경우, 45도＜θ≤135도, 즉, 수직 방향으로 가까운 각도의 세선에 속해 있는 화소라고 판정하고, 역으로 마이너스이면 수직 방향 화소 사이의 화소값의 변화(액티비티)가 크기 때문에, 0도≤θ＜45도, 또는 135도＜θ≤180도, 즉, 수평 방향으로 가까운 각도의 세선에 속해 있는 화소라고 판정한다(세선이 계속되는 방향(각도)으로 존재하는 화소는 모두 세선을 표현하는 화소이므로, 그 화소 사이의 변화(액티비티)는 작아지게 된다).

또, 수평·수직 판정부(711)는 입력 화상의 각 화소를 식별하는 카운터(도시하지 않음)를 구비하고 있으며, 적당히 필요에 따라 사용한다.

그리고, 도 125에서는, 주목 화소를 중심으로 하여, 3 화소×3 화소의 범위에서의 수직 방향과 수평 방향 화소 사이의 화소값의 차분의 합을 비교하여, 세선이 수직 방향으로 가까운가 또는 수평 방향으로 가까운가를 판정하는 예에 대하여 설명했지만, 그 이상의 화소수를 사용하여 동일한 방법으로 세선의 방향을 판정하도록 해도 되고, 예를 들면, 주목 화소를 중심으로 하여 5 화소×5 화소나, 7 화소×7 화소 등 그 이상의 화소수의 블록에 따라 판정하도록 해도 된다.

데이터 취득부(712)는 수평·수직 판정부(711)로부터 입력된 세선 방향의 판정 결과에 따라, 주목 화소에 대응하는 수평 방향으로 나란히 하는 복수개의 화소로 이루어지는 블록 단위, 또는 수직 방향으로 나란히 하는 복수개 화소의 블록 단위로 화소값을 판독하고(취득하고), 판독한(취득한) 주목 화소마다 대응하는 복수개의 화소 사이에서의, 수평·수직 방향 판정부(711)의 판정 결과의 방향으로 인접하는 화소 사이의 차분 데이터와 함께, 소정 화소수의 블록에 포함되는 화소로부터 화소값의 최대값과 최소값의 데이터를 데이터 가산 대입부(702)에 출력한다. 그리고, 이하에서는, 데이터 취득부(712)에 의해 주목 화소에 대응하여 취득되는 복수개 화소의 블록을 취득 블록이라고 칭한다(취득 블록은, 예를 들면, 후술하는 도 139에서 나타낸 복수개의 화소(각 모눈으로 나타남) 중, 흑선의 정방형이 나타난 화소를 주목 화소로 할 때, 그 상하 3 화소분과, 좌우 1 화소분의 합계 15 화소 등이다).

데이터 가산 대입부(702)의 차분 가산 대입부(721)는 데이터 선택부(701)로부터 입력된 차분 데이터를 검출하고, 데이터 선택부(701)의 수평·수직 판정부(711)로부터 입력되는 수평 방향, 또는 수직 방향의 판정 결과에 따라, 후술하는 최소 제곱법의 해법에 필요한 가산 대입 처리를 실행하고, 그 가산 대입 결과를 정상 방향 도출부(703)에 출력한다. 보다 구체적으로는, 복수개의 화소 중 수평·수직 판정부(711)에 의한 판정 방향으로 인접하는 화소 i와 화소 (i+1)의 화소 사이의 화소값의 차분 데이터를 yi로 하고, 주목 화소에 대응하는 취득 블록이 n개의 화소로 구성된 경우, 차분 가산 대입부(721)는 수평 방향, 또는 수직 방향마다 (y1)²+(y2)²+(y3)²+···를 가산 대입하여 연산하고, 정상 방향 도출부(703)에 출력한다.

MaxMin 취득부(722)는 데이터 선택부(701)로부터 입력되는 주목 화소에 대응하는 취득 블록에 포함되는 각 화소마다 설정되는 블록(이하, 다이나믹 레인지 블록이라고 칭한다(다이나믹 레인지 블록은 후술하는 도 139에서 나타낸 취득 블록의 화소 중, 예를 들면, 화소 pix12에 대하여, 흑의 실선으로 둘러싸여 있는, 다이나믹 레인지 블록 B1에서 나타내는, 화소 pix12의 상하 3 화소분의 합계 7 화소 등이다)에 포함되는 화소의 화소값의 최대값과 최소값을 취득하면, 그 차분으로부터 다이나믹 레인지 Dri(취득 블록 내의 i번째의 화소에 대응하는, 다이나믹 레인지 블록에 포함되는 화소의 화소값의 최대값과 최소값의 차분)를 연산(검출)하여, 차분 가산 대입부(723)에 출력한다.

차분 가산 대입부(723)는 MaxMin 취득부(722)로부터 입력된 다이나믹 레인지 Dri와, 데이터 선택부(701)로부터 입력된 차분 데이터를 검출하고, 검출한 다이나믹 레인지 Dri와 차분 데이터에 따라, 데이터 선택부(701)의 수평·수직 판정부(711)로부터 입력되는 수평 방향, 또는 수직 방향마다 다이나믹 레인지 Dri와 차분 데이터 yi를 곱한 값을 가산 대입하고, 연산 결과를 정상 방향 도출부(703)에 출력한다. 즉, 차분 가산 대입부(723)가 출력하는 연산 결과는 수평 방향, 또는 수직 방향마다 y1×Dr1＋y2×Dr2＋y3×Dr3＋···로 된다.

정상 방향 도출부(703)의 정상 방향 연산부(731)는 데이터 가산 대입부(702)로부터 입력되어 오는 수평 방향, 또는 수직 방향마다의 가산 대입 연산 결과에 따라, 세선의 각도(방향)를 연산하고, 연산된 각도를 정상성 정보로서 출력한다.

여기에서, 세선 방향(세선의 경사, 또는 각도)의 연산 방법에 대하여 설명한다.

도 127 (A)에서 나타낸 바와 같은 입력 화상 중의 백선에 의해 둘러싸이는 부분을 확대하면, 세선(도면 중, 우측 상승으로, 또한 경사 방향의 백선)은 실제로는, 도 127 (B)에서 나타낸 바와 같이 표시되어 있다. 즉, 현실 세계에서는, 도 127 (C)에서나타낸 바와 같이, 화상은 세선의 레벨(도 127 (C) 중에서는 농도가 얇은 사선부)과 배경 레벨의 2종류의 레벨이 경계를 형성하고, 그 밖의 레벨이 존재하지 않는 상태로 된다. 이에 대하여, 센서(2)에 의해 촬상된 화상, 즉, 화소 단위로 촬상된 화상은 도 127 (B)에서 나타낸 바와 같이, 그 적분 효과에 의해 배경 레벨과 세선 레벨이 공간적으로 혼합된 화소가 그 비율(혼합비)을 일정한 패턴으로 변화하도록 세로 방향으로 배치된 복수개의 화소로 이루어지는 블록이 세선 방향으로 반복하여 배치된 화상으로 된다. 그리고, 도 127 (B)에서, 각 정방 형상의 모눈은 CCD의 1 화소를 나타내고, 각변의 길이를 d_CCD인 것으로 한다. 또, 모눈은 격자형으로 전부 칠해진 부분이 배경의 레벨에 상당하는 화소값의 최소값이며, 그 밖의 사선형으로 전부 칠해진 부분은 사선의 밀도가 낮아지는 데 따라 화소값이 높아지는 것으로 한다(따라서, 사선이 없는 백색의 모눈이 화소값의 최대값이 된다.

도 128 (A)에서 나타낸 바와 같이, 현실 세계의 배경 상에 세선이 존재하는 경우, 현실 세계의 화상은 도 128 (B)에서 나타낸 바와 같이, 가로축에 레벨, 세로축에 그 레벨에 대응하는 부분의 화상 상의 면적을 나타내면, 화상 중의 배경에 상당하는 면적과, 세선에 상당하는 부분의 면적과의, 화상 상에서의 점유 면적의 관계가 나타낸다.

동일하게 하여, 센서(2)로 촬상된 화상은 도 129 (A)에서 나타낸 바와 같이, 배경 레벨의 화소 중에, 세로로 나란히 하는 배경 레벨과 세선 레벨이 혼합된 화소가 그 혼합비를 소정 패턴으로 변화시키면서 세로 방향으로 배치된 블록이, 세선이 존재하는 방향으로 반복하여 배치된 화상이 되므로, 도 129 (B)에서 나타낸 바와 같이, 배경의 레벨로 되는 영역(배경 영역)과, 세선의 레벨 중간의 레벨을 취하는, 배경과 세선이 공간적으로 혼합된 결과 생기는 화소로 이루어지는 공간 혼합 영역이 존재한다. 여기에서, 도 129 (B)에서 세로축은 화소수이지만, 1 화소의 면적은(d_CCD)²로 되므로, 도 129 (B)의 화소값의 레벨과 화소수의 관계는 화소값의 레벨과 면적 분포의 관계와 동일하다고 말할 수 있다.

이것은 도 130 (A)의 실제 화상 중의 백선으로 둘러싸이는 부분(31 화소×31 화소의 화상)에서도, 도 130 (B)에서 나타낸 바와 같이 동일한 결과가 얻어진다. 즉, 도 130 (A)에서 나타낸 배경 부분(도 130 (A) 중에서는, 흑색으로 보이는 부분)은 도 130 (B)에서 나타낸 바와 같이, 화소값 레벨이 낮은(화소값이 20부근의) 화소가 많이 분포되어 있고, 이들의 변화가 적은 부분이 배경 영역의 화상을 형성한다. 이에 대하여, 도 130 (B)의 화소값 레벨이 낮지 않은 부분, 즉, 화소값 레벨이 40 부근 내지 160 부근에 분포하는 화소는 세선의 화상을 형성하는 공간 혼합 영역에 속하는 화소이며, 각 화소값마다의 화소수는 적지만, 넓은 화소값의 범위에 분포되어 있다.

그런데, 현실 세계의 화상에서의 배경과 세선의 각각의 레벨은, 예를 들면, 도 131 (A)에서 나타낸 화살표 방향(Y 좌표 방향)으로 보면, 도 131 (B)에서 나타낸 바와 같이 변화하게 된다. 즉, 화살표의 기점으로부터 세선까지의 배경 영역에서는, 비교적 레벨이 낮은 배경 레벨로 되고, 세선의 영역에서는, 레벨이 높은 세선의 레벨로 되고, 세선 영역을 통과하여 다시 배경 영역으로 되돌아오면, 레벨이 낮은 배경의 레벨로 된다. 결과로서, 세선 영역만이 높은 레벨로 되는 펄스형의 파형이 된다.

이에 대하여, 센서(2)로 촬상된 화상 중, 도 131 (A) 중의 화살표 방향에 대응하는, 도 132 (A)의 공간 방향 X=X1 상의 화소(도 132 (A)에서는, 검은 동그라미로 나타나 있는 화소)의 화소값과, 그 화소의 공간 방향 Y의 관계는 도 132 (B)에 나타낸 바와 같이 된다. 그리고, 도 132 (A)에서, 우측 상승의 2개의 백선 사이가 현실 세계의 화상 상에서의 세선을 나타내고 있다.

즉, 도 132 (B)에서 나타낸 바와 같이, 도 132 (A) 중 중앙의 화소에 대응하는 화소가 가장 높은 화소값을 취하기 때문에, 각 화소의 화소값은 공간 방향 Y의 위치가 도면 중 하부로부터 중앙의 화소로 향하는 데 따라 높아지고, 중앙의 위치를 통과하면, 서서히 감소하게 된다. 결과로서, 도 132 (B)에서 나타낸 바와 같이, 산형의 파형이 형성된다. 또, 도 132 (A)의 공간 방향 X=X0, X2에 대응하는 각 화소의 화소값의 변화는 공간 방향 Y의 피크 위치가 세선의 경사에 따라 어긋나지만, 동일한 외형이 된다.

예를 들면, 도 133 (A)에서 나타낸 바와 같은, 실제로 센서(2)에 의해 촬상된 화상서의 경우에도, 도 133 (B)에서 나타낸 바와 같이, 동일한 결과가 얻어진다. 즉, 도 133 (B)는 도 133 (A)의 화상 중 백선으로 둘러싸이는 범위의 세선 부근의 화소값을 소정 공간 방향 X(도면 중에서는, X=561, 562, 563)마다의, 공간 방향 Y에 대응한 화소값의 변화를 나타내고 있다. 이와 같이, 실제의 센서(2)에 의해 촬상된 화상에서도, X=561에서는, Y=730 부근에서, X=562에서는, Y=705 부근에서, X=563에서는, Y=685 부근에서, 각각 피크로 되는 산형의 파형으로 되어 있다.

이와 같이, 현실 세계 화상의 세선 부근 레벨의 변화를 나타내는 파형은 펄스형의 파형으로 되는 데 대하여, 센서(2)에 의해 촬상된 화상의 화소값의 변화를 나타내는 파형은 산형의 파형으로 된다.

즉, 환언하면, 현실 세계 화상의 레벨은 도 131 (B)에서 나타낸 바와 같은 파형으로 되어야 하는 바이지만, 센서(2)에 의해 촬상됨으로써, 촬상된 화상은 도 132 (B)에서 나타낸 바와 같이, 그 변화에 왜곡이 생겨, 현실 세계의 화상과는 상이한(현실 세계의 정보가 결락된) 파형으로 변화하고 있다고 말할 수 있다.

그래서, 이 센서(2)에 의해 촬상된 화상으로부터 현실 세계 화상의 정상성 정보를 취득하기 위해, 센서(2)로부터 취득된 화상의 데이터로부터 현실 세계를 근사적으로 기술하기 위한 모델(도 123의 모델(705)에 상당함)을 설정한다. 예를 들면, 세선의 경우, 도 134에서 나타낸 바와 같이, 현실 세계의 화상을 설정한다. 즉, 도면 중 좌측 배경 부분의 레벨을 B1, 도면 중 우측 배경 부분의 레벨을 B2, 세선 부분의 레벨을 L, 세선의 혼합비를 α, 세선의 폭을 W, 세선의 수평 방향에 대한 각도를 θ로 하여 파라미터를 설정하고, 모델화하여, 현실 세계를 근사적으로 표현하는 함수를 설정하고, 각 파라미터를 구함으로써 현실 세계를 근사적으로 표현하는 근사 함수를 구하고, 그 근사 함수로부터 세선의 방향(경사, 또는 기준축에 대한 각도)을 구한다.

이 때, 배경 영역은 좌부(左部), 및 우부(右部)는 동일한 것으로 하여 근사시킬 수 있으므로, 도 135에서 나타낸 바와 같이, 통일하여 B(=B1=B2)로 한다. 또, 세선의 폭을 1 화소 이상인 것으로 한다. 이와 같이 설정된 현실 세계를 센서(2)로 촬상할 때, 촬상된 화상은 도 136 (A)에서 나타낸 바와 같이 촬상되게 된다. 그리고, 도 136 (A)에서, 우측 상승의 2개의 백선 사이가 현실 세계의 화상 상에서의 세선을 나타내고 있다.

즉, 현실 세계의 세선 상의 위치에 존재하는 화소는 세선의 레벨에 가장 가까운 레벨로 되고, 수직 방향(공간 방향 Y의 방향)에 대하여 세선으로부터 멀어지는 데 따라 화소값이 감소하고, 세선 영역에 접하는 것이 없는 위치에 존재하는 화소의 화소값, 즉, 배경 영역의 화소는 배경 레벨의 화소값으로 된다. 이 때, 세선 영역과 배경 영역에 걸치는 위치에 존재하는 화소의 화소값은 배경 레벨의 화소값 B와, 세선 레벨의 화소값 L이 혼합비 α로 혼합된 화소값으로 되어 있다.

이와 같이, 촬상된 화상의 각 화소를 주목 화소로 한 경우, 데이터 취득부(712)는 그 주목 화소에 대응하는 취득 블록의 화소를 추출하고, 그 추출한 취득 블록을 구성하는 화소마다 다이나믹 레인지 블록을 추출하고, 그 다이나믹 레인지 블록을 구성하는 화소 중 최대값으로 되는 화소값을 취하는 화소와, 최소값으로 되는 화소값을 취하는 화소를 추출한다. 즉, 도 136 (A)에서 나타낸 바와 같이, 취득 블록 중의 소정 화소(도면 중의 1 모눈 중에 흑의 실선으로 정방형이 기술된 화소 pix4)에 대응한 다이나믹 레인지 블록의 화소(예를 들면, 도면 중 흑의 실선으로 둘러싸인 화소 pix1 내지 7의 7 화소)가 추출된 경우, 그 각 화소에 대응하는 현실 세계의 화상은 도 136 (B)에서 나타낸 바와 같이 된다.

즉, 도 136 (B)에서 나타낸 바와 같이, 화소 pix1은 좌부의 대략 1/8의 면적을 차지하는 부분이 배경 영역이 되며, 우부의 대략 7/8의 면적을 차지하는 부분이 세선 영역으로 된다. 화소 pix2는 대략 전 영역이 세선 영역으로 된다. 화소 pix3은 좌부의 대략 7/8의 면적을 차지하는 부분이 세선 영역이 되며, 우부 1/8의 면적을 차지하는 부분이 세선 영역으로 된다. 화소 pix4는 좌부의 대략 2/3의 면적을 차지하는 부분이 세선 영역이 되며, 우부의 대략 1/3의 면적을 차지하는 부분이 배경 영역으로 된다. 화소 pix5는 좌부의 대략 1/3의 면적을 차지하는 부분이 세선 영역이 되며, 우부의 대략 2/3의 면적을 차지하는 부분이 배경 영역으로 된다. 화소 pix6은 좌부의 대략 1/8의 면적을 차지하는 부분이 세선 영역이 되며, 우부의 대략 7/8의 면적을 차지하는 부분이 배경 영역으로 된다. 또한, 화소 pix7은 전체가 배경 영역으로 된다.

결과로서, 도 136 (A) 및 도 136 (B)에서 나타낸 다이나믹 레인지 블록의 각 화소 pix1 내지 7의 화소값은 세선 영역과 배경 영역의 면적비율에 대응한 혼합비로, 배경 레벨과 세선 레벨이 혼합된 화소값으로 된다. 즉, 배경 레벨 : 전경 레벨의 혼합비는 화소 pix1이 대략 1 : 7, 화소 pix2가 대략 0 : 1, 화소 pix3이 대략 1 : 7, 화소 pix4가 대략 1 : 2, 화소 pix5가 대략 2 : 1, 화소 pix6이 대략 7 : 1, 및 화소 pix7이 대략 1 : 0으로 된다.

따라서, 추출된 다이나믹 레인지 블록의 화소 pix1 내지 7의 각 화소의 화소값은 화소 pix2가 가장 높고, 이어서 화소 pix1, 3이 계속되고, 이하 화소값이 높은 순으로 화소 pix4, 5, 6, 7로 된다. 따라서, 도 136 (B)에서 나타낸 경우, 최대값은 화소 pix2의 화소값이며, 최소값은 화소 pix7의 화소값으로 된다.

또, 도 137 (A)에서 나타낸 바와 같이, 세선의 방향은 화소값의 최대값을 취하는 화소가 연속되는 방향이라고 말할 수 있으므로, 이 최대값을 취하는 화소가 배치된 방향이 세선의 방향으로 된다.

여기에서, 세선의 방향을 나타내는 경사 G_fl는 공간 방향 X의 단위 거리에 대한, 공간 방향 Y로의 변화(거리의 변화)의 비이므로, 도 137 (A)에서 나타낸 바와 같은 경우, 도면 중 공간 방향 X로의 1 화소의 거리에 대한, 공간 방향 Y의 거리가 경사 G_fl 로 된다.

공간 방향 X0 내지 X2 각각의 공간 방향 Y에 대한 화소값의 변화는 도 137 (B)에서 나타낸 바와 같이, 각 공간 방향 X마다 소정 간격으로 산형의 파형이 반복되게 된다. 전술한 바와 같이, 센서(2)에 의해 촬상된 화상에서, 세선은 최대값을 취하는 화소가 연속되는 방향이므로, 각 공간 방향 X의 최대값으로 되는 공간 방향 Y의 간격 S가 세선의 경사 G_fl로 된다. 즉, 도 137 (C)에서 나타낸 바와 같이, 수평 방향으로 1 화소의 거리에 대한 수직 방향의 변화량이 경사 G_fl로 된다. 따라서, 이 세선의 경사 G_fl(수평 방향을 기준축으로 했을 때의 각도로 대응함)는, 도 137 (C)에서 나타낸 바와 같이, 그 경사에 대응하는 수평 방향을 기준축으로 한 세선의 각도를 θ로서 표현하는 경우, 이하의 식 (69)로 나타낸 관계가 성립하게 된다.

θ=Tan^-1(G_fl)(=Tan^-1(S)) ···(69)

또, 도 135에서 나타낸 바와 같은 모델을 설정하고, 또한 공간 방향 Y의 화소와 화소값의 관계가 도 137 (B)에서 나타낸 산형의 파형이 완전한 삼각 파형(상승, 또는 하강이 직선적으로 변화하는 이등변 삼각 형상의 파형)이라고 가정하는 경우, 도 138에서 나타낸 바와 같이, 소정 주목 화소의 공간 방향 X에서의, 공간 방향 Y 상에 존재하는 각 화소의 화소값의 최대값을 Max=L(여기에서는, 현실 세계의 세선의 레벨에 대응하는 화소값), 최소값을 Min=B(여기에서는, 현실 세계의 배경의 레벨에 대응하는 화소값)로 할 때, 이하의 식 (70)으로 나타낸 관계가 성립된다.

L－B=G_fl×d_y ···(70)

여기에서, d_y는 공간 방향 Y의 화소 사이의 화소값의 차분을 나타낸다.

즉, 공간 방향의 경사 G_fl는 클수록 세선이 보다 수직인 물체에 가까워지기 때문에, 산형의 파형은 저변이 큰 이등변 삼각 형상의 파형으로 되고, 역으로, 경사 S가 작을수록 저변이 작은 이등변 삼각 형상의 파형으로 된다. 이 결과, 경사 G_fl가 클수록, 공간 방향 Y의 화소 사이의 화소값의 차분 d_y는 작고, 경사 S가 작을수록, 공간 방향 Y의 화소 사이의 화소값의 차분 d_y는 커진다.

그래서, 전술한 식 (70)의 관계가 성립하는 경사 G_fl를 구함으로써, 세선의 기준축에 대한 각도 θ를 구하는 것이 가능하게 된다. 식 (70)은 경사 G_fl를 변수로 하는 1 변수의 함수이므로, 주목 화소에 대하여, 주변 화소 사이의 화소값의(수직 방향의) 차분 d_y, 및 최대값, 및 최소값의 차분 (L－B)를 1조 이용하면 구하는 것이 가능하지만, 전술한 바와 같이, 공간 방향 Y의 화소값의 변화가 완전한 삼각 파형인 것을 전제로 한 근사식을 사용한 것이므로, 주목 화소에 대응하는 추출 블록의 각 화소에 대하여 다이나믹 레인지 블록을 추출하고, 또한 그 최대값과 최소값으로부터 다이나믹 레인지 Dr을 구하는 동시에, 추출 블록의 각 화소마다의 공간 방향 Y의 화소 사이의 화소값의 차분 d_y를 사용하여, 최소 제곱법에 의해 통계적으로 구한다.

여기에서, 최소 제곱법에 의한 통계적인 처리의 설명에서, 먼저, 추출 블록, 및 다이나믹 레인지 블록에 대하여, 상세를 설명한다.

추출 블록은, 예를 들면, 도 139에서 나타낸 바와 같이, 주목 화소(도면 중 흑의 실선으로 정방형이 그려져 있는 모눈의 화소)의, 공간 방향 Y에 대하여 상하 3 화소분, 공간 방향 X에 대하여, 좌우 1 화소분의 합계 15 화소 등이라도 된다. 또, 이 경우, 추출 블록의 각 화소의 화소 사이의 화소값의 차분 d_y는, 예를 들면, 화소 pix11에 대응하는 차분이 d_y11로 나타날 때, 공간 방향 X=X0의 경우, 화소 pix11과 pix12, pix12와 pix13, pix13과 pix14, pix15와 pix16, pix16과 pix17의 화소 사이의 화소값의 차분 d_y11 내지 d_y16이 얻어지게 된다. 이 때, 공간 방향 X=X1, X2에 대해서도 동일하게 하여 화소 사이의 화소값의 차분이 얻어진다. 결과로서, 이 경우, 화소 사이의 화소값의 차분 d_y는 18개 존재하게 된다.

또한, 추출 블록의 각 화소에 대하여, 다이나믹 레인지 블록의 화소가, 예를 들면, 화소 pix11에 대해서는, 수평·수직 판정부(711)의 판정 결과에 따라, 지금의 경우, 수직 방향이라고 판정되므로, 도 139에서 나타낸 바와 같이, 화소 pix11을 포함시켜, 수직 방향(공간 방향 Y)의 상하 방향으로 각각 3 화소분의 다이나믹 레인지 블록 B1의 범위의 7 화소인 것으로 하면, 이 다이나믹 레인지 블록 B1 화소의 화소값의 최대값과 최소값을 구하고, 또한 이 최대값과 최소값으로부터 얻어지는 다이나믹 레인지를 다이나믹 레인지 Dr11로 한다. 동일하게 하여, 추출 블록의 화소 pix12에 대해서는, 도 139 중의 다이나믹 레인지 블록 B2의 7 화소로부터 동일하게 하여 다이나믹 레인지 Dr12를 구한다. 이와 같이 하여, 추출 블록 내의 18개의 화소 간 차분 d_yi와, 대응하는 다이나믹 레인지 Dri와의 조합에 따라, 최소 제곱법을 이용하여 통계적으로 경사 G_fl가 구해진다.

다음에, 1 변수의 최소 제곱법의 해법에 대하여 설명한다. 그리고, 여기에서는, 수평·수직 판정부(711)의 판정 결과가 수직 방향에서 만난 것으로 한다.

1 변수의 최소 제곱법에 의한 해법은, 예를 들면, 도 140에서 나타낸 흑점으로 나타낸 모든 실측값에 대한 거리를 최소로 한다, 예측값 Dri_c로 이루어지는 직선의 경사 G_fl를 구하는 것이다. 그래서, 전술한 식 (70)으로 나타낸 관계로부터 이하와 같은 방법에 의해 경사 S가 구해진다.

즉, 전술한 식 (70)은 최대값과 최소값의 차분을 다이나믹 레인지 Dr로 할 때, 이하의 식 (71)로 나타낸 바와 같이 기술된다.

Dr=G_fl×d_y ···(71)

전술한 식 (71)에, 추출 블록의 각 화소 사이에 대한 차분 d_yi를 대입함으로써 다이나믹 레인지 Dri_c가 구해지게 된다. 따라서, 각 화소에 대하여, 이하의 식 (72)의 관계가 만족되게 된다.

Dri_c=G_fl×d_yi ···(72)

여기에서, 차분 d_yi는 각 화소 i의 공간 방향 Y의 화소 사이의 화소값의 차분(예를 들면, 화소 i에 대하여, 상 방향, 또는 하 방향으로 인접한 화소와의 화소 사이의 화소값의 차분이며, Dri_c는 화소 i에 대하여 식 (70)이 성립될 때 얻어지는 다이나믹 레인지이다.

전술한 바와 같이, 여기에서 말하는 최소 제곱법은, 추출 블록의 화소 i의 다이나믹 레인지 Dri_c와, 도 136 (A) 및 도 136 (B)를 참조하여 설명한 방법에서 얻어지는, 화소 i의 실측값으로 되는 다이나믹 레인지 Dri_r과의 차분 제곱합 Q가 화상 내의 모든 화소에서 최소로 될 때의 경사 G_fl를 구하는 방법이다. 따라서, 차분 제곱합 Q는 이하의 식 (73)에 의해 구해지게 된다.

···(73)

식 (73)에서 나타낸 차분 제곱합 Q는 2차 함수이므로, 변수 G_fl(경사 G_fl)에 대하여 도 141에서 나타낸 바와 같은 아래로 철(凸)의 곡선이 되기 때문에, 경사 G_fl가 최소로 되는 G_flmin가 최소 제곱법의 해답이 된다.

식 (73)에서 나타낸 차분 제곱합 Q는 변수 G_fl로 미분되면, 이하에 나타내는 식 (74)에서 나타나는 Q/dG_fl로 된다.

···(74)

식 (74)가 0이 되는 G_fl가 도 141에서 나타낸 차분 제곱합 Q의 최소값을 취하는 G_flmin로 되므로, 식 (74)가 0이 될 때의 식을 전개함으로써, 이하의 식 (75)에서 경사 G_fl가 구해지게 된다.

···(75)

전술한 식 (75)는 이른바 1 변수(경사 G_fl)의 정규 방정식으로 된다.

이와 같이 하여, 얻어진 경사 G_fl를 전술한 식 (69)에 대입함으로써, 세선의 경사 G_fl에 대응하는, 수평 방향을 기준축으로 했을 때의 세선의 각도 θ를 얻을 수 있다.

그리고, 이상의 설명에서는, 주목 화소가 수평 방향을 기준축으로 했을 때의 각도 θ가 45도≤θ＜135도의 범위로 되는 세선 상의 화소인 경우의 예에 대하여 설명해 왔지만, 예를 들면, 주목 화소가, 수평 방향을 기준축에 대한 세선의 각도 θ가 0도≤θ＜45도, 또는 135도≤θ＜108도로 되는, 수평 방향으로 가까운 세선 상의 화소인 경우, 화소 i에 인접하는 화소 사이의 화소값의 차분은 수평 방향으로 인접하는 화소 사이의 화소값의 차분 d_xi로 되고, 동일하게, 화소 i에 대응하는 복수개의 화소로부터 화소값의 최대값, 또는 최소값을 구할 때, 추출하는 다이나믹 레인지 블록의 화소에 대해서도 화소 i에 대하여 수평 방향으로 존재하는 복수개의 화소 중에서 선택되게 된다. 이 경우의 처리에 대해서는, 전술한 설명에서의 수평 방향과 수직 방향의 관계가 교대될 뿐이므로, 그 설명은 생략한다.

또, 동일한 방법에 의해, 2치 에지의 경사에 대응하는 각도를 구하는 것도 가능하다.

즉, 도 142 (A)에서 나타낸 바와 같은 입력 화상 중의 백선에 의해 둘러싸이는 부분을 확대하면, 화상 중의 에지 부분(도면 중, 검은 바탕의 기(旗)로 그려진 「十」이라고 하는 흰색으로 그려진 문자의 아래 부분)(이하, 이와 같이, 2치 레벨로 이루어지는 화상 상의 에지 부분을 2치 에지라고도 칭함)은 실제로는, 도 142 (B)에서 나타낸 바와 같이 표시되어 있다. 즉, 현실 세계에서는, 도 142 (C)에서 나타낸 바와 같이, 화상에서는, 제1 레벨(기의 바탕 레벨)과, 제2 레벨(문자의 레벨(도 142 (C) 중에서는 농도가 얇은 사선부)과의 2 종류의 레벨로 이루어지는 경계가 형성되어 있고, 그 밖의 레벨이 존재하지 않는다. 이에 대하여, 센서(2)에 의해 촬상된 화상, 즉, 화소 단위로 촬상된 화상은 도 142 (B)에서 나타낸 바와 같이, 제1 레벨과 제2 레벨이 공간적으로 혼합된 화소가 그 비율(혼합비)을 일정한 패턴으로 변화하도록 세로 방향으로 배치된 복수개의 화소로 이루어지는 블록이 에지가 구성되어 있는 방향으로 반복하여 배치된 영역을 경계로 한 제1 레벨의 화소가 배치되는 부분과, 제2 레벨의 화소가 배치되는 부분이 존재하는 화상으로 된다.

즉, 도 143 (A)에서 나타낸 바와 같이, 공간 방향 X=X0, X1, X2에 대하여, 각각의 공간 방향 Y로의 화소값의 변화는 도 143 (B) 중에서는, 각 화소값은 도면 중 아래로부터 2치 에지(도 143 (A) 중의 우측 상승의 직선)의 경계 바로 앞 부근까지는, 소정 최소값의 화소값으로 되어 있지만, 2치 에지의 경계 바로 앞 부근에서, 화소값이 서서히 증대하여, 에지를 넘으면 도면 중의 점 P_E에서, 화소값이 소정 최대값으로 된다. 보다 상세하게는, 공간 방향 X=X0의 변화는 도 143 (B)에서 나타낸 바와 같이, 화소값의 최소값이 되는 점 P_S를 통과한 후, 서서히 화소값이 증대하여, 화소값의 최대값으로 되는 점 P0이 된다. 이에 대하여, 공간 방향 X=X1에 대응하는 각 화소의 화소값의 변화는 공간 방향으로 어긋난 파형이 되므로, 도 143 (B)에서 나타낸 바와 같이, 화소값의 최소값으로부터 서서히 화소값이 증대하는 위치가 공간 방향 Y의 정방향으로 어긋나, 도면 중의 점 P1을 경유하여, 화소값의 최대값까지 증대한다. 또한, 공간 방향 X=X2에서의 공간 방향 Y의 화소값의 변화는 공간 방향 Y의 플러스 방향으로 다시 어긋난 도면 중 점 P2를 경유하여 감소하고, 화소값의 최대값으로부터 최소값으로 된다.

이것은 실제 화상 중의 백선으로 둘러싸이는 부분에서도, 동일한 경향이 보여진다. 즉, 도 144 (A)의 실제 화상 중의 백선으로 둘러싸이는 부분(31 화소×31 화소의 화상)에서, 배경 부분(도 144 (A) 중에서는, 흑색으로 보이는 부분)은 도 144 (B)에서 나타낸 바와 같이, 화소값이 낮은(화소값이 90 부근인) 화소수가 많이 분포되어 있고, 이들의 변화가 적은 부분이 배경 영역의 화상을 형성한다. 이에 대하여, 도 144 (B)의 화소값이 낮지 않은 부분, 즉, 화소값이 100 부근 내지 200 부근에 분포하는 화소는 문자 영역과 배경 영역과의 공간 혼합 영역에 속하는 화소의 분포이며, 각 화소값마다의 화소수는 적지만, 넓은 화소값의 범위에 분포되어 있다. 또한, 화소값이 높은 문자 영역(도 144 (A) 중에서는, 백색으로 보이는 부분)의 화소가 220으로 나타낸 화소값 부근에 많이 분포되어 있다.

이 결과, 도 145 (A)에서 나타낸 에지 화상에서의 소정 공간 방향 X에 대한, 공간 방향 Y의 화소값 변화는 도 145 (B)에서 나타낸 바와 같은 것으로 된다.

즉, 도 145 (B)는 도 145 (A)의 화상 중 백선으로 둘러싸이는 범위의 에지 부근의 화소값을 소정 공간 방향 X(도면 중에서는, X=658, 659, 660)마다의, 공간 방향 Y에 대응한 화소값의 변화를 나타내고 있다. 이와 같이, 실제의 센서(2)에 의해 촬상된 화상에서도, X=658에서, 화소값은 Y=374 부근에서 증대를 개시하고(도면 중, 검은 동그라미로 나타낸 분포), X=382 부근에서 최대 화소값에 도달한다. 또, X=659에서는, 공간 방향 Y에 대하여 정방향으로 어긋나, 화소값은 Y=378 부근에서 증대를 개시하고(도면 중, 흑 삼각으로 나타낸 분포), X=386 부근에서 최대 화소값에 도달한다. 또한, X=660에서는, 공간 방향 Y에 대하여, 다시 정방향으로 어긋나, 화소값은 Y=382 부근에서 증대를 개시하고(도면 중, 흑 사각으로 나타낸 분포), X=390 부근에서 최대 화소값에 도달한다.

그래서, 이 센서(2)에 의해 촬상된 화상으로부터 현실 세계 화상의 정상성 정보를 취득하기 위해, 센서(2)로부터 취득된 화상의 데이터로부터 현실 세계를 근사적으로 기술하기 위한 모델을 설정한다. 예를 들면, 2치 에지의 경우, 도 146에서 나타낸 바와 같이, 현실 세계의 화상을 설정한다. 즉, 도면 중 좌부 배경 부분의 레벨을 V1, 도면 중 우측 문자 부분의 레벨을 V2, 2치 에지 부근 화소 사이의 혼합비를 α, 에지의 수평 방향에 대한 각도를 θ로서 파라미터를 설정하고, 모델화하여, 현실 세계를 근사적으로 표현하는 함수를 설정하고, 각 파라미터를 구함으로써 현실 세계를 근사적으로 표현하는 함수를 구하고, 그 근사 함수로부터 에지의 방향(경사, 또는 기준축에 대한 각도)을 구한다.

여기에서, 에지의 방향을 나타내는 경사는 공간 방향 X의 단위 거리에 대한, 공간 방향 Y로의 변화(거리의 변화)의 비이므로, 도 147 (A)에서 나타낸 바와 같은 경우, 도면 중 공간 방향 X로의 1 화소의 거리에 대한, 공간 방향 Y의 거리가 경사로 된다.

공간 방향 X0 내지 X2 각각의 공간 방향 Y에 대한 화소값의 변화는 도 147 (B)에서 나타낸 바와 같이, 각 공간 방향 X마다 소정 간격으로 동일한 파형이 반복되게 된다. 전술한 바와 같이, 센서(2)에 의해 촬상된 화상에서, 에지는 유사한 화소값의 변화(지금의 경우, 최소값으로부터 최대값으로 변화하는, 소정 공간 방향 Y 상의 화소값의 변화)가 공간적으로 연속되는 방향이므로, 각 공간 방향 X에서, 공간 방향 Y의 화소값 변화가 개시되는 위치, 또는 변화가 종료되는 위치로 되는 공간 방향 Y의 간격 S가 에지의 경사 G_fe로 된다. 즉, 도 147 (C)에서 나타낸 바와 같이, 수평 방향으로 1 화소의 거리에 대한 수직 방향의 변화량이 경사 G_fe로 된다.

그런데, 이 관계는 도 137 (A) 내지 (C)를 참조하여 전술한 세선의 경사 G_fl에서의 관계와 동일하다. 따라서, 그 관계식에 대해서도 동일한 것이 된다. 즉, 2치 에지에서의 경우의 관계식은 도 148에서 나타낸 것이 되어, 배경 영역의 화소값을 V1, 문자 영역의 화소값을 V2, 각각은 최소값, 및 최대값으로 된다. 또, 에지 부근 화소의 혼합비를 α로 하고, 에지의 경사를 G_fe로 두면, 성립하는 관계식은, 전술한 식 (69) 내지 식 (71)과 동일하게 된다(단, G_fl는 G_fe로 치환된다).

그러므로, 도 124에서 나타낸 데이터 정상성 검출부(101)는 동일한 처리에 의해 세선의 경사에 대응하는 각도, 및 에지의 경사에 대응하는 각도를 데이터 정상성 정보로서 검출할 수 있다. 그래서, 이하에서는, 경사는 세선의 경사와, 2치 에지의 경사를 총칭하여, 경사 G_f라고 칭한다. 또, 전술한 식 (73) 내지 식 (75)의 식에서의 경사 G_fl는 G_fe라도 되는 것이며, 결과로서, 경사 G_f와 치환하여 고려하는 것으로 한다.

다음에, 도 149의 플로차트를 참조하여, 데이터 정상성 검출의 처리를 설명한다.

스텝 S701에서, 수평·수직 판정부(711)는 입력 화상의 각 화소를 식별하는 카운터 T를 초기화한다.

스텝 S702에서, 수평·수직 판정부(711)는 후단의 처리에 필요한 데이터의 추출 처리를 실행한다.

여기에서, 도 150의 플로차트를 참조하여, 데이터를 추출하는 처리에 대하여 설명한다.

스텝 S711에서, 데이터 선택부(701)의 수평·수직 판정부(711)는 각 주목 화소 T에 대하여, 도 125를 참조하여 설명한 바와 같이, 수평 방향, 수직 방향, 및 대각 방향으로 인접하는 9 화소의 수평 방향으로 인접하는 화소 사이의 화소값의 차분(액티비티)의 합 hdiff와, 수직 방향으로 인접하는 화소 사이의 화소값의 차분(액티비티)의 합 vdiff를 연산하고, 다시 그 차분(hdiff－vdiff)을 구하고, 차분(hdiff－vdiff)≥0의 경우, 그 주목 화소 T가 수평 방향을 기준축으로 했을 때, 그 기준축과의 각도 θ가 45도≤θ＜135도로 되는, 수직 방향으로 가까운 세선, 또는 2치 에지 부근의 화소인 것으로 간주하고, 사용하는 추출 블록을 수직 방향에 대응한 것으로 하는 판정 결과를 데이터 취득부(712), 및 데이터 가산 대입부(702)에 출력한다.

한편, 차분(hdiff－vdiff)＜0의 경우, 수평·수직 판정부(711)는 그 주목 화소가 수평 방향을 기준축으로 했을 때, 그 기준축과의 세선, 또는 2치 에지가 이루는 각도 θ가 0도≤θ＜45도, 또는 135도≤θ＜180도로 되는, 수평 방향으로 가까운 세선, 또는 에지 부근의 화소인 것으로 간주하고, 사용하는 추출 블록을 수평 방향에 대응한 것으로 하는 판정 결과를 데이터 취득부(712), 및 데이터 가산 대입부(702)에 출력한다.

즉, 세선, 또는 2치 에지의 경사가 수직 방향으로 가깝다고 하는 것은, 예를 들면, 도 131 (A)에서 나타내고 있는 바와 같이, 도면 중 화살표가 세선과 교차하는 부분이 증가하게 되므로, 수직 방향의 화소수를 넉넉하게 한 추출 블록을 설정한다(세로로 긴 추출 블록을 설정한다). 동일하게 하여, 세선의 경사가 수평 방향으로 가까운 경우에 대해서도, 수평 방향의 화소수를 넉넉하게 한 추출 블록을 설정하도록 한다(가로로 긴 추출 블록을 설정한다. 이와 같이 함으로써, 불필요한 계산량을 증가시키지 않고, 정확한 최대값과 최소값의 연산이 가능하게 된다.

스텝 S712에서, 데이터 취득부(712)는 주목 화소에 대하여 수평·수직 판정부(711)로부터 입력되는 수평 방향, 또는 수직 방향의 판정 결과에 대응한 추출 블록의 화소를 추출한다. 즉, 예를 들면, 도 139에서 나타낸 바와 같이, 주목 화소를 중심으로 하여, (수평 방향으로 3 화소)×(수직 방향으로 7 화소)인 합계 21 화소를 추출 블록으로 하여 추출하고, 기억한다.

스텝 S713에서, 데이터 취득부(712)는 추출 블록의 각 화소에 대하여, 수평·수직 판정부(711)의 판정 결과에 대응한 방향에 대응하는 다이나믹 레인지 블록의 화소를 추출하고, 기억한다. 즉, 도 139를 참조하여, 전술한 바와 같이, 예를 들면, 추출 블록의 화소 pix11에 대해서는, 지금의 경우, 수평·수직 판정부(711)의 판정 결과가 수직 방향이 되므로, 데이터 취득부(712)는 수직 방향으로 다이나믹 레인지 블록 B1을, 동일하게 하여, 화소 pix12는 다이나믹 레인지 블록 B2를 추출한다. 그 밖의 추출 블록 대해서도 동일하게 하여 다이나믹 레인지 블록이 추출된다.

즉, 이 데이터 추출 처리에 의해 소정 주목 화소 T에 대하여, 정규 방정식의 연산에 필요한 화소의 정보가 데이터 취득부(712)에 비축되게 된다(처리되는 영역이 선택되게 된다).

여기에서, 도 149의 플로차트의 설명으로 복귀한다.

스텝 S703에서, 데이터 가산 대입부(702)는 정규 방정식 (여기에서는, 식 (74))의 연산 각 항에 필요한 값의 가산 대입 처리를 실행한다.

여기에서, 도 151의 플로차트를 참조하여, 정규 방정식으로의 가산 대입 처리에 대하여 설명한다.

스텝 S721에서, 차분 가산 대입부(721)는 데이터 선택부(701)의 수평·수직 판정부(711)의 판정 결과에 따라, 데이터 취득부(712)에 기억되어 있는 추출 블록의 화소 사이의 화소값의 차분을 구하고(검출하고), 다시 2승(제곱)하여 가산 대입한다. 즉, 수평·수직 판정부(711)의 판정 결과가 수직 방향인 경우, 차분 가산 대입부(721)는 추출 블록의 각 화소에 대하여 수직 방향으로 인접하는 화소 사이의 화소값의 차분을 구하고, 다시 2승하여 가산 대입한다. 동일하게 하여, 수평·수직 판정부(711)의 판정 결과가 수평 방향인 경우, 차분 가산 대입부(721)는 추출 블록의 각 화소에 대하여 수평 방향으로 인접하는 화소 사이의 화소값의 차분을 구하고, 다시 2승하여 가산 대입한다. 결과로서, 차분 가산 대입부(721)는 전술한 식 (75)의 분모로 되는 항의 차분의 제곱합을 생성하고, 기억한다.

스텝 S722에서, MaxMin 취득부(722)는 데이터 취득부(712)에 기억된 다이나믹 레인지 블록에 포함되는 화소의 화소값의 최대값과 최소값을 취득하고, 스텝 S723에서, 그 최대값과 최소값과의 차분으로부터 다이나믹 레인지를 구하고(검출하고), 차분 가산 대입부(723)에 출력한다. 즉, 도 136 (B)에서 나타내고 있는 바와 같은, 화소 pix1 내지 7로 이루어지는 7 화소의 다이나믹 레인지 블록의 경우, pix2의 화소값이 최대값으로서 검출되고, pix7의 화소가 최소값으로서 검출되어, 이들의 차분이 다이나믹 레인지로서 구해진다.

스텝 S724에서, 차분 가산 대입부(723)는 데이터 취득부(712)에 기억되어 있는 추출 블록의 화소 사이 중, 데이터 선택부(701)의 수평·수직 판정부(711)의 판정 결과에 대응하는 방향으로 인접하는 화소 사이의 화소값의 차분을 구하고(검출하고), MaxMin 취득부(722)로부터 입력된 다이나믹 레인지를 곱한 값을 가산 대입한다. 즉, 차분 가산 대입부(721)는 전술한 식 (75)의 분자로 되는 항의 합을 생성하고, 기억한다.

여기에서, 도 149의 플로차트의 설명으로 복귀한다.

스텝 S704에서, 차분 가산 대입부(721)는 추출 블록의 모든 화소의 화소 사이의 화소값의 차분(수평·수직 판정부(711)의 판정 결과에 대응하는 방향으로 인접하는 화소 사이의 화소값의 차분)을 가산 대입했는지 여부를 판정하고, 예를 들면, 추출 블록의 모든 화소의 화소 사이의 차분을 가산 대입하고 있지 않다고 판정한 경우, 그 처리는 스텝 S702로 복귀하고, 그 이후의 처리가 반복된다. 즉, 추출 블록의 모든 화소의 화소 사이의 화소값의 차분이 가산 대입되었다고 판정될 때까지, 스텝 S702 내지 S704의 처리가 반복된다.

스텝 S704에서, 추출 블록의 모든 화소의 화소 사이의 화소값의 차분이 가산 대입되었다고 판정된 경우, 스텝 S705에서, 차분 가산 대입부(721, 723)는 스스로 기억하고 있는 가산 대입 결과를 정상 방향 도출부(703)에 출력한다.

스텝 S706에서, 정상 방향 연산부(731)는 데이터 가산 대입부(702)의 차분 가산 대입부(721)로부터 입력된,취득 블록의 각 화소 사이 중, 수평·수직 판정부(711)에 의해 판정된 방향으로 인접하는 화소 사이의 화소값의 차분의 제곱합, 차분 가산 대입부(723)로부터 입력된 취득 블록의 각 화소 사이 중, 수평·수직 판정부(711)에 의해 판정된 방향으로 인접하는 화소 사이의 화소값의 차분, 및 취득 블록의 각 화소에 대응하는 다이나믹 레인지와의 적(積)의 합에 따라, 전술한 식 (75)에서 나타낸 정규 방정식을 푸는 것에 의해, 최소 제곱법을 이용하여 통계적에 주목 화소의 데이터 정상성 정보인 정상성의 방향을 나타내는 각도(세선, 또는 2치 에지의 경사를 나타내는 각도)를 연산하고, 출력한다.

스텝 S707에서, 데이터 취득부(712)는 입력 화상의 모든 화소에 대하여 처리가 행해졌는지 여부를 판정하고, 예를 들면, 입력 화상의 모든 화소에 대하여 처리가 행해지고 있지 않은, 즉, 입력 화상의 모든 화소에 대하여, 세선, 또는 2치 에지의 각도 정보를 출력하고 있지 않다고 판정한 경우, 스텝 S708에서, 카운터 T를 1 인크리먼트하고, 그 처리는 스텝 S702로 복귀한다. 즉, 입력 화상 중 처리하려고 하는 화소가 변경되어, 입력 화상의 모든 화소에 대하여 처리가 이루어질 때까지, 스텝 S702 내지 S708의 처리가 반복되게 된다. 이 카운터 T에 의한 화소의 변화는, 예를 들면, 래스터 스캔 등이라도 되고, 그 이외의 규칙에 의해 차례로 변화해 가는 것이라도 된다.

스텝 S707에서, 입력 화상의 모든 화소에 대하여 처리가 이루어졌다고 판정된 경우, 스텝 S709에서, 데이터 취득부(712)는 다음의 입력 화상이 있는지 여부를 판정하고, 다음의 입력 화상이 있다고 판정된 경우, 그 처리는 스텝 S701로 복귀하고, 그 이후의 처리가 반복된다.

스텝 S709에서, 다음의 입력 화상 없다고 판정된 경우, 그 처리는 종료된다.

이상의 처리에 의해 세선, 또는 2치 에지의 각도가 정상성 정보로서 검출되어, 출력된다.

이와 같이 통계적 처리에 의해 얻어지는 세선, 또는 에지의 경사 각도는 상관을 사용하여 얻어지는 세선, 또는 2치 에지의 각도와 대략 일치한다. 즉, 도 152 (A)에서 나타낸 바와 같은 화상인 백선으로 둘러싸이는 범위의 화상에 대하여, 세선 상의 소정 수평 방향의 좌표 상 간격 방향 Y로의 경사 변화는 도 152 (B)에서 나타낸 바와 같이, 상관을 사용한 방법에 의해 얻어지는 세선의 경사를 나타내는 각도(도면 중 검은 동그라미 표시)와, 도 124에서 나타낸 데이터 정상성 검출부(101)에 의해 통계 처리에 의해 얻어지는 세선의 각도(도면 중 흑 삼각 표시)는 세선 근방의 공간 방향 Y의 좌표 상에서, 각각이 대략 일치하고 있다. 그리고, 도 152 (B)에서는, 도면 중 흑 실선으로 끼워진 공간 방향 Y=680 내지 730이 세선 상의 좌표이다.

동일하게 하여, 도 153 (A)에서 나타낸 바와 같은 화상인 백선으로 둘러싸이는 범위의 화상에 대하여, 2치 에지 상의 소정 수평 방향의 좌표 상의 공간 방향 Y로의 경사 변화는 도 153 (B)에서 나타낸 바와 같이, 상관을 사용한 방법에 의해 얻어지는 2치 에지의 경사를 나타내는 각도(도면 중 검은 동그라미 표시)와, 도 124에서 나타낸 데이터 정상성 검출부(101)에 의해 통계 처리에 의해 얻어지는 2치 에지의 각도(도면 중 흑 삼각 표시)는 세선 근방의 공간 방향 Y의 좌표 상에서, 각각이 대략 일치하고 있다. 그리고, 도 153 (B)에서는, 공간 방향 Y=376(부근) 내지 388(부근)이 세선 상의 좌표이다.

결과로서, 도 124에 나타낸 데이터 정상성 검출부(101)는 데이터의 정상성으로서 세선, 또는 2치 에지의 각도를 구할 때, 소정 화소로 이루어지는 블록에 의한 상관을 사용하는 방법과 달리, 각 화소 주변의 정보를 사용하여, 통계적으로 세선, 또는 2치 에지의 경사를 나타내는 각도(여기에서는, 수평 방향을 기준축으로 한 각도)를 구할 수 있으므로, 상관을 사용한 방법으로 보여지도록, 소정 각도의 범위에 따라 변환되는 것이 없으므로, 모든 세선, 또는 2치 에지의 경사 각도를 동일한 처리에 의해 구하는 것이 가능하게 되기 때문에, 처리를 간단한 것으로 하는 것이 가능하게 된다.

또, 이상에서는, 데이터 정상성 검출부(101)는 세선, 또는 2치 에지의 소정 기준축이 이루는 각도를 정상성 정보로서 출력하는 예에 대하여 설명해 왔지만, 후단의 처리에 의해서는, 경사를 그대로 출력하는 방법이, 처리 효율이 향상되는 것도 고려된다. 그와 같은 경우, 데이터 정상성 검출부(101)의 정상 방향 도출부(703)의 정상 방향 연산부(731)는 최소 제곱법에 의해 구해진 세선, 또는 2치 에지의 경사 G_f를 그대로 정상성 정보로서 출력하도록 해도 된다.

또한, 이상에서는, 식 (75)에서, 다이나믹 레인지 Dri_r은 추출 블록의 각 화소에 대하여 구해지는 것으로 하여 연산해 왔지만, 이 다이나믹 레인지는, 다이나믹 레인지 블록을 충분히 크게 설정함으로써, 즉, 많은 주목 화소에 대하여, 그 주변의 많은 화소를 사용하여 설정함으로써, 화상 중 화소의 화소값의 최대값과 최소값이 항상 선택되게 된다. 따라서, 다이나믹 레인지 Dri_r은 추출 블록의 각 화소에 대하여 연산하지 않고, 추출 블록 중, 또는 화상 데이터 중의 화소의 최대값과 최소값으로부터 얻어지는 다이나믹 레인지를 고정값으로서 연산하도록 해도 된다.

즉, 이하의 식 (76)과 같이, 화소 사이의 화소값의 차분만을 가산 대입함으로써 세선의 각도 θ(경사 G_f)를 구하도록 해도 된다. 이와 같이, 다이나믹 레인지를 고정함으로써, 연산 처리를 보다 간소화할 수 있어, 고속으로 처리를 행하는 것이 가능하게 된다.

···(76)

다음에, 도 154를 참조하여, 데이터 정상성 정보로서 각 화소의 혼합비를 검출하는 데이터 정상성 검출부(101)에 대하여 설명한다.

그리고, 도 154의 데이터 정상성 검출부(101)에서는, 도 124의 데이터 정상성 검출부(101)에서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부여하고 있어, 이하에서는, 그 설명은, 적당히 생략한다.

도 154의 데이터 정상성 검출부(101)에서, 도 124의 데이터 정상성 검출부(101)와 상이한 것은 데이터 가산 대입부(702), 및 정상성 방향 도출부(703)에 대신하여, 데이터 가산 대입부(751), 및 혼합비 도출부(761)가 형성되어 있는 점이다.

데이터 가산 대입부(751)의 MaxMin 취득부(752)는 도 124에서의 MaxMin 취득부(722)와 동일한 처리를 행하는 것이지만, 다이나믹 레인지 블록의 각 화소의 화소값의 최대값과 최소값을 취득하고, 최대값과 최소값의 차분(다이나믹 레인지)을 구해, 가산 대입부(753, 755)에 출력하는 동시에, 최대값을 차분 연산부(754)에 출력한다.

가산 대입부(753)는 MaxMin 취득부로부터 입력된 값을 제곱하여, 추출 블록의 모든 화소에 대하여 가산 대입하고, 그 합을 구해 혼합비 도출부(761)에 출력한다.

차분 연산부(754)는 데이터 취득부(712)의 취득 블록의 각 화소에 대하여, 대응하는 다이나믹 레인지 블록의 최대값과의 차분을 구하고, 가산 대입부(755)에 출력한다.

가산 대입부(755)는 취득 블록의 각 화소에 대하여, MaxMin 취득부(752)로부터 입력된 최대값과 최소값의 차분(다이나믹 레인지)과, 차분 연산부(754)로부터 입력된 취득 블록의 각 화소의 화소값과, 대응하는 다이나믹 레인지 블록의 최대값과의 차분과 곱하여, 그 합을 구하고, 혼합비 도출부(761)에 출력한다.

혼합비 도출부(761)의 혼합비 산출부(762)는 데이터 가산 대입부의 가산 대입부(753, 755)의 각각으로부터 입력된 값에 따라, 주목 화소의 혼합비를 최소 제곱법에 의해 통계적으로 구하고, 데이터 정상성 정보로서 출력한다.

다음에, 혼합비의 도출 방법에 대하여 설명한다.

도 155 (A)에서 나타낸 바와 같이, 화상 상에 세선이 존재하는 경우, 센서(2)로 촬상된 화상은 도 155 (B)에서 나타낸 바와 같은 화상으로 된다. 이 화상에 대하여, 도 155 (B)의 공간 방향 X=X1 상의 흑의 실선으로 둘러싸인 화소에 대하여 주목한다. 그리고, 도 155 (B)의 백선으로 끼워진 범위는 현실 세계에서의 세선 영역에 대응하는 위치를 나타낸다. 이 화소의 화소값 M은 배경 영역의 레벨에 대응하는 화소값 B와, 세선 영역의 레벨에 대응하는 화소값 L의 중간 색으로 되어 있으며, 보다 상세하게는, 이 화소값 P_S는 배경 영역과 세선 영역의 면적비로 각각의 레벨이 혼합되어 있다. 따라서, 이 화소값 P_S는 이하의 식 (77)에 의해 표현된다.

PS=α×B+(1-α)×L ···(77)

여기에서, α는 혼합비이며, 보다 구체적으로는, 주목되고 있는 화소 중의 배경 영역이 차지하는 면적의 비율을 나타낸 것이다. 따라서, (1-α)는 세선 영역이 차지하는 면적의 비율을 나타내고 있다고도 말할 수 있다. 그리고, 배경 영역의 화소는 배경에 존재하는 오브젝트의 성분이라고도 생각되므로, 배경 오브젝트 성분이라고도 말할 수 있다. 또, 세선 영역의 화소는 배경 오브젝트에 대하여 전경(前景) 오브젝트의 성분이라고 생각되므로, 전경 오브젝트 성분이라고도 말할 수 있다.

이 결과, 혼합비 α는 식 (77)을 전개함으로써, 이하의 식 (78)로 표현할 수 있게 된다.

α=(P_S－L)/(B－L) ···(78)

또한, 지금의 경우, 화소값은 제1 화소값(화소값 B)의 영역과 제2 화소값(화소값 L)의 영역에 걸친 위치에 존재하는 것이 전제이므로, 화소값 L은 화소값의 최대값 Max로 치환할 수 있고, 또한 화소값 B는 화소값의 최소값과 치환할 수 있다. 따라서, 혼합비 α는 이하의 식 (79)로도 표현할 수 있다.

α=(P_S－Max)/(Min－Max) ···(79)

이상의 결과, 혼합비 α는 주목 화소에 대한 다이나믹 레인지 블록의 다이나믹 레인지((Min－Max)에 상당함)와, 주목 화소와, 다이나믹 레인지 블록 내 화소의 최대값과의 차분으로부터 구하는 것이 가능해지지만, 보다 정밀도를 향상시키기 위해, 여기에서는, 최소 제곱법에 의해 통계적으로 혼합비 α를 구한다.

즉, 전술한 식 (79)는 전개하면 이하의 식 (80)이 된다.

(P_S－Max)=α×Min－Max) ···(80)

이 식 (80)은 전술한 식 (71)과 동일한 1 변수의 최소 제곱법의 식으로 된다. 즉, 식 (71)에서는, 최소 제곱법에 의해 경사 G_f가 구해지고 있었지만, 여기에서는, 혼합비 α가 구해지게 된다. 따라서, 이하의 식 (81)에서 나타낸 정규 방정식을 푸는 것에 의해, 혼합비 α는 통계적으로 구해진다.

···(81)

여기에서, i는 추출 블록의 각 화소를 식별하는 것이다. 따라서, 식 (81)에서는, 추출 블록의 화소수는 n이다.

다음에, 도 156의 플로차트를 참조하여, 혼합비를 데이터 정상성으로 했을 때의 데이터 정상성 검출의 처리에 대하여 설명한다.

스텝 S731에서, 수평·수직 판정부(711)는 입력 화상의 각 화소를 식별하는 카운터 U를 초기화한다.

스텝 S732에서, 수평·수직 판정부(711)는 후단의 처리에 필요한 데이터의 추출 처리를 실행한다. 그리고, 스텝 S732의 처리는 도 150의 플로차트를 참조하여 설명한 처리와 동일하므로, 그 설명은 생략한다.

스텝 S733에서, 데이터 가산 대입부(751)는 정규 방정식 (여기에서는, 식 (81))의 연산 각 항에 필요한 값의 가산 대입 처리를 실행한다.

여기에서, 도 157의 플로차트를 참조하여, 정규 방정식으로의 가산 대입 처리에 대하여 설명한다.

스텝 S751에서, MaxMin 취득부(752)는 데이터 취득부(712)에 기억된 다이나믹 레인지 블록에 포함되는 화소의 화소값의 최대값과 최소값을 취득하고, 그 중, 최소값을 차분 연산부(754)에 출력한다.

스텝 S752에서, MaxMin 취득부(752)는 그 최대값과 최소값과의 차분으로부터 다이나믹 레인지를 구하고, 차분 가산 대입부(753, 755)에 출력한다.

스텝 S753에서, 가산 대입부(753)는 MaxMin 취득부(752)로부터 입력된 다이나믹 레인지(Max－Min)를 제곱하여, 가산 대입한다. 즉, 가산 대입부(753)는 전술한 식 (81)의 분모에 상당하는 값을 가산 대입에 의해 생성한다.

스텝 S754에서, 차분 연산부(754)는 MaxMin 취득부(752)로부터 입력된 다이나믹 레인지 블록의 최대값과, 추출 블록에서의 지금 현재 처리 중인 화소의 화소값과의 차분을 구하고, 가산 대입부(755)에 출력한다.

스텝 S755에서, 가산 대입부(755)는 MaxMin 취득부(752)로부터 입력된 다이나믹 레인지와, 차분 연산부(754)로부터 입력된, 지금 현재 처리하고 있는 화소의 화소값과, 다이나믹 레인지 블록의 화소 중 최대값으로 되는 값과의 차분을 곱하고, 가산 대입한다. 즉, 가산 대입부(755)는 전술한 식 (81)의 분자의 항에 상당하는 값을 생성한다.

이상과 같이, 데이터 가산 대입부(751)는 가산 대입 처리에 의해 전술한 식 (81)의 각항의 연산을 실행한다.

여기에서, 도 156의 플로차트의 설명으로 복귀한다.

스텝 S734에서, 차분 가산 대입부(721)는 추출 블록의 모든 화소에 대하여, 가산 대입이 종료되었는지 여부를 판정하고, 예를 들면, 추출 블록의 모든 화소에 대한 가산 대입 처리가 종료되어 있지 않다고 판정한 경우, 그 처리는 스텝 S732으로 복귀하여, 그 이후의 처리가 반복된다. 즉, 추출 블록의 모든 화소에 대하여, 가산 대입 처리가 종료되었다고 판정될 때까지, 스텝 S732 내지 S734의 처리가 반복된다.

스텝 S734에서, 추출 블록의 모든 화소에 대하여 가산 대입이 종료되었다고 판정된 경우, 스텝 S735에서, 가산 대입부(753, 755)는 스스로 기억하고 있는 가산 대입 결과를 혼합비 도출부(761)에 출력한다.

스텝 S736에서, 혼합비 도출부(761)의 혼합비 산출부(762)는 데이터 가산 대입부(751)의 가산 대입부(753, 755)로부터 입력된, 다이나믹 레인지의 제곱합, 및 추출 블록의 각 화소의 화소값과 다이나믹 레인지 블록의 최대값과의 차분과, 다이나믹 레인지를 곱한 합에 따라, 전술한 식 (81)에서 나타낸 정규 방정식을 푸는 것에 의해, 최소 제곱법을 이용하여 통계적에 주목 화소의 데이터 정상성 정보인 혼합비를 연산하고, 출력한다.

스텝 S737에서, 데이터 취득부(712)는 입력 화상의 모든 화소에 대하여 처리가 행해졌는지 여부를 판정하고, 예를 들면, 입력 화상의 모든 화소에 대하여 처리가 행해져 있지 않은, 즉, 입력 화상의 모든 화소에 대하여, 혼합비를 출력하고 있지 않다고 판정한 경우, 스텝 S738에서, 카운터 U를 1 인크리먼트하고, 그 처리는 스텝 S732로 복귀한다.

즉, 입력 화상 중 처리하려고 하는 화소가 변경되어, 입력 화상의 모든 화소에 대하여 혼합비가 연산될 때까지, 스텝 S732 내지 S738의 처리가 반복되게 된다. 이 카운터 U에 의한 화소의 변화는, 예를 들면, 래스터 스캔 등이라도 되고, 그 이외의 규칙에 의해 차례로 변화해 가는 것이라도 된다.

스텝 S737에서, 입력 화상의 모든 화소에 대하여 처리가 이루어졌다고 판정된 경우, 스텝 S739에서, 데이터 취득부(712)는 다음의 입력 화상이 있는지 여부를 판정하고, 다음의 입력 화상이 있다고 판정된 경우, 그 처리는 스텝 S731로 복귀하여, 그 이후의 처리가 반복된다.

스텝 S739에서, 다음의 입력 화상은 없다고 판정된 경우, 그 처리는 종료된다.

이상의 처리에 의해 각 화소의 혼합비가 정상성 정보로서 검출되어, 출력된다.

이상의 방법에 의해, 예를 들면, 도 158 (A)에서 나타낸 화상 중의 백선 내의 세선 화상에 대하여, 소정 공간 방향 X(=561, 562, 563) 상의 혼합비 변화가 도 158 (B)에 나타나 있다. 도 158 (B)에서 나타낸 바와 같이, 수평 방향으로 연속하는 공간 방향 Y의 혼합비 변화는 각각 공간 방향 X=563의 경우, 혼합비는 공간 방향 Y=660 부근에서 상승하여, Y=685 부근에서 피크로 되고, Y=710까지 감소한다. 또, 공간 방향 X=562의 경우, 혼합비는 공간 방향 Y=680 부근에서 상승하여, Y=705 부근에서 피크로 되고, Y=735까지 감소한다. 또한, 공간 방향 X=561의 경우, 혼합비는 공간 방향 Y=705 부근에서 상승하여, Y=725 부근에서 피크로 되고, Y=755까지 감소한다.

이와 같이, 도 158 (B)에서 나타낸 바와 같이, 연속하는 공간 방향 X 각각의 혼합비 변화는 혼합비에 의해 변화하는 화소값의 변화(도 133 (B)에서 나타낸 화소값의 변화)와 동일한 변화이며, 주기적으로 연속되어 있기 때문에, 세선 근방 화소의 혼합비가 정확하게 표현되어 있는 것을 알 수 있다.

또, 동일하게 하여, 도 159 (A)에서 나타낸 화상 중 백선 내의 2치 에지의 화상에 대하여, 소정 공간 방향 X(=658, 659, 660) 상의 혼합비 변화가 도 159 (B)에 나타나 있다. 도 159 (B)에서 나타낸 바와 같이, 수평 방향으로 연속하는 공간 방향 Y의 혼합비 변화는 각각 공간 방향 X=660의 경우, 혼합비는 공간 방향 Y=750 부근에서 상승하여, Y=765 부근에서 피크로 된다. 또, 공간 방향 X=659의 경우, 혼합비는 공간 방향 Y=760 부근에서 상승하여, Y=775 부근에서 피크로 된다. 또한, 공간 방향 X=658의 경우, 혼합비는 공간 방향 Y=770 부근에서 상승하여, Y=785 부근에서 피크로 된다.

이와 같이, 도 159 (B)에서 나타낸 바와 같이, 2치 에지의 혼합비 변화는 혼합비에 의해 변화하는 화소값의 변화(도 145 (B)에서 나타낸 화소값의 변화)와 동일한 변화로 대략 동일하며, 주기적으로 연속되어 있기 때문에 2치 에지 근방의 화소값 혼합비가 정확하게 표현되어 있는 것을 알 수 있다.

이상에 의하면, 최소 제곱법에 의해 통계적으로 데이터 정상성 정보로서 각 화소의 혼합비를 구하는 것이 가능하게 된다. 또한, 이 혼합비에 따라, 각 화소의 화소값을 직접 생성하는 것이 가능하게 된다.

또, 혼합비의 변화가 정상성을 가지는 것이며, 또한 이 혼합비의 변화가 직선적인 것으로 근사시키면, 이하의 식 (82)에서 나타낸 바와 같은 관계가 성립된다.

α=m×y＋n ···(82)

여기에서, M은 혼합비 α가 공간 방향 Y에 대하여 변화할 때의 경사를 나타내고, 또, N은 혼합비 α가 직선적으로 변화할 때의 절편에 상당하는 것이다.

즉, 도 160에서 나타낸 바와 같이, 혼합비를 나타내는 직선은 배경 영역의 레벨에 상당하는 화소값 B와, 세선의 레벨에 상당하는 레벨 L의 경계를 나타내는 직선이며, 이 경우, 공간 방향 Y에 대하여 단위 거리 진행했을 때의 혼합비 변화량이 경사 m이 된다.

그래서, 식 (82)을 식 (77)에 대입하면 이하의 식 (83)이 도출된다.

M=(m×y＋n)×B+(1-m×y＋n))×L ···(83)

또한, 이 식 (83)을 전개하면, 이하의 식 (84)가 도출된다.

M－L=(y×B－y×L)×m+(B－L)×n ···(84)

식 (84)에서는, 제1항의 m이 혼합비 공간 방향의 경사를 나타내고, 제2 항이 혼합비의 절편을 나타낸 항이다. 따라서, 전술한 식 (84)의 m, n을 2 변수의 최소 제곱법을 이용하여, 정규 방정식을 생성하고, 구하도록 할 수도 있다.

그러나, 혼합비 α의 경사 m은 전술한 세선이나 2치 에지의 경사(전술한 경사 G_f) 그 자체이므로, 미리, 전술한 방법을 이용하여, 세선, 또는 2치 에지의 경사 G_f를 구한 후, 그 경사를 사용하여, 식 (84)에 대입함으로써, 절편의 항에 대한 1 변수의 함수로 하고, 전술한 방법과 동일하게, 1 변수의 최소 제곱법에 의해 구하도록 해도 된다.

이상의 예에서는, 공간 방향의 세선, 또는 2치 에지의 각도(경사), 또는 혼합비를 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부(101)에 대하여 설명해 왔지만, 예를 들면, 공간 내의 축(공간 방향 X, Y) 중 어느 하나를 시간 방향(프레임 방향) T의 축으로 치환함으로써 얻어지는, 공간 방향에서의 각도에 대응하는 것이라도 된다. 즉, 공간 내의 축(공간 방향 X, Y) 중 어느 하나를 시간 방향(프레임 방향) T의 축으로 치환함으로써 얻어지는 각도에 대응하는 것이란, 물체의 모션 벡터(모션 벡터의 방향)이다.

보다 구체적으로는, 도 161 (A)에서 나타낸 바와 같이, 물체가 시간이 진행되는 데 따라 공간 방향 Y에 대하여, 도면 중 상 방향으로 이동하고 있는 경우, 도면 중 세선에 상당하는 부분(도 131 (A)와의 비교)에는, 물체의 이동 궤적이 나타나게 된다. 따라서, 시간 방향 T의 세선에서의 경사는, 도 161 (A)에서는, 물체가 움직이는 방향(물체의 모션을 나타내는 각도)을 나타내는 것(모션 벡터의 방향과 동일값의 것)이다. 따라서, 현실 세계에서, 도 161 (A) 중의 화살표로 나타낸, 소정 시각에서의 프레임에서는, 도 161 (B)에서 나타낸 바와 같이 물체의 궤적이 되는 부분이 물체의(색의) 레벨로 되고, 그 이외의 부분이 배경의 레벨로 된 펄스형의 파형이 된다.

이와 같이, 센서(2)에 의해 움직이는 물체를 촬상한 경우, 도 162 (A)에서 나타낸 바와 같이, 시각 T1 내지 T3에 있어서의 프레임의 각 화소의 화소값 분포는 도 162 (B)에서 나타낸 바와 같이, 공간 방향 Y에 대하여, 각각 산형(山型)의 파형을 취한다. 이 관계는 도 132 (A), 도 132 (B)를 참조하여 설명한 공간 방향 X, Y에서의 관계와 동일하다고 생각할 수 있다. 따라서, 프레임 방향 T에 대하여, 물체에 모션이 있는 경우, 전술한 세선의 경사, 또는 2치 에지의 각도(경사) 정보와 동일한 방법에 의해, 물체의 모션 벡터의 방향을 데이터 정상성 정보로서 구하는 것도 가능하다. 그리고, 도 162 (B)에서는, 프레임 방향 T(시간 방향 T)에 대하여, 각 모눈은 1 프레임의 화상을 구성하는 셔터 시간이 된다.

또, 동일하게 하여, 도 163 (A)에서 나타낸 바와 같이, 프레임 방향 T마다 공간 방향 Y에 대하여 물체에 모션이 있는 경우, 도 163 (B)에서 나타낸 바와 같이, 소정 시각 T1에 상당하는 프레임 상에서 공간 방향 Y를 향해 물체의 모션에 대응하여, 각 화소값이 얻어지게 된다. 이 때, 예를 들면, 도 163 (B)에 있어서의 흑의 실선으로 둘러싸인 화소의 화소값은 도 163 (C)에서 나타낸 바와 같이, 물체의 모션에 대응하여, 배경의 레벨과 물체의 레벨이 프레임 방향으로 혼합비 β로 혼합되어 있는 화소값이다.

이 관계는 도 155 (A), 도 155 (B), 도 155 (C)를 참조하여 설명한 관계와 동일하다.

또한, 도 164에서 나타낸 바와 같이, 물체의 레벨 O와 배경의 레벨 B는 프레임 방향(시간 방향)의 혼합비 β에 의해 직선 근사시키는 것도 가능하다. 이 관계는 도 160을 참조하여 설명한 공간 방향 혼합비의 직선 근사와 동일한 관계이다.

따라서, 공간 방향의 혼합비 α와 동일한 방법에 의해, 시간(프레임) 방향의 혼합비 β를 데이터 정상성 정보로서 구하는 것도 가능하다.

또, 프레임 방향, 또는 공간 방향 중 어느 하나의 1차원을 선택하여, 정상성의 각도, 또는 모션 벡터의 방향을 구하도록 해도 되고, 동일하게 하여 혼합비 α, β를 선택적으로 구하도록 해도 된다.

이상에 의하면, 현실 세계의 광 신호를 투영하여, 현실 세계 광 신호의 정상성의 일부가 결락된 화상 데이터 내의 주목 화소에 대응하는 영역을 선택하고, 선택한 영역 내의, 결락된 현실 세계 광 신호의 정상성에 대응하는 화상 데이터 정상성의 기준축에 대한 각도를 검출하기 위한 특징을 검출하고, 검출한 특징에 따라 통계적으로 각도를 검출하고, 검출한 화상 데이터 정상성의 기준축에 대한 각도에 따라, 결락된 현실 세계 광 신호의 정상성을 추정함으로써 광 신호를 추정하도록 했으므로, 정상성의 각도(모션 벡터의 방향), 또는 (시공간의) 혼합비를 구하는 것이 가능하게 된다.

다음에, 도 165를 참조하여, 데이터 정상성 정보로서 데이터 정상성 정보를 사용한 처리를 행해야 하는 영역의 정보를 출력하는 데이터 정상성 정보 검출부(101)에 대하여 설명한다.

각도 검출부(801)는 입력된 화상 중 정상성을 가지는 영역, 즉, 화상 상에서 정상성을 가지는 세선이나 2치 에지를 구성하는 부분의 공간 방향 각도를 검출하고, 검출한 각도를 실세계 추정부(802)에 출력한다. 그리고, 이 각도 검출부(801)는 도 3에서의 데이터 정상성 검출부(101)와 동일한 것이다.

실세계 추정부(802)는 각도 검출부(801)로부터 입력된 데이터 정상성의 방향을 나타내는 각도와, 입력 화상의 정보에 따라 실세계를 추정한다. 즉, 실세계 추정부(802)는 입력된 각도와, 입력 화상의 각 화소로부터 실세계의 광 신호의 강도 분포를 근사적으로 기술하는 근사 함수의 계수를 구하고, 구한 계수를 실세계의 추정 결과로서 오차 연산부(803)에 출력한다. 그리고, 이 실세계 추정부(802)는 도 3에서의 실세계 추정부(102)와 동일한 것이다.

오차 연산부(803)는 실세계 추정부(802)로부터 입력된 계수에 따라, 근사적으로 기술된 현실 세계의 광 강도 분포를 나타내는 근사 함수를 구성하고, 또한 이 근사 함수에 따라 각 화소 위치에 상당하는 광의 강도를 적분하여, 근사 함수에 의해 추정된 광의 강도 분포로부터 각 화소의 화소값을 생성하고, 실제로 입력된 화소값과의 차분을 오차로서 비교부(804)에 출력한다.

비교부(804)는 각 화소에 대하여 오차 연산부(803)로부터 입력된 오차와, 미리 설정된 임계값을 비교함으로써, 정상성 정보를 사용한 처리를 실행하는 화소가 존재하는 처리 영역과, 비처리 영역을 식별하고, 이 정상성 정보를 사용한 처리를 하는 처리 영역과 비처리 영역의 식별이 이루어진 영역 정보를 정상성 정보로서 출력한다.

다음에, 도 166의 플로차트를 참조하여, 도 165의 데이터 정상성 검출부(101)에 의한, 정상성 검출의 처리에 대하여 설명한다.

스텝 S801에서, 각도 검출부(801)는 입력된 화상을 취득하고, 스텝 S802에서, 정상성의 방향을 나타내는 각도를 검출한다. 보다 상세하게는, 각도 검출부(801)는, 예를 들면, 수평 방향을 기준축으로 했을 때의 세선, 또는 2치 에지가 가지는 정상성의 방향을 나타내는 각도를 검출하여, 실세계 추정부(802)에 출력한다.

스텝 S803에서, 실세계 추정부(802)는 각도 검출부(801)로부터 입력되는 각도의 정보와, 입력 화상의 정보에 따라, 현실 세계를 표현하는 함수 F(x)를 근사적으로 기술하는, 다항식으로 이루어지는 근사 함수 f(x)의 계수를 구해, 오차 연산부(803)에 출력한다. 즉, 현실 세계를 표현하는 근사 함수 f(x)는 이하의 식 (85)와 같은 1차원 다항식으로 나타난다.

···(85)

여기에서, w_i는 다항식의 계수이며, 실세계 추정부(802)는 이 계수 w_i를 구해, 오차 연산부(803)에 출력한다. 또한, 각도 검출부(801)로부터 입력되는 각도에 의해 정상성의 방향으로부터 경사를 구할 수 있으므로(G_f=tan^-1θ, G_f: 경사, θ: 각도), 이 경사 G_f의 구속 조건을 대입함으로써, 전술한 식 (85)의 식은 이하의 식 (86)에서 나타낸 바와 같이, 2차원 다항식으로 기술할 수 있다.

···(86)

즉, 전술한 식 (86)은 식 (85)에서 기술되는 1차원의 근사 함수 f(x)가 공간 방향 Y에 평행 이동함으로써 생기는 어긋남 폭을 시프트량 α(=－dy/G_f: dy는 공간 방향 Y로의 변화량)로 표현함으로써 얻어지는 2차원 함수 f(x, y)를 기술하고 있다.

따라서, 실세계 추정부(802)는 입력 화상과, 정상성 방향 각도의 정보를 사용하여, 전술한 식 (86)의 각 계수 w_i를 풀고, 구해진 계수 w_i를 오차 연산부(803)에 출력한다.

여기에서, 도 166의 플로차트의 설명으로 복귀한다.

스텝 S804에서, 오차 연산부(803)는 실세계 추정부(802)로부터 입력된 계수로부터 각 화소에 대하여 재적분(再積分)을 실행한다. 즉, 오차 연산부(803)는 실세계 추정부(802)로부터 입력된 계수로부터 전술한 식 (86)을 이하의 식 (87)에서 나타낸 바와 같이, 각 화소에 대하여 적분한다.

···(87)

여기에서, S_S는 도 167에서 나타낸 공간 방향의 적분 결과를 나타낸다. 또, 그 적분 범위는 도 167에서 나타낸 바와 같이, 공간 방향 X에 대해서는, x_m 내지 x_{m +B}이며, 공간 방향 Y에 대해서는, y_m 내지 y_{m +A}이다. 또, 도 167에서는, 각 모눈(정방형)은 1 화소를 나타내는 것으로 하고, 공간 방향 X, Y에 대하여, 모두 1인 것으로 한다.

따라서, 오차 연산부(803)는, 도 168에서 나타낸 바와 같이, 근사 함수 f(x, y)로 나타낸 곡면의 공간 방향 X에 대하여 x_m 내지 x_{m +1}, 및 공간 방향 Y에 대하여 y_m 내지 y_m+1(A=B=1)이며, 이하의 식 (88)에서 나타낸 바와 같은 적분 연산을 각 화소에 대하여 실행하고, 실세계를 근사적으로 표현하는 근사 함수를 공간적으로 적분함으로써 얻어지는 각 화소의 화소값 P_S를 연산한다.

···(88)

즉, 이 처리에 의해 오차 연산부(803)는 말하자면 일종의 화소값 생성부로서 기능하여, 근사 함수로부터 화소값을 생성한다.

스텝 S805에서, 오차 연산부(803)는 전술한 식 (88)에서 나타낸 바와 같은 적분에 의해 얻어진 화소값과, 입력 화상의 화소값과의 차분을 연산하고, 이것을 오차로서 비교부(804)에 출력한다. 즉, 오차 연산부(803)는 전술한 도 167, 도 168에서 나타낸 적분 범위(공간 방향 X에 대하여 x_m 내지 x_{m +1}, 및 공간 방향 Y에 대하여 y_m 내지 _{ym +1})에 대응하는 화소의 화소값과, 화소에 대응하는 범위의 적분 결과에 따라 얻어진 화소값과의 차분을 오차로서 구해 비교부(804)에 출력한다.

스텝 S806에서, 비교부(804)는 오차 연산부(803)로부터 입력되는 적분에 의해 얻어진 화소값과 입력 화상의 화소값과의 오차의 절대값이 소정 임계값 이하인지 여부를 판정한다.

스텝 S806에서, 오차가 소정 임계값 이하라고 판정된 경우, 스텝 S807에서, 비교부(804)는 적분에 의해 얻어진 화소값이 입력 화상 화소의 화소값과 가까운 값이 얻어지고 있으므로, 그 화소의 화소값을 연산하는 데 있어서 설정한 근사 함수가 현실 세계 광 신호의 광 강도 분포와 충분히 근사시키고 있는 것으로 간주하고, 지금 처리한 화소의 영역은 정상성 정보에 따른 근사 함수에 의한 처리를 행하는 처리 영역으로서 인식한다. 보다 상세하게는, 비교부(804)는 도시하지 않은 메모리에 지금 처리한 화소가 이후의 처리 영역의 화소인 것을 기억시킨다.

한편, 스텝 S806에서, 오차가 소정 임계값 이하가 아니라고 판정된 경우, 스텝 S808에서, 비교부(804)는 적분에 의해 얻어진 화소값이 실제의 화소값과 떨어진 값으로 되어 있으므로, 그 화소의 화소값을 연산하는 데 있어서 설정한 근사 함수가 현실 세계 광 신호의 광 강도 분포와 충분히 근사시키지 않다고 간주하고, 지금 처리한 화소의 영역은 후단에서 정상성 정보에 따른 근사 함수에 의한 처리를 행하지 않는 비처리 영역으로서 인식한다. 보다 상세하게는, 비교부(804)는 도시하지 않은 메모리에 지금 처리한 화소의 영역이 이후의 비처리 영역인 것을 기억시킨다.

스텝 S809에서, 비교부(804)는 모든 화소에서 처리가 실행되었는지 여부를 판정하고, 모든 화소에서 처리가 실행되어 있지 않다고 판정된 경우, 그 처리는 스텝 S802으로 복귀하고, 그 이후의 처리가 반복된다. 즉, 모든 화소에 대하여, 적분에 의한 화소값과, 입력된 화소값과의 비교가 이루어져, 처리 영역인지 여부의 판정 처리가 완료될 때까지, 스텝 S802 내지 S809의 처리가 반복된다.

스텝 S809에서, 모든 화소에 대하여, 재적분에 의한 화소값과, 입력된 화소값과의 비교가 이루어져 처리 영역인지 여부의 판정 처리가 완료되었다고 판정된 경우, 스텝 S810에서, 비교부(804)는 도시하지 않은 메모리에 기억되어 있는, 입력 화상에 대하여, 후단의 처리에서 공간 방향의 정상성 정보에 따른 처리가 이루어지는 처리 영역과, 공간 방향의 정상성 정보에 따른 처리가 이루어지지 않은 비처리 영역이 식별된 영역 정보를 정상성 정보로서 출력한다.

이상의 처리에 의하면, 정상성 정보에 따라 연산된 근사 함수 f(x)를 사용하여 각 화소에 대응하는 범위의 적분 결과에 따라 얻어진 화소값과, 실제의 입력 화상 중의 화소값과의 오차에 따라, 근사 함수의 표현이 확실한 것 같은 평가가 영역마다(화소마다) 이루어지게 되어, 오차가 작은 영역, 즉, 근사 함수에 따른 적분에 의해 얻어지는 화소값이 확실한 것 같은 화소가 존재하는 영역만을 처리 영역으로 하고, 그 이외의 영역을 비처리 영역으로 하게 되므로, 확실한 것 같은 영역에만 공간 방향의 정상성 정보에 따른 처리를 행할 수 있어, 필요한 처리만을 실행시키도록 할 수 있기 때문에, 처리 속도를 향상시킬 수 있는 동시에, 확실한 것 같은 영역에만 처리를 실행시킬 수 있으므로, 이 처리에 의한 화질 열화를 억제하는 것이 가능하게 된다.

다음에, 도 169를 참조하여, 데이터 정상성 정보로서 데이터 정상성 정보를 사용한 처리를 행하는 화소가 존재하는 영역 정보를 출력하는 데이터 정상성 정보 검출부(101)의 그 밖의 실시예에 대하여 설명한다.

모션 검출부(821)는 입력된 화상 중, 정상성을 가지는 영역, 즉, 화상 상에서 프레임 방향으로 정상성을 가지는 모션(모션 벡터의 방향: V_f)을 검출하고, 검출한 모션을 실세계 추정부(822)에 출력한다. 그리고, 이 모션 검출부(821)는 도 3에서의 데이터 정상성 검출부(101)와 동일한 것이다.

실세계 추정부(822)는 모션 검출부(821)로부터 입력된 데이터 정상성 모션과, 입력 화상의 정보에 따라 실세계를 추정한다. 즉, 실세계 추정부(822)는 입력된 모션과, 입력 화상의 각 화소로부터 프레임 방향(시간 방향)의 실세계 광 신호의 강도 분포를 근사적으로 기술하는 근사 함수의 계수를 구하고, 구한 계수를 실세계의 추정 결과로서 오차 연산부(823)에 출력한다. 그리고, 이 실세계 추정부(822)는 도 3에서의 실세계 추정부(102)와 동일한 것이다.

오차 연산부(823)는 실세계 추정부(822)로부터 입력된 계수에 따라, 근사적으로 기술된 프레임 방향 현실 세계의 광 강도 분포를 나타낸 근사 함수를 구성하고, 또한 이 근사 함수로부터 프레임마다 각 화소 위치에 상당하는 광의 강도를 적분하여, 근사 함수에 의해 추정된 광의 강도 분포로부터 각 화소의 화소값을 생성하고, 실제로 입력된 화소값과의 차분을 오차로서 비교부(824)에 출력한다.

비교부(824)는 각 화소에 대하여 오차 연산부(823)로부터 입력된 오차와, 미리 설정된 임계값을 비교함으로써, 정상성 정보를 사용한 처리를 실행하는 화소가 존재하는 처리 영역과, 비처리 영역을 식별하고, 이 정상성 정보를 사용한 처리를 하는 처리 영역과 비처리 영역의 식별이 이루어진 영역 정보를 정상성 정보로서 출력한다.

다음에, 도 170의 플로차트를 참조하여, 도 169의 데이터 정상성 검출부(101)에 의한, 정상성 검출의 처리에 대하여 설명한다.

스텝 S821에서, 모션 검출부(801)는 입력된 화상을 취득하고, 스텝 S822에서, 정상성을 나타내는 모션을 검출한다. 보다 상세하게는, 모션 검출부(801)는, 예를 들면, 입력 화상 중 움직이는 물체의 모션(모션 벡터의 방향: V_f)을 검출하여, 실세계 추정부(822)에 출력한다.

스텝 S823에서, 실세계 추정부(822)는 모션 검출부(821)로부터 입력되는 모션 정보와, 입력 화상의 정보에 따라, 현실 세계를 표현하는 프레임 방향의 함수 F(t)를 근사적으로 기술하는, 다항식으로 이루어지는 함수 f(t)의 계수를 구해, 오차 연산부(823)에 출력한다. 즉, 현실 세계를 표현하는 함수 f(t)는 이하의 식 (89)와 같은 1차원 다항식으로 나타난다.

···(89)

여기에서, w_i는 다항식의 계수이며, 실세계 추정부(822)는 이 계수 w_i를 구해, 오차 연산부(823)에 출력한다. 또한, 모션 검출부(821)로부터 입력되는 모션에 의해 정상성 모션을 구할 수 있으므로(V_f=tan^-1θｖ, V_f: 모션 벡터의 프레임 방향의 경사, θｖ: 모션 벡터의 프레임 방향의 각도), 이 경사의 구속 조건을 대입함으로써, 전술한 식 (89)의 식은 이하의 식 (90)에서 나타낸 바와 같이, 2차원 다항식으로 기술할 수 있다.

···(90)

즉, 전술한 식 (90)은 식 (89)에서 기술되는 1차원의 근사 함수 f(t)가 공간 방향 Y로 평행 이동함으로써 생기는 어긋남 폭을 시프트량 αt(=－dy/V_f : dy는 공간 방향 Y로의 변화량)로 표현함으로써 얻어지는 2차원 함수 f(t, y)를 기술하고 있다.

따라서, 실세계 추정부(822)는 입력 화상과, 정상성 모션 정보를 사용하여, 전술한 식 (90)의 각 계수 w_i를 풀고, 구해진 계수 w_i를 오차 연산부(823)에 출력한다.

여기에서, 도 170의 플로차트의 설명으로 복귀한다.

스텝 S824에서, 오차 연산부(823)는 실세계 추정부(822)로부터 입력된 계수로부터 각 화소에 대하여 프레임 방향으로 적분을 실행한다. 즉, 오차 연산부(823)는 실세계 추정부(822)로부터 입력된 계수로부터 전술한 식 (90)을 이하의 식 (91)에서 나타낸 바와 같이, 각 화소에 대하여 적분한다.

···(91)

여기에서, S_t는 도 171에서 나타낸 프레임 방향의 적분 결과를 나타낸다. 또, 그 적분 범위는 도 171에서 나타낸 바와 같이, 프레임 방향 T에 대해서는, T_m 내지 T_{m +B}이며, 공간 방향 Y에 대해서는, y_m 내지 y_{m +A}이다. 또, 도 171에서는, 각 모눈(정방형)은 1 화소를 나타내는 것으로 하고, 프레임 방향 T, 및 공간 방향 Y 모두 1인 것으로 한다. 여기에서, 프레임 방향 T에 대하여 1이란, 1 프레임분의 셔터 시간을 1로 하는 것이다.

따라서, 오차 연산부(823)는 도 172에서 나타낸 바와 같이, 근사 함수 f(t, y)로 나타낸 곡면의 공간 방향 T에 대하여 T_m 내지 T_{m +1}, 및 공간 방향 Y에 대하여 y_m 내지 y_m+1(A=B=1)이며, 이하의 식 (92)에서 나타낸 바와 같은 적분 연산을 각 화소에 대하여 실행하고, 실세계를 근사적으로 표현하는 함수로부터 얻어지는 각 화소의 화소값 P_t를 연산한다.

···(92)

즉, 이 처리에 의해 오차 연산부(823)는, 말하자면 일종의 화소값 생성부로서 기능하여, 근사 함수로부터 화소값을 생성한다.

스텝 S825에서, 오차 연산부(803)는 전술한 식 (92)에서 나타낸 바와 같은 적분에 의해 얻어진 화소값과, 입력 화상의 화소값과의 차분을 연산하고, 이것을 오차로서 비교부(824)에 출력한다. 즉, 오차 연산부(823)는 전술한 도 171, 도 172에서 나타낸 적분 범위(공간 방향 T에 대하여 T_m 내지 T_{m +1}, 및 공간 방향 Y에 대하여 y_m 내지 y_{m +1})에 대응하는 화소의 화소값과, 화소에 대응하는 범위의 적분 결과에 따라 얻어진 화소값과의 차분을 오차로서 구해 비교부(824)에 출력한다.

스텝 S826에서, 비교부(824)는 오차 연산부(823)로부터 입력된 적분에 의해 얻어진 화소값과 입력 화상의 화소값과의 오차의 절대값이 소정 임계값 이하인지 여부를 판정한다.

스텝 S826에서, 오차가 소정 임계값 이하라고 판정된 경우, 스텝 S827에서, 비교부(824)는 적분에 의해 얻어진 화소값이 입력 화상의 화소값과 가까운 값이 얻어지고 있으므로, 그 화소의 화소값을 연산하는 데 있어서 설정한 근사 함수가 실세계의 광 신호의 광 강도 분포와 충분히 근사되어 있다고 간주하고, 지금 처리한 화소의 영역은 처리 영역으로서 인식한다. 보다 상세하게는, 비교부(824)는 도시하지 않은 메모리에 지금 처리한 화소가 이후의 처리 영역의 화소인 것을 기억시킨다.

한편, 스텝 S826에서, 오차가 소정 임계값 이하가 아니라고 판정된 경우, 스텝 S828에서, 비교부(824)는 적분에 의해 얻어진 화소값이 실제의 화소값과 떨어진 값으로 되어 있으므로, 그 화소의 화소값을 연산하는 데 있어서 설정한 근사 함수가 현실 세계의 광 강도 분포와 충분히 근사시키지 않다고 간주하고, 지금 처리한 화소의 영역은 후단에서 정상성 정보에 따른 근사 함수에 의한 처리를 행하지 않는 비처리 영역으로서 인식한다. 보다 상세하게는, 비교부(824)는 도시하지 않은 메모리에 지금 처리한 화소의 영역이 이후의 비처리 영역인 것을 기억시킨다.

스텝 S829에서, 비교부(824)는 모든 화소에서 처리가 실행되었는지 여부를 판정하고, 모든 화소에서 처리가 실행되어 있지 않다고 판정된 경우, 그 처리는 스텝 S822로 복귀하고, 그 이후의 처리가 반복된다. 즉, 모든 화소에 대하여, 적분에 의한 화소값과, 입력된 화소값과의 비교가 이루어져, 처리 영역인지 여부의 판정 처리가 완료될 때까지, 스텝 S822 내지 S829의 처리가 반복된다.

스텝 S829에서, 모든 화소에 대하여, 재적분에 의한 화소값과, 입력된 화소값과의 비교가 이루어져, 처리 영역인지 여부의 판정 처리가 완료되었다고 판정된 경우, 스텝 S830에서, 비교부(824)는 도시하지 않은 메모리에 기억되어 있는 입력 화상에 대하여, 후단의 처리에서 프레임 방향의 정상성 정보에 따른 처리가 이루어지는 처리 영역과, 프레임 방향의 정상성 정보에 따른 처리가 이루어지지 않은 비처리 영역이 식별된 영역 정보를 정상성 정보로서 출력한다.

이상의 처리에 의하면, 정상성 정보에 따라 연산된 근사 함수 f(t)를 사용한 각 화소에 대응하는 범위의 적분 결과에 의해 얻어진 화소값과, 실제의 입력 화상 중의 화소값과의 오차에 따라, 근사 함수의 표현이 확실한 것 같은 평가가 영역마다(화소마다) 이루어지게 되어, 오차가 작은 영역, 즉, 근사 함수에 따라 적분에 의해 얻어지는 화소값이 확실한 것 같은 화소가 존재하는 영역만을 처리 영역으로 하고, 그 이외의 영역을 비처리 영역으로 하게 되므로, 확실한 것 같은 영역에만 프레임 방향의 정상성 정보에 따른 처리를 행할 수 있어, 필요한 처리만을 실행시키도록 할 수 있으므로, 처리 속도를 향상시킬 수 있는 동시에, 확실한 것 같은 영역에만 처리를 실행시킬 수 있으므로, 이 처리에 의한 화질 열화를 억제하는 것이 가능하게 된다.

도 165 및 도 169의 데이터 정상성 정보 검출부(101)의 구성을 조합시켜, 시공간 방향 중, 어느 하나 1차원을 선택하여, 선택적으로 영역 정보를 출력시키도록 해도 된다.

이상에 의하면, 각각 시공간 적분 효과를 가지는, 센서의 복수개의 검출 소자에 의해 현실 세계의 광 신호가 투영되고, 현실 세계 광 신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 화상 데이터에서의 데이터 정상성을 검출하고, 검출한 정상성에 대응하여, 화상 데이터의 시공간 방향 중 적어도 1차원 방향의 위치에 대응하는 각 화소의 화소값이 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여 현실 세계의 광 신호에 대응하는 함수를 근사시킴으로써, 현실 세계의 광 신호에 대응하는 함수를 추정하고, 추정한 함수를 적어도 1차원 방향의 각 화소에 대응하는 단위로 적분함으로써 취득되는 화소값과, 각 화소의 화소값과의 차분값을 검출하고, 차분값에 따라 함수를 선택적으로 출력하도록 했으므로, 근사 함수에 따라 적분에 의해 얻어지는 화소값이 확실한 것 같은 화소가 존재하는 영역만을 처리 영역으로 하고, 그 이외의 영역을 비처리 영역으로 하는 것이 가능하게 되어, 확실한 것 같은 영역에만 프레임 방향의 정상성 정보에 따른 처리를 행할 수 있어, 필요한 처리만을 실행시키도록 할 수 있기 때문에, 처리 속도를 향상시킬 수 있는 동시에, 확실한 것 같은 영역에만 처리를 실행시킬 수 있으므로, 이 처리에 의한 화질 열화를 억제하는 것이 가능하게 된다.

다음에, 실세계(1)의 신호 추정에 대하여 설명한다.

도 173은 실세계 추정부(102)의 구성을 나타낸 블록도이다.

도 173에 구성을 나타낸 실세계 추정부(102)에서는, 입력 화상, 및 정상성 검출부(101)로부터 공급된 데이터 정상성 정보를 기초로 실세계(1)의 신호인 화상에 있어서의 세선의 폭이 검출되어 세선의 레벨(실세계(1) 신호의 광 강도)이 추정된다.

선폭 검출부(2101)는 정상성 검출부(101)로부터 공급된, 세선의 화상이 투영된 화소로 이루어지는 세선 영역인 정상 영역을 나타내는 데이터 정상성 정보를 기초로 세선의 폭을 검출한다. 선폭 검출부(2101)는 데이터 정상성 정보와 함께, 검출된 세선의 폭을 나타내는 세선폭 정보를 신호 레벨 추정부(2102)에 공급한다.

신호 레벨 추정부(2102)는 입력 화상, 선폭 검출부(2101)로부터 공급된 세선의 폭을 나타내는 세선폭 정보, 및 데이터 정상성 정보를 기초로 실세계(1)의 신호인, 세선의 화상 레벨, 즉 광 강도의 레벨을 추정하고, 세선의 폭 및 세선의 화상 레벨을 나타내는 실세계 추정 정보를 출력한다.

도 174 및 도 175는 실세계(1)의 신호에 있어서의 세선의 폭을 검출하는 처리를 설명한 도면이다.

도 174 및 도 175에서, 태선으로 둘러싸는 영역(4개의 사각으로 이루어지는 영역)은 1개의 화소를 나타내고, 점선으로 둘러싸는 영역은 세선의 화상이 투영된 화소로 이루어지는 세선 영역을 나타내고, 동그라미는 세선 영역의 중심을 나타낸다. 도 174 및 도 175에서, 사선은 센서(2)에 입사된 세선의 화상을 나타낸다. 사선은 센서(2)에 실세계(1)의 세선 화상이 투영된 영역을 나타내고 있다고도 말할 수 있다.

도 174 및 도 175에서, S는 세선 영역의 중심 위치로부터 산출되는 경사를 나타내고, D는 세선 영역의 중복이다. 여기에서, 경사 S는 세선 영역이 인접하고 있으므로, 화소를 단위로 한, 중심(重心)과 중심과의 거리이다. 또, 세선 영역의 중복 D란, 2개의 세선 영역에서 인접하고 있는 화소의 수이다.

도 174 및 도 175에서, W는 세선의 폭을 나타낸다.

도 174에서, 경사 S는 2이며, 중복 D는 2이다.

도 175에서, 경사 S는 3이며, 중복 D는 1이다.

세선 영역이 인접하고, 세선 영역이 인접하는 방향의 중심과 중심의 거리는 1 화소이므로, W : D=1 : S가 성립되고, 세선의 폭 W는 중복 D/경사 S로 구할 수 있다.

예를 들면, 도 174에서 나타낸 바와 같이, 경사 S는 2이며, 중복 D는 2일 때, 2/2는 1이므로, 세선의 폭 W는 1이다. 또, 예를 들면, 도 175에서 나타낸 바와 같이, 경사 S는 3이며, 중복 D는 1일 때, 세선의 폭 W는 1/3이다.

선폭 검출부(2101)는 이와 같이 세선 영역의 중심 위치로부터 산출되는 경사, 및 세선 영역의 중복으로부터 세선의 폭을 검출한다.

도 176은 실세계(1)의 신호에 있어서의 세선의 신호 레벨을 추정하는 처리를 설명한 도면이다.

도 176에서, 태선으로 둘러싸는 영역(4개의 사각으로 이루어지는 영역)은 1개의 화소를 나타내고, 점선으로 둘러싸는 영역은 세선의 화상이 투영된 화소로 이루어지는 세선 영역을 나타낸다. 도 176에서, E는 세선 영역의 화소를 단위로 한, 세선 영역의 길이를 나타내고, D는 세선 영역의 중복(다른 세선 영역에 인접하고 있는 화소의 수)이다.

세선의 신호 레벨은 처리 단위(세선 영역) 내에서 일정한 것으로 근사시키고, 세선이 투영된 화소의 화소값에 투영된, 세선 이외의 화상 레벨은 인접하고 있는 화소의 화소값에 대한 레벨과 동일한 것으로 근사시킨다.

세선의 신호 레벨을 C로 했을 때, 세선 영역에 투영된 신호(화상)에서의, 도면 중 세선의 신호가 투영된 부분의 좌측 부분의 레벨을 A로 하고, 도면 중 세선의 신호가 투영된 부분의 우측 부분의 레벨을 B로 한다.

이 때, 식 (93)이 성립한다.

세선 영역의 화소값의 총계=(E-D)/2*A+(E-D)/2*B+D*C ···(93)

세선의 폭이 일정하고, 세선 영역의 폭은 1 화소이므로, 세선 영역의 세선(의 신호가 투영된 부분) 면적은 세선 영역의 중복 D와 동일하다. 세선 영역의 폭은 1 화소이므로, 세선 영역의 화소를 단위로 한 세선 영역의 면적은 세선 영역의 길이 E와 동일하다.

세선 영역 중, 세선의 좌측 면적은 (E-D)/ 2이다. 세선 영역 중, 세선의 우측 면적은 (E-D)/ 2이다.

식 (93)의 우변 제1 항은 좌측에 인접하고 있는 화소에 투영된 신호의 레벨과 동일 레벨의 신호가 투영된 화소값의 부분이며, 식 (94)로 표현할 수 있다.

···(94)

식 (94)에서, A_i는 좌측에 인접하고 있는 화소의 화소값을 나타낸다.

식 (94)에서, α_i는 좌측에 인접하고 있는 화소에 투영된 신호의 레벨과 동일 레벨의 신호가 세선 영역의 화소에 투영되는 면적의 비율을 나타낸다. 즉, α_i는 세선 영역 화소의 화소값에 포함되어 있는, 좌측에 인접하고 있는 화소의 화소값과 동일 화소값의 비율을 나타낸다.

i는 세선 영역 좌측에 인접하고 있는 화소의 위치를 나타낸다.

예를 들면, 도 176에서, 세선 영역 화소의 화소값에 포함되어 있는, 세선 영역 좌측에 인접하고 있는 화소의 화소값 A₀와 동일한 화소값의 비율은 α₀이다. 도 176에서, 세선 영역 화소의 화소값에 포함되어 있는, 세선 영역 좌측에 인접하고 있는 화소의 화소값 A₁와 동일한 화소값의 비율은 α₁이다. 도 176에서, 세선 영역 화소의 화소값에 포함되어 있는, 세선 영역 좌측에 인접하고 있는 화소의 화소값 A₂와 동일한 화소값의 비율은 α₂이다.

식 (93)의 우변 제2 항은 우측에 인접하고 있는 화소에 투영된 신호의 레벨과 동일 레벨의 신호가 투영된 화소값의 부분이며, 식 (95)로 표현할 수 있다.

···(95)

식 (95)에서, B_j는 우측에 인접하고 있는 화소의 화소값을 나타낸다.

식 (95)에서, β_j는 우측에 인접하고 있는 화소에 투영된 신호 레벨과 동일 레벨의 신호가 세선 영역의 화소에 투영되는 면적의 비율을 나타낸다. 즉, β_j는 세선 영역 화소의 화소값에 포함되어 있는, 우측에 인접하고 있는 화소의 화소값과 동일 화소값의 비율을 나타낸다.

j는 세선 영역 우측에 인접하고 있는 화소의 위치를 나타낸다.

예를 들면, 도 176에서, 세선 영역 화소의 화소값에 포함되어 있는, 세선 영역 우측에 인접하고 있는 화소의 화소값 B₀와 동일한 화소값의 비율은 β₀이다. 도 176에서, 세선 영역 화소의 화소값에 포함되어 있는, 세선 영역 우측에 인접하고 있는 화소의 화소값 B₁와 동일한 화소값의 비율은 β₁이다. 도 176에서, 세선 영역 화소의 화소값에 포함되어 있는, 세선 영역 우측에 인접하고 있는 화소의 화소값 B₂와 동일한 화소값의 비율은 β₂이다.

이와 같이, 신호 레벨 추정부(2102)는 식 (94) 및 식 (95)을 기초로 세선 영역에 포함되는 화소값 중, 세선 이외 화상의 화소값을 산출하고, 식 (93)을 기초로 세선 영역의 화소값으로부터 세선 이외 화상의 화소값을 제거함으로써, 세선 영역에 포함되는 화소값 중, 세선만의 화상의 화소값을 구한다. 그리고, 신호 레벨 추정부(2102)는 세선만의 화상의 화소값과 세선의 면적으로부터 세선의 신호 레벨을 구한다. 보다 구체적으로는, 신호 레벨 추정부(2102)는 세선 영역에 포함되는 화소값 중, 세선만의 화상의 화소값을 세선 영역의 세선 면적, 즉 세선 영역의 중복 D로 나눗셈함으로써, 세선의 신호 레벨을 산출한다.

신호 레벨 추정부(2102)는 실세계(1)의 신호에 있어서의 세선의 폭, 및 세선의 신호 레벨을 나타내는 실세계 추정 정보를 출력한다.

본 발명의 방법에서는, 세선의 파형을 화소가 아니라 기하학적으로 기술하고 있으므로, 어떠한 해상도에도 사용할 수 있다.

다음에, 스텝 S102의 처리에 대응하는 실세계의 추정 처리를 도 177의 플로차트를 참조하여 설명한다.

스텝 S2101에서, 선폭 검출부(2101)는 데이터 정상성 정보를 기초로 세선의 폭을 검출한다. 예를 들면, 선폭 검출부(2101)는 세선 영역의 중심 위치로부터 산출되는 경사, 및 세선 영역의 중복으로부터 중복을 경사로 나눗셈함으로써, 실세계(1)의 신호에서의 세선 폭을 추정한다.

스텝 S2102에서, 신호 레벨 추정부(2102)는 세선의 폭, 및 세선 영역에 인접하는 화소의 화소값을 기초로 세선의 신호 레벨을 추정하고, 추정된 세선의 폭 및 세선의 신호 레벨을 나타내는 실세계 추정 정보를 출력하여, 처리는 종료된다. 예를 들면, 신호 레벨 추정부(2102)는 세선 영역에 포함되는 세선 이외의 화상이 투영된 화소값을 산출하고, 세선 영역으로부터 세선 이외의 화상이 투영된 화소값을 제거함으로써, 세선만의 화상이 투영된 화소값을 구하고, 구해진 세선만의 화상이 투영된 화소값과 세선의 면적으로부터 세선의 신호 레벨을 산출함으로써, 실세계(1)의 신호에 있어서의 세선의 레벨을 추정한다.

이와 같이, 실세계 추정부(102)는 실세계(1) 신호의 세선 폭 및 레벨을 추정할 수 있다.

이상과 같이, 현실 세계의 광 신호가 투영되고, 현실 세계 광 신호의 정상성의 일부가 결락된 제1 화상 데이터의, 데이터의 정상성을 검출하고, 데이터의 정상성에 대응하는 현실 세계의 광 신호 파형을 나타내는 모델에 따라, 제1 화상 데이터의 정상성으로부터 현실 세계의 광 신호 파형을 추정하고, 추정된 광 신호를 제2 화상 데이터로 변환하도록 한 경우, 현실 세계의 광 신호에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

도 178은 실세계 추정부(102)의 다른 구성을 나타낸 블록도이다.

도 178에 구성을 나타낸 실세계 추정부(102)에서는, 입력 화상, 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보를 기초로 영역이 재차 검출되고, 재차 검출된 영역을 기초로 실세계(1)의 신호인 화상에 있어서의 세선의 폭이 검출되어 실세계(1) 신호의 광 강도(레벨)가 추정된다. 예를 들면, 도 178에 구성을 나타낸 실세계 추정부(102)에서는, 세선의 화상이 투영된 화소로 이루어지는 정상성 영역이 재차 검출되고, 재차 검출된 영역을 기초로 실세계(1)의 신호인 화상에 있어서의 세선의 폭이 검출되어 실세계(1) 신호의 광 강도가 추정된다.

데이터 정상성 검출부(101)로부터 공급되어, 도 178에 구성을 나타낸 실세계 추정부(102)에 입력되는 데이터 정상성 정보에는, 데이터(3)인 입력 화상 중, 세선의 화상이 투영된 정상 성분 이외의 비정상 성분을 나타내는 비정상 성분 정보, 정상 영역 중의 단조 증감 영역을 나타내는 단조 증감 영역 정보, 및 정상 영역을 나타내는 정보 등이 포함되어 있다. 예를 들면, 데이터 정상성 정보에 포함되는 비정상 성분 정보는 입력 화상에서의 배경 등의 비정상 성분을 근사시키는 평면의 경사 및 절편으로 이루어진다.

실세계 추정부(102)에 입력된 데이터 정상성 정보는 경계 검출부(2121)에 공급된다. 실세계 추정부(102)에 입력된 입력 화상은 경계 검출부(2121) 및 신호 레벨 추정부(2102)에 공급된다.

경계 검출부(2121)는 데이터 정상성 정보에 포함되는 비정상 성분 정보, 및 입력 화상으로부터 세선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성하고, 정상 성분만으로 이루어지는 화상을 기초로 화소에 투영된, 실세계(1)의 신호인 세선의 화상이 투영된 비율을 나타내는 분배비를 산출하고, 산출된 분배비로부터 세선 영역의 경계를 나타내는 회귀 직선을 산출함으로써, 정상 영역인 세선 영역을 다시 검출한다.

도 179는 경계 검출부(2121)의 구성을 나타낸 블록도이다.

분배비 산출부(2131)는 데이터 정상성 정보, 데이터 정상성 정보에 포함되는 비정상 성분 정보, 및 입력 화상으로부터 세선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성한다. 보다 구체적으로는, 분배비 산출부(2131)는 데이터 정상성 정보에 포함되는 단조 증감 영역 정보를 기초로 입력 화상으로부터 정상 영역 중의 인접하는 단조 증감 영역을 검출하고, 검출된 단조 증감 영역에 속하는 화소의 화소값으로부터 정상 성분 정보에 포함되는 경사 및 절편에서 나타나는 평면으로 근사되는 근사값을 뺄셈함으로써, 세선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성한다.

그리고, 분배비 산출부(2131)는 입력 화상 화소의 화소값으로부터 정상 성분 정보에 포함되는 경사 및 절편에서 나타나는 평면으로 근사되는 근사값을 뺄셈함으로써, 세선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성하도록 해도 된다.

분배비 산출부(2131)는 생성된 정상 성분만으로 이루어지는 화상을 기초로 실세계(1)의 신호인 세선의 화상이 정상 영역 중의 인접하는 단조 증감 영역에 속하는 2개의 화소에 분배된 비율을 나타내는 분배비를 산출한다. 분배비 산출부(2131)는 산출한 분배비를 회귀 직선 산출부(2132)에 공급한다.

도 180 내지 도 182를 참조하여, 분배비 산출부(2131)에서의, 분배비의 산출 처리를 설명한다.

도 180의 좌측 2열의 수치는 입력 화상의 화소값으로부터 정상 성분 정보에 포함되는 경사 및 절편에서 나타나는 평면으로 근사되는 근사값을 뺄셈함으로써, 산출된 화상 중, 세로로 2열 화소의 화소값을 나타낸다. 도 180의 좌측 사각으로 둘러싸는 2개의 영역은 인접하는 2개의 단조 증감 영역인, 단조 증감 영역 2141-1 및 단조 증감 영역 2141-2을 나타낸다. 즉, 단조 증감 영역 2141-1 및 단조 증감 영역 2141-2에 나타내는 수치는 데이터 정상성 검출부(101)에서 검출된 정상성 영역인 단조 증감 영역에 속하는 화소의 화소값을 나타낸다.

도 180의 우측 1렬의 수치는 도 180의 좌측 2열 화소의 화소값 중, 가로로 나란히 하는 화소의 화소값을 가산한 값을 나타낸다. 즉, 도 180의 우측 1렬의 수치는 세로로 1렬의 화소로 이루어지는 단조 증감 영역으로서, 2개의 인접하는 것에 대하여, 가로로 인접하는 화소마다 세선의 화상이 투영된 화소값을 가산한 값을 나타낸다.

예를 들면, 각각 세로로 1렬의 화소로 이루어지고, 인접하는 단조 증감 영역 2141-1 및 단조 증감 영역 2141-2 중 어느 하나에 속하며, 가로로 인접하는 화소의 화소값이 2 및 58일 때, 가산한 값은 60이다. 각각 세로로 1렬의 화소로 이루어지고, 인접하는 단조 증감 영역 2141-1 및 단조 증감 영역 2141-2 중 어느 하나에 속하며, 가로로 인접하는 화소의 화소값이 1 및 65일 때, 가산한 값은 66이다.

도 180의 우측 1렬의 수치, 즉, 세로로 1렬의 화소로 이루어지고, 2개의 인접하는 단조 증감 영역이 가로 방향으로 인접하는 화소에 대하여, 세선의 화상이 투영된 화소값을 가산한 값은 거의 일정하게 되는 것을 알 수 있다.

동일하게, 가로로 1렬의 화소로 이루어지고, 2개의 인접하는 단조 증감 영역이 세로 방향으로 인접하는 화소에 대하여, 세선의 화상이 투영된 화소값을 가산한 값은 거의 일정하게 된다.

분배비 산출부(2131)는 2개의 인접하는 단조 증감 영역이 인접하는 화소에 대하여, 세선의 화상이 투영된 화소값을 가산한 값이 거의 일정하게 되는 성질을 이용하여, 세선의 화상이 1렬 화소의 화소값에 어떻게 분배되어 있는가를 산출한다.

분배비 산출부(2131)는 도 181에 나타낸 바와 같이, 세로로 1렬의 화소로 이루어지는 단조 증감 영역으로서, 2개의 인접하는 것에 속하는 화소의 화소값을 가로로 인접하는 화소마다 세선의 화상이 투영된 화소값을 가산한 값으로 나눗셈함으로써, 2개의 인접하는 단조 증감 영역에 속하는 각 화소에 대하여, 분배비를 산출한다. 단, 산출된 결과, 100을 초과하는 분배비에는, 100이 설정된다.

예를 들면, 도 181에 나타낸 바와 같이, 세로로 1렬의 화소로 이루어지는 단조 증감 영역으로서, 2개의 인접하는 것에 속하는 가로로 인접하는 화소의 화소값이 각각 2 및 58일 때, 가산한 값이 60이므로, 각각의 화소에 대하여, 3.5 및 96.5인 분배비가 산출된다. 세로로 1렬의 화소로 이루어지는 단조 증감 영역으로서, 2개의 인접하는 것에 속하는, 가로로 인접하는 화소의 화소값이 각각 1 및 65일 때, 가산한 값이 65이므로, 각각의 화소에 대하여, 1.5 및 98.5인 분배비가 산출된다.

이 경우에, 3개의 단조 증감 영역이 인접하는 경우, 어느쪽의 열로부터 계산하는가는, 도 182에서 나타낸 바와 같이, 가로로 인접하는 화소마다 세선의 화상이 투영된 화소값을 가산한 2개의 값 중, 정점 P의 화소값에 의해 가까운 값을 기초로 분배비가 산출된다.

예를 들면, 정점 P의 화소값이 81이며, 주목하고 있는 단조 증감 영역에 속하는 화소의 화소값이 79일 때, 좌측에 인접하는 화소의 화소값이 3이며, 우측에 인접하는 화소의 화소값이 -1인 경우, 좌측에 인접하는 화소의 화소값을 가산한 값이 82이며, 우측에 인접하는 화소의 화소값을 가산한 값이 78이므로, 정점 P의 화소값(81)에 의해 가까운 82가 선택되고, 좌측에 인접하는 화소를 기초로 분배비가 산출된다. 동일하게, 정점 P의 화소값이 81이며, 주목하고 있는 단조 증감 영역에 속하는 화소의 화소값이 75일 때, 좌측에 인접하는 화소의 화소값이 0이며, 우측에 인접하는 화소의 화소값이 3인 경우, 좌측에 인접하는 화소의 화소값을 가산한 값이 75이며, 우측에 인접하는 화소의 화소값을 가산한 값이 78이므로, 정점 P의 화소값 81에 의해 가까운 78이 선택되고, 우측에 인접하는 화소를 기초로 분배비가 산출된다.

이와 같이, 분배비 산출부(2131)는 세로로 1렬의 화소로 이루어지는 단조 증감 영역에 대하여, 분배비를 산출한다.

분배비 산출부(2131)는 동일한 처리로, 가로로 1렬의 화소로 이루어지는 단조 증감 영역에 대하여, 분배비를 산출한다.

회귀 직선 산출부(2132)는 단조 증감 영역의 경계가 직선이라고 가정하여, 분배비 산출부(2131)에서 산출된 분배비를 기초로 단조 증감 영역의 경계를 나타내는 회귀 직선을 산출함으로써, 정상 영역 중의 단조 증감 영역을 다시 검출한다.

도 183 및 도 184를 참조하여, 회귀 직선 산출부(2132)에서의, 단조 증감 영역의 경계를 나타내는 회귀 직선의 산출 처리를 설명한다.

도 183에서, 하얀 동그라미는 단조 증감 영역 2141-1 내지 단조 증감 영역 2141-5의 상측 경계에 위치하는 화소를 나타낸다. 회귀 직선 산출부(2132)는 회귀의 처리에 의해 단조 증감 영역 2141-1 내지 단조 증감 영역 2141-5의 상측 경계에 대하여 회귀 직선을 산출한다. 예를 들면, 회귀 직선 산출부(2132)는 단조 증감 영역 2141-1 내지 단조 증감 영역 2141-5의 상측 경계에 위치하는 화소와의 거리의 제곱의 합이 최소가 되는 직선 A를 산출한다.

또, 도 183에서, 검은 동그라미는 단조 증감 영역 2141-1 내지 단조 증감 영역 2141-5의 하측 경계에 위치하는 화소를 나타낸다. 회귀 직선 산출부(2132)는 회귀의 처리에 의해 단조 증감 영역 2141-1 내지 단조 증감 영역 2141-5의 하측 경계에 대하여 회귀 직선을 산출한다. 예를 들면, 회귀 직선 산출부(2132)는 단조 증감 영역 2141-1 내지 단조 증감 영역 2141-5의 하측 경계에 위치하는 화소와의 거리의 제곱의 합이 최소가 되는 직선 B를 산출한다.

회귀 직선 산출부(2132)는 산출된 회귀 직선을 기초로 단조 증감 영역의 경계를 결정함으로써, 정상 영역 중의 단조 증감 영역을 다시 검출한다.

도 184에 나타낸 바와 같이, 회귀 직선 산출부(2132)는 산출된 직선 A를 기초로 단조 증감 영역 2141-1 내지 단조 증감 영역 2141-5의 상측 경계를 결정한다. 예를 들면, 회귀 직선 산출부(2132)는 단조 증감 영역 2141-1 내지 단조 증감 영역 2141-5의 각각에 대하여, 산출된 직선 A에 가장 가까운 화소로부터 상측 경계를 결정한다. 예를 들면, 회귀 직선 산출부(2132)는 단조 증감 영역 2141-1 내지 단조 증감 영역 2141-5의 각각에 대하여, 산출된 직선 A에 가장 가까운 화소가 영역에 포함되도록 상측 경계를 결정한다.

도 184에 나타낸 바와 같이, 회귀 직선 산출부(2132)는 산출된 직선 B를 기초로 단조 증감 영역 2141-1 내지 단조 증감 영역 2141-5의 하측 경계를 결정한다. 예를 들면, 회귀 직선 산출부(2132)는 단조 증감 영역 2141-1 내지 단조 증감 영역 2141-5의 각각에 대하여, 산출된 직선 B에 가장 가까운 화소로부터 하측 경계를 결정한다. 예를 들면, 회귀 직선 산출부(2132)는 단조 증감 영역 2141-1 내지 단조 증감 영역 2141-5의 각각에 대하여, 산출된 직선 B에 가장 가까운 화소가 영역에 포함되도록 상측 경계를 결정한다.

이와 같이, 회귀 직선 산출부(2132)는 데이터 정상성 검출부(101)에 의해 검출된 정상 영역의 경계를 회귀하는 회귀선에 따라, 정점으로부터 단조롭게 화소값이 증가 또는 감소하고 있는 영역을 다시 검출한다. 즉, 회귀 직선 산출부(2132)는 산출된 회귀 직선을 기초로 단조 증감 영역의 경계를 결정함으로써, 정상 영역 중의 단조 증감 영역인 영역을 다시 검출하고, 검출한 영역을 나타내는 영역 정보를 선폭 검출부(2101)에 공급한다.

이상과 같이, 경계 검출부(2121)는 화소에 투영된, 실세계(1)의 신호인 세선의 화상이 투영된 비율을 나타내는 분배비를 산출하고, 산출된 분배비로부터 단조 증감 영역의 경계를 나타내는 회귀 직선을 산출함으로써, 정상 영역 중의 단조 증감 영역을 다시 검출한다. 이와 같이 함으로써, 보다 정확한 단조 증감 영역을 검출할 수 있다.

도 178에 나타낸 선폭 검출부(2101)는 경계 검출부(2121)로부터 공급된, 재차 검출된 영역을 나타내는 영역 정보를 기초로 도 173에 나타낸 경우와 동일한 처리로, 세선의 폭을 검출한다. 선폭 검출부(2101)는 데이터 정상성 정보와 함께, 검출된 세선의 폭을 나타내는 세선폭 정보를 신호 레벨 추정부(2102)에 공급한다.

도 178에 나타내는 신호 레벨 추정부(2102)의 처리는 도 173에 나타낸 경우와 동일한 처리이므로, 그 설명은 생략한다.

도 185는 스텝 S102의 처리에 대응하는, 도 178에 구성을 나타낸 실세계 추정부(102)에 의한 실세계의 추정 처리를 설명한 플로차트이다.

스텝 S2121에서, 경계 검출부(2121)는 데이터 정상성 검출부(101)에 의해 검출된 정상 영역에 속하는 화소의 화소값에 따라, 다시 영역을 검출하는 경계 검출의 처리를 실행한다. 경계 검출 처리의 상세는 후술한다.

스텝 S2122 및 스텝 S2123의 처리는 스텝 S2101 및 스텝 S2102의 처리와 동일하므로, 그 설명은 생략한다.

도 186은 스텝 S2121의 처리에 대응하는 경계 검출의 처리를 설명한 플로차트이다.

스텝 S2131에서, 분배비 산출부(2131)는 단조 증감 영역을 나타내는 데이터 정상성 정보 및 입력 화상을 기초로 세선의 화상이 투영된 비율을 나타내는 분배비를 산출한다. 예를 들면, 분배비 산출부(2131)는 데이터 정상성 정보에 포함되는 단조 증감 영역 정보를 기초로 입력 화상으로부터 정상 영역 중의 인접하는 단조 증감 영역을 검출하고, 검출된 단조 증감 영역에 속하는 화소의 화소값으로부터 정상 성분 정보에 포함되는 경사 및 절편에서 나타나는 평면으로 근사되는 근사값을 뺄셈함으로써, 세선의 화상이 투영된 정상 성분만으로 이루어지는 화상을 생성한다. 그리고, 분배비 산출부(2131)는 1렬의 화소로 이루어지는 단조 증감 영역으로서, 2개의 인접하는 것에 속하는 화소의 화소값을 인접하는 화소의 화소값의 합으로 나눗셈함으로써, 2개의 인접하는 단조 증감 영역에 속하는 각 화소에 대하여, 분배비를 산출한다.

분배비 산출부(2131)는 산출된 분배비를 회귀 직선 산출부(2132)에 공급한다.

스텝 S2132에서, 회귀 직선 산출부(2132)는 세선의 화상이 투영된 비율을 나타내는 분배비를 기초로 단조 증감 영역의 경계를 나타내는 회귀 직선을 산출함으로써, 정상 영역 중의 영역을 다시 검출한다. 예를 들면, 회귀 직선 산출부(2132)는 단조 증감 영역의 경계가 직선이라고 가정하여, 단조 증감 영역의 일단의 경계를 나타내는 회귀 직선을 산출하고, 단조 증감 영역의 다른 일단의 경계를 나타내는 회귀 직선을 산출함으로써, 정상 영역 중의 단조 증감 영역을 다시 검출한다.

회귀 직선 산출부(2132)는 다시 검출된 정상 영역 중의 영역을 나타내는 영역 정보를 선폭 검출부(2101)에 공급하고, 처리는 종료된다.

이와 같이, 도 178에 구성을 나타낸 실세계 추정부(102)는 세선의 화상이 투영된 화소로 이루어지는 영역을 재차 검출하고, 재차 검출된 영역을 기초로 실세계(1)의 신호인 화상에 있어서의 세선의 폭을 검출하고, 실세계(1) 신호의 광 강도(레벨)를 추정한다. 이와 같이 함으로써, 실세계(1)의 신호에 대하여, 보다 정확하게 세선의 폭을 검출하고, 보다 정확하게 광의 강도를 추정할 수 있다.

이상과 같이, 현실 세계의 광 신호가 투영되고, 현실 세계 광 신호의 정상성의 일부가 결락된 제1 화상 데이터에 있어서의 복수개 화소의 화소값의 불연속부를 검출하고, 검출된 불연속부로부터 데이터의 정상성을 가지는 정상 영역을 검출하고, 검출된 정상 영역에 속하는 화소의 화소값에 따라, 다시 영역을 검출하고, 다시 검출된 영역에 따라 실세계를 추정하도록 한 경우, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

다음에, 도 187을 참조하여, 정상성을 가지는 영역에 있어서의 화소마다의 공간 방향 근사 함수의 미분값을 실세계 추정 정보로서 출력하는 실세계 추정부(102)에 대하여 설명한다.

참조 화소 추출부(2201)는 데이터 정상성 검출부(101)로부터 입력되는 데이터 정상성 정보(정상성의 각도, 또는 영역의 정보)에 따라, 입력 화상의 각 화소가 처리 영역인지 여부를 판정하고, 처리 영역인 경우에는, 입력 화상 화소의 화소값을 근사시키는 근사 함수를 구하기 위해 필요한 참조 화소의 정보(연산에 필요한 주목 화소 주변의 복수개 화소의 위치, 및 화소값)를 추출하여, 근사 함수 추정부(2202)에 출력한다.

근사 함수 추정부(2202)는 참조 화소 추출부(2201)로부터 입력된 참조 화소의 정보에 따라 주목 화소 주변 화소의 화소값을 근사적으로 기술하는 근사 함수를 최소 제곱법에 따라 추정하고, 추정한 근사 함수를 미분 처리부(2203)에 출력한다.

미분 처리부(2203)는 근사 함수 추정부(2202)로부터 입력된 근사 함수에 따라, 데이터 정상성 정보의 각도(예를 들면, 세선이나 2치 에지의 소정 축에 대한 각도: 경사)에 따라, 주목 화소로부터 생성하려고 하는 화소 위치의 시프트량을 구하고, 그 시프트량에 따른 근사 함수 상의 위치에서의 미분값(정상성에 대응하는 선으로부터의 1차원 방향에 따른 거리에 대응하는 각 화소의 화소값을 근사시키는 함수의 미분값)을 연산하고, 또한 주목 화소의 위치, 화소값, 및 정상성의 경사 정보를 부가하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

다음에, 도 188의 플로차트를 참조하여, 도 187의 실세계 추정부(102)에 의한 실세계 추정의 처리에 대하여 설명한다.

스텝 S2201에서, 참조 화소 추출부(2201)는 입력 화상과 함께, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서의 각도, 및 영역의 정보를 취득한다.

스텝 S2202에서, 참조 화소 추출부(2201)는 입력 화상의 미처리 화소로부터 주목 화소를 설정한다.

스텝 S2203에서, 참조 화상 추출부(2201)는 데이터 정상성 정보 영역의 정보에 따라, 주목 화소가 처리 영역의 것인지 여부를 판정하고, 처리 영역의 화소가 아니라고 판정한 경우, 그 처리는 스텝 S2210으로 진행하고, 그 주목 화소에 대해서는, 처리 영역 밖인 것을 근사 함수 추정부(2202)를 통해, 미분 처리부(2203)에게 전하고, 이에 따라, 미분 처리부(2203)가 대응하는 주목 화소에 대한 미분값을 0으로 하고, 또한, 그 주목 화소의 화소값을 부가하여 실세계 추정 정보로서 화상 생성부(103)에 출력하는 동시에, 그 처리는 스텝 S2211로 진행한다. 또, 주목 화소가 처리 영역의 것이라고 판정된 경우, 그 처리는 스텝 S2204로 진행한다.

스텝 S2204에서, 참조 화소 추출부(2201)는 데이터 정상성 정보에 포함되는 각도의 정보로부터 데이터 정상성이 가지는 방향이 수평 방향으로 가까운 각도인가 또는 수직으로 가까운 각도인가 여부를 판정한다. 즉, 참조 화소 추출부(2201)는 데이터 정상성이 가지는 각도 θ가 0도≤θ＜45도, 또는 135도≤θ＜180도로 되는 경우, 주목 화소의 정상성 방향은 수평 방향으로 가깝다고 판정하고, 데이터 정상성이 가지는 각도 θ가 45도≤θ＜135도로 되는 경우, 주목 화소의 정상성 방향은 수직 방향으로 가깝다고 판정한다.

스텝 S2205에서, 참조 화소 추출부(2201)는 판정한 방향에 대응한 참조 화소의 위치 정보, 및 화소값을 각각 입력 화상으로부터 추출하고, 근사 함수 추정부(2202)에 출력한다. 즉, 참조 화소는 후술하는 근사 함수를 연산할 때 사용되는 데이터로 되므로, 경사에 따라 추출되는 것이 바람직하다. 따라서, 수평 방향, 또는 수직 방향 중 어느 하나의 판정 방향에 대응하여, 그 방향으로 긴 범위의 참조 화소가 추출된다. 보다 구체적으로는, 예를 들면, 도 189에서 나타낸 바와 같이, 경사 G_f가 수직 방향으로 가까우면 수직 방향이라고 판정된다. 이 경우, 참조 화소 추출부(2201)는, 예를 들면, 도 189에서 나타낸 바와 같이, 도 189 중 중앙의 화소 (0, 0)을 주목 화소로 할 때, 화소(-1, 2), (-1, 1), (-1, 0), (-1, -1), (-1, -2), (0, 2), (0, 1), (0, 0), (0, -1), (0, -2), (1, 2), (1, 1), (1, 0), (1, -1), (1, -2) 각각의 화소값을 추출한다. 그리고, 도 189에서는, 각 화소의 수평 방향, 및 수직 방향의 크기가 1인 것으로 한다.

즉, 참조 화소 추출부(2201)는 주목 화소를 중심으로 하여 수직(상하) 방향으로 각각 2 화소×수평(좌우) 방향으로 각각 1 화소인 합계 15 화소가 되도록, 수직 방향으로 긴 범위의 화소를 참조 화소로서 추출한다.

역으로, 수평 방향이라고 판정된 경우, 주목 화소를 중심으로 하여 수직(상하) 방향으로 각각 1 화소×수평(좌우) 방향으로 각각 2 화소인 합계 15 화소가 되도록, 수평 방향으로 긴 범위의 화소를 참조 화소로서 추출하여, 근사 함수 추정부(2202)에 출력한다. 물론, 참조 화소는 전술한 바와 같이 15 화소로 한정되지 않고, 그 이외의 개수라도 된다.

스텝 S2206에서, 근사 함수 추정부(2202)는 참조 화소 추출부(2201)로부터 입력된 참조 화소의 정보에 따라, 최소 제곱법에 의해 근사 함수 f(x)를 추정하여, 미분 처리부(2203)에 출력한다.

즉, 근사 함수 f(x)는 이하의 식 (96)으로 나타나는 바와 같은 다항식이다.

···(96)

이와 같이, 식 (96)인 다항식의 각 계수 W₁ 내지 W_{n +1}가 구해지면, 각 참조 화소의 화소값(참조 화소값)을 근사시키는 근사 함수 f(x)가 구해지게 된다. 그러나, 계수의 수보다 많은 참조 화소값이 필요하게 되므로, 예를 들면, 참조 화소가 도 189에서 나타낸 바와 같은 경우, 합계 15 화소이므로, 다항식의 계수는 15개까지밖에 구해질 수 없다. 그래서, 이 경우, 다항식은, 14차까지의 다항식으로 하고, 계수 W₁ 내지 W₁₅를 구함으로써 근사 함수를 추정하는 것으로 한다. 그리고, 지금의 경우, 15차 다항식으로 이루어지는 근사 함수 f(x)를 설정하여, 연립 방정식으로 해도 된다.

따라서, 도 189에서 나타낸 15개의 참조 화소값을 사용할 때, 근사 함수 추정부(2202)는 이하의 식 (97)을 최소 제곱법을 이용하여 푸는 것에 의해 추정한다.

P(-1, -2)=f(-1-Cx(-2))

P(-1, -1)=f(-1-Cx(-1))

P(-1, 0)=f(-1)(=f(-1-Cx(0)))

P(-1, 1)=f(-1-Cx(1))

P(-1, 2)=f(-1-Cx(2))

P(0, -2)=f(0-Cx(-2))

P(0, -1)=f(0-Cx(-1))

P(0, 0)=f(0)(=f(0-Cx(0)))

P(0, 1)=f(0-Cx(1))

P(0, 2)=f(0-Cx(2))

P(1, -2)=f(1-Cx(-2))

P(1, -1)=f(1-Cx(-1))

P(1, 0)=f(1)(=f(1-Cx(0)))

P(1, 1)=f(1-Cx(1))

P(1, 2)=f(1-Cx(2))

···(97)

그리고, 다항식의 차수에 맞추어, 참조 화소의 수를 변경하도록 해도 된다.

여기에서, Cx(ty)는 시프트량이며, 정상성의 경사가 G_f로 나타날 때, Cx(ty)=ty/G_f로 정의된다. 이 시프트량 Cx(ty)는 공간 방향 Y=0의 위치 상에서 정의되는 근사 함수 f(x)가 경사 G_f에 따라, 연속되어 있는(정상성을 가지고 있는) 것을 전제로 했을 때, 공간 방향 Y=ty의 위치에서의, 공간 방향 X에 대한 어긋남 폭을 나타내는 것이다. 따라서, 예를 들면, 공간 방향 Y=0의 위치 상에서 근사 함수가 f(x)로서 정의되어 있는 경우, 이 근사 함수 f(x)는 공간 방향 Y=ty에서는, 경사 G_f에 따라 공간 방향 X에 대하여 Cx(ty)만큼 어긋나 있으므로, 함수는 f(x－Cx(ty))(=f(x－ty/G_f)로 정의되게 된다.

스텝 S2207에서, 미분 처리부(2203)는 근사 함수 추정부(2202)로부터 입력된 근사 함수 f(x)에 따라, 생성하려고 하는 화소의 위치에서의 시프트량을 구한다.

즉, 수평 방향, 및 수직 방향으로 각각 2배 밀도(합계 4배 밀도)가 되도록 화소를 생성하는 경우, 미분 처리부(2203)는, 예를 들면, 먼저, 수직 방향으로 2배 밀도로 되는 화소 Pa, Pb로 2분할하기 위해, 도 190에서 나타낸 바와 같이, 주목 화소의 중심 위치가 Pin(Xin, Yin)에서의 미분값을 구하기 때문에, 중심 위치의 Pin(Xin, Yin)의 시프트량을 구한다. 이 시프트량은 Cx(0)으로 되기 때문에, 실질적으로는 0이 된다. 그리고, 도 190 중에서, 화소 PiN은 (Xin, Yin)을 대략 중심 위치로 하는 정방형이며, 화소 Pa, Pb는 (Xin, Yin+0.25), (Xin, Yin-0.25)를 각각 대략 중심 위치로 하는 도면 중 수평 방향으로 긴 직사각형이다.

스텝 S2208에서, 미분 처리부(2203)는 근사 함수 f(x)를 미분하여, 근사 함수의 1차 미분 함수 f(x)'를 구하고, 구해진 시프트량에 따른 위치에서의 미분값을 구해, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다. 즉, 지금의 경우, 미분 처리부(2203)는 미분값 f(Xin)'를 구하고, 그 위치(지금의 경우, 주목 화소(Xin, Yin))와, 그 화소값, 및 정상성 방향의 경사 정보를 부가하여 출력한다.

스텝 S2209에서, 미분 처리부(2203)는 구해지고 있는 밀도의 화소를 생성하는 데 필요한 만큼의 미분값이 구해지고 있는지 여부를 판정한다. 예를 들면, 지금의 경우, 2배 밀도가 되기 위한 미분값만 구해지고 있으므로(공간 방향 Y 방향에 대하여 2배 밀도가 되기 위한 미분값만 구해지고 있으므로), 구해지고 있는 밀도의 화소를 생성하는 데 필요한 만큼의 미분값이 구해지고 있지 않다고 판정하고, 그 처리는 스텝 S2207로 복귀한다.

스텝 S2207에서, 미분 처리부(2203)는 재차 근사 함수 추정부(2202)로부터 입력된 근사 함수 f(x)에 따라, 생성하려고 하는 화소의 위치에서의 시프트량을 구한다. 즉, 미분 처리부(2203)는 지금의 경우, 2분할된 화소 Pa, Pb의 각각을 2분할하기 위해 필요한 미분값을 각각 구한다. 화소 Pa, Pb 화소의 위치는 도 190에서의 검은 동그라미로 나타낸 각각의 위치이므로, 미분 처리부(2203)는 각각의 위치에 대응하는 시프트량을 구한다. 화소 Pa, Pb의 시프트량은 각각 Cx(0.25), Cx(-0.25)로 된다.

스텝 S2208에서, 미분 처리부(2203)는 근사 함수 f(x)를 1차 미분하여, 화소 Pa, Pb의 각각에 대응한 시프트량에 따른 위치에서의 미분값을 구하고, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

즉, 도 189에서 나타낸 참조 화소를 사용하는 경우, 미분 처리부(2203)는 도 191에서 나타낸 바와 같이, 구해진 근사 함수 f(x)에 대하여 미분 함수 f(x)'를 구하고, 공간 방향 X에 대하여, 시프트량 Cx(0.25), Cx(-0.25)만큼 어긋난 위치가 되는 (Xin－Cx(0.25))와 (Xin－Cx(-0.25))의 위치에서의 미분값을 각각 f(Xin－Cx(0.25))', f(Xin－Cx(-0.25))'로서 구하고, 그 미분값에 대응하는 위치 정보를 부가하여, 이것을 실세계 추정 정보로서 출력한다. 그리고, 최초의 처리에서 화소값의 정보가 출력되어 있으므로 화소값의 정보는 부가되지 않는다.

스텝 S2209에서, 다시, 미분 처리부(2203)는 구해지고 있는 밀도의 화소를 생성하는 데 필요한 만큼의 미분값이 구해지고 있는지 여부를 판정한다. 예를 들면, 지금의 경우, 4배 밀도로 되기 위한 미분값이 구해진 것이 되므로, 구해지고 있는 밀도의 화소를 생성하는 데 필요한 만큼의 미분값이 구해졌다고 판정하고, 그 처리는 스텝 S2211로 진행한다.

스텝 S2211에서, 참조 화소 추출부(2201)는 모든 화소를 처리했는지 여부를 판정하고, 모든 화소를 처리하고 있지 않다고 판정한 경우, 그 처리는 스텝 S2202로 복귀한다. 또, 스텝 S2211에서, 모든 화소를 처리했다고 판정한 경우, 그 처리는 종료된다.

전술한 바와 같이, 입력 화상에 대하여, 수평 방향, 및 수직 방향으로 4배 밀도가 되도록 화소를 생성하는 경우, 화소는 분할되는 화소의 중앙 위치의 근사 함수의 미분값을 사용하여, 외삽 보간(外揷補間)에 의해 분할되므로, 4배 밀도의 화소를 생성하는 데는, 합계 3개의 미분값 정보가 필요하다.

즉, 도 190에서 나타낸 바와 같이, 1 화소에 대하여 최종적으로는, 화소 P01, P02, P03, P04의 4 화소(도 190에서, 화소 P01, P02, P03, P04는 도면 중 4개의 가새표 위치를 중심 위치로 하는 정방형이며, 각 변의 길이는 화소 Pin이 각각 1이므로, 화소 P01, P02, P03, P04는 각각 대략 0.5로 됨)의 생성에 필요한 미분값이 필요하게 되므로, 4배 밀도의 화소를 생성하는 데는, 먼저, 수평 방향, 또는 수직 방향(지금의 경우, 수직 방향)으로 2배 밀도의 화소를 생성하고(전술한 최초의 스텝 S2207, S2208의 처리), 또한 분할된 2 화소를 각각 최초에 분할한 방향과 수직 방향(지금의 경우, 수평 방향)으로 분할하기(전술한 2회째의 스텝 S2207, S2208의 처리) 위해서이다.

그리고, 이상의 예에서는, 4배 밀도의 화소를 연산할 때의 미분값을 예로서 설명해 왔지만, 그 이상 밀도의 화소를 연산하는 경우, 스텝 S2207 내지 S2209의 처리를 반복함으로써, 화소값의 연산에 필요한 더욱 많은 미분값을 구하도록 해도 된다. 또, 이상의 예에 대해서는, 배(倍)밀도의 화소값을 구하는 예에 대하여 설명해 왔지만, 근사 함수 f(x)는 연속 함수이므로, 배밀도 이외의 화소값에 대해서도 필요한 미분값을 구하는 것이 가능하게 된다.

이상에 의하면, 주목 화소 근방 화소의 화소값을 근사시키는 근사 함수를 구하고, 공간 방향의 화소 위치에 대응하는 위치의 미분값을 실세계 추정 정보로서 출력하는 것이 가능하게 된다.

이상의 도 187에서 설명한 실세계 추정부(102)에서는, 화상을 생성하는 데 필요한 미분값을 실세계 추정 정보로서 출력하고 있었지만, 미분값이란, 필요한 위치에서의 근사 함수 f(x)의 경사와 동일한 값의 것이다.

그래서, 다음에는, 도 192를 참조하여, 근사 함수 f(x)를 구하지 않고, 화소 생성에 필요한 근사 함수 f(x) 상의 경사만을 직접 구해, 실세계 추정 정보로서 출력하는 실세계 추정부(102)에 대하여 설명한다.

참조 화소 추출부(2211)는 데이터 정상성 검출부(101)로부터 입력되는 데이터 정상성 정보(정상성의 각도, 또는 영역의 정보)에 따라, 입력 화상의 각 화소가 처리 영역인지 여부를 판정하고, 처리 영역인 경우에는, 입력 화상으로부터 경사를 구하기 위해 필요한 참조 화소의 정보(연산에 필요한 주목 화소를 포함하는 수직 방향으로 나란히 하는 주변의 복수개의 화소, 또는 주목 화소를 포함하는 수평 방향으로 나란히 하는 주변의 복수개 화소의 위치, 및 각각의 화소값의 정보)를 추출하여, 경사 추정부(2212)에 출력한다.

경사 추정부(2212)는 참조 화소 추출부(2211)로부터 입력된 참조 화소의 정보에 따라, 화소 생성에 필요한 화소 위치의 경사 정보를 생성하여, 실세계 추정 정보로서 화상 생성부(103)에 출력한다. 보다 상세하게는, 경사 추정부(2212)는 화소 사이의 화소값의 차분 정보를 사용하여, 실세계를 근사적으로 표현하는 근사 함수 f(x) 상의 주목 화소의 위치에서의 경사를 구하고, 이것에, 주목 화소의 위치 정보, 화소값, 및 정상성 방향의 경사 정보를 실세계 추정 정보로서 출력한다.

다음에, 도 193의 플로차트를 참조하여, 도 192의 실세계 추정부(102)에 의한 실세계 추정의 처리에 대하여 설명한다.

스텝 S2221에서, 참조 화소 추출부(2211)는 입력 화상과 함께, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서의 각도, 및 영역의 정보를 취득한다.

스텝 S2222에서, 참조 화소 추출부(2211)는 입력 화상의 미처리 화소로부터 주목 화소를 설정한다.

스텝 S2223에서, 참조 화상 추출부(2211)는 데이터 정상성 정보 영역의 정보에 따라, 주목 화소가 처리 영역의 것인지 여부를 판정하고, 처리 영역의 화소가 아니라고 판정한 경우, 그 처리는 스텝 S2228로 진행하고, 그 주목 화소에 대해서는, 처리 영역 밖인 것을 경사 추정부(2212)에 전하고, 이것에 따라, 경사 추정부(2212)가 대응하는 주목 화소에 대한 경사를 0으로 하고, 또한, 그 주목 화소의 화소값을 부가하여 실세계 추정 정보로서 화상 생성부(103)에 출력하는 동시에, 그 처리는 스텝 S2229로 진행한다. 또, 주목 화소가 처리 영역의 것이라고 판정된 경우, 그 처리는 스텝 S2224로 진행한다.

스텝 S2224에서, 참조 화소 추출부(2211)는 데이터 정상성 정보에 포함되는 각도의 정보로부터 데이터 정상성이 가지는 방향이 수평 방향으로 가까운 각도인가 또는 수직으로 가까운 각도인가 여부를 판정한다. 즉, 참조 화소 추출부(2211)는 데이터 정상성이 가지는 각도 θ가 0도≤θ＜45도, 또는 135도≤θ＜180도로 되는 경우, 주목 화소의 정상성 방향은 수평 방향으로 가깝다고 판정하고, 데이터 정상성이 가지는 각도 θ가 45도≤θ＜135도로 되는 경우, 주목 화소의 정상성 방향은 수직 방향으로 가깝다고 판정한다.

스텝 S2225에서, 참조 화소 추출부(2211)는 판정한 방향에 대응한 참조 화소의 위치 정보, 및 화소값을 각각 입력 화상으로부터 추출하여, 경사 추정부(2212)에 출력한다. 즉, 참조 화소는 후술하는 경사를 연산할 때 사용되는 데이터로 되므로, 정상성의 방향을 나타내는 경사에 따라 추출되는 것이 바람직하다. 따라서, 수평 방향, 또는 수직 방향 중 어느 하나의 판정 방향에 대응하여, 그 방향으로 긴 범위의 참조 화소가 추출된다. 보다 구체적으로는, 예를 들면, 경사가 수직 방향으로 가깝다고 판정된 경우, 참조 화소 추출부(2211)는 도 194에서 나타낸 바와 같이, 도 194 중 중앙의 화소 (0, 0)를 주목 화소로 할 때, 화소 (0, 2), (0, 1), (0, 0), (0, -1), (0, -2) 각각의 화소값을 추출한다. 그리고, 도 194에서는, 각 화소의 크기가 수평 방향, 및 수직 방향에 대하여 각각 1인 것으로 한다.

즉, 참조 화소 추출부(2211)는 주목 화소를 중심으로 하여 수직(상하) 방향으로 각각 2 화소인 합계 5 화소가 되도록, 수직 방향으로 긴 범위의 화소를 참조 화소로서 추출한다.

역으로, 수평 방향이라고 판정된 경우, 주목 화소를 중심으로 하여 수평(좌우) 방향으로 2 화소인 합계 5 화소가 되도록, 수평 방향으로 긴 범위의 화소를 참조 화소로서 추출하여, 근사 함수 추정부(2202)에 출력한다. 물론, 참조 화소는 전술한 바와 같이 5 화소로 한정되지 않고, 그 이외의 개수라도 된다.

스텝 S2226에서, 경사 추정부(2212)는 참조 화소 추출부(2211)로부터 입력된 참조 화소의 정보와, 정상성 방향의 경사 G_f에 따라, 각각의 화소값의 시프트량을 연산한다. 즉, 공간 방향 Y=0에 대응하는 근사 함수 f(x)를 기준으로 한 경우, 공간 방향 Y=-2, -1, 1, 2에 대응하는 근사 함수는 도 194에서 나타낸 바와 같이, 정상성의 경사 G_f에 따라 연속되어 있게 되므로, 각 근사 함수는 f(x－Cx(2)), f(x－Cx(1)), f(x－Cx(-1)), f(x－Cx(-2))와 같이 기술되고, 공간 방향 Y=-2, -1, 1, 2마다 각 시프트량분만큼 공간 방향 X에 어긋난 함수로서 표현된다.

그래서, 경사 추정부(2212)는 이들 시프트량 Cx(-2) 내지 Cx(2)를 구한다. 예를 들면, 참조 화소가 도 194에서 나타낸 바와 같이 추출된 경우, 그 시프트량은 도면 중 참조 화소 (0, 2)는 Cx(2)=2/G_f로 되고, 참조 화소 (0, 1)은 Cx(1)=1/G_f로 되고, 참조 화소 (0, 0)는 Cx(0)=0으로 되고, 참조 화소 (0, -1)은 Cx(-1)=-1/G_f로 되고, 참조 화소 (0, -2)는 Cx(-2)=-2/G_f로 된다.

스텝 S2227에서, 경사 추정부(2212)는 주목 화소의 위치에서의 근사 함수 f(x) 상의 경사를 연산한다(추정한다). 예를 들면, 도 194에서 나타낸 바와 같이, 주목 화소에 대하여 정상성의 방향이 수직 방향으로 가까운 각도인 경우, 수평 방향으로 인접하는 화소 사이에서는 화소값이 크게 상이하고, 수직 방향의 화소 사이에서는, 화소 사이의 변화가 작고, 변화가 유사하기 때문에, 경사 추정부(2212)는 수직 방향 화소 사이의 변화를 시프트량에 의한 공간 방향 X의 변화로 받아들임으로써, 수직 방향 화소 사이의 차분을 수평 방향 화소 사이의 차분으로 치환하여, 주목 화소의 위치에서의 근사 함수 f(x) 상에서의 경사를 구한다.

즉, 현실 세계를 근사적으로 기술하는 근사 함수 f(x)가 존재한다고 가정하면, 전술한 시프트량과 각 참조 화소의 화소값과의 관계는 도 195에서 나타낸 바와 같은 것으로 된다. 여기에서, 도 194의 각 화소의 화소값은 위로부터 P(0, 2), P(0, 1), P (0, 0), P(0, -1), P(0, -2)로 표현된다. 결과로서, 주목 화소 (0, 0) 근방의 화소값 P와 시프트량 Cx는 (P, Cx)=(P(0, 2), －Cx(2)), P(0, 1), －Cx(1)), P(0, -1), －Cx(-1)), P(0, -2), －Cx(-2)), (P (0, 0), 0)의 5조 관계가 얻어지게 된다.

그런데, 화소값 P, 시프트량 Cx, 및 경사 Kx(근사 함수 f(x) 상의 경사)는 이하와 같은 식 (98)과 같은 관계가 성립하게 된다.

P=Kx×Cx ···(98)

전술한 식 (98)은 변수 Kx에 대한 1 변수의 함수이므로, 경사 추정부(2212)는 이 변수 Kx(경사)에 대하여, 1 변수의 최소 제곱법에 의해 경사 Kx를 구한다.

즉, 경사 추정부(2212)는 이하에 나타내는 바와 같은 식 (99)와 같은 정규 방정식을 푸는 것에 의해, 주목 화소의 경사를 구하고, 주목 화소의 화소값, 및 정상성 방향의 경사 정보를 부가하여, 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

···(99)

여기에서, i는 전술한 참조 화소의 화소값 P와 시프트량 C의 조를 각각 식별하는 번호이며, 1 내지 m이다. 또, m은 주목 화소를 포함하는 참조 화소의 개수가 된다.

스텝 S2229에서, 참조 화소 추출부(2211)는 모든 화소를 처리했는지 여부를 판정하고, 모든 화소를 처리하고 있지 않다고 판정한 경우, 그 처리는 스텝 S2222로 복귀한다. 또, 스텝 S2229에서, 모든 화소가 처리되었다고 판정된 경우, 그 처리는 종료된다.

그리고, 전술한 처리에 의해 실세계 추정 정보로서 출력되는 경사는 최종적으로 구하려고 하는 화소값을 외삽 보간하여 연산할 때 사용된다. 또, 이상의 예에서는, 2배 밀도의 화소를 연산할 때의 경사를 예로서 설명해 왔지만, 그 이상 밀도의 화소를 연산하는 경우, 화소값의 연산에 필요한, 더욱 많은 위치에서의 경사를 구하도록 해도 된다.

예를 들면, 도 190에서 나타낸 바와 같이, 수평 방향으로 2배 밀도로, 또한 수직 방향으로 2배 밀도의 공간 방향으로 합계 4배 밀도의 화소를 생성하는 경우, 전술한 바와 같이, 도 190 중의 Pin, Pa, Pb 각각의 위치에 대응하는 근사 함수 f(x)의 경사 Kx를 구하도록 하면 된다.

또, 이상의 예에 대해서는, 배밀도의 화소값을 구하는 예에 대하여 설명해 왔지만, 근사 함수 f(x)는 연속 함수이므로, 배밀도 이외의 위치 화소의 화소값에 대해서도 필요한 경사를 구하는 것이 가능하게 된다.

이상에 의하면, 주목 화소 근방 화소의 화소값을 사용하여, 실세계를 근사적으로 표현하는 근사 함수를 구하지 않고, 공간 방향 화소의 생성에 필요한 위치의 근사 함수 상의 경사를 실세계 추정 정보로서 생성하고, 또한 출력하는 것이 가능하게 된다.

다음에, 도 196을 참조하여, 정상성을 가지는 영역에 있어서의 화소마다의 프레임 방향(시간 방향)의 근사 함수 상의 미분값을 실세계 추정 정보로서 출력하는 실세계 추정부(102)에 대하여 설명한다.

참조 화소 추출부(2231)는 데이터 정상성 검출부(101)로부터 입력되는 데이터 정상성 정보(정상성 모션(모션 벡터), 및 영역의 정보)에 따라, 입력 화상의 각 화소가 처리 영역인지 여부를 판정하고, 처리 영역인 경우에는, 입력 화상 화소의 화소값을 근사시키는 근사 함수를 구하기 위해 필요한 참조 화소의 정보(연산에 필요한 주목 화소 주변의 복수개 화소의 위치, 및 화소값)를 추출하여, 근사 함수 추정부(2202)에 출력한다.

근사 함수 추정부(2232)는 참조 화소 추출부(2231)로부터 입력된 프레임 방향의 참조 화소 정보에 따라 주목 화소 주변의 각 화소의 화소값을 근사적으로 기술하는 근사 함수를 최소 제곱법에 따라 추정하고, 추정한 함수를 미분 처리부(2233)에 출력한다.

미분 처리부(2233)는 근사 함수 추정부(2232)로부터 입력된 프레임 방향의 근사 함수에 따라, 데이터 정상성 정보의 모션에 따라, 주목 화소로부터 생성하려고 하는 화소 위치의 프레임 방향 시프트량을 구하고, 그 시프트량에 따른 프레임 방향의 근사 함수 상의 위치에서의 미분값(정상성에 대응하는 선으로부터의 1차원 방향에 따른 거리에 대응하는 각 화소의 화소값을 근사시키는 함수의 미분값)을 연산하고, 또한 주목 화소의 위치, 화소값, 및 정상성 모션 정보를 부가하여, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

다음에, 도 197의 플로차트를 참조하여, 도 196의 실세계 추정부(102)에 의한 실세계 추정의 처리에 대하여 설명한다.

스텝 S2241에서, 참조 화소 추출부(2231)는 입력 화상과 함께, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서의 모션, 및 영역 정보를 취득한다.

스텝 S2242에서, 참조 화소 추출부(2231)는 입력 화상의 미처리 화소로부터 주목 화소를 설정한다.

스텝 S2243에서, 참조 화상 추출부(2231)는 데이터 정상성 정보 영역의 정보에 따라, 주목 화소가 처리 영역의 것인지 여부를 판정하고, 처리 영역의 화소가 아니라고 판정한 경우, 그 처리는 스텝 S2250으로 진행하고, 그 주목 화소에 대해서는, 처리 영역 밖인 것을 근사 함수 추정부(2232)를 통해, 미분 처리부(2233)에 전하고, 이것에 따라, 미분 처리부(2233)가 대응하는 주목 화소에 대한 미분값을 0으로 하고, 또한, 그 주목 화소의 화소값을 부가하여 실세계 추정 정보로서 화상 생성부(103)에 출력하는 동시에, 그 처리는 스텝 S2251로 진행한다. 또, 주목 화소가 처리 영역의 것이라고 판정된 경우, 그 처리는 스텝 S2244로 진행한다.

스텝 S2244에서, 참조 화소 추출부(2231)는 데이터 정상성 정보에 포함되는 모션 정보로부터 데이터 정상성이 가지는 방향이 공간 방향으로 가까운 모션인가 또는 프레임 방향으로 가까운 모션인가 여부를 판정한다. 즉, 도 198에서 나타낸 바와 같이, 프레임 방향 T와 공간 방향 Y로 이루어지는 면에서, 프레임 방향을 기준축으로 한, 시간과 공간의 면 내의 방향을 나타내는 각도를 θｖ라고 하면, 참조 화소 추출부(2201)는 데이터 정상성이 가지는 각도 θｖ가 0도≤θｖ＜45도, 또는 135도≤θｖ＜180도로 되는 경우, 주목 화소의 정상성 모션은 프레임 방향(시간 방향)으로 가깝다고 판정하고, 데이터 정상성이 가지는 각도 θ가 45도≤θ＜135도로 되는 경우, 주목 화소의 정상성 방향은 공간 방향으로 가깝다고 판정한다.

스텝 S2245에서, 참조 화소 추출부(2201)는 판정한 방향에 대응한 참조 화소의 위치 정보, 및 화소값을 각각 입력 화상으로부터 추출하여, 근사 함수 추정부(2232)에 출력한다. 즉, 참조 화소는 후술하는 근사 함수를 연산할 때 사용되는 데이터로 되므로, 각도에 따라 추출되는 것이 바람직하다. 따라서, 프레임 방향, 또는 공간 방향 중 어느 하나의 판정 방향에 대응하여, 그 방향으로 긴 범위의 참조 화소가 추출된다. 보다 구체적으로는, 예를 들면, 도 198에서 나타낸 바와 같이, 모션 방향 V_f가 공간 방향으로 가까우면 공간 방향이라고 판정되고, 이 경우, 참조 화소 추출부(2231)는, 예를 들면, 도 198에서 나타낸 바와 같이, 도 198 중 중앙의 화소(t, y)= (0, 0)을 주목 화소로 할 때, 화소(t, y)=(-1, 2), (-1, 1), (-1, 0), (-1, -1), (-1, -2), (0, 2), (0, 1), (0, 0), (0, -1), (0, -2), (1, 2), (1, 1), (1, 0), (1, -1), (1, -2) 각각의 화소값을 추출한다. 그리고, 도 198에서는, 각 화소의 프레임 방향, 및 공간 방향의 크기가 1인 것으로 한다.

즉, 참조 화소 추출부(2231)는 주목 화소를 중심으로 하여 공간(도면 중 상하) 방향으로 각각 2 화소×프레임(도면 중 좌우) 방향으로 각각 1 프레임분인 합계 15 화소가 되도록, 프레임 방향에 대하여 공간 방향이 긴 범위의 화소를 참조 화소로서 추출한다.

역으로, 프레임 방향이라고 판정된 경우, 주목 화소를 중심으로 하여 공간(도면 중 상하) 방향으로 각각 1 화소×프레임(도면 중 좌우) 방향으로 각각 2 프레임분인 합계 15 화소가 되도록, 프레임 방향으로 긴 범위의 화소를 참조 화소로서 추출하여, 근사 함수 추정부(2232)에 출력한다. 물론, 참조 화소는 전술한 바와 같이 15 화소로 한정되지 않고, 그 이외의 개수라도 된다.

스텝 S2246에서, 근사 함수 추정부(2232)는 참조 화소 추출부(2231)로부터 입력된 참조 화소의 정보에 따라, 최소 제곱법에 의해 근사 함수 f(t)를 추정하고, 미분 처리부(2233)에 출력한다.

즉, 근사 함수 f(t)는 이하의 식 (100)으로 나타나는 바와 같은 다항식이다.

···(100)

이와 같이, 식 (100)인 다항식의 각 계수 W₁ 내지 W_{n +1}가 구해지고, 각 참조 화소의 화소값을 근사시키는 프레임 방향의 근사 함수 f(t)가 구해지게 된다. 그러나, 계수의 수보다 많은 참조 화소값이 필요하게 되므로, 예를 들면, 참조 화소가 도 198에서 나타낸 바와 같은 경우, 합계 15 화소이므로, 다항식의 계수는 15개까지밖에 구해지지 않는다. 그래서, 이 경우, 다항식은, 14차까지의 다항식으로 하고, 계수 W₁ 내지 W₁₅를 구함으로써 근사 함수를 추정하는 것으로 한다. 그리고, 지금의 경우, 15차 다항식으로 이루어지는 근사 함수 f(x)를 설정하여, 연립 방정식으로 해도 된다.

따라서, 도 198에서 나타낸 15개의 참조 화소값을 사용할 때, 근사 함수 추정부(2232)는 이하의 식 (101)을 최소 제곱법을 이용하여 푸는 것에 의해 추정한다.

P(-1, -2)=f(-1-Ct(-2))

P(-1, -1)=f(-1-Ct(-1))

P(-1, 0)=f(-1)(=f(-1-Ct(0)))

P(-1, 1)=f(-1-Ct(1))

P(-1, 2)=f(-1-Ct(2)))

P(0, -2)=f(0-Ct(-2))

P(0, -1)=f(0-Ct(-1))

P (0, 0)=f(0)(=f(0-Ct(0)))

P(0, 1)=f(0-Ct(1))

P(0, 2)=f(0-Ct(2))

P(1, -2)=f(1-Ct(-2))

P(1, -1)=f(1-Ct(-1))

P(1, 0)=f(1)(=f(1-Ct(0)))

P(1, 1)=f(1-Ct(1))

P(1, 2)=f(1-Ct(2)) ···(101)

그리고, 다항식의 차수에 맞추어, 참조 화소의 수를 변경하도록 해도 된다.

여기에서, Ct(ty)는 시프트량이며, 전술한 Cx(ty)와 동일한 것이며, 정상성의 경사가 V_f로 나타날 때, Ct(ty)=ty/V_f로 정의된다. 이 시프트량 Ct(ty)는 공간 방향 Y=0의 위치 상에서 정의되는 근사 함수 f(t)가 경사 V_f에 따라, 연속되어 있는(정상성을 가지고 있는) 것을 전제로 했을 때, 공간 방향 Y=ty의 위치에서의, 프레임 방향 T에 대한 어긋남 폭을 나타내는 것이다. 따라서, 예를 들면, 공간 방향 Y=0의 위치 상에서 근사 함수가 f(t)로서 정의되어 있는 경우, 이 근사 함수 f(t)는 공간 방향 Y=ty에서는, 프레임 방향(시간 방향) T에 대하여 Ct(ty)만큼 어긋나 있으므로, 함수는 f(t－Ct(ty))(=f(t－ty/V_f))로 정의되게 된다.

스텝 S2247에서, 미분 처리부(2233)는 근사 함수 추정부(2232)로부터 입력된 근사 함수 f(t)에 따라, 생성하려고 하는 화소 위치에서의 시프트량을 구한다.

즉, 프레임 방향, 및 공간 방향으로 각각 2배 밀도(합계 4배 밀도)로 되도록 화소를 생성하는 경우, 미분 처리부(2233)는, 예를 들면, 먼저, 공간 방향으로 2배 밀도로 되는 화소 Pat, Pbt로 2분할하기 위해, 도 199에서 나타낸 바와 같이, 주목 화소의 중심 위치가 Pin(Tin, Yin)에서의 미분값을 구하기 위해, 중심 위치인 Pin(Tin, Yin)의 시프트량을 구한다. 이 시프트량은 Ct(0)으로 되기 때문에, 실질적으로는 (0)으로 된다. 그리고, 도 199중에서, 화소 Pin은 (Tin, Yin)를 대략 중심 위치로 하는 정방형이며, 화소 Pat, Pbt는 (Tin, Yin+0.25), Tin, Yin-0.25)를 각각 대략 중심 위치로 하는 도면 중 수평 방향으로 긴 직사각형이다. 또, 주목 화소 Pin의 프레임 방향 T의 길이가 1이라고 하는 것은 1 프레임분의 셔터 시간에 대응하는 것이다.

스텝 S2248에서, 미분 처리부(2233)는 근사 함수 f(t)를 미분하여, 근사 함수의 1차 미분 함수 f(t)'를 구하고, 구해진 시프트량에 따른 위치에서의 미분값을 구해, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다. 즉, 지금의 경우, 미분 처리부(2233)는 미분값 f(Tin)'를 구하고, 그 위치(지금의 경우, 주목 화소(Tin, Yin))와, 그 화소값, 및 정상성 방향의 모션 정보를 부가하여 출력한다.

스텝 S2249에서, 미분 처리부(2233)는 구해지고 있는 밀도의 화소를 생성하는 데 필요한 만큼의 미분값이 구해지고 있는지 여부를 판정한다. 예를 들면, 지금의 경우, 공간 방향으로 2배 밀도가 되기 위한 미분값만 구해지고 있으므로(프레임 방향으로 2배 밀도가 되기 위한 미분값이 구해지고 있지 않으므로), 구해지고 있는 밀도의 화소를 생성하는 데 필요한 만큼의 미분값이 구해지고 있지 않다고 판정하고, 그 처리는 스텝 S2247로 복귀한다.

스텝 S2247에서, 미분 처리부(2203)는 재차 근사 함수 추정부(2202)로부터 입력된 근사 함수 f(t)에 따라, 생성하려고 하는 화소의 위치에서의 시프트량을 구한다. 즉, 미분 처리부(2203)는 지금의 경우, 2분할된 화소 Pat, Pbt의 각각을 다시 2분할하기 위해 필요한 미분값을 각각 구한다. 화소 Pat, Pbt의 화소 위치는 도 199에서의 검은 동그라미로 나타낸 각각의 위치이므로, 미분 처리부(2233)는 각각의 위치에 대응하는 시프트량을 구한다. 화소 Pat, Pbt의 시프트량은 각각 Ct(0.25), Ct(-0.25)로 된다.

스텝 S2248에서, 미분 처리부(2233)는 근사 함수 f(t)를 미분하여, 화소 Pat, Pbt의 각각에 대응한 시프트량에 따른 위치에서의 미분값을 구하고, 이것을 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

즉, 도 198에서 나타낸 참조 화소를 사용하는 경우, 미분 처리부(2233)는 도 200에서 나타낸 바와 같이, 구해진 근사 함수 f(t)에 대하여 미분 함수 f(t)'를 구하고, 공간 방향 T에 대하여, 시프트량 Ct(0.25), Ct(-0.25)만큼 어긋난 위치가 되는 (Tin－Ct(0.25))와 (Tin－Ct(-0.25))의 위치에서의 미분값을 각각 f(Tin－Ct(0.25))', f(Tin－Ct(-0.25))'로서 구하고, 그 미분값에 대응하는 위치 정보를 부가하여, 이것을 실세계 추정 정보로서 출력한다. 그리고, 최초의 처리에서 화소값의 정보가 출력되어 있으므로 화소값의 정보는 부가되지 않는다.

스텝 S2249에서, 다시, 미분 처리부(2233)는 구해지고 있는 밀도의 화소를 생성하는 데 필요한 만큼의 미분값이 구해지고 있는지 여부를 판정한다. 예를 들면, 지금의 경우, 공간 방향 Y와 프레임 방향 T에 대하여 각각 2배(합계 4배)의 밀도로 되기 위한 미분값이 구해진 것이 되므로, 구해지고 있는 밀도의 화소를 생성하는 데 필요한 만큼의 미분값이 구해졌다고 판정하고, 그 처리는 스텝 S2251로 진행한다.

스텝 S2251에서, 참조 화소 추출부(2231)는 모든 화소를 처리했는지 여부를 판정하고, 모든 화소를 처리하고 있지 않다고 판정한 경우, 그 처리는 스텝 S2242로 복귀한다. 또, 스텝 S2251에서, 모든 화소를 처리했다고 판정한 경우, 그 처리는 종료된다.

전술한 바와 같이, 입력 화상에 대하여, 프레임 방향(시간 방향), 및 공간 방향으로 4배 밀도가 되도록 화소를 생성하는 경우, 화소는 분할되는 화소의 중앙 위치의 근사 함수의 미분값을 사용하여, 외삽 보간에 의해 분할되므로, 4배 밀도의 화소를 생성하는 데는, 합계 3개의 미분값의 정보가 필요하게 된다.

즉, 도 199에서 나타낸 바와 같이, 1 화소에 대하여 최종적으로는, 화소 P01t, P02t, P03t, P04t의 4 화소(도 199에서, 화소 P01t, P02t, P03t, P04t는 도면 중 4개의 가새표 위치를 중심 위치로 하는 정방형이며, 각변의 길이는 화소 Pin이 각각 1이므로, 화소 P01t, P02t, P03t, P04t는 각각 대략 0.5로 됨)의 생성에 필요한 미분값이 필요하게 되므로, 4배 밀도의 화소를 생성하는 데는, 먼저, 프레임 방향, 또는 공간 방향으로 2배 밀도의 화소를 생성하고(전술한 최초의 스텝 S2247, S2248의 처리), 또한 분할된 2 화소를 각각 최초에 분할한 방향과 수직 방향(지금의 경우, 프레임 방향)으로 분할하기(전술한 2회째의 스텝 S2247, S2248의 처리) 위해서이다.

그리고, 이상의 예에서는, 4배 밀도의 화소를 연산할 때의 미분값을 예로서 설명해 왔지만, 그 이상의 밀도의 화소를 연산하는 경우, 스텝 S2247 내지 S2249의 처리를 반복함으로써, 화소값의 연산에 필요한 더욱 많은 미분값을 구하도록 해도 된다. 또, 이상의 예에 대해서는, 배밀도의 화소값을 구하는 예에 대하여 설명해 왔지만, 근사 함수 f(t)는 연속 함수이므로, 배밀도 이외의 화소값에 대해서도 필요한 미분값을 구하는 것이 가능하게 된다.

이상에 의하면, 주목 화소 근방 화소의 화소값을 사용하여, 각 화소의 화소값을 근사적으로 표현하는 근사 함수를 구하고, 화소의 생성에 필요한 위치의 미분값을 실세계 추정 정보로서 출력하는 것이 가능하게 된다.

이상의 도 196에서 설명한 실세계 추정부(102)에서는, 화상을 생성하는 데 필요한 미분값을 실세계 추정 정보로서 출력하고 있었지만, 미분값이란, 필요한 위치에서의 근사 함수 f(t)의 경사와 동일한 값의 것이다.

그래서, 다음에는, 도 201을 참조하여, 근사 함수를 구하지 않고, 화소 생성에 필요한, 근사 함수 상의 프레임 방향의 경사만을 직접 구해, 실세계 추정 정보로서 출력하는 실세계 추정부(102)에 대하여 설명한다.

참조 화소 추출부(2251)는 데이터 정상성 검출부(101)로부터 입력되는 데이터 정상성 정보(정상성 모션, 및 영역의 정보)에 따라, 입력 화상의 각 화소가 처리 영역인지 여부를 판정하고, 처리 영역인 경우에는, 입력 화상으로부터 경사를 구하기 위해 필요한 참조 화소의 정보(연산에 필요한 주목 화소를 포함하는 공간 방향으로 나란히 하는 주변의 복수개 화소, 또는 주목 화소를 포함하는 프레임 방향으로 나란히 하는 주변의 복수개 화소의 위치, 및 각각의 화소값의 정보)를 추출하여, 경사 추정부(2252)에 출력한다.

경사 추정부(2252)는 참조 화소 추출부(2251)로부터 입력된 참조 화소의 정보에 따라, 화소 생성에 필요한 화소 위치의 경사 정보를 생성하여, 실세계 추정 정보로서 화상 생성부(103)에 출력한다. 보다 상세하게는, 경사 추정부(2252)는 화소 사이의 화소값의 차분 정보를 사용하여, 각 참조 화소의 화소값을 근사적으로 표현하는 근사 함수 상의 주목 화소 위치에서의 프레임 방향의 경사를 구하고, 이것에, 주목 화소의 위치 정보, 화소값, 및 정상성 방향의 모션 정보를 실세계 추정 정보로서 출력한다.

다음에, 도 202의 플로차트를 참조하여, 도 201의 실세계 추정부(102)에 의한 실세계 추정의 처리에 대하여 설명한다.

스텝 S2261에서, 참조 화소 추출부(2251)는 입력 화상과 함께, 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서의 모션, 및 영역의 정보를 취득한다.

스텝 S2262에서, 참조 화소 추출부(2251)는 입력 화상의 미처리 화소로부터 주목 화소를 설정한다.

스텝 S2263에서, 참조 화상 추출부(2251)는 데이터 정상성 정보 영역의 정보에 따라, 주목 화소가 처리 영역의 것인지 여부를 판정하고, 처리 영역의 화소가 아니라고 판정한 경우, 그 처리는 스텝 S2268로 진행하고, 그 주목 화소에 대해서는, 처리 영역 밖인 것을 경사 추정부(2252)에 전하고, 이것에 따라, 경사 추정부(2252)가 대응하는 주목 화소에 대한 경사를 0으로 하고, 또한, 그 주목 화소의 화소값을 부가하여 실세계 추정 정보로서 화상 생성부(103)에 출력하는 동시에, 그 처리는 스텝 S2269로 진행한다. 또, 주목 화소가 처리 영역의 것이라고 판정된 경우, 그 처리는 스텝 S2264로 진행한다.

스텝 S2264에서, 참조 화소 추출부(2211)는 데이터 정상성 정보에 포함되는 모션 정보로부터 데이터 정상성 모션이, 프레임 방향으로 가까운 모션인가 또는 공간 방향으로 가까운 모션인가 여부를 판정한다. 즉, 프레임 방향 T와 공간 방향 Y로 이루어지는 면에서, 프레임 방향을 기준축으로 한, 시간과 공간의 면 내의 방향을 나타내는 각도를 θｖ라고 하면, 참조 화소 추출부(2251)는 데이터 정상성 모션 각도 θｖ가 0도≤θｖ＜45도, 또는 135도≤θｖ＜180도로 되는 경우, 주목 화소의 정상성 모션은 프레임 방향으로 가깝다고 판정하고, 데이터 정상성이 가지는 각도 θｖ가 45도≤θｖ＜135도로 되는 경우, 주목 화소의 정상성 모션은 공간 방향으로 가깝다고 판정한다.

스텝 S2265에서, 참조 화소 추출부(2251)는 판정한 방향에 대응한 참조 화소의 위치 정보, 및 화소값을 각각 입력 화상으로부터 추출하여, 경사 추정부(2252)에 출력한다. 즉, 참조 화소는 후술하는 경사를 연산할 때 사용되는 데이터로 되므로, 정상성 모션에 따라 추출되는 것이 바람직하다. 따라서, 프레임 방향, 또는 공간 방향 중 어느 하나의 판정 방향에 대응하여, 그 방향으로 긴 범위의 참조 화소가 추출된다. 보다 구체적으로는, 예를 들면, 모션이 공간 방향으로 가깝다고 판정된 경우, 참조 화소 추출부(2251)는 도 203에서 나타낸 바와 같이, 도 203 중 중앙의 화소(t, y)= (0, 0)을 주목 화소로 할 때, 화소(t, y)=(0, 2), (0, 1), (0, 0), (0, -1), (0, -2) 각각의 화소값을 추출한다. 그리고, 도 203에서는, 각 화소의 크기가 프레임 방향, 및 공간 방향에 대하여 각각 1인 것으로 한다.

즉, 참조 화소 추출부(2251)는 주목 화소를 중심으로 하여 공간(도면 중 상하) 방향으로 각각 2 화소인 합계 5 화소가 되도록, 공간 방향으로 긴 범위의 화소를 참조 화소로서 추출한다.

역으로, 프레임 방향이라고 판정된 경우, 주목 화소를 중심으로 하여 프레임(도면 중 좌우) 방향으로 2 화소인 합계 5 화소가 되도록, 수평 방향으로 긴 범위의 화소를 참조 화소로서 추출하여, 근사 함수 추정부(2252)에 출력한다. 물론, 참조 화소는 전술한 바와 같이 5 화소로 한정되지 않고, 그 이외의 개수라도 된다.

스텝 S2266에서, 경사 추정부(2252)는 참조 화소 추출부(2251)로부터 입력된 참조 화소의 정보와, 정상성 방향의 모션 V_f의 방향에 따라, 각각의 화소값의 시프트량을 연산한다. 즉, 공간 방향 Y=0에 대응하는 근사 함수 f(t)를 기준으로 한 경우, 공간 방향 Y=-2, -1, 1, 2에 대응하는 근사 함수는 도 203에서 나타낸 바와 같이, 정상성의 경사 V_f에 따라 연속되어 있게 되므로, 각 근사 함수는 f(t－Ct(2)), f(t－Ct(1)), f(t－Ct(-1)), f(t－Ct(-2))와 같이 기술되고, 공간 방향 Y=-2, -1, 1, 2마다 각 시프트량분만큼 프레임 방향 T에 어긋난 함수로서 표현된다.

그래서, 경사 추정부(2252)는 이들 시프트량 Ct(-2) 내지 Ct(2)를 구한다. 예를 들면, 참조 화소가 도 203에서 나타낸 바와 같이 추출된 경우, 그 시프트량은 도면 중 참조 화소 (0, 2)는 Ct(2)=2/Vf로 되고, 참조 화소 (0, 1)은 Ct(1)=1/Vf로 되고, 참조 화소 (0, 0)는 Ct(0)=0으로 되고, 참조 화소 (0, -1)은 Ct(-1)=-1/V_f로 되고, 참조 화소 (0, -2)는 Ct(-2)=-2/V_f 로 된다. 경사 추정부(2252)는 이들 시프트량 Ct(-2) 내지 Ct(2)를 구한다.

스텝 S2267에서, 경사 추정부(2252)는 주목 화소의 프레임 방향의 경사를 연산한다(추정한다). 예를 들면, 도 203에서 나타낸 바와 같이, 주목 화소에 대하여 정상성 방향이 공간 방향으로 가까운 각도인 경우, 프레임 방향으로 인접하는 화소 사이에서는 화소값이 크게 상이하므로, 공간 방향의 화소 사이에서는, 화소 사이의 변화가 작고, 변화가 유사하기 때문에, 경사 추정부(2252)는 공간 방향 화소 사이의 변화를 시프트량에 의한 프레임 방향 T의 변화로 받아들임으로써, 공간 방향 화소 사이의 차분을 프레임 방향 화소 사이의 차분으로 치환하여, 주목 화소에서의 경사를 구한다.

즉, 현실 세계를 근사적으로 기술하는 함수 f(t)가 존재한다고 가정하면, 전술한 시프트량과 각 참조 화소의 화소값과의 관계는 도 204에서 나타낸 바와 같은 것이 된다. 여기에서, 도 204의 각 화소의 화소값은 위로부터 P(0, 2), P(0, 1), P (0, 0), P(0, -1), P(0, -2)로 표현된다. 결과로서, 주목 화소 (0, 0) 근방의 화소값 P와 시프트량 Ct는 (P, Ct)=(P(0, 2), －Ct(2), P(0, 1), －Ct(1), P(0, -1), －Ct(-1), P(0, -2), －Ct(-2), (P (0, 0), 0)의 5조 관계가 얻어지게 된다.

그런데, 화소값 P, 시프트량 Ct, 및 경사 Kt(근사 함수 f(t) 상의 경사)는 이하와 같은 식 (102)와 같은 관계가 성립하게 된다.

P=Kt×Ct ···(102)

전술한 식 (102)는 변수 Kt에 대한 1 변수의 함수이므로, 경사 추정부(2212)는 이 변수 Kt(경사)에 대하여, 1 변수의 최소 제곱법에 의해 경사 Kt를 구한다.

즉, 경사 추정부(2252)는 이하에 나타내는 식 (103)과 같은 정규 방정식을 푸는 것에 의해, 주목 화소의 경사를 구하고, 주목 화소의 화소값, 및 정상성 방향의 경사 정보를 부가하여, 실세계 추정 정보로서 화상 생성부(103)에 출력한다.

···(103)

여기에서, i는 전술한 참조 화소의 화소값 P와 시프트량 Ct의 조를 각각 식별하는 번호이며, 1 내지 m이다. 또, m은 주목 화소를 포함하는 참조 화소의 개수가 된다.

스텝 S2269에서, 참조 화소 추출부(2251)는 모든 화소를 처리했는지 여부를 판정하고, 모든 화소를 처리하고 있지 않다고 판정한 경우, 그 처리는 스텝 S2262로 복귀한다. 또, 스텝 S2269에서, 모든 화소가 처리되었다고 판정된 경우, 그 처리는 종료된다.

그리고, 전술한 처리에 의해 실세계 추정 정보로서 출력되는 프레임 방향의 경사는 최종적으로 구하려고 하는 화소값을 외삽 보간하여 연산할 때 사용된다. 또, 이상의 예에서는, 2배 밀도의 화소를 연산할 때의 경사를 예로서 설명해 왔지만, 그 이상의 밀도의 화소를 연산하는 경우, 화소값의 연산에 필요한, 더욱 많은 위치에서의 경사를 구하도록 해도 된다.

예를 들면, 도 190에서 나타낸 바와 같이, 수평 방향으로 2배 밀도로, 또한 프레임 방향으로 2배 밀도의 시공간 방향으로 합계 4배 밀도의 화소를 생성하는 경우, 전술한 바와 같이, 도 190 중의 Pin, Pat, Pbt 각각의 위치에 대응하는 근사 함수 f(t)의 경사 Kt를 구하도록 하면 된다.

또, 이상의 예에 대해서는, 배밀도의 화소값을 구하는 예에 대하여 설명해 왔지만, 근사 함수 f(t)는 연속 함수이므로, 배밀도 이외의 위치 화소의 화소값에 대해서도 필요한 경사를 구하는 것이 가능하게 된다.

말할 필요도 없이, 프레임 방향, 또는 공간 방향에 대한 근사 함수 상의 경사, 또는 미분값을 구하는 처리의 순서는 묻지 않는다. 또한, 공간 방향에서, 전술한 예에서는, 공간 방향 Y와 프레임 방향 T와의 관계를 사용하여 설명해 왔지만, 공간 방향 X와 프레임 방향 T와의 관계를 사용한 것이라도 된다. 또한, 시공간 방향 중 어느 하나의 2차원 관계로부터(어느 것으로부터 1차원의 방향의) 경사, 또는 미분값을 선택적으로 구하도록 해도 된다.

이상에 의하면, 주목 화소 근방 화소의 화소값을 사용하여, 실세계를 근사적으로 표현하는 프레임 방향의 근사 함수를 구하지 않고, 화소의 생성에 필요한 위치의 프레임 방향(시간 방향)의 근사 함수 상의 경사를 실세계 추정 정보로서 생성하고, 또한 출력하는 것이 가능하게 된다.

다음에, 도 205 내지 도 235를 참조하여, 실세계 추정부(102)(도 3) 실시예의 다른 예에 대하여 설명한다.

도 205는 이 예의 실시예의 원리를 설명한 도면이다.

도 205에서 나타낸 바와 같이, 센서(2)에 입사되는 화상인, 실세계(1)의 신호(광 강도의 분포)는 소정 함수 F로 표현된다. 그리고, 이하, 이 예의 실시예의 설명에서는, 화상인, 실세계(1)의 신호를 특히 광 신호라고 칭하며, 함수 F를 특히 광 신호 함수 F라고 칭한다.

이 예의 실시예에서는, 광 신호 함수 F로 표현되는 실세계(1)의 광 신호가 소정 정상성을 가지는 경우, 실세계 추정부(102)가 센서(2)로부터의 입력 화상(정상성에 대응하는 데이터의 정상성을 포함하는 화상 데이터)과, 데이터 정상성 검출부(101)로부터의 데이터 정상성 정보(입력 화상 데이터의 정상성에 대응하는 데이터 정상성 정보)를 사용하여, 광 신호 함수 F를 소정 함수 f로 근사시킴으로써, 광 신호 함수 F를 추정한다. 그리고, 이하, 이 예의 실시예의 설명에서는, 함수 f를 특히 근사 함수 f라고 칭한다.

환언하면, 이 예의 실시예에서는, 실세계 추정부(102)가 근사 함수 f로 표현되는 모델(161)(도 7)을 사용하여, 광 신호 함수 F로 표현되는 화상(실세계(1)의 광 신호)을 근사(기술)한다. 따라서, 이하, 이 예의 실시예를 함수 근사 방법이라고 칭한다.

여기에서, 함수 근사 방법의 구체적인 설명에 들어가기 전에, 본원 출원인이 함수 근사 방법을 발명하기에 이른 배경에 대하여 설명한다.

도 206은 센서(2)가 CCD로 되는 경우의 적분 효과를 설명한 도면이다.

도 206에서 나타낸 바와 같이, 센서(2)의 평면 상에는, 복수개의 검출 소자(2-1)가 배치되어 있다.

도 206의 예에서는, 검출 소자(2-1)의 소정 1변에 평행한 방향이 공간 방향의 1 방향인 X 방향으로 되어 있고, X 방향으로 수직인 방향이 공간 방향의 다른 방향인 Y 방향으로 되어 있다. 그리고, X－Y 평면에 수직인 방향이 시간 방향인 t 방향으로 되어 있다.

또, 도 206의 예에서는, 센서(2)의 각 검출 소자(2-1) 각각의 공간적인 형상은 1변의 길이가 1의 정방형으로 되어 있다. 그리고, 센서(2)의 셔터 시간(노광 시간)이 1로 되어 있다.

또한, 도 206의 예에서는, 센서(2)의 소정 1개의 검출 소자(2-1) 중심이 공간 방향(X 방향과 Y 방향)의 원점(X 방향의 위치 x=0, 및 Y 방향의 위치 y=0)으로 되어 있고, 또, 노광 시간의 중간 시각이 시간 방향(t 방향)의 원점(t 방향의 위치 t=0)로 되어 있다.

이 경우, 공간 방향의 원점(x=0, y=0))에 그 중심이 존재하는 검출 소자(2-1)는 X 방향으로 ―0.5 내지 0.5의 범위, Y 방향으로 ―0.5 내지 0.5의 범위, 및 t 방향으로 ―0.5 내지 0.5의 범위에서 광 신호 함수 F(x, y, t)를 적분하고, 그 적분값을 화소값 P로서 출력하게 된다.

즉, 공간 방향의 원점에 그 중심이 존재하는 검출 소자(2-1)으로부터 출력되는 화소값 P는 다음의 식 (104)로 표현된다.

···(104)

그 밖의 검출 소자(2-1)도 동일하게, 대상으로 하는 검출 소자(2-1)의 중심을 공간 방향의 원점으로 함으로써, 식 (104)에서 나타낸 화소값 P를 출력하게 된다.

도 207은 센서(2)의 적분 효과의 구체적인 예를 설명한 도면이다.

도 207에서, X 방향과 Y 방향은 센서(2)의 X 방향과 Y 방향(도 206)을 나타내고 있다.

실세계(1)의 광 신호 중 1 부분(이하, 이와 같은 부분을 영역이라고 칭함)(2301)은 소정 정상성을 가지는 영역의 일례를 나타내고 있다.

그리고, 실제로는, 영역(2301)은 연속된 광 신호의 1 부분(연속된 영역)이다. 이에 대하여, 도 207에서는, 영역(2301)은 20개의 소영역(정방형의 영역)으로 구분되어 있도록 나타나 있다. 이것은 영역(2301)의 크기가 X 방향에 대하여 4개분, 또한 Y 방향에 대하여 5개분의 센서(2) 검출 소자(화소)가 나란히 한 크기에 상당하는 것을 나타내기 위해서이다. 즉, 영역(2301) 내의 20개의 소영역(가상 영역)의 각각은 1개의 화소에 상당한다.

또, 영역(2301) 중 도면 중의 흰 부분은 세선에 대응하는 광 신호를 나타내고 있다. 따라서, 영역(2301)은 세선이 계속되는 방향으로 정상성을 가지고 있게 된다. 그래서, 이하, 영역(2301)을 세선 함유 실세계 영역(2301)이라고 칭한다.

이 경우, 세선 함유 실세계 영역(2301)(실세계(1)의 광 신호의 1 부분)이 센서(2)에 의해 검출되면, 센서(2)로부터는, 적분 효과에 의해 입력 화상(화소값)의 영역(2302)(이하, 세선 함유 데이터 영역(2302)이라고 칭함)이 출력된다.

그리고, 세선 함유 데이터 영역(2302)의 각 화소의 각각은 도면 중 화상으로서 나타나 있지만, 실제로는, 소정 1개의 값을 나타내는 데이터이다. 즉, 세선 함유 실세계 영역(2301)은 센서(2)의 적분 효과에 의해 소정 1개의 화소값을 각각 가지는 20개의 화소(X 방향으로 4 화소분, 또한 Y 방향으로 5 화소분인 총계 20개의 화소)로 구분된 세선 함유 데이터 영역(2302)으로 변화되어 버린다(왜곡되어 버린다.

도 208은 센서(2) 적분 효과의 구체적인 다른 예(도 207과는 상이한 예)를 설명한 도면이다.

도 208에서, X 방향과 Y 방향은 센서(2)의 X 방향과 Y 방향(도 206)을 나타내고 있다.

실세계(1)의 광 신호의 1 부분(영역)(2303)은 소정 정상성을 가지는 영역의 다른 예(도 207의 세선 함유 실세계 영역(2301)과는 상이한 예)를 나타내고 있다.

그리고, 영역(2303)은 세선 함유 실세계 영역(2301)과 동일 크기를 가지는 영역이다. 즉, 세선 함유 실세계 영역(2301)과 동일하게, 영역(2303)도, 실제로는 연속된 실세계(1)의 광 신호의 1 부분(연속된 영역)이지만, 도 208에서는, 센서(2)의 1 화소에 상당하는 20개의 소영역(정방형의 영역)으로 구분되어 있도록 나타나 있다.

또, 영역(2303)은 소정 제1 광 강도(값)를 가지는 제1 부분과, 소정 제2 광 강도(값)를 가지는 제2 부분의 에지를 포함하고 있다. 따라서, 영역(2303)은 에지가 계속되는 방향으로 정상성을 가지고 있게 된다. 그래서, 이하, 영역(2303)을 2치 에지 함유 실세계 영역(2303)이라고 칭한다.

이 경우, 2치 에지 함유 실세계 영역(2303)(실세계(1)의 광 신호의 1 부분)이 센서(2)에 의해 검출되면, 센서(2)로부터는, 적분 효과에 의해 입력 화상(화소값)의 영역(2304)(이하, 2치 에지 함유 데이터 영역(2304)이라고 칭함)이 출력된다.

그리고, 2치 에지 함유 데이터 영역(2304)의 각 화소값의 각각은 세선 함유 데이터 영역(2302)과 동일하게, 도면 중, 화상으로서 표현되어 있지만, 실제로는, 소정값을 나타내는 데이터이다. 즉, 2치 에지 함유 실세계 영역(2303)은 센서(2)의 적분 효과에 의해 소정 1개의 화소값을 각각 가지는 20개의 화소(X 방향으로 4 화소분, 또한 Y 방향으로 5 화소분인 총계 20개의 화소)로 구분된 2치 에지 함유 데이터 영역(2304)으로 변화되어 버린다(왜곡되어 버린다).

종래의 화상 처리 장치는 이와 같은 세선 함유 데이터 영역(2302)이나 2치 에지 함유 데이터 영역(2304) 등 센서(2)로부터 출력된 화상 데이터를 원점(기준)으로 하는 동시에, 화상 데이터를 처리 대상으로 하고, 그 이후의 화상 처리를 행하고 있었다. 즉, 센서(2)로부터 출력된 화상 데이터는 적분 효과에 의해 실세계(1)의 광 신호와는 상이한 것(왜곡된 것)으로 되어 있음에도 불구하고, 종래의 화상 처리 장치는 그 실세계(1)의 광 신호와는 상이한 데이터를 정(正)으로 하여 화상 처리를 행하고 있었다.

그 결과, 종래의 화상 처리 장치에서는, 센서(2)로부터 출력된 단계에서, 실세계의 디테일이 깨져 버린 파형(화상 데이터)을 기준으로 하여, 그 파형으로부터 원래의 디테일을 복원하는 것은 매우 곤란하다고 하는 과제가 있었다.

그래서, 함수 근사 방법에서는, 이 과제를 해결하기 위해, 전술한 바와 같이(도 205에서 나타낸 바와 같이), 실세계 추정부(102)가 세선 함유 데이터 영역(2302)이나 2치 에지 함유 데이터 영역(2304)과 같은 센서(2)로부터 출력된 화상 데이터(입력 화상)로부터 광 신호 함수 F(실세계(1)의 광 신호)를 근사 함수 f로 근사시킴으로써, 광 신호 함수 F를 추정한다.

이에 따라, 실세계 추정부(102)로부터 후단에서(지금의 경우, 도 3의 화상 생성부(103)), 적분 효과가 고려된 화상 데이터, 즉, 근사 함수 f에 의해 표현 가능한 화상 데이터를 원점으로 하여 그 처리를 실행하는 것이 가능하게 된다.

이하, 도면을 참조하여, 이와 같은 함수 근사 방법 중 3개의 구체적인 방법(제1 내지 제3 함수 근사 방법)의 각각에 대하여 개별적으로 설명해 간다.

처음에, 도 209 내지 도 223을 참조하여, 제1 함수 근사 방법에 대하여 설명한다.

도 209는 전술한 도 207에서 나타낸 세선 함유 실세계 영역(2301)을 재차 나타낸 도면이다.

도 209에서, X 방향과 Y 방향은 센서(2)의 X 방향과 Y 방향(도 206)을 나타내고 있다.

제1 함수 근사 방법은 예를 들면, 도 209에서 나타낸 바와 같은 세선 함유 실세계 영역(2301)에 대응하는 광 신호 함수 F(x, y, t)를 X 방향(도면 중 화살표 2311의 방향)으로 투영한 1차원의 파형(이하, 이와 같은 파형을 X 단면 파형 F(x)라고 칭함)을 n차(n은 임의의 정수)의 다항식인 근사 함수 f(x)로 근사시키는 방법이다. 따라서, 이하, 제1 함수 근사 방법을, 특히, 1차원 다항식 근사 방법이라고 칭한다.

그리고, 1차원 다항식 근사 방법에서, 근사 대상이 되는 X 단면 파형 F(x)는 물론, 도 209의 세선 함유 실세계 영역(2301)에 대응하는 것에 한정되지 않는다. 즉, 후술하는 바와 같이, 1차원 다항식 근사 방법에서는, 정상성을 가지는 실세계(1)의 광 신호에 대응하는 X 단면 파형 F(x)이면, 어느 것이라도 근사시키는 것이 가능하다.

또, 광 신호 함수 F(x, y, t)의 투영 방향은 X 방향에 한정되지 않고, Y 방향 또는 t 방향이라도 된다. 즉, 1차원 다항식 근사 방법에서는, 광 신호 함수 F(x, y, t)를 Y 방향으로 투영한 함수 F(y)를 소정 근사 함수 f(y)로 근사시키는 것도 가능하고, 광 신호 함수 F(x, y, t)를 t 방향으로 투영한 함수 F(t)를 소정 근사 함수 f(t)로 근사시키는 것도 가능하다.

보다 상세하게는, 1차원 다항식 근사 방법은 예를 들면, X 단면 파형 F(x)를 다음의 식 (105)으로 나타낸 바와 같은, n차 다항식인 근사 함수 f(x)로 근사시키는 방법이다.

···(105)

즉, 1차원 다항식 근사 방법에서는, 실세계 추정부(102)가 식 (105)의 xⁱ의 계수(특징량) w_i를 연산함으로써, X 단면 파형 F(x)를 추정한다.

이 특징량 w_i의 연산 방법은 특히 한정되지 않고, 예를 들면, 다음의 제1 내지 제3 방법이 사용 가능하다.

즉, 제1 방법은 종래부터 이용되고 있는 방법이다.

이에 대하여, 제2 방법은 본원 출원인이 새로 발명한 방법으로서, 제1 방법에 대하여, 또한 공간 방향의 정상성을 고려하여 방법이다.

그러나, 후술하는 바와 같이, 제1 방법과 제2 방법에서는, 센서(2)의 적분 효과가 고려되어 있지 않다. 따라서, 제1 방법 또는 제2 방법에 의해 연산된 특징량 w_i를 전술한 식 (105)에 대입하여 얻어지는 근사 함수 f(x)는 입력 화상의 근사 함수이지만, 엄밀하게는, X 단면 파형 F(x)의 근사 함수라고는 말할 수 없다.

그래서, 본원 출원인은 제2 방법에 대하여, 센서(2)의 적분 효과를 더욱 고려하여 특징량 w_i를 연산하는 제3 방법을 발명했다. 이 제3 방법에 의해 연산된 특징량 w_i를 전술한 식 (105)에 대입하여 얻어지는 근사 함수 f(x)는 센서(2)의 적분 효과를 고려하고 있는 점에서, X 단면 파형 F(x)의 근사 함수라고 말할 수 있다.

이와 같이, 엄밀하게는, 제1 방법과 제2 방법은 1차원 다항식 근사 방법이라고 말할 수는 없고, 제3 방법만이 1차원 다항식 근사 방법이라고 말할 수 있다.

환언하면, 도 210에서 나타낸 바와 같이, 제2 방법은 1차원 다항식 근사 방법과는 상이한, 본 발명의 실세계 추정부(102)의 실시예이다. 즉, 도 210은 제2 방법에 대응하는 실시예의 원리를 설명한 도면이다.

도 210에서 나타낸 바와 같이, 제2 방법에 대응하는 실시예에서는, 광 신호 함수 F로 표현되는 실세계(1)의 광 신호가 소정 정상성을 가지는 경우, 실세계 추정부(102)가 센서(2)로부터의 입력 화상(정상성에 대응하는 데이터의 정상성을 포함하는 화상 데이터)과, 데이터 정상성 검출부(101)로부터의 데이터 정상성 정보(입력 화상 데이터의 정상성에 대응하는 데이터 정상성 정보)를 사용하여, X 단면 파형 F(x)를 근사시키지 않고, 센서(2)로부터의 입력 화상을 소정 근사 함수 f₂(x)로 근사시킨다.

이와 같이, 제2 방법은 센서(2)의 적분 효과를 고려하지 않고, 입력 화상의 근사에 머물고 있는 점에서, 제3 방법과 동일 레벨의 방법이라고는 말하기 어렵다. 그러나, 제2 방법은 공간 방향의 정상성을 고려하고 있는 점에서, 종래의 제1 방법보다 우수한 방법이다.

이하, 제1 방법, 제2 방법, 및 제3 방법의 각각의 상세에 대하여, 그 순번으로 개별적으로 설명해 간다.

그리고, 이하, 제1 방법, 제2 방법, 및 제3 방법에 의해 생성되는 근사 함수 f(x)의 각각을 다른 방법의 것과 구별하는 경우, 특히, 근사 함수 f₁(x), 근사 함수 f₂(x), 및 근사 함수 f₃(x)라고 각각 칭한다.

처음에, 제1 방법의 상세에 대하여 설명한다.

제1 방법에서는, 전술한 식 (105)에서 나타낸 근사 함수 f₁(x)가 도 211의 세선 함유 실세계 영역(2301) 내에서 성립되는 것으로 하여, 다음의 예측 방정식 (106)을 정의한다.

···(106)

식 (106)에서, x는 주목 화소로부터의 X 방향에 대한 상대적인 화소 위치를 나타내고 있다. y는 주목 화소로부터의 Y 방향에 대한 상대적인 화소 위치를 나타내고 있다. e는 오차를 나타내고 있다. 구체적으로는, 예를 들면, 지금, 도 211에서 나타낸 바와 같이, 주목 화소가 세선 함유 데이터 영역(2302)(세선 함유 실세계 영역(2301)(도 209)이 센서(2)에 의해 검출되어, 출력된 데이터) 중, 도면 중, 좌로부터 X 방향으로 2 화소째이며, 아래로부터 Y 방향으로 3 화소째의 화소인 것으로 한다. 또, 주목 화소의 중심을 원점(0, 0)으로 하고, 센서(2)의 X 방향과 Y 방향(도 206)의 각각에 평행한 x축과 y축을 축으로 하는 좌표계(이하, 주목 화소 좌표계라고 칭함)가 설정되어 있는 것으로 한다. 이 경우, 주목 화소 좌표계의 좌표값 (x, y)가 상대 화소 위치를 나타내게 된다.

또, 식 (106)에서, P(x, y)는 상대 화소 위치(x, y)에서의 화소값을 나타내고 있다. 구체적으로는, 지금의 경우, 세선 함유 데이터 영역(2302) 내의 P(x, y)는 도 212에서 나타낸 바와 같이 된다.

도 212는 이 화소값 P(x, y)를 그래프화한 것을 나타내고 있다.

도 212에서, 각 그래프 각각의 세로축은 화소값을 나타내고 있으며, 가로축은 주목 화소로부터의 X 방향의 상대 위치 x를 나타내고 있다. 또, 도면 중, 위로부터 첫번째 그래프의 점선은 입력 화소값 P(x, -2)를, 위로부터 두번째 그래프의 3점 쇄선은 입력 화소값 P(x, -1)를, 위로부터 세번째 그래프의 실선은 입력 화소값 P(x, 0)를, 위로부터 네번째 그래프의 1점 쇄선은 입력 화소값 P(x, 1)를, 위로부터 다섯번째(아래로부터 첫번째) 그래프의 2점 쇄선은 입력 화소값 P(x, 2)를 각각 나타내고 있다.

전술한 식 (106)에 대하여, 도 212에서 나타낸 20개의 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)(단, x는 -1 내지 2 중 어느 하나의 정수(整數)값)의 각각을 대입하면, 다음의 식 (107)에서 나타낸 20개의 방정식이 생성된다. 그리고, e_k(K는 1 내지 20 중 어느 하나의 정수값)의 각각은 오차를 나타내고 있다.

···(107)

식 (107)은 20개의 방정식으로 구성되어 있으므로, 근사 함수 f₁(x)의 특징량 w_i의 개수가 20개보다 적은 경우, 즉, 근사 함수 f₁(x)가 19차보다 적은 차수의 다항식인 경우, 예를 들면, 최소 제곱법을 이용하여 특징량 w_i의 산출이 가능하다. 그리고, 최소 제곱법의 구체적인 해법은 후술한다.

예를 들면, 지금, 근사 함수 f₁(x)의 차수가 5차로 된 경우, 식 (107)을 이용하여 최소 제곱법에 의해 연산된 근사 함수 f₁(x)(연산된 특징량 w_i에 의해 생성되는 근사 함수 f₁(x))는 도 213에서 나타낸 곡선과 같이 된다.

그리고, 도 213에서, 세로축은 화소값을 나타내고 있으며, 가로축은 주목 화소로부터의 상대 위치 x를 나타내고 있다.

즉, 도 211의 세선 함유 데이터 영역(2302)을 구성하는 20개의 화소값 P(x, y)의 각각 (도 212에서 나타낸 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각)을, 예를 들면, x축에 따라 그대로 가산 대입하면(Y 방향의 상대 위치 y를 일정한 것으로 간주하고, 도 212에서 나타낸 5개의 그래프를 겹침), 도 213에서 나타낸 바와 같은, x축에 평행한 복수개의 선(점선, 3점 쇄선, 실선, 1점 쇄선, 및 2점 쇄선)이 분포한다.

단, 도 213에서는, 점선은 입력 화소값 P(x, -2)를, 3점 쇄선은 입력 화소값 P(x, -1)를, 실선은 입력 화소값 P(x, 0)를, 1점 쇄선은 입력 화소값 P(x, 1)를, 2점 쇄선은 입력 화소값 P(x, 2)를 각각 나타내고 있다. 또, 동일한 화소값의 경우, 실제로는 2개 이상의 선이 겹치게 되지만, 도 213에서는, 각 선의 구별이 생기도록, 각 선의 각각이 중첩되지 않게 묘화(描畵)되어 있다.

그리고, 이와 같이 분포된 20개의 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각과, 값 f₁(x)의 오차가 최소가 되는 회귀 곡선(최소 제곱법에 의해 연산된 특징량 w_i를 전술한 식 (104)에 대입하여 얻어지는 근사 함수 f₁(x))가 도 213에서 나타낸 곡선(근사 함수 f₁(x))로 된다.

이와 같이, 근사 함수 f₁(x)는 Y 방향의 화소값(주목 화소로부터의 X 방향의 상대 위치 x가 동일한 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 평균값을 X 방향으로 연결한 곡선을 단지 나타내고 있는 데 지나지 않는다. 즉, 광 신호가 가지는 공간 방향의 정상성을 고려하지 않고, 근사 함수 f₁(x)가 생성되어 있다.

예를 들면, 지금의 경우, 근사 대상은 세선 함유 실세계 영역(2301)(도 209)으로 되어 있다. 이 세선 함유 실세계 영역(2301)은, 도 214에서 나타낸 바와 같이, 경사 G_F로 표현되는 공간 방향의 정상성을 가지고 있다. 그리고, 도 214에서, X 방향과 Y 방향은 센서(2)의 X 방향과 Y 방향(도 206)을 나타내고 있다.

따라서, 데이터 정상성 검출부(101)(도 205)는 공간 방향 정상성의 경사 G_F에 대응하는 데이터 정상성 정보로서, 도 214에서 나타낸 바와 같은 각도 θ(경사 G_F에 대응하는 경사 G_f로 표시되는 데이터의 정상성 방향과, X 방향이 이루는 각도 θ)를 출력할 수 있다.

그러나, 제1 방법에서는, 데이터 정상성 검출부(101)로부터 출력되는 데이터 정상성 정보는 일체 이용되고 있지 않다.

환언하면, 도 214에서 나타낸 바와 같이, 세선 함유 실세계 영역(2301)의 공간 방향 정상성 방향은 대략 각도 θ 방향이다. 그러나, 제1 방법은 세선 함유 실세계 영역(2301)의 공간 방향 정상성 방향은 Y 방향이라고 가정하고(즉, 각도 θ가 90도라고 가정하고), 근사 함수 f₁(x)의 특징량 w_i를 연산하는 방법이다.

그러므로, 근사 함수 f₁(x)는 그 파형이 무디어져, 원래의 화소값보다 디테일이 감소하는 함수로 되어 버린다. 환언하면, 도시는 하지 않지만, 제1 방법에 의해 생성되는 근사 함수 f₁(x)는 실제의 X 단면 파형 F(x)와는 크게 상이한 파형으로 되어 버린다.

그래서, 본원 출원인은 제1 방법에 대하여, 공간 방향의 정상성을 더욱 고려하여(각도 θ를 이용하여) 특징량 w_i를 연산하는 제2 방법을 발명했다.

즉, 제2 방법은 세선 함유 실세계 영역(2301)의 정상성 방향은 대략 각도 θ 방향인 것으로 하여, 근사 함수 f₂(x)의 특징량 w_i를 연산하는 방법이다.

구체적으로는, 예를 들면, 공간 방향의 정상성에 대응하는 데이터의 정상성을 나타내는 경사 G_f는 다음의 식 (108)로 표현된다.

···(108)

그리고, 식 (108)에서, dx는 도 214에서 나타낸 바와 같은 X 방향의 미소 이동량을 나타내고 있으며, dy는 도 214에서 나타낸 바와 같은 dx에 대한 Y 방향의 미소 이동량을 나타내고 있다.

이 경우, 시프트량 Cx(y)를 다음의 식 (109)와 같이 정의하면, 제2 방법에서는, 제1 방법에서 이용한 식 (106)에 상당하는 식은, 다음의 식 (110)과 같이 된다.

···(109)

···(110)

즉, 제1 방법으로 이용한 식 (106)은 화소의 중심 위치(x, y) 중 X 방향의 위치 x가 동일한 위치에 위치하는 화소의 화소값 P(x, y)는 모두 동일한 값인 것을 나타내고 있다. 환언하면, 식 (106)은 동일 화소값의 화소가 Y 방향으로 계속되고 있는(Y 방향으로 정상성이 있는) 것을 나타내고 있다.

이에 대하여, 제2 방법으로 이용하는 식 (110)은 화소의 중심 위치가 (x, y)인 화소의 화소값 P(x, y)는 주목 화소(그 중심의 위치가 원점(0, 0)인 화소)로부터 X 방향으로 x만큼 떨어진 장소에 위치하는 화소의 화소값 (≒f₂(x))와는 일치하지 않고, 그 화소로부터 다시 X 방향으로 시프트량 C_x(y)만큼 떨어진 장소에 위치하는 화소(주목 화소로부터 X 방향으로 x＋C_x(y)만큼 떨어진 장소에 위치하는 화소)의 화소값 (≒f₂(x＋C_x(y))와 동일한 값인 것을 나타내고 있다. 환언하면, 식 (110)은 동일 화소값의 화소가 시프트량 C_x(y)에 대응하는 각도 θ 방향으로 계속되고 있는(대략 각도 θ 방향으로 정상성이 있는) 것을 나타내고 있다.

이와 같이, 시프트량 C_x(y)가 공간 방향의 정상성(지금의 경우, 도 214의 경사 G_F로 표시되는 정상성(엄밀하게는, 경사 G_f로 표시되는 데이터의 정상성))을 고려한 보정량이며, 시프트량 C_x(y)에 의해 식 (106)을 보정한 것이 식 (110)으로 된다.

이 경우, 도 211에서 나타낸 세선 함유 데이터 영역(2302)의 20개의 화소값 P(x, y)(단, x는 -1 내지 2 중 어느 하나의 정수값. y는 -2 내지 2 중 어느 하나의 정수값)의 각각을 전술한 식 (110)에 대입하면 다음의 식 (111)에서 나타나는 20개의 방정식이 생성된다.

···(111)

식 (111)은 전술한 식 (107)과 동일하게, 20개의 방정식으로 구성되어 있다. 따라서, 제1 방법과 동일하게 제2 방법에서도, 근사 함수 f₂(x)의 특징량 w_i의 개수가 20개보다 적은 경우, 즉, 근사 함수 f₂(x)가 19차보다 적은 차수의 다항식인 경우, 예를 들면, 최소 제곱법을 이용하여 특징량 w_i의 산출이 가능하다. 그리고, 최소 제곱법의 구체적인 해법은 후술한다.

예를 들면, 제1 방법과 동일하게 근사 함수 f₂(x)의 차수가 5차로된 경우, 제2 방법에서는, 다음과 같이 하여 특징량 w_i가 연산된다.

즉, 도 215는 식 (111)의 좌변에서 나타나는 화소값 P(x, y)를 그래프화한 것을 나타내고 있다. 도 215에서 나타나는 5개의 그래프 각각은 기본적으로 도 212에서 나타난 것과 동일하다.

도 215에서 나타낸 바와 같이, 최대의 화소값(세선에 대응하는 화소값)은 경사 G_f로 표시되는 데이터의 정상성 방향으로 계속되고 있다.

그래서, 제2 방법에서는, 도 215로 나타나는 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각을, 예를 들면, x축에 따라 가산 대입하는 경우, 제1 방법과 같이 그대로 가산 대입하는(y를 일정한 것으로 간주하고, 도 215에서 나타나는 상태인 채 5개의 그래프를 겹치는) 것이 아니고, 도 216에서 나타나는 상태에 변화시키고 나서 가산 대입한다.

즉, 도 216은 도 215에서 나타나는 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각을 전술한 식 (109)에서 나타나는 시프트량 C_x(y)만큼 시프트시킨 상태를 나타내고 있다. 환언하면, 도 216은 도 215에서 나타나는 5개의 그래프를 데이터 정상성의 실제 방향을 나타내는 경사 G_F를 마치 경사 G_F'로 하도록(도면 중, 점선의 직선을 실선의 직선으로 하도록) 이동시킨 상태를 나타내고 있다.

도 216의 상태에서, 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각을, 예를 들면, x축에 따라 가산 대입하면(도 216에서 나타낸 상태에서 5개의 그래프를 겹치면), 도 217에서 나타낸 바와 같은, x축에 평행한 복수개의 선(점선, 3점 쇄선, 실선, 1점 쇄선, 및 2점 쇄선)이 분포된다.

그리고, 도 217에서, 세로축은 화소값을 나타내고 있으며, 가로축은 주목 화소로부터의 상대 위치 x를 나타내고 있다. 또, 점선은 입력 화소값 P(x, -2)를, 3점 쇄선은 입력 화소값 P(x, -1)를, 실선은 입력 화소값 P(x, 0)를, 1점 쇄선은 입력 화소값 P(x, 1)를, 2점 쇄선은 입력 화소값 P(x, 2)를 각각 나타내고 있다. 또한, 동일한 화소값의 경우, 실제로는 2개 이상의 선이 겹치게 되지만, 도 217에서는, 각 선의 구별이 생기도록, 각 선의 각각이 중첩되지 않게 묘화되어 있다.

그리고, 이와 같이 분포된 20개의 입력 화소값 P(x, y)의 각각 (단, x는 -1 내지 2 중 어느 하나의 정수값. y는 -2 내지 2 중 어느 하나의 정수값)과, 값 f₂(x+C_x(y))의 오차가 최소가 되는 회귀 곡선(최소 제곱법에 의해 연산된 특징량 w_i를 전술한 식 (104)에 대입하여 얻어지는 근사 함수 f₂(x))는 도 217의 실선으로 나타낸 곡선 f₂(x)로 된다.

이와 같이, 제2 방법에 의해 생성된 근사 함수 f₂(x)는 데이터 정상성 검출부(101)(도 205)로부터 출력되는 각도 θ 방향(즉, 대략 공간 방향의 정상성 방향)의 입력 화소값 P(x, y)의 평균값을 X 방향으로 연결한 곡선을 나타내게 된다.

이에 대하여, 전술한 바와 같이, 제1 방법에 의해 생성된 근사 함수 f₁(x)는 Y 방향(즉, 공간 방향의 정상성과는 상이한 방향)의 입력 화소값 P(x, y)의 평균값을 X 방향으로 연결한 곡선을 단지 나타내고 있는 데 지나지 않는다.

따라서, 도 217에서 나타낸 바와 같이, 제2 방법에 의해 생성된 근사 함수 f₂(x)는 제1 방법에 의해 생성된 근사 함수 f₁(x)보다, 그 파형의 무디어진 정도가 감소하고, 또한 원래의 화소값에 대한 디테일의 줄어든 상태도 감소하는 함수로 된다. 환언하면, 도시는 하지 않지만, 제2 방법에 의해 생성되는 근사 함수 f₂(x)는 제1 방법에 의해 생성되는 근사 함수 f₁(x)보다 실제의 X 단면 파형 F(x)에 의해 가까운 파형으로 된다.

그러나, 전술한 바와 같이, 근사 함수 f₂(x)는 공간 방향의 정상성이 고려된 것이지만, 입력 화상(입력 화소값)을 원점(기준)으로 하여 생성된 것임에 틀림없다. 즉, 전술한 도 210에서 나타낸 바와 같이, 근사 함수 f₂(x)는 X 단면 파형 F(x)와는 상이한 입력 화상을 근사시킨 것에 지나지 않고, X 단면 파형 F(x)를 근사시킨 것이라고는 말하기 어렵다. 환언하면, 제2 방법은 전술한 식 (110)이 성립되는 것으로 하여 특징량 w_i를 연산하는 방법이며, 전술한 식 (104)의 관계는 고려하고 있지 않다(센서(2)의 적분 효과를 고려하고 있지 않다).

그래서, 본원 출원인은 제2 방법에 대하여, 센서(2)의 적분 효과를 더욱 고려함으로써 근사 함수 f₃(x)의 특징량 w_i를 연산하는 제3 방법을 발명했다.

즉, 제3 방법은 공간 혼합 영역의 개념을 도입한 방법이다.

제3 방법의 설명 전에, 도 218을 참조하여, 공간 혼합 영역에 대하여 설명한다.

도 218에서, 실세계(1)의 광 신호의 1 부분(2321)(이하, 영역(2321)이라고 칭함)은 센서(2)의 하나의 검출 소자(화소)와 동일 면적을 가지는 영역을 나타내고 있다.

영역(2321)이 센서(2)에 검출되면, 센서(2)로부터는, 영역(2321)이 시공간 방향(X 방향, Y 방향, 및 t 방향)으로 적분된 값(1개의 화소값)(2322)이 출력된다. 그리고, 화소값(2322)은 도면 중, 화상으로서 표현되어 있지만, 실제로는, 소정값을 나타내는 데이터이다.

실세계(1)의 영역(2321)은 전경(前景)(예를 들면, 전술한 세선)에 대응하는 광 신호(도면 중 흰 영역)와, 배경(背景)에 대응하는 광 신호(도면 중 검은 영역)로 명확하게 구분된다.

이에 대하여, 화소값(2322)은 전경에 대응하는 실세계(1)의 광 신호와, 배경에 대응하는 실세계(1)의 광 신호가 적분된 값이다. 환언하면, 화소값(2322)은 전경에 대응하는 광의 레벨과 배경에 대응하는 광의 레벨이 공간적으로 혼합된 레벨에 대응하는 값이다.

이와 같이, 실세계(1)의 광 신호 중 1 화소(센서(2)의 검출 소자)에 대응하는 부분이, 동일 레벨의 광 신호가 공간적으로 똑같이 분포되는 부분이 아니고, 전경과 배경과 같이 상이한 레벨의 광 신호의 각각이 분포되는 부분인 경우, 그 영역은 센서(2)에 의해 검출되면, 센서(2)의 적분 효과에 의해 상이한 광의 레벨이 마치 공간적으로 혼합되어(공간 방향으로 적분되어) 1개의 화소값으로 되어 버린다. 이와 같이, 전경에 대한 화상(실세계(1)의 광 신호)과, 배경에 대한 화상(실세계(1)의 광 신호)이 공간적으로 적분되어 있는 화소로 이루어지는 영역을, 여기에서는, 공간 혼합 영역이라고 칭하고 있다.

따라서, 제3 방법에서는, 실세계 추정부(102)(도 205)가 실세계(1)의 원래의 영역(2321)(실세계(1)의 광 신호 중, 센서(2)의 1 화소에 대응하는 부분(2321))을 나타내는 X 단면 파형 F(x)를, 예를 들면, 도 219에서 나타낸 바와 같은, 1차 다항식인 근사 함수 f₃(x)로 근사시킴으로써, X 단면 파형 F(x)를 추정한다.

즉, 도 219는 공간 혼합 영역인 화소값(2322)(도 218)에 대응하는 근사 함수 f₃(x), 즉, 실세계(1)의 영역(2331) 내의 실선(도 218)에 대응하는 X 단면 파형 F(x)를 근사시키는 근사 함수 f₃(x)의 예를 나타내고 있다. 도 219에서, 도면 중 수평 방향의 축은 화소값(2322)에 대응하는 화소의 좌측 하단 x_s로부터 우측 하단 x_e까지의 변(도 218)에 평행한 축을 나타내고 있으며, x축으로 되어 있다. 도면 중 수직 방향의 축은 화소값을 나타내는 축으로 되어 있다.

도 219에서, 근사 함수 f₃(x)를 x_s로부터 x_e의 범위(화소폭)에서 적분한 것이, 센서(2)로부터 출력되는 화소값 P(x, y)와 대략 일치하는(오차 e만큼 존재하는) 것으로 하여 다음의 식 (112)를 정의한다.

···(112)

지금의 경우, 도 214에서 나타낸 세선 함유 데이터 영역(2302)의 20개의 화소값 P(x, y)(단, x는 -1 내지 2 중 어느 하나의 정수값. y는 -2 내지 2 중 어느 하나의 정수값)로부터 근사 함수 f₃(x)의 특징량 w_i가 산출되므로, 식 (112)의 화소값 P는 화소값 P(x, y)로 된다.

또, 제2 방법과 동일하게, 공간 방향의 정상성도 고려할 필요가 있으므로, 식 (112)의 적분 범위의 개시 위치 x_s와 종료 위치 x_e의 각각은 시프트량 C_x(y)에도 의존하게 된다. 즉, 식 (112)의 적분 범위의 개시 위치 x_s와 종료 위치 x_e의 각각은 다음의 식 (113)과 같이 표현된다.

···(113)

이 경우, 도 214에서 나타낸 세선 함유 데이터 영역(2302)의 각 화소값의 각각, 즉, 도 215에서 나타나는 입력 화소값 P(x, -2), P(x, -1), P(x, 0), P(x, 1), P(x, 2)의 각각(단, x는 -1 내지 2 중 어느 하나의 정수값)을 전술한 식 (112)(적분 범위는 전술한 식 (113))에 대입하면 다음의 식 (114)에서 나타나는 20개의 방정식이 생성된다.

···(114)

식 (114)은 전술한 식 (111)과 동일하게, 20개의 방정식으로 구성되어 있다. 따라서, 제2 방법과 동일하게 제3 방법에서도, 근사 함수 f₃(x)의 특징량 w_i의 개수가 20개보다 적은 경우, 즉, 근사 함수 f₃(x)가 19차보다 적은 차수의 다항식인 경우, 예를 들면, 최소 제곱법을 이용하여 특징량 w_i의 산출이 가능하다. 그리고, 최소 제곱법의 구체적인 해법은 후술한다.

예를 들면, 근사 함수 f₃(x)의 차수가 5차로 된 경우, 식 (114)을 이용하여 최소 제곱법에 의해 연산된 근사 함수 f₃(x)(연산된 특징량 w_i에 의해 생성되는 근사 함수 f₃(x))는 도 220의 실선으로 나타낸 곡선과 같이 된다.

그리고, 도 220에서, 세로축은 화소값을 나타내고 있으며, 가로축은 주목 화소로부터의 상대 위치 x를 나타내고 있다.

도 220에서 나타낸 바와 같이, 제3 방법에 의해 생성된 근사 함수 f₃(x)(도면 중, 실선으로 나타낸 곡선)는 제2 방법에 의해 생성된 근사 함수 f₂(x)(도면 중, 점선으로 나타낸 곡선)와 비교하면, x=0에서의 화소값이 커지고, 또, 곡선의 경사 정도도 심한 파형으로 된다. 이것은 입력 화소로부터 디테일이 증가하여, 입력 화소의 해상도와는 무관계로 되어 있기 때문이다. 즉, 근사 함수 f₃(x)는 X 단면 파형 F(x)를 근사시키고 있다고 말할 수 있다. 따라서, 도시는 하지 않지만, 근사 함수 f₃(x)는 근사 함수 f₂(x)보다 X 단면 파형 F(x)에 가까운 파형으로 된다.

도 221은 이와 같은 1차 다항식 근사 방법을 이용하는 실세계 추정부(102)의 구성예를 나타내고 있다.

도 221에서, 실세계 추정부(102)는, 예를 들면, 특징량 w_i를 전술한 제3 방법(최소 제곱법)에 의해 연산하고, 연산한 특징량 w_i를 이용하여 전술한 식 (105)의 근사 함수 f(x)를 생성함으로써, X 단면 파형 F(x)를 추정한다.

도 221에서 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(2331), 입력 화상 기억부(2332), 입력 화소값 취득부(2333), 적분 성분 연산부(2334), 정규 방정식 생성부(2335), 및 근사 함수 생성부(2336)가 형성되어 있다.

조건 설정부(2331)는 주목 화소에 대응하는 X 단면 파형 F(x)를 추정하기 위해 사용하는 화소의 범위(이하, 탭 범위라고 칭함)나, 근사 함수 f(x)의 차수 n을 설정한다.

입력 화상 기억부(2332)는 센서(2)로부터의 입력 화상(화소값)을 1차적으로 저장한다.

입력 화소값 취득부(2333)는 입력 화상 기억부(2332)에 기억된 입력 화상 중, 조건 설정부(2231)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(2335)에 공급한다. 즉, 입력 화소값 테이블은 입력 화상의 영역에 포함되는 각 화소 각각의 화소값이 기술된 테이블이다. 그리고, 입력 화소값 테이블의 구체예에 대해서는 후술한다.

그런데, 여기에서는, 실세계 추정부(102)는 전술한 식 (112)와 식 (113)을 이용하여 최소 제곱법에 의해 근사 함수 f(x)의 특징량 w_i를 연산하지만, 전술한 식 (112)는 다음의 식 (115)와 같이 표현할 수 있다.

···(115)

식 (115)에서, S_i(x_s, x_e)는 i차 항의 적분 성분을 나타내고 있다. 즉, 적분 성분 S_i(x_s, x_e)는 다음의 식 (116)으로 나타난다.

···(116)

적분 성분 연산부(2334)는 이 적분 성분 S_i(x_s, x_e)를 연산한다.

구체적으로는, 식 (116)에서 나타낸 적분 성분 S_i(x_s, x_e)(단, 값 x_s와 값 x_e는 전술한 식 (112)에서 나타낸 값)는 상대 화소 위치(x, y), 시프트량 C_x(y), 및 i차 항의 i를 이미 알고 있으면 연산 가능하다. 또, 이들 중의, 상대 화소 위치(x, y)는 주목 화소와 탭 범위에 의해, 시프트량 C_x(y)는 각도 θ에 의해(전술한 식 (107)과 식 (109)에 의해), i의 범위는 차수 n에 의해 각각 결정된다.

따라서, 적분 성분 연산부(2334)는 조건 설정부(2331)에 의해 설정된 탭 범위 및 차수, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중 각도 θ에 따라 적분 성분 S_i(x_s, x_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(2335)에 공급한다.

정규 방정식 생성부(2335)는 입력 화소값 취득부(2333)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(2334)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식 (112), 즉, 식 (115)의 우변 특징량 w_i를 최소 제곱법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(2336)에 공급한다. 그리고, 정규 방정식의 구체예에 대해서는 후술한다.

근사 함수 생성부(2336)는 정규 방정식 생성부(2335)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해방으로 푸는 것에 의해, 전술한 식 (115)의 특징량 w_i(즉, 1차원 다항식인 근사 함수 f(x)의 계수 w_i)의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 222의 플로차트를 참조하여, 1차원 다항식 근사 방법을 이용하는 실세계 추정부(102)(도 221)의 실세계 추정 처리(도 40의 스텝 S102의 처리)에 대하여 설명한다.

예를 들면, 지금, 센서(2)로부터 출력된 1 프레임의 입력 화상으로서, 전술한 도 207의 세선 함유 데이터 영역(2302)을 포함하는 입력 화상이 이미 입력 화상 기억부(2332)에 기억되어 있는 것으로 한다. 또, 데이터 정상성 검출부(101)가 스텝 S101(도 40)의 정상성 검출 처리에서, 세선 함유 데이터 영역(2302)에 대하여 그 처리를 실행하고, 데이터 정상성 정보로서 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 도 222의 스텝 S2301에서, 조건 설정부(2331)는 조건(탭 범위와 차수)을 설정한다.

예를 들면, 지금, 도 223에서 나타낸 탭 범위(2351)가 설정되는 동시에, 차수로서 5차가 설정된 것으로 한다.

즉, 도 223은 탭 범위의 일례를 설명한 도면이다. 도 223에서, X 방향과 Y 방향은 센서(2)의 X 방향과 Y 방향(도 206)을 나타내고 있다. 또, 탭 범위(2351)는 X 방향으로 4 화소분, 또한 Y 방향으로 5 화소분인 총계 20개의 화소(도면 중, 20개의 정방형)로 이루어지는 화소군을 나타내고 있다.

또한, 도 223에서 나타낸 바와 같이, 주목 화소가 탭 범위(2351) 중, 도면 중, 좌측으로부터 2 화소째이며, 아래로부터 3 화소째의 화소에 설정되는 것으로 한다. 또, 각 화소의 각각에 대하여, 주목 화소로부터의 상대 화소 위치(x, y)(주목 화소의 중심(0, 0)을 원점으로 하는 주목 화소 좌표계의 좌표값)에 따라, 도 223에서 나타낸 바와 같은 번호 1(1은 0 내지 19 중 어느 하나의 정수값)이 부여되는 것으로 한다.

도 222로 복귀하여, 스텝 S2302에서, 조건 설정부(2331)는 주목 화소를 설정한다.

스텝 S2303에서, 입력 화소값 취득부(2333)는 조건 설정부(2331)에 의해 설정된 조건(탭 범위)에 따라 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 즉, 지금의 경우, 입력 화소값 취득부(2333)는 세선 함유 데이터 영역(2302)(도 211)을 취득하고, 입력 화소값 테이블로서, 20개의 입력 화소값 P(1)으로 이루어지는 테이블을 생성한다.

그리고, 지금의 경우, 입력 화소값 P(1)와, 전술한 입력 화소값 P(x, y)의 관계는 다음의 식 (117)에서 나타내는 관계로 된다. 단, 식 (117)에서, 좌변이 입력 화소값 P(1)를 나타내고, 우변이 입력 화소값 P(x, y)를 나타내고 있다.

···(117)

스텝 S2304에서, 적분 성분 연산부(2334)는 조건 설정부(2331)에 의해 설정된 조건(탭 범위 및 차수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하여, 적분 성분 테이블을 생성한다.

지금의 경우, 전술한 바와 같이, 입력 화소값은 P(x, y)가 아니고 P(1)라고 하는, 화소의 번호 1의 값으로서 취득되므로, 적분 성분 연산부(2334)는 전술한 식 (116)의 적분 성분 S_i(x_s, x_e)를 다음의 식 (118)의 좌변에서 나타나는 적분 성분 Si(1)라는 1의 함수로서 연산한다.

S_i(1)= S_i(x_s, x_e) ···(118)

구체적으로는, 지금의 경우, 다음의 식 (119)에서 나타나는 적분 성분 S_i(1)가 연산된다.

···(119)

그리고, 식 (119)에서, 좌변이 적분 성분 S_i(1)를 나타내고, 우변이 적분 성분 S_i(x_s, x_e)를 나타내고 있다. 즉, 지금의 경우, i는 0 내지 5이므로, 20개의 S₀(1), 20개의 S₁(1), 20개의 S₂(1), 20개의 S₃(1), 20개의 S₄(1), 20개의 S₅(1)인 총계 120개의 S_i(1)가 연산되게 된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(2334)는 데이터 정상성 검출부(101)로부터 공급된 각도 θ를 사용하여, 시프트량 C_x(-2), C_x(-1), C_x(1), C_x(2)의 각각을 연산한다. 다음에, 적분 성분 연산부(2334)는 연산한 시프트량 C_x(-2), C_x(-1), C_x(1), C_x(2)를 사용하여 식 (118)의 우변에 나타나는 20개의 적분 성분 S_i(x_s, x_e)의 각각을 i=0 내지 5의 각각에 대하여 연산한다. 즉, 120개의 적분 성분 S_i(x_s, x_e)가 연산된다. 그리고, 이 적분 성분 S_i(x_s, x_e)의 연산에서는, 전술한 식 (116)이 사용된다. 그리고, 적분 성분 연산부(2334)는 식 (119)에 따라, 연산한 120개의 적분 성분 S_i(x_s, x_e)의 각각을 대응하는 적분 성분 S_i(1)로 변환하고, 변환한 120개의 적분 성분 S_i(1)를 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S2303의 처리와 스텝 S2304의 처리의 순서는, 도 222의 예에 한정되지 않고, 스텝 S2304의 처리가 먼저 실행되어도 되고, 스텝 S2303의 처리와 스텝 S2304의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S2305에서, 정규 방정식 생성부(2335)는 스텝 S2303의 처리에서 입력 화소값 취득부(2333)에 의해 생성된 입력 화소값 테이블과, 스텝 S2304의 처리에서 적분 성분 연산부(2334)에 의해 생성된 적분 성분 테이블에 따라, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 최소 제곱법에 의해 전술한 식 (115)에 대응하는 다음의 식 (120)의 특징량 w_i를 연산한다. 그리고, 그에 대응하는 정규 방정식은 다음의 식 (121)과 같이 표현된다.

···(120)

···(121)

그리고, 식 (121)에서, L은 탭 범위 화소의 번호 1 중 최대값을 나타내고 있다. n은 다항식인 근사 함수 f(x)의 차수를 나타내고 있다. 구체적으로는, 지금의 경우, n=5로 되고, L=19로 된다.

식 (121)에서 나타낸 정규 방정식의 각 행렬의 각각을 다음의 식 (122) 내지 (124)와 같이 정의하면, 정규 방정식은 다음의 식 (125)과 같이 표현된다.

···(122)

···(123)

···(124)

···(125)

식 (123)에서 나타낸 바와 같이, 행렬 W_MAT의 각 성분은 구하고 싶은 특징량 w_i이다. 따라서, 식 (125)에서, 좌변의 행렬 S_MAT와 우변의 행렬 P_MAT가 결정되면, 행렬 해법에 따라 행렬 W_MAT(즉, 특징량 w_i)의 산출이 가능하다.

구체적으로는, 식 (122)에서 나타낸 바와 같이, 행렬 S_MAT의 각 성분은 전술한 적분 성분 S_i(1)를 이미 알고 있으면 연산 가능하다. 적분 성분 S_i(1)는 적분 성분 연산부(2334)로부터 공급된 적분 성분 테이블에 포함되어 있으므로, 정규 방정식 생성부(2335)는 적분 성분 테이블을 이용하여 행렬 S_MAT의 각 성분을 연산할 수 있다.

또, 식 (124)에서 나타낸 바와 같이, 행렬 P_MAT의 각 성분은 적분 성분 S_i(1)와 입력 화소값 P(1)를 이미 알고 있으면 연산 가능하다. 적분 성분 S_i(1)는 행렬 S_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 입력 화소값 P(1)는 입력 화소값 취득부(2333)로부터 공급된 입력 화소값 테이블에 포함되어 있으므로, 정규 방정식 생성부(2335)는 적분 성분 테이블과 입력 화소값 테이블을 이용하여 행렬 P_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(2335)는 행렬 S_MAT와 행렬 P_MAT의 각 성분을 연산하고, 그 연산 결과(행렬 S_MAT와 행렬 P_MAT의 각 성분)를 정규 방정식 테이블로서 근사 함수 생성부(2336)에 출력한다.

정규 방정식 생성부(2335)로부터 정규 방정식 테이블이 출력되면 스텝 S2306에서, 근사 함수 생성부(2336)는 정규 방정식 테이블에 따라, 전술한 식 (125)의 행렬 W_MAT의 각 성분인 특징량 w_i(즉, 1차원 다항식인 근사 함수 f(x)의 계수 w_i)를 연산한다.

구체적으로는, 전술한 식 (125)의 정규 방정식은 다음의 식 (126)과 같이 변형할 수 있다.

···(126)

식 (126)에서, 좌변의 행렬 W_MAT의 각 성분이 구하고 싶은 특징량 w_i이다. 또, 행렬 S_MAT와 행렬 P_MAT의 각각의 각 성분은 정규 방정식 생성부(2335)로부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(2336)는 정규 방정식 테이블을 이용하여, 식 (126) 우변의 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.

스텝 S2307에서, 근사 함수 생성부(2336)는 전 화소의 처리를 종료했는지 여부를 판정한다.

스텝 S2307에서, 전 화소의 처리가 아직 종료되어 있지 않다고 판정된 경우, 처리는 스텝 S2302로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 되지 않은 화소가 차례로 주목 화소로 되어, 스텝 S2302 내지 S2307의 처리가 반복된다.

그리고, 전 화소의 처리가 종료되면(스텝 S2307에서, 전 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료된다.

그리고, 이상과 같이 하여 연산된 계수(특징량) w_i에 의해 생성되는 근사 함수 f(x)의 파형은 전술한 도 220의 근사 함수 f₃(x)와 같은 파형으로 된다.

이와 같이, 1차원 다항식 근사 방법에서는, 1차원의 X 단면 파형 F(x)와 동일 형상의 파형이 정상성의 방향으로 연속되어 있다고 가정하여, 1차원 다항식인 근사 함수 f(x)의 특징량이 연산된다. 따라서, 1차원 다항식 근사 방법에서는, 다른 함수 근사 방법과 비교하여, 적은 연산 처리량으로 근사 함수 f(x)의 특징량 산출이 가능하게 된다.

환언하면, 1차원 다항식 근사 방법에서는, 예를 들면, 도 205(도 3)의 데이터 정상성 검출부(101)가 각각 시공간 적분 효과를 가지는, 센서의 복수개 검출 소자(예를 들면, 도 206의 센서(2)의 검출 소자(2-1))에 의해 실세계(1)의 광 신호(예를 들면, 도 207의 실세계(1)의 광 신호의 1 부분(2301))가 투영되어, 실세계(1)의 광 신호의 정상성(예를 들면, 도 214의 경사 G_F로 표시되는 정상성)의 일부가 결락된, 검출 소자(2-1)에 의해 투영된 화소값(예를 들면, 도 212의 각 그래프에 나타나는 입력 화소값 P(x, y))을 가지는 복수개의 화소로 이루어지는 화상 데이터(예를 들면, 도 207의 화상 데이터(입력 화상의 영역)(2302))에 있어서의 데이터의 정상성(예를 들면, 도 214의 경사 G_f로 표시되는 데이터의 정상성)을 검출한다.

예를 들면, 도 205(도 3)의 실세계 추정부(102)는 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 대응하여, 화상 데이터의 시공간 방향 중 1차원 방향(예를 들면, 도 209의 화살표 2311, 즉, X 방향)의 위치에 대응하는 화소의 화소값(예를 들면, 전술한 식 (112)의 좌변인 입력 화소값 P)이 1차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 식 (112)의 우변에 나타낸 바와 같이, 근사 함수 f₃(x)가 X 방향으로 적분된 값)인 것으로 하여, 실세계(1)의 광 신호를 나타내는 광 신호 함수 F(구체적으로는, X 단면 파형 F(x))를 소정 근사 함수 f(구체적으로는, 예를 들면, 도 220의 근사 함수 f₃(x))로 근사시킴으로써, 광 신호 함수 F를 추정한다.

상세하게는, 예를 들면, 실세계 추정부(102)는 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 대응하는 선(예를 들면, 도 216의 경사 G_f에 대응하는 선(점선)으로부터의 1차원 방향(예를 들면, X 방향)에 따른 거리(예를 들면, 도 216의 시프트량 Cx(y))에 대응하는 화소의 화소값이 1차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 전술한 식 (112)에 나타낸 바와 같은 적분 범위에서, 식 (112)의 우변에 나타나는 바와 같이, 근사 함수 f₃(x)가 X 방향으로 적분된 값)인 것으로 하여, 광 신호 함수 F를 근사 함수 f로 근사시킴으로써, 광 신호 함수 F를 추정한다.

따라서, 1차원 다항식 근사 방법에서는, 다른 함수 근사 방법과 비교하여, 적은 연산 처리량으로 근사 함수 f(x)의 특징량 산출이 가능하게 된다.

다음에, 도 224 내지 도 230을 참조하여, 제2 함수 근사 방법에 대하여 설명한다.

즉, 제2 함수 근사 방법이란, 예를 들면, 도 224에서 나타낸 바와 같은, 경사 GF_로 표현되는 공간 방향의 정상성을 가지는 실세계(1)의 광 신호를 X－Y 평면 상(공간 방향의 1 방향인 X 방향과, X 방향으로 수직인 Y 방향으로 수평인 평면 상)의 파형 F(x, y)로 간주하여, 2차원 다항식인 근사 함수 f(x, y)로 파형 F(x, y)를 근사시킴으로써, 그 파형 F(x, y)를 추정하는 방법이다. 따라서, 이하, 제2 함수 근사 방법을 2차원 다항식 근사 방법이라고 칭한다.

그리고, 도 224에서, 도면 중, 수평 방향은 공간 방향의 1 방향인 X 방향을, 우측 상 방향은 공간 방향의 다른 방향인 Y 방향을, 수직 방향은 광의 레벨을 각각 나타내고 있다. G_F는 공간 방향의 정상성 경사를 나타내고 있다.

또, 2차원 다항식 근사 방법의 설명에서도, 센서(2)는 도 225에서 나타낸 바와 같은, 복수개의 검출 소자(2-1)가 그 평면 상에 배치되어 구성되는 CCD로 된다.

도 225의 예에서는, 검출 소자(2-1)의 소정 1변에 평행한 방향이 공간 방향의 1 방향인 X 방향으로 되어 있고, X 방향으로 수직인 방향이 공간 방향의 다른 방향인 Y 방향으로 되어 있다. 그리고, X－Y 평면에 수직인 방향이 시간 방향인 t 방향으로 되어 있다.

또, 도 225의 예에서는, 센서(2)의 각 검출 소자(2-1) 각각의 공간적인 형상은 1변의 길이가 1의 정방형으로 되어 있다. 그리고, 센서(2)의 셔터 시간(노광 시간)이 1로 되어 있다.

또한, 도 225의 예에서는, 센서(2)의 소정 1개의 검출 소자(2-1) 중심이 공간 방향(X 방향과 Y 방향)의 원점(X 방향의 위치 x=0, 및 Y 방향의 위치 y=0)으로 되어 있고, 또, 노광 시간의 중간 시각이 시간 방향(t 방향)의 원점(t 방향의 위치 t=0)으로 되어 있다.

이 경우, 공간 방향의 원점(x=0, y=0)에 그 중심이 존재하는 검출 소자(2-1)는 X 방향으로 ―0.5 내지 0.5의 범위, Y 방향으로 ―0.5 내지 0.5의 범위, 및 t 방향으로 ―0.5 내지 0.5의 범위에서 광 신호 함수 F(x, y, t)를 적분하고, 그 적분값을 화소값 P로서 출력하게 된다.

즉, 공간 방향의 원점에 그 중심이 존재하는 검출 소자(2-1)로부터 출력되는 화소값 P는 다음의 식 (127)로 표현된다.

···(127)

그 밖의 검출 소자(2-1)도 동일하게, 대상으로 하는 검출 소자(2-1)의 중심을 공간 방향의 원점으로 함으로써, 식 (127)에서 나타나는 화소값 P를 출력하게 된다.

그런데, 전술한 바와 같이, 2차원 다항식 근사 방법은 실세계(1)의 광 신호를 예를 들면, 도 224에서 나타낸 바와 같은 파형 F(x, y)로서 취급하고, 그 2차원 파형 F(x, y)를 2차원 다항식인 근사 함수 f(x, y)에 근사시키는 방법이다.

그래서, 처음에, 이와 같은 근사 함수 f(x, y)를 2차원 다항식으로 표현하는 방법에 대하여 설명한다.

전술한 바와 같이, 실세계(1)의 광 신호는 3차원 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 광 신호 함수 F(x, y, t)로 표현된다. 이 광 신호 함수 F(x, y, t)를 Y 방향의 임의의 위치 y에서, X 방향으로 투영한 1차원의 파형을 여기에서는 X 단면 파형 F(x)라고 칭하고 있다.

이 X 단면 파형 F(x)에 주목하면, 실세계(1)의 신호가 공간 방향의 소정 방향으로 정상성을 가지고 있는 경우, X 단면 파형 F(x)와 동일 형상의 파형이 그 정상성의 방향으로 연속되어 있다고 생각할 수 있다. 예를 들면, 도 224의 예에서는, X 단면 파형 F(x)와 동일 형상의 파형이 경사 G_F의 방향으로 연속되어 있다. 환언하면, X 단면 파형 F(x)와 동일 형상의 파형이 경사 G_F의 방향으로 연속되어, 파형 F(x, y)가 형성되어 있다고도 말할 수 있다.

따라서, 파형 F(x, y)를 근사시키는 근사 함수 f(x, y)의 파형은 X 단면 파형 F(x)를 근사시키는 근사 함수 f(x)와 동일 형상의 파형이 연속되어 형성된다고 생각함으로써, 근사 함수 f(x, y)를 2차원 다항식으로 표현하는 것이 가능하게 된다.

더욱 상세하게, 근사 함수 f(x, y)의 표현 방법에 대하여 설명한다.

예를 들면, 지금, 전술한 도 224에서 나타낸 바와 같은, 실세계(1)의 광 신호, 즉, 경사 G_F로 표현되는 공간 방향의 정상성을 가지는 광 신호가 센서(2)(도 225)에 의해 검출되어 입력 화상(화소값)으로서 출력된 것으로 한다.

또한, 도 226에서 나타낸 바와 같이, 데이터 정상성 검출부(101)(도 3)가 이 입력 화상 중, X 방향으로 4 화소분, 또한 Y 방향으로 5 화소분인 총계 20개의 화소(도면 중, 점선으로 표현되는 20개의 정방형)로 구성되는 입력 화상의 영역(2401)에 대하여 그 처리를 실행하고, 데이터 정상성 정보의 하나로서 각도 θ(경사 G_F에 대응하는 경사 G_f로 표시되는 데이터의 정상성 방향과 X 방향이 이루는 각도 θ)를 출력한 것으로 한다.

그리고, 입력 화상의 영역(2401)에서, 도면 중 수평 방향은 공간 방향의 1 방향인 X 방향을 나타내고 있으며, 도면 중 수직 방향은 공간 방향의 다른 방향인 Y 방향을 나타내고 있다.

또, 도 226 중, 좌로부터 2 화소째이며, 아래로부터 3 화소째의 화소가 주목 화소로 되고, 그 주목 화소의 중심을 원점(0, 0)으로 하도록 (x, y) 좌표계가 설정되어 있다. 그리고, 원점(0, 0)을 통과하는 각도 θ의 직선(데이터의 정상성 방향을 나타내는 경사 G_f의 직선)에 대한 X 방향의 상대적인 거리(이하, 단면 방향 거리라고 칭함)가 x'로 기술되어 있다.

또한, 도 226 중, 우측의 그래프는 X 단면 파형 F(x)'가 근사된 함수로서, n차(n은 임의의 정수)의 다항식인 근사 함수 f(x)'를 나타내고 있다. 우측 그래프의 축 중, 도면 중 수평 방향의 축은 단면 방향 거리를 나타내고 있으며, 도면 중 수직 방향의 축은 화소값을 나타내고 있다.

이 경우, 도 226에서 나타낸 근사 함수 f(x)'는 n차 다항식이므로, 다음의 식 (128)과 같이 표현된다.

···(128)

또, 각도 θ가 결정되어 있기 때문에, 원점(0, 0)을 통과하는 각도 θ의 직선은 일의적으로 결정되며, Y 방향의 임의의 위치 y에 있어서의 직선의 X 방향 위치 x₁가 다음의 식 (129)과 같이 표현된다. 단, 식 (129)에서, s는 cotθ를 나타내고 있다.

x₁ = s×y ···(129)

즉, 도 226에서 나타낸 바와 같이, 경사 G_f로 표시되는 데이터의 정상성에 대응하는 직선 상의 점은 좌표값(x₁, y)으로 표현된다.

식 (129)로부터 단면 방향 거리 x'는 다음의 식 (130)과 같이 표현된다.

x' = x－x₁ = x－s×y ···(130)

따라서, 입력 화상의 영역(2401) 내의 임의의 위치(x, y)에서의 근사 함수 f(x, y)는 식 (128)과 식 (130)으로부터 다음의 식 (131)과 같이 나타난다.

···(131)

그리고, 식 (131)에서, w_i는 근사 함수 f(x, y)의 계수를 나타내고 있다. 그리고, 근사 함수 f(x, y)를 포함하는 근사 함수 f의 계수 w_i를 근사 함수 f의 특징량과 위치를 정할 수도 있다. 따라서, 이하, 근사 함수 f의 계수 w_i를 근사 함수 f의 특징량 w_i라고도 칭한다.

이와 같이 하여, 각도 θ를 이미 알고 있으면, 2차원 파형의 근사 함수 f(x, y)를 식 (131)의 다항식으로서 표현할 수 있다.

따라서, 실세계 추정부(102)는 식 (131)의 특징량 w_i를 연산할 수 있으면, 도 224에서 나타낸 바와 같은 파형 F(x, y)를 추정할 수 있다.

그래서, 이하, 식 (131)의 특징량 w_i를 연산하는 방법에 대하여 설명한다.

즉, 식 (131)로 표현되는 근사 함수 f(x, y)를 화소(센서(2)의 검출 소자(2-1)(도 225))에 대응하는 적분 범위(공간 방향의 적분 범위)에서 적분하면, 그 적분값이 화소의 화소값의 추정값으로 된다. 이것을 식으로 표현한 것이 다음의 식 (132)이다. 그리고, 2차원 다항식 근사 방법에서는, 시간 방향 t는 일정값으로 간주되므로, 식 (132)는 공간 방향(X 방향과 Y방법)의 위치 x, y를 변수로 하는 방정식으로 되어 있다.

···(132)

식 (132)에서, P(x, y)는 센서(2)로부터의 입력 화상 중, 그 중심 위치가 위치(x, y)(주목 화소로부터의 상대 위치(x, y))에 존재하는 화소의 화소값을 나타내고 있다. 또, e는 오차를 나타내고 있다.

이와 같이, 2차원 다항식 근사 방법에서는, 입력 화소값 P(x, y)와, 2차원 다항식인 근사 함수 f(x, y)의 관계를 식 (132)로 표현하는 것이 가능하므로, 실세계 추정부(102)는 식 (132)를 이용하여, 특징량 w_i를, 예를 들면, 최소 제곱법 등에 의해 연산함으로써(연산한 특징량 w_i를 식 (130)에 대입하여 근사 함수 f(x, y)를 생성함으로써), 2차원 함수 F(x, y)(경사 G_F(도 224)로 표시되는 공간 방향의 정상성을 가지는 실세계(1)의 광 신호를 공간 방향으로 주목하여 나타낸 파형 F(x, y))를 추정하는 것이 가능하게 된다.

도 227은 이와 같은 2차원 다항식 근사 방법을 이용하는 실세계 추정부(102)의 구성예를 나타내고 있다.

도 227에서 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(2421), 입력 화상 기억부(2422), 입력 화소값 취득부(2423), 적분 성분 연산부(2424), 정규 방정식 생성부(2425), 및 근사 함수 생성부(2426)가 형성되어 있다.

조건 설정부(2421)는 주목 화소에 대응하는 함수 F(x, y)를 추정하기 위해 사용하는 화소의 범위(탭 범위)나, 근사 함수 f(x, y)의 차수 n을 설정한다.

입력 화상 기억부(2422)는 센서(2)로부터의 입력 화상(화소값)을 1차 저장한다.

입력 화소값 취득부(2423)는 입력 화상 기억부(2422)에 기억된 입력 화상 중, 조건 설정부(2421)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(2425)에 공급한다. 즉, 입력 화소값 테이블은 입력 화상의 영역에 포함되는 각 화소 각각의 화소값이 기술된 테이블이다. 그리고, 입력 화소값 테이블의 구체예에 대해서는 후술한다.

그런데, 전술한 바와 같이, 2차원 다항식 근사 방법을 이용하는 실세계 추정부(102)는 전술한 식 (132)를 최소 제곱법으로 푸는 것에 의해, 전술한 식 (131)에서 나타나는 근사 함수 f(x, y)의 특징량 w_i를 연산한다.

식 (132)는 다음의 식 (133) 내지 식 (135)를 사용함으로써 얻어지는 다음의 식 (136)을 사용함으로써, 다음의 식 (137)과 같이 표현할 수 있다.

···(133)

···(134)

···(135)

···(136)

···(137)

식 (137)에서, S_i(x-0.5, x+0.5, y-0.5, y+0.5)는 i차 항의 적분 성분을 나타내고 있다. 즉, 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)는 다음의 식 (138)에서 나타나는 대로이다.

···(138)

적분 성분 연산부(2424)는 이 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)를 연산한다.

구체적으로는, 식 (138)에서 나타난 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)는 상대 화소 위치(x, y), 전술한 식 (131)에서의 변수 s, 및 i차 항의 i를 이미 알고 있으면, 연산 가능하다. 이들 중, 상대 화소 위치(x, y)는 주목 화소와 탭 범위에 의해, 변수 s는 cotθ이므로 각도 θ에 의해, i의 범위는 차수 n에 의해 각각 결정된다.

따라서, 적분 성분 연산부(2424)는 조건 설정부(2421)에 의해 설정된 탭 범위 및 차수, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중 각도 θ에 따라 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(2425)에 공급한다.

정규 방정식 생성부(2425)는 입력 화소값 취득부(2423)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(2424)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식 (132), 즉, 식 (137)을 최소 제곱법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(2426)에 출력한다. 그리고, 정규 방정식의 구체예에 대해서는 후술한다.

근사 함수 생성부(2426)는 정규 방정식 생성부(2425)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해방으로 푸는 것에 의해, 전술한 식 (132)의 특징량 w_i(즉, 2차원 다항식인 근사 함수 f(x, y)의 계수 w_i)의 각각을 연산하여, 화상 생성부(103)에 출력한다.

다음에, 도 228의 플로차트를 참조하여, 2차원 다항식 근사 방법이 적용되는 실세계의 추정 처리(도 40의 스텝 S102의 처리)에 대하여 설명한다.

예를 들면, 지금, 경사 G_F로 표시되는 공간 방향의 정상성을 가지는 실세계(1)의 광 신호가 센서(2)(도 225)에 의해 검출되고, 1 프레임에 대응하는 입력 화상으로서, 입력 화상 기억부(2422)에 이미 기억되어 있는 것으로 한다. 또, 데이터 정상성 검출부(101)가 스텝 S101(도 40)의 정상성 검출 처리에서, 입력 화상 중, 전술한 도 226에서 나타낸 영역(2401)에 대하여 처리를 실행하고, 데이터 정상성 정보로서 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 스텝 S2401에서, 조건 설정부(2421)는 조건(탭 범위와 차수)을 설정한다.

예를 들면, 지금, 도 229에서 나타낸 탭 범위(2441)가 설정되는 동시에, 차수로서 5차가 설정된 것으로 한다.

즉, 도 229는 탭 범위의 일례를 설명한 도면이다. 도 229에서, X 방향과 Y 방향은 센서(2)의 X 방향과 Y 방향(도 225)을 나타내고 있다. 또, 탭 범위(2441)는 X 방향으로 4 화소분, 또한 Y 방향으로 5 화소분인 총계 20개의 화소(도면 중, 20개의 정방형)로 이루어지는 화소군을 나타내고 있다.

또한, 도 229에 나타낸 바와 같이, 주목 화소가 탭 범위(2441) 중, 도면 중, 좌로부터 2 화소째이며, 아래로부터 3 화소째의 화소에 설정되는 것으로 한다. 또, 각 화소의 각각에 대하여, 주목 화소로부터의 상대 화소 위치(x, y)(주목 화소의 중심(0, 0)을 원점으로 하는 주목 화소 좌표계의 좌표값)에 따라, 도 229에서 나타낸 바와 같은 번호 1(1은 0 내지 19 중 어느 하나의 정수값)이 부여되는 것으로 한다.

도 228로 복귀하여, 스텝 S2402에서, 조건 설정부(2421)는 주목 화소를 설정한다.

스텝 S2403에서, 입력 화소값 취득부(2423)는 조건 설정부(2421)에 의해 설정된 조건(탭 범위)에 따라 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 즉, 지금의 경우, 입력 화소값 취득부(2423)는 입력 화상의 영역(2401)(도 226)을 취득하고, 입력 화소값 테이블로서, 20개의 입력 화소값 P(1)로 이루어지는 테이블을 생성한다.

그리고, 지금의 경우, 입력 화소값 P(1)와, 전술한 입력 화소값 P(x, y)의 관계는 다음의 식 (139)에서 나타나는 관계로 된다. 단, 식 (139)에서, 좌변이 입력 화소값 P(1)를 나타내고, 우변이 입력 화소값 P(x, y)를 나타내고 있다.

···(139)

스텝 S2404에서, 적분 성분 연산부(2424)는 조건 설정부(2421)에 의해 설정된 조건(탭 범위 및 차수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하여, 적분 성분 테이블을 생성한다.

지금의 경우, 전술한 바와 같이, 입력 화소값은 P(x, y)가 아니고 P(1)라고 하는, 화소의 번호 1의 값으로서 취득되므로, 적분 성분 연산부(2424)는 전술한 식 (138)의 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)를, 다음의 식 (140)의 좌변에서 나타나는 적분 성분 S_i(1)라고 하는 1의 함수로서 연산한다.

S_i(1)= S_i(x-0.5, x+0.5, y-0.5, y+0.5) ···(140)

구체적으로는, 지금의 경우, 다음의 식 (141)에서 나타나는 적분 성분 S_i(1)가 연산된다.

···(141)

그리고, 식 (141)에서, 좌변이 적분 성분 S_i(1)를 나타내고, 우변이 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)를 나타내고 있다. 즉, 지금의 경우, i는 0 내지 5이므로, 20개의 S₀(1), 20개의 S₁(1), 20개의 S₂(1), 20개의 S₃(1), 20개의 S₄(1), 20개의 S₅(1)인 총계 120개의 S_i(1)가 연산되게 된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(2424)는 데이터 정상성 검출부(101)로부터 공급된 각도 θ에 대한 cotθ를 연산하고, 그것을 변수 s로 한다. 다음에, 적분 성분 연산부(2424)는 연산한 변수 s를 사용하여 식 (140)의 우변에서 나타나는 20개의 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)의 각각을 i=0 내지 5의 각각에 대하여 연산한다. 즉, 120개의 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)가 연산되게 된다. 그리고, 이 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)의 연산에서는, 전술한 식 (138)이 사용된다. 그리고, 적분 성분 연산부(2424)는 식 (141)에 따라, 연산한 120개의 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)의 각각을, 대응하는 S_i(1)의 각각으로 변환하고, 변환한 120개의 S_i(1)를 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S2403의 처리와 스텝 S2404의 처리의 순서는, 도 228의 예에 한정되지 않고, 스텝 S2404의 처리가 먼저 실행되어도 되고, 스텝 S2403의 처리와 스텝 S2404의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S2405에서, 정규 방정식 생성부(2425)는 스텝 S2403의 처리에서 입력 화소값 취득부(2423)에 의해 생성된 입력 화소값 테이블과, 스텝 S2404의 처리에서 적분 성분 연산부(2424)에 의해 생성된 적분 성분 테이블에 따라, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 전술한 식 (137)을 이용하여 최소 제곱법에 의해 특징량 w_i가 연산되므로(단, 식 (136)에서, 적분 성분 S_i(x-0.5, x+0.5, y-0.5, y+0.5)는 식 (140)에 의해 변환되는 S_i(1)가 사용되므로), 그에 대응하는 정규 방정식은 다음의 식 (142)와 같이 표현된다.

···(142)

그리고, 식 (142)에서, L은 탭 범위의 화소 번호 1 중 최대값을 나타내고 있다. N은 다항식인 근사 함수 f(x)의 차수(次數)를 나타내고 있다. 구체적으로는, 지금의 경우, n=5로 되고, L=19로 된다.

식 (142)에서 나타나는 정규 방정식의 각 행렬의 각각을 다음의 식 (143) 내지 (145)와 같이 정의하면, 정규 방정식은 다음의 식 (146)과 같이 표현된다.

···(143)

···(144)

···(145)

···(146)

식 (144)에서 나타낸 바와 같이, 행렬 W_MAT의 각 성분은 구하고 싶은 특징량 w_i이다. 따라서, 식 (146)에서, 좌변의 행렬 S_MAT와 우변의 행렬 P_MAT가 결정되고, 행렬 해법에 따라 행렬 W_MAT의 연산이 가능하게 된다.

구체적으로는, 식 (143)에서 나타낸 바와 같이, 행렬 S_MAT의 각 성분은 전술한 적분 성분 S_i(1)로 연산 가능하다. 즉, 적분 성분 S_i(1)는 적분 성분 연산부(2424)로부터 공급된 적분 성분 테이블에 포함되어 있으므로, 정규 방정식 생성부(2425)는 적분 성분 테이블을 이용하여 행렬 S_MAT의 각 성분을 연산할 수 있다.

또, 식 (145)에서 나타낸 바와 같이, 행렬 P_MAT의 각 성분은 적분 성분 S_i(1)와 입력 화소값 P(1)로 연산 가능하다. 즉, 적분 성분 S_i(1)는 행렬 S_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 입력 화소값 P(1)는 입력 화소값 취득부(2423)로부터 공급된 입력 화소값 테이블에 포함되어 있으므로, 정규 방정식 생성부(2425)는 적분 성분 테이블과 입력 화소값 테이블을 이용하여 행렬 P_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(2425)는 행렬 S_MAT와 행렬 P_MAT의 각 성분을 연산하고, 그 연산 결과(행렬 S_MAT와 행렬 P_MAT의 각 성분)를 정규 방정식 테이블로서 근사 함수 생성부(2426)에 출력한다.

정규 방정식 생성부(2425)로부터 정규 방정식 테이블이 출력되면, 스텝 S2406에서, 근사 함수 생성부(2426)는 정규 방정식 테이블에 따라, 전술한 식 (146)의 행렬 W_MAT의 각 성분인 특징량 w_i(즉, 2차원 다항식인 근사 함수 f(x, y)의 계수 w_i)를 연산한다.

구체적으로는, 전술한 식 (146)의 정규 방정식은 다음의 식 (147)과 같이 변형할 수 있다.

···(147)

식 (147)에서, 좌변의 행렬 W_MAT의 각 성분이 구하고 싶은 특징량 w_i이다. 또, 행렬 S_MAT와 행렬 P_MAT 각각의 각 성분은 정규 방정식 생성부(2425)로부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(2426)는 정규 방정식 테이블을 이용하여, 식 (147)의 우변 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.

스텝 S2407에서, 근사 함수 생성부(2426)는 전 화소의 처리를 종료했는지 여부를 판정한다.

스텝 S2407에서, 전 화소의 처리가 아직 종료되어 있지 않다고 판정된 경우, 처리는 스텝 S2402로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 되지 않은 화소가 차례로 주목 화소로 되어, 스텝 S2402 내지 S2407의 처리가 반복된다.

그리고, 전 화소의 처리가 종료되면(스텝 S2407에서, 전 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료된다.

이상, 2차원 다항식 근사 방법의 설명으로서 공간 방향(X 방향과 Y 방향)에 대한 근사 함수 f(x, y)의 계수(특징량) w_i를 연산하는 예를 사용했지만, 2차원 다항식 근사 방법은 시공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대해서도 적용 가능하다.

즉, 전술한 예는, 실세계(1)의 광 신호가 예를 들면, 경사 G_F(도 224)로 표현되는 공간 방향의 정상성을 가지는 경우의 예였으므로, 전술한 식 (132)에서 나타낸 바와 같은, 공간 방향(X 방향과 Y 방향)의 2차원 적분이 포함되는 식이 이용되었다. 그러나, 2차원 적분의 사고 방식은 공간 방향만에 의한 것이 아니고, 시공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여 적용하는 것도 가능하다.

환언하면, 2차원 다항식 근사 방법에서는, 추정하고 싶은 광 신호 함수 F(x, y, t)가 공간 방향의 정상성뿐만 아니라, 시공간 방향(단, X 방향과 t 방향, 또는 Y 방향과 t 방향)의 정상성을 가지고 있는 경우라도, 2차원 다항식에 의해 근사시키는 것이 가능하다.

구체적으로는, 예를 들면, X 방향으로 수평으로 등속으로 움직이고 있는 물체가 있는 경우, 그 물체의 모션 방향은 도 230에서 나타낸 바와 같은 X-t 평면에서는, 경사 V_F와 같이 표현된다. 환언하면, 경사 V_F는 X-t 평면에서의 시공간 방향의 정상성 방향을 나타내고 있다고도 말할 수 있다. 따라서, 데이터 정상성 검출부(101)는 전술한 각도 θ(X-Y 평면에 있어서의, 경사 G_F로 표현되는 공간 방향의 정상성에 대응하는 데이터 정상성 정보)와 동일하게, X-t 평면에 있어서의 시공간 방향의 정상성을 나타내는 경사 V_F에 대응하는 데이터 정상성 정보로서, 도 230에서 나타낸 바와 같은 모션 θ(엄밀하게는, 도시는 하지 않지만, 경사 V_F에 대응하는 경사 V_f로 표시되는 데이터의 정상성 방향과, 공간 방향의 X 방향이 이루는 각도인 모션 θ)를 출력할 수 있다.

따라서, 2차원 다항식 근사 방법을 이용하는 실세계 추정부(102)는 모션 θ를 전술한 각도 θ 대신으로서 사용하면, 전술한 방법과 동일한 방법으로, 근사 함수 f(x, t)의 계수(특징량) w_i를 연산하는 것이 가능하게 된다. 단, 이 경우, 사용되는 식은 전술한 식 (132)가 아니고, 다음의 식 (148)이다.

···(148)

그리고, 식 (148)에서, s는 cotθ(단, θ는 모션임)이다.

또, 공간 방향 X 대신에, 공간 방향 Y에 주목한 근사 함수 f(y, t)도, 전술한 근사 함수 f(x, t)와 아주 동일하게 취급하는 것이 가능하다.

이와 같이, 2차원 다항식 근사 방법에서는, 예를 들면, 도 205(도 3)의 데이터 정상성 검출부(101)가 각각 시공간 적분 효과를 가지는, 센서의 복수개 검출 소자(예를 들면, 도 225의 센서(2) 검출 소자(2-1))에 의해 실세계(1)(도 205)의 광 신호가 투영되어 실세계(1)의 광 신호 정상성(예를 들면, 도 224의 경사 G_F로 표시되는 정상성)의 일부가 결락된, 검출 소자(2-1)에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 화상 데이터(예를 들면, 도 205의 입력 화상)에 있어서의 데이터의 정상성(예를 들면, 도 226의 경사 G_f로 표시되는 데이터의 정상성)을 검출한다.

그리고, 예를 들면, 도 205(도 3)의 실세계 추정부(102)(구성은, 도 227)가 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 대응하여, 화상 데이터의 시공간 방향 중 적어도 2차원 방향(예를 들면, 도 224와 도 225의 공간 방향 X와, 공간 방향 Y)의 위치에 대응하는 화소의 화소값(예를 들면, 전술한 식 (131)의 좌변인 입력 화소값 P(x, y))가 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 식 (132)의 우변에 나타낸 바와 같이, 전술한 식 (131)에서 나타낸 근사 함수 f(x, y)가 X 방향과 Y 방향으로 적분된 값)인 것으로 하고, 실세계(1)의 광 신호를 나타내는 광 신호 함수 F(구체적으로는, 도 224의 함수 F(x, y))를 다항식인 근사 함수 f(예를 들면, 식 (131)에서 나타낸 근사 함수 f(x, y))로 근사시킴으로써, 광 신호 함수 F를 추정한다.

상세하게는, 예를 들면, 실세계 추정부(102)는 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 대응하는 선(예를 들면, 도 226의 경사 G_f에 대응하는 선(화살표))으로부터 적어도 2차원 방향에 따른 거리(예를 들면, 도 226의 단면 방향 거리 x')에 대응하는 화소의 화소값이 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하고, 현실 세계의 광 신호를 나타내는 제1 함수를 다항식인 제2 함수로 근사시킴으로써, 제1 함수를 추정한다.

이와 같이, 2차원 다항식 근사 방법은 1차원이 아니고 2차원 적분 효과를 고려하고 있으므로, 1차원 다항식 근사 방법과 비교하여, 보다 정확하게 실세계(1)의 광 신호를 추정하는 것이 가능하게 된다.

다음에, 도 231 내지 도 235를 참조하여, 제3 함수 근사 방법에 대하여 설명한다.

즉, 제3 함수 근사 방법이란, 예를 들면, 시공간 방향 중 소정 방향의 정상성을 가지는 실세계(1)의 광 신호가 광 신호 함수 F(x, y, t)로 표현되는 것에 주목하여, 근사 함수 f(x, y, t)로 광 신호 함수 F(x, y, t)를 근사시킴으로써, 광 신호 함수 F(x, y, t)를 추정하는 방법이다. 따라서, 이하, 제3 함수 근사 방법을 3차원 함수 근사 방법이라고 칭한다.

또, 3차원 함수 근사 방법의 설명에서도, 센서(2)는 도 231에서 나타낸 바와 같은, 복수개의 검출 소자(2-1)가 그 평면 상에 배치되어 구성되는 CCD로 된다.

도 231의 예에서는, 검출 소자(2-1)의 소정 1변에 평행한 방향이 공간 방향의 1 방향인 X 방향으로 되어 있고, X 방향으로 수직인 방향이 공간 방향의 다른 방향인 Y 방향으로 되어 있다. 그리고, X－Y 평면에 수직인 방향이 시간 방향인 t 방향으로 되어 있다.

또, 도 231의 예에서는, 센서(2)의 각 검출 소자(2-1) 각각의 공간적인 형상은 1변의 길이가 1인 정방형으로 되어 있다. 그리고, 센서(2)의 셔터 시간(노광 시간)이 1로 되어 있다.

또한, 도 231의 예에서는, 센서(2)의 소정 1개의 검출 소자(2-1) 중심이 공간 방향(X 방향과 Y 방향)의 원점(X 방향의 위치 x=0, 및 Y 방향의 위치 y=0)으로 되어 있고, 또, 노광 시간의 중간 시각이 시간 방향(t 방향)의 원점(t 방향의 위치 t=0)으로 되어 있다.

이 경우, 공간 방향의 원점(x=0, y=0)에 그 중심이 존재하는 검출 소자(2-1)는 X 방향으로 ―0.5 내지 0.5의 범위, Y 방향으로 ―0.5 내지 0.5의 범위, 및 t 방향으로 ―0.5 내지 0.5의 범위에서 광 신호 함수 F(x, y, t)를 적분하고, 그 적분값을 화소값 P로서 출력하게 된다.

즉, 공간 방향의 원점에 그 중심이 존재하는 검출 소자(2-1)로부터 출력되는 화소값 P는 다음의 식 (149)로 표현된다.

···(149)

그 밖의 검출 소자(2-1)도 동일하게, 대상으로 하는 검출 소자(2-1)의 중심을 공간 방향의 원점으로 함으로써, 식 (149)에서 나타낸 화소값 P를 출력하게 된다.

그런데, 전술한 바와 같이, 3차원 함수 근사 방법에서는, 광 신호 함수 F(x, y, t)는 3차원의 근사 함수 f(x, y, t)에 근사된다.

구체적으로는, 예를 들면, 근사 함수 f(x, y, t)를 N개의 변수(특징량)를 가지는 함수로 하고, 식 (149)에 대응하는 입력 화소값 P(x, y, t)와 근사 함수 f(x, y, t)의 관계식을 정의한다. 이에 따라, n보다 큰 M개의 입력 화소값 P(x, y, t)가 취득되어 있으면, 정의된 관계식으로부터 N개의 변수(특징량)의 산출이 가능하다. 즉, 실세계 추정부(102)는 M개의 입력 화소값 P(x, y, t)를 취득하여 N개의 변수(특징량)를 연산함으로써, 광 신호 함수 F(x, y, t)를 추정하는 것이 가능하다.

이 경우, 실세계 추정부(102)는 센서(2)로부터의 입력 화상(입력 화소값)에 포함되는 데이터의 정상성을 묶음으로 하여(즉, 데이터 정상성 검출부(101)로부터 출력되는 입력 화상에 대한 데이터 정상성 정보를 이용하여), 입력 화상 전체 중, M개의 입력 화상 P(x, y, t)를 추출(취득)한다. 결과적으로, 예측 함수 f(x, y, t)는 데이터의 정상성에 구속되게 된다.

예를 들면, 도 232에서 나타낸 바와 같이, 입력 화상에 대응하는 광 신호 함수 F(x, y, t)가 경사 G_F로 표현되는 공간 방향의 정상성을 가지고 있는 경우, 데이터 정상성 검출부(101)는 입력 화상에 대한 데이터 정상성 정보로서 각도 θ(경사 G_F에 대응하는 경사 G_f(도시하지 않음)로 표시되는 데이터의 정상성 방향과, X 방향이 이루는 각도 θ)를 출력하게 된다.

이 경우, 광 신호 함수 F(x, y, t)를 X 방향으로 투영한 1차원의 파형(여기에서는, 이와 같은 파형을 X 단면 파형이라고 칭하고 있음)은 Y 방향의 어느 위치에서 투영한 경우라도 동일한 형상인 것으로 한다.

즉, 동일 형상의 X 단면 파형이 정상성의 방향(X 방향에 대하여 각도 θ 방향)에 연속되어 있는 2차원(공간 방향의) 파형이 존재하는 것으로 하고, 그와 같은 2차원 파형이 시간 방향 t에 연속된 3차원 파형을 근사 함수 f(x, y, t)로 근사시킨다.

환언하면, 주목 화소의 중심으로부터 Y 방향으로 위치 y만큼 어긋난 X 단면 파형은 주목 화소의 중심을 통과하는 X 단면 파형이 X 방향으로 소정 양(각도 θ에 따라 변화하는 양)만큼 이동한(시프트 한) 파형으로 된다. 그리고, 이하, 이와 같은 양을 시프트량이라고 칭한다.

이 시프트량은 다음과 같이 하여 산출이 가능하다.

즉, 경사 V_f(예를 들면, 도 232의 경사 V_F에 대응하는, 데이터의 정상성 방향을 나타내는 경사 V_f)와 각도 θ는 다음의 식 (150)과 같이 표현된다.

···(150)

그리고, 식 (150)에서, dx는 X 방향의 미소 이동량을 나타내고 있으며, dy는 dx에 대한 Y 방향의 미소 이동량을 나타내고 있다.

따라서, X 방향에 대한 시프트량을 C_x(y)로 기술하면, 다음의 식 (151)과 같이 표현된다.

···(151)

이와 같이 하여, 시프트량 C_x(y)를 정의하면, 식 (149)에 대응하는 입력 화소값 P(x, y, t)와 근사 함수 f(x, y, t)의 관계식은, 다음의 식 (152)과 같이 표현된다.

···(152)

식 (152)에서, e는 오차를 나타내고 있다. t_S는 t 방향의 적분 개시 위치를 나타내고 있으며, t_e는 t 방향의 적분 종료 위치를 나타내고 있다. 동일하게, y_s는 Y 방향의 적분 개시 위치를 나타내고 있으며, y_e는 Y 방향의 적분 종료 위치를 나타내고 있다. 또, x_s는 X 방향의 적분 개시 위치를 나타내고 있으며, x_e는 X 방향의 적분 종료 위치를 나타내고 있다. 단, 구체적인 각 적분 범위의 각각은 다음의 식 (153)에서 나타낸 대로 된다.

···(153)

식 (153)에서 나타낸 바와 같이, 주목 화소로부터 공간 방향으로 (x, y)만큼 떨어져 위치하는 화소에 대한 X 방향의 적분 범위를 시프트량 C_x(y)만큼 이동시킴으로써, 동일 형상의 X 단면 파형이 정상성의 방향(X 방향에 대하여 각도 θ 방향)으로 연속되어 있는 것을 나타내는 것이 가능하게 된다.

이와 같이, 3차원 함수 근사 방법에서는, 화소값 P(x, y, t)와, 3차원의 근사 함수 f(x, y, t)의 관계를 식 (152)(적분 범위는 식 (153))로 나타낼 수 있으므로, 식 (152)와 식 (153)을 이용하여, 근사 함수 f(x, y, t)의 N개의 특징량을, 예를 들면, 최소 제곱법 등에 의해 연산함으로써, 광 신호 함수 F(x, y, t)(예를 들면, 도 232에서 나타낸 바와 같은 경사 V_F 표현되는 공간 방향의 정상성을 가지는 광 신호)의 추정이 가능하게 된다.

그리고, 광 신호 함수 F(x, y, t)로 표현되는 광 신호가, 예를 들면, 도 232에서 나타낸 바와 같은 경사 V_F로 표현되는 공간 방향의 정상성을 가지고 있는 경우, 다음과 같이 하여 광 신호 함수 F(x, y, t)를 근사해도 된다.

즉, 광 신호 함수 F(x, y, t)를 Y 방향으로 투영한 1차원의 파형(이하, 이와 같은 파형을 Y 단면 파형 이라고 함)은 X 방향의 어느 위치에서 투영한 경우라도 동일한 형상인 것으로 한다.

환언하면, 동일 형상의 Y 단면 파형이 정상성의 방향(X 방향에 대하여 각도 θ 방향)으로 연속되어 있는 2차원(공간 방향의) 파형이 존재하는 것으로 하고, 그와 같은 2차원 파형이 시간 방향 t에 연속된 3차원 파형을 근사 함수 f(x, y, t)로 근사시킨다.

따라서, 주목 화소의 중심으로부터 X 방향으로 x만큼 어긋난 Y 단면 파형은 주목 화소의 중심을 통과하는 Y 단면 파형이 Y 방향으로 소정 시프트량(각도 θ에 따라 변화하는 시프트량)만큼 이동한 파형으로 된다.

이 시프트량은 다음과 같이 하여 산출이 가능하다.

즉, 경사 G_F가 전술한 식 (150)과 같이 표현되므로, Y 방향에 대한 시프트량을 C_y(x)로 기술하면, 다음의 식 (154)와 같이 표현된다.

···(154)

이와 같이 하여, 시프트량 C_y(x)를 정의하면, 식 (149)에 대응하는 입력 화소값 P(x, y, t)와 근사 함수 f(x, y, t)의 관계식은 시프트량 C_x(y)를 정의했을 때와 동일하게, 전술한 식 (152)로 표현된다.

단, 이번에는, 구체적인 각 적분 범위의 각각은 다음의 식 (155)에서 나타나는 대로 된다.

···(155)

식 (155)(및 전술한 식 (152))에서 나타낸 바와 같이, 주목 화소로부터 (x, y)만큼 떨어져 위치하는 화소에 대한 Y 방향의 적분 범위를 시프트량 C_y(x)만큼 이동시킴으로써, 동일 형상의 Y 단면 파형이 정상성의 방향(X 방향에 대하여 각도 θ 방향)으로 연속되어 있는 것을 나타내는 것이 가능하게 된다.

이와 같이, 3차원 함수 근사 방법에서는, 전술한 식 (152) 우변의 적분 범위를 식 (153)뿐만 아니라 식 (155)로 할 수도 있으므로, 적분 범위로서 식 (155)이 채용된 식 (152)을 이용하여, 근사 함수 f(x, y, t)의 n개의 특징량을, 예를 들면, 최소 제곱법 등에 의해 연산함으로써, 광 신호 함수 F(x, y, t)(경사 G_F로 표현되는 공간 방향의 정상성을 가지는 실세계(1)의 광 신호)의 추정이 가능하게 된다.

이와 같이, 적분 범위를 나타내는 식 (153)과 식 (155)는 정상성의 방향에 맞추어 주변 화소를 X 방향으로 시프트시키나(식 (153)의 경우), 또는 Y 방향으로 시프트시키나(식 (155)의 경우)의 차이가 있을 뿐이며, 본질적으로는 동일한 것을 나타내고 있다.

그러나, 정상성의 방향(경사 G_F)에 따라, 광 신호 함수 F(x, y, t)를 X 단면 파형의 모임으로 파악하는가, Y 단면 파형의 모임으로 파악하는가가 상이하다. 즉, 정상성의 방향이 Y 방향으로 가까운 경우, 광 신호 함수 F(x, y, t)를 X 단면 파형의 모임으로 파악하는 방법이 매우 적합하다. 이에 대하여, 정상성의 방향이 X 방향으로 가까운 경우, 광 신호 함수 F(x, y, t)를 Y 단면 파형의 모임으로 파악하는 것이 매우 적합하다.

따라서, 실세계 추정부(102)는 적분 범위로서 식 (153)과 식 (155)의 양쪽을 준비해 두고, 정상성의 방향에 따라, 적당히 식 (152) 우변의 적분 범위로서 식 (153)과 식 (155) 중 어느 한쪽을 선택하면 된다.

이상, 광 신호 함수 F(x, y, t)가 공간 방향(X 방향과 Y 방향)의 정상성(예를 들면, 도 232의 경사 G_F로 표현되는 공간 방향의 정상성)을 가지는 경우에 대한 3차원 함수 방법에 대하여 설명했으나, 3차원 함수 방법은 도 233에서 나타낸 바와 같이, 광 신호 함수 F(x, y, t)가 시공간 방향(X 방향, Y 방향, 및 t 방향)의 정상성(경사 V_F로 표시되는 정상성)을 가지는 경우에 대해서도 적용 가능하다.

즉, 도 233에서, 프레임 번호 ＃N-1의 프레임에 대응하는 광 신호 함수가 F(x, y, #N-1)로 되고, 프레임 번호 ＃N의 프레임에 대응하는 광 신호 함수가 F(x, y, #N)로 되고, 또한, 프레임 번호 ＃N+1의 프레임에 대응하는 광 신호 함수가 F(x, y, #N+1)로 되어 있다.

그리고, 도 233에서, 도면 중, 수평 방향은 공간 방향의 1 방향인 X 방향으로 되어 있고, 우측 경사 상 방향은 공간 방향의 다른 방향인 Y 방향으로 되어 있고, 또한 수직 방향은 시간 방향인 t 방향으로 되어 있다.

또, 프레임 #N-1은 프레임 #N에 대하여 시간적으로 전의 프레임이며, 프레임 #N+1은 프레임 #N에 대하여 시간적으로 후의 프레임이다. 즉, 프레임 #N-1, 프레임 #N, 및 프레임 #N+1은 프레임 #N-1, 프레임 #N, 및 프레임 #N+1의 순으로 표시된다.

도 233의 예에서는, 경사 V_F로 나타나는 방향(도면 중 좌측 하 바로 앞으로부터 우측 상 안쪽 방향)에 따른 단면의 광 레벨이 거의 일정하게 되어 있다. 따라서, 도 233의 예에서는, 광 신호 함수 F(x, y, t)는 경사 V_F로 표현되는 시공간 방향의 정상성을 가지고 있다고 말할 수 있다.

이 경우, 시공간 방향의 정상성을 나타내는 함수 C(x, y, t)를 정의하고, 또한 정의된 함수 C(x, y, t)를 이용하여, 전술한 식 (152)의 적분 범위를 정의하면, 전술한 식 (153)이나 식 (155)와 동일하게, 근사 함수 f(x, y, t)의 N개의 특징량 산출이 가능하게 된다.

함수 C(x, y, t)는 정상성의 방향을 나타내는 함수이면 특히 한정되지 않는다. 단, 이하에서는, 직선적인 정상성인 것으로 하고, 그에 대응하는 함수 C(x, y, t)로서 전술한 공간 방향의 정상성을 나타내는 함수인 시프트량 C_x(y)(식 (151))나 시프트량 C_y(x)(식 (153))에 상당하는 C_x(t)와 C_y(t)를 다음과 같이 정의하기로 한다.

즉, 전술한 공간 방향 데이터의 정상성을 나타내는 경사 G_f에 대응하는, 시공간 방향 데이터 정상성의 경사를 V_f로 하면, 이 경사 V_f를 X 방향의 경사(이하, V_fx라고 기술함)와 Y 방향의 경사(이하, V_fy라고 기술함)로 분할하면, 경사 V_fx는 다음의 식 (156)으로, 경사 V_fy는 다음의 식 (157)로 각각 표현된다.

···(156)

···(157)

이 경우, 함수 Cx(t)는 식 (156)에서 나타낸 경사 V_fx를 이용하여, 다음의 식 (158)과 같이 표현된다.

···(158)

동일하게, 함수 C_y(t)는 식 (157)에서 나타낸 경사 V_fy를 이용하여, 다음의 식 (159)과 같이 표현된다.

···(159)

이와 같이 하여, 시공간 방향의 정상성(2511)을 나타내는 함수 C_x(t)와 함수 C_y(t)를 정의하면, 식 (152)의 적분 범위는 다음의 식 (160)과 같이 표현된다.

···(160)

이와 같이, 3차원 함수 근사 방법에서는, 화소값 P(x, y, t)와, 3차원의 근사 함수 f(x, y, t)의 관계를 식 (152)로 표현할 수 있으므로, 그 식 (152) 우변의 적분 범위로서 식 (160)을 이용하여, 근사 함수 f(x, y, t)의 n＋1개의 특징량을, 예를 들면, 최소 제곱법 등에 의해 연산함으로써, 광 신호 함수 F(x, y, t)(시공간 방향의 소정 방향으로 정상성을 가지는 실세계(1)의 광 신호)를 추정하는 것이 가능하게 된다.

도 234는 이와 같은 3차원 함수 근사 방법을 이용하는 실세계 추정부(102)의 구성예를 나타내고 있다.

그리고, 3차원 함수 근사 방법을 이용하는 실세계 추정부(102)가 연산하는 근사 함수 f(x, y, t)(실제로는, 그 특징량(계수)을 연산함)는 특히 한정되지 않지만, 이하의 설명에서는, n(n=N-1) 다음의 다항식으로 된다.

도 234에서 나타낸 바와 같이, 실세계 추정부(102)에는, 조건 설정부(2521), 입력 화상 기억부(2522), 입력 화소값 취득부(2523), 적분 성분 연산부(2524), 정규 방정식 생성부(2525), 및 근사 함수 생성부(2526)가 형성되어 있다.

조건 설정부(2521)는 주목 화소에 대응하는 광 신호 함수 F(x, y, t)를 추정하기 위해 사용하는 화소의 범위(탭 범위)나, 근사 함수 f(x, y, t)의 차수 n을 설정한다.

입력 화상 기억부(2522)는 센서(2)로부터의 입력 화상(화소값)을 1차 저장한다.

입력 화소값 취득부(2523)는 입력 화상 기억부(2522)에 기억된 입력 화상 중, 조건 설정부(2521)에 의해 설정된 탭 범위에 대응하는 입력 화상의 영역을 취득하고, 그것을 입력 화소값 테이블로서 정규 방정식 생성부(2525)에 공급한다. 즉, 입력 화소값 테이블은 입력 화상의 영역에 포함되는 각 화소의 각각의 화소값이 기술된 테이블이다.

그런데, 전술한 바와 같이, 3차원 함수 근사 방법을 이용하는 실세계 추정부(102)는 전술한 식 (152)(단 적분 범위는 식 (153), 식 (156), 또는 식 (160))를 이용하여 최소 제곱법에 의해 근사 함수 f(x, y)의 N개의 특징량(지금의 경우, 각차(各次)의 계수)을 연산한다.

식 (152)의 우변은 그 적분을 연산함으로써, 다음의 식 (161)과 같이 표현할 수 있다.

···(161)

식 (161)에서, w_i는 i차 항의 계수(특징량)를 나타내고 있으며, 또, S_i(x_s, x_e, y_s, y_e, t_s, t_e)는 i차 항의 적분 성분을 나타내고 있다. 단, x_s는 X 방향 적분 범위의 개시 위치를, x_e는 X 방향 적분 범위의 종료 위치를, y_s는 Y 방향 적분 범위의 개시 위치를, y_e는 Y 방향 적분 범위의 종료 위치를, t_s는 t 방향 적분 범위의 개시 위치를, t_e는 t 방향 적분 범위의 종료 위치를 각각 나타내고 있다.

적분 성분 연산부(2524)는 이 적분 성분 S_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산한다.

즉, 적분 성분 연산부(2524)는 조건 설정부(2521)에 의해 설정된 탭 범위 및 차수, 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중의 각도 또는 모션(적분 범위로서 전술한 식 (153) 또는 식 (156)이 이용되는 경우에는 각도이며, 전술한 식 (160)이 이용되는 경우에는 모션임)에 따라 적분 성분 S_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 정규 방정식 생성부(2525)에 공급한다.

정규 방정식 생성부(2525)는 입력 화소값 취득부(2523)로부터 공급된 입력 화소값 테이블과, 적분 성분 연산부(2524)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식 (161)을 최소 제곱법으로 구하는 경우의 정규 방정식을 생성하고, 그것을 정규 방정식 테이블로서 근사 함수 생성부(2526)에 출력한다. 정규 방정식의 예에 대해서는, 후술한다.

근사 함수 생성부(2526)는 정규 방정식 생성부(2525)로부터 공급된 정규 방정식 테이블에 포함되는 정규 방정식을 행렬 해방으로 푸는 것에 의해, 특징량 w_i(지금의 경우, 3차원 다항식인 화소값 함수 f(x, y)의 계수 w_i)의 각각을 연산하고, 화상 생성부(103)에 출력한다.

다음에, 도 235의 플로차트를 참조하여, 3차원 함수 근사 방법이 적용되는 실세계의 추정 처리(도 40의 스텝 S102의 처리)에 대하여 설명한다.

처음에, 스텝 S2501에서, 조건 설정부(2521)는 조건(탭 범위와 차수)을 설정한다.

예를 들면, 지금, L개의 화소로 이루어지는 탭 범위가 설정된 것으로 한다. 또, 각 화소의 각각에 대하여, 소정 번호 1(L은 0 내지 L-1 중 어느 하나의 정수값)이 부여되는 것으로 한다.

다음에, 스텝 S2502에서, 조건 설정부(2521)는 주목 화소를 설정한다.

스텝 S2503에서, 입력 화소값 취득부(2523)는 조건 설정부(2521)에 의해 설정된 조건(탭 범위)에 따라 입력 화소값을 취득하고, 입력 화소값 테이블을 생성한다. 지금의 경우, L개의 입력 화소값 P(x, y, t)로 이루어지는 테이블이 생성되게 된다. 여기에서, L개의 입력 화소값 P(x, y, t)의 각각을 그 화소의 번호 1의 함수로서 P(1)로 기술하기로 한다. 즉, 입력 화소값 테이블은 L개의 P(1)가 포함되는 테이블이 된다.

스텝 S2504에서, 적분 성분 연산부(2524)는 조건 설정부(2521)에 의해 설정된 조건(탭 범위 및 차수), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 또는 모션)에 따라 적분 성분을 연산하여, 적분 성분 테이블을 생성한다.

단, 지금의 경우, 전술한 바와 같이, 입력 화소값은 P(x, y, t)가 아니고 P(1)라고 하는, 화소의 번호 1의 값으로서 취득되므로, 적분 성분 연산부(2524)는 전술한 식 (161)의 적분 성분 S_i(x_s, x_e, y_s, y_e, t_s, t_e)를 적분 성분 S_i(1)라고 하는 1의 함수로서 연산하게 된다. 즉, 적분 성분 테이블은 L×i개의 S_i(1)가 포함되는 테이블이 된다.

그리고, 스텝 S2503의 처리와 스텝 S2504의 처리 순서는 도 235의 예에 한정되지 않고, 스텝 S2504의 처리가 먼저 실행되어도 되고, 스텝 S2503의 처리와 스텝 S2504의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S2505에서, 정규 방정식 생성부(2525)는 스텝 S2503의 처리에서 입력 화소값 취득부(2523)에 의해 생성된 입력 화소값 테이블과, 스텝 S2504의 처리에서 적분 성분 연산부(2524)에 의해 생성된 적분 성분 테이블에 따라, 정규 방정식 테이블을 생성한다.

구체적으로는, 지금의 경우, 최소 제곱법에 의해 전술한 식 (161)에 대응하는 다음의 식 (162)의 특징량 w_i를 연산한다. 그리고, 그에 대응하는 정규 방정식은 다음의 식 (163)과 같이 표현된다.

···(162)

···(163)

식 (163)에서 나타낸 정규 방정식의 각 행렬의 각각을 다음의 식 (164) 내지 (166)와 같이 정의하면, 정규 방정식은 다음의 식 (167)과 같이 표현된다.

···(164)

···(165)

···(166)

···(167)

식 (165)에서 나타낸 바와 같이, 행렬 W_MAT의 각 성분은 구하고 싶은 특징량 w_i이다. 따라서, 식 (167)에서, 좌변의 행렬 S_MAT와 우변의 행렬 P_MAT가 결정되고, 행렬 해법에 의해 행렬 W_MAT(즉, 특징량 w_i)의 산출이 가능하다.

구체적으로는, 식 (164)에서 나타낸 바와 같이, 행렬 S_MAT의 각 성분은 전술한 적분 성분 S_i(1)를 이미 알고 있으면 연산 가능하다. 적분 성분 S_i(1)는 적분 성분 연산부(2524)로부터 공급된 적분 성분 테이블에 포함되어 있으므로, 정규 방정식 생성부(2525)는 적분 성분 테이블을 이용하여 행렬 S_MAT의 각 성분을 연산할 수 있다.

또, 식 (166)에서 나타낸 바와 같이, 행렬 P_MAT의 각 성분은 적분 성분 S_i(1)와 입력 화소값 P(1)를 이미 알고 있으면 연산 가능하다. 적분 성분 S_i(1)는 행렬 S_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 입력 화소값 P(1)는 입력 화소값 취득부(2523)로부터 공급된 입력 화소값 테이블에 포함되어 있으므로, 정규 방정식 생성부(2525)는 적분 성분 테이블과 입력 화소값 테이블을 이용하여 행렬 P_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(2525)는 행렬 S_MAT와 행렬 P_MAT의 각 성분을 연산하고, 그 연산 결과(행렬 S_MAT와 행렬 P_MAT의 각 성분)를 정규 방정식 테이블로서 근사 함수 생성부(2526)에 출력한다.

정규 방정식 생성부(2526)로부터 정규 방정식 테이블이 출력되면 스텝 S2506에서, 근사 함수 생성부(2526)는 정규 방정식 테이블에 따라, 전술한 식 (167)의 행렬 W_MAT의 각 성분인 특징량 w_i(즉, 근사 함수 f(x, y, t)의 계수 w_i)를 연산한다.

구체적으로는, 전술한 식 (167)의 정규 방정식은 다음의 식 (168)과 같이 변형할 수 있다.

···(168)

식 (168)에서, 좌변의 행렬 W_MAT의 각 성분이 구하고 싶은 특징량 w_i이다. 또, 행렬 S_MAT와 행렬 P_MAT의 각각의 각 성분은 정규 방정식 생성부(2525)로부터 공급된 정규 방정식 테이블에 포함되어 있다. 따라서, 근사 함수 생성부(2526)는 정규 방정식 테이블을 이용하여, 식 (168) 우변의 행렬 연산을 행함으로써 행렬 W_MAT를 연산하고, 그 연산 결과(특징량 w_i)를 화상 생성부(103)에 출력한다.

스텝 S2507에서, 근사 함수 생성부(2526)는 전 화소의 처리를 종료했는지 여부를 판정한다.

스텝 S2507에서, 전 화소의 처리가 아직 종료되어 있지 않다고 판정된 경우, 처리는 스텝 S2502로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 되지 않은 화소가 차례로 주목 화소로 되어, 스텝 S2502 내지 S2507의 처리가 반복된다.

그리고, 전 화소의 처리가 종료되면(스텝 S5407에서, 전 화소의 처리가 종료되었다고 판정되면), 실세계(1)의 추정 처리는 종료된다.

이상, 설명한 바와 같이, 3차원 함수 근사 방법은 1차원이나 2차원이 아니고, 시공간 방향의 3차원의 적분 효과를 고려하고 있으므로, 1차원 다항식 근사 방법이나 2차원 다항식 근사 방법과 비교하여, 보다 정확하게 실세계(1)의 광 신호를 추정하는 것이 가능하게 된다.

환언하면, 3차원 함수 근사 방법에서는, 예를 들면, 도 205(도 3)의 실세계 추정부(102)(구성은, 예를 들면, 도 234)는 각각 시공간 적분 효과를 가지는, 센서의 복수개의 검출 소자(예를 들면, 도 231의 센서(2)의 검출 소자(2-1))에 의해 실세계(1)의 광 신호가 투영되어 실세계(1)의 광 신호의 정상성(예를 들면, 도 232의 경사 G_F, 또는 도 233의 경사 V_F로 표시되는 정상성)의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상의, 시공간 방향 중 적어도 1차원 방향(예를 들면, 도 233의 공간 방향 X, 공간 방향 Y, 및 시간 방향 t의 3차원 방향)의 위치에 대응하는 상기 화소 상기 화소값(예를 들면, 식 (153)의 좌변의 입력 화소값 P(x, y, z)가 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 전술한 식 (153)의 우변에 나타낸 바와 같이, 근사 함수 f(x, y, t)가 X 방향, Y 방향, 및 t 방향의 3차원으로 적분된 값)인 것으로 하여, 실세계의 광 신호를 나타내는 광 신호 함수 F(구체적으로는, 예를 들면, 도 232나 도 233의 광 신호 함수 F(x, y, t))를 소정 근사 함수 f(구체적으로는, 예를 들면, 식 (152) 우변의 근사 함수 f(x, y, t))로 근사시킴으로써, 광 신호 함수 F를 추정한다.

또한, 예를 들면, 도 205(도 3)의 데이터 정상성 검출부(101)가 입력 화상 데이터의 정상성을 검출한 경우, 실세계 추정부(102)는 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 대응하여, 화상 데이터의 시공간 방향 중 적어도 1차원 방향의 위치에 대응하는 화소의 화소값이 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 광 신호 함수 F를 근사 함수 f로 근사시킴으로써, 광 신호 함수 F를 추정한다.

상세하게는, 예를 들면, 실세계 추정부(102)는 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 대응하는 선으로부터 적어도 1차원 방향에 따른 거리(예를 들면, 전술한 식 (151)의 시프트량 Cx(y))에 대응하는 화소의 화소값이 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값(예를 들면, 전술한 식 (153)에서 나타낸 바와 같은 적분 범위에서, 식 (152)의 우변에 나타낸 바와 같이, 근사 함수 f(x, y, t)가 X 방향, Y 방향, 및 t 방향의 3차원으로 적분된 값)인 것으로 하여, 광 신호 함수 F를 근사 함수로 근사시킴으로써, 광 신호 함수를 추정한다.

따라서, 3차원 함수 근사 방법은 보다 정확하게 실세계(1)의 광 신호를 추정하는 것이 가능하게 된다.

다음에, 도 236 내지 도 257을 참조하여, 화상 생성부(103)(도 3)의 실시예의 일례에 대하여 설명한다.

도 236은 이 예의 실시예의 원리를 설명한 도면이다.

도 236에서 나타낸 바와 같이, 이 예의 실시예에서는, 실세계 추정부(102)가 함수 근사 방법을 이용하는 것이 전제로 되어 있다. 즉, 센서(2)에 입사되는 화상인, 실세계(1)의 신호(광 강도의 분포)가 소정 함수 F로 표현되는 것으로 하고, 실세계 추정부(102)가 센서(2)로부터 출력된 입력 화상(화소값 P)과, 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보를 사용하여, 함수 F를 소정 함수 f로 근사시킴으로써, 함수 F를 추정하는 것이 전제로 되어 있다.

그리고, 이하, 이 예의 실시예의 설명에서도, 화상인, 실세계(1)의 신호를 특히 광 신호라고 칭하고, 함수 F를 특히 광 신호 함수 F라고 칭한다. 또, 함수 f를 특히 근사 함수 f라고 칭한다.

그래서, 이 예의 실시예에서는, 이와 같은 전제에 따라, 화상 생성부(103)가 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보와, 실세계 추정부(102)로부터 출력된 실세계 추정 정보(도 236의 예에서는, 근사 함수 f의 특징량)를 사용하여, 근사 함수 f를 소정 시공간 범위에서 적분하고, 그 적분값을 출력 화소값 M(출력 화상)으로서 출력한다. 그리고, 이 예의 실시예에서는, 입력 화상의 화소와 출력 화상의 화소를 구별하기 위해, 입력 화소값을 P로 기술하고, 출력 화소값을 M으로 기술한다.

환언하면, 광 신호 함수 F가 1도 적분되어 입력 화소값 P로 되고, 그 입력 화소값 P로부터 광 신호 함수 F가 추측되고(근사 함수 f로 근사되고), 추측된 광 신호 함수 F(즉, 근사 함수 f)가 재차 적분되어, 출력 화소값 M이 생성된다. 따라서, 이하, 화상 생성부(103)가 실행하는 근사 함수 f의 적분을 재적분이라고 칭한다. 또, 이 예의 실시예를 재적분 방법이라고 칭한다.

그리고, 후술하는 바와 같이, 재적분 방법에서, 출력 화소값 M이 생성되는 경우의 근사 함수 f의 적분 범위는 입력 화소값 P가 생성되는 경우의 광 신호 함수 F의 적분 범위(즉, 공간 방향에서는, 센서(2) 검출 소자의 세로폭과 가로폭이며, 시간 방향에서는, 센서(2)의 노광 시간임)로 한정되지 않고, 임의의 적분 범위가 가능하다.

예를 들면, 출력 화소값 M이 생성되는 경우, 근사 함수 f의 적분 범위 중 공간 방향의 적분 범위를 가변함으로써, 그 적분 범위에 따라 출력 화상의 화소 피치를 가변하는 것이 가능하게 된다. 즉, 공간 해상도의 창조가 가능하게 된다.

동일하게, 예를 들면, 출력 화소값 M이 생성되는 경우, 근사 함수 f의 적분 범위 중 시간 방향의 적분 범위를 가변함으로써, 시간 해상도의 창조가 가능하게 된다.

이하, 도면을 참조하여, 이와 같은 재적분 방법 중 3개의 구체적인 방법에 대하여 각각 개별적으로 설명해 간다.

즉, 3개의 구체적인 방법이란, 함수 근사 방법의 3개의 구체적인 방법(실세계 추정부(102)의 실시예의 전술한 3개의 구체적인 예)의 각각에 대응하는 재적분 방법이다.

구체적으로는, 첫번째 방법은 전술한 1차원 다항식 근사 방법(함수 근사 방법의 1 방법)에 대응하는 재적분 방법이다. 따라서, 첫번째 방법에서는 1차원 재적분을 행하게 되므로, 이하, 이와 같은 재적분 방법을 1차원 재적분 방법이라고 칭한다.

두번째 방법은 전술한 2차원 다항식 근사 방법(함수 근사 방법의 1 방법)에 대응하는 재적분 방법이다. 따라서, 두번째 방법에서는 2차원 재적분을 행하게 되므로, 이하, 이와 같은 재적분 방법을 2차원 재적분 방법이라고 칭한다.

세번째 방법은 전술한 3차원 함수 근사 방법(함수 근사 방법의 1 방법)에 대응하는 재적분 방법이다. 따라서, 세번째 방법에서는 3차원 재적분을 행하게 되므로, 이하, 이와 같은 재적분 방법을 3차원 재적분 방법이라고 칭한다.

이하, 1차원 재적분 방법, 2차원 재적분 방법, 및 3차원 재적분 방법의 각각의 상세에 대하여, 그 순번으로 설명해 간다.

처음에, 1차원 재적분 방법에 대하여 설명한다.

1차원 재적분 방법에서는, 1차원 다항식 근사 방법에 의해 근사 함수 f(x)가 이미 생성되어 있는 것이 전제가 된다.

즉, 3차원 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 광 신호 함수 F(x, y, t)를 공간 방향인 X 방향, Y 방향, 및 Z 방향, 및 시간 방향인 t 방향 중 소정1 방향(예를 들면, X 방향)에 투영한 1차원의 파형(재적분 방법의 설명에서도, 이와 같은 파형 중 X 방향으로 투영한 파형을 X 단면 파형 F(x)로 칭하기로 함)이 n차(n은 임의의 정수(整數))의 다항식인 근사 함수 f(x)로 근사되어 있는 것이 전제가 된다.

이 경우, 1차원 재적분 방법에서는, 출력 화소값 M은 다음의 식 (169)과 같이 연산된다.

···(169)

그리고, 식 (169)에서, x_s는 적분 개시 위치를 나타내고 있으며, x_e는 적분 종료 위치를 나타내고 있다. 또, G_e는 소정 게인을 나타내고 있다.

구체적으로는, 예를 들면, 지금, 실세계 추측부(102)가 도 237에서 나타낸 바와 같은 화소(3101)(센서(2)의 소정 1개의 검출 소자에 대응하는 화소(3101))를 주목 화소로서 도 237에서 나타낸 바와 같은 근사 함수 f(x)(X 단면 파형 F(x)의 근사 함수 f(x))를 이미 생성하고 있는 것으로 한다.

그리고, 도 237의 예에서는, 화소(3101)의 화소값(입력 화소값)이 P로 되고, 또한, 화소(3101)의 형상이 1변의 길이가 1의 정방형으로 되어 있다. 또, 공간 방향 중, 화소(3101)의 1변에 평행한 방향(도면 중 수평 방향)이 X 방향이 되고, X 방향으로 수직인 방향(도면 중 수직 방향)이 Y 방향으로 되어 있다.

또, 도 237의 하측에, 화소(3101)의 중심이 원점으로 되는 공간 방향(X 방향과 Y 방향)의 좌표계(이하, 주목 화소 좌표계라고 함)와, 그 좌표계에서의 화소(3101)가 나타나 있다.

또한, 도 237의 상방에, y=0(y는 도면 중 하측에서 나타낸 주목 화소 좌표계의 Y 방향 좌표값)에서의 근사 함수 f(x)를 그래프화한 것이 나타나 있다. 이 그래프에서, 도면 중 수평 방향으로 평행한 축은 도면 중 하측에서 나타낸 주목 화소 좌표계의 X 방향의 x축과 동일한 축이며(원점도 동일하며), 또, 도면 중 수직 방향으로 평행한 축은 화소값을 나타내는 축으로 되어 있다.

이 경우, 근사 함수 f(x)와 화소(3101)의 화소값 P 사이에는, 다음의 식 (170)의 관계가 성립된다.

···(170)

또, 도 237에서 나타낸 바와 같이, 화소(3101)는 경사 G_f로 표현되는 공간 방향 데이터의 정상성을 가지고 있는 것으로 한다. 그리고, 데이터 정상성 검출부(101)(도 236)가 경사 G_f로 표시되는 데이터의 정상성에 대응하는 데이터 정상성 정보로서 도 237에서 나타낸 바와 같은 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 예를 들면, 1차원 재적분 방법에서는, 도 238에서 나타낸 바와 같이, X 방향으로 -0.5 내지 0.5의 범위, 또한 Y 방향으로 -0.5 내지 0.5의 범위(도 237의 화소(3101)가 위치하는 범위)에, 4개의 화소(3111) 내지 화소(3114)를 새로 창조하는 것이 가능하다.

그리고, 도 238의 하측에, 도 237의 것과 동일한 주목 화소 좌표계와, 그 주목 화소 좌표계에서의 화소(3111) 내지 화소(3114)가 나타나 있다. 또, 도 238의 상측에, 도 237의 것과 동일한 그래프(y=0에서의 근사 함수 f(x)를 그래프화한 것)가 나타나 있다.

구체적으로는, 도 238에서 나타낸 바와 같이, 1차원 재적분 방법에서는, 다음의 식 (171)에 의해 화소(3111)의 화소값 M(1)의 산출이, 다음의 식 (172)에 의해 화소(3112)의 화소값 M(2)의 산출이, 다음의 식 (173)에 의해 화소(3113)의 화소값 M(3)의 산출이, 다음의 식 (174)에 의해 화소(3114)의 화소값 M(4)의 산출이 각각 가능하다.

···(171)

···(172)

···(173)

···(174)

그리고, 식 (171)의 x_s1, 식 (172)의 x_s2, 식 (173)의 x_s3, 및 식 (174)의 x_s4의 각각은 대응하는 식의 적분 개시 위치를 나타내고 있다. 또, 식 (171)의 x_e1, 식 (172)의 x_e2, 식 (173)의 x_e3, 및 식 (174)의 x_e4의 각각은 대응하는 식의 적분 종료 위치를 나타내고 있다.

식 (171) 내지 식 (174) 각각의 우변의 적분 범위는 화소(3111) 내지 화소(3114)의 각각의 화소폭(X 방향의 길이)으로 된다. 즉, x_e1-x_s1, x_e2-x_s2, x_e3-x_s3, x_e4-x_s4의 각각은 0.5로 된다.

단, 지금의 경우, y=0에서의 근사 함수 f(x)와 동일 형상의 1차원 파형이 Y 방향이 아니고, 경사 G_f로 표시되는 데이터의 정상성 방향(즉, 각도 θ 방향)에 연속되어 있다고 생각된다(실제로는, y=0에서의 X 단면 파형 F(x)와 동일 형상의 파형이 정상성의 방향으로 연속되어 있다). 즉, 도 238의 주목 화소 좌표계에 있어서의 원점(0, 0)(도 237의 화소(3101)의 중심)에서의 화소값 f(0)를 화소값 f1로 한 경우, 화소값 f1이 계속되는 방향은 Y 방향이 아니고, 경사 G_f로 표시되는 데이터의 정상성 방향(각도 θ 방향)이다.

환언하면, Y 방향의 소정 위치 y(단, y는 0 이외의 수치)에서의 근사 함수 f(x)의 파형을 고려한 경우, 화소값 f1로 되는 위치는 위치(0, y)가 아니고, 위치(0, y)로부터 X 방향으로 소정 양(여기에서도, 이와 같은 양을 시프트량으로 칭하기로 함. 또, 시프트량은 Y 방향의 위치 y에 의존하는 양이므로, 이 시프트량을 C_x(y)로 기술하기로 함)만큼 이동한 위치(C_x(y), y)이다.

따라서, 전술한 식 (171) 내지 식 (174) 각각의 우변의 적분 범위로서, 구하고 싶은 화소값 M(l)(단, l은 1 내지 4 중 어느 하나의 정수값)의 중심이 존재하는 Y 방향의 위치 y를 고려한 범위, 즉, 시프트량 C_x(y)를 고려한 적분 범위의 설정이 필요하다.

구체적으로는, 예를 들면, 화소(3111)와 화소(3112)의 중심이 존재하는 Y 방향의 위치 y는 y=0이 아니고, y=0.25이다.

따라서, y=0.25에서의 근사 함수 f(x)의 파형은 y=0에서의 근사 함수 f(x)의 파형을 X 방향으로 시프트량 C_x(0.25)만큼 이동시킨 파형에 상당한다.

환언하면, 전술한 식 (171)에서, 화소(3111)에 대한 화소값 M(1)은 y=0에서의 근사 함수 f(x)를 소정 적분 범위(개시 위치 x_s1로부터 종료 위치 x_e1까지)에서 적분한 것인 것으로 하면, 그 적분 범위는 개시 위치 x_s1=-0.5로부터 종료 위치 x_e1=0까지의 범위(화소(3111)가 X 방향으로 차지하는 범위 그 자체)가 아니고, 도 238에서 나타낸 범위, 즉, 개시 위치 x_s1=-0.5+C_x(0.25)로부터 종료 위치 x_e1=0+C_x(0.25)(시프트량 C_x(0.25)만큼 화소(3111)를 임시로 이동시킨 경우에 있어서의, 화소(3111)가 X 방향으로 차지하는 범위)로 된다.

동일하게, 전술한 식 (172)에서, 화소(3112)에 대한 화소값 M(2)는 y=0에서의 근사 함수 f(x)를 소정 적분 범위(개시 위치 x_s2로부터 종료 위치 x_e2까지)에서 적분한 것인 것으로 하면, 그 적분 범위는 개시 위치 x_s2=0으로부터 종료 위치 x_e2=0.5까지의 범위(화소(3112)의 X 방향으로 차지하는 범위 그 자체)가 아니고, 도 238에서 나타낸 범위, 즉, 개시 위치 x_s2=0+C_x(0.25)로부터 종료 위치 x_e1=0.5+C_x(0.25)(시프트량 C_x(0.25)만큼 화소(3112)를 임시로 이동시킨 경우에 있어서의, 화소(3112)의 X 방향으로 차지하는 범위)로 된다.

또, 예를 들면, 화소(3113)와 화소(3114)의 중심이 존재하는 Y 방향의 위치 y는 y=0이 아니고, y=-0.25이다.

따라서, y=-0.25에서의 근사 함수 f(x)의 파형은 y=0에서의 근사 함수 f(x)의 파형을 X 방향으로 시프트량 C_x(-0.25)만큼 이동시킨 파형에 상당한다.

환언하면, 전술한 식 (173)에서, 화소(3113)에 대한 화소값 M(3)은 y=0에서의 근사 함수 f(x)를 소정 적분 범위(개시 위치 x_s3로부터 종료 위치 x_e3까지)에서 적분한 것인 것으로 하면, 그 적분 범위는 개시 위치 x_s3=-0.5로부터 종료 위치 x_e3=0까지의 범위(화소(3113)의 X 방향으로 차지하는 범위 그 자체)가 아니고, 도 238에서 나타낸 범위, 즉, 개시 위치 x_s3=-0.5+Cx(-0.25)로부터 종료 위치 x_e3=0+C_x(-0.25)(시프트량 C_x(-0.25)만큼 화소(3113)를 임시로 이동시킨 경우에 있어서의, 화소(3113)가 X 방향으로 차지하는 범위)로 된다.

동일하게, 전술한 식 (174)에서, 화소(3114)에 대한 화소값 M(4)는 y=0에서의 근사 함수 f(x)를 소정 적분 범위(개시 위치 x_s4로부터 종료 위치 x_e4까지)에서 적분한 것인 것으로 하면, 그 적분 범위는 개시 위치 x_s4=0으로부터 종료 위치 x_e4=0.5까지의 범위(화소(3114)가 X 방향으로 차지하는 범위 그 자체)가 아니고, 도 238에서 나타낸 범위, 즉, 개시 위치 x_s4=0+C_x(-0.25)로부터 종료 위치 x_e1=0.5+C_x(-0.25)(시프트량 C_x(-0.25)만큼 화소(3114)를 임시로 이동시킨 경우에 있어서의, 화소(3114)가 X 방향으로 차지하는 범위)로 된다.

따라서, 화상 생성부(102)(도 236)는 전술한 식 (171) 내지 식 (174)의 각각에, 전술한 적분 범위 중 대응하는 것을 대입하여 각각 연산하고, 그들의 연산 결과를 출력 화소값 M(1) 내지 M(4)의 각각으로서 출력하게 된다.

이와 같이, 화상 생성부(102)는 1차원 재적분 방법을 이용함으로써, 센서(2)(도 236)로부터의 출력 화소(3101)(도 237)에서의 화소로서 출력 화소(3101)보다 공간 해상도가 높은 4개의 화소, 즉, 화소(3111) 내지 화소(3114)(도 238)를 창조할 수 있다. 또한, 도시는 하지 않지만, 전술한 바와 같이, 화상 생성부(102)는 화소(3111) 내지 화소(3114)뿐만 아니라, 적분 범위를 적당히 바꿈으로써, 출력 화소(3101)에 대하여 임의의 배율의 공간 해상도의 화소를 열화시키지 않고 창조할 수 있다.

도 239는 이와 같은 1차원 재적분 방법을 이용하는 화상 생성부(103)의 구성예를 나타내고 있다.

도 239에서 나타낸 바와 같이, 이 예의 화상 생성부(103)에는, 조건 설정부(3121), 특징량 기억부(3122), 적분 성분 연산부(3123), 및 출력 화소값 연산부(3124)가 형성되어 있다.

조건 설정부(3121)는 실세계 추정부(102)로부터 공급된 실세계 추정 정보(도 239의 예에서는, 근사 함수 f(x)의 특징량)에 따라 근사 함수 f(x)의 차수 n을 설정한다.

조건 설정부(3121)는 또, 근사 함수 f(x)를 재적분하는 경우(출력 화소값을 연산하는 경우)의 적분 범위를 설정한다. 그리고, 조건 설정부(3121)가 설정하는 적분 범위는 화소의 폭일 필요는 없다. 예를 들면, 근사 함수 f(x)는 공간 방향(X 방향)으로 적분되므로, 센서(2)(도 236)로부터의 입력 화상의 각 화소의 공간적인 크기에 대한, 출력 화소(화상 생성부(103)가 지금부터 연산하는 화소)의 상대적인 크기(공간 해상도의 배율)를 알면, 구체적인 적분 범위의 결정이 가능하다. 따라서, 조건 설정부(3121)는 적분 범위로서, 예를 들면, 공간 해상도 배율을 설정할 수도 있다.

특징량 기억부(3122)는 실세계 추정부(102)로부터 차례로 공급되어 오는 근사 함수 f(x)의 특징량을 1차적으로 기억한다. 그리고, 특징량 기억부(3122)는 근사 함수 f(x)의 특징량 모두를 기억하면, 근사 함수 f(x)의 특징량을 모두 포함하는 특징량 테이블을 생성하여, 출력 화소값 연산부(3124)에 공급한다.

그런데, 전술한 바와 같이, 화상 생성부(103)는 전술한 식 (169)을 이용하여 출력 화소값 M을 연산하지만, 전술한 식 (169)의 우변에 포함되는 근사 함수 f(x)는 구체적으로는, 다음의 식 (175)와 같이 표현된다.

···(175)

그리고, 식 (175)에서, w_i는 실세계 추정부(102)로부터 공급되는 근사 함수 f(x)의 특징량을 나타내고 있다.

따라서, 전술한 식 (169) 우변의 근사 함수 f(x)에 식 (175)의 근사 함수 f(x)를 대입하여, 식 (169)의 우변을 전개(연산)하면, 출력 화소값 M은 다음의 식 (176)과 같이 표현된다.

···(176)

식 (176)에서, K_i(x_s, x_e)는 i차 항의 적분 성분을 나타내고 있다. 즉, 적분 성분 K_i(x_s, x_e)는 다음의 식 (177)에서 나타낸 것과 같다.

···(177)

적분 성분 연산부(3123)는 이 적분 성분 K_i(x_s, x_e)를 연산한다.

구체적으로는, 식 (177)에서 나타낸 바와 같이, 적분 성분 K_i(x_s, x_e)는 적분 범위의 개시 위치 x_s, 및 종료 위치 x_e, 게인 G_e, 및 i차 항의 i를 이미 알고 있으면 연산 가능하다.

이들 중, 게인 G_e는 조건 설정부(3121)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

i의 범위는 조건 설정부(3121)에 의해 설정된 차수 n에 의해 결정된다.

또, 적분 범위의 개시 위치 x_s, 및 종료 위치 x_e의 각각은 지금부터 생성하는 출력 화소의 중심 화소 위치(x, y) 및 화소폭, 및 데이터의 정상성 방향을 나타내는 시프트량 C_x(y)에 의해 결정된다. 그리고, (x, y)는 실세계 추정부(102)가 근사 함수 f(x)를 생성했을 때의 주목 화소의 중심 위치로부터의 상대 위치를 나타내고 있다.

또한, 지금부터 생성하는 출력 화소의 중심 화소 위치(x, y) 및 화소폭의 각각은 조건 설정부(3121)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

또, 시프트량 C_x(y)와, 데이터 정상성 검출부(101)로부터 공급된 각도 θ는 다음의 식 (178)과 식 (179)과 같은 관계가 성립되므로, 시프트량 C_x(y)는 각도 θ에 의해 결정된다.

···(178)

···(179)

그리고, 식 (178)에서, G_f는 데이터의 정상성 방향을 나타내는 경사를 표시하고 있으며, θ는 데이터 정상성 검출부(101)(도 236)로부터 출력되는 데이터 정상성 정보의 하나인 각도(공간 방향의 1 방향인 X 방향과, 경사 G_f로 표시되는 데이터의 정상성 방향이 이루는 각도)를 나타내고 있다. 또, dx는 X 방향의 미소 이동량을 나타내고 있으며, dy는 dx에 대한 Y 방향(X 방향과 수직인 공간 방향)의 미소 이동량을 나타내고 있다.

따라서, 적분 성분 연산부(3123)는 조건 설정부(3121)에 의해 설정된 차수(次數) 및 공간 해상도 배율(적분 범위), 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중 각도 θ에 따라 적분 성분 K_i(x_s, x_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 출력 화소값 연산부(3124)에 공급한다.

출력 화소값 연산부(3124)는 특징량 기억부(3122)로부터 공급된 특징량 테이블과, 적분 성분 연산부(3123)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식 (176)의 우변을 연산하고, 그 연산 결과를 출력 화소값 M으로서 외부에 출력한다.

다음에, 도 240의 플로차트를 참조하여, 1차원 재적분 방법을 이용하는 화상 생성부(103)(도 239)의 화상 생성 처리(도 40의 스텝 S103의 처리)에 대하여 설명한다.

예를 들면, 지금, 전술한 도 40의 스텝 S102의 처리에서, 실세계 추측부(102)가 전술한 도 237에서 나타낸 바와 같은 화소(3101)을 주목 화소로 하여 도 237에서 나타낸 바와 같은 근사 함수 f(x)를 이미 생성하고 있는 것으로 한다.

또, 전술한 도 40의 스텝 S101의 처리에서, 데이터 정상성 검출부(101)가 데이터 정상성 정보로서 도 237에서 나타낸 바와 같은 각도 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 도 240의 스텝 S3101에서, 조건 설정부(3121)는 조건(차수와 적분 범위)을 설정한다.

예를 들면, 지금, 차수로서 5가 설정되는 동시에, 적분 범위로서 공간 4배밀(倍密)(화소의 피치폭이 상하 좌우 모두 1/2배로 되는 공간 해상도 배율)이 설정된 것으로 한다.

즉, 이 경우, 도 238에서 나타낸 바와 같이, X 방향으로 -0.5 내지 0.5의 범위, 또한 Y 방향으로 -0.5 내지 0.5의 범위(도 237의 화소(3101)의 범위)에 4개의 화소(3111) 내지 화소(3114)를 새로 창조하는 것이 설정된 것으로 된다.

스텝 S3102에서, 특징량 기억부(3122)는 실세계 추정부(102)로부터 공급된 근사 함수 f(x)의 특징량을 취득하고, 특징량 테이블을 생성한다. 지금의 경우, 5차의 다항식인 근사 함수 f(x)의 계수 w₀ 내지 w₅가 실세계 추정부(102)로부터 공급되므로, 특징량 테이블로서, (w₀, w₁, w₂, w₃, w₄, w₅)가 생성된다.

스텝 S3103에서, 적분 성분 연산부(3123)는 조건 설정부(3121)에 의해 설정된 조건(차수 및 적분 범위), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하여, 적분 성분 테이블을 생성한다.

구체적으로는, 예를 들면, 지금부터 생성하는 화소(3111) 내지 화소(3114)의 각각에 대하여, 번호(이와 같은 번호를 이하, 모드 번호라고 칭함) 1 내지 4의 각각이 부여되어 있는 것으로 하면, 적분 성분 연산부(3123)는 전술한 식 (177)의 적분 성분 K_i(x_s, x_e)를 다음의 식 (180)의 좌변에서 나타낸 적분 성분 K_i(l)라고 하는 l(단, l은 모드 번호를 나타내고 있음)의 함수로서 연산한다.

K_i(l)= K_i(x_s, x_e) ···(180)

구체적으로는, 지금의 경우, 다음의 식 (181)에서 나타낸 적분 성분 K_i(l)가 연산된다.

···(181)

그리고, 식 (181)에서, 좌변이 적분 성분 K_i(l)를 나타내고, 우변이 적분 성분 K_i(x_s, x_e)를 나타내고 있다. 즉, 지금의 경우, ㅣ은 1 내지 4 중 어느 하나이며, 또한 i는 0 내지 5 중 어느 하나이므로, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 6개의 K_i(4)인 총계 24개의 K_i(l)가 연산되게 된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(3123)는 데이터 정상성 검출부(101)로부터 공급된 각도 θ를 사용하여, 전술한 식 (178)과 식 (179)로부터 시프트량 C_x(-0.25), 및 C_x(0.25)의 각각을 연산한다.

다음에, 적분 성분 연산부(3123)는 연산한 시프트량 C_x(-0.25), 및 C_x(0.25)를 사용하여, 식 (181)의 4개의 식 각 우변의 적분 성분 K_i(x_s, x_e)의 각각을 i=0 내지 5에 대하여 각각 연산한다. 그리고, 이 적분 성분 K_i(x_s, x_e)의 연산에서는, 전술한 식 (177)이 사용된다.

그리고, 적분 성분 연산부(3123)는 식 (181)에 따라, 연산한 24개의 적분 성분 K_i(x_s, x_e)의 각각을 대응하는 적분 성분 K_i(l)로 변환하고, 변환한 24개의 적분 성분 K_i(l)(즉, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 및 6개의 K_i(4))를 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S3102의 처리와 스텝 S3103의 처리의 순서는, 도 240의 예에 한정되지 않고, 스텝 S3103의 처리가 먼저 실행되어도 되고, 스텝 S3102의 처리와 스텝 S3103의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S3104에서, 출력 화소값 연산부(3124)는 스텝 S3102의 처리에서 특징량 기억부(3122)에 의해 생성된 특징량 테이블과, 스텝 S3103의 처리에서 적분 성분 연산부(3123)에 의해 생성된 적분 성분 테이블에 따라 출력 화소값 M1 내지 M(4)의 각각을 연산한다.

구체적으로는, 지금의 경우, 출력 화소값 연산부(3124)는 전술한 식 (176)에 대응하는 다음의 식 (182) 내지 식 (185)의 우변을 연산함으로써, 화소(3111)(모드 번호(1)의 화소)의 화소값 M(1), 화소(3112)(모드 번호(2)의 화소)의 화소값 M(2), 화소(3113)(모드 번호(3)의 화소)의 화소값 M(3), 및 화소(3114)(모드 번호(4)의 화소)의 화소값 M(4)의 각각을 연산한다.

···(182)

···(183)

···(184)

···(185)

스텝 S3105에서, 출력 화소값 연산부(3124)는 전 화소의 처리를 종료했는지 여부를 판정한다.

스텝 S3105에서, 전 화소의 처리가 아직 종료되어 있지 않다고 판정된 경우, 처리는 스텝 S3102로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 되지 않은 화소가 차례로 주목 화소로 되어, 스텝 S3102 내지 S3104의 처리가 반복된다.

그리고, 전 화소의 처리가 종료되면(스텝 S3105에서, 전 화소의 처리가 종료되었다고 판정하면), 출력 화소값 연산부(3124)는 스텝 S3106에서, 화상을 출력한다. 그 후, 화상의 생성 처리는 종료된다.

다음에, 도 241 내지 도 248을 참조하여, 소정 입력 화상에 대하여, 1차원 재적분 방법을 적용하여 얻어진 출력 화상과, 다른 방법(종래의 클래스 분류 적응 처리)을 적용하여 얻어진 출력 화상의 차이에 대하여 설명한다.

도 241은 입력 화상의 원래의 화상을 나타낸 도면이며, 도 242는 도 241의 원래의 화상에 대응하는 화상 데이터를 나타내고 있다. 도 242에서, 도면 중 수직 방향의 축은 화소값을 나타내고, 도면 중 우측 하 방향의 축은 화상의 공간 방향의 한 방향인 X 방향을 나타내고, 도면 중 우측 상 방향의 축은 화상의 공간 방향의 다른 방향인 Y 방향을 나타낸다. 그리고, 후술하는 도 244, 도 246, 및 도 248의 축의 각각은 도 242의 축과 대응하고 있다.

도 243은 입력 화상의 예를 나타낸 도면이다. 도 243에서 나타낸 입력 화상은 도 241에서 나타낸 화상의 2×2의 화소로 이루어지는 블록에 속하는 화소의 화소값의 평균값을 1개 화소의 화소값으로서 생성한 화상이다. 즉, 입력 화상은 도 241에서 나타낸 화상에 센서의 적분 특성을 모방한 공간 방향의 적분을 적용함으로써 얻어진 화상이다. 또, 도 244는 도 243의 입력 화상에 대응하는 화상 데이터를 나타내고 있다.

도 241에서 나타낸 원래의 화상에서, 상하 방향으로부터 대략 5도 시계 방향으로 기울어진 세선의 화상이 포함되어 있다. 동일하게, 도 243에서 나타낸 입력 화상에서, 상하 방향으로부터 대략 5도 시계 방향으로 기울어진 세선의 화상이 포함되어 있다.

도 245는 도 243에서 나타낸 입력 화상에, 종래의 클래스 분류 적응 처리를 적용하여 얻어진 화상(이하, 도 245에서 나타낸 화상을 종래의 화상이라고 칭함)을 나타낸 도면이다. 또, 도 246은 종래의 화상에 대응하는 화상 데이터를 나타내고 있다.

그리고, 클래스 분류 적응 처리는 클래스 분류 처리와 적응 처리에서 이루어지며, 클래스 분류 처리에 의해 데이터를 그 성질에 따라 클래스 구분하고, 각 클래스마다 적응 처리를 실행하는 것이다. 적응 처리에서는, 예를 들면, 저화질 또는 표준 화질의 화상이 소정 탭 계수를 사용하여 매핑(사상)됨으로써, 고화질의 화상으로 변환된다.

도 247은 도 243에서 나타낸 입력 화상에, 본 발명이 적용되는 1차원 재적분 방법을 적용하여 얻어진 화상(이하, 도 247에서 나타낸 화상을 본 발명의 화상이라고 칭함)을 나타낸 도면이다. 또, 도 248은 본 발명의 화상에 대응하는 화상 데이터를 나타내고 있다.

도 245의 종래의 화상과, 도 247의 본 발명의 화상을 비교하면, 종래의 화상에서는, 세선의 화상이 도 241의 원래의 화상과는 상이한 것으로 되어 있는 데 대하여, 본 발명의 화상에서는, 세선의 화상이 도 241의 원래의 화상과 거의 동일한 것으로 되어 있는 것을 알 수 있다.

이 차이는, 종래의 클래스 분류 적응 처리는 어디까지나 도 243의 입력 화상을 기준(원점)으로 하여 처리를 행하는 방법인 데 대하여, 본 발명의 1차원 재적분 방법은 세선의 정상성을 고려하여, 도 241의 원래의 화상을 추정하고(원래의 화상에 대응하는 근사 함수 f(x)를 생성하고), 추정한 원래의 화상을 기준(원점)으로 하여 처리를 행하는(재적분하여 화소값을 연산함) 방법이기 때문이다.

이와 같이, 1차원 재적분 방법에서는, 1차원 다항식 근사 방법에 의해 생성된 1차원 다항식인 근사 함수 f(x)(실세계의 X 단면 파형 F(x)의 근사 함수 f(x))를 기준(원점)으로 하여, 근사 함수 f(x)를 임의의 범위로 적분함으로써 출력 화상(화소값)이 생성된다.

따라서, 1차원 재적분 방법에서는, 종래의 다른 방법과 비교하여, 원래의 화상(센서(2)에 입사되기 전의 실세계(1)의 광 신호)에 의해 가까운 화상의 출력이 가능하게 된다.

환언하면, 1차원 재적분 방법에서는, 도 236의 데이터 정상성 검출부(101)가 각각 시공간 적분 효과를 가지는, 센서(2)의 복수개 검출 소자에 의해 실세계(1)의 광 신호가 투영되어 실세계(1)의 광 신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상에 있어서의 데이터의 정상성을 검출하고, 실세계 추정부(102)가 검출된 데이터의 정상성에 대응하여, 입력 화상의 시공간 방향 중 1차원 방향의 위치에 대응하는 화소의 화소값이 그 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하고, 실세계(1)의 광 신호를 나타내는 광 신호 함수 F(구체적으로는, X 단면 파형 F(x))를 소정 근사 함수 f(x)로 근사시킴으로써, 광 신호 함수 F를 추정하고 있는 것이 전제로 되어 있다.

상세하게는, 예를 들면, 검출된 데이터의 정상성에 대응하는 선으로부터의 1차원 방향에 따른 거리에 대응하는 각 화소의 화소값이 그 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, X 단면 파형 F(x)가 근사 함수 f(x)로 근사되어 있는 것이 전제로 되어 있다.

그리고, 1차원 재적분 방법에서는, 이와 같은 전제에 따라, 예를 들면, 도 236(도 3)의 화상 생성부(103)가 실세계 추정부(102)에 의해 추정된 X 단면 파형 F(x), 즉, 근사 함수 f(x)를 1차원 방향의 원하는 단위로 적분함으로써 원하는 크기의 화소에 대응하는 화소값 M를 생성하고, 그것을 출력 화상으로서 출력한다.

따라서, 1차원 재적분 방법에서는, 종래의 다른 방법과 비교하여, 원래의 화상(센서(2)에 입사되기 전의 실세계(1)의 광 신호)에 의해 가까운 화상의 출력이 가능하게 된다.

또, 1차원 재적분 방법에서는, 전술한 바와 같이, 적분 범위는 임의이므로, 적분 범위를 가변함으로써, 입력 화상의 해상도와는 상이한 해상도(시간 해상도, 또는 공간 해상도)를 창조하는 것도 가능하게 된다. 즉, 입력 화상의 해상도에 대하여, 정수값뿐만 아니라 임의의 배율의 해상도의 화상을 생성하는 것이 가능하게 된다.

또한, 1차원 재적분 방법에서는, 다른 재적분 방법과 비교하여, 보다 적은 연산 처리량으로 출력 화상(화소값)의 산출이 가능하게 된다.

다음에, 도 249 내지 도 255를 참조하여, 2차원 재적분 방법에 대하여 설명한다.

2차원 재적분 방법에서는, 2차원 다항식 근사 방법에 의해 근사 함수 f(x, y)가 이미 생성되어 있는 것이 전제가 된다.

즉, 예를 들면, 도 249에서 나타낸 바와 같은, 경사 G_F로 표현되는 공간 방향의 정상성을 가지는 실세계(1)(도 236)의 광 신호를 나타내는 화상 함수 F(x, y, t)를 공간 방향(X 방향과 Y 방향)으로 투영한 파형, 즉, X－Y 평면 상의 파형 F(x, y)가 n차(n은 임의의 정수)의 다항식인 근사 함수 f(x, y)에 근사되어 있는 것이 전제가 된다.

도 249에서, 도면 중, 수평 방향은 공간 방향의 1 방향인 X 방향을, 우측 상 방향은 공간 방향의 다른 방향인 Y 방향을, 수직 방향은 광의 레벨을 각각 나타내고 있다. G_F는 공간 방향의 정상성의 경사를 나타내고 있다.

그리고, 도 249의 예에서는, 정상성의 방향은 공간 방향(X 방향과 Y 방향)으로 되어 있기 때문에, 근사의 대상이 되는 광 신호 투영 함수는 함수 F(x, y)로 되어 있지만, 후술하는 바와 같이, 정상성의 방향에 따라, 함수 F(x, t)나 함수 F(y, t)가 근사의 대상으로 되어도 된다.

도 249의 예의 경우, 2차원 재적분 방법에서는, 출력 화소값 M은 다음의 식 (186)과 같이 연산된다.

···(186)

그리고, 식 (186)에서, y_s는 Y 방향의 적분 개시 위치를 나타내고 있으며, y_e는 Y 방향의 적분 종료 위치를 나타내고 있다. 동일하게, x_s는 X 방향의 적분 개시 위치를 나타내고 있으며, x_e는 X 방향의 적분 종료 위치를 나타내고 있다. 또, G_e는 소정 게인을 나타내고 있다.

식 (186)에서, 적분 범위는 임의로 설정 가능하므로, 2차원 재적분 방법에서는, 이 적분 범위를 적당히 바꿈으로써, 원래의 화소(센서(2)(도 236)로부터의 입력 화상의 화소)에 대하여 임의의 배율의 공간 해상도의 화소를 열화시키지 않고 창조하는 것이 가능하게 된다.

도 250은 2차원 재적분 방법을 이용하는 화상 생성부(103)의 구성예를 나타내고 있다.

도 250에서 나타낸 바와 같이, 이 예의 화상 생성부(103)에는, 조건 설정부(3201), 특징량 기억부(3202), 적분 성분 연산부(3203), 및 출력 화소값 연산부(3204)가 형성되어 있다.

조건 설정부(3201)는 실세계 추정부(102)로부터 공급된 실세계 추정 정보(도 250의 예에서는, 근사 함수 f(x, y)의 특징량)에 따라 근사 함수 f(x, y)의 차수 n을 설정한다.

조건 설정부(3201)는 또, 근사 함수 f(x, y)를 재적분하는 경우(출력 화소값을 연산하는 경우)의 적분 범위를 설정한다. 그리고, 조건 설정부(3201)가 설정하는 적분 범위는 화소의 세로폭이나 가로폭일 필요는 없다. 예를 들면, 근사 함수 f(x, y)는 공간 방향(X 방향과 Y 방향)으로 적분되므로, 센서(2)로부터의 입력 화상의 각 화소의 공간적인 크기에 대한 출력 화소(화상 생성부(103)가 지금부터 생성하는 화소)의 상대적인 크기(공간 해상도의 배율)를 알면, 구체적인 적분 범위의 결정이 가능하다. 따라서, 조건 설정부(3201)는 적분 범위로서, 예를 들면, 공간 해상도 배율을 설정할 수도 있다.

특징량 기억부(3202)는 실세계 추정부(102)로부터 차례로 공급되어 오는 근사 함수 f(x, y)의 특징량을 1차적으로 기억한다. 그리고, 특징량 기억부(3202)는 근사 함수 f(x, y)의 특징량 모두를 기억하면, 근사 함수 f(x, y)의 특징량을 모두 포함하는 특징량 테이블을 생성하여, 출력 화소값 연산부(3204)에 공급한다.

여기에서, 근사 함수 f(x, y)의 상세에 대하여 설명한다.

예를 들면, 지금, 전술한 도 249에서 나타낸 바와 같은 경사 G_F로 표현되는 공간 방향의 정상성을 가지는 실세계(1)(도 236)의 광 신호(파형 F(x, y)로 표현되는 광 신호)가 센서(2)(도 236)에 의해 검출되어 입력 화상(화소값)으로서 출력된 것으로 한다.

또한, 예를 들면, 도 251에서 나타낸 바와 같이, 데이터 정상성 검출부(101)(도 3)가 이 입력 화상 중, X 방향으로 4 화소분, 또한 Y 방향으로 5 화소분인 총계 20개의 화소(도면 중, 점선으로 표시되는 20개의 정방형)로 구성되는 입력 화상의 영역(3221)에 대하여 그 처리를 실행하고, 데이터 정상성 정보의 하나로서 각도 θ(경사 G_F에 대응하는 경사 G_f로 표시되는 데이터의 정상성 방향과 X 방향이 이루는 각도 θ)를 출력한 것으로 한다.

그리고, 실세계 추정부(102)로부터 보면, 데이터 정상성 검출부(101)는 주목 화소에서의 각도 θ를 단지 출력하면 되므로, 데이터 정상성 검출부(101)의 처리 범위는 전술한 입력 화상의 영역(3221)에 한정되지 않는다.

또, 입력 화상의 영역(3221)에서, 도면 중 수평 방향은 공간 방향의 1 방향인 X 방향을 나타내고 있으며, 도면 중 수직 방향은 공간 방향의 다른 방향인 Y 방향을 나타내고 있다.

또한, 도 251 중, 좌측으로부터 2 화소째이며, 아래로부터 3 화소째의 화소가 주목 화소로 되고, 그 주목 화소의 중심을 원점(0, 0)으로 하도록 (x, y) 좌표계가 설정되어 있다. 그리고, 원점(0, 0)을 통과하는 각도 θ의 직선(데이터의 정상성 방향을 나타내는 경사 G_f의 직선)에 대한 X 방향의 상대적인 거리(이하, 단면 방향 거리라고 칭함)가 x'로 되어 있다.

또한, 도 251중, 우측의 그래프는 3차원 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 화상 함수 F(x, y, t)를 Y 방향의 임의의 위치 y에서, X 방향으로 투영한 1차원의 파형(이하, 이와 같은 파형을 X 단면 파형 f(x)'라고 칭함)이 근사된 함수로서, n차(N은 임의의 정수)의 다항식인 근사 함수 f(x)'를 나타내고 있다. 우측 그래프의 축 중, 도면 중 수평 방향의 축은 단면 방향 거리를 나타내고 있으며, 도면 중 수직 방향의 축은 화소값을 나타내고 있다.

이 경우, 도 251에서 나타낸 근사 함수 f(x)'는 n차 다항식이므로, 다음의 식 (187)과 같이 표현된다.

···(187)

또, 각도 θ가 결정되어 있으므로, 원점(0, 0)을 통과하는 각도 θ의 직선은 일일의적으로 결정되며, Y 방향의 임의의 위치 y에 있어서의 직선의 X 방향의 위치 x₁가 다음의 식 (188)과 같이 표현된다. 단, 식 (188)에서, s는 cotθ를 나타내고 있다.

x1 = s×y ···(188)

즉, 도 251에서 나타낸 바와 같이, 경사 G_f로 표시되는 데이터의 정상성에 대응하는 직선 상의 점은 좌표값(x₁, y)으로 표현된다.

식 (188)으로부터 단면 방향 거리 x'는 다음의 식 (189)와 같이 표현된다.

x' = x－x₁ = x－s×y ···(189)

따라서, 입력 화상의 영역(3221) 내의 임의의 위치(x, y)에서의 근사 함수 f(x, y)는 식 (187)과 식 (189)로부터 다음의 식 (190)과 같이 나타낸다.

···(190)

그리고, 식 (190)에서, w_i는 근사 함수 f(x, y)의 특징량을 나타내고 있다.

도 250으로 복귀하여, 식 (190)에 포함되는 특징량 w_i가 실세계 추정부(102)로부터 공급되고, 특징량 기억부(3202)에 기억된다. 특징량 기억부(3202)는 식 (190)으로 표현되는 특징량 w_i 모두를 기억하면, 특징량 w_i를 모두 포함하는 특징량 테이블을 생성하여, 출력 화소값 연산부(3204)에 공급한다.

또, 전술한 식 (186) 우변의 근사 함수 f(x, y)에, 식 (190)의 근사 함수 f(x, y)를 대입하여, 식 (186)의 우변을 전개(연산)하면, 출력 화소값 M은 다음의 식 (191)과 같이 표현된다.

···(191)

식 (191)에서, K_i(x_s, x_e, y_s, y_e)는 i차 항의 적분 성분을 나타내고 있다. 즉, 적분 성분 K_i(x_s, x_e, y_s, y_e)는 다음의 식 (192)에서 나타낸 대로이다.

···(192)

적분 성분 연산부(3203)는 이 적분 성분 K_i(x_s, x_e, y_s, y_e)를 연산한다.

구체적으로는, 식 (191)과 식 (192)에서 나타낸 바와 같이, 적분 성분 K_i(x_s, x_e, y_s, y_e)는 적분 범위의 X 방향의 개시 위치 x_s, 및 X 방향의 종료 위치 x_e, 적분 범위의 Y 방향의 개시 위치 y_s, 및 Y 방향의 종료 위치 y_e, 변수 s, 게인 G_e, 및 i차 항의 i를 이미 알고 있으면 연산 가능하다.

이들 중, 게인 G_e는 조건 설정부(3201)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

i의 범위는 조건 설정부(3201)에 의해 설정된 차수 n에 의해 결정된다.

변수 S는 전술한 바와 같이, cotθ이므로, 데이터 정상성 검출부(101)로부터 출력되는 각도 θ에 의해 결정된다.

또, 적분 범위의 X 방향의 개시 위치 x_s, 및 X 방향의 종료 위치 x_e, 및 적분 범위의 Y 방향의 개시 위치 y_s, 및 Y 방향의 종료 위치 y_e의 각각은 지금부터 생성하는 출력 화소의 중심 화소 위치(x, y) 및 화소폭에 의해 결정된다. 그리고, (x, y)는 실세계 추정부(102)가 근사 함수 f(x)를 생성했을 때의 주목 화소의 중심 위치로부터의 상대 위치를 나타내고 있다.

또한, 지금부터 생성하는 출력 화소의 중심 화소 위치(x, y) 및 화소폭의 각각은 조건 설정부(3201)에 의해 설정된 공간 해상도 배율(적분 범위)에 의해 결정된다.

따라서, 적분 성분 연산부(3203)는 조건 설정부(3201)에 의해 설정된 차수 및 공간 해상도 배율(적분 범위), 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중 각도 θ에 따라 적분 성분 K_i(x_s, x_e, y_s, y_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 출력 화소값 연산부(3204)에 공급한다.

출력 화소값 연산부(3204)는 특징량 기억부(3202)로부터 공급된 특징량 테이블과, 적분 성분 연산부(3203)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식 (191)의 우변을 연산하고, 그 연산 결과를 출력 화소값 M으로서 외부에 출력한다.

다음에, 도 252의 플로차트를 참조하여, 2차원 재적분 방법을 이용하는 화상 생성부(103)(도 251)의 화상 생성 처리(도 40의 스텝 S103의 처리)에 대하여 설명한다.

예를 들면, 지금, 도 249에서 나타낸 함수 F(x, y)로 표현되는 광 신호가 센서(2)에 입사되어 입력 화상으로 되고, 전술한 도 40의 스텝 S102의 처리에서, 실세계 추측부(102)가 그 입력 화상 중, 도 253에서 나타낸 바와 같은 1개의 화소(3231)를 주목 화소로 하여 함수 F(x, y)를 근사시키는 근사 함수 f(x, y)를 이미 생성하고 있는 것으로 한다.

그리고, 도 253에서, 화소(3231)의 화소값(입력 화소값)이 P로 되고, 또한, 화소(3231)의 형상이, 1변의 길이가 1의 정방형으로 되어 있다. 또, 공간 방향 중, 화소(3231)의 1변에 평행한 방향이 X 방향으로 되고, X 방향으로 수직인 방향이 Y 방향으로 되어 있다. 또한, 화소(3231)의 중심이 원점으로 되는 공간 방향(X 방향과 Y 방향)의 좌표계(이하, 주목 화소 좌표계라고 칭함)가 설정되어 있다.

또, 도 253에서, 전술한 도 40의 스텝 S101의 처리에서, 데이터 정상성 검출부(101)가 화소(3231)를 주목 화소로 하여 경사 G_f로 표시되는 데이터의 정상성에 대응하는 데이터 정상성 정보로서 각도 θ를 이미 출력하고 있는 것으로 한다.

도 252로 복귀하고, 이 경우, 스텝 S3201에서, 조건 설정부(3201)는 조건(차수와 적분 범위)을 설정한다.

예를 들면, 지금, 차수로서 5가 설정되는 동시에, 적분 범위로서 공간 4배밀(화소의 피치폭이 상하 좌우 모두 1/2배로 되는 공간 해상도 배율)이 설정된 것으로 한다.

즉, 이 경우, 도 254에서 나타낸 바와 같이, X 방향으로 -0.5 내지 0.5의 범위, 또한 Y 방향으로 -0.5 내지 0.5의 범위(도 253의 화소(3231)의 범위)에 4개의 화소(3241) 내지 화소(3244)를 새로 창조하는 것이 설정된 것으로 된다. 그리고, 도 254에서도, 도 253의 것과 동일한 주목 화소 좌표계가 나타나 있다.

또, 도 254에서, M(1)은 지금부터 생성되는 화소(3241)의 화소값을, M(2)은 지금부터 생성되는 화소(3242)의 화소값을, M(3)은 지금부터 생성되는 화소(3243)의 화소값을, M(4)은 지금부터 생성되는 화소(3244)의 화소값을 각각 나타내고 있다.

도 252로 복귀하여, 스텝 S3202에서, 특징량 기억부(3202)는 실세계 추정부(102)로부터 공급된 근사 함수 f(x, y)의 특징량을 취득하고, 특징량 테이블을 생성한다. 지금의 경우, 5차 다항식인 근사 함수 f(x)의 계수 w₀ 내지 w₅가 실세계 추정부(102)로부터 공급되므로, 특징량 테이블로서, (w₀, w₁, w₂, w₃, w₄, w₅)가 생성된다.

스텝 S3203에서, 적분 성분 연산부(3203)는 조건 설정부(3201)에 의해 설정된 조건(차수 및 적분 범위), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ)에 따라 적분 성분을 연산하여, 적분 성분 테이블을 생성한다.

구체적으로는, 예를 들면, 지금부터 생성되는 화소(3241) 내지 화소(3244)의 각각에 대하여, 번호(이와 같은 번호를 이하, 모드 번호라고 칭함)(1 내지 4)의 각각이 부여되어 있는 것으로 하면, 적분 성분 연산부(3203)는 전술한 식 (191)의 적분 성분 K_i(x_s, x_e, y_s, y_e)를 다음의 식 (193)의 좌변에서 나타낸 적분 성분 K_i(l)라고 하는 l(단, l는 모드 번호를 나타내고 있음)의 함수로서 연산한다.

K_i(l)= K_i(x_s, x_e, y_s, y_e) ···(193)

구체적으로는, 지금의 경우, 다음의 식 (194)에서 나타낸 적분 성분 K_i(l)가 연산된다.

···(194)

그리고, 식 (194)에서, 좌변이 적분 성분 K_i(l)를 나타내고, 우변이 적분 성분 K_i(x_s, x_e, y_s, y_e)를 나타내고 있다. 즉, 지금의 경우, l은 1 내지 4 중 어느 하나이며, 또한 i는 0 내지 5 중 어느 하나이므로, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 6개의 K_i(4)인 총계 24개의 K_i(l)가 연산되게 된다.

보다 구체적으로는, 처음에, 적분 성분 연산부(3203)는 데이터 정상성 검출부(101)로부터 공급된 각도 θ를 사용하여, 전술한 식 (188)의 변수 s(s=cotθ)를 연산한다.

다음에, 적분 성분 연산부(3203)는 연산한 변수 s를 사용하여, 식 (194)의 4개의 식 각 우변의 적분 성분 K_i(x_s, x_e, y_s, y_e)의 각각을 i=0 내지 5에 대하여 각각 연산한다. 그리고, 이 적분 성분 K_i(x_s, x_e, y_s, y_e)의 연산에서는, 전술한 식 (191)이 사용된다.

그리고, 적분 성분 연산부(3203)는 식 (194)에 따라, 연산한 24개의 적분 성분 K_i(x_s, x_e, y_s, y_e)의 각각을, 대응하는 적분 성분 K_i(l)로 변환하고, 변환한 24개의 적분 성분 K_i(l)(즉, 6개의 K_i(1), 6개의 K_i(2), 6개의 K_i(3), 및 6개의 K_i(4))를 포함하는 적분 성분 테이블을 생성한다.

그리고, 스텝 S3202의 처리와 스텝 S3203의 처리 순서는, 도 252의 예에 한정되지 않고, 스텝 S3203의 처리가 먼저 실행되어도 되고, 스텝 S3202의 처리와 스텝 S3203의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S3204에서, 출력 화소값 연산부(3204)는 스텝 S3202의 처리에서 특징량 기억부(3202)에 의해 생성된 특징량 테이블과, 스텝 S3203의 처리에서 적분 성분 연산부(3203)에 의해 생성된 적분 성분 테이블에 따라 출력 화소값 M(1) 내지 M(4)의 각각을 연산한다.

구체적으로는, 지금의 경우, 출력 화소값 연산부(3204)는 전술한 식 (191)에 대응하는, 다음의 식 (195) 내지 식 (198)의 우변 각각을 연산함으로써, 도 254에서 나타낸, 화소(3241)(모드 번호 1의 화소)의 화소값 M(1), 화소(3242)(모드 번호 2의 화소)의 화소값 M(2), 화소(3243)(모드 번호 3의 화소)의 화소값 M(3), 및 화소(3244)(모드 번호 4의 화소)의 화소값 M(4)의 각각을 연산한다.

···(195)

···(196)

···(197)

···(198)

단, 지금의 경우, 식 (195) 내지 식 (198)의 n은 모두 5로 된다.

스텝 S3205에서, 출력 화소값 연산부(3204)는 전 화소의 처리를 종료했는지 여부를 판정한다.

스텝 S3205에서, 전 화소의 처리가 아직 종료되어 있지 않다고 판정된 경우, 처리는 스텝 S3202로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 되지 않은 화소가 차례로 주목 화소로 되어, 스텝 S3202 내지 S3204의 처리가 반복된다.

그리고, 전 화소의 처리가 종료되면(스텝 S3205에서, 전 화소의 처리가 종료되었다고 판정하면), 출력 화소값 연산부(3204)는 스텝 S3206에서, 화상을 출력한다. 그 후, 화상의 생성 처리는 종료된다.

이와 같이, 2차원 재적분 방법을 이용함으로써, 센서(2)(도 236)로부터의 입력 화상의 화소(3231)(도 253)에서의 화소로서, 입력 화소(3231)보다 공간 해상도가 높은 4개의 화소, 즉, 화소(3241) 내지 화소(3244)(도 254)를 창조할 수 있다. 또한, 도시는 하지 않지만, 전술한 바와 같이, 화상 생성부(103)는 화소(3241) 내지 화소(3244)뿐만 아니라, 적분 범위를 적당히 바꿈으로써, 입력 화소(3231)에 대하여 임의의 배율의 공간 해상도의 화소를 열화시키지 않고 창조할 수 있다.

이상, 2차원 재적분 방법의 설명으로서, 공간 방향(X 방향과 Y 방향)에 대한 근사 함수 f(x, y)를 2차원 적분하는 예를 사용했지만, 2차원 재적분 방법은 시공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대해서도 적용 가능하다.

즉, 전술한 예는, 실세계(1)(도 236)의 광 신호가, 예를 들면, 도 249에서 나타낸 바와 같은 경사 G_F로 표현되는 공간 방향의 정상성을 가지는 경우의 예였으므로, 전술한 식 (186)에서 나타낸 바와 같은, 공간 방향(X 방향과 Y 방향)의 2차원 적분이 포함되는 식이 이용되었다. 그러나, 2차원 적분의 사고 방식은 공간 방향에만 의하지 않고, 시공간 방향(X 방향과 t 방향, 또는 Y 방향과 t 방향)에 대하여 적용하는 것도 가능하다.

환언하면, 2차원 재적분 방법의 전제로 되는 2차원 다항식 근사 방법에서는, 광 신호를 나타내는 화상 함수 F(x, y, t)가 공간 방향의 정상성뿐만 아니라, 시공간 방향(단, X 방향과 t 방향, 또는 Y 방향과 t 방향)의 정상성을 가지고 있는 경우라도, 2차원 다항식에 의해 근사시킬 수 있다.

구체적으로는, 예를 들면, X 방향으로 수평으로 등속으로 움직이고 있는 물체가 있는 경우, 그 물체의 모션 방향은 도 255에서 나타낸 바와 같은 X-t 평면에서는, 경사 V_F와 같이 표시된다. 환언하면, 경사 V_F는 X-t 평면에서의 시공간 방향의 정상성 방향을 표시하고 있다고도 말할 수 있다. 따라서, 데이터 정상성 검출부(101)(도 236)는 전술한 각도 θ(X-Y 평면에서의, 공간 방향의 정상성을 표시하는 경사 G_F에 대응하는 데이터 정상성 정보)와 동일하게, X-t 평면에서의 시공간 방향의 정상성을 표시하는 경사 V_F에 대응하는 데이터 정상성 정보로서, 도 255에서 나타낸 바와 같은 모션 θ(엄밀하게는, 도시는 하지 않지만, 경사 V_F에 대응하는 경사 V_f로 표시되는 데이터의 정상성 방향과, 공간 방향의 X 방향이 이루는 각도인 모션 θ)를 출력할 수 있다.

또, 2차원 다항식 근사 방법을 이용하는 실세계 추정부(102)(도 236)는 모션 θ를 전술한 각도 θ 대신으로 하여 사용하면, 전술한 방법과 동일한 방법으로, 근사 함수 f(x, t)의 계수(특징량) w_i를 연산하는 것이 가능하게 된다. 단, 이 경우, 사용되는 식은, 전술한 식 (190)이 아니고, 다음의 식 (199)이다.

···(199)

그리고, 식 (199)에서, s는 cotθ(단, θ는 모션임)이다.

따라서, 2차원 재적분 방법을 이용하는 화상 생성부(103)(도 236)는 다음의 식 (200)의 우변에, 전술한 식 (199)의 f(x, t)를 대입하여 연산함으로써, 화소값 M을 산출하는 것이 가능하게 된다.

···(200)

그리고, 식 (200)에서, t_S는 t 방향의 적분 개시 위치를 나타내고 있으며, t_e는 t 방향의 적분 종료 위치를 나타내고 있다. 동일하게, x_s는 X 방향의 적분 개시 위치를 나타내고 있으며, x_e는 X 방향의 적분 종료 위치를 나타내고 있다. G_e는 소정 게인을 나타내고 있다.

또, 공간 방향 X 대신에, 공간 방향 Y에 주목한 근사 함수 f(y, t)도, 전술한 근사 함수 f(x, t)와 아주 동일하게 취급하는 것이 가능하다.

그런데, 식 (199)에서, t 방향을 일정한 것으로 간주하여, 즉, t 방향의 적분을 무시하여 적분함으로써, 시간 방향으로는 적분되지 않는 데이터, 즉, 모션 블러링(blurring)이 없는 데이터를 얻는 것이 가능하게 된다. 환언하면, 이 방법은 2차원 다항식 중 소정 1차원을 일정하게 하여 재적분하는 점에서, 2차원 재적분 방법의 하나로 간주해도 되고, 실제로는, X 방향의 1차원 재적분을 하게 된다고 하는 점에서, 1차원 재적분 방법의 하나로 간주해도 된다.

또, 식 (200)에서, 적분 범위는 임의로 설정 가능하므로, 2차원 재적분 방법에서는, 이 적분 범위를 적당히 바꿈으로써, 원래의 화소(센서(2)(도 236)로부터의 입력 화상의 화소)에 대하여 임의의 배율의 해상도의 화소를 열화시키지 않고 창조하는 것이 가능하게 된다.

즉, 2차원 재적분 방법에서는, 시간 방향 t의 적분 범위를 적당히 바꿈으로써, 시간 해상도의 창조가 가능하게 된다. 또, 공간 방향 X(또는, 공간 방향 Y)의 적분 범위를 적당히 바꿈으로써, 공간 해상도의 창조가 가능하게 된다. 또한, 시간 방향 t와 공간 방향 X의 적분 범위 각각을 적당히 바꿈으로써, 시간 해상도와 공간 해상도의 양쪽 창조가 가능하게 된다.

그리고, 전술한 바와 같이, 시간 해상도와 공간 해상도 중 어느 한쪽의 창조는 1차원 재적분 방법에서도 가능하지만, 양쪽의 해상도 창조는 1차원 재적분 방법에서는 원리 상 불가능하고, 2차원 이상의 재적분을 행함으로써 비로소 가능하게 된다. 즉, 2차원 재적분 방법과 후술하는 3차원 재적분 방법으로 비로소 양쪽의 해상도 창조가 가능하게 된다.

또, 2차원 재적분 방법은 1차원이 아니고 2차원 적분 효과를 고려하고 있으므로, 보다 실세계(1)(도 236)의 광 신호에 가까운 화상을 생성하는 것도 가능하게 된다.

환언하면, 2차원 재적분 방법에서는, 예를 들면, 도 236(도 3)의 데이터 정상성 검출부(101)가 각각 시공간 적분 효과를 가지는, 센서(2)의 복수개의 검출 소자에 의해 실세계(1)의 광 신호가 투영되어 실세계(1)의 광 신호의 정상성(예를 들면, 도 249의 경사 G_F로 표시되는 정상성)의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상에 있어서의 데이터의 정상성(예를 들면, 도 251의 경사 G_f로 표시되는 데이터의 정상성)을 검출한다.

그리고, 예를 들면, 도 236(도 3)의 실세계 추정부(102)가 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 대응하여, 화상 데이터의 시공간 방향 중 적어도 2차원 방향(예를 들면, 도 249의 공간 방향 X와, 공간 방향 Y)의 위치에 대응하는 화소의 화소값이 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 실세계(1)의 광 신호를 나타내는 광 신호 함수 F(구체적으로는, 도 249의 함수 F(x, y))를 다항식인 근사 함수 f(x, y)로 근사시킴으로써, 광 신호 함수 F를 추정하는 것이 전제로 되어 있다.

상세하게는, 예를 들면, 실세계 추정부(102)는 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 대응하는 선(예를 들면, 도 251의 경사 G_f에 대응하는 선(화살표))으로부터 적어도 2차원 방향에 따른 거리(예를 들면, 도 251의 단면 방향 거리 x')에 대응하는 화소의 화소값이 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 현실 세계의 광 신호를 나타내는 제1 함수를 다항식인 제2 함수로 근사시킴으로써, 제1 함수를 추정하는 것이 전제로 되어 있다.

2차원 재적분 방법에서는, 이와 같은 전제에 따라, 예를 들면, 도 236(도 3)의 화상 생성부(103)(구성은, 도 250)가 실세계 추정부(102)에 의해 추정된 함수 F(x, y), 즉, 근사 함수 f(x, y)를 적어도 2차원 방향의 원하는 단위로 적분함으로써(예를 들면, 전술한 식 (186)의 우변을 연산함으로써) 원하는 크기의 화소(예를 들면, 도 236의 출력 화상(화소값 M). 구체적으로는, 예를 들면, 도 254의 화소(3241) 내지 화소(3244))에 대응하는 화소값을 생성한다.

따라서, 2차원 재적분 방법에서는, 시간 해상도와 공간 해상도 중 어느 한쪽의 창조뿐만 아니라, 양쪽의 해상도 창조가 가능하게 된다. 또, 2차원 재적분 방법에서는, 1차원 재적분 방법과 비교하여, 보다 실세계(1)(도 236)의 광 신호에 가까운 화상을 생성하는 것도 가능하게 된다.

다음에, 도 256과 도 257을 참조하여, 3차원 재적분 방법에 대하여 설명한다.

3차원 재적분 방법에서는, 3차원 함수 근사 방법에 의해 근사 함수 f(x, y, t)가 이미 생성되어 있는 것이 전제가 된다.

이 경우, 3차원 재적분 방법에서는, 출력 화소값 M은 다음의 식 (201)과 같이 연산된다.

···(201)

그리고, 식 (201)에서, t_S는 t 방향의 적분 개시 위치를 나타내고 있으며, t_e는 t 방향의 적분 종료 위치를 나타내고 있다. 동일하게, y_s는 Y 방향의 적분 개시 위치를 나타내고 있으며, y_e는 Y 방향의 적분 종료 위치를 나타내고 있다. 또, x_s는 X 방향의 적분 개시 위치를 나타내고 있으며, x_e는 X 방향의 적분 종료 위치를 나타내고 있다. 또한, G_e는 소정 게인을 나타내고 있다.

식 (201)에서, 적분 범위는 임의로 설정 가능하므로, 3차원 재적분 방법에서는, 이 적분 범위를 적당히 바꿈으로써, 원래의 화소(센서(2)(도 236)로부터의 입력 화상의 화소)에 대하여 임의 배율의 시공간 해상도의 화소를 열화시키지 않고 창조하는 것이 가능하게 된다. 즉, 공간 방향의 적분 범위를 작게 하면, 화소 피치를 자유롭게 세세하게 할 수 있다. 역으로, 공간 방향의 적분 범위를 크게 하면, 화소 피치를 자유롭게 크게 할 수 있다. 또, 시간 방향의 적분 범위를 작게 하면, 실세계 파형에 따라 시간 해상도를 창조할 수 있다.

도 256은 3차원 재적분 방법을 이용하는 화상 생성부(103)의 구성예를 나타내고 있다.

도 256에서 나타낸 바와 같이, 이 예의 화상 생성부(103)에는, 조건 설정부(3301), 특징량 기억부(3302), 적분 성분 연산부(3303), 및 출력 화소값 연산부(3304)가 형성되어 있다.

조건 설정부(3301)는 실세계 추정부(102)로부터 공급된 실세계 추정 정보(도 256의 예에서는, 근사 함수 f(x, y, t)의 특징량)에 따라 근사 함수 f(x, y, t)의 차수 n을 설정한다.

조건 설정부(3301)는 또, 근사 함수 f(x, y, t)를 재적분하는 경우(출력 화소값을 연산하는 경우)의 적분 범위를 설정한다. 그리고, 조건 설정부(3301)가 설정하는 적분 범위는 화소의 폭(세로폭과 가로폭)이나 셔터 시간 그 자체일 필요는 없다. 예를 들면, 센서(2)(도 236)로부터의 입력 화상의 각 화소의 공간적인 크기에 대한 출력 화소(화상 생성부(103)가 지금부터 생성하는 화소)의 상대적인 크기(공간 해상도의 배율)를 알면, 구체적인 공간 방향 적분 범위의 결정이 가능하다. 동일하게, 센서(2)(도 236)의 셔터 시간에 대한 출력 화소값의 상대적인 시간(시간 해상도의 배율)을 알면, 구체적인 시간 방향 적분 범위의 결정이 가능하다. 따라서, 조건 설정부(3301)는 적분 범위로서, 예를 들면, 공간 해상도 배율이나 시간 해상도 배율을 설정할 수도 있다.

특징량 기억부(3302)는 실세계 추정부(102)로부터 차례로 공급되어 오는 근사 함수 f(x, y, t)의 특징량을 1차적으로 기억한다. 그리고, 특징량 기억부(3302)는 근사 함수 f(x, y, t)의 특징량 모두를 기억하면, 근사 함수 f(x, y, t)의 특징량을 모두 포함하는 특징량 테이블을 생성하여, 출력 화소값 연산부(3304)에 공급한다.

그런데, 전술한 식 (201) 우변의 근사 함수 f(x, y)의 우변을 전개(연산)하면, 출력 화소값 M은 다음의 식 (202)와 같이 표현된다.

···(202)

식 (202)에서, K_i(x_s, x_e, y_s, y_e, t_s, t_e)는 i차 항의 적분 성분을 나타내고 있다. 단, x_s는 X 방향 적분 범위의 개시 위치를, x_e는 X 방향 적분 범위의 종료 위치를, y_s는 Y 방향 적분 범위의 개시 위치를, y_e는 Y 방향 적분 범위의 종료 위치를, t_s는 t 방향 적분 범위의 개시 위치를, t_e는 t 방향 적분 범위의 종료 위치를 각각 나타내고 있다.

적분 성분 연산부(3303)는 이 적분 성분 K_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산한다.

구체적으로는, 적분 성분 연산부(3303)는 조건 설정부(3301)에 의해 설정된 차수, 및 적분 범위(공간 해상도 배율이나 시간 해상도 배율), 및 데이터 정상성 검출부(101)로부터 출력된 데이터 정상성 정보 중 각도 θ 또는 모션 θ에 따라 적분 성분 K_i(x_s, x_e, y_s, y_e, t_s, t_e)를 연산하고, 그 연산 결과를 적분 성분 테이블로서 출력 화소값 연산부(3304)에 공급한다.

출력 화소값 연산부(3304)는 특징량 기억부(3302)로부터 공급된 특징량 테이블과, 적분 성분 연산부(3303)로부터 공급된 적분 성분 테이블을 이용하여, 전술한 식 (202)의 우변을 연산하고, 그 연산 결과를 출력 화소값 M으로서 외부에 출력한다.

다음에, 도 257의 플로차트를 참조하여, 3차원 재적분 방법을 이용하는 화상 생성부(103)(도 256)의 화상 생성 처리(도 40의 스텝 S103의 처리)에 대하여 설명한다.

예를 들면, 지금, 전술한 도 40의 스텝 S102의 처리에서, 실세계 추측부(102)(도 236)가 입력 화상 중, 소정 화소를 주목 화소로서 실세계(1)(도 236)의 광 신호를 근사시키는 근사 함수 f(x, y, t)를 이미 생성하고 있는 것으로 한다.

또, 전술한 도 40의 스텝 S101의 처리에서, 데이터 정상성 검출부(101)(도 236)가 실세계 추정부(102)와 동일 화소를 주목 화소로 하여 데이터 정상성 정보로서 각도 θ 또는 모션 θ를 이미 출력하고 있는 것으로 한다.

이 경우, 도 257의 스텝 S3301에서, 조건 설정부(3301)는 조건(차수와 적분 범위)을 설정한다.

스텝 S3302에서, 특징량 기억부(3302)는 실세계 추정부(102)로부터 공급된 근사 함수 f(x, y, t)의 특징량 w_i를 취득하여, 특징량 테이블을 생성한다.

스텝 S3303에서, 적분 성분 연산부(3303)는 조건 설정부(3301)에 의해 설정된 조건(차수 및 적분 범위), 및 데이터 정상성 검출부(101)로부터 공급된 데이터 정상성 정보(각도 θ 또는 모션 θ)에 따라 적분 성분을 연산하여, 적분 성분 테이블을 생성한다.

그리고, 스텝 S3302의 처리와 스텝 S3303의 처리의 순서는 도 257의 예에 한정되지 않고, 스텝 S3303의 처리가 먼저 실행되어도 되고, 스텝 S3302의 처리와 스텝 S3303의 처리가 동시에 실행되어도 된다.

다음에, 스텝 S3304에서, 출력 화소값 연산부(3304)는 스텝 S3302의 처리에서 특징량 기억부(3302)에 의해 생성된 특징량 테이블과, 스텝 S3303의 처리에서 적분 성분 연산부(3303)에 의해 생성된 적분 성분 테이블에 따라 각 출력 화소값의 각각을 연산한다.

스텝 S3305에서, 출력 화소값 연산부(3304)는 전 화소의 처리를 종료했는지 여부를 판정한다.

스텝 S3305에서, 전 화소의 처리가 아직 종료되어 있지 않다고 판정된 경우, 처리는 스텝 S3302로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 되지 않은 화소가 차례로 주목 화소로 되어, 스텝 S3302 내지 S3304의 처리가 반복된다.

그리고, 전 화소의 처리가 종료되면(스텝 S3305에서, 전 화소의 처리가 종료되었다고 판정하면), 출력 화소값 연산부(3304)는 스텝 S3306에서, 화상을 출력한다. 그 후, 화상의 생성 처리는 종료된다.

이와 같이, 전술한 식 (201)에서, 그 적분 범위는 임의로 설정 가능하므로, 3차원 재적분 방법에서는, 이 적분 범위를 적당히 바꿈으로써, 원래의 화소(센서(2)(도 236)로부터의 입력 화상의 화소)에 대하여 임의의 배율의 해상도의 화소를 열화시키지 않고 창조하는 것이 가능하게 된다.

즉, 3차원 재적분 방법에서는, 시간 방향의 적분 범위를 적당히 바꿈으로써, 시간 해상도의 창조가 가능하게 된다. 또, 공간 방향의 적분 범위를 적당히 바꿈으로써, 공간 해상도의 창조가 가능하게 된다. 또한, 시간 방향과 공간 방향 적분 범위의 각각을 적당히 바꿈으로써, 시간 해상도와 공간 해상도 양쪽의 창조가 가능하게 된다.

구체적으로는, 3차원 재적분 방법에서는, 2차원이나 1차원으로 떨어뜨릴 때의 근사가 없으므로 정밀도가 높은 처리가 가능하게 된다. 또, 경사 방향의 움직임도 2차원으로 축퇴(縮退)하지 않고 처리하는 것이 가능하게 된다. 또한, 2차원으로 축퇴하고 있지 않으므로 각 차원의 가공이 가능하게 된다. 예를 들면, 2차원 재적분 방법에서, 공간 방향(X 방향과 Y 방향)으로 축퇴하고 있는 경우에는 시간 방향인 t 방향의 가공을 할 수 없게 되어 버린다. 이에 대하여, 3차원 재적분 방법에서는, 시공간 방향의 어느 가공도 가능하게 된다.

그리고, 전술한 바와 같이, 시간 해상도와 공간 해상도 중 어느 한쪽의 창조는 1차원 재적분 방법에서도 가능하지만, 양쪽의 해상도 창조는 1차원 재적분 방법에서는 원리 상 불가능하며, 2차원 이상의 재적분을 행함으로써 비로소 가능하게 된다. 즉, 전술한 2차원 재적분 방법과 3차원 재적분 방법으로 비로소 양쪽의 해상도 창조가 가능하게 된다.

또, 3차원 재적분 방법은 1차원이나 2차원이 아니고 3차원의 적분 효과를 고려하고 있으므로, 보다 실세계(1)(도 236)의 광 신호에 가까운 화상을 생성하는 것도 가능하게 된다.

환언하면, 3차원 재적분 방법에서는, 예를 들면, 도 236(도 3)의 실세계 추정부(102)는 각각 시공간 적분 효과를 가지는, 센서(2)의 복수개의 검출 소자에 의해 실세계(1)의 광 신호가 투영되어 실세계(1) 광 신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상의, 시공간 방향 중 적어도 1차원 방향의 위치에 대응하는 화소의 화소값이 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 실세계의 광 신호를 나타내는 광 신호 함수 F를 소정 근사 함수 f로 근사시킴으로써, 광 신호 함수 F를 추정하는 것이 전제가 된다.

또한, 예를 들면, 도 236(도 3)의 데이터 정상성 검출부(101)가 입력 화상 데이터의 정상성을 검출한 경우, 실세계 추정부(102)는 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 대응하여, 화상 데이터의 시공간 방향 중 적어도 1차원 방향의 위치에 대응하는 화소의 화소값이 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 광 신호 함수 F를 근사 함수 f로 근사시킴으로써, 광 신호 함수 F를 추정하는 것이 전제가 된다.

상세하게는, 예를 들면, 실세계 추정부(102)는 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 대응하는 선으로부터 중 적어도 1차원 방향에 따른 거리에 대응하는 화소의 화소값이 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 광 신호 함수 F를 근사 함수로 근사시킴으로써, 광 신호 함수를 추정하는 것이 전제가 된다.

3차원 재적분 방법에서는, 예를 들면, 도 236(도 3)의 화상 생성부(103)(구성은, 도 256)가 실세계 추정부(102)에 의해 추정된 광 신호 함수 F, 즉, 근사 함수 f를 적어도 1차원 방향의 원하는 단위로 적분함으로써(예를 들면, 전술한 식 (201)의 우변을 연산함으로써) 원하는 크기의 화소에 대응하는 화소값을 생성한다.

따라서, 3차원 재적분 방법은 종래의 화상 생성 방법이나, 전술한 1차원 또는 2차원 재적분 방법과 비교하여, 보다 실세계(1)(도 236)의 광 신호에 가까운 화상을 생성하는 것도 가능하게 된다.

다음에, 도 258을 참조하여, 실세계 추정부(102)로부터 입력되는 실세계 추정 정보가 참조 화소의 각 화소값을 근사적으로 표현하는 근사 함수 f(x) 상의, 각 화소의 미분값, 또는 경사의 정보인 경우, 각 화소의 미분값, 또는 경사에 따라, 새로 화소를 생성하여, 화상을 출력하는 화상 생성부(103)에 대하여 설명한다.

그리고, 여기에서 말하는 미분값은 참조 화소의 각 화소값을 근사적으로 표현하는 근사 함수 f(x)를 구한 후, 그 근사 함수 f(x)로부터 얻어지는 1차 미분식 f(x)'(근사 함수가 프레임 방향의 경우, 근사 함수 f(t)로부터 얻어지는 1차 미분식 f(t)')를 사용하여, 소정 위치에서 얻어지는 값이다. 또, 여기에서 말하는 경사는 전술한 근사 함수 f(x)(또는, f(t))를 구하지 않고, 소정 위치에서의 주변 화소의 화소값으로부터 직접 얻어지는 근사 함수 f(x) 상의 소정 위치의 경사를 나타내고 있다. 그러나, 미분값은 근사 함수 f(x)의 소정 위치에서의 경사이므로, 모두 상기 근사 함수 f(x) 상의 소정 위치에서의 경사이다. 그래서, 실세계 추정부(102)로부터 입력되는 실세계 추정 정보로서의 미분값과 경사에 대해서는, 도 258, 및 도 262의 화상 생성부(103)의 설명에서는, 통일해서 근사 함수 f(x)(또는, f(t)) 상의 경사라고 칭한다.

경사 취득부(3401)는 실세계 추정부(102)로부터 입력되는 참조 화소의 화소값을 근사적으로 표현하는 근사 함수 f(x)에 대한, 각 화소의 경사 정보와, 대응하는 화소의 화소값, 및 정상성 방향의 경사를 취득하여, 외삽 보간부(3402)에 출력한다.

외삽 보간부(3402)는 경사 취득부(3401)로부터 입력된 각 화소의 근사 함수 f(x) 상의 경사와, 대응하는 화소의 화소값, 및 정상성 방향의 경사에 따라, 외삽 보간에 의해 입력 화상보다 소정 배율의 고밀도의 화소를 생성하여, 출력 화상으로서 출력한다.

다음에, 도 259의 플로차트를 참조하여, 도 258의 화상 생성부(103)에 의한 화상의 생성 처리에 대하여 설명한다.

스텝 S3401에서, 경사 취득부(3401)는 실세계 추정부(102)로부터 입력되어 오는, 각 화소의 근사 함수 f(x) 상의 경사(미분값), 위치, 화소값, 및 정상성 방향의 경사 정보를 실세계 추정 정보로서 취득한다.

이 때, 예를 들면, 입력 화상에 대하여 공간 방향 X, 및 공간 방향 Y에 대하여 각각 2배(합계 4배) 밀도의 화소로 이루어지는 화상을 생성하는 경우, 실세계 추정부(102)로부터는, 도 260에서 나타낸 바와 같은 화소 Pin에 대하여, 경사 f(Xin)'(화소 Pin의 중앙 위치에서의 경사), f(Xin－Cx(-0.25))'(화소 Pin으로부터 Y 방향으로 2배 밀도의 화소가 생성될 때의 화소 Pa의 중앙 위치의 경사), f(Xin－Cx(0.25))'(화소 Pin으로부터 Y 방향으로 2배 밀도의 화소가 생성될 때의 화소 Pb의 중앙 위치의 경사), 화소 Pin의 위치, 화소값, 및 정상성 방향의 경사 G_f의 정보가 입력된다.

스텝 S3402에서, 경사 취득부(3401)는 입력된 실세계 추정 정보 중, 대응하는 주목 화소의 정보를 선택하여 외삽 보간부(3402)에 출력한다.

스텝 S3403에서, 외삽 보간부(3402)는 입력된 화소의 위치 정보와 정상성 방향의 경사 G_f로부터 시프트량을 구한다.

여기에서, 시프트량 Cx(ty)는 정상성의 경사가 G_f에서 나타날 때, Cx(ty)=ty/G_f로 정의된다. 이 시프트량 Cx(ty)는 공간 방향 y=0의 위치 상에서 정의되는 근사 함수 f(x)가 공간 방향 Y=ty의 위치에서의, 공간 방향 X에 대한 어긋남 폭을 나타내는 것이다. 따라서, 예를 들면, 공간 방향 y=0의 위치 상에서 근사 함수가 f(x)로서 정의되어 있는 경우, 이 근사 함수 f(x)는 공간 방향 Y=ty에서는, 공간 방향 X에 대하여 Cx(ty)만큼 어긋난 함수로 되므로, 근사 함수는 f(x－Cx(ty))(=f(x－ty/G_f))로 정의되게 된다.

예를 들면, 도 260에서 나타낸 바와 같은 화소 Pin의 경우, 도면 중 1 화소(도면 중 1 화소의 크기는 수평 방향, 및 수직 방향 모두 1인 것으로 함)를 수직 방향으로 2분할할 때(수직 방향으로 배밀도의 화소를 생성할 때), 외삽 보간부(3402)는 구하려고 하는 화소 Pa, Pb의 시프트량을 구한다. 즉, 지금의 경우, 화소 Pa, Pb는 화소 Pin으로부터 보아, 공간 방향 Y에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 화소 Pa, Pb의 시프트량은 각각 Cx(-0.25), Cx(0.25)로 된다. 그리고, 도 260 중에서, 화소 Pin은 (Xin, Yin)을 대략 중심 위치로 하는 정방형이며, 화소 Pa, Pb는 (Xin, Yin+ 0.25), (Xin, Yin-0.25)를 각각 대략 중심 위치로 하는 도면 중 수평 방향으로 긴 직사각형이다.

스텝 S3404에서, 외삽 보간부(3402)는 스텝 S3403의 처리에서 구해진 시프트량 Cx, 실세계 추정 정보로서 취득된 화소 Pin의 근사 함수 f(x) 상의 주목 화소 상에서의 경사 f(Xin)', 및 화소 Pin의 화소값에 따라, 이하의 식 (203), 식 (204)에 의해 외삽 보간을 사용하여 화소 Pa, Pb의 화소값을 구한다.

Pa=Pin－f(Xin)'×Cx(0.25) ···(203)

Pb=Pin－f(Xin)'×Cx(-0.25) ···(204)

이상의 식 (203), 식 (204)에서, Pa, Pb, Pin은 화소 Pa, Pb, Pin의 화소값을 나타낸다.

즉, 도 261에서 나타낸 바와 같이, 주목 화소 Pin에서의 경사 f(Xin)'에 X 방향의 이동거리, 즉, 시프트량을 곱함으로써 화소값의 변화량을 설정하고, 주목 화소의 화소값을 기준으로 하여, 새로 생성하는 화소의 화소값을 설정한다.

스텝 S3405에서, 외삽 보간부(3402)는 소정 해상도의 화소가 얻어졌는지 여부를 판정한다. 예를 들면, 소정 해상도가 입력 화상의 화소에 대하여, 수직 방향으로 2배 밀도의 화소이면, 이상의 처리에 의해 외삽 보간부(3402)는 소정 해상도의 화상이 얻어졌다고 판정하게 되지만, 예를 들면, 입력 화상의 화소에 대하여, 4배 밀도(수평 방향으로 2배×수직 방향으로 2배)의 화소를 원하고 있는 경우, 이상의 처리에서는, 소정 해상도의 화소가 얻어지지 않게 된다. 그래서, 4배 밀도의 화상을 원하고 있는 화상인 경우, 외삽 보간부(3402)는 소정 해상도의 화소가 얻어지고 있지 않다고 판정하고, 그 처리는 스텝 S3403으로 복귀한다.

스텝 S3403에서, 외삽 보간부(3402)는 2회째의 처리에서, 구하려고 하는 화소 P01, P02, P03, 및 P04(주목 화소 Pin에 대하여 4배로 되는 밀도의 화소)를 생성하려고 하는 화소의 중심 위치로부터의 시프트량을 각각 구한다. 즉, 지금의 경우, 화소 P01, P02는 화소 Pa로부터 얻어지는 것이므로, 화소 Pa로부터의 시프트량이 각각 구해지게 된다. 여기에서, 화소 P01, P02는 화소 Pa로부터 보아 공간 방향 X에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 그 값 그 자체가 시프트량이 된다(공간 방향 X에 대하여 시프트하고 있기 때문에). 동일하게 하여, 화소 P03, P04는 화소 Pb로부터 보아 공간 방향 X에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 그 값 그 자체가 시프트량이 된다. 그리고, 도 260에서, 화소 P01, P02, P03, P04는 도면 중 4개의 가새표 위치를 중심 위치로 하는 정방형이며, 각변의 길이는 화소 Pin이 각각 1이므로, 화소 P01, P02, P03, P04는 각각 대략 0.5로 된다.

스텝 S3404에서, 외삽 보간부(3402)는 스텝 S3403의 처리에서 구해진 시프트량 Cx, 실세계 추정 정보로서 취득된 화소 Pa, Pb의 근사 함수 f(x) 상의 소정 위치에서의 경사 f(Xin－Cx(-0.25))', f(Xin－Cx(0.25))', 및 전술한 처리에서 구해진 화소 Pa, Pb의 화소값에 따라, 외삽 보간에 의해 이하의 식 (205) 내지 식 (208)에 의해 화소 P01, P02, P03, P04의 화소값을 구하고, 도시하지 않은 메모리에 기억시킨다.

P01=Pa＋f(Xin－Cx(0.25))'×(-0.25) ···(205)

P02=Pa＋f(Xin－Cx(0.25))'×(0.25) ···(206)

P03=Pb＋f(Xin－Cx(-0.25))'×(-0.25) ···(207)

P04=Pb＋f(Xin－Cx(-0.25))'×(0.25) ···(208)

전술한 식 (205) 내지 식 (208)에서, P01 내지 P04는 화소 P01 내지 P04 각각의 화소값을 나타낸다.

스텝 S3405에서, 외삽 보간부(3402)는 소정 해상도의 화소가 얻어졌는지 여부를 판정하고, 지금의 경우, 원하고 있는 4배 밀도의 화소가 얻어진 것이 되므로, 외삽 보간부(3402)는 소정 해상도의 화소가 얻어졌다고 판정하고, 그 처리는 스텝 S3406으로 진행한다.

스텝 S3406에서, 경사 취득부(3401)는 모든 화소에서 처리가 이루어졌는지 여부를 판정하고, 또, 모든 화소에 대하여 처리가 이루어져 있지 않다고 판정한 경우, 그 처리는 스텝 S3402로 복귀하고, 그 이후의 처리가 반복된다.

스텝 S3406에서, 경사 취득부(3401)는 모든 화소에 대하여 처리가 이루어졌다고 판정한 경우, 스텝 S3407에서, 외삽 보간부(3402)는 도시하지 않은 메모리에 기억되어 있는, 생성된 화소로 이루어지는 화상을 출력한다.

즉, 도 261에서 나타낸 바와 같이, 근사 함수 f(x) 상의 경사 f(x)'를 사용하여, 그 경사를 구한 주목 화소로부터 공간 방향 X로 떨어진 거리에 따라, 새로운 화소의 화소값이 외삽 보간에 의해 구해진다.

그리고, 이상의 예에서는, 4배 밀도의 화소를 연산할 때의 경사(미분값)를 예로 하여 설명해 왔지만, 더욱 많은 위치에서의 경사 정보가 실세계 추정 정보로서 얻어지면, 전술한 바와 동일한 방법으로, 그 이상의 공간 방향 밀도의 화소를 연산하는 것도 가능하다.

또, 이상의 예에 대해서는, 배밀도의 화소값을 구하는 예에 대하여 설명해 왔지만, 근사 함수 f(x)는 연속 함수이므로, 배밀도 이외의 화소값에 대해서도 필요한 경사(미분값)의 정보가 얻어지면, 더욱 고밀도의 화소로 이루어지는 화상을 생성하는 것이 가능하게 된다.

이상에 의하면, 실세계 추정 정보로서 공급되는 입력 화상의 각 화소의 화소값을 공간 방향으로 근사시키는 근사 함수 f(x)의 경사(또는, 미분값) f(x)'의 정보에 따라, 입력 화상보다 고해상도 화상의 화소를 생성하는 것이 가능하게 된다.

다음에, 도 262를 참조하여, 실세계 추정부(102)로부터 입력되는 실세계 추정 정보가 참조 화소의 화소값을 근사적으로 표현하는 프레임 방향(시간 방향)의 함수 f(t) 상의, 각 화소의 미분값, 또는 경사의 정보인 경우, 각 화소의 미분값, 또는 경사에 따라, 새로 화소를 생성하고, 화상을 출력하는 화상 생성부(103)에 대하여 설명한다.

경사 취득부(3411)는 실세계 추정부(102)로부터 입력되는 참조 화소의 화소값을 근사적으로 표현하는 근사 함수 f(t) 상의, 각 화소의 위치에서의 경사 정보와, 대응하는 화소의 화소값, 및 정상성 모션을 취득하여, 외삽 보간부(3412)에 출력한다.

외삽 보간부(3412)는 경사 취득부(3411)로부터 입력된 각 화소의 근사 함수 f(t) 상의 경사와, 대응하는 화소의 화소값, 및 정상성의 모션에 따라, 외삽 보간에 의해 입력 화상보다 소정 배율의 고밀도 화소를 생성하여, 출력 화상으로서 출력한다.

다음에, 도 263의 플로차트를 참조하여, 도 262의 화상 생성부(103)에 의한 화상의 생성 처리에 대하여 설명한다.

스텝 S3421에서, 경사 취득부(3411)는 실세계 추정부(102)로부터 입력되어 오는, 각 화소의 근사 함수 f(t) 상의 경사(미분값), 위치, 화소값, 및 정상성 모션 정보를 실세계 추정 정보로서 취득한다.

이 때, 예를 들면, 입력 화상에 대하여 공간 방향, 및 프레임 방향으로 각각 2배(합계 4배) 밀도의 화소로 이루어지는 화상을 생성하는 경우, 실세계 추정부(102)로부터는, 도 264에서 나타낸 바와 같은 화소 Pin에 대하여, 경사 f(Tin)'(화소 Pin의 중앙 위치에서의 경사), f(Tin－Ct(0.25))' (화소 Pin으로부터 Y 방향으로 2배 밀도의 화소가 생성될 때의 화소 Pat의 중앙 위치의 경사), f(Tin－Ct(-0.25))' (화소 Pin으로부터 Y 방향으로 2배 밀도의 화소가 생성될 때의 화소 Pbt의 중앙 위치의 경사), 화소 Pin의 위치, 화소값, 및 정상성 모션(모션 벡터)의 정보가 입력된다.

스텝 S3422에서, 경사 취득부(3411)는 입력된 실세계 추정 정보 중, 대응하는 주목 화소의 정보를 선택하여, 외삽 보간부(3412)에 출력한다.

스텝 S3423에서, 외삽 보간부(3412)는 입력된 화소의 위치 정보와 정상성 방향의 경사로부터 시프트량을 구한다.

여기에서, 시프트량 Ct(ty)는 정상성의 모션(프레임 방향과 공간 방향으로 이루어지는 면에 대한 경사)이 V_f로 나타날 때, Ct(ty)=ty/V_f로 정의된다. 이 시프트량 Ct(ty)는 공간 방향 y=0의 위치 상에서 정의되는 근사 함수 f(t)가 공간 방향 Y=ty의 위치에서의, 프레임 방향 T에 대한 어긋남 폭을 나타내는 것이다. 따라서, 예를 들면, 공간 방향 y=0의 위치 상에서 근사 함수가 f(t)로서 정의되어 있는 경우, 이 근사 함수 f(t)는 공간 방향 Y=ty에서는, 공간 방향 T에 대하여 Ct(ty)만큼 어긋난 함수로 되므로, 근사 함수는 f(t－Ct(ty)) (=f(t－ty/V_f)로 정의되게 된다.

예를 들면, 도 264에서 나타낸 바와 같은 화소 Pin의 경우, 도면 중 1 화소(도면 중 1 화소의 크기는 프레임 방향, 및 공간 방향 모두 1인 것으로 함)를 공간 방향으로 2분할할 때(공간 방향으로 배밀도의 화소를 생성할 때), 외삽 보간부(3412)는 구하려고 하는 화소 Pat, Pbt의 시프트량을 구한다. 즉, 지금의 경우, 화소 Pat, Pbt는 화소 Pin으로부터 보아, 공간 방향 Y에 대하여, 각각 0.25, -0.25만큼 시프트하고 있으므로, 화소 Pat, Pbt의 시프트량은 각각 Ct(0.25), Ct(-0.25)로 된다. 그리고, 도 264중에서, 화소 Pin은 (Xin, Yin)을 대략 중심 위치로 하는 정방형이며, 화소 Pat, Pbt는 (Xin, Yin+0.25), (Xin, Yin-0.25)를 각각 대략 중심 위치로 하는 도면 중 수평 방향으로 긴 직사각형이다.

스텝 S3424에서, 외삽 보간부(3412)는 스텝 S3423의 처리에서 구해진 시프트량, 실세계 추정 정보로서 취득된 화소 Pin의 근사 함수 f(t) 상의 주목 화소 상에서의 경사 f(Tin)', 및 화소 Pin의 화소값에 따라, 외삽 보간에 의해 이하의 식 (209), 식 (210)에 의해 화소 Pat, Pbt의 화소값을 구한다.

Pat=Pin－f(Tin)'×Ct(0.25) ···(209)

Pbt=Pin－f(Xin)'×Ct(-0.25) ···(210)

이상의 식 (209), 식 (210)에서, Pat, Pbt, Pin은 화소 Pat, Pbt, Pin의 화소값을 나타낸다.

즉, 도 265에서 나타낸 바와 같이, 주목 화소 Pin에서의 경사 f(Xin)'에 X 방향의 이동거리, 즉, 시프트량을 곱함으로써 화소값의 변화량을 설정하고, 주목 화소의 화소값을 기준으로 하여, 새로 생성하는 화소의 화소값을 설정한다.

스텝 S3425에서, 외삽 보간부(3412)는 소정 해상도의 화소가 얻어졌는지 여부를 판정한다. 예를 들면, 소정 해상도가 입력 화상의 화소에 대하여, 공간 방향으로 2배 밀도의 화소이면, 이상의 처리에 의해 외삽 보간부(3402)는 소정 해상도의 화상이 얻어졌다고 판정하게 되지만, 예를 들면, 입력 화상의 화소에 대하여, 4배 밀도(프레임 방향으로 2배×공간 방향으로 2배)의 화소를 원하고 있는 경우, 이상의 처리에서는, 소정 해상도의 화소가 얻어지고 있지 않게 된다. 그래서, 4배 밀도의 화상이 원하고 있는 화상인 경우, 외삽 보간부(3412)는 소정 해상도의 화소가 얻어지고 있지 않다고 판정하고, 그 처리는 스텝 S3423으로 복귀한다.

스텝 S3423에서, 외삽 보간부(3412)는 2회째의 처리에서, 구하려고 하는 화소 P01t, P02t, P03t, 및 P04t(주목 화소 Pin에 대하여 4배로 되는 밀도의 화소)를 생성하려고 하는 화소의 중심 위치로부터의 시프트량을 각각 구한다. 즉, 지금의 경우, 화소 P01t, P02t는 화소 Pat로부터 얻어지는 것이므로, 화소 Pat로부터의 시프트량이 각각 구해지게 된다. 여기에서, 화소 P01t, P02t는 화소 Pat로부터 보아 프레임 방향 T에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 그 값 그 자체가 시프트량이 된다(공간 방향 X에 대하여 시프트하고 있기 때문). 동일하게 하여, 화소 P03t, P04t는 화소 Pbt로부터 보아 프레임 방향 T에 대하여, 각각 -0.25, 0.25만큼 시프트하고 있으므로, 그 값 그 자체가 시프트량이 된다. 그리고, 도 264에서, 화소 P01t, P02t, P03t, P04t는 도면 중 4개의 가새표 위치를 중심 위치로 하는 정방형이며, 각 변의 길이는 화소 Pin이 각각 1이므로, 화소 P01t, P02t, P03t, P04t는 각각 대략 0.5로 된다.

스텝 S3424에서, 외삽 보간부(3412)는 스텝 S3423의 처리에서 구해진 시프트량 Ct, 실세계 추정 정보로서 취득된 화소 Pat, Pbt의 근사 함수 f(t) 상의 소정 위치에서의 경사 f(Tin－Ct(0.25))', f(Tin－Ct(-0.25))', 및 전술한 처리에서 구해진 화소 Pat, Pbt의 화소값에 따라, 외삽 보간에 의해 이하의 식 (211) 내지 식 (214)에 의해 화소 P01t, P02t, P03t, P04t의 화소값을 구하고, 도시하지 않은 메모리에 기억시킨다.

P01t=Pat＋f(Tin－Ct(0.25))'×(-0.25) ···(211)

P02t=Pat＋f(Tin－Ct(0.25))'×(0.25) ···(212)

P03t=Pbt＋f(Tin－Ct(-0.25))'×(-0.25) ···(213)

P04t=Pbt＋f(Tin－Ct(-0.25))'×(0.25) ···(214)

전술한 식 (205) 내지 식 (208)에서, P01t 내지 P04t는 화소 P01t 내지 P04t 각각의 화소값을 나타낸다.

스텝 S3425에서, 외삽 보간부(3412)는 소정 해상도의 화소가 얻어졌는지 여부를 판정하고, 지금의 경우, 원하고 있는 4배 밀도의 화소가 얻어진 것이 되므로, 외삽 보간부(3412)는 소정 해상도의 화소가 얻어졌다고 판정하고, 그 처리는 스텝 S3426으로 진행한다.

스텝 S3426에서, 경사 취득부(3411)는 모든 화소에서 처리가 이루어졌는지 여부를 판정하고, 아직, 모든 화소에 대하여 처리가 이루어져 있지 않다고 판정한 경우, 그 처리는 스텝 S3422로 복귀하고, 그 이후의 처리가 반복된다.

스텝 S3426에서, 경사 취득부(3411)는 모든 화소에 대하여 처리가 이루어졌다고 판정된 경우, 스텝 S3427에서, 외삽 보간부(3412)는 도시하지 않은 메모리에 기억되어 있는, 생성된 화소로 이루어지는 화상을 출력한다.

즉, 도 265에서 나타낸 바와 같이, 근사 함수 f(t) 상의 경사 f(t)'를 사용하여, 그 경사를 구한 주목 화소로부터 프레임 방향 T로 떨어진 프레임 수에 따라, 새로운 화소의 화소값이 외삽 보간에 의해 구해진다.

그리고, 이상의 예에서는, 4배 밀도의 화소를 연산할 때의 경사(미분값)를 예로 하여 설명해 왔지만, 더욱 많은 위치에서의 경사 정보가 실세계 추정 정보로서 얻어지면, 전술한 바와 동일한 방법으로, 그 이상의 프레임 방향 밀도의 화소를 연산하는 것도 가능하다.

또, 이상의 예에 대해서는, 배밀도의 화소값을 구하는 예에 대하여 설명해 왔지만, 근사 함수 f(t)는 연속 함수이므로, 배밀도 이외의 화소값에 대해서도 필요한 경사(미분값)의 정보가 얻어지면, 더욱 고밀도의 화소로 이루어지는 화상을 생성하는 것이 가능하게 된다.

이상의 처리에 의해 실세계 추정 정보로서 공급되는 입력 화상의 각 화소의 화소값을 프레임 방향으로 근사시키는 근사 함수 f(t)의 경사(또는, 미분값) f(t)'의 정보에 따라, 입력 화상보다 고해상도 화상의 화소를 프레임 방향으로도 생성하는 것이 가능하게 된다.

이상에 의하면, 각각 시공간 적분 효과를 가지는 센서의 복수개의 검출 소자에 의해 현실 세계의 광 신호가 투영되고, 현실 세계 광 신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 화상 데이터에 있어서의 데이터의 정상성을 검출하고, 검출된 정상성에 대응하여, 화상 데이터 내의 주목 화소에 대하여 시공간 방향 중 1차원 방향으로 시프트한 위치의 복수개 화소의 화소값의 경사를 현실 세계의 광 신호에 대응하는 함수로서 추정하고, 주목 화소의 중심 위치로부터 1차원 방향으로 시프트한 위치를 중심으로 하는 경사를 가지는 직선의 상기 주목 화소 내에 배치되는 양단의 값을 주목 화소보다 고해상도 화소의 화소값으로서 생성하도록 했으므로, 입력 화상보다 시공간 방향으로 고해상도의 화소를 생성하는 것이 가능하게 된다.

다음에, 도 266 내지 도 291을 참조하여, 화상 생성부(103)(도 3)의 실시예의 또 다른 예에 대하여 설명한다.

도 266은 이 예의 실시예가 적용되는 화상 생성부(103)의 구성예를 나타내고 있다.

도 266에서 나타낸 화상 생성부(103)에는, 종래의 클래스 분류 적응 처리를 실행하는 클래스 분류 적응 처리부(3501), 클래스 분류 적응 처리에 대한 보정 처리(처리의 상세에 대해서는 후술함)를 실행하는 클래스 분류 적응 처리 보정부(3502), 및 클래스 분류 적응 처리부(3501)로부터 출력된 화상과, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 화상을 가산하고, 가산한 화상을 출력 화상으로서 외부에 출력하는 가산부(3503)가 형성되어 있다.

그리고, 이하, 클래스 분류 적응 처리부(3501)로부터 출력되는 화상을 예측 화상이라고 칭하고, 클래스 분류 적응 처리 보정부(3502)로부터 출력되는 화상을 보정 화상, 또는 차분 예측 화상이라고 칭한다. 단, 예측 화상과 차분 예측 화상 명칭의 유래에 대해서는 각각 후술한다.

또, 이 예의 실시예에서는, 클래스 분류 적응 처리는, 예를 들면, 입력 화상의 공간 해상도를 향상시키는 처리인 것으로 한다. 즉, 표준 해상도의 화상인 입력 화상을 고해상도의 화상인 예측 화상으로 변환하는 처리인 것으로 한다.

그리고, 이하, 표준 해상도의 화상을 적당히 SD(Standard Definition) 화상이라고 칭한다. 또, SD 화상을 구성하는 화소를 적당히 SD 화소라고 칭한다.

이에 대하여, 이하, 고해상도의 화상을 적당히 HD(High Definition) 화상이라고 칭한다. 또, HD 화상을 구성하는 화소를 적당히 HD 화소라고 칭한다.

구체적으로는, 이 예의 실시예에서는, 클래스 분류 적응 처리란 다음과 같은 처리이다.

즉, 처음에, 입력 화상(SD 화상)의 주목 화소(SD 화소)에서의, 예측 화상(HD 화상)의 HD 화소를 구하기 위해, 주목 화소를 포함시킨, 그 부근에 배치되는 SD 화소(이하, 이와 같은 SD 화소를 클래스 탭이라고 칭함)의 특징량 각각을 구하고, 그 특징량마다 미리 분류된 클래스를 특정한다(클래스 탭군의 클래스 코드를 특정함).

그리고, 미리 설정된 복수개의 계수군(각 계수군의 각각은 소정 1개의 클래스 코드에 대응하고 있음) 중, 특정된 클래스 코드에 대응하는 계수군을 구성하는 각 계수와, 주목 화소를 포함시킨, 그 부근의 SD 화소(이하, 이와 같은 입력 화상의 SD 화소를 예측 탭이라고 칭함. 그리고, 예측 탭은 클래스 탭과 동일한 것도 있음)를 사용하여 적화(積和) 연산을 실행함으로써, 입력 화상(SD 화상)의 주목 화소(SD 화소)에서의, 예측 화상(HD 화상)의 HD 화소를 구하는 것이다.

따라서, 이 예의 실시예에서는, 입력 화상(SD 화상)은 클래스 분류 적응 처리부(3501)에서, 종래의 클래스 분류 적응 처리가 실행되어 예측 화상(HD 화상)으로 되고, 또한 가산부(3503)에서, 그 예측 화상이 클래스 분류 적응 처리 보정부(3502)로부터의 보정 화상으로 보정되어(보정 화상이 가산되어) 출력 화상(HD 화상)으로 된다.

즉, 이 예의 실시예는, 정상성의 관점으로부터는, 정상성을 사용하여 처리를 행하는 화상 처리 장치(도 3) 중 화상 생성부(103)의 하나의 실시예인 것이라고 말할 수 있다. 이에 대하여, 클래스 분류 적응 처리의 관점으로부터는, 센서(2)와 클래스 분류 적응 처리부(3501)로 구성되는 종래의 화상 처리 장치에 대하여, 클래스 분류 적응 처리의 보정을 행하기 위해, 데이터 정상성 검출부(101), 실세계 추정부(102), 클래스 분류 적응 처리 보정부(3502), 및 가산부(3503)를 추가로 부가한 화상 처리 장치의 실시예라고도 말할 수 있다.

따라서, 이하, 이 예의 실시예를 전술한 재적분 방법에 대하여, 클래스 분류 적응 처리 보정 방법이라고 칭한다.

클래스 분류 적응 처리 보정 방법을 이용하는 화상 생성부(103)에 대하여 보다 상세하게 설명한다.

도 266에서, 화상인 실세계(1)의 신호(광 강도의 분포)가 센서(2)에 입사되면, 센서(2)로부터는 입력 화상이 출력된다. 이 입력 화상은 데이터 정상성 검출부(101)에 입력되는 동시에, 화상 생성부(103)의 클래스 분류 적응 처리부(3501)에 입력된다.

클래스 분류 적응 처리부(3501)는 입력 화상에 대하여, 종래의 클래스 분류 적응 처리를 실행하여 예측 화상을 생성하고, 가산부(3503)에 출력한다.

이와 같이, 클래스 분류 적응 처리부(3501)는 센서(2)로부터의 입력 화상(화상 데이터)을 기준으로 하는 동시에, 입력 화상 그 자체를 처리의 대상으로 하고 있다. 즉, 센서(2)로부터의 입력 화상은 전술한 적분 효과에 의해 실세계(1)의 신호와는 상이한 것(왜곡한 것)으로 되어 있는 데도 불구하고, 클래스 분류 적응 처리부(3501)는 그 실세계(1)의 신호와는 상이한 입력 화상을 포지티브로서 처리를 행하고 있다.

그 결과, 센서(2)로부터 출력된 단계에서 실세계(1)의 디테일이 깨져 버린 입력 화상(SD 화상)은 클래스 분류 적응 처리에 의해 비록 HD 화상으로 되어도, 원래의 디테일이 완전하게 복원되지 않는 일이 있다고 하는 과제가 발생하여 버린다.

그래서, 이 과제를 해결하기 위해, 클래스 분류 적응 처리 보정 방법에서는, 화상 생성부(103)의 클래스 분류 적응 처리 보정부(3502)가 센서(2)로부터의 입력 화상이 아니고, 센서(2)에 입사되기 전의 원래의 화상(소정 정상성을 가지는 실세계(1)의 신호)을 추정하는 정보(실세계 추정 정보)를 기준으로 하는 동시에, 그 실세계 추정 정보를 처리의 대상으로 하여, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상을 보정하기 위한 보정 화상을 생성한다.

이 실세계 추정 정보는 데이터 정상성 검출부(101)와 실세계 추정부(102)에 의해 생성된다.

즉, 데이터 정상성 검출부(101)는 센서(2)로부터의 입력 화상에 포함되는 데이터의 정상성(센서(2)에 입사된 실세계(1)의 신호가 가지는 정상성에 대응하는 데이터의 정상성)을 검출하고, 그 검출 결과를 데이터 정상성 정보로서 실세계 추정부(102)에 출력한다.

그리고, 데이터 정상성 정보는 도 266의 예에서는 각도로 되어 있지만, 각도에 한정되지 않고, 전술한 다양한 정보가 사용 가능하다.

실세계 추정부(102)는 입력된 각도(데이터 정상성 정보)에 따라, 실세계 추정 정보를 생성하여, 화상 생성부(103)의 클래스 분류 적응 처리 보정부(3502)에 출력한다.

그리고, 실세계 추정 정보는 도 266의 예에서는 특징량 화상(그 상세는 후술함)으로 되어 있지만 특징량 화상에 한정되지 않고, 전술한 다양한 정보가 사용 가능하다.

클래스 분류 적응 처리 보정부(3502)는 입력된 특징량 화상(실세계 추정 정보)에 따라 보정 화상을 생성하여, 가산부(3503)에 출력한다.

가산부(3503)는 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상과, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 보정 화상을 가산하고, 가산한 화상(HD 화상)을 출력 화상으로서 외부에 출력한다.

이와 같이 하여 출력된 출력 화상은 예측 화상보다 더욱 실세계(1)의 신호(화상)에 가까운 화상으로 된다. 즉, 클래스 분류 적응 처리 보정 방법은 전술한 과제를 해결하는 것이 가능한 방법이다.

또한, 도 266과 같이 신호 처리 장치(화상 처리 장치)(4)를 구성함으로써, 1 프레임의 전체적으로 처리를 적용하는 것이 가능하게 된다. 즉, 후술하는 병용 방법을 이용하는 신호 처리 장치(예를 들면, 후술하는 도 292) 등에서는, 화소의 영역 특정을 한 다음 출력 화상을 생성할 필요가 있지만, 도 266의 신호 처리 장치(4)는 이 영역 특정이 불필요하게 된다고 하는 효과를 나타내는 것이 가능하게 된다.

다음에, 화상 생성부(103) 중 클래스 분류 적응 처리부(3501)의 상세에 대하여 설명한다.

도 267은 클래스 분류 적응 처리부(3501)의 구성예를 나타내고 있다.

도 267에서, 센서(2)로부터 입력된 입력 화상(SD 화상)은 영역 추출부(3511)와 영역 추출부(3515)에 각각 공급된다. 영역 추출부(3511)는 공급된 입력 화상으로부터 클래스 분류를 행하기 위해 필요한 클래스 탭(주목 화소(SD 화소)를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 추출하여, 패턴 검출부(3512)에 출력한다. 패턴 검출부(3512)는 입력된 클래스 탭에 따라 입력 화상의 패턴을 검출한다.

클래스 코드 결정부(3513)는 패턴 검출부(3512)에서 검출된 패턴에 따라 클래스 코드를 결정하고, 계수 메모리(3514), 및 영역 추출부(3515)에 출력한다. 계수 메모리(3514)는 학습에 의해 미리 구해진 클래스 코드마다의 계수를 기억하고 있으며, 클래스 코드 결정부(3513)로부터 입력된 클래스 코드에 대응하는 계수를 판독하여, 예측 연산부(3516)에 출력한다.

그리고, 계수 메모리(3514)의 계수의 학습 처리에 대해서는, 도 269의 클래스 분류 적응 처리용 학습부의 블록도를 참조하여 후술한다.

또, 계수 메모리(3514)에 기억되는 계수는 후술하는 바와 같이, 예측 화상(HD 화상)을 생성할 때 사용되는 계수이다. 따라서, 이하, 계수 메모리(3514)에 기억되는 계수를 다른 계수와 구별하기 위해, 예측 계수라고 칭한다.

영역 추출부(3515)는 클래스 코드 결정부(3513)로부터 입력된 클래스 코드에 따라, 센서(2)로부터 입력된 입력 화상(SD 화상)으로부터 예측 화상(HD 화상)을 예측 생성하는 데 필요한 예측 탭(주목 화소를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 클래스 코드에 대응하여 추출하고, 예측 연산부(3516)에 출력한다.

예측 연산부(3516)는 영역 추출부(3515)로부터 입력된 예측 탭과, 계수 메모리(3514)로부터 입력된 예측 계수를 사용하여 적화 연산을 실행하고, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의 예측 화상(HD 화상)의 HD 화소를 생성하여, 가산부(3503)에 출력한다.

보다 상세하게는, 계수 메모리(3514)는 클래스 코드 결정부(3513)로부터 공급되는 클래스 코드에 대응하는 예측 계수를 예측 연산부(3516)에 출력한다. 예측 연산부(3516)는 영역 추출부(3515)로부터 공급되는 입력 화상의 소정 화소 위치의 화소값으로부터 추출된 예측 탭과, 계수 메모리(3514)로부터 공급된 예측 계수를 사용하여, 다음의 식 (215)에서 나타낸 적화 연산을 실행함으로써, 예측 화상(HD 화상)의 HD 화소를 구한다(예측 추정한다).

···(215)

식 (215)에서, q'는, 예측 화상(HD 화상)의 HD 화소를 나타내고 있다. c_i(i는 1 내지 n의 정수값)의 각각은 예측 탭(SD 화소)의 각각을 나타내고 있다. 또, d_i의 각각은 예측 계수의 각각을 나타내고 있다.

이와 같이, 클래스 분류 적응 처리부(3501)는 SD 화상(입력 화상)으로부터 그에 대한 HD 화상을 예측 추정하므로, 여기에서는, 클래스 분류 적응 처리부(3501)로부터 출력되는 HD 화상을 예측 화상이라고 칭하고 있다.

도 268은 이와 같은 클래스 분류 적응 처리부(3501)의 계수 메모리(3514)에 기억되는 예측 계수(식 (215)에서의 d_i)를 결정하기 위한 학습 장치(예측 계수의 산출 장치)를 나타내고 있다.

그리고, 클래스 분류 적응 처리 보정 방법에서는, 계수 메모리(3514) 외에, 클래스 분류 적응 처리 보정부(3502)의 계수 메모리(후술하는 도 276에서 나타낸 보정 계수 메모리(3554))가 형성되어 있다. 따라서, 도 268에서 나타낸 바와 같이, 클래스 분류 적응 처리 방법에서의 학습 장치(3504)에는, 클래스 분류 적응 처리부(3501)의 계수 메모리(3514)에 기억되는 예측 계수(식 (215)에서의 d_i)를 결정하기 위한 학습부(3521)(이하, 클래스 분류 적응 처리용 학습부(3521)라고 칭함) 외에, 클래스 분류 적응 처리 보정부(3502)의 보정 계수 메모리(3554)에 기억되는 계수를 결정하기 위한 학습부(3561)(이하, 클래스 분류 적응 처리 보정용 학습부(3561)라고 칭함)가 형성되어 있다.

따라서, 이하, 클래스 분류 적응 처리용 학습부(3521)에서의 교사 화상을 제1 교사 화상이라고 칭하는 데 대하여, 클래스 분류 적응 처리 보정용 학습부(3561)에서의 교사 화상을 제2 교사 화상이라고 칭한다. 동일하게, 이하, 클래스 분류 적응 처리용 학습부(3521)에서의 학생 화상을 제1 학생 화상이라고 칭하는 데 대하여, 클래스 분류 적응 처리 보정용 학습부(3561)에서의 학생 화상을 제2 학생 화상이라고 칭한다.

그리고, 클래스 분류 적응 처리 보정용 학습부(3561)에 대해서는 후술한다.

도 269는 클래스 분류 적응 처리용 학습부(3521)의 상세한 구성예를 나타내고 있다.

도 269에서, 소정 화상이 제1 교사 화상(HD 화상)으로서 다운 컨버트부(3531)와 정규 방정식 생성부(3536)의 각각에 입력되는 동시에, 클래스 분류 적응 처리 보정용 학습부(3561)(도 268)에 입력된다.

다운 컨버트부(3531)는 입력된 제1 교사 화상(HD 화상)으로부터 제1 교사 화상보다 해상도가 낮은 제1 학생 화상(SD 화상)을 생성하여(제1 교사 화상을 다운 컨버트한 것을 제1 학생 화상으로 하여), 영역 추출부(3532), 영역 추출부(3535), 및 클래스 분류 적응 처리 보정용 학습부(3561)(도 268)의 각각에 출력한다.

이와 같이, 클래스 분류 적응 처리용 학습부(3521)에는, 다운 컨버트부(3531)가 형성되어 있으므로, 제1 교사 화상(HD 화상)은 전술한 센서(2)(도 266)로부터의 입력 화상보다 고해상도의 화상일 필요는 없다. 왜냐하면, 제1 교사 화상이 다운 컨버트된(해상도가 떨어진) 제1 학생 화상을 SD 화상으로 하면, 제1 학생 화상에 대한 제1 교사 화상이 HD 화상이 되기 때문이다. 따라서, 제1 교사 화상은, 예를 들면, 센서(2)로부터의 입력 화상 그 자체로 되어도 된다.

영역 추출부(3532)는 공급된 제1 학생 화상(SD 화상)으로부터 클래스 분류를 행하기 위해 필요한 클래스 탭(SD 화소)을 추출하여, 패턴 검출부(3533)에 출력한다. 패턴 검출부(3533)는 입력된 클래스 탭의 패턴을 검출하고, 그 검출 결과를 클래스 코드 결정부(3534)에 출력한다. 클래스 코드 결정부(3534)는 입력된 패턴에 대응하는 클래스 코드를 결정하고, 그 클래스 코드를 영역 추출부(3535), 및 정규 방정식 생성부(3536)의 각각에 출력한다.

영역 추출부(3535)는 클래스 코드 결정부(3534)로부터 입력된 클래스 코드에 따라, 다운 컨버트부(3531)로부터 입력된 제1 학생 화상(SD 화상)으로부터 예측 탭(SD 화소)을 추출하고, 정규 방정식 생성부(3536)와 예측 연산부(3558)의 각각에 출력한다.

그리고, 이상의 영역 추출부(3532), 패턴 검출부(3533), 클래스 코드 결정부(3534), 및 영역 추출부(3535)의 각각은 도 267의 클래스 분류 적응 처리부(3501)의 영역 추출부(3511), 패턴 검출부(3512), 클래스 코드 결정부(3513), 및 영역 추출부(3515)의 각각과, 기본적으로 동일한 구성과 기능을 가지는 것이다.

정규 방정식 생성부(3536)는 클래스 코드 결정부(3534)로부터 입력된 모든 클래스 코드에 대하여, 클래스 코드마다 영역 추출부(3535)로부터 입력되는 제1 학생 화상(SD 화상)의 예측 탭(SD 화소)과, 제1 교사 화상(HD 화상)의 HD 화소로부터 정규 방정식을 생성하여, 계수 결정부(3537)에 공급한다. 계수 결정부(3537)는 정규 방정식 생성부(3537)로부터 소정 클래스 코드에 대응하는 정규 방정식이 공급되어 왔을 때, 그 정규 방정식으로부터 예측 계수의 각각을 연산하여, 계수 메모리(3514)에 클래스 코드와 관련지어 기억시키는 동시에, 예측 연산부(3538)에 공급한다.

정규 방정식 생성부(3536)와, 계수 결정부(3537)에 대하여 보다 상세하게 설명한다.

전술한 식 (215)에서, 학습 전은 예측 계수 d_i의 각각이 미정 계수이다. 학습은 클래스 코드마다 복수개의 교사 화상(HD 화상)의 HD 화소를 입력함으로써 행한다. 소정 클래스 코드에 대응하는 HD 화소가 m개 존재하고, m개의 HD 화소 각각을 q_k(K는 1 내지 m의 정수값)로 기술하는 경우, 식 (215)로부터 다음의 식 (216)이 설정된다.

···(216)

즉, 식 (216)은 우변의 연산을 함으로써, 소정 HD 화소 q_k를 예측 추정할 수 있는 것을 나타내고 있다. 그리고, 식 (216)에서, e_k는 오차를 나타내고 있다. 즉, 우변의 연산 결과인 예측 화상(HD 화상)의 HD 화소 q_k'가 실제의 HD 화소 q_k와 엄밀하게는 일치하지 않고, 소정 오차 e_k를 포함한다.

그래서, 식 (216)에서, 예를 들면, 오차 e_k의 제곱합을 최소로 하도록 한 예측 계수 d_i가 학습에 의해 구해지면 된다.

구체적으로는, 예를 들면, m＞n이 되도록, HD 화소 q_k를 학습에 의해 모을 수 있으면, 최소 제곱법에 따라 예측 계수 d_i가 일의적으로 결정된다.

즉, 식 (216) 우변의 예측 계수 d_i를 최소 제곱법으로 구하는 경우의 정규 방정식은 다음의 식 (217)로 표현된다.

···(217)

따라서, 식 (217)에서 나타낸 정규 방정식이 생성되면, 그 정규 방정식을 푸는 것에 의해 예측 계수 d_i가 일의적으로 결정되게 된다.

구체적으로는, 식 (217)에서 나타낸 정규 방정식의 각 행렬의 각각을 다음의 식 (218) 내지 (220)과 같이 정의하면, 정규 방정식은 다음의 식 (221)과 같이 표현된다.

···(218)

···(219)

···(220)

···(221)

식 (219)에서 나타낸 바와 같이, 행렬 D_MAT의 각 성분은 구하고 싶은 예측 계수 d_i이다. 따라서, 식 (221)에서, 좌변의 행렬 C_MAT와 우변의 행렬 Q_MAT가 결정되면, 행렬 해법에 의해 행렬 D_MAT(즉, 예측 계수 d_i)의 산출이 가능하다.

보다 구체적으로는, 식 (218)에서 나타낸 바와 같이, 행렬 C_MAT의 각 성분은 예측 탭 c_ik를 이미 알고 있으면 연산 가능하다. 예측 탭 c_iK는 영역 추출부(3535)에 의해 추출되므로, 정규 방정식 생성부(3536)는 영역 추출부(3535)로부터 공급되어 오는 예측 탭 c_ik의 각각을 이용하여 행렬 C_MAT의 각 성분을 연산할 수 있다.

또, 식 (220)에서 나타낸 바와 같이, 행렬 Q_MAT의 각 성분은 예측 탭 c_ik와 HD 화소 q_k를 이미 알고 있으면 연산 가능하다. 예측 탭 c_iK는 행렬 C_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, HD 화소 q_k는 예측 탭 c_ik에 포함되는 주목 화소(제1 학생 화상의 SD 화소)에 대한 제1 교사 화상의 HD 화소이다. 따라서, 정규 방정식 생성부(3536)는 영역 추출부(3535)로부터 공급된 예측 탭 c_ik와, 제1 교사 화상을 이용하여 행렬 Q_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(3536)는 클래스 코드마다 행렬 C_MAT와 행렬 Q_MAT의 각 성분을 연산하고, 그 연산 결과를 클래스 코드에 대응시켜 계수 결정부(3537)에 공급한다.

계수 결정부(3537)는 공급된 소정 클래스 코드에 대응하는 정규 방정식에 따라, 전술한 식 (221)의 행렬 D_MAT의 각 성분인 예측 계수 d_i를 연산한다.

구체적으로는, 전술한 식 (221)의 정규 방정식은 다음의 식 (222)와 같이 변형할 수 있다.

···(222)

식 (222)에서, 좌변의 행렬 D_MAT의 각 성분이 구하고 싶은 예측 계수 d_i이다. 또, 행렬 C_MAT와 행렬 Q_MAT의 각각의 각 성분은 정규 방정식 생성부(3536)로부터 공급되는 것이다. 따라서, 계수 결정부(3537)는 정규 방정식 생성부(3536)로부터 소정 클래스 코드에 대응하는 행렬 C_MAT와 행렬 Q_MAT 각각의 각 성분이 공급되어 왔을 때, 식 (222) 우변의 행렬 연산을 행함으로써 행렬 D_MAT를 연산하고, 그 연산 결과(예측 계수 d_i)를 클래스 코드에 대응시켜 계수 메모리(3514)에 기억시키는 동시에, 예측 연산부(3538)에 공급한다.

예측 연산부(3538)는 영역 추출부(3535)로부터 입력된 예측 탭과, 계수 결정부(3537)에 의해 결정된 예측 계수를 사용하여 적화 연산을 실행하고, 제1 학생 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의 예측 화상(제1 교사 화상을 예측하는 화상)의 HD 화소를 생성하고, 그것을 학습용 예측 화상으로서 클래스 분류 적응 처리 보정용 학습부(3561)(도 268)에 출력한다.

보다 상세하게는, 예측 연산부(3538)는 영역 추출부(3535)로부터 공급되는 제1 학생 화상의 소정 화소 위치의 화소값으로부터 추출된 예측 탭을 c_i(i는 1 내지 n의 정수값)로 하고, 계수 결정부(3537)로부터 공급된 예측 계수를 d_i로 하여 전술한 식 (215)에서 나타낸 적화 연산을 실행함으로써, 학습용 예측 화상(HD 화상)의 HD 화소 q'를 구한다(제1 교사 화상을 예측 추정한다).

여기에서, 도 270 내지 도 275를 참조하여, 전술한 종래의 클래스 분류 적응 처리(클래스 분류 적응 처리부(3501))가 가지는 과제, 즉, 도 266에서, 센서(2)로부터 출력된 단계에서 실세계(1)의 디테일이 깨져 버린 입력 화상(SD 화상)은 클래스 분류 적응 처리부(3501)에 의해 비록 HD 화상(실세계(1)의 신호를 예측하는 예측 화상)으로 되어도, 원래의 디테일이 완전하게 복원되지 않는 일이 있다고 하는 과제에 대하여 설명한다.

도 270은 클래스 분류 적응 처리부(3501)의 처리 결과의 예를 나타내고 있다.

도 270에서, HD 화상(3541)은 도면 중 상하 방향으로부터 대략 5도 시계 방향으로 기울어진 세선의 화상이 포함되는 화상이다. 또, SD 화상(3542)은 HD 화상(3541)의 2×2의 화소(HD 화소)로 이루어지는 블록에 속하는 화소(HD 화소)의 화소값의 평균값을 1개의 화소(SD 화소)의 화소값으로 하여 생성된 화상이다. 즉, SD 화상(3542)은 HD 화상(3541)이 다운 컨버트된(해상도가 떨어진) 화상이다.

환언하면, HD 화상(3541)은 센서(2)(도 266)에 입사되기 전의 화상(실세계(1)(도 266)의 신호)을 모방한 화상인 것으로 한다. 이 경우, SD 화상(3542)은 HD 화상(3541)에 센서(2)의 적분 특성을 모방한 공간 방향의 적분을 적용함으로써 얻어진 화상에 상당하는 것이 된다. 즉, SD 화상(3542)은 센서(2)로부터의 입력 화상을 모방한 화상으로 된다.

또, SD 화상(3542)을 클래스 분류 적응 처리부(3501)(도 266)에 입력시키고, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상이 예측 화상(3543)이다. 즉, 예측 화상(3543)은 종래의 클래스 분류 적응 처리에 의해 생성된 HD 화상(원래의 HD 화상(3541)과 동일 해상도의 화상)이다. 단, 클래스 분류 적응 처리부(3501)가 예측 연산에 사용한 예측 계수(계수 메모리(3514)(도 267)에 기억된 예측 계수)는 HD 화상(3541)을 제1 교사 화상으로 하고, 또한 SD 화상(3542)을 제1 학생 화상으로 하여, 클래스 분류 적응 처리용 학습부(3561)(도 269)에 학습 연산시킨 것이다.

HD 화상(3541), SD 화상(3542), 및 예측 화상(3543)의 각각을 비교하면, 예측 화상(3543)은 SD 화상(3542)보다 HD 화상(3541)에 보다 가까운 화상으로 되어 있는 것을 알 수 있다.

이 비교 결과는 클래스 분류 적응 처리부(3501)가 HD 화상(3541)의 디테일이 깨져 버린 SD 화상(3542)에 대하여, 종래의 클래스 분류 적응 처리를 실행함으로써, 원래의 디테일이 복원된 예측 화상(3543)을 생성할 수 있다고 하는 것을 의미하고 있다.

그러나, 예측 화상(3543)과 HD 화상(3541)을 비교하면, 예측 화상(3543)은 HD 화상(3541)을 완전하게 복원한 화상이라고 말하기는 어렵다.

그래서, 본원 출원인은 예측 화상(3543)이 HD 화상(3541)을 완전하게 복원할 수 없는 이유를 조사하기 위해, 소정 가산기(3546)에 의해 HD 화상(3541)과, 예측 화상(3543)의 반전 입력과의 가산 화상, 즉, HD 화상(3541)과 예측 화상(3543)의 차분 화상(화소의 차분이 큰 경우, 백에 가까운 화소로 하고, 화소의 차분이 작은 경우, 흑에 가까운 화소로 한 화상)(3544)을 생성했다.

동일하게, 본원 출원인은 소정 가산기(3547)에 의해 HD 화상(3541)과, SD 화상(3542)의 반전 입력과의 가산 화상, 즉, HD 화상(3541)과 SD 화상(3542)의 차분 화상(화소의 차분이 큰 경우, 백에 가까운 화소로 하고, 화소의 차분이 작은 경우, 흑에 가까운 화소로 한 화상)(3545)을 생성했다.

그리고, 본원 출원인은 이와 같이 하여 생성된 차분 화상(3544)과 차분 화상(3545)을 비교함으로써, 다음과 같은 조사 결과를 얻었다.

즉, HD 화상(3541)과 SD 화상(3542)의 차분이 큰 영역(차분 화상(3545)의 백에 가까운 영역)과, HD 화상(3541)과 예측 화상(3543)의 차분이 큰 영역(차분 화상(3544)의 백에 가까운 영역)은 거의 대응하고 있다.

환언하면, 예측 화상(3543)이 HD 화상(3541)을 완전하게 복원할 수 없는 영역은 예측 화상(3543) 중, HD 화상(3541)과 SD 화상(3542)의 차분이 큰 영역(차분 화상(3545)의 백에 가까운 영역)과 거의 일치한다.

그래서, 본원 출원인은 이 조사 결과의 요인을 해명하기 위해, 다시 다음과 같은 조사를 실행했다.

즉, 본원 출원인은 먼저, HD 화상(3541)과 예측 화상(3543)의 차분이 작은 영역(차분 화상(3544)의 흑에 가까운 영역)에서, HD 화상(3541)의 구체적인 화소값, SD 화상(3542)의 구체적인 화소값, 및 HD 화상(3541)에 대응하는 실제의 파형(실세계(1)의 신호)을 조사했다. 그 조사 결과가 도 271과 도 272에 나타나 있다.

도 271은 조사한 영역 중의 일례를 나타내고 있다. 그리고, 도 271에서, 도면 중, 수평 방향은 공간 방향의 1 방향인 X 방향으로 되어 있고, 또, 수직 방향은 공간 방향의 다른 방향인 Y 방향으로 되어 있다.

즉, 본원 출원인은 HD 화상(3541)과 예측 화상(3543)의 차분이 작은 영역의 일례로서, 도 271에서 나타나는 차분 화상(3544)의 영역 3544-1에 대하여 조사했다.

도 272는 도 271에서 나타나는 영역 3544-1에 포함되는 X 방향으로 연속된 6개의 HD 화소 중, 도면 중 좌측으로부터 4개분의 HD 화소에 대응하는 HD 화상(3541)의 구체적인 화소값, SD 화상(3542)의 구체적인 화소값, 및 실제 파형(실세계(1)의 신호)의 각각을 플롯한 것을 나타내고 있다.

도 272에서, 세로축은 화소값을, 가로축은 공간 방향 X에 평행한 x축을 각각 나타내고 있다. x축에서, 원점은 차분 화상(3544)의 6개의 HD 화소 중, 도면 중 좌측으로부터 3번째인 HD 화소의 좌단 위치로 되어 있고, 그 원점을 기준으로 하여 좌표값이 부여되어 있다. 단, x축의 좌표값은 차분 화상(3544)의 HD 화소의 화소폭을 0.5로 하여 부여하고 있다. 즉, 차분 화상(3544)은 HD 화상이므로, HD 화상(3541)의 화소폭 L_t(이하, HD 화소폭 L_t라고 칭함)도 0.5가 된다. 따라서, 지금의 경우, SD 화상(3542)의 화소폭(이하, SD 화소폭 L_s라고 칭함)은 HD 화소폭 L_t의 2배가 되므로, SD 화소폭 L_s은 1이 된다.

또, 도 272에서, 실선은 HD 화상(3541)의 화소값을, 점선은 SD 화상(3542)의 화소값을, 일점 쇄선은 실세계(1) 신호의 X 단면 파형을 각각 나타내고 있다. 단, 실세계(1) 신호의 파형을 실제로 묘사하는 것은 곤란하므로, 도 272에서 나타낸 일점 쇄선은 전술한 1차원 다항식 근사 방법(도 266의 실세계 추정부(102)의 일실시예)에 의해 X 단면 파형이 근사된 근사 함수 f(x)가 나타나 있다.

다음에, 본원 출원인은 전술한 차분이 작은 영역의 조사와 동일하게, HD 화상(3541)과 예측 화상(3543)의 차분이 큰 영역(차분 화상(3544)의 백에 가까운 영역)에서도, HD 화상(3541)의 구체적인 화소값, SD 화상(3542)의 구체적인 화소값, 및 HD 화상(3541)에 대응하는 실제의 파형(실세계(1)의 신호)을 조사했다. 그 조사 결과가 도 273과 도 274에 나타나 있다.

도 273은 조사한 영역 중의 일례를 나타내고 있다. 그리고, 도 273에서, 도면 중, 수평 방향은 공간 방향의 1 방향인 X 방향으로 되어 있고, 또, 수직 방향은 공간 방향의 다른 방향인 Y 방향으로 되어 있다.

즉, 본원 출원인은 HD 화상(3541)과 예측 화상(3543)의 차분이 큰 영역의 일례로서, 도 273에서 나타나는 차분 화상(3544)의 영역 3544-2에 대하여 조사했다.

도 274는 도 273에서 나타나는 영역 3544-2에 포함되는 X 방향으로 연속된 6개의 HD 화소 중, 도면 중 좌측으로부터 4개분의 HD 화소에 대응하는 HD 화상(3541)의 구체적인 화소값, SD 화상(3542)의 구체적인 화소값, 및 실제의 파형(실세계(1)의 신호)의 각각을 플롯한 것을 나타내고 있다.

도 274에서, 세로축은 화소값을, 가로축은 공간 방향 X에 평행한 x축을 각각 나타내고 있다. x축에서, 원점은 차분 화상(3544)의 6개의 HD 화소 중 도면 중의 좌측으로부터 3번째의 HD 화소 좌단 위치로 되어 있고, 그 원점을 기준으로 하여 좌표값이 부여되어 있다. 단, x축의 좌표값은 SD 화소폭 L_s이 1로서 부여되어 있다.

도 274에서, 실선은 HD 화상(3541)의 화소값을, 점선은 SD 화상(3542)의 화소값을, 일점 쇄선은 실세계(1) 신호의 X 단면 파형을 각각 나타내고 있다. 단, 도 274에서 나타낸 일점 쇄선은 도 272에서 나타낸 일점 쇄선과 동일하게, X 단면 파형이 근사된 근사 함수 f(x)가 나타나 있다.

도 272와 도 274를 비교하면, 양자의 근사 함수 f(x)의 파형 형상으로부터 어느 영역도 세선의 영역을 포함하고 있는 것을 알 수 있다.

그러나, 도 272에서는, 세선의 영역은 대략 x=0으로부터 x=1의 범위에 존재하는 데 대하여, 도 274에서는, 세선의 영역은 대략 x=-0.5로부터 x=0.5의 범위에 존재한다. 즉, 도 272에서는, x=0으로부터 x=1의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소 내에 세선의 영역이 대략 포함되게 된다. 이에 대하여, 도 274에서는, x=0으로부터 x=1의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소 내에, 세선의 영역이 일부만 포함되게(세선과 배경의 경계선이 포함되는) 된다.

따라서, 도 272에서 나타낸 상태의 경우, x=0으로부터 x=1.0의 범위에 존재하는 HD 화상(3541)의 2개의 HD 화소의 화소값(도면 중, 실선)의 차는 작아진다. 그 결과, 당연히, 이들 2개의 HD 화소의 화소값의 평균값인, SD 화상(3542)의 하나의 SD 화소의 화소값(도면 중, 점선)과, HD 화상(3541)의 2개의 HD 화소의 화소값 각각과의 차분은 작은 것이 된다.

이와 같은 상태에서(도 272에서 나타낸 상태에서), x=0으로부터 x=1.0의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소가 주목 화소로 되어, 종래의 클래스 분류 적응 처리에 의해 x=0으로부터 x=1.0의 범위에 2개의 HD 화소(예측 화상(3543)의 화소)가 생성된 경우에 대하여 생각한다. 이 경우, 도 271에서 나타낸 바와 같이, 생성된 예측 화상(3543)의 HD 화소는 HD 화상(3541)의 HD 화소를 대략 정확하게 예측한 것이 된다. 즉, 도 271에서 나타낸 바와 같이, 영역 3544-1에서는, 예측 화상(3543)의 HD 화소와, HD 화상(3541)의 HD 화소의 차분도 작아지므로, 흑에 가까운 화상이 표시된다.

이에 대하여, 도 274에서 나타낸 상태의 경우, x=0으로부터 x=1.0의 범위에 존재하는 HD 화상(3541)의 2개의 HD 화소의 화소값(도면 중, 실선)의 차는 커진다. 그 결과, 당연히, 이들 2개의 HD 화소의 화소값의 평균값인, SD 화상(3542)의 하나의 SD 화소의 화소값(도면 중, 점선)과, HD 화상(3541)의 2개의 HD 화소의 화소값 각각과의 차분은 도 272의 대응하는 차분에 대하여 큰 것이 된다.

이와 같은 상태에서(도 274에서 나타낸 상태에서), x=0으로부터 x=1.0의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소가 주목 화소로 되고, 종래의 클래스 분류 적응 처리에 의해 x=0으로부터 x=1.0의 범위에 HD 화소(예측 화상(3543)의 화소)가 생성된 경우에 대하여 생각한다. 이 경우, 도 273에서 나타낸 바와 같이, 생성된 예측 화상(3543)의 HD 화소는 HD 화상(3541)의 HD 화소를 정확하게 예측한 것은 되지 않는다. 즉, 도 273에서 나타낸 바와 같이, 영역 3544-2에서는, 예측 화상(3543)의 HD 화소와, HD 화상(3541)의 HD 화소의 차분도 큰 것이 되어 버리므로, 백에 가까운 화상이 표시된다.

그런데, 도 272와 도 274의 실세계(1) 신호의 근사 함수 f(x)(도면 중, 일점 쇄선)의 각각을 비교하면, 도 272에서는, x=0으로부터 x=1의 범위에서의 근사 함수 f(x)의 변화량은 작은 데 대하여, 도 274에서는, x=0으로부터 x=1의 범위에서의 근사 함수 f(x)의 변화량은 큰 것을 알 수 있다.

따라서, 도 272에서 나타낸 x=0으로부터 x=1.0의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소는 SD 화소 내에서의 근사 함수 f(x)의 변화량이 작은(즉, 실세계(1)의 신호 변화량이 작은) SD 화소라고 말할 수 있다.

이와 같은 관점으로부터 전술한 조사 결과를 다시 말하면, 예를 들면, 도 272에서 나타낸 x=0으로부터 x=1.0의 범위에 존재하는 SD 화소와 같은, SD 화소 내에서의 근사 함수 f(x)의 변화가 적은(즉, 실세계(1)의 신호 변화가 적은) SD 화소로부터 종래의 클래스 분류 적응 처리에 의해 HD 화소가 생성되면, 생성된 HD 화소는 실세계(1)의 신호(지금의 경우, 세선의 화상)를 대략 정확하게 예측한 것으로 된다.

이에 대하여, 도 274에서 나타낸 x=0으로부터 x=1.0의 범위에 존재하는 SD 화상(3542)의 하나의 SD 화소는 SD 화소 내에서의 근사 함수 f(x)의 변화량이 큰(즉, 실세계(1)의 신호 변화량이 큰) SD 화소라고 말할 수 있다.

이와 같은 관점으로부터 전술한 조사 결과를 다시 말하면, 예를 들면, 도 274에서 나타낸 x=0으로부터 x=1.0의 범위에 존재하는 SD 화소와 같은, SD 화소 내에서의 근사 함수 f(x)의 변화가 큰(즉, 실세계(1)의 신호 변화가 큰) SD 화소로부터 종래의 클래스 분류 적응 처리에 의해 HD 화소가 생성되면, 생성된 HD 화소는 실세계(1)의 신호(지금의 경우, 세선의 화상)를 정확하게 예측한 것으로는 되지 않는다.

이상의 조사 결과를 정리하면, 도 275에서 나타낸 바와 같은 상태의 경우, 종래의 화소 사이의 신호 처리(예를 들면, 클래스 분류 적응 처리)에서는, 화소 내의 디테일을 복원하는 것은 곤란하다고 하는 것이다.

즉, 도 275는 본원 출원인이 전술한 바와 같은 조사를 행한 결과로서, 얻어진 식견을 설명한 도면이다.

도 275에서, 도면 중 수평 방향은 센서(2)(도 266)의 검출 소자가 나란히 하고 있는 방향(공간 방향) 중의 1 방향인 X 방향을 나타내고 있으며, 도면 중 수직 방향은 광의 레벨 또는 화소값을 나타내고 있다. 점선은 화상인 실세계(1)(도 266) 신호의 X 단면 파형 F(x)를 나타내고 있으며, 실선은 X 단면 파형 F(x)로 표시되는 실세계(1)의 신호(화상)가 센서(2)에 입사된 경우, 센서(2)로부터 출력되는 화소값 P를 나타내고 있다. 또, 센서(2)의 하나의 검출 소자의 폭(X 방향의 길이)은 L_c로 기술되어 있고, △P는 센서(2)의 하나의 검출 소자의 폭 L_c, 즉, 센서(2)의 화소폭 L_c 내에서의 X 단면 파형 F(x)의 변화량을 나타내고 있다.

그런데, 전술한 SD 화상(3542)(도 270)은 센서(2)로부터의 입력 화상(도 266)을 모방한 것이므로, SD 화상(3542)의 SD 화소폭 L_s(도 272와 도 274)은 센서(2)의 화소폭(검출 소자의 폭) L_c로서 생각할 수 있다.

또, 전술한 조사에서는, 세선에 대응하는 실세계(1)의 신호(근사 함수 f(x))에 대한 조사였지만, 세선에 한정되지 않고, 실세계(1)의 신호 레벨의 변화는 존재한다.

따라서, 전술한 조사 결과를 도 275에서 나타낸 상태에 적용시키면, 다음과 같이 된다.

즉, 도 275에서 나타낸 바와 같은, 화소 내에서 실세계(1)의 신호 변화량(X 단면 파형 F(x)의 변화량) △P가 큰 SD 화소(센서(2)로부터의 출력 화소)가 주목 화소로 되어, 종래의 클래스 분류 적응 처리에 의해 HD 화소(예를 들면, 도 266의 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상의 화소)가 생성된 경우, 생성된 HD 화소는 실세계(1)의 신호(도 275의 예에서는, X 단면 파형 F(x))를 정확하게 예측한 것은 되지 않는다.

구체적으로는, 클래스 분류 적응 처리를 시작으로 하는 종래의 방법에서는, 센서(2) 화소의 화소 사이의 화상 처리가 행해지고 있다.

즉, 도 275에서 나타낸 바와 같이, 실세계(1)에서는, 1 화소 내의 영역에서 X 단면 파형 F(x)의 변화량 △P가 큰 상태라도, 센서(2)로부터는, X 단면 파형 F(x)가 적분된(엄밀하게는, 실세계(1)의 신호가 시공간 방향으로 적분된) 1개의 화소값 P(1 화소 내에서 균일한 값 P)만이 출력된다.

종래의 방법에서는, 그 화소값 P가 기준으로 되는 동시에, 화소값 P가 처리 대상이 되어 화상 처리가 행해지고 있다. 환언하면, 종래의 방법에서는, 화소 내에 있어서의 실세계(1)의 신호(X 단면 파형 F(x))의 변화, 즉, 화소 내의 디테일을 무시하여, 화상 처리가 행해지고 있다.

이와 같이, 화소를 최소의 단위로 하여 처리하는 한, 비록 어떠한 화상 처리를(클래스 분류 적응 처리라도) 실행했다고 해도, 화소 내에 있어서의 실세계(1)의 신호 변화를 정확하게 재현하는 것은 곤란하다. 특히, 실세계(1)의 신호 변화량 △P가 큰 경우, 그 곤란함은 보다 현저한 것이 된다.

환언하면, 전술한 클래스 분류 적응 처리가 가지는 과제, 즉, 도 266에서, 센서(2)로부터 출력된 단계에서 실세계(1)의 디테일이 깨져 버린 입력 화상(SD 화상)은 클래스 분류 적응 처리에 의해 비록 HD 화상으로 되어도, 원래의 디테일이 완전하게 복원되지 않는 일이 있다고 하는 과제가 발생하는 원인은 화소 내에 있어서의 실세계(1)의 신호 변화량 △P를 고려하지 않고, 화소(1개의 화소값만 가진 화소)를 최소의 단위로 하여 클래스 분류 적응 처리가 행해지고 있기 때문이다.

이 과제는 클래스 분류 적응 처리에 한정되지 않고 종래의 화상 처리 방법의 모두가 가지는 과제이며,과제가 발생하는 원인도 아주 동일하다.

이상, 종래의 화상 처리 방법이 가지는 과제와, 그 발생 요인에 대하여 설명했다.

그런데, 전술한 바와 같이, 본 발명의 데이터 정상성 검출부(101)와 실세계 추정부(102)(도 3)는 실세계(1)의 신호가 가지는 정상성을 이용하여, 센서(2)로부터의 입력 화상(즉, 화소 내에서의, 실세계(1)의 신호 변화가 무시된 화상)으로부터 실세계(1)의 신호를 추정할 수 있다. 즉, 실세계 추정부(102)는 실세계(1)의 신호를 추정하는 것이 가능한 실세계 추정 정보를 출력할 수 있다.

따라서, 이 실세계 추정 정보로부터 화소 내에 있어서의 실세계(1)의 신호 변화량의 추정도 가능하다.

그래서, 본원 출원인은 종래의 클래스 분류 적응 처리에 의해 생성된 예측 화상(화소 내에서의, 실세계(1)의 신호 변화를 고려하지 않고, 실세계(1)를 예측한 화상)을 실세계 추정 정보에 따라 생성되는 소정 보정 화상(화소 내에서의, 실세계(1)의 신호 변화에 기인하는 예측 화상의 오차를 추정한 화상)으로 보정함으로써, 전술한 과제의 해결이 가능하게 된다는 사상에 따라, 예를 들면, 도 266에서 나타낸 바와 같은, 클래스 분류 적응 처리 보정 방법을 발명했다.

즉, 도 266에서, 데이터 정상성 검출부(101)와 실세계 추정부(102)가 실세계 추정 정보를 생성하고, 클래스 분류 적응 처리 보정부(3502)가, 생성된 실세계 추정 정보에 따라 소정 보정 화상을 생성한다. 그리고, 가산부(3503)가 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상을 클래스 분류 적응 처리 보정부(3502)로부터 출력된 보정 화상으로 보정한다(구체적으로는, 예측 화상에 보정 화상을 가산한 화상을 출력 화상으로서 출력한다).

클래스 분류 적응 처리 보정 방법을 이용하는 화상 생성부(103) 중, 클래스 분류 적응 처리부(3501)의 상세에 대해서는 이미 설명했다. 또, 가산부(3503)는 예측 화상과 보정 화상을 가산할 수 있는 것이면, 그 형태는 특히 한정되지 않고, 예를 들면, 종래부터 존재하는 다양한 가산기나 프로그램 등을 적용할 수 있다.

그래서, 이하, 나머지의 클래스 분류 적응 처리 보정부(3502)의 상세에 대하여 설명한다.

처음에, 클래스 분류 적응 처리 보정부(3502)의 원리에 대하여 설명한다.

전술한 바와 같이, 도 270에서, HD 화상(3541)을 센서(2)(도 266)에 입사되기 전의 원래의 화상(실세계(1)의 신호)으로 간주하고, 또한 SD 화상(3542)을 센서(2)로부터의 입력 화상으로 간주하면, 예측 화상(3543)이 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상(원래의 화상(HD 화상(3541))을 예측한 예측 화상)으로 된다.

또, HD 화상(3541)으로부터 그 예측 화상(3543)을 감산한 화상이 차분 화상(3544)이다.

따라서, 클래스 분류 적응 처리 보정부(3502)가 차분 화상(3544)을 생성하고, 그 차분 화상(3544)을 보정 화상으로서 출력할 수 있으면, 가산부(3503)가 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상(3543)과, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 차분 화상(3544)(보정 화상)을 가산함으로써, HD 화상(3541)을 복원할 수 있다.

즉, 클래스 분류 적응 처리 보정부(3502)가 화상인, 실세계(1)의 신호(센서(2)에 입사되기 전의 원래의 화상)와, 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상과의 차분 화상(단, 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상과 동일 해상도의 화상)을 적절히 예측하고, 예측한 차분 화상(이하, 차분 예측 화상이라고 칭함. 이것이 전술한 차분 예측 화상 명칭의 유래임)을 보정 화상으로서 출력할 수 있으면, 실세계(1)의 신호(원래의 화상)를 대략 복원할 수 있다.

그런데, 전술한 바와 같이, 실세계(1)의 신호(센서(2)에 입사되기 전의 원래의 화상)와, 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상과의 차분(오차)의 정도와, 입력 화상의 1 화소 내에서의, 실세계(1)의 신호 변화량의 정도는 대응하고 있다. 또, 실세계 추정부(102)는 실세계(1)의 신호 자체를 추정할 수 있으므로, 당연히, 입력 화상의 1 화소 내에서의, 실세계(1)의 신호 변화량의 정도를 나타내는 소정 특징량을 화소마다 산출하는 것도 가능하다.

따라서, 클래스 분류 적응 처리 보정부(3502)는 입력 화상의 각 화소의 각각에 대한 특징량을 취득함으로써, 차분 예측 화상을 생성할(차분 화상을 예측할) 수 있다.

그래서, 예를 들면, 클래스 분류 적응 처리 보정부(3502)는 실세계 추정부(102)로부터 특징량을 화소값으로 하는 화상(이하, 이와 같은 화상을 특징량 화상이라고 칭함)을 실세계 추정 정보로서 실세계 추정부(102)로부터 입력한다.

이 때, 특징량 화상의 해상도는 센서(2)로부터의 입력 화상과 동일한 해상도이다. 또, 보정 화상(차분 예측 화상)은 클래스 분류 적응 처리부(3501)로부터 출력되는 예측 화상과 동일한 해상도이다.

따라서, 클래스 분류 적응 처리 보정부(3502)가 특징량 화상을 SD 화상으로 하고, 보정 화상(차분 예측 화상)을 HD 화상으로 하고, 종래의 클래스 분류 적응 처리를 이용하여, 특징량 화상으로부터 차분 화상을 예측 연산하면, 그 예측 연산의 결과가 적절한 차분 예측 화상으로 된다.

이상, 클래스 분류 적응 처리 보정부(3502)의 원리에 대하여 설명했다.

도 276은 이와 같은 원리로 동작하는 클래스 분류 적응 처리 보정부(3502)의 구성예를 나타내고 있다.

도 276에서, 실세계 추정부(102)로부터 입력된 특징량 화상(SD 화상)은 영역 추출부(3551)와 영역 추출부(3555)에 각각 공급된다. 영역 추출부(3551)는 공급된 특징량 화상으로부터 클래스 분류를 행하기 위해 필요한 클래스 탭(주목 화소를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 추출하여, 패턴 검출부(3552)에 출력한다. 패턴 검출부(3552)는 입력된 클래스 탭에 따라 특징량 화상의 패턴을 검출한다.

클래스 코드 결정부(3553)는 패턴 검출부(3552)에서 검출된 패턴에 따라 클래스 코드를 결정하고, 보정 계수 메모리(3554), 및 영역 추출부(3555)에 출력한다. 보정 계수 메모리(3554)는 학습에 의해 미리 구해진 클래스 코드마다의 계수를 기억하고 있으며, 클래스 코드 결정부(3553)로부터 입력된 클래스 코드에 대응하는 계수를 판독하여, 보정 연산부(3556)에 출력한다.

그리고, 보정 계수 메모리(3554)의 계수 학습 처리에 대해서는, 도 277의 클래스 분류 적응 처리 보정용 학습부의 블록도를 참조하여 후술한다.

또, 보정 계수 메모리(3554)에 기억되는 계수는 후술하는 바와 같이, 차분 화상을 예측할(HD 화상인 차분 예측 화상을 생성할) 때에 사용되는 예측 계수이다. 그러나, 여기에서는, 클래스 분류 적응 처리부(3501)의 계수 메모리(3514)(도 267)에 기억되어 있는 계수를 예측 계수라고 칭하고 있다. 따라서, 이하, 보정 계수 메모리(3554)에 기억되는 예측 계수를 계수 메모리(3514)에 기억되는 예측 계수와 구별하기 위해, 보정 계수라고 칭한다.

영역 추출부(3555)는 클래스 코드 결정부(3553)로부터 입력된 클래스 코드에 따라, 실세계 추정부(102)로부터 입력된 특징량 화상(SD 화상)으로부터 차분 화상(HD 화상)을 예측하는(HD 화상인 차분 예측 화상을 생성하는) 데 필요한 예측 탭(주목 화소를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 클래스 코드에 대응하여 추출하고, 보정 연산부(3556)에 출력한다. 보정 연산부(3556)는 영역 추출부(3555)로부터 입력된 예측 탭과, 보정 계수 메모리(3554)로부터 입력된 보정 계수를 사용하여 적화 연산을 실행하여, 특징량 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의 차분 예측 화상(HD 화상)의 HD 화소를 생성한다.

보다 상세하게는, 보정 계수 메모리(3554)는 클래스 코드 결정부(3553)로부터 공급되는 클래스 코드에 대응하는 보정 계수를 보정 연산부(3556)에 출력한다. 보정 연산부(3556)는 영역 추출부(3555)로부터 공급되는 입력 화상의 소정 화소 위치의 화소값으로부터 추출된 예측 탭(SD 화소)과, 보정 계수 메모리(3554)로부터 공급된 보정 계수를 사용하여, 다음의 식 (223)에서 나타낸 적화 연산을 실행함으로써, 차분 예측 화상(HD 화상)의 HD 화소를 구한다(차분 화상을 예측 추정한다).

···(223)

식 (223)에서, u'는 차분 예측 화상(HD 화상)의 HD 화소를 나타내고 있다. a_i(i는 1 내지 n의 정수값)의 각각은 예측 탭(SD 화소)의 각각을 나타내고 있다. 또, g_i의 각각은 보정 계수의 각각을 나타내고 있다.

따라서, 도 266에서, 클래스 분류 적응 처리부(3501)로부터는, 전술한 식 (215)에서 나타낸 예측 화상의 HD 화소 q'가 출력되는 데 대하여, 클래스 분류 적응 처리 보정부(3502)로부터는, 식 (223)에서 나타낸 차분 예측 화상의 HD 화소 u'가 출력된다. 그리고, 가산부(3503)가 예측 화상의 HD 화소 q'와 차분 예측 화상의 HD 화소 u'를 가산한 화소(이하, o'으로 기술함)를 출력 화상의 HD 화소로서 외부에 출력한다.

즉, 화상 생성부(103)로부터 최종적으로 출력되는 출력 화상의 HD 화소 o'는 다음의 식 (224)에서 나타낸 바와 같이 된다.

···(224)

도 277은 이와 같은 클래스 분류 적응 처리 보정부(3502)의 보정 계수 메모리(3554)에 기억되는 보정 계수(전술한 식 (222)에서의 g_i)를 결정하기 위한 학습부, 즉, 전술한 도 268의 학습 장치(3504)의 클래스 분류 적응 처리 보정용 학습부(3561)의 상세한 구성예를 나타내고 있다.

도 268에서, 전술한 바와 같이, 클래스 분류 적응 처리용 학습부(3521)는 그 학습 처리를 종료하면, 클래스 분류 적응 처리 보정용 학습부(3561)에 대하여, 학습에 이용한 제1 교사 화상(HD 화상)과 제1 학생 화상(SD 화상)의 각각을 출력하는 동시에, 학습에 의해 구해진 예측 계수를 사용하여 제1 학생 화상으로부터 제1 교사 화상을 예측한 화상인, 학습용 예측 화상을 출력해 온다.

도 277로 복귀하여, 이들 중 제1 학생 화상은 데이터 정상성 검출부(3572)에 입력된다.

한편, 이들 중 제1 교사 화상과 학습용 예측 화상은 가산부(3571)에 입력된다. 단, 학습용 예측 화상은 반전 입력된다.

가산부(3571)는 입력된 제1 교사 화상과, 반전 입력된 학습용 예측 화상을 가산하고, 즉, 제1 교사 화상과 학습용 예측 화상의 차분 화상을 생성하고, 그것을 클래스 분류 적응 처리 보정용 학습부(3561)에서의 교사 화상(이 교사 화상을 전술한 바와 같이, 제1 교사 화상과 구별하기 위해, 제2 교사 화상이라고 칭함)으로서 정규 방정식 생성부(3578)에 출력한다.

데이터 정상성 검출부(3572)는 입력된 제1 학생 화상에 포함되는 데이터의 정상성을 검출하고, 그 검출 결과를 데이터 정상성 정보로서 실세계 추정부(3573)에 출력한다.

실세계 추정부(3573)는 입력된 데이터 정상성 정보에 따라, 특징량 화상을 생성하고, 그것을 클래스 분류 적응 처리 보정용 학습부(3561)에서의 학생 화상(이 학생 화상을 전술한 바와 같이, 제1 학생 화상과 구별하기 위해, 제2 학생 화상이라고 칭함)으로서 영역 추출부(3574)와 영역 추출부(3577)의 각각에 출력한다.

영역 추출부(3574)는 공급된 제2 학생 화상(SD 화상)으로부터 클래스 분류를 행하기 위해 필요한 SD 화소(클래스 탭)를 추출하여, 패턴 검출부(3575)에 출력한다. 패턴 검출부(3575)는 입력된 클래스 탭의 패턴을 검출하고, 검출 결과를 클래스 코드 결정부(3576)에 출력한다. 클래스 코드 결정부(3576)는 입력된 패턴에 대응하는 클래스 코드를 결정하고, 그 클래스 코드를 영역 추출부(3577), 및 정규 방정식 생성부(3578)의 각각에 출력한다.

영역 추출부(3577)는 클래스 코드 결정부(3576)로부터 입력된 클래스 코드에 따라, 실세계 추정부(3573)로부터 입력된 제2 학생 화상(SD 화상)으로부터 예측 탭(SD 화소)을 추출하여, 정규 방정식 생성부(3578)에 출력한다.

그리고, 이상의 영역 추출부(3574), 패턴 검출부(3575), 클래스 코드 결정부(3576), 및 영역 추출부(3577)의 각각은 도 276의 클래스 분류 적응 처리 보정부(3502)의 영역 추출부(3551), 패턴 검출부(3552), 클래스 코드 결정부(3553), 및 영역 추출부(3555)의 각각과, 기본적으로 동일한 구성과 기능을 가지는 것이다. 또, 이상의 데이터 정상성 검출부(3572), 및 실세계 추정부(3573)의 각각은 도 266의 데이터 정상성 검출부(101), 및 실세계 추정부(102)의 각각과 기본적으로 동일한 구성과 기능을 가지는 것이다.

정규 방정식 생성부(3578)는 클래스 코드 결정부(3576)로부터 입력된 모든 클래스 코드에 대하여, 클래스 코드마다 영역 추출부(3577)로부터 입력되는 제2 학생 화상(SD 화상)의 예측 탭(SD 화소)과, 제2 교사 화상(HD 화상)의 HD 화소로부터 정규 방정식을 생성하여, 보정 계수 결정부(3579)에 공급한다. 보정 계수 결정부(3579)는 정규 방정식 생성부(3578)로부터 소정 클래스 코드에 대응하는 정규 방정식이 공급되어 왔을 때, 그 정규 방정식으로부터 보정 계수의 각각을 연산하고, 보정 계수 메모리(3554)에 클래스 코드와 관련지어 기억시킨다.

정규 방정식 생성부(3578)와, 보정 계수 결정부(3579)에 대하여 보다 상세하게 설명한다.

전술한 식 (223)에서, 학습 전은 보정 계수 g_i의 각각이 미정 계수이다. 학습은 클래스 코드마다 복수개의 교사 화상(HD 화상)의 HD 화소를 입력함으로써 행한다. 소정 클래스 코드에 대응하는 HD 화소가 m개 존재하고, m개의 HD 화소의 각각을 u_k(k는 1 내지 m의 정수값)로 기술하는 경우, 식 (223)으로부터 다음의 식 (225)가 설정된다.

···(225)

즉, 식 (225)는 우변의 연산을 함으로써, 소정 HD 화소를 예측 추정할 수 있는 것을 나타내고 있다. 그리고, 식 (225)에서, e_k는 오차를 나타내고 있다. 즉, 우변의 연산 결과인 차분 예측 화상(HD 화상)의 HD 화소 u_k'가 실제의 차분 화상의 HD 화소 u_k와 엄밀하게는 일치하지 않고, 소정 오차 e_k를 포함한다.

그래서, 식 (2225)에서, 예를 들면, 오차 e_k의 제곱합을 최소로 하도록 한 보정 계수 a_i가 학습에 의해 구해지면 된다.

예를 들면, m＞n이 되도록, 차분 화상의 HD 화소 u_k를 학습에 의해 모을 수 있으면, 최소 제곱법에 따라 보정 계수 a_i가 일의적으로 결정된다.

즉, 식 (225) 우변의 보정 계수 a_i를 최소 제곱법으로 구하는 경우의 정규 방정식은 다음의 식 (226)에서 나타낸 대로 된다.

···(226)

식 (226)에서 나타낸 정규 방정식의 각 행렬의 각각을 다음의 식 (227) 내지 (229)와 같이 정의하면, 정규 방정식은 다음의 식 (230)과 같이 표현된다.

···(227)

···(228)

···(229)

···(230)

식 (228)에서 나타낸 바와 같이, 행렬 G_MAT의 각 성분은 구하고 싶은 보정 계수 g_i이다. 따라서, 식 (230)에서, 좌변의 행렬 A_MAT와 우변의 행렬 U_MAT가 결정되면, 행렬 해법에 의해 행렬 G_MAT(즉, 보정 계수 g_i)의 산출이 가능하다.

구체적으로는, 식 (227)에서 나타낸 바와 같이, 행렬 A_MAT의 각 성분은 예측 탭 a_ik를 이미 알고 있으면 연산 가능하다. 예측 탭 a_ik는 영역 추출부(3577)에 의해 추출되므로, 정규 방정식 생성부(3578)는 영역 추출부(3577)로부터 공급되어 오는 예측 탭 a_ik의 각각을 이용하여 행렬 A_MAT의 각 성분을 연산할 수 있다.

또, 식 (229)에서 나타낸 바와 같이, 행렬 U_MAT의 각 성분은 예측 탭 a_ik와 차분 화상의 HD 화소 u_k를 이미 알고 있으면 연산 가능하다. 예측 탭 a_ik는 행렬 A_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, 차분 화상의 HD 화소 u_k는 가산부(3571)로부터 출력되는 제2 교사 화상의 HD 화소이다. 따라서, 정규 방정식 생성부(3578)는 영역 추출부(3577)로부터 공급된 예측 탭 a_ik와, 제2 교사 화상(제1 교사 화상과, 학습용 예측 화상의 차분 화상)을 이용하여 행렬 U_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(3578)는 클래스 코드마다 행렬 A_MAT와 행렬 U_MAT의 각 성분을 연산하고, 그 연산 결과를 클래스 코드에 대응시켜 보정 계수 결정부(3579)에 공급한다.

보정 계수 결정부(3579)는 공급된 소정 클래스 코드에 대응하는 정규 방정식에 따라, 전술한 식 (230)의 행렬 G_MAT의 각 성분인 보정 계수 g_i를 연산한다.

구체적으로는, 전술한 식 (230)의 정규 방정식은 다음의 식 (231)과 같이 변형할 수 있다.

···(231)

식 (231)에서, 좌변의 행렬 G_MAT의 각 성분이 구하고 싶은 보정 계수 g_i이다. 또, 행렬 A_MAT와 행렬 U_MAT 각각의 각 성분은 정규 방정식 생성부(3578)로부터 공급되는 것이다. 따라서, 보정 계수 결정부(3579)는 정규 방정식 생성부(3578)로부터 소정 클래스 코드에 대응하는 행렬 A_MAT와 행렬 U_MAT 각각의 각 성분이 공급되어 왔을 때, 식 (231) 우변의 행렬 연산을 행함으로써 행렬 G_MAT를 연산하고, 그 연산 결과(보정 계수 g_i)를 클래스 코드에 대응시켜 보정 계수 메모리(3554)에 기억시킨다.

이상, 클래스 분류 적응 처리 보정부(3502)와, 거기에 부수되는 학습부인 클래스 분류 적응 처리 보정용 학습부(3561)의 상세에 대하여 설명했다.

그런데, 전술한 특징량 화상은 클래스 분류 적응 처리 보정부(3502)가 그에 따라 보정 화상(차분 예측 화상)을 생성하는 것이 가능한 것이면, 그 형태는 특히 한정되지 않는다. 환언하면, 특징량 화상의 각 화소의 화소값, 즉, 특징량은 전술한 바와 같이, 화소(센서(2)(도 266)의 화소) 내에 있어서의 실세계(1)(도 266)의 신호 변화량의 정도를 나타낼 수 있는 것이면, 특히 한정되지 않는다.

예를 들면, 특징량으로서, 화소 내 경사를 적용하는 것이 가능하다.

화소 내 경사란, 여기에서 새로 정의한 말이다. 그래서, 이하, 화소 내 경사에 대하여 설명한다.

전술한 바와 같이, 도 266에서, 화상인 실세계(1)의 신호는 3차원 공간 상의 위치 x, y, 및 z, 및 시각 t를 변수로 하는 함수 F(x, y, t)로 표시된다.

또, 예를 들면, 화상인 실세계(1)의 신호가 공간 방향의 소정 방향으로 정상성을 가지는 경우, 함수 F(x, y, t)를 공간 방향인 X 방향, Y 방향, 및 Z 방향 중 소정 1 방향(예를 들면, X 방향)으로 투영한 1차원 파형(여기에서도, 이와 같은 파형 중 X 방향으로 투영한 파형을 X 단면 파형 F(x)라고 칭하는 것으로 함)과 동일 형상의 파형이 정상성의 방향으로 연속되어 있다고 생각할 수 있다.

따라서, 실세계 추정부(102)는, 예를 들면, 데이터 정상성 검출부(101)로부터 출력되는, 실세계(1)의 신호가 가지는 정상성에 대응하는 데이터 정상성 정보(예를 들면, 각도)에 따라, X 단면 파형 F(x)를 n차(n은 임의의 정수)의 다항식인 근사 함수 f(x)로 근사시킬 수 있다.

도 278은 이와 같은 근사 함수 f(x)의 일례로서, 다음의 식 (232)에서 나타낸 f₄(x)(5차 다항식인 f₄(x))와, 다음의 식 (233)에서 나타낸 f₅(x)(1차 다항식인 f₅(x))를 플롯한 것을 나타내고 있다.

···(232)

···(233)

그리고, 식 (232)의 w₀ 내지 w₅, 및 식 (233)의 w₀' 및 w₁'의 각각은 실세계 추정부(102)가 연산한 각차의 계수를 나타내고 있다.

또, 도 278에서, 도면 중 수평 방향의 x축은 주목 화소의 좌단을 원점 (x=0)로 한 경우에 있어서의, 주목 화소로부터의 공간 방향 X의 상대 위치를 나타내고 있다. 단, x축에서는, 센서(2) 검출 소자의 폭 L_c이 1로 되어 있다. 또, 도면 중 수직 방향의 축은 화소값을 나타내고 있다.

도 278에서 나타낸 바와 같이, 1차 근사 함수 f₅(x)(식 (232)에서 나타낸 근사 함수 f₅(x))는 주목 화소에서의 X 단면 파형 F(x)를 직선 근사시킨 것이다. 이 근사 직선의 경사를 여기에서는, 화소 내 경사로 칭하고 있다. 즉, 화소 내 경사란, 식 (233)에서의 x의 계수 w₁'이다.

화소 내 경사가 심한 경우, 그것은 주목 화소에서의 X 단면 파형 F(x)의 변화량이 큰 것을 나타내고 있다. 이에 대하여, 화소 내 경사가 완만한 경우, 그것은 주목 화소에서의 X 단면 파형 F(x)의 변화량이 작은 것을 나타내고 있다.

이와 같이, 화소 내 경사는 화소(센서(2)의 화소) 내에서의 실세계(1)의 신호 변화량의 정도를 적절히 나타낼 수 있다. 따라서, 특징량으로서, 화소 내 경사를 적용할 수 있다.

예를 들면, 도 279에는, 화소 내 경사를 특징량으로 하여 실제로 생성된 특징량 화상이 나타나 있다.

즉, 도 279에서, 도면 중 좌측의 화상은 전술한 도 270에서 나타낸 SD 화상(3542)과 동일한 화상을 나타내고 있다. 또, 도면 중 우측의 화상은 좌측의 SD 화상(3542)을 구성하는 각 화소의 각각에 대하여 화소 내 경사를 구하고, 화소 내 경사에 대응하는 값을 화소값으로서 플롯한 특징량 화상(3591)을 나타내고 있다. 단, 특징량 화상(3591)은 화소 내 경사가 없는 경우(근사 직선이 X 방향으로 평행한 경우), 흑으로 되고, 이에 대하여, 화소 내 경사가 직각인 경우(근사 직선이 Y 방향으로 평행한 경우), 백으로 되도록 생성되어 있다.

SD 화상(3542)의 영역 3542-1은 전술한 도 271의 차분 화상(3544)의 영역 3544-1(전술한 도 272를 참조하여, 화소 내에 있어서의 실세계(1)의 신호 변화량이 작은 영역의 일례로서 설명한 영역)에 대응하는 영역이다. 이 SD 화상(3542)의 영역 3542-1에 대응하는 특징량 화상(3591)의 영역이 영역 3591-1이다.

또, SD 화상(3542)의 영역 3542-2는 전술한 도 273의 차분 화상(3544) 영역 3544-2(전술한 도 274를 참조하여, 화소 내에 있어서의 실세계(1)의 신호 변화량이 큰 영역의 일례로서 설명한 영역)에 대응하는 영역이다. 이 SD 화상(3542)의 영역 3542-2에 대응하는 특징량 화상(3591)의 영역이 영역 3591-2이다.

SD 화상(3542)의 영역 3542-1과 특징량 화상(3591)의 영역 3591-1을 비교하면, 실세계(1)의 신호 변화량이 작은 영역은 특징량 화상(3591)에서는, 흑에 가까운 영역(화소 내 경사가 완만한 영역)으로 되어 있는 것을 알 수 있다.

이에 대하여, SD 화상(3542)의 영역 3542-2와 특징량 화상(3591)의 영역 3591-2를 비교하면, 실세계(1)의 신호 변화량이 큰 영역은 특징량 화상(3591)에서는, 백에 가까운 영역(화소 내 경사가 심한 영역)으로 되어 있는 것을 알 수 있다.

이와 같이, 화소 내 경사에 대응하는 값을 화소로서 생성된 특징량 화상은 각 화소 내의 각각에서의 실세계(1)의 신호 변화량의 정도를 적절히 나타낼 수 있다.

다음에, 화소 내 경사의 구체적인 산출 방법에 대하여 설명한다.

즉, 주목 화소에서의 화소 내 경사를 grad로 기술하면, 화소 내 경사 grad는 다음의 식 (234)로 표현된다.

···(234)

식 (234)에서, P_n는 주목 화소의 화소값을 나타내고 있다. P_C는 중심 화소의 화소값을 나타내고 있다.

구체적으로는, 예를 들면, 도 280에서 나타낸 바와 같이, 센서(2)로부터의 입력 화상 중, 5×5의 화소(도면 중 5×5=25개의 정방형)로 이루어지는 영역으로서, 소정 데이터의 정상성을 가지는 영역(3601)(이하, 정상 영역(3601)이라고 칭함)이 존재한 경우, 이 정상 영역(3601) 중심의 화소(3602)가 중심 화소로 된다. 따라서, P_C는 중심 화소(3602)의 화소값으로 된다. 그리고, 예를 들면, 화소(3603)가 주목 화소로된 경우, P_n는 주목 화소(3603)의 화소값으로 된다.

또, 식 (234)에서, x_n'는 주목 화소의 중심점에서의 단면 방향 거리를 나타내고 있다. 그리고, 여기에서는, 중심 화소(도 280의 예에서는, 화소(3602)의 중심을 공간 방향의 원점(0, 0)으로 하고, 그 원점을 통과하는 데이터의 정상성 방향과 평행한 직선(도 280의 예에서는, 직선(3604))을 그었다고 하면, 그 직선에 대한 X 방향의 상대적인 거리를 단면 방향 거리로 칭하고 있다.

도 281은 도 280의 정상 영역(3601) 내의 각 화소의 단면 방향 거리를 나타낸 도면이다. 즉, 도 281에서, 정상 영역(3601)의 각 화소(도면 중 5×5=25개의 정방형) 내의 각각에 기재되어 있는 값이 대응하는 화소의 단면 방향 거리이다. 예를 들면, 주목 화소(3603)의 단면 거리 x_n'는 -2β이다.

단, 각 화소폭은 X 방향도 Y 방향도 1로 되어 있다. X 방향의 정방향은 도면 중 우측 방향으로 되어 있다. 또, β는 중심 화소(3602)의 Y 방향에 대하여 하나 이웃(도면 중 하나 아래) 화소(3605)의 단면 방향 거리를 나타내고 있다. 이 β는 도 281에서 나타낸 바와 같은 각도 θ(직선(3604)의 방향과 X 방향이 이루는 각도 θ)가 데이터 정상성 검출부(101)로부터 데이터 정상성 정보로서 출력되어 있는 경우, 다음의 식 (235)을 이용하여 간단하게 연산할 수 있다.

···(235)

이와 같이, 화소 내 경사는 중심 화소(도 281의 예에서는 화소(3602)와 주목 화소(도 281의 예에서는 화소(3603)) 2개의 입력 화소값과, 각도 θ를 이용하는 간단한 연산으로 산출 가능하다. 따라서, 실세계 추정부(102)는 화소 내 경사에 대응하는 값을 화소값으로 하는 화상을 특징량 화상으로서 생성하면, 그 처리량을 대폭 저감하는 것이 가능하게 된다.

그리고, 또한 정밀도가 양호한 화소 내 경사를 구하고 싶은 경우, 실세계 추정부(102)는 주목 화소의 주변 화소를 사용하여 최소 제곱법에 의해 연산하면 된다. 구체적으로는, 실세계 추정부(102)는 주목 화소를 포함하는 m개(m은 2 이상의 정수)의 화소에 대하여 번호 i(i는 1 내지 m)를 부여하고, 번호 i 화소의 각각의 입력 화소값 P_i와 단면 방향 거리 x_i'를 다음의 식 (236)의 우변에 대입하여 주목 화소에서의 화소 내 경사 grad를 연산하면 된다. 즉, 식 (236)은 전술한 1 변수를 최소 제곱법으로 구하는 식과 동일한 식이다.

···(236)

다음에, 도 282를 참조하여, 클래스 분류 적응 처리 보정 방법을 이용하는 화상 생성부(103)(도 266)의 화상 생성 처리(도 40의 스텝 S103의 처리)에 대하여 설명한다.

도 266에서, 화상인 실세계(1)의 신호가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다. 이 입력 화상은 데이터 정상성 검출부(101)에 입력되는 동시에, 화상 생성부(103)의 클래스 분류 적응 처리부(3501)에 입력된다.

그래서, 도 282의 스텝 S3501에서, 클래스 분류 적응 처리부(3501)는 입력된 입력 화상(SD 화상)에 대하여 클래스 분류 적응 처리를 실행하여, 예측 화상(HD 화상)을 생성하고, 가산부(3503)에 출력한다.

그리고, 이하, 이와 같은 클래스 분류 적응 처리부(3501)가 실행하는 스텝 S3501의 처리를 「입력 화상 클래스 분류 적응 처리」라고 칭한다. 이 예의 「입력 화상 클래스 분류 적응 처리」의 상세에 대해서는, 도 283의 플로차트를 참조하여 후술한다.

스텝 S3501의 처리와 거의 동시에, 데이터 정상성 검출부(101)는 입력 화상에 포함되는 데이터의 정상성을 검출하고, 그 검출 결과(지금의 경우, 각도)를 데이터 정상성 정보로서 실세계 추정부(102)에 출력한다(도 40의 스텝 S101의 처리).

실세계 추정부(102)는 입력한 각도(데이터 정상성 정보)에 따라, 실세계 추정 정보(지금의 경우, SD 화상인 특징량 화상)를 생성하여, 화상 생성부(103)의 클래스 분류 적응 처리 보정부(3502)에 공급한다(도 40의 스텝 S102의 처리).

그래서, 스텝 S3502에서, 클래스 분류 적응 처리 보정부(3502)는 공급된 특징량 화상(SD 화상)에 대하여 클래스 분류 적응 처리를 실행하여, 차분 예측 화상(HD 화상)을 생성하고(실제의 화상(실세계(1)의 신호)과, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상과의 차분 화상(단, HD 화상)을 예측 연산하고), 그것을 보정 화상으로서 가산부(3503)에 출력한다.

그리고, 이하, 이와 같은 클래스 분류 적응 처리 보정부(3502)가 실행하는 스텝 S3502의 처리를 「클래스 분류 적응 처리의 보정 처리」라고 칭한다. 이 예의 「클래스 분류 적응 처리의 보정 처리」의 상세에 대해서는, 도 284의 플로차트를 참조하여 후술한다.

그리고, 스텝 S3503에서, 가산부(3503)가 스텝 S3501의 처리에서 클래스 분류 적응 처리부(3501)에 의해 생성된 예측 화상(HD 화상)의 주목 화소(HD 화소)와, 그 주목 화소에 대응하는, 스텝 S3502의 처리에서 클래스 분류 적응 처리 보정부(3502)에 의해 생성된 보정 화상(HD 화상)의 화소(HD 화소)를 가산하여, 출력 화상(HD 화상)의 화소(HD 화소)를 생성한다.

스텝 S3504에서, 가산부(3503)는 전 화소의 처리를 종료했는지 여부를 판정한다.

스텝 S3504에서, 전 화소의 처리가 아직 종료되어 있지 않다고 판정된 경우, 처리는 스텝 S3501로 복귀하고, 그 이후의 처리가 반복된다. 즉, 아직 주목 화소로 되지 않은 화소가 차례로 주목 화소로 되어, 스텝 S3501 내지 S3503의 처리가 반복된다.

그리고, 전 화소의 처리가 종료되면(스텝 S3504에서, 전 화소의 처리가 종료되었다고 판정하면), 가산부(3504)는 스텝 S3505에서, 출력 화상(HD 화상)을 외부에 출력한다. 그 후, 화상의 생성 처리는 종료된다.

다음에, 도면을 참조하여, 이 예에서의 「입력 화상 클래스 분류 적응 처리(스텝 S3501의 처리)」, 및 「클래스 분류 적응 처리의 보정 처리(스텝 S3502의 처리)」 각각의 상세에 대하여, 그 순서로 개별적으로 설명한다.

처음에, 도 283의 플로차트를 참조하여, 클래스 분류 적응 처리부(3501)(도 267)가 실행하는 「입력 화상 클래스 분류 적응 처리」의 상세에 대하여 설명한다.

입력 화상(SD 화상)이 클래스 분류 적응 처리부(3501)에 입력되면, 스텝 S3521에서, 영역 추출부(3511)와 영역 추출부(3515)의 각각은 입력 화상을 입력한다.

스텝 S3522에서, 영역 추출부(3511)는 입력 화상 중에서, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1 이상의 위치)의 각각에 위치하는 화소(SD 화소)를 클래스 탭으로서 추출하여, 패턴 검출부(3512)에 공급한다.

스텝 S3523에서, 패턴 검출부(3512)는 공급된 클래스 탭의 패턴을 검출하여, 클래스 코드 결정부(3513)에 공급한다.

스텝 S3524에서, 클래스 코드 결정부(3513)는 미리 설정되어 있는 복수개의 클래스 코드 중에서, 공급된 클래스 탭의 패턴에 적합한 클래스 코드를 결정하고, 계수 메모리(3514)와 영역 추출부(3515)의 각각에 공급한다.

스텝 S3525에서, 계수 메모리(3514)는 미리 학습 처리에 의해 결정된 복수개의 예측 계수(군) 중에서, 공급된 클래스 코드에 따라 지금부터 사용하는 예측 계수(군)를 판독하여, 예측 연산부(3516)에 공급한다.

그리고, 학습 처리에 대해서는, 도 288의 플로차트를 참조하여 후술한다.

스텝 S3526에서, 영역 추출부(3515)는 공급된 클래스 코드에 대응하여, 입력 화상 중에서, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1 이상의 위치로서, 클래스 탭의 위치와는 독립하여 설정된 위치. 단, 클래스 탭의 위치와 동일한 위치라도 됨)의 각각에 위치하는 화소(SD 화소)를 예측 탭으로서 추출하여, 예측 연산부(3516)에 공급한다.

스텝 S3527에서, 예측 연산부(3516)는 영역 추출부(3515)로부터 공급된 예측 탭을 계수 메모리(3514)로부터 공급된 예측 계수를 사용하여 연산하고, 예측 화상(HD 화상)을 생성하여 가산부(3503)에 출력한다.

구체적으로는, 예측 연산부(3516)는 영역 추출부(3515)로부터 공급된 예측 탭의 각각을 c_i(i는 1 내지 n 중 어느 하나의 정수)로 하고, 또한 계수 메모리(3514)로부터 공급된 예측 계수의 각각을 d_i로 하여, 전술한 식 (215)의 우변을 연산함으로써, 주목 화소(SD 화소)에서의 HD 화소 q'를 산출하고, 그것을 예측 화상(HD 화상)을 구성하는 1개의 화소로서 가산부(3503)에 출력한다. 이에 따라, 입력 화상 클래스 분류 적응 처리가 종료된다.

다음에, 도 284의 플로차트를 참조하여, 클래스 분류 적응 처리 보정부(3502)(도 276)가 실행하는 「클래스 분류 적응 처리의 보정 처리」의 상세에 대하여 설명한다.

실세계 추정부(102)로부터 실세계 추정 정보로서 특징량 화상(SD 화상)이 클래스 분류 적응 처리 보정부(3502)에 입력되면, 스텝 S3541에서, 영역 추출부(3551)와 영역 추출부(3555)의 각각은 특징량 화상을 입력한다.

스텝 S3542에서, 영역 추출부(3551)는 특징량 화상 중에서, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1 이상의 위치)의 각각에 위치하는 화소(SD 화소)를 클래스 탭으로서 추출하여, 패턴 검출부(3552)에 공급한다.

구체적으로는, 이 예에서는, 예를 들면, 도 285에서 나타낸 바와 같은 클래스 탭(군)(3621)이 추출되는 것으로 한다. 즉, 도 285는 클래스 탭 배치의 일례를 나타내고 있다.

도 285에서, 도면 중 수평 방향은 공간 방향의 1 방향인 X 방향으로 되어 있고, 도면 중 수직 방향은 공간 방향의 다른 방향인 Y 방향으로 되어 있다. 또, 주목 화소는 화소 3621-2로 되어 있다.

이 경우, 도 285의 예에서는, 주목 화소 3621-2, Y 방향에 대하여 주목 화소 3621-2의 인접 화소 3621-0 및 화소 3621-4, 및 X 방향에 대하여 주목 화소 3621-2의 인접 화소 3621-1 및 화소 3621-3인 총계 5개의 화소로 이루어지는 화소군(3621)이 클래스 탭으로서 추출되게 된다.

물론, 클래스 탭 배치는 주목 화소 3621-2를 포함하는 배치이면, 도 285의 예에 한정되지 않고, 다양한 배치가 가능하다.

도 284로 복귀하여, 스텝 S3543에서, 패턴 검출부(3552)는 공급된 클래스 탭의 패턴을 검출하여, 클래스 코드 결정부(3553)에 공급한다.

구체적으로는, 이 예에서는, 예를 들면, 패턴 검출부(3552)는 도 285에서 나타낸 5개의 클래스 탭 3621-0 내지 3621-4의 각각의 화소값, 즉, 특징량의 값(예를 들면, 화소 내 경사)의 각각이 미리 설정된 복수개의 클래스 중 어느 클래스에 속하는가를 검출하고, 그들 검출 결과를 1개로 정리한 것을 패턴으로서 출력한다.

예를 들면, 지금, 도 286에서 나타낸 바와 같은 패턴이 검출된 것으로 한다. 즉, 도 286은 클래스 탭 패턴의 일례를 나타내고 있다.

도 286에서, 도면 중 수평 방향의 축은 클래스 탭을 나타내고 있으며, 도면 중 수직 방향의 축은 화소 내 경사를 나타내고 있다. 또, 화소 내 경사에 의해 클래스(3631), 클래스(3632), 및 클래스(3633)인 3개의 클래스가 미리 설정되어 있는 것으로 한다.

이 경우, 도 286에서 나타낸 패턴은 클래스 탭 3621-0은 클래스(3631)에, 클래스 탭 3621-1은 클래스(3631)에, 클래스 탭 3621-2는 클래스(3633)에, 클래스 탭 3621-3은 클래스(3631)에, 클래스 탭 3621-4는 클래스(3632)에 각각 속하는 패턴을 나타내고 있다.

이와 같이, 5개의 클래스 탭 3621-0 내지 3621-4의 각각은 3개의 클래스(3631 내지 3633) 중 어느 하나에 속하게 된다. 따라서, 이 예에서는, 도 286에서 나타낸 패턴을 포함하여 총계 273(=35)개의 패턴이 존재하게 된다.

도 284로 복귀하여, 스텝 S3544에서, 클래스 코드 결정부(3553)는 미리 설정되어 있는 복수개의 클래스 코드 중에서, 공급된 클래스 탭의 패턴에 적합한 클래스 코드를 결정하고, 보정 계수 메모리(3554)와 영역 추출부(3555)의 각각에 공급한다. 지금의 경우, 273개의 패턴이 존재하므로, 미리 설정되어 있는 클래스 코드의 수도 273개(또는, 그 이상)로 된다.

스텝 S3545에서, 보정 계수 메모리(3554)는 미리 학습 처리에 의해 결정된 복수개의 보정 계수(군) 중에서, 공급된 클래스 코드에 따라 지금부터 사용하는 보정 계수(군)를 판독하여, 보정 연산부(3556)에 공급한다. 보정 계수 메모리(3554)에 기억되어 있는 보정 계수(군)의 각각은 미리 설정된 클래스 코드 중 어느 하나에 대응지어져 있으므로, 지금의 경우, 보정 계수(군)의 수는 미리 설정되어 있는 클래스 코드의 수와 동수(273개 이상)로 된다.

그리고, 학습 처리에 대해서는, 도 288의 플로차트를 참조하여 후술한다.

스텝 S3546에서, 영역 추출부(3555)는 공급된 클래스 코드에 대응하여, 입력 화상 중에서, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1 이상의 위치로서, 클래스 탭의 위치와는 독립하여 설정된 위치. 단, 클래스 탭의 위치와 동일한 위치라도 됨)의 각각에 위치하는 화소(SD 화소)를 예측 탭으로서 추출하여, 보정 연산부(3556)에 공급한다.

구체적으로는, 이 예에서는, 예를 들면, 도 287에서 나타낸 바와 같은 예측 탭(군)(3641)이 추출되는 것으로 한다. 즉, 도 287은 예측 탭 배치의 일례를 나타내고 있다.

도 287에서, 도면 중 수평 방향은 공간 방향의 1 방향인 X 방향으로 되어 있고, 도면 중 수직 방향은 공간 방향의 다른 방향인 Y 방향으로 되어 있다. 또, 주목 화소는 화소 3641-1로 되어 있다. 즉, 화소 3641-1은 클래스 탭 3621-2(도 285)에 대응하는 화소이다.

이 경우, 도 287의 예에서는, 주목 화소 3641-1을 중심으로 하는 5×5의 화소군(총계 25개의 화소로 이루어지는 화소군)(3641)이 예측 탭(군)으로서 추출 되게 된다.

물론, 예측 탭 배치는 주목 화소 3641-1을 포함하는 배치이면, 도 287의 예에 한정되지 않고, 다양한 배치가 가능하다.

도 284로 복귀하여, 스텝 S3547에서, 보정 연산부(3556)는 영역 추출부(3555)로부터 공급된 예측 탭을 보정 계수 메모리(3554)로부터 공급된 보정 계수를 사용하여 연산하고, 차분 예측 화상(HD 화상)을 생성하여, 보정 화상으로서 가산부(3503)에 출력한다.

보다 상세하게는, 보정 연산부(3556)는 영역 추출부(3555)로부터 공급된 예측 탭의 각각을 a_i(i는 1 내지 n 중 어느 하나의 정수)로 하고, 또한 보정 계수 메모리(3554)로부터 공급된 보정 계수의 각각을 g_i로 하여, 전술한 식 (223)의 우변을 연산함으로써, 주목 화소(SD 화소)에서의 HD 화소 u'를 산출하고, 그것을 보정 화상(HD 화상)을 구성하는 1개의 화소로서 가산부(3503)에 출력한다. 이에 따라, 클래스 분류 적응 처리의 보정 처리는 종료된다.

다음에, 도 288의 플로차트를 참조하여, 학습 장치(도 268)의 학습 처리, 즉, 클래스 분류 적응 처리부(3501)(도 267)가 사용하는 예측 계수와, 클래스 분류 적응 처리 보정부(3502)(도 276)가 사용하는 보정 계수의 각각을 학습에 의해 생성하는 학습 처리에 대하여 설명한다.

스텝 S3561에서, 클래스 분류 적응 처리용 학습부(3521)는 클래스 분류 적응 처리부(3501)가 사용하는 예측 계수를 생성한다.

즉, 클래스 분류 적응 처리용 학습부(3521)는 소정 화상을 제1 교사 화상(HD 화상)으로서 입력하고, 그 제1 교사 화상의 해상도를 낮추어 제1 학생 화상(SD 화상)을 생성한다.

그리고, 클래스 분류 적응 처리용 학습부(3521)는 클래스 분류 적응 처리에 의해 제1 학생 화상(SD 화상)으로부터 제1 교사 화상(HD 화상)을 적절히 예측하는 것이 가능한 예측 계수를 생성하여, 클래스 분류 적응 처리부(3501)의 계수 메모리(3514)(도 267)에 기억시킨다.

그리고, 이하, 이와 같은 클래스 분류 적응 처리용 학습부(3521)가 실행하는 스텝 S3561의 처리를 「클래스 분류 적응 처리용 학습 처리」라고 칭한다. 이 예의 「클래스 분류 적응 처리용 학습 처리」의 상세에 대해서는, 도 289의 플로차트를 참조하여 후술한다.

클래스 분류 적응 처리부(3501)가 사용하는 예측 계수가 생성되면, 스텝 S3562에서, 클래스 분류 적응 처리 보정용 학습부(3561)는 클래스 분류 적응 처리 보정부(3502)가 사용하는 보정 계수를 생성한다.

즉, 클래스 분류 적응 처리 보정용 학습부(3561)는 클래스 분류 적응 처리용 학습부(3521)로부터 제1 교사 화상, 제1 학생 화상, 및 학습용 예측 화상(클래스 분류 적응 처리용 학습부(3521)에 의해 생성된 예측 계수를 사용하여, 제1 교사 화상을 예측한 화상)의 각각을 입력한다.

다음에, 클래스 분류 적응 처리 보정용 학습부(3561)는 제2 교사 화상으로서, 제1 교사 화상과 학습용 예측 화상의 차분 화상을 생성하는 동시에 제2 학생 화상으로서, 제1 학생 화상으로부터 특징량 화상을 생성한다.

그리고, 클래스 분류 적응 처리 보정용 학습부(3561)는 클래스 분류 적응 처리에 의해 제2 학생 화상(SD 화상)으로부터 제2 교사 화상(HD 화상)을 적절히 예측하는 것이 가능한 예측 계수를 생성하고, 그것을 보정 계수로서 클래스 분류 적응 처리 보정부(3502)의 보정 계수 메모리(3554)에 기억시킨다. 이에 따라, 학습 처리는 종료된다.

그리고, 이하, 이와 같은 클래스 분류 적응 처리 보정용 학습부(3561)가 실행하는 스텝 S3562의 처리를 「클래스 분류 적응 처리 보정용 학습 처리」라고 칭한다. 이 예의 「클래스 분류 적응 처리 보정용 학습 처리」의 상세에 대해서는, 도 290의 플로차트를 참조하여 후술한다.

다음에, 도면을 참조하여, 이 예에서의 「클래스 분류 적응 처리용 학습 처리(스텝 S3561의 처리)」, 및 「클래스 분류 적응 처리 보정용 학습 처리(스텝 S3562의 처리)」 각각의 상세에 대하여, 그 순서로 개별적으로 설명한다.

처음에, 도 289의 플로차트를 참조하여, 클래스 분류 적응 처리용 학습부(3521)(도 269)가 실행하는 「클래스 분류 적응 처리용 학습 처리」의 상세에 대하여 설명한다.

스텝 S3581에서, 다운 컨버트부(3531)와 정규 방정식 생성부(3536)의 각각은 공급된 소정 화상을 제1 교사 화상(HD 화상)으로서 입력한다. 그리고, 제1 교사 화상은 전술한 바와 같이, 클래스 분류 적응 처리 보정용 학습부(3561)에도 입력된다.

스텝 S3582에서, 다운 컨버트부(3531)는 입력된 제1 교사 화상을 다운 컨버트 하여(해상도를 떨어뜨려) 제1 학생 화상(SD 화상)을 생성하고, 영역 추출부(3532)와 영역 추출부(3535)의 각각에 공급하는 동시에, 클래스 분류 적응 처리 보정용 학습부(3561)에도 출력한다.

스텝 S3583에서, 영역 추출부(3532)는 공급된 제1 학생 화상으로부터 클래스 탭을 추출하여 패턴 검출부(3533)에 출력한다. 그리고, 스텝 S3583의 처리는 블록에 입력되는 정보와, 블록으로부터 출력되는 정보는 엄밀하게는 다른 정보이지만(이하, 이와 같은 차이를 단지, 입출력의 차이라고 칭함), 전술한 스텝 S3522(도 283)의 처리와 기본적으로 동일한 처리이다.

스텝 S3584에서, 패턴 검출부(3533)는 공급된 클래스 탭으로부터 클래스 코드를 결정하기 위한 패턴을 검출하여, 클래스 코드 결정부(3534)에 공급한다. 그리고, 스텝 S3584의 처리는 입출력의 차이는 있지만, 전술한 스텝 S3523(도 283)의 처리와 기본적으로 동일한 처리이다.

스텝 S3585에서, 클래스 코드 결정부(3534)는 공급된 클래스 탭의 패턴에 따라 클래스 코드를 결정하고, 영역 추출부(3535)와 정규 방정식 생성부(3536)의 각각에 공급한다. 그리고, 스텝 S3585의 처리는 입출력의 차이는 있지만, 전술한 스텝 S3524(도 283)의 처리와 기본적으로 동일한 처리이다.

스텝 S3586에서, 영역 추출부(3535)는 공급된 클래스 코드에 대응하여, 제1 학생 화상 중에서 예측 탭을 추출하고, 정규 방정식 생성부(3536)와 예측 연산부(3538)의 각각에 공급한다. 그리고, 스텝 S3586의 처리는 입출력의 차이는 있지만, 전술한 스텝 S3526(도 283)의 처리와 기본적으로 동일한 처리이다.

스텝 S3587에서, 정규 방정식 생성부(3536)는 영역 추출부(3535)로부터 공급된 예측 탭(SD 화소), 및 제1 교사 화상(HD 화상)을 구성하는 HD 화소 중 소정 HD 화소로부터 전술한 식 (217)(즉, 식 (221))에서 나타낸 정규 방정식을 생성하고, 클래스 코드 결정부(3534)로부터 공급된 클래스 코드와 함께 계수 결정부(3537)에 공급한다.

스텝 S3588에서, 계수 결정부(3537)는 공급된 정규 방정식을 풀어 예측 계수를 결정하고, 즉, 전술한 식 (222)의 우변을 연산함으로써 예측 계수를 산출하고, 공급된 클래스 코드에 대응시켜 계수 메모리(3514)에 기억시키는 동시에, 예측 연산부(3538)에 공급한다.

스텝 S3589에서, 예측 연산부(3538)는 영역 추출부(3535)로부터 공급된 예측 탭을 계수 결정부(3537)로부터 공급된 예측 계수를 사용하여 연산하고, 학습용 예측 화상(HD 화소)을 생성한다.

구체적으로는, 예측 연산부(3538)는 영역 추출부(3535)로부터 공급된 예측 탭의 각각을 c_i(i는 1 내지 n 중 어느 하나의 정수)로 하고, 또한 계수 결정부(3537)로부터 공급된 예측 계수의 각각을 di로 하여, 전술한 식 (215)의 우변을 연산함으로써, 제1 교사 화상의 소정 HD 화소 q를 예측한 HD 화소 q'를 산출하고, 산출한 HD 화소 q'를 학습용 예측 화상의 하나의 화소로 한다.

스텝 S3590에서, 모든 화소에 대하여 처리가 행해졌는지 여부가 판정되고, 모든 화소에 대하여 처리가 행해져 있지 않다고 판정된 경우, 그 처리는 스텝 S3583으로 복귀한다. 즉, 모든 화소의 처리가 종료될 때까지, 스텝 S3583 내지 S3590의 처리가 반복된다.

그리고, 스텝 S3590에서, 모든 화소에 대하여 처리가 실행되었다고 판정된 경우, 스텝 S3591에서, 예측 연산부(3538)는 학습 예측 화상(스텝 S3589의 처리마다 생성된 각 HD 화소 q'로 구성되는 HD 화상)을 클래스 분류 적응 처리 보정용 학습부(3561)에 출력한다. 이에 따라, 클래스 분류 적응 처리용 학습 처리는 종료된다.

이와 같이, 이 예에서는, 모든 화소의 처리가 종료된 후, 제1 교사 화상을 예측한 HD 화상인 학습용 예측 화상이 클래스 분류 적응 처리 보정용 학습부(3561)에 출력된다. 즉, 모든 HD 화소(예측 화소)가 일괄하여 출력된다.

그러나, 모든 화소가 일괄하여 출력되는 것은 필수가 아니고, 스텝 S3589의 처리에서 HD 화소(예측 화소)가 생성될 때마다 클래스 분류 적응 처리 보정용 학습부(3561)에 출력되어도 된다. 이 경우, 스텝 S3591의 처리는 생략된다.

다음에, 도 290의 플로차트를 참조하여, 클래스 분류 적응 처리 보정용 학습부(3561)(도 277)가 실행하는 「클래스 분류 적응 처리 보정용 학습 처리」의 상세에 대하여 설명한다.

클래스 분류 적응 처리용 학습부(3521)로부터 제1 교사 화상(HD 화상)과 학습용 예측 화상(HD 화상)이 입력되면, 스텝 S3601에서, 가산부(3571)는 제1 교사 화상으로부터 학습용 예측 화상을 감산하고, 차분 화상(HD 화상)을 생성하여, 그것을 제2 교사 화상으로서 정규 방정식 생성부(3578)에 공급한다.

또, 클래스 분류 적응 처리용 학습부(3521)로부터 제1 학생 화상(SD 화상)이 입력되면, 스텝 S3602에서, 데이터 정상성 검출부(3572)와 실세계 추정부(3573)는 입력된 제1 학생 화상(SD 화상)으로부터 특징량 화상을 생성하고, 그것을 제2 학생 화상으로서 영역 추출부(3574)와 영역 추출부(3577)의 각각에 공급한다.

즉, 데이터 정상성 검출부(3572)는 제1 학생 화상에 포함되는 데이터의 정상성을 검출하고, 그 검출 결과(지금의 경우, 각도)를 데이터 정상성 정보로서 실세계 추정부(3573)에 출력한다. 그리고, 스텝 S3602의 데이터 정상성 검출부(3572)의 처리는 입출력의 차이는 있지만, 전술한 도 40의 스텝 S101의 처리와 기본적으로 동일한 처리이다.

실세계 추정부(3573)는 입력한 각도(데이터 정상성 정보)에 따라, 실세계 추정 정보(지금의 경우, SD 화상인 특징량 화상)를 생성하고, 그것을 제2 학생 화상으로서 영역 추출부(3574)와 영역 추출부(3577)의 각각에 공급한다. 그리고, 스텝 S3602의 실세계 추정부(3573)의 처리는 입출력의 차이는 있지만, 전술한 도 40의 스텝 S102의 처리와 기본적으로 동일한 처리이다.

또, 스텝 S3601와 S3602의 처리의 순번은, 도 290의 예에 한정되지 않는다. 즉, 스텝 S3602의 처리가 먼저 실행되어도 되고, 스텝 S3601와 S3602의 처리가 동시에 실행되어도 된다.

스텝 S3603에서, 영역 추출부(3574)는 공급된 제2 학생 화상(특징량 화상)으로부터 클래스 탭을 추출하여 패턴 검출부(3575)에 출력한다. 그리고, 스텝 S3603의 처리는 입출력의 차이는 있지만, 전술한 스텝 S3542(도 284)의 처리와 기본적으로 동일한 처리이다. 즉, 지금의 경우, 도 285에서 나타낸 배치의 화소군(3621)이 클래스 탭으로서 추출된다.

스텝 S3604에서, 패턴 검출부(3575)는 공급된 클래스 탭으로부터 클래스 코드를 결정하기 위한 패턴을 검출하여, 클래스 코드 결정부(3576)에 공급한다. 그리고, 스텝 S3604의 처리는 입출력의 차이는 있지만, 전술한 스텝 S3543(도 284)의 처리와 기본적으로 동일한 처리이다. 즉, 지금의 경우, 학습 처리가 종료될 때는, 적어도 273개의 패턴이 검출되게 된다.

스텝 S3605에서, 클래스 코드 결정부(3576)는 공급된 클래스 탭의 패턴에 따라 클래스 코드를 결정하고, 영역 추출부(3577)와 정규 방정식 생성부(3578)의 각각에 공급한다. 그리고, 스텝 S3605의 처리는 입출력의 차이는 있지만, 전술한 스텝 S3544(도 284)의 처리와 기본적으로 동일한 처리이다. 즉, 지금의 경우, 학습 처리가 종료될 때는, 적어도 273개의 클래스 코드가 결정되게 된다.

스텝 S3606에서, 영역 추출부(3577)는 공급된 클래스 코드에 대응하여, 제2 학생 화상(특징량 화상) 중에서 예측 탭을 추출하고, 정규 방정식 생성부(3578)에 공급한다. 그리고, 스텝 S3606의 처리는 입출력의 차이는 있지만, 전술한 스텝 S3546(도 284)의 처리와 기본적으로 동일한 처리이다. 즉, 지금의 경우, 도 287에서 나타낸 배치의 화소군(3641)이 예측 탭으로서 추출된다.

스텝 S3607에서, 정규 방정식 생성부(3578)는 영역 추출부(3577)로부터 공급된 예측 탭(SD 화소), 및 제2 교사 화상(HD 화상인, 제1 교사 화상과 학습용 예측 화상의 차분 화상)을 구성하는 HD 화소 중 소정 HD 화소로부터 전술한 식 (226)(즉, 식 (230))에서 나타낸 정규 방정식을 생성하고, 클래스 코드 결정부(3576)로부터 공급된 클래스 코드와 함께 보정 계수 결정부(3579)에 공급한다.

스텝 S3608에서, 보정 계수 결정부(3579)는 공급된 정규 방정식을 풀어 보정 계수를 결정하고, 즉, 전술한 식 (231)의 우변을 연산함으로써 보정 계수를 산출하고, 공급된 클래스 코드에 대응시켜 보정 계수 메모리(3554)에 기억시킨다.

스텝 S3609에서, 모든 화소에 대하여 처리가 행해졌는지 여부가 판정되고, 모든 화소에 대하여 처리가 행해져 있지 않다고 판정된 경우, 그 처리는 스텝 S3603으로 복귀한다. 즉, 모든 화소의 처리가 종료될 때까지, 스텝 S3603 내지 S3609의 처리가 반복된다.

그리고, 스텝 S3609에서, 모든 화소에 대하여 처리가 실행되었다고 판정된 경우, 클래스 분류 적응 처리 보정용 학습 처리는 종료된다.

이상, 설명한 바와 같이, 클래스 분류 적응 보정 처리 방법에서는, 클래스 분류 적응 처리부(3501)로부터 출력된 예측 화상에 대하여, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 보정 화상(차분 예측 화상)이 가산되어 출력된다.

예를 들면, 전술한 도 270에서 나타낸 HD 화상(3541)의 해상도를 떨어뜨린 화상인 SD 화상(3542)이 입력 화상으로 된 경우, 클래스 분류 적응 처리부(3501)로부터는, 도 291에서 나타낸 예측 화상(3543)이 출력된다. 그리고, 이 예측 화상(3543)에, 클래스 분류 적응 처리 보정부(3502)로부터 출력된 보정 화상(도시하지 않음)이 가산되면(보정 화상에 의해 보정되면), 도 271에서 나타나는 출력 화상(3651)으로 된다.

출력 화상(3651), 예측 화상(3543), 및 원래의 화상인 HD 화상(3541)(도 270)의 각각을 비교하면, 출력 화상(3651)은 예측 화상(3543)보다 HD 화상(3541)에 보다 가까운 화상으로 되어 있는 것을 알 수 있다.

이와 같이, 클래스 분류 적응 처리 보정 방법에서는, 클래스 분류 적응 처리를 포함하는 종래의 다른 방법과 비교하여, 원래의 화상(센서(2)에 입사되기 전의 실세계(1)의 신호)에 의해 가까운 화상의 출력이 가능하게 된다.

환언하면, 클래스 분류 적응 처리 보정 방법에서는, 예를 들면, 도 266의 데이터 정상성 검출부(101)가 각각 시공간 적분 효과를 가지는, 센서(예를 들면, 도 266의 센서(2))의 복수개의 검출 소자에 의해 도 266의 실세계(1)의 광 신호가 투영되고, 현실 세계 광 신호의 정상성의 일부가 결락된, 검출 소자에 의해 투영된 화소값을 가지는 복수개의 화소로 이루어지는 입력 화상(도 266)에서의 데이터 정상성을 검출한다.

예를 들면, 도 266의 실세계 추정부(102)는 검출된 데이터의 정상성에 대응하여, 실세계(1)의 광 신호를 나타내는 광 신호 함수 F(x)(도 275)가 가지는 실세계 특징(예를 들면, 도 266의 특징량 화상을 구성하는 화소에 대응하는 특징량)을 검출함으로써, 실세계(1)의 광 신호를 추정한다.

상세하게는, 예를 들면, 실세계 추정부(102)는 내보내진 데이터의 정상성에 대응하는 선(예를 들면, 도 280의 선(3604)으로부터 적어도 1차원 방향에 따른 거리(예를 들면, 도 280의 단면 방향 거리 Xn')에 대응하는 화소의 화소값이 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 광 신호 함수 F(x)를 예를 들면, 도 278의 근사 함수 f₅(x)로 근사시키고, 소정 화소(예를 들면, 도 280의 화소(3603)) 내에서의 근사 함수 f₅(x)의 경사인 화소 내 경사(예를 들면, 전술한 식 (234)의 grad이며, 식 (233)의 x의 계수 w1')를 실세계 특징으로서 검출함으로써, 실세계(1)의 광 신호를 추정한다.

그리고, 예를 들면, 도 266의 화상 생성부(103)가 실세계 추정 수단에 의해 검출된 실세계 특징에 따라, 입력 화상보다 고질의 출력 화상(도 266)을 예측하여 생성한다.

상세하게는, 예를 들면, 화상 생성부(103)에서, 예를 들면, 도 266의 클래스 분류 적응 처리부(3501)가 출력 화상에서의 주목 화소 주변에 위치하는 실세계(1) 광 신호의 정상성이 결락된 입력 화상 내의 복수개 화소의 화소값으로부터 주목 화소의 화소값(예를 들면, 도 266의 예측 화상의 화소이며, 전술한 식 (224)의 q')을 예측한다.

한편, 예를 들면, 도 266의 클래스 분류 적응 처리 보정부(3502)는, 예를 들면, 도 266의 실세계 추정부(102)로부터 공급된 특징량 화상(실세계 추정 정보)으로부터 클래스 분류 적응 처리부(3501)에 의해 예측된 예측 화상의 주목 화소의 화소값을 보정하는 보정항(예를 들면, 도 266의 보정 화상(차분 예측 화상)의 화소이며, 식 (224)의 u')을 예측한다.

그리고, 예를 들면, 도 266의 가산부(3503)는 클래스 분류 적응 처리부(3501)에 의해 예측된 예측 화상의 주목 화소의 화소값을 클래스 분류 적응 처리부(3501)에 의해 예측된 보정항으로 보정한다(예를 들면, 식 (224)와 같이 연산한다).

또, 클래스 분류 적응 처리 보정 방법에서는, 예를 들면, 도 267의 계수 메모리(3514)에 기억되는 예측 계수를 학습에 의해 결정하는 도 268의 클래스 분류 적응 처리 학습부(3521)와, 예를 들면, 도 276의 보정 계수 메모리(3554)에 기억되는 보정 계수를 학습에 의해 결정하는 도 268의 클래스 분류 적응 처리 보정용 학습부(3561)를 가지는 도 268의 학습 장치(3504)가 설치되어 있다.

상세하게는, 예를 들면, 도 269의 클래스 분류 적응 처리 학습부(3521)에는, 학습용 화상 데이터를 다운 컨버트하는 다운 컨버트부(3531), 및 학습용 화상 데이터를 제1 교사 화상으로 하고, 다운 컨버트부(3531)에 의해 다운 컨버트된 학습용 화상 데이터를 제1 학생 화상으로 하고, 제1 교사 화상과 제1 학생 화상의 관계를 학습함으로써, 예측 계수를 생성하는 계수 결정부(3537), 및 영역 추출부(3532) 내지 정규 방정식 생성부(3536)가 형성되어 있다.

클래스 분류 적응 처리 학습부(3521)에는 또한, 예를 들면, 계수 결정부(3537)에 의해 생성(결정)된 예측 계수를 사용하여, 제1 학생 화상으로부터 제1 교사 화상을 예측하는 화상 데이터로서, 학습용 예측 화상을 생성하는 예측 연산부(3538)가 형성되어 있다.

또, 예를 들면, 도 277의 클래스 분류 적응 처리 보정용 학습부(3561)에는, 제1 학생 화상에서의 데이터 정상성을 검출하고, 검출한 데이터의 정상성에 따라, 제1 학생 화상을 구성하는 각 화소의 각각에 대응하는 실세계 특징을 검출하고, 검출한 실세계 특징에 대응하는 값을 화소값으로 하는 특징량 화상(구체적으로는, 예를 들면, 도 279의 특징량 화상(3591)을 제2 학생 화상(예를 들면, 도 277의 제2 학생 화상)으로서 생성하는 데이터 정상성 검출부(3572) 및 실세계 추정부(3573), 제1 교사 화상과, 학습용 예측 화상의 차분으로 이루어지는 화상 데이터(차분 화상)를 제2 교사 화상으로서 생성하는 가산부(3571), 및 제2 교사 화상과, 제2 학생 화상의 관계를 학습함으로써, 보정 계수를 생성하는 보정 계수 결정부(3579), 및 영역 추출부(3574) 내지 정규 방정식 생성부(3578)가 형성되어 있다.

따라서, 클래스 분류 적응 처리 보정 방법에서는, 클래스 분류 적응 처리를 포함하는 종래의 다른 방법과 비교하여, 원래의 화상(센서(2)에 입사되기 전의 실세계(1)의 신호)에 의해 가까운 화상의 출력이 가능하게 된다.

그리고, 클래스 분류 적응 처리는 전술한 바와 같이, SD 화상에는 포함되어 있지 않지만, HD 화상에 포함되는 성분이 재현되는 점에서, 예를 들면, 단순한 보간 처리와는 상이하다. 즉, 전술한 식 (215)나 식 (223)만을 보는 한은, 이른바 보간 필터를 사용한 보간 처리와 동일하게 보이지만, 클래스 분류 적응 처리에서는, 그 보간 필터의 계수에 상당하는 예측 계수 d_i 또는 보충 계수 g_i가 교사 데이터와 학생 데이터(제1 교사 화상과 제1 학생 화상, 또는 제2 교사 화상과 제2 학생 화상)를 사용한 학습에 의해 구해지기 때문에, HD 화상에 포함되는 성분을 재현할 수 있다. 이 때문에, 전술한 바와 같은 클래스 분류 적응 처리는 말하자면 화상의 창조(해상도 창조) 작용이 있는 처리라고 할 수 있다.

또한, 전술한 예에서는, 공간 해상도를 향상시키는 경우를 예로 하여 설명했지만, 클래스 분류 적응 처리에 의하면, 교사 데이터 및 학생 데이터를 바꾸어 학습을 행하는 것에 의해 얻어지는 각종 계수를 사용함으로써, 예를 들면, S/N(Signal to Noise Ratio)의 향상이나, 블러링의 개선, 그 밖의 각종 처리를 행하는 것이 가능하다.

즉, 예를 들면, S/N의 향상이나 블러링의 개선을 클래스 분류 적응 처리에 의해 행하는 데는, S/N이 높은 화상 데이터를 교사 데이터로 하는 동시에, 그 교사 데이터의 S/N을 저하시킨 화상(또는, 애매하게 한 화상)을 학생 데이터로 하여, 계수를 구하면 된다.

이상, 본 발명의 실시예로서, 도 3 구성의 신호 처리 장치에 대하여 설명했지만, 본 발명의 실시예는, 도 3의 예에 한정되지 않고, 다양한 형태를 취할 수 있다. 즉, 도 1의 신호 처리 장치(4)의 실시예는, 도 3의 예에 한정되지 않고, 다양한 형태를 취할 수 있다.

예를 들면, 도 3 구성의 신호 처리 장치는 화상인 실세계(1)의 신호가 가지는 정상성에 따라 신호 처리를 행한다. 그러므로, 도 3 구성의 신호 처리 장치는 실세계(1)의 신호 중 정상성이 존재하는 부분에 대해서는, 다른 신호 처리 장치의 신호 처리에 비해, 정밀도가 양호한 신호 처리를 실행할 수 있고, 그 결과 실세계(1)의 신호에 가까운 화상 데이터를 출력하는 것이 가능하게 된다.

그러나, 도 3 구성의 신호 처리 장치는 정상성에 따라 신호 처리를 실행하는 이상, 실세계(1)의 신호 중 명확한 정상성이 존재하지 않는 부분에 대해서는, 정상성이 존재하는 부분에 대한 처리와 동등한 정밀도로 신호 처리를 실행할 수 없고, 그 결과, 실세계(1)의 신호에 대하여 오차를 포함하는 화상 데이터를 출력하게 된다.

그래서, 도 3 구성의 신호 처리 장치에 대하여 추가로 정상성을 이용하지 않는 다른 신호 처리를 행하는 장치(또는, 프로그램 등)를 부가할 수 있다. 이 경우, 실세계(1)의 신호 중 정상성이 존재하는 부분에 대해서는, 도 3 구성의 신호 처리 장치가 신호 처리를 실행하고, 실세계(1)의 신호 중 명확한 정상성이 존재하지 않는 부분에 대해서는, 부가한 다른 장치(또는, 프로그램 등)가 신호 처리를 실행하게 된다. 그리고, 이하, 이와 같은 실시예를 병용 방법이라고 칭한다.

이하, 도 292 내지 도 305를 참조하여, 구체적인 5개의 병용 방법(이하, 각각의 병용 방법을 제1 내지 제5 병용 방법이라고 칭함)에 대하여 설명한다.

그리고, 각 병용 방법이 적용되는 신호 처리 장치의 각 기능을 하드웨어로 실현하는가, 소프트웨어로 실현하는가는 묻지 않는다. 즉, 후술하는 도 292 내지 도 294, 도 298, 도 300, 도 302, 및 도 304 각각의 블록도는 하드웨어의 블록도로 생각해도, 소프트웨어에 의한 기능 블록도로 생각해도 된다.

도 292는 제1 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 292의 신호 처리 장치에서는, 데이터(3)(도 1)의 일례인 화상 데이터가 입력되고, 입력된 화상 데이터(입력 화상)에 따라, 후술하는 화상 처리가 실행되어 화상이 생성되고, 생성된 화상(출력 화상)이 출력된다. 즉, 도 292는 화상 처리 장치인 신호 처리 장치(4)(도 1)의 구성을 나타낸 도면이다.

신호 처리 장치(4)에 입력된 입력 화상(데이터(3)의 일례인 화상 데이터)은 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4104)의 각각에 공급된다.

데이터 정상성 검출부(4101)는 입력 화상으로부터 데이터의 정상성을 검출하고, 검출한 정상성을 나타내는 데이터 정상성 정보를 실세계 추정부(4102) 및 화상 생성부(4103)에 공급한다.

이와 같이, 데이터 정상성 검출부(4101)는 도 3의 데이터 정상성 검출부(101)와 기본적으로 동일한 구성과 기능을 가지는 것이다. 따라서, 데이터 정상성 검출부(4101)는 전술한 다양한 실시예를 취하는 것이 가능하다.

단, 데이터 정상성 검출부(4101)는 또한 주목 화소의 영역을 특정하기 위한 정보(이하, 영역 특정 정보라고 칭함)를 생성하여, 영역 검출부(4111)에 공급한다.

이 영역 특정 정보는 특히 한정되지 않고, 데이터 정상성 정보가 생성된 후에 새로 생성된 정보라도 되고, 데이터 정상성 정보가 생성되는 경우에 부대하여 생성되는 정보라도 된다.

구체적으로는, 예를 들면, 영역 특정 정보로서, 추정 오차가 사용 가능하다. 즉, 예를 들면, 데이터 정상성 검출부(4101)가 데이터 정상성 정보로서 각도를 산출하고, 또한 그 각도를 최소 제곱법에 의해 연산하는 경우, 최소 제곱법의 연산으로 추정 오차가 부대적으로 산출된다. 이 추정 오차가 영역 특정 정보로서 사용 가능하다.

실세계 추정부(4102)는 입력 화상, 및 데이터 정상성 검출부(4101)로부터 공급된 데이터 정상성 정보에 따라, 실세계(1)(도 1)의 신호를 추정한다. 즉, 실세계 추정부(4102)는 입력 화상이 취득되었을 때 센서(2)(도 1)에 입사된, 실세계(1)의 신호인 화상을 추정한다. 실세계 추정부(4102)는 실세계(1)의 신호 추정 결과를 나타내는 실세계 추정 정보를 화상 생성부(4103)에 공급한다.

이와 같이, 실세계 추정부(4102)는 도 3의 실세계 추정부(102)와 기본적으로 동일한 구성과 기능을 가지는 것이다. 따라서, 실세계 추정부(4102)는 전술한 다양한 실시예를 취하는 것이 가능하다.

화상 생성부(4103)는 실세계 추정부(4102)로부터 공급된, 추정된 실세계(1)의 신호를 나타내는 실세계 추정 정보에 따라, 실세계(1)의 신호에 의해 근사시킨 신호를 생성하고, 생성한 신호를 셀렉터(4112)에 공급한다. 또는, 화상 생성부(4103)는 데이터 정상성 검출부(4101)로부터 공급된 데이터 정상성 정보, 및 실세계 추정부(4102)로부터 공급된, 추정된 실세계(1)의 신호를 나타내는 실세계 추정 정보에 따라, 실세계(1)의 신호에 의해 근사시킨 신호를 생성하고, 생성한 신호를 셀렉터(4112)에 공급한다.

즉, 화상 생성부(4103)는 실세계 추정 정보에 따라, 실세계(1) 화상에 의해 근사시킨 화상을 생성하여, 셀렉터(4112)에 공급한다. 또는, 화상 생성부(4103)는 데이터 정상성 정보, 및 실세계 추정 정보에 따라, 실세계(1) 화상에 의해 근사시킨 화상을 생성하여, 셀렉터(4112)에 공급한다.

이와 같이, 화상 생성부(4103)는 도 3의 화상 생성부(103)와 기본적으로 동일한 구성과 기능을 가지는 것이다. 따라서, 화상 생성부(4103)는 전술한 다양한 실시예를 취하는 것이 가능하다.

화상 생성부(4104)는 입력 화상에 대하여 소정 화상 처리를 실행하여 화상을 생성하고, 셀렉터(4112)에 공급한다.

그리고, 화상 생성부(4104)가 실행하는 화상 처리는 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4103)가 실행하는 화상 처리와는 상이한 화상 처리이면, 특히 한정되지 않는다.

예를 들면, 화상 생성부(4104)는 종래의 클래스 분류 적응 처리를 행할 수 있다. 이 클래스 분류 적응 처리를 실행하는 화상 생성부(4104)의 구성예가 도 293에 나타나 있다. 그리고, 도 293의 설명, 즉, 클래스 분류 적응 처리를 실행하는 화상 생성부(4104)의 상세의 설명에 대하여 후술한다. 또, 클래스 분류 적응 처리에 대해서도 293의 설명을할 때 아울러 설명한다.

정상 영역 검출부(4105)에는 영역 검출부(4111), 및 셀렉터(4112)가 형성되어 있다.

영역 검출부(4111)는 데이터 정상성 검출부(4101)로부터 공급된 영역 특정 정보에 따라, 셀렉터(4112)에 공급된 화상(주목 화소)이 정상 영역인가, 또는 비정상 영역인가를 검출하고, 그 검출 결과를 셀렉터(4112)에 공급한다.

그리고, 영역 검출부(4111)가 실행하는 영역 검출의 처리는 특히 한정되지 않고, 예를 들면, 전술한 추정 오차가 영역 특정 정보로서 공급되는 경우, 영역 검출부(4111)는 공급된 추정 오차가 소정 임계값보다 작을 때, 입력 화상의 주목 화소는 정상 영역이라고 검출하고, 한편, 공급된 추정 오차가 소정 임계값 이상일 때, 입력 화상의 주목 화소는 비정상 영역이라고 검출한다.

셀렉터(4112)는 영역 검출부(4111)로부터 공급된 검출 결과에 따라, 화상 생성부(4103)로부터 공급된 화상, 또는 화상 생성부(4104)로부터 공급된 화상 중 어느 한쪽을 선택하고, 선택한 화상을 출력 화상으로서 외부에 출력한다.

즉, 영역 검출부(4111)에 의해 주목 화소가 정상 영역이라고 검출된 경우, 셀렉터(4112)는 화상 생성부(4103)로부터 공급된 화상(입력 화상의 주목 화소에서의, 화상 생성부(4103)에 의해 생성된 화소)을 출력 화상으로서 선택한다.

이에 대하여, 영역 검출부(4111)에 의해 주목 화소가 비정상 영역이라고 검출된 경우, 셀렉터(4112)는 화상 생성부(4104)로부터 공급된 화상(입력 화상의 주목 화소에서의, 화상 생성부(4104)에 의해 생성된 화소)을 출력 화상으로서 선택한다.

그리고, 외부의 출력처에 따라, 셀렉터(4112)는 화소 단위로 출력 화상을 출력할 수(선택한 화소마다 출력할 수)도 있고, 모든 화소의 처리가 종료될 때까지 처리필의 화소를 저장해 두고, 모든 화소의 처리가 종료되었을 때, 모든 화소를 일괄하여(출력 화상 전체를 1 단위로 하여) 출력할 수도 있다.

다음에, 도 293을 참조하여, 화상 처리의 일례인 클래스 분류 적응 처리를 실행하는 화상 생성부(4104)의 상세에 대하여 설명한다.

도 293에서, 화상 생성부(4104)가 실행하는 클래스 분류 적응 처리는, 예를 들면, 입력 화상의 공간 해상도를 향상시키는 처리인 것으로 한다. 즉, 표준 해상도의 화상인 입력 화상을 고해상도의 화상인 예측 화상으로 변환하는 처리인 것으로 한다.

그리고, 이하의 설명에서도, 표준 해상도의 화상을 적당히 SD(Standard Definition) 화상이라고 칭하는 동시에, SD 화상을 구성하는 화소를 적당히 SD 화소라고 칭하기로 한다.

또, 이하의 설명에서도, 고해상도의 화상을 적당히 HD(High Definition) 화상이라고 칭하는 동시에, HD 화상을 구성하는 화소를 적당히 HD 화소라고 칭하기로 한다.

구체적으로는, 화상 생성부(4104)가 실행하는 클래스 분류 적응 처리란, 다음과 같은 것이다.

즉, 처음에, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의 예측 화상(HD 화상)의 HD 화소를 구하기 위해, 주목 화소를 포함한, 그 부근에 배치되는 SD 화소(이하의 설명에서도, 이와 같은 SD 화소를 클래스 탭이라고 칭하기로 함)의 특징량 각각을 구하고, 그 특징량마다 미리 분류된 클래스를 특정한다(클래스 탭군의 클래스 코드를 특정한다).

그리고, 미리 설정된 복수개의 계수군(각 계수군의 각각은 소정 1개의 클래스 코드에 대응하고 있음) 중, 특정된 클래스 코드에 대응하는 계수군을 구성하는 각 계수와, 주목 화소를 포함시킨, 그 부근의 SD 화소(이하의 설명에서도, 이와 같은 입력 화상의 SD 화소를 예측 탭이라고 칭하기로 한다. 그리고, 예측 탭은 클래스 탭과 동일한 것도 있다)를 사용하여 적화 연산을 실행함으로써, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의 예측 화상(HD 화상)의 HD 화소를 구하는 것이다.

보다 상세하게는, 도 1에서, 화상인 실세계(1)의 신호(광 강도의 분포)가 센서(2)에 입사되면 센서(2)로부터는 입력 화상이 출력된다.

도 293에서, 이 입력 화상(SD 화상)은 화상 생성부(4104) 중 영역 추출부(4121)와 영역 추출부(4125)에 각각 공급된다. 영역 추출부(4125)는 공급된 입력 화상으로부터 클래스 분류를 행하기 위해 필요한 클래스 탭(주목 화소(SD 화소)를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 추출하여, 패턴 검출부(4122)에 출력한다. 패턴 검출부(4122)는 입력된 클래스 탭에 따라 입력 화상의 패턴을 검출한다.

클래스 코드 결정부(4123)는 패턴 검출부(4122)에서 검출된 패턴에 따라 클래스 코드를 결정하고, 계수 메모리(4124), 및 영역 추출부(4125)에 출력한다. 계수 메모리(4124)는 학습에 의해 미리 구해진 클래스 코드마다의 계수를 기억하고 있으며, 클래스 코드 결정부(4123)로부터 입력된 클래스 코드에 대응하는 계수를 판독하여, 예측 연산부(4126)에 출력한다.

그리고, 계수 메모리(4124)의 계수 학습 처리에 대해서는, 도 294의 학습 장치의 블록도를 참조하여 후술한다.

또, 계수 메모리(4124)에 기억되는 계수는 후술하는 바와 같이, 예측 화상(HD 화상)을 생성할 때 사용되는 계수이다. 따라서, 이하, 계수 메모리(4124)에 기억되는 계수를 예측 계수라고 칭한다.

영역 추출부(4125)는 클래스 코드 결정부(4123)로부터 입력된 클래스 코드에 따라, 센서(2)로부터 입력된 입력 화상(SD 화상)으로부터 예측 화상(HD 화상)을 예측 생성하는 데 필요한 예측 탭(주목 화소를 포함하는 미리 설정된 위치에 존재하는 SD 화소)을 클래스 코드에 대응하여 추출하고, 예측 연산부(4126)에 출력한다.

예측 연산부(4126)는 영역 추출부(4125)로부터 입력된 예측 탭과, 계수 메모리(4124)로부터 입력된 예측 계수를 사용하여 적화 연산을 실행하고, 입력 화상(SD 화상)의 주목 화소(SD 화소)에 있어서의 예측 화상(HD 화상)의 HD 화소를 생성하여, 셀렉터(4112)에 출력한다.

보다 상세하게는, 계수 메모리(4124)는 클래스 코드 결정부(4123)로부터 공급되는 클래스 코드에 대응하는 예측 계수를 예측 연산부(4126)에 출력한다. 예측 연산부(4126)는 영역 추출부(4125)로부터 공급되는 입력 화상의 소정 화소 위치의 화소값으로부터 추출된 예측 탭과, 계수 메모리(4124)로부터 공급된 예측 계수를 사용하여, 다음의 식 (237)에서 나타낸 적화 연산을 실행함으로써, 예측 화상(HD 화상)의 HD 화소를 구한다(예측 추정한다).

···(237)

식 (237)에서, q'는 예측 화상(HD 화상)의 HD 화소를 나타내고 있다. c_i(i는 1 내지 n의 정수값)의 각각은 예측 탭(SD 화소)의 각각을 나타내고 있다. 또, d_i의 각각은 예측 계수의 각각을 나타내고 있다.

이와 같이, 화상 생성부(4104)는 SD 화상(입력 화상)으로부터 그에 대한 HD 화상을 예측 추정하므로, 여기에서는, 화상 생성부(4104)로부터 출력되는 HD 화상을 예측 화상이라고 칭하고 있다.

도 294는 이와 같은 화상 생성부(4104)의 계수 메모리(4124)에 기억되는 예측 계수(식 (237)에서의 d_i)를 결정하기 위한 학습 장치(예측 계수의 산출 장치)를 나타내고 있다.

도 294에서, 소정 화상이 교사 화상(HD 화상)으로서 다운 컨버트부(4141)와 정규 방정식 생성부(4146)의 각각에 입력된다.

다운 컨버트부(4146)는 입력된 교사 화상(HD 화상)으로부터 교사 화상보다 해상도가 낮은 학생 화상(SD 화상)을 생성하여(교사 화상을 다운 컨버트한 것을 학생 화상으로 하여), 영역 추출부(4142)와 영역 추출부(4145)의 각각에 출력한다.

이와 같이, 학습 장치(4131)에는, 다운 컨버트부(4141)가 형성되어 있으므로, 교사 화상(HD 화상)은 센서(2)(도 1)로부터의 입력 화상보다 고해상도의 화상일 필요는 없다. 왜냐하면, 교사 화상이 다운 컨버트된(해상도가 낮추어진) 학생 화상을 SD 화상으로 하면, 학생 화상에 대한 교사 화상이 HD 화상으로 되기 때문이다. 따라서, 교사 화상은, 예를 들면, 센서(2)로부터의 입력 화상 그 자체가 되어도 된다.

영역 추출부(4142)는 다운 컨버트부(4141)로부터 공급된 학생 화상(SD 화상)으로부터 클래스 분류를 행하기 위해 필요한 클래스 탭(SD 화소)을 추출하여, 패턴 검출부(4143)에 출력한다. 패턴 검출부(4143)는 입력된 클래스 탭의 패턴을 검출하고, 그 검출 결과를 클래스 코드 결정부(4144)에 출력한다. 클래스 코드 결정부(4144)는 입력된 패턴에 대응하는 클래스 코드를 결정하고, 그 클래스 코드를 영역 추출부(4145), 및 정규 방정식 생성부(4146)의 각각에 출력한다.

영역 추출부(4145)는 클래스 코드 결정부(4144)로부터 입력된 클래스 코드에 따라, 다운 컨버트부(4141)로부터 입력된 학생 화상(SD 화상)으로부터 예측 탭(SD 화소)을 추출하여, 정규 방정식 생성부(4146)에 출력한다.

그리고, 이상의 영역 추출부(4142), 패턴 검출부(4143), 클래스 코드 결정부(4144), 및 영역 추출부(4145)의 각각은 도 293의 화상 생성부(4104)의 영역 추출부(4121), 패턴 검출부(4122), 클래스 코드 결정부(4123), 및 영역 추출부(4125)의 각각과, 기본적으로 동일한 구성과 기능을 가지는 것이다.

정규 방정식 생성부(4146)는 클래스 코드 결정부(4144)로부터 입력된 모든 클래스 코드에 대하여, 클래스 코드마다 영역 추출부(4145)로부터 입력되는 학생 화상(SD 화상)의 예측 탭(SD 화소)과 교사 화상(HD 화상)의 HD 화소로부터 정규 방정식을 생성하고, 계수 결정부(4147)에 공급한다.

계수 결정부(4147)는 정규 방정식 생성부(4146)로부터 소정 클래스 코드에 대응하는 정규 방정식이 공급되어 왔을 때, 그 정규 방정식으로부터 예측 계수의 각각을 연산하고, 계수 메모리(4124)에 클래스 코드와 관련지어 기억시킨다.

정규 방정식 생성부(4146)와, 계수 결정부(4147)에 대하여 보다 상세하게 설명한다.

전술한 식 (237)에서, 학습 전은 예측 계수 d_i의 각각이 미정 계수이다. 학습은 클래스 코드마다 복수개의 교사 화상(HD 화상)의 HD 화소를 입력함으로써 행한다. 소정 클래스 코드에 대응하는 HD 화소가 m개 존재하고, m개의 HD 화소 각각을 q_k(k는 1 내지 m의 정수값)로 기술하는 경우, 식 (237)로부터 다음의 식 (238)이 설정된다.

···(238)

즉, 식 (238)은 우변의 연산을 함으로써, 소정 HD 화소 q_k를 예측 추정할 수 있는 것을 나타내고 있다. 그리고, 식 (238)에서, e_k는 오차를 나타내고 있다. 즉, 우변의 연산 결과인 예측 화상(HD 화상)의 HD 화소 q_k'가 실제의 HD 화소 q_k와 엄밀하게는 일치하지 않고, 소정 오차 e_k를 포함한다.

그래서, 식 (238)에서, 오차 e_k의 제곱합을 최소로 하는 예측 계수 d_i가 학습에 의해 구해지면, 그 예측 계수 d_i는 실제의 HD 화소 q_k를 예측하는 데 최적의 계수라고 말할 수 있다.

따라서, 예를 들면, 학습에 의해 모아진 m개(단, m은 n보다 큰 정수)의 HD 화소 q_k를 사용하여, 최소 제곱법에 의해 최적의 예측 계수 d_i를 일의적으로 결정할 수 있다.

즉, 식 (238) 우변의 예측 계수 d_i를 최소 제곱법으로 구하는 경우의 정규 방정식은 다음의 식 (239)로 표현된다.

···(239)

따라서, 식 (239)에서 나타낸 정규 방정식이 생성되면, 그 정규 방정식을 푸는 것에 의해 예측 계수 d_i가 일의적으로 결정되게 된다.

구체적으로는, 식 (239)에서 나타낸 정규 방정식의 각 행렬의 각각을 다음의 식 (240) 내지 (242)와 같이 정의하면, 정규 방정식은 다음의 식 (243)과 같이 표현된다.

···(240)

···(241)

···(242)

···(243)

식 (241)에서 나타낸 바와 같이, 행렬 D_MAT의 각 성분은 구하고 싶은 예측 계수 d_i이다. 따라서, 식 (243)에서, 좌변의 행렬 C_MAT와 우변의 행렬 Q_MAT가 결정되면, 행렬 해법에 의해 행렬 D_MAT(즉, 예측 계수 d_i)의 산출이 가능하다.

보다 구체적으로는, 식 (240)에서 나타낸 바와 같이, 행렬 C_MAT의 각 성분은 예측 탭 c_ik를 이미 알고 있으면 연산 가능하다. 예측 탭 c_ik는 영역 추출부(4145)에 의해 추출되므로, 정규 방정식 생성부(4146)는 영역 추출부(4145)로부터 공급되어 오는 예측 탭 c_ik의 각각을 이용하여 행렬 C_MAT의 각 성분을 연산할 수 있다.

또, 식 (242)에서 나타낸 바와 같이, 행렬 Q_MAT의 각 성분은 예측 탭 c_ik와 HD 화소 q_k를 이미 알고 있으면 연산 가능하다. 예측 탭 c_ik는 행렬 C_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또, HD 화소 q_k는 예측 탭 c_ik에 포함되는 주목 화소(학생 화상의 SD 화소)에 대한 교사 화상의 HD 화소이다. 따라서, 정규 방정식 생성부(4146)는 영역 추출부(4145)로부터 공급된 예측 탭 c_ik와, 교사 화상을 이용하여 행렬 Q_MAT의 각 성분을 연산할 수 있다.

이와 같이 하여, 정규 방정식 생성부(4146)는 클래스 코드마다 행렬 C_MAT와 행렬 Q_MAT의 각 성분을 연산하고, 그 연산 결과를 클래스 코드에 대응시켜 계수 결정부(4147)에 공급한다.

계수 결정부(4147)는 공급된 소정 클래스 코드에 대응하는 정규 방정식에 따라, 전술한 식 (243)의 행렬 D_MAT의 각 성분인 예측 계수 d_i를 연산한다.

구체적으로는, 전술한 식 (243)의 정규 방정식은 다음의 식 (244)와 같이 변형할 수 있다.

···(244)

식 (244)에서, 좌변의 행렬 D_MAT의 각 성분이 구하고 싶은 예측 계수 d_i이다. 또, 행렬 C_MAT와 행렬 Q_MAT 각각의 각 성분은 정규 방정식 생성부(4146)로부터 공급되는 것이다. 따라서, 계수 결정부(4147)는 정규 방정식 생성부(4146)로부터 소정 클래스 코드에 대응하는 행렬 C_MAT와 행렬 Q_MAT 각각의 각 성분이 공급되어 왔을 때, 식 (244) 우변의 행렬 연산을 행함으로써 행렬 D_MAT를 연산하고, 그 연산 결과(예측 계수 d_i)를 클래스 코드에 대응시켜 계수 메모리(4124)에 기억시킨다.

그리고, 클래스 분류 적응 처리는 전술한 바와 같이, SD 화상에는 포함되어 있지 않지만, HD 화상에 포함되는 성분이 재현되는 점에서, 예를 들면, 단순한 보간 처리와는 상이하다. 즉, 적응 처리에서는, 전술한 식 (237)만을 보는 한은, 이른바 보간 필터를 사용한 보간 처리와 동일하게 보이지만, 그 보간 필터의 계수에 상당하는 예측 계수 d_i가 교사 데이터와 학생 데이터를 사용한 학습에 의해 구해지기 때문에, HD 화상에 포함되는 성분을 재현할 수 있다. 이 때문에, 전술한 바와 같은 클래스 분류 적응 처리는 말하자면 화상의 창조(해상도 창조) 작용이 있는 처리라고 할 수 있다.

또한, 전술한 예에서는, 공간 해상도를 향상시키는 경우를 예로 하여 설명했지만, 클래스 분류 적응 처리에 의하면, 교사 데이터 및 학생 데이터를 바꾸어 학습을 행하는 것에 의해 얻어지는 각종 계수를 사용함으로써, 예를 들면, S/N(Signal to Noise Ratio)의 향상이나, 블러링의 개선, 그 밖의 각종의 처리를 행하는 것이 가능하다.

즉, 예를 들면, S/N의 향상이나 블러링의 개선을 클래스 분류 적응 처리에 의해 행하는 데는, S/N이 높은 화상 데이터를 교사 데이터로 하는 동시에, 그 교사 데이터의 S/N을 저하시킨 화상(또는, 애매하게 한 화상)을 학생 데이터로 하여, 계수를 요구하면 된다.

이상, 클래스 분류 적응 처리를 실행하는 화상 생성부(4104)와, 그 학습 장치(4131)의 각각의 구성에 대하여 설명했다.

그리고, 전술한 바와 같이, 화상 생성부(4104)는 클래스 분류 적응 처리 이외의 화상 처리를 실행하는 구성으로 하는 것도 가능하지만, 설명의 간략 상, 이하의 설명에서는, 화상 생성부(4104)의 구성은 전술한 도 293의 구성으로 된다. 즉, 이하, 화상 생성부(4104)는 클래스 분류 적응 처리를 실행함으로써, 입력 화상으로부터 공간 해상도가 높은 화상을 생성하여, 셀렉터(4112)에 공급하는 것으로 한다.

다음에, 도 295를 참조하여, 제1 병용 방법이 적용되는 신호 처리 장치(도 292)의 신호 처리에 대하여 설명한다.

그리고, 여기에서는, 데이터 정상성 검출부(4101)는 각도(화상인 실세계(1)(도 1) 신호의 주목 위치에서의 정상성 방향(공간 방향)과, 공간 방향의 1 방향인 X 방향(센서(2)(도 1) 검출 소자의 소정 일변과 평행한 방향)이 이루는 각도)를 최소 제곱법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력하는 것으로 한다.

데이터 정상성 검출부(4101)는 또 각도를 연산할 때 아울러 산출되는 추정 오차(최소 제곱법의 오차)를 영역 특정 정보로서 출력하는 것으로 한다.

도 1에서, 화상인 실세계(1)의 신호가 센서(2)에 입사되면, 센서(2)로부터는 입력 화상이 출력된다.

도 292에서, 이 입력 화상은 데이터 정상성 검출부(4101), 및 실세계 추정부(4102)에 입력되는 동시에, 화상 생성부(4104)에 입력된다.

그래서, 도 295의 스텝 S4101에서, 화상 생성부(4104)는 입력 화상(SD 화상)의 소정 SD 화소를 주목 화소로 하여 전술한 클래스 분류 적응 처리를 실행하고, 예측 화상(HD 화상)의 HD 화소(주목 화소에서의 HD 화소)를 생성하여, 셀렉터(4112)에 공급한다.

그리고, 이하, 화상 생성부(4104)로부터 출력되는 화소와, 화상 생성부(4103)로부터 출력되는 화소의 각각을 구별하는 경우, 화상 생성부(4104)로부터 출력되는 화소를 제1 화소라고 칭하고, 화상 생성부(4103)로부터 출력되는 화소를 제2 화소라고 칭한다.

또, 이하, 이와 같은 화상 생성부(4104)가 실행하는 처리(지금의 경우, 스텝 S4101의 처리)를 「클래스 분류 적응 처리의 실행 처리」라고 칭한다. 이 예의 「클래스 분류 적응 처리의 실행 처리」의 상세에 대해서는, 도 296의 플로차트를 참조하여 후술한다.

한편, 스텝 S4102에서, 데이터 정상성 검출부(4101)는 정상성의 방향에 대응하는 각도를 검출하는 동시에, 그 추정 오차를 연산한다. 검출된 각도는 데이터 정상성 정보로서 실세계 추정부(4102)와 화상 생성부(4103)의 각각에 공급된다. 또, 연산된 추정 오차는 영역 특정 정보로서 영역 검출부(4111)에 공급된다.

스텝 S4103에서, 실세계 추정부(4102)는 데이터 정상성 검출부(4101)에 의해 검출된 각도와, 입력 화상에 따라 실세계(1)의 신호를 추정한다.

그리고, 전술한 바와 같이, 실세계 추정부(4102)가 실행하는 추정의 처리는 특히 한정되지 않고, 전술한 다양한 방법을 이용할 수 있다. 여기에서는, 예를 들면, 실세계 추정부(4102)는 실세계(1)의 신호를 나타내는 함수 F(이하의 설명에서도, 함수 F를 광 신호 함수 F라고 칭하기로 함)를 소정 함수 f(이하의 설명에서도, 함수 f를 근사 함수 f라고 하기로 함)로 근사시킴으로써, 실세계(1)의 신호(광 신호 함수 F)를 추정하는 것으로 한다.

또, 여기에서는, 예를 들면, 실세계 추정부(4102)는 근사 함수 f의 특징량(계수)을 실세계 추정 정보로서 화상 생성부(4103)에 공급하는 것으로 한다.

스텝 S4104에서, 화상 생성부(4103)는 실세계 추정부(4102)에 의해 추정된 실세계(1)의 신호에 따라, 화상 생성부(4104)의 클래스 분류 적응 처리에 의해 생성된 제1 화소(HD 화소)에 대응하는 제2 화소(HD 화소)를 생성하여, 셀렉터(4112)에 공급한다.

지금의 경우, 실세계 추정부(4102)로부터 근사 함수 f의 특징량(계수)이 공급되어 오므로, 화상 생성부(4103)는, 예를 들면, 공급된 근사 함수 f의 특징량에 따라, 근사 함수 f를 소정 적분 범위에서 적분함으로써, 제2 화소(HD 화소)를 생성한다.

단, 적분 범위는 화상 생성부(4104)로부터 출력되는 제1 화소(HD 화소)와 동일한 크기(동일한 해상도)의 제2 화소가 생성 가능한 범위로 된다. 즉, 공간 방향에서는, 적분 범위는 지금부터 생성되는 제2 화소의 화소폭으로 된다.

그리고, 스텝 S4101의 「클래스 분류 적응 처리의 실행 처리」와, 스텝 S4102 내지 S4104의 일련의 처리의 순번은 도 295의 예에 한정되지 않고, 스텝 S4102 내지 S4104의 일련의 처리가 먼저 실행되어도 상관없고, 스텝 S4101의 「클래스 분류 적응 처리의 실행 처리」와, 스텝 S4102 내지 S4104의 일련의 처리가 동시에 실행되어도 상관없다.

스텝 S4105에서, 영역 검출부(4111)는 스텝 S4102의 처리에서 데이터 정상성 검출부(4101)에 의해 연산된 추정 오차(영역 특정 정보)에 따라, 스텝 S4104의 처리에서 화상 생성부(4103)에 의해 생성된 제2 화소(HD 화소)의 영역을 검출한다.

즉, 제2 화소는 데이터 정상성 검출부(4101)가 주목 화소로서 사용한 입력 화상의 SD 화소에서의 HD 화소이다. 따라서, 주목 화소(입력 화상의 SD 화소)와 제2 화소(HD 화소) 영역의 종류(정상 영역, 또는 비정상 영역)는 동일하다.

또, 데이터 정상성 검출부(4101)가 출력하는 영역 특정 정보는 주목 화소에서의 각도가 최소 제곱법에 의해 산출된 경우의 추정 오차이다.

그래서, 영역 검출부(4111)는 데이터 정상성 검출부(4101)로부터 공급된 주목 화소(입력 화상의 SD 화소)에 대한 추정 오차와, 미리 설정된 임계값을 비교하고, 그 비교 결과가, 추정 오차가 임계값보다 작은 경우, 제2 화소는 정상 영역이라고 검출하고, 한편, 추정 오차가 임계값 이상인 경우, 제2 화소는 비정상 영역이라고 검출한다. 그리고, 검출 결과는 셀렉터(4112)에 공급된다.

이 영역 검출부(4111)의 검출 결과가 셀렉터(4112)에 공급되면, 스텝 S4106에서, 셀렉터(4112)는 검출된 영역이 정상 영역인지 여부를 판정한다.

스텝 S4106에서, 검출된 영역이 정상 영역이라고 판정한 경우, 셀렉터(4112)는 스텝 S4107에서, 화상 생성부(4103)로부터 공급된 제2 화소를 출력 화상으로서 외부에 출력한다.

이에 대하여, 스텝 S4106에서, 검출된 영역이 정상 영역이 아니라고(비정상 영역이라고) 판정한 경우, 셀렉터(4112)는 스텝 S4108에서, 화상 생성부(4104)로부터 공급된 제1 화소를 출력 화상으로서 외부에 출력한다.

그 후, 스텝 S4109에서, 전 화소의 처리를 종료했는지 여부가 판정되고, 전 화소의 처리가 아직 종료되어 있지 않다고 판정된 경우, 그 처리는 스텝 S4101로 복귀한다. 즉, 모든 화소의 처리가 종료될 때까지, 스텝 S4101 내지 S4109의 처리가 반복된다.

그리고, 스텝 S4109에서, 전 화소의 처리를 종료했다고 판정된 경우, 그 처리는 종료된다.

이와 같이, 도 295의 플로차트의 예에서는, 제1 화소(HD 화소)와 제2 화소(HD 화소)가 생성될 때마다 출력 화상으로서 제1 화소 또는 제2 화소가 화소 단위로 출력된다.

그러나, 전술한 바와 같이, 화소 단위로 출력되는 것은 필수가 아니고, 모든 화소의 처리가 종료된 후, 출력 화상으로서, 모든 화소가 일괄하여 출력되어도 된다. 이 경우, 스텝 S4107와 스텝 S4108의 각각의 처리에서는, 화소(제1 화소 또는 제2 화소)는 출력되지 않고, 셀렉터(4112)에 1차 저장되며, 스텝 S4109의 처리 후, 모든 화소를 출력하는 처리가 추가된다.

다음에, 도 296의 플로차트를 참조하여, 도 293 구성의 화상 생성부(4104)가 실행하는 「클래스 분류 적응 처리의 실행 처리」(예를 들면, 전술한 도 295의 스텝 S4101의 처리)의 상세에 대하여 설명한다.

센서(2)로부터의 입력 화상(SD 화상)이 화상 생성부(4104)에 입력되면, 스텝 S4121에서, 영역 추출부(4121)와 영역 추출부(4125)의 각각은 입력 화상을 입력한다.

스텝 S4122에서, 영역 추출부(4121)는 입력 화상 중에서, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1 이상의 위치)의 각각에 위치하는 화소(SD 화소)를 클래스 탭으로서 추출하여, 패턴 검출부(4122)에 공급한다.

스텝 S4123에서, 패턴 검출부(4122)는 공급된 클래스 탭의 패턴을 검출하여, 클래스 코드 결정부(4123)에 공급한다.

스텝 S4124에서, 클래스 코드 결정부(4123)는 미리 설정되어 있는 복수개의 클래스 코드 중에서, 공급된 클래스 탭의 패턴에 적합한 클래스 코드를 결정하고, 계수 메모리(4124)와 영역 추출부(4125)의 각각에 공급한다.

스텝 S4125에서, 계수 메모리(4124)는 공급된 클래스 코드에 따라, 미리 학습 처리에 의해 결정된 복수개의 예측 계수(군) 중에서, 지금부터 사용하는 예측 계수(군)을 판독하여, 예측 연산부(4126)에 공급한다.

그리고, 학습 처리에 대해서는, 도 297의 플로차트를 참조하여 후술한다.

스텝 S4126에서, 영역 추출부(4125)는 공급된 클래스 코드에 대응하여, 입력 화상 중에서, 주목 화소(SD 화소), 및 미리 설정된 주목 화소로부터의 상대 위치(1 이상의 위치로서, 클래스 탭의 위치와는 독립하여 설정된 위치. 단, 클래스 탭의 위치와 동일한 위치라도 됨)의 각각에 위치하는 화소(SD 화소)를 예측 탭으로서 추출하여, 예측 연산부(4126)에 공급한다.

스텝 S4127에서, 예측 연산부(4126)는 영역 추출부(4125)로부터 공급된 예측 탭을 계수 메모리(4124)로부터 공급된 예측 계수를 사용하여 연산하고, 예측 화상(제1 화소)을 생성하여 외부(도 292의 예에서는, 셀렉터(4112))에 출력한다.

구체적으로는, 예측 연산부(4126)는 영역 추출부(4125)로부터 공급된 예측 탭의 각각을 c_i(i는 1 내지 n 중 어느 하나의 정수)로 하고, 또한 계수 메모리(4124)로부터 공급된 예측 계수의 각각을 d_i로 하여, 전술한 식 (237)의 우변을 연산함으로써, 주목 화소(SD 화소)에서의 HD 화소 q'를 산출하고, 그것을 예측 화상(HD 화상)의 소정 1개의 화소(제1 화소)로서 외부에 출력한다. 그 후, 처리는 종료된다.

다음에, 도 297의 플로차트를 참조하여, 화상 생성부(4104)에 대한 학습 장치(4131)(도 294)가 실행하는 학습 처리(화상 생성부(4104)가 사용하는 예측 계수를 학습에 의해 생성하는 처리)에 대하여 설명한다.

스텝 S4141에서, 다운 컨버트부(4141)와 정규 방정식 생성부(4146)의 각각은 공급된 소정 화상을 교사 화상(HD 화상)으로서 입력한다.

스텝 S4142에서, 다운 컨버트부(4141)는 입력된 교사 화상을 다운 컨버트하여(해상도를 떨어뜨려) 학생 화상(SD 화상)을 생성하고, 영역 추출부(4142)와 영역 추출부(4145)의 각각에 공급한다.

스텝 S4143에서, 영역 추출부(4142)는 공급된 학생 화상으로부터 클래스 탭을 추출하여 패턴 검출부(4143)에 출력한다. 그리고, 스텝 S4143의 처리는 전술한 스텝 S4122(도 296)의 처리와 기본적으로 동일한 처리이다.

스텝 S4144에서, 패턴 검출부(4143)는 공급된 클래스 탭으로부터 클래스 코드를 결정하기 위한 패턴을 검출하여, 클래스 코드 결정부(4144)에 공급한다. 그리고, 스텝 S4144의 처리는 전술한 스텝 S4123(도 296)의 처리와 기본적으로 동일한 처리이다.

스텝 S4145에서, 클래스 코드 결정부(4144)는 공급된 클래스 탭의 패턴에 따라 클래스 코드를 결정하고, 영역 추출부(4145)와 정규 방정식 생성부(4146)의 각각에 공급한다. 그리고, 스텝 S4145의 처리는 전술한 스텝 S4124(도 296)의 처리와 기본적으로 동일한 처리이다.

스텝 S4146에서, 영역 추출부(4145)는 공급된 클래스 코드에 대응하여, 학생 화상 중에서 예측 탭을 추출하여, 정규 방정식 생성부(4146)에 공급한다. 그리고, 스텝 S4146의 처리는 전술한 스텝 S4126(도 296)의 처리와 기본적으로 동일한 처리이다.

스텝 S4147에서, 정규 방정식 생성부(4146)는 영역 추출부(4145)로부터 공급된 예측 탭(SD 화소), 및 교사 화상(HD 화상)의 소정 HD 화소로부터 전술한 식 (239)(즉, 식 (243))에서 나타낸 정규 방정식을 생성하고, 생성한 정규 방정식과, 클래스 코드 결정부(4144)로부터 공급된 클래스 코드를 관련지어 계수 결정부(4147)에 공급한다.

스텝 S4148에서, 계수 결정부(4147)는 공급된 정규 방정식을 풀어 예측 계수를 결정하고, 즉, 전술한 식 (244)의 우변을 연산함으로써 예측 계수를 산출하고, 공급된 클래스 코드에 대응시켜 계수 메모리(4124)에 기억시킨다.

그 후, 스텝 S4149에서, 모든 화소에 대하여 처리가 실행되었는지 여부가 판정되고, 모든 화소에 대하여 처리가 실행되어 있지 않다고 판정된 경우, 그 처리는 스텝 S4143으로 복귀한다. 즉, 모든 화소의 처리가 종료될 때까지, 스텝 S4143 내지 S4149의 처리가 반복된다.

그리고, 스텝 S4149에서, 모든 화소에 대하여 처리가 실행되었다고 판정된 경우, 처리는 종료된다.

다음에, 도 298과 도 299를 참조하여, 제2 병용 방법에 대하여 설명한다.

도 298은 제2 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 298에서, 제1 병용 방법이 적용되는 신호 처리 장치(도 292)와 대응하는 부분에는, 대응하는 부호가 부여되어 있다.

도 292의 구성예(제1 병용 방법)에서는, 영역 특정 정보는 데이터 정상성 검출부(4101)로부터 출력되어, 영역 검출부(4111)에 입력되어 있지만, 도 298의 구성예(제2 병용 방법)에서는, 영역 특정 정보는 실세계 추정부(4102)로부터 출력되어, 영역 검출부(4111)에 입력된다.

이 영역 특정 정보는 특히 한정되지 않고, 실세계 추정부(4102)가 실세계(1)(도 1)의 신호를 추정한 후에 새로 생성된 정보라도 되고, 실세계(1)의 신호가 추정되는 경우에 부대하여 생성되는 정보라도 된다.

구체적으로는, 예를 들면, 영역 특정 정보로서, 추정 오차가 사용 가능하다.

여기에서, 추정 오차에 대하여 설명한다.

전술한 바와 같이, 데이터 정상성 검출부(4101)로부터 출력되는 추정 오차(도 292의 영역 특정 정보)는, 예를 들면, 데이터 정상성 검출부(4101)로부터 출력되는 데이터 정상성 정보가 각도이며, 또한 그 각도가 최소 제곱법에 의해 연산되는 경우, 그 최소 제곱법의 연산으로 부대적으로 산출되는 추정 오차이다.

이에 대하여, 실세계 추정부(4102)로부터 출력되는 추정 오차(도 298의 영역 특정 정보)는, 예를 들면, 매핑 오차이다.

즉, 실세계 추정부(4102)에 의해 실세계(1)의 신호가 추정되어 있으므로, 추정된 실세계(1)의 신호로부터 임의의 크기의 화소를 생성하는(화소값을 연산하는) 것이 가능하다. 여기에서는, 이와 같이, 새로운 화소를 생성하는 것을 매핑이라고 칭하고 있다.

따라서, 실세계 추정부(4102)는 실세계(1)의 신호를 추정한 후, 그 추정한 실세계(1)의 신호로부터 입력 화상의 주목 화소(실세계(1)가 추정되는 경우에 주목 화소로서 사용된 화소)가 배치되어 있는 위치에서의 새로운 화소를 생성한다(매핑한다). 즉, 실세계 추정부(4102)는 추정한 실세계(1)의 신호로부터 입력 화상의 주목 화소의 화소값을 예측 연산한다.

그리고, 실세계 추정부(4102)는 매핑한 새로운 화소의 화소값(예측한 입력 화상의 주목 화소의 화소값)과, 실제의 입력 화상의 주목 화소의 화소값과의 차분을 연산한다. 이 차분을 여기에서는, 매핑 오차라고 칭하고 있다.

이와 같이 하여 실세계 추정부(4102)는 매핑 오차(추정 오차)를 연산함으로써, 연산한 매핑 오차(추정 오차)를 영역 특정 정보로서 영역 검출부(4111)에 공급할 수 있다.

그리고, 영역 검출부(4111)가 실행하는 영역 검출의 처리는 전술한 바와 같이, 특히 한정되지 않지만, 예를 들면, 실세계 추정부(4102)가 전술한 매핑 오차(추정 오차)를 영역 특정 정보로서 영역 검출부(4111)에 공급하는 경우, 영역 검출부(4111)는 공급된 매핑 오차(추정 오차)가 소정 임계값보다도 작을 때, 입력 화상의 주목 화소는 정상 영역이라고 검출하고, 한편, 공급된 매핑 오차(추정 오차)가 소정 임계값 이상일 때, 입력 화상의 주목 화소는 비정상 영역이라고 검출한다.

그 밖의 구성은, 도 292의 그것과 기본적으로 동일하다. 즉, 제2 병용 방법이 적용되는 신호 처리 장치(도 298)에서도, 제1 병용 방법이 적용되는 신호 처리 장치(도 292)와 기본적으로 동일한 구성과 기능을 가지는 데이터 정상성 검출부(4101), 실세계 추정부(4102), 화상 생성부(4103), 화상 생성부(4104), 및 정상 영역 검출부(4105)(영역 검출부(4111) 및 셀렉터(4112))가 형성되어 있다.

도 299는 도 298 구성의 신호 처리 장치의 신호 처리(제2 병용 방법의 신호 처리)를 설명한 플로차트이다.

제2 병용 방법의 신호 처리는 제1 병용 방법의 신호 처리(도 295의 플로차트에서 나타낸 처리)와 유사하다. 그래서, 여기에서는, 제1 병용 방법에서 설명한 처리에 대해서는, 그 설명을 적당히 생략하고, 이하, 도 299의 플로차트를 참조하여, 제1 병용 방법과는 상이한 제2 병용 방법의 신호 처리를 중심으로 설명한다.

그리고, 여기에서는, 데이터 정상성 검출부(4101)는 제1 병용 방법과 동일하게, 각도(실세계(1)(도 1) 신호의 주목 위치에서의, 정상성 방향(공간 방향)과, 공간 방향의 1 방향인 X 방향(센서(2)(도 1) 검출 소자의 소정 1변과 평행한 방향)이 이루는 각도)를 최소 제곱법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력하는 것으로 한다.

단, 전술한 바와 같이, 제1 병용 방법에서는, 데이터 정상성 검출부(4101)가 영역 특정 정보(예를 들면, 추정 오차)를 영역 검출부(4111)에 공급하고 있는 데 대하여, 제2 병용 방법에서는, 실세계 추정부(4102)가 영역 특정 정보(예를 들면, 추정 오차(매핑 오차))를 영역 검출부(4111)에 공급한다.

따라서, 제2 병용 방법에서는, 데이터 정상성 검출부(4101)의 처리로서, 스텝 S4162의 처리가 실행된다. 이 처리는 제1 병용 방법에 있어서의 도 295의 스텝 S4102의 처리에 상당한다. 즉, 스텝 S4162에서, 데이터 정상성 검출부(4101)는 입력 화상에 따라, 정상성 방향에 대응하는 각도를 검출하고, 검출한 각도를 데이터 정상성 정보로서 실세계 추정부(4102)와 화상 생성부(4103)의 각각에 공급한다.

또, 제2 병용 방법에서는, 실세계 추정부(4102)의 처리로서, 스텝 S4163의 처리가 실행된다. 이 처리는 제1 병용 방법에 있어서의 도 295의 스텝 S4103의 처리에 상당한다. 즉, 스텝 S4163에서, 실세계 추정부(4102)는 스텝 S4162의 처리에서 데이터 정상성 검출부(4101)에 의해 검출된 각도에 따라, 실세계(1)(도 1)의 신호를 추정하는 동시에, 추정된 실세계(1) 신호의 추정 오차, 즉, 매핑 오차를 연산하고, 그것을 영역 특정 정보로서 영역 검출부(4111)에 공급한다.

그 밖의 처리는 제1 병용 방법이 대응하는 처리(도 295의 플로차트에서 나타낸 처리 중 대응하는 처리)와 기본적으로 동일하므로, 그 설명은 생략한다.

다음에, 도 300과 도 301을 참조하여, 제3 병용 방법에 대하여 설명한다.

도 300은 제3 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 300에서, 제1 병용 방법이 적용되는 신호 처리 장치(도 292)와 대응하는 부분에는, 대응하는 부호가 부여되어 있다.

도 292의 구성예(제1 병용 방법)에서는, 정상 영역 검출부(4105)는 화상 생성부(4103)와 화상 생성부(4104)의 후단에 배치되어 있지만, 도 300의 구성예(제3 병용 방법)에서는, 그에 대응하는 정상 영역 검출부(4161)가 데이터 정상성 검출부(4101)의 후단으로서, 실세계 추정부(4102)와 화상 생성부(4104)의 전단에 배치되어 있다.

이와 같은 배치 위치의 차이에 의해 제1 병용 방법에서의 정상 영역 검출부(4105)와, 제3 병용 방법에서의 정상 영역 검출부(4161)는 약간 차이가 있다. 그래서, 이 차이를 중심으로, 정상 영역 검출부(4161)에 대하여 설명한다.

정상 영역 검출부(4161)에는, 영역 검출부(4171)와 실행 지령 생성부(4172)가 형성되어 있다. 이 중 영역 검출부(4171)는 정상 영역 검출부(4105)의 영역 검출부(4111)(도 292)와 기본적으로 동일한 구성과 기능을 가지고 있다. 한편, 실행 지령 생성부(4172)의 기능은 정상 영역 검출부(4105)의 셀렉터(4112)(도 292)의 그것과 약간 차이가 있다.

즉, 전술한 바와 같이, 제1 병용 방법에서의 셀렉터(4112)는 영역 검출부(4111)의 검출 결과에 따라, 화상 생성부(4103)로부터의 화상과, 화상 생성부(4104)로부터의 화상 중 어느 한쪽을 선택하고, 선택한 화상을 출력 화상으로서 출력한다. 이와 같이, 셀렉터(4112)는 영역 검출부(4111)의 검출 결과 외에, 화상 생성부(4103)로부터의 화상과, 화상 생성부(4104)로부터의 화상을 입력하고, 출력 화상을 출력한다.

한편, 제3 병용 방법에서의 실행 지령 생성부(4172)는 영역 검출부(4171)의 검출 결과에 따라, 입력 화상의 주목 화소(데이터 정상성 검출부(4101)가 주목 화소로 한 화소)에 있어서의 새로운 화소의 생성 처리를 실행하는 것은 화상 생성부(4103)인가 화상 생성부(4104)인가를 선택한다.

즉, 영역 검출부(4171)가 입력 화상의 주목 화소는 정상 영역이라고 하는 검출 결과를 실행 지령 생성부(4172)에 공급한 경우, 실행 지령 생성부(4172)는 화상 생성부(4103)를 선택하고, 실세계 추정부(4102)에 대하여, 그 처리의 실행을 개시시키는 지령(이와 같은 지령을 이하, 실행 지령이라고 칭함)을 공급한다. 그러면, 실세계 추정부(4102)가 그 처리를 개시하고, 실세계 추정 정보를 생성하여, 화상 생성부(4103)에 공급한다. 화상 생성부(4103)는 공급된 실세계 추정 정보(필요에 따라, 거기에 더하여 데이터 정상성 검출부(4101)로부터 공급된 데이터 정상성 정보)에 따라 새로운 화상을 생성하고, 그것을 출력 화상으로서 외부에 출력한다.

이에 대하여, 영역 검출부(4171)가 입력 화상의 주목 화소는 비정상 영역이라고 하는 검출 결과를 실행 지령 생성부(4172)에 공급한 경우, 실행 지령 생성부(4172)는 화상 생성부(4104)를 선택하고, 화상 생성부(4104)에 대하여 실행 지령을 공급한다. 그러면, 화상 생성부(4104)가 그 처리를 개시하고, 입력 화상에 대하여 소정 화상 처리(지금의 경우, 클래스 분류 적응 처리)를 실행하여, 새로운 화상을 생성하고, 그것을 출력 화상으로서 외부에 출력한다.

이와 같이, 제3 병용 방법에서의 실행 지령 생성부(4172)는 영역 검출부(4171)의 검출 결과를 입력하고, 실행 지령을 출력한다. 즉, 실행 지령 생성부(4172)는 화상을 입출력하지 않는다.

그리고, 정상 영역 검출부(4161) 이외의 구성은, 도 292의 그것과 기본적으로 동일하다. 즉, 제2 병용 방법이 적용되는 신호 처리 장치(도 300의 신호 처리 장치)에서도, 제1 병용 방법이 적용되는 신호 처리 장치(도 292)와 기본적으로 동일한 구성과 기능을 가지는 데이터 정상성 검출부(4101), 실세계 추정부(4102), 화상 생성부(4103), 및 화상 생성부(4104)가 형성되어 있다.

단, 제3 병용 방법에서는, 실세계 추정부(4102)와 화상 생성부(4104)의 각각은 실행 지령 생성부(4172)로부터의 실행 지령이 입력되지 않는 한 그 처리를 실행하지 않는다.

그런데, 도 300의 예에서는, 화상의 출력 단위는 화소 단위로 되어 있다. 그래서, 도시는 하지 않지만, 출력 단위를 1 프레임의 화상 전체로 하기 위해(모든 화소를 일괄하여 출력하기 위해), 예를 들면, 화상 생성부(4103)와 화상 생성부(4104)의 후단에 화상 합성부를 추가로 형성할 수도 있다.

이 화상 합성부는, 화상 생성부(4103)로부터 출력된 화소값과, 화상 생성부(4104)로부터 출력된 화소값을 가산하고(합성하고), 가산한 값을 대응하는 화소의 화소값으로 한다. 이 경우, 화상 생성부(4103)와 화상 생성부(4104) 중, 실행 지령이 공급되어 있지 않은 쪽은 그 처리를 실행하지 않고, 소정 일정값(예를 들면, 0)을 화상 합성부에 항상 공급한다.

화상 합성부는, 이와 같은 처리를 모든 화소에 대하여 반복 실행하고, 모든 화소의 처리를 종료하면, 모든 화소를 일괄하여(1 프레임의 화상 데이터로서) 외부에 출력한다.

다음에, 도 301의 플로차트를 참조하여, 제3 병용 방법이 적용되는 신호 처리 장치(도 300)의 신호 처리에 대하여 설명한다.

그리고, 여기에서는, 제1 병용 방법일 때와 동일하게, 데이터 정상성 검출부(4101)는 각도(실세계(1)(도 1) 신호의 주목 위치에서의 정상성 방향(공간 방향)과, 공간 방향의 1 방향인 X 방향(센서(2)(도 1) 검출 소자의 소정 1변과 평행한 방향)이 이루는 각도)를 최소 제곱법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력하는 것으로 한다.

데이터 정상성 검출부(4101)는 또 각도를 연산할 때 아울러 산출되는 추정 오차(최소 제곱법의 오차))를 영역 특정 정보로서 출력하는 것으로 한다.

도 1에서, 실세계(1)의 신호가 센서(2)에 입사되면, 센서(2)로부터는 입력 화상이 출력된다.

도 300에서, 이 입력 화상은 화상 생성부(4104)에 입력되는 동시에, 데이터 정상성 검출부(4101), 및 실세계 추정부(4102)에도 입력된다.

그래서, 도 301의 스텝 S4181에서, 데이터 정상성 검출부(4101)는 입력 화상에 따라, 정상성 방향에 대응하는 각도를 검출하는 동시에, 그 추정 오차를 연산한다. 검출된 각도는 데이터 정상성 정보로서 실세계 추정부(4102)와 화상 생성부(4103)의 각각에 공급된다. 또, 연산된 추정 오차는 영역 특정 정보로서 영역 검출부(4171)에 공급된다.

그리고, 스텝 S4181의 처리는 전술한 스텝 S4102(도 295)의 처리와 기본적으로 동일한 처리이다.

또, 전술한 바와 같이, 지금의 시점에서는(실행 지령 생성부(4172)로부터 실행 지령이 공급되지 않는 한), 실세계 추정부(4102)도 화상 생성부(4104)도 그 처리를 실행하지 않는다.

스텝 S4182에서, 영역 검출부(4171)는 데이터 정상성 검출부(4101)에 의해 연산된 추정 오차(공급된 영역 특정 정보)에 따라, 입력 화상의 주목 화소(데이터 정상성 검출부(4101)가 각도를 검출하는 경우에 주목 화소로 한 화소)의 영역을 검출하고, 그 검출 결과를 실행 지령 생성부(4172)에 공급한다. 그리고, 스텝 S4182의 처리는 전술한 스텝 S4105(도 295)의 처리와 기본적으로 동일한 처리이다.

영역 검출부(4171)의 검출 결과가 실행 지령 생성부(4172)에 공급되면, 스텝 S4183에서, 실행 지령 생성부(4172)는 검출된 영역이 정상 영역인지 여부를 판정한다. 그리고, 스텝 S4183의 처리는 전술한 스텝 S4106(도 295)의 처리와 기본적으로 동일한 처리이다.

스텝 S4183에서, 검출된 영역이 정상 영역이 아니라고 판정한 경우, 실행 지령 생성부(4172)는 실행 지령을 화상 생성부(4104)에 공급한다. 그러면, 화상 생성부(4104)는 스텝 S4184에서, 「클래스 분류 적응 처리의 실행 처리」를 실행하여, 제1 화소(주목 화소(입력 화상의 SD 화소)에서의 HD 화소)를 생성하고, 스텝 S4185에서, 클래스 분류 적응 처리에 의해 생성된 제1 화소를 출력 화상으로서 외부에 출력한다.

그리고, 스텝 S4184의 처리는 전술한 스텝 S4101(도 295)의 처리와 기본적으로 동일한 처리이다. 즉, 도 296의 플로차트는 스텝 S4184 처리의 상세를 설명한 플로차트에도 있다.

이에 대하여, 스텝 S4183에서, 검출된 영역이 정상 영역이라고 판정한 경우, 실행 지령 생성부(4172)는 실행 지령을 실세계 추정부(4102)에 공급한다. 그러면, 스텝 S4186에서, 실세계 추정부(4102)는 데이터 정상성 검출부(4101)에 의해 검출된 각도와, 입력 화상에 따라, 실세계(1)의 신호를 추정한다. 그리고, 스텝 S4186의 처리는 전술한 스텝 S4103(도 295)의 처리와 기본적으로 동일한 처리이다.

그리고, 화상 생성부(4103)는 스텝 S4187에서, 실세계 추정부(4102)에 의해 추정된 실세계(1)의 신호에 따라, 검출된 영역(즉, 입력 화상의 주목 화소(SD 화소))에서의 제2 화소(HD 화소)를 생성하고, 스텝 S4188에서, 그 제2 화소를 출력 화상으로서 출력한다. 그리고, 스텝 S4187의 처리는 전술한 스텝 S4104(도 295)의 처리와 기본적으로 동일한 처리이다.

제1 화소 또는 제2 화소가 출력 화상으로서 출력되면(스텝 S4185, 또는 스텝 S4188의 처리 후), 스텝 S4189에서, 전 화소의 처리를 종료했는지 여부가 판정되고, 전 화소의 처리가 아직 종료되어 있지 않다고 판정된 경우, 그 처리는 스텝 S4181로 복귀한다. 즉, 모든 화소의 처리가 종료될 때까지, 스텝 S4181 내지 S4189의 처리가 반복된다.

그리고, 스텝 S4189에서, 전 화소의 처리를 종료했다고 판정된 경우, 그 처리는 종료된다.

이와 같이, 도 301의 플로차트의 예에서는, 제1 화소(HD 화소)와 제2 화소(HD 화소)가 생성될 때마다 출력 화상으로서 제1 화소 또는 제2 화소가 화소 단위로 출력된다.

그러나, 전술한 바와 같이, 도 300 구성의 신호 처리 장치의 최종단(화상 생성부(4103)와 화상 생성부(4104)의 후단)에 화상 합성부(도시하지 않음)를 추가로 형성하면, 모든 화소의 처리가 종료된 후, 출력 화상으로서, 모든 화소를 일괄하여 출력하는 것이 가능하게 된다. 이 경우, 스텝 S4185와 스텝 S4188 각각의 처리에서는, 화소(제1 화소 또는 제2 화소)는 외부가 아니고 화상 합성부에 출력된다. 그리고, 스텝 S4189의 처리 전에, 화상 합성부가 화상 생성부(4103)로부터 공급되는 화소의 화소값과, 화상 생성부(4104)로부터 공급되는 화소의 화소값을 합성하여, 출력 화상의 화소를 생성하는 처리와, 스텝 S4189의 처리 후, 화상 합성부가 모든 화소를 출력하는 처리가 추가된다.

다음에, 도 302와 도 303을 참조하여, 제4 병용 방법에 대하여 설명한다.

도 302는 제4 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 302에서, 제3 병용 방법이 적용되는 신호 처리 장치(도 300)와 대응하는 부분에는, 대응하는 부호가 부여되어 있다.

도 300의 구성예(제3 병용 방법)에서는, 영역 특정 정보는 데이터 정상성 검출부(4101)로부터 출력되어 영역 검출부(4171)에 입력되어 있지만, 도 302의 구성예(제4 병용 방법)에서는, 영역 특정 정보는 실세계 추정부(4102)로부터 출력되어 영역 검출부(4171)에 입력된다.

그 밖의 구성은, 도 300의 그것과 기본적으로 동일하다. 즉, 제4 병용 방법이 적용되는 신호 처리 장치(도 302)에서도, 제3 병용 방법이 적용되는 신호 처리 장치(도 300)와 기본적으로 동일한 구성과 기능을 가지는 데이터 정상성 검출부(4101), 실세계 추정부(4102), 화상 생성부(4103), 화상 생성부(4104), 및 정상 영역 검출부(4161)(영역 검출부(4171) 및 실행 지령 생성부(4172))가 형성되어 있다.

그리고, 제3 병용 방법과 동일하게, 도시는 하지 않지만, 모든 화소를 일괄하여 출력하기 위해, 예를 들면, 화상 생성부(4103)와 화상 생성부(4104)의 후단에 화상 합성부를 추가로 형설할 수도 있다.

도 303은 도 302 구성의 신호 처리 장치의 신호 처리(제4 병용 방법의 신호 처리)를 설명한 플로차트이다.

제4 병용 방법의 신호 처리는 제3 병용 방법의 신호 처리(도 301의 플로차트에서 나타낸 처리)와 유사하다. 그래서, 여기에서는, 제3 병용 방법에서 설명한 처리에 대해서는, 그 설명을 적당히 생략하고, 이하, 도 303의 플로차트를 참조하여, 제3 병용 방법과는 상이한 제4 병용 방법의 신호 처리를 중심으로 설명한다.

그리고, 여기에서는, 데이터 정상성 검출부(4101)는 제3 병용 방법과 동일하게, 각도(실세계(1)(도 1) 신호의 주목 위치에서의, 정상성 방향(공간 방향)과 공간 방향의 1 방향인 X 방향(센서(2)(도 1) 검출 소자의 소정 1변과 평행한 방향)이 이루는 각도)를 최소 제곱법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력하는 것으로 한다.

단, 전술한 바와 같이, 제3 병용 방법에서는, 데이터 정상성 검출부(4101)가 영역 특정 정보(예를 들면, 추정 오차)를 영역 검출부(4171)에 공급하고 있는 데 대하여, 제4 병용 방법에서는, 실세계 추정부(4102)가 영역 특정 정보(예를 들면, 추정 오차(매핑 오차))를 영역 검출부(4171)에 공급한다.

따라서, 제4 병용 방법에서는, 데이터 정상성 검출부(4101)의 처리로서, 스텝 S4201의 처리가 실행된다. 이 처리는 제3 병용 방법에서의, 도 301의 스텝 S4181의 처리에 상당한다. 즉, 스텝 S4201에서, 데이터 정상성 검출부(4101)는 입력 화상에 따라, 정상성의 방향에 대응하는 각도를 검출하고, 검출한 각도를 데이터 정상성 정보로서 실세계 추정부(4102)와 화상 생성부(4103)의 각각에 공급한다.

또, 제4 병용 방법에서는, 실세계 추정부(4102)의 처리로서, 스텝 S4202의 처리가 실행된다. 이 처리는 제3 병용 방법에서의, 도 295의 스텝 S4182의 처리에 상당한다. 즉, 실세계 추정부(4102)는 스텝 S4202의 처리에서 데이터 정상성 검출부(4101)에 의해 검출된 각도에 따라, 실세계(1)(도 1)의 신호를 추정하는 동시에, 추정된 실세계(1) 신호의 추정 오차, 즉, 매핑 오차를 연산하고, 그것을 영역 특정 정보로서 영역 검출부(4171)에 공급한다.

그 밖의 처리는 제3 병용 방법이 대응하는 처리(도 301의 플로차트에서 나타낸 처리 중의 대응하는 처리)와 기본적으로 동일하므로, 그 설명은 생략한다.

다음에, 도 304와 도 305를 참조하여, 제5 병용 방법에 대하여 설명한다.

도 304는 제5 병용 방법이 적용되는 신호 처리 장치의 구성예를 나타내고 있다.

도 304에서, 제3과 제4 병용 방법이 적용되는 신호 처리 장치(도 300과 도 302)와 대응하는 부분에는, 대응하는 부호가 부여되어 있다.

도 300의 구성예(제3 병용 방법)에서는, 데이터 정상성 검출부(4101)의 후단으로서, 실세계 추정부(4102)와 화상 생성부(4104)의 전단에 1개의 정상 영역 검출부(4161)가 형성되어 있다.

또, 도 302의 구성예(제4 병용 방법)에서는, 실세계 추정부(4102)의 후단으로서, 화상 생성부(4103)와 화상 생성부(4104)의 전단에 1개의 정상 영역 검출부(4161)가 형성되어 있다.

이들에 대하여, 도 304의 구성예(제5 병용 방법)에서는, 제3 병용 방법과 동일하게, 데이터 정상성 검출부(4101)의 후단으로서, 실세계 추정부(4102)와 화상 생성부(4104)의 전단에 정상 영역 검출부(4181)가 형성되어 있다. 또한, 제4 병용 방법과 동일하게, 실세계 추정부(4102)의 후단으로서, 화상 생성부(4103)와 화상 생성부(4104)의 전단에 정상 영역 검출부(4182)가 형성되어 있다.

정상 영역 검출부(4181)와 정상 영역 검출부(4182)의 각각은 정상 영역 검출부(4161)(도 300 또는 도 302)와 기본적으로 동일한 구성과 기능을 가지고 있다. 즉, 영역 검출부(4191)와 영역 검출부(4201)는 모두 영역 검출부(4171)와 기본적으로 동일한 구성과 기능을 가지고 있다. 또, 실행 지령 생성부(4192)와 실행 지령 생성부(4202)는 모두 실행 지령 생성부(4172)와 기본적으로 동일한 구성과 기능을 가지고 있다.

환언하면, 제5 병용 방법은 제3 병용 방법과 제4 병용 방법을 조합한 것이다.

즉, 제3 병용 방법이나 제4 병용 방법에서는, 1개의 영역 특정 정보(제3 병용 방법에서는, 데이터 정상성 검출부(4101)로부터의 영역 특정 정보이며, 제4 병용 방법에서는, 실세계 추정부(4102)로부터의 영역 특정 정보임)에 따라, 입력 화상의 주목 화소가 정상 영역인가 비정상 영역인가가 검출된다. 따라서, 제3 병용 방법이나 제4 병용 방법에서는, 본래, 비정상 영역임에도 불구하고, 정상 영역이라고 검출될 우려도 있다.

그래서, 제5 병용 방법에서는, 처음에 데이터 정상성 검출부(4101)로부터의 영역 특정 정보(제5 병용 방법의 설명에서는, 제1 영역 특정 정보라고 칭함)에 따라, 입력 화상의 주목 화소가 정상 영역인가 비정상 영역인가가 검출된 후, 다시 실세계 추정부(4102)로부터의 영역 특정 정보(제5 병용 방법의 설명에서는, 제2 영역 특정 정보라고 칭함)에 따라, 입력 화상의 주목 화소가 정상 영역인가 비정상 영역인가가 검출된다.

이와 같이, 제5 병용 방법에서는, 영역의 검출 처리가 2회 행해지므로, 제3 병용 방법이나 제4 병용 방법과 비교하여, 정상 영역의 검출 정밀도가 높아지게 된다. 또한, 제1 병용 방법이나 제2 병용 방법에서도, 제3 병용 방법이나 제4 병용 방법과 동일하게, 1개의 정상 영역 검출부(4105)(도 292 또는 도 298)만 형성되어 있다. 따라서, 제1 병용 방법이나 제2 병용 방법과 비교해도, 정상 영역의 검출 정밀도가 높아지게 된다. 그 결과, 제1 내지 제4 병용 방법의 어느 쪽보다 실세계(1)(도 1)의 신호에 가까운 화상 데이터를 출력하는 것이 가능하게 된다.

단, 제1 내지 제4 병용 방법에서도, 종래의 화상 처리를 행하는 화상 생성부(4104)와, 본 발명이 적용되는 데이터의 정상성을 이용하여 화상을 생성하는 장치 또는 프로그램 등(즉, 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4103))을 병용하고 있는 것에 변함은 없다.

따라서, 제1 내지 제4 병용 방법에서도, 종래의 신호 처리 장치나, 도 3 구성의 본 발명의 신호 처리의 어느 것보다 실세계(1)(도 1)의 신호에 가까운 화상 데이터를 출력하는 것이 가능하게 된다.

한편, 처리 속도의 관점으로부터는, 제1 내지 제4 병용 방법에서는, 영역의 검출 처리가 1회만으로 끝나므로, 영역의 검출 처리를 2회 행하는 제5 병용 방법보다 우수하게 된다.

따라서, 사용자(또는 제조자) 등은 필요하게 되는 출력 화상의 품질과, 필요하게 되는 처리 시간(출력 화상이 출력될 때까지의 시간)에 합치한 병용 방법을 선택적으로 이용할 수 있다.

그리고, 도 304에서의 그 밖의 구성은, 도 300, 또는 도 302의 그것과 기본적으로 동일하다. 즉, 제5 병용 방법이 적용되는 신호 처리 장치(도 304)에서도, 제3 또는 제4 병용 방법이 적용되는 신호 처리 장치(도 300, 또는 도 302)와 기본적으로 동일한 구성과 기능을 가지는 데이터 정상성 검출부(4101), 실세계 추정부(4102), 화상 생성부(4103), 및 화상 생성부(4104)가 형성되어 있다.

단, 제5 병용 방법에서는, 실세계 추정부(4102)는 실행 지령 생성부(4192)로부터의 실행 지령이 입력되지 않는 한, 화상 생성부(4103)는 실행 지령 생성부(4202)로부터의 실행 지령이 입력되지 않는 한, 화상 생성부(4104)는 실행 지령 생성부(4192), 또는 실행 지령 생성부(4202)로부터의 실행 지령이 입력되지 않는 한, 그 처리를 실행하지 않는다.

또, 제5 병용 방법에서도, 제3이나 제4 병용 방법과 동일하게, 도시는 하지 않지만, 모든 화소를 일괄하여 출력하기 위해, 예를 들면, 화상 생성부(4103)와 화상 생성부(4104)의 후단에 화상 합성부를 추가로 형성할 수도 있다.

다음에, 도 305의 플로차트를 참조하여, 제5 병용 방법이 적용되는 신호 처리 장치(도 304)의 신호 처리에 대하여 설명한다.

그리고, 여기에서는, 제3이나 제4 병용 방법일 때와 동일하게, 데이터 정상성 검출부(4101)는 각도(실세계(1)(도 1) 신호의 주목 위치에서의 정상성 방향(공간 방향)과, 공간 방향의 1 방향인 X 방향(센서(2)(도 1) 검출 소자의 소정 1변과 평행한 방향)이 이루는 각도)를 최소 제곱법에 의해 연산하고, 연산한 각도를 데이터 정상성 정보로서 출력하는 것으로 한다.

또, 여기에서는, 제3 병용 방법일 때와 동일하게, 데이터 정상성 검출부(4101)는 또 각도를 연산할 때 아울러 산출되는 추정 오차(최소 제곱법의 오차)를 제1 영역 특정 정보로서 출력하는 것으로 한다.

또한, 여기에서는, 제4 병용 방법일 때와 동일하게, 실세계 추정부(4102)는 매핑 오차(추정 오차)를 제2 영역 특정 정보로서 출력하는 것으로 한다.

도 1에서, 실세계(1)의 신호가 센서(2)에 입사되면, 센서(2)로부터는 입력 화상이 출력된다.

도 304에서, 이 입력 화상은 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4104)의 각각에 입력된다.

그래서, 도 305의 스텝 S4221에서, 데이터 정상성 검출부(4101)는 입력 화상에 따라, 정상성의 방향에 대응하는 각도를 검출하는 동시에, 그 추정 오차를 연산한다. 검출된 각도는 데이터 정상성 정보로서 실세계 추정부(4102)와 화상 생성부(4103)의 각각에 공급된다. 또, 연산된 추정 오차는 제1 영역 특정 정보로서 영역 검출부(4191)에 공급된다.

그리고, 스텝 S4221의 처리는 전술한 스텝 S4181(도 301)의 처리와 기본적으로 동일한 처리이다.

또, 전술한 바와 같이, 지금의 시점에서는(실행 지령 생성부(4192)로부터 실행 지령이 공급되지 않는 한), 실세계 추정부(4102)도 화상 생성부(4104)도 그 처리를 실행하지 않는다.

스텝 S4222에서, 영역 검출부(4191)는 데이터 정상성 검출부(4101)에 의해 연산된 추정 오차(공급된 제1 영역 특정 정보)에 따라, 입력 화상의 주목 화소(데이터 정상성 검출부(4101)가 각도를 검출하는 경우에 주목 화소로 한 화소)의 영역을 검출하고, 그 검출 결과를 실행 지령 생성부(4192)에 공급한다. 그리고, 스텝 S4222의 처리는 전술한 스텝 S4182(도 301)의 처리와 기본적으로 동일한 처리이다.

영역 검출부(4181)의 검출 결과가 실행 지령 생성부(4192)에 공급되면, 스텝 S4223에서, 실행 지령 생성부(4192)는 검출된 영역이 정상 영역인지 여부를 판정한다. 그리고, 스텝 S4223의 처리는 전술한 스텝 S4183(도 301)의 처리와 기본적으로 동일한 처리이다.

스텝 S4223에서 검출된 영역이 정상 영역이 아니라고(비정상 영역이라고) 판정한 경우, 실행 지령 생성부(4192)는 실행 지령을 화상 생성부(4104)에 공급한다. 그러면, 화상 생성부(4104)는 스텝 S4224에서, 「클래스 분류 적응 처리의 실행 처리」를 실행하여, 제1 화소(주목 화소(입력 화상의 SD 화소)에서의 HD 화소)를 생성하고, 스텝 S4225에서, 클래스 분류 적응 처리에 의해 생성된 제1 화소를 출력 화상으로서 외부에 출력한다.

그리고, 스텝 S4224의 처리는 전술한 스텝 S4184(도 301)의 처리와 기본적으로 동일한 처리이다. 즉, 도 296의 플로차트는 스텝 S4186 처리의 상세를 설명한 플로차트이다. 또, 스텝 S4225의 처리는 전술한 스텝 S4185(도 301)의 처리와 기본적으로 동일한 처리이다.

이에 대하여, 스텝 S4223에서, 검출된 영역이 정상 영역이라고 판정한 경우, 실행 지령 생성부(4192)는 실행 지령을 실세계 추정부(4102)에 공급한다. 그러면, 스텝 S4226에서, 실세계 추정부(4102)는 스텝 S4221의 처리에서 데이터 정상성 검출부(4101)에 의해 검출된 각도에 따라, 실세계(1)의 신호를 추정하는 동시에, 그 추정 오차(매핑 오차)를 연산한다. 추정된 실세계(1)의 신호는 실세계 추정 정보로서 화상 생성부(4103)에 공급된다. 또, 연산된 추정 오차는 제2 영역 특정 정보로서 영역 검출부(4201)에 공급된다.

그리고, 스텝 S4226의 처리는 전술한 스텝 S4202(도 303)의 처리와 기본적으로 동일한 처리이다.

또, 전술한 바와 같이, 지금의 시점에서는(실행 지령 생성부(4192), 또는 실행 지령 생성부(4202)로부터 실행 지령이 공급되지 않는 한), 화상 생성부(4103)도 화상 생성부(4104)도 그 처리를 실행하지 않는다.

스텝 S4227에서, 영역 검출부(4201)는 실세계 추정부(4102)에 의해 연산된 추정 오차(공급된 제2 영역 특정 정보)에 따라, 입력 화상의 주목 화소(데이터 정상성 검출부(4101)가 각도를 검출하는 경우에 주목 화소로 한 화소)의 영역을 검출하고, 그 검출 결과를 실행 지령 생성부(4202)에 공급한다. 그리고, 스텝 S4227의 처리는 전술한 스텝 S4203(도 303)의 처리와 기본적으로 동일한 처리이다.

영역 검출부(4201)의 검출 결과가 실행 지령 생성부(4202)에 공급되면, 스텝 S4228에서, 실행 지령 생성부(4202)는 검출된 영역이 정상 영역인지 여부를 판정한다. 그리고, 스텝 S4228의 처리는 전술한 스텝 S4204(도 303)의 처리와 기본적으로 동일한 처리이다.

스텝 S4228에서, 검출된 영역이 정상 영역이 아니라고(비정상 영역이라고) 판정한 경우, 실행 지령 생성부(4202)는 실행 지령을 화상 생성부(4104)에 공급한다. 그러면, 화상 생성부(4104)는 스텝 S4224에서, 「클래스 분류 적응 처리의 실행 처리」를 실행하여, 제1 화소(주목 화소(입력 화상의 SD 화소)에서의 HD 화소)를 생성하고, 스텝 S4225에서, 클래스 분류 적응 처리에 의해 생성된 제1 화소를 출력 화상으로서 외부에 출력한다.

그리고, 지금의 경우의 스텝 S4224의 처리는 전술한 스텝 S4205(도 303)의 처리와 기본적으로 동일한 처리이다. 또, 지금의 경우의 스텝 S4225의 처리는 전술한 스텝 S4206(도 303)의 처리와 기본적으로 동일한 처리이다.

이에 대하여, 스텝 S4228에서, 검출된 영역이 정상 영역이라고 판정한 경우, 실행 지령 생성부(4202)는 실행 지령을 화상 생성부(4103)에 공급한다. 그러면, 스텝 S4229에서, 화상 생성부(4103)는 실세계 추정부(4102)에 의해 추정된 실세계(1)의 신호(및 필요에 따라 데이터 정상성 검출부(4101)로부터의 데이터 정상성 정보)에 따라, 영역 검출부(4201)에 의해 검출된 영역(즉, 입력 화상의 주목 화소(SD 화소))에서의 제2 화소(HD 화소)를 생성한다. 그리고, 스텝 S4230에서, 화상 생성부(4103)는 생성된 제2 화소를 출력 화상으로서 외부에 출력한다.

그리고, 스텝 S4229와 S4230 각각의 처리는 전술한 스텝 S4207과 S4208(도 303) 각각의 처리와 기본적으로 동일한 처리이다.

제1 화소 또는 제2 화소가 출력 화상으로서 출력되면(스텝 S4225, 또는 스텝 S4230의 처리 후), 스텝 S4231에서, 전 화소의 처리를 종료했는지 여부가 판정되고, 전 화소의 처리가 아직 종료되어 있지 않다고 판정된 경우, 그 처리는 스텝 S4221로 복귀한다. 즉, 모든 화소의 처리가 종료될 때까지, 스텝 S4221 내지 S4231의 처리가 반복된다.

그리고, 스텝 S4231에서, 전 화소의 처리를 종료했다고 판정된 경우, 그 처리는 종료된다.

이상, 도 292 내지 도 305를 참조하여, 본 발명의 신호 처리 장치(4)(도 1)의 실시예의 일례로서, 병용 방법에 대하여 설명했다.

전술한 바와 같이, 병용 방법에서는, 도 3 구성의 본 발명의 신호 처리 장치에 대하여 추가로 정상성을 이용하지 않는 다른 신호 처리를 행하는 장치(또는, 프로그램 등)가 부가되어 있다.

환언하면, 병용 방법에서는, 종래의 신호 처리 장치(또는, 프로그램 등)에 대하여, 도 3 구성의 본 발명의 신호 처리 장치(또는, 프로그램 등)가 부가되어 있다.

즉, 병용 방법에서는, 예를 들면, 도 292나 도 298의 정상 영역 검출부(4105)가, 실세계(1)의 광 신호가 투영되어 실세계(1) 광 신호의 정상성의 일부가 결락된 화상 데이터(예를 들면, 도 292나 도 298의 입력 화상) 내에서, 화상 데이터의 데이터 정상성을 가지는 영역(예를 들면, 도 295의 스텝 S4106이나 도 299의 스텝 S4166에 기재된 정상 영역)을 검출한다.

또, 도 292나 도 298의 실세계 추정부(4102)가 실세계(1) 광 신호의 정상성의 일부가 결락된 화상 데이터의 데이터 정상성에 따라, 결락된 실세계(1) 광 신호의 정상성을 추정함으로써 광 신호를 추정한다.

또한, 예를 들면, 도 292나 도 298의 데이터 정상성 검출부(4101)가, 실세계(1)의 광 신호가 투영되어 실세계(1) 광 신호의 정상성의 일부가 결락된 화상 데이터 내에서, 화상 데이터의 데이터 정상성의 기준축에 대한 각도(예를 들면, 도 295의 스텝 S4102나 도 299의 스텝 S4162에 기재된 각도)를 검출한다. 이 경우, 예를 들면, 도 292나 도 298의 정상 영역 검출부(4105)는 각도에 따라 화상 데이터의 데이터 정상성을 가지는 영역을 검출하고, 실세계 추정부(4102)는 그 영역에 대하여, 결락된 실세계(1)의 광 신호의 정상성을 추정함으로써 광 신호를 추정한다.

단, 도 292에서는, 정상 영역 검출부(4105)는 각도에 따라 정상인 모델과 입력 화상과의 오차(즉, 예를 들면, 도면 중의 영역 특정 정보로서, 도 295의 스텝 S4102의 처리에서 연산되는 추정 오차)에 따라 입력 화상 데이터의 정상성을 가지는 영역을 검출한다.

이에 대하여, 도 298에서는, 정상 영역 검출부(4105)는 실세계 추정부(4102)의 후단에 배치되고, 실세계 추정부(4102)에 의해 연산되는, 입력 화상에 대응하는 실세계(1)의 광 신호를 나타내는 실세계 모델과, 입력 화상과의 오차(즉, 예를 들면, 도면 중의 영역 특정 정보로서, 도 295의 스텝 S4163의 처리에서 연산되는 실세계 신호의 추정 오차(매핑 오차))에 따라, 실세계 추정부(4102)에 의해 추정된 실세계 모델, 즉, 화상 생성부(4103)로부터 출력되는 화상을 선택적으로 출력한다(예를 들면, 도 298의 셀렉터(4112)가 도 299의 스텝 S4166 내지 S4168의 처리를 실행한다).

이상, 도 292와 도 298의 예로 설명했지만, 이상의 것은 도 300, 도 302, 및 도 304에서도 동일하다.

따라서, 병용 방법에서는, 실세계(1)의 신호 중 정상성이 존재하는 부분(화상 데이터의 데이터 정상성을 가지는 영역)에 대해서는, 도 3 구성의 신호 처리 장치에 상당하는 장치(또는 프로그램 등)가 신호 처리를 실행하고, 실세계(1)의 신호 중 명확한 정상성이 존재하지 않는 부분에 대해서는, 종래의 신호 처리 장치(또는, 프로그램 등)가 신호 처리를 실행하는 것이 가능하게 된다. 그 결과, 종래의 신호 처리 장치나, 도 3 구성의 본 발명의 신호 처리의 어느 것보다 실세계(1)(도 1)의 신호에 가까운 화상 데이터를 출력하는 것이 가능하게 된다.

다음에, 도 306, 도 307을 참조하여, 데이터 정상성 검출부(101)로부터 직접 화상을 생성하는 예에 대하여 설명한다.

도 306의 데이터 정상성 검출부(101)는 도 165의 데이터 정상성 검출부(101)에 화상 생성부(4501)를 부가한 것이다. 화상 생성부(4501)는 실세계 추정부(802)로부터 출력되는 실세계의 근사 함수 f(x)의 계수를 실세계 추정 정보로서 취득하고, 이 계수에 따라, 각 화소를 재적분함으로써 화상을 생성하여 출력한다.

다음에, 도 307의 플로차트를 참조하여, 도 306의 데이터의 정상성 검출 처리에 대하여 설명한다. 그리고, 도 307의 플로차트의 스텝 S4501 내지 S4504, 및 스텝 S4506 내지 S4511의 처리에 대해서는, 도 166의 플로차트의 스텝 S801 내지 S810의 처리와 동일하므로 그 설명은 생략한다.

스텝 S4504에서, 화상 생성부(4501)는 실세계 추정부(802)로부터 입력된 계수에 따라 각 화소를 재적분하여, 화상을 생성하고 출력한다.

이상의 처리에 의해 데이터 정상성 검출부(101)는 영역 정보뿐만 아니라, 그 영역 판정에 사용한(실세계 추정 정보에 따라 생성된 화소로 이루어지는) 화상을 출력할 수 있다.

이와 같이, 도 306의 데이터 정상성 검출부(101)에서는, 화상 생성부(4501)가 형성되어 있다. 즉, 도 306의 데이터 정상성 검출부(101)는 입력 화상 데이터의 정상성에 따라 출력 화상을 생성할 수 있다. 따라서, 도 306에서 나타낸 구성을 가지는 장치를 데이터 정상성 검출부(101)의 실시예로 파악하는 것이 아니라, 도 1의 신호 처리 장치(화상 처리 장치)(4)의 다른 실시예로 파악할 수도 있다.

또한, 전술한 병용 방법이 적용되는 신호 처리 장치에서, 실세계(1)의 신호 중 정상성이 존재하는 부분에 대하여 신호 처리를 실행하는 신호 처리부로서, 도 306에서 나타낸 구성을 가지는 장치(즉, 도 306의 데이터 정상성 검출부(101)와 동일한 기능과 구성을 가지는 신호 처리 장치)를 적용하는 것도 가능하다.

구체적으로는, 예를 들면, 제1 병용 방법이 적용되는 도 292의 신호 처리 장치에서는, 실세계(1)의 신호 중 정상성이 존재하는 부분에 대하여 신호 처리를 실행하는 신호 처리부는 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4103)로 되어 있다. 도시는 하지 않지만, 이들 데이터 정상성 검출부(4101), 실세계 추정부(4102), 및 화상 생성부(4103) 대신에, 도 306 구성의 신호 처리 장치(화상 처리 장치)를 적용하는 것도 가능하다. 이 경우, 도 306의 비교부(804)가 그 출력을 영역 특정 정보로서 영역 검출부(4111)에 공급하고, 또, 화상 생성부(4501)가 출력 화상(제2 화소)을 셀렉터(4112)에 공급하게 된다.

그리고, 센서(2)는 고체 촬상 소자이다, 예를 들면, BBD(Bucket Brigade Device), CID(Charge Injection Device), 또는 CPD(Charge Priming Device) 등의 센서라도 된다.

이와 같이, 화상 처리 장치는 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광 신호가 투영됨으로써 취득된, 현실 세계 광 신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터 내의 주목하고 있는 화소인 주목 화소에 대응하는 영역을 선택하는 영역 선택 수단과, 주목 화소의 화소값과, 영역 선택 수단에 의해 선택된 영역에 속하는 화소의 화소값과의 상관값에 따라, 해당 영역에 속하는 화소에 대응하는 도수를 검출하는 동시에 각 화소에 그 도수를 설정하는 도수 검출 수단과, 도수 검출 수단에 의해 검출된 도수에 따라 회귀선을 검출함으로써, 결락된 현실 세계 광 신호의 정상성에 대응하는, 화상 데이터의 데이터 정상성을 검출하는 정상성 검출 수단과, 정상성 검출 수단에 의해 검출된 화상 데이터의 데이터 정상성에 따라, 결락된 현실 세계 광 신호의 정상성을 추정함으로써 광 신호를 추정하는 실세계 추정 수단을 설치할 수 있다.

정상성 검출 수단은 도수 검출 수단에 의해 검출된 도수에 따라 회귀 직선을 검출하고, 회귀 직선에 따라, 결락된 현실 세계 광 신호의 정상성에 대응하는 화상 데이터의 데이터 정상성의 기준축에 대한 각도를 검출하고, 실세계 추정 수단은 화상 데이터의 데이터 정상성의 기준축에 대한 각도에 따라, 결락된 현실 세계 광 신호의 정상성을 추정함으로써 광 신호를 추정하도록 할 수 있다.

정상성 검출 수단은 회귀선과 도수에 대한 추정 오차의 표준 편차에 따라, 데이터의 정상성을 가지는 영역을 검출하고, 실세계 추정 수단은 정상성 검출 수단에 의해 검출된 데이터의 정상성을 가지는 영역에 따라, 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수를 생성하도록 할 수 있다.

화상 처리 장치는 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광 신호가 투영됨으로써 취득된, 현실 세계 광 신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터에 있어서의 데이터 정상성의 기준축에 대한 각도를 검출하는 각도 검출 수단과, 각도 검출 수단에 의해 검출된 각도에 따라, 결락된 현실 세계 광 신호의 정상성을 추정함으로써 광 신호를 추정하는 실세계 추정 수단을 설치할 수 있다.

각도 검출 수단은 화상 데이터 내의 주목 화소 및 기준축을 기준으로 한 복수개 각도의 각도마다 소정 수의 화소로 이루어지는 화소의 조를 복수개 추출하는 화소 추출 수단과, 화소 추출 수단에 의해 각도마다 추출된, 복수개의 조에서의 대응하는 위치의 화소 사이의 화소값의 상관을 검출하는 상관 검출 수단을 구비하고, 상관 검출 수단에 의해 검출된 상관에 따라, 결락된 현실 세계 광 신호의 정상성에 대응하는, 화상 데이터에 있어서의 기준축을 기준으로 한 데이터의 정상성 각도를 검출하도록 할 수 있다.

화소 추출 수단은 화상 데이터의 주목 화소 및 기준축을 기준으로 한 각도마다의 직선에 근접하는 화소를 중심으로, 화상 데이터에 대하여 수직 방향 또는 수평 방향으로 위치하는 복수개의 화소로 이루어지는 화소의 조를 복수개 추출하고, 상관 검출 수단은 화상 데이터의 주목 화소 및 기준축에 대하여 소정 각도의 직선에 근접하는 화소를 중심으로 하여, 추출된 복수개의 조에 있어서의 대응하는 위치의 화소 사이의 화소값의 상관을 검출하도록 할 수 있다.

화소 추출 수단은 화상 데이터의 주목 화소 및 기준축을 기준으로 한 각도마다의 직선에 근접하는 화소를 중심으로, 화상 데이터에 대하여 수직 방향 또는 수평 방향으로 위치하는 각도의 범위에 대한 수의 화소로 이루어지는 화소의 조를, 해당 각도의 범위에 대한 수를 추출하도록 할 수 있다.

화소 추출 수단은 화상 데이터로부터 수직 방향과 수평 방향의 액티비티를 검출하고, 검출된 액티비티에 따라, 화상 데이터의 주목 화소 및 기준축을 기준으로 한 각도마다의 직선에 근접하는 화소를 중심으로, 화상 데이터에 대하여 수직 방향 및 수평 방향 중 어느 한쪽에 위치하는 복수개의 화소로 이루어지는 화소의 조를 복수개 추출하도록 할 수 있다.

화상 처리 장치는 상관 검출 수단에 의해 검출된 상관의 값에 따라, 각도 검출 수단 또는 실세계 추정 수단의 동작이 제어되도록 할 수 있다.

화소 추출 수단은 화상 데이터의 주목 화소 및 기준축을 기준으로 한 소정 각도의 직선의 각각에 근접하는 화소를 중심으로 한 화상 블록을 추출하고, 상관 검출 수단은 화상 데이터의 주목 화소 및 기준축을 기준으로 한 각도의 직선의 각각에 근접하는 화소를 중심으로 한 화상 블록의 상관을 검출하도록 할 수 있다.

각도 검출 수단은 화상 데이터 내의 주목 화소에 대응하는 영역을 선택하는 영역 선택 수단과, 영역 선택 수단에 의해 선택된 영역 내의, 결락된 현실 세계 광 신호의 정상성에 대응하는 화상 데이터에 있어서의 데이터 정상성의 기준축에 대한 각도를 검출하기 위한 특징을 검출하는 특징 검출 수단을 구비하고, 특징 검출 수단에 의해 검출된 특징에 따라 통계적으로 각도를 검출하고, 실세계 추정 수단은 각도 검출 수단에 의해 검출된 화상 데이터에 있어서의 데이터 정상성의 기준축에 대한 각도에 따라, 결락된 현실 세계 광 신호의 정상성을 추정함으로써 광 신호를 추정하도록 할 수 있다.

영역 선택 수단은 화상 데이터 내의 주목 화소를 기준으로 하여, 화상 데이터에 대하여 수직 방향 및 수평 방향의 액티비티를 검출하는 액티비티 검출 수단을 추가로 구비하고, 액티비티 검출 수단에 의한 검출 결과에 따라, 화상 데이터 내의 처리 영역을 선택하고, 특징 검출 수단은 영역 선택 수단에 의해 선택된 영역 내 화소의 화소값의 최대값과 최소값과의 차인 다이나믹 레인지를 검출하는 다이나믹 레인지 검출 수단과, 영역 선택 수단에 의해 선택된 영역 내의, 액티비티 검출 수단에 의한 검출 결과에 따른 방향으로 인접하는 화소 사이의 차분값을 검출하는 차분값 검출 수단을 추가로 구비하고, 각도 검출 수단은 다이나믹 레인지와 차분값에 따라, 결락된 현실 세계 광 신호의 정상성에 대응하는 화상 데이터에 있어서의 데이터 정상성의 기준축에 대한 각도를 통계적으로 검출하도록 할 수 있다.

화상 처리 장치는 다이나믹 레인지 검출 수단에 의해 검출되는 영역 내 화소의 화소값의 최대값과 최소값에 따라, 영역 내의 전경 오브젝트 성분과 배경 오브젝트 성분과의 혼합비를 추정하는 혼합비추정 수단을 추가로 설치할 수 있다.

화상 처리 장치는 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광 신호가 투영됨으로써 취득된, 현실 세계 광 신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터 내에서, 데이터의 정상성을 가지는 영역을 검출하는 정상 영역 검출 수단과, 현실 세계 광 신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터에서의 데이터 정상성에 따라, 결락된 현실 세계 광 신호의 정상성을 추정함으로써 광 신호를 추정하는 실세계 추정 수단을 설치할 수 있다.

화상 처리 장치는 화상 데이터에 있어서의 데이터 정상성의 기준축에 대한 각도를 검출하는 각도 검출 수단을 추가로 구비하고, 정상 영역 검출 수단은 각도에 따라 화상 데이터에서의 데이터 정상성을 가지는 영역을 검출하고, 실세계 추정 수단은 영역에 대하여, 결락된 현실 세계 광 신호의 정상성을 추정함으로써 광 신호를 추정하도록 할 수 있다.

정상 영역 검출 수단은 각도에 따라 정상인 모델과 화상 데이터와의 오차에 따라 화상 데이터에서의 데이터 정상성을 가지는 영역을 검출하도록 할 수 있다.

정상 영역 검출 수단은 실세계 추정 수단의 후단에 배치되고, 실세계 추정 수단에 의해 생성되는 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수와, 화상 데이터와의 오차에 따라, 실세계 추정 수단에 의해 생성된 제2 함수를 선택적으로 출력하도록 할 수 있다.

정상 영역 검출 수단은 현실 세계 광 신호의 정상성의 일부가 결락된 화상 데이터에 있어서의 복수개 화소의 화소값의 불연속부를 검출하고, 검출된 불연속부로부터 데이터의 정상성을 가지는 정상 영역을 검출하고, 실세계 추정 수단은 정상 영역 검출 수단에 의해 검출된 정상 영역에 속하는 화소의 화소값에 따라, 다시 영역을 검출하고, 다시 검출된 영역에 따라 광 신호를 추정하도록 할 수 있다.

정상 영역 검출 수단은 화상 데이터의 복수개 화소의 화소값의 불연속부를 검출하는 불연속부 검출 수단과, 불연속부로부터 화소값 변화의 정점을 검출하는 정점 검출 수단과, 정점으로부터 단조롭게 화소값이 증가 또는 감소하고 있는 단조 증감 영역을 검출하는 단조 증감 영역 검출 수단과, 단조 증감 영역 검출 수단에 의해 검출된 단조 증감 영역 중, 다른 단조 증감 영역이 인접하는 위치에 존재하는 단조 증감 영역을 제1 화상 데이터에서의 데이터 정상성을 가지는 정상 영역으로서 검출하는 연속성 검출 수단을 포함하고, 실세계 추정 수단은 연속성 검출 수단에 의해 검출된 정상 영역에 속하는 화소의 화소값에 따라, 정점으로부터 단조롭게 화소값이 증가 또는 감소하고 있는 영역을 다시 검출하고, 다시 검출된 영역에 따라 광 신호를 추정하도록 할 수 있다.

실세계 추정 수단은 연속성 검출 수단에 의해 검출된 정상 영역에 속하는 복수개 화소의 화소값을 회귀하는 회귀선에 따라, 정점으로부터 단조롭게 화소값이 증가 또는 감소하고 있는 영역을 다시 검출하고, 다시 검출된 영역에 따라 광 신호에 대응하는 신호를 생성하도록 할 수 있다.

불연속 검출 수단은 화상 데이터의 복수개 화소의 화소값에 대응하는 회귀 평면을 구해, 회귀 평면과의 거리가 임계값 이상인 화소값을 가지는 화소로 이루어지는 영역을 불연속부로서 검출하고, 실세계 추정 수단은 정상 영역 내의 인접하는 단조 증감 영역을 검출하고, 인접하는 단조 증감 영역 화소의 화소값으로부터 회귀 평면으로 나타나는 근사값을 감산하여 차분값을 검출하고, 인접하는 단조 증감 영역의 대응하는 화소끼리의 차분값의 성분 분배비를 검출하고, 분배비에 따라 정점으로부터 단조롭게 화소값이 증감하는 영역을 재검출하도록 할 수 있다.

실세계 추정 수단은 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수를 생성하고, 화상 처리 장치는 추가로 해당 제2 함수에 따라 화상 데이터를 생성하는 화상화 수단을 설치할 수 있다.

화상 처리 장치는 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광 신호가 투영됨으로써 취득된, 현실 세계 광 신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 제1 화상 데이터의, 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 수단과, 데이터의 정상성에 대응하는 현실 세계의 광 신호 파형을 나타내는 모델에 따라, 제1 화상 데이터에서의 데이터 정상성으로부터 현실 세계의 광 신호 파형을 근사시키는 신호를 생성하는 실세계 추정 수단과, 실세계 추정 수단에 의해 생성된 신호를 제2 화상 데이터로 변환하는 화상화 수단을 설치할 수 있다.

실세계 추정 수단은 화상 데이터 정상성 검출 수단에 의해 검출된, 현실 세계의 세선의 광 신호가 복수개의 검출 소자에 투영됨으로써 취득된, 복수개의 화소가 수직 방향으로 배치되어 이루어지는 제1 영역과, 복수개의 다른 화소가 수직 방향으로 배치되어 이루어지는 제2 영역이 수평 방향으로 연속하여 인접하는 것, 또는 현실 세계의 세선의 광 신호가 복수개의 검출 소자에 투영됨으로써 취득된, 복수개의 화소가 수평 방향으로 배치되어 이루어지는 제3 영역과, 복수개의 다른 화소가 수평 방향으로 배치되어 이루어지는 제4 영역이 수직 방향으로 연속하여 인접하는 것에 대한, 제1 영역의 중심 및 제2 영역의 중심, 또는 제3 영역의 중심 및 제4 영역의 중심을 연결하는 직선의 경사와, 제1 영역 및 제2 영역, 또는 제3 영역 및 제4 영역이 겹치는 중복 부분에 따라, 현실 세계의 세선의 선폭을 추정하고, 현실 세계의 광 신호가 투영된 공간 적분 효과를 가지는 각 검출 소자의 수광면보다 공간적으로 작은 세선의 광 신호 레벨을 제1 화상 데이터 내 화소의 화소값으로부터 추정하도록 할 수 있다.

실세계 추정 수단은 제1 영역 또는 제3 영역의 제1 화소의 화소값으로부터 제1 화소에 인접하는 제2 화소의 화소값을 감산한 값과, 제1 영역 또는 제3 영역의 제1 화소 내의 세선의 면적에 따라, 세선의 광 신호 레벨을 추정하도록 할 수 있다.

화상 데이터 정상성 검출 수단은 제1 화상 데이터 내의 복수개 화소의 화소값에 대응하는 회귀 평면을 구해, 회귀 평면과의 거리가 임계값 이상인 화소값을 가지는 화소로 이루어지는 영역을 검출하고, 실세계 추정 수단은 검출된 영역 중, 제1 영역 또는 제3 영역의 제1 화소의 화소값으로부터 회귀 평면으로 근사되는 값을 감산한 값과, 제1 영역 또는 제3 영역의 제1 화소 내의 세선 면적에 따라, 세선의 광 신호 레벨을 추정하도록 할 수 있다.

화상 처리 장치는 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 현실 세계의 광 신호가 투영됨으로써 취득된, 현실 세계 광 신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 제1 화상 데이터에서의 데이터 정상성을 검출하는 데이터 정상성 검출 수단과, 데이터 정상성 검출 수단에 의해 검출된 데이터의 정상성에 대응하여, 현실 세계의 광 신호를 나타내는 제1 함수가 가지는 실세계 특징을 검출하는 실세계 추정 수단과, 실세계 추정 수단에 의해 검출된 실세계 특징에 따라, 제1 화상 데이터보다 고질인 제2 화상 데이터를 예측하여 생성하는 화상 생성 수단을 설치할 수 있다.

실세계 추정 수단은 정상성 검출 수단에 의해 검출된 데이터의 정상성에 대응하는 기준점으로부터 적어도 1차원 방향에 따른 소정 거리에 대응하는 화소의 화소값이 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여, 제1 함수를 소정 제2 함수로 근사시키고, 소정 화소 내에서의 제2 함수의 경사인 화소 내 경사를 실세계 특징으로서 검출하도록 할 수 있다.

화상 생성 수단은 제2 화상 데이터에서의 주목 화소 주변에 위치하는 현실 세계 광 신호의 정상성이 결락된 제1 화상 데이터 내의 복수개 화소의 화소값으로부터 주목 화소의 화소값을 예측하는 화상 예측 수단과, 실세계 추정 수단에 의해 검출된 실세계 특징으로부터 화상 예측 수단에 의해 예측된 주목 화소의 화소값을 보정하는 보정항을 예측하는 보정항 예측 수단과, 화상 예측 수단에 의해 예측된 주목 화소의 화소값을 보정항 예측 수단에 의해 예측된 보정항으로 보정하는 보정 수단을 설치할 수 있다.

화상 처리 장치는 화상 예측 수단이 주목 화소의 화소값을 예측할 때 사용되는 제1 계수를 학습에 의해 결정하는 제1 학습 수단과, 보정항 예측 수단이 화상 예측 수단에 의해 예측된 주목 화소의 화소값을 보정하는 보정항을 예측할 때 사용되는 제2 계수를 학습에 의해 결정하는 제2 학습 수단을 설치할 수 있다.

제1 학습 수단은 학습용 화상 데이터를 다운 컨버트하는 다운 컨버트 수단과, 학습용 화상 데이터를 제1 교사 화상으로 하고, 다운 컨버트 수단에 의해 다운 컨버트된 학습용 화상 데이터를 제1 학생 화상으로 하고, 제1 교사 화상과 제1 학생 화상의 관계를 학습함으로써, 제1 계수를 생성하는 제1 계수 생성 수단을 설치할 수 있다.

제1 학습 수단은 제1 계수 생성 수단에 의해 생성된 제1 계수를 사용하여, 제1 학생 화상으로부터 제1 교사 화상을 예측하는 화상 데이터를 생성하는 학습용 화상 예측 수단을 추가로 설치할 수 있다.

제2 학습 수단은 제1 계수 생성 수단이 제1 계수를 생성할 때 제1 학생 화상으로서 사용한 화상 데이터에서의 데이터 정상성을 검출하고, 검출한 데이터의 정상성에 따라, 제1 학생 화상을 구성하는 각 화소의 각각에 대응하는 실세계 특징을 검출하고, 검출한 실세계 특징에 대응하는 값을 화소값으로 하는 화상 데이터를 제2 학생 화상으로서 생성하는 학생 화상 생성 수단과, 제1 계수 생성 수단이 제1 계수를 생성할 때 제1 교사 화상으로서 사용한 학습용 화상 데이터와, 학습용 화상 예측 수단에 의해 생성된 제1 교사 화상을 예측하는 화상 데이터의 차분으로 이루어지는 화상 데이터를 제2 교사 화상으로서 생성하는 교사 화상 생성 수단과, 교사 화상 생성 수단에 의해 생성된 제2 교사 화상과, 학생 화상 생성 수단에 의해 생성된 제2 학생 화상의 관계를 학습함으로써, 제2 계수를 생성하는 제2 계수 생성 수단을 설치할 수 있다.

화상 처리 장치는 각각 시공간 적분 효과를 가지는 복수개의 검출 소자에 의해 현실 세계의 광 신호가 투영됨으로써 취득된, 현실 세계 광 신호의 정상성의 일부가 결락된, 복수개의 화소로 이루어지는 화상 데이터에서의 데이터 정상성을 검출하는 데이터 정상성 검출 수단과, 화상 데이터 정상성 검출 수단에 의해 검출된 정상성에 대응하여, 화상 데이터 내의 주목 화소에 대하여 시공간 방향 중 1차원 방향의 위치에 대응하는 복수개 화소의 화소값의 경사를 생성하는 실세계 추정 수단을 설치할 수 있다.

실세계 추정 수단은 주목 화소에 대하여 1차원 방향의 위치에 대응하는 복수개 화소의 화소값을 근사시키는 함수의 미분값을 생성하도록 할 수 있다.

실세계 추정 수단은 정상성 검출 수단에 의해 검출된 정상성에 대응하는 기준점으로부터의 1차원 방향에 따른 거리에 대응하는 각 화소의 화소값을 근사시키는 함수의 미분값을 생성하도록 할 수 있다.

실세계 추정 수단은 주목 화소에 대응하는 복수개 화소의 화소값으로부터 1차원 방향의 위치에 대응하는 복수개 화소의 화소값의 경사를 검출하도록 할 수 있다.

화상 처리 장치는 또한 데이터의 정상성에 대응하여, 화상 데이터 내의 주목 화소의 중심 위치로부터 1차원 방향으로 시프트한 위치의 화소값의 경사를 구하고, 주목 화소의 중심 위치로부터 1차원 방향으로 시프트한 위치를 중심으로 하는 경사를 가지는 직선의 주목 화소 내에 배치되는 양단의 값을 주목 화소보다 고해상도 화소의 화소값으로서 생성하는 화소값 생성 수단을 설치할 수 있다.

본 발명의 신호 처리를 행하는 프로그램을 기록한 기록 매체는, 도 2에서 나타낸 바와 같이, 컴퓨터와는 별도로, 사용자에게 프로그램을 제공하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(51)(플렉시블 디스크를 포함함), 광 디스크(52)(CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)를 포함함), 광자기 디스크(53)(MD(Mini-Disk)(상표)를 포함함), 또는 반도체 메모리(54) 등으로 이루어지는 패키지 미디어에 의해 구성될 뿐만 아니라, 컴퓨터에 미리 내장된 상태에서 사용자에게 제공되는, 프로그램이 기록되어 있는 ROM(22)이나, 기억부(28)에 포함되는 하드 디스크 등으로 구성된다.

그리고, 전술한 일련의 처리를 실행시키는 프로그램은, 필요에 따라 라우터, 모뎀 등의 인터페이스를 통해, 로컬 영역 네트워크, 인터넷, 디지털 위성 방송이라고 하는, 유선 또는 무선의 통신 매체를 통해 컴퓨터에 인스톨되도록 해도 된다.

그리고, 본 명세서에서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

본 발명에 의하면, 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 현실 세계 신호의 정상성의 일부가 결락된 제1 차원보다 적은 제2 차원의 제2 신호의, 결락된 현실 세계 신호의 정상성에 대응하는 데이터의 정상성을 검출하고, 검출된 데이터의 정상성에 따라, 결락된 현실 세계 신호의 정상성을 추정함으로써 제1 신호를 추정하도록 했으므로, 데이터가 취득된 현실 세계를 고려하여, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

Claims (12)

1. 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 상기 현실 세계 신호의 정상성(定常性)의 일부가 결락된, 상기 제1 차원보다 적은 제2 차원의 제2 신호에 대하여, 결락된 상기 현실 세계 신호의 정상성에 대응하는 데이터의 정상성을 검출하는 데이터 정상성 검출 수단과,

   상기 데이터 정상성 검출 수단에 의해 검출된 상기 데이터의 정상성에 따라, 결락된 상기 현실 세계 신호의 정상성을 추정함으로써 상기 제1 신호를 추정하는 실세계(實世界) 추정 수단

   을 포함하는 신호 처리 장치.
2. 제1항에 있어서,

   상기 데이터 정상성 검출 수단은, 각각 시공간(時空間) 적분 효과를 가지는 복수개의 검출 소자에 상기 제1 신호인 현실 세계의 광 신호가 투영됨으로써 취득된 상기 제2 신호인, 상기 현실 세계 광 신호의 정상성의 일부가 결락된 복수개의 화소로 이루어지는 화상 데이터에 있어서의 데이터 정상성을 검출하고,

   상기 실세계 추정 수단은, 상기 데이터 정상성 검출 수단에 의해 검출된 상기 데이터의 정상성에 따라, 상기 현실 세계의 광 신호를 나타내는 제1 함수를 근사(近似)시키는 제2 함수를 생성하는 것을 특징으로 하는 신호 처리 장치.
3. 제2항에 있어서,

   상기 실세계 추정 수단은, 상기 데이터 정상성 검출 수단에 의해 검출된 상기 데이터의 정상성에 따라, 상기 화상 데이터의 시공간 방향 중 적어도 1차원 방향의 위치에 대응하는 상기 화소의 화소값이 상기 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여 상기 화상 데이터를 근사시킴으로써, 상기 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수를 생성하는 것을 특징으로 하는 신호 처리 장치.
4. 제3항에 있어서,

   상기 실세계 추정 수단은, 상기 데이터 정상성 검출 수단에 의해 검출된 상기 데이터의 정상성에 대응하여, 상기 화상 데이터의 시공간 방향 중 1차원 방향의 위치에 대응하는 상기 화소의 화소값이 상기 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여 상기 화상 데이터를 근사시킴으로써, 상기 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수를 생성하는 것을 특징으로 하는 신호 처리 장치.
5. 제3항에 있어서,

   상기 실세계 추정 수단은, 상기 정상성 검출 수단에 의해 검출된 상기 데이터의 정상성에 대응하는 기준점으로부터의 상기 적어도 1차원 방향에 따른 소정 거리에 대응하는 각 화소의 화소값이 상기 적어도 1차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여 상기 화상 데이터를 근사시킴으로써, 상기 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수를 생성하는 것을 특징으로 하는 신호 처리 장치.
6. 제3항에 있어서,

   상기 실세계 추정 수단에 의해 생성된 상기 제2 함수를 상기 적어도 1차원 방향의 원하는 단위로 적분함으로써 원하는 크기의 화소에 대응하는 화소값을 생성하는 화소값 생성 수단을 추가로 포함하는 것을 특징으로 하는 신호 처리 장치.
7. 제6항에 있어서,

   상기 화소값 생성 수단은, 상기 제2 함수를 상기 적어도 1차원 방향의 상기 각 화소에 대응하는 단위로 적분함으로써 화소값을 생성하고,

   상기 화소값 생성 수단에 의해 생성된 화소값과, 상기 화상 데이터를 구성하는 복수개 화소의 화소값과의 차분값을 검출하고, 상기 차분값에 따라 상기 제2 함수를 선택적으로 출력하는 출력 수단을 추가로 포함하는 것을 특징으로 하는 신호 처리 장치.
8. 제3항에 있어서,

   상기 실세계 추정 수단은, 상기 데이터 정상성 검출 수단에 의해 검출된 상기 데이터의 정상성에 대응하여, 상기 화상 데이터의 시공간 방향 중 적어도 2차원 방향의 위치에 대응하는 상기 화소의 화소값이 상기 적어도 2차원 방향의 적분 효과에 의해 취득된 화소값인 것으로 하여 상기 화상 데이터를 다항식으로 근사시킴으로써, 상기 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수를 생성하는 것을 특징으로 하는 신호 처리 장치.
9. 제8항에 있어서,

   상기 실세계 추정 수단은, 상기 정상성 검출 수단에 의해 검출된 상기 데이터의 정상성에 대응하는 기준점으로부터의 상기 적어도 2차원 방향에 따른 소정 거리에 대응하는 상기 화소의 상기 화소값이 상기 적어도 2차원 방향의 적분 효과에 의해 취득된 상기 화소값인 것으로 하여 상기 화상 데이터를 다항식으로 근사시킴으로써, 상기 현실 세계의 광 신호를 나타내는 제1 함수를 근사시키는 제2 함수를 생성하는 것을 특징으로 하는 신호 처리 장치.
10. 제8항에 있어서,

    상기 실세계 추정 수단에 의해 생성된 상기 제2 함수를 상기 적어도 2차원 방향의 원하는 단위로 적분함으로써 원하는 크기의 화소에 대응하는 화소값을 생성하는 화소값 생성 수단을 추가로 포함하는 것을 특징으로 하는 신호 처리 장치.
11. 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 상기 현실 세계 신호의 정상성의 일부가 결락된, 상기 제1 차원보다 적은 제2 차원의 제2 신호에 대하여, 결락된 상기 현실 세계 신호의 정상성에 대응하는 데이터의 정상성을 검출하는 데이터 정상성 검출 스텝과,

    상기 데이터 정상성 검출 스텝에서 검출된 상기 데이터의 정상성에 따라, 결락된 상기 현실 세계 신호의 정상성을 추정함으로써 상기 제1 신호를 추정하는 실세계 추정 스텝

    을 포함하는 신호 처리 방법.
12. 제1 차원을 가지는 현실 세계의 신호인 제1 신호가 투영되고, 상기 현실 세계 신호의 정상성의 일부가 결락된, 상기 제1 차원보다 적은 제2 차원의 제2 신호에 대하여, 결락된 상기 현실 세계 신호의 정상성에 대응하는 데이터의 정상성을 검출하는 데이터 정상성 검출 스텝과,

    상기 데이터 정상성 검출 스텝에서 검출된 상기 데이터의 정상성에 따라, 결락된 상기 현실 세계 신호의 정상성을 추정함으로써 상기 제1 신호를 추정하는 실세계 추정 스텝

    을 컴퓨터로 하여금 실행하게 하는 프로그램.