KR101023451B1 - 화상 처리 장치 및 방법, 학습 장치 및 방법, 기록 매체,및 프로그램 - Google Patents

화상 처리 장치 및 방법, 학습 장치 및 방법, 기록 매체,및 프로그램 Download PDF

Info

Publication number
KR101023451B1
KR101023451B1 KR1020057016028A KR20057016028A KR101023451B1 KR 101023451 B1 KR101023451 B1 KR 101023451B1 KR 1020057016028 A KR1020057016028 A KR 1020057016028A KR 20057016028 A KR20057016028 A KR 20057016028A KR 101023451 B1 KR101023451 B1 KR 101023451B1
Authority
KR
South Korea
Prior art keywords
pixel
interest
image data
normality
pixels
Prior art date
Application number
KR1020057016028A
Other languages
English (en)
Other versions
KR20050104412A (ko
Inventor
데쓰지로 곤도
다카시 사와오
준이치 이시바시
다카히로 나가노
나오키 후지와라
도루 미야케
세이지 와다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20050104412A publication Critical patent/KR20050104412A/ko
Application granted granted Critical
Publication of KR101023451B1 publication Critical patent/KR101023451B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명에서는, 입력 화상을 입력 화상 데이터보다 고화질인 고화질 화상 데이터로 변환할 때, 데이터의 정상성을 이용하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있다. 클래스탭 추출부(902) 및 예측탭 추출부(906)는, 데이터 정상성 검출부(901)에서 검출된, 주목 화소에 대응하는 입력 화상의 복수의 주변 화소의 데이터의 정상성에 따라 클래스탭 및 예측탭을 추출한다. 화상합성부(909)는, 적분 특성 판정부(908)에서 검출된, 화소치 예측부(907)에서 클래스탭 및 예측탭을 이용하여 예측된 제1 주목 화소의 제1 예측치와 제1 주목 화소에 시간적 또는 공간적으로 인접하는 제2 주목 화소의 제2 예측치와, 적어도 제1 주목 화소와 제2 주목 화소를 시간 방향 또는 공간 방향에 대하여 포함하는 위치에 배치되는 입력 화상의 대응 화소의 화소치와의 관계에 따라, 제1 예측치 및 제2 예측치를 선택적으로 출력한다.
화상, 화질, 데이터, 클래스탭, 클래스, 추출, 검출, 주목 화소, 적분 특성

Description

화상 처리 장치 및 방법, 학습 장치 및 방법, 기록 매체, 및 프로그램{IMAGE PROCESSING DEVICE AND METHOD, LEARNING DEVICE AND METHOD, RECORDING MEDIUM, AND PROGRAM}
본 발명은, 화상 처리 장치 및 방법, 학습 장치 및 방법, 기록 매체, 및 프로그램에 관한 것으로, 특히, 보다 고해상도의 화상을 창조하는 화상 처리 장치 및 방법, 학습 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이다.
본 출원인은, 예를 들면, 화상의 화질 등의 향상 외의 화상의 변환을 행하는 화상 처리로서, 클래스 분류 적응 처리를, 먼저 제안하고 있다.
클래스 분류 적응 처리는, 클래스 분류 처리와 적응 처리로 이루어지고, 클래스 분류 처리에 의하여, 화상의 데이터를, 그 성질에 따라 클래스 분류하고, 각 클래스마다 적응 처리를 실시하는 것이며, 적응 처리란, 다음과 같은 방법의 처리이다.
즉, 적응 처리에서는, 예를 들면, 저화질 또는 표준화질의 화상[이하, 적절하게, SD(Standard Definition) 화상이라고 함]이, 소정의 탭 계수(이하, 적절하게, 예측 계수라고도 함)를 이용하여 매핑(mapping)(사상)되는 것에 의해, 고화질의 화상[이하, 적절하게, HD(High Definition) 화상이라고 함]으로 변환된다.
현재, 이 탭 계수를 이용한 매핑 방법으로서, 예를 들면, 선형(線形) 일차 결합모델을 채용하는 것으로 하면, HD 화상을 구성하는 화소(이하, 적절하게, HD 화소라고 함)(의 화소치) y는, SD 화상을 구성하는 화소(이하, 적절하게, SD 화소라고 함)로부터, HD 화소를 예측하기 위한 예측 탭으로서 추출되는 복수의 SD 화소와, 탭 계수를 이용하여, 다음 선형 일차 식(선형 결합)에 의해서 구해진다.
Figure 112005047590059-pct00001
···(1)
단, 식(1)에 있어서, xn은, HD 화소 y에 대한 예측 탭을 구성하는 n 번째의 SD 화상의 화소의 화소치를 나타내고, wn은, n 번째의 SD 화소(의 화소치)와 곱해지는 n 번째의 탭 계수를 나타낸다. 또, 식(1)에서는, 예측 탭이, N 개의 SD 화소 x1, x2, ···, xN으로 구성되는 것으로 되어 있다.
여기에서, HD 화소의 화소치 y는, 식(1)에 나타낸 선형 일차 식에서는 아니고, 2차 이상의 고차의 식에 의해서 구하도록 하는 것도 가능하다.
지금, 제k 샘플의 HD 화소의 화소치의 실제값을 yk로 나타내는 동시에, 식(1)에 의해서 얻어지는 그 실제값 yk의 예측치를 yk'로 나타내면, 그 예측오차 ek는, 다음 식으로 표시된다.
Figure 112005047590059-pct00002
···(2)
식(2)의 예측치 yk'는, 식(1)에 따라서 구해지기 때문에, 식(2)의 yk'를, 식(1)에 따라서 치환하면, 다음 식이 얻어진다.
Figure 112005047590059-pct00003
···(3)
단, 식(3)에 있어서, xn,k는, 제k 샘플의 HD 화소에 대한 예측 탭을 구성하는 n 번째의 SD 화소를 나타낸다.
식(3)의 예측오차 ek를 0으로 하는 탭 계수 wn이, HD 화소를 예측하는 데 최적의 것이 되지만, 모든 HD 화소에 대하여, 그와 같은 탭 계수 wn을 구하는 것은, 일반적으로 곤란하다.
따라서, 탭 계수 wn이 최적의 것을 나타내는 규범으로서, 예를 들면, 최소 제곱법을 채용하는 것으로 하면, 최적의 탭 계수 wn은, 통계적인 오차로서의, 예를 들면, 다음 식으로 나타내어지는 제곱오차의 총계 E를 최소로 함으로써 구할 수 있다.
Figure 112005047590059-pct00004
···(4)
단, 식(4)에 있어서, K는, HD 화소 yk와, 그 HD 화소 yk에 대한 예측 탭을 구성하는 SD 화소 x1,k, x2,k, ···, xN,k의 세트의 샘플수를 나타낸다.
식(4)의 제곱오차의 총계 E를 최소(극소)로 하는 탭 계수 wn은, 그 총계 E를 탭 계수 wn으로 편미분한 것을 0으로 한 것이며, 따라서, 다음 식을 만족시킬 필요가 있다.
Figure 112005047590059-pct00005
··(5)
따라서, 전술한 식(3)을 탭 계수 wn으로 편미분하면, 다음 식이 얻어진다.
Figure 112005047590059-pct00006
··(6)
식(5)과 식(6)으로부터, 다음 식이 얻어진다.
Figure 112005047590059-pct00007
···(7)
식(7)의 ek에, 식(3)을 대입함으로써, 식(7)은, 식(8)에 나타내는 정규방정식으로 나타낼 수 있다.
Figure 112005047590059-pct00008
···(8)
식(8)의 정규방정식은, HD 화소 yk와 SD 화소 xn,k의 세트를, 어느 정도의 수만 준비함으로써, 구해야되는 탭 계수 wn의 수와 동일한 수만큼 정할 수 있고, 따라서, 식(8)을 푸는 것으로[단, 식(8)을 해제하기 위해서는, 식(8)에 있어서, 탭 계수 wn에 이러한 좌변의 행렬이 정칙일 필요가 있음], 최적의 탭 계수 wn을 구할 수 있다. 또, 식(8)을 푸는데 있어서, 예를 들면, 소출법(掃出法)(Gauss-Jordan의 소거법) 등을 채용하는 것이 가능하다.
이상과 같이, 다수의 HD 화소 y1, y2, ···, yK를, 탭 계수의 학습의 교사가 되는 교사 데이터로 하는 동시에, 각 HD 화소 yk에 대한 예측 탭을 구성하는 SD 화소 x1,k, x2,k, ···, xN,k를, 탭 계수의 학습의 학생이 되는 학생 데이터로서, 식(8)을 푸는 것으로, 최적의 탭 계수 wn을 구하는 학습을 행하고 있고, 또한, 그 탭 계수 wn을 이용하고, 식(1)에 의해, SD 화상을, HD 화상으로 매핑(변환)하는 것이 적응 처리이다.
이하, 탭 계수는, 예측 계수라고도 한다.
또, 적응 처리는, SD 화상에는 포함되어 있지 않지만, HD 화상에 포함되는 성분이 재현되는 점에서, 예를 들면, 단순한 보간(補間) 처리 등과는 상이하다. 즉, 적응 처리에서는, 식(1)만을 보는 한은, 이른바 보간필터를 이용한 보간 처리와 동일하지만, 그 보간필터의 탭 계수에 상당하는 탭 계수 wn가, 교사 데이터로서 의 HD 화상과 학생 데이터로서의 SD 화상을 이용한 학습에 의해 구해지기 때문에, HD 화상에 포함되는 성분을 재현할 수 있다. 이로부터, 적응 처리는, 말하자면 화상의 창조(해상도 상상) 작용이 있는 처리라고 할 수 있다.
여기에서, 탭 계수 wn의 학습에서는, 교사 데이터 y와 학생 데이터 x의 조합으로서, 어떠한 것을 채용하는지에 따라, 각종 변환을 행하는 탭 계수 wn을 구할 수 있다.
즉, 예를 들면, 교사 데이터 y로서, HD 화상을 채용하는 동시에, 학생 데이터 x로서, 그 HD 화상에 노이즈나 흐릿함을 부가한 SD 화상을 채용한 경우에는, 화상을, 그 노이즈나 흐릿함을 제거한 화상으로 변환하는 탭 계수 wn을 얻을 수 있다. 또, 예를 들면, 교사 데이터 y로서, HD 화상을 채용하는 동시에, 학생 데이터 x로서, 그 HD 화상의 해상도를 열화(劣化)시킨 SD 화상을 채용한 경우에는, 화상을, 그 해상도를 향상시킨 화상으로 변환하는 탭 계수 wn을 얻을 수 있다. 또한, 예를 들면, 교사 데이터 y로서, 화상을 채용하는 동시에, 학생 데이터 x로서, 그 화상을 DCT(Discrete Cosine Transform) 변환한 DCT 계수를 채용한 경우에는, DCT 계수를 화상으로 변환하는 탭 계수 wn을 얻을 수 있다.
다음에, 클래스 분류 적응 처리를 실행하는, 종래의 화상 처리 장치의 구성을 설명한다.
도 1은 클래스 분류 적응 처리에 의해, SD 화상인 입력 화상으로부터, HD 화 상인 출력 화상을 창조하는, 종래의 화상 처리 장치의 구성을 설명하는 블록도이다.
도 1에 구성을 나타내는 화상 처리 장치에 있어서, 입력 화상은 클래스탭 추출부(11) 및 예측탭 추출부(15)에 공급된다.
클래스탭 추출부(11)는, 주목(注目)하고 있는 화소(이하, "주목 화소"라고도 한다)에 대응하는 소정의 화소인 클래스탭을 입력 화상으로부터 추출하고, 추출한 클래스탭을 입력 화상과 함께 특징량 검출부(12)에 공급한다. 특징량 검출부(12)는, 클래스탭 추출부(11)를 통하여 공급된 입력 화상으로부터, 주목 화소에 대응하는 화상의 특징량을 검출하여, 클래스탭과 함께 검출한 특징량을 클래스 분류부(13)에 공급한다. 화상의 특징량은 움직임, 또는 프레임내의 화소치의 변화 등을 말한다.
클래스 분류부(13)는, 특징량 검출부(12)로부터 공급된 클래스탭 및 특징량을 기초로, 주목 화소를 클래스 분류하고, 클래스 분류의 결과를 나타내는 클래스 코드를 계수 메모리(14) 및 예측탭 추출부(15)에 공급한다.
계수 메모리(14)는, 클래스 분류부(13)로부터 공급된 클래스 코드를 기초로, 주목 화소의 클래스에 대응하는 탭 계수를 화소치 연산부(16)에 공급한다.
예측탭 추출부(15)는, 클래스 분류부(13)로부터 공급된 클래스 코드를 기초로, 주목 화소에 대응하여, 소정의 예측 탭을 입력 화상으로부터 추출한다. 예측탭 추출부(15)는, 추출한 예측 탭을 화소치 연산부(16)에 공급한다.
화소치 예측부(16)는, 예측탭 추출부(15)로부터 공급된 예측탭 및 계수 메모 리(14)로부터 공급된 탭 계수로부터, 식(1)에 나타내는 연산에 의해, HD 화상의 주목 화소의 화소치를 예측한다. 화소치 예측부(16)는, HD 화상의 모든 화소를 순차 주목 화소로서 예측된 화소치로 이루어지는 HD 화상을 출력한다.
도 2는 클래스 분류 적응 처리에 의해, SD 화상인 입력 화상으로부터, HD 화상인 출력 화상을 창조하는, 종래의 화상 처리 장치에 의한 화상의 창조의 처리를 설명하는 플로차트이다.
단계 S11에 있어서, 클래스탭 추출부(11)는, SD 화상인 입력 화상으로부터, 선택된 주목 화소에 대응하는 클래스탭을 추출한다. 단계 S12에 있어서, 특징량 검출부(12)는, 입력 화상으로부터, 주목 화소에 대응하는 특징량을 검출한다.
단계 S13에 있어서, 클래스 분류부(13)는, 단계 S11의 처리에 의해 추출된 클래스탭, 및 단계 S12의 처리에 의해 검출된 특징량을 기초로, 주목 화소의 클래스를 분류한다.
단계 S14에 있어서, 예측탭 추출부(15)는, 단계 S13의 처리에 의한 클래스의 분류의 결과에 대응하여, 입력 화상으로부터, 주목 화소에 대응하는 예측 탭을 추출한다. 단계 S15에 있어서, 계수 메모리(14)는, 단계 S13의 처리에 의한 클래스의 분류의 결과에 대응하여, 미리 기억하고 있는 예측 계수 중에서, 분류된 클래스에 대응하는 예측 계수를 판독한다.
단계 S16에 있어서, 화소치 예측부(16)는, 단계 S14의 처리로 추출된 예측 탭, 및 단계 S15의 처리로 판독된 예측 계수를 기초로, 적응 처리에 의해 주목 화소에 대응하는 화소치를 예측한다.
단계 S17에 있어서, 화상 처리 장치는, 모든 화소에 대하여 예측이 종료하였는지 여부를 판정하여, 모든 화소에 대하여 예측이 종료하지 않았다고 판정된 경우, 다음 화소를 주목 화소로서, 단계 S11로 리턴하고, 클래스의 분류 및 적응의 처리를 반복한다.
단계 S17에 있어서, 모든 화소에 대하여 예측이 종료되었다고 판정된 경우, 처리는 종료된다.
도 3은 SD 화상인 입력 화상으로부터 HD 화상인 출력 화상을 창조하는 클래스 분류 적응 처리에 사용되는 예측 계수를 생성하는, 종래의 화상 처리 장치의 구성을 설명하는 블록도이다.
도 3에 나타내는 화상 처리 장치에 입력되는 입력 화상은, HD 화상인 교사 화상이며, 학생 화상 생성부(31) 및 교사 화소 추출부(38)에 공급된다. 교사 화상에 포함되는 화소(의 화소치)는, 교사 데이터로서 사용된다.
학생 화상 생성부(31)는, 입력된 HD 화상인 교사 화상으로부터, 화소를 솎아내어, 교사 화상에 대응하는 SD 화상인 학생 화상을 생성하고, 생성된 학생 화상을 화상메모리(32)에 공급한다.
화상메모리(32)는, 학생 화상 생성부(31)로부터 공급된 SD 화상인 학생 화상을 기억하고, 기억하고 있는 학생 화상을 클래스탭 추출부(33) 및 예측탭 추출부(36)에 공급한다.
클래스탭 추출부(33)는, 주목 화소를 순차 선택하고, 선택된 주목 화소에 대응하여 학생 화상으로부터 클래스탭을 추출하고, 학생 화상과 함께 추출된 클래스 탭을 특징량 검출부(34)에 공급한다. 특징량 검출부(34)는, 주목 화소에 대응하여, 학생 화상으로부터 특징량을 검출하고, 검출된 특징량을 클래스탭과 함께 클래스 분류부(35)에 공급한다.
클래스 분류부(35)는, 특징량 검출부(34)로부터 공급된 클래스탭 및 특징량을 기초로, 주목 화소의 클래스를 분류하고, 분류된 클래스를 나타내는 클래스 코드를 예측탭 추출부(36) 및 학습메모리(39)에 공급한다.
예측탭 추출부(36)는, 클래스 분류부(35)로부터 공급된 클래스 코드를 기초로, 화상메모리(32)로부터 공급된 학생 화상으로부터, 분류된 클래스에 대응하는 예측 탭을 추출하여, 추출된 예측 탭을 더하기 연산부(37)에 공급한다.
교사 화소 추출부(38)는, 교사 데이터, 즉, 교사 화상의 주목 화소를 추출하여, 추출된 교사 데이터를 더하기 연산부(37)에 공급한다.
더하기 연산부(37)는, 식(8)의 정규방정식에, HD 화소인 교사 데이터 및 SD 화소인 예측 탭을 더하고, 교사 데이터 및 예측 탭을 더한 정규방정식을 학습메모리(39)에 공급한다.
학습메모리(39)는, 클래스 분류부(35)로부터 공급된 클래스 코드를 기초로, 더하기 연산부(37)로부터 공급된 정규방정식을 클래스마다 기억한다. 학습메모리(39)는, 클래스마다 기억하고 있는, 교사 데이터 및 예측 탭이 더해진 정규방정식을 정규방정식 연산부(40)에 공급한다.
정규방정식 연산부(40)는, 학습메모리(39)로부터 공급된 정규방정식을 소출법에 의해 풀어, 클래스마다 예측 계수를 구한다. 정규방정식 연산부(40)는, 클래 스마다 예측 계수를 계수 메모리(41)에 공급한다.
계수 메모리(41)는, 정규방정식 연산부(40)로부터 공급된 클래스마다 예측 계수를 기억한다.
도 4는 SD 화상인 입력 화상으로부터 HD 화상인 출력 화상을 창조하는 클래스 분류 적응 처리에 사용되는 예측 계수를 생성하는, 종래의 화상 처리 장치에 의한 학습의 처리를 설명하는 플로차트이다.
단계 S31에 있어서, 학생 화상 생성부(31)는, 교사 화상인 입력 화상으로부터 학생 화상을 생성한다. 단계 S32에 있어서, 클래스탭 추출부(33)는, 주목 화소를 순차 선택하고, 선택된 주목 화소에 대응하는 클래스탭을 학생 화상으로부터 추출한다.
단계 S33에 있어서, 특징량 검출부(34)는, 학생 화상으로부터, 주목 화소에 대응하는 특징량을 검출한다. 단계 S34에 있어서, 클래스 분류부(35)는, 단계 S32의 처리에 의해 추출된 클래스탭, 및 단계 S33의 처리에 의해 검출된 특징량을 기초로, 주목 화소의 클래스를 분류한다.
단계 S35에 있어서, 예측탭 추출부(36)는, 단계 S34의 처리에 의해 분류된 클래스를 기초로, 주목 화소에 대응하는 예측 탭을 학생 화상으로부터 추출한다.
단계 S36에 있어서, 교사 화소 추출부(38)는, 교사 화상인 입력 화상으로부터 주목 화소, 즉 교사 화소(교사 데이터)를 추출한다.
단계 S37에 있어서, 더하기 연산부(37)는, 단계 S35의 처리로 추출된 예측 탭, 및 단계 S36의 처리로 추출된 교사 화소(교사 데이터)를 정규방정식에 더한 연 산을 실행한다.
단계 S38에 있어서, 화상 처리 장치는, 교사 화상의 전체 화소에 대하여 더하기의 의 처리가 종료되었는지 여부를 판정하고, 전체 화소에 대하여 더하기의 처리가 종료되지 않았다고 판정된 경우, 단계 S32로 리턴하고, 아직 주목 화소로 되어 있지 않은 화소를 주목 화소로서, 예측탭 및 교사 화소를 추출하여, 정규방정식에 더한 처리를 반복한다.
단계 S38에 있어서, 교사 화상의 전체 화소에 대하여 더하기의 처리가 종료되었다고 판정된 경우, 단계 S39로 진행하고, 정규방정식 연산부(40)는, 예측탭 및 교사 화소가 더해진 정규방정식을 연산하여, 예측 계수를 구한다.
단계 S40에 있어서, 화상 처리 장치는, 전체 클래스의 예측 계수를 연산하였는지 여부를 판정하고, 전체 클래스의 예측 계수를 연산하지 않았다고 판정된 경우, 단계 S39로 리턴하고, 정규방정식을 연산하여, 예측 계수를 구하는 처리를 반복한다.
단계 S40에 있어서, 전체 클래스의 예측 계수를 연산했다고 판정된 경우, 처리는 종료된다.
또, 일본 특개평 9-74543호 공보에 있어서, 입력 화상의 레벨분포 패턴에 따라, 입력 화상을 클래스 분류할 뿐만 아니라, 입력 화상의 움직임에 따라, 입력 화상을 클래스 분류하여, 클래스 코드를 발생하고 있는 것이 개시되어 있다.
그러나, 화상 데이터의 데이터의 정상성(定常性)을 고려한 화상 처리는 지금까지 고려되어 있지 않았다.
본 발명은 이러한 상황을 감안하여 이루어진 것으로, 데이터의 정상성을 이용하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있도록 하는 것을 목적으로 한다.
본 발명의 화상 처리 장치는, 고화질 화상 데이터 내의 제1 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제1 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제1 정상성을 검출하고, 제1 주목 화소에 시간적 또는 공간적으로 인접하는 고화질 화상 데이터 내의 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제2 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제2 정상성을 검출하는 화상 데이터 정상성 검출 수단과, 화상 데이터 정상성 검출 수단에 의해 검출된 화상 데이터의 제1 정상성에 따라, 제1 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하여고, 화상 데이터 정상성 검출 수단에 의해 검출된 화상 데이터의 제2 정상성에 따라, 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제4 주변 화소를 추출하는 제1 추출 수단과, 화상 데이터 정상성 검출 수단에 의해 검출된 화상 데이터의 제1 정상성에 따라, 제1 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제5 주변 화소를 추출하고, 화상 데이터 정상성 검출 수단에 의해 검출된 화상 데이터의 제2 정상성에 따라, 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제6 주변 화소를 추출하는 제2 추출 수단과, 제1 추출 수단에 의해 추출된 복수의 제3 주변 화소의 제1 특징량을 검출하고, 제1 추출 수단에 의해 추출된 복수의 제4 주변 화소의 제2 특징량을 검출하는 제1 특징량 검출 수단과, 제1 특징량 검출 수단에 의해 검출된 제1 특징량에 따라, 제2 추출 수단에 의해 추출된 복수의 제5 주변 화소로부터 제1 주목 화소를 예측하고, 제1 특징량 검출 수단에 의해 검출된 제2 특징량에 따라, 제2 추출 수단에 의해 추출된 복수의 제6 주변 화소로부터 제2 주목 화소를 예측하고, 제1 주목 화소의 제1 예측치 및 제2 주목 화소의 제2 예측치를 출력하는 제1 예측 수단과, 제1 예측 수단에 의해 예측된 제1 주목 화소의 제1 예측치와, 제1 예측 수단에 의해 예측된 제2 주목 화소의 제2 예측치와, 적어도 제1 주목 화소와 제2 주목 화소를 시간 방향 또는 공간 방향에 대하여 포함하는 위치에 배치되는 입력 화상 데이터 내의 대응 화소의 화소치와의 관계를 검출하고, 검출 결과에 따라서 제1 예측 수단으로부터 출력되는 제1 주목 화소의 제1 예측치 및 제2 주목 화소의 제2 예측치를 선택적으로 출력하는 선택 출력 수단을 포함하는 것을 특징으로 한다.
화상 처리 장치는, 고화질 화상 데이터 내의 제1 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제7 주변 화소를 추출하고, 고화질 화상 데이터 내의 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제8 주변 화소를 추출하는 제3 추출 수단과, 제1 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제9 주변 화소를 추출하고, 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제10 주변 화소를 추출하는 제4 추출 수단과, 제3 추출 수단에 의해 추출된 복수의 제7 주변 화소의 제3 특징량을 검출하고, 제3 추출 수단에 의해 추출된 복수의 제8 주변 화소의 제4 특징량을 검출하는 제2 특징량 검출 수단과, 제2 특징량 검출 수단에 의해 검출된 제3 특징량에 따라, 제4 추출 수단에 의해 추출된 복수의 제9 주변 화소로부터 제1 주목 화소를 예측하고, 제2 특징량 검출 수단에 의해 검출된 제4 특징량에 따라, 제4 추출 수단에 의해 추출된 복수의 제10 주변 화소로부터 제2 주목 화소를 예측하고, 제1 주목 화소의 제3 예측치 및 제2 주목 화소의 제4 예측치를 출력하는 제2 예측 수단을 추가로 설치하고, 선택 출력 수단은, 제1 예측 수단에 의해 예측된 제1 주목 화소의 제1 예측치와, 제1 예측 수단에 의해 예측된 제2 주목 화소의 제2 예측치와, 입력 화상 데이터의 대응 화소의 화소치와의 관계를 검출하고, 검출 결과에 따라서 제1 예측치와 제2 예측치로 이루어지는 예측치의 제1 쌍 및 제3 예측치와 제4 예측치로 이루어지는 예측치의 제2 쌍 중 어느 하나 한 쌍을 선택적으로 출력하도록 할 수 있다.
선택 출력 수단은, 대응 화소의 화소치로부터, 제1 주목 화소의 제1 예측치 및 제2 주목 화소의 제2 예측치를 뺄셈한 결과의 절대치가, 소정의 임계값 미만일 때, 제1 예측치와 제2 예측치로 이루어지는 예측치의 제1 쌍을 선택적으로 출력하도록 할 수 있다.
본 발명의 화상 처리 방법은, 고화질 화상 데이터 내의 제1 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제1 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제1 정상성을 검출하고, 제1 주목 화소에 시간적 또는 공간적으로 인접하는 고화질 화상 데이터 내의 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제2 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제2 정상성을 검출하는 화상 데이터 정상성 검출 단계와, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 제1 정상성에 따라, 제1 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하고, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 제2 정상성에 따라, 제2 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제4 주변 화소를 추출하는 제1 추출 단계와, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 제1 정상성에 따라, 제1 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제5 주변 화소를 추출하고, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 제2 정상성에 따라, 제2 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제6 주변 화소를 추출하는 제2 추출 단계와, 제1 추출 단계에 있어서 추출된 복수의 제3 주변 화소의 제1 특징량을 검출하고, 제1 추출 단계에 있어서 추출된 복수의 제4 주변 화소의 제2 특징량을 검출하는 특징량 검출 단계와, 특징량 검출 단계에 있어서 검출된 제1 특징량에 따라, 제2 추출 단계에 있어서 추출된 복수의 제5 주변 화소로부터 제1 주목 화소를 예측하고, 특징량 검출 단계에 있어서 검출된 제2 특징량에 따라, 제2 추출 단계에 있어서 추출된 복수의 제6 주변 화소로부터 제2 주목 화소를 예측하고, 제1 주목 화소의 제1 예측치 및 제2 주목 화소의 제2 예측치를 출력하는 예측 단계와, 예측 단계에 있어서 예측된 제1 주목 화소의 제1 예측치와, 예측 단계에 있어서 예측된 제2 주목 화소의 제2 예측치와, 적어도 제1 주목 화소와 제2 주목 화소를 시간 방향 또는 공간 방향에 대하여 포함하는 위치에 배치되는 입력 화상 데이터 내의 대응 화소의 화소치와의 관계를 검출하고, 검출 결과에 따라서 제1 주목 화소의 제1 예측치 및 제2 주목 화소의 제2 예측치를 선택적으로 출력하는 선택 출력 단계를 포함하는 것을 특징으로 한다.
본 발명의 제1 기록 매체의 프로그램은, 고화질 화상 데이터 내의 제1 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제1 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제1 정상성을 검출하고, 제1 주목 화소에 시간적 또는 공간적으로 인접하는 고화질 화상 데이터 내의 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제2 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제2 정상성을 검출하는 화상 데이터 정상성 검출 단계와, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 제1 정상성에 따라, 제1 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하고, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 제2 정상성에 따라, 제2 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제4 주변 화소를 추출하는 제1 추출 단계와, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 제1 정상성에 따라, 제1 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제5 주변 화소를 추출하고, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 제2 정상성에 따라, 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제6 주변 화소를 추출하는 제2 추출 단계와, 제1 추출 단계에 있어서 추출된 복수의 제3 주변 화소의 제1 특징량을 검출하고, 제1 추출 단계에 있어서 추출된 복수의 제4 주변 화소의 제2 특징량을 검출하는 특징량 검출 단계와, 특징량 검출 단계에 있어서 검출된 제1 특징량에 따라, 제2 추출 단계에 있어서 추출된 복수의 제5 주변 화소로부터 제1 주목 화소를 예측하고, 특징량 검출 단계에 있어서 검출된 제2 특징량에 따라, 제2 추출 단계에 있어서 추출된 복수의 제6 주변 화소로부터 제2 주목 화소를 예측하고, 제1 주목 화소의 제1 예측치 및 제2 주목 화소의 제2 예측치를 출력하는 예측 단계와, 예측 단계에 있어서 예측된 제1 주목 화소의 제1 예측치와, 예측 단계에 있어서 예측된 제2 주목 화소의 제2 예측치와, 적어도 제1 주목 화소와 제2 주목 화소를 시간 방향 또는 공간 방향에 대하여 포함하는 위치에 배치되는 입력 화상 데이터 내의 대응 화소의 화소치와의 관계를 검출하고, 검출 결과에 따라서 제1 주목 화소의 제1 예측치 및 제2 주목 화소의 제2 예측치를 선택적으로 출력하는 선택 출력 단계를 포함하는 것을 특징으로 한다.
본 발명의 제1 프로그램은, 컴퓨터에, 고화질 화상 데이터 내의 제1 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제1 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제1 정상성을 검출하고, 제1 주목 화소에 시간적 또는 공간적으로 인접하는 고화질 화상 데이터 내의 제2 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제2 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제2 정상성을 검출하는 화상 데이터 정상성 검출 단계와, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 제1 정상성에 따라, 제1 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하고, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 제2 정상성에 따라, 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제4 주변 화소를 추출하는 제1 추출 단계와, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 제1 정상성에 따라, 제1 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제5 주변 화소를 추출하여, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 제2 정상성에 따라, 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제6 주변 화소를 추출하는 제2 추출 단계와, 제1 추출 단계에 있어서 추출된 복수의 제3 주변 화소의 제1 특징량을 검출하고, 제1 추출 단계에 있어서 추출된 복수의 제4 주변 화소의 제2 특징량을 검출하는 특징량 검출 단계와, 특징량 검출 단계에 있어서 검출된 제1 특징량에 따라, 제2 추출 단계에 있어서 추출된 복수의 제5 주변 화소로부터 제1 주목 화소를 예측하고, 특징량 검출 단계에 있어서 검출된 제2 특징량에 따라, 제2 추출 단계에 있어서 추출된 복수의 제6 주변 화소로부터 제2 주목 화소를 예측하고, 제1 주목 화소의 제1 예측치 및 제2 주목 화소의 제2 예측치를 출력하는 예측 단계와, 예측 단계에 있어서 예측된 제1 주목 화소의 제1 예측치와, 예측 단계에 있어서 예측된 제2 주목 화소의 제2 예측치와, 적어도 제1 주목 화소와 제2 주목 화소를 시간 방향 또는 공간 방향에 대하여 포함하는 위치에 배치되는 입력 화상 데이터 내의 대응 화소의 화소치와의 관계를 검출하고, 검출 결과에 따라서 제1 주목 화소의 제1 예측치 및 제2 주목 화소의 제2 예측치를 선택적으로 출력하는 선택 출력 단계를 실행시키는 것을 특징으로 한다.
본 발명의 학습 장치는, 고화질 화상 데이터 내의 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제1 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 수단과, 화상 데이터 정상성 검출 수단에 의해 검출된 화상 데이터의 정상성에 따라, 고화질 화상 데이터 내의 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제2 주변 화소를 추출하는 제1 추출 수단과, 화상 데이터 정상성 검출 수단에 의해 검출된 화상 데이터의 정상성에 따라, 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하는 제2 추출 수단과, 제1 추출 수단에 의해 추출된 복수의 제2 주변 화소의 특징량을 검출하는 특징량 검출 수단과, 특징량 검출 수단에 의해 검출된 특징량마다, 제2 추출 수단에 의해 추출된 복수의 제3 주변 화소로부터 주목 화소를 예측하기 위한 예측 수단을 학습하는 학습 수단을 포함하는 것을 특징으로 한다.
본 발명의 학습 방법은, 고화질 화상 데이터 내의 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제1 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 단계와, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 정상성에 따라, 고화질 화상 데이터 내의 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제2 주변 화소를 추출하는 제1 추출 단계와, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 정상성에 따라, 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하는 제2 추출 단계와, 제1 추출 단계에 있어서 추출된 복수의 제2 주변 화소의 특징량을 검출하는 특징량 검출 단계와, 특징량 검출 단계에 있어서 검출된 특징량마다, 제2 추출 단계에 있어서 추출된 복수의 제3 주변 화소로부터 주목 화소를 예측하기 위한 예측 수단을 학습하는 학습 단계를 포함하는 것을 특징으로 한다.
본 발명의 제2 기록 매체의 프로그램은, 고화질 화상 데이터 내의 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제1 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 단계와, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 정상성에 따라, 고화질 화상 데이터 내의 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제2 주변 화소를 추출하는 제1 추출 단계와, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 정상성에 따라, 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하는 제2 추출 단계와, 제1 추출 단계에 있어서 추출된 복수의 제2 주변 화소의 특징량을 검출하는 특징량 검출 단계와, 특징량 검출 단계에 있어서 검출된 특징량마다, 제2 추출 단계에 있어서 추출된 복수의 제3 주변 화소로부터 주목 화소를 예측하기 위한 예측 수단을 학습하는 학습 단계를 포함하는 것을 특징으로 한다.
본 발명의 제2 프로그램은, 컴퓨터에, 고화질 화상 데이터 내의 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제1 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 단계와, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 정상성에 따라, 고화질 화상 데이터 내의 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제2 주변 화소를 추출하는 제1 추출 단계와, 화상 데이터 정상성 검출 단계에 있어서 검출된 화상 데이터의 정상성에 따라, 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하는 제2 추출 단계와, 제1 추출 단계에 있어서 추출된 복수의 제2 주변 화소의 특징량을 검출하는 특징량 검출 단계와, 특징량 검출 단계에 있어서 검출된 특징량마다, 제2 추출 단계에 있어서 추출된 복수의 제3 주변 화소로부터 주목 화소를 예측하기 위한 예측 수단을 학습하는 학습 단계를 실행시키는 것을 특징으로 한다.
화상 처리 장치는, 독립한 장치이어도 되고, 화상 처리를 행하는 블록이어도 된다.
학습 장치는, 독립한 장치이어도 되고, 학습의 처리를 행하는 블록이어도 된다.
고화질 화상 데이터 내의 제1 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제1 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제1 정상성이 검출되고, 제1 주목 화소에 시간적 또는 공간적으로 인접하는 고화질 화상 데이터 내의 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제2 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제2 정상성이 검출되고, 검출된 화상 데이터의 제1 정상성에 따라, 제1 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제3 주변 화소가 추출되고, 검출된 화상 데이터의 제2 정상성에 따라, 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제4 주변 화소가 추출되고, 검출된 화상 데이터의 제1 정상성에 따라, 제1 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제5 주변 화소가 추출되고, 검출된 화상 데이터의 제2 정상성에 따라, 제2 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제6 주변 화소가 추출되고, 추출된 복수의 제3 주변 화소의 제1 특징량이 검출되고, 추출된 복수의 제4 주변 화소의 제2 특징량이 검출되고, 검출된 제1 특징량에 따라, 추출된 복수의 제5 주변 화소로부터 제1 주목 화소가 예측되고, 검출된 제2 특징량에 따라, 추출된 복수의 제6 주변 화소로부터 제2 주목 화소가 예측되고, 제1 주목 화소의 제1 예측치 및 제2 주목 화소의 제2 예측치가 출력되고, 예측된 제1 주목 화소의 제1 예측치와, 예측된 제2 주목 화소의 제2 예측치와, 적어도 제1 주목 화소와 제2 주목 화소를 시간 방향 또는 공간 방향에 대하여 포함하는 위치에 배치되는 입력 화상 데이터 내의 대응 화소의 화소치와의 관계가 검출되고, 검출 결과에 따라서 제1 주목 화소의 제1 예측치 및 제2 주목 화소의 제2 예측치가 선택적으로 출력된다.
고화질 화상 데이터 내의 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제1 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성이 검출되고, 검출된 화상 데이터의 정상성에 따라, 고화질 화상 데이터 내의 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제2 주변 화소가 추출되고, 검출된 화상 데이터의 정상성에 따라, 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제3 주변 화소가 추출되고, 추출된 복수의 제2 주변 화소의 특징량이 검출되고, 검출된 특징량마다, 추출된 복수의 제3 주변 화소로부터 주목 화소를 예측하기 위한 예측 수단이 학습된다.
도 1은 종래의 화상 처리 장치의 구성을 설명하는 블록도이다
도 2는 종래의 화상 창조의 처리를 설명하는 플로차트이다.
도 3은 예측 계수를 생성하는, 종래의 화상 처리 장치의 구성을 설명하는 블록도이다.
도 4는 종래의 학습 처리를 설명하는 플로차트이다.
도 5는 본 발명에 따른 화상 처리 장치의 일 실시예의 구성을 나타내는 블록도이다.
도 6은 보다 고해상도의 출력 화상을 창조하는 화상 창조 처리를 설명하는 플로차트이다.
도 7은 이미지 센서 상의 화소 배치의 예를 설명하는 도면이다.
도 8은 CCD인 검출 소자의 동작을 설명하는 도면이다.
도 9는 화소 D 내지 화소 F에 대응하는 검출 소자에 입사되는 광과, 화소치의 관계를 설명하는 도면이다.
도 10은 시간의 경과와, 하나의 화소에 대응하는 검출 소자에 입사되는 광과, 화소치와의 관계를 설명하는 도면이다.
도 11은 실세계의 선형의 물체 화상의 예를 나타내는 도면이다.
도 12는 실제의 촬상에 의해 얻어진 화상 데이터의 화소치의 예를 나타내는 도면이다.
도 13은 화상 데이터의 개략도이다.
도 14는 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계의 화상의 예를 나타내는 도면이다.
도 15는 실제의 촬상에 의해 얻어진 화상 데이터의 화소치가 예를 나타내는 도면이다.
도 16은 화상 데이터의 개략도이다.
도 17은 데이터 정상성 검출부의 구성을 나타내는 블록도이다.
도 18은 데이터의 정상성을 가지는 입력 화상에서의 액티비티를 설명하는 도면이다.
도 19는 액티비티를 검출하기 위한 블록을 설명하는 도면이다.
도 20은 액티비티에 대한 데이터의 정상성의 각도를 설명하는 도면이다.
도 21은 데이터 정상성 검출부의 보다 상세한 구성을 나타내는 블록도이다.
도 22는 화소의 쌍을 설명하는 도면이다.
도 23은 화소의 쌍의 위치와 데이터의 정상성의 각도의 관계를 설명하는 도면이다.
도 24는 데이터의 정상성의 검출 처리를 설명하는 플로차트이다.
도 25는 시간 방향 및 공간 방향의 데이터의 정상성의 각도를 검출할 때, 추출되는 화소의 쌍을 도시한 도면이다.
도 26은 데이터 정상성 검출부의 보다 상세한 다른 구성을 나타내는 블록도이다.
도 27은 설정된 직선의 각도의 범위에 따른 수의 화소로 이루어지는 화소의 쌍을 설명하는 도면이다.
도 28은 설정된 직선의 각도의 범위를 설명하는 도면이다.
도 29는 설정된 직선의 각도 범위와, 화소의 쌍의 수, 및 화소의 쌍마다의 화소의 수를 설명하는 도면이다.
도 30은 화소의 쌍의 수 및 화소의 쌍마다의 화소의 수를 설명하는 도면이다.
도 31은 화소의 쌍의 수 및 화소의 쌍마다의 화소의 수를 설명하는 도면이다.
도 32는 화소의 쌍의 수 및 화소의 쌍마다으 화소의 수를 설명하는 도면이다.
도 33은 화소의 쌍의 수 및 화소의 쌍마다의 화소의 수를 설명하는 도면이다.
도 34는 화소의 쌍의 수 및 화소의 쌍마다의 화소의 수를 설명하는 도면이다.
도 35는 화소의 쌍의 수 및 화소의 쌍마다의 화소의 수를 설명하는 도면이다.
도 36은 화소의 쌍의 수 및 화소의 쌍마다의 화소의 수를 설명하는 도면이다.
도 37은 화소의 쌍의 수 및 화소의 쌍마다의 화소의 수를 설명하는 도면이다.
도 38은 데이터의 정상성의 검출 처리를 설명하는 플로차트이다.
도 39는 데이터 정상성 검출부의 또 다른 구성을 나타내는 블록도이다.
도 40은 데이터 정상성 검출부의 보다 상세한 구성을 나타내는 블록도이다.
도 41은 블록의 예를 설명하는 도면이다.
도 42는 주목 블록과 참조 블록의, 화소치의 차이분의 절대치의 산출 처리를 설명하는 도면이다.
도 43은 주목 화소의 주변의 화소의 위치와, 각도(θ)를 가지는 직선과의 공간 방향 X의 거리를 설명하는 도면이다.
도 44는 시프트량(γ)와 각도(θ)의 관계를 도시한 도면이다.
도 45는 시프트량(γ)에 대한, 주목 화소의 주변의 화소의 위치와, 주목 화소를 통과하고, 각도(θ)를 가지는 직선과의 공간 방향 X의 거리를 도시한 도면이다.
도 46은 주목 화소를 통과하고, 공간 방향 X의 축에 대하여 각도(θ)의 직선과의 거리가 최소의 참조 블록을 도시한 도면이다.
도 47은 검출하는 데이터의 정상성의 각도의 범위를 1/2로 하는 처리를 설명하는 도면이다.
도 48은 데이터의 정상성의 검출 처리를 설명하는 플로차트이다.
도 49는 사이 방향 및 공간 방향의 데이터의 정상성의 각도를 검출할 때, 추출되는 블록을 도시한 도면이다.
도 50은 입력 화상의 컴포넌트 신호를 기초로, 데이터의 정상성의 검출의 처리를 실행하는 데이터 정상성 검출부의 구성을 나타내는 블록도이다.
도 51은 입력 화상의 컴포넌트 신호를 기초로, 데이터의 정상성의 검출의 처리를 실행하는 데이터 정상성 검출부의 구성을 나타내는 블록도이다.
도 52는 데이터 정상성 검출부의 또 다른 구성을 나타내는 블록도이다.
도 53은 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 설명하는 도면이다.
도 54는 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 설명하는 도면이다.
도 55는 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 설명하는 도면이다.
도 56은 입력 화상에서의, 화소의 공간 방향의 위치에 대한, 화소치의 변화와, 회귀 직선과의 관계를 도시한 도면이다.
도 57은 회귀 직선(A)과, 예를 들면, 기준축인 공간 방향(X)을 나타내는 축의 각도를 설명하는 도면이다.
도 58은 영역의 예를 나타내는 도면이다.
도 59는 도 52에 구성이 도시되는 데이터 정상성 검출부에 의한, 데이터의 정상성의 검출의 처리를 설명하는 플로차트이다.
도 60은 본 발명을 적용한 세선, 또는, 2치 에지의 각도를 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 구성을 나타내는 블록도이다.
도 61은 데이터 정상성 정보의 검출 방법을 설명하는 도면이다.
도 62는 데이터 정상성 정보의 검출 방법을 설명하는 도면이다.
도 63은 도 60의 데이터 정상성 검출부의 보다 상세한 구성을 도시한 도면이다.
도 64는 수평·수직판정 처리를 설명하는 도면이다.
도 65는 수평·수직판정 처리를 설명하는 도면이다.
도 66a는 현실 세계의 세선과 센서에 의해 촬상되는 세선의 관계를 설명하는 도면이다.
도 66b는 현실 세계의 세선과 센서에 의해 촬상되는 세선의 관계를 설명하는 도면이다.
도 66c는 현실 세계의 세선과 센서에 의해 촬상되는 세선의 관계를 설명하는 도면이다.
도 67a는 현실 세계의 화상의 세선과 배경의 관계를 설명하는 도면이다.
도 67b는 현실 세계의 화상의 세선과 배경의 관계를 설명하는 도면이다.
도 68a는 센서에 의해 촬상된 화상의 세선과 배경의 관계를 설명하는 도면이다.
도 68b는 센서에 의해 촬상된 화상의 세선과 배경의 관계를 설명하는 도면이다.
도 69a는 센서에 의해 촬상된 화상의 세선과 배경의 관계의 예를 설명하는 도면이다.
도 69b는 센서에 의해 촬상된 화상의 세선과 배경의 관계의 예를 설명하는 도면이다.
도 70a는 현실 세계의 화상의 세선과 배경의 관계를 설명하는 도면이다.
도 70b는 현실 세계의 화상의 세선과 배경의 관계를 설명하는 도면이다.
도 71a는 센서에 의해 촬상된 화상의 세선과 배경의 관계를 설명하는 도면이다.
도 71b는 센서에 의해 촬상된 화상의 세선과 배경의 관계를 설명하는 도면이다.
도 72a는 센서에 의해 촬상된 화상의 세선과 배경의 관계의 예를 설명하는 도면이다.
도 72b는 센서에 의해 촬상된 화상의 세선과 배경의 관계의 예를 설명하는 도면이다.
도 73은 세선의 각도를 구하기 위한 모델을 도시한 도면이다.
도 74는 세선의 각도를 구하기 위한 모델을 도시한 도면이다.
도 75a는 주목 화소에 대응하는 다이내믹 레인지 블록의 화소치의 최대치와 최소치를 설명하는 도면이다.
도 75b는 주목 화소에 대응하는 다이내믹 레인지 블록의 화소치의 최대치와 최소치를 설명하는 도면이다.
도 76a는 세선의 각도를 구하는 방법을 설명하는 도면이다.
도 76b는 세선의 각도를 구하는 방법을 설명하는 도면이다.
도 76c는 세선의 각도를 구하는 방법을 설명하는 도면이다.
도 77은 세선의 각도를 구하는 방법을 설명하는 도면이다.
도 78은 추출 블록과 다이내믹 레인지 블록을 설명하는 도면이다.
도 79는 최소 제곱법의 해법을 설명하는 도면이다.
도 80은 최소 제곱법의 해법을 설명하는 도면이다.
도 81a는 2치 에지를 설명하는 도면이다.
도 81b는 2치 에지를 설명하는 도면이다.
도 81c는 2치 에지를 설명하는 도면이다.
도 82a는 센서에 의해 촬상된 화상의 2치 에지를 설명하는 도면이다.
도 82b는 센서에 의해 촬상된 화상의 2치 에지를 설명하는 도면이다.
도 83a는 센서에 의해 촬상된 화상의 2치 에지의 예를 설명하는 도면이다.
도 83b는 센서에 의해 촬상된 화상의 2치 에지의 예를 설명하는 도면이다.
도 84a는 센서에 의해 촬상된 화상의 2치 에지를 설명하는 도면이다.
도 84b는 센서에 의해 촬상된 화상의 2치 에지를 설명하는 도면이다.
도 85는 2치 에지의 각도를 구하기 위한 모델을 도시한 도면이다.
도 86a는 2치 에지의 각도를 구하는 방법을 설명하는 도면이다.
도 86b는 2치 에지의 각도를 구하는 방법을 설명하는 도면이다.
도 86c는 2치 에지의 각도를 구하는 방법을 설명하는 도면이다.
도 87은 2치 에지의 각도를 구하는 방법을 설명하는 도면이다.
도 88은 세선, 또는 2치 에지의 각도를 데이터 정상성과 검출하는 처리를 설명하는 플로차트이다.
도 89는 데이터 추출 처리를 설명하는 플로차트이다.
도 90은 정규방정식에의 더하기 처리를 설명하는 플로차트이다.
도 91a는 본 발명을 적용하여 구한 세선의 기울기와, 상관을 이용하여 구한 세선의 각도를 비교하는 도면이다.
도 91b는 본 발명을 적용하여 구한 세선의 기울기와, 상관을 이용하여 구한 세선의 각도를 비교하는 도면이다.
도 92a는 본 발명을 적용하여 구한 2치 에지의 기울기와, 상관을 이용하여 구한 세선의 각도를 비교하는 도면이다.
도 92b는 본 발명을 적용하여 구한 2치 에지의 기울기와, 상관을 이용하여 구한 세선의 각도를 비교하는 도면이다.
도 93은 본 발명을 적용한 혼합비를 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부의 구성을 나타내는 블록도이다.
도 94a는 혼합비를 구하는 방법을 설명하는 도면이다.
도 94b는 혼합비를 구하는 방법을 설명하는 도면이다.
도 94c는 혼합비를 구하는 방법을 설명하는 도면이다.
도 95는 혼합비를 데이터 정상성과 검출하는 처리를 설명하는 플로차트이다.
도 96은 정규방정식에의 더하기 처리를 설명하는 플로차트이다.
도 97a는 세선의 혼합비의 분포예를 나타내는 도면이다.
도 97b는 세선의 혼합비의 분포예를 나타내는 도면이다.
도 98a는 2치 에지의 혼합비의 분포예를 나타내는 도면이다.
도 98b는 2치 에지의 혼합비의 분포예를 나타내는 도면이다.
도 99는 혼합비의 직선근사를 설명하는 도면이다.
도 100a는 물체의 움직임을 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.
도 100b는 물체의 움직임을 데이터 정상성 정보로서 구하다 방법을 설명하는 도면이다.
도 101a는 물체의 움직임을 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.
도 101b는 물체의 움직임을 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.
도 102a는 물체의 움직임에 의한 혼합비를 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.
도 102b는 물체의 움직임에 의한 혼합비를 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.
도 102c는 물체의 움직임에 의한 혼합비를 데이터 정상성 정보로서 구하는 방법을 설명하는 도면이다.
도 103은 물체의 움직임에 의한 혼합비를 데이터 정상성 정보로서 구할 때의 혼합비의 직선근사를 설명하는 도면이다.
도 104는 종래의 클래스탭의 추출의 처리를 설명하는 도면이다.
도 105는 본 발명에 관한 화상 처리 장치에서의 클래스탭의 추출의 처리를 설명하는 도면이다.
도 106은 데이터의 정상성에 기초하는, 클래스탭으로서 추출되는 화소의 위치의 결정을 설명하는 도면이다.
도 107은 데이터의 정상성에 기초하는, 클래스탭으로서 추출되는 화소의 위치의 결정을 설명하는 도면이다.
도 108은 본 발명에 관한 화상 처리 장치에서의 클래스탭의 추출의 처리를 설명하는 도면이다.
도 109는 입력 화상이 예를 나타내는 도면이다.
도 110은 입력 화상의 원인이 된 화상을 도시한 도면이다.
도 111은 종래의 클래스 분류 적응 처리에 의해 생성된 화상을 도시한 도면이다.
도 112는 대응 화소와 중심 화소가 항상 동일하게 되도록 한 경우에, 생성된 화상을 도시한 도면이다.
도 113은 본 발명에 관한 화상 처리 장치에 의해 생성된 화상을 도시한 도면이다.
도 114는 입력 화상의 예를 나타내는 도면이다.
도 115는 입력 화상이 원인이 된 화상을 도시한 도면이다.
도 116은 종래의 클래스 분류 적응 처리에 의해 생성된 화상을 도시한 도면이다.
도 117은 대응 화소와 중심 화소가 항상 동일하게 되도록 한 경우에, 생성된 화상을 도시한 도면이다.
도 118은 본 발명에 관한 화상 처리 장치에 의해 생성된 화상을 도시한 도면이다.
도 119는 본 발명에 관한 학습 장치의 일 실시예의 구성을 나타내는 블록도이다.
도 120은 학습처리를 설명하는 플로차트이다.
도 121은 본 발명에 관한 화상 처리 장치의 일 실시예의 다른 구성을 나타내는 블록도이다.
도 122는 주목 화소를 설명하는 도면이다.
도 123은 이미지 센서에 설치되어 있는 화소의 배치, 및 수평배밀 화상의 화소에 대응하는 영역을 설명하는 도면이다.
도 124는 영역 a 내지 r에 입사되는 광에 대응하는 화소의 화소치를 설명하는 도면이다.
도 125는 식(53)의 관계가 성립되지 않는, 화소치 예측부에 의한 예측치를 포함하는 출력 화상의 예를 나타내는 도면이다.
도 126은 식(53)의 관계가 성립되지 않는, 화소치 예측부에 의한 예측치를, 화소치 예측부에 의한 예측치로 치환한 출력 화상의 예를 나타내는 도면이다.
도 127은 화상의 창조의 처리를 설명하는 플로차트이다.
도 128은 시간배밀 화상을 창조하는 경우에서의, 주목 화소를 설명하는 도면이다.
도 129는 주목 화소 y(1)과, 주목 화소 y(2)와, 주목 화소 y(1) 및 주목 화소 y(2)를 시간 방향으로 포함하는 대응 화소 x(5)와의 관계에 대하여 설명하는 도면이 다.
도 130은 학습 장치의 일 실시예의 구성을 나타내는 블록도이다.
도 131은 학습처리를 설명하는 플로차트이다.
도 132는 퍼스널 컴퓨터의 구성의 예를 나타내는 블록도이다.
도 5는 본 발명에 따른 화상 처리 장치의 일 실시예의 구성을 나타내는 블록도이다. 도 5에 구성을 나타내는 화상 처리 장치는, 입력 화상을 취득하고, 입력된 입력 화상에 대하여, 화면의 수평 방향으로 2배 및 수직 방향으로 2배의 해상도의 화상을 창조하여 출력한다.
도 5에 나타내는 화상 처리 장치에서는, 예를 들면, 입력 화상의 일례인 SD 화상이 입력되고, 입력된 SD 화상으로부터 데이터의 정상성이 검출되고, 검출된 데이터의 정상성을 기초로, SD 화상에 대하여, 클래스 분류 적응 처리가 실시됨으로써, HD 화상이 창조된다. 데이터의 정상성에 대해서는, 후술한다.
즉, 이 화상 처리 장치는, 데이터 정상성 검출부(101), 클래스탭 추출부(102), 특징량 검출부(103), 클래스 분류부(104), 계수 메모리(105), 예측탭 추출부(106), 및 화소치 예측부(107)로 구성된다.
화상 처리 장치에 입력된 공간 해상도의 창조의 대상이 되는 입력 화상은, 데이터 정상성 검출부(101), 클래스탭 추출부(102), 특징량 검출부(103), 및 예측탭 추출부(106)에 공급된다.
데이터 정상성 검출부(101)는, 입력 화상으로부터 데이터의 정상성을 검출하 여, 검출된 정상성을 나타내는 데이터 정상성 정보를 클래스탭 추출부(102) 및 예측탭 추출부(106)에 공급한다. 데이터 정상성 정보는, 예를 들면, 데이터의 정상성을 가지는 화소의 영역의 방향(시간 방향 및 공간 방향의 각도 또는 기울기)(이하, 데이터의 정상성의 방향이라고도 함)을 포함한다. 데이터 정상성 검출부(101)의 구성의 상세한 것은, 후술한다.
클래스탭 추출부(102)는, 클래스 분류 적응 처리에 의해 구하려고 하는 HD 화상의 HD 화소 중의 하나를, 순차적으로 주목 화소로 한다. 그리고, 클래스탭 추출부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 기인하여, 주목 화소에 대응하는 입력 화상의 복수의 주변 화소를 추출하고, 추출된 입력 화상의 복수의 주변 화소를 클래스탭으로 한다. 즉, 클래스탭 추출부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대한 클래스 분류에 이용되는 클래스탭을, 입력 화상으로부터 추출하고, 추출된 클래스탭을 특징량 검출부(103)에 출력한다.
예를 들면, 클래스탭 추출부(102)는, 데이터의 정상성에 따라, 주목 화소의 위치로부터 공간적 또는 시간적으로 가까운 위치에 있는 복수의 화소를, 입력된 입력 화상으로부터 추출함으로써 클래스탭으로 하고, 특징량 검출부(103)에 출력한다.
또, 데이터 정상성 검출부(101), 클래스탭 추출부(102), 및 예측탭 추출부(106)는, 각각의 내부의 전단에, 도시하지 않는 프레임 메모리를 내장하고, 화상 처리 장치에 입력된 SD 화상을, 예를 들면, 프레임(또는 필드) 단위로 일시기억한 다. 본 실시예에서는, 데이터 정상성 검출부(101), 클래스탭 추출부(102), 및 예측탭 추출부(106)는, 내장하고 있는 프레임 메모리에, 복수 프레임의 입력 화상을, 뱅크전환에 의해서 기억할 수 있도록 되어 있고, 이에 따라, 화상 처리 장치에 입력되는 입력 화상이 동화상이더라도, 그 처리를 실시간으로 행할 수 있도록 되어 있다.
이 경우, 데이터 정상성 검출부(101), 클래스탭 추출부(102), 및 예측탭 추출부(106)의 각각에 프레임 메모리를 설치함으로써, 데이터 정상성 검출부(101), 클래스탭 추출부(102), 및 예측탭 추출부(106)의 각각이, 요구하는 프레임을 바로 판독할 수 있게 되고, 보다 고속으로 처리를 실행할 수 있게 된다.
또, 화상 처리 장치는, 입력측에 하나의 프레임 메모리를 설치하고, 복수 프레임의 입력 화상을, 뱅크전환에 의해서 기억하고, 기억한 입력 화상을, 데이터 정상성 검출부(101), 클래스탭 추출부(102), 및 예측탭 추출부(106)에 공급하도록 할 수도 있다. 이 경우, 하나의 프레임 메모리로 족하고, 화상 처리 장치를 보다 간단한 구성으로 할 수 있다.
예를 들면, 클래스탭 추출부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대하여, 주목 화소의 위치로부터 가까운 가로×세로가 3×3개의 화소를 입력 화상으로부터 추출함으로써 클래스탭으로 한다.
이와 같이, 클래스탭 추출부(102)는, 추출된 클래스탭을, 특징량 검출부(103)에 공급한다.
특징량 검출부(103)는, 클래스탭 또는 입력 화상으로부터 특징량을 검출하여, 검출한 특징량을 클래스 분류부(104)에 공급한다.
예를 들면, 특징량 검출부(103)는, 클래스탭 또는 입력 화상을 기초로, 입력 화상의 화소의 움직임 벡터를 검출하여, 검출한 움직임벡터를 특징량으로서 클래스 분류부(104)에 공급한다. 또, 예를 들면, 특징량 검출부(103)는, 클래스탭 또는 입력 화상을 기초로, 클래스탭 또는 입력 화상의 복수의 화소의 화소치의 공간적 또는 시간적인 변화(액티비티)를 검출하여, 검출한 화소치의 변화를 특징량으로서 클래스 분류부(104)에 공급한다.
또한, 예를 들면, 특징량 검출부(103)는, 클래스탭 또는 입력 화상을 기초로, 클래스탭 또는 입력 화상의 복수의 화소의 화소치의 공간적인 변화의 기울기를 검출하여, 검출한 화소치의 변화의 기울기를 특징량으로서 클래스 분류부(104)에 공급한다.
또, 특징량으로서, 화소치의, 라플라시안(Laplacian), 소벨(sobel), 또는 분산 등을 채용할 수 있다.
특징량 검출부(103)는, 특징량과는 별도로, 클래스탭을 클래스 분류부(104)에 공급한다.
클래스 분류부(104)는, 특징량 검출부(103)로부터의 특징량 또는 클래스탭에 따라, 하나 이상의 클래스 중 어느 하나의 클래스에 주목 화소를 클래스 분류하고, 그 결과 얻어지는 주목 화소의 클래스에 대응하는 클래스 코드를, 계수 메모리(105)와 예측탭 추출부(106)에 공급한다. 예를 들면, 클래스 분류부(104)는, 클래 스탭 추출부(102)로부터의 클래스탭을, 1비트 ADRC(Adaptive Dynamic Range Coding) 처리하고, 그 결과 얻어지는 ADRC 코드를, 클래스 코드로 한다.
또, K 비트 ADRC 처리에서는, 클래스탭을 구성하는 입력 화상의 화소치의 최대치(MAX)와 최소치(MIN)가 검출되고, DR= MAX-MIN을, 국소적인 다이내믹 레인지로 하고, 이 다이내믹 레인지 DR에 따라, 클래스탭을 구성하는 화소치가 K 비트로 재양자화된다. 즉, 클래스탭을 구성하는 각 화소치로부터, 최소치(MIN)가 감산되고, 그 감산치가 DR/2K로 나눗셈(양자화)된다. 따라서, 클래스탭이, 1비트 ADRC 처리된 경우에는, 그 클래스탭을 구성하는 각 화소치는 1비트로 된다. 그리고, 이 경우, 이상과 같이 하여 얻어지는, 클래스탭을 구성하는 각 화소치에 대한 1비트의 값을, 소정의 순서대로 정렬시킨 비트열이, ADRC 코드로서 출력된다.
단, 클래스 분류는, 기타, 예를 들면, 클래스탭을 구성하는 화소치를, 벡터의 컴포넌트로 간주하고, 그 벡터를 벡터양자화하는 것 등에 의해 행하는 것도 가능하다. 또, 클래스 분류로는, 한 클래스의 클래스 분류를 행하는 것도 가능하다. 이 경우, 클래스 분류부(104)는, 어떠한 클래스탭이 공급되더라도, 고정의 클래스 코드를 출력하게 된다.
또, 예를 들면, 클래스 분류부(104)는, 특징량 검출부(103)로부터의 특징량을, 그대로 클래스 코드로 한다. 또한, 예를 들면, 클래스 분류부(104)는, 특징량 검출부(103)로부터의 복수의 특징량을, 직교변환하여, 얻어진 값을 클래스 코드로 한다.
예를 들면, 클래스 분류부(104)는, 클래스탭을 기초로 한 클래스 코드, 및 특징량을 기초로 한 클래스 코드를 결합하고(합성하고), 최종적인 클래스 코드를 생성하여, 최종적인 클래스 코드를 계수 메모리(105)와 예측탭 추출부(106)에 공급한다.
또, 클래스탭을 기초로 한 클래스 코드, 및 특징량을 기초로 한 클래스 코드 중 어느 한 쪽을, 최종적인 클래스 코드로 하도록 할 수도 있다.
계수 메모리(105)는, 학습의 교사로 되는, 출력 화상의 일례인 HD 화상의 HD 화소인 교사 데이터와, 학습의 학생으로 되는, 입력 화상의 일례인 SD 화상의 화소치인 학생 데이터의 관계를, 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수를 기억하고 있다. 그리고, 계수 메모리(105)는, 클래스 분류부(104)로부터 주목 화소의 클래스 코드가 공급되면, 그 클래스 코드에 대응하는 어드레스에 기억되어 있는 탭 계수를 판독함으로써, 주목 화소의 클래스의 탭 계수를 취득하고, 화소치 예측부(107)에 공급한다. 또, 계수 메모리(105)에 기억되는 탭 계수의 학습 방법에 대한 상세한 것은, 후술한다.
예측탭 추출부(106)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대응하는, 입력 화상의 복수의 주변 화소를 추출하고, 추출한 입력 화상의 복수의 주변 화소를 예측 탭으로 한다. 즉, 예측탭 추출부(106)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성 및 클래스 분류부(104)로부터 공급되는 클래스 코드를 기초로, 화소치 예측부(107)에 있어서 주목 화소(의 예측치)를 구하는데 이용되는 예측 탭을 입력 화상으로부터 추출하고, 추출한 예측 탭을 화소치 예측부(107)에 공급한다.
예를 들면, 예측탭 추출부(106)는, 데이터의 정상성에 따라, 주목 화소의 위치로부터 공간적 또는 시간적으로 가까운 위치에 있는 복수의 화소치를, 입력 화상으로부터 추출함으로써 예측 탭으로 하고, 화소치 예측부(107)에 공급한다. 예를 들면, 예측탭 추출부(106)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대하여, 주목 화소의 위치로부터 가까운 가로×세로가 3×3개의 화소를, 입력 화상으로부터 추출함으로써 예측 탭으로 한다.
또, 클래스탭으로 하는 화소치와, 예측 탭으로 하는 화소치는 동일해도 되고, 상이해도 된다. 즉, 클래스탭과 예측 탭은, 각각 독립적으로 구성(생성)하는 것이 가능하다. 또, 예측 탭으로 하는 화소치는, 클래스마다 상이해도 되고, 동일해도 된다.
또, 클래스탭이나 예측 탭의 탭구조는, 3×3개의 화소치에 한정되지 않는다.
화소치 예측부(107)는, 계수 메모리(105)로부터 공급되는, 주목 화소의 클래스에 대한 탭 계수 w1, w2, ···와, 예측탭 추출부(106)로부터의 예측 탭(을 구성하는 화소치) x1, x2, ···를 이용하여, 식(1)에 나타낸 적합연산을 행함으로써, 주목 화소 y(의 예측치)를 예측하여, 이것을, HD 화소의 화소치로 한다. 화소치 예측부(107)는, 이와 같이 연산된 화소치로 이루어지는 HD 화상을 출력 화상으로서 출력한다.
이상과 같이, 도 5에 구성을 나타내는 화상 처리 장치는, 입력된 입력 화상 에 대응하는 보다 고해상도의 출력 화상을 창조하여, 창조한 출력 화상을 출력할 수 있다.
다음에, 도 6의 플로차트를 참조하여, 도 5의 화상 처리 장치가 행하는, 입력 화상으로부터 보다 고해상도의 출력 화상을 창조하는 화상 창조 처리에 대하여 설명한다.
단계 S101에 있어서, 데이터 정상성 검출부(101)는, 정상성의 검출의 처리를 실행한다. 데이터 정상성 검출부(101)는, 입력 화상에 포함되어 있은 데이터의 정상성을 검출하여, 검출한 데이터의 정상성을 나타내는 데이터 정상성 정보를 클래스탭 추출부(102) 및 예측탭 추출부(106)에 공급한다. 예를 들면, 데이터 정상성 검출부(101)는, 입력 화상으로부터 데이터의 정상성의 방향을 검출한다.
여기에서, 데이터의 정상성, 데이터 정상성 검출부(101)의 구성, 및 데이터의 정상성의 추출의 처리에 대하여, 구체적으로 설명한다.
먼저, 센서에 의해서 사영(사영(射影))된 데이터인 입력 화상에 대하여 설명한다.
공간, 시간, 및 질량의 차원을 가지는 실세계의 사상(事象)(현상)은, 센서에 의해 취득되고, 데이터화된다. 실세계의 사상이란, 광(화상), 음성, 압력, 온도, 질량, 농도, 밝기/어두움, 또는 냄새 등을 말한다. 실세계의 사상은, 시공간방향으로 분포되고 있다. 예를 들면, 실세계의 화상은, 실세계의 광의 강도의 시공간방향의 분포이다.
센서에 주목하면, 공간, 시간, 및 질량의 차원을 가지는 실세계의 사상중, 센서가 취득가능한, 실세계의 사상이, 센서에 의해 데이터로 변환된다. 센서에 의해, 실세계의 사상을 나타내는 정보가 취득된다고도 할 수 있다.
즉, 센서는, 실세계의 사상을 나타내는 정보를, 데이터로 변환한다. 공간, 시간, 및 질량의 차원을 가지는 실세계의 사상(현상)을 나타내는 정보인 신호가 센서에 의해 취득되고, 데이터화된다고도 할 수 있다.
이하, 실세계에서의, 화상, 음성, 압력, 온도, 질량, 농도, 밝기/어두움, 또는 냄새 등의 사상의 분포를, 실세계의 사상을 나타내는 정보인 신호로도 칭한다. 또, 실세계의 사상을 나타내는 정보인 신호를, 단순히, 실세계의 신호로도 칭한다. 본 명세서에 있어서, 신호는, 현상 및 사상을 포함하고, 송신측에 의사가 없는 것도 포함하는 것으로 한다.
센서로부터 출력되는 데이터(검출 신호)는, 실세계의 사상을 나타내는 정보를, 실세계에 비교하여, 보다 낮은 차원의 시공간에 사영하여 얻어진 정보이다. 예를 들면, 동화상의 화상 데이터인 데이터는, 실세계의 3차원의 공간 방향 및 시간 방향의 화상이, 2차원의 공간 방향, 및 시간 방향으로 이루어지는 시공간에 사영되어 얻어진 정보이다. 또, 예를 들면, 데이터가 디지털 데이터일 때, 데이터는, 샘플링의 단위에 따라서, 뭉치고 있다. 데이터가 아날로그 데이터일 때, 데이터에 있어서, 다이내믹 레인지에 따라서, 정보가 압축되어 있거나, 또는 리미터(limiter) 등에 의해, 정보의 일부가 삭제되어 있다.
이와 같이, 소정의 차원을 가지는 실세계의 사상을 나타내는 정보인 신호를 데이터(검출 신호)에 사영함으로써, 실세계의 사상을 나타내는 정보의 일부가 드롭 아웃된다. 즉, 센서가 출력하는 데이터에 있어서, 실세계의 사상을 나타내는 정보의 일부가 드롭아웃되고 있다.
그러나, 사영에 의해 실세계의 사상을 나타내는 정보의 일부가 드롭아웃되고 있지만, 데이터는, 실세계의 사상(현상)을 나타내는 정보인 신호를 추정하기 위한 유의정보를 포함하고 있다.
본 발명에서는, 실세계의 정보인 신호를 추정하기 위한 유의정보로서, 데이터에 포함되는 정상성을 가지는 정보를 이용한다. 정상성은, 새로 정의하는 개념이다.
여기에서, 실세계에 주목하면, 실세계의 사상은, 소정 차원의 방향으로 일정한 특징을 포함한다. 예를 들면, 실세계의 물체(유체물)에 있어서, 공간 방향 또는 시간 방향으로, 형상, 모양, 또는 색채 등이 연속되거나, 또는 형상, 모양, 또는 색채 등의 패턴이 반복된다.
따라서, 실세계의 사상을 나타내는 정보에는, 소정의 차원의 방향으로 일정한 특징이 포함된다.
보다 구체적인 예를 들면, 실, 끈, 또는 로프 등의 선형의 물체는, 길이 방향의 임의의 위치에 있어서, 단면 형상이 동일하다고 하는 길이 방향, 즉 공간 방향으로 일정한 특징을 가진다. 길이 방향의 임의의 위치에 있어서, 단면 형상이 동일하다고 하는 공간 방향으로 일정한 특징은, 선형의 물체가 길다고 하는 특징으로부터 생긴다.
따라서, 선형의 물체의 화상은, 길이 방향의 임의의 위치에 있어서, 단면 형 상이 동일하다고 하는 길이 방향, 즉 공간 방향으로 일정한 특징을 가지고 있다.
또, 공간 방향으로 발산되는 유체물인, 단색의 물체는, 부위에 관계 없이, 동일한 색을 가지는 공간 방향으로 일정한 특징을 가지고 있다고 할 수 있다.
마찬가지로, 공간 방향으로 발산되는 유체물인, 단색의 물체의 화상은, 부위에 관계 없이, 동일한 색을 가지는 공간 방향으로 일정한 특징을 가지고 있다.
이와 같이, 실세계(현실 세계)의 사상은, 소정 차원의 방향으로 일정한 특징을 가지고 있기 때문에, 실세계의 신호는, 소정 차원의 방향으로 일정한 특징을 가진다.
본 명세서에 있어서, 이러한 소정 차원의 방향으로 일정한 특징을 정상성이라 칭한다. 실세계(현실 세계)의 신호의 정상성이란, 실세계(현실 세계)의 사상을 나타내는 신호가 가지고 있는, 소정의 차원의 방향으로 일정한 특징을 말한다.
실세계(현실 세계)에는, 이러한 정상성이 무수히 존재한다.
다음에, 데이터에 주목하면, 데이터는, 센서에 의해, 소정의 차원을 가지는 실세계의 사상을 나타내는 정보인 신호가 사영된 것이기 때문에, 실세계의 신호의 정상성에 대응하는 정상성을 포함하고 있다. 데이터는, 실세계의 신호의 정상성이 사영된 정상성을 포함하고 있다고도 할 수 있다.
그러나, 전술한 바와 같이, 센서가 출력하는 데이터에 있어서, 실세계의 정보의 일부가 드롭아웃되고 있기 때문에, 데이터로부터, 실세계(현실 세계)의 신호에 포함되는 정상성의 일부가 드롭아웃되어 버린다.
바꾸어 말하면, 데이터는, 데이터의 정상성으로서, 실세계(현실 세계)의 신 호의 정상성 중의, 일부의 정상성을 포함한다. 데이터의 정상성이란, 데이터가 가지고 있는, 소정의 차원의 방향으로 일정한 특징이다.
본 발명에서는, 실세계의 사상을 나타내는 정보인 신호를 추정하기 위한 유의정보로서, 데이터가 가지는, 데이터의 정상성이 이용된다.
또, 본 발명에서는, 실세계의 사상을 나타내는 정보인 신호의 차원의, 길이(공간), 시간, 및 질량 중, 공간 방향 또는 시간 방향의 정상성이 이용된다.
다음에, 도 7 내지 도 10을 참조하여, 화상의 공간적 시간적인 적분에 대하여 설명한다.
이미지 센서는, 현실 세계의 대상물(오브젝트)를 촬상하고, 촬상의 결과 얻어진 화상 데이터를 1프레임 단위로 출력한다. 즉, 이미지 센서는, 실세계의 대상물로 반사된 광인, 실세계의 신호를 취득하고, 데이터를 출력한다.
예를 들면, 이미지 센서는, 1초간에 30프레임으로 이루어지는 화상 데이터를 출력한다. 이 경우, 이미지 센서의 노광시간은, 1/ 30초로 할 수 있다. 노광시간은, 이미지 센서가 입사된 광의 전하에의 변환을 개시한 후, 입사된 광의 전하에의 변환을 종료하기까지의 기간이다. 이하, 노광시간을 셔터시간으로도 칭한다.
도 7은 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등의 이미지 센서상의 화소의 배치의 예를 설명하는 도면이다. 도 7에 있어, A 내지 I는, 개개의 화소를 나타낸다. 화소는, 화상 데이터에 의해 표시되는 화상에 대응하는 평면상에 배치되어 있다. 하나의 화소에 대응하는 하나의 검출 소자는, 이미지 센서상에 배치되어 있다. 이미지 센서가 실세계의 화 상을 촬상할 때, 하나의 검출 소자는, 화상 데이터를 구성하는 하나의 화소에 대응하는 하나의 화소치를 출력한다. 예를 들면, 검출 소자의 공간 방향 X의 위치(X 좌표)는, 화상 데이터에 의해 표시되는 화상상의 횡방향의 위치에 대응하고, 검출 소자의 공간 방향 Y의 위치(Y 좌표)는, 화상 데이터에 의해 표시되는 화상상의 종방향의 위치에 대응된다.
실세계의 광의 강도의 분포는, 3차원의 공간 방향 및 시간 방향으로 발산되지만, 이미지 센서는, 2차원의 공간 방향 및 시간 방향으로, 실세계의 광을 취득하고, 2차원의 공간 방향 및 시간 방향의 광의 강도의 분포를 표현하는 데이터를 생성한다.
도 8에 도시된 바와 같이, 예를 들면, CCD인 검출 소자는, 셔터시간에 대응하는 기간, 수광면(수광영역)(검출 영역)에 입력된 광을 전하로 변환하여, 변환된 전하를 축적한다. 광은, 3차원의 공간상의 위치, 및 시각에 의해, 강도가 결정되는 실세계의 정보(신호)이다. 실세계의 광의 강도의 분포는, 3차원의 공간상의 위치(x, y, z), 및 시각(t)을 변수로 한다
함수 F(x, y, z, t)로 나타낼 수 있다.
CCD인 검출 소자에 축적되는 전하의 양은, 2차원의 공간상의 발산되는 수광면의 전체에 입사된 광의 강도와, 광이 입사되어 있는 시간에 대략 비례한다. 검출 소자는, 셔터시간에 대응하는 기간에 있어서, 수광면의 전체에 입사된 광으로부터 변환된 전하를, 이미 축적되어 있는 전하에 더해간다. 즉, 검출 소자는, 셔터시간에 대응하는 기간, 2차원의 공간상의 발산되는 수광면의 전체에 입사되는 광을 적분하여, 적분된 광에 대응하는 양의 전하를 축적한다. 검출 소자는, 공간(수광면) 및 시간(셔터시간)에 대하여, 적분 효과가 있다고도 말할 수 가 있다.
검출 소자에 축적된 전하는, 도시하지 않은 회로에 의해, 전압치로 변환되고, 전압치는 또 디지털 데이터 등의 화소치로 변환되어, 데이터로서 출력된다. 따라서, 이미지 센서로부터 출력되는 개개의 화소치는, 실세계의 정보(신호)의 시간적 공간적으로 발산되는 부분을, 셔터시간의 시간 방향 및 검출 소자의 수광면의 공간 방향에 대하여 적분한 결과인, 1차원의 공간에 사영된 값을 가진다.
즉, 하나의 화소의 화소치는, F(x, y, t)의 적분으로 표시된다. F(x, y, t)는, 검출 소자의 수광면에서의, 광의 강도의 분포를 나타내는 함수이다. 예를 들면, 화소치 P는, 식(9)으로 표시된다.
Figure 112005047590059-pct00009
···(9)
식(9)에 있어서, x1은 검출 소자의 수광면의 좌측의 경계의 공간좌표(X 좌표)이다. x2는 검출 소자의 수광면의 우측의 경계의 공간좌표(X 좌표)이다. 식(9)에 있어서, y1은 검출 소자의 수광면의 상측의 경계의 공간좌표(Y 좌표)이다. y2는 검출 소자의 수광면의 하측의 경계의 공간좌표(Y 좌표)이다. 또, t1은 입사된 광의 전하로의 변환을 개시한 시각이다. t2는 입사된 광의 전하로의 변환을 종료한 시각이다.
또, 실제로는, 이미지 센서로부터 출력되는 화상 데이터의 화소치는, 예를 들면 프레임 전체로서, 그 게인(gain)이 보정되어 있다.
화상 데이터의 각 화소치는, 이미지 센서의 각 검출 소자의 수광면에 입사된 광의 적분치이며, 이미지 센서에 입사된 광 중, 검출 소자의 수광면보다도 미소한 실세계의 광의 파형은, 적분치로서의 화소치에 숨겨져 버린다.
이하, 본 명세서에 있어서, 소정의 차원을 기준으로 하여 표현되는 신호의 파형을 단순히 파형으로도 칭한다.
이와 같이, 실세계의 화상은, 화소를 단위로서, 공간 방향 및 시간 방향으로 적분되어 버리기 때문에, 화상 데이터에서는, 실세계의 화상의 정상성의 일부가 드롭아웃되고, 실세계의 화상의 정상성의 다른 일부만이 화상 데이터에 포함된다. 또는, 화상 데이터에는, 실세계의 화상의 정상성으로부터 변화되어 버린 정상성이 포함되는 것이 있다.
적분 효과를 가지는 이미지 센서에 의해 촬상된 화상의, 공간 방향의 적분 효과에 대하여 또 설명한다.
도 9는 화소 D 내지 화소 F에 대응하는 검출 소자에 입사되는 광과, 화소치의 관계를 설명하는 도면이다. 도 9의 F(x)는 공간상(검출 소자상)의 공간 방향 X의 좌표 x를 변수로 하는, 실세계의 광의 강도의 분포를 나타내는 함수의 예이다. 바꿔 말하면, F(x)는, 공간 방향 Y 및 시간 방향으로 일정한 경우의, 실세계의 광의 강도의 분포를 나타내는 함수의 예이다. 도 9에 있어서, L은, 화소 D 내지 화소 F에 대응하는 검출 소자의 수광면의 공간 방향 X의 길이를 나타낸다.
하나의 화소의 화소치는, F(x)의 적분으로 표시된다. 예를 들면, 화소 E의 화소치 P는, 식(10)으로 표시된다.
Figure 112005047590059-pct00010
···(10)
식(10)에 있어서, x1은 화소 E에 대응하는 검출 소자의 수광면의 좌측의 경계의 공간 방향 X의 공간좌표이다. x2는 화소 E에 대응하는 검출 소자의 수광면의 우측의 경계의 공간 방향 X의 공간좌표이다.
마찬가지로, 적분 효과를 가지는 이미지 센서에 의해 촬상된 화상의, 시간 방향의 적분 효과에 대하여 또 설명한다.
도 10은 시간의 경과와, 하나의 화소에 대응하는 검출 소자에 입사되는 광과, 화소치의 관계를 설명하는 도면이다. 도 10의 F(t)는, 시각(t)을 변수로 하는, 실세계의 광의 강도의 분포를 나타내는 함수이다. 바꿔 말하면, F(t)는, 공간 방향 Y 및 공간 방향 X에 일정한 경우의, 실세계의 광의 강도의 분포를 나타내는 함수의 예이다. ts는 셔터시간을 나타낸다.
프레임#n-1은 프레임#n에 대하여 시간적으로 전의 프레임이며, 프레임#n+1은 프레임#n에 대하여 시간적으로 후의 프레임이다. 즉, 프레임#n-1, 프레임#n, 및 프레임#n+1은, 프레임#n-1, 프레임#n, 및 프레임#n+1의 순서로 표시된다.
또, 도 10에 나타내는 예에 있어서, 셔터시간(ts)과 프레임 간격이 동일하다.
하나의 화소의 화소치는, F(t)의 적분으로 표시된다. 예를 들면, 프레임#n 의 화소의 화소치 P는, 식(11)로 표시된다.
Figure 112005047590059-pct00011
···(11)
식(11)에 있어서, t1은 입사된 광의 전하로의 변환을 개시한 시각이다. t2는 입사된 광의 전하로의 변환을 종료한 시각이다.
이하, 센서에 의한 공간 방향의 적분 효과를 단순히 공간 적분 효과라 칭하고, 센서에 의한 시간 방향의 적분 효과를 단순히 시간 적분 효과라 칭한다. 또, 공간 적분 효과 또는 시간 적분 효과를 단순히 적분 효과라고도 칭한다.
다음에, 적분 효과를 가지는 이미지 센서에 의해 취득된 데이터에 포함되는 데이터의 정상성의 예에 대하여 설명한다.
도 11은 실세계의 선형의 물체(예를 들면, 세선)의 화상, 즉 광의 강도의 분포의 예를 나타내는 도면이다. 도 11에 있어서, 도면 중의 상측의 위치는, 광의 강도(레벨)를 나타내고, 도면 중의 우측 상측의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중의 우측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다.
실세계의 선형의 물체의 화상에는, 소정의 정상성이 포함된다. 즉, 도 11에 나타내는 화상은, 길이 방향의 임의의 위치에 있어서, 단면 형상(길이 방향에 직교하는 방향의 위치의 변화에 대한 레벨의 변화)이 동일하다고 하는 정상성을 가진다.
도 12는 도 11에 나타내는 화상에 대응하는, 실제의 촬상에 의해 얻어진 화 상 데이터의 화소치의 예를 나타내는 도면이다.
도 13은 도 12에 나타내는 화상 데이터의 개략도이다.
도 13에 나타내는 개략도는, 이미지 센서의 화소의 배열(화소의 세로 또는 가로의 배열)과 어긋난 방향으로 연장되는, 각 화소의 수광면의 길이(L)보다도 짧은 직경의 선형의 물체의 화상을, 이미지 센서로 촬상하여 얻어진 화상 데이터의 개략도이다. 도 13에 나타내는 화상 데이터가 취득되었을 때에 이미지 센서에 입사된 화상은, 도 11의 실세계의 선형의 물체의 화상이다.
도 13에 있어서, 도면 중의 상측의 위치는, 화소치를 나타내고, 도면 중 우측 상측의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중의 우측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다. 도 13에서의 화소치를 나타내는 방향은, 도 11에서의 레벨의 방향에 대응하고, 도 13에서의 공간 방향 X, 및 공간 방향 Y는, 도 11에서의 방향과 동일하다.
각 화소의 수광면의 길이(L)보다도 짧은 직경의 선형의 물체의 화상을, 이미지 센서로 촬상한 경우, 촬상의 결과 얻어지는 화상 데이터에 있어서, 선형의 물체는 개략적으로, 예를 들면, 경사지게 어긋나 정렬되고, 복수의 소정 길이의 원호형상(어묵형)으로 표시된다. 각 원호형상은 대략 동일한 형상이다. 하나의 원호형상은, 세로로 1열의 화소의 위, 또는 옆에 1열의 화소 위에 형성된다. 예를 들면, 도 13에서의 하나의 원호형상은, 세로로 1열의 화소 위에 형성된다.
이와 같이, 예를 들면, 이미지 센서로 촬상되어 취득된 화상 데이터에서는, 실세계의 선형의 물체의 화상이 가지고 있었던, 길이 방향의 임의의 위치에 있어서, 공간 방향 Y에서의 단면 형상이 동일하다고 하는 정상성이 소실되어 있다. 또, 실세계의 선형의 물체의 화상이 가지고 있었던 정상성은, 세로로 1열의 화소의 위, 또는 옆에 1열의 화소 위에 형성된 동일한 형상인 원호형상이 일정한 간격으로 정렬된다고 하는 정상성으로 변화되어 있다고 할 수 있다.
도 14는 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계의 화상, 즉 광의 강도의 분포의 예를 나타내는 도면이다. 도 14에 있어서, 도면 중 상측의 위치는 광의 강도(레벨)를 나타내고, 도면 중 우측 상측의 위치는 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중의 우측의 위치는 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다.
배경과는 상이한 색의, 직선형의 에지를 가지는 물체의 실세계의 화상에는, 소정의 정상성이 포함된다. 즉, 도 14에 나타내는 화상은, 에지의 길이 방향의 임의의 위치에 있어서, 단면 형상(에지에 직교하는 방향의 위치의 변화에 대한 레벨의 변화)이 동일하다고 하는 정상성을 가진다.
도 15는 도 14에 나타내는 화상에 대응하는 실제의 촬상에 의해 얻어진 화상 데이터의 화소치의 예를 나타내는 도면이다. 도 15에 도시된 바와 같이, 화상 데이터는 화소를 단위로 한 화소치로 이루어지기 때문에, 계단형으로 된다.
도 16은 도 15에 나타내는 화상 데이터의 개략도이다.
도 16에 나타내는 개략도는, 이미지 센서의 화소의 배열(화소의 세로 또는 가로의 배열)과 어긋난 방향으로 에지가 연장되는, 배경과는 상이한 색으로서, 단 색의, 직선형의 에지를 가지는 물체의 실세계의 화상을, 이미지 센서로 촬상하여 얻어진 화상 데이터의 개략도이다. 도 16에 나타내는 화상 데이터가 취득되었을 때에 이미지 센서에 입사된 화상은, 도 14에 도시되는, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계의 화상이다.
도 16에 있어서, 도면 중 상측의 위치는, 화소치를 나타내고, 도면 중 우측 상측의 위치는, 화상의 공간 방향의 일방향인 공간 방향 X의 위치를 나타내고, 도면 중 우측의 위치는, 화상의 공간 방향의 다른 방향인 공간 방향 Y의 위치를 나타낸다. 도 16에서의 화소치를 나타내는 방향은, 도 14에서의 레벨의 방향에 대응하고, 도 16에서의 공간 방향 X, 및 공간 방향 Y는, 도 14에서의 방향과 동일하다.
배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계의 화상을, 이미지 센서로 촬상한 경우, 촬상의 결과 얻어지는 화상 데이터에 있어서, 직선형의 에지는, 개략적으로, 예를 들면, 경사지게 어긋나 정렬되는, 복수의 소정 길이의 폴(pawl) 형상으로 표시된다. 각 폴 형상은, 대략 동일 형상이다. 하나의 폴 형상은, 세로로 1열의 화소의 위, 또는 가로로 1열의 화소 위에 형성된다. 예를 들면, 도 16에 있어서, 하나의 폴 형상은, 세로로 1열의 화소 위에 형성된다.
이와 같이, 예를 들면, 이미지 센서로 촬상되어 취득된 화상 데이터에서는, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계의 화상이 가지고 있었던, 에지의 길이 방향의 임의의 위치에 있어서, 단면 형상이 동일하다고 하는 정상성이 소실되어 있다. 또, 배경과는 상이한 색으로서, 단색의, 직선 형의 에지를 가지는 물체의 실세계의 화상이 가지고 있었던 정상성은, 세로로 1열의 화소의 위, 또는 가로로 1열의 화소 위에 형성된, 동일 형상인 폴 형상이 일정한 간격으로 정렬된다고 하는 정상성으로 변화되어 있다고 할 수 있다.
데이터 정상성 검출부(101)는, 이러한, 예를 들면, 입력 화상인 데이터가 가지는 데이터의 정상성을 검출한다. 예를 들면, 데이터 정상성 검출부(101)는, 동일 원호형상의 배열방법 또는 동일 폴 형상의 배열방법을 나타내는, 공간 방향의 각도(기울기)를 검출함으로써, 데이터의 정상성을 검출한다.
또, 예를 들면, 데이터 정상성 검출부(101)는, 공간 방향 및 시간 방향의 동일한 형상의 배열방법을 나타내는, 공간 방향 및 시간 방향의 각도(움직임)를 검출함으로써, 데이터의 정상성을 검출한다.
이하, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계의 화상이 센서에 의해 사영된 데이터의 부분을 2치(値) 에지로도 칭한다.
도 17은 데이터 정상성 검출부(101)의 구성을 나타내는 블록도이다.
도 17에 구성을 나타내는 데이터 정상성 검출부(101)에서는, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향에 대한 화소치의 변화, 즉 입력 화상의 공간 방향의 액티비티가 검출되고, 검출된 액티비티에 따라서, 주목 화소 및 기준축을 기준으로 한 각도마다, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정 수의 화소로 이루어지는 화소의 쌍이, 복수 추출되고, 추출된 화소의 쌍의 상관(相關)이 검출되고, 상관에 따라, 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도가 검출된다.
데이터의 정상성의 각도란, 기준축과, 데이터가 가지고 있는, 일정한 특징이 반복 나타나는 소정의 차원의 방향이 이루는 각도를 말한다. 일정한 특징이 반복 나타난다는 것은, 예를 들면, 데이터에서의 위치의 변화에 대한 값의 변화, 즉 단면 형상이 동일한 경우 등을 말한다.
기준축은, 예를 들면, 공간 방향 X를 나타내는 축(화면의 수평 방향), 또는 공간 방향 Y를 나타내는 축(화면의 수직 방향) 등으로할 수 있다.
입력 화상은, 액티비티 검출부(401) 및 데이터 선택부(402)에 공급된다.
액티비티 검출부(401)는, 입력 화상의 공간 방향에 대한 화소치의 변화, 즉 공간 방향의 액티비티를 검출하여, 검출한 결과를 나타내는 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.
예를 들면, 액티비티 검출부(401)는, 화면의 수평 방향에 대한 화소치의 변화, 및 화면의 수직 방향에 대한 화소치의 변화를 검출하고, 검출된 수평 방향에 대한 화소치의 변화 및 수직 방향에 대한 화소치의 변화를 비교함으로써, 수직 방향에 대한 화소치의 변화와 비교하여, 수평 방향에 대한 화소치의 변화가 큰지, 또는 수평 방향에 대한 화소치의 변화와 비교하여, 수직 방향에 대한 화소치의 변화가 큰지를 검출한다.
액티비티 검출부(401)는, 검출의 결과인, 수직 방향에 대한 화소치의 변화와 비교하여, 수평 방향에 대한 화소치의 변화가 큰 것을 나타내는지, 또는 수평 방향에 대한 화소치의 변화와 비교하여, 수직 방향에 대한 화소치의 변화가 큰 것을 나타내는 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한 다.
수직 방향에 대한 화소치의 변화와 비교하여, 수평 방향에 대한 화소치의 변화가 큰 경우, 예를 들면, 도 18에 도시된 바와 같이, 수직 방향으로 1열의 화소에 원호형상(어묵형) 또는 폴 형상이 형성되고, 원호형상 또는 폴 형상이 수직에 보다 가까운 방향으로 반복하여 형성되어 있다. 즉, 수직 방향에 대한 화소치의 변화와 비교하여, 수평 방향에 대한 화소치의 변화가 큰 경우, 기준축을 공간 방향 X를 나타내는 축으로 하면, 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도는, 45도 내지 90도 중 어느 하나의 값이다.
수평 방향에 대한 화소치의 변화와 비교하여, 수직 방향에 대한 화소치의 변화가 큰 경우, 예를 들면, 수평 방향으로 1열의 화소에 원호형상 또는 폴 형상이 형성되고, 원호형상 또는 폴 형상이 수평 방향에 보다 가까운 방향으로 반복하여 형성되어 있다. 즉, 수평 방향에 대한 화소치의 변화와 비교하여, 수직 방향에 대한 화소치의 변화가 큰 경우, 기준축을 공간 방향 X를 나타내는 축으로 하면, 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도는, 0도 내지 45도 중 어느 하나의 값이다.
예를 들면, 액티비티 검출부(401)는, 도 19에 나타내는, 주목 화소를 중심으로한 3×3의 9개의 화소로 이루어지는 블록을 입력 화상으로부터 추출한다. 액티비티 검출부(401)는, 세로로 인접하는 화소에 대한 화소치의 차이분의 합, 및 가로로 인접하는 화소에 대한 화소치의 차이분의 합을 산출한다. 가로로 인접하는 화 소에 대한 화소치의 차이분의 합 hdiff는, 식(12)로 구해진다.
hdiff = ∑(Pi+1,j-Pi,j)···(12)
마찬가지로, 세로로 인접하는 화소에 대한 화소치의 차이분의 합 vdiff는, 식(13)으로 구해진다.
vdif f= ∑(Pi,j+1-Pi,j)···(13)
식(12) 및 식(13)에 있어서, P는, 화소치를 나타내고, i는, 화소의 횡방향의 위치를 나타내고, j는, 화소의 종방향의 위치를 나타낸다.
액티비티 검출부(401)는, 산출된 가로로 인접하는 화소에 대한 화소치의 차이분의 합 hdiff 및 세로로 인접하는 화소에 대한 화소치의 차이분의 합 vdiff를 비교하여, 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도의 범위를 판정하도록 할 수도 있다. 즉, 이 경우, 액티비티 검출부(401)는, 공간 방향의 위치에 대한 화소치의 변화로 표시되는 형상이 수평 방향으로 반복하여 형성되어 있는지, 수직 방향으로 반복하여 형성되어 있는지를 판정한다.
예를 들면, 가로로 1열의 화소상에 형성된 원호에 대한 횡방향의 화소치의 변화는, 종방향의 화소치의 변화와 비교하여 크고, 가로로 1열의 화소상에 형성된 원호에 대한 종방향의 화소치의 변화는, 횡방향의 화소치의 변화와 비교하여 크고, 데이터의 정상성의 방향, 즉, 데이터인 입력 화상이 가지고 있는, 일정한 특징의 소정의 차원의 방향의 변화는, 데이터의 정상성에 직교하는 방향의 변화와 비교하 여 작다고 할 수 있다. 바꿔 말하면, 데이터의 정상성의 방향의 차이분과 비교하여, 데이터의 정상성의 방향에 직교하는 방향(이하, 비정상 방향이라고도 한다)의 차이분은 크다.
예를 들면, 도 20에 도시한 바와 같이, 액티비티 검출부(401)는, 산출된 가로로 인접하는 화소에 대한 화소치의 차이분의 합 hdiff 및 세로로 인접하는 화소에 대한 화소치의 차이분의 합 vdiff를 비교하여, 가로로 인접하는 화소에 대한 화소치의 차이분의 합 hdiff가 큰 경우, 기준축을 기준으로 한 데이터의 정상성의 각도가, 45도 내지 135도 중 어느 하나의 값이라고 판정하고, 세로로 인접하는 화소에 대한 화소치의 차이분의 합 vdiff가 큰 경우, 기준축을 기준으로 한 데이터의 정상성의 각도가, 0도 내지 45도 중 어느 하나의 값, 또는 135도 내지 180도 중 어느 하나의 값이라고 판정한다.
예를 들면, 액티비티 검출부(401)는, 판정의 결과를 나타내는 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.
또, 액티비티 검출부(401)는, 5×5의 25의 화소로 이루어지는 블록, 또는 7×7의 49의 화소로 이루어지는 블록 등, 임의의 크기의 블록을 추출하여, 액티비티를 검출할 수 있다.
데이터 선택부(402)는, 입력 화상의 화소로부터 주목 화소를 순차로 선택하고, 액티비티 검출부(401)로부터 공급된 액티비티 정보를 기초로, 주목 화소 및 기준축을 기준으로 한 각도마다, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정 수의 화소로 이루어지는 화소의 쌍을, 복수 추출한다.
예를 들면, 액티비티 정보가 수직 방향에 대한 화소치의 변화와 비교하여, 수평 방향에 대한 화소치의 변화가 큰 것을 나타내고 있을 때, 데이터의 정상성의 각도가, 45도 내지 135도 중 어느 하나의 값이기 때문에, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 45도 내지 135도의 범위의 소정의 각도마다, 수직 방향으로 1열의 소정 수의 화소로 이루어지는 화소의 쌍을, 복수 추출한다.
액티비티 정보가 수평 방향에 대한 화소치의 변화와 비교하여, 수직 방향에 대한 화소치의 변화가 큰 것을 나타내고 있을 때, 데이터의 정상성의 각도가, 0도 내지 45도 또는 135도 내지 180도 중 어느 하나의 값이기 때문에, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 0도 내지 45도 또는 135도 내지 180도의 범위의 소정의 각도마다, 수평 방향으로 1열의 소정 수의 화소로 이루어지는 화소의 쌍을, 복수 추출한다.
또, 예를 들면, 데이터의 정상성의 각도가 45도 내지 135도 중 어느 하나의 값인 것을, 액티비티 정보가 나타내고 있을 때, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 45도 내지 135도의 범위의 소정의 각도마다, 수직 방향으로 1열의 소정 수의 화소로 이루어지는 화소의 쌍을, 복수 추출한다.
데이터의 정상성의 각도가 0도 내지 45도 또는 135도 내지 180도 중 어느 하나의 값인 것을, 액티비티 정보가 나타내고 있을 때, 데이터 선택부(402)는, 주목 화소 및 기준축을 기준으로 한 0도 내지 45도 또는 135도 내지 180도의 범위의 소정의 각도마다, 수평 방향으로 1열의 소정 수의 화소로 이루어지는 화소의 쌍을, 복수 추출한다.
데이터 선택부(402)는, 추출한 화소로 이루어지는 복수의 쌍을 오차 추정부(403)에 공급한다.
오차 추정부(403)는, 추출한 화소로 이루어지는 복수의 쌍에 대하여, 각도마다, 화소의 쌍의 상관을 검출한다.
예를 들면, 오차 추정부(403)는, 하나의 각도에 대응하는, 수직 방향으로 1열의 소정의 수의 화소로 이루어지는 화소의 복수의 쌍에 대하여, 화소의 쌍에서의 대응하는 위치의 화소의 화소치의 상관을 검출한다. 오차 추정부(403)는, 하나의 각도에 대응하는, 수평 방향으로 1열의 소정의 수의 화소로 이루어지는 화소의 복수의 쌍에 대하여, 쌍에서의 대응하는 위치의 화소의 화소치의 상관을 검출한다.
오차 추정부(403)는, 검출한 상관을 나타내는 상관 정보를 정상 방향 도출부(404)에 공급한다. 오차 추정부(403)는, 상관을 나타내는 값으로서, 데이터 선택부(402)로부터 공급된, 주목 화소를 포함하는 쌍의 화소의 화소치와, 다른 쌍에서의 대응하는 위치의 화소의 화소치의 차이분의 절대값의 합을 산출하고, 차이분의 절대값의 합을 상관 정보로서 정상 방향 도출부(404)에 공급한다.
정상 방향 도출부(404)는, 오차 추정부(403)로부터 공급된 상관 정보에 따라, 드롭아웃된 실세계의 광신호의 정상성에 대응하는 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다. 예를 들면, 정상 방향 도출부(404)는, 오차 추정부(403)로부터 공급된 상관 정보에 따라, 데이터의 정상성의 각도로서, 가장 상관이 강한 화소의 쌍에 대한 각도를 검출하고, 검출된 가장 상관이 강한 화소의 쌍에 대한 각도를 나타내는 데이터 정상성 정보를 출력한다.
이하의 설명에 있어서, 적절하게, 0도 내지 90도의 범위(이른바 제1 상한)의 데이터의 정상성의 각도를 검출하는 것으로 하고 설명한다.
도 21은 도 17에 나타내는 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타내는 블록도이다.
데이터 선택부(402)는, 화소 선택부(411-1) 내지 화소 선택부(411-L)를 포함한다. 오차 추정부(403)는, 추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)를 포함한다. 정상 방향 도출부(404)는, 최소 오차 각도 선택부(413)를 포함한다.
먼저, 액티비티 정보로 나타내는, 데이터의 정상성의 각도가 45도 내지 135도 중 어느 하나의 값일 때의 화소 선택부(411-1) 내지 화소 선택부(411-L)의 처리를 설명한다.
화소 선택부(411-1) 내지 화소 선택부(411-L)는, 공간 방향 X를 나타내는 축을 기준축으로서, 주목 화소를 통과하는, 각각 다른 소정의 각도의 직선을 설정한다. 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 속하는 화소로서, 주목 화소의 상측의 소정의 수의 화소, 및 주목 화소의 하측의 소정의 수의 화소, 및 주목 화소를 화소의 쌍으로서 선택한다.
예를 들면, 도 22에 도시된 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 속하는 화소로부터, 주목 화소를 중심으로 하여 9개의 화소를 화소의 쌍으로서 선택한다.
도 22에 있어서, 격자(grid)형의 하나의 사각(하나의 격자)은, 하나의 화소를 나타낸다. 도 22에 있어서, 중앙에 나타내는 동그라미는, 주목 화소를 나타낸다.
화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측의 세로로 1열의 화소의 열에 속하는 화소로서, 각각 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 22에 있어서, 주목 화소의 좌측 하단측의 동그라미는, 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 상측의 소정의 수의 화소, 및 선택된 화소의 하측의 소정의 수의 화소, 및 선택된 화소를 화소의 쌍으로서 선택한다.
예를 들면, 도 22에 도시된 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 쌍으로서 선택한다.
화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측으로 두 번째의 세로로 1열의 화소의 열에 속하는 화소로서, 각각 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 22에 있어서, 가장 좌측의 동그라미는, 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열 의, 좌측으로 두 번째의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 상측의 소정의 수의 화소, 및 선택된 화소의 하측의 소정의 수의 화소, 및 선택된 화소를 화소의 쌍으로서 선택한다.
예를 들면, 도 22에 도시된 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 좌측으로 두 번째의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 쌍으로서 선택한다.
화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측의 세로로 1열의 화소의 열에 속하는 화소로서, 각각 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 22에 있어서, 주목 화소의 우측 상단측의 동그라미는, 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 상측의 소정의 수의 화소, 및 선택된 화소의 하측의 소정의 수의 화소, 및 선택된 화소를 화소의 쌍으로서 선택한다.
예를 들면, 도 22에 도시된 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 쌍으로서 선택한다.
화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측으로 두 번째의 세로로 1열의 화소의 열에 속하는 화소로서, 각각 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 도 22에 있어서, 가장 우측의 동그라미는, 이와 같이 선택된 화소의 예를 나타낸다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측으로 두 번째의 세로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 상측의 소정의 수의 화소, 및 선택된 화소의 하측의 소정의 수의 화소, 및 선택된 화소를 화소의 쌍으로서 선택한다.
예를 들면, 도 22에 도시된 바와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열의, 우측으로 두 번째의 세로로 1열의 화소의 열에 속하는 화소로부터, 직선에 가장 가까운 위치의 화소를 중심으로 하여 9개의 화소를 화소의 쌍으로서 선택한다.
이와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 각각, 화소의 쌍을 5개 선택한다.
화소 선택부(411-1) 내지 화소 선택부(411-L)는, 서로 다른 각도(로 설정된 직선)에 대한, 화소의 쌍을 선택한다. 예를 들면, 화소 선택부(411-1)는 45도에 대한, 화소의 쌍을 선택하고, 화소 선택부(411-2)는 47.5도에 대한, 화소의 쌍을 선택하고, 화소 선택부(411-3)는 50도에 대한, 화소의 쌍을 선택한다. 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 52.5도로부터 135도까지의, 2.5도마다의 각도에 대한, 화소의 쌍을 선택한다.
또, 화소의 쌍의 수는, 예를 들면, 3개 또는 7개 등 임의의 수로 할 수 있 고, 본 발명을 한정하는 것이 아니다. 또, 하나의 쌍으로서 선택된 화소의 수는, 예를 들면, 5개 또는 13개 등, 임의의 수로 할 수 있고, 본 발명을 한정하는 것이 아니다.
또, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 종방향으로 소정의 범위의 화소로부터, 화소의 쌍을 선택하도록 할 수 있다. 예를 들면, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 종방향으로 121개의 화소(주목 화소에 대하여, 상방향으로 60화소, 하방향으로 60화소)로부터, 화소의 쌍을 선택한다. 이 경우, 데이터 정상성 검출부(101)는, 공간 방향 X를 나타내는 축에 대하여, 88.09도까지, 데이터의 정상성의 각도를 검출할 수 있다.
화소 선택부(411-1)는 선택한 화소의 쌍을 추정오차 산출부(412-1)에 공급하고, 화소 선택부(411-2)는 선택한 화소의 쌍을 추정오차 산출부(412-2)에 공급한다. 마찬가지로, 화소 선택부(411-3) 내지 화소 선택부(411-L)의 각각은, 선택한 화소의 쌍을 추정오차 산출부(412-3) 내지 추정오차 산출부(412-L)의 각각에 공급한다.
추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 복수의 쌍에서의 대응하는 위치의 화소의 화소치의 상관을 검출한다. 예를 들면, 추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)는, 상관을 나타내는 값으로서, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 쌍의 화소의 화소치와, 다른 쌍에서의 대응하는 위치의 화소의 화소치의 차이분의 절대 값의 합을 산출한다.
보다 구체적으로는, 추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된 주목 화소를 포함하는 쌍의 화소의 화소치와, 주목 화소의 좌측의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 쌍의 화소의 화소치를 기초로, 가장 위쪽의 화소의 화소치의 차이분을 산출하고, 위로부터 2번째의 화소의 화소치의 차이분을 산출하도록, 위의 화소로부터 순차로 화소치의 차이분의 절대치를 산출하여, 또한, 산출된 차이분의 절대값의 합을 산출한다. 추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 쌍의 화소의 화소치와, 주목 화소의 왼쪽으로 두 번째의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 쌍의 화소의 화소치를 기초로, 위의 화소로부터 순차로 화소치의 차이분의 절대치를 산출하여, 산출된 차이분의 절대값의 합을 산출한다.
그리고, 추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 쌍의 화소의 화소치와, 주목 화소의 우측의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 쌍의 화소의 화소치를 기초로, 가장 위의 화소의 화소치의 차이분을 산출하고, 위에서 2번째의 화소의 화소치의 차이분을 산출하도록, 위의 화소로부터 순차로 화소치의 차이분의 절대치를 산출하여, 또한, 산출된 차이분의 절대값의 합을 산출한다. 추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)는, 화 소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 쌍의 화소의 화소치와, 주목 화소의 오른쪽으로 두 번째의 세로로 1열의 화소의 열에 속하는 화소로 이루어지는 쌍의 화소의 화소치를 기초로, 위의 화소로부터 순차로 화소치의 차이분의 절대치를 산출하여, 산출된 차이분의 절대값의 합을 산출한다.
추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)는, 이와 같이 산출된 화소치의 차이분의 절대값의 합을 모두 가산하여, 화소치의 차이분의 절대치의 총계를 산출한다.
추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)는, 검출된 상관을 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다. 예를 들면, 추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)는, 산출된 화소치의 차이분의 절대치의 총계를 최소 오차 각도 선택부(413)에 공급한다.
또, 추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)는, 화소치의 차이분의 절대값의 합에 한정되지 않고, 화소치의 차이분의 제곱의 합, 또는 화소치를 기초로 한 상관 계수 등 다른 값을 상관치로서 산출하도록 할 수 있다.
최소 오차 각도 선택부(413)는, 서로 다른 각도에 대한, 추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)에서 검출된 상관에 따라, 드롭아웃된 실세계의 광신호인 화상의 정상성에 대응하는, 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출한다. 즉, 최소 오차 각도 선택부(413)는, 서로 다른 각도에 대한, 추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)에서 검출된 상관에 따라, 가장 강한 상관을 선택하고, 선택된 상관이 검출된 각도를, 기준축을 기준으로 한 데이터의 정상성의 각도로 함으로써, 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출한다.
예를 들면, 최소 오차 각도 선택부(413)는, 추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)로부터 공급된, 화소치의 차이분의 절대치의 총계 중, 최소의 총계를 선택한다. 최소 오차 각도 선택부(413)는, 선택된 총계가 산출된 화소의 쌍에 대하여, 주목 화소에 대하여, 좌측으로 두 번째의 세로로 1열의 화소의 열에 속하는 화소로서, 직선에 가장 가까운 위치의 화소의 위치, 및, 주목 화소에 대하여, 우측으로 두 번째의 세로로 1열의 화소의 열에 속하는 화소로서, 직선에 가장 가까운 위치의 화소의 위치를 참조한다.
도 22에 도시된 바와 같이, 최소 오차 각도 선택부(413)는, 주목 화소의 위치에 대한, 참조하는 화소의 위치의 종방향의 거리(S)를 구한다. 최소 오차 각도 선택부(413)는, 도 23에 나타낸 바와 같이, 식(14)로부터, 드롭아웃된 실세계의 광신호의 정상성에 대응하는, 화상 데이터인 입력 화상에서의, 기준축인 공간 방향 X를 나타내는 축을 기준으로 한 데이터의 정상성의 각도(θ)를 검출한다.
θ= tan-1(s/2)···(14)
다음에, 액티비티 정보로 나타내는, 데이터의 정상성의 각도가 0도 내지 45도 및 135도 내지 180도 중 어느 하나의 값일 때의 화소 선택부(411-1) 내지 화소 선택부(411-L)의 처리를 설명한다.
화소 선택부(411-1) 내지 화소 선택부(411-L)은, 공간 방향 X를 나타내는 축을 기준축으로서, 주목 화소를 통과하는, 소정의 각도의 직선을 설정하고, 주목 화소가 속하는 가로로 1열의 화소의 열에 속하는 화소로서, 주목 화소의 좌측의 소정의 수의 화소, 및 주목 화소의 우측의 소정의 수의 화소, 및 주목 화소를 화소의 쌍으로서 선택한다.
화소 선택부(411-1) 내지 화소 선택부(411-L)은, 주목 화소가 속하는 가로로 1열의 화소의 열의, 상측의 가로로 1열의 화소의 열에 속하는 화소로서, 각각 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 상측의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정의 수의 화소, 및 선택된 화소의 우측의 소정의 수의 화소, 및 선택된 화소를 화소의 쌍으로서 선택한다.
화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 상측에 두 번째의 가로로 1열의 화소의 열에 속하는 화소로서, 각각 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 상측에 두 번째의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정의 수의 화소, 및 선택된 화소의 우측의 소정의 수의 화소, 및 선택된 화소를 화소의 쌍으로서 선택한다.
화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 하측의 가로로 1열의 화소의 열에 속하는 화소로서, 각각 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 하측의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정의 수의 화소, 및 선택된 화소의 우측의 소정의 수의 화소, 및 선택된 화소를 화소의 쌍으로서 선택한다.
화소 선택부(411-1) 내지 화소 선택부(411-L)은, 주목 화소가 속하는 옆에(1)열의 화소의 열의, 하측에 두 번째의 가로로 1열의 화소의 열에 속하는 화소로서, 각각 설정된 직선에 가장 가까운 위치의 화소를 선택한다. 그리고, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열의, 하측에 두 번째의 가로로 1열의 화소의 열에 속하는 화소로서, 선택된 화소의 좌측의 소정의 수의 화소, 및 선택된 화소의 우측의 소정의 수의 화소, 및 선택된 화소를 화소의 쌍으로서 선택한다.
이와 같이, 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 각각, 화소의 쌍을 5개 선택한다.
화소 선택부(411-1) 내지 화소 선택부(411-L)는, 서로 다른 각도에 대한, 화소의 쌍을 선택한다. 예를 들면, 화소 선택부(411-1)는 0도에 대한 화소의 쌍을 선택하고, 화소 선택부(411-2)는 2.5도에 대한 화소의 쌍을 선택하고, 화소 선택부(411-3)는 5도에 대한 화소의 쌍을 선택한다. 화소 선택부(411-1) 내지 화소 선택부(411-L)는, 7.5도로부터 45도 및 135도로부터 180도까지의, 2.5도마다의 각도에 대한, 화소의 쌍을 선택한다.
화소 선택부(411-1)는 선택한 화소의 쌍을 추정오차 산출부(412-1)에 공급하고, 화소 선택부(411-2)는 선택한 화소의 쌍을 추정오차 산출부(412-2)에 공급한다. 마찬가지로, 화소 선택부(411-3) 내지 화소 선택부(411-L)의 각각은, 선택한 화소의 쌍을 추정오차 산출부(412-3) 내지 추정오차 산출부(412-L)의 각각에 공급한다.
추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)는, 화소 선택부(411-1) 내지 화소 선택부(411-L) 중 어느 하나로부터 공급된 복수의 쌍에서의 대응하는 위치의 화소의 화소치의 상관을 검출한다. 추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)는, 검출된 상관을 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다.
최소 오차 각도 선택부(413)는, 추정오차 산출부(412-1) 내지 추정오차 산출부(412-L)에서 검출된 상관에 따라, 드롭아웃된 실세계의 광신호인 화상의 정상성에 대응하는, 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출한다.
다음에, 도 24의 플로차트를 참조하여, 단계 S101의 처리에 대응하는 도 17이 구성이 도시되는 데이터 정상성 검출부(101)에 의한, 데이터의 정상성의 검출의 처리를 설명한다.
단계 S401에 있어서, 액티비티 검출부(401) 및 데이터 선택부(402)는, 입력 화상으로부터, 주목하고 있는 화소인 주목 화소를 선택한다. 액티비티 검출부 (401) 및 데이터 선택부(402)는, 동일한 주목 화소를 선택한다. 예를 들면, 액티비티 검출부(401) 및 데이터 선택부(402)는, 입력 화상으로부터, 라스터 스캔 순차로, 주목 화소를 선택한다.
단계 S402에 있어서, 액티비티 검출부(401)는, 주목 화소에 대한 액티비티를 검출한다. 예를 들면, 액티비티 검출부(401)는, 주목 화소를 중심으로한 소정의 수의 화소로 이루어지는 블록의 종방향으로 나란한 화소의 화소치의 차이분 및 횡방향으로 나란한 화소의 화소치의 차이분을 기초로, 액티비티를 검출한다.
액티비티 검출부(401)는, 주목 화소에 대한 공간 방향의 액티비티를 검출하여, 검출한 결과를 나타내는 액티비티 정보를 데이터 선택부(402) 및 정상 방향 도출부(404)에 공급한다.
단계 S403에 있어서, 데이터 선택부(402)는, 주목 화소를 포함하는 화소의 열로부터, 주목 화소를 중심으로한 소정의 수의 화소를, 화소의 쌍으로서 선택한다. 예를 들면, 데이터 선택부(402)는, 주목 화소가 속하는 세로 또는 가로로 1열의 화소의 열에 속하는 화소로서, 주목 화소의 상측 또는 좌측의 소정의 수의 화소, 및 주목 화소의 하측 또는 우측의 소정의 수의 화소, 및 주목 화소를 화소의 쌍으로서 선택한다.
단계 S404에 있어서, 데이터 선택부(402)는, 단계 S402의 처리로 검출된 액티비티를 기초로 한, 소정 범위의 각도마다, 소정의 수의 화소의 열로부터, 각각 소정의 수의 화소를, 화소의 쌍으로서 선택한다. 예를 들면, 데이터 선택부(402)는, 소정의 범위의 각도를 가지고, 공간 방향 X를 나타내는 축을 기준축으로 하여, 주목 화소를 통과하는 직선을 설정하고, 주목 화소에 대하여, 횡방향 또는 종방향으로 1열 또는 2열 떨어진 화소로서, 직선에 가장 가까운 화소를 선택하고, 선택된 화소의 상측 또는 좌측의 소정의 수의 화소, 및 선택된 화소의 하측 또는 우측의 소정의 수의 화소, 및 선에 가장 가까운 선택된 화소를 화소의 쌍으로서 선택한다. 데이터 선택부(402)는, 각도마다, 화소의 쌍을 선택한다.
데이터 선택부(402)는 선택한 화소의 쌍을 오차 추정부(403)에 공급한다.
단계 S405에 있어서, 오차 추정부(403)는, 주목 화소를 중심으로한 화소의 쌍과, 각도마다 선택한 화소의 쌍의 상관을 계산한다. 예를 들면, 오차 추정부(403)는, 각도마다, 주목 화소를 포함하는 쌍의 화소의 화소치와, 다른 쌍에서의 대응하는 위치의 화소의 화소치의 차이분의 절대값의 합을 산출한다.
각도마다 선택된, 화소의 쌍의 상호의 상관을 기초로, 데이터의 정상성의 각도를 검출하도록 할 수도 있다.
오차 추정부(403)는, 산출된 상관을 나타내는 정보를, 정상 방향 도출부(404)에 공급한다.
단계 S406에 있어서, 정상 방향 도출부(404)는, 단계 S405의 처리로 산출된 상관을 기초로, 상관이 가장 강한 화소의 쌍의 위치로부터, 드롭아웃된 실세계의 광신호의 정상성에 대응하는, 화상 데이터인 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출한다. 예를 들면, 정상 방향 도출부(404)는, 화소치의 차이분의 절대치의 총계 중, 최소의 총계를 선택하고, 선택된 총계가 산출된 화소의 쌍의 위치로부터, 데이터의 정상성의 각도(θ)를 검출한다.
정상 방향 도출부(404)는, 검출한 데이터의 정상성의 각도를 나타내는 데이터 정상성 정보를 출력한다.
단계 S407에 있어서, 데이터 선택부(402)는, 모든 화소의 처리를 종료하였는지 여부를 판정하고, 모든 화소의 처리를 종료하지 않고 있다고 판정된 경우, 단계 S401로 리턴하고, 아직 주목 화소로서 선택되어 있지 않은 화소로부터 주목 화소를 선택하여, 상술한 처리를 반복한다.
단계 S407에 있어서, 모든 화소의 처리를 종료했다고 판정된 경우, 처리는 종료된다.
이와 같이, 데이터 정상성 검출부(101)는, 드롭아웃된 실세계의 광신호의 정상성에 대응하는, 화상 데이터에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출할 수 있다.
또, 도 17에 구성이 도시되는 데이터검출부(101)는, 주목하고 있는 프레임인 주목 프레임의, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향의 액티비티를 검출하고, 검출된 액티비티에 따라서, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 움직임벡터마다, 주목 프레임 및 주목 프레임의 시간적으로 전 또는 후의 프레임의 각각으로부터, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정의 수의 화소로 이루어지는 화소의 쌍을, 복수 추출하고, 추출된 화소의 쌍의 상관을 검출하고, 상관에 따라, 입력 화상에서의, 시간 방향 및 공간 방향의 데이터의 정상성의 각도를 검출하도록 할 수도 있다.
예를 들면, 도 25에 도시한 바와 같이, 데이터 선택부(402)는, 검출된 액티 비티에 따라서, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 움직임벡터마다, 주목 프레임인 프레임#n, 프레임#n-1, 및 프레임#n+1의 각각으로부터, 수직 방향으로 1열 또는 수평 방향으로 1열의 소정의 수의 화소로 이루어지는 화소의 쌍을, 복수 추출한다.
프레임#n-1은 프레임#n에 대하여 시간적으로 전의 프레임이며, 프레임#n+1은 프레임#n에 대하여 시간적으로 후의 프레임이다. 즉, 프레임#n-1, 프레임#n, 및 프레임#n+1은, 프레임#n-1, 프레임#n, 및 프레임#n+1의 순으로 표시된다.
오차 추정부(403)는, 추출한 화소로 이루어지는 복수의 쌍에 대하여, 하나의 각도 및 하나의 움직임벡터마다, 화소의 쌍의 상관을 검출한다. 정상 방향 도출부(404)는, 화소의 쌍의 상관에 따라, 드롭아웃된 실세계의 광신호의 정상성에 대응하는 입력 화상에서의, 시간 방향 및 공간 방향의 데이터의 정상성의 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다.
도 26은 도 17에 도시되는 데이터 정상성 검출부(101)의 보다 상세한 다른 구성을 나타내는 블록도이다. 도 21에 도시한 경우와 동일한 부분에는 동일한 번호를 부여하고, 그 설명은 생략한다.
데이터 선택부(402)는, 화소 선택부(421-1) 내지 화소 선택부(421-L)를 포함한다. 오차 추정부(403)는, 추정오차 산출부(422-1) 내지 추정오차 산출부(422-L)를 포함한다.
도 26에 도시되는 데이터 정상성 검출부(101)에서는, 각도의 범위에 대한 수의 화소로 이루어지는, 화소의 쌍으로서, 각도의 범위에 대한 수의 쌍이 추출되어, 추출된 화소의 쌍의 상관이 검출되고, 검출된 상관에 따라, 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도가 검출된다.
먼저, 액티비티 정보로 나타내는, 데이터의 정상성의 각도가 45도 내지 135도 중 어느 하나의 값일 때의 화소 선택부(421-1) 내지 화소 선택부(421-L)의 처리를 설명한다.
도 27의 좌측에 도시한 바와 같이, 도 21에 나타내는 데이터 정상성 검출부(101)에서는, 설정된 직선의 각도에 의하지 않고, 일정한 수의 화소로 이루어지는 화소의 쌍이 추출되는데 대하여, 도 26에 나타내는 데이터 정상성 검출부(101)에서는, 도 27의 우측에 도시한 바와 같이, 설정된 직선의 각도의 범위에 따른 수의 화소로 이루어지는 화소의 쌍이 추출된다. 또, 도 26에 나타내는 데이터 정상성 검출부(101)에서는, 화소의 쌍이, 설정된 직선의 각도의 범위에 따른 수만 추출된다.
화소 선택부(421-1) 내지 화소 선택부(421-L)는, 45도 내지 135도의 범위의, 공간 방향 X를 나타내는 축을 기준축으로서, 주목 화소를 통과하는, 각각 서로 다른 소정의 각도의 직선을 설정한다.
화소 선택부(421-1) 내지 화소 선택부(421-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 속하는 화소로서, 각각 설정된 직선의 각도의 범위에 따른 수의, 주목 화소의 상측의 화소, 및 주목 화소의 하측의 화소, 및 주목 화소를 화소의 쌍으로서 선택한다.
화소 선택부(421-1) 내지 화소 선택부(421-L)는, 주목 화소가 속하는 세로로 1열의 화소의 열에 대하여, 화소를 기준으로 한 횡방향으로 소정의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로서, 각각 설정된 직선에 가장 가까운 위치의 화소를 선택하고, 선택된 화소에 대하여 세로로 1열의 화소로부터, 설정된 직선의 각도의 범위에 따른 수의, 선택된 화소의 상측의 화소, 및 선택된 화소의 하측의 화소, 및 선택된 화소를 화소의 쌍으로서 선택한다.
즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도의 범위에 따른 수의 화소를, 화소의 쌍으로서 선택한다. 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도의 범위에 따른 수의, 화소의 쌍을 선택한다.
예를 들면, 공간 방향 X에 대하여 대략 45도의 각도에 위치 하는, 검출 소자의 검출 영역의 폭과 대략 동일한 폭의 세선의 화상이 센서로 촬상된 경우, 세선의 화상은, 공간 방향 Y으로 1열로 나란한 3개의 화소에 원호형상이 형성되도록, 데이터에 사영된다. 이것에 대하여, 공간 방향 X에 대하여 대략 수직으로 위치하는, 검출 소자의 검출 영역의 폭과 대략 동일한 폭의 세선의 화상이 센서로 촬상된 경우, 세선의 화상은, 공간 방향 Y으로 1열로 나란한, 다수의 화소에 원호형상이 형성되도록, 데이터에 사영된다.
화소의 쌍에 동일 수의 화소가 포함된다고 하면, 세선이 공간 방향 X에 대하여 대략 45도의 각도에 위치하는 경우, 화소의 쌍에서, 세선의 화상이 사영된 화소의 수가 적어져, 분해능이 저하된다. 반대로, 세선이 공간 방향 X에 대하여 대략 수직으로 위치하는 경우, 화소의 쌍에서, 세선의 화상이 사영된 화소 중의, 일부의 화소에 대하여 처리가 실행되는 것으로 되어, 정확함이 저하될 우려가 있다.
따라서, 세선의 화상이 사영된 화소가 대략 동일하게 되도록, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정하는 직선이 공간 방향 X에 대하여 45도의 각도에 보다 가까울 때, 각각 화소의 쌍에 포함되는 화소의 수를 적게 하여, 화소의 쌍의 수를 많게 하여, 설정하는 직선이 공간 방향 X에 대하여 수직에 보다 가까운 경우, 각각의 화소의 쌍에 포함되는 화소의 수를 많게 하여, 화소의 쌍의 수를 적게 하도록, 화소 및 화소의 쌍을 선택한다.
예를 들면, 도 28 및 도 29에 도시된 바와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 45도 이상 63.4도 미만의 범위(도 28 및 도 29에 있어서, A로 나타내는 범위)에 있을 때, 주목 화소에 대하여, 세로로 1열의 화소의 열에서, 주목 화소를 중심으로 한 5개의 화소를 화소의 쌍으로서 선택하는 동시에, 주목 화소에 대하여, 횡방향으로 5화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 5개의 화소를 화소의 쌍으로서 선택한다.
즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 45도 이상 63.4도 미만의 범위에 있을 때, 입력 화상으로부터, 각각 5개의 화소로 이루어지는, 11의 화소의 쌍을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서, 선택되는 화소는, 주목 화소에 대하여, 종방향으로 5화소 내지 9화소 떨어진 위치에 있다.
도 29에 있어서, 열의 수는, 주목 화소의 좌측 또는 우측의, 화소의 쌍으로서 화소가 선택되는 화소의 열의 수를 나타낸다. 도 29에 있어서, 1열의 화소의 수는, 주목 화소에 대하여, 세로로 1열의 화소의 열, 또는 주목 화소의 좌측 또는 우측의 열에서, 화소의 쌍으로서 선택되는 화소의 수를 나타낸다. 도 29에 있어서, 화소의 선택범위는, 주목 화소에 대한, 설정된 직선에 가장 가까운 위치의 화소로서, 선택되는 화소의 종방향의 위치를 나타낸다.
도 30에 도시된 바와 같이, 예를 들면, 화소 선택부(421-1)는, 설정된 직선의 각도가, 45도일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열에서, 주목 화소를 중심으로 한 5개의 화소를 화소의 쌍으로서 선택하는 동시에, 주목 화소에 대하여, 횡방향으로 5화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 5개의 화소를 화소의 쌍으로서 선택한다. 즉, 화소 선택부(421-1)는, 입력 화상으로부터, 각각 5개의 화소로 이루어지는, 11의 화소의 쌍을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서, 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 종방향으로 5화소 떨어진 위치에 있다.
또, 도 30 내지 도 37에 있어서, 점선으로 표시된 사각(점선으로 구획된 하나의 격자)은, 하나의 화소를 나타내고, 실선으로 표시된 사각은, 화소의 쌍을 나타낸다. 도 30 내지 도 37에 있어서, 주목 화소의 공간 방향 X의 좌표를 0으로 하고, 주목 화소의 공간 방향 Y의 좌표를 0으로 했다.
또, 도 30 내지 도 37에 있어서, 사선으로 표시된 사각은, 주목 화소 또는 설정된 직선에 가장 가까운 위치의 화소를 나타낸다. 도 30 내지 도 37에 있어서, 굵은 선으로 표시된 사각은, 주목 화소를 중심으로 하여 선택된 화소의 쌍을 나타 낸다.
도 31에 도시된 바와 같이, 예를 들면, 화소 선택부(421-2)는, 설정된 직선의 각도가, 60.9도일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열에서, 주목 화소를 중심으로한 5개의 화소를 화소의 쌍으로서 선택하는 동시에, 주목 화소에 대하여, 횡방향으로 5화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 5개의 화소를 화소의 쌍으로서 선택한다. 즉, 화소 선택부(421-2)는, 입력 화상으로부터, 각각 5개의 화소로 이루어지는, 11의 화소의 쌍을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서, 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 종방향으로 9화소 떨어진 위치에 있다.
예를 들면, 도 28 및 도 29에 도시된 바와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 63.4도 이상 71.6도 미만의 범위(도 28 및 도 29에 있어서, B로 나타내는 범위)에 있을 때, 주목 화소에 대하여, 세로로 1열의 화소의 열에서, 주목 화소를 중심으로한 7개의 화소를 화소의 쌍으로서 선택하는 동시에, 주목 화소에 대하여, 횡방향으로 4화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 7개의 화소를 화소의 쌍으로서 선택한다.
즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 63.4도 이상 71.6도 미만의 범위에 있을 때, 입력 화상으로부터, 각각 7개의 화소로 이루어지는, 9개의 화소의 쌍을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소의 종방향의 위치는, 주목 화소에 대하여, 8화소 내지 11화소이다.
도 32에 도시된 바와 같이, 예를 들면, 화소 선택부(421-3)는, 설정된 직선의 각도가, 63.4도일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열에서, 주목 화소를 중심으로한 7개의 화소를 화소의 쌍으로서 선택하는 동시에, 주목 화소에 대하여, 횡방향으로 4화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 7개의 화소를 화소의 쌍으로서 선택한다. 즉, 화소 선택부(421-3)는, 입력 화상으로부터, 각각 7개의 화소로 이루어지는, 9개의 화소의 쌍을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서, 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 종방향으로 8화소 떨어진 위치에 있다.
또, 도 33에 도시된 바와 같이, 예를 들면, 화소 선택부(421-4)는, 설정된 직선의 각도가, 70.0도일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열에서, 주목 화소를 중심으로한 7개의 화소를 화소의 쌍으로서 선택하는 동시에, 주목 화소에 대하여, 횡방향으로 4화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 7개의 화소를 화소의 쌍으로서 선택한다. 즉, 화소 선택부(421-4)는, 입력 화상으로부터, 각각 7개의 화소로 이루어지는, 9개의 화소의 쌍을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서, 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 종방향으로 11화소 떨어진 위치에 있다.
예를 들면, 도 28 및 도 29에 도시된 바와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 71.6도 이상 76.0도 미만의 범위(도 28 및 도 29에 있어서, C로 나타내는 범위)에 있을 때, 주목 화소에 대하여, 세로로 1열의 화소의 열에서, 주목 화소를 중심으로한 9개의 화소를 화소의 쌍으로서 선택하는 동시에, 주목 화소에 대하여, 횡방향으로 3화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 9개의 화소를 화소의 쌍으로서 선택한다.
즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 71.6도 이상 76.0도 미만의 범위에 있을 때, 입력 화상으로부터, 각각 9개의 화소로 이루어지는, 7개의 화소의 쌍을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소의 종방향의 위치는, 주목 화소에 대하여, 9화소 내지 11화소이다.
도 34에 도시된 바와 같이, 예를 들면, 화소 선택부(421-5)는, 설정된 직선의 각도가 71.6도 일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열에서, 주목 화소를 중심으로한 9개의 화소를 화소의 쌍으로서 선택하는 동시에, 주목 화소에 대하여, 횡방향으로 3화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소에서, 각각, 9개의 화소를 화소의 쌍으로서 선택한다. 즉, 화소 선택부(421-5)는, 입력 화상으로부터, 각각 9개의 화소로 이루어지는, 7개의 화소의 쌍을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서, 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소 에 대하여, 종방향으로 9화소 떨어진 위치에 있다.
또, 도 35에 도시된 바와 같이, 예를 들면, 화소 선택부(421-6)는, 설정된 직선의 각도가, 74.7도일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열에서, 주목 화소를 중심으로한 9개의 화소를 화소의 쌍으로서 선택하는 동시에, 주목 화소에 대하여, 횡방향으로 3화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 9개의 화소를 화소의 쌍으로서 선택한다. 즉, 화소 선택부(421-6)는, 입력 화상으로부터, 각각 9개의 화소로 이루어지는, 7개의 화소의 쌍을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서, 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 종방향으로 11화소 떨어진 위치에 있다.
예를 들면, 도 28 및 도 29에 도시된 바와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 76.0도 이상 87.7도 이하의 범위(도 28 및 도 29에 있어서, D로 나타내는 범위)에 있을 때, 주목 화소에 대하여, 세로로 1열의 화소의 열에서, 주목 화소를 중심으로한 11개의 화소를 화소의 쌍으로서 선택하는 동시에, 주목 화소에 대하여, 횡방향으로 2화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 11개의 화소를 화소의 쌍으로서 선택한다. 즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도가, 76.0도 이상 87.7도 이하의 범위에 있을 때, 입력 화상으로부터, 각각 11개의 화소로 이루어지는, 5개의 화소의 쌍을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소의 종방향의 위치는, 주목 화소에 대하여, 8화소 내지 50화소이다.
도 36에 도시된 바와 같이, 예를 들면, 화소 선택부(421-7)는, 설정된 직선의 각도가, 76.0도일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열에서, 주목 화소를 중심으로한 11개의 화소를 화소의 쌍으로서 선택하는 동시에, 주목 화소에 대하여, 횡방향에 2화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 11개의 화소를 화소의 쌍으로서 선택한다. 즉, 화소 선택부(421-7)는, 입력 화상으로부터, 각각 11개의 화소로 이루어지는, 5개의 화소의 쌍을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서, 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 종방향으로 8화소 떨어진 위치에 있다.
또, 도 37에 도시된 바와 같이, 예를 들면, 화소 선택부(421-8)는, 설정된 직선의 각도가, 87.7도일 때, 주목 화소에 대하여, 세로로 1열의 화소의 열에서, 주목 화소를 중심으로한 11개의 화소를 화소의 쌍으로서 선택하는 동시에, 주목 화소에 대하여, 횡방향으로 2화소 이내의 거리에 있는, 좌측 및 우측의 세로로 1열의 화소의 열에 속하는 화소로부터, 각각, 11개의 화소를 화소의 쌍으로서 선택한다. 즉, 화소 선택부(421-8)는, 입력 화상으로부터, 각각 11개의 화소로 이루어지는, 5개의 화소의 쌍을 선택한다. 이 경우에 있어서, 설정된 직선에 가장 가까운 위치의 화소로서, 선택되는 화소 중, 주목 화소로부터 가장 먼 위치에 있는 화소는, 주목 화소에 대하여, 종방향에 50화소 떨어진 위치에 있다.
이와 같이, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 각각, 각도의 범위에 대응한 소정의 수의 화소로 이루어지는, 각도의 범위에 대응한 소정의 수의 화소의 쌍을 선택한다.
화소 선택부(421-1)는, 선택한 화소의 쌍을 추정오차 산출부(422-1)에 공급하고, 화소 선택부(421-2)는, 선택한 화소의 쌍을 추정오차 산출부(422-2)에 공급한다. 마찬가지로, 화소 선택부(421-3) 내지 화소 선택부(421-L)의 각각은, 선택한 화소의 쌍을 추정오차 산출부(422-3) 내지 추정오차 산출부(422-L)의 각각 공급한다.
추정오차 산출부(422-1) 내지 추정오차 산출부(422-L)는, 화소 선택부(421-1) 내지 화소 선택부(421-L) 중 어느 하나로부터 공급된, 복수의 쌍에서의 대응하는 위치의 화소의 화소치의 상관을 검출한다. 예를 들면, 추정오차 산출부(422-1) 내지 추정오차 산출부(422-L)는, 화소 선택부(421-1) 내지 화소 선택부(421-L) 중 어느 하나로부터 공급된, 주목 화소를 포함하는 화소의 쌍의 화소의 화소치와, 다른 화소의 쌍에서의 대응하는 위치의 화소의 화소치의 차이분의 절대값의 합을 산출하고, 주목 화소를 포함하는 화소의 쌍 이외의 화소의 쌍에 포함되는 화소의 수로, 산출된 합을 나눗셈한다. 산출된 합을, 주목 화소를 포함하는 쌍 이외의 쌍에 포함되는 화소의 수로, 나눗셈하는 것은, 설정된 직선의 각도에 따라서 선택되는 화소의 수가 다르기 때문에, 상관을 나타내는 값을 정규화하기 위해서이다.
추정오차 산출부(422-1) 내지 추정오차 산출부(422-L)은, 검출된 상관을 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다. 예를 들면, 추정오차 산출부(422-1) 내지 추정오차 산출부(422-L)는, 정규화된 화소치의 차이분의 절대값 의 합을 최소 오차 각도 선택부(413)에 공급한다.
다음에, 액티비티 정보로 나타내는, 데이터의 정상성의 각도가 0도 내지 45도 및 135도 내지 180도 중 어느 하나의 값일 때의 화소 선택부(421-1) 내지 화소 선택부(421-L)의 처리를 설명한다.
화소 선택부(421-1) 내지 화소 선택부(421-L)는, 0도 내지 45도 또는 135도 내지 180도의 범위의, 공간 방향 X를 나타내는 축을 기준축으로서, 주목 화소를 통과하는, 각각 서로 다른 소정의 각도의 직선을 설정한다.
화소 선택부(421-1) 내지 화소 선택부(421-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열에 속하는 화소로서, 설정된 직선의 각도의 범위에 따른 수의, 주목 화소의 좌측의 화소, 및 주목 화소의 우측의 화소, 및 주목 화소를 화소의 쌍으로서 선택한다.
화소 선택부(421-1) 내지 화소 선택부(421-L)는, 주목 화소가 속하는 가로로 1열의 화소의 열에 대하여, 화소를 기준으로 한 종방향으로 소정의 거리에 있는, 상측 및 하측의 가로로 1열의 화소의 열에 속하는 화소로서, 설정된 직선에 가장 가까운 위치의 화소를 선택하고, 선택된 화소에 대하여 가로로 1열의 화소로부터, 설정된 직선의 각도의 범위에 따른 수의, 선택된 화소의 좌측의 화소, 및 선택된 화소의 우측의 화소, 및 선택된 화소를 화소의 쌍으로서 선택한다.
즉, 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도의 범위에 따른 수의 화소를, 화소의 쌍으로서 선택한다. 화소 선택부(421-1) 내지 화소 선택부(421-L)는, 설정된 직선의 각도의 범위에 따른 수의, 화소의 쌍을 선택 한다.
화소 선택부(421-1)는 선택한 화소의 쌍을 추정오차 산출부(422-1)에 공급하고, 화소 선택부(421-2)는 선택한 화소의 쌍을 추정오차 산출부(422-2)에 공급한다. 마찬가지로, 화소 선택부(421-3) 내지 화소 선택부(421-L)의 각각은, 선택한 화소의 쌍을 추정오차 산출부(422-3) 내지 추정오차 산출부(422-L)의 각각에 공급한다.
추정오차 산출부(422-1) 내지 추정오차 산출부(422-L)는, 화소 선택부(421-1) 내지 화소 선택부(421-L) 중 어느 하나로부터 공급된, 복수의 쌍에서의 대응하는 위치의 화소의 화소치의 상관을 검출한다.
추정오차 산출부(422-1) 내지 추정오차 산출부(422-L)는, 검출된 상관을 나타내는 정보를, 최소 오차 각도 선택부(413)에 공급한다.
다음에, 도 38의 플로차트를 참조하여, 단계 S101의 처리에 대응하는 도 26에 구성이 도시되는 데이터 정상성 검출부(101)에 의한, 데이터의 정상성의 검출의 처리를 설명한다.
단계 S421 및 단계 S422의 처리는, 단계 S401 및 단계 S402의 처리와 동일하기 때문에, 그 설명은 생략한다.
단계 S423에 있어서, 데이터 선택부(402)는, 단계 S422의 처리로 검출된 액티비티에 대한 소정의 범위의 각도마다, 주목 화소를 포함하는 화소의 열에서, 주목 화소를 중심으로 한, 각도의 범위에 대하여 정한 수의 화소를, 화소의 쌍으로서 선택한다. 예를 들면, 데이터 선택부(402)는, 주목 화소가 속하는 세로 또는 가로 로 1열의 화소의 열에 속하는 화소로서, 설정하는 직선의 각도에 대하여, 각도의 범위에 의해 정한 수의, 주목 화소의 상측 또는 좌측의 화소, 및 주목 화소의 하측 또는 우측의 화소, 및 주목 화소를 화소의 쌍으로서 선택한다.
단계 S424에 있어서, 데이터 선택부(402)는, 단계 S422의 처리로 검출된 액티비티를 기초로 한, 소정의 범위의 각도마다, 각도의 범위에 대하여 정한 수의 화소의 열에서, 각도의 범위에 대하여 정한 수의 화소를, 화소의 쌍으로서 선택한다. 예를 들면, 데이터 선택부(402)는, 소정의 범위의 각도를 가지고, 공간 방향 X를 나타내는 축을 기준축으로서, 주목 화소를 통과하는 직선을 설정하고, 주목 화소에 대하여, 횡방향 또는 종방향으로, 설정하는 직선의 각도의 범위에 대하여 소정의 범위만 떨어진 화소로서, 직선에 가장 가까운 화소를 선택하고, 선택된 화소의 상측 또는 좌측의, 설정하는 직선의 각도의 범위에 대한 수의 화소, 및 선택된 화소의 하측 또는 우측의, 설정하는 직선의 각도의 범위에 대한 수의 화소, 및 선택된 선에 가장 가까운 화소를 화소의 쌍으로서 선택한다. 데이터 선택부(402)는, 각도마다, 화소의 쌍을 선택한다.
데이터 선택부(402)는, 선택한 화소의 쌍을 오차 추정부(403)에 공급한다.
단계 S425에 있어서, 오차 추정부(403)는, 주목 화소를 중심으로한 화소의 쌍과, 각도마다 선택한 화소의 쌍의 상관을 계산한다. 예를 들면, 오차 추정부(403)는, 주목 화소를 포함하는 쌍의 화소의 화소치와, 다른 쌍에서의 대응하는 위치의 화소의 화소치의 차이분의 절대값의 합을 산출하고, 다른 쌍에 속하는 화소의 수로, 화소치의 차이분의 절대값의 합을 나눗셈함으로써, 상관을 계산한다.
각도마다 선택된 화소의 쌍의 상호의 상관을 기초로, 데이터의 정상성의 각도를 검출하도록 할 수도 있다.
오차 추정부(403)는, 산출된 상관을 나타내는 정보를, 정상 방향 도출부(404)에 공급한다.
단계 S426 및 단계 S427의 처리는, 단계 S406 및 단계 S407의 처리와 동일하기 때문에, 그 설명은 생략한다.
이와 같이, 데이터 정상성 검출부(101)는, 드롭아웃된 실세계의 광신호의 정상성에 대응하는 화상 데이터에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를, 보다 정확하게, 보다 정밀도가 양호하게 검출할 수 있다. 도 26에 구성을 나타내는 데이터 정상성 검출부(101)는, 특히, 데이터의 정상성의 각도가 45도 부근인 경우에 있어서, 세선의 화상이 사영(射影)된, 보다 많은 화소의 상관을 평가할 수 있기 때문에, 보다 정밀도가 양호하게 데이터의 정상성의 각도를 검출할 수 있다.
또, 도 26에 구성이 도시되는 데이터 정상성 검출부(101)에 있어서도, 주목하고 있는 프레임인 주목 프레임의, 주목하고 있는 화소인 주목 화소에 대하여, 입력 화상의 공간 방향의 액티비티를 검출하고, 검출된 액티비티에 따라서, 주목 화소 및 공간 방향의 기준축을 기준으로 한 각도, 및 움직임벡터마다, 주목 프레임 및 주목 프레임의 시간적으로 전 또는 후의 프레임의 각각으로부터, 수직 방향으로 1열 또는 수평 방향으로 1열의, 공간적인 각도의 범위에 대하여 정한 수의 화소로 이루어지는 화소의 쌍을, 공간적인 각도의 범위에 대하여 정한 수만 추출하고, 추 출된 화소의 쌍의 상관을 검출하고, 상관에 따라, 입력 화상에서의, 시간 방향 및 공간 방향의 데이터의 정상성의 각도를 검출하도록 할 수도 있다.
도 39는 데이터 정상성 검출부(101)의 또 다른 구성을 나타내는 블록도이다.
도 39에 구성을 나타내는 데이터 정상성 검출부(101)에서는, 주목하고 있는 화소인 주목 화소에 대하여, 소정의 수의 화소로 이루어지는, 주목 화소를 중심으로한 블록과, 주목 화소의 주변의, 각각, 소정의 수의 화소로 이루어지는 복수의 블록이 추출되고, 주목 화소를 중심으로한 블록과 주변의 블록의 상관이 검출되고, 상관에 따라, 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도가 검출된다.
데이터 선택부(441)는, 입력 화상의 화소로부터 주목 화소를 순차로 선택하고, 주목 화소를 중심으로 한, 소정의 수의 화소로 이루어지는 블록, 및, 주목 화소의 주변의, 소정의 수의 화소로 이루어지는 복수의 블록을 추출하고, 추출한 블록을 오차 추정부(442)에 공급한다.
예를 들면, 데이터 선택부(441)는, 주목 화소를 중심으로한 5×5 화소로 이루어지는 블록, 주목 화소의 주변에서, 주목 화소 및 기준축을 기준으로 한 소정의 각도의 범위마다, 5×5 화소로 이루어지는 2개의 블록을 추출한다.
오차 추정부(442)는, 데이터 선택부(441)로부터 공급된, 주목 화소를 중심으로한 블록과, 주목 화소의 주변의 블록의 상관을 검출하여, 검출한 상관을 나타내는 상관 정보를 정상 방향 도출부(443)에 공급한다.
예를 들면, 오차 추정부(442)는, 각도의 범위마다, 주목 화소를 중심으로한 5×5 화소로 이루어지는 블록과, 하나의 각도의 범위에 대응하는 5×5 화소로 이루어지는 2개의 블록에 대하여, 화소치의 상관을 검출한다.
정상성 방향 도출부(443)는, 오차 추정부(442)로부터 공급된 상관 정보에 따라, 상관이 가장 강한, 주목 화소의 주변의 블록의 위치로부터, 드롭아웃된 실세계의 광신호의 정상성에 대응하는 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다. 예를 들면, 정상 방향 도출부(443)는, 오차 추정부(442)로부터 공급된 상관 정보에 따라, 주목 화소를 중심으로한 5×5 화소로 이루어지는 블록에 대하여 가장 상관이 강한, 5×5 화소로 이루어지는 2개의 블록에 대한 각도의 범위를, 데이터의 정상성의 각도로서 검출하고, 검출된 각도를 나타내는 데이터 정상성 정보를 출력한다.
도 40은 도 39에 나타내는 데이터 정상성 검출부(101)의 보다 상세한 구성을 나타내는 블록도이다.
데이터 선택부(441)는, 화소 선택부(461-1) 내지 화소 선택부(461-L)를 포함한다. 오차 추정부(442)는, 추정오차 산출부(462-1) 내지 추정오차 산출부(462-L)를 포함한다. 정상 방향 도출부(443)는, 최소 오차 각도 선택부(463)를 포함한다.
예를 들면, 데이터 선택부(441)에는, 화소 선택부(461-1) 내지 화소 선택부(461-8)가 설치된다. 예를 들면, 오차 추정부(442)에는, 추정오차 산출부(462-1) 내지 추정오차 산출부(462-8)가 설치된다.
화소 선택부(461-1) 내지 화소 선택부(461-L)의 각각은, 주목 화소를 중심으로 한, 소정의 수의 화소로 이루어지는 블록, 및 주목 화소 및 기준축을 기준으로 한 소정의 각도의 범위에 대응한, 소정의 수의 화소로 이루어지는 2개의 블록을 추출한다.
도 41은 화소 선택부(461-1) 내지 화소 선택부(461-L)에 의해 추출되는, 5×5 화소의 블록의 예를 설명하는 도면이다. 도 41에서의 중앙의 위치는, 주목 화소의 위치를 나타낸다.
또, 5×5 화소의 블록은, 일례로서, 블록에 포함되는 화소의 수는, 본 발명을 한정하는 것이 아니다.
예를 들면, 화소 선택부(461-1)는, 주목 화소를 중심으로 한, 5×5 화소의 블록을 추출하는 동시에, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 대응한, 주목 화소에 대하여, 우측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 A로 나타낸다)을 추출하고, 주목 화소에 대하여, 좌측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 A'로 나타낸다)을 추출한다. 화소 선택부(461-1)는, 추출한, 5×5 화소의 3개의 블록을 추정오차 산출부(462-1)에 공급한다.
화소 선택부(461-2)는, 주목 화소를 중심으로 한, 5×5 화소의 블록을 추출하는 동시에, 18.4도 내지 33.7도의 범위에 대응한, 주목 화소에 대하여, 우측으로 10화소 이동하고, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 B로 나타낸다)을 추출하고, 주목 화소에 대하여, 좌측으로 10화소 이동하고, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 B'로 나타낸다)을 추출한다. 화소 선택부(461-2)는, 추출 한, 5×5 화소의 3개의 블록을 추정오차 산출부(462-2)에 공급한다.
화소 선택부(461-3)는, 주목 화소를 중심으로 한, 5×5 화소의 블록을 추출하는 동시에, 33.7도 내지 56.3도의 범위에 대응한, 주목 화소에 대하여, 우측으로 5화소 이동하고, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 C로 나타낸다)을 추출하고, 주목 화소에 대하여, 좌측으로 5화소 이동하고, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 C'로 나타낸다)을 추출한다. 화소 선택부(461-3)는, 추출한, 5×5 화소의 3개의 블록을 추정오차 산출부(462-3)에 공급한다.
화소 선택부(461-4)는, 주목 화소를 중심으로 한, 5×5 화소의 블록을 추출하는 동시에, 56.3도 내지 71.6도의 범위에 대응한, 주목 화소에 대하여, 우측으로 5화소 이동하고, 상측으로 10화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 D로 나타낸다)을 추출하고, 주목 화소에 대하여, 좌측으로 5화소 이동하고, 하측으로 10화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 D'로 나타낸다)을 추출한다. 화소 선택부(461-4)는, 추출한, 5×5 화소의 3개의 블록을 추정오차 산출부(462-4)에 공급한다.
화소 선택부(461-5)는, 주목 화소를 중심으로 한, 5×5 화소의 블록을 추출하는 동시에, 71.6도 내지 108.4도의 범위에 대응한, 주목 화소에 대하여, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 E로 나타낸다)을 추출하고, 주목 화소에 대하여, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 E'로 나타낸다)을 추출한다. 화 소 선택부(461-5)는, 추출한, 5×5 화소의 3개의 블록을 추정오차 산출부(462-5)에 공급한다.
화소 선택부(461-6)는, 주목 화소를 중심으로 한, 5×5 화소의 블록을 추출하는 동시에, 108.4도 내지 123.7도의 범위에 대응한, 주목 화소에 대하여, 좌측으로 5화소 이동하고, 상측으로 10화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 F로 나타낸다)을 추출하고, 주목 화소에 대하여, 우측으로 5화소 이동하고, 하측으로 10화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 F'로 나타낸다)을 추출한다. 화소 선택부(461-6)는, 추출한, 5×5 화소의 3개의 블록을 추정오차 산출부(462-6)에 공급한다.
화소 선택부(461-7)는, 주목 화소를 중심으로 한, 5×5 화소의 블록을 추출하는 동시에, 123.7도 내지 146.3도의 범위에 대응한, 주목 화소에 대하여, 좌측으로 5화소 이동하여, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 G로 나타낸다)을 추출하고, 주목 화소에 대하여, 우측으로 5화소 이동하고, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 G'로 나타낸다)을 추출한다. 화소 선택부(461-7)는, 추출한, 5×5 화소의 3개의 블록을 추정오차 산출부(462-7) 공급한다.
화소 선택부(461-8)는, 주목 화소를 중심으로 한, 5×5 화소의 블록을 추출하는 동시에, 146.3도 내지 161.6도의 범위에 대응한, 주목 화소에 대하여, 좌측으로 10화소 이동하고, 상측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 H로 나타낸다)을 추출하고, 주목 화소에 대하여, 우측으로 10화소 이동하고, 하측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 블록(도 41 중 H'로 나타낸다)을 추출한다. 화소 선택부(461-8)는, 추출한, 5×5 화소의 3개의 블록을 추정오차 산출부(462-8)에 공급한다.
이하, 주목 화소를 중심으로 한, 소정의 수의 화소로 이루어지는 블록을 주목 블록이라 칭한다.
이하, 주목 화소 및 기준축을 기준으로 한 소정의 각도의 범위에 대응한, 소정의 수의 화소로 이루어지는 블록을 참조 블록이라 칭한다.
이와 같이, 화소 선택부(461-1) 내지 화소 선택부(461-8)는, 예를 들면, 주목 화소를 중심으로 하여, 25×25 화소의 범위로부터, 주목 블록 및 참조 블록을 추출한다.
추정오차 산출부(462-1) 내지 추정오차 산출부(462-L)는, 화소 선택부(461-1) 내지 화소 선택부(461-L)로부터 공급된 주목 블록과, 2개의 참조 블록의 상관을 검출하여, 검출한 상관을 나타내는 상관 정보를 최소 오차 각도 선택부(463)에 공급한다.
예를 들면, 추정오차 산출부(462-1)는, 주목 화소를 중심으로 한, 5×5 화소로 이루어지는 주목 블록과, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 대응하여 추출된 주목 화소에 대하여, 우측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 참조 블록에 대하여, 주목 블록에 포함되는 화소의 화소치와, 참조 블록에 포함되는 화소의 화소치의 차이분의 절대치를 산출한다.
이 경우에 있어서, 추정오차 산출부(462-1)는, 도 42에 도시된 바와 같이, 주목 블록의 중앙의 화소와 참조 블록의 중앙의 화소가 겹치는 위치를 기준으로 하여, 화소치의 차이분의 절대치의 산출에, 주목 화소의 화소치가 사용되도록, 참조 블록에 대하여, 주목 블록의 위치를, 좌측으로 2화소 내지 우측으로 2화소 중 어느 하나, 상측으로 2화소 내지 하측으로 2화소 중 어느 하나 이동시킨 경우에 겹치는 위치가 되는 화소의 화소치의 차이분의 절대치를 산출한다. 즉, 주목 블록과 참조 블록의 25종류의 위치에서의, 대응하는 위치의 화소의 화소치의 차이분의 절대치가 산출된다. 바꿔 말하면, 화소치의 차이분의 절대치가 산출되는 경우에 있어서, 상대적으로 이동되는 주목 블록 및 참조 블록으로 이루어지는 범위는, 9×9 화소이다.
도 42에 있어서, 사각은 화소를 나타내고, A는 참조 블록을 나타내고, B는 주목 블록을 나타낸다. 도 42에 있어서, 굵은 선은 주목 화소를 나타낸다. 즉, 도 42는 참조 블록에 대하여, 주목 블록이 우측으로 2화소, 및 상측으로 1화소 이동한 경우의 예를 나타내는 도면이다.
또한, 추정오차 산출부(462-1)는, 주목 화소를 중심으로 한, 5×5 화소로 이루어지는 주목 블록과, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 대응하여 추출된, 주목 화소에 대하여, 좌측으로 5화소 이동한 위치에 있는 화소를 중심으로 한, 5×5 화소의 참조 블록에 대하여, 주목 블록에 포함되는 화소의 화소치와, 참조 블록에 포함되는 화소의 화소치의 차이분의 절대치를 산출한다.
그리고, 추정오차 산출부(462-1)는, 산출된 차이분의 절대값의 합을 구하여, 차이분의 절대값의 합을, 상관을 나타내는 상관 정보로서 최소 오차 각도 선택부 (463)에 공급한다.
추정오차 산출부(462-2)는, 5×5 화소로 이루어지는 주목 블록과, 18.4도 내지 33.7도의 범위에 대응하여 추출된, 5×5 화소의 2개의 참조 블록에 대하여, 화소치의 차이분의 절대치를 산출하고, 또한, 산출된 차이분의 절대값의 합을 산출한다. 추정오차 산출부(462-1)는, 산출된 차이분의 절대값의 합을, 상관을 나타내는 상관 정보로서 최소 오차 각도 선택부(463)에 공급한다.
마찬가지로, 추정오차 산출부(462-3) 내지 추정오차 산출부(462-8)의 각각은, 5×5 화소로 이루어지는 주목 블록과, 소정의 각도의 범위에 대응하여 추출된, 5×5 화소의 2개의 참조 블록에 대하여, 화소치의 차이분의 절대치를 산출하고, 또한, 산출된 차이분의 절대값의 합을 산출한다. 추정오차 산출부(462-3) 내지 추정오차 산출부(462-8)의 각각은, 산출된 차이분의 절대값의 합을, 상관을 나타내는 상관 정보로서 최소 오차 각도 선택부(463)에 공급한다.
최소 오차 각도 선택부(463)는, 추정오차 산출부(462-1) 내지 추정오차 산출부(462-8)로부터 공급된, 상관 정보로서의 화소치의 차이분의 절대값의 합 중, 가장 강한 상관을 나타내는, 최소의 값이 얻어진 참조 블록의 위치로부터, 2개의 참조 블록에 대한 각도를 데이터의 정상성의 각도로서 검출하고, 검출된 각도를 나타내는 데이터 정상성 정보를 출력한다.
여기에서, 참조 블록의 위치와, 데이터의 정상성의 각도의 범위의 관계에 대하여 설명한다.
실세계의 신호를 근사하는 근사 함수 f(x)를 n차의 일차원 다항식으로 근사 한 경우, 근사 함수 f(x)는, 식(15)로 나타낼 수 있다.
Figure 112005047590059-pct00012
···(15)
근사 함수 f(x)로 근사되는 실세계의 신호의 파형이, 공간 방향 Y에 대하여 일정한 기울기(각도)를 가지는 경우, 식(15)에서의, x를 x+γy로 함으로써 얻어진 식(16)으로, 실세계의 신호를 근사하는 근사 함수(x, y)는, 표현된다.
Figure 112005047590059-pct00013
···(16)
γ는 공간 방향 Y의 위치의 변화에 대한, 공간 방향 X의 위치의 변화의 비율을 나타낸다. 이하, γ를 시프트량이라고도 한다.
도 43은 주목 화소의 위치와, 각도(θ)를 가지는 직선의 공간 방향 X의 거리를 0으로 했을 때, 즉, 주목 화소를 직선이 통과할 때의, 주목 화소의 주변의 화소의 위치와, 각도(θ)를 가지는 직선의 공간 방향 X의 거리를 도시한 도면이다. 여기에서, 화소의 위치는, 화소의 중심의 위치이다. 또, 위치와 직선의 거리는, 위치가 직선에 대하여 좌측에 있을 때, 마이너스의 값으로 나타내고, 위치가 직선에 대하여 우측에 있을 때, 플러스의 값으로 나타낸다.
예를 들면, 주목 화소의 우측에 인접하는 화소의 위치, 즉 공간 방향 X의 좌 표 x가 1증가하는 위치와, 각도(θ)를 가지는 직선의 공간 방향 X의 거리는, 1이며, 주목 화소의 좌측에 인접하는 화소의 위치, 즉 공간 방향 X의 좌표 x가 1감소하는 위치와, 각도(θ)를 가지는 직선의 공간 방향 X의 거리는, -1이다. 주목 화소의 상측에 인접하는 화소의 위치, 즉 공간 방향 Y의 좌표 y가 1증가하는 위치와, 각도(θ)를 가지는 직선의 공간 방향 X의 거리는, -γ이며, 주목 화소의 하측에 인접하는 화소의 위치, 즉 공간 방향 Y의 좌표 y가 1감소하는 위치와, 각도(θ)를 가지는 직선의 공간 방향 X의 거리는, γ 이다.
각도(θ)가 45도를 넘고, 90도 미만이며, 시프트량(γ)이, 0을 넘고, 1미만일 때, 시프트량(γ)과 각도(θ)의 사이에는, γ=1/tanθ의 관계식이 성립한다. 도 44는 시프트량(γ)과 각도(θ)의 관계를 도시한 도면이다.
여기에서, 시프트량(γ)의 변화에 대한, 주목 화소의 주변의 화소의 위치와, 주목 화소를 통과하고, 각도(θ)를 가지는 직선의 공간 방향 X의 거리의 변화에 주목한다.
도 45는 시프트량(γ)에 대한, 주목 화소의 주변의 화소의 위치와, 주목 화소를 통과하고, 각도(θ)를 가지는 직선의 공간 방향 X의 거리를 도시한 도면이다. 도 45에 있어서, 우측 상향으로 경사진 일점쇄선은, 시프트량(γ)에 대한, 주목 화소의 하측에 인접하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타내고, 좌측 하향의 일점쇄선은, 시프트량(γ)에 대한, 주목 화소의 상측에 인접하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타낸다.
도 45에 있어서, 우측 상향으로 경사진 2점쇄선은, 시프트량(γ)에 대한, 주 목 화소로부터, 2화소 하측으로, 1화소 좌측에 위치하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타내고, 좌측 하향의 2점쇄선은, 시프트량(γ)에 대한, 주목 화소로부터, 2화소 상측으로, 1화소 우측에 위치하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타낸다.
도 45에 있어서, 우측 상향으로 경사진 3점쇄선은, 시프트량(γ)에 대한, 주목 화소로부터, 1화소 하측으로, 1화소 좌측에 위치하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타내고, 좌측 하향의 3점쇄선은, 시프트량(γ)에 대한, 주목 화소로부터, 1화소 상측으로, 1화소 우측에 위치하는 화소의 위치와 직선의 공간 방향 X의 거리를 나타낸다.
도 45로부터, 시프트량(γ)에 대하여, 거리가 가장 작은 화소를 알 수 있다.
즉, 시프트량(γ)이 0 내지 1/3일 때, 주목 화소의 상측에 인접하는 화소 및 주목 화소의 하측에 인접하는 화소로부터, 직선까지의 거리가 최소이다. 즉, 각도(θ)가 71.6도 내지 90도일 때, 주목 화소의 상측에 인접하는 화소 및 주목 화소의 하측에 인접하는 화소로부터, 직선까지의 거리가 최소이다.
시프트량(γ)이 1/3 내지 2/3일 때, 주목 화소에 대하여, 2화소 상측으로, 1화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 2화소 하측으로, 1화소 좌측에 위치하는 화소로부터, 직선까지의 거리가 최소이다. 즉, 각도(θ)가 56.3도 내지 71.6도일 때, 주목 화소에 대하여, 2화소 상측으로, 1화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 2화소 하측으로, 1화소 좌측에 위치하는 화소로부터, 직선까지의 거리가 최소이다.
또, 시프트량(γ)이 2/3 내지 1일 때, 주목 화소에 대하여, 1화소 상측으로, 1화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 1화소 하측으로, 1화소 좌측에 위치하는 화소로부터, 직선까지의 거리가 최소이다. 즉, 각도(θ)가 45도 내지 56.3도일 때, 주목 화소에 대하여, 1화소 상측으로, 1화소 우측에 위치하는 화소, 및 주목 화소에 대하여, 1화소 하측으로, 1화소 좌측에 위치하는 화소로부터, 직선까지의 거리가 최소이다.
각도(θ)가 0도로부터 45도까지의 범위의 직선과 화소의 관계도, 동일하게 생각할 수 있다.
도 43에 나타내는 화소를, 주목 블록 및 참조 블록으로 치환하여, 참조 블록과 직선의 공간 방향 X의 거리를 생각할 수 있다.
도 46에 주목 화소를 통과하고, 공간 방향 X의 축에 대하여 각도(θ)의 직선의 거리가 최소인 참조 블록을 나타낸다.
도 46에서의 A 내지 H 및 A' 내지 H'는, 도 41에서의 A 내지 H 및 A' 내지 H'의 참조 블록을 나타낸다.
즉, 주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한, 0도 내지 18.4도 및 161.6도 내지 180.0도 중 어느 하나의 각도(θ)를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록의 각각의 공간 방향 X의 거리 중, 직선과 A 및 A'의 참조 블록의 거리가 최소로 된다. 따라서, 반대로 생각하면, 주목 블록과, A 및 A'의 참조 블록의 상관이 가장 강할 때, 주목 블록과, A 및 A'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복되어 나타나고 있기 때문에, 데이터의 정상성의 각도는, 0도 내지 18.4도 및 161.6도 내지 180.0도의 범위에 있다고 할 수 있다.
주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한, 18.4도 내지 33.7도 중 어느 하나의 각도(θ)를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록의 각각의 공간 방향 X의 거리 중, 직선과 B 및 B'의 참조 블록의 거리가 최소로 된다. 따라서, 반대로 생각하면, 주목 블록과, B 및 B'의 참조 블록의 상관이 가장 강할 때, 주목 블록과, B 및 B'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복되어 나타나고 있기 때문에, 데이터의 정상성의 각도는, 18.4도 내지 33.7도의 범위에 있다고 할 수 있다.
주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한, 33.7도 내지 56.3도 중 어느 하나의 각도(θ)를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록의 각각의 공간 방향 X의 거리 중, 직선과 C 및 C'의 참조 블록의 거리가 최소로 된다. 따라서, 반대로 생각하면, 주목 블록과, C 및 C'의 참조 블록의 상관이 가장 강할 때, 주목 블록과, C 및 C'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복되어 나타나고 있기 때문에, 데이터의 정상성의 각도는, 33.7도 내지 56.3도의 범위에 있다고 할 수 있다.
주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한, 56.3도 내지 71.6도 중 어느 하나의 각도(θ)를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록의 각각의 공간 방향 X의 거리 중, 직선과 D 및 D'의 참조 블록의 거리가 최소로 된다. 따라서, 반대로 생각하면, 주목 블록과, D 및 D'의 참조 블록의 상관이 가장 강할 때, 주목 블록과, D 및 D'의 참조 블록을 연결하는 방향으로, 일정한 특징 이 반복되어 나타나고 있기 때문에, 데이터의 정상성의 각도는, 56.3도 내지 71.6도의 범위에 있다라고 말 할 수 있다.
주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한, 71.6도 내지 108.4도 중 어느 하나의 각도(θ)를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록의 각각의 공간 방향 X의 거리 중, 직선과 E 및 E'의 참조 블록의 거리가 최소로 된다. 따라서, 반대로 생각하면, 주목 블록과, E 및 E'의 참조 블록과의 상관이 가장 강할 때, 주목 블록과, E 및 E'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복되어 나타나고 있기 때문에, 데이터의 정상성의 각도는, 71.6도 내지 108.4도의 범위에 있다고 할 수 있다.
주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한, 108.4도 내지 123.7도 중 어느 하나의 각도(θ)를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록의 각각의 공간 방향 X의 거리 중, 직선과 F 및 F'의 참조 블록의 거리가 최소로 된다. 따라서, 반대로 생각하면, 주목 블록과, F 및 F'의 참조 블록의 상관이 가장 강할 때, 주목 블록과, F 및 F'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복되어 나타나고 있기 때문에, 데이터의 정상성의 각도는, 108.4도 내지 123.7도의 범위에 있다고 할 수 있다.
주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한, 123.7도 내지 146.3도 중 어느 하나의 각도(θ)를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록의 각각의 공간 방향 X의 거리 중, 직선과 G 및 G'의 참조 블록의 거리가 최소로 된다. 따라서, 반대로 생각하면, 주목 블록과, G 및 G'의 참조 블록의 상 관이 가장 강할 때, 주목 블록과, G 및 G'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복되어 나타나고 있기 때문에, 데이터의 정상성의 각도는, 123.7도 내지 146.3도의 범위에 있다고 할 수 있다.
주목 화소를 통과하고, 공간 방향 X의 축을 기준으로 한, 146.3도 내지 161.6도 중 어느 하나의 각도(θ)를 가지는 직선과, A 내지 H 및 A' 내지 H'의 참조 블록의 각각의 공간 방향 X의 거리 중, 직선과 H 및 H'의 참조 블록의 거리가 최소로 된다. 따라서, 반대로 생각하면, 주목 블록과, H 및 H'의 참조 블록과의 상관이 가장 강할 때, 주목 블록과, H 및 H'의 참조 블록을 연결하는 방향으로, 일정한 특징이 반복되어 나타나고 있기 때문에, 데이터의 정상성의 각도는, 146.3도 내지 161.6도의 범위에 있다고 할 수 있다.
이와 같이, 데이터 정상성 검출부(101)는, 주목 블록과 참조 블록의 상관을 기초로, 데이터의 정상성의 각도를 검출할 수 있다.
또, 도 39에 구성을 나타내는 데이터 정상성 검출부(101)에서는, 데이터의 정상성의 각도의 범위를 데이터 정상성 정보로서 출력하도록 할 수도 있고, 데이터의 정상성의 각도의 범위를 나타내는 대표치를 데이터 정상성 정보로서 출력하도록 할 수도 있다. 예를 들면, 데이터의 정상성의 각도의 범위의 중앙값을 대표치로 할 수 있다.
또한, 도 39에 구성을 나타내는 데이터 정상성 검출부(101)는, 상관이 가장 강한 참조 블록의 주변의 참조 블록의 상관을 이용함으로써, 검출하는 데이터의 정상성의 각도의 범위를 1/2로, 즉, 검출하는 데이터의 정상성의 각도의 분해능을 2 배로 할 수 있다.
예를 들면, 주목 블록과, E 및 E'의 참조 블록의 상관이 가장 강할 때, 최소 오차 각도 선택부(463)는, 도 47에 도시된 바와 같이, 주목 블록에 대한, D 및 D'의 참조 블록의 상관과, 주목 블록에 대한, F 및 F'의 참조 블록의 상관을 비교한다. 주목 블록에 대한, D 및 D'의 참조 블록의 상관이, 주목 블록에 대한, F 및 F'의 참조 블록의 상관에 비교하여, 강한 경우, 최소 오차 각도 선택부(463)는, 데이터의 정상성의 각도에, 71.6도 내지 90도의 범위를 설정한다. 또, 이 경우, 최소 오차 각도 선택부(463)는, 데이터의 정상성의 각도에, 대표치로서 81도를 설정하도록 할 수도 있다.
주목 블록에 대한, F 및 F'의 참조 블록의 상관이, 주목 블록에 대한, D 및 D'의 참조 블록의 상관에 비교하여, 강한 경우, 최소 오차 각도 선택부(463)는, 데이터의 정상성의 각도에, 90도 내지 108.4도의 범위를 설정한다. 또, 이 경우, 최소 오차 각도 선택부(463)는, 데이터의 정상성의 각도에, 대표치로서 99도를 설정하도록 할 수도 있다.
최소 오차 각도 선택부(463)는, 동일한 처리로, 다른 각도의 범위에 대하여도, 검출하는 데이터의 정상성의 각도의 범위를 1/2로 할 수 있다.
또한, 도 47을 참조하여 설명한 방법을, 간이 16 방위 검출 방법이라고도 한다.
이와 같이, 도 39에 구성을 나타내는 데이터 정상성 검출부(101)는, 간단한 처리로, 보다 범위가 좁은, 데이터의 정상성의 각도를 검출할 수 있다.
다음에, 도 48의 플로차트를 참조하여, 단계 S101의 처리에 대응하는 도 39에 구성이 도시되는 데이터 정상성 검출부(101)에 의한, 데이터의 정상성의 검출의 처리를 설명한다.
단계 S441에 있어서, 데이터 선택부(441)는, 입력 화상으로부터, 주목하고 있는 화소인 주목 화소를 선택한다. 예를 들면, 데이터 선택부(441)는, 입력 화상으로부터, 라스터 스캔 순서로, 주목 화소를 선택한다.
단계 S442에 있어서, 데이터 선택부(441)는, 주목 화소를 중심으로 하는 소정의 수의 화소로 이루어지는 주목 블록을 선택한다. 예를 들면, 데이터 선택부(441)는, 주목 화소를 중심으로 하는 5×5 화소로 이루어지는 주목 블록을 선택한다.
단계 S443에 있어서, 데이터 선택부(441)는, 주목 화소의 주변의 소정의 위치의 소정의 수의 화소로 이루어지는 참조 블록을 선택한다. 예를 들면, 데이터 선택부(441)는, 주목 화소 및 기준축을 기준으로 한 소정의 각도의 범위마다, 주목 블록의 크기를 기준으로 한, 소정의 위치의 화소를 중심으로 하는 5×5 화소로 이루어지는 참조 블록을 선택한다.
데이터 선택부(441)는, 주목 블록 및 참조 블록을 오차 추정부(442)에 공급한다.
단계 S444에 있어서, 오차 추정부(442)는, 주목 화소 및 기준축을 기준으로 한 소정의 각도의 범위마다, 주목 블록과, 각도의 범위에 대응한 참조 블록의 상관을 계산한다. 오차 추정부(442)는, 산출된 상관을 나타내는 상관 정보를 정상 방 향 도출부(443)에 공급한다.
단계 S445에 있어서, 정상 방향 도출부(443)는, 주목 블록에 대하여, 상관이 가장 강한 참조 블록의 위치로부터, 드롭아웃된 실세계의 광신호인 화상의 정상성에 대응하는 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출한다.
정상 방향 도출부(443)는, 검출한 데이터의 정상성의 각도를 나타내는 데이터 정상성 정보를 출력한다.
단계 S446에 있어서, 데이터 선택부(441)는, 모든 화소의 처리를 종료하였는지 여부를 판정하고, 모든 화소의 처리를 종료하지 않았다고 판정된 경우, 단계 S441로 리턴하고, 아직 주목 화소로서 선택되어 있지 않은 화소로부터 주목 화소를 선택하여, 상술한 처리를 반복한다.
단계 S446에 있어서, 모든 화소의 처리를 종료했다고 판정된 경우, 처리는 종료된다.
이와 같이, 도 39에 구성을 나타내는 데이터 정상성 검출부(101)는, 보다 간단한 처리로, 드롭아웃된 실세계의 광신호의 정상성에 대응하는 화상 데이터에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출할 수 있다. 또, 도 39에 구성을 나타내는 데이터 정상성 검출부(101)는, 입력 화상의 중, 비교적 좁은 범위의 화소의 화소치를 사용하여, 데이터의 정상성의 각도를 검출할 수 있기 때문에, 입력 화상에 노이즈(noise) 등이 포함되어 있더라도, 보다 정확하게 데이터의 정상성의 각도를 검출할 수 있다.
또, 도 39에 구성이 도시되는 데이터 정상성 검출부(101)는, 주목하고 있는 프레임인 주목 프레임의, 주목하고 있는 화소인 주목 화소에 대하여, 주목 프레임으로부터, 소정의 수의 화소로 이루어지는, 주목 화소를 중심으로한 블록과, 주목 화소의 주변의, 각각, 소정의 수의 화소로 이루어지는 복수의 블록을 추출하는 동시에, 주목 프레임에 대하여 시간적으로 전 또는 후의 프레임으로부터, 소정의 수의 화소로 이루어지는, 주목 화소에 대응하는 위치의 화소를 중심으로한 블록과, 주목 화소에 대응하는 위치의 화소의 주변의, 각각, 소정의 수의 화소로 이루어지는 복수의 블록을 추출하고, 주목 화소를 중심으로한 블록과 공간적 또는 시간적으로 주변의 블록의 상관을 검출하고, 상관에 따라, 입력 화상에서의, 시간 방향 및 공간 방향의 데이터의 정상성의 각도를 검출하도록 할 수도 있다.
예를 들면, 도 49에 도시한 바와 같이, 데이터 선택부(441)는, 주목 프레임인 프레임#n에서 주목 화소를 순차로 선택하고, 프레임#n에서, 주목 화소를 중심으로 한, 소정의 수의 화소로 이루어지는 블록, 및, 주목 화소의 주변의, 소정의 수의 화소로 이루어지는 복수의 블록을 추출한다. 또, 데이터 선택부(441)는, 프레임#n-1 및 프레임#n+1의 각각으로부터, 주목 화소의 위치에 대응하는 위치의 화소를 중심으로 한, 소정의 수의 화소로 이루어지는 블록, 및, 주목 화소의 위치에 대응하는 위치의 화소의 주변의, 소정의 수의 화소로 이루어지는 복수의 블록을 추출한다. 데이터 선택부(441)는, 추출한 블록을 오차 추정부(442)에 공급한다.
오차 추정부(442)는, 데이터 선택부(441)로부터 공급된 주목 화소를 중심으로한 블록과, 공간적 또는 시간적으로 주변의 블록의 상관을 검출하여, 검출한 상 관을 나타내는 상관 정보를 정상 방향 도출부(443)에 공급한다. 정상성 방향 도출부(443)는, 오차 추정부(442)로부터 공급된 상관 정보에 따라, 상관이 가장 강한, 공간적 또는 시간적으로 주변의 블록의 위치로부터, 드롭아웃된 실세계의 광신호의 정상성에 대응하는 입력 화상에서의, 시간 방향 및 공간 방향의 데이터의 정상성의 각도를 검출하고, 각도를 나타내는 데이터 정상성 정보를 출력한다.
또, 데이터 정상성 검출부(101)는, 입력 화상의 컴포넌트 신호를 기초로, 데이터의 정상성의 검출의 처리를 실행할 수 있다.
도 50은 입력 화상의 컴포넌트 신호를 기초로, 데이터의 정상성의 검출의 처리를 실행하는 데이터 정상성 검출부(101)의 구성을 나타내는 블록도이다.
데이터 정상성 검출부(481-1 내지 481-3)의 각각은, 상술한, 또는 후술하는 데이터 정상성 검출부(101)과 동일한 구성을 가지고, 입력 화상의 컴포넌트 신호의 각각을 처리의 대상으로 삼아, 상술한, 또는 후술하는 처리를 실행한다.
데이터 정상성 검출부(481-1)는, 입력 화상의 제1 컴포넌트 신호를 기초로, 데이터의 정상성을 검출하고, 제1 컴포넌트 신호로부터 검출된 데이터의 정상성을 나타내는 정보를 결정부(482)에 공급한다. 예를 들면, 데이터 정상성 검출부(481-1)는, 입력 화상의 휘도(輝度) 신호를 기초로, 데이터의 정상성을 검출하고, 휘도 신호로부터 검출된 데이터의 정상성을 나타내는 정보를 결정부(482)에 공급한다.
데이터 정상성 검출부(481-2)는, 입력 화상의 제2 컴포넌트 신호를 기초로, 데이터의 정상성을 검출하고, 제2 컴포넌트 신호로부터 검출된 데이터의 정상성을 나타내는 정보를 결정부(482)에 공급한다. 예를 들면, 데이터 정상성 검출부(481- 2)는, 입력 화상의 색차(色差) 신호인 I 신호를 기초로, 데이터의 정상성을 검출하고, I 신호로부터 검출된 데이터의 정상성을 나타내는 정보를 결정부(482)에 공급한다.
데이터 정상성 검출부(481-3)는, 입력 화상의 제3 컴포넌트 신호를 기초로, 데이터의 정상성을 검출하고, 제3 컴포넌트 신호로부터 검출된 데이터의 정상성을 나타내는 정보를 결정부(482)에 공급한다. 예를 들면, 데이터 정상성 검출부(481-3)는, 입력 화상의 색차 신호인 Q신호를 기초로, 데이터의 정상성을 검출하고, Q신호로부터 검출된 데이터의 정상성을 나타내는 정보를 결정부(482)에 공급한다.
결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된 각 컴포넌트 신호로부터 검출된 데이터의 정상성을 나타내는 정보를 기초로, 입력 화상에서의 최종적인 데이터의 정상성을 검출하여, 검출한 데이터의 정상성을 나타내는 데이터 정상성 정보를 출력한다.
예를 들면, 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된 각 컴포넌트 신호로부터 검출된 데이터의 정상성 중, 최대의 데이터의 정상성을 최종적인 데이터의 정상성으로 한다. 또, 예를 들면, 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된 각 컴포넌트 신호로부터 검출된 데이터의 정상성 중, 최소의 데이터의 정상성을 최종적인 데이터의 정상성으로 한다.
또한, 예를 들면, 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된 각 컴포넌트 신호로부터 검출된 데이터의 정상성의 평균값을 최종적인 데이터의 정상성으로 한다. 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된 각 컴포넌트 신호로부터 검출된 데이터의 정상성의 메디안(중앙값)을 최종적인 데이터의 정상성으로 하도록 할 수도 있다.
또, 예를 들면, 결정부(482)는, 외부에서 입력된 신호를 기초로, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된 각 컴포넌트 신호로부터 검출된 데이터의 정상성 중, 외부에서 입력된 신호로 지정되는 데이터의 정상성을 최종적인 데이터의 정상성으로 한다. 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된 각 컴포넌트 신호로부터 검출된 데이터의 정상성 중, 미리 정한 데이터의 정상성을 최종적인 데이터의 정상성으로 하도록 할 수도 있다.
또, 결정부(482)는, 데이터 정상성 검출부(481-1 내지 481-3)로부터 공급된 각 컴포넌트 신호의 데이터의 정상성의 검출의 처리로 구한 오차를 기초로, 최종적인 데이터의 정상성을 결정하도록 할 수도 있다. 데이터의 정상성의 검출의 처리로 구해지는 오차에 대해서는, 후술한다.
도 51은 입력 화상의 컴포넌트 신호를 기초로, 데이터의 정상성의 검출의 처리를 실행하는 데이터 정상성 검출부(101)의 다른 구성을 도시한 도면이다.
컴포넌트 처리부(491)는, 입력 화상의 컴포넌트 신호를 기초로, 하나의 신호를 생성하고, 데이터 정상성 검출부(492)에 공급한다. 예를 들면, 컴포넌트 처리부(491)는, 입력 화상의 각 컴포넌트 신호에서의 값을, 화면상에서 동일 위치의 화소에 대하여, 가산함으로써, 컴포넌트 신호의 값의 합으로 이루어지는 신호를 생성한다.
예를 들면, 컴포넌트 처리부(491)는, 입력 화상의 각 컴포넌트 신호에서의 화소치를, 화면상에서 동일 위치의 화소에 대하여, 평균함으로써, 컴포넌트 신호의 화소치의 평균값으로 이루어지는 신호를 생성한다.
데이터 정상성 검출부(492)는, 컴포넌트 처리부(491)로부터 공급된 신호를 기초로, 입력 화상에서의, 데이터의 정상성을 검출하고, 검출한 데이터의 정상성을 나타내는 데이터 정상성 정보를 출력한다.
데이터 정상성 검출부(492)는, 상술한, 또는 후술하는 데이터 정상성 검출부(101)와 동일한 구성을 가지고, 컴포넌트 처리부(491)로부터 공급된 신호를 대상으로 삼아, 상술한, 또는 후술하는 처리를 실행한다.
이와 같이, 데이터 정상성 검출부(101)는, 컴포넌트 신호를 기초로, 입력 화상의 데이터의 정상성을 검출함으로써, 입력 화상에 노이즈 등이 포함되어 있더라도, 보다 정확하게, 데이터의 정상성을 검출할 수 있다. 예를 들면, 데이터 정상성 검출부(101)는, 컴포넌트 신호를 기초로, 입력 화상의 데이터의 정상성을 검출함으로써, 보다 정확하게, 데이터의 정상성의 각도(기울기), 혼합비, 또는 데이터의 정상성을 가지는 영역을 검출할 수 있다.
또, 컴포넌트 신호는, 휘도 신호 및 색차 신호에 한정되지 않고, RGB 신호, 또는 YUV 신호 등 다른 방식의 컴포넌트 신호일 수도 있다.
이상과 같이, 현실 세계의 광신호가 사영(射影)되고, 현실 세계의 광신호의 정상성의 일부가 드롭아웃된 화상 데이터의, 드롭아웃된 현실 세계의 광신호의 정상성에 대응하는 데이터의 정상성의, 기준축에 대한 각도를 검출하고, 검출된 각도에 따라, 드롭아웃된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정 하도록 한 경우, 현실 세계의 사상(事象)에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.
또, 현실 세계의 광신호가 사영되고, 현실 세계의 광신호의 정상성의 일부가 드롭아웃된 화상 데이터의 주목하고 있는 주목 화소 및 기준축을 기준으로 한 각도마다, 소정의 수의 화소로 이루어지는 화소의 쌍으로서, 복수의 쌍을 추출하고, 각도마다 추출된, 복수의 쌍에서의 대응하는 위치의 화소의 화소치의 상관을 검출하고, 검출된 상관에 따라, 드롭아웃된 현실 세계의 광신호의 정상성에 대응하는 화상 데이터에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출하고, 검출된 화상 데이터에서의 기준축에 대한 데이터의 정상성의 각도에 따라, 드롭아웃된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하도록 한 경우, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.
도 52는 데이터 정상성 검출부(101)의 또 다른 구성을 나타내는 블록도이다.
도 52에 나타내는 데이터 정상성 검출부(101)에서는, 현실 세계의 광신호가 사영되고, 현실 세계의 광신호의 정상성의 일부가 드롭아웃된 화상 데이터의 주목하고 있는 화소인 주목 화소에 대응하는 영역이 선택되고, 주목 화소의 화소치와, 선택된 영역에 속하는 화소의 화소치의 상관치가 임계값 이상인 화소에, 상관치에 기초하는 도수(度數)가 설정되는 것에 의해, 영역에 속하는 화소의 도수가 검출되고, 검출된 도수에 따라 회귀선을 검출함으로써, 드롭아웃된 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 데이터의 정상성이 검출된다.
프레임 메모리(501)는, 입력 화상을 프레임단위로 기억하고, 기억되어 있는 프레임을 구성하는 화소의 화소치를 화소 취득부(502)에 공급한다. 프레임 메모리(501)는, 하나의 페이지에 입력 화상의 현재의 프레임을 기억하고, 다른 페이지에 기억하고 있는, 현재의 프레임에 대하여 하나 전(과거)의 프레임의 화소의 화소치를 화소 취득부(502)에 공급하고, 입력 화상의 프레임의 전환의 시각에 있어서, 페이지를 전환함으로써, 화소 취득부(502)에, 동화인 입력 화상의 프레임의 화소의 화소치를 공급할 수 있다.
화소 취득부(502)는, 프레임 메모리(501)로부터 공급된 화소의 화소치를 기초로, 주목하고 있는 화소인 주목 화소를 선택하고, 선택된 주목 화소에 대응하는 소정의 수의 화소로 이루어지는 영역을 선택한다. 예를 들면, 화소 취득부(502)는, 주목 화소를 중심으로 하는 5×5 화소로 이루어지는 영역을 선택한다.
화소 취득부(502)가 선택하는 영역의 크기는, 본 발명을 한정하는 것이 아니다.
화소 취득부(502)는, 선택한 영역의 화소의 화소치를 취득하여, 선택한 영역의 화소의 화소치 도수검출부(503)에 공급한다.
도수검출부(503)는, 화소 취득부(502)로부터 공급된 선택된 영역의 화소의 화소치를 기초로, 주목 화소의 화소치와, 선택된 영역에 속하는 화소의 화소치의 상관치가 임계값 이상인 화소에, 상관치에 기초하는 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출한다. 도수검출부(503)에서의, 상관치에 기초하는 도수의 설정의 처리의 상세한 것은, 후술한다.
도수검출부(503)는, 검출한 도수를 회귀 직선 연산부(504)에 공급한다.
회귀 직선 연산부(504)는, 도수검출부(503)로부터 공급된 도수에 따라, 회귀선을 연산한다. 예를 들면, 회귀 직선 연산부(504)는, 도수검출부(503)로부터 공급된 도수에 따라, 회귀 직선을 연산한다. 또, 예를 들면, 회귀 직선 연산부(504)는, 도수검출부(503)로부터 공급된 도수에 따라, 소정의 곡선인 회귀선을 연산한다. 회귀 직선 연산부(504)는, 연산된 회귀선 및 연산의 결과를 나타내는 연산 결과 파라미터를 각도산출부(505)에 공급한다. 연산파라미터가 나타내는 연산의 결과에는, 후술하는 변동 및 공변동 등이 포함된다.
각도산출부(505)는, 회귀 직선 연산부(504)로부터 공급된 연산 결과 파라미터로 나타내는, 회귀선에 따라, 드롭아웃된 현실 세계의 광신호의 정상성에 대응하는 화상 데이터인 입력 화상의 데이터의 정상성을 검출한다. 예를 들면, 각도산출부(505)는, 회귀 직선 연산부(504)로부터 공급된 연산 결과 파라미터로 나타내는, 회귀 직선에 따라, 드롭아웃된 실세계의 광신호의 정상성에 대응하는 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출한다. 각도산출부(505)는, 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 나타내는 데이터 정상성 정보를 출력한다.
도 53 내지 도 55를 참조하여, 입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도에 대하여 설명한다.
도 53에 있어서, 동그라미는, 하나의 화소를 나타내고, 이중 동그라미는, 주목 화소를 나타낸다. 동그라미의 색은 화소의 화소치의 개략을 나타내고, 보다 밝 은 색은, 보다 큰 화소치를 나타낸다. 예를 들면, 흑은, 30인 화소치를 나타내고, 백은 120인 화소치를 나타낸다.
도 53에 나타내는 화소로 이루어지는 화상을 인간이 본 경우, 화상을 본 인간은, 기울어진 우측 상방향으로 직선이 신장되고 있다고 인식할 수 있다.
도 52에 구성을 나타내는 데이터 정상성 검출부(101)는, 도 53에 나타내는 화소로 이루어지는 입력 화상을 입력했을 때, 기울어진 우측 상방향으로 직선이 신장되고 있는 것을 검출한다.
도 54는 도 53에 나타내는 화소의 화소치를 수치로 나타낸 도면이다. 동그라미는, 하나의 화소를 나타내고, 동그라미 내의 수치는, 화소치를 나타낸다.
예를 들면, 주목 화소의 화소치는 120이며, 주목 화소의 상측의 화소의 화소치는 100이며, 주목 화소의 하측의 화소의 화소치는 100이다. 또, 주목 화소의 좌측의 화소의 화소치는 80이며, 주목 화소의 우측의 화소의 화소치는 80이다. 마찬가지로, 주목 화소의 좌측 하측 화소의 화소치는 100이며, 주목 화소의 우측 상측 화소의 화소치는 100이다. 주목 화소의 좌측 상측 화소의 화소치는 30이며, 주목 화소의 우측 하측 화소의 화소치는 30이다.
도 52에 구성을 나타내는 데이터 정상성 검출부(101)는, 도 54에 나타내는 입력 화상에 대하여, 도 55에 도시된 바와 같이, 회귀 직선(A)을 구한다.
도 56은 입력 화상에서의, 화소의 공간 방향의 위치에 대한, 화소치의 변화와, 회귀 직선(A)의 관계를 도시한 도면이다. 데이터의 정상성을 가지는 영역에서의 화소의 화소치는, 예를 들면, 도 56에 도시한 바와 같이, 산맥형으로 변화되어 있다.
도 52에 구성을 나타내는 데이터 정상성 검출부(101)는, 데이터의 정상성을 가지는 영역에서의 화소의 화소치를 무게로서, 최소 제곱법에 의해 회귀 직선(A)을 구한다. 데이터 정상성 검출부(101)에 의해 구해진 회귀 직선(A)은, 주목 화소의 주변에서의 데이터의 정상성을 표현하고 있다.
입력 화상에서의, 기준축을 기준으로 한 데이터의 정상성의 각도는, 도 57에 도시된 바와 같이, 회귀 직선(A)과, 예를 들면, 기준축인 공간 방향 X를 나타내는 축의 각도(θ)를 구함으로써, 검출된다.
다음에, 도 52에 구성을 나타내는 데이터 정상성 검출부(101)에서의, 회귀 직선의 구체적인 산출 방법에 대하여 설명한다.
도수검출부(503)는, 예를 들면, 화소 취득부(502)로부터 공급된 주목 화소를 중심으로 하는, 공간 방향 X에 9화소, 공간 방향 Y에 5화소, 합계 45화소로 이루어지는 영역의 화소의 화소치로부터, 영역에 속하는 화소의 좌표에 대응하는 도수를 검출한다.
예를 들면, 도수검출부(503)는, 식(17)로 나타내는 연산에 의해, 도수를 산출함으로써, 영역에 속하는 좌표(xi, yj)의 도수(회수Li , j)를 검출한다.
Figure 112005047590059-pct00014
···(17)
식(17)에 있어서, P0 , 0은 주목 화소의 화소치를 나타내고, Pi , j는, 좌표(xi, yj)의 화소의 화소치를 나타낸다. Th는 임계값을 나타낸다.
i는 영역 내에 있어서의, 공간 방향 X의 화소의 순번을 나타내고, 1≤ i≤ k 이다. j는 영역 내에 있어서의, 공간 방향 Y의 화소의 순번을 나타내고, 1≤ j≤ l 이다.
k는 영역에서의, 공간 방향 X의 화소의 수를 나타내고, l은 영역에서의, 공간 방향 Y의 화소의 수를 나타낸다. 예를 들면, 영역이, 공간 방향 X에 9화소, 공간 방향 Y에 5화소, 합계 45화소로 이루어질 때, K는 9이며, l은 5이다.
도 58은 화소 취득부(502)에 있어서 취득되는 영역의 예를 나타내는 도면이다. 도 58에 있어서, 점선의 사각은, 하나의 화소를 나타낸다.
예를 들면, 도 58에 도시된 바와 같이, 영역이, 공간 방향 X에 대하여, 주목 화소를 중심으로한 9화소, 공간 방향 Y에 대하여, 주목 화소를 중심으로한 5화소로 이루어지고, 주목 화소의 좌표(x, y)가 (0, 0)일 때, 영역의 좌측 상단의 화소의 좌표(x, y)는 (-4, 2)이며, 영역의 우측 상단의 화소의 좌표(x, y)는 (4, 2)이며, 영역의 좌측 하단의 화소의 좌표(x, y)는, (-4, -2)이며, 영역의 우측 하단의 화소의 좌표(x, y)는, (4, -2)이다.
영역의 좌측의 화소의, 공간 방향 X에서의, 화소의 순번 i는 1이며, 영역의 우측의 화소의, 공간 방향 X에서의, 화소의 순번 i는 9이다. 영역의 하측의 화소의, 공간 방향 Y에서의, 화소의 순번 j는 1이며, 영역의 상측의 화소의, 공간 방향 Y에서의, 화소의 순번 j는 5이다.
즉, 주목 화소의 좌표(x5, y3)를 (0, 0)로 했을 때, 영역의 좌측 상단의 화소의 좌표(x1, y5)는 (-4, 2)이며, 영역의 우측 상단의 화소의 좌표(x9, y5)는 (4, 2)이며, 영역의 좌측 하단의 화소의 좌표(x1, y1)는 (-4, -2)이며, 영역의 우측 하단의 화소의 좌표(x9, y1)는 (4, -2)이다.
도수검출부(503)는, 식(17)에 있어서, 상관치로서, 주목 화소의 화소치와, 영역에 속하는 화소의 화소치의 차이분의 절대치를 산출하기 때문에, 실세계의 세선의 화상이 사영된, 입력 화상에서의, 데이터의 정상성을 가지는 영역뿐 아니라, 배경과는 상이한 색으로서, 단색의, 직선형의 에지를 가지는 물체의 실세계의 화상이 사영된, 입력 화상에서의, 2치(値) 에지의 데이터의 정상성을 가지는 영역에서의, 화소치의 공간적인 변화의 특징을 나타내는 도수를 검출할 수 있다.
또, 도수검출부(503)는, 화소의 화소치와의 차이분의 절대치에 한정되지 않고, 상관 계수 등 다른 상관치를 기초로, 도수를 검출하도록 할 수도 있다.
또, 식(17)에 있어서, 지수함수를 적용하고 있는 것은, 화소치의 차이에 대하여, 도수에 크게 차이를 두기 위해서이며, 다른 함수를 적용하도록 할 수도 있다.
임계값 Th는, 임의의 값으로 할 수 있다. 예를 들면, 임계값 Th는 30으로 할 수 있다.
이와 같이, 도수검출부(503)는, 선택된 영역에 속하는 화소의 화소치와의 상 관치가 임계값 이상인 화소에, 상관치에 기초하는 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출한다.
또, 예를 들면, 도수검출부(503)는, 식(18)로 나타내는 연산에 의해, 도수를 산출함으로써, 영역에 속하는 좌표(xi, yj)의 도수(Li , j)를 검출한다.
Figure 112005047590059-pct00015
···(18)
좌표(xi, yj)에서의 도수를 Li , j (1≤ i≤ k, 1≤ j≤ l)로 했을 때, 좌표 xi에서의, 공간 방향 Y의 도수(Li , j)의 합 qi는, 식(19)로 표시되고, 좌표 yj에서의, 공간 방향 X의 도수(Li , j)의 합 hj는, 식(20)으로 표시된다.
Figure 112005047590059-pct00016
···(19)
Figure 112005047590059-pct00017
···(20)
도수의 총계 u는, 식(21)로 표시된다.
Figure 112005047590059-pct00018
···(21)
도 58에 도시되는 예에 있어서, 주목 화소의 좌표의 도수(L5 , 3)는 3이며, 주목 화소의 상측의 화소의 좌표의 도수(L5 , 4)는 1이며, 주목 화소의 우측 상측 화소의 좌표의 도수(L6 , 4)는 4이며, 주목 화소에 대하여, 2화소 상측으로서, 1화소 우측의 화소의 좌표의 도수(L6 , 5)는 2이며, 주목 화소에 대하여, 2화소 상측으로서, 2화소 우측의 화소의 좌표의 도수(L7 , 5)는 3이다. 또, 주목 화소의 하측의 화소의 좌표의 도수(L5 , 2)는 2이며, 주목 화소의 좌측의 화소의 좌표의 도수(L4, 3)는 1이며, 주목 화소의 좌측 하측 화소의 좌표의 도수(L4 , 2)는 3이며, 주목 화소에 대하여, 1화소 하측으로서, 2화소 좌측의 화소의 좌표의 도수(L3 , 2)는 2이며, 주목 화소에 대하여, 2화소 하측으로서, 2화소 좌측의 화소의 좌표의 도수(L3, 1)는 4이다. 도 58에 나타내는 영역의 다른 화소의 좌표의 도수는 0이며, 도 58에 있어서, 0인 도수의 기재는 생략한다.
도 58에 나타내는 영역에서, 공간 방향 Y의 도수의 합 q1은, i가 1인 도수(L)가 모두 0이기 때문에, 0이며, q2는, i가 2인 도수(L)가 모두 0이기 때문에, 0이다. q3은 도수(L3 , 2)가 2이며, 도수(L3, 1)이 4이기 때문에, 6이다. 마찬가지로, q4는 4이며, q5는 6이며, q6은 6이며, q7은 3이며, q8은 0이며, q9는 0이다.
도 58에 나타내는 영역에서, 공간 방향 X의 도수의 합 h1는 도수(L3 , 1)가 4이 기 때문에, 4이다. h2는 도수(L3 , 2)가 2이며, 도수(L4 , 2)가 3이며, 도수(L5 , 2)가 2이기 때문에, 7이다. 마찬가지로, h3는 4이며, h4는 5이며, h5는 5이다.
도 58에 나타내는 영역에서, 도수의 총계 u는 25이다.
공간 방향 Y의 도수(Li , j)의 합 qi에, 좌표 xi를 곱한 결과를 가산한 합 Tx는, 식(22)로 표시된다.
Figure 112005047590059-pct00019
···(22)
공간 방향 X의 도수(Li , j)의 합 hj에, 좌표 yj를 곱한 결과를 가산한 합 Ty는, 식(22)로 표시된다.
Figure 112005047590059-pct00020
···(23)
예를 들면, 도 58에 나타내는 영역에서, q1가 0이며, x1가 -4이기 때문에, q1x1는 0이며, q2가 0이며, x2가 -3이기 때문에, q2x2는 0이다. 마찬가지로, q3가 6이며, x3가 -2이기 때문에, q3x3은 -12이며, q4가 4이며, x4가 -1이기 때문에, q4x4는 -4이며, q5가 6이며, x5가 0이기 때문에, q5x5는 0이다. 마찬가지로, q6가 6이며, x6가 1이기 때문에, q6x6은 6이며, q7가 3이며, x7가 2이기 때문에, q7x7은 6이며, q8이 0이며, x8가 3이기 때문에, q8x8은 0이며, q9가 0이며, x9가 4이기 때문에, q9x9는 0이다. 따라서, q1x1 내지 q9x9의 합인 Tx는, -4이다.
예를 들면, 도 58에 나타내는 영역에서, h1가 4이며, y1가 -2이기 때문에, h1y1은 -8이며, h2가 7이며, y2가 -1이기 때문에, h2y2는 -7이다. 마찬가지로, h3이 4이며, y3이 0이기 때문에, h3y3은 0이며, h4가 5이며, y4가 1이기 때문에, h4y4는, 5이며, h5가 5이며, y5가 2이기 때문에, h5y5는 10이다. 따라서, h1y1 내지 h5y5의 합인 Ty는, 0이다.
또, Qi를 아래와 같이 정의한다.
Figure 112005047590059-pct00021
···(24)
x의 변동 Sx는, 식(25)로 표시된다.
Figure 112005047590059-pct00022
···(25)
y의 변동 Sy는, 식(26)으로 표시된다.
Figure 112005047590059-pct00023
···(26)
공변동 Sxy는, 식(27)로 표시된다.
Figure 112005047590059-pct00024
···(27)
식(28)에 나타내는 1차의 회귀 직선을 구하는 것을 고려한다.
y= ax+ b ···(28)
기울기(a) 및 절편(b)은 최소 제곱법에 의해, 아래와 같이 구할 수 있다.
Figure 112005047590059-pct00025
···(29
Figure 112005047590059-pct00026
···(30)
단, 바른 회귀 직선을 구하기 위한 필요조건은, 도수(Li , j)가 회귀 직선에 대하여, 가우스 분포형으로, 분포하고 있는 것이다. 반대로 말하면, 도수검출부(503)는, 도수(Li, j)가 가우스 분포되도록, 영역의 화소의 화소치 도수(Li , j)로 변환할 필요가 있다.
회귀 직선 연산부(504)는, 식(29) 및 식(30)으로 나타내는 연산을 실행하여, 회귀 직선을 구한다.
각도산출부(505)는, 식(31)에 나타내는 연산에 의해, 회귀 직선의 기울기(a)를, 기준축인 공간 방향 X의 축에 대한 각도(θ)로 변환한다.
θ= tan-1(a)···(31)
또, 회귀 직선 연산부(504)가 소정의 곡선인 회귀선을 연산하는 경우, 각도산출부(505)는, 기준축에 대한, 주목 화소의 위치에서의 회귀선의 각도(θ)를 구한다.
여기에서, 화소마다 데이터의 정상성을 검출하기 위해서는, 절편(b)은, 불필요하다. 따라서, 식(32)에 나타내는 1차 회귀 직선을 구하는 것을 고려한다.
y= ax ···(32)
이 경우, 회귀 직선 연산부(504)는, 최소 제곱법에 의해, 기울기(a)를 식(33)으로 구할 수 있다.
Figure 112005047590059-pct00027
···(33)
도 59의 플로차트를 참조하여, 단계 S101의 처리에 대응하는, 도 52에 구성이 도시되는 데이터 정상성 검출부(101)에 의한, 데이터의 정상성의 검출의 처리를 설명한다.
단계 S501에 있어서, 화소 취득부(502)는, 아직 주목 화소로 되어 있지 않은 화소의 중에서 주목 화소를 선택한다. 예를 들면, 화소 취득부(502)는, 라스터 스 캔 순서로, 주목 화소를 선택한다. 단계 S502에 있어서, 화소 취득부(502)는, 주목 화소를 중심으로 하는 영역에 포함되는 화소의 화소치를 취득하고, 취득한 화소의 화소치를 도수검출부(503)에 공급한다. 예를 들면, 화소 취득부(502)는, 주목 화소를 중심으로 한, 9×5 화소로 이루어지는 영역을 선택하고, 영역에 포함되는 화소의 화소치를 취득한다.
단계 S503에 있어서, 도수검출부(503)는, 영역에 포함되는 화소의 화소치 도수로 변환함으로써, 도수를 검출한다. 예를 들면, 도수검출부(503)는, 식(17)에 나타내는 연산에 의해, 화소치 도수(Li ,j)로 변환한다. 이 경우에 있어서, 도수(Li , j)가 가우스 분포하도록, 영역의 화소의 화소치가 도수(Li , j)로 변환된다. 도수검출부(503)는, 변환된 도수를 회귀 직선 연산부(504)에 공급한다.
단계 S504에 있어서, 회귀 직선 연산부(504)는, 도수검출부(503)로부터 공급된 도수를 기초로, 회귀선을 구한다. 예를 들면, 회귀 직선 연산부(504)는, 도수검출부(503)로부터 공급된 도수를 기초로, 회귀 직선을 구한다. 보다 구체적으로는, 회귀 직선 연산부(504)는, 식(29) 및 식(30)으로 나타내는 연산을 실행하여, 회귀 직선을 구한다. 회귀 직선 연산부(504)는, 산출된 결과인 회귀 직선을 나타내는 연산 결과 파라미터를 각도산출부(505)에 공급한다.
단계 S505에 있어서, 각도산출부(505)는, 기준축에 대한 회귀 직선의 각도를 산출함으로써, 드롭아웃된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터의 데이터의 정상성을 검출한다. 예를 들면, 각도산출부(505)는, 식(31)에 나타내 는 연산에 의해, 회귀 직선의 기울기(a)를, 기준축인 공간 방향 X의 축에 대한 각도(θ)로 변환한다. 각도산출부(505)는, 기준축에 대한 회귀 직선의 각도를 나타내는 데이터 정상성 정보를 출력한다.
또, 각도산출부(505)는, 기울기(a)를 나타내는 데이터 정상성 정보를 출력하도록 할 수도 있다.
단계 S506에 있어서, 화소 취득부(502)는, 모든 화소의 처리를 종료하였는지 여부를 판정하고, 모든 화소의 처리를 종료하지 않았다고 판정된 경우, 단계 S501로 리턴하고, 아직 주목 화소로서 선택되어 있지 않은 화소로부터 주목 화소를 선택하여, 상술한 처리를 반복한다.
단계 S506에 있어서, 모든 화소의 처리를 종료했다고 판정된 경우, 처리는 종료된다.
이와 같이, 도 52에 구성을 나타내는 데이터 정상성 검출부(101)는, 드롭아웃된 실세계의 광신호의 정상성에 대응하는, 화상 데이터에서의, 기준축을 기준으로 한 데이터의 정상성의 각도를 검출할 수 있다.
특히, 도 52에 구성을 나타내는 데이터 정상성 검출부(101)는, 비교적 좁은 영역의 화소의 화소치를 기초로, 화소 이하의 각도를 구할 수 있다.
이상과 같이, 현실 세계의 광신호가 사영되고, 현실 세계의 광신호의 정상성의 일부가 드롭아웃된 화상 데이터의 주목하고 있는 화소인 주목 화소에 대응하는 영역을 선택하고, 주목 화소의 화소치와, 선택된 영역에 속하는 화소의 화소치의 상관치가 임계값 이상인 화소에, 상관치에 기초하는 도수를 설정함으로써, 영역에 속하는 화소의 도수를 검출하고, 검출된 도수에 따라 회귀선을 검출함으로써, 드롭아웃된 현실 세계의 광신호의 정상성에 대응하는, 화상 데이터의 데이터의 정상성을 검출하고, 검출된 화상 데이터의 데이터의 정상성에 따라, 드롭아웃된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하도록 한 경우, 현실 세계의 사상에 대하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.
또, 도 52에 구성을 나타내는 데이터 정상성 검출부(101)는, 주목 화소가 속하는 주목 프레임과, 주목 프레임의 시간적으로 전후의 프레임에 대하여, 소정의 영역에 속하는 화소의 화소치 도수로 변환하고, 도수를 기초로, 회귀평면을 구하도록 하면, 공간 방향의 데이터의 정상성의 각도와 함께, 시간 방향의 데이터의 정상성의 각도를 검출할 수 있다.
도 60은 데이터 정상성 검출부(101)의 기타 실시예의 구성을 나타내고 있다.
도 60의 데이터 정상성 검출부(101)는, 데이터 선택부(701), 데이터 더하기부(702), 및, 정상 방향 도출부(703)로 구성된다.
데이터 선택부(701)는, 입력 화상의 각 화소를 주목 화소로 하여, 그 주목 화소마다 대응하는 화소의 화소치 데이터를 선택하여, 데이터 더하기부(702)에 출력한다.
데이터 더하기부(702)는, 데이터 선택부(701)로부터 입력된 데이터에 따라, 최소 제곱법에서의 더하기 연산을 행하고, 더하기 연산 결과를 정상 방향 도출부(703)에 출력한다. 상기 데이터 더하기부(702)에 의한 더하기 연산이란, 후술하는 최소 제곱법의 연산에 이용하는 합계의 항에서의 연산이며, 그 연산 결과는, 정상성의 각도를 검출하기 위한 화상 데이터의 특징이라고 말할 수 있다.
정상 방향 도출부(703)는, 데이터 더하기부(702)로부터 입력된 더하기 연산 결과로부터 정상 방향, 즉, 데이터의 정상성이 가지는 기준축으로부터의 각도(예를 들면, 세선, 또는 2치 에지 등의 기울기, 또는 방향)를 연산하고, 이것을 데이터 정상성 정보로서 출력한다.
다음에, 도 61을 참조하여, 데이터 정상성 검출부(101)에서의 정상성(방향, 또는, 각도)를 검출하는 동작의 개요에 대하여 설명한다. 또한, 도 61, 도 62 중의 경우와 대응하는 부분에 대해서는, 동일한 부호가 부여되고, 이하에서는 그 설명은, 적절하게 생략한다.
도 61에 도시된 바와 같이, 실세계의 신호(예를 들면, 화상)는, 광학 시스템(141)[예를 들면, 렌즈, 또는 LPF(Low Pass Filter) 등으로 이루어지는]에 의해, 센서[예를 들면, CCD(Charge Coupled Device), 또는, CMOS(Complementary Metal-Oxide Semiconductor) 등]의 수광면에 결상된다. 센서는, 예를 들면, CCD나 CMOS와 같은 적분 특성을 가지는 소자로 구성된다. 이러한 구성에 의해, 센서로부터 출력되는 데이터로부터 얻어지는 화상은, 실세계의 화상과는 상이한 화상이 된다(실세계의 화상과는 차이가 생기게 된다).
따라서, 데이터 정상성 검출부(101)는, 도 62에 도시된 바와 같이, 모델(705)을 이용하여, 실세계를 근사식에 의해 근사적으로 기술하여, 그 근사식으로부터 데이터 정상성을 추출한다. 모델(705)은, 예를 들면, N 개의 변수로 표현된다. 보다 정확하게는, 모델(705)은, 실세계의 신호를 근사(기술)한다.
데이터 정상성 검출부(101)는, 모델(705)을 예측하기 위하여, 데이터로부터, M 개의 데이터(706)를 추출한다. 그 결과, 모델(705)은, 데이터의 정상성에 구속되는 것으로 된다.
즉, 모델(705)은, 센서로 취득되었을 때, 데이터에 있어서 데이터의 데이터 정상성을 발생시키는, 정상성(소정의 차원의 방향으로 일정한 특징)을 가지는 실세계의 사상[을 나타내는 정보(신호)]을 근사한다.
여기에서, 데이터(706)의 수 M이, 모델(705)의 변수의 수 N 이상이면, M 개의 데이터(706)로부터, N 개의 변수로 표현되는 모델(705)을 예측할 수 있다.
또한, 데이터 정상성 검출부(101)는, 실세계(의 신호)를 근사(기술)하는 모델(705)을 예측함으로써, 실세계의 정보인 신호에 포함되는 데이터 정상성을, 예를 들면, 세선이나 2치 에지의 방향(기울기, 또는 소정의 방향을 축으로 했을 때의 축과의 이루는 각도)으로서 도출하고, 데이터 정상성 정보로서 출력한다.
다음에, 도 63을 참조하여, 입력 화상보다 세선의 방향(각도)을 데이터 정상성 정보로서 출력하는 데이터 정상성 검출부(101)에 대하여 설명한다.
데이터 선택부(701)는, 수평·수직판정부(711), 및, 데이터 취득부(712)로 구성되어 있다. 수평·수직판정부(711)는, 주목 화소와 그 주변의 화소 사이의 화소치의 차이분으로부터, 입력 화상의 세선의 수평 방향으로 대한 각도가, 수평 방향에 가까운 세선인지, 수직 방향에 가까운 세선인지를 판정하고, 판정 결과를 데이터 취득부(712), 및, 데이터 더하기부(702)에 각각 출력한다.
보다 상세하게는, 예를 들면, 이 방법이라는 의미로, 다른 방법이라도 된다. 예를 들면, 간이 16 방위 검출 방법을 여기서 사용할 수도 있다. 도 64에 도시된 바와 같이, 수평·수직판정부(711)는, 주목 화소와, 그 주목 화소에 인접하는 화소 사이의 차이분(화소 사이의 화소치의 차이분) 중, 수평 방향의 화소 사이의 차이분(액티비티)의 합(hdiff)과, 수직 방향의 화소 사이의 차이분(액티비티)의 합의 차이분(vdiff)을 구하여, 주목 화소가 수직 방향으로 인접하는 화소 사이와의 차이분의 합이 큰지, 또는, 수평 방향으로 인접하는 화소 사이와의 차이분의 합이 큰지를 판정한다. 여기에서, 도 64에서는, 각 격자(grid)가 화소를 나타내고, 도면 중의 중앙의 화소가 주목 화소이다. 또, 도면 중의 점선의 화살표로 나타내는 화소 사이의 차이분이, 수평 방향의 화소 사이의 차이분이며, 그 합이 hdiff로 나타낸다. 또한, 도면 중의 실선의 화살표로 나타내는 화소 사이의 차이분이, 수직 방향의 화소 사이의 차이분이며, 그 합이 vdiff로 나타낸다.
이와 같이 요구된 수평 방향의 화소 사이의 화소치의 차이분 합 hdiff와, 수직 방향의 화소 사이의 화소치의 차이분 합 vdiff에 따라, 수평·수직판정부(711)는, (hdiff-vdiff)가 정(正)이면, 수직 방향보다도 수평 방향의 화소 사이의 화소치의 변화(액티비티)가 크기 때문에, 도 65에 도시된 바와 같이, 수평 방향에 대한 각도가 θ(0도≤θ≤180도)로 표시되는 경우, 45도<θ≤135도, 즉, 수직 방향에 가까운 각도의 세선에 속해 있는 화소라고 판정하고, 반대로 부(負)이면 수직 방향의 화소 사이의 화소치의 변화(액티비티)가 크기 때문에, 0도≤θ< 45도, 또는, 135도<θ≤180도, 즉, 수평 방향에 가까운 각도의 세선에 속해 있는 화소라고 판정한다[세선이 계속되는 방향(각도)에 존재하는 화소는, 모두 세선을 표현하는 화소이기 때문에, 그 화소 사이의 변화(액티비티)는 작아질 것이다].
또, 수평·수직판정부(711)는, 입력 화상의 각 화소를 식별하는 카운터(도시하지 않음)를 구비하고 있고, 적절하게 필요에 따라 사용한다.
또한, 도 64에서는, 주목 화소를 중심으로 하여, 3화소×3화소의 범위에서의 수직 방향과 수평 방향의 화소 사이의 화소치의 차이분의 합을 비교하여, 세선이 수직 방향에 가까운가, 또는, 수평 방향에 가까운 가를 판정하는 예에 대하여 설명했지만, 그 이상의 화소수를 이용하여 동일한 방법으로 세선의 방향을 판정하도록할 수도 있으며, 예를 들면, 주목 화소를 중심으로 하여 5화소×5화소나, 7화소×7화소 등, 그 이상의 화소수의 블록에 따라 판정하도록 할 수도 있다.
데이터 취득부(712)는, 수평·수직판정부(711)로부터 입력된 세선의 방향의 판정 결과에 따라, 주목 화소에 대응하는 수평 방향으로 정렬되는 복수의 화소로 이루어지는 블록단위, 또는, 수직 방향으로 정렬되는 복수의 화소의 블록단위로 화소치를 판독하고(취득하고), 판독한(취득한) 주목 화소마다 대응하는 복수의 화소 사이에서의, 수평·수직 방향판정부(711)의 판정 결과의 방향에 인접하는 화소 사이의 차이분 데이터와 함께, 소정의 화소수의 블록에 포함되는 화소로부터, 화소치의 최대치와 최소치의 데이터를 데이터 더하기부(702)에 출력한다. 또한, 이하에서는, 데이터 취득부(712)에 의해, 주목 화소에 대응하여 취득되는 복수의 화소의 블록을 취득 블록이라 칭하는[취득 블록은, 예를 들면, 후술하는 도 78에 나타내는 복수의 화소(각 격자로 나타낸다) 중, 흑선의 정사각형이 표시된 화소를 주목 화소라고 할 때, 그 상하 3화소분과, 좌우 1화소분의 합계 15화소 등이다.
데이터 더하기부(702)의 차이분 더하기부(721)는, 데이터 선택부(701)로부터 입력된 차이분 데이터를 검출하고, 데이터 선택부(701)의 수평·수직판정부(711)로부터 입력되는 수평 방향, 또는, 수직 방향의 판정 결과에 따라, 후술하는 최소 제곱법의 해법에 필요한 더하기 처리를 실행하고, 그 더하기 결과를 정상 방향 도출부(703)에 출력한다. 보다 구체적으로는, 복수의 화소 중 수평·수직판정부(711)에 의한 판정방향에 인접하는 화소 i와 화소(i+1)의 화소 사이의 화소치의 차이분 데이터를 yi로 하고, 주목 화소에 대응하는 취득 블록이 n 개의 화소로 구성된 경우, 차이분 더하기부(721)는, 수평 방향, 또는, 수직 방향마다
(y1)2 + (y2)2 + (y3)2 +···를 더하여 연산하고, 정상 방향 도출부(703)에 출력한다.
MaxMin 취득부(722)는, 데이터 선택부(701)로부터 입력되는 주목 화소에 대응하는 취득 블록에 포함되는 각 화소마다 설정되는 블록(이하, 다이내믹 레인지 블록이라 칭하는(다이내믹 레인지 블록은, 후술하는 도 78에 나타내는 취득 블록의 화소 중, 예를 들면, 화소 pix12에 대하여, 흑의 실선으로 둘러싸고 있는, 다이내믹 레인지 블록 B1으로 나타내는, 화소 pix12의 상하 3화소분의 합계 7화소 등이다))에 포함되는 화소의 화소치의 최대치와 최소치를 취득하면, 그 차이분으로부터 다이내믹 레인지 Dri(취득 블록내의 i 번째의 화소에 대응하는 다이내믹 레인지 블록에 포함되는 화소의 화소치의 최대치와 최소치의 차이분)를 연산(검출)하여, 차이분 더하기부(723)에 출력한다.
차이분 더하기부(723)는, MaxMin 취득부(722)로부터 입력된 다이내믹 레인지 Dri와, 데이터 선택부(701)로부터 입력된 차이분 데이터를 검출하고, 검출한 다이내믹 레인지 Dri와 차이분 데이터에 따라, 데이터 선택부(701)의 수평·수직판정부(711)로부터 입력되는 수평 방향, 또는, 수직 방향마다, 다이내믹 레인지 Dri와 차이분 데이터 yi를 곱한 값을 더하여, 연산 결과를 정상 방향 도출부(703)에 출력한다. 즉, 차이분 더하기부(723)가 출력하는 연산 결과는, 수평 방향, 또는, 수직 방향마다 y1×Dr1 + y 2×Dr2 + y3×Dr3 +···로 된다.
정상 방향 도출부(703)의 정상 방향연산부(731)는, 데이터 더하기부(702)로부터 입력되는, 수평 방향, 또는, 수직 방향마다의 더하기 연산 결과에 따라, 세선의 각도(방향)을 연산하고, 연산된 각도를 정상성 정보로서 출력한다.
여기에서, 세선의 방향(세선의 기울기, 또는, 각도)의 연산 방법에 대하여 설명한다.
도 66a에 도시되는 바와 같은 입력 화상 중의 흰선에 의해 둘러싸이는 부분을 확대하면, 세선(도면 중, 우측 상향으로, 또한 경사 방향의 흰선)은, 실제로는, 도 66b에 도시된 바와 같이 표시되어 있다. 즉, 현실 세계에서는, 도 66c에 도시된 바와 같이, 화상은, 세선의 레벨(도 66c 중에서는 농도가 얇은 사선부)과 배경 레벨의 두 가지의 레벨이 경계를 형성하고, 기타 레벨이 존재하지 않는 상태로 된 다. 이것에 대하여, 센서에 의해 촬상된 화상, 즉, 화소단위로 촬상된 화상은, 도 66b에 도시된 바와 같이, 그 적분 효과에 의해 배경 레벨과 세선 레벨이 공간적으로 혼합된 화소가, 그 비율(혼합비)를 일정한 패턴으로 변화하도록 종방향으로 배치된 복수의 화소로 이루어지는 블록이 세선방향으로 반복하여 배치되되는 화상으로 된다. 또한, 도 66b에서, 각 정사각형상의 격자는, CCD의 1화소를 나타내고, 각 변의 길이를 d_CCD인 것으로 한다. 또, 격자는, 격자형으로 칠해진 부분이 배경의 레벨에 상당하는 화소치의 최소치이며, 기타 사선형으로 칠해진 부분은, 사선의 밀도가 낮아짐에 따라 화소치가 높아지는 것으로 한다(따라서, 사선이 없는 백색의 격자가 화소치의 최대치로 된다).
도 67a에 도시된 바와 같이, 현실 세계의 배경상에 세선이 존재하는 경우, 현실 세계의 화상은, 도 67b에 도시된 바와 같이, 횡축에 레벨, 종축에 그 레벨에 대응하는 부분의 화상상의 면적을 나타내면, 화상중의 배경에 상당하는 면적과, 세선에 상당하는 부분의 면적의, 화상상에서의 점유면적의 관계가 도시된다.
동일하게 하여, 센서로 촬상된 화상은, 도 68a에 도시된 바와 같이, 배경 레벨의 화소의 중에, 세로로 정렬한 배경 레벨과 세선 레벨이 혼합된 화소가, 그 혼합비를 소정의 패턴으로 변화시키면서 종방향으로 배치된 블록이, 세선이 존재하는 방향으로 반복하여 배치되었는 화상으로 되기 때문에, 도 68b에 나타낸 바와 같이, 배경의 레벨이 되는 영역(배경 영역)과, 세선의 레벨의 중간의 레벨로 되는, 배경과 세선이 공간적으로 혼합한 결과 생기는 화소로 이루어지는 공간혼합 영역이 존 재한다. 여기에서, 도 68b에서 종축은 화소수이지만, 1화소의 면적은 (d_CCD)2로 되기 때문에, 도 68b의 화소치의 레벨과 화소수의 관계는, 화소치의 레벨과 면적의 분포의 관계와 동일하다고 할 수 있다.
이것은, 도 69a의 실제의 화상 중의 흰선으로 둘러싸이는 부분(31화소×31화소의 화상)에 있어서도, 도 69b에 도시된 바와 같이 동일한 결과가 얻어진다. 즉, 도 69a에 나타내는 배경부분(도 69a 중에서는, 흑색으로 보이는 부분)은, 도 69b에 도시된 바와 같이, 화소치 레벨이 낮은(화소치가 20부근의) 화소가 많이 분포하고 있고, 이들 변화가 적은 부분이, 배경 영역의 화상을 형성한다. 이것에 대하여, 도 69b의 화소치 레벨이 낮지 않은 부분, 즉, 화소치 레벨이 40 부근 내지 160 부근에 분포하는 화소는, 세선의 화상을 형성하는, 공간혼합 영역에 속하는 화소이며, 각 화소치마다의 화소수는 적지만, 넓은 화소치의 범위에 분포하고 있다.
그런데, 현실 세계의 화상에서의 배경과 세선의 각각의 레벨은, 예를 들면, 도 70a에 나타내는 화살표 방향(Y 좌표 방향)으로 보면, 도 70b에 도시된 바와 같이 변화되는 것으로 된다. 즉, 화살표의 기점으로부터 세선까지의 배경 영역에서는, 비교적 레벨이 낮은 배경 레벨이 되고, 세선의 영역에서는, 레벨이 높은 세선의 레벨이 되고, 세선 영역을 통과하여 다시 배경 영역으로 되돌아가면, 레벨이 낮은 배경의 레벨로 된다. 결과적으로, 세선 영역만이 높은 레벨이 되는 펄스형의 파형으로 된다.
이것에 대하여, 센서로 촬상된 화상 중, 도 70a 중의 화살표의 방향에 대응 하는, 도 71a의 공간 방향 X= X1 상의 화소(도 71a에서는, 검은 동그라미로 나타내고 있는 화소)의 화소치와, 그 화소의 공간 방향 Y의 관계는, 도 71b에 도시된 바와 같이 된다. 또한, 도 71a에서, 우측 상향으로 경사진 2개의 흰선의 사이가, 현실 세계의 화상상에서의 세선을 나타내고 있다.
즉, 도 71b에 도시된 바와 같이, 도 71a 중의 중앙의 화소에 대응하는 화소가 가장 높은 화소값을 취하기 때문에, 각 화소의 화소치는, 공간 방향 Y의 위치가, 도면 중의 하부로부터 중앙의 화소를 향함에 따라 높아지고, 중앙의 위치를 통과하면, 서서히 감소하게 된다. 결과적으로, 도 71b에 나타낸 바와 같이, 산형의 파형이 형성된다. 또, 도 71a의 공간 방향 X= X0, X2에 대응하는 각 화소의 화소치의 변화는, 공간 방향 Y의 피크위치가, 세선의 기울기에 따라서 어긋나지만, 동일한 외형이 된다.
예를 들면, 도 72a에 나타낸 바와 같은, 실제로 센서에 의해 촬상된 화상에서의 경우에도, 도 72b에 도시된 바와 같이, 동일한 결과가 얻어진다. 즉, 도 72b는, 도 72a의 화상 중의 흰선으로 둘러싸이는 범위의 세선 부근의 화소치를 소정의 공간 방향 X(도면 중에서는, X=561, 562, 563)마다의, 공간 방향 Y에 대응한 화소치의 변화를 나타내고 있다. 이와 같이, 실제의 센서에 의해 촬상된 화상에 있어서도, X=561에서는, Y=730 부근에서, X=562에서는, Y=705 부근에서, X=563에서는, Y=685 부근에서, 각각 피크로 되는 산형의 파형으로 되어 있다.
이와 같이, 현실 세계의 화상의 세선 부근의 레벨의 변화를 나타내는 파형은 펄스형의 파형으로 되는데 대하여, 센서에 의해 촬상된 화상의 화소치의 변화를 나 타내는 파형은 산형의 파형으로 된다.
즉, 바꾸어 말하면, 현실 세계의 화상의 레벨은, 도 70b에 도시되는 바와 같은 파형으로 되어야 되지만, 센서에 의해 촬상되는 것에 의해, 촬상된 화상은, 도 71b에 도시된 바와 같이, 그 변화에 왜곡이 발생되어, 현실 세계의 화상과는 상이한(현실 세계의 정보가 드롭아웃된) 파형으로 변화되어 있다고 할 수 있다.
따라서, 이 센서에 의해 촬상된 화상으로부터, 현실 세계의 화상의 정상성 정보를 취득하기 위해, 센서에 의해 취득된 화상의 데이터로부터 현실 세계를 근사적으로 기술하기 위한 모델[도 62의 모델(705)에 상당한다]을 설정한다. 예를 들면, 세선의 경우, 도 73에 도시된 바와 같이, 현실 세계의 화상을 설정한다. 즉, 도면 중 좌측부의 배경부분의 레벨을 B1, 도면 중 우측의 배경부분의 레벨을 B2, 세선 부분의 레벨을 L, 세선의 혼합비를 α, 세선의 폭을 W, 세선의 수평 방향에 대한 각도를 θ로서 파라미터를 설정하고, 모델화하여, 현실 세계를 근사적으로 표현하는 함수를 설정하고, 각 파라미터를 구함으로써 현실 세계를 근사적으로 표현하는 근사 함수를 구하고, 그 근사 함수로부터 세선의 방향(기울기, 또는, 기준축에 대한 각도)을 구한다.
이 때, 배경 영역은, 좌측부, 및, 우측부는, 동일한 것으로서 근사할 수 있기 때문에, 도 74에 도시된 바와 같이, 통일하여 B(= B1= B2)로 한다. 또, 세선의 폭을 1화소 이상인 것으로 한다. 이와 같이 설정된 현실 세계를 센서로 촬상할 때, 촬상된 화상은, 도 75a에 도시된 바와 같이 촬상되는 것으로 된다. 또한, 도 75a에서, 우측 상향으로 경사진 2개의 흰선의 사이가, 현실 세계의 화상상에서의 세선을 나타내고 있다.
즉, 현실 세계의 세선상의 위치에 존재하는 화소는, 세선의 레벨에 가장 가까운 레벨로 되고, 수직 방향(공간 방향 Y의 방향)에 대하여 세선에서 멀어짐에 따라서 화소치가 감소되고, 세선 영역에 접하는 것이 없는 위치에 존재하는 화소의 화소치, 즉, 배경 영역의 화소는, 배경 레벨의 화소치로 된다. 이 때, 세선 영역과 배경 영역에 걸치는 위치에 존재하는 화소의 화소치는, 배경 레벨의 화소치(B)와, 세선 레벨의 화소치(L)가, 혼합비(α)로 혼합된 화소치로 되어 있다.
이와 같이, 촬상된 화상의 각 화소를 주목 화소로 한 경우, 데이터 취득부(712)는, 그 주목 화소에 대응하는 취득 블록의 화소를 추출하고, 그 추출한 취득 블록을 구성하는 화소마다, 다이내믹 레인지 블록을 추출하고, 그 다이내믹 레인지 블록을 구성하는 화소 중의 최대치가 되는 화소값을 취하는 화소와, 최소치가 되는 화소값을 취하는 화소를 추출한다. 즉, 도 75a에 나타낸 바와 같이, 취득 블록 중의 소정의 화소(도면 중의 1매스의 중에 흑색의 실선으로 정사각형이 기술된 화소 pix4)에 대응한 다이내믹 레인지 블록의 화소(예를 들면, 도면 중의 흑색의 실선으로 둘러싸인 화소 pix1 내지 7의 7화소)가 추출된 경우, 그 각 화소에 대응하는 현실 세계의 화상은, 도 75b에 도시된 바와 같이 된다.
즉, 도 75b에 도시된 바와 같이, 화소 pix1은, 좌측부의 대략 1/8의 면적을 차지하는 부분이 배경 영역이 되고, 우측부의 대략 7/8의 면적을 차지하는 부분이 세선 영역이 된다. 화소 pix2는, 대략 전체 영역이 세선 영역이 된다. 화소 pix3는, 좌측부의 대략 7/8의 면적을 차지하는 부분이 세선 영역이 되고, 우측부 1/8의 면적을 차지하는 부분이 세선 영역이 된다. 화소 pix4는, 좌측부의 대략 2/3의 면적을 차지하는 부분이 세선 영역이 되고, 우측부의 대략 1/3의 면적을 차지하는 부분이 배경 영역이 된다. 화소 pix5는, 좌측부의 대략 1/3의 면적을 차지하는 부분이 세선 영역이 되고, 우측부의 대략 2/3의 면적을 차지하는 부분이 배경 영역이 된다. 화소 pix6는, 좌측부의 대략 1/8의 면적을 차지하는 부분이 세선 영역이 되고, 우측부의 대략 7/8의 면적을 차지하는 부분이 배경 영역이 된다. 또한, 화소 pix7는, 전체가 배경 영역이 된다.
결과적으로, 도 75b에 나타내는 다이내믹 레인지 블록의 각 화소 pix1 내지 7의 화소치는, 세선 영역과 배경 영역의 면적의 비율에 대응한 혼합비로, 배경 레벨과 세선 레벨이 혼합된 화소치로 된다. 즉, 배경 레벨: 전방 경치 레벨의 혼합비는, 화소 pix1이 대략 1:7, 화소 pix2가 대략 0:1, 화소 pix3가 대략 1:7, 화소 pix4가 대략 1:2, 화소 pix5가 대략 2:1, 화소 pix6가 대략 7:1, 및, 화소 pix7가 대략 1:0으로 된다.
따라서, 추출된 다이내믹 레인지 블록의 화소 pix1 내지 7의 각 화소의 화소치는, 화소 pix2가 가장 높고, 계속해서 화소 pix1, 3이 계속, 이하 화소치가 높은 순서로 화소 pix4, 5, 6, 7이 된다. 따라서, 도 75b에 나타내는 경우, 최대치는, 화소 pix2의 화소치이며, 최소치는, 화소 pix7의 화소치가 된다.
또, 도 76a에 도시된 바와 같이, 세선의 방향은, 화소치의 최대치를 취하는 화소가 연속하는 방향이라고 할 수 있기 때문에, 이 최대치를 취하는 화소가 배치된 방향이 세선의 방향으로 된다.
여기에서, 세선의 방향을 나타내는 기울기(Gfl)는, 공간 방향 X의 단위거리에 대한, 공간 방향 Y에의 변화(거리의 변화)의 비율이기 때문에, 도 76a에 나타내는 바와 같은 경우, 도면 중의 공간 방향 X에의 1화소의 거리에 대한, 공간 방향 Y의 거리가 기울기(Gfl)로 된다.
공간 방향 X0 내지 X2의 각각의 공간 방향 Y에 대한 화소치의 변화는, 도 76b에 도시된 바와 같이, 각 공간 방향 X마다 소정의 간격으로 산형의 파형이 반복되게 된다. 전술한 바와 같이, 센서에 의해 촬상된 화상에 있어서, 세선은, 최대치를 취하는 화소가 연속하는 방향이기 때문에, 각 공간 방향 X의 최대치가 되는 공간 방향 Y의 간격 S가, 세선의 기울기(Gfl)가 된다. 즉, 도 76c에 도시된 바와 같이, 수평 방향으로 1화소의 거리에 대한 수직 방향의 변화량이 기울기(Gfl)가 된다. 따라서, 이 세선의 기울기(Gfl)(수평 방향을 기준축으로 했을 때의 각도에 대응한다)는, 도 76c에 나타낸 바와 같이, 그 기울기에 대응하는 수평 방향을 기준축으로 한 세선의 각도를 θ로서 표현하는 경우, 이하의 식(34)으로 나타내는 관계가 성립하게 된다.
θ = Tan-1 (Gfl) (= Tan-1 (S))···(34)
또, 도 74에 나타내는 바와 같은 모델을 설정하고, 또한, 공간 방향 Y의 화소와 화소치의 관계가, 도 76b에 나타내는 산형의 파형이, 완전한 삼각 파형(상승, 또는, 하강이 직선적으로 변화하는 이등변 삼각형상의 파형)이라고 가정하는 경우, 도 77에 나타낸 바와 같이, 소정의 주목 화소의 공간 방향 X에서의, 공간 방향 Y 상에 존재하는 각 화소의 화소치의 최대치를 Max= L(여기서는, 현실 세계의 세선의 레벨에 대응하는 화소치), 최소치를 Min= B(여기서는, 현실 세계의 배경의 레벨에 대응하는 화소치)라고 할 때, 이하의 식(35)로 나타내는 관계가 성립한다.
L-B= Gfl× d_y ···(35)
여기에서, d_y는, 공간 방향 Y의 화소 사이의 화소치의 차이분을 나타낸다.
즉, 공간 방향의 기울기(Gfl)는, 클수록 세선이 보다 수직의 것에 가까이 가기 때문에, 산형의 파형은, 저변의 큰 이등변 삼각형상의 파형이 되고, 반대로, 기울기 S가 작을수록 저변이 작은 이등변 삼각형상의 파형이 된다. 그 결과, 기울기(Gfl)가 클수록, 공간 방향 Y의 화소 사이의 화소치의 차이분 d_y는 작고, 기울기(S)가 작을수록, 공간 방향 Y의 화소 사이의 화소치의 차이분 d_y는 커진다.
따라서, 전술한 식(35)의 관계가 성립하는 기울기(Gfl)를 구함으로써, 세선의 기준축에 대한 각도(θ)를 구하는 것이 가능하게 된다. 식(35)은, 기울기(Gfl)를 변수로 하는 1변수의 함수이기 때문에, 주목 화소에 대하여, 주변의 화소 사이의 화소치의(수직 방향의) 차이분 d_y, 및 최대치, 및 최소치의 차이분(L-B)을 1쌍 이용하면 구하는 것이 가능하지만, 전술한 바와 같이, 공간 방향 Y의 화소치의 변화가 완전한 삼각파형인 것을 전제로 한 근사식을 이용한 것이기 때문에, 주목 화소에 대응하는 추출 블록의 각 화소에 대하여 다이내믹 레인지 블록을 추출하고, 또한, 그 최대치와 최소치로부터 다이내믹 레인지 Dr를 구하는 동시에, 추출 블록의 각 화소마다의 공간 방향 Y의 화소 사이의 화소치의 차이분 d_ y를 이용하여, 최소 제곱법에 의해 통계적으로 구한다.
여기에서, 최소 제곱법에 의한 통계적인 처리의 설명에 있어, 먼저, 추출 블록, 및, 다이내믹 레인지 블록에 대하여, 상세를 설명한다.
추출 블록은, 예를 들면, 도 78에 나타낸 바와 같이, 주목 화소(도면 중의 흑색의 실선으로 정사각형이 그리고 있는 격자의 화소)의, 공간 방향 Y에 대하여 상하 3화소분, 공간 방향 X에 대하여, 좌우 1화소분의 합계 15화소 등이라도 된다. 또, 이 경우, 추출 블록의 각 화소의 화소 사이의 화소치의 차이분 d_y는, 예를 들면, 화소 pix11에 대응하는 차이분이 d_y11로 표시될 때, 공간 방향 X= X0의 경우, 화소 pix11과 pix12, pix12와 pix13, pix13과 pix14, pix15와 pix16, pix16과 pix17의 화소 사이의 화소치의 차이분 d_y11 내지 d_y16이 얻어지게 된다. 이 때, 공간 방향 X= X1, X2에 대하여도, 동일하게 하여 화소 사이의 화소치의 차이분이 얻어진다. 결과적으로, 이 경우, 화소 사이의 화소치의 차이분 d_y는, 18개 존재하는 것이 된다.
또한, 추출 블록의 각 화소에 대하여, 다이내믹 레인지 블록의 화소가, 예를 들면, 화소 pix11에 대해서는, 수평·수직판정부(711)의 판정 결과에 따라, 지금의 경우, 수직 방향이라고 판정되기 때문에, 도 78에 도시된 바와 같이, 화소 pix11을 포함해서, 수직 방향(공간 방향 Y)의 상하 방향으로 각각 3화소분의 다이내믹 레인지 블록 B1의 범위의 7화소인 것으로 하면, 이 다이내믹 레인지 블록 B1의 화소의 화소치의 최대치와 최소치를 구하고, 또한, 이 최대치와 최소치로부터 얻어지는 다이내믹 레인지를 다이내믹 레인지 Dr11로 한다. 동일하게 하여, 추출 블록의 화소 pix12에 대해서는, 도 78 중의 다이내믹 레인지 블록 B2의 7화소로부터 동일하게 하여 다이내믹 레인지 Dr12를 구한다. 이와 같이 하여, 추출 블록내의 18개의 화소 사이 차이분 d_yi와, 대응하는 다이내믹 레인지 Dri의 조합에 따라, 최소 제곱법을 이용하여 통계적으로 기울기(Gfl)가 구해진다.
다음에, 1변수의 최소 제곱법의 해법에 대하여 설명한다. 또한, 여기서는, 수평·수직판정부(711)의 판정 결과가 수직 방향이던 것으로 한다.
1변수의 최소 제곱법에 의한 해법은, 예를 들면, 도 79에 나타내는 흑점으로 나타내는 모든 실측치에 대한 거리를 최소로 하는, 예측치 Dri_c로 이루어지는 직선의 기울기(Gfl)를 구하는 것이다. 따라서, 전술한 식(35)로 나타내는 관계로부터 다음과 같은 방법에 의해, 기울기(S)가 구해진다.
즉, 전술한 식(35)는, 최대치와 최소치의 차이분을 다이내믹 레인지 Dr이라고 할 때, 이하의 식(36)에 도시한 바와 같이 기술된다.
Dr= Gfl× d_y···(36)
전술한 식(36)에, 추출 블록의 각 화소 사이에 대한 차이분 d_yi를 대입함으로써 다이내믹 레인지 Dri_c가 구해진다. 따라서, 각 화소에 대하여, 이하의 식(37)의 관계가 만족된다.
Dri_c= Gfl× d_yi···(37)
여기에서, 차이분 d_yi는, 각 화소 i의 공간 방향 Y의 화소 사이의 화소치의 차이분(예를 들면, 화소 i에 대하여, 상방향 또는, 하방향으로 인접한 화소와의 화소 사이의 화소치의 차이분이며, Dri_c는, 화소 i에 대하여 식(70)이 성립할 때에 얻어지는 다이내믹 레인지이다.
전술한 바와 같이, 여기서 말하는 최소 제곱법은, 추출 블록의 화소 i의 다이내믹 레인지 Dri_c와, 도 75a 및 도 75b를 참조하여 설명한 방법으로 얻어지는, 화소 i의 실측치가 되는 다이내믹 레인지 Dri_r와의 차이분 제곱합(Q)이, 화상 내의 모든 화소에 있어서 최소로 될 때의 기울기(Gfl)를 구하는 방법이다. 따라서, 차이분 제곱합(Q)은 이하의 식(38)에 의해 구해지게 된다.
Figure 112005047590059-pct00028
···(38)
식(38)에 나타내는 차이분 제곱합(Q)은, 2차함수이기 때문에, 변수 Gfl(기울기 Gfl)에 대하여 도 80에 도시한 바와 같은 하부로 볼록한 곡선이 되기 때문에, 기울기(Gfl)가 최소로 되는 Gflmin이 최소 제곱법의 해답이 된다.
식(38)에 나타내는 차이분 제곱합(Q)은, 변수 Gfl으로 미분되면, 이하에 나타내는 식(39)으로 표시되는 dQ/dGfl으로 된다.
Figure 112005047590059-pct00029
···(39)
식(39)가, 0으로 되는 Gfl이 도 80에 나타내는 차이분 제곱합(Q)의 최소값을 취한다
Gflmin으로 되기 때문에, 식(39)가 0이 될 때의 식을 전개함으로써, 이하의 식(40)에서 기울기(Gfl)가 구해진다.
Figure 112005047590059-pct00030
···(40)
전술한 식(40)은, 이른바, 1 변수(기울기Gfl)의 정규방정식이 된다.
이와 같이 하여, 얻어진 기울기(Gfl)을 전술한 식(34)에 대입함으로써, 세선의 기울기(Gfl)에 대응하는 수평 방향을 기준축으로 했을 때의 세선의 각도(θ)를 얻을 수 있다.
또한, 이상의 설명에서는, 주목 화소가, 수평 방향을 기준축으로 했을 때의 각도(θ)가 45도≤θ<135도의 범위로 되는 세선상의 화소인 경우의 예에 대하여 설명했지만, 예를 들면, 주목 화소가, 수평 방향을 기준축에 대한 세선의 각도(θ)가 0도≤θ< 45도, 또는, 135도≤θ<108도로 되는, 수평 방향에 가까운 세선상의 화소인 경우, 화소 i에 인접하는 화소 사이의 화소치의 차이분은, 수평 방향에 인접하 는 화소 사이의 화소치의 차이분 d_xi로 되고, 마찬가지로, 화소 i에 대응하는 복수의 화소로부터 화소치의 최대치, 또는, 최소치를 구할 때에, 추출하는 다이내믹 레인지 블록의 화소에 대하여도, 화소 i에 대하여 수평 방향으로 존재하는 복수의 화소 중에서 선택되는 것으로 된다. 이 경우의 처리에 대해서는, 전술한 설명에서의 수평 방향과 수직 방향의 관계가 교체될 뿐이기 때문에, 그 설명은 생략한다.
또, 동일한 방법에 의해, 2치 에지의 기울기에 대응하는 각도를 구하는 것도 가능하다.
즉, 도 81a에 도시되는 바와 같은 입력 화상중의 흰선에 의해 둘러싸이는 부분을 확대하면, 화상 중의 에지부분(도면 중, 검은 바탕의 기에 그려진 「＋」라고 하는 흰색으로 그려진 문자의 아래의 부분)(이하, 이와 같이, 2치의 레벨로 이루어지는 화상상의 에지부분을 2치 에지로도 칭한다)은, 실제로는, 도 81b에 도시된 바와 같이 표시되어 있다. 즉, 현실 세계에서는, 도 81c에 도시된 바와 같이, 화상에서는, 제1 레벨(기의 바탕의 레벨)과, 제2 레벨[문자의 레벨(도 81c 중에서는 농도가 얇은 사선부]의 두 가지의 레벨로 이루어지는 경계가 형성되어 있고, 기타 레벨이 존재하지 않는다. 이것에 대하여, 센서에 의해 촬상된 화상, 즉, 화소단위로 촬상된 화상은, 도 81b에 도시된 바와 같이, 제1 레벨과 제2 레벨이 공간적으로 혼합된 화소가, 그 비율(혼합비)을 일정한 패턴으로 변화되도록 종방향으로 배치된 복수의 화소로 이루어지는 블록이 에지가 구성되어 있는 방향으로 반복하여 배치되는 영역을 경계로 한 제1 레벨의 화소가 배치되는 부분과, 제2 레벨의 화소가 배치되는 부분이 존재하는 화상으로 된다.
즉, 도 82a에 도시된 바와 같이, 공간 방향 X= X0, X1, X2에 대하여, 각각의 공간 방향 Y 에의 화소치의 변화는, 도 82b 중에서는, 각 화소치는, 도면 중의 하부로부터 2치 에지(도 82a 중의 우측 상향으로 경사진 직선)의 경계 앞부근까지는, 소정의 최소치의 화소치로 되어 있지만, 2치 에지의 경계 앞부근에서, 화소치가 서서히 증대되고, 에지를 넘으면 도면 중의 점(PE)에서, 화소치가 소정의 최대치로 된다. 보다 상세하게는, 공간 방향 X= X0의 변화는, 도 82b에 도시된 바와 같이, 화소치의 최소치가 되는 점(PS)을 통과한 후, 서서히 화소치가 증대되고, 화소치의 최대치가 되는 점(P0)으로 된다. 이것에 대하여, 공간 방향 X= X1에 대응하는 각 화소의 화소치의 변화는, 공간 방향으로 어긋난 파형으로 되기 때문에, 도 82b에 도시된 바와 같이, 화소치의 최소치로부터 서서히 화소치가 증대되는 위치가 공간 방향 Y의 정방향으로 어긋나, 도면 중의 점(P1)을 경유하여, 화소치의 최대치까지 증대된다. 또한, 공간 방향 X= X2에서의 공간 방향 Y의 화소치의 변화는, 공간 방향 Y의 정방향으로 더 밀려들어간 도면 중의 점(P2)을 경유하여 감소되고, 화소치의 최대치로부터 최소치로 된다.
이것은, 실제의 화상중의 흰선으로 둘러싸이는 부분에 있어서도, 동일한 경향이 보인다. 즉, 도 83a의 실제의 화상 중의 흰선으로 둘러싸이는 부분(31화소×31화소의 화상)에 있어서, 배경부분(도 83a 중에서는, 흑색으로 보이는 부분)은, 도 83b에 도시된 바와 같이, 화소치가 낮은(화소치가 90 부근의) 화소수가 많이 분포하고 있고, 이들 변화가 적은 부분이, 배경 영역의 화상을 형성한다. 이것에 대 하여, 도 83b의 화소치가 낮지 않은 부분, 즉, 화소치가 100부근 내지 200부근에 분포하는 화소는, 문자영역과 배경 영역의 공간혼합 영역에 속하는 화소의 분포이며, 각 화소치마다의 화소수는 적지만, 넓은 화소치의 범위에 분포하고 있다. 또한, 화소치가 높은 문자영역(도 83a 중에서는, 흰색으로 보이는 부분)의 화소가, 220로 나타내는 화소치의 부근에 많이 분포되어 있다.
그 결과, 도 84a에 도시되는 에지 화상에서의 소정의 공간 방향 X에 대한, 공간 방향 Y의 화소치의 변화는, 도 84b에 나타내는 것으로 된다.
즉, 도 84b는 도 84a의 화상 중의 흰선으로 둘러싸이는 범위의 에지 부근의 화소치를 소정의 공간 방향 X(도면 중에서는, X=658, 659, 660)마다의, 공간 방향 Y에 대응한 화소치의 변화를 나타내고 있다. 이와 같이, 실제의 센서에 의해 촬상된 화상에 있어서도, X=658에 있어서, 화소치는, Y=374 부근에서 증대를 개시하고(도면 중, 검은 동그라미로 나타내는 분포), X=382 부근에서 최대 화소치에 도달한다. 또, X=659에서는, 공간 방향 Y에 대하여 정방향으로 밀려들어가, 화소치는, Y=378 부근에서 증대를 개시하고(도면 중, 흑삼각으로 나타내는 분포), X=386 부근에서 최대 화소치에 도달한다. 또한, X=660에서는, 공간 방향 Y에 대하여, 또한, 정방향으로 밀려들어가, 화소치는, Y=382 부근에서 증대를 개시하고(도면 중, 흑사각으로 나타내는 분포), X=390 부근에서 최대 화소치에 도달한다.
따라서, 이 센서에 의해 촬상된 화상으로부터, 현실 세계의 화상의 정상성 정보를 취득하기 위해, 센서에 의해 취득된 화상의 데이터로부터 현실 세계를 근사적으로 기술하기 위한 모델을 설정한다. 예를 들면, 2치 에지의 경우, 도 85에 도 시된 바와 같이, 현실 세계의 화상을 설정한다. 즉, 도면 중 좌측부의 배경부분의 레벨을 V1, 도면 중 우측의 문자부분의 레벨을 V2, 2치 에지 부근의 화소 사이의 혼합비를 α, 에지의 수평 방향에 대한 각도를 θ로서 파라미터를 설정하고, 모델화하여, 현실 세계를 근사적으로 표현하는 함수를 설정하고, 각 파라미터를 구함으로써 현실 세계를 근사적으로 표현하는 함수를 구하고, 그 근사 함수로부터 에지의 방향(기울기, 또는, 기준축에 대한 각도)를 구한다.
여기에서, 에지의 방향을 나타내는 기울기는, 공간 방향 X의 단위거리에 대한, 공간 방향 Y 에의 변화(거리의 변화)의 비이기 때문에, 도 86a에 도시되는 바와 같은 경우, 도면 중의 공간 방향 X 에의 1화소의 거리에 대한, 공간 방향 Y의 거리가 기울기가 된다.
공간 방향 X0 내지 X2의 각각의 공간 방향 Y에 대한 화소치의 변화는, 도 86b에 도시된 바와 같이, 각 공간 방향 X 마다 소정의 간격으로 동일한 파형이 반복된다. 전술한 바와 같이, 센서에 의해 촬상된 화상에 있어서, 에지는, 유사한 화소치의 변화(지금의 경우, 최소치로부터 최대치로 변화하는, 소정의 공간 방향 Y 상의 화소치의 변화)가 공간적으로 연속하는 방향이기 때문에, 각 공간 방향 X에서, 공간 방향 Y의 화소치의 변화가 시작되는 위치, 또는, 변화가 종료되는 위치로 되는 공간 방향 Y의 간격(S)이, 에지의 기울기 Gfe로 된다. 즉, 도 86c에 도시된 바와 같이, 수평 방향으로 1화소의 거리에 대한 수직 방향의 변화량이 기울기 Gfe로 된다.
그런데, 이 관계는, 도 76a 내지 도 76c를 참조하여 상술한 세선의 기울기 Gfl에서의 관계와 동일하다. 따라서, 그 관계식에 대하여도, 동일한 것으로 된다. 즉, 2치 에지에서의 경우의 관계식은, 도 87에 나타내는 것으로 되고, 배경 영역의 화소치를 V1, 문자영역의 화소치를 V2, 각각은 최소치, 및 최대치로 된다. 또, 에지 부근의 화소의 혼합비를 α로 하고, 에지의 기울기를 Gfe로 두면, 성립하는 관계식은, 전술한 식(34) 내지 식(36)과 동일하게 된다(단, Gfl은, Gfe로 치환된다).
이로 인하여, 도 63에 나타내는 데이터 정상성 검출부(101)는, 동일한 처리에 의해, 세선의 기울기에 대응하는 각도, 및, 에지의 기울기에 대응하는 각도를, 데이터 정상성 정보로서 검출할 수 있다. 따라서, 이하에서는, 기울기는, 세선의 기울기와, 2치 에지의 기울기를 총칭하여, 기울기 Gf라 칭한다. 또, 전술한 식(38) 내지 식(40)의 식에서의 기울기 Gfl은, Gfe로 될 수도 있는 것이며, 결과적으로, 기울기 Gf로 치환한 것으로 생각한다.
다음에, 도 88의 플로차트를 참조하여, 데이터 정상성의 검출의 처리를 설명한다.
단계 S701에 있어서, 수평·수직판정부(711)는, 입력 화상의 각 화소를 식별하는 카운터 T를 초기화한다.
단계 S702에 있어서, 수평·수직판정부(711)는, 후단의 처리에 필요한 데이터의 추출 처리를 실행한다.
여기에서, 도 89의 플로차트를 참조하여, 데이터를 추출하는 처리에 대하여 설명한다.
단계 S711에 있어서, 데이터 선택부(701)의 수평·수직판정부(711)는, 각 주목 화소 T에 대하여, 도 64를 참조하여 설명한 바와 같이, 수평 방향, 수직 방향, 및 대각방향으로 인접하는 9화소의 수평 방향으로 인접하는 화소 사이의 화소치의 차이분(액티비티)의 합 hdiff와, 수직 방향으로 인접하는 화소 사이의 화소치의 차이분(액티비티)의 합 vdiff를 연산하고, 또한, 그 차이분 (hdiff-vdiff)을 구하고, 차이분 (hdiff-vdiff)≥0의 경우, 그 주목 화소 T가, 수평 방향을 기준축으로 했을 때, 그 기준축과의 각도(θ)가 45도≤θ<135도로 된다, 수직 방향d에 가까운 세선, 또는, 2치 에지 부근의 화소인 것으로 간주하고, 사용하는 추출 블록을 수직 방향에 대응한 것으로 하는 판정 결과를 데이터 취득부(712), 및, 데이터 더하기부(702)에 출력한다.
한편, 차이분 (hdiff-vdiff)<0의 경우, 수평·수직판정부(711)는, 그 주목 화소가, 수평 방향을 기준축에 했을 때, 그 기준축과의 세선, 또는, 2치 에지가 이루는 각도(θ)가 0도≤θ< 45도, 또는, 135도≤θ<180도로 되는, 수평 방향에 가까운 세선, 또는, 에지 부근의 화소인 것으로 간주하고, 사용하는 추출 블록을 수평 방향에 대응한 것으로 하는 판정 결과를 데이터 취득부(712), 및, 데이터 더하기부(702)에 출력한다.
즉, 세선, 또는, 2치 에지의 기울기가 수직 방향에 가깝다고 하는 것은, 예 를 들면, 도 70a에 도시되어 있는 바와 같이, 도면 중의 화살표가 세선과 교차하는 부분이 늘어나기 때문에, 수직 방향의 화소수를 많게 한 추출 블록을 설정한다(세로로 긴 추출 블록을 설정한다). 동일하게 하여, 세선의 기울기가 수평 방향에 가까운 경우에 대하여도, 수평 방향의 화소수를 많게 한 추출 블록을 설정하도록 한다(가로로 긴 추출 블록을 설정한다). 이와 같이 함으로써, 불필요한 계산량을 증가시키지 않고, 정확한 최대치와 최소치의 연산이 가능하게 된다.
단계 S712에 있어서, 데이터 취득부(712)는, 주목 화소에 대하여 수평·수직판정부(711)로부터 입력되는 수평 방향, 또는, 수직 방향의 판정 결과에 대응한 추출 블록의 화소를 추출한다. 즉, 예를 들면, 도 78에 도시된 바와 같이, 주목 화소를 중심으로 하여, (수평 방향으로 3화소)×(수직 방향으로 7화소)의 합계 21화소를 추출 블록으로서 추출하여, 기억한다.
단계 S713에 있어서, 데이터 취득부(712)는, 추출 블록의 각 화소에 대하여, 수평·수직판정부(711)의 판정 결과에 대응한 방향으로 대응하는 다이내믹 레인지 블록의 화소를 추출하여, 기억한다. 즉, 도 78을 참조하여, 전술한 바와 같이, 예를 들면, 추출 블록의 화소 pix11에 대해서는, 지금의 경우, 수평·수직판정부(711)의 판정 결과가 수직 방향으로 되기 때문에, 데이터 취득부(712)는, 수직 방향으로, 다이내믹 레인지 블록 B1을 추출하고, 동일하게 하여, 화소 pix12는, 다이내믹 레인지 블록 B2를 추출한다. 기타 추출 블록에 대하여도 동일하게 하여 다이내믹 레인지 블록이 추출된다.
즉, 이 데이터 추출 처리에 의해, 소정의 주목 화소 T에 대하여, 정규방정식 의 연산에 필요한 화소의 정보가 데이터 취득부(712)에 축적된다(처리되는 영역이 선택된다).
여기에서, 도 88의 플로차트의 설명으로 되돌아간다.
단계 S703에 있어서, 데이터 더하기부(702)는, 정규방정식(여기서는, 식(74))의 연산의 각 항에 필요한 값의 더하기 처리를 실행한다.
여기에서, 도 90의 플로차트를 참조하여, 정규방정식에의 더하기 처리에 대하여 설명한다.
단계 S721에 있어서, 차이분 더하기부(721)는, 데이터 선택부(701)의 수평·수직판정부(711)의 판정 결과에 따라서, 데이터 취득부(712)에 기억되어 있는 추출 블록의 화소 사이의 화소치의 차이분을 구하고(검출하고), 또한, 2승(제곱)하여 더한다. 즉, 수평·수직판정부(711)의 판정 결과가 수직 방향인 경우, 차이분 더하기부(721)는, 추출 블록의 각 화소에 대하여 수직 방향으로 인접하는 화소 사이의 화소치의 차이분을 구하여, 또 2승하여 더한다. 동일하게 하여, 수평·수직판정부(711)의 판정 결과가 수평 방향인 경우, 차이분 더하기부(721)는, 추출 블록의 각 화소에 대하여 수평 방향으로 인접하는 화소 사이의 화소치의 차이분을 구하여, 또 2승하여 더한다. 결과적으로, 차이분 더하기부(721)는, 전술한 식(40)의 분모로 되는 항의 차이분의 제곱합을 생성하고, 기억한다.
단계 S722에 있어서, MaxMin 취득부(722)는, 데이터 취득부(712)에 기억된 다이내믹 레인지 블록에 포함되는 화소의 화소치의 최대치와 최소치를 취득하고, 단계 S723에 있어서, 그 최대치와 최소치의 차이분으로부터 다이내믹 레인지를 구 하고(검출하고), 차이분 더하기부(723)에 출력한다. 즉, 도 75b에 도시되어 있는 바와 같은, 화소 pix1 내지 7로 이루어지는 7화소의 다이내믹 레인지 블록의 경우, pix2의 화소치가 최대치로서 검출되고, pix7의 화소가 최소치로서 검출되고, 이들 차이분이 다이내믹 레인지로서 구해진다.
단계 S724에 있어서, 차이분 더하기부(723)는, 데이터 취득부(712)에 기억되어 있는 추출 블록의 화소 사이중, 데이터 선택부(701)의 수평·수직판정부(711)의 판정 결과에 대응하는 방향으로 인접하는 화소 사이의 화소치의 차이분을 구하고(검출하고), MaxMin 취득부(722)로부터 입력된 다이내믹 레인지를 곱한 값을 더한다. 즉, 차이분 더하기부(721)는, 전술한 식(40)의 분자가 되는 항의 합을 생성하고, 기억한다.
여기에서, 도 88의 플로차트의 설명으로 되돌아간다.
단계 S704에 있어서, 차이분 더하기부(721)는, 추출 블록의 모든 화소의 화소 사이의 화소치의 차이분(수평·수직판정부(711)의 판정 결과에 대응하는 방향으로 인접하는 화소 사이의 화소치의 차이분)을 더했는지 여부를 판정하고, 예를 들면, 추출 블록의 모든 화소의 화소 사이의 차이분을 더하지 않았다고 판정한 경우, 그 처리는, 단계 S702로 리턴하고, 그 이후의 처리가 반복된다. 즉, 추출 블록의 모든 화소의 화소 사이의 화소치의 차이분이 더해졌다고 판정될 때까지, 단계 S702 내지 S704의 처리가 반복된다.
단계 S704에 있어서, 추출 블록의 모든 화소의 화소 사이의 화소치의 차이분이 더해졌다고 판정된 경우, 단계 S705에 있어서, 차이분 더하기부(721, 723)는, 스스로 기억하고 있는 더하기 결과를 정상 방향 도출부(703)에 출력한다.
단계 S706에 있어서, 정상 방향연산부(731)는, 데이터 더하기부(702)의 차이분 더하기부(721)로부터 입력된, 취득 블록의 각 화소 사이중, 수평·수직판정부(711)에 의해 판정된 방향으로 인접하는 화소 사이의 화소치의 차이분의 제곱합, 차이분 더하기부(723)로부터 입력된, 취득 블록의 각 화소 사이중, 수평·수직판정부(711)에 의해 판정된 방향으로 인접하는 화소 사이의 화소치의 차이분, 및, 취득 블록의 각 화소에 대응하는 다이내믹 레인지의 곱의 합에 따라, 전술한 식(40)으로 나타낸 정규방정식을 풀이함으로써, 최소 제곱법을 이용하고 통계적으로 주목 화소의 데이터 정상성 정보인, 정상성의 방향을 나타내는 각도(세선, 또는, 2치 에지의 기울기를 나타내는 각도)를 연산하고, 출력한다.
단계 S707에 있어서, 데이터 취득부(712)는, 입력 화상의 모든 화소에 대하여 처리가 행하여졌는지 여부를 판정하고, 예를 들면, 입력 화상의 모든 화소에 대하여 처리가 행하여지지 않은, 즉, 입력 화상의 모든 화소에 대하여, 세선, 또는, 2치 에지의 각도의 정보를 출력하지 않았다고 판정한 경우, 단계 S708에 있어서, 카운터 T를 1증분하여, 그 처리는, 단계 S702로 리턴된다. 즉, 입력 화상중의 처리하려고 하는 화소가 변경되어, 입력 화상의 모든 화소에 대하여 처리가 이루어질 때까지, 단계 S702내지 S708의 처리가 반복된다. 이 카운터 T에 의한 화소의 변화는, 예를 들면, 라스터 스캔 등이 될 수도 있고, 그 이외의 규칙에 의해 순차 변화해 나갈 수도 있다.
단계 S707에 있어서, 입력 화상의 모든 화소에 대하여 처리가 이루어졌다고 판정된 경우, 단계 S709에 있어서, 데이터 취득부(712)는, 다음 입력 화상이 있는지 여부를 판정하고, 다음 입력 화상이 있다고 판정된 경우, 그 처리는, 단계 S701로 리턴하고, 그 이후의 처리가 반복된다.
단계 S709에 있어서, 다음 입력 화상은 없다고 판정된 경우, 그 처리는, 종료된다.
이상의 처리에 의해, 세선, 또는, 2치 에지의 각도가, 정상성 정보로서 검출되어, 출력된다.
이와 같이 통계적 처리에 의해 얻어지는 세선, 또는, 에지의 기울기의 각도는, 상관을 이용하여 얻어지는 세선, 또는, 2치 에지의 각도와 대략 일치한다. 즉, 도 91a에 도시한 바와 같은 화상의 흰선으로 둘러싸이는 범위의 화상에 대하여, 세선상의 소정의 수평 방향의 좌표상의 공간방향 Y에의 기울기의 변화는, 도 91b에 도시된 바와 같이, 상관을 이용한 방법에 의해 얻어지는 세선의 기울기를 나타내는 각도(도면 중의 검은 동그라미표시)와, 도 63에 나타낸 데이터 정상성 검출부(101)에 의해 통계 처리에 의해 얻어지는 세선의 각도(도면 중의 검은 삼각형 표시)는, 세선 근방의 공간 방향 Y의 좌표상에서, 각각이 대략 일치하고 있다. 또한, 도 91b에서는, 도면 중의 검은 실선으로 좁혀진 공간 방향 Y=680 내지 730이 세선상의 좌표이다.
동일하게 하여, 도 92a에 도시한 바와 같은 화상의 흰선으로 둘러싸이는 범위의 화상에 대하여, 2치 에지상의 소정의 수평 방향의 좌표상의 공간방향 Y에의 기울기의 변화는, 도 92b에 도시된 바와 같이, 상관을 이용한 방법에 의해 얻어지 는 2치 에지의 기울기를 나타내는 각도(도면 중의 검은 동그라미 표시)와, 도 63에 나타낸 데이터 정상성 검출부(101)에 의해 통계 처리에 의해 얻어지는 2치 에지의 각도(도면 중의 검은 삼각형 표시)는, 세선 근방의 공간 방향 Y의 좌표상에서, 각각이 대략 일치하고 있다. 또한, 도 92b에서는, 공간 방향 Y=376(부근) 내지 388(부근)이 세선상의 좌표이다.
결과적으로, 도 63에 나타내는 데이터 정상성 검출부(101)는, 데이터의 정상성으로서 세선, 또는, 2치 에지의 각도를 구할 때, 소정의 화소로 이루어지는 블록에 의한 상관을 이용하는 방법과 달리, 각 화소의 주변의 정보를 이용하여, 통계적으로 세선, 또는, 2치 에지의 기울기를 나타내는 각도(여기서는, 수평 방향을 기준축으로 한 각도)를 구할 수 있기 때문에, 상관을 이용한 방법으로 보이도록, 소정의 각도의 범위에 따라서 전환되는 것이 없기 때문에, 모든 세선, 또는, 2치 에지의 기울기의 각도를 동일한 처리에 의해 구하는 것이 가능하기 때문에, 처리를 간단하게 하는 것이 가능하게 된다.
또, 이상에 있어서는, 데이터 정상성 검출부(101)는, 세선, 또는, 2치 에지의 소정의 기준축과의 이루는 각도를 정상성 정보로서 출력하는 예에 대하여 설명l했지만, 후단의 처리에 의해서는, 기울기를 그대로 출력하는 쪽이, 처리효율을 향상시키는 것으로도 고려된다. 그와 같은 경우, 데이터 정상성 검출부(101)의 정상 방향 도출부(703)의 정상 방향연산부(731)는, 최소 제곱법에 의해 구해진 세선, 또는, 2치 에지의 기울기 Gf를, 그대로 정상성 정보로서 출력하도록 할 수도 있다.
또한, 이상에 있어서는, 식(40)에 있어서, 다이내믹 레인지 Dri_r는, 추출 블록의 각 화소에 대하여 구해지는 것으로 하여 연산하여 왔지만, 이 다이내믹 레인지는, 다이내믹 레인지 블록을 충분히 크게 설정함으로써, 즉, 많은 주목 화소에 대하여, 그 주변의 많은 화소를 이용하여 설정함으로써, 화상 중의 화소의 화소치의 최대치와 최소치가, 항상 선택되는 것으로 될 것이다. 따라서, 다이내믹 레인지 Dri_r는, 추출 블록의 각 화소에 대하여 연산하지 않고, 추출 블록 중, 또는, 화상 데이터 중의 화소의 최대치와 최소치로부터 얻어지는 다이내믹 레인지를 고정치로서 연산하도록 할 수도 있다.
즉, 이하의 식(41)과 같이, 화소 사이의 화소치의 차이분만을 더함으로써 세선의 각도(θ)(기울기 Gf)를 구하도록 할 수도 있다. 이와 같이, 다이내믹 레인지를 고정함으로써, 연산처리를 보다 간소화할 수 있고, 고속으로 처리를 행하는 것이 가능하게 된다.
Figure 112005047590059-pct00031
···(41)
다음에, 도 93을 참조하여, 데이터 정상성 정보로서, 각 화소의 혼합비를 검출하는 데이터 정상성 검출부(101)에 대하여 설명한다.
또한, 도 93의 데이터 정상성 검출부(101)에서는, 도 63의 데이터 정상성 검출부(101)에서의 경우와 대응하는 부분에 대해서는, 동일한 부호가 부여되고, 이하에서는 그 설명은, 적절하게 생략한다.
도 93의 데이터 정상성 검출부(101)에 있어서, 도 63의 데이터 정상성 검출부(101)와 다른 것은, 데이터 더하기부(702), 및, 정상성 방향 도출부(703)에 대신하여, 데이터 더하기부(751), 및, 혼합비 도출부(761)가 설치되어 있는 점이다.
데이터 더하기부(751)의 MaxMin 취득부(752)는, 도 63에서의 MaxMin 취득부(722)와 동일한 처리를 행하는 것이지만, 다이내믹 레인지 블록의 각 화소의 화소치의 최대치와 최소치를 취득하고, 최대치와 최소치의 차이분(다이내믹 레인지)을 구하고, 더하기부(753, 755)에 출력하는 동시에, 최대치를 차이분 연산부(754)에 출력한다.
더하기부(753)는, MaxMin 취득부로부터 입력된 값을 제곱하여, 추출 블록의 모든 화소에 대하여 더하여, 그 합을 구하여, 혼합비 도출부(761)에 출력한다.
차이분 연산부(754)는, 데이터 취득부(712)의 취득 블록의 각 화소에 대하여, 대응하는 다이내믹 레인지 블록의 최대치와의 차이분을 구하여, 더하기부(755)에 출력한다.
더하기부(755)는, 취득 블록의 각 화소에 대하여, MaxMin 취득부(752)로부터 입력된 최대치와 최소치의 차이분(다이내믹 레인지)과, 차이분 연산부(754)로부터 입력된 취득 블록의 각 화소의 화소치와, 대응하는 다이내믹 레인지 블록의 최대치와의 차이분과 곱하여, 그 합을 구하고, 혼합비 도출부(761)에 출력한다.
혼합비 도출부(761)의 혼합비 산출부(762)는, 데이터 더하기부의 더하기부(753, 755)의 각각으로부터 입력된 값에 따라, 주목 화소의 혼합비를 최소 제곱법에 의해 통계적으로 구하고, 데이터 정상성 정보로서 출력한다.
다음에, 혼합비의 도출 방법에 대하여 설명한다.
도 94a에 도시된 바와 같이, 화상상에 세선이 존재하는 경우, 센서로 촬상된 화상은, 도 94b에 도시된 바와 같은 화상으로 된다. 개개의 화상에 대하여, 도 94b의 공간 방향 X= X1상의 흑색의 실선으로 둘러싸인 화소에 대하여 주목한다. 또한, 도 94b의 흰선으로 끼일 수 있었던 범위는, 세선 영역에 대응하는 위치를 나타낸다. 이 화소의 화소치 M은, 배경 영역의 레벨에 대응하는 화소치 B와, 세선 영역의 레벨에 대응하는 화소치 L의 중간색으로 되어 있을 것이며, 더욱 상세하게는, 이 화소치 PS는, 배경 영역과 세선 영역의 면적비로, 각각의 레벨이 혼합되어 있을 것이다. 따라서, 이 화소치 PS는, 이하의 식(42)에 의해 표현된다.
Ps = α×B + (1-α) × L···(42)
여기에서, α은, 혼합비이며, 보다 구체적으로는, 주목되어 있는 화소 중의 배경 영역이 차지하는 면적의 비율을 나타낸다. 따라서, (1-α)는, 세선 영역이 차지하는 면적의 비율을 나타내고 있다고도 할 수 있다. 또한, 배경 영역의 화소는, 배경에 존재하는 오브젝트의 성분이라고도 고려되기 때문에, 배경오브젝트성분라고도 할 수 있다. 또, 세선 영역의 화소는, 배경오브젝트에 대하여 전방 경치 오브젝트의 성분이라고 고려되기 때문에, 전방 경치 오브젝트성분라고도 할 수 있다.
그 결과, 혼합비α는, 식(42)를 전개함으로써, 이하의 식(43)으로 표현될 수 있게 된다.
α = (Ps - L)/(B-L)···(43)
또한, 지금의 경우, 화소치는, 제1 화소치(화소치 B)의 영역과 제2 화소치(화소치 L)의 영역을 또 있던 위치에 존재하는 것이 전제이기 때문에, 화소치 L은, 화소치의 최대치 Max로 치환할 수 있고, 또한, 화소치 B는, 화소치의 최소치로 치환할 수 있다. 따라서, 혼합비α는, 이하의 식(44)로도 표현될 수 있다.
α = (Ps - Max)/(Min-Max)···(44)
이상의 결과, 혼합비α는, 주목 화소에 대한 다이내믹 레인지 블록의 다이내믹 레인지((Min-Max)에 상당한다)와, 주목 화소와, 다이내믹 레인지 블록내의 화소의 최대치의 차이분으로부터 구하는 것이 가능하게 되지만, 보다 정밀도를 향상시키기 위해서, 여기서는, 최소 제곱법에 의해 통계적으로 혼합비α를 구한다.
즉, 전술한 식(44)는, 전개하면 이하의 식(45)로 된다.
(Ps - Max) = α×(Min-Max)···(45)
이 식(45)는, 전술한 식(36)와 동일한 1 변수의 최소 제곱법의 식으로 된다. 즉, 식(36)에서는, 최소 제곱법에 의해 기울기 Gf가 구해졌지만, 여기서는, 혼합비α가 구해지게 된다. 따라서, 이하의 식(46)으로 나타내는 정규방정식을 풀이함으로써, 혼합비α는, 통계적으로 구해진다.
Figure 112005047590059-pct00032
···(46)
여기에서, i는, 추출 블록의 각 화소를 식별하는 것이다. 따라서, 식(46)에서는, 추출 블록의 화소수는 n 이다.
다음에, 도 95의 플로차트를 참조하여, 혼합비를 데이터 정상성으로 했을 때의 데이터 정상성의 검출의 처리에 대하여 설명한다.
단계 S731에 있어서, 수평·수직판정부(711)는, 입력 화상의 각 화소를 식별하는 카운터 U를 초기화한다.
단계 S732에 있어서, 수평·수직판정부(711)는, 후단의 처리에 필요한 데이터의 추출 처리를 실행한다. 또한, 단계 S732의 처리는, 도 89의 플로차트를 참조하여 설명한 처리와 동일하므로, 그 설명은 생략한다.
단계 S733에 있어서, 데이터 더하기부(751)는, 정규방정식(여기서는, 식(46))의 연산의 각 항에 필요한 값의 더하기 처리를 실행한다.
여기에서, 도 96의 플로차트를 참조하여, 정규방정식에의 더하기 처리에 대하여 설명한다.
단계 S751에 있어서, MaxMin 취득부(752)는, 데이터 취득부(712)에 기억된 다이내믹 레인지 블록에 포함되는 화소의 화소치의 최대치와 최소치를 취득하고, 그 중, 최소치를 차이분 연산부(754)에 출력한다.
단계 S752에 있어서, MaxMin 취득부(752)는, 그 최대치와 최소치의 차이분으로부터 다이내믹 레인지를 구하고, 차이분 더하기부(753, 755)에 출력한다.
단계 S753에 있어서, 더하기부(753)는, MaxMin 취득부(752)로부터 입력된 다이내믹 레인지(Max-Min)를 제곱하여, 더한다. 즉, 더하기부(753)는, 전술한 식 (46)의 분모에 상당하는 값을 더함으로써 생성한다.
단계 S754에 있어서, 차이분 연산부(754)는, MaxMin 취득부(752)로부터 입력된 다이내믹 레인지 블록의 최대치와, 추출 블록에서의 지금 현재 처리중의 화소의 화소치의 차이분을 구하여, 더하기부(755)에 출력한다.
단계 S755에 있어서, 더하기부(755)는, MaxMin 취득부(752)로부터 입력된 다이내믹 레인지와, 차이분 연산부(754)로부터 입력된, 지금 현재처리하고 있는 화소의 화소치와, 다이내믹 레인지 블록의 화소 중 최대치로 되는 값의 차이분을 곱하여, 더한다. 즉, 더하기부(755)는, 전술한 식(46)의 분자의 항에 상당하는 값을 생성한다.
이상과 같이, 데이터 더하기부(751)는, 더하기 처리에 의해, 전술한 식(46)의 각 항의 연산을 실행한다.
여기에서, 도 95의 플로차트의 설명으로 되돌아간다.
단계 S734에 있어서, 차이분 더하기부(721)는, 추출 블록의 모든 화소에 대하여, 더하기가 종료되었는지 여부를 판정하여, 예를 들면, 추출 블록의 모든 화소에 대한 더하기 처리가 종료되지 않았다고 판정한 경우, 그 처리는, 단계 S732로 리턴하고, 그 이후의 처리가 반복된다. 즉, 추출 블록의 모든 화소에 대하여, 더하기 처리가 종료되었다고 판정될 때까지, 단계 S732내지 S734의 처리가 반복된다.
단계 S734에 있어서, 추출 블록의 모든 화소에 대하여 더하기가 종료되었다고 판정된 경우, 단계 S735에 있어서, 더하기부(753, 755)는, 스스로에 기억하고 있는 더하기 결과를 혼합비 도출부(761)에 출력한다.
단계 S736에 있어서, 혼합비 도출부(761)의 혼합비 산출부(762)는, 데이터 더하기부(751)의 더하기부(753, 755)로부터 입력된, 다이내믹 레인지의 제곱합, 및, 추출 블록의 각 화소의 화소치와 다이내믹 레인지 블록의 최대치의 차이분과, 다이내믹 레인지를 곱한 합에 따라, 전술한 식(46)으로 나타낸 정규방정식을 풀이함으로써, 최소 제곱법을 이용하여 통계적으로 주목 화소의 데이터 정상성 정보인, 혼합비를 연산하고, 출력한다.
단계 S737에 있어서, 데이터 취득부(712)는, 입력 화상의 모든 화소에 대하여 처리가 행해졌는지 여부를 판정하여, 예를 들면, 입력 화상의 모든 화소에 대하여 처리가 행해지지 않고 있다, 즉, 입력 화상의 모든 화소에 대하여, 혼합비를 출력하지 않고 있다고 판정한 경우, 단계 S738에 있어서, 카운터 U를 1증분하여, 그 처리는, 단계 S732로 리턴된다.
즉, 입력 화상 중의 처리하려고 하는 화소가 변경되어, 입력 화상의 모든 화소에 대하여 혼합비가 연산될 때까지, 단계 S732내지 S738의 처리가 반복된다. 이 카운터 U에 의한 화소의 변화는, 예를 들면, 라스터 스캔 등이 될 수도 있고, 그 이외의 규칙에 의해 순차 변화해 나갈수도 있다.
단계 S737에 있어서, 입력 화상의 모든 화소에 대하여 처리가 이루어졌다고 판정된 경우, 단계 S739에 있어서, 데이터 취득부(712)는, 다음 입력 화상이 있는지 여부를 판정하고, 다음 입력 화상이 있다고 판정된 경우, 그 처리는, 단계 S731로 리턴하고, 그 이후의 처리가 반복된다.
단계 S739에 있어서, 다음 입력 화상은 없다고 판정된 경우, 그 처리는, 종 료된다.
이상의 처리에 의해, 각 화소의 혼합비가, 정상성 정보로서 검출되어, 출력된다.
이상의 방법에 의해, 예를 들면, 도 97a에 도시되는 화상 중의 흰선내의 세선의 화상에 대하여, 소정의 공간 방향 X(=561, 562, 563) 상의 혼합비의 변화가, 도 97b에 도시되고 있다. 도 97b에 도시된 바와 같이, 수평 방향으로 연속하는 공간 방향 Y의 혼합비의 변화는, 각각, 공간 방향 X=563의 경우, 혼합비는, 공간 방향 Y=660 부근에서 상승되고, Y=685 부근에서 피크가 되고, Y=710까지 감소된다. 또, 공간 방향 X=562의 경우, 혼합비는, 공간 방향 Y=680 부근에서 상승되고, Y=705 부근에서 피크가 되고, Y=735까지 감소된다. 또한, 공간 방향 X=561의 경우, 혼합비는, 공간 방향 Y=705 부근에서 상승되고, Y=725부근에서 피크가 되고, Y=755까지 감소한다.
이와 같이, 도 97b에 도시된 바와 같이, 연속하는 공간 방향 X의 각각의 혼합비의 변화는, 혼합비에 의해 변화되는 화소치의 변화(도 72b에 나타낸 화소치의 변화)와 동일한 변화이며, 연속하고 있으므로, 세선 근방의 화소의 혼합비가 정확하게 표현되어 있는 것을 알 수 있다.
또, 동일하게 하여, 도 98a에 도시되는 화상 중의 흰선내의 2치 에지의 화상에 대해, 소정의 공간 방향 X(=658, 659, 660) 상의 혼합비의 변화가, 도 98b에 도시되고 있다. 도 98b에 도시된 바와 같이, 수평 방향으로 연속하는 공간 방향 Y의 혼합비의 변화는, 각각, 공간 방향 X=660의 경우, 혼합비는, 공간 방향 Y=750 부근 에서 상승되고, Y=765 부근에서 피크가 된다. 또, 공간 방향 X=659의 경우, 혼합비는, 공간 방향 Y=760 부근에서 상승되고, Y=775 부근에서 피크가 된다. 또한, 공간 방향 X=658의 경우, 혼합비는, 공간 방향 Y=770 부근에서 상승되고, Y=785 부근에서 피크가 된다.
이와 같이, 도 98b에 도시된 바와 같이, 2치 에지의 혼합비의 변화는, 혼합비에 의해 변화되는 화소치의 변화(도 84b에 나타낸 화소치의 변화)와 동일한 변화와 대략 동일하고, 연속하고 있으므로, 2치 에지 근방의 화소치의 혼합비가 정확하게 표현되어 있는 것을 알 수 있다.
이상에 따르면, 최소 제곱법에 의해 통계적으로 데이터 정상성 정보로서, 각 화소의 혼합비를 구하는 것이 가능하게 된다. 또한, 이 혼합비에 따라, 각 화소의 화소치를 직접 생성하는 것이 가능하게 된다.
또, 혼합비의 변화가, 정상성을 가지는 것이며, 또한, 이 혼합비의 변화가 직선적인 것으로 근사하면, 이하의 식(47)로 나타내는 관계가 성립한다.
α= m × y + n···(47)
여기에서, m은, 혼합비α가, 공간 방향 Y에 대하여 변화될 때의 기울기를 나타내고, 또, n은, 혼합비α가 직선적으로 변화될 때의 절편에 상당하는 것이다.
즉, 도 99에 도시된 바와 같이, 혼합비를 나타내는 직선은, 배경 영역의 레벨에 상당하는 화소치 B와, 세선의 레벨에 상당하는 레벨 L의 경계를 나타내는 직선이며, 이 경우, 공간 방향 Y에 대해 단위거리 진행되었을 때의 혼합비의 변화량이 기울기 m이 된다.
따라서, 식(47)을, 식(42)에 대입하면 이하의 식(48)이 도출된다.
M=(m×y + n)× B + (1- (m× y+ n))× L···(48)
또한, 이 식(48)을 전개하면, 이하의 식(49)이 도출된다.
M - L =(y×B - y×L)× m + (B - L)×n···(49)
식(49)에서는, 제1항의 m이, 혼합비의 공간 방향의 기울기를 나타내고, 제2항이 혼합비의 절편을 나타내는 항이다. 따라서, 전술한 식(49)의 m, n을 2변수의 최소 제곱법을 이용하여, 정규방정식을 생성하고, 구하도록 할 수도 있다.
그러나, 혼합비α의 기울기 m은, 상술한 세선이나 2치 에지의 기울기(전술한 기울기 Gf) 그 자체이기 때문에, 미리, 전술한 방법을 이용하여, 세선, 또는, 2치 에지의 기울기 Gf를 구한 후, 그 기울기를 이용하여, 식(49)에 대입함으로써, 절편의 항에 대한 1 변수의 함수로 하고, 상술한 방법과 같이, 1 변수의 최소 제곱법에 의해 구하도록 할 수도 있다.
이상의 예에서는, 공간 방향의 세선, 또는, 2치 에지의 각도(기울기), 또는, 혼합비를 데이터 정상성 정보로서 검출하는 데이터 정상성 검출부(101)에 대하여 설명하여 왔지만, 예를 들면, 공간내의 축(공간 방향 X, Y) 중 어느 하나를, 시간 방향(프레임 방향) T의 축으로 치환함으로써 얻어지는, 공간 방향에서의 각도에 대응할 수도 있다. 즉, 공간 내의 축(공간 방향 X, Y) 중 어느 하나를, 시간 방향(프레임 방향) T의 축으로 치환함으로써 얻어지는 각도에 대응하는 것은, 물체의 움직임벡터(움직임벡터의 방향)이다.
보다 구체적으로는, 도 100a에 도시된 바와 같이, 물체가, 시간이 진행됨에 따라서 공간 방향 Y에 대해, 도면 중의 상방향으로 이동하고 있는 경우, 도면 중의 세선에 상당하는 부분(도 70a와의 비교)에는, 물체의 이동의 궤적이 나타나게 된다. 따라서, 시간 방향 T의 세선에서의 기울기는, 도 100a에서는, 물체가 움직이는 방향(물체의 움직임을 나타내는 각도)를 나타내는 것(움직임벡터의 방향과 동일한 값의 것)이다. 따라서, 현실 세계에서, 도 100a 중의 화살표로 나타내는, 소정의 시각에서의 프레임에서는, 도 100b에 도시된 바와 같이 물체의 궤적으로 되는 부분이, 물체의(색의) 레벨로 되고, 그 이외의 부분이, 배경의 레벨로 된 펄스형의 파형으로 된다.
이와 같이, 센서에 의해 움직임이 있는 물체를 촬상한 한 경우, 도 101a에 도시된 바와 같이, 시각 T1 내지 T3에서의 프레임의 각 화소의 화소치의 분포는, 도 101b에 도시된 바와 같이, 공간 방향 Y에 대하여, 각각 산형의 파형을 취한다. 이 관계는, 도 71a, 도 71b를 참조하여, 설명한 공간 방향 X, Y에서의 관계와 동일한 것으로 생각할 수 있다. 따라서, 프레임 방향 T에 대하여, 물체에 움직임이 있는 경우, 상술한 세선의 기울기, 또는, 2치 에지의 각도(기울기)의 정보와 동일의 방법에 의해, 물체의 움직임벡터의 방향을 데이터 정상성 정보로서 구하는 것도 가능하다. 또한, 도 101b에서는, 프레임 방향 T(시간 방향 T)에 대해, 각 격자는, 1프레임의 화상을 구성하는 셔터시간으로 된다.
또, 동일하게 하여, 도 102a에 도시된 바와 같이, 프레임 방향 T마다, 공간 방향 Y에 대해 물체에 움직임이 있는 경우, 도 102b에 도시된 바와 같이, 소정의 시각 T1에 상당하는 프레임 상에서 공간 방향 Y를 향해서, 물체의 움직임에 대응하여, 각 화소치가 얻어지게 된다. 이 때, 예를 들면, 도 102b에서의, 흑색의 실선으로 둘러싸인 화소의 화소치는, 도 102c에 도시된 바와 같이, 물체의 움직임에 대응하여, 배경의 레벨과 물체의 레벨이 프레임 방향으로 혼합비β로 혼합하고 있는 화소치이다.
이 관계는, 도 94a, 도 94b, 도 94c를 참조하여 설명한 관계와 동일하다.
또한, 도 103에 도시된 바와 같이, 물체의 레벨 O과 배경의 레벨 B는, 프레임 방향(시간 방향)의 혼합비β에 의해 직선 근사하는 것도 가능하다. 개개의 관계는, 도 99를 참조하여 설명한 공간 방향의 혼합비의 직선 근사와 동일한 관계이다.
따라서, 공간 방향의 혼합비α와 동일한 방법에 의해, 시간(프레임) 방향의 혼합비β를 데이터 정상성 정보로서 구하는 것도 가능하다.
또, 프레임 방향, 또는, 공간 방향 중 어느 하나가 1차원을 선택하여, 정상성의 각도, 또는, 움직임벡터의 방향을 구하도록 할 수도 있고, 동일하게 하여 혼합비α, β를 선택적으로 구하도록 할 수도 있다.
이상에 따르면, 현실 세계의 광신호를 사영하고, 현실 세계의 광신호의 정상성의 일부가 드롭아웃된 화상 데이터 내의 주목 화소에 대응하는 영역을 선택하고, 선택한 영역내의, 드롭아웃된 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성의 기준축에 대한 각도를 검출하기 위한 특징을 검출하고, 검출한 특징에 따라 통계적으로 각도를 검출하고, 검출한 화상 데이터의 정상성의 기준축에 대 한 각도에 따라, 드롭아웃된 현실 세계의 광신호의 정상성을 추정함으로써 광신호를 추정하도록 했기 때문에, 정상성의 각도(움직임벡터의 방향), 또는, (시공간의)혼합비를 구하는 것이 가능하게 된다.
이상과 같이, 데이터 정상성 검출부(101)는, 주목 화소에 대응하는, 입력 화상의 복수의 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 데이터의 정상성을 검출한다.
도 6에 되돌아가, 단계 S101에 있어서, 데이터 정상성 검출부(101)에 의해 검출되는 데이터의 정상성은, 입력 화상에 포함되는, 실세계의 화상의 정상성의 일부이거나, 또는, 실세계의 신호의 정상성으로부터 변화되어 버린 정상성이다.
예를 들면, 데이터 정상성 검출부(101)는, 동일한 형상의 배열방법을 나타내는, 공간 방향의 각도(기울기)를 검출함으로써, 데이터의 정상성을 검출한다.
또, 데이터 정상성 정보는, 데이터의 특징을 나타내는 특징량으로서 이용될 수 있다.
단계 S102에 있어서, 클래스탭 추출부(102)는, 창조하려고 하는 HD 화상의 주목하고 있는 HD 화소인 주목 화소를 선택한다. 클래스탭 추출부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대응하는 입력 화상의 복수의 주변 화소를 추출하고, 추출한 입력 화상의 복수의 주변 화소를 클래스탭으로 한다. 클래스탭은, 특징량 검출부(103)에 공급되고, 수속은, 단계 S103으로 진행한다. 예를 들면, 클래스탭 추출부(102)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 따라, 주목 화소의 위치에 공간적 또는 시간적으로 가까운 복수의 화소치를 입력 화상으로부터 클래스탭으로서 추출하여, 클래스탭을 생성한다.
다음에, 도 104 내지 도 108를 참조하여, 클래스탭 추출부(102)에 의한, 데이터의 정상성에 따른, 주목 화소에 대응하는, 입력 화상의 복수의 주변 화소의 추출의 처리에 대하여 설명한다.
도 104는 종래의 시간 방향으로 의해 고해상도의 화상의 프레임을 창조하는 클래스 분류 적응 처리에서의, 움직임벡터 v를 기초로 한, 클래스탭의 추출의 처리를 설명하는 도면이다.
도 104에 있어서, 횡방향은 화상의 공간 방향을 나타내고, 종방향은 시간 방향을 나타낸다. 프레임#1은, 프레임#0의 다음 프레임, 즉 프레임#0에 대하여 시간적으로 후의 프레임이다. 주목 프레임은, 프레임#0 및 프레임#1의 사이에 배치된다.
도 104에 있어서, 검은 동그라미는 주목 화소를 나타내고, 흰 동그라미는 추출되는 주변 화소를 나타낸다.
종래의 클래스 분류 적응 처리에 있어서, 주목 화소에 대응하는 움직임벡터 v가 검출되고, 검출된 움직임벡터 v가, 주목 화소를 통과하고, 시점이 프레임#0에 위치하고, 종점이 프레임#1에 위치하도록 배치된다. 그리고, 배치된 움직임벡터 v의 시점에 위치하는 화소 x(2), 움직임벡터 v의 종점에 위치하는 화소 x(5)가, 클래스탭으로서 추출된다.
또한, 종래의 클래스 분류 적응 처리에 있어서, 화소 x(2)에 인접 하는 프레임#0의 화소 x(1) 및 화소 x(3)이, 클래스탭으로서 추출되고, 화소 x(5)에 인접 하는 프레임#1의 화소 x(4) 및 화소 x(6)이, 클래스탭으로서 추출된다.
도 105는 본 발명의 화상 처리 장치에서의, 데이터의 정상성의 방향 C를 기초로 한, 클래스탭의 추출의 처리를 설명하는 도면이다.
이하의 설명에 있어서, 화소의 단위는, 입력 화상에서의 화소를 기준으로 한다.
또, 도 105의 상측에 있어서, 공간 방향 Y의 좌표치가 증가되고(플러스측), 도 105의 하측에 있어서, 공간 방향 Y의 좌표치가 감소된다(마이너스측). 또, 도 105의 우측에 있어서, 공간 방향 X의 좌표치가 증가되고(플러스측), 도 105의 좌측에서, 공간 방향 X의 좌표치가 감소된다(마이너스측).
도 105에 나타내는 데이터의 정상성의 방향 C에서, 공간 방향 X에 1화소의 거리에 대한 공간 방향 Y의 변화량은, 3.25화소이다.
예를 들면, 데이터의 정상성을 가지는 영역에 속하는 주목 화소(도면 중 검은 동그라미로 나타낸다)에 대하여, 공간 방향 X에 -0.25화소 및 공간 방향 Y에 -0.75화소의 화소 x(5), 공간 방향 X에 -0.25화소 및 공간 방향 Y에 +0.25화소의 화소x(4), 및 공간 방향 X에 -0.25화소 및 공간 방향 Y에 -1.75화소의 화소 x(6)이 클래스탭으로서 추출된다.
또, 데이터의 정상성을 가지는 영역에 속하는 주목 화소에 대하여, 공간 방향 X에 +0.75화소 및 공간 방향 Y에 +2.75화소의 화소 x(2), 공간 방향 X에 + 0.75화소 및 공간 방향 Y에 +3.75화소의 화소 x(1), 및 공간 방향 X에 +0.75화소 및 공간 방향 Y에 +1.75화소의 화소 x(3)이 클래스탭으로서 추출된다.
또한, 데이터의 정상성을 가지는 영역에 속하는 주목 화소에 대하여, 공간 방향 X에 -1.25화소 및 공간 방향 Y에 -3.75화소의 화소 x(8), 공간 방향 X에 - 1.25화소 및 공간 방향 Y에 -2.75화소의 화소 x(7), 및 공간 방향 X에 -1.25화소 및 공간 방향 Y에 -4.75화소의 화소 x(9)가 클래스탭으로서 추출된다.
도 106 및 도 107을 참조하여, 데이터의 정상성에 기초하는, 클래스탭으로서 추출되는 화소의 위치의 결정에 대하여 설명한다.
도 106 및 도 107에 있어서, x 표시는 HD 화소를 나타내고, 동그라미 표시는 SD 화소를 나타낸다.
이하, 주목 화소 등의 소정의 기준위치로부터, 공간 방향 X에 a 화소 및 공간 방향 Y에 b 화소의 위치를, (a, b)로 나타낸다.
예를 들면, 주목 화소의 대응하는 위치의 입력 화소(대응 화소)가 포함되는 공간 방향 Y에 1열의 화소로서, 대응 화소로부터 정해지는 중심 화소를 중심으로 하여, 중심 화소에 공간 방향 Y에 인접하는 화소로 이루어지는 3개의 주변 화소, 또 3개의 주변 화소에 공간 방향 X에 인접하는 6개의 주변 화소의 위치가 기준으로 하여 미리 정해져 있다.
또, 주변 화소의 기준의 위치는, 공간 방향 X에 1화소 건너뜀, 또는 공간 방향 Y에 1화소 건너뜀 등, 임의로 정할 수 있다.
대응 화소는, 주목 화소에 대하여, 공간 방향 X에 -0.25화소 내지 +0.25화소, 및 공간 방향 Y에 -0.25화소 내지 +0.25화소의 범위에 위치한다.
중심 화소는, 대응 화소와 동일한 경우도 있지만, 대응 화소와 동일하지 않은 경우도 있다. 즉, 중심 화소는, 대응 화소와 동일한 것에 한하지 않는다.
예를 들면, 도 106에 도시한 바와 같이, 주목 화소인 HD 화소 y1의 위치가, 대응 화소 x11을 기준으로 하여 (-0.25, +0.25)일 때, 대응 화소 x11로부터 공간 방향 X에 1화소의 위치의 화소 x12와, 주목 화소 y1와의 공간 방향 X의 거리는, 1.25화소, 즉 5/4화소이다.
데이터의 정상성에서의, 공간 방향 X에 1화소의 거리에 대한 공간 방향 Y의 변화량이, 1화소일 때(데이터의 정상성의 기울기가 1일 때), 주목 화소 y1으로부터 공간 방향 X에 1.25화소로서, 공간 방향 Y에 1.25화소(공간 방향 X의 거리 1.25에 기울기1을 곱하여 얻어진 거리 1.25)의 위치에 가장 가까운 입력 화소, 예를 들면, 입력 화소 x6이 클래스탭으로서 선택된다.
그리고, 선택된 입력 화소 x6을 기준으로 하여, 입력 화소 x6에 공간 방향 Y 에 1열로 나란한 입력 화소로서, 입력 화소 x6에 대하여 소정의 위치에 있는 입력 화소가 클래스탭으로서 선택된다. 예를 들면, 선택된 입력 화소 x6에 공간 방향 Y에 인접하는 입력 화소 x3 및 입력 화소 x9가 클래스탭으로서 선택된다.
데이터의 정상성에서의, 공간 방향 X에 1화소의 거리에 대한 공간 방향 Y의 변화량이, 2화소일 때(데이터의 정상성의 기울기가 2일 때), 도 106에 도시한 바와 같이, 주목 화소 y1로부터 공간 방향 X에 1.25화소로서, 공간 방향 Y에 2.50화소(공간 방향 X의 거리 1.25에 기울기 2를 곱하여 얻어진 거리 2.50)의 위치에 가장 가까운 입력 화소, 예를 들면, 입력 화소 x3이 클래스탭으로서 선택된다.
그리고, 선택된 입력 화소 x3을 기준으로 하여, 입력 화소 x3에 공간 방향 Y에 1열로 나란한 입력 화소로서, 입력 화소 x3에 대하여 소정의 위치에 있는 입력 화소가 클래스탭으로서 선택된다. 예를 들면, 선택된 입력 화소 x3에 공간 방향 Y에 인접하는 입력 화소가 선택된다.
예를 들면, 도 106에 도시한 바와 같이, 주목 화소인 HD 화소 y1의 위치가 대응 화소 x11에 대하여 (-0.25, +0.25)이기 때문에, 대응 화소 x11과 주목 화소 y1의 공간 방향 X의 거리는, 0.25화소, 즉 1/4화소이다.
데이터의 정상성에서의, 공간 방향 X에 1화소의 거리에 대한 공간 방향 Y의 변화량이, 2화소일 때(데이터의 정상성의 기울기가 2일 때), 도 106에 도시한 바와 같이, 주목 화소 y1로부터 공간 방향 X에 0.25화소로서, 공간 방향 Y에 0.50화소(공간 방향 X의 거리 0.25에 기울기 2를 곱하여 얻어진 거리 0.50)의 위치에 가장 가까운 입력 화소, 예를 들면, 입력 화소 x11이 중심 화소로서, 선택된다.
그리고, 예를 들면, 선택된 입력 화소 x11에 공간 방향 Y에 인접하는 입력 화소 x8 및 입력 화소 x14가 선택된다.
즉, 이 경우, 대응 화소와 중심 화소는, 동일 화소로 된다.
데이터의 정상성에서의, 공간 방향 X에 1화소의 거리에 대한 공간 방향 Y의 변화량이, 3.25화소일 때(데이터의 정상성의 기울기가 3.25일 때), 도 106에 도시한 바와 같이, 주목 화소 y1로부터 공간 방향 X에 0.25화소로서, 공간 방향 Y에 0.8125화소(공간 방향 X의 거리 0.25에 기울기 3.25를 곱하여 얻어진 거리 0.8125)의 위치에 가장 가까운 입력 화소, 예를 들면, 입력 화소 x14가 중심 화소로서, 선택된다.
그리고, 예를 들면, 선택된 입력 화소 x14에 공간 방향 Y에 인접하는 입력 화소 x11 및 입력 화소 x17이 선택된다.
즉, 이 경우, 대응 화소와 중심 화소는, 다른 화소로 된다.
예를 들면, 도 107에 도시한 바와 같이, 주목 화소인 HD 화소 y2의 위치가, 대응 화소 x11에 대하여 (+0.25, +0.25)일 때, 대응 화소 x11로부터 공간 방향 X에 1 화소의 위치의 화소 x12와, 주목 화소 y2의 공간 방향 X의 거리는, 0.75화소, 즉 3/4화소이다.
데이터의 정상성에서의, 공간 방향 X에 1화소의 거리에 대한 공간 방향 Y의 변화량이, 1화소일 때(데이터의 정상성의 기울기가 1일 때), 주목 화소 y2로부터 공간 방향 X에 0.75화소로서, 공간 방향 Y에 0.75화소(공간 방향 X의 거리 0.75에 기울기 1을 곱하여 얻어진 거리 0.75)의 위치에 가장 가까운 입력 화소, 예를 들면, 입력 화소 x9가 클래스탭으로서 선택된다.
그리고, 선택된 입력 화소 x9를 기준으로 하여, 입력 화소 x9에 공간 방향 Y에 1열로 나란한 입력 화소로서, 입력 화소 x9에 대하여 소정의 위치에 있는 입력 화소가 클래스탭으로서 선택된다. 예를 들면, 선택된 입력 화소 x9에 공간 방향 Y에 인접하는 입력 화소 x6 및 입력 화소 x12가 선택된다.
데이터의 정상성에서의, 공간 방향 X에 1화소의 거리에 대한 공간 방향 Y의 변화량이, 2화소일 때(데이터의 정상성의 기울기가 2일 때), 도 107에 도시한 바와 같이, 주목 화소 y2로부터 공간 방향 X에 0.75화소로서, 공간 방향 Y에 1.50화소(공간 방향 X의 거리 0.75에 기울기 2를 곱하여 얻어진 거리 1.50)의 위치에 가장 가까운 입력 화소, 예를 들면, 입력 화소 x6가 클래스탭으로서 선택된다.
그리고, 선택된 입력 화소 x6를 기준으로 하여, 입력 화소 x6에 공간 방향 Y 에 1열로 나란한 입력 화소로서, 입력 화소 x6에 대하여 소정의 위치에 있는 입력 화소가 클래스탭으로서 선택된다. 예를 들면, 선택된 입력 화소 x6에 공간 방향 Y에 인접하는 입력 화소 x3 및 입력 화소 x9가 선택된다.
이와 같이, 주목 화소에 대한, 주변 화소의 소정의 방향의 거리에, 데이터의 정상성의 기울기를 곱함으로써, 주변 화소의 다른 방향의 거리를 구하여, 데이터의 정상성의 방향을 기초로, 클래스탭으로서 추출되는 주변 화소의 위치가 특정된다.
이와 같이 함으로써, 데이터의 정상성을 가지는 주변 화소를 클래스탭으로서 선택할 수 있다. 이에 따라, 공통된 특징을 가지는 주변 화소가 클래스탭으로서 선택되기 때문에, 보다 적절하게 클래스를 분류할 수 있게 된다.
또, 본 발명의 화상 처리 장치에서는, 시공간방향의 데이터의 정상성의 방향을 검출하고, 검출된 시공간방향의 데이터의 정상성의 방향을 기초로 하여, 시공간방향의 클래스탭을 추출할 수 있다.
도 108은 본 발명의 화상 처리 장치에서의, 데이터 정상성 검출부(101)에 의해 검출된 시공간방향의 데이터의 정상성의 방향 C를 기초로 한, 시공간방향의 클래스탭의 추출의 처리를 설명하는 도면이다.
도 108에 있어서, 입력 화상에 대하여, 출력 화상의 한 쪽 공간 방향의 화소의 수는 2배이며, 출력 화상의 단위시간당의 프레임의 수는 2배이다.
도 108에 있어서,과거 시각이, 도면 중의 좌측의 위치에 대응하고, 미래의 시각이 도면 중의 우측의 위치에 대응한다. 도 108의 상측에 있어서, 공간 방향의 좌표치가 증가되고(플러스측), 도 108의 하측에 있어서, 공간 방향의 좌표치가 감소된다(마이너스측).
도 108에 있어서, f-1, f0, f1은 입력 화상의 프레임을 나타내고,
F-2, F-1, F0, F1, F2, F3은, 출력 화상의 프레임을 나타낸다.
도 108에 나타내는 데이터의 정상성의 방향 C에서, 입력 화상을 기준으로 하여, 시간 방향으로 1프레임의 거리에 대한 공간 방향의 변화량이, 3.25화소이다.
예를 들면, 데이터의 정상성을 가지는 영역에 속하는 주목 화소(도면 중 검은 동그라미로 나타낸다)에 대하여, 시간 방향으로 -0.25프레임 및 공간 방향으로 -0.75화소의 화소 x(5), 시간 방향으로 -0.25프레임 및 공간 방향으로 +0.25화소의 화소 x(4), 및 시간 방향으로 -0.25프레임 및 공간 방향으로 -1.75화소의 화소 x(6)이 클래스탭으로서 추출된다.
데이터의 정상성을 가지는 영역에 속하는 주목 화소에 대하여, 시간 방향으로 +0.75프레임 및 공간 방향으로 +2.75화소의 화소 x(2), 시간 방향으로 +0.75프레임 및 공간 방향으로 +3.75화소의 화소 x(1), 및 시간 방향으로 +0.75프레임 및 공간 방향으로 +1.75화소의 화소 x(3)이 클래스탭으로서 추출된다.
또한, 데이터의 정상성을 가지는 영역에 속하는 주목 화소에 대하여, 시간 방향으로 -1.25프레임 및 공간 방향으로 -3.75화소의 화소 x(8), 시간 방향으로 - 1.25프레임 및 공간 방향으로 -2.75화소의 화소 x(7), 및 시간 방향으로 -1.25프레임 및 공간 방향으로 -4.75화소의 화소 x(9)가 클래스탭으로서 추출된다.
시공간방향의 데이터의 정상성의 기울기를 기초로, 시공간방향으로 클래스탭을 추출하는 처리는, 도 106 및 도 107을 참조하여 설명한 처리에 있어서, 공간 방향의 한 쪽을 시간 방향으로 치환한 것과 동일하기 때문에, 그 설명은 생략한다.
시공간방향의 데이터의 정상성의 기울기를 기초로, 시공간방향으로 클래스탭을 추출함으로써, 시공간방향의 데이터의 정상성을 고려한 클래스탭을 추출할 수 있게 된다.
도 6으로 되돌아가, 단계 S103에 있어서, 특징량 검출부(103)는, 입력 화상 또는 클래스탭으로부터 특징량을 검출하여, 검출된 특징량을 클래스 분류부(104)에 공급하는 동시에, 클래스탭을 클래스 분류부(104)에 공급하여, 단계 S104로 진행한다.
단계 S104에 있어서, 클래스 분류부(104)는, 특징량 검출부(103)로부터 공급되는 특징량 또는 클래스탭에 기초하고, 1 이상의 클래스 중 적어도 하나의 클래스에, 주목 화소에 대해 클래스 분류를 행하고, 그 결과 얻어지는 주목 화소의 클래스를 나타내는 클래스 코드를, 계수 메모리(105) 및 예측탭 추출부(106)에 공급하여, 단계 S105로 진행한다.
단계 S105에 있어서, 예측탭 추출부(106)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대응하는 입력 화상의 복수의 주변 화소를 추출하고, 추출한 입력 화상의 복수의 주변 화소를 예측 탭으로 한다.
예측탭 추출부(106)에 의한 예측 탭의 추출의 처리는, 클래스탭 추출부(102)에서의 처리와 동일하기 때문에, 그 상세한 설명은 생략한다.
이와 같이 함으로써, 데이터의 정상성을 가지는 주변 화소를 예측 탭으로서 선택할 수 있다. 이에 따라, 공통된 특징을 가지는 주변 화소가 예측 탭으로서 선택되기 때문에, 보다 정밀도가 양호하게, 또는 보다 정확하게 화소치를 예측할 수 있게 된다.
즉, 예측탭 추출부(106)는, 데이터 정상성 검출부(101)에 의해 검출된 데이터의 정상성 및 클래스 분류부(104)로부터 공급된 클래스 코드에 따라, 주목 화소의 위치에 공간적 또는 시간적으로 가까운 복수의 화소치를 입력 화상으로부터 예측 탭으로서 추출하여, 예측 탭을 생성한다. 예측 탭은, 화소치 예측부(107)에 공급되고, 수속은, 단계 S106으로 진행한다.
단계 S106에 있어서, 계수 메모리(105)는, 클래스 분류부(104)로부터 공급되는 클래스 코드에 대응하는 어드레스에 기억되어 있는 예측 계수(탭 계수)를 판독하고, 이에 따라, 주목 화소의 클래스의 예측 계수를 취득하여, 예측 계수를 화소치 예측부(107)에 공급하고, 단계 S107로 진행한다.
단계 S107에 있어서, 화소치 예측부(107)는, 특징량 검출부(103)에 의해 검출된 특징량에 따라, 적응 처리에 의해, 예측탭 추출부(106)에 의해 추출된 복수의 주변 화소로부터 주목 화소(의 예측치)를 예측하고, 단계 S108로 진행한다. 즉, 단계 S107에서는, 화소치 예측부(107)는, 예측탭 추출부(106)로부터의 예측 탭과, 계수 메모리(105)로부터의 예측 계수(탭 계수)를 이용하여, 식(1)에 나타낸 연산을 행하고, 주목 화소(의 예측치)를 예측한다.
단계 S108에 있어서, 클래스탭 추출부(102)는, HD 화상의 주목하고 있는 프레임의 화소 중, 아직, 주목 화소로 하고 있지 않는 화소가 존재하는지 여부를 판정하고, 존재한다고 판정한 경우, 단계 S102로 리턴하여, 이하, 동일한 처리를 반복한다.
또, 단계 S108에 있어서, 주목 프레임의 화소 중, 주목 화소로 하고 있지 않는 화소가 존재하지 않는다고 판정된 경우, 즉, 주목 프레임을 구성하는 모든 HD 화소가, 예측된 경우, 화소치 예측부(107)는, 예측된 화소로 이루어지는 출력 화상을 출력하여, 처리는 종료된다.
이와 같이, 도 5에 구성을 나타내는 화상 처리 장치는, 입력 화상으로부터, 보다 고해상도의 출력 화상을 생성하여, 생성한 출력 화상을 출력할 수 있다.
도 109 내지 도 118은 본 발명에 따른 화상 처리 장치의 처리 결과의 예를 설명하는 도면이다.
도 109는 입력 화상의 예를 나타내는 도면이다. 도 110은 입력 화상의 원인이 된 화상을 도시한 도면이다. 즉, 도 110에 나타내는 화상의 4화소의 화소치의 평균으로부터, 도 109에 나타내는 입력 화상의 화소치를 계산했다.
도 111은 도 109에 나타내는 입력 화상에, 종래의 클래스 분류 적응 처리를 적용함으로써 생성한 화상을 도시한 도면이다.
도 112는 도 109에 나타내는 입력 화상으로부터 데이터의 정상성의 기울기를 검출하고, 데이터의 정상성의 기울기를 기초로, 대응 화소와 중심 화소가 항상 동일하게 되도록, 클래스탭 및 예측 탭을 추출하여, 클래스 분류하고, 적응 처리를 적용함으로써 생성한 화상을 도시한 도면이다.
도 113은 도 5에 나타내는 화상 처리 장치에 의해, 도 109에 나타내는 입력 화상으로부터 생성된 화상을 도시한 도면이다. 즉, 도 113은 입력 화상으로부터 데이터의 정상성의 기울기를 검출하고, 데이터의 정상성의 기울기를 기초로, 대응 화소와 중심 화소가 적절하게 다르도록, 클래스탭 및 예측 탭을 추출하여, 클래스 분류하고, 적응 처리를 적용함으로써 생성된 화상을 도시한 도면이다.
도 114는 입력 화상의 다른 예를 나타내는 도면이다. 도 115는, 도 114에 나타내는 입력 화상의 원인이 된 화상을 도시한 도면이다. 즉, 도 115에 나타내는 화상의 4화소의 화소치의 평균으로부터, 도 114에 나타내는 입력 화상의 화소치를 계산했다.
도 116은, 도 114에 나타내는 입력 화상에, 종래의 클래스 분류 적응 처리를 적용함으로써 생성한 화상을 도시한 도면이다.
도 117은, 도 114에 나타내는 입력 화상으로부터 데이터의 정상성의 기울기를 검출하고, 데이터의 정상성의 기울기를 기초로, 대응 화소와 중심 화소가 항상 동일하게 되도록, 클래스탭 및 예측 탭을 추출하여, 클래스 분류하고, 적응 처리를 적용함으로써 생성한 화상을 도시한 도면이다.
데이터의 정상성의 기울기를 기초로, 클래스탭 및 예측 탭을 추출하더라도, 대응 화소와 중심 화소가 항상 동일하게 되도록 한 경우, 매끄러운 화상을 얻을 수 없다. 이것은, 수직 방향으로 동일 파형을 포함하는 탭이 추출되어 버리고, 수평 방향으로 파형의 변화가 없다고해서 매핑(mapping)된 결과에 의한 것이라고 생각된다.
도 118은, 도 5에 나타내는 화상 처리 장치에 의해, 도 114에 나타내는 입력 화상으로부터 생성된 화상을 도시한 도면이다. 즉, 도 118은, 입력 화상으로부터 데이터의 정상성의 기울기를 검출하고, 데이터의 정상성의 기울기를 기초로, 대응 화소와 중심 화소가 적절하게 다르도록, 클래스탭 및 예측 탭을 추출하여, 클래스 분류하고, 적응 처리를 적용함으로써 생성된 화상을 도시한 도면이다.
도 5에 나타내는 화상 처리 장치에 의해, 입력 화상으로부터 생성된 화상은, 종래의 클래스 분류 적응 처리를 적용함으로써 생성된 화상에 비교하여, 보다 매끄러운 화상으로서, 원래의 화상에 보다 가까운 화상인 것을 알 수 있다. 특히, 도 118에 나타내는 화상으로부터 알수 있는 바와 같이, 본 발명에 따르면, 2개선에 의한 므와레(moire) 부분의 화상을 대략 완전히 복원할 수 있다.
다음에, 도 119는 도 5의 계수 메모리(105)에 기억되는 클래스마다의 탭 계수를 구하는 학습을 행하는 학습 장치의 일 실시예의 구성을 나타내는 블록도이다.
도 119의 학습 장치에는, 탭 계수의 학습용 화상(교사 화상)으로서의, 예를 들면 HD 화상이 입력된다. 학습 장치에 입력된 입력 화상은, 학생 화상 생성부(801) 및 교사 화소 추출부(809)에 공급된다.
학생 화상 생성부(801)는, 입력된 입력 화상(교사 화상)으로부터, 학생 화상인 SD 화상을 생성하고, 화상메모리(802)에 공급한다. 학생 화상 생성부(801)는, 예를 들면, 교사 화상으로서의 HD 화상의 수평 방향 또는 수직 방향으로 서로 인접하는 4개의 HD 화소의 화소치의 평균값을 구하여 SD 화상의 화소치로 함으로써, 그 교사 화상으로서의 HD 화상에 대응한 학생 화상으로서의 SD 화상을 생성한다. 여기에서, SD 화상은, 도 5의 화상 처리 장치에서 처리 대상으로 되는 SD 화상에 대응한 화질의 것으로 할 필요가 있다. 화상메모리(802)는, 학생 화상 생성부(801)로부터의 학생 화상인 SD 화상을 일시 기억한다.
도 119에 나타내는 학습 장치에서는, SD 화상을 학생 데이터로서, 탭 계수가 생성된다.
데이터 정상성 검출부(803)는, 도 5의 데이터 정상성 검출부(101)에서의 경우와 같이, 화상메모리(802)에 기억된 학생 화상으로부터 데이터의 정상성을 검출하여, 검출한 정상성을 나타내는 데이터 정상성 정보를 클래스탭 추출부(804) 및 예측탭 추출부(807)에 공급한다.
데이터 정상성 검출부(803)의 구성의 상세한 것은, 데이터 정상성 검출부(101)와 동일하기 때문에, 그 설명은 생략한다.
클래스탭 추출부(804)는, 도 5의 클래스탭 추출부(102)에서의 경우와 같이, 화상메모리(802)에 기억된 학생 화상인 SD 화상에 대응하는 교사 화상으로서의 HD 화상에 포함되는 화소 중의 하나의 화소를, 순차, 주목 화소로 한다.
또한, 클래스탭 추출부(804)는, 데이터 정상성 검출부(804)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대응하는, 화상메모리(802)에 기억된 학생 화상의 복수의 주변 화소를 추출하고, 추출한 학생 화상의 복수의 주변 화소를 클 래스탭으로 한다. 즉, 클래스탭 추출부(804)는, 데이터 정상성 검출부(803)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대한 클래스탭을, 화상메모리(802)에 기억된 SD 화상으로부터 추출하고, 특징량 검출부(805)에 공급한다. 여기에서, 클래스탭 추출부(804)는, 도 5의 클래스탭 추출부(102)가 생성하는 것과 동일한 탭구조의 클래스탭을 생성한다.
특징량 검출부(805)는, 도 5의 특징량 검출부(103)와 동일한 처리로, 화상메모리(802)로부터 공급된 학생 화상 또는 클래스탭 추출부(804)로부터 공급된 클래스탭으로부터 특징량을 검출하여, 검출한 특징량을 클래스 분류부(806)에 공급한다.
예를 들면, 특징량 검출부(805)는, 화상메모리(802)로부터 공급된 SD 화상 또는 클래스탭 추출부(804)로부터 공급된 클래스탭을 기초로, SD 화상의 화소의 움직임벡터를 검출하여, 검출한 움직임벡터를 특징량으로서 클래스 분류부(806)에 공급한다. 또, 예를 들면, 특징량 검출부(805)는, SD 화상 또는 클래스탭을 기초로, SD 화상 또는 클래스탭의 복수의 화소의 화소치의 공간적 또는 시간적인 변화를 검출하여, 검출한 화소치의 변화를 특징량으로서 클래스 분류부(806)에 공급한다.
또한, 예를 들면, 특징량 검출부(805)는, 화상메모리(802)로부터 공급된 SD 화상 또는 클래스탭 추출부(804)로부터 공급된 클래스탭을 기초로, 클래스탭 또는 SD 화상의 복수의 화소의 화소치의 공간적인 변화의 기울기를 검출하여, 검출한 화소치의 변화의 기울기를 특징량으로서 클래스 분류부(806)에 공급한다.
또, 특징량 검출부(805)는, 특징량 검출부(103)와 같이, 특징량으로서, 화소 치의, 라플라시안, 소벨, 또는 분산 등을 구할 수 있다.
즉, 특징량 검출부(805)는, 도 5의 특징량 검출부(103)와 동일한 특징량을 검출한다.
특징량 검출부(805)는, 특징량과는 별도로, 클래스탭을 클래스 분류부(806)에 공급한다.
클래스 분류부(806)는, 도 5의 클래스 분류부(104)와 같이 구성되고, 특징량 검출부(805)로부터의 특징량 또는 클래스탭에 따라, 1 이상의 클래스 중 적어도 하나의 클래스에 주목 화소를 클래스 분류하고, 주목 화소의 클래스를 나타내는 클래스 코드를, 예측탭 추출부(807) 및 학습메모리(810)에 공급한다.
예측탭 추출부(807)는, 도 5의 예측탭 추출부(106)와 같이 구성되고, 데이터 정상성 검출부(803)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대응하는 학생 화상의 복수의 주변 화소를 추출하고, 추출한 학생 화상의 복수의 주변 화소를 예측 탭으로 한다. 즉, 예측탭 추출부(807)는, 데이터 정상성 검출부(803)에 의해 검출된 데이터의 정상성 및 클래스 분류부(806)로부터 공급된 클래스 코드에 따라, 주목 화소에 대한 예측 탭을, 화상메모리(802)에 기억된 SD 화상으로부터 추출하고, 더하기 연산부(808)에 공급한다. 여기에서, 예측탭 추출부(807)는, 도 5의 예측탭 추출부(106)가 생성하는 것과 동일한 탭구조의 예측 탭을 생성한다.
교사 화소 추출부(809)는, 교사 화상인 입력 화상(HD 화상)으로부터, 주목 화소를 교사 데이터(교사 화소)로서 추출하여, 추출한 교사 데이터를 더하기 연산부(808)에 공급한다. 즉, 교사 화소 추출부(809)는, 입력된 학습용 화상인 HD 화 상을, 예를 들면, 그대로 교사 데이터로 한다. 여기에서, 도 5의 화상 처리 장치로 얻어지는 HD 화상은, 도 119의 학습 장치에서 교사 데이터로서 이용되는 HD 화상의 화질에 대응한 것으로 된다.
더하기 연산부(808) 및 정규방정식 연산부(811)는, 주목 화소로 되어 있는 교사 데이터와, 예측탭 추출부(807)로부터 공급되는 예측 탭을 이용하여, 교사 데이터와 학생 데이터의 관계를, 클래스 분류부(806)로부터 공급되는 클래스 코드로 나타내는 클래스마다 학습함으로써, 클래스마다의 탭 계수를 구한다.
즉, 더하기 연산부(808)는, 예측탭 추출부(807)로부터 공급되는 예측 탭(SD 화소)과, 주목 화소로 되어 있는 교사 데이터인 HD 화소를 대상으로 한, 식(8)의 더하기를 행한다.
구체적으로는, 더하기 연산부(808)는, 예측 탭을 구성하는 학생 데이터로서의 SD 화소 xn, k를 이용하여, 식(8)의 좌변의 행렬에서의 SD 화소끼리의 곱(xn, k xn', k)과, 합계(Σ)에 상당하는 연산을 행한다.
또한, 더하기 연산부(808)는, 예측 탭을 구성하는 학생 데이터로서의 SD 화소 xn, k와, 주목 화소로 되어 있는 교사 데이터인 HD 화소 yk를 이용하여, 식(8)의 우변의 벡터에서의 SD 화소 xn, k 및 HD 화소 yk의 곱(xn, k yk)과, 합계(Σ)에 상당하는 연산을 행한다.
더하기 연산부(808)는, 교사 데이터로서의 HD 화상의 화소 전부를 주목 화소로서, 전술한 더하기를 행함으로써, 각 클래스에 대해, 식(8)에 대응한 정규방정식 을 세우면, 그 정규방정식을, 학습메모리(810)에 공급한다.
학습메모리(810)는, 더하기 연산부(808)로부터 공급된 학생 데이터로서 SD화소, 교사 데이터로서 HD 화소가 설정된, 식(8)에 대응한 정규방정식을 기억한다.
정규방정식 연산부(811)는, 학습메모리(810)로부터, 각 클래스에 대한 식(8)의 정규방정식을 취득하고, 예를 들면, 소출법에 의해, 그 정규방정식을 풀이함으로써(클래스마다 학습하고), 클래스마다의 탭 계수를 구하여 출력한다.
즉, 더하기 연산부(808) 및 정규방정식 연산부(811)는, 검출된 특징량마다, 추출된 복수의 주변 화소로부터 주목 화소를 예측하는 예측 수단을 학습한다.
이 경우, 예측 수단은, 복수의 주변 화소로부터 주목 화소를 예측하는 구체적 수단이며, 예를 들면, 클래스마다 탭 계수에 의해 동작이 규정되는 화소치 예측부(107), 또는 화소치 예측부(107)에서의 처리를 말한다. 복수의 주변 화소로부터 주목 화소를 예측하는 예측 수단을 학습하면, 예를 들면, 복수의 주변 화소로부터 주목 화소를 예측하는 예측 수단의 실현(구축)을 가능하게 하는 것을 의미한다.
따라서, 복수의 주변 화소로부터 주목 화소를 예측하기 위한 예측 수단을 학습하면, 예를 들면, 클래스마다 탭 계수를 얻는 것을 말한다. 클래스마다 탭 계수를 얻는 것에 의해, 화소치 예측부(107), 또는 화소치 예측부(107)에서의 처리가 구체적으로 특정되고, 화소치 예측부(107)를 실현하고, 또는 화소치 예측부(107)에서의 처리를 실행할 수 있도록 되기 때문이다.
계수 메모리(812)는, 정규방정식 연산부(811)가 출력하는 클래스마다의 탭 계수를 기억한다.
다음에, 도 120의 플로차트를 참조하여, 도 119의 학습 장치에서 행하여지는, 클래스마다의 탭 계수를 구하는 학습처리에 대하여 설명한다.
우선 처음에, 단계 S801에 있어서, 학생 화상 생성부(801)는, 예를 들면, HD 화상인, 학습용 입력 화상(교사 화상)을 취득하고, 화소를 솎아냄으로써, 예를 들면, SD 화상인 학생 화상을 생성한다. 예를 들면, 학생 화상 생성부(801)는, HD 화상의 수평 방향 또는 수직 방향으로 서로 인접하는 4개의 HD 화소의 화소치의 평균값을 구하여, 평균값을 SD 화상의 화소치로 함으로써, SD 화상을 생성한다. SD 화상은, 화상메모리(802)에 공급된다.
단계 S802에 있어서, 데이터 정상성 검출부(803)는, 도 5의 데이터 정상성 검출부(101)에서의 경우와 같이, 화상메모리(802)에 기억된 학생 화상으로부터 데이터의 정상성을 검출하여, 검출한 정상성을 나타내는 데이터 정상성 정보를 클래스탭 추출부(804) 및 예측탭 추출부(807)에 공급하고, 단계 S803으로 진행한다.
단계 S802에서의, 데이터의 정상성의 검출의 처리의 상세한 것은, 단계 S101에서의 처리와 동일하기 때문에, 그 상세한 설명은 생략한다.
그리고, 단계 S803으로 진행되고, 클래스탭 추출부(804)는, 교사 데이터로서의 HD 화상의 HD 화소의 중에서, 아직 주목 화소로 하고 있지 않은 것 중의 하나를 주목 화소로서 선택한다. 클래스탭 추출부(804)는, 도 5의 클래스탭 추출부(102)에서의 경우와 같이, 단계 S802의 처리에서 검출된 데이터의 정상성에 따라, 주목 화소에 대응하는, 화상메모리(802)에 기억된 학생 화상의 복수의 주변 화소를 추출하고, 추출한 학생 화상의 복수의 주변 화소를 클래스탭으로 한다.
즉, 클래스탭 추출부(804)는, 데이터 정상성 검출부(803)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대한 클래스탭을, 화상메모리(802)에 기억된 SD 화상으로부터 추출하고, 특징량 검출부(805)에 공급한다. 클래스탭 추출부(804)는, 클래스탭을 특징량 검출부(805)에 공급하여, 단계 S804로 진행한다.
단계 S804에 있어서, 특징량 검출부(805)는, 도 5의 특징량 검출부(103)에서의 경우와 같이, 단계 S801의 처리에서 생성된 학생 화상 또는 단계 S803의 처리에서 추출된 클래스탭으로부터, 예를 들면, 움직임벡터, 또는 SD 화상의 화소의 화소치의 변화 등의 특징량을 검출하여, 검출한 특징량을 클래스 분류부(806)에 공급하고, 단계 S805로 진행한다.
단계 S805에서는, 클래스 분류부(806)가, 도 5의 클래스 분류부(104)에서의 경우와 같이 하여, 특징량 검출부(805)로부터의 특징량 또는 클래스탭을 이용하여, 1 이상의 클래스 중 적어도 하나의 클래스에 주목 화소를 클래스 분류하고, 그 주목 화소의 클래스를 나타내는 클래스 코드를, 예측탭 추출부(807) 및 학습메모리(810)에 공급하여, 단계 S806으로 진행한다.
단계 S806에 있어서, 예측탭 추출부(807)는, 도 5의 예측탭 추출부(106)에서의 경우와 같이, 데이터 정상성 검출부(803)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대응하는 학생 화상의 복수의 주변 화소를 추출하고, 추출한 학생 화상의 복수의 주변 화소를 예측 탭으로 한다. 즉, 예측탭 추출부(807)는, 데이터 정상성 검출부(803)에 의해 검출된 데이터의 정상성 및 클래스 분류부(806)로부터 공급되는 클래스 코드에 따라, 주목 화소에 대응하는 예측 탭을, 화상메모리(802) 에 기억되어 있는 학생 화상으로서의 SD 화상으로부터 추출하고, 더하기 연산부(808)에 공급하여, 단계 S807로 진행한다.
단계 S807에 있어서, 교사 화소 추출부(809)는, 주목 화소, 즉 HD 화소인 교사 화소(교사 데이터)를 입력 화상으로부터 추출하고, 추출한 교사 화소를 더하기 연산부(808)에 공급하고, 단계 S808로 진행한다.
단계 S808에서는, 더하기 연산부(808)가, 예측탭 추출부(807)로부터 공급되는 예측 탭(학생 데이터), 및 교사 화소 추출부(809)로부터 공급되는 교사 화소(교사 데이터)를 대상으로 한, 상술한 식(8)에서의 더하기를 행하고, 학생 데이터 및 교사 데이터가 더해진 정규방정식을 학습메모리(810)에 기억시키고, 단계 S809로 진행한다.
그리고, 단계 S809에서는, 클래스탭 추출부(804)는, 교사 데이터로서의 HD 화상의 HD 화소의 중에, 아직 주목 화소로 하고 있지 않은 것이 있는지 여부, 즉 대상이 되는 전체 화소의 더하기를 종료하였는지 여부를 판정한다. 단계 S809에 있어서, 교사 데이터로서의 HD 화상의 HD 화소의 중에, 아직 주목 화소로 하고 있지 않은 것이 있다고 판정된 경우, 단계 S803으로 리턴하고, 이하, 동일한 처리가 반복된다.
또, 단계 S809에 있어서, 교사 데이터로서의 HD 화상의 HD 화소의 중에, 주목 화소로 하고 있지 않는 것이 없는, 즉 대상이 되는 전체 화소의 더하기를 종료했다고 판정된 경우, 단계 S810으로 진행되고, 정규방정식 연산부(811)는, 지금까지의 단계 S808에서의 더하기에 의하여, 클래스마다 얻어진 식(8)의 정규방정식으 로부터, 아직 탭 계수가 구해지지 않은 클래스의 정규방정식을, 학습메모리(810)로부터 판독하고, 판독한 식(8)의 정규방정식을 소출법 등으로 풀이함으로써(클래스마다 학습하고), 소정의 클래스의 예측 계수(탭 계수)를 구하고, 계수 메모리(812)에 공급한다. 계수 메모리(812)는, 정규방정식 연산부(811)로부터 공급된 소정의 클래스의 예측 계수(탭 계수)를, 클래스마다 기억하고, 단계 S811로 진행한다.
즉, 단계 S808 및 단계 S810에 있어서, 특징량 검출부(805)에 의해 검출된 특징량마다, 예측탭 추출부(807)에 의해 추출된 복수의 주변 화소로부터 주목 화소를 예측하기 위한 예측 수단이 학습된다.
단계 S811에 있어서, 정규방정식 연산부(811)는, 전체 클래스의 예측 계수의 연산을 종료하였는지 여부를 판정하여, 전체 클래스의 예측 계수의 연산을 종료하지 않았다고 판정된 경우, 단계 S810으로 리턴하여, 다음 클래스의 예측 계수를 구하는 처리를 반복한다.
단계 S811에 있어서, 전체 클래스의 예측 계수의 연산을 종료했다고 판정된 경우, 처리는 종료된다.
이상과 같이 하여, 계수 메모리(812)에 기억된 클래스마다의 예측 계수가, 도 5의 화상 처리 장치에서의 계수 메모리(105)에 기억되어 있다.
또, 이상과 같은 예측 계수(탭 계수)의 학습처리에 있어서, 준비하는 학습용 화상 등에 따라서는, 탭 계수를 구하는 데 필요한 수의 정규방정식이 얻어지지 않는 클래스가 생기는 경우가 있을 수 있지만, 그와 같은 클래스에 관해서는, 예를 들면, 정규방정식 연산부(811)에 있어서, 디폴트의 탭 계수를 출력하도록 하는 것 등이 가능하다. 또는 탭 계수를 구하는 데 필요한 수의 정규방정식이 얻어지지 않는 클래스가 생긴 경우에는, 새로 학습용 화상을 준비하여, 다시, 탭 계수의 학습을 행하도록 할 수도 있다. 이것은, 후술하는 학습 장치에서의 탭 계수의 학습에 관해서도, 동일하다.
도 121은 본 발명에 따른 화상 처리 장치의 일 실시예의 다른 구성을 나타내는 블록도이다.
도 121에 구성이 도시되는 화상 처리 장치는, 입력 화상을 취득하고, 입력된 입력 화상에 대하여, 화면의 수평 방향으로 2배의 해상도의 화상(이하, 수평배밀 화상이라고 함)을 창조하여 출력한다.
도 121에 도시되는 화상 처리 장치에서는, 예를 들면, 입력 화상의 일례인 SD 화상이 입력되고, 입력된 SD 화상으로부터 데이터의 정상성이 검출되고, 검출된 데이터의 정상성을 기초로, SD 화상에 대하여, 클래스 분류 적응 처리가 실시되는 것에 의해, 수평배밀 화상의 화소(이하, 수평배밀 화소라고 함)가 창조되는 동시에, 데이터의 정상성을 이용하지 않고서, SD 화상에 대하여, 클래스 분류 적응 처리가 실시됨으로써, 수평배밀 화소가 창조된다. 그리고, SD 화상에 대한, 데이터의 정상성을 기초로 창조된 수평배밀 화소의 적분특성이 판정되고, 판정 결과를 기초로, 데이터의 정상성을 기초로 창조된 수평배밀 화소 및 데이터의 정상성을 이용하지 않고서 창조된 수평배밀 화소 중 어느 한 쪽이 선택되고, 선택된 수평배밀 화소로 수평배밀 화상인 출력 화상이 합성되고, 합성된 출력 화상이 출력된다.
즉, 도 121에 구성이 도시되는 화상 처리 장치에서는, 데이터 정상성 검출부 (901), 클래스탭 추출부(902), 특징량 검출부(903), 클래스 분류부(904), 계수 메모리(905), 예측탭 추출부(906), 화소치 예측부(907), 적분특성 판정부(908), 화상합성부(909), 클래스탭 추출부(910), 특징량 검출부(911), 클래스 분류부(912), 계수 메모리(913), 예측탭 추출부(914), 및 화소치 예측부(915)가 설치되어 있다.
입력 화상은, 데이터 정상성 검출부(901), 클래스탭 추출부(902), 특징량 검출부(903), 예측탭 추출부(906), 적분특성 판정부(908), 클래스탭 추출부(910), 특징량 검출부(911), 및 예측탭 추출부(914)에 공급된다.
데이터 정상성 검출부(901)는, 입력 화상으로부터 데이터의 정상성을 검출하여, 검출한 정상성을 나타내는 데이터 정상성 정보를 클래스탭 추출부(902) 및 예측탭 추출부(906)에 공급한다. 데이터 정상성 정보는, 예를 들면, 데이터의 정상성을 가지는 화소의 영역의 방향(시간 방향 및 공간 방향의 각도 또는 기울기)(이하, 데이터의 정상성의 방향이라고도 한다)을 포함한다.
데이터 정상성 검출부(901)는, 데이터 정상성 검출부(101)와 같이 구성되고, 그 상세한 설명은 생략한다. 데이터 정상성 검출부(901)에 의한 데이터의 정상성의 검출의 처리는, 데이터 정상성 검출부(101)에서의 경우와 동일하기 때문에, 그 설명은 생략한다.
클래스탭 추출부(902)는, 클래스 분류 적응 처리에 의해 구하려고 하는 수평배밀 화상의 수평배밀 화소 중의 하나를, 순차, 주목 화소로 한다. 그리고, 클래스탭 추출부(902)는, 데이터 정상성 검출부(901)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대응하는, 입력 화상의 복수의 주변 화소를 추출하고, 추출한 입력 화상의 복수의 주변 화소를 클래스탭으로 한다. 즉, 클래스탭 추출부(902)는, 데이터 정상성 검출부(901)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대한 클래스 분류에 이용하는 클래스탭을, 입력 화상으로부터 추출하고, 추출한 클래스탭을 특징량 검출부(903)에 출력한다.
예를 들면, 클래스탭 추출부(902)는, 데이터의 정상성에 따라, 주목 화소의 위치로부터 공간적 또는 시간적으로 가까운 위치에 있는 복수의 화소를, 입력된 입력 화상으로부터 추출함으로써 클래스탭으로 하고, 특징량 검출부(903)에 출력한다.
또, 데이터 정상성 검출부(901), 클래스탭 추출부(902), 및 예측탭 추출부(906)는, 데이터 정상성 검출부(101), 클래스탭 추출부(102), 및 예측탭 추출부(106)에서의 경우와 같이 프레임 메모리를 설치할 수 있다.
또, 도 121에 나타내는 화상 처리 장치에서도, 입력측에 하나의 프레임 메모리를 설치하도록 할 수도 있다.
예를 들면, 클래스탭 추출부(902)는, 데이터 정상성 검출부(901)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대해, 주목 화소의 위치로부터 가까운 가로×세로가 3×3개의 화소를 입력 화상으로부터 추출함으로써 클래스탭으로 한다.
클래스탭 추출부(902)는, 추출된 클래스탭을, 특징량 검출부(903)에 공급한다.
클래스탭 추출부(902)에 의한 클래스탭의 추출의 처리는, 클래스탭 추출부 (102)에서의 경우와 동일하기 때문에, 그 상세한 설명은 생략한다.
특징량 검출부(903)는, 클래스탭 추출부(902)로부터 공급된 클래스탭 또는 입력 화상으로부터 특징량을 검출하여, 검출한 특징량을 클래스 분류부(904)에 공급한다.
예를 들면, 특징량 검출부(903)는, 클래스탭 추출부(902)로부터 공급된 클래스탭 또는 입력 화상을 기초로, 입력 화상의 화소의 움직임벡터를 검출하여, 검출한 움직임벡터를 특징량으로서 클래스 분류부(904)에 공급한다. 또, 예를 들면, 특징량 검출부(903)는, 클래스탭 또는 입력 화상을 기초로, 클래스탭 또는 입력 화상의 복수의 화소의 화소치의 공간적 또는 시간적인 변화(액티비티)를 검출하여, 검출한 화소치의 변화를 특징량으로서 클래스 분류부(904)에 공급한다.
또한, 예를 들면, 특징량 검출부(903)는, 클래스탭 추출부(902)로부터 공급된 클래스탭 또는 입력 화상을 기초로, 클래스탭 또는 입력 화상의 복수의 화소의 화소치가 공간적인 변화의 기울기를 검출하여, 검출한 화소치의 변화의 기울기를 특징량으로서 클래스 분류부(904)에 공급한다.
또, 특징량으로서, 화소치의, 라플라시안, 소벨, 또는 분산 등을 채용할 수 있다.
특징량 검출부(903)는, 특징량과는 별도로, 클래스탭을 클래스 분류부(904)에 공급한다.
클래스 분류부(904)는, 특징량 검출부(903)로부터의 특징량 또는 클래스탭에 따라, 1 이상의 클래스 중 적어도 하나의 클래스에 주목 화소를 클래스 분류하고, 그 결과 얻어지는 주목 화소의 클래스에 대응하는 클래스 코드를, 계수 메모리(905)와 예측탭 추출부(906)에 공급한다.
클래스 분류부(904)는, 클래스 분류부(104)과 동일한 처리로 클래스 코드를 생성하기 때문에, 그 상세한 설명은 생략한다.
계수 메모리(905)는, 학습의 교사가 되는, 출력 화상의 일례인 수평배밀 화상의 수평배밀 화소인 교사 데이터와, 학습의 학생이 되는, 입력 화상의 일례인 SD 화상의 화소치인 학생 데이터의 관계를, 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수를 기억하고 있다. 그리고, 계수 메모리(905)는, 클래스 분류부(904)로부터 주목 화소의 클래스 코드가 공급되면, 그 클래스 코드에 대응하는 어드레스에 기억되어 있는 탭 계수를 판독함으로써, 주목 화소의 클래스의 탭 계수를 취득하고, 화소치 예측부(907)에 공급한다.
또, 계수 메모리(905)에 기억되는 탭 계수는, 도 119에 구성이 도시되는 학습 장치 또는 도 120의 플로차트를 참조하여 설명한 학습의 처리에 의해 학습된다. 이 경우에 있어서, 도 119에 구성이 도시되는 학습 장치에는, 입력 화상으로서 수평배밀 화상이 입력되고, 학생 화상 생성부(801)는, 수평배밀 화상으로부터 SD 화상을 생성한다. 마찬가지로, 단계 S801에서는, 입력 화상인 수평배밀 화상으로부터 SD 화상이 생성된다.
예측탭 추출부(906)는, 데이터 정상성 검출부(901)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대응하는 입력 화상의 복수의 주변 화소를 추출하고, 추출한 입력 화상의 복수의 주변 화소를 예측 탭으로 한다. 즉, 예측탭 추출부 (906)는, 데이터 정상성 검출부(901)에 의해 검출된 데이터의 정상성 및 클래스 분류부(904)로부터 공급되는 클래스 코드를 기초로, 화소치 예측부(907)에 있어서 주목 화소(의 예측치)를 구하는데 이용하는 예측 탭을 입력 화상으로부터 추출하고, 추출한 예측 탭을 화소치 예측부(907)에 공급한다.
예를 들면, 예측탭 추출부(906)는, 데이터의 정상성에 따라, 주목 화소의 위치로부터 공간적 또는 시간적으로 가까운 위치에 있는 복수의 화소치를, 입력 화상으로부터 추출함으로써 예측 탭으로 하여, 화소치 예측부(907)에 공급한다. 예를 들면, 예측탭 추출부(906)는, 데이터 정상성 검출부(901)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대해, 주목 화소의 위치로부터 가까운 가로×세로가 3×3개의 화소를, 입력 화상으로부터 추출함으로써 예측 탭으로 한다.
또, 클래스탭으로 하는 화소치와, 예측 탭으로 하는 화소치는, 동일해도 되고, 상이해도 된다. 즉, 클래스탭과 예측 탭은, 각각 독립적으로 구성(생성)하는 것이 가능하다. 또, 예측 탭으로 하는 화소치는, 클래스마다 상이해도 되고, 동일해도 된다.
또, 클래스탭이나 예측 탭의 탭구조는, 3×3개의 화소치에 한정되지 않는다.
예측탭 추출부(906)에 의한 예측 탭의 추출의 처리는, 예측탭 추출부(106)에서의 경우와 동일하기 때문에, 그 상세한 설명은 생략한다.
화소치 예측부(907)는, 계수 메모리(905)로부터 공급되는, 주목 화소의 클래스에 대한 탭 계수 w1, w2, ···와, 예측탭 추출부(906)로부터의 예측 탭(을 구성 하는 화소치) x1, x2, ···를 이용하여, 식(1)에 나타낸 적합연산을 행함으로써, 주목 화소 y(의 예측치)를 예측하고, 이것을, 수평배밀 화소의 화소치로 한다. 화소치 예측부(907)는, 연산된 수평배밀 화소의 화소치를 적분특성 판정부(908) 및 화상합성부(909)에 공급한다.
예를 들면, 클래스탭 추출부(902)는, 도 122에 도시되는, 입력 화상의 대응 화소 x(5)에 공간 방향으로 포함되는 화소 y(1) 및 화소 y(2)를 주목 화소로 하고, 화소치 예측부(907)는, 도 122에 도시되는 주목 화소 y(1)의 화소치 및 주목 화소 y(2)의 화소치를 예측하고, 예측한 주목 화소 y(1)의 화소치 및 주목 화소 y(2)의 화소치를 적분특성 판정부(908) 및 화상합성부(909)에 공급한다.
적분특성 판정부(908)는, 화소치 예측부(907)에 의해 예측된 제1 주목 화소의 제1 예측치와, 화소치 예측부(907)에 의해 예측된 제1 주목 화소에 공간적으로 인접하는 출력 화상의 제2 주목 화소의 제2 예측치와, 적어도 제1 주목 화소와 제2 주목 화소를 공간 방향에 대하여 포함하는 위치에 배치되는 입력 화상의 대응 화소의 화소치의 관계를 검출한다.
즉, 예를 들면, 적분특성 판정부(908)는, 도 122에 도시되는 주목 화소 y(1)의 예측치와, 주목 화소 y(2)의 예측치와, 주목 화소 y(1)과 주목 화소 y(2)를 공간 방향으로 포함하는 위치에 배치되는 입력 화상의 대응 화소 x(5)의 관계를 검출한다.
여기에서, 주목 화소 y(1)과, 주목 화소 y(2)와, 주목 화소 y(1) 및 주목 화소 y(2)를 공간 방향으로 포함하는 대응 화소 x(5)의 관계에 대하여 설명한다.
도 123은 도 7에 대응하는 CCD 인 이미지 센서에 설치되어 있는 화소의 배치, 및 수평배밀 화상의 화소에 대응하는 영역을 설명하는 도면이다. 도 123 중에서, A 내지 I는, 개개의 화소를 나타낸다. 영역 a 내지 r는, 화소 A 내지 I의 개개의 화소를 세로로 반으로 한 수광영역이다. 화소 A 내지 I의 수광영역의 폭이, 2L일 때, 영역 a 내지 r의 폭은, L 이다. 도 121에 구성을 나타내는 화상 처리 장치는, 영역 a 내지 r에 대응하는 화소의 화소치를 산출한다.
도 124는, 영역 g 내지 영역 l에 입사되는 광에 대응하는 화소의 화소치를 설명하는 도면이다. 도 124의 F(x)는, 공간상(검출 소자상)의 공간 방향 X의 좌표 x를 변수로 하는, 실세계의 광의 강도의 분포를 나타내는 함수의 예이다.
하나의 화소의 화소치가, F(x)와 똑같은 적분으로 표시된다고 한다면, 영역 i에 대응하는 화소의 화소치 Y1은, 식(50)으로 표시되고, 영역 j에 대응하는 화소의 화소치 Y2는, 식(51)로 표시되고, 화소 E의 화소치 Y3은, 식(52)로 표시된다.
Figure 112005047590059-pct00033
···(50)
Figure 112005047590059-pct00034
···(51)
Figure 112005047590059-pct00035
···(52)
식(50) 내지 식(52)에 있어서, x1, x2, 및 x3은, 화소 E의 수광영역, 영역 i, 및 영역 j의 각각의 경계의 공간좌표이다.
식(50) 내지 식(52)에서의, Y1 및 Y2는, 각각, 도 121의 화상 처리 장치가 구하려고 하는, SD 화상에 대한 수평배밀 화상의 수평배밀 화소(주목 화소 y(1) 또는 주목 화소 y(2))의 화소치에 대응한다. 또, 식(52)에서의, Y3은, 수평배밀 화상의 수평배밀 화소의 화소치 Y1 및 Y2에 대응하는 SD 화소(대응 화소)의 화소치에 대응한다.
Y3를 x(5)에, Y1을 y(1)에, Y2를 y(2)에 각각 치환하면, 식(52)부터, 식(53)을 유도할 수 있다.
x(5) = (y(1) + y(2))/2···(53)
적분특성 판정부(908)는, 도 112에 나타내는 주목 화소 y(1)의 예측치와, 주목 화소 y(2)의 예측치와, 주목 화소 y(1) 및 주목 화소 y(2)를 공간 방향으로 포함하는 위치에 배치되는 입력 화상의 대응 화소 x(5)에 대하여, 식(53)이 성립하는지 여부를 판정한다.
식(53)이 성립하면, 주목 화소 y(1)의 예측치 및 주목 화소 y(2)의 예측치는, 바르다고 말 할 수 있다. 바꾸어 말하면, 식(53)이 성립하지 않을 때, 주목 화소 y(1)의 예측의 처리 및 주목 화소 y(2)의 예측의 처리는, 파탄(破綻)되고 있다고 말 할 수 있다.
보다 자세히 설명하면, 적분특성 판정부(908)는, 입력 화상의 대응 화소 x(5)의 화소치로부터, 화소치 예측부(907)로부터 공급된 주목 화소 y(1)의 화소치(의 예측치) 및 주목 화소 y(2)의 화소치(의 예측치)를 뺀다. 적분특성 판정부(908)는, 뺀 결과와, 미리 정한 임계값을 비교한다. 적분특성 판정부(908)는, 뺀 결과가 임계값보다 작을 때, 식(53)의 관계가 성립하고 있다고 판정하고, 뺀 결과가 임계값 이상일 때, 식(53)의 관계가 성립하지 않고 있다고 판정한다. 적분특성 판정부(908)는, 판정의 결과를 나타내는 적분특성 판정 정보를 화상합성부(909)에 공급한다.
또, 임계값은, 적분특성 판정부(908)에 있어서, 미리 기억하도록 할 수도 있으며, 외부에서 적분특성 판정부(908)에 공급하도록 할 수도 있다.
클래스탭 추출부(910)는, 클래스 분류 적응 처리에 의해 구하려고 하는 수평배밀 화상의 수평배밀 화소 중의 하나를, 순차, 주목 화소로 한다. 클래스탭 추출부(910)는, 클래스탭 추출부(902)에 의해 주목 화소로 되는 화소를 주목 화소로 한다. 즉, 클래스탭 추출부(910) 및 클래스탭 추출부(902)는, 동일 화소를 주목 화 소로 한다.
그리고, 클래스탭 추출부(910)는, 주목 화소에 대응하는, 입력 화상의 복수의 주변 화소를 추출하고, 추출한 입력 화상의 복수의 주변 화소를 클래스탭으로 한다. 즉, 클래스탭 추출부(910)는, 주목 화소에 대한 클래스 분류에 이용하는 클래스탭을, 입력 화상으로부터 추출하고, 추출한 클래스탭을 특징량 검출부(911)에 출력한다.
예를 들면, 클래스탭 추출부(910)는, 주목 화소의 위치로부터 공간적 또는 시간적으로 가까운 위치에 있는 복수의 화소를, 입력된 입력 화상으로부터 추출함으로써 클래스탭으로 하고, 특징량 검출부(911)에 출력한다.
또, 클래스탭 추출부(910) 및 예측탭 추출부(914)는, 클래스탭 추출부(102) 및 예측탭 추출부(106)에서의 경우와 같이 프레임 메모리를 설치할 수 있다.
예를 들면, 도 122에 도시된 바와 같이, 클래스탭 추출부(910)는, 주목 화소 y(1)에 대해, 주목 화소의 위치로부터 가까운 가로×세로가 3×3개의 화소 x(1) 내지 x(9)를 입력 화상으로부터 추출함으로써 클래스탭으로 한다.
클래스탭 추출부(910)는, 추출된 클래스탭을, 특징량 검출부(911)에 공급한다.
또, 클래스탭 추출부(910)에 의해 추출되는 클래스탭은, 클래스탭 추출부(902)에 의해 추출되는 클래스탭과 동일할 수도 있고, 다를 수도 있다.
특징량 검출부(911)는, 클래스탭 추출부(910)로부터 공급된 클래스탭 또는 입력 화상으로부터 특징량을 검출하여, 검출한 특징량을 클래스 분류부(912)에 공급한다.
예를 들면, 특징량 검출부(911)는, 클래스탭 추출부(910)로부터 공급된 클래스탭 또는 입력 화상을 기초로, 입력 화상의 화소의 움직임벡터를 검출하여, 검출한 움직임벡터를 특징량으로서 클래스 분류부(912)에 공급한다. 또, 예를 들면, 특징량 검출부(911)는, 클래스탭 추출부(910)로부터 공급된 클래스탭 또는 입력 화상을 기초로, 클래스탭 또는 입력 화상의 복수의 화소의 화소치의 공간적 또는 시간적인 변화(액티비티)를 검출하여, 검출한 화소치의 변화를 특징량으로서 클래스 분류부(912)에 공급한다.
또한, 예를 들면, 특징량 검출부(911)는, 클래스탭 추출부(910)로부터 공급된 클래스탭 또는 입력 화상을 기초로, 클래스탭 또는 입력 화상의 복수의 화소의 화소치의 공간적인 변화의 기울기를 검출하여, 검출한 화소치의 변화의 기울기를 특징량으로서 클래스 분류부(912)에 공급한다.
또, 특징량으로서, 화소치의, 라플라시안, 소벨, 또는 분산 등을 채용할 수 있다.
특징량 검출부(911)는, 특징량과는 별도로, 클래스탭을 클래스 분류부(912)에 공급한다.
클래스 분류부(912)는, 특징량 검출부(911)로부터의 특징량 또는 클래스탭에 따라, 1 이상의 클래스 중 적어도 하나의 클래스에 주목 화소를 클래스 분류하고, 그 결과 얻어지는 주목 화소의 클래스에 대응하는 클래스 코드를, 계수 메모리 (913)와 예측탭 추출부(914)에 공급한다.
계수 메모리(913)는, 학습의 교사로 되는, 출력 화상의 일례인 수평배밀 화상의 수평배밀 화소인 교사 데이터와, 학습의 학생으로 되는, 입력 화상의 일례인 SD 화상의 화소치인 학생 데이터의 관계를, 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수를 기억하고 있다. 그리고, 계수 메모리(913)는, 클래스 분류부(912)로부터 주목 화소의 클래스 코드가 공급되면, 그 클래스 코드에 대응하는 어드레스에 기억되어 있는 탭 계수를 판독함으로써, 주목 화소의 클래스의 탭 계수를 취득하고, 화소치 예측부(915)에 공급한다.
또, 계수 메모리(913)에 기억되는 탭 계수의 학습 방법에 대한 상세한 것은, 후술한다.
예측탭 추출부(914)는, 주목 화소에 대응하는 입력 화상의 복수의 주변 화소를 추출하고, 추출한 입력 화상의 복수의 주변 화소를 예측 탭으로 한다. 즉, 예측탭 추출부(914)는, 클래스 분류부(912)로부터 공급되는 클래스 코드를 기초로, 화소치 예측부(915)에 있어서 주목 화소(의 예측치)를 구하는데 이용하는 예측 탭을 입력 화상으로부터 추출하고, 추출한 예측 탭을 화소치 예측부(915)에 공급한다.
예를 들면, 예측탭 추출부(914)는, 클래스 분류부(912)로부터 공급되는 클래스 코드에 따라, 주목 화소의 위치로부터 공간적 또는 시간적으로 가까운 위치에 있는 복수의 화소치를, 입력 화상으로부터 추출함으로써 예측 탭으로 하고, 화소치 예측부(915)에 공급한다. 예를 들면, 도 122에 도시된 바와 같이, 예측탭 추출부 (914)는, 클래스 분류부(912)로부터 공급되는 클래스 코드에 따라, 주목 화소 y(1)에 대하여, 주목 화소의 위치로부터 가까운 가로×세로가 3×3개의 화소 x(1) 내지 x(9)를 입력 화상으로부터 추출함으로써 예측 탭으로 한다.
또, 클래스탭으로 하는 화소치와, 예측 탭으로 하는 화소치는, 동일해도 되고, 상이해도 된다. 즉, 클래스탭과 예측 탭은, 각각 독립적으로 구성(생성)하는 것이 가능하다. 또, 예측 탭으로 하는 화소치는, 클래스마다 상이해도 되고, 동일해도 된다.
또, 클래스탭이나 예측 탭의 탭구조는, 3×3개의 화소치에 한정되지 않는다.
또, 예측탭 추출부(914)에 의해 추출되는 예측 탭은, 예측탭 추출부(906)에 의해 추출되는 예측 탭과 동일한 것일 수도 있고 다른 것일 수도 있다.
화소치 예측부(915)는, 계수 메모리(913)로부터 공급되는, 주목 화소의 클래스에 대한 탭 계수 w1, w2,···와, 예측탭 추출부(914)로부터의 예측 탭(을 구성하는 화소치) x1, x2,···를 이용하여, 식(1)에 나타낸 적합연산을 행함으로써, 주목 화소 y(의 예측치)를 예측하고, 이것을, 수평배밀 화소의 화소치로 한다. 화소치 예측부(915)는, 연산된 수평배밀 화소의 화소치를 화상합성부(909)에 공급한다.
예를 들면, 클래스탭 추출부(910)는, 도 122에 도시되는, 입력 화상의 대응 화소 x(5)에 공간 방향으로 포함되는 화소 y(1) 및 화소 y(2)를 주목 화소로 하고, 화 소치 예측부(915)는, 도 122에 도시되는 주목 화소 y(1)의 화소치 및 주목 화소 y(2)의 화소치를 예측하고, 예측한 주목 화소 y(1)의 화소치 및 주목 화소 y(2)의 화소치를 화상합성부(909)에 공급한다.
화상합성부(909)는, 적분특성 판정부(908)로부터 공급된 적분특성 판정정보를 기초로, 화소치 예측부(907)로부터 공급된 예측치 및 화소치 예측부(915)로부터 공급된 예측치 중 어느 한 쪽을 선택하여, 선택한 예측치를 화소치로서 출력 화상에 설정함으로써 화상을 합성한다.
즉, 화상합성부(909)는, 식(53)의 관계가 성립하고 있는 것을 나타내는 적분특성 판정정보가 적분특성 판정부(908)로부터 공급되었을 때, 화소치 예측부(907)로부터 공급된 주목 화소 y(1)의 예측치 및 주목 화소 y(2)의 예측치가 바르기 때문에, 화소치 예측부(907)로부터 공급된 주목 화소 y(1)의 예측치 및 주목 화소 y(2)의 예측치를 출력 화상의 화소치로 설정한다.
한편, 화상합성부(909)는, 식(53)의 관계가 성립하지 않고 있는 것을 나타내는 적분특성 판정정보가 적분특성 판정부(908)로부터 공급되었을 때, 화소치 예측부(907)로부터 공급된 주목 화소 y(1)의 예측치 및 주목 화소 y(2)의 예측치가 정확하지 않은, 즉, 화소치 예측부(907)에서의 예측의 처리가 파탄되고 있기 때문에, 화소치 예측부(915)로부터 공급된 주목 화소 y(1)의 예측치 및 주목 화소 y(2)의 예측치 를 출력 화상의 화소치로 설정한다.
화상합성부(909)는, 이와 같이 합성된 출력 화상을 출력한다.
즉, 화상합성부(909)는, 화소치 예측부(907)에 의해 예측된 주목 화소 y(1)의 예측치와, 화소치 예측부(907)에 의해 예측된 주목 화소 y(2)의 예측치와, 적어도 주목 화소 y(1)과 주목 화소 y(2)를 공간 방향에 대하여 포함하는 위치에 배치되는 입력 화상 내의 대응 화소 x(5)의 화소치의 관계의 검출 결과에 따라서 화소치 예측부(907)로부터 출력되는 주목 화소 y(1)의 예측치 및 주목 화소 y(2)의 예측치를 선택적으로 출력한다.
도 125는, 식(53)의 관계가 성립하지 않고 있는, 화소치 예측부(907)에 의한 예측치를 포함하는 출력 화상의 예를 나타내는 도면이다.
도 126은 도 121에 나타내는 화상 처리 장치의 출력 화상의 예, 즉, 식(53)의 관계가 성립하지 않고 있는, 화소치 예측부(907)에 의한 예측치를, 화소치 예측부(915)에 의한 예측치로 치환한 출력 화상의 예를 나타내는 도면이다.
이와 같이, 본 발명에 따른 화상 처리 장치에서는, 예측의 파탄을 회피할 수 있다.
이와 같이, 도 121에 구성을 나타내는 화상 처리 장치는, 입력된 입력 화상에 대응하는, 보다 고해상도의 출력 화상을 창조하여, 창조한 출력 화상을 출력할 수 있다.
다음에, 도 127의 플로차트를 참조하여, 도 121의 화상 처리 장치가 행해지는, 입력 화상으로부터 보다 고해상도의 출력 화상을 창조하는 화상의 창조의 처리에 대하여 설명한다.
단계 S901에 있어서, 데이터 정상성 검출부(901)는, 정상성의 검출의 처리를 실행한다. 데이터 정상성 검출부(901)는, 입력 화상에 포함되어 있는 데이터의 정상성을 검출하여, 검출한 데이터의 정상성을 나타내는 데이터 정상성 정보를 클래스탭 추출부(902) 및 예측탭 추출부(906)에 공급한다. 예를 들면, 데이터 정상성 검출부(901)는, 입력 화상으로부터 데이터의 정상성의 방향을 검출한다.
단계 S902에 있어서, 클래스탭 추출부(902)는, 창조하려고 하는 수평배밀 화상의 주목하고 있는 수평배밀 화소인 주목 화소를 선택한다. 클래스탭 추출부(902)는, 데이터 정상성 검출부(901)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대응하는 입력 화상의 복수의 주변 화소를 추출하고, 추출한 입력 화상의 복수의 주변 화소를 클래스탭으로 한다. 클래스탭은, 특징량 검출부(903)에 공급되고, 수속은, 단계 S903으로 진행한다. 예를 들면, 클래스탭 추출부(902)는, 데이터 정상성 검출부(901)에 의해 검출된 데이터의 정상성에 따라, 주목 화소의 위치에 공간적 또는 시간적으로 가까운 복수의 화소치를 입력 화상으로부터 클래스탭으로서 추출하여, 클래스탭을 생성한다.
단계 S903에 있어서, 특징량 검출부(903)는, 입력 화상 또는 단계 S902의 처리에서 추출된 클래스탭으로부터 특징량을 검출하여, 검출된 특징량을 클래스 분류부(904)에 공급하는 동시에, 클래스탭을 클래스 분류부(904)에 공급하여, 단계 S904로 진행한다.
단계 S904에 있어서, 클래스 분류부(904)는, 특징량 검출부(903)로부터 공급되는 특징량 또는 클래스탭에 기초하고, 1 이상의 클래스 중 적어도 하나의 클래스에, 주목 화소에 대하여 클래스 분류를 행하고, 그 결과 얻어지는 주목 화소의 클래스를 나타내는 클래스 코드를, 계수 메모리(905) 및 예측탭 추출부(906)에 공급하여, 단계 S905로 진행한다.
단계 S905에 있어서, 예측탭 추출부(906)는, 데이터 정상성 검출부(901)에 의해 검출된 데이터의 정상성에 따라, 주목 화소에 대응하는, 입력 화상의 복수의 주변 화소를 추출하고, 추출한 입력 화상의 복수의 주변 화소를 예측 탭으로 한다. 예측탭 추출부(906)에 의한 예측 탭의 추출의 처리는, 클래스탭 추출부(902)에서의 처리와 동일하기 때문에, 그 설명은 생략한다.
예측탭 추출부(906)는, 데이터 정상성 검출부(901)에 의해 검출된 데이터의 정상성 및 클래스 분류부(904)로부터 공급된 클래스 코드에 따라, 주목 화소의 위치에 공간적 또는 시간적으로 가까운 복수의 화소치를 입력 화상으로부터 예측 탭으로서 추출하여, 예측 탭을 생성한다. 예측 탭은, 화소치 예측부(907)에 공급되고, 수속은, 단계 S906으로 진행한다.
단계 S906에 있어서, 계수 메모리(905)는, 클래스 분류부(904)로부터 공급되는 클래스 코드에 대응하는 어드레스에 기억되어 있는 예측 계수(탭 계수)를 판독하고, 이에 따라, 주목 화소의 클래스의 예측 계수를 취득하여, 예측 계수를 화소치 예측부(907)에 공급하고, 단계 S907로 진행한다.
단계 S907에 있어서, 화소치 예측부(907)는, 특징량 검출부(903)에 의해 검출된 특징량에 따라, 적응 처리에 의해, 예측탭 추출부(906)에 의해 추출된 복수의 주변 화소로부터 주목 화소(의 예측치)를 예측하고, 단계 S908로 진행한다. 즉, 단계 S907에서는, 화소치 예측부(907)는, 예측탭 추출부(906)로부터의 예측 탭과, 계수 메모리(905)로부터의 예측 계수(탭 계수)를 이용하여, 식(1)에 나타낸 연산을 행하고, 주목 화소(의 예측치)를 예측한다.
단계 S901 내지 단계 S907에 있어서, 데이터의 정상성을 기초로, 입력 화상의 하나의 대응 화소에 공간 방향으로 포함되는 2개의 주목 화소의 화소치가 예측된다.
단계 S908에 있어서, 클래스탭 추출부(910)는, 창조하려고 하는 수평배밀 화상의 주목하고 있는 수평배밀 화소인 주목 화소를 선택한다. 클래스탭 추출부(910)는, 주목 화소에 대응하는, 입력 화상의 복수의 주변 화소를 추출하고, 추출한 입력 화상의 복수의 주변 화소를 클래스탭으로 한다. 클래스탭은, 특징량 검출부(911)에 공급되고, 수속은, 단계 S909로 진행한다. 예를 들면, 클래스탭 추출부(910)는, 주목 화소의 위치에 공간적 또는 시간적으로 가까운 복수의 화소치를 입력 화상으로부터 클래스탭으로서 추출하여, 클래스탭을 생성한다.
단계 S909에 있어서, 특징량 검출부(911)는, 입력 화상 또는 단계 S908의 처리에서 추출된 클래스탭으로부터 특징량을 검출하여, 검출된 특징량을 클래스 분류부(912)에 공급하는 동시에, 클래스탭을 클래스 분류부(912)에 공급하여, 단계 S910으로 진행한다.
단계 S910에 있어서, 클래스 분류부(912)는, 특징량 검출부(911)로부터 공급되는 특징량 또는 클래스탭에 기초하고, 1 이상의 클래스 중 적어도 하나의 클래스에, 주목 화소에 대하여 클래스 분류를 행하고, 그 결과 얻어지는 주목 화소의 클래스를 나타내는 클래스 코드를, 계수 메모리(913) 및 예측탭 추출부(914)에 공급하여, 단계 S911로 진행한다.
단계 S911에 있어서, 예측탭 추출부(914)는, 클래스 분류부(912)로부터 공급된 클래스 코드에 따라, 주목 화소에 대응하는, 입력 화상의 복수의 주변 화소를 추출하고, 추출한 입력 화상의 복수의 주변 화소를 예측 탭으로 한다. 즉, 예측탭 추출부(914)는, 클래스 분류부(912)로부터 공급된 클래스 코드에 따라, 주목 화소의 위치에 공간적 또는 시간적으로 가까운 복수의 화소치를 입력 화상으로부터 예측 탭으로서 추출하여, 예측 탭을 생성한다. 예측 탭은, 화소치 예측부(915)에 공급되고, 수속은, 단계 S912로 진행한다.
단계 S912에 있어서, 계수 메모리(913)는, 클래스 분류부(912)로부터 공급되는 클래스 코드에 대응하는 어드레스에 기억되어 있는 예측 계수(탭 계수)를 판독하고, 이에 따라, 주목 화소의 클래스의 예측 계수를 취득하여, 예측 계수를 화소치 예측부(915)에 공급하고, 단계 S913으로 진행한다.
단계 S913에 있어서, 화소치 예측부(915)는, 특징량 검출부(911)에 의해 검출된 특징량에 따라, 적응 처리에 의해, 예측탭 추출부(914)에 의해 추출된 복수의 주변 화소로부터 주목 화소(의 예측치)를 예측하고, 단계 S914로 진행한다. 즉, 단계 S913에서는, 화소치 예측부(915)는, 예측탭 추출부(914)로부터의 예측 탭과, 계수 메모리(913)로부터의 예측 계수(탭 계수)를 이용하여, 식(1)에 나타낸 연산을 행하고, 주목 화소(의 예측치)를 예측한다.
단계 S908 내지 단계 S913에 있어서, 데이터의 정상성을 이용하지 않고, 입력 화상의 하나의 대응 화소에 공간 방향으로 포함되는 2개의 주목 화소의 화소치가 예측된다.
단계 S914에 있어서, 적분특성 판정부(908)는, 단계 S907의 처리로 예측된 2개의 주목 화소의 예측치, 및 2개의 주목 화소를 공간 방향으로 포함하는 위치에 배치되는 입력 화상의 대응 화소에 대하여, 적분특성이 성립하고 있는지 여부를 판정하고, 단계 S915로 진행한다.
예를 들면, 단계 S914에 있어서, 입력 화상의 대응 화소의 화소치로부터, 화소치 예측부(907)로부터 공급된 2개의 주목 화소의 화소치(의 예측치)가 감산된다. 감산한 결과와, 미리 정한 임계값이 비교된다. 그리고, 감산한 결과가 임계값보다 작을 때, 적분특성이 성립하고 있다고 판정되고, 감산한 결과가 임계값 이상일 때, 적분특성이 성립하지 않고 있다고 판정된다. 판정의 결과를 나타내는 적분특성 판정정보는, 화상합성부(909)에 공급된다.
즉, 단계 S914에 있어서, 화소치 예측부(907)에 의해 예측된 제1 주목 화소의 제1 예측치와, 화소치 예측부(907)에 의해 예측된, 제1 주목 화소에 공간적으로 인접하는 출력 화상의 제2 주목 화소의 제2 예측치와, 적어도 제1 주목 화소와 제2 주목 화소를 공간 방향에 대하여 포함하는 위치에 배치되는 입력 화상의 대응 화소의 화소치의 관계가 검출된다.
단계 S915에 있어서, 화상합성부(909)는, 단계 S914에서의 판정의 결과를 기초로, 화소치 예측부(907)에 의해 예측된 예측치 및 화소치 예측부(915)에 의해 예측된 예측치 중 어느 한 쪽을 선택하여, 선택한 예측치를 화소치로 설정함으로써 출력 화상을 합성하고, 단계 S916으로 진행한다.
즉, 단계 S915에 있어서, 화상합성부(909)는, 단계 S914에 있어서, 적분특성이 성립하고 있다고 판정했을 때, 단계 S907의 처리에서 예측된 2개의 주목 화소의 예측치가 바르기 때문에, 단계 S907의 처리에서 예측된 2개의 주목 화소의 예측치를 출력 화상의 화소치로 설정함으로써, 출력 화상을 합성한다.
한편, 단계 S915에 있어서, 화상합성부(909)는, 단계 S914에 있어서, 적분특성이 성립하지 않고 있다고 판정했을 때, 단계 S907의 처리에 있어서 예측된 2개의 주목 화소의 예측치가 정확하지 않은, 즉, 단계 S907에서의 예측의 처리가 파탄되고 있기 때문에, 단계 S913의 처리로 예측된 2개의 주목 화소의 예측치를 출력 화상의 화소치로 설정한다.
단계 S916에 있어서, 클래스탭 추출부(902)는, 수평배밀 화상의 주목하고 있는 프레임의 화소 중, 아직, 주목 화소로 하고 있지 않은 화소가 존재하는지 여부를 판정하고, 존재한다고 판정한 경우, 단계 S902로 리턴하고, 이하, 동일한 처리를 반복한다.
또, 단계 S916에 있어서, 주목 프레임의 화소 중, 주목 화소로 하고 있지 않는 화소가 존재하지 않다고 판정된 경우, 즉, 주목 프레임을 구성하는 모든 수평배밀 화소가, 예측된 경우, 화상합성부(909)는, 합성된 출력 화상을 출력하여, 처리 는 종료된다.
즉, 단계 S916에 있어서, 단계 S907의 처리에서 예측된 2개의 주목 화소의 예측치와, 적어도 2개의 주목 화소를 공간 방향에 대하여 포함하는 위치에 배치되는 입력 화상 내의 대응 화소의 화소치의 관계의 검출 결과에 따라서, 단계 S907의 처리에서 예측되는 2개의 주목 화소의 예측치가 선택적으로 출력된다.
이와 같이, 도 121에 구성을 나타내는 화상 처리 장치는, 입력 화상으로부터, 파탄없고, 보다 고해상도의 출력 화상을 생성하여, 생성한 출력 화상을 출력할 수 있다.
또, 도 121에 나타내는 화상 처리 장치는, 입력 화상을 취득하고, 수평배밀 화상을 창조하여 출력한다고 설명했지만, 시간 방향으로 2배의 해상도의 화상(이하, 시간배밀 화상이라고 함)을 창조하여 출력하도록 할 수도 있다.
도 128은 시간배밀 화상을 창조하는 경우의, 주목 화소를 설명하는 도면이다. 도 128에서, 도면의 횡방향은 입력 화상(SD 화상) 및 시간배밀 화상의 시간 방향으로 대응하고, 도면의 종방향은 입력 화상 및 시간배밀 화상의 한 쪽 공간 방향, 예를 들면, 화면의 종방향인 공간 방향 Y에 대응한다. 또, 도 128에 있어서, 과거 시각이, 도면 중의 좌측의 위치에 대응하고, 미래의 시각이, 도면 중의 우측의 위치에 대응한다.
여기에서, 도 128에 있어서, ○표시가 SD 화상을 구성하는 SD 화소를 나타내고, × 표시가 시간배밀 화상을 구성하는 시간배밀 화소를 나타내고 있다. 또, 도 128에서는, 시간배밀 화상은, 입력 화상에 대하여, 시간 방향으로 2배의 수의 프레 임을 배치한 화상으로 되어 있다. 예를 들면, 1초간에 30프레임으로 이루어지는 입력 화상에 대하여, 시간배밀 화상은 1초간에 60프레임으로 이루어진다. 또, 시간배밀 화상의 하나의 프레임에 배치되어 있는 화소의 수는, 입력 화상의 하나의 프레임에 배치되어 있는 화소의 수와 동일하다.
도 128에 있어서, f-2, f-1, f0, f1, f2는 입력 화상의 프레임을 나타내고,
F-4, F-3, F-2, F-1, F0, F1, F2, F3, F4, F5는 시간배밀 화상의 프레임을 나타낸다.
시간배밀 화상을 창조하는 경우에 있어서, 데이터 정상성 검출부(901)는, 시공간방향의 데이터의 정상성을 검출한다. 클래스탭 추출부(902)는, 도 128에 도시되는, 입력 화상의 대응 화소 x(5)에 시간 방향으로 포함되는, 시간배밀 화상의 화소 y(1) 및 화소 y(2)를 주목 화소로 한다. 화소치 예측부(907)는, 데이터의 정상성을 기초로, 도 128에 나타내는 주목 화소 y(1)의 화소치 및 주목 화소 y(2)의 화소치를 예측하고, 예측한 주목 화소 y(1)의 화소치 및 주목 화소 y(2)의 화소치를 적분특성 판정부(908) 및 화상합성부(909)에 공급한다.
도 129를 참조하여, 주목 화소 y(1)과, 주목 화소 y(2)와, 주목 화소 y(1) 및 주목 화소 y(2)를 시간 방향으로 포함하는 대응 화소 x(5)의 관계에 대하여 설명한다.
도 129의 F(t)는, 시각 t를 변수로 하는, 실세계의 광의 강도의 분포를 나타 내는 함수이다. 도 129에 있어서, 입력 화상인 SD 화상을 촬상하는 센서의 셔터시간은, 시각 t1으로부터 시각 t3까지의 기간이며, 2ts로 표시된다.
SD 화상의 하나의 화소치가, F(x)와 똑같은 적분으로 표시된다고 한다면, 시각 t1으로부터 시각 t2까지의 기간에 대응하는 화소의 화소치 Y1은, 식(54)로 표시되고, 시각 t2로부터 시각 t3까지의 기간에 대응하는 화소의 화소치 Y2는, 식(55)로 표시되고, SD 화상으로서 센서로부터 출력되는 화소치 Y3은, 식(56)으로 표시된다.
Figure 112005047590059-pct00036
···(54)
Figure 112005047590059-pct00037
···(55)
Figure 112005047590059-pct00038
···(56)
식(54) 내지 식(56)에서의, Y1 및 Y2는, 각각, 도 121의 화상 처리 장치가 구하려고 하는, SD 화상에 대한 시간배밀 화상의 시간배밀 화소(주목 화소 y(1) 또는 주목 화소 y(2))의 화소치에 대응한다. 또, 식(56)에서의, Y3은, 시간배밀 화상의 시간배밀 화소의 화소치 Y1 및 Y2에 대응하는 SD 화소(대응 화소)의 화소치에 대응한다.
Y3을 x(5)로, Y1을 y(1)로, Y2를 y(2)로 각각 치환하면, 식(56)으로부터, 식 (57)을 유도할 수 있다.
x(5) = (y(1) + y(2))/2···(57)
적분특성 판정부(908)는, 도 128에 나타내는 주목 화소 y(1)의 예측치와, 주목 화소 y(2)의 예측치와, 주목 화소 y(1) 및 주목 화소 y(2)를 공간 방향으로 포함하는 위치에 배치되는 입력 화상의 대응 화소 x(5)에 대하여, 식(57)이 성립하는지 여부를 판정한다.
식(57)이 성립하면, 주목 화소 y(1)의 예측치 및 주목 화소 y(2)의 예측치는, 바르다고 말 할 수 있다. 바꾸어 말하면, 식(57)이 성립하지 않고 있을 때, 주목 화소 y(1)의 예측의 처리 및 주목 화소 y(2)의 예측의 처리는, 파탄되고 있다고 말 할 수 있다.
보다 상세하게 설명하면, 적분특성 판정부(908)는, 입력 화상의 대응 화소 x(5)의 화소치로부터, 화소치 예측부(907)로부터 공급된 주목 화소 y(1)의 화소치(의 예측치) 및 주목 화소 y(2)의 화소치(의 예측치)를 감산한다. 적분특성 판정부(908)는, 감산한 결과와, 미리 정한 임계값을 비교한다. 적분특성 판정부(908)는, 감산한 결과가 임계값보다 작을 때, 식(57)의 관계가 성립하고 있다고 판정하고, 감산한 결과가 임계값 이상일 때, 식(57)의 관계가 성립하지 않고 있다고 판정한다.
클래스탭 추출부(910)는, 도 128에 나타낸다, 입력 화상의 대응 화소 x(5)에 시간 방향으로 포함되는 화소 y(1) 및 화소 y(2)를 주목 화소로 하고, 화소치 예측부(915)는, 도 128에 나타내는 주목 화소 y(1)의 화소치 및 주목 화소 y(2)의 화소치를 예측하고, 예측한 주목 화소 y(1)의 화소치 및 주목 화소 y(2)의 화소치를 화상합성부(909)에 공급한다.
화상합성부(909)는, 적분특성 판정부(908)로부터 공급된 적분특성 판정정보를 기초로, 화소치 예측부(907)로부터 공급된 예측치 및 화소치 예측부(915)로부터 공급된 예측치 중 어느 한 쪽을 선택하여, 선택한 예측치를 화소치로서 출력 화상으로 설정함으로써 화상을 합성한다.
즉, 화상합성부(909)는, 식(57)의 관계가 성립하고 있는 것을 나타내는 적분특성 판정정보가 적분특성 판정부(908)로부터 공급되었을 때, 화소치 예측부(907)로부터 공급된 주목 화소 y(1)의 예측치 및 주목 화소 y(2)의 예측치가 바르기 때문에, 화소치 예측부(907)로부터 공급된 주목 화소 y(1)의 예측치 및 주목 화소 y(2)의 예측치를 출력 화상의 화소치로 설정한다.
한편, 화상합성부(909)는, 식(57)의 관계가 성립하지 않고 있는 것을 나타내는 적분특성 판정정보가 적분특성 판정부(908)로부터 공급되었을 때, 화소치 예측부(907)로부터 공급된 주목 화소 y(1)의 예측치 및 주목 화소 y(2)의 예측치가 정확하 지 않은, 즉, 화소치 예측부(907)에서의 예측의 처리가 파탄되고 있기 때문에, 화소치 예측부(915)로부터 공급된 주목 화소 y(1)의 예측치 및 주목 화소 y(2)의 예측치를 출력 화상의 화소치로 설정한다.
즉, 적분특성 판정부(908)는, 화소치 예측부(907)에 의해 예측된 제1 주목 화소의 제1 예측치와, 화소치 예측부(907)에 의해 예측된, 제1 주목 화소에 시간적으로 인접하는 출력 화상의 제2 주목 화소의 제2 예측치와, 적어도 제1 주목 화소와 제2 주목 화소를 시간 방향에 대하여 포함하는 위치에 배치되는 입력 화상의 대응 화소의 화소치의 관계를 검출한다.
화상합성부(909)는, 화소치 예측부(907)에 의해 예측된 제1 주목 화소의 예측치와, 화소치 예측부(907)에 의해 예측된 제2 주목 화소의 예측치와, 대응 화소의 화소치의 관계의 검출 결과에 따라서, 화소치 예측부(907)로부터 출력되는 제1 주목 화소의 예측치 및 제2 주목 화소의 예측치를 선택적으로 출력한다.
화상합성부(909)는, 이와 같이 합성된 시간배밀 화상인 출력 화상을 출력한다.
이상과 같이, 도 121에 나타내는 화상 처리 장치는, 입력 화상을 취득하고, 시간배밀 화상을 창조하여 출력할 수 있다.
이와 같이, 입력 화상에 클래스 분류 적응 처리를 적용하도록 한 경우에는, 보다 고화질의 화상을 얻을 수 있다.
고화질 화상 데이터 내의 제1 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제1 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제1 정상성을 검출하고, 제1 주목 화소에 시간적 또는 공간적으로 인접하는 고화질 화상 데이터 내의 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제2 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제2 정상성을 검출하고, 검출된 화상 데이터의 제1 정상성에 따라, 제1 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하고, 검출된 화상 데이터의 제2 정상성에 따라, 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제4 주변 화소를 추출하고, 검출된 화상 데이터의 제1 정상성에 따라, 제1 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제5 주변 화소를 추출하고, 검출된 화상 데이터의 제2 정상성에 따라, 제2 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제6 주변 화소를 추출하고, 추출된 복수의 제3 주변 화소의 제1 특징량을 검출하고, 추출된 복수의 제4 주변 화소의 제2 특징량을 검출하고, 검출된 제1 특징량에 따라, 추출된 복수의 제5 주변 화소로부터 제1 주목 화소를 예측하고, 검출된 제2 특징량에 따라, 추출된 복수의 제6 주변 화소로부터 제2 주목 화소를 예측하고, 제1 주목 화소의 제1 예측치 및 제2 주목 화소의 제2 예측치를 출력하고, 예측된 제1 주목 화소의 제1 예측치와, 예측된 제2 주목 화소의 제2 예측치와, 적어도 제1 주목 화소와 제2 주목 화소를 시간 방향 또는 공간 방향에 대하여 포함하는 위치에 배치되는 입력 화상 데이터 내의 대응 화소의 화소치의 관계를 검출하고, 검출 결과에 따라서 제1 주목 화소의 제1 예측치 및 제2 주목 화소의 제2 예측치를 선택적으로 출력하도록 한 경우에는, 데이터의 정상성을 이용하여, 보다 정확 하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.
도 130은 도 121의 계수 메모리(913)에 기억되는 클래스마다의 탭 계수를 구하는 학습을 행하는 학습 장치의 일 실시예의 구성을 나타내는 블록도이다.
도 130의 학습 장치에는, 탭 계수의 학습용 화상(교사 화상)으로서의, 예를 들면 수평배밀 화상이 입력된다. 학습 장치에 입력된 입력 화상은, 학생 화상 생성부(951) 및 교사 화소 추출부(958)에 공급된다.
학생 화상 생성부(951)는, 입력된 입력 화상(교사 화상)으로부터, 학생 화상인 SD 화상을 생성하고, 화상메모리(952)에 공급한다. 학생 화상 생성부(951)는, 예를 들면, 교사 화상으로서의 수평배밀 화상의 수평 방향으로 인접하는 2개의 수평배밀 화소의 화소치의 평균값을 구하여 SD 화상의 화소치로 함으로써, 그 교사 화상으로서의 수평배밀 화상에 대응한 학생 화상으로서의 SD 화상을 생성한다. 여기에서, SD 화상은, 도 121의 화상 처리 장치에서 처리 대상이 되는 SD 화상에 대응한 화질의 것으로 할 필요가 있다. 화상메모리(952)는, 학생 화상 생성부(951)로부터의 학생 화상인 SD 화상을 일시 기억한다.
도 130에 나타내는 학습 장치에서는, SD 화상을 학생 데이터로서, 탭 계수가 생성된다.
클래스탭 추출부(953)는, 도 121의 클래스탭 추출부(910)에서의 경우와 같이, 화상메모리(952)에 기억된 학생 화상인 SD 화상에 대응하는 교사 화상으로서의 수평배밀 화상에 포함되는 화소를, 순차, 주목 화소로 한다.
또한, 클래스탭 추출부(953)는, 주목 화소에 대한 클래스탭을, 화상메모리 (952)에 기억된 SD 화상으로부터 추출하고, 특징량 검출부(954)에 공급한다. 여기에서, 클래스탭 추출부(953)는, 도 121의 클래스탭 추출부(910)가 생성되는 것과 동일한 탭구조의 클래스탭을 생성한다.
특징량 검출부(954)는, 도 121의 특징량 검출부(911)과 동일한 처리로, 화상메모리(952)에 기억된 학생 화상 또는 클래스탭 추출부(953)로부터 공급된 클래스탭으로부터 특징량을 검출하여, 검출한 특징량을 클래스 분류부(955)에 공급한다.
예를 들면, 특징량 검출부(954)는, 화상메모리(952)에 기억된 SD 화상 또는 클래스탭 추출부(953)로부터 공급된 클래스탭을 기초로, SD 화상의 화소의 움직임벡터를 검출하여, 검출한 움직임벡터를 특징량으로서 클래스 분류부(955)에 공급한다. 또, 예를 들면, 특징량 검출부(954)는, 화상메모리(952)로부터 공급된 SD 화상 또는 클래스탭 추출부(953)로부터 공급된 클래스탭을 기초로, SD 화상 또는 클래스탭의 복수의 화소의 화소치의 공간적 또는 시간적인 변화를 검출하여, 검출한 화소치의 변화를 특징량으로서 클래스 분류부(955)에 공급한다.
또한, 예를 들면, 특징량 검출부(954)는 화상메모리(952)로부터 공급된 SD 화상 또는 클래스탭 추출부(953)로부터 공급된 클래스탭을 기초로, 클래스탭 또는 SD 화상의 복수의 화소의 화소치의 공간적인 변화의 기울기를 검출하여, 검출한 화소치의 변화의 기울기를 특징량으로서 클래스 분류부(955)에 공급한다.
또, 특징량 검출부(954)는, 특징량 검출부(911)와 같이, 특징량으로서, 화소치의, 라플라시안, 소벨, 또는 분산 등을 구할 수 있다.
즉, 특징량 검출부(954)는, 도 121의 특징량 검출부(911)와 동일한 특징량을 검출한다.
특징량 검출부(954)는, 특징량과는 별도로, 클래스탭을 클래스 분류부(955)에 공급한다.
클래스 분류부(955)는, 도 121의 클래스 분류부(912)와 같이 구성되고, 특징량 검출부(954)로부터의 특징량 또는 클래스탭에 따라, 1 이상의 클래스 중 적어도 하나의 클래스에 주목 화소를 클래스 분류하고, 주목 화소의 클래스를 나타내는 클래스 코드를, 예측탭 추출부(956) 및 학습메모리(959)에 공급한다.
예측탭 추출부(956)는, 도 121의 예측탭 추출부(914)와 같이 구성되고, 클래스 분류부(955)로부터 공급된 클래스 코드에 따라, 주목 화소에 대한 예측 탭을, 화상메모리(952)에 기억된 SD 화상으로부터 추출하고, 더하기 연산부(957)에 공급한다. 여기에서, 예측탭 추출부(956)는, 도 121의 예측탭 추출부(914)가 생성하는 것과 동일한 탭구조의 예측 탭을 생성한다.
교사 화소 추출부(958)는, 교사 화상인 입력 화상(수평배밀 화상)으로부터, 주목 화소를 교사 데이터(교사 화소)로서 추출하여, 추출한 교사 데이터를 더하기 연산부(957)에 공급한다. 즉, 교사 화소 추출부(958)는, 입력된 학습용 화상인 수평배밀 화상을, 예를 들면, 그대로 교사 데이터로 한다. 여기에서, 도 121의 화상 처리 장치로 얻어지는 수평배밀 화상은, 도 130의 학습 장치에서 교사 데이터로서 이용되는 수평배밀 화상의 화질에 대응한 것으로 된다.
더하기 연산부(957) 및 정규방정식 연산부(960)는, 주목 화소로 되어 있은 교사 데이터와, 예측탭 추출부(956)로부터 공급되는 예측 탭을 이용하고, 교사 데 이터와 학생 데이터의 관계를, 클래스 분류부(955)로부터 공급되는 클래스 코드로 나타내는 클래스마다 학습함으로써, 클래스마다의 탭 계수를 구한다.
즉, 더하기 연산부(957)는, 예측탭 추출부(956)로부터 공급되는 예측 탭(SD 화소)과, 주목 화소로 되어 있는 교사 데이터인 수평배밀 화소를 대상으로 한, 식(8)의 더하기를 행한다.
구체적으로는, 더하기 연산부(957)는, 예측 탭을 구성하는 학생 데이터로서의 SD 화소 xn , k를 이용하고, 식(8)의 좌변의 행렬에서의 SD 화소끼리의 곱셈(xn, k xn' , k)과, 합계(Σ)에 상당하는 연산을 행한다.
또한, 더하기 연산부(957)는, 예측 탭을 구성하는 학생 데이터로서의 SD 화소 xn , k와, 주목 화소로 되어 있는 교사 데이터인 수평배밀 화소 yk를 이용하고, 식(8)의 우변의 벡터에서의 SD 화소 xn , k 및 수평배밀 화소 yk의 곱셈(xn , k yk)과, 합계(Σ)에 상당하는 연산을 행한다.
더하기 연산부(957)는, 교사 데이터로서의 수평배밀 화상의 화소전부를 주목 화소로서, 전술한 더하기를 행함으로써, 각 클래스에 대하여, 식(8)에 대응한 정규방정식을 세우면, 그 정규방정식을, 학습메모리(959)에 공급한다.
학습메모리(959)는, 더하기 연산부(957)로부터 공급된, 학생 데이터로서 SD화소, 교사 데이터로서 수평배밀 화소가 설정된, 식(8)에 대응한 정규방정식을 기억한다.
정규방정식 연산부(960)는, 학습메모리(959)로부터, 각 클래스에 대한 식(8) 의 정규방정식을 취득하고, 예를 들면, 소출법에 의해, 그 정규방정식을 풀이함으로써(클래스마다 학습하고), 클래스마다의 탭 계수를 구하여 출력한다.
즉, 더하기 연산부(957) 및 정규방정식 연산부(960)는, 검출된 특징량마다, 추출된 복수의 주변 화소로부터 주목 화소를 예측하는 예측 수단을 학습한다.
이 경우, 예측 수단은, 복수의 주변 화소로부터 주목 화소를 예측하는 구체적 수단이며, 예를 들면, 클래스마다 탭 계수에 의해 동작이 규정되는 화소치 예측부(915), 또는 화소치 예측부(915)에서의 처리를 말한다. 복수의 주변 화소로부터 주목 화소를 예측하는 예측 수단을 학습하면, 예를 들면, 복수의 주변 화소로부터 주목 화소를 예측하는 예측 수단의 실현(구축)을 가능하게 하는 것을 의미한다.
따라서, 복수의 주변 화소로부터 주목 화소를 예측하기 위한 예측 수단을 학습하면, 예를 들면, 클래스마다 탭 계수를 얻는 것을 말한다. 클래스마다 탭 계수를 얻음으로써, 화소치 예측부(915), 또는 화소치 예측부(915)에서의 처리가 구체적으로 특정되고, 화소치 예측부(915)를 실현하고, 또는 화소치 예측부(915)에서의 처리를 실행할 수 있도록 하기 때문이다.
계수 메모리(961)는, 정규방정식 연산부(960)가 출력하는 클래스마다의 탭 계수를 기억한다.
다음에, 도 131의 플로차트를 참조하여, 도 130의 학습 장치에서 행하여지는, 클래스마다의 탭 계수를 구하는 학습처리에 대하여 설명한다.
우선 처음에, 단계 S951에 있어서, 학생 화상 생성부(951)는, 예를 들면, 수평배밀 화상인, 학습용 입력 화상(교사 화상)을 취득하고, 화소를 솎아냄으로써, 예를 들면, SD 화상인 학생 화상을 생성한다. 예를 들면, 학생 화상 생성부(951)는, 수평배밀 화상의 수평 방향으로 인접하는 2개의 수평배밀 화소의 화소치의 평균값을 구하여, 평균값을 SD 화상의 화소치로 함으로써, SD 화상을 생성한다. SD 화상은, 화상메모리(952)에 공급된다.
그리고, 단계 S952로 진행되고, 클래스탭 추출부(953)는, 교사 데이터로서의 수평배밀 화상의 수평배밀 화소의 중에서, 아직 주목 화소로 하고 있지 않은 것중에서 하나를 주목 화소로서 선택한다. 클래스탭 추출부(953)는, 도 121의 클래스탭 추출부(910)에서의 경우와 같이, 주목 화소에 대응하는 클래스탭을, 화상메모리(952)에 기억되어 있는 학생 화상으로서의 SD 화상으로부터 추출한다. 클래스탭 추출부(953)는, 클래스탭을 특징량 검출부(954)에 공급하여, 단계 S953으로 진행한다.
단계 S953에 있어서, 특징량 검출부(954)는, 도 121의 특징량 검출부(911)에서의 경우와 같이, 단계 S951의 처리로 생성된 학생 화상 또는 단계 S953의 처리로 생성된 클래스탭으로부터, 예를 들면, 움직임벡터, 또는 SD 화상의 화소의 화소치의 변화 등의 특징량을 검출하여, 검출한 특징량을 클래스 분류부(955)에 공급하고, 단계 S954로 진행한다.
단계 S954에서는, 클래스 분류부(955)가, 도 121의 클래스 분류부(912)에서의 경우와 같이 하여, 특징량 검출부(954)로부터의 특징량 또는 클래스탭을 이용하여, 1 이상의 클래스 중 적어도 하나의 클래스에 주목 화소를 클래스 분류하고, 그 주목 화소의 클래스를 나타내는 클래스 코드를, 예측탭 추출부(956) 및 학습메모리 (959)에 공급하여, 단계 S955로 진행한다.
단계 S955에 있어서, 예측탭 추출부(956)는, 클래스 분류부(955)로부터 공급되는 클래스 코드에 따라, 도 121의 예측탭 추출부(914)에서의 경우와 같이, 주목 화소에 대응하는 예측 탭을, 화상메모리(952)에 기억되어 있는 학생 화상으로서의 SD 화상으로부터 추출하고, 더하기 연산부(957)에 공급하여, 단계 S956으로 진행한다.
단계 S956에 있어서, 교사 화소 추출부(958)는, 주목 화소, 즉 수평배밀 화소인 교사 화소(교사 데이터)를 입력 화상으로부터 추출하고, 추출한 교사 화소를 더하기 연산부(957)에 공급하고, 단계 S957로 진행한다.
단계 S957에서는, 더하기 연산부(957)가, 예측탭 추출부(956)로부터 공급되는 예측 탭(학생 데이터), 및 교사 화소 추출부(958)로부터 공급되는 교사 화소(교사 데이터)를 대상으로 한, 상술한 식(8)에서의 더하기를 행하고, 학생 데이터 및 교사 데이터가 더해진 정규방정식을 학습메모리(959)에 기억시키고, 단계 S958로 진행한다.
그리고, 단계 S958에서는, 클래스탭 추출부(953)는, 교사 데이터로서의 수평배밀 화상의 수평배밀 화소의 중에, 아직 주목 화소로 하고 있지 않는 것이 있는지 여부, 즉 대상으로 되는 전체 화소의 더하기를 종료하였는지 여부를 판정한다. 단계 S958에 있어서, 교사 데이터로서의 수평배밀 화상의 수평배밀 화소 중에, 아직 주목 화소로 하고 있지 않는 것이 있다고 판정된 경우, 단계 S952로 리턴하고, 이하, 동일한 처리가 반복된다.
또, 단계 S958에 있어서, 교사 데이터로서의 수평배밀 화상의 수평배밀 화소 중에, 주목 화소로 하고 있지 않는 것이 없는, 즉 대상으로 되는 전체 화소의 더하기를 종료했다고 판정된 경우, 단계 S959로 진행하고, 정규방정식 연산부(960)는, 지금까지의 단계 S957에서의 더하기에 따라, 클래스마다 얻어진 식(8)의 정규방정식으로부터, 아직 탭 계수가 구해지지 않은 클래스의 정규방정식을, 학습메모리(959)로부터 판독하고, 판독한 식(8)의 정규방정식을 소출법 등으로 풀이함으로써(클래스마다 학습하고), 소정의 클래스의 예측 계수(탭 계수)를 구하고, 계수 메모리(961)에 공급한다. 계수 메모리(961)는, 정규방정식 연산부(960)로부터 공급된 소정의 클래스의 예측 계수(탭 계수)를, 클래스마다 기억하고, 단계 S960로 진행한다.
단계 S960에 있어서, 정규방정식 연산부(960)는, 전체 클래스의 예측 계수의 연산을 종료하였는지 여부를 판정하여, 전체 클래스의 예측 계수의 연산을 종료하지 않았다고 판정된 경우, 단계 S959로 리턴하고, 다음 클래스의 예측 계수를 구하는 처리를 반복한다.
단계 S960에 있어서, 전체 클래스의 예측 계수의 연산을 종료했다고 판정된 경우, 처리는 종료된다.
이상과 같이 하여, 계수 메모리(961)에 기억된 클래스마다의 예측 계수가, 도 121의 화상 처리 장치에서의 계수 메모리(913)에 기억되어 있다.
이와 같이, 학습을 행하도록 한 경우에는, 예측에 있어서, 보다 고화질의 화상을 얻을 수 있게 된다.
고화질 화상 데이터 내의 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제1 주변 화소의, 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하고, 검출된 화상 데이터의 정상성에 따라, 고화질 화상 데이터 내의 주목 화소에 대응하는, 입력 화상 데이터 내의 복수의 제2 주변 화소를 추출하고, 검출된 화상 데이터의 정상성에 따라, 주목 화소에 대응하는 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하고, 추출된 복수의 제2 주변 화소의 특징량을 검출하고, 검출된 특징량마다, 추출된 복수의 제3 주변 화소로부터 주목 화소를 예측하기 위한 예측 수단을 학습하도록 한 경우에는, 예측에 있어서, 데이터의 정상성을 이용하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.
또, 화상 처리 장치는, SD 화상을 입력하여, SD 화상에 대응하는 공간 방향 또는 시간 방향으로 보다 고해상도의 화상을 생성하여 출력한다고 설명했지만, 입력되는 화상이, SD 화상에 한정되는 것이 아닌 것은 물론 이다. 예를 들면, 화상 처리 장치는, 시간배밀 화상 또는 수직배밀 화상을 입력하여, HD 화상을 출력하도록 할 수도 있다.
상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수 있지만, 소프트웨어에 의해 실행시키는 것도 가능하다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용 하드웨어에 조립되어 있는 컴퓨터, 또는, 각종 프로그램을 인스톨 함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 기록 매체로부터 인스톨된다.
도 132는 상술한 일련의 처리를 프로그램에 의해 실행하는 퍼스널 컴퓨터의 구성의 예를 나타내는 블록도이다. CPU(Central Processing Unit)(1001)는, ROM(Read Only Memory)(1002) 또는 기억부(1008)에 기억되어 있는 프로그램에 따라서 각종 처리를 실행한다. RAM(Random Access Memory)(1003)에는, CPU(1001)가 실행하는 프로그램이나 데이터 등이 적절하게 기억된다. 이들 CPU(1001), ROM(1002) 및 RAM(1003)은, 버스(1004)에 의해 서로 접속되어 있다.
CPU(1001)에는 또, 버스(1004)를 통하여 입출력인터페이스(1005)가 접속되어 있다. 입출력인터페이스(1005)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(1006), 디스플레이, 스피커 등으로 이루어지는 출력부(1007)가 접속되어 있다. CPU(1001)는, 입력부(1006)로부터 입력되는 명령에 대응하여 각종 처리를 실행한다. 그리고, CPU(1001)는, 처리의 결과 얻어진 화상이나 음성 등을 출력부(1007)에 출력한다.
입출력인터페이스(1005)에 접속되어 있는 기억부(1008)는, 예를 들면 하드디스크 등으로 구성되고, CPU(1001)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(1009)는, 인터넷, 기타 네트워크를 통하여 외부의 장치와 통신한다. 이 예의 경우, 통신부(1009)는, 입력 화상을 취득하거나, 또는 출력 화상을 출력 하는 외부와의 인터페이스로서 동작한다.
또, 통신부(1009)를 통하여 프로그램을 취득하고, 기억부(1008)에 기억할 수도 있다.
입출력인터페이스(1005)에 접속되어 있는 드라이브(1010)는, 자기디스크(1051), 광디스크(1052), 광자기디스크(1053), 또는 반도체메모리(1054) 등이 장착 되었을 때, 이들을 구동하고, 거기에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는, 필요에 따라 기억부(1008)에 전송되고, 기억된다.
일련의 처리를 실행시키는 프로그램이 저장되어 있는 기록 매체는, 도 132에 도시한 바와 같이, 컴퓨터와는 별도로, 사용자에 프로그램을 제공하기 위해서 배포되는, 프로그램이 기록되어 있는 자기디스크(1051)(플렉시블디스크를 포함함), 광디스크(1052)(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광자기디스크(1053)(MD(Mini-Disc)(상표)를 포함함), 또는 반도체메모리(1054) 등으로 이루어지는 패키지미디어에 의해 구성될 뿐 아니라, 컴퓨터에 미리 조립된 상태로 사용자에 제공되는, 프로그램이 기록되어 있는 ROM(1002)이나 기억부(1008)에 포함되는 하드디스크 등으로 구성된다.
또, 상술한 일련의 처리를 실행시키는 프로그램은, 필요에 따라 루터(router), 모뎀 등의 인터페이스를 통하여, 로컬 에리어 네트워크, 인터넷, 디지털위성방송, 유선 또는 무선의 통신매체를 통하여 컴퓨터에 인스톨되도록 할 수도 있다.
또, 본 명세서에 있어서, 기록 매체에 저장되는 프로그램을 기술하는 단계은, 기재된 순서를 따라 시계열적으로 행하여지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.
이상과 같이, 제1 본 발명에 따르면, 보다 고해상도의 화상을 출력할 수 있 다.
또, 제1 본 발명에 따르면, 데이터의 정상성을 이용하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.
제2 본 발명에 따르면, 화상 처리 장치에 있어서, 보다 고해상도의 화상을 출력할 수 있다.
또, 제2 본 발명에 따르면, 화상 처리 장치에 있어서, 데이터의 정상성을 이용하여, 보다 정확하고, 보다 정밀도가 높은 처리 결과를 얻을 수 있게 된다.

Claims (10)

  1. 각각 시간 적분 효과 또는 공간 적분 효과를 가지는 복수의 화소를 가지는 촬상소자가 현실 세계의 광신호를 촬상함으로써 취득된 복수의 화소 데이터로 이루어지는 입력 화상 데이터를, 상기 입력 화상 데이터보다도 고화질인 고화질 화상 데이터로 변환하는 화상 처리 장치에 있어서,
    상기 입력 화상 데이터 내의 복수의 제1 주변 화소의 제1 정상성으로서 상기 현실 세계의 광신호의 정상성(定常性)에 대응하는 화상 데이터의 제1 정상성을 검출하고, 상기 입력 화상 데이터 내의 복수의 제2 주변 화소의 제2 정상성으로서 상기 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제2 정상성을 검출하는 화상 데이터 정상성 검출 수단으로서, 상기 입력 화상 데이터 내의 복수의 제1 주변 화소는 상기 고화질 화상 데이터 내의 제1 주목 화소에 대응하고, 상기 입력 화상 데이터 내의 복수의 제2 주변 화소는 상기 제1 주목 화소에 시간적 또는 공간적으로 인접하는 상기 고화질 화상 데이터 내의 제2 주목 화소에 대응하는, 상기 화상 데이터 정상성 검출 수단,
    상기 화상 데이터 정상성 검출 수단에 의해 검출된 상기 화상 데이터의 제1 정상성에 따라, 상기 제1 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하고, 상기 화상 데이터 정상성 검출 수단에 의해 검출된 상기 화상 데이터의 제2 정상성에 따라, 상기 제2 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제4 주변 화소를 추출하는 제1 추출 수단,
    상기 화상 데이터 정상성 검출 수단에 의해 검출된 상기 화상 데이터의 제1 정상성에 따라, 상기 제1 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제5 주변 화소를 추출하고, 상기 화상 데이터 정상성 검출 수단에 의해 검출된 상기 화상 데이터의 제2 정상성에 따라, 상기 제2 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제6 주변 화소를 추출하는 제2 추출 수단,
    상기 제1 추출 수단에 의해 추출된 복수의 상기 제3 주변 화소의 제1 특징량을 검출하고, 상기 제1 추출 수단에 의해 추출된 복수의 상기 제4 주변 화소의 제2 특징량을 검출하는 제1 특징량 검출 수단,
    상기 제1 특징량 검출 수단에 의해 검출된 상기 제1 특징량에 따라, 상기 제2 추출 수단에 의해 추출된 복수의 상기 제5 주변 화소로부터 상기 제1 주목 화소를 예측하고, 상기 제1 특징량 검출 수단에 의해 검출된 상기 제2 특징량에 따라, 상기 제2 추출 수단에 의해 추출된 복수의 상기 제6 주변 화소로부터 상기 제2 주목 화소를 예측하고, 상기 제1 주목 화소의 제1 예측치 및 상기 제2 주목 화소의 제2 예측치를 출력하는 제1 예측 수단, 및
    상기 제1 예측 수단에 의해 예측된 상기 제1 주목 화소의 상기 제1 예측치와, 상기 제1 예측 수단에 의해 예측된 상기 제2 주목 화소의 상기 제2 예측치와, 적어도 상기 제1 주목 화소와 상기 제2 주목 화소를 시간 방향 또는 공간 방향에 대하여 포함하는 위치에 배치되는 상기 입력 화상 데이터 내의 대응 화소의 화소치와의 관계를 검출하고, 검출 결과에 따라서 상기 제1 예측 수단으로부터 출력되는 상기 제1 주목 화소의 상기 제1 예측치 및 상기 제2 주목 화소의 상기 제2 예측치를 선택적으로 출력하는 선택 출력 수단
    을 포함하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 고화질 화상 데이터 내의 상기 제1 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제7 주변 화소를 추출하고, 상기 고화질 화상 데이터 내의 상기 제2 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제8 주변 화소를 추출하는 제3 추출 수단,
    상기 제1 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제9 주변 화소를 추출하고, 상기 제2 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제10 주변 화소를 추출하는 제4 추출 수단,
    상기 제3 추출 수단에 의해 추출된 복수의 상기 제7 주변 화소의 제3 특징량을 검출하고, 상기 제3 추출 수단에 의해 추출된 복수의 상기 제8 주변 화소의 제4 특징량을 검출하는 제2 특징량 검출 수단, 및
    상기 제2 특징량 검출 수단에 의해 검출된 상기 제3 특징량에 따라, 상기 제4 추출 수단에 의해 추출된 복수의 상기 제9 주변 화소로부터 상기 제1 주목 화소를 예측하고, 상기 제2 특징량 검출 수단에 의해 검출된 상기 제4 특징량에 따라, 상기 제4 추출 수단에 의해 추출된 복수의 상기 제10 주변 화소로부터 상기 제2 주목 화소를 예측하고, 상기 제1 주목 화소의 제3 예측치 및 상기 제2 주목 화소의 제4 예측치를 출력하는 제2 예측 수단
    을 추가로 포함하고,
    상기 선택 출력 수단은,
    상기 제1 예측 수단에 의해 예측된 상기 제1 주목 화소의 상기 제1 예측치와, 상기 제1 예측 수단에 의해 예측된 상기 제2 주목 화소의 상기 제2 예측치와, 상기 입력 화상 데이터의 상기 대응 화소의 화소치와의 관계를 검출하고, 검출 결과에 따라서 상기 제1 예측치와 상기 제2 예측치로 이루어지는 예측치의 제1 쌍 및 상기 제3 예측치와 상기 제4 예측치로 이루어지는 예측치의 제2 쌍 중 어느 하나의 쌍을 선택적으로 출력하는 것을 특징으로 하는 화상 처리 장치.
  3. 제2항에 있어서,
    상기 선택 출력 수단은, 상기 대응 화소의 화소치로부터, 상기 제1 주목 화소의 상기 제1 예측치 및 상기 제2 주목 화소의 상기 제2 예측치를 뺄셈한 결과의 절대치가, 소정의 임계값 미만일 때, 상기 제1 예측치와 상기 제2 예측치로 이루어지는 예측치의 상기 제1 쌍을 선택적으로 출력하는 것을 특징으로 하는 화상 처리 장치.
  4. 각각 시간 적분 효과 또는 공간 적분 효과를 가지는 복수의 화소를 가지는 촬상소자가 현실 세계의 광신호를 촬상함으로써 취득된 복수의 화소 데이터로 이루어지는 입력 화상 데이터를, 상기 입력 화상 데이터보다도 고화질인 고화질 화상 데이터로 변환하는 화상 처리 방법에 있어서,
    상기 입력 화상 데이터 내의 복수의 제1 주변 화소의 제1 정상성으로서 상기 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제1 정상성을 검출하고, 상기 입력 화상 데이터 내의 복수의 제2 주변 화소의 제2 정상성으로서 상기 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제2 정상성을 검출하는 화상 데이터 정상성 검출 단계로서, 상기 입력 화상 데이터 내의 복수의 제1 주변 화소는 상기 고화질 화상 데이터 내의 제1 주목 화소에 대응하고, 상기 입력 화상 데이터 내의 복수의 제2 주변 화소는 상기 제1 주목 화소에 시간적 또는 공간적으로 인접하는 상기 고화질 화상 데이터 내의 제2 주목 화소에 대응하는, 상기 화상 데이터 정상성 검출 단계,
    상기 화상 데이터 정상성 검출 단계에서 검출된 상기 화상 데이터의 제1 정상성에 따라, 상기 제1 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하고, 상기 화상 데이터 정상성 검출 단계에서 검출된 상기 화상 데이터의 제2 정상성에 따라, 상기 제2 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제4 주변 화소를 추출하는 제1 추출 단계,
    상기 화상 데이터 정상성 검출 단계에서 검출된 상기 화상 데이터의 제1 정상성에 따라, 상기 제1 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제5 주변 화소를 추출하고, 상기 화상 데이터 정상성 검출 단계에서 검출된 상기 화상 데이터의 제2 정상성에 따라, 상기 제2 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제6 주변 화소를 추출하는 제2 추출 단계,
    상기 제1 추출 단계에서 추출된 복수의 상기 제3 주변 화소의 제1 특징량을 검출하고, 상기 제1 추출 단계에서 추출된 복수의 상기 제4 주변 화소의 제2 특징량을 검출하는 특징량 검출 단계,
    상기 특징량 검출 단계에서 검출된 상기 제1 특징량에 따라, 상기 제2 추출 단계에서 추출된 복수의 상기 제5 주변 화소로부터 상기 제1 주목 화소를 예측하고, 상기 특징량 검출 단계에서 검출된 상기 제2 특징량에 따라, 상기 제2 추출 단계에서 추출된 복수의 상기 제6 주변 화소로부터 상기 제2 주목 화소를 예측하고, 상기 제1 주목 화소의 제1 예측치 및 상기 제2 주목 화소의 제2 예측치를 출력하는 예측 단계, 및
    상기 예측 단계에서 예측된 상기 제1 주목 화소의 상기 제1 예측치와, 상기 예측 단계에서 예측된 상기 제2 주목 화소의 상기 제2 예측치와, 적어도 상기 제1 주목 화소와 상기 제2 주목 화소를 시간 방향 또는 공간 방향에 대하여 포함하는 위치에 배치되는 상기 입력 화상 데이터 내의 대응 화소의 화소치와의 관계를 검출하고, 검출 결과에 따라서 상기 제1 주목 화소의 상기 제1 예측치 및 상기 제2 주목 화소의 상기 제2 예측치를 선택적으로 출력하는 선택 출력 단계
    를 포함하는 것을 특징으로 하는 화상 처리 방법.
  5. 각각 시간 적분 효과 또는 공간 적분 효과를 가지는 복수의 화소를 가지는 촬상소자가 현실 세계의 광신호를 촬상함으로써 취득된 복수의 화소 데이터로 이루어지는 입력 화상 데이터를, 상기 입력 화상 데이터보다도 고화질인 고화질 화상 데이터로 변환하는 화상 처리용 프로그램이 기록되어 있는 기록 매체에 있어서,
    상기 입력 화상 데이터 내의 복수의 제1 주변 화소의 제1 정상성으로서 상기 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제1 정상성을 검출하고, 상기 입력 화상 데이터 내의 복수의 제2 주변 화소의 제2 정상성으로서 상기 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 제2 정상성을 검출하는 화상 데이터 정상성 검출 단계로서, 상기 입력 화상 데이터 내의 복수의 제1 주변 화소는 상기 고화질 화상 데이터 내의 제1 주목 화소에 대응하고, 상기 입력 화상 데이터 내의 복수의 제2 주변 화소는 상기 제1 주목 화소에 시간적 또는 공간적으로 인접하는 상기 고화질 화상 데이터 내의 제2 주목 화소에 대응하는, 상기 화상 데이터 정상성 검출 단계,
    상기 화상 데이터 정상성 검출 단계에서 검출된 상기 화상 데이터의 제1 정상성에 따라, 상기 제1 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하고, 상기 화상 데이터 정상성 검출 단계에서 검출된 상기 화상 데이터의 제2 정상성에 따라, 상기 제2 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제4 주변 화소를 추출하는 제1 추출 단계,
    상기 화상 데이터 정상성 검출 단계에서 검출된 상기 화상 데이터의 제1 정상성에 따라, 상기 제1 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제5 주변 화소를 추출하고, 상기 화상 데이터 정상성 검출 단계에서 검출된 상기 화상 데이터의 제2 정상성에 따라, 상기 제2 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제6 주변 화소를 추출하는 제2 추출 단계,
    상기 제1 추출 단계에서 추출된 복수의 상기 제3 주변 화소의 제1 특징량을 검출하고, 상기 제1 추출 단계에서 추출된 복수의 상기 제4 주변 화소의 제2 특징량을 검출하는 특징량 검출 단계,
    상기 특징량 검출 단계에서 검출된 상기 제1 특징량에 따라, 상기 제2 추출 단계에서 추출된 복수의 상기 제5 주변 화소로부터 상기 제1 주목 화소를 예측하고, 상기 특징량 검출 단계에서 검출된 상기 제2 특징량에 따라, 상기 제2 추출 단계에서 추출된 복수의 상기 제6 주변 화소로부터 상기 제2 주목 화소를 예측하고, 상기 제1 주목 화소의 제1 예측치 및 상기 제2 주목 화소의 제2 예측치를 출력하는 예측 단계, 및
    상기 예측 단계에서 예측된 상기 제1 주목 화소의 상기 제1 예측치와, 상기 예측 단계에서 예측된 상기 제2 주목 화소의 상기 제2 예측치와, 적어도 상기 제1 주목 화소와 상기 제2 주목 화소를 시간 방향 또는 공간 방향에 대하여 포함하는 위치에 배치되는 상기 입력 화상 데이터 내의 대응 화소의 화소치와의 관계를 검출하고, 검출 결과에 따라서 상기 제1 주목 화소의 상기 제1 예측치 및 상기 제2 주목 화소의 상기 제2 예측치를 선택적으로 출력하는 선택 출력 단계
    를 포함하는, 컴퓨터가 판독 가능한 프로그램이 기록되어 있는 기록 매체.
  6. 삭제
  7. 각각 시간 적분 효과 또는 공간 적분 효과를 가지는 복수의 화소를 가지는 촬상소자가 현실 세계의 광신호를 촬상함으로써 취득된 복수의 화소 데이터로 이루어지는 입력 화상 데이터로부터, 상기 입력 화상 데이터보다도 고화질인 고화질 화상 데이터를 예측하는 예측 수단을 구동시키는 학습 장치에 있어서,
    상기 고화질 화상 데이터 내의 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제1 주변 화소의 정상성으로서 상기 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 수단,
    상기 화상 데이터 정상성 검출 수단에 의해 검출된 상기 화상 데이터의 정상성에 따라, 상기 고화질 화상 데이터 내의 상기 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제2 주변 화소를 추출하는 제1 추출 수단,
    상기 화상 데이터 정상성 검출 수단에 의해 검출된 상기 화상 데이터의 정상성에 따라, 상기 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하는 제2 추출 수단,
    상기 제1 추출 수단에 의해 추출된 복수의 상기 제2 주변 화소의 특징량을 검출하는 특징량 검출 수단, 및
    상기 특징량 검출 수단에 의해 검출된 상기 특징량마다, 상기 제2 추출 수단에 의해 추출된 복수의 상기 제3 주변 화소로부터 상기 주목 화소를 예측하기 위한 상기 예측 수단을 구동시키는 학습 수단
    을 포함하는 것을 특징으로 하는 학습 장치.
  8. 각각 시간 적분 효과 또는 공간 적분 효과를 가지는 복수의 화소를 가지는 촬상소자가 현실 세계의 광신호를 촬상함으로써 취득된 복수의 화소 데이터로 이루어지는 입력 화상 데이터로부터, 상기 입력 화상 데이터보다도 고화질인 고화질 화상 데이터를 예측하는 예측 수단을 실행시키는 학습 방법에 있어서,
    상기 고화질 화상 데이터 내의 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제1 주변 화소의, 상기 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 단계,
    상기 화상 데이터 정상성 검출 단계에서 검출된 상기 화상 데이터의 정상성에 따라, 상기 고화질 화상 데이터 내의 상기 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제2 주변 화소를 추출하는 제1 추출 단계,
    상기 화상 데이터 정상성 검출 단계에서 검출된 상기 화상 데이터의 정상성에 따라, 상기 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하는 제2 추출 단계,
    상기 제1 추출 단계에서 추출된 복수의 상기 제2 주변 화소의 특징량을 검출하는 특징량 검출 단계, 및
    상기 특징량 검출 단계에서 검출된 상기 특징량마다, 상기 제2 추출 단계에서 추출된 복수의 상기 제3 주변 화소로부터 상기 주목 화소를 예측하기 위한 상기 예측 수단을 실행시키는 학습 단계
    를 포함하는 것을 특징으로 하는 학습 방법.
  9. 각각 시간 적분 효과 또는 공간 적분 효과를 가지는 복수의 화소를 가지는 촬상소자가 현실 세계의 광신호를 촬상함으로써 취득된 복수의 화소 데이터로 이루어지는 입력 화상 데이터로부터, 상기 입력 화상 데이터보다도 고화질인 고화질 화상 데이터를 예측하는 예측 수단을 구동시키는 학습처리용 프로그램이 기록되어 있는 기록 매체에 있어서,
    상기 고화질 화상 데이터 내의 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제1 주변 화소의 정상성으로서 상기 현실 세계의 광신호의 정상성에 대응하는 화상 데이터의 정상성을 검출하는 화상 데이터 정상성 검출 단계,
    상기 화상 데이터 정상성 검출 단계에서 검출된 상기 화상 데이터의 정상성에 따라, 상기 고화질 화상 데이터 내의 상기 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제2 주변 화소를 추출하는 제1 추출 단계,
    상기 화상 데이터 정상성 검출 단계에서 검출된 상기 화상 데이터의 정상성에 따라, 상기 주목 화소에 대응하는 상기 입력 화상 데이터 내의 복수의 제3 주변 화소를 추출하는 제2 추출 단계,
    상기 제1 추출 단계에서 추출된 복수의 상기 제2 주변 화소의 특징량을 검출하는 특징량 검출 단계, 및
    상기 특징량 검출 단계에서 검출된 상기 특징량마다, 상기 제2 추출 단계에서 추출된 복수의 상기 제3 주변 화소로부터 상기 주목 화소를 예측하기 위한 상기 예측 수단을 구동시키는 학습 단계
    를 포함하는, 컴퓨터가 판독 가능한 프로그램이 기록되어 있는 기록 매체.
  10. 삭제
KR1020057016028A 2003-02-27 2004-02-13 화상 처리 장치 및 방법, 학습 장치 및 방법, 기록 매체,및 프로그램 KR101023451B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00050208 2003-02-27
JP2003050208A JP4265237B2 (ja) 2003-02-27 2003-02-27 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
KR20050104412A KR20050104412A (ko) 2005-11-02
KR101023451B1 true KR101023451B1 (ko) 2011-03-24

Family

ID=32923337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057016028A KR101023451B1 (ko) 2003-02-27 2004-02-13 화상 처리 장치 및 방법, 학습 장치 및 방법, 기록 매체,및 프로그램

Country Status (5)

Country Link
US (2) US7450764B2 (ko)
JP (1) JP4265237B2 (ko)
KR (1) KR101023451B1 (ko)
CN (1) CN100407787C (ko)
WO (1) WO2004077828A1 (ko)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4214459B2 (ja) 2003-02-13 2009-01-28 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
JP4265237B2 (ja) 2003-02-27 2009-05-20 ソニー株式会社 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム
JP4144378B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4144377B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4265291B2 (ja) * 2003-06-06 2009-05-20 ソニー株式会社 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
US7738739B2 (en) * 2006-01-26 2010-06-15 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and apparatus for adjusting the resolution of a digital image
JP2008252862A (ja) * 2007-03-05 2008-10-16 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
US8655108B2 (en) 2007-09-19 2014-02-18 Sharp Laboratories Of America, Inc. Adaptive image up-scaling technique
JP5061882B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに学習装置
JP4882999B2 (ja) * 2007-12-21 2012-02-22 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および学習装置
CN101631188B (zh) * 2008-07-14 2012-05-09 华晶科技股份有限公司 数字影像的合成方法
JP5347862B2 (ja) * 2008-09-29 2013-11-20 ソニー株式会社 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
US8482300B2 (en) * 2009-01-28 2013-07-09 Massachusetts Institute Of Technology System and method for providing electromagnetic imaging through magnetoquasistatic sensing
GB2474281A (en) * 2009-10-09 2011-04-13 Snell Ltd Defining image features using local spatial maxima and minima
JP5550301B2 (ja) * 2009-10-16 2014-07-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9311593B2 (en) 2010-03-26 2016-04-12 Brain Corporation Apparatus and methods for polychronous encoding and multiplexing in neuronal prosthetic devices
US8315305B2 (en) 2010-03-26 2012-11-20 Brain Corporation Systems and methods for invariant pulse latency coding
US9122994B2 (en) 2010-03-26 2015-09-01 Brain Corporation Apparatus and methods for temporally proximate object recognition
US9405975B2 (en) 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
US9193075B1 (en) 2010-08-26 2015-11-24 Brain Corporation Apparatus and methods for object detection via optical flow cancellation
JP2012244395A (ja) * 2011-05-19 2012-12-10 Sony Corp 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
US9047568B1 (en) 2012-09-20 2015-06-02 Brain Corporation Apparatus and methods for encoding of sensory data using artificial spiking neurons
US9070039B2 (en) 2013-02-01 2015-06-30 Brian Corporation Temporal winner takes all spiking neuron network sensory processing apparatus and methods
JP2013021635A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体
US9098811B2 (en) 2012-06-04 2015-08-04 Brain Corporation Spiking neuron network apparatus and methods
JP5412692B2 (ja) * 2011-10-04 2014-02-12 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
WO2013086601A1 (en) * 2011-12-12 2013-06-20 The University Of British Columbia System and method for determining a depth map sequence for a two-dimensional video sequence
US9224090B2 (en) 2012-05-07 2015-12-29 Brain Corporation Sensory input processing apparatus in a spiking neural network
US9129221B2 (en) 2012-05-07 2015-09-08 Brain Corporation Spiking neural network feedback apparatus and methods
US9412041B1 (en) * 2012-06-29 2016-08-09 Brain Corporation Retinal apparatus and methods
US9311594B1 (en) 2012-09-20 2016-04-12 Brain Corporation Spiking neuron network apparatus and methods for encoding of sensory data
US9218563B2 (en) 2012-10-25 2015-12-22 Brain Corporation Spiking neuron sensory processing apparatus and methods for saliency detection
US9111226B2 (en) 2012-10-25 2015-08-18 Brain Corporation Modulated plasticity apparatus and methods for spiking neuron network
US9183493B2 (en) 2012-10-25 2015-11-10 Brain Corporation Adaptive plasticity apparatus and methods for spiking neuron network
US9275326B2 (en) 2012-11-30 2016-03-01 Brain Corporation Rate stabilization through plasticity in spiking neuron network
US9123127B2 (en) 2012-12-10 2015-09-01 Brain Corporation Contrast enhancement spiking neuron network sensory processing apparatus and methods
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
US9239985B2 (en) 2013-06-19 2016-01-19 Brain Corporation Apparatus and methods for processing inputs in an artificial neuron network
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US9552546B1 (en) 2013-07-30 2017-01-24 Brain Corporation Apparatus and methods for efficacy balancing in a spiking neuron network
US9489623B1 (en) 2013-10-15 2016-11-08 Brain Corporation Apparatus and methods for backward propagation of errors in a spiking neuron network
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US10055850B2 (en) 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
US9881349B1 (en) 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
KR101882704B1 (ko) 2017-12-18 2018-07-27 삼성전자주식회사 전자 장치 및 그 제어 방법
US11074671B2 (en) 2017-12-18 2021-07-27 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11321813B2 (en) * 2018-08-02 2022-05-03 Apple Inc. Angular detection using sum of absolute difference statistics systems and methods
CN113506279B (zh) * 2021-07-22 2024-07-02 浙江大华技术股份有限公司 对象倾斜角度的确定方法、装置、存储介质及电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0951510A (ja) * 1995-05-31 1997-02-18 Sony Corp 信号変換装置及び信号変換方法
JPH10327392A (ja) 1997-05-23 1998-12-08 Sony Corp 走査線変換装置および方法
JPH1169144A (ja) 1997-08-12 1999-03-09 Sony Corp 画像信号の変換装置および変換方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3438233B2 (ja) * 1992-05-22 2003-08-18 ソニー株式会社 画像変換装置および方法
KR100360206B1 (ko) * 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
US5852470A (en) 1995-05-31 1998-12-22 Sony Corporation Signal converting apparatus and signal converting method
US6160845A (en) * 1996-12-26 2000-12-12 Sony Corporation Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium
US5912708A (en) * 1996-12-26 1999-06-15 Sony Corporation Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium
KR100252988B1 (ko) * 1997-01-27 2000-04-15 구자홍 에이치디 티브이(hdtv)의 영상포멧 변환장치 및 방법
JP4158232B2 (ja) * 1998-07-23 2008-10-01 ソニー株式会社 画像情報変換装置および画像表示装置
JP4517409B2 (ja) * 1998-11-09 2010-08-04 ソニー株式会社 データ処理装置およびデータ処理方法
US6636222B1 (en) * 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
US6600517B1 (en) * 2000-03-07 2003-07-29 Koninklijke Philips Electronics N.V. System and method for improving the sharpness of a video image
JP4470280B2 (ja) * 2000-05-24 2010-06-02 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP4277446B2 (ja) * 2000-12-26 2009-06-10 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体
US6903782B2 (en) * 2001-03-28 2005-06-07 Koninklijke Philips Electronics N.V. System and method for performing segmentation-based enhancements of a video image
EP1326436B1 (en) * 2001-12-28 2013-02-13 Sony Corporation Displaying information
JP4265237B2 (ja) 2003-02-27 2009-05-20 ソニー株式会社 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0951510A (ja) * 1995-05-31 1997-02-18 Sony Corp 信号変換装置及び信号変換方法
JPH10327392A (ja) 1997-05-23 1998-12-08 Sony Corp 走査線変換装置および方法
JPH1169144A (ja) 1997-08-12 1999-03-09 Sony Corp 画像信号の変換装置および変換方法

Also Published As

Publication number Publication date
CN1754384A (zh) 2006-03-29
JP2004266381A (ja) 2004-09-24
KR20050104412A (ko) 2005-11-02
US20080199072A1 (en) 2008-08-21
US20060146198A1 (en) 2006-07-06
WO2004077828A1 (ja) 2004-09-10
CN100407787C (zh) 2008-07-30
US7483565B2 (en) 2009-01-27
JP4265237B2 (ja) 2009-05-20
US7450764B2 (en) 2008-11-11

Similar Documents

Publication Publication Date Title
KR101023451B1 (ko) 화상 처리 장치 및 방법, 학습 장치 및 방법, 기록 매체,및 프로그램
JP4144378B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4148041B2 (ja) 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
US7336818B2 (en) Image processing device and method, and image-taking device
KR101015521B1 (ko) 신호 처리 장치 및 방법
JP4144374B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US20040105015A1 (en) Image processing device and image processing program
JP4214460B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2005018537A (ja) 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
JP4214462B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4161729B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4214461B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4182827B2 (ja) 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
JP4325296B2 (ja) 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
JP4264631B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4161727B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4161735B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4161733B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4264632B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4161731B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4182776B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4182826B2 (ja) 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
JP4161730B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4161254B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4178983B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee