KR100745386B1 - 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체 - Google Patents

화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체 Download PDF

Info

Publication number
KR100745386B1
KR100745386B1 KR1020007011612A KR20007011612A KR100745386B1 KR 100745386 B1 KR100745386 B1 KR 100745386B1 KR 1020007011612 A KR1020007011612 A KR 1020007011612A KR 20007011612 A KR20007011612 A KR 20007011612A KR 100745386 B1 KR100745386 B1 KR 100745386B1
Authority
KR
South Korea
Prior art keywords
pixel
image signal
class
pixels
interest
Prior art date
Application number
KR1020007011612A
Other languages
English (en)
Other versions
KR20010042845A (ko
Inventor
곤도테쥬지로
나카야히데오
사와다카시
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20010042845A publication Critical patent/KR20010042845A/ko
Application granted granted Critical
Publication of KR100745386B1 publication Critical patent/KR100745386B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Abstract

CCD 이미지 센서에 의해 얻어진 화상 신호는 화상 신호 처리부(25)의 블럭화부(28)에 의해 클래스 탑과 예측 탑이 추출된다. 클래스 탑은 ADRC 처리부(29)로 예측 탑은 적응 처리부(31)로 각각 출력된다. ADRC 처리부(29)는 입력된 화상 신호에 ADRC 처리를 실시함으로써 특징 정보를 생성한다. 클래스 분류부(30)는 생성된 특징 정보에 대응하는 클래스 코드를 생성하여 적응 처리부(31)에 공급한다. 적응 처리부(31)는 그 클래스 코드에 대응하는 예측 계수 세트를 계수 세트 메모리(32)로부터 판독하고, 예측 계수 세트와 예측 탑을 이용하여 처리 대상으로 되어 있는 화소의 위치에 R, G, B 전체의 색 신호를 생성한다.
화상 신호 처리 장치, 화상 신호 처리 방법, 예측 탑, 클래스 탑

Description

화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치, 학습 방법 및 기록 매체{Image signal processor, image signal processing method, learning device, learning method, and recorded medium}
본 발명은 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치, 학습 방법 및 기록 매체에 관한 것으로, 특히 1개의 고체 이미지 센서에 의해 얻어지는 화상에 대해, 그 화상 신호의 1 화소가 적색(R : Red) 성분, 녹색(G : Green) 성분 및 청색(B : Blue) 성분을 갖도록 클래스 분류 적응 처리를 이용하여 색 성분을 보간하는 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치, 학습 방법 및 기록 매체에 관한 것이다.
CCD(Charge Coupled Device) 이미지 센서 등의 고체 이미지 센서를 이용한 촬상 장치에는 주로 1개의 CCD 이미지 센서를 이용한 단판 방식의 것(이하, 단판식 카메라라 함)과, 3개의 CCD 이미지 센서를 이용한 3판 방식의 것(이후, 3판식 카메라라 함)이 있다.
3판식 카메라는, 예를 들면 R 신호용, G 신호용 및 B 신호용의 3개의 CCD 이미지 센서를 이용하여 그 3개의 CCD 이미지 센서에 의해 3원색 신호를 얻는다. 그리고, 3원색 신호로부터 생성되는 칼라 화상 신호가 기록 매체에 기록된다.
단판식 카메라에서는 1 화소마다 할당된 색 필터 어레이로 이루어지는 각 코딩 필터가 전면에 설치된 1개의 CCD 이미지 센서를 이용하여 상기 색 코딩 필터에 의해 색 코딩된 색 성분의 신호를 1 화소마다 얻는다. 상기 색 코딩 필터를 구성하는 색 필터 어레이로서는, 예를 들면 R(Red), G(Green), B(Blue)의 원색 필터 어레이나, Ye(Yellow), Cy(Cyanogen), Mg(Magenta)의 보색 필터 어레이가 이용되고 있다. 그리고, 단판식 카메라에서는 CCD 이미지 센서에 의해 1 화소마다 1개의 색 성분의 신호를 얻어, 각 화소가 갖고 있는 색 성분의 신호 이외의 색 신호를 선형 보간 처리에 의해 생성하여, 3판식 카메라에 의해 얻어지는 화상에 가까운 화상을 얻도록 하고 있다. 비디오 카메라 등에서, 소형화, 경량화를 도모하는 경우에, 단판식이 채용되고 있다.
단판식 카메라에서, 예를 들면 도 1a에 도시하는 바와 같은 색 배열의 색 필터 어레이에 의해 구성된 색 코딩 필터가 설치된 CCD 이미지 센서는 R, G, B의 3원색 중 1개의 색 필터가 배치된 각 화소로부터 각 필터의 색에 대응하는 화상 신호만이 출력된다. 즉, R의 색 필터가 배치된 화소에서 R 성분의 화상 신호는 출력되지만, G 성분 및 B 성분의 화상 신호는 출력되지 않는다. 마찬가지로, G의 화소에서, G 성분의 화상 신호만이 출력되고, R 성분 및 B 성분의 화상 신호는 출력되지 않고, B 화소에서, B 성분의 화상 신호만이 출력되어, R 성분 및 G 성분의 화상 신호는 출력되지 않는다.
여기에서, 도 1a에 도시하는 색 필터 어레이의 색 배열은 베이어 배열이라 칭해진다. 이 경우에는 G의 색 필터가 체크 무늬로 배치되고, 잔여 부분에 R과 B가 한 열마다 교대로 배치되어 있다.
그러나, 후단에서 각 화소의 신호를 처리할 때, 각 화소마다 R 성분, G 성분 및 B 성분의 화상 신호가 필요하게 된다. 그래서, 종래, n x m(n 및 m은 정의 정수)개의 화소로 구성되는 CCD 이미지 센서의 출력으로부터, 도 1b에 도시하는 바와 같이, n x m개의 R 화소의 화상 신호, n x m개의 G 화소의 화상 신호 및 n x m개의 B 화소의 화상 신호, 즉 3판식 카메라의 CCD 출력 상당의 화상 신호가 각각 보간 연산에 의해 구해지고, 그들 화상 신호가 후단으로 출력된다.
그리고, 또한, 예를 들면 4배 밀도의 화상 신호를 생성하는 경우, 도 1c에 도시하는 바와 같이, n x m개의 R 화소의 화상 신호로부터 2n x 2m개의 R 화소의 화상 신호가 보간 연산에 의해 구해지고, n x m개의 G 화소의 화상 신호로부터 2n x 2m개의 G 화소의 화상 신호가 보간 연산에 의해 구해지며, 또한, n x m개의 B화소의 화상 신호로부터 2n x 2m개의 B 화소의 화상 신호가 보간 연산에 의해 구해진다.
그러나, 전술한 단판식 카메라에서는 선형 처리를 행함으로써 색 신호의 보간을 행하고 있기 때문에, 화상의 파형이 둔해져 버리고, 화상 전체가 불분명하게 되어 버리기 때문에, 윤곽 강조 처리 등의 처리를 행하여 외관 해상도를 향상시키는 처리가 필요하다. 또한, 그 촬상 출력으로서 얻어지는 화상 신호에 의한 화상의 해상도가 3판식 카메라의 촬상 출력으로서 얻어지는 화상 신호에 의한 화상과 비교하여 낮고, 상기 선형 처리의 영향에 의해 전체적으로 희미한 화상으로 되어 버리는 문제점이 있었다.
또한, 단판식 카메라의 CCD 이미지 센서의 출력에서 동일 해상도의 3원색의 성분을 각 화소마다 생성하고, 그 화상 신호로부터 더욱 더 고밀도의 화상 신호를 연산함으로써, 화소 밀도를 크게 해도 충분한 정밀도를 얻을 수 없다라는 문제점이 있었다.
또한, 선형 보간과 다른 처리 방법으로서, 단판식 카메라의 CCD 출력에서, R, G, B의 3원색의 각 화상 신호마다 독립적으로 클래스 분류 적응 처리를 행함으로써 3판식 카메라의 CCD 출력에 상당하는 화상 신호를 생성하는 것이 제안되어 있다(특원평 8-508623호). 그러나, R, G, B의 각 색 신호마다 독립적으로 클래스 분류 적응 처리를 행한 것에서는 도 1a, 도 1b로부터 알 수 있는 바와 같이, 베이어 배열의 색 필터 어레이가 이용되는 경우, m x n(m 및 n은 정의 정수)개의 화소 중 R 화소와 B 화소에 관해서는 4 화소에 1개의 비율로만 존재해도 제약을 받지 않고, G(4 화소에 2개의 비율로 존재한다)와 마찬가지의 처리가 행해지게 된다. 이 때문에, R 성분의 화상 신호와 B 성분의 화상 신호에 관해서는 정밀도 좋은 예측 처리를 행할 수 없다.
그래서, 본 발명의 목적은 색 신호의 예측 처리를 클래스 분류 적응 처리를 이용하여 행함으로써 단판식 카메라에서, 3판식 카메라의 촬상 출력으로서 얻어지는 화상 신호에 필적하는 화상 신호를 얻어지도록 한 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치, 학습 방법 및 기록 매체를 제공하는 것에 있다.
또한, 본 발명의 다른 목적은 확실히 고정밀도의 화상 신호를 얻을 수 있도록 한 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치, 학습 방법 및 기록 매체를 제공하는 것에 있다.
또한, 본 발명의 다른 목적은 보다 고정밀도로 예측 처리를 행할 수 있고, 해상도 높은 화상 신호를 생성할 수 있도록 한 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치, 학습 방법 및 기록 매체를 제공하는 것에 있다.
본 발명은 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리 장치에 있어서, 상기 입력 화상 신호의 주목 화소마다 상기 주목 화소 근방의 복수의 화소를 추출하는 추출 수단과, 상기 추출 수단으로 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 수단과, 상기 클래스 결정 수단으로 결정된 클래스에 기초하여, 상기 주목 화소의 위치에 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명은 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리 방법에 있어서, 상기 입력 화상 신호의 주목 화소마다, 상기 주목 화소 근방의 복수의 화소를 추출하는 추출 단계와, 상기 화소 추출 단계에서 출력된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와, 상기 클래스 결정 단계에서 결정된 클래스에 기초하여, 상기 주목 화소의 위치에, 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 단계를 갖는 것을 특징으로 한다.
또한, 본 발명은 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서, 상기 프로그램은 상기 입력 화상 신호의 주목 화소마다 상기 주목 화소 근방의 복수의 화소를 추출하는 추출 단계와, 상기 화소 추출 단계에서 추출된 복수의 화소에 기초하여, 클래스를 결정하는 클래스 결정 단계와, 상기 클래스 결정 단계에서 결정된 클래스에 기초하여, 상기 주목 화소의 위치에 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 단계를 갖는 것을 특징으로 한다.
또한, 본 발명에 관한 학습 장치는 화소 위치마다 하나의 색 성분을 갖는 학생 화상 신호의 주목 화소 근방의 복수 화소를 추출하는 제1 화소 추출 수단과, 상기 제1 화소 추출 수단으로 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 수단과, 상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수 화소를 추출하는 제2 화소 추출 수단과, 상기 제1 및 제2 화소 추출 수단으로 추출된 복수 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 수단을 갖는 것을 특징으로 한다.
또한, 본 발명에 관한 학습 방법은 화소 위치에 하나의 색 성분을 갖는 학생 화상 신호의 주목 화소 근방의 복수 화소를 추출하는 제1 화소 추출 단계와, 상기 제1 화소 추출 단계에서 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와, 상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수 화소를 추출하는 제2 화소 추출 단계와, 상기 제1 및 제2 화소 추출 단계에서 추출된 복수 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 갖는 것을 특징으로 한다.
또한, 본 발명은 클래스에 따른 예측 계수 세트를 생성하기 위한 학습 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서, 상기 프로그램은 화소 위치마다 한개의 색 성분을 갖는 학생 화상 신호의 주목 화소 근방의 복수 화소를 추출하는 제1 화소 추출 단계와, 상기 제1 화소 추출 단계에서 추출된 복수 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와, 상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수 화소를 추출하는 제2 화소 추출 단계와, 상기 제1 및 제2 화소 추출 단계에서 추출된 복수 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 갖는 것을 특징으로 한다.
본 발명은 복수의 색 중 어느 하나를 표현하는 색 성분을 화소 위치마다 갖는 소정수의 샘플값에 의해, 1매의 화상이 구성되는 입력 화상 신호를 처리하는 화상 신호 처리 장치에 있어서, 상기 입력 화상 신호의 주목 화소마다 상기 주목 화소 근방의 복수 화소를 추출하는 추출 수단과, 상기 추출 수단으로 추출된 복수 화소에 기초하여 클래스를 결정하는 클래스 결정 수단과, 상기 클래스 결정 수단으로 결정된 클래스에 기초하여, 상기 입력 화상 신호의 각 화소에 처리를 행함으로써, 상기 소정수의 샘플값보다 많은 샘플값을 상기 복수 색 각각에 관해여 갖는 출력 화상 신호를 생성하는 출력 화상 생성 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명은 복수의 색 중 어느 하나를 표현하는 색 성분을 화소 위치마다 갖는 소정수의 샘플값에 의해, 1매의 화상이 구성되는 입력 화상 신호를 처리하는 화상 신호 처리 방법에 있어서, 상기 입력 화상 신호의 주목 화소마다 상기 주목 화소 근방의 복수 화소를 추출하는 추출 단계와, 상기 추출 수단으로 추출된 복수 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와, 상기 클래스 결정 수단으로 결정된 클래스에 기초하여, 상기 입력 화상 신호의 각 화소에 처리를 행함으로써, 상기 소정수의 샘플값보다 많은 샘플값을 상기 복수 색 각각에 관해여 갖는 출력 화상 신호를 생성하는 출력 화상 생성 단계를 갖는 것을 특징으로 한다.
또한, 본 발명은 복수의 색 중 어느 하나를 표현하는 색 성분을 화소 위치마다 갖는 소정수의 샘플값에 의해 1매의 화상이 구성되는 입력 화상 신호를 처리하는 화상 신호 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서, 상기 프로그램은 상기 입력 화상 신호의 주목 화소마다 상기 주목 화소 근방의 복수 화소를 추출하는 추출 단계와, 상기 추출 단계에서 추출된 복수 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와, 상기 클래스 결정 수단으로 결정된 클래스에 기초하여, 상기 입력 화상 신호의 각 화소에 처리를 행함으로써, 상기 소정수의 샘플값보다 많은 샘플값을 상기 복수의 색 각각에 관하여 갖는 출력 화상 신호를 생성하는 출력 화상 생성 단계를 갖는 것을 특징으로 한다.
또한, 본 발명에 관한 학습 장치는 복수의 색 중 어느 하나를 표현하는 색 성분을 화소 위치마다 갖고 소정수의 샘플값에 의해 1매의 화상이 구성되는 학생 화상 신호로부터 상기 소정수의 샘플값보다 많은 샘플값을 갖는 예측 화상 신호의 주목 화소 근방의 복수 화소를 추출하는 제1 화소 추출 수단과, 상기 제1 화소 추출 수단으로 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 수단과, 상기 예측 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터 상기 주목 화소의 위치에 상당하는 위치 근방의 복수 화소를 추출하는 제2 화소 추출 수단과, 상기 제1 및 제2 화소 추출 수단으로 추출된 복수 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명에 관한 학습 방법은 복수의 색 중 어느 하나를 표현하는 색 성분을 화소 위치마다 갖는 소정수의 샘플값에 의해, 1매의 화상이 구성되는 학생 화상 신호로부터 상기 소정수의 샘플값보다 많은 샘플값을 갖는 예측 화상 신호의 주목 화소 근방의 복수 화소를 추출하는 제1 화소 추출 단계와, 상기 제1 화소 추출 단계에서 추출된 복수 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와, 상기 예측 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터 상기 주목 화소의 위치에 상당하는 위치 근방의 복수 화소를 추출하는 제2 화소 추출 단계와, 상기 제1 및 제2 화소 추출 단계에서 추출된 복수 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 구비하는 것을 특징으로 한다.
또한, 본 발명은 클래스에 따른 예측 계수 세트를 생성하기 위한 학습 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서, 상기 프로그램은 복수의 색 중 어느 하나를 표현하는 색 성분을 화소 위치마다 갖는 소정수의 샘플값에 의해 1매의 화상이 구성되는 학생 화상 신호로부터 상기 소정수의 샘플값보다 많은 샘플값을 갖는 예측 화상 신호의 주목 화소 근방의 복수 화소를 추출하는 제1 화소 추출 단계와, 상기 제1 화소 추출 단계에서 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와, 상기 예측 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터 상기 주목 화소의 위치에 상당하는 위치 근방의 복수 화소를 추출하는 제2 화소 추출 단계와, 상기 제1 및 제2 화소 추출 단계에서 추출된 복수 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 구비하는 것을 특징으로 한다.
또한, 본 발명은 화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리 장치에 있어서, 상기 입력 화상 신호의 주목 화소마다 상기 복수의 색 성분 중 가장 고밀도인 색 성분을 갖고, 상기 주목 화소 근방에 위치하는 복수의 화소를 추출하는 추출 수단과, 상기 추출 수단으로 추출된 복수 화소에 기초하여 클래스를 결정하는 클래스 결정 수단과, 상기 클래스 결정 단계에서 결정된 클래스에 기초하여 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명은 화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리 방법에 있어서, 상기 입력 화상 신호의 주목 화소마다 상기 복수의 색 성분 중 가장 고밀도인 색 성분을 갖고, 상기 주목 화소 근방에 위치하는 복수의 화소를 추출하는 추출 단계와, 상기 추출 단계에서 추출된 복수 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와, 상기 클래스 결정 단계에서 결정된 클래스에 기초하여, 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 단계를 구비하는 것을 특징으로 한다.
또한, 본 발명은 화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서, 상기 프로그램은 상기 입력 화상 신호의 주목 화소마다 상기 복수의 색 성분 중 가장 고밀도인 색 성분을 갖고, 상기 주목 화소 근방에 위치하는 복수의 화소를 추출하는 추출 단계와, 상기 추출 단계에서 추출된 복수 화소에 기초하여, 클래스를 결정하는 클래스 결정 단계와, 상기 클래스 결정 단계에서 결정된 클래스에 기초하여, 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 단계를 갖는 것을 특징으로 한다.
또한, 본 발명에 관한 학습 장치는 화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 학생 화상 신호의 주목 화소 근방에 위치하고, 복수의 색 성분 중 가장 고밀도인 색 성분을 갖는 복수의 화소를 추출하는 제1 화소 추출 수단과, 상기 제1 화소 추출 수단으로 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 수단과, 상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수 화소를 추출하는 제2 화소 추출 수단과, 상기 제1 및 제2 화소 추출 수단으로 추출된 복수 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명에 관한 학습 방법은 화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 학생 화상 신호의 주목 화소 근방에 위치하고, 복수의 색 성분 중 가장 고밀도인 색 성분을 갖는 복수의 화소를 추출하는 제1 화소 추출 단계와, 상기 제1 화소 추출 단계에서 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와, 상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수 화소를 추출하는 제2 화소 추출 단계와, 상기 제1 및 제2 화소 추출 수단으로 추출된 복수 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 구비하는 것을 특징으로 한다.
또한, 본 발명은 클래스에 따른 예측 계수 세트를 생성하기 위한 학습 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서, 상기 프로그램은 화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 학생 화상 신호의 주목 화소 근방에 위치하고, 복수의 색 성분 중 가장 고밀도인 색 성분을 갖는 복수의 화소를 추출하는 제1 화소 추출 단계와, 상기 제1 화소 추출 단계에서 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와, 상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수 화소를 추출하는 제2 화소 추출 단계와, 상기 제1 및 제2 화소 추출 수단으로 추출된 복수 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 구비하는 것을 특징으로 한다.
또한, 본 발명은 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리 장치에 있어서, 상기 입력 화상 신호의 주목 화소마다에 대해 상기 주목 화소 근방의 화소로부터 각 색 성분마다 복수의 화소를 추출하는 추출 수단과, 상기 추출 수단으로 추출된 각 색 성분마다 복수의 화소에 기초하여 각 색 성분마다 화소의 특징 정보를 생성하는 특징 정보 생성부와, 상기 각 색 성분마다의 특징 정보에 기초하여 1개의 클래스를 결정하는 클래스 결정부를 포함하는 클래스 결정 수단과, 상기 클래스 결정 수단으로 결정된 클래스에 기초하여 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명은 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리 방법에 있어서, 상기 입력 화상 신호의 주목 화소마다에 대해 상기 주목 화소 근방의 화소로부터 각 색 성분마다 복수의 화소를 추출하는 추출 단계와, 상기 추출 단계에서 추출된 각 색 성분마다 복수의 화소에 기초하여 각 색 성분마다 화소의 특징 정보를 생성하고 상기 각 색 성분마다의 특징 정보에 기초하여 1개의 클래스를 결정하는 클래스 결정 단계와, 상기 클래스 결정 단계에서 결정된 클래스에 기초하여 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 단계를 구비하는 것을 특징으로 한다.
또한, 본 발명은 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서, 상기 프로그램은 상기 입력 화상 신호의 주목 화소마다에 대해 상기 주목 화소 근방의 화소로부터 각 색 성분마다 복수의 화소를 추출하는 추출 단계와, 상기 추출 단계에서 추출된 각 색 성분마다 복수의 화소에 기초하여 각 색 성분마다 화소의 특징 정보를 생성하고, 상기 각 색 성분마다 특징 정보에 기초하여 1개의 클래스를 결정하는 클래스 결정 단계와, 상기 클래스 결정 단계에서 결정된 클래스에 기초하여 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 단계를 구비하는 것을 특징으로 한다.
또한, 본 발명에 관한 학습 장치는 화소 위치마다 1개의 색 성분을 갖는 학생 화상 신호의 주목 화소 근방의 복수 화소를 추출하는 제1 화소 추출 수단과, 상기 제1 화소 추출 수단으로 추출된 각 색 성분마다 복수의 화소에 기초하여 각 색 성분마다 화소의 특징 정보를 생성하고, 상기 각 색 성분마다 화소의 특징 정보에 기초하여 1개의 클래스를 결정하는 클래스 결정 수단과, 상기 학생 화상 신호와 대응하는 화상 신호이고, 화상 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수 화소를 추출하는 제2 화소 추출 수단과, 상기 제1 및 제2 화소 추출 수단으로 추출된 복수 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명에 관한 학습 방법은 화소 위치마다 하나의 색 성분을 갖는 학생 화상 신호의 주목 화소 근방의 복수 화소를 추출하는 제1 화소 추출 단계와, 상기 제1 화소 추출 단계에서 추출된 각 색 성분마다 복수의 화소에 기초하여 각 색 성분마다 화소의 특징 정보를 생성하고, 상기 각 색 성분마다 화소의 특징 정보에 기초하여 1개의 클래스를 결정하는 클래스 결정 단계와, 상기 학생 화상 신호와 대응하는 화상 신호이고, 화상 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수 화소를 추출하는 제2 화소 추출 단계와, 상기 제1 및 제2 화소 추출 단계에서 추출된 복수 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 구비하는 것을 특징으로 한다.
또한, 본 발명은 클래스에 따른 예측 계수 세트를 생성하기 위한 학습 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서, 상기 프로그램은 화소 위치마다 1개의 색 성분을 갖는 학생 화상 신호의 주목 화소 근방의 복수 화소를 추출하는 제1 화소 추출 단계와, 상기 제1 화소 추출 단계에서 추출된 각 색 성분마다 복수의 화소에 기초하여 각 색 성분마다 화소의 특징 정보를 생성하고, 상기 각 색 성분마다 화소의 특징 정보에 기초하여 1개의 클래스를 결정하는 클래스 결정 단계와, 상기 학생 화상 신호와 대응하는 화상 신호이고, 화상 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수 화소를 추출하는 제2 화소 추출 단계와, 상기 제1 및 제2 화소 추출 단계에서 추출된 복수 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생 성 단계를 갖는 것을 특징으로 한다.
도 1a, 도 1b 및 도 1c는 종래의 선형 보간에 의한 화상 신호 처리를 모식적으로 도시하는 도면.
도 2는 본 발명을 적용한 디지탈 스틸 카메라의 구성을 도시하는 블럭도.
도 3은 상기 디지탈 스틸 카메라의 동작을 설명하기 위한 플로우챠트.
도 4는 상기 디지탈 스틸 카메라에서 화상 신호 처리부의 구성을 도시하는 블럭도.
도 5는 상기 화상 신호 처리부에 의해 행해지는 화상 신호 처리를 설명하기 위한 플로우챠트.
도 6은 클래스 분류 적응 처리를 이용한 예측 연산을 행하기 위한 구성 예를 도시하는 블럭도.
도 7은 예측 계수 세트를 결정하기 위한 구성 예를 도시하는 블럭도.
도 8은 예측 탑의 구조 예를 모식적으로 도시하는 도면.
도 9a, 도 9b, 도 9c 및 도 9d는 상기 화상 신호 처리부에서 클래스 적응 처리에 의한 화상 신호 처리의 한 예를 모식적으로 도시하는 도면.
도 10a 및 도 10b는 예측 계수 세트의 한 예를 도시하는 도면.
도 11a 및 도 11b는 예측 계수 세트의 한 예를 도시하는 도면.
도 12a 및 도 12b는 예측 계수 세트의 한 예를 도시하는 도면.
도 13은 예측 계수 세트를 학습에 의해 얻는 학습 장치의 구성 예를 도시하는 블럭도.
도 14는 상기 학습 장치의 동작을 설명하기 위한 플로우챠트.
도 15a, 도 15b 및 도 15c는 상기 학습 장치에 의한 학습 처리의 한 예를 모식적으로 도시하는 도면.
도 16a, 도 16b 및 도 16c는 클래스 탑을 모식적으로 도시하는 도면.
도 17a, 도 17b 및 도 17c는 클래스 탑을 모식적으로 도시하는 도면.
도 18a, 도 18b 및 도 18c는 클래스 탑을 모식적으로 도시하는 도면.
도 19a, 도 19b 및 도 19c는 클래스 탑을 모식적으로 도시하는 도면.
도 20a 내지 도 20n은 상기 디지탈 스틸 카메라의 CCD 이미지 센서에 이용할 수 있는 색 코딩 필터의 색 필터 어레이의 구성 예를 모식적으로 도시하는 도면.
도 21a, 도 21b 및 도 21c는 상기 화상 신호 처리부에 의한 화상 신호 처리의 다른 예를 모식적으로 도시하는 도면.
도 22a 및 도 22b는 상기 화상 신호 처리부에서 클래스 적응 처리에 의한 화상 신호 처리의 다른 예를 모식적으로 도시하는 도면.
도 23은 클래스 탑의 예를 모식적으로 도시하는 도면.
도 24는 클래스 탑의 예를 모식적으로 도시하는 도면.
도 25는 클래스 탑의 예를 모식적으로 도시하는 도면.
도 26은 클래스 탑의 예를 모식적으로 도시하는 도면.
도 27은 예측 탑의 예를 모식적으로 도시하는 도면.
도 28은 예측 탑의 예를 모식적으로 도시하는 도면.
도 29는 예측 탑의 예를 모식적으로 도시하는 도면.
도 30은 예측 탑의 예를 모식적으로 도시하는 도면.
도 31은 예측 화소의 예를 모식적으로 도시하는 도면.
도 32는 도 31에 도시한 예측 화소에 대응하는 클래스 탑을 모식적으로 도시하는 도면.
도 33은 도 31에 도시한 예측 화소에 대응하는 예측 탑을 모식적으로 도시하는 도면.
도 34는 예측 화소의 예를 모식적으로 도시하는 도면.
도 35는 도 34에 도시한 예측 화소에 대응하는 클래스 탑을 모식적으로 도시하는 도면.
도 36은 도 34에 도시한 예측 화소에 대응하는 예측 탑을 모식적으로 도시하는 도면.
도 37은 예측 화소의 예를 모식적으로 도시하는 도면.
도 38a 및 도 38b는 도 37에 도시한 예측 화소에 대응하는 클래스 탑을 모식 적으로 도시하는 도면.
도 39a 및 도 39b는 도 37에 도시한 예측 화소에 대응하는 예측 탑을 모식적으로 도시하는 도면.
도 40a, 도 40b 및 도 40c는 탑 구조의 한 예를 모식적으로 도시하는 도면.
도 41a, 도 41b 및 도 41c는 탑 구조의 다른 예를 모식적으로 도시하는 도면.
도 42는 컴퓨터 시스템의 구성을 도시하는 블럭도.
이하, 본 발명을 실시하기 위한 최량의 형태에 대해 도면을 참조하면서 상세히 설명한다.
본 발명은, 예를 들면 도 2에 도시하는 바와 같은 구성의 디지탈 스틸 카메라(1)에 적용된다. 디지탈 스틸 카메라(1)는 1 화소마다 할당된 색 필터로 이루어지는 색 코딩 필터(4)가 전면에 설치된 1개의 CCD 이미지 센서(5)를 이용하여 칼라 촬상을 행하는 단판식 카메라로 피사체로부터의 입사 광이 렌즈(2)에 의해 집광되어, 아이리스(3) 및 색 코딩 필터(4)를 통해 CCD 이미지 센서(5)로 입사되도록 되어 있다. 상기 CCD 이미지 센서(5)의 촬상 면 상에는 상기 아이리스(3)에 의해 소정 레벨의 광량으로 된 입사 광에 의해 피사체 상이 맺어진다. 또한, 디지탈 스틸 카메라(1)에 있어서, 색 코딩 필터(4)와 CCD 이미지 센서(5)는 별개로 했지만, 일체화한 구조로 할 수 있다.
상기 CCD 이미지 센서(5)는 타이밍 제너레이터(9)로부터의 타이밍 신호에 의해 제어되는 전자 셔터에 따라 소정 시간에 걸쳐 노광을 행하고, 색 코딩 필터(4)를 투과한 입사 광의 광량에 따른 신호 전하(아날로그량)를 화소마다 발생함으로써, 상기 입사 광에 의해 맺어진 피사체 상을 촬상하여 그 촬상 출력으로서 얻어지는 화상 신호를 신호 조정부(6)에 공급한다.
신호 조정부(6)는 화상 신호의 신호 레벨을 일정하게 되도록 게인을 조정하는 AGC(Automatic Gain Control) 회로와, CCD 이미지 센서(5)가 발생하는 1/f의 노이즈를 제거하는 CDS(Correiated Double Sampling) 회로로 이루어진다.
상기 신호 조정부(6)로부터 출력되는 화상 신호는 A/D 변환부(7)에 의해 아날로그 신호에서 디지탈 신호로 변환되어 화상 신호 처리부(8)로 공급된다. 상기 A/D 변환부(7)에서는 타이밍 제너레이터(9)로부터의 타이밍 신호에 따라, 예를 들면 1 샘플 10 비트의 디지탈 촬상 신호를 생성한다.
이 디지탈 스틸 카메라(1)에서, 타이밍 제너레이터(9)는 CCD 이미지 센서(5), 신호 조정부(6), A/D 변환부(7) 및 CPU(Central Processing Unit : 10)에 각종 타이밍 신호를 공급한다. CPU(10)는 모터(11)를 구동함으로써, 아이리스(3)를 제어한다. 또한, CPU(10)는 모터(12)를 구동함으로써, 렌즈(2) 등을 이동시켜, 줌이나 오토포커스 등을 제어한다. 또한, CPU(10)는 필요에 따라, 플래시(13)에 의해 섬광을 발생하는 제어를 행하도록 되어 있다.
화상 신호 처리부(8)는 A/D 변환부(7)로부터 공급된 화상 신호에 대해, 결함 보정 처리, 디지탈 클램프 처리, 화이트 밸런스 조정 처리, 감마 보정 처리, 클래 스 분류 적응 처리를 이용한 예측 처리 등을 처리한다.
이 화상 신호 처리부(8)에 접속된 메모리(15)는, 예를 들면 RAM(Random Access Memory)으로 구성되고, 화상 신호 처리부(8)가 화상 처리를 행할 때에 필요한 신호를 기억한다. 화상 신호 처리부(8)에 의해 처리된 화상 신호는 인터페이스(14)를 통해 메모리(16)에 기억된다. 메모리(16)에 기억된 화상 신호는 인터페이스(14)를 통해 디지탈 스틸 카메라(1)에 대해 착탈 가능한 기록 매체(17)에 기록된다.
또한, 모터(11)는 CPU(10)로부터의 제어 정보에 기초하여 아이리스(3)를 구동하고, 레인지(2)를 통해 입사되는 광량을 제어한다. 또한, 모터(12)는 CPU(10)로부터의 제어 정보에 기초하여 렌즈(2)의 CCD 이미지 센서(5)에 대한 포커스 상태를 제어한다. 이것에 의해, 자동 조리개 제어 동작이나 자동 촛점 제어 동작이 실현된다. 또한, 플래시(13)는 CPU(10)에 의한 제어하에서, 피사체에 대해 소정의 섬광을 조사한다.
또한, 인터페이스(14)는 화상 신호 처리부(8)로부터의 화상 신호를 필요에 따라 메모리(16)에 기억하고, 소정의 인터페이스 처리를 실행한 후, 기록 매체(17)에 공급하고 기억시킨다. 기록 매체(17)로서는 디지탈 스틸 카메라(1)의 본체에 대해 착탈가능한 기록 매체, 예를 들면 플로피 디스크, 하드 디스크 등의 디스크 기록 매체, 메모리 카드 등의 플래시 메모리 등을 이용할 수 있다.
콘트롤러(18)는 CPU(10)의 제어하에서, 화상 신호 처리부(8) 및 인터페이스(14)에 제어 정보를 공급하여 각각을 제어한다. CPU(10)에는 셔터 보턴 이나 줌 보턴 등의 조작 보턴으로 구성되는 조작부(20)로부터 사용자에 의한 조작 정보가 입력된다. CPU(10)는 입력된 조작 정보를 기초하여 전술한 각부를 제어한다. 전원부(19)는 배터리(19A)와 DC/DC 컨버터(19B) 등을 갖는다. DC/DC 컨버터(19B)는 배터리(19A)로부터의 전력을 소정값의 전류 전압으로 변환하고, 장치 내의 각 구성 요소에 공급한다. 충전가능한 배터리(19A)는 디지탈 스틸 카메라(1)의 본체에 착탈가능하게 되어 있다.
다음에, 도 3의 플로우챠트를 참조하고, 도 2에 도시한 디지탈 스틸 카메라(1)의 동작에 대해 설명한다. 디지탈 스틸 카메라(1)는, 스텝(S1)에서, 전원이 온됨으로써, 피사체의 촬상을 개시한다. 즉, CPU(10)는 모터(11) 및 모터(12)를 구동하고, 촛점을 일치시키거나 아이리스(3)를 조정함으로써, 렌즈(2)를 통해 CCD 이미지 센서(5) 상에 피사체 상을 맺게 한다.
스텝(S2)에서는 맺어진 상을 CCD 이미지 센서(5)에 의해 촬상한 화상 신호가 신호 조정부(6)에서 신호 레벨이 일정하게 되도록 게인 조정되고, 또한, 노이즈가 제거되며, 또한, A/D 변환부(7)에 의해 디지탈화된다.
또한, 스텝(S3)에서는 상기 A/D 변환부(7)에 의해 디지탈화된 화상 신호에 대해 화상 신호 처리부(8)에 의해 클래스 분류 적응 처리를 포함하는 화상 신호 처리를 행한다.
여기에서, 피사체 상은 CCD 이미지 센서(5)의 촬상 출력으로서 얻어지는 화상 신호를 전자 뷰파인더로 표시함으로써 사용자가 확인할 수 있도록 되어 있다. 또한, 피사체 상은 광학적 뷰파인더에 의해 사용자가 확인할 수 있도록 할 수 있다.
그리고, 사용자는 뷰파인더에 의해 확인한 피사체 상의 화상을 기록 매체(17)에 기록하고자 하는 경우, 조작부(20)의 셔터 보턴을 조작한다. 디지탈 스틸 카메라(1)의 CPU(10)는 스텝(S4)에서, 셔터 보턴이 조작되었는지 여부를 판단한다. 디지탈 스틸 카메라(1)는 셔터 보턴이 조작되었다고 판단할 때까지 스텝(S2) ~ 스텝(S3)의 처리를 반복하고, 셔터 보턴이 조작된다고 판단하면, 스텝(S5)로 진행한다.
그리고, 스텝(S5)에서는 화상 신호 처리부(8)에 의한 화상 신호 처리가 실시된 화상 신호를 인터페이스(14)를 통해 기록 매체(17)에 기록한다.
다음에, 도 4를 참조하여 화상 신호 처리부(8)에 대해 설명한다.
이 화상 신호 처리부(8)는 상기 A/D 변환부(7)에 의해 디지탈화된 화상 신호가 공급되는 결함 보정부(21)를 구비한다. CCD 이미지 센서(5)의 화소 중에서, 어떤 원인에 의해 입사 광에 반응하지 않은 화소나, 입사 광에 의존하지 않고, 전하가 항상 축적되어 있는 화소, 다시 말하면, 결함이 있는 화소를 검출하고, 그 검출 결과에 따라 그들 결함 화소의 영향이 나타나지 않도록 화상 신호를 보정하는 처리를 행한다.
A/D 변환부(7)에서는 부의 값이 커트되는 것을 방지하기 위해, 일반적으로 신호값을 약간 정의 방향으로 시프트시킨 상태에서 A/D 변환이 행해지고 있다. 클램프부(22)는 결합 보정부(21)에 의해 결함 보정된 화상 신호에 대해, 전술한 시프트량이 없어지도록 클램프한다.
클램프부(22)에 의해 클램프된 화상 신호는 화이트 밸런스 조정부(23)에 공급된다. 화이트 밸런스 조정부(23)는 클램프부(22)로부터 공급된 화상 신호의 게인을 보정함으로써 화이트 밸런스를 조정한다. 화이트 밸런스 조정부(23)에 의해 화이트 밸런스가 조정된 화상 신호는 감마 보정부(24)로 공급된다. 감마 보정부(24)는 화이트 밸런스 조정부(23)에 의해 화이트 밸런스가 조정된 화상 신호의 신호 레벨을 감마 곡선에 따라 보정한다. 감마 보정부(24)에 의해 감마 보정된 화상 신호는 예측 처리부(25)로 공급된다.
예측 처리부(25)는 클래스 분류 적응 처리를 행함으로써 감마 보정부(24)의 출력을, 예를 들면 3판식 카메라의 CCD 출력 상당의 화상 신호로 변환하여, 보정부(26)에 공급한다. 상기 예측 처리부(25)는 블럭화부(28), ADRC(Adaptive Dynamic Range Coding) 처리부(29), 클래스 분류부(30), 적응 처리부(31), 계수 메모리(32) 등으로 이루어진다.
블럭화부(28)는 후술하는 클래스 탑의 화상 신호를 ADRC 처리부(29)에 공급함과 동시에, 예측 탑의 화상 신호를 적응 처리부(31)에 공급한다. ADRC 처리부(29)는 입사된 클래스 탑의 화상 신호에 대해 ADRC 처리를 행하여 재양자화 코드를 생성하고, 재양자화 코드를 특징 정보로서 클래스 분류부(30)에 공급한다. 클래스 분류부(30)는 ADRC 처리부(29)로부터 공급되는 특징 정보에 기초하여, 화상 신호 패턴의 분류를 행하고, 분류 결과를 도시하는 클래스 번호(클래스 코드)를 생성한다. 계수 메모리(32)는 클래스 분류부(30)에 의해 분류된 클래스 번호에 대응하는 계수 세트를 적응 처리부(31)에 공급한다. 적응 처리부(31)는 계수 세트 메모리(32)로부터 공급된 계수 세트를 이용하여 블럭화부(28)로부터 공급된 예측 탑의 화상 신호로부터 예측 화소값을 구하는 처리를 행한다.
보정부(26)는 상기 예측 처리부(25)에 의해 처리된 화상 신호에 대해 엣지 강조 등의 화상을 시각적으로 양호하게 보이기 위해, 필요한, 즉 화상을 만들기 위한 처리를 행한다.
그리고, 색 공간 변환부(27)는 보정부(26)에 의해 엣지 강조 등의 처리가 실시된 화상 신호(RGB 신호)를 매트릭스 변환하여 YUV(휘도 Y와 색차 U, V로 되는 신호) 등의 소정 신호 포맷의 화상 신호로 변환한다. 단, 매트릭스 변환 처리를 행하지 않고, 색 공간 변환부(27)로부터 RGB 신호를 그대로 출력시키도 좋다. 본 발명의 한 실시 형태에서는, 예를 들면 사용자의 조작에 의해 YUV 신호, RGB 신호 중 어느 것을 출력하는지를 전환하는 것이 가능하게 되어 있다. 색 공간 변환부(27)에 의해 변환된 화상 신호는 전술한 인터페이스(14)로 공급된다.
여기에서, 상기 도 3에 도시한 플로우챠트의 스텝(S3)에서, 화상 신호 처리부(8)에 의해 행해지는 화상 신호 처리에 대해, 도 5의 플로우챠트를 참조하여 설명한다.
즉, 화상 신호 처리부(8)에서는 A/D 변환부(7)에 의해 디지탈화된 화상 신호에 대한 화상 신호 처리를 개시하면, 먼저 스텝(S11)에서 CCD 이미지 센서(5)의 결함의 영향이 나타나지 않도록 결함 보정부(21)에 의해 화상 신호의 결함 보정을 행한다. 그리고, 다음의 스텝(S12)에서는 결함 보정부(21)에 의해 결함 보정된 화상 신호에 대해, 정(正)의 방향으로 시프트되어 있던 양을 원 상태로 복귀하는 클램프 처리를 클램프부(22)에 의해 행한다.
다음의 스텝(S13)에서는 클램프부(22)에 의해 클램프된 화상 신호에 대해, 화이트 밸런스 조정부(23)에 의해 화이트 밸런스의 조정을 행하고 각 색 신호간의 게인을 조정한다. 또한, 스텝(S14)에서는 화이트 밸런스가 조정된 화상 신호에 대해 감마 보정부(24)에 의해 감마 곡선에 따른 보정을 실시한다.
스텝(S15)에서는 클래스 분류 적응 처리를 이용한 예측 처리를 행한다. 이러한 처리는 스텝(S151) ~ 스텝(S155)까지의 단계으로 이루어진다. 스텝(S151)에서는 감마 보정부(24)에 의해 감마 보정된 화상 신호에 대해 블럭화부(28)에 의해 블럭화, 즉 클래스 탑 및 예측 탑을 절단한다. 여기에서, 클래스 탑은 복수 종류의 색 신호에 대응하는 화소를 포함한다.
스텝(S152)에서는 ADRC 처리부(29)에 의해 ADRC 처리를 행한다.
스텝(S153)에서는 클래스 분류부(30)에서의 ADRC 처리의 결과에 기초하여 클래스를 분류하는 클래스 분류 처리를 행한다. 그리고, 분류된 클래스에 대응하는 클래스 번호를 적응 처리부(31)에 제공한다.
스텝(S154)에서, 적응 처리부(31)는 클래스 분류부(30)에 의해 제공된 클래스 번호에 대응하는 예측 계수 세트를 계수 메모리(32)로부터 판독하고, 그 예측 계수 세트를 대응하는 예측 탑의 화상 신호로 승산하며, 그들 총합을 취함으로써 예측 화소값을 연산한다.
스텝(S155)에서는 모든 영역에 대해 처리가 행해졌는지 여부를 판정한다. 모든 영역에 대해 처리가 행해졌다고 판단되는 경우에는 스텝(S16)으로 이행하고, 그 이외의 경우에는 스텝(S151)로 이행하며, 다음 영역에 대한 처리를 행한다.
스텝(S16)에서는 스텝(S15)에 의해 얻어진 3판식 카메라의 CCD 출력 상당의 화상에 대해, 시각적으로 길게 보기 위한 보정 처리(소위 화상 제작)를 행한다. 스텝(S17)에서는 스텝(S16)에 의해 얻어진 화상에, 예를 들면 RGB 신호를 YUV 신호로 변환하는 등의 색 공간의 변환 처리를 실시한다. 이것에 의해, 예를 들면 기록 신호로서 적합한 신호 포맷을 갖는 출력 화상이 생성된다.
여기에서, 클래스 분류 적응 처리에 대해 설명한다. 클래스 분류 적응 처리를 이용한 예측 연산을 행하기 위한 일반적인 구성 예를 도 6에 도시한다. 입력 화상 신호가 영역 절단부(101, 102)로 공급된다. 영역 절단부(101)는 입력 화상 신호로부터 소정의 화상 영역(클래스 탑이라 칭해짐)을 추출하고, 클래스 탑의 신호를 ADRC 처리부(103)로 공급한다. ADRC 처리부(103)는 공급되는 신호에 ADRC 처리를 실시함으로써, 재양자화 코드를 생성한다.
또한, 재양자화 코드를 생성하는 방법으로서, ADRC를 이용했지만, 예를 들면 DCT(Discrete Cosine Transform), VQ(벡터 양자화), DPCM(Differential Pulse Code Modulation), BTC(Block Trancation Coding), 비선형 양자화 등을 이용해도 좋다.
ADRC는 본래 VTR(Video Tape Recorder)용 고능률 부호화를 위해 개발된 적응적 재양자화 법이지만, 신호 레벨의 국소적인 패턴을 짧은 어조로 효과적으로 표현할 수 있다라는 특징을 갖는다. 이 때문에, 클래스 분류의 코드를 발생하기 위한, 화상 신호의 시공간 내에서의 패턴, 즉 공간 액티비티의 검출에 사용할 수 있다. ADRC 처리부(103)에서는 이하의 식(1)에 의해 클래스 탑으로서 절단되는 영역 내의 최대값 MAX와 최소값 MIN 사이를 지정된 비트 수로 균등하게 분할하여 재양자화한 다.
DR = MAX - MIN + 1
Q = [(L - MIN + 0.5) x 2n/DR] (1)
여기에서, DR은 영역 내의 다이나믹 레인지이다. 또한, n은 비트 할당 수이고, 예를 들면 n = 2로 할 수 있다. 또한, L은 영역 내 화소의 신호 레벨이고, Q가 재양자화 코드이다. 단, 대괄호([...])는 소수점 이하를 잘라 버리는 처리를 의미한다.
이것에 의해, 1 화소당, 예를 들면 8 비트로 이루어지는 클래스 탑의 화상 신호가, 예를 들면 2 비트의 재양자화 코드값으로 변환된다. 이와 같이 해서 생성되는 재양자화 코드값에 의해, 클래스 탑의 신호에서의 레벨 분포의 패턴이 보다 작은 정보량에 의해 표현된다. 예를 들면, 7 화소로 이루어지는 클래스 탑 구조를 이용하는 경우, 전술한 바와 같은 처리에 의해 각 화소에 대응하는 7개의 재양자화 코드 q1 ~ q7가 생성된다. 클래스 코드 class는 다음 식(2)와 같은 것이다.
Figure 112000021970722-pct00001
여기에서, n은 클래스 탑으로서 절단되는 화소의 수이다. 또한, p의 값으로서는, 예를 들면 p = 2로 할 수 있다.
클래스 코드 class는 시공간 내에서의 화상 신호의 레벨 분포의 패턴, 즉 공간 액티비티를 특징 정보로서 분류하여 이루어지는 클래스를 표현하고 있다. 클래스 코드 class는 예측 계수 메모리(104)로 공급된다. 예측 계수 메모리(1040는 후술하는 바와 같이 해서 미리 결정된 클래스마다 예측 계수 세트를 기억하고 있고, 공급되는 재양자화 코드에 의해 표현되는 클래스의 예측 계수 세트를 출력한다. 한 편, 영역 절단부(102)는 입력 화상으로부터 소정의 화상 영역(예측 탑이라 칭해짐)을 추출하고, 예측 탑의 화상 신호를 예측 연산부(105)에 공급한다. 예측 연산부(105)는 영역 절단부(102)의 출력과 예측 계수 메모리(104)로부터 공급되는 예측 계수 세트에 기초하여 이하의 식(3)과 같은 연산을 행함으로써, 출력 화상 신호 y를 생성한다.
y = w1 x x1 + w2 x x2 + ... + wn x xn (3)
여기에서, x1,... xn 이 각 예측 탑의 화소값이고, W1,... Wn 이 각 예측 계수이다.
또한, 예측 계수 세트를 결정하기 위한 처리에 대해 도 7을 참조하여 설명한다. 출력 화상 신호와 동일한 화상 신호 형식을 갖는 HD(High Definition) 화상 신호가 HD-SD 변환부(201)와 화소 추출부(208)로 공급된다. HD-SD 변환부(201)는 세선화 처리 등을 행함으로써, HD 화상 신호를 입력 화상 신호와 동등한 해상도(화소 수)의 화상 신호(이하, SD(Standard Definition) 화상 신호라 함)로 변환한다. 이러한 SD 화상 신호가 영역 절단부(202, 203)에 공급된다. 영역 절단부(202)는 상기 영역 절단부(101)와 마찬가지로, SD 화상 신호로부터 클래스 탑을 절단하고, 클래스 탑의 화상 신호를 ADRC 처리부(204)로 공급한다.
ADRC 처리부(204)는 도 6 중 ADRC 처리부(103)와 마찬가지인 ADRC 처리를 행하고, 공급되는 신호에 기초한 재양자화 코드를 생성한다. 재양자화 코드는 클래스 코드 생성부(205)에 공급된다. 클래스 코드 생성부(205)는 공급되는 재양자화 코드 에 대응하는 클래스를 도시하는 클래스 코드를 생성하고, 클래스 코드를 정규 방정식 가산부(206)에 공급한다. 한편, 영역 절단부(203)는 도 6 중 영역 절단부(102)와 마찬가지로 공급되는 SD 화상 신호로부터 예측 탑을 절단하고, 절단한 예측 탑의 화상 신호를 정규 방정식 가산부(206)에 공급한다.
정규 방정식 가산부(206)는 영역 절단부(203)로부터 공급되는 화상 신호와 화소 추출부(208)로부터 공급되는 화상 신호에 대해 클래스 코드 생성부(205)로부터 공급되는 클래스 코드마다 가산하고, 가산한 각 클래스마다의 신호를 예측 계수 결정부(207)에 공급한다. 예측 계수 결정부(207)는 공급되는 각 클래스마다 신호에 기초하여 각 클래스마다 예측 계수 세트를 결정한다.
또한, 예측 계수 세트를 결정하기 위한 연산에 대해 설명한다. 예측 계수 w1은 도 7에 도시하는 바와 같은 구성에 대해, HD 화상 신호로서 복수 종류의 화상 신호를 공급함으로써, 다음과 같이 연산된다. 이들 화상 신호의 종류 수를 m이라 표기하는 경우, 식(3)에서 이하의 식(4)가 설정된다.
yk = w1 x xk1 + w2 x xk2 + ... + wn x xkn (4)
(k = 1, 2, ..., m)
m > n의 경우에는, w1, ... wn은 일의로 결정되지 않기 때문에, 오차 벡터 e의 요소 ek를 이하의 식(5)로 정의하여 식(6)에 의해 정의되는 오차 벡터 e의 2승을 최소로 하도록 예측 계수 세트를 정하도록 한다. 즉, 소위 최소 2승법에 의해 예측 계수 세트를 일의로 정한다.
ek = yk - {w1 ×xk1 + w2 ×k2 + ... + wn ×kn}
(k = 1, 2, ..., m) (5)
Figure 112000021970722-pct00002

식(6)의 e2를 최소로 하는 예측 계수 세트를 구하기 위한 실제적인 계산 방법으로서는 e2를 예측 계수 w1(i = 1, 2, ...)로 편미분하고(식(7)), i의 각 값에 대해 편미분값이 0이 되도록 각 예측 계수 w1를 결정하면 좋다.
Figure 112000021970722-pct00003

식(7)에서 각 예측 계수 w1를 결정하는 구체적인 수순에 대해 설명한다. 식(8),(9)와 같이, Xji, Yi를 정의하면, 식(7)은 식(10)의 행렬식의 형으로 기록할 수 있다.
Figure 112000021970722-pct00004
Figure 112000021970722-pct00005
Figure 112000021970722-pct00006

식(10)이 일반적으로 정규 방정식이라고 칭해지는 것이다. 정규 방정식 가산부(205)는 공급되는 신호에 기초하여 식(8),(9)에 도시하는 바와 같은 연산을 행함으로써, Xji, Yi(i = 1, 2, ..., n)를 각각 계산한다. 예측 계수 결정부(207)는 소거법 등의 일반적인 행렬 해법에 따라 정규 방정식(10)을 풀므로써, 예측 계수 wi(i = 1, 2, ...)를 산출한다.
여기에서는, 주목 화소의 특징 정보에 대응한 예측 계수 세트와 예측 탑을 이용하여 전술한 식(3)에서의 선형 1차 결합 모델의 연산을 행함으로써, 적응 처리를 행한다. 또한, 적응 처리에 이용하는 주목 화소의 특징 정보에 대응한 예측 계수 세트는 학습에 의해 얻어지지만, 클래스 대응의 화소값을 이용하거나, 비선형 모델의 연산에 의해 적응 처리를 행할 수도 있다.
전술한 바와 같은 클래스 분류 적응 처리에 의해 입력 화상 신호로부터, 예를 들면 노이즈가 제거된 화상 신호, 주사선 구조가 변환되어 있는 화상 신호 등을 출력 화상 신호로서 생성하는 여러가지 화상 신호 변환 처리가 실현된다.
디지탈 스틸 카메라(1)에서는, 예를 들면 단판식 카메라의 CCD 이미지 센서에 의해 생성된 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호로부터 입력 화상 신호의 주목 화소마다 상기 주목 화소 근방의 복수 화소를 추출하고, 추출된 복수의 화소에 기초하여 클래스를 결정하며, 결정된 클래스에 기초하여 상기 주목 화소의 위치에 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 클래스 분류 적응 처리를 상기 예측 처리부(25)에서 행함으로써, 3판식 카메라의 CCD 출력 상당의 화상 신호를 얻을 수 있다.
여기에서, 도 8에 예측 탑의 구조의 한 예를 도시한다. 예측 탑은 주목 화소(처리 대상이 되는 화소)를 중심으로 하고, 인접하는 3 x 3개의 9 화소로 구성되어 있다. 블럭화부(28)는 주목 화소마다 예측 탑을 추출함으로써, 예측 탑에 대응하는 주목 화소를 중심으로 하는 9 화소로 이루어지는 블럭을 복수 개 생성한다. 이러한 주목 화소는 1 프레임을 구성하는 모든 화소가 대상이 된다.
적응 처리부(31)에 의해 행해지는 적응 처리에 의해, 주목 화소의 화소 신호가 R 신호인 경우, 그 R 신호의 화소 위치에, R 신호, G 신호 및 B 신호가 생성된다. 마찬가지로, 주목 화소의 화소 신호가 G 신호 또는 B 신호인 경우도, R 신호, G 신호 및 B 신호가 각각 생성된다. 즉, 1 프레임분의 화소 신호 내, 도 9a에 도시하는 바와 같이 8 x 6 화소로 구성되는 부분을 고려한 경우, 8 x 6 화소 모두를 순차, 주목 화소로서 적응 처리함으로써, 도 9b, 도 9c 및 도 9d에 도시하는 바와 같이, R 신호만으로 구성되는 8 x 6 화소, G 신호만으로 구성되는 8 x 6 화소 및 B 신호만으로 구성되는 8 x 6 화소가 각각 얻어진다. 다시 말하면, 3판 카메라의 CCD 출력 상당의 화상 신호가 얻어진다.
이와 같이, 본 발명을 적용한 디지탈 스틸 카메라(1)에서는 클래스 분류 적응 처리를 이용하여 3판식 카메라의 CCD 출력 상당의 각 색 신호 R, G, B를 얻음으로써, 엣지 부분이나 세부의 정밀도가 증가하고, S/N 비의 평가값도 향상한다.
이 경우, 예를 들면 도 10a에 도시하는 바와 같은 3 x 3 화소(G11, B12, ... B32, G33)의 중심 화소(G22)에 R 신호를 생성하기 위해서는 3 x 3 화소(G11, B12, ... B32, G33)에 대응하여 도 10b에 도시하는 바와 같은 예측 계수 세트(w1 ~ w9)가 이용된다. 도 10a 및 도 10b는 주목 화소(G22)가 G 신호이고, G 신호의 주목 화소(G22)에 인접하는 상하 방향으로 B 신호의 화소(B12, B32), 좌우 방향으로 R 신호의 화소(R21, R22), 경사 방향으로 G 신호의 화소(G11, G13, G31, G33)가 위치하고 있는 경우에, 주목 화소(G22)인 G 신호의 위치에 R 신호를 생성하는 경우에 이용하는 예측 계수 세트(w1 ~ w9)의 한 예를 도시하고 있다.
또한, 도 11a에 도시하는 바와 같은 3 x 3 화소(G11, R12, ... R32, G33)의 중심 화소(G22)에 R 신호를 생성하기 위해서는 3 x 3 화소(G11, R12, ... R32, G33)에 대응하여 도 11b에 도시하는 바와 같은 예측 계수 세트(w1 ~ w9)가 이용된다. 도 11a 및 도 11b는 주목 화소(G22)가 G 신호이고, 주목 화소(G22)의 G 신호의 위치에 R 신호를 생성하는 경우이지만, 주목 화소(G22)인 G 신호에 인접하는 상하 방향에는 R 신호의 화소(R12, R32)가, 좌우 방향으로 B 신호의 화소(B21, B22)가 각각 위치하고 있는 경우에, 주목 화소(G22)인 G 신호의 위치에 R 신호를 생성하는 경우의 예측 계수 세트(w1 ~ w9)의 한 예를 도시하고 있다.
또한, 도 12a에 도시하는 바와 같은, 3 x 3 화소(R11, G12, ... G32, R33)의 중심 화소(B22)에 R 신호를 생성하기 위해서는 3 x 3 화소(R11, G12, ... G32, R33)에 대응하여 도 12b에 도시하는 바와 같은 예측 계수 세트(w1 ~ w9)가 이용된다. 도 12a 및 도 12b는 주목 화소(B22)가 B 신호이고, 주목 화소(B22)의 상하 좌우 방향으로 G 신호의 화소(G12, G21, G23, G32), 경사 방향으로 R 신호의 화소(R11, R13, R31, R33)가 위치하고 있는 경우에, 주목 화소(B22)인 B 신호의 위치에 R 신호를 생성하는 경우에 이용하는 예측 계수 세트(w1 ~ w9)를 도시하고 있다.
상기 예측 계수 세트는 미리 학습에 의해 얻어지는 것으로, 상기 계수 메모리(32)에 기억되어 있다.
여기에서, 학습에 대해 설명한다. 도 13은 예측 계수 세트를 학습에 의해 얻는 학습 장치(40)의 구성을 도시하는 블럭도이다.
학습 장치(40)에서는, 클래스 분류 적응 처리의 결과로서 생성되어야 할 출력 화상 신호, 즉 3판식 카메라의 CCD 출력 상당의 화상 신호와 동일한 신호 형식을 갖는 화상 신호가 교사 화상 신호로서 세선화부(41) 및 교사 화상 블럭화부(45)에 공급된다. 세선화부(41)는 교사 화상 신호로부터 색 필터 어레이의 각 색의 배치에 따라 화소를 세선화한다. 세선화 처리는 CCD 이미지 센서(5)에 대해 탈착되는 광학 로우패스 필터를 상정한 필터를 통해 행한다. 즉, 실제의 광학계를 상정한 세선화 처리를 행한다. 세선화부(41)의 출력이 학생 화상 신호로서 학생 화상 블럭화부(42)로 공급된다.
학생 화상 블럭화부(42)는 세선화부(41)에 의해 생성된 학생 신호로부터 블럭마다 교사 화상 신호의 예측 화소와의 대응을 하면서, 주목 화소에 기초한 클래스 탐 및 예측 탑을 추출함으로써, 학생 화상 신호를 블럭화하여 ADRC 처리부(43)와 연산부(46)에 공급한다. ADRC 처리부(43)는 학생 화상 블럭화부(42)로부터 공급된 학생 화상 신호에 ADRC 처리를 실시하고 특징 정보를 생성하며, 클래스 분류부(44)에 공급한다. 클래스 분류부(44)는 입력된 특징 정보로부터 클래스 코드를 발생하고, 연산부(46)에 출력한다.
여기에서는, 교사 화상 신호는 3판식 카메라의 CCD 출력 상당의 해상도를 갖는 화상 신호이고, 학생 화상 신호는 단판식 카메라의 CCD 출력 상당의 해상도를 갖는 화상 신호, 다시 말하면, 3판식 카메라보다 해상도가 낮은 화상 신호이다. 또한, 다시 말하면, 교사 화상 신호는 1 화소가 R 성분, G 성분 및 B 성분, 즉 3원색 성분을 갖는 화상 신호이고, 학생 화상 신호는 1 화소가 R 성분, G 성분 및 B 성분 중 하나의 색 성분만을 갖는 화상 신호이다.
한편, 교사 화상 블럭화부(45)는 학생 화상 신호에서 클래스 탑과의 대응을 하면서, 교사 화상 신호로부터 예측 화소의 화상 신호를 절단하고, 절단한 예측 화상 신호를 연산부(46)에 공급한다. 연산부(46)는 학생 화상 블럭화부(42)로부터 공급되는 예측 탑의 화상 신호와 교사 화상 블럭화부(45)로 공급되는 예측 화상 신호와의 대응을 취하면서, 클래스 분류부(44)로 공급되는 클래스 번호에 따라, 예측 계수 세트를 해결하고자 하는 방식적인 정규 방정식의 데이타를 생성하는 연산을 행한다. 연산부(46)에 의해 생성되는 정규 방정식의 데이타가 학습 데이타 메모리(47)로 순차 읽어 들여 기억된다.
연산부(48)는 학습 데이타 메모리(47)에 축적된 정규 방정식의 데이타를 이용하여 정규 방정식을 푸는 처리를 실행한다. 이것에 의해, 클래스마다 예측 계수 세트가 산출된다. 산출된 예측 계수 세트는 클래스에 대응시켜 계수 메모리(49)에 기억된다. 계수 메모리(49)의 기억 내용은 전술한 계수 메모리(32)에 로드되고, 클래스 분류 적응 처리를 행할 때에 사용된다.
다음에, 도 14의 플로우챠트를 참조하여 학습 장치(40)의 동작에 대해 설명한다.
학습 장치(40)에 입력되는 디지탈 화상 신호는 3판식 카메라로 촬상된 화상에 상당하는 화질이 얻어지는 화상 신호이다. 또한, 3판식 카메라로 얻어지는 화상 신호(교사 화상 신호)는 1 화소의 화상 신호로서 R, G, B의 3원색 신호를 포함하고 있는 것이 대해, 단판식 카메라로 얻어지는 화상 신호(학생 화상 신호)는 1화소의 화상 신호로서 R, G, B의 3원색 신호 내의 1개의 색 신호만을 포함하고 있다. 예를 들면, 도 15a에 도시하는 바와 같이 3판식 카메라로 촬상된 HD 화상 신호를 필터링하여 도 15b에 도시하는 바와 같이 1/4 사이즈의 SD 화상 신호로 변환한 교사 화상 신호가 학습 장치(40)에 입력된다.
스텝(S31)에서는 교사 화상 블럭화부(45)에서, 입력된 교사 화상 신호를 블럭화하고, 입력된 교사 화상 신호로부터 학생 화상 블럭화부(42)가 주목 화소로서 설정하는 화소에 대응하는 위치에 위치하는 예측 화소의 화소값을 추출하여 연산부(46)에 출력한다.
또한, 스텝(S32)에서는 3판식 카메라로 촬상된 화상에 상당하는 화질이 얻어지는 교사 화상 신호에 대해 세선화부(41)에 의해 단판 카메라의 CCD 이미지 센서(5)에 이용되는 색 코딩 필터(4)에 상당하는 필터를 통해 세선화 처리를 실행함으로써, 도 15c에 도시하는 바와 같이, 단판식 카메라의 CCD 이미지 센서(5)가 출력하는 화상 신호에 대응하는 학생 화상 신호를 교사 화상 신호로부터 생성하고, 생성한 학생 화상 신호를 학생 화상 블럭화부(42)에 출력한다.
스텝(S33)에서는 학생 화상 블럭화부(42)에서 입력된 학생 화상 신호의 블럭화를 행하고, 각 블럭마다 주목 화소에 기초하여 클래스 탑과 예측 탑을 생성한다.
스텝(S34)에서는 ADRC 처리부(43)에서, 학생 화상 신호로부터 절단된 클래스 탑의 신호를 각 색 신호마다 ADRC 처리한다.
스텝(S35)에서는 클래스 분류부(44)에서 스텝(S33)에서의 ADRC 처리의 결과에 기초하여 클래스 분류하고, 분류되는 클래스에 대응하는 클래스 번호를 도시하는 신호를 출력한다.
스텝(S36)에서는 연산부(46)에서 클래스 분류부(44)에 의해 공급된 클래스마다 학생 화상 블럭화부(42)로 공급된 예측 탑과, 교사 화상 블럭화부(45)로 공급되 는 예측 화상에 기초하여 전술한 식(10)의 정규 방정식을 생성하는 처리를 실행한다. 정규 방정식은 학습 데이타 메모리(47)에 기억된다.
스텝(S37)에서는 연산부(46)에 의해 모든 블럭에 대한 처리가 종료했는지 여부를 판정한다. 또한, 처리하고 있지 않은 블럭이 존재하는 경우에는 스텝(S36)으로 복귀하고, 그 이후의 처리를 반복하여 실행한다. 그리고, 스텝(S37)에서, 모든 블럭에 대한 처리가 종료한다고 판정된 경우 스텝(S38)로 진행한다.
스텝(S38)에서는 연산부(48)에서 학습 데이타 메모리(47)에 기억된 정규 방정식을, 예를 들면 소거법(Gauss-Jordan의 소거법)이나 코레스키 분해법을 이용하여 푸는 처리를 실행함으로써, 예측 계수 세트를 산출한다. 이와 같이 해서 산출된 예측 계수 세트는 클래스 분류부(44)에 의해 출력된 클래스 코드와 관련 부착되어, 계수 메모리(49)에 기억된다.
스텝(S39)에서, 연산부(48)에서 모든 클래스에 대한 정규 방정식을 푸는 처리를 실행하는지 여부를 판정하고, 또한, 실행하고 있지 않은 클래스가 남아 있는 경우에는 스텝(S38)로 복귀하고, 그 이후의 처리를 반복하여 실행한다.
스텝(S39)에서, 모든 클래스에 대한 정규 방정식을 푸는 처리가 완료한다고 판정된 경우, 처리는 종료된다.
이와 같이 해서 클래스 코드와 관련 부착되어 계수 메모리(49)에 기억된 예측 계수 세트는 도 4에 도시한 화상 신호 처리부(8)의 계수 메모리(32)에 기억되게 된다. 그리고, 화상 신호 처리부(8)의 적응 처리부(31)는 전술한 바와 같이 계수 메모리(32)에 기억되어 있는 예측 계수 세트를 이용하여, 식(3)에 도시한 선형 1차 결합 모델에 의해 주목 화소에 대해 적응 처리를 행한다.
도 16a 내지 도 16c, 도 17a 내지 도 17c, 도 18a 내지 도 18c 및 도 19a 내지 도 19c는 베이어 배열의 색 필터 어레이에 의해 색 코딩된 화상 신호에 대해, 주목 화소(도면 중 사선을 붙인 화소)의 위치에 R 신호, G 신호 또는 B 신호를 생성하는 경우, 및 그것을 위한 예측 계수 세트를 산출할 때에, 클래스를 결정하는 것을 이용하도록 클래스 탑의 한 예의 구조를 도시한다.
도 16a 내지 도 16c에 도시하는 클래스 탑 1은 좌우 방향으로 R 신호의 화소가 인접하는 G 신호의 화소를 주목 화소로 한 경우를 도시하고 있다.
도 16a에 도시한 클래스 탑 1은 주목 화소의 G 신호의 위치에 R 신호를 생성할 때에 이용되는 예측 계수 세트를 산출할 때에 이용되고, G 신호의 주목 화소에 인접하는 좌우 방향으로 위치하는 R 신호의 화소와, 그들 R 신호의 화소보다 1화소 떨어진 상 방향, 하 방향 및 우 방향 또는 좌 방향으로 위치하는 R 신호의 화소, 합계 8 화소로 구성된다.
도 16b에 도시한 클래스 탑 1은 주목 화소의 G 신호의 위치에 G 신호를 생성할 때에 이용되는 예측 계수 세트를 산출할 때에 이용되고, G 신호의 주목 화소에 인접하는 경사 방향으로 위치하는 G 신호의 화소와, G 신호의 주목 화소보다 1 화소 떨어진 상 방향 또는 하 방향, 및 우 방향 또는 좌 방향으로 위치하는 G 신호의 화소의 합계 9 화소(주목 화소를 포함함)로 구성되어 있다.
도 16c에 도시한 클래스 탑 1은 주목 화소의 G 신호의 위치에 B 신호를 생성할 때에 이용되는 예측 계수 세트를 산출할 때에 이용되고, G 신호의 주목 화소에 인접하는 상하 방향으로 위치하는 B 신호의 화소와, 그들 B 신호의 화소보다 1 화소 떨어진 상 방향 또는 하 방향 및 우 방향 또는 좌 방향으로 위치하는 B 신호의 화소, 합계 8 화소로 구성되어 있다.
도 17a 내지 도 17c에 도시하는 클래스 탑 2는 좌우 방향으로 B 신호의 화소가 인접하는 G 신호의 화소를 주목 화소로 한 경우를 도시하고 있다.
도 17a에 도시한 클래스 탑 2는 주목 화소의 G 신호의 위치에 R 신호를 생성할 때에 이용되는 예측 계수 세트를 산출할 때에 이용되고, G 신호의 주목 화소에 인접하는 상하 방향으로 위치하는 R 신호의 화소와, 그들 R 신호의 화소보다 1화소 떨어진 상 방향, 하 방향 및 우 방향 또는 좌 방향으로 위치하는 R 신호의 화소, 합계 8 화소로 구성된다.
도 17b에 도시한 클래스 탑 2는 주목 화소의 G 신호의 위치에 G 신호를 생성할 때에 이용되는 예측 계수 세트를 산출할 때에 이용되고, G 신호의 주목 화소에 인접하는 경사 방향으로 위치하는 G 신호의 화소와, G 신호의 주목 화소보다 1화소 떨어진 상 방향 또는 하 방향, 및 우 방향 또는 좌 방향으로 위치하는 G 신호의 화소, 합계 9 화소(주목 화소를 포함함)로 구성되어 있다.
도 17c에 도시한 클래스 탑 2는 주목 화소의 G 신호의 위치에 B 신호를 생성할 때에 이용되는 예측 계수 세트를 산출할 때에 이용되고, G 신호의 주목 화소에 인접하는 좌우 방향으로 위치하는 B 신호의 화소와, 그들 B 신호의 화소보다 1 화소 떨어진 상 방향 또는 하 방향 및 우 방향 또는 좌 방향으로 위치하는 B 신호의 화소, 합계 8 화소로 구성되어 있다.
도 18a 내지 도 18c에 도시하는 클래스 탑 3은 좌우 방향으로 G 신호의 화소가 인접하는 B 신호의 화소를 주목 화소로 한 경우를 도시하고 있다.
도 18a에 도시한 클래스 탑 3은 주목 화소의 B 신호의 위치에 R 신호를 생성할 때에 이용되는 예측 계수 세트를 산출할 때에 이용되고, B 신호에 인접하는 경사 방향으로 위치하는 R 신호의 화소와, 그들 R 신호의 화소보다 1화소 떨어진 상 방향, 하 방향 또는 좌 방향으로 위치하는 R 신호의 화소, 합계 8 화소로 구성되어 있다.
도 18b에 도시한 클래스 탑 3은 주목 화소의 B 신호의 위치에 G 신호를 생성할 때에 이용되는 예측 계수 세트를 산출할 때에 이용되고, B 신호의 주목 화소에 인접하는 사선 방향으로 위치하는 G 신호의 화소와, 이들 G 신호의 화소 경사 상 방향 또는 경사 하 방향에 위치하는 G 신호의 화소, 합계 8 화소로 구성되어 있다.
도 18c에 도시한 클래스 탑 3은 주목 화소의 B 신호의 위치에 B 신호를 생성할 때에 이용되는 예측 계수 세트를 산출할 때에 이용되고, B 신호의 주목 화소보다 1 화소 떨어진 상하 방향 또는 우좌 방향 및 경사 방향으로 위치하는 R 신호의 화소, 합계 9 화소(주목 화소를 포함함)로 구성되어 있다.
도 19a 내지 도 19c에 도시하는 클래스 탑 4는 좌우 방향으로 G 신호의 화소가 인접하는 R 신호의 화소를 주목 화소로 한 경우를 도시하고 있다.
도 19a에 도시한 클래스 탑 4는 주목 화소의 R 신호의 위치에 R 신호를 생성할 때에 이용되는 예측 계수 세트를 산출할 때에 이용되고, R 신호의 주목 화소보다 1화소 떨어진 상하 방향, 좌우 방향 및 경사 방향으로 위치하는 R 신호의 화소, 합계 9 화소(주목 화소를 포함함)로 구성되어 있다.
도 19b에 도시한 클래스 탑 4는 주목 화소의 R 신호의 위치에 G 신호를 생성할 때에 이용되는 예측 계수 세트를 산출할 때에 이용되고, R 신호의 주목 화소에 인접하는 상하 좌우 방향으로 위치하는 G 신호의 화소와, 그들 G 신호의 화소 경사 상 방향 또는 경사 하 방향으로 위치하는 G 신호의 화소, 합계 8 화소로 구성되어 있다.
도 19c에 도시한 클래스 탑 4는 주목 화소의 R 신호의 위치에 B 신호를 생성할 때에 이용되는 예측 계수 세트를 산출할 때에 이용되고, R 신호에 인접하는 경사 방향으로 위치하는 B 신호의 화소와, 그들 R 신호의 화소보다 1 화소 떨어진 상 방향, 하 방향, 우 방향 또는 좌 방향으로 위치하는 R 신호의 화소, 합계 8 화소로 구성되어 있다.
이 디지탈 스틸 카메라(1)에서는 블럭화부(28)에서 주목 화소의 화상 신호의 색의 종류와, 그 주목 화소의 위치에 생성하는 화상 신호의 색 종류에 의해, 전술한 클래스 탑 1 내지 4를 사용하여 나누어 추출된 복수 화소에 기초하여 클래스 탑을 추출하고, 추출된 클래스 탑에 대해 ADRC 처리부(29)에서 ADRC 처리를 실시함으로써 특징 정보를 생성한다. 그리고, 적응 처리부(31)에서, ADRC 처리에 의해 생성된 특징 정보를 클래스 분류부(30)에서 분류함으로써 얻어지는 클래스 번호(클래스 코드)에 대응하는 계수 세트를 계수 메모리(32)로부터 판독하여 식(3)에 도시한 선형 1차 결합 모델에 의해 주목 화소에 대해 적응 처리를 행함으로써, 상기 주목 화소의 위치에, 모든 색 성분과는 다른 색 성분을 갖는 화소를 생성할 수 있다.
이와 같이, 입력 화상 신호의 주목 화소에 기초하여, 클래스 탑과 예측 탑을 추출하고, 추출된 클래스 탑에서 클래스 코드를 생성하며, 그 생성된 클래스 코드에 대응하는 예측 계수 세트와 예측 탑을 이용하여 주목 화소의 위치에 RGB 전체 색 신호를 생성하도록 했기 때문에, 해상도가 높은 화상 신호를 얻는 것이 가능하게 된다.
또한, 입력된 교사 화상 신호에서 학생 화상 신호를 생성하고, 그 학생 화상 신호의 주목 화소에 기초하여 클래스 탑을 추출하고, 학생 화상 신호의 주목 화소에 대응하는 위치에 위치하는 교사 화상 신호의 화소값을 추출하며, 추출된 클래스 탑에서 클래스 코드를 생성하고, 추출된 클래스 탑과 화소값을 이용하여 학생 화상의 주목 화소의 위치에 새롭게 색 신호를 생성하기 위한 연산에 이용하는 예측 계수 세트를 산출하고, 산출된 예측 계수 세트와 클래스 코드를 관련 부착하여 기억하도록 했기 때문에, 해상도가 높은 화상을 얻기 위한 처리를 행하는 화상 신호 처리 장치를 이용하는 예측 계수 세트를 산출할 수 있다.
또한, 전술한 설명에서는 화상 신호 처리부(8)가 적응 처리에 이용하는 예측 탑과, 학습 장치(40)가 예측 계수 세트를 산출할 때에 이용하는 클래스 탑은 다른 구조로 했지만, 동일한 구조로서도 좋다. 또한, 예측 탑과 클래스 탑은 전술한 구조에 한정되는 것은 아니다.
또한, 전술한 설명에서는 색코딩 필터(4)로서, 베이어 배열의 것을 이용한 경우를 설명했지만, 다른 색 코딩 필터를 이용한 경우에서도 본 발명을 적응하는 것은 가능하다.
여기에서, 디지탈 스틸 카메라(1)의 CCD 이미지 센서(5)에서 이용할 수 있는 색 코딩 필터(4)를 구성하는 색 필터 어레이의 구성 예를 도 20a 내지 도 20n에 도시한다.
도 20a ~ 도 20g는 원색(R, G, B) 성분을 통과시키는 원색 필터 어레이로 구성된 색 코딩 필터(4)에서의 녹색(G), 적색(R), 청색(B)의 색 배열의 예를 도시하고 있다.
도 20a는 베이어 배열을 도시하고, 도 20b는 인터라인 배열을 도시하며, 도 20c는 G 스트라이프 RB 체크 무늬 배열을 도시하고, 도 20d는 G 스트라이프 RB 완전 체크 무늬 배열을 도시하며, 도 20e는 스트라이프 배열을 도시하고, 도 20f는 경사 스트라이프 배열을 도시하며, 도 20g는 원색 색차 배열을 도시한다.
또한, 도 20h ~ 도 20n은 보색(M, Y, C, W, G) 성분을 통과시키는 보색 필터 어레이로 구성된 색 코딩 필터(4)에서의 마젠타(M), 황색(Y), 시안(C), 백색(W)의 색 배열을 도시한다. 도 20h는 필터 색차 순차 배열을 도시하고, 도 20i는 프레임 색차 순차 배열을 도시하며, 도 20j는 MOS형 배열을 도시하고, 도 20k는 개량 MOS형 배열을 도시하며, 도 20l은 프레임 인터리브 배열을 도시하고, 도 20m은 필드 인터리브 배열을 도시하며, 도 20n은 스트라이프 배열을 도시한다.
또한, 보색(M, Y, C, W, G) 성분은
Y = G + R
M = R + B
C = G + B
W = R + G + B
로 제공된다. 또한, 도 20i에 도시하는 프레임 색차 순 대응의 색 코딩 필터(4)를 통과하는 각 색(YM, YG, CM, CG) 성분은
YM = Y + M = 2R + G + B,
CG = C + G = 2G + B,
YG = Y + G = R + 2G
CM = C + M = R + G + 2R
로 제공된다.
이와 같이 해서 적응 처리에 의해 단판식 카메라의 CCD 출력 상당의 화상 신호로부터 얻어지는 3판식 카메라의 CCD 출력 상당의 화상 신호는 종래의 선형 보간처리에 의한 경우와 비교하여 선명한 화상이 되기 때문에, 또한, 보간 처리를 실시하여, 예를 들면 4배 밀도의 화상을 생성하도록 해도, 화상의 선명도를 높게 유지할 수 있다. 즉, 예를 들면, 도 21a에 도시하는 바와 같이, n x m(n 및 m은 정의 정수)개의 화소로 구성되는 CCD 이미지 센서의 출력 화상 신호로부터, 도 21b(B1)에 도시하는 바와 같이, n x m개의 R 화소의 화상 신호, n x m개의 G 화소의 화상 신호 및 n x m개의 B 화상 신호, 즉 3판식 카메라의 CCD 출력 상당의 화상 신호를 적응 처리에 의해 구하고, 또한, n x m개의 R 화소의 화상 신호로부터 2n x 2m개의 R 화상 신호를 예측 연산에 의해 구하며, n x m개의 G 화소의 화상 신호로부터 2n x 2m개의 G 화소의 화상 신호를 예측 연산에 의해 구하고, n x m개의 B 화소의 화상 신호로부터 2 n x 2m개의 화소의 화상 신호가 예측 연산에 의해 구함으로써, 선명한 4배 밀도의 화상을 생성할 수 있다.
여기에서, 디지탈 스틸 카메라(1)에서 화상 신호 처리부(8)에서는 CCD 이미지 센서(5)의 출력으로부터 보다 고밀도(이 예의 경우, 4배 밀도)의 화상 신호를 적응 처리에 의해 직접 생성할 수도 있다.
예를 들면, 도 22a에 도시하는 n x m(n 및 m은 정의 정수)개의 화소로 구성되는 CCD 이미지 센서의 출력 화상 신호로부터 도 22b에 도시하는 2n x 2m개의 R 화소의 화상 신호, 2n x 2m개의 G 화소의 화상 신호 및 2n x 2m개의 B 화소의 화상 신호를 각각 직접 생성하는 적응 처리를 행한다.
이 경우, 화상 신호 처리부(8)에서는 블럭화부(28)에 의해 입력 화상 신호를 p x q(p 및 q는 정의 정수) 개의 블럭으로 분할하고, ADRC 처리부(29)에서 각 블럭마다 다음과 같은 클래스 탑을 추출하고, 그 클래스 탑에 ADRC 처리를 실시한다.
도 23 내지 도 26은 클래스 탑의 예를 도시하고 있다. 본 예에서는 CCD 이미지 센서(5)의 색 필터 어레이가 베이어 배열의 것인 경우의 예를 도시하고 있다. 도 23은 1개의 R 화소 주위에 4배 밀도의 RGB 전체의 화소를 생성하는 경우의 클래스 탑의 예를 도시하고 있다. 도면 중, 생성하는 화소는 x 표시로 표현되어 있고, 클래스 탑은 굵은 테두리로 도시되어 있다.
도 24와 도 25는 1개의 G 화소 주위에 4배 밀도의 RGB 전체의 화소를 생성하는 경우의 클래스 탑을 도시하고 있고, 도 24는 R 화소가 존재하는 행(行)의 G 화소의 주위에 화소를 생성하는 경우의 클래스 탑의 예를 도시하며, 도 25는 B 화소가 존재하는 행(行)의 G 화소의 주위에 4배 밀도의 RGB 전체 화소를 생성하는 경우 의 클래스 탑의 예를 도시하고 있다.
도 26은 1개의 B 화소의 주위에 4배 밀도의 RGB 전체 화소를 생성하는 경우의 클래스 탑의 예를 도시하고 있다.
ADRC 처리부(29)는, 예를 들면 R 화소 주위의 4 화소의 R, G, B의 각 색 성분의 화상 신호를 생성하는 경우, 도 23의 굵은 테두리로 표시하는 26개의 화소 중 대응하는 색의 화소를 클래스 탑으로서 추출하고, 각각의 R, G, B의 성분 신호값을 ADRC 처리한다.
클래스 분류부(30)는 스텝(S17)에서 ADRC 처리부(31)로 입력된 신호로부터 클래스 분류 처리를 행한다. 즉, 예를 들면 도 23에 도시하는 바와 같은 26개의 화소 중 추출된 색의 화소에 대해 ADRC 처리하여 얻어진 신호값에 대응하는 클래스를 결정하고, 그 클래스 번호를 적응 처리부(31)에 공급한다. 적응 처리부(31)는 스텝(S18)에서, 클래스 분류부(30)로 공급된 클래스 번호에 대응하는 예측 계수 세트를 계수 메모리(32)로부터 판독하고, 그 예측 계수 세트를 대응하는 예측 탑에 승산하며, 그 합을 구함으로써, 4배 밀도의 화소의 화상 신호를 생성한다.
도 27 내지 도 30은 예측 탑의 예를 도시하고 있다. 도 27은 1개의 R 화소 주위에 4배 밀도의 4개의 화소를 생성하는 경우의 예측 탑의 예를 도시하고 있다. 도 28과 도 29는 1개의 G 화소 주위에 4배 밀도의 4개의 화소를 생성하는 경우의 예측 탑의 예를 도시하고, 도 28은 R 화소가 존재하는 행의 G 화소 주위에 4배 밀도의 화소를 생성하는 경우의 예측 탑을 도시하고 있으며, 도 29는 B 화소가 존재하는 행의 G 화소 주위에 4배 밀도의 화소를 생성하는 경우의 예측 탑의 예를 도시하고 있다.
도 30은 1개의 B 화소 주위에 4배 밀도의 4개 화소를 생성하는 경우의 예측 탑의 예를 도시하고 있다.
도 27 내지 도 30을 참조하면서 명백해진 바와 같이, 본 예에서는 4배 밀도의 4개 화소에 대응하는 주목 화소 주위의 5 x 5개의 화소가 예측 탑으로 된다.
적응 처리부(31)는, 예를 들면 도 27에 도시하는 1개의 R 화소의 좌상의 4배 밀도의 화소를 예측하는 경우, 클래스 분류부(30)로 공급된 클래스 번호의 계수 세트 중 좌상의 화소를 예측하는 경우의 예측 계수 세트를 대응하는 예측 탑에 승산하고, 그 합을 구한다. 마찬가지의 처리가, 우상, 좌하, 우하의 각 예측 화소를 생성하는 경우에도 행해진다.
이와 같은 클래스 분류 적응 처리에 의해, n x m개의 화소로 구성되는 1매의 화상 신호(각 화소는 1개의 색 신호만을 갖고 있다)로부터 2n x 2m개의 R 화소의 화상 신호, 2n x 2m개의 G 화소의 화상 신호, 및 2n x 2m개의 B 화소의 화상 신호가 직접 생성함으로써, 일단 n x m개의 R의 화상 신호, n x m개의 G 화소의 화상 신호 및 n x m개의 B 화소의 화상 신호를 생성하고 나서 4배 밀도의 화상 신호를 생성하는 경우에 비교하여 보다 고정밀도의 화상을 얻는 것이 가능하게 된다.
이 경우, 학습 장치(40)에서는 4배 밀도의 화상 신호를 교사 화상 신호로 하고, 세선화부(41)에 입력된 교사 화상 신호에 대해 촬상계에서 갖고자 하는 배율의 역 배율의 색 필터를 상정한 세선화 처리를 행함으로써, 단판 카메라의 CCD 이미지 센서(5)가 출력한 화상 신호에 대응하는 학생 화상 신호를 생성함으로써, 전술한 바와 같은 적응 처리를 행하기 위한 예측 계수 세트를 얻을 수 있다.
즉, 학습 장치(40)에서는 복수 색 중 어느 하나를 표현하는 색 성분을 화소 위치마다 갖는 소정수의 샘플 값에 의해, 1매의 화상이 구성되는 학생 화상 신호로부터 상기 소정수의 샘플값보다 많은 샘플값을 갖는 예측 화상 신호의 주목 화소 근방의 복수 화소를 추출하고, 추출된 복수 화소에 기초하여 클래스를 결정하며, 상기 예측 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터 상기 주목 화소의 위치에 상당하는 위치 근방의 복수 화소를 추출하여 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성한다.
이상의 실시 형태의 효과를 평가하기 위해, 색 필터 어레이로서 베이어 배열의 것을 이용한 경우를 상정하고, ITE(Institute of Television Engineers)의 하이 비젼 표준 화상 9매를 사용하고, 예측 계수 세트의 산출에 관해서도 그 9매를 이용하여 시뮬레이션을 행했다.
3판식 카메라의 CCD 출력 상당의 화상 신호로부터, 클래스 분류 적응 처리의 배율과 화소의 위치 관계를 고려한 세선화 조작에 의해, 단판식 카메라의 CCD 출력 상당의 화상 신호를 생성하고, 학습 장치(40)와 마찬가지의 처리를 행하는 알고리즘으로 예측 계수 세트를 생성한다. 그리고, 단판식 카메라의 CCD 이미지 센서의 출력을 종과 횡 각각 2배씩 화소 수를 갖는 변환 처리를 그 예측 계수 세트를 이용하여 클래스 분류 적응 처리에 의해 예측 생성했다. 클래스 탑 및 예측 탑은 도 23 내지 도 30에 도시하는 것을 이용했다. 클래스 탑에 대해서는 RGB 각각 독립으로 취급하고, 예측 탑은 RGB를 혼합하여 사용했다.
시뮬레이션의 결과, 도 21a에 도시하는 바와 같은 단판식 카메라의 CCD 출력으로부터 도 21b에 도시하는 바와 같은 3판식 카메라의 CCD 출력 상당의 화상 신호를 통해 4배 밀도의 화상 신호를 얻는 경우에 의해, 엣지나 세부의 정밀도가 향상하고 있고, 보다 높은 해상도의 화상이 얻어졌다. 클래스 분류 적응 처리 대신에, 선형 보간 처리에 대해서도 시뮬레이션하여 보았지만, 클래스 분류한 쪽이 해상도도, S/N비도 양호한 결과가 얻어졌다.
또한, 이상에서는 단판 CCD 이미지 센서의 출력을 4배 밀도의 화상 신호로 하도록 했지만, 그 이외 배율의 화상 신호를 생성하는 경우에도, 본 발명은 적용하는 것이 가능하다.
또한, 본 발명은 디지탈 스틸 카메라 이외의 비디오 카메라, 그외의 화상 처리 장치에 적용하는 것이 가능하다.
여기에서, 상기 디지탈 스틸 카메라(1)의 CCD 이미지 센서(5)에 CCD 이미지 센서(5)에 이용할 수 있는 색 코딩 필터(4)를 구성하는 색 필터 어레이의 구성은 각종이 존재하지만, 색 필터 어레이 중에서 각 신호값이 갖는 정보의 밀도에 차가 있는 경우, 각 색 신호마다 독립으로 클래스 분류 적응 처리를 행한 것에서는 정보의 밀도 차에 의해 예측 정도에 차가 발생한다. 즉, 예를 들면 베이어 배열의 색 필터 어레이가 이용되는 경우에, R, G, B의 각 색 신호마다 독립으로 클래스 분류 적응 처리를 행한 것에서는 m x n(m 및 n은 정의 정수)개의 화소 중 R 화소의 B 화 소에 대해서는 4 화소에 1개의 비율로만 존재한 것에도 불구하고, G(4 화소에 2개의 비율로 존재함)와 마찬가지의 처리가 되게 된다. 이 때문에, R과 B에 관해서는 G와 비교하여 정도가 양호한 예측 처리를 행할 수 없다.
이와 같이, 정보의 밀도에 차가 있는 경우에는, 가장 고밀도로 배치되어 있는 색 성분만을 이용하여 화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호의 주목 화소마다 상기 복수의 색 성분 중 가장 고밀도인 색 성분을 갖고, 상기 주목 화소 근방에 위치하는 복수의 화소를 추출하며, 추출된 복수 화소에 기초하여 결정된 클래스에 기초하여 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성함으로써 예측 정밀도를 향상시킬 수 있다.
이 경우의 베이어 배열의 색 필터 어레이에 의해 색 코딩된 화상 신호에 대한 클래스 탑과 예측 탑의 구체 예에 대해 설명한다. 예를 들면, 도 31에 도시하는 바와 같이, B 화소를 예측 화소 위치로 하는 경우, 도 32에 도시하는 바와 같이 그 예측 화소 위치에 있는 B 화소의 상하좌우에 인접하는 4개의 G 화소, 좌측에 인접하는 G 화소의 좌상과 좌하에 인접하는 2개의 G 화소, 또한, 예측 화소 위치에 있는 B 화소의 우측에 인접하는 G 화소의 우상과 우하에 인접하는 2개의 G 화소의 합계 8개의 G 화소가 클래스 탑으로 된다. 그리고, 이 경우에서의 예측 탑으로서는 도 33에 도시하는 바와 같이 중앙의 B 화소를 중심으로 하는 5 x 5개의 RGB의 각 성분을 포함하는 화소가 이용된다.
또한, 도 34에 도시하는 바와 같이, R 화소가 예측 화소 위치로 되는 경우, 도 35에 도시하는 바와 같이, 그 예측 화소 위치에 있는 R 화소의 상하좌우에 인접하는 4개의 G 화소, 좌측에 인접하는 G 화소의 좌상과 좌하에 인접하는 2개의 G 화소, 또한, 우측에 인접하는 G 화소의 우상과 우하에 인접하는 2개의 화소인 합계 8개의 G 화소가 클래스 탑으로 된다. 이 경우에서의 예측 탑으로서는 도 36에 도시하는 바와 같이, 예측 화소 위치에 있는 R 화소를 중심으로 하는 5 x 5개의 RGB의 각 색 성분을 포함하는 25개의 화소가 이용된다.
또한, 도 37에 도시하는 바와 같이, G 화소가 예측 화소 위치로 되는 경우, 예측 화소 위치에 있는 G 화소와 인접하는 화소의 색 차이에 대응하는 도 38a 및 도 38b에 도시하는 바와 같은 화소가 클래스 탑으로서 이용된다. 즉, 도 38a에 도시하는 클래스 탑은 예측 화소 위치에 있는 G 화소의 좌상, 좌하, 우상 및 우하에 인접하는 4개의 G 화소, 예측 화소 위치에 있는 G 화소로부터 상하 방향으로 R 화소를 통해 인접하는 2개의 G 화소, 및 수평 방향으로 B 화소를 통해 인접하는 2개의 G 화소, 및 자기 자신을 포함하는 합계 9개의 G 화소에 의해 구성되어 있다. 또한, 도 38b에 도시하는 클래스 탑은 예측 화소 위치에 있는 G 화소의 좌상, 좌하, 우상 및 우하에 인접하는 4개의 G 화소, 예측 화소에 있는 G 화소로부터 상하 방향으로 B 화소를 통해 인접하는 2개의 G 화소, 및 수평 방향으로 R 화소를 통해 인접하는 2개의 G 화소, 및 자기 자신을 포함하는 합계 9개의 G 화소에 의해 구성되어 있다. 또한, 이 경우에서의 예측 탑으로서는 도 39a 및 도 39b에 도시하는 바와 같이, 예측 화소 위치에 있는 화소를 포함하고, 그 주위의 5 x 5개의 RGB의 각 색 성분을 포함하는 화소가 이용된다.
RGB의 각 신호값으로부터 휘도 신호 Y는 다음 식에 따라 연산된다.
Y = 0.59G + 0.30R + 0.11B
이와 같이, 휘도 신호 Y에 제공하는 영향은 G 성분이 가장 높고, 따라서, 도 31에 도시하는 바와 같이, 베이어 배열의 경우에서도 G 성분의 화소가 가장 고밀도로 배치되어 있다. 휘도 신호 Y는 인간의 시각 특성, 해상도에 영향을 미치는 정보를 다량으로 포함하고 있다.
그래서, 클래스 탑을 G 성분의 화상 신호를 G 화소만으로부터 구성하면, 보다 정밀도 좋은 클래스를 결정할 수 있고, 정밀도가 양호한 클래스 분류 적응 처리가 가능하게 된다.
이 경우, 학습 장치(40)에서는 화소 위치마다 복수 색 중 어느 하나를 표현하는 색 성분을 갖는 학생 화상 신호의 주목 화소 근방에 위치하고, 복수의 색 성분 중 가능 고밀도인 색 성분을 갖는 복수 화소를 추출하며, 추출된 복수 화소에 기초하여 클래스를 결정함으로써 전술한 바와 같은 적응 처리를 행하기 위한 예측 계수 세트를 얻을 수 있다.
이상의 실시 형태의 효과를 평가하기 위해, 각 필터 어레이로서 베이어 배열인 것을 이용한 경우를 상정하고, ITE(Institute of Television Engineers)의 하이 비젼 표준 화상 9매를 사용하고, 예측 계수 세트의 산출에 관해서도 그 9매를 이용하여 시뮬레이션을 행했다. 3판식 카메라의 CCD 출력 상당의 화상 신호로부터 클래스 분류 적응 처리의 배율과 화소의 위치 관계를 고려한 세선화 조작에 의해 단판식 카메라의 CCD 출력 상당의 화상 신호를 생성하고, 학습 장치(40)와 마찬가지의 처리를 행하는 알고리즘으로 예측 계수 세트를 생성함과 동시에, 단판식 카메라의 CCD 이미지 센서의 출력에 대해 전술한 클래스 분류 적응 처리에 의해 예측 처리를 행하고, 종과 횡 각각 2배씩 화소 수를 갖는 화상 신호로 변환한 결과, R(G 또는 B)의 화소를 예측하는 경우의 클래스 탑을 RGB가 혼합하는 화소로 한 때보다 엣지나 세부의 정밀도가 향상하고 있고, 보다 높은 해상도의 화상이 얻어졌다. 클래스 분류 적응 처리 대신에, 선형 보간 처리에 대해서도 시뮬레이션했지만, 클래스 분류한 쪽이 해상도도, S/N 비도 양호한 결과가 얻어졌다.
상기 시뮬레이션에 의한 S/N 비의 평가 결과로서, 표준 화상 A, B, C에 대한 클래스 적응 처리 생성한 각 색 신호의 S/N 비는 클래스 탑으로서 RGB의 각 화소를 독립으로 추출하는 클래스 적응 처리에서는
표준 화상 A
R : 35.22 db
G : 35.48 db
B : 34.93 db
표준 화상 B
R : 32.45 db
G : 32.40 db
B : 29.29 db
표준 화상 C에서는
R : 24.75 db
G : 25.31 db
B : 23.23 db
인 것이지만, 클래스 탑으로서 G 화소를 이용한 클래스 적응 처리에서는
표준 화상 A
R : 35.38 db
G : 35.48 db
B : 35.13 db
표준 화상 B
R : 32.60 db
G : 32.40 db
B : 29.46 db
표준 화상 C
R : 24.99 db
G : 25.31 db
B : 23.79 db
가 얻어진다.
이와 같이 정보의 밀도에 차가 있는 경우에는, 예를 들면 상기 클래스 탑으로서 가장 고밀도로 배치되어 있는 색 성분의 화소만을 이용함으로써, 예측 정밀도를 향상시킬 수 있다.
또한, 절단된 복수의 색 신호를 포함하는 클래스 탑에 색 필터 어레이의 각 색 신호마다 별개로 ADRC 처리를 행함으로써 얻어지는 결과를 합해 클래스를 결정하도록 하면, 보다 고정밀도로 예측 처리를 행할 수 있고, 해상도가 높은 화상 신호를 생성할 수 있다.
단판식 카메라의 CCD 이미지 센서에 의해 생성되는 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호로부터 입력 화상 신호의 주목 화소마다 상기 주목 화소 근방의 복수의 화소를 추출하고, 추출된 각 색 성분마다 복수의 화소의 공간 액티비티를 특징 정보로서 ADRC 처리에 의해 생성하며, 생성한 특징 정보에 기초하여 클래스를 결정하고, 결정된 클래스에 기초하여 상기 주목 화소의 위치에 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 클래스 분류 적응 처리를 상기 예측 처리부(25)에서 행함으로써, 3판식 카메라의 CCD 출력 상당의 화상 신호를 얻을 수 있다.
즉, ADRC 처리부(29)의 출력, 즉 재양자화 코드가 공급되는 클래스 분류부(30)에서, 상기 재양자화 코드에 기초하여 화상 신호 패턴, 즉 공간 액티비티의 분류를 행하고, 분류 결과를 도시하는 클래스 번호를 생성함으로써, 클래스 분류가 보다 적절하게 되고, 예측 처리 정밀도를 향상시킬 수 있다.
이 경우의 베이어 배열의 색 필터 어레이에 의해 색 코딩된 화상 신호에 대한 클래스 탑과 예측 탑의 구체 예에 대해 설명한다.
도 40a, 도 40b 및 도 40c는 B 화소 위치에, R, G, B 각각의 색 신호를 생성하는(B 화소의 위치에도 B 성분의 화상 신호를 생성한다) 경우의 탑 구조의 한 예를 도시하고 있다.
또한, 도 41a, 도 41b 및 도 41c는 G 화소의 위치에 R, G, B 각각의 색 신호를 생성하는(B 화소의 위치에도 B 성분의 화상 신호를 생성한다) 경우의 탑 구조의 한 예를 도시하고 있다. 도 40a ~ 도 40c 및 도 41a ~ 도 41c에서, 이중환이 예측되어야 할 화소, 즉 예측 화소의 위치를 도시한다. 도 40b 및 도 41b에서, ADRC 처리에 이용되는 화소의 외부 테두리 위치를 도시하고, 또한, 삼각형이 실제로 클래스 탑으로서 절단되는 화소의 외부 테두리 위치를 도시한다. 도 40b 및 도 41b에서, 삼각형이 예측 탑으로서 절단되는 화소의 외부 테두리 위치를 도시한다.
도 40a에 도시하는 바와 같이 G 화소의 위치에 R, G, B 각각의 색 신호를 예측 생성하는 경우에는, 예를 들면 도 40b에 도시하는 바와 같은 화소가 클래스 탑으로서 절단된다. 즉, 예측 생성되어야 할 위치의 화소와, 그것에 인접하는 화소와의 총 9개의 화소(삼각형으로 도시함)를 클래스 탑으로서 절단하여 맞추어, 클래스 탑 중에는 G 화소가 1개밖에 포함되지 않기 때문에, ADRC 처리에 의해 클래스 분류에 사용하는 특징 정보를 확실히 추출할 수 없지만, 실제로 클래스 탑으로서 절단되는 화소의 범위보다도 넓은 범위의 화소를 ADRC 처리에 이용함으로써, 클래스 분류에 사용하는 특징 정보를 확실히 추출할 수 있다.
그리고, 도 40c에 도시하는 바와 같이, 예측 탑이 절단된다. 즉, R, G, B의 각 화소가 혼합되는 바와 같은 화소 위치를 예측 탑으로서 절단하고, 예측 탑의 신호에 기초하여 각 클래스에 대응하는 예측 계수 세트를 이용한 가중 가산 등의 연산을 행함으로써 예측 위치의 화소 신호를 예측 생성한다.
베이어 배열의 경우에는 R, G, B 각각의 색 신호에 대응하는 화소 수가 1 : 2 : 1이다. 따라서, R, G, B 각각의 색 신호를 R 화소의 위치에 예측 생성하는 경 우에는 전술한 R, G, B 각각의 신호를 R 화소의 위치에 예측 생성하는 경우와 마찬가지인 클래스 탑 구조 및 예측 탑 구조를 이용할 수 있다.
한편, 도 41a에 도시하는 바와 같이, G 화소 위치에 R, G, B 각각의 색 신호를 예측 생성하는 경우에는, 예를 들면 도 41b에 도시하는 바와 같은 화소가 클래스 탑으로서 절단된다. 즉, 도 41b에 도시하는 바와 같이 예측 화소 위치에 있는 화소를 중심으로 한 인접하는 9개의 화소(삼각형으로 도시함)를 클래스 탑으로서 절단하거나, 또는 특히 화소 수가 작은 색 신호에 대해서는 클래스 탑의 범위가 사각형으로 도시하는 화소 등에까지 넓어진다. 그리고, 클래스 탑의 신호에 기초하여 ADRC 처리가 되어, 처리 결과로부터 중심 화소만 추출함으로써 클래스 분류가 된다. 또한, R, G, B의 각 화소간의 관계를 클래스 분류 결과에 반영시키는 처리가 행해진다. 예를 들면, 각 신호의 ADRC 처리시 다이나믹 레인지의 대소 관계 및 역치값 처리의 결과, ADRC 처리시의 최대값 및 최소값의 관계 등을 수 비트의 정보에 의해 부가함으로써, 보다 고정밀도로, 해상도가 높은 화상 신호를 예측 생성할 수 있다.
또한, 도 41c에 도시하는 바와 같이 예측 탑이 절단된다. 즉, R, G, B의 각 화소가 혼합되는 바와 같은 화소를 예측 탑으로서 배치하고, 예측 탑의 신호에 기초하여 각 클래스에 대응하는 예측 계수 세트를 이용한 가중 가산 등의 연산을 행함으로써, 예측 위치의 화소 신호를 예측 생성한다.
전술한 바와 같이 되는 한 실시 형태의 효과를 평가하기 때문에, 색 필터 어레이로서 베이어 배열을 이용하는 경우를 상정하여 시뮬레이션을 행했다. 전술한 학습 장치(40)와 동일 동작을 행하는 알고리즘으로 예측 계수 세트를 생성함과 동시에, 세선화 처리에 의해 3판식 카메라의 CCD 출력에 상당하는 화상 신호로부터 단판식 카메라의 CCD 출력에 상당하는 화상 신호를 생성하고 전술한 클래스 분류 적응 처리에 예측 처리를 실시했다. 또한, 본 발명에 의한 효과와 비교하기 위해, 종래 방식인 선형 보간과, R, G, B 각각 독립으로 클래스 분류를 행한 클래스 분류 적응 처리를 실시하고 대비를 시험했다.
시뮬레이션에는 ITE(Institute of Television Engineers)의 하이 비젼 표준 화상 9매를 사용하고, 예측 계수 세트의 산출에 관해서도 그 9매를 이용했다. 그 결과, 선형 보간과의 비교에서는 모든 화상의 R, G, B 각 색상 신호에서 엣지 부분이나 세부의 정밀도가 증가하고, S/N 비의 향상도 확인되었다. 또한, R, G, B의 각 화상 신호 각각 독립으로 클래스 분류를 행한 클래스 분류 적응 처리와 비교한 경우도, 모든 화상에서 R 성분의 화상 신호와 B 성분의 화상 신호로 해상도의 향상이 확인되었다. 이와 같이, 본 발명의 한 실시 형태에서는 선형 보간이나, R, G, B의 각 색 신호 각각 독립으로 클래스 분류를 행한 클래스 분류 적응 처리와 비교하여, 엣지 부분이나 세부의 정밀도, S/N 비, 해상도 등에서의 화질의 향상이 실현된다.
또한, 클래스 탑 및 예측 탑의 탑 구조는 도 40a ~ 도 40c 및 도 41a ~ 도 41c에 도시한 것에 한정되지는 않는다. 원색 필터 어레이 또는 보색 필터 어레이의 배열, 생성해야 할 화상 신호의 해상도 등의 성질 등의 조건에 따라, 클래스 탑 및 예측 탑의 탑 구조를 적의 설정하도록 하면 좋다. 예를 들면, 출력 화상에 의해 고화질이 요구되는 경우에는 클래스 탑 및 예측 탑으로서 보다 많은 화소가 절단되도록 하면 좋다.
도 20a 내지 도 20n에 도시한 바와 같이, 단판식 카메라의 CCD 이미지 센서(5)에 이용할 수 있는 색 코딩 필터(4)를 구성하는 색 필터 어레이의 색 배열에는 각종 존재하지만, 상기 수법은 색 필터 어레이 중에서 각 신호값이 갖는 정보의 밀도에 차가 있는 모든 경우에 유효이다.
또한, CCD 이미지 센서의 화소 수에 비해, 예를 들면 종횡 각각 2배로 총 4배의 해상도를 갖는 등, 전술한 도 22a 및 도 22b에 도시한 바와 같은 변환에 의해, 해상도 등이 다른 화상 신호를 생성하는 경우에도, 본 발명을 적용할 수 있다. 즉, 생성하고자 하는 화상 신호를 교사 화상 신호로 하고, 디지탈 스틸 카메라(1)에 탑재되는 CCD 이미지 센서(5)로부터의 출력 화상 신호를 학생 화상 신호로서 학습을 행함으로써 생성되는 예측 계수 세트를 사용하여 클래스 분류 적응 처리를 행하도록 하면 좋다.
또한, 본 발명은 디지탈 스틸 카메라 이외에, 예를 들면 카메라 일체형 VTR 등의 영상 기기나, 예를 들면 방송 사업에 이용되는 화상 처리 장치, 또는, 예를 들면 프린터나 스캐너 등에 대해서도 적용할 수 있다.
또한, 상기 예측 처리부(25)에서의 클래스 분류 적응 처리나, 상기 학습 장치(40)에서 예측 계수 세트를 얻기 위한 학습 처리는, 예를 들면 도 42에 도시하는 바와 같이, 버스(311)에 접속된 CPU(Central Processing Unit : 312), 메모리(313), 입력 인터페이스(314), 사용자 인터페이스(315)나 출력 인터페이스(316) 등에 의해 구성되는 일반적인 컴퓨터 시스템(310)에 의해 실행할 수 있다. 상기 처리를 실행하는 컴퓨터 프로그램은 기록 매체에 기록되어 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체, 또는 클래스에 따른 예측 계수 세트를 생성하기 위한 학습 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체로서 사용자에 제공된다. 상기 기록 매체에는 자기 디스크, CD-ROM 등의 정보 기록 매체 외, 인터넷, 디지탈 위성 등의 네트워크에 의한 전송 매체도 포함된다.

Claims (84)

  1. 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리 장치에 있어서,
    상기 입력 화상 신호의 주목(注目) 화소마다 상기 주목 화소 근방의 복수의 화소를 추출하는 추출 수단과,
    상기 추출 수단으로 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래 스 결정 수단과,
    상기 클래스 결정 수단으로 결정된 클래스에 기초하여, 상기 주목 화소의 위치에, 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 수단을 구비하는 것을 특징으로 하는, 화상 신호 처리 장치.
  2. 제1항에 있어서,
    상기 화소 생성 수단은, 상기 주목 화소의 위치에, 모든 색 성분을 갖는 화소를 생성하는 것을 특징으로 하는, 화상 신호 처리 장치.
  3. 제1항에 있어서,
    상기 화소 생성 수단은,
    각 클래스마다 예측 계수 세트를 기억하는 기억 수단과,
    상기 클래스 결정 수단으로 결정된 클래스에 따른 예측 계수 세트와,
    상기 추출 수단에 의해 추출된 상기 주목 화소 근방의 복수의 화소에 기초한 연산을 행함으로써, 상기 다른 색 성분을 갖는 화소를 생성하는 연산 수단을 구비하는 것을 특징으로 하는, 화상 신호 처리 장치.
  4. 제3항에 있어서,
    상기 연산 수단은 상기 예측 계수 세트와 상기 주목 화소 근방의 복수의 화소값과의 선형 일차 결합에 기초한 연산을 행하는 것을 특징으로 하는, 화상 신호 처리 장치.
  5. 제3항에 있어서,
    상기 추출 수단은 상기 클래스 결정 수단과 상기 연산 수단에 대해 적어도 1 화소와 다른 화소를 추출하는 것을 특징으로 하는, 화상 신호 처리 장치.
  6. 제1항에 있어서,
    상기 색 성분으로 표현되는 색은 적색, 청색, 녹색 중 어느 것인 것을 특징으로 하는, 화상 신호 처리 장치.
  7. 제1항에 있어서,
    화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 상기 화상 신호를 취득하는 취득 수단을 더 구비하는 것을 특징으로 하는, 화상 신호 처리 장치.
  8. 제7항에 있어서,
    상기 취득 수단은 고체 촬상 소자인 것을 특징으로 하는, 화상 신호 처리 장치.
  9. 제8항에 있어서,
    상기 고체 촬상 소자는 베이어 배열의 CCD 이미지 센서인 것을 특징으로 하는, 화상 신호 처리 장치.
  10. 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리 방법에 있어서,
    상기 입력 화상 신호의 주목 화소마다, 상기 주목 화소 근방의 복수의 화소를 추출하는 추출 단계와,
    상기 화소 추출 단계에서 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와,
    상기 클래스 결정 단계에서 결정된 클래스에 기초하여, 상기 주목 화소의 위치에, 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 단계를 갖는 것을 특징으로 하는, 화상 신호 처리 방법.
  11. 제10항에 있어서,
    상기 화소 생성 단계에서는, 상기 주목 화소의 위치에, 모든 색 성분을 갖는 화소를 생성하는 것을 특징으로 하는, 화상 신호 처리 방법.
  12. 제10항에 있어서,
    상기 화소 생성 단계에서는, 상기 클래스 결정 단계에서 결정된 클래스에 따른 예측 계수 세트와 상기 추출 단계에서 추출된 상기 주목 화소 근방의 복수의 화소에 기초하여 연산을 행함으로써, 상기 다른 색 성분을 갖는 화소를 생성하는 연산 수단을 특징으로 하는, 화상 신호 처리 방법.
  13. 제12항에 있어서,
    상기 화소 생성 단계에서는, 상기 예측 계수 세트와 상기 주목 화소 근방의 복수의 화소값과의 선형 일차 결합에 기초한 연산을 행하는 것을 특징으로 하는, 화상 신호 처리 방법.
  14. 제12항에 있어서,
    상기 추출 단계에서는, 상기 클래스 결정 단계와 상기 화소 생성 단계에 대해, 적어도 1 화소는 다른 화소를 추출하는 것을 특징으로 하는, 화상 신호 처리 방법.
  15. 제10항에 있어서,
    상기 색 성분으로 표현되는 색은 적색, 청색, 녹색 중 어느 것인 것을 특징으로 하는, 화상 신호 처리 방법.
  16. 제10항에 있어서,
    화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 상기 화상 신호를 취득하는 취득 단계를 더 갖는 것을 특징으로 하는, 화상 신호 처리 방법.
  17. 제16항에 있어서,
    상기 취득 단계에서는, 고체 촬상 소자에 의해 상기 화상 신호를 취득하는 것을 특징으로 하는, 화상 신호 처리 방법.
  18. 제17항에 있어서,
    상기 취득 단계에서는, 베이어 배열의 CCD 이미지 센서에 의해 상기 화상 신호를 취득하는 것을 특징으로 하는, 화상 신호 처리 방법.
  19. 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서,
    상기 프로그램은,
    상기 입력 화상 신호의 주목 화소마다 상기 주목 화소 근방의 복수의 화소를 추출하는 추출 단계와,
    상기 화소 추출 단계에서 추출된 복수의 화소에 기초하여, 클래스를 결정하는 클래스 결정 단계와,
    상기 클래스 결정 단계에서 결정된 클래스에 기초하여 상기 주목 화소의 위치에, 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 단계를 갖는 것을 특징으로 하는, 기록 매체.
  20. 제19항에 있어서,
    상기 화소 생성 단계에서는, 상기 주목 화소의 위치에, 모든 색 성분을 갖는 화소를 생성하는 것을 특징으로 하는, 기록 매체.
  21. 제19항에 있어서,
    상기 화소 생성 단계에서는, 상기 클래스 결정 단계에서 결정된 클래스에 따른 예측 계수 세트와, 상기 추출 단계에서 추출된 상기 주목 화소 근방의 복수의 화소에 기초한 연산을 행함으로써, 상기 다른 색 성분을 갖는 화소를 생성하는 연산 수단을 특징으로 하는, 기록 매체.
  22. 제21항에 있어서,
    상기 화소 생성 단계에서는, 상기 예측 계수 세트와 상기 주목 화소 근방의 복수의 화소값과의 선형 일차 결합에 기초한 연산을 행하는 것을 특징으로 하는, 기록 매체.
  23. 제21항에 있어서,
    상기 추출 단계에서는, 상기 클래스 결정 단계와 상기 화소 생성 단계에 대해 적어도 1 화소는 다른 화소를 추출하는 것을 특징으로 하는, 기록 매체.
  24. 제19항에 있어서,
    상기 색 성분으로 표현되는 색은 적색, 청색, 녹색 중 어느 것인 것을 특징으로 하는, 기록 매체.
  25. 제 19항에 있어서,
    화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 상기 화상 신호를 취득하는 취득 단계를 더 갖는 것을 특징으로 하는, 기록 매체.
  26. 제25항에 있어서,
    상기 취득 단계에서는, 고체 촬상 소자에 의해 상기 화상 신호를 취득하는 것을 특징으로 하는, 기록 매체.
  27. 제26항에 있어서,
    상기 취득 단계에서는 베이어 배열의 CCD 이미지 센서에 의해 상기 화상 신호를 취득하는 것을 특징으로 하는, 기록 매체.
  28. 화소 위치마다 하나의 색 성분을 갖는 학생 화상 신호의 주목 화소 근방의 복수의 화소를 추출하는 제1 화소 추출 수단과,
    상기 제1 화소 추출 수단으로 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 수단과,
    상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터, 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수의 화소를 추출하는 제2 화소 추출 수단과,
    상기 제1 및 제2 화소 추출 수단으로 추출된 복수의 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 수단을 구비하는 것을 특징으로 하는, 학습 장치.
  29. 제28항에 있어서,
    상기 제1 화소 추출 수단은, 상기 주목 화소의 위치와 상기 주목 화소가 갖는 색 성분에 기초하여, 상기 주목 화소 근방의 복수의 화소를 추출하는 것을 특징으로 하는, 학습 장치.
  30. 제28항에 있어서,
    상기 클래스 결정 수단은, 상기 제1 화소 추출 수단으로 추출된 복수의 화소에 대해, ADRC(Adaptive Dynamic Range Coding) 처리에 의해 특징 정보를 생성하고, 특징 정보에 기초하여 클래스를 결정하는 것을 특징으로 하는, 학습 장치.
  31. 화소 위치마다 하나의 색 성분을 갖는 학생 화상 신호의 주목 화소 근방의 복수의 화소를 추출하는 제1 화소 추출 단계와,
    상기 제1 화소 추출 단계에서 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와,
    상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터, 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수의 화소를 추출하는 제2 화소 추출 단계와,
    상기 제1 및 제2 화소 추출 단계에서 추출된 복수의 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 갖는 것을 특징으로 하는, 학습 방법.
  32. 제31항에 있어서,
    상기 제1 화소 추출 단계에서는, 상기 주목 화소의 위치와 상기 주목 화소가 갖는 색 성분에 기초하여, 상기 주목 화소 근방의 복수의 화소를 추출하는 것을 특징으로 하는, 학습 방법.
  33. 제31항에 있어서,
    상기 클래스 결정 단계에서는, 상기 제1 화소 추출 수단으로 추출된 복수의 화소에 대해, ADRC(Adaptive Dynamic Range Coding) 처리에 의해 특징 정보를 생성하고, 특징 정보에 기초하여 클래스를 결정하는 것을 특징으로 하는, 학습 방법.
  34. 클래스에 따른 예측 계수 세트를 생성하기 위한 학습 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서,
    상기 프로그램은,
    화소 위치마다 한 개의 색 성분을 갖는 학생 화상 신호의 주목 화소 근방의 복수의 화소를 추출하는 제1 화소 추출 단계와,
    상기 제1 화소 추출 단계에서 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와,
    상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터, 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수의 화소를 추출하는 제2 화소 추출 단계와,
    상기 제1 및 제2 화소 추출 단계에서 추출된 복수의 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 갖는 것을 특징으로 하는, 기록 매체.
  35. 제34항에 있어서,
    상기 제1 화소 추출 단계에서는, 상기 주목 화소의 위치와 상기 주목 화소가 갖는 색 성분에 기초하여 상기 주목 화소 근방의 복수의 화소를 추출하는 것을 특징으로 하는, 기록 매체.
  36. 제34항에 있어서,
    상기 클래스 결정 단계에서는, 상기 제1 화소 추출 수단으로 추출된 복수의 화소에 대해, ADRC(Adaptive Dynamic Range Coding) 처리에 의해 생성되는 특징 정보를 생성하고, 특징 정보에 기초하여 클래스를 결정하는 것을 특징으로 하는, 기록 매체.
  37. 복수의 색 중 어느 하나를 표현하는 색 성분을 화소 위치마다 갖는 소정수의 샘플값에 의해, 1매의 화상이 구성되는 입력 화상 신호를 처리하는 화상 신호 처리 장치에 있어서,
    상기 입력 화상 신호의 주목 화소마다 상기 주목 화소 근방의 복수의 화소를 추출하는 추출 수단과,
    상기 추출 수단으로 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 수단과,
    상기 클래스 결정 수단으로 결정된 클래스에 기초하여, 상기 입력 화상 신호의 각 화소에 처리를 행함으로써, 상기 소정수의 샘플값보다 많은 샘플값을 상기 복수 색 각각에 관하여 갖는 출력 화상 신호를 생성하는 출력 화상 생성 수단을 구비하는 것을 특징으로 하는, 화상 신호 처리 장치.
  38. 제37항에 있어서,
    상기 출력 화상 생성 수단은,
    각 클래스마다 예측 계수 세트를 기억하는 기억 수단과,
    상기 클래스 결정 수단으로 결정된 클래스에 따른 예측 계수 세트와 상기 추출 수단에 의해 추출된 상기 주목 화소 근방의 복수의 화소에 기초한 연산을 행함으로써, 상기 출력 화상 신호를 생성하는 연산 수단을 구비하는 것을 특징으로 하는, 화상 신호 처리 장치.
  39. 복수의 색 중 어느 하나를 표현하는 색 성분을 화소 위치마다 갖는 소정수 의 샘플값에 의해, 1매의 화상이 구성되는 입력 화상 신호를 처리하는 화상 신호 처리 방법에 있어서,
    상기 입력 화상 신호의 주목 화소마다 상기 주목 화소 근방의 복수의 화소를 추출하는 추출 단계와,
    상기 추출 단계에서 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와,
    상기 클래스 결정 단계에서 결정된 클래스에 기초하여, 상기 입력 화상 신호의 각 화소에 처리를 행함으로써, 상기 소정수의 샘플값보다 많은 샘플값을 상기 복수 색 각각에 관하여 갖는 출력 화상 신호를 생성하는 출력 화상 생성 단계를 갖는 것을 특징으로 하는, 화상 신호 처리 방법.
  40. 제39항에 있어서,
    상기 출력 화상 생성 단계에서는, 상기 클래스 결정 단계에서 결정된 클래스에 따른 예측 계수 세트와 상기 추출 단계에서 추출된 상기 주목 화소 근방의 복수의 화소에 기초한 연산을 행함으로써, 상기 출력 화상 신호를 생성하는 것을 특징으로 하는, 화상 신호 처리 방법.
  41. 복수의 색 중 어느 하나를 표현하는 색 성분을 화소 위치마다 갖는 소정수의 샘플값에 의해, 1매의 화상이 구성되는 입력 화상 신호를 처리하는 화상 신호 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서,
    상기 프로그램은,
    상기 입력 화상 신호의 주목 화소마다 상기 주목 화소 근방의 복수의 화소를 추출하는 추출 단계와,
    상기 추출 단계에서 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와,
    상기 클래스 결정 단계에서 결정된 클래스에 기초하여, 상기 입력 화상 신호의 각 화소에 처리를 행함으로써, 상기 소정수의 샘플값보다 많은 샘플값을 상기 복수의 색 각각에 관하여 갖는 출력 화상 신호를 생성하는 출력 화상 생성 단계를 갖는 것을 특징으로 하는, 기록 매체.
  42. 제41항에 있어서,
    상기 출력 화상 생성 단계에서는, 상기 클래스 결정 단계에서 결정된 클래스에 따른 예측 계수 세트와 상기 추출 단계에서 추출된 상기 주목 화소 근방의 복수의 화소에 기초한 연산을 행함으로써, 상기 출력 화상 신호를 생성하는 것을 특징으로 하는, 기록 매체.
  43. 복수의 색 중 어느 하나를 표현하는 색 성분을 화소 위치마다 갖는 소정수의 샘플값에 의해, 1매의 화상이 구성되는 학생 화상 신호로부터, 상기 소정수의 샘플값보다 많은 샘플값을 갖는 예측 화상 신호의 주목 화소 근방의 복수의 화소를 추출하는 제1 화소 추출 수단과,
    상기 제1 화소 추출 수단으로 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 수단과,
    상기 예측 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터, 상기 주목 화소의 위치에 상당하는 위치 근방의 복수의 화소를 추출하는 제2 화소 추출 수단과,
    상기 제1 및 제2 화소 추출 수단으로 추출된 복수의 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 수단을 구비하는 것을 특징으로 하는, 학습 장치.
  44. 제43항에 있어서,
    상기 클래스 결정 수단은, 상기 제1 화소 추출 수단으로 추출된 복수의 화소에 대해, ADRC(Adaptive Dynamic Range Coding) 처리에 의해 특징 정보를 생성하고, 특징 정보에 기초하여 클래스를 결정하는 것을 특징으로 하는, 학습 장치.
  45. 복수의 색 중 어느 하나를 표현하는 색 성분을 화소 위치마다 갖는 소정수의 샘플값에 의해, 1매의 화상이 구성되는 학생 화상 신호로부터, 상기 소정수의 샘플값보다 많은 샘플값을 갖는 예측 화상 신호의 주목 화소 근방의 복수의 화소를 추출하는 제1 화소 추출 단계와,
    상기 제1 화소 추출 단계에서 추출된 복수의 화소에 기초하여, 클래스를 결정하는 클래스 결정 단계와,
    상기 예측 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터, 상기 주목 화소의 위치에 상당하는 위치 근방의 복수의 화소를 추출하는 제2 화소 추출 단계와,
    상기 제1 및 제2 화소 추출 단계에서 추출된 복수의 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 구비하는 것을 특징으로 하는, 학습 방법.
  46. 제45항에 있어서,
    상기 클래스 결정 수단은 상기 제1 화소 추출 수단으로 추출된 복수의 화소에 대해, ADRC(Adaptive Dynamic Range Coding) 처리에 의해 특징 정보를 생성하고, 특징 정보에 기초하여 클래스를 결정하는 것을 특징으로 하는, 학습 방법.
  47. 클래스에 따른 예측 계수 세트를 생성하기 위한 학습 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서,
    상기 프로그램은,
    복수의 색 중 어느 하나를 표현하는 색 성분을 화소 위치마다 갖는 소정수의 샘플값에 의해, 1매의 화상이 구성되는 학생 화상 신호로부터, 상기 소정수의 샘플값보다 많은 샘플값을 갖는 예측 화상 신호의 주목 화소 근방의 복수의 화소를 추출하는 제1 화소 추출 단계와,
    상기 제1 화소 추출 단계에서 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와,
    상기 예측 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터, 상기 주목 화소의 위치에 상당하는 위치 근방의 복수의 화소를 추출하는 제2 화소 추출 단계와,
    상기 제1 및 제2 화소 추출 단계에서 추출된 복수의 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 구비하는 것을 특징으로 하는, 기록 매체.
  48. 제47항에 있어서,
    상기 클래스 결정 수단은, 상기 제1 화소 추출 수단으로 추출된 복수의 화소에 대해, ADRC(Adaptive Dynamic Range Coding) 처리에 의해 특징 정보를 생성하고, 특징 정보에 기초하여 클래스를 결정하는 것을 특징으로 하는, 기록 매체.
  49. 화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리 장치에 있어서,
    상기 입력 화상 신호의 주목 화소마다 상기 복수의 색 성분 중 가장 고밀도인 색 성분을 갖고, 상기 주목 화소 근방에 위치하는 복수의 화소를 추출하는 추출 수단과,
    상기 추출 수단으로 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 수단과,
    상기 클래스 결정 단계에서 결정된 클래스에 기초하여, 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 수단을 구비하는 것을 특징으로 하는, 화상 신호 처리 장치.
  50. 제49항에 있어서,
    상기 화소 생성 수단은,
    각 클래스마다 예측 계수 세트를 기억하는 기억 수단과,
    상기 클래스 결정 수단으로 결정된 클래스에 따른 예측 계수 세트와 상기 추출 수단에 의해 추출된 상기 주목 화소 근방의 복수의 화소에 기초한 연산을 행함으로써, 상기 다른 색 성분을 갖는 화소를 생성하는 연산 수단을 구비하는 것을 특징으로 하는, 화상 신호 처리 장치.
  51. 제49항에 있어서,
    상기 화소 생성 수단은, 상기 주목 화소의 위치에, 모든 색 성분을 갖는 화소를 생성하는 것을 특징으로 하는, 화상 신호 처리 장치.
  52. 화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리 방법에 있어서,
    상기 입력 화상 신호의 주목 화소마다 상기 복수의 색 성분 중 가장 고밀도인 색 성분을 갖고, 상기 주목 화소 근방에 위치하는 복수의 화소를 추출하는 추출 단계와,
    상기 추출 단계에서 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와,
    상기 클래스 결정 단계에서 결정된 클래스에 기초하여, 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 단계를 구비하는 것을 특징으로 하는, 화상 신호 처리 방법.
  53. 제52항에 있어서,
    상기 화소 생성 단계에서는, 상기 클래스 결정 단계에서 결정된 클래스에 따른 예측 계수 세트와, 상기 추출 단계에 의해 추출된 상기 주목 화소 근방의 복수의 화소에 기초한 연산을 행함으로써, 상기 다른 색 성분을 갖는 화소를 생성하는 것을 특징으로 하는, 화상 신호 처리 방법.
  54. 제52항에 있어서,
    상기 화소 생성 단계에서는, 상기 주목 화소의 위치에, 모든 색 성분을 갖는 화소를 생성하는 것을 특징으로 하는, 화상 신호 처리 방법.
  55. 화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서,
    상기 프로그램은,
    상기 입력 화상 신호의 주목 화소마다 상기 복수의 색 성분 중 가장 고밀도인 색 성분을 갖고, 상기 주목 화소 근방에 위치하는 복수의 화소를 추출하는 추출 단계와,
    상기 추출 단계에서 추출된 복수의 화소에 기초하여, 클래스를 결정하는 클래스 결정 단계와,
    상기 클래스 결정 단계에서 결정된 클래스에 기초하여, 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 단계를 갖는 것을 특징으로 하는, 기록 매체.
  56. 제55항에 있어서,
    상기 화소 생성 단계에서는, 각 클래스 결정 단계에서 결정된 클래스에 따른 예측 계수 세트와, 상기 추출 단계에 의해 추출된 상기 주목 화소 근방의 복수의 화소에 기초한 연산을 행함으로써, 상기 다른 색 성분을 갖는 화소를 생성하는 것을 특징으로 하는, 기록 매체.
  57. 제55항에 있어서,
    상기 화소 생성 단계에서는, 상기 주목 화소의 위치에, 모든 색 성분을 갖는 화소를 생성하는 것을 특징으로 하는, 기록 매체.
  58. 화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 학생 화상 신호의 주목 화소 근방에 위치하고, 복수의 색 성분 중 가장 고밀도인 색 성분을 갖는 복수의 화소를 추출하는 제1 화소 추출 수단과,
    상기 제1 화소 추출 수단으로 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 수단과,
    상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터, 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수의 화소를 추출하는 제2 화소 추출 수단과,
    상기 제1 및 제2 화소 추출 수단으로 추출된 복수의 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 수단을 구비하는 것을 특징으로 하는, 학습 장치.
  59. 제58항에 있어서,
    상기 클래스 결정 수단은, 상기 제1 화소 추출 수단으로 추출된 복수의 화소에 대해, ADRC(Adaptive Dynamic Range Coding) 처리에 의해 특징 정보를 생성하고, 특징 정보에 기초하여 클래스를 결정하는 것을 특징으로 하는, 학습 장치.
  60. 화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 학생 화상 신호의 주목 화소 근방에 위치하고, 복수의 색 성분 중 가장 고밀도인 색 성분을 갖는 복수의 화소를 추출하는 제1 화소 추출 단계와,
    상기 제1 화소 추출 단계에서 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와,
    상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터, 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수의 화소를 추출하는 제2 화소 추출 단계와,
    상기 제1 및 제2 화소 추출 수단으로 추출된 복수의 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 구비하는 것을 특징으로 하는, 학습 방법.
  61. 제60항에 있어서,
    상기 클래스 결정 단계에서는, 상기 제1 화소 추출 단계에서 추출된 복수의 화소에 대해, ADRC(Adaptive Dynamic Range Coding) 처리에 의해 특징 정보를 생성하고, 특징 정보에 기초하여 클래스를 결정하는 것을 특징으로 하는, 학습 방법.
  62. 클래스에 따른 예측 계수 세트를 생성하기 위한 학습 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서,
    상기 프로그램은,
    화소 위치마다 복수의 색 중 어느 하나를 표현하는 색 성분을 갖는 학생 화상 신호의 주목 화소 근방에 위치하고, 복수의 색 성분 중 가장 고밀도인 색 성분을 갖는 복수의 화소를 추출하는 제1 화소 추출 단계와,
    상기 제1 화소 추출 단계에서 추출된 복수의 화소에 기초하여 클래스를 결정하는 클래스 결정 단계와,
    상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터, 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수의 화소를 추출하는 제2 화소 추출 단계와,
    상기 제1 및 제2 화소 추출 수단에서 추출된 복수의 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 구비하는 것을 특징으로 하는, 기록 매체.
  63. 제62항에 있어서,
    상기 클래스 결정 단계에서는, 상기 제1 화소 추출 수단으로 추출된 복수의 화소에 대해, ADRC(Adaptive Dynamic Range Coding) 처리에 의해 특징 정보를 생성하고, 특징 정보에 기초하여 클래스를 결정하는 것을 특징으로 하는, 기록 매체.
  64. 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리 장치에 있어서,
    상기 입력 화상 신호의 주목 화소마다에 대해 상기 주목 화소 근방의 화소로부터 각 색 성분마다 복수의 화소를 추출하는 추출 수단과,
    상기 추출 수단으로 추출된 각 색 성분마다 복수의 화소에 기초하여 각 색 성분마다 화소의 특징 정보를 생성하는 특징 정보 생성부와, 상기 각 색 성분마다의 특징 정보에 기초하여 1개의 클래스를 결정하는 클래스 결정부를 포함하는 클래스 결정 수단과,
    상기 클래스 결정 수단으로 결정된 클래스에 기초하여, 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 수단을 구비하는 것을 특징으로 하는, 화상 신호 처리 장치.
  65. 제64항에 있어서,
    상기 특징 정보 생성부는 상기 추출 수단으로 추출된 각 색 성분마다 복수의 화소의 공간 액티비티를 상기 특징 정보로서 생성하는 것을 특징으로 하는, 화상 신호 처리 장치.
  66. 제65항에 있어서,
    상기 특징 정보 생성부는, 상기 각 색 성분마다 복수의 화소에 대해, ADRC(Adaptive Dynamic Range Coding) 처리에 의해 상기 공간 액티비티를 생성하는 것을 특징으로 하는, 화상 신호 처리 장치.
  67. 제64항에 있어서,
    상기 추출 수단은 상기 주목 화소 근방의 소정 범위에 포함되는 복수의 화소로부터, 각 색 성분에 대응하는 화소를 각각 추출하는 것을 특징으로 하는, 화상 신호 처리 장치.
  68. 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리 방법에 있어서,
    상기 입력 화상 신호의 주목 화소마다에 대해, 상기 주목 화소 근방의 화소로부터, 각 색 성분마다 복수의 화소를 추출하는 추출 단계와,
    상기 추출 단계에서 추출된 각 색 성분마다 복수의 화소에 기초하여, 각 색 성분마다 화소의 특징 정보를 생성하고, 상기 각 색 성분마다 특징 정보에 기초하여 1개의 클래스를 결정하는 클래스 결정 단계와,
    상기 클래스 결정 단계에서 결정된 클래스에 기초하여, 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 단계를 구비하는 것을 특징으로 하는, 화상 신호 처리 방법.
  69. 제68항에 있어서,
    상기 클래스 결정 단계에서는, 상기 추출 단계에서 추출된 각 색 성분마다 복수의 화소의 공간 액티비티를 상기 특징 정보로서 생성하는 것을 특징으로 하는, 화상 신호 처리 방법.
  70. 제69항에 있어서,
    상기 클래스 결정 단계에서는, 상기 각 색 성분마다 복수의 화소에 대해 ADRC(Adaptive Dynamic Range Coding) 처리에 의해 상기 공간 액티비티를 생성하는 것을 특징으로 하는, 화상 신호 처리 방법.
  71. 제68항에 있어서,
    상기 추출 단계에서는, 상기 주목 화소 근방의 소정 범위에 포함되는 복수의 화소로부터, 각 색 성분에 대응하는 화소를 각각 추출하는 것을 특징으로 하는, 화상 신호 처리 방법.
  72. 화소 위치마다 복수 중 어느 하나를 표현하는 색 성분을 갖는 입력 화상 신호를 처리하는 화상 신호 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서,
    상기 프로그램은,
    상기 입력 화상 신호의 주목 화소마다에 대해, 상기 주목 화소 근방의 화소로부터 각 색 성분마다 복수의 화소를 추출하는 추출 단계와,
    상기 추출 단계에서 추출된 각 색 성분마다 복수의 화소에 기초하여, 각 색 성분마다 화소의 특징 정보를 생성하고, 상기 각 색 성분마다의 특징 정보에 기초하여 1개의 클래스를 결정하는 클래스 결정 단계와,
    상기 클래스 결정 단계에서 결정된 클래스에 기초하여, 적어도 상기 주목 화소가 갖는 색 성분과는 다른 색 성분을 갖는 화소를 생성하는 화소 생성 단계를 구비하는 것을 특징으로 하는, 기록 매체.
  73. 제72항에 있어서,
    상기 클래스 결정 단계에서는, 상기 추출 단계에서 추출된 각 색 성분마다 복수의 화소의 공간 액티비티를 상기 특징 정보로서 생성하는 것을 특징으로 하는, 기록 매체.
  74. 제73항에 있어서,
    상기 클래스 결정 단계에서는, 상기 각 색 성분마다 복수의 화소에 대해 ADRC(Adaptive Dynamic Range Coding) 처리에 의해 상기 공간 액티비티를 생성하는 것을 특징으로 하는, 기록 매체.
  75. 제72항에 있어서,
    상기 추출 단계에서는, 상기 주목 화소 근방의 소정 범위에 포함되는 복수의 화소로부터, 각 색 성분에 대응하는 화소를 각각 추출하는 것을 특징으로 하는, 기록 매체.
  76. 화소 위치마다 1개의 색 성분을 갖는 학생 화상 신호의 주목 화소 근방의 복수의 화소를 추출하는 제1 화소 추출 수단과,
    상기 제1 화소 추출 수단으로 추출된 각 색 성분마다 복수의 화소에 기초하여 각 색 성분마다 화소의 특징 정보를 생성하고, 상기 각 색 성분마다 화소의 특징 정보에 기초하여 1개의 클래스를 결정하는 클래스 결정 수단과,
    상기 학생 화상 신호와 대응하는 화상 신호이고, 화상 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터, 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수의 화소를 추출하는 제2 화소 추출 수단과,
    상기 제1 및 제2 화소 추출 수단으로 추출된 복수의 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 수단을 구비하는 것을 특징으로 하는, 학습 장치.
  77. 제76항에 있어서,
    상기 클래스 결정 수단은 상기 제1 화소 추출 수단으로 추출된 각 색 성분마다 복수의 화소의 공간 액티비티를 상기 특징 정보로서 클래스를 결정하는 것을 특징으로 하는, 학습 장치.
  78. 제77항에 있어서,
    상기 클래스 결정 수단은 상기 각 색 성분마다 복수의 화소에 대해 ADRC(Adaptive Dynamic Range Coding) 처리에 의해 상기 공간 액티비티를 생성하는 것을 특징으로 하는, 학습 장치.
  79. 화소 위치마다 1개의 색 성분을 갖는 학생 화상 신호의 주목 화소 근방의 복수의 화소를 추출하는 제1 화소 추출 단계와,
    상기 제1 화소 추출 단계에서 추출된 각 색 성분마다 복수의 화소에 기초하여 각 색 성분마다 화소의 특징 정보를 생성하고, 상기 각 색 성분마다 화소의 특징 정보에 기초하여 1개의 클래스를 결정하는 클래스 결정 단계와,
    상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터, 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수의 화소를 추출하는 제2 화소 추출 단계와,
    상기 제1 및 제2 화소 추출 단계에서 추출된 복수의 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산에 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 갖는 것을 특징으로 하는, 학습 방법.
  80. 제79항에 있어서,
    상기 클래스 결정 단계에서는, 상기 제1 화소 추출 단계에서 추출된 각 색 성분마다 복수의 화소의 공간 액티비티를 상기 특징 정보로서 클래스를 결정하는 것을 특징으로 하는, 학습 방법.
  81. 제80항에 있어서,
    상기 클래스 결정 단계에서는, 상기 각 색 성분마다 복수의 화소에 대해 ADRC(Adaptive Dynamic Range Coding) 처리에 의해 상기 공간 액티비티를 생성하는 것을 특징으로 하는, 학습 방법.
  82. 클래스에 따른 예측 계수 세트를 생성하기 위한 학습 처리를 행하는 컴퓨터 제어가능한 프로그램이 기록된 기록 매체에 있어서,
    상기 프로그램은,
    화소 위치마다 1개의 색 성분을 갖는 학생 화상 신호의 주목 화소 근방의 복수의 화소를 추출하는 제1 화소 추출 단계와,
    상기 제1 화소 추출 단계에서 추출된 각 색 성분마다 복수의 화소에 기초하여 각 색 성분마다 화소의 특징 정보를 생성하고, 상기 각 색 성분마다 화소의 특징 정보에 기초하여 1개의 클래스를 결정하는 클래스 결정 단계와,
    상기 학생 화상 신호와 대응하는 화상 신호이고, 화소 위치마다 복수의 색 성분을 갖는 교사 화상 신호로부터, 상기 학생 화상 신호의 주목 화소의 위치에 상당하는 위치 근방의 복수의 화소를 추출하는 제2 화소 추출 단계와,
    상기 제1 및 제2 화소 추출 단계에서 추출된 복수의 화소의 화소값에 기초하여, 상기 클래스마다 상기 학생 화상 신호에 상당하는 화상 신호로부터 상기 교사 화상 신호에 상당하는 화상 신호를 생성하기 위한 예측 연산 이용하는 예측 계수 세트를 생성하는 예측 계수 생성 단계를 구비하는 것을 특징으로 하는, 기록 매체.
  83. 제82항에 있어서,
    상기 클래스 결정 단계에서는, 상기 제1 화소 추출 단계에서 추출된 각 색 성분마다 복수의 화소의 공간 액티비티를 상기 특징 정보로서 클래스를 결정하는 것을 특징으로 하는, 기록 매체.
  84. 제83항에 있어서,
    상기 클래스 결정 단계에서는, 상기 각 색 성분마다 복수의 화소에 대해 ADRC(Adaptive Dynamic Range Coding) 처리에 의해 상기 공간 액티비티를 생성하는 것을 특징으로 하는, 기록 매체.
KR1020007011612A 1999-02-19 2000-02-18 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체 KR100745386B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP99-41114 1999-02-19
JP4111499 1999-02-19
JP99-82228 1999-03-25
JP8222899 1999-03-25
JP99-151859 1999-05-31
JP15185999 1999-05-31

Publications (2)

Publication Number Publication Date
KR20010042845A KR20010042845A (ko) 2001-05-25
KR100745386B1 true KR100745386B1 (ko) 2007-08-03

Family

ID=27290717

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007011612A KR100745386B1 (ko) 1999-02-19 2000-02-18 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체

Country Status (5)

Country Link
US (3) US7573508B1 (ko)
EP (1) EP1073279A4 (ko)
KR (1) KR100745386B1 (ko)
CN (1) CN1310521C (ko)
WO (1) WO2000049812A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453936B2 (en) * 2001-11-09 2008-11-18 Sony Corporation Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system
EP1326209B1 (en) * 2001-12-24 2007-09-26 STMicroelectronics S.r.l. Method for contrast enhancement in colour digital image
JP3596770B2 (ja) 2001-12-28 2004-12-02 ソニー株式会社 記憶装置、データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
JP3767692B2 (ja) 2002-05-08 2006-04-19 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
JP3947969B2 (ja) * 2002-05-15 2007-07-25 ソニー株式会社 画像処理装置、および画像処理方法、記録媒体、並びにプログラム
JP4144377B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7595819B2 (en) * 2003-07-31 2009-09-29 Sony Corporation Signal processing device and signal processing method, program, and recording medium
JP4281453B2 (ja) * 2003-07-31 2009-06-17 ソニー株式会社 信号処理装置および信号処理方法
WO2005062626A1 (ja) * 2003-12-22 2005-07-07 Mitsubishi Denki Kabushiki Kaisha 画素信号処理装置及び画素信号処理方法
DE102006009593B4 (de) * 2005-10-01 2008-12-18 Vistec Semiconductor Systems Gmbh Vorrichtung zur Aufnahme von mehreren Bildern von scheibenförmigen Objekten
JP4573769B2 (ja) * 2005-12-20 2010-11-04 富士通セミコンダクター株式会社 画像処理回路および画像処理方法
US8184905B2 (en) * 2005-12-29 2012-05-22 Mtekvision Co., Ltd. Apparatus for color interpolation using adjustable threshold
JP2007189589A (ja) * 2006-01-16 2007-07-26 Sony Corp 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
WO2007084062A2 (en) * 2006-01-23 2007-07-26 Telefonaktiebolaget Lm Ericsson (Publ). Image processing
JP4508132B2 (ja) 2006-02-27 2010-07-21 ソニー株式会社 撮像装置、撮像回路、および撮像方法
JP4983093B2 (ja) * 2006-05-15 2012-07-25 ソニー株式会社 撮像装置および方法
JP2008078922A (ja) * 2006-09-20 2008-04-03 Toshiba Corp 固体撮像装置
FR2943203B1 (fr) * 2009-03-16 2011-04-08 St Microelectronics Grenoble 2 Sas Procede et dispositif pour reordonner des donnees d'image ayant une repartition du type du motif de bayer
TWI422233B (zh) * 2010-04-16 2014-01-01 Silicon Motion Inc 用來對縮減取樣拜耳影像進行色彩內插之方法及相關裝置
CN102404579A (zh) * 2010-09-13 2012-04-04 慧荣科技股份有限公司 用来对缩减取样拜耳图像进行色彩内插的方法及相关装置
US8929651B2 (en) * 2010-11-16 2015-01-06 Thomson Licensing System and method for the repair of anomalies in images
JP2013009293A (ja) * 2011-05-20 2013-01-10 Sony Corp 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
JP2014042176A (ja) * 2012-08-23 2014-03-06 Sony Corp 画像処理装置および方法、プログラム、並びに、固体撮像装置
KR20150051437A (ko) 2013-11-04 2015-05-13 삼성디스플레이 주식회사 휘도 보정 시스템 및 방법
JP2015154308A (ja) * 2014-02-17 2015-08-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
EP3662413A4 (en) 2017-08-04 2021-08-18 Outward Inc. MACHINE LEARNING BASED IMAGE PROCESSING TECHNIQUES

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996007275A1 (fr) * 1994-08-31 1996-03-07 Sony Corporation Dispositif analyseur d'images
US5552827A (en) * 1993-08-31 1996-09-03 Sanyo Electric Co., Ltd. Color video camera with a solid state image sensing device

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4499494A (en) * 1982-09-27 1985-02-12 Rca Corporation Television gamma corrector with symmetrical response about black-level
DE68918886T2 (de) * 1988-04-08 1995-06-01 Dainippon Screen Mfg Verfahren zur Gewinnung der Aussenlinie eines Objektes in einem Bild.
WO1992021204A2 (en) * 1991-05-10 1992-11-26 Eastman Kodak Company Customizable timing and control asic for electronic imaging
US5475769A (en) 1992-07-13 1995-12-12 Polaroid Corporation Method and apparatus for recovering image data through the use of a color test pattern
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
JP3271108B2 (ja) * 1993-12-03 2002-04-02 ソニー株式会社 ディジタル画像信号の処理装置および方法
CA2126535C (en) * 1993-12-28 2000-12-19 Ichiro Nomura Electron beam apparatus and image-forming apparatus
US5903481A (en) * 1994-09-09 1999-05-11 Sony Corporation Integrated circuit for processing digital signal
JP3781203B2 (ja) * 1994-11-28 2006-05-31 ソニー株式会社 画像信号補間装置及び画像信号補間方法
JP3794505B2 (ja) * 1995-03-22 2006-07-05 ソニー株式会社 信号変換装置及び信号変換方法
US5852470A (en) * 1995-05-31 1998-12-22 Sony Corporation Signal converting apparatus and signal converting method
US5963673A (en) * 1995-12-20 1999-10-05 Sanyo Electric Co., Ltd. Method and apparatus for adaptively selecting a coding mode for video encoding
US5596367A (en) 1996-02-23 1997-01-21 Eastman Kodak Company Averaging green values for green photosites in electronic cameras
US20020057349A1 (en) * 1996-03-06 2002-05-16 Masanori Yamaguchi Image pickup apparatus and solid state image pickup device
US5631703A (en) * 1996-05-29 1997-05-20 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
US5956468A (en) * 1996-07-12 1999-09-21 Seiko Epson Corporation Document segmentation system
JP3674186B2 (ja) 1996-09-21 2005-07-20 ソニー株式会社 画像情報変換装置および方法
JP3503372B2 (ja) 1996-11-26 2004-03-02 ミノルタ株式会社 画素補間装置及びその画素補間方法
EP0884904A1 (en) * 1996-12-06 1998-12-16 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transmitting, encoding and decoding video signal and recording/reproducing method of optical disc
EP0891101B1 (en) * 1996-12-26 2002-05-29 Sony Corporation Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium
KR100537123B1 (ko) * 1996-12-26 2006-02-28 소니 가부시끼 가이샤 화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록매체
CN1282357C (zh) * 1997-01-27 2006-10-25 富士写真胶片株式会社 记录全球定位系统装置的测位信息的摄像机
JP3649841B2 (ja) * 1997-02-20 2005-05-18 三洋電機株式会社 単板式カラーカメラ
JP3087835B2 (ja) * 1997-04-22 2000-09-11 富士ゼロックス株式会社 画像符号化方法および装置ならびに画像復号方法および装置
JP3780623B2 (ja) * 1997-05-16 2006-05-31 株式会社日立製作所 動画像の記述方法
US6529239B1 (en) * 1998-06-01 2003-03-04 Fairchild Imaging, Inc. Image sensor with stripes of cyan filter material perpendicular to stripes of yellow filter material
US6697107B1 (en) * 1998-07-09 2004-02-24 Eastman Kodak Company Smoothing a digital color image using luminance values
JP4035895B2 (ja) 1998-07-10 2008-01-23 ソニー株式会社 画像変換装置および方法、並びに記録媒体
JP3740853B2 (ja) * 1998-08-04 2006-02-01 株式会社島津製作所 質量分析計
US6192162B1 (en) * 1998-08-17 2001-02-20 Eastman Kodak Company Edge enhancing colored digital images
US6674903B1 (en) * 1998-10-05 2004-01-06 Agfa-Gevaert Method for smoothing staircase effect in enlarged low resolution images
JP3545230B2 (ja) * 1998-11-18 2004-07-21 三洋電機株式会社 撮像装置およびそれを備えるディジタルカメラ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5552827A (en) * 1993-08-31 1996-09-03 Sanyo Electric Co., Ltd. Color video camera with a solid state image sensing device
WO1996007275A1 (fr) * 1994-08-31 1996-03-07 Sony Corporation Dispositif analyseur d'images

Also Published As

Publication number Publication date
US7512267B2 (en) 2009-03-31
CN1310521C (zh) 2007-04-11
CN1300504A (zh) 2001-06-20
US7573508B1 (en) 2009-08-11
WO2000049812A1 (en) 2000-08-24
US8106957B2 (en) 2012-01-31
US20050200723A1 (en) 2005-09-15
EP1073279A4 (en) 2006-04-05
US20070076104A1 (en) 2007-04-05
EP1073279A1 (en) 2001-01-31
KR20010042845A (ko) 2001-05-25

Similar Documents

Publication Publication Date Title
KR100745386B1 (ko) 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체
US7893967B1 (en) Digital video camera with binning or skipping correction
US6812969B2 (en) Digital camera
US9392241B2 (en) Image processing apparatus and image processing method
EP2193656B1 (en) Multi-exposure pattern for enhancing dynamic range of images
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
US20110216230A1 (en) Image data processing apparatus and electronic camera
US8320714B2 (en) Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
EP2214136B1 (en) Method and program for controlling image capture apparatus
JP3817635B2 (ja) カラ−画像処理装置および処理方法
JP4433545B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
US7956907B2 (en) Image capture device with low-frequency noise suppression
JP4547757B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4581199B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
US7551204B2 (en) Imaging apparatus having a color image data measuring function
JP4547758B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4433546B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4529253B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4839543B2 (ja) 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体
JP4483048B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4478981B2 (ja) 色雑音低減手法およびカラー撮像装置
JP4691762B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP2005203892A (ja) 信号処理回路

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120723

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee