KR20090068163A - 신호 처리 장치, 신호 처리 방법, 및 신호 처리 프로그램, 및 학습 장치 - Google Patents

신호 처리 장치, 신호 처리 방법, 및 신호 처리 프로그램, 및 학습 장치 Download PDF

Info

Publication number
KR20090068163A
KR20090068163A KR1020080130228A KR20080130228A KR20090068163A KR 20090068163 A KR20090068163 A KR 20090068163A KR 1020080130228 A KR1020080130228 A KR 1020080130228A KR 20080130228 A KR20080130228 A KR 20080130228A KR 20090068163 A KR20090068163 A KR 20090068163A
Authority
KR
South Korea
Prior art keywords
data
coefficient
processing
interest
class
Prior art date
Application number
KR1020080130228A
Other languages
English (en)
Inventor
다까히로 나가노
데쯔지로 곤도
히사까즈 시라끼
야스히로 스또
노리아끼 다까하시
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20090068163A publication Critical patent/KR20090068163A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Abstract

입력 데이터보다 고품질의 출력 데이터로 입력 데이터를 변환하는 신호 처리를 행하는 신호 처리 장치로서, 제1 데이터 추출부; 비선형 특징량 연산부; 처리 계수 생성부; 제2 데이터 추출부; 및 데이터 예측부를 포함하는 신호 처리 장치가 본 명세서에 개시된다.
Figure P1020080130228
클래스 분류부, 정규 방정식 생성부, 계수 생성부, 정규화 레벨 탭 추출부, 예측부, 휘도 레벨 탭 추출부, 거리 벡터 탭 추출부, 예측 탭 추출부

Description

신호 처리 장치, 신호 처리 방법, 및 신호 처리 프로그램, 및 학습 장치{SIGNAL PROCESSING APPARATUS, SIGNAL PROCESSING METHOD, SIGNAL PROCESSING PROGRAM AND LEARNING APPARATUS}
<관련 출원의 상호 참조>
본 발명은 2007년 12월 21일 일본특허청에 제출된 일본특허출원 제2007-330456호에 관한 기술 내용을 포함하며, 그 전체 내용은 본 명세서에 참조로서 포함된다.
일반적으로, 본 발명은 신호 처리 장치, 신호 처리 방법, 및 신호 처리 프로그램, 및 학습 장치에 관한 것으로, 특히, 보다 고품질의 데이터를 생성할 수 있도록 한 신호 처리 장치, 신호 처리 방법, 신호 처리 프로그램, 및 학습 장치에 관한 것이다.
본 출원인은, SD(Standard Definition) 화상으로부터, 그 SD 화상보다 화소수가 많은 HD(High Definition) 화상을 생성하는 해상도 창조 처리를 앞서 제안하고 있다. 제안된 해상도 창조 처리에 대한 보다 많은 정보에 대해서, 독자는 일본 특허 공개 Hei 8-317346호 공보를 참조할 것이 제안된다. 이 해상도 창조 처리에 서는, SD 화상으로부터 구해지는 HD 화상의 화소인 주목 화소의 주위에 존재한다, 그 SD 화상의 복수의 주변 화소의 특성에 따라서, 주목 화소를 패턴으로 분류하고, 그 패턴에 대응하는, 미리 기억되어 있는 예측 계수와, SD 화상의 선형 1차식을 연산함으로써, SD 화상으로부터 HD 화상을 생성하는, 소위 클래스 적응 처리가 이용되고 있다.
주목 화소의 분류로 인한 주목 화소에 속하는 클래스로서 서빙하는 클래스에 적응된 소위 적응 처리는, 해상도 창조 처리에 이용될 뿐만 아니라, 화상의 열화를 제거하는 열화 제거 처리 등에도 이용된다.
그런데, 주목 화소의 분류로 인한 주목 화소에 속하는 클래스로서 서빙하는 클래스에 적응된 종래의 적응 처리에서는, 1개의 클래스로 분류에 대하여 1개의 예측 계수가 결정되기 때문에, 도 1에 도시하는 바와 같이, 동일한 클래스로 분류되는 주목 화소를, 예측 계수에서 구별할 수 없다. 그 결과, 클래스가 이산적으로 되고, 보다 고화질인 HD 화상을 생성하는 것은 곤란하였다.
이러한 문제를 해결하기 위하여, 예를 들면 도 2에 도시된 바와 같이 클래스를 서브 클래스로 분류하는 2비트 ADRC(Adaptive Dynamic Range Coding)(적응적 다이내믹 범위 부호화) 처리나 3비트 ADRC 처리를 이용하여 클래스를 구함으로써, 도 2에 도시하는 바와 같이, 1비트 ADRC를 이용하여 클래스를 구하는 경우에 비해서 클래스를 세분화하고, 1비트 ADRC에서 구한 경우 동일한 클래스로 분류되는 주목 화소를, 예측 계수에서 구별하는 것이 생각될 수 있다.
그러나, 이 경우, 클래스수(또는 엄밀하게 말하자면, 서브 클래스의 수)가 비약적으로 증대되기 때문에, 예측 계수를 학습할 때의 클래스당의 샘플수가 감소하여, 용이하게 학습 한계에 도달하게 된다. 그 결과, 예측 계수의 학습 정밀도가 나빠져, HD 화상의 화질을 충분히 높일 수 없다.
또한, 도 3에 도시하는 바와 같이, 인접하는 클래스의 예측 계수를 이용하여 예측 계수를 보간함으로써, 동일한 클래스로 분류되는 주목 화소를 예측 계수에서 구별하는 것도 생각되지만, 본래의 클래스와 상이한 클래스의 예측 계수가 혼합되 기 때문에, HD 화상에 불선명이 발생하게 된다. 그 결과, 주목 화소의 분류로 인한, 주목 화소가 속한 클래스로서 서빙하는 클래스에 적응된 종래의 적응 처리를 행함으로써, 입력 데이터로 사용된 SD 화상보다 고품질인 HD 화상을 SD 화상으로부터 생성하기는 곤란하였다.
본 발명은, 이러한 상황을 감안하여 이루어진 것으로, 입력 데이터보다 고품질의 출력 데이터를 생성할 수 있는 신호 처리 장치를 제안하였다.
본 발명의 제1 실시예에 따르면, 입력 데이터보다 고품질의 출력 데이터로 입력 데이터를 변환하는 신호 처리를 행하는 신호 처리 장치가 제공된다. 신호 처리 장치는, 출력 데이터 내의 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치에 위치한 데이터로서 입력 데이터 내의 복수의 데이터를 추출하는 제1 데이터 추출부; 제1 데이터 추출 수단에 의해 추출된 복수의 데이터로부터, 주목 데이터의 비선형 특징량을 구하는 비선형 특징량 연산부; 입력 데이터에 대응하는 생도 데이터와, 생도 데이터의 연산 처리에 의해 데이터를 생성하는 관계식에 기초하는 정규 방정식에 따르는 학습 처리에서 출력 데이터에 대응하는 교사 데이터로부터 미리 학습된 비선형 특징량과 제1 처리 계수의 연산 처리에 의해 구해진 제2 처리 계수를 생성하는 처리 계수 생성부 - 제2 처리 계수는 생도 데이터의 비선형 특징량과 제1 처리 계수에 따라 구해짐 -; 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 입력 데이터 내의 복수의 데이터를 추출하는 제2 데이터 추출부; 및 제2 데이터 추출 수단에 의해 추출된 복수의 데이터와, 제2 처리 계수의 연산 처리에 의해, 주목 데이터를 생성하는 데이터 예측부를 포함한다.
본 발명의 제1 실시예에 따르면, 제1 처리 계수는, 기준으로 되는 기점 계수와, 그 기점 계수와 상기 제2 처리 계수 간의 편차를 상기 비선형 특징량과 함께 나타내는 편차 계수를 가질 수 있다.
본 발명의 제1 실시예에 따른 신호 처리 장치는, 주목 데이터의 위치 및 그 주변의 위치에 대응하는 입력 데이터 내의 복수의 데이터로서의 클래스 탭의 특징에 따라서, 주목 데이터에 대한 클래스를 생성하는 클래스 분류부를 더 설치한다. 본 발명의 제1 실시예에 따른 신호 처리 장치에서, 처리 계수 생성 수단은, 클래스마다의 정규 방정식에 의해 미리 학습된 클래스마다의 제1 처리 계수 중의, 클래스 분류 수단에 의해 생성된 상기 클래스의 제1 처리 계수와, 상기 비선형 특징량의 연산에 의해, 상기 제2 처리 계수를 생성할 수 있다.
또한, 본 발명의 제1 실시예에 따르면, 입력 데이터보다 고품질의 출력 데이터로 입력 데이터를 변환하는 신호 처리를 행하는 신호 처리 방법이 제공된다. 신호 처리 방법은, 입력 데이터를 보다 고품질의 출력 데이터로 변환하는 신호 처리 장치의 신호 처리 방법에서 출력 데이터 내의 주목 데이터의 위치 및 그 주변의 위치에 대응하는 입력 데이터 내의 복수의 데이터를 추출하는 제1 추출 단계; 그 추출된 복수의 데이터로부터 주목 데이터의 비선형 특징량을 구하는 단계; 입력 데이터에 대응하는 생도 데이터와, 생도 데이터의 연산 처리에 의해 데이터를 생성하는 관계식에 기초하는 정규 방정식에 따르는 학습 처리에서 출력 데이터에 대응하는 교사 데이터로부터 미리 학습된 비선형 특징량과 제1 처리 계수의 연산 처리에 의 해 구해진 제2 처리 계수를 생성하는 처리 계수 생성 - 상기 제2 처리 계수는 상기 생도 데이터의 비선형 특징량과 상기 제1 처리 계수에 따라 구해짐 - 단계; 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 입력 데이터 내의 복수의 데이터를 추출하는 제2 추출 단계; 및 그 추출된 상기 복수의 데이터와, 상기 제2 처리 계수의 연산에 의해, 상기 주목 데이터를 예측하는 데이터 예측 단계를 포함한다.
우선, 본 발명의 제1 실시예에 따르면, 입력 데이터를, 보다 고품질의 출력 데이터로 변환하는 신호 처리를, 컴퓨터에 행하게 하는 프로그램이 제공된다. 데이터 처리 방법을 컴퓨터에 행하게 하는 프로그램은, 출력 데이터 내의 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 입력 데이터 내의 복수의 데이터를 추출하는 제1 추출 단계; 그 추출된 복수의 데이터로부터, 주목 데이터의 비선형 특징량을 구하는 단계; 입력 데이터에 대응하는 생도 데이터와, 생도 데이터의 연산 처리에 의해 데이터를 생성하는 관계식에 기초하는 정규 방정식에 따르는 학습 처리에서 출력 데이터에 대응하는 교사 데이터로부터 미리 학습된 비선형 특징량과 제1 처리 계수의 연산 처리에 의해 구해진 제2 처리 계수를 생성하는 처리 계수 생성 - 상기 제2 처리 계수는 상기 생도 데이터의 비선형 특징량과 상기 제1 처리 계수에 따라 구해짐 - 단계; 입력 데이터에 대응하는 생도로서의 데이터의 비선형 특징량과 제1 처리 계수의 연산에 의해 구해진 제2 처리 계수와, 생도로서의 데이터의 연산에 의해, 그 생도로서의 데이터보다도 고품질의 출력 데이터에 대응하는 교사로서의 데이터를 생성하는 관계식에 기초하는 정규 방정식에 의해 미리 학 습된 상기 제1 처리 계수와, 상기 비선형 특징량의 연산에 의해, 상기 제2 처리 계수를 생성하고, 상기 주목 데이터의 위치 및 그 주변의 위치에 대응하는 상기 입력 데이터 내의 복수의 데이터를 추출하는 제2 추출 단계; 및 그 추출된 복수의 데이터와, 제2 처리 계수의 연산에 의해, 주목 데이터를 예측하는 단계를 포함하는 신호 처리를 컴퓨터에 행하게 한다.
더욱이, 본 발명의 제2 실시예에 따르면, 생도 데이터와 교사 데이터로부터 제1 처리 계수를 학습하는 학습 처리를 행하는 학습 장치가 제공된다. 학습 장치는, 생도로서의 입력 데이터로부터 구해지는 비선형 특징량과 제1 처리 계수의 연산에 의해 제2 처리 계수를 구하고, 그 제2 처리 계수와 생도로서의 입력 데이터의 연산에 의해, 그 생도로서의 입력 데이터보다도 고품질의 교사로서의 출력 데이터를 생성하는 관계식을 풀기 위해서, 상기 생도로서의 입력 데이터와 상기 교사로서의 출력 데이터를 이용하여 정규 방정식을 생성하는 정규 방정식 생성부; 및 정규 방정식을 풀어서, 제1 처리 계수를 생성하는 계수 생성부를 포함한다.
관계 방정식은 입력 데이터로부터 추출된 복수의 데이터와, 입력 데이터로부터 추출된 복수의 데이터로부터 신호 처리로 구해진 비선형 특징량에서 연산 처리를 행함으로써 얻어진 제2 처리 계수와, 계수 생성부에 의해 미리 생성된 제1 처리 계수에서 연산 처리를 행함으로써 입력 데이터보다 고품질의 출력 데이터를 생성하는 신호 처리에 사용되는 방정식이다.
본 발명의 제2 실시예에 따른 학습 장치에서, 제1 처리 계수는, 기준으로 되는 기점 계수과, 그 기점 계수와 제2 처리 계수의 편차를 비선형 특징량과 함께 나 타내는 편차 계수를 갖고, 계수 생성부(38)는 정규 방정식을 풀어서, 기점 계수와 편차 계수를 생성할 수 있다.
본 발명의 제2 실시예에 따른 학습 장치는, 출력 데이터 내의 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 입력 데이터 내의 복수의 데이터로서의 클래스 탭의 특징에 따라서, 주목 데이터에 대한 클래스를 생성하는 클래스 분류부를 더 설치하고, 정규 방정식 생성부는 클래스 분류부에 의해 생성된 클래스마다, 입력 데이터와 주목 데이터를 이용하여, 정규 방정식을 생성할 수 있다.
본 발명의 제1 실시예에 따르면, 입력 데이터보다 고품질의 출력 데이터로 입력 데이터를 변환하는 신호 처리는, 입력 데이터보다 고품질의 출력 데이터 내의 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 입력 데이터 내의 복수의 데이터를 제1 추출하는 단계; 그 추출된 복수의 데이터로부터, 주목 데이터의 비선형 특징량이 구하는 단계; 입력 데이터에 대응하는 생도 데이터와, 생도 데이터의 연산 처리에 의해 데이터를 생성하는 관계식에 기초하는 정규 방정식에 따르는 학습 처리에서 출력 데이터에 대응하는 교사 데이터로부터 미리 학습된 비선형 특징량과 제1 처리 계수의 연산 처리에 의해 구해진 제2 처리 계수를 생성하는 처리 계수 생성 - 상기 제2 처리 계수는 상기 생도 데이터의 비선형 특징량과 상기 제1 처리 계수에 따라 구해짐 - 단계; 주목 데이터의 위치 및 그 주변의 위치에 대응하는 입력 데이터 내의 복수의 데이터를 제2 추출하는 단계; 및 그 추출된 복수의 데이터와, 제2 처리 계수의 연산에 의해, 주목 데이터가 예측하는 단계가 포함된다.
본 발명의 제2 실시예에 따르면, 생도 데이터와 교사 데이터로부터 제1 처리 계수를 학습하는 학습 처리는, 생도 데이터로서 사용된 입력 데이터와 교사 데이터로서 사용된 공지된 출력 데이터를 이용하여 정규 방정식을 생성하는 단계; 및 정규 방정식을 풀어서 제1 처리 계수를 생성하는 단계를 실행함으로써 행해진다.
관계식은, 입력 데이터로부터 추출된 복수의 데이터와, 입력 데이터로부터 추출된 복수의 데이터로부터 신호 처리로 구해진 비선형 특징량에서 연산 처리를 행함으로써 얻어지는 제2 처리 계수와, 계수 생성부에 의해 미리 생성된 제1 처리 계수에서 연산 처리를 행함으로써, 입력 데이터보다 고품질의 출력 데이터를 생성하는 신호 처리에서 이용된 방정식이다.
이상과 같이, 본 발명의 제1 실시예에 따르면, 입력 데이터보다 고품질의 출력 데이터를 신호 처리에서 입력 데이터로부터 생성할 수 있다.
또한, 본 발명의 제2 실시예에 따르면, 신호 처리에 앞서 실행된 학습 처리에서, 보다 고품질의 데이터를 생성하기 위한 처리 계수를 생성할 수 있다.
도 4는, 본 발명의 원리를 도시하고 있다.
도 4에 도시하는 바와 같이, 본 발명의 클래스 적응 처리에서는, 동일한 클래스로 분류되는 출력 데이터 내의 주목 데이터에 대한 예측 계수 W가, 기점 계수 W0을 기준으로 해서, 입력 데이터의 거리 벡터 d에 따른 연속 함수에서 구해진다. 또한, 거리 벡터 d란, 입력 데이터 내의 예측 계수 W의 변화를 현저하게 나타내는, 입력 데이터의 선형합에서는 구해지지 않는 비선형 특징량의 벡터이다.
구체적으로는, 기점 계수 W0을 바탕으로, 거리 벡터 d를 이용하여 예측 계수 W의 계수 공간을 전개하면, 예측 계수 W는 이하의 수학식 1로 표현된다.
Figure 112008087452165-PAT00001
또한, 수학식 1에서, 예측 계수 W를 n개의 예측 계수로 이루어지는 n차원 벡터(W(=w0, …, w1, wn -1))로 하고, 거리 벡터 d를 m종류의 비선형 특징량으로 이루어지는 m차원 벡터(d(=d0, d1, …, dm -1))로 한다. p는 전개의 최대의 차수이다.
또한, 수학식 1은 기점 계수 W0을 고차 미분 전개한 형태로 되어 있지만, 그 값이 클래스 내부에서 거리 벡터 d에 의해 변화하지 않는다. 이하의 수학식 2에 나타난 새로운 계수 W0, di0, di1, …, di (r-1)는 고차 미분 전개한 형태 및 상수항인 1/r!로 정의된다. 더욱이, 변수로서 중복되는 항을 삭제해서 간결하게 표현하면, 수학식 1은 수학식 2로 된다.
Figure 112008087452165-PAT00002
또한, 수학식 2에서, W0, dio, W0, dio, di1, ... W0, dio, di1, di (r-1)는 , 예측 계수 W와 기점 계수 W0 간의 편차를 거리 벡터 d와 함께 나타내는 계수이며, 이하에서는, 이들 계수 W0, dio, W0, dio, di1, ... W0, dio, di1, di (r-1)를 통합해서 편차 계수라고 한다.
수학식 2에서 차수 r에 대한 항수 Sr은, 이하의 수학식 3으로 표현된다.
Figure 112008087452165-PAT00003
따라서, 예측 계수 W의 총변수의 수 S는, 이하의 수학식 4로 표현된다.
Figure 112008087452165-PAT00004
또한, 수학식 4에서, p=0일 때, S=n인 것으로 한다.
이상에 의해, 본 발명의 클래스 적응 처리에서는, 수학식 2에 따라서, 기점 계수 W0 및 편차 계수, 및 거리 벡터 d를 이용하여, 동일한 클래스 내의 분류된 주목 데이터 중 하나를 예측하는데 사용되는 예측 계수 W가 구해진다. 이에 의해, 동일한 클래스로 분류되는 주목 데이터를, 예측 계수에서 구별할 수 있다. 그 결과, 입력 데이터보다 고품질의 출력 데이터를 생성할 수 있다.
또한, 본 발명의 클래스 적응 처리에서는, 동일한 클래스로 분류되는 주목 데이터를 예측 계수에서 구별하기 위해서, 클래스를 세분화할 필요가 없으므로, 클래스수는 증대하지 않고, 예측 계수의 학습 정밀도는 악화하지 않는다. 또한, 본 발명의 클래스 분류 처리에서는, 본래의 클래스의 기점 계수 W0을 기준으로 해서 예측 계수 W가 구해지므로, 본래의 클래스와 상이한 클래스의 예측 계수가 혼합되는 것에 의한 출력 데이터의 열화를 방지할 수 있다.
도 5는, 본 발명을 적용한 신호 처리 장치의 제1 실시예의 구성예를 도시하는 블록도이다.
도 5의 블록도에 도시된 바와 같이, 신호 처리 장치(10)는 클래스 탭 추출부(11), 클래스 분류부(12), 계수 기억부(13), 거리 벡터 탭 추출부(14), 거리 벡 터 연산부(15), 예측 계수 생성부(16), 예측 탭 추출부(17), 및 데이터 예측부(18)에 의해 구성된다.
신호 처리 장치(10)는, 금후 생성되는 출력 데이터 내의 주목 데이터에 대한 클래스를 생성하고, 그 클래스의 기점 계수 W0을 기준으로 해서 구해진 예측 계수 W와 입력 데이터를 이용하여, 그 입력 데이터보다 고품질의 출력 데이터의 예측값을 생성함으로써, 클래스 적응 처리를 행한다. 이에 의해, 입력 데이터가, 보다 고품질의 출력 데이터로 변환된다.
상세하게는, 신호 처리 장치(10)에서, 클래스 탭 추출부(11)는, 금후 생성되는 출력 데이터를 구성하는 복수의 데이터의 각각을 순차적으로, 후술하는 바와 같이 예측될 주목 데이터로서 결정한다. 클래스 탭 추출부(11)는, 그 주목 데이터를 클래스로 분류하기 위해서 이용하는, 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 입력 데이터 내의 복수의 데이터를, 입력 데이터로부터 클래스 탭으로서 추출한다. 이후, 클래스 탭 추출부(11)는, 클래스 탭을 클래스 분류부(12)에 공급한다.
클래스 분류부(12)는, 클래스 탭 추출부(11)로부터 공급되는 클래스 탭의 특징에 따라서, 주목 데이터를 클래스로 분류함으로써, 주목 데이터에 대한 클래스를 생성한다. 주목 데이터를 분류하는 방법으로서는, 예를 들면, ADRC(Adaptive Dynamic Range Coding) 기술을 채용할 수 있다. ADRC를 이용하는 방법에서는, 클래스 탭을 구성하는 데이터가 ADRC 처리되고, 그 결과 얻어지는 ADRC 코드에 따라 서, 주목 데이터의 클래스가 결정된다.
또한, K비트 ADRC에서는, 예를 들면, 클래스 탭을 구성하는 데이터의 최대값 MAX와 최소값 MIN(즉, DR = MAX - MIN)이 검출되고, 클래스 탭으로서의 복수의 데이터의 집합의 국소적인 다이내믹 레인지로 하고, 이 다이내믹 레인지 DR에 기초하여, 클래스 탭으로서의 복수의 데이터 각각이 K비트로 재양자화된다. 즉, 클래스 탭으로서의 각 데이터로부터, 최소값 MIN이 감산되고, 그 감산값이 DR/2K로 제산(재양자화)된다. 그리고, 이상과 같이 해서 얻어지는, 클래스 탭으로서의 K비트의 데이터를, 소정의 순번으로 배열한 비트열이 ADRC 코드로 된다.
따라서, 클래스 탭이, 예를 들면, 1비트 ADRC 처리되는 경우에는, 그 클래스 탭으로서의 각 데이터는, 최소값 MIN이 감산된 후에, 최대값 MAX와 최소값 MIN과의 차의 1/2로 제산되고(또는 재양자화), 소수전 이하는 잘라버림으로써, 각 데이터가 1비트로 된다(2값화된다). 그리고, 그 1비트의 데이터를 소정의 순번으로 배열한 비트열이, ADRC 코드로 된다. 결국, 클래스 분류부(12)에 의해 생성된 주목 데이터에 대한 클래스는 계수 기억부(13)에 공급된다.
계수 기억부(13)는, 후술하는 학습에 의해 구해지고 있는 클래스마다의 기점 계수 W0과 편차 계수를 기억하고 있다. 계수 기억부(13)는, 클래스 분류부(12)로부터 공급되는 클래스에 대응하는 기점 계수 W0과 편차 계수를 읽어내어, 예측 계수 생성부(16)에 공급한다.
거리 벡터 탭 추출부(14)는, 클래스 탭 추출부(11)와 마찬가지로, 출력 데이 터를 구성하는 복수의 데이터의 각각을 순차적으로 예측될 주목 데이터로서 결정한다. 거리 벡터 탭 추출부(14)는, 주목 데이터에 대응하는 거리 벡터 d를 연산하기 위해 이용하는, 주목 데이터의 위치 및 그 주변의 위치에 대응하는 입력 데이터 내의 복수의 데이터를, 입력 데이터로부터 거리 벡터 탭으로서 추출한다. 거리 벡터 탭 추출부(14)는, 거리 벡터 탭을 거리 벡터 연산부(15)에 공급한다.
거리 벡터 연산부(15)는, 거리 벡터 탭 추출부(14)로부터 공급되는 거리 벡터 탭으로부터, 주목 데이터에 대응하는 거리 벡터 d를 연산하고, 예측 계수 생성부(16)에 공급한다.
예측 계수 생성부(16)는, 계수 기억부(13)로부터 공급되는 기점 계수 W0 및 편차 계수와, 거리 벡터 연산부(15)로부터 공급되는 거리 벡터 d를 이용하여, 수학식 2의 연산을 행함으로써, 예측 계수 W를 생성한다. 예측 계수 생성부(16)는, 예측 계수 W를 데이터 예측부(18)에 공급한다.
예측 탭 추출부(17)는, 클래스 탭 추출부(11)나 거리 벡터 탭 추출부(14)와 마찬가지로, 출력 데이터를 구성하는 복수의 데이터의 각각을, 순차적으로 주목 데이터로서 결정한다. 예측 탭 추출부(17)는, 주목 데이터를 예측하기 위해서 이용하는, 주목 데이터의 위치 및 그 주변의 위치에 대응하는 입력 데이터 내의 복수의 데이터를, 입력 데이터로부터 예측 탭으로서 추출한다. 예측 탭 추출부(17)는, 예측 탭을 데이터 예측부(18)에 공급한다.
데이터 예측부(18)는, 예측 계수 생성부(16)로부터 공급되는 예측 계수 W와, 예측 탭 추출부(17)로부터 공급되는 예측 탭을 이용하여, 주목 데이터를 예측하는 예측 연산을 행하고, 주목 데이터의 예측값을, 출력 데이터를 구성하는 주목 데이터로서 생성한다. 이후, 데이터 예측부(18)는 예측 연산에 의해 생성된 데이터로 구성되는 출력 데이터를 출력한다.
다음으로, 도 6의 플로우차트를 참조하여, 도 5의 신호 처리 장치(10)에 의한 신호 처리에 대해서 설명한다.
단계 S11에서, 클래스 탭 추출부(11), 거리 벡터 탭 추출부(14), 및 예측 탭 추출부(17)는, 출력 데이터를 구성하는 복수의 데이터 중의 아직 주목 데이터로 되어 있지 않은 1개를, 주목 데이터로서 결정한다. 단계 S12에서, 클래스 탭 추출부(11)는, 입력 데이터로부터, 주목 데이터에 대응하는 클래스 탭을 추출하고, 클래스 분류부(12)에 공급한다.
다음 단계 S13에서, 클래스 분류부(12)는, 클래스 탭 추출부(11)로부터 공급되는 클래스 탭의 특징에 따라서, 주목 데이터를 클래스로 분류함으로써, 주목 데이터에 대한 클래스를 생성한다. 그리고, 클래스 분류부(12)는 생성된 주목 데이터에 대한 클래스를 계수 기억부(13)에 공급한다.
다음 단계 S14에서, 거리 벡터 탭 추출부(14)는, 입력 데이터로부터 주목 데이터에 대응하는 거리 벡터 탭을 추출하고, 거리 벡터 연산부(15)에 공급한다. 단계 S15에서, 거리 벡터 연산부(15)는, 거리 벡터 탭 추출부(14)로부터 공급되는 거리 벡터 탭으로부터, 주목 데이터에 대응하는 거리 벡터 d를 연산하고, 예측 계수 생성부(16)에 공급한다.
다음 단계 S16에서, 계수 기억부(13)는 클래스 분류부(12)로부터 공급되는 클래스에 대응하는 기점 계수 W0과 편차 계수를 읽어내어, 예측 계수 생성부(16)에 공급한다.
이후, 다음 단계 S17에서, 예측 계수 생성부(16)는 계수 기억부(13)로부터 공급되는 기점 계수 W0 및 편차 계수와, 거리 벡터 연산부(15)로부터 공급되는 거리 벡터 d를 이용하여, 수학식 2의 연산을 행함으로써, 예측 계수 W를 생성한다. 예측 계수 생성부(16)는, 예측 계수 W를 데이터 예측부(18)에 공급한다.
단계 S18에서, 예측 탭 추출부(17)는, 입력 데이터로부터, 주목 데이터에 대응하는 예측 탭을 추출하고, 데이터 예측부(18)에 공급한다.
다음 단계 S19에서, 데이터 예측부(18)는, 예측 계수 생성부(16)로부터 공급되는 예측 계수 W와, 예측 탭 추출부(17)로부터 공급되는 예측 탭을 이용하여 예측 연산을 행하고, 주목 데이터의 예측값을, 출력 데이터를 구성하는 주목 데이터로서 생성한다. 다음 단계 S20에서, 클래스 탭 추출부(11), 거리 벡터 탭 추출부(14), 및 예측 탭 추출부(17)는, 출력 데이터를 구성하는 모든 데이터를 주목 데이터로 결정하였는지를 판정한다.
단계 S20에서, 출력 데이터를 구성하는 모든 데이터를 아직 주목 데이터로 결정하고 있지 않다고 판정된 경우, 처리는 단계 S11로 되돌아가고, 상술한 처리가 반복된다.
한편, 단계 S20에서, 출력 데이터를 구성하는 모든 데이터를 주목 데이터로 결정하였다고 판정된 경우, 단계 S21에서, 데이터 예측부(18)는 단계 S19에서 예측 처리를 행함으로써 각각 생성된 주목 데이터로 구성되는 출력 데이터를 출력하고, 처리는 종료한다.
이상과 같이, 신호 처리 장치(10)는, 클래스마다의 기점 계수 W0 및 편차 계수 Wd를 이용하여 예측 계수 W를 생성함으로써, 동일한 클래스로 분류되는 주목 데이터를 예측 계수 W에서 구별하므로, 보다 고품질의 출력 데이터를 생성할 수 있다.
또한, 기점 계수 W0 및 편차 계수 Wd는, 예를 들면, 후술하는 바와 같이 최소 제곱법을 이용한 학습 처리에서 입력 데이터에 대응하는 생도 데이터와 입력 데이터에 대한 공지된 출력 데이터에 대응하는 교사 데이터로부터 미리 학습된다.
소정의 예측 연산으로서, 예를 들면, 선형 1차 예측 연산을 채용하는 것으로 하면, 출력 데이터를 구성하는 데이터 y는 다음의 선형 1차식에 의해 구해지게 된다.
Figure 112008087452165-PAT00005
본 명세서에서, 수학식 5는 또한 이전에 언급된 관계 방정식으로서 지칭된다. 상술한 수학식 5에서, X는, 출력 데이터의 주목 데이터 y에 관한 예측 탭을 구성하는 입력 데이터의 n개의 데이터로 이루어지는 n차원 벡터(X=(x0, x1, …, xn))이다. 즉, 예측 탭을 구성하는 데이터의 개수와, 예측 계수 W를 구성하는 예측 계수의 개수는 동일하다.
출력 데이터에 포함될 주목 데이터 y를 구하는 방정식으로서의 수학식 5의 선형 방정식을 이용하는 대신, 보다 고차 식인 4차 방정식이 또한 사용될 수 있음에 유의한다.
이 경우에 교사 데이터인 출력 데이터의 제k 샘플(또는 k 번째 주목 데이터)의 실제값을 yk로 나타내는데 반하여, Xk(Xk=(xk0, xk1, …, xkn)) 표시는, 출력 데이터 내의 제k 주목 데이터의 위치에 대응하는 데이터와 제k 샘플의 위치를 둘러싼 주변 위치에 위치한 데이터로서, 이 경우에 생도 데이터인 입력 데이터에 포함된 n 데이터를 나타내는 예측 탭을 나타내는 n차원 벡터를 표시한다. 또한, 수학식 5에 따른 출력 데이터의 예측값 y를 구하는데 사용된 예측 계수 W의 값을 결정하는 종래의 규범으로서 채용되는 최소 제곱법이 최적이다. 예측 계수 W는 기점 계수 W0와 편차 계수 Wd로부터 구해지기 때문에, 최소 제곱법은 이하에 기술될 바와 같이 기점 계수 W0와 편차 계수 Wd의 최적값을 제공해야 한다. 최소 제곱법의 경우, 종래의 추정 함수 Q는 이하의 수학식 6으로 표현된다.
Figure 112008087452165-PAT00006
또한, 수학식 6에서, N은 세트 학습 처리에서 샘플(또는 학습 샘플)로서 이요된 주목 데이터의 수 yk를 나타낸다. 이 경우, 기술 용어 "세트 학습 처리(set learning process)"는, 출력 데이터로서 사용된 교사 데이터의 주목 데이터 yk 및, 출력 데이터 내의 주목 데이터 yk 및 주목 데이터 yk의 위치를 둘러싼 주변 위치에 따른 위치의 데이터로서, 생도 데이터인 입력 데이터에 포함된 n 데이터를 나타내는 예측 탭을 나타내는 n 차원 벡터 Xk를 포함하는 기술 용어 "세트 학습 처리"에서의 단어 "세트"를 나타내기 위해서 신중하게 사용된다. tk는 제k 샘플에 할당된 가중치(또는 주목 데이터 yk)이다. 일반적으로, 가중치 tk는 예를 들면 거리 벡터 d의 크기에 따라서 결정되는 상수이다.
평가 함수 Q는 수학식 6의 우변으로 가중치 tk, 주목 데이터에 대한 교사 데이터의 실제값 yk, 기점 계수 W0, 거리 벡터 d, 편차 계수 wd 및 n차원 벡터 Xk에 따른 함수로서 표현된다. 최소 제곱 방법에 기초하여, 수학식 6으로 표현된 평가 함수 Q의 최소값(극소값)은 각 편미분을 설정하여 구한 기점 계수 W0 및 편차 계수 wd으로 주어지며, 평가 함수 Q의 편미분으로서 기점 계수 W0 및 편차 계수 wd에 대해 그 값이 0이 되도록 도출된다. 즉, 우선, 수학식 6으로 나타난 평가 함수 Q는 기점 계수 W0 및 편차 계수 wd에 대해 편미분된 후, 편미분으로 구해진 결과로서 얻은 각 편미분은 0으로 설정되어 이후 행렬식으로 간단히 지칭되는 행렬식으로서 도 7의 도면에 도시된 연립 방정식을 낸다. 이후, 소위 학습 처리에서, 연립 방정식을 풀어서 기점 계수 W0 및 편차 계수 Wd를 구한다.
도 7의 행렬식의 각 행렬은 소블록으로 나뉜다. 좀더 구체적으로, 행렬식 상의 좌측 행렬은 도 7이 도면의 좌측 상부 코너에 도시된 n×n 행렬인 소블록으로 나뉜다. 행렬식의 좌변과 행렬식의 우변의 가장 우측 행렬의 각 중행렬(middle matrix)은 도 7의 도면의 우측 상부 코너에 도시된 n×1 행렬인 소블록으로 나뉜다. 행렬식의 좌변의 가장 좌측의 각 소블록 및 행렬식의 우변의 가장 우측 행렬의 각 소블록은, 소블록의 위치에 따른 거리 벡터 d의 값에 종래 클래스 적응 처리에서의 선형 예측 처리에 따른 행렬의 대응 구성요소를 승산함으로써 얻어진다. 도 7의 도면에 도시된 i 및 j(0≤i, j≤n)는, 예측 탭 내의 데이터의 위치를 나타내고 있다.
또한, 이 행렬식은, 클래스마다 생성되고, 최적인 기점 계수 W0 및 편차 계수 Wd가 클래스마다 구해진다는 것에 유의한다.
신호 처리 장치(10)의 클래스 적응 처리에서, 이상과 같이 도 7의 도면에서 도시된 정규 방정식에 따른 학습 처리로 구해지는 최적 기점 계수 W0 및 최적 편차 계수 Wd는 예측 계수 생성부(16)에 의해서 수학식 2의 연산에 이용된다. 이후, 예측 계수 W는 데이터 예측부(18)에 의해서, 입력 데이터를 출력 데이터로 변환하기 위해서 관계 방정식으로 참조된 수학식 5에 따른 예측 계수 W를 이용하는 예측 처 리에 이용된다.
도 8은, 도 5의 블록도에 도시된 신호 처리 장치(10)에 의해 이용되는 기점 계수 W0 및 편차 계수 Wd를 학습하는 학습 장치(30)의 구성예를 도시하고 있다.
도 8의 블록도에 도시된 바와 같이, 학습 장치(30)는, 학습쌍 기억부(31), 클래스 탭 추출부(32), 클래스 분류부(33), 거리 벡터 탭 추출부(34), 거리 벡터 연산부(35), 예측 탭 추출부(36), 정규 방정식 생성부(37), 계수 생성부(38), 및 계수 기억부(39)에 의해 구성된다.
학습 장치(30)에 채용된 학습쌍 기억부(31)는, 학습쌍을 형성하는 생도 데이터와 교사 데이터를 포함하는 학습쌍 데이터를 저장하는데 사용된 메모리이다. 학습쌍의 생도 데이터는 기점 계수 W0 및 편차 계수 Wd의 학습에 사용된 데이터 중의 하나이다. 생도 데이터는 신호 처리 장치(10)에서 입력 데이터에 대응한다. 학습 처리에 사용된 학습쌍의 다른 데이터는 교사 데이터이다. 교사 데이터는 생도 데이터에 공지된 이상적인 출력 데이터에 대응하는 데이터이다.
학습쌍 기억부(31)는, 학습쌍 데이터 중의 생도 데이터를, 클래스 탭 추출부(32), 거리 벡터 탭 추출부(34), 및 예측 탭 추출부(36)에 출력하고, 교사 데이터를 정규 방정식 생성부(37)에 출력한다.
클래스 탭 추출부(32)는, 도 5의 클래스 탭 추출부(11)와 마찬가지로, 교사 데이터를 구성하는 복수의 데이터의 각각을, 순차적으로 주목 데이터로서 결정한다. 클래스 탭 추출부(32)는, 그 주목 데이터를 클래스로 분류하기 위해서 이용하 는, 주목 데이터의 위치 및 그 주변의 위치에 대응하는 생도 데이터 내의 복수의 데이터를, 생도 데이터로부터 클래스 탭으로서 추출한다. 클래스 탭 추출부(32)는, 클래스 탭을 클래스 분류부(33)에 공급한다.
클래스 분류부(33)는, 도 5의 클래스 분류부(12)와 마찬가지로, 클래스 탭 추출부(32)로부터 공급되는 클래스 탭의 특징에 따라서, 주목 데이터를 클래스로 분류함으로써, 주목 데이터에 대한 클래스를 생성한다. 클래스 분류부(33)는, 그 클래스를 정규 방정식 생성부(37)에 공급한다.
도 5에 됫된 신호 처리 장치(10)에 사용된 거리 벡터 탭 추출부(14)와 상숭ㄹ한 클래스 탭 추출부(32)에서와 마찬가지로, 거리 벡터 탭 추출부(34)는 주목 데이터로서 교사 데이터에 포함된 복수의 데이터 각각을 순차적으로 결정한다. 각 주목 데이터에 대해서, 거리 벡터 탭 추출부(34)는, 도 5의 거리 벡터 탭 추출부(14)와 마찬가지로, 주목 데이터에 대응하는 거리 벡터 d를 연산하기 위해서 이용하는, 주목 데이터의 위치 및 그 주변의 위치에 대응하는 생도 데이터 내의 복수의 데이터를, 생도 데이터로부터 거리 벡터 탭으로서 추출한다. 이후, 거리 벡터 탭 추출부(34)는, 거리 벡터 탭을 거리 벡터 연산부(35)에 공급한다.
거리 벡터 연산부(35)는, 도 5에 도시된 신호 처리 장치(10)에 사용된 거리 벡터 연산부(15)와 마찬가지로, 거리 벡터 탭 추출부(34)로부터 공급되는 거리 벡터 탭으로부터, 주목 데이터에 대응하는 거리 벡터 d를 연산하고, 정규 방정식 생성부(37)에 공급한다.
예측 탭 추출부(36)는, 클래스 탭 추출부(32)나 거리 벡터 탭 추출부(34) 이 외에도 도 5의 도면에 도시된 신호 처리 장치(100)에 사용된 예측 탭 추출부(17)와 마찬가지로, 교사 데이터를 구성하는 복수의 데이터의 각각을, 순차적으로 주목 데이터로서 결정한다. 예측 탭 추출부(36)는, 도 5의 예측 탭 추출부(17)와 마찬가지로, 주목 데이터를 예측하기 위해서 이용하는, 주목 데이터의 위치 및 그 주변의 위치에 대응하는 생도 데이터 내의 복수의 데이터를, 생도 데이터로부터 예측 탭으로서 추출한다. 이후, 예측 탭 추출부(36)는 그 예측 탭을 정규 방정식 생성부(37)에 공급한다.
정규 방정식 생성부(37)는, 클래스 분류부(33)로부터 공급되는 클래스마다, 거리 벡터 연산부(35)로부터 공급되는 거리 벡터 d, 예측 탭 추출부(36)로부터 공급되는 예측 탭, 및 학습쌍 기억부(31)로부터 입력되는 교사 데이터를 이용하여 산입을 행한 행렬식(도 7)을 정규 방정식으로서 생성한다. 실제로, 정규 방정식 생성부(37)는, 거리 벡터 연산부(35)로부터 수신된 거리 벡터 d를 이용하여 도 7의 도면에 도시된 행렬식의 행렬 내의 구성요소로서 사용되는 가중치 tk를 연산한다. 이후, 정규 방정식 생성부(37)는, 가중치 tk, 거리 벡터 d, 생도 데이터를 나타내는 탭으로서 예측 탭 추출부(36)로부터 수시된 예측 탭 Xk 및 교사 데이터의 값으로서 학습쌍 기억부(31)로부터 수신된 실제값 yk에 기초하여 생성될 정규 방정식의 파라미터를 창조한다. 전술한 바와 같이, 예측 탭 Xk는 k 번째 주목 데이터에 대한 예측 탭으로서 생도 데이터로부터 추출된 데이터를 나타낸다.
구체적으로는, 생도 데이터로부터 추출된 데이터의 n차원 벡터를 나타내는데 사용된 심볼 Xk(Xk=(xk0, xk1, …, xkn))에 의해 나타난 파라미터로서 예측 탭 Xk을 이용하고 정규 방정식 생성부(37)는, k 번째 주목 데이터에 대한 교사 데이터를 나타내는 정규 방정식에서의 심볼 yk에 의해 표시되는 파라미터로서 실제 값 yk를 이용하고 k 번째 주목 데이터에 대한 거리 벡터를 나타내는 거리 벡터 d를 이용하여, 정규 방정식의 파라미터를 창조한다.
상술한 바와 같이, 정규 방정식은 도 7의 도면에 도시된 행렬식에 의해 표현된 방정식이다. 도 7의 도면에 도시된 방정식은 수학식 6의 미분 방정식을 유도하고 미분 방정식으로 나타낸 표현값을 0으로 설정하여 얻어진다. 따라서, 도 7의 도면에 도시된 방정식은 수학식 6으로 표시된 평가 함수의 값을 최소화하는 조건 또는 실제 값 yk에 가장 근접한 예측값 y를 제공하는 최적 기점 계수 W0 및 최적 편차 계수 Wd를 주는 조건을 나타내는 방정식이다. 덧붙여서, 수학식 6으로 나타낸 평가 함수는, 제2 예측 계수 Wdp 의해서 예측 탭 X로서 입력 데이터로부터 추출된 복수의 데이터를 승산하는 제2 연산 처리를 행함으로써 입력 데이터보다 고품질의 출력 데이터의 주목 데이터 y를 생성하는 방정식인 수학식 5로 나타나는 관계 방정식을 풀어서 구성된다. 전술한 바와 같이, 출력 데이터 및 입력 데이터는 각각 교사 데이터 및 생도 데이터에 대응한다. 제2 예측 계수 W는 거리 벡터 d로서 입력 데이터로부터 추출된 복수의 데이터와 기점 계수 W0 및 편차 계수 Wd를 포함하는 제1 예측 계수로부터 구해진 비선형 특징량에서 제1 연산 처리를 실행함으로써 생성 된 계수이다. 따라서, 정규 방정식 생성부(37)에 의해 생성된 정규 방정식은 상술한 바와 같이 기점 계수 W0 및 편차 계수 Wd를 구하는 방정식으로 지칭될 수 있다. 정규 방정식 생성부(37)는 정규 방정식의 파라미터를 갖는 계수 생성부(38)를 제공한다.
계수 생성부(38)는, 정규 방정식 생성부(37)로부터 공급되는 정규 방정식을 풀어서, 기점 계수 W0과 편차 계수 Wd를 생성한다. 즉, 계수 생성부(38)는 정규 방정식의 파라미터로서 정규 방정식 생성부(37)로부터 수신된 파라미터를 이용하여 정규 방정식을 풀어 기점 계수 W0 및 편차 계수 Wd를 구한다. 계수 생성부(38)는 도 5의 블록도에 도시된 신호 처리 장치(10)에 채용된 계수 기억부(13)인 계수 기억부(39) 내의 기점 계수 W0 및 편차 계수 Wd를 저장한다. 따라서, 시놓 처리 장치(10)는 상술한 바와 같이 생도 데이터 및 교사 데이터로부터 미리 학습 장치(30)로 학습한 기점 계수 W0 및 편차 계수 Wd를 이용할 수 있다.
도 9에 도시된 플로우차트를 참조하여, 도 8의 학습 장치(30)에 의한 학습 처리에 대해서 설명한다.
플로우차트는 학습쌍 기억부(31)가 단계 S30에서, 기억하고 있는 학습쌍 데이터 중의 아직 출력하고 있지 않은 학습쌍 데이터를 출력한다. 구체적으로는, 학습쌍 기억부(31)는, 학습쌍 데이터 중의 생도 데이터를, 클래스 탭 추출부(32), 거리 벡터 탭 추출부(34), 및 예측 탭 추출부(36)에 입력하고, 교사 데이터를 정규 방정식 생성부(37)에 입력한다.
다음 단계 S31에서, 클래스 탭 추출부(32), 거리 벡터 탭 추출부(34), 및 예측 탭 추출부(36)는, 도 5의 클래스 탭 추출부(11)와 마찬가지로, 교사 데이터를 구성하는 복수의 데이터 중의 아직 주목 데이터로 되어 있지 않은 1개를, 주목 데이터로서 결정한다.
다음에, 단계 S32에서, 클래스 탭 추출부(32)는, 생도 데이터로부터 주목 데이터에 대응하는 클래스 탭을 추출하고, 클래스 분류부(33)에 공급한다.
이후, 다음 단계 S33에서, 클래스 분류부(33)는, 도 5의 클래스 분류부(12)와 마찬가지로, 클래스 탭 추출부(32)로부터 공급되는 클래스 탭의 특징에 따라서, 주목 데이터를 클래스로 분류함으로써, 주목 데이터에 대한 클래스를 생성한다. 클래스 분류부(33)는, 그 클래스를 정규 방정식 생성부(37)에 공급한다.
다음, 단계 S34에서, 거리 벡터 탭 추출부(34)는, 도 5의 거리 벡터 탭 추출부(14)와 마찬가지로, 생도 데이터로부터, 주목 데이터에 대응하는 거리 벡터 탭을 추출하고, 거리 벡터 연산부(35)에 공급한다.
이후, 단계 S35에서, 거리 벡터 연산부(35)는, 도 5의 거리 벡터 연산부(15)와 마찬가지로, 거리 벡터 탭 추출부(34)로부터 공급되는 거리 벡터 탭으로부터, 주목 데이터에 대응하는 거리 벡터 d를 연산하고, 정규 방정식 생성부(37)에 공급한다.
다음, 단계 S36에서, 예측 탭 추출부(36)는, 도 5의 예측 탭 추출부(17)와 마찬가지로, 생도 데이터로부터 주목 데이터에 대응하는 예측 탭을 추출하고, 정규 방정식 생성부(37)에 공급한다.
이후, 단계 S37에서, 정규 방정식 생성부(37)는, 클래스 분류부(33)로부터 공급되는 클래스마다, 도 7의 도면에 도시된 행렬식에 의해 표현된 방정식인 정규 방정식을 생성한다. 실제로, 정규 방정식 생성부(37)는 거리 벡터 연산부(35)로부터 수신된 거리 벡터 d를 이용하여 도 7의 도면에 도시된 행렬식에서 구성요소로서 사요오딘 가중치 tk를 연산한다. 이후, 정규 방정식 생성부(37)는, 가중치 tk, 거리 벡터 d, 생도 데이터를 나타내는 탭으로서 예측 탭 추출부(36)로부터 수신된 예측 탭 Xk 및 교사 데이터의 값으로서 학습쌍 기억부(31)로부터 수신된 실제값 yk에 기초하여, 생성될 정규 방정식의 파라미터를 창조한다.
이후, 다음 단계 S38에서, 클래스 탭 추출부(32), 거리 벡터 탭 추출부(34), 및 예측 탭 추출부(36)는, 교사 데이터를 구성하는 모든 데이터를 주목 데이터로 결정하였는지를 판정한다. 단계 S38에서 교사 데이터를 구성하는 모든 데이터를 아직 주목 데이터로 결정하고 있지 않다고 판정된 경우, 처리는 단계 S31로 되돌아가고, 상술한 처리가 반복된다.
한편, 단계 S38에서 교사 데이터를 구성하는 모든 데이터를 주목 데이터로 결정하였다고 판정된 경우, 단계 S39로 넘어가서, 학습쌍 기억부(31)는, 모든 학습쌍 데이터에 대하여 단계 S30 내지 S38의 처리가 행하여졌는지, 즉, 기억하고 있는 모든 학습쌍 데이터를 출력하였는지를 판정한다. 단계 S39에서, 아직 모든 학습쌍 데이터에 대하여 단계 S30 내지 S38의 처리가 행하여지고 있지 않다고 판정된 경 우, 처리는 단계 S30으로 되돌아가고, 상술한 처리가 반복된다.
또한, 단계 S39에서, 모든 학습쌍 데이터에 대하여 단계 S30 내지 S38의 처리가 행하여졌다고 판정된 경우, 정규 방정식 생성부(37)는, 단계 S37에서 산입이 행하여짐으로써 생성된 정규 방정식을, 계수 생성부(38)에 공급한다.
그리고, 단계 S40에서, 계수 생성부(38)는, 정규 방정식 생성부(37)로부터 공급되는 정규 방정식을 풀어서, 기점 계수 W0 및 편차 계수 Wd를 생성하고, 계수 기억부(39)에 기억시킨다.
이상과 같이, 학습 장치(30)는, 기점 계수 W0 및 편차 계수 Wd를 클래스마다 학습하므로, 신호 처리 장치(10)는, 그 학습에 의해 구해진 클래스마다의 기점 계수 W0 및 편차 계수 Wd와, 거리 벡터 d를 이용하여, 예측 계수 W를 생성할 수 있다. 이에 의해, 동일한 클래스로 분류되는 주목 데이터가 예측 계수 W에서 구별되므로, 신호 처리 장치(10)는, 보다 고품질의 출력 데이터를 생성할 수 있다.
또한, 상술한 신호 처리 장치(10) 및 학습 장치(30)에서 처리되는 데이터는, 어떠한 데이터이어도 되지만, 그 데이터의 일례로서 화상 데이터가 적용된 경우에 대해서 이하에 설명한다.
도 10은, 본 발명의 제2 실시예에 따른 신호 처리 장치(110)의 구성예를 도시하는 블록도이다.
도 10의 블록도에 도시된 바와 같이, 신호 처리 장치(110)는, 클래스 탭 추출부(111), 클래스 분류부(112), 계수 기억부(113), 정규화 레벨 탭 추출부(114), 정규화 레벨 연산부(115), 예측 계수 생성부(116), 예측 탭 추출부(117), 및 데이터 예측부(118)에 의해 구성된다.
신호 처리 장치(110)는, SD 화상의 SD(Standard Definition) 화상 데이터인 입력 데이터를 서빙하는 HD 화상의 HD(High Definition) 화상 데이터인 출력 데이터로 변환하는 클래스 적응 처리를 실행한다. 구체적으로, 신호 처리 장치(110)는 지금부터 생성된 HD 화상에 포함된 주목 화소마다 클래스를 결정하고 HD 화상을 생성하기 위해서 HD 화상에 포함된 주목 화소마다 예측 화소값을 연산함으로써 클래스 적응 처리를 실행한다. HD 화상 데이터는 HD 화상에 포함된 주목 화소마다의 화소값으로 구성된다. 주목 화소마다의 예측 화소값 y는 수학식 5에 따른 예측 계수 W와 SD 화상 데이터 X를 이용하여 연산된다. 예측 계수 W는 클래스의 기점 계수 W0로 연산된 계수이다. SD 화소 데이터는 SD 화상으로 구성된 매 화소의 화소값으로 구성된다. 따라서, 클래스 적응 처리에서, SD 화상 데이터는 SD 화상 데이터보다 고해상도의 HD 화상으로 변환된다.
상세하게는, 신호 처리 장치(110)에서, 클래스 탭 추출부(111)는 SD 화상을 나타내는 SD 화상으로부터 이제 생성될 HD 화상 데이터로 나타난 HD 화상을 구성하는 복수의 화소 각각을 순차적으로 결정하여, 주목 화소로서 서빙한다. 각 주목 화소에 대해서, 클래스 탭 추출부(111)는 SD 화상 데이터로부터 클래스 탬으로서 SD 화상을 구성하는 복수의 화소값을 추출한다. 주목 화소를 분류하여 클래스에 따른 주목 화소가 되도록 하는 클래스 분류부(112)에 의해 생성된 처리에 사용되도 록, 클래스 탭으로서 SD 화상으로부터 추출된 화소값들은 HD 화상 내의 주목 화소의 위치에 따른 위치 및 주목 화소의 위치를 둘러싼 주변 위치의 화소값이다. 이후, 클래스 탭 추출부(111)는 클래스 탭을 클래스 분류부(112)에 공급한다.
클래스 분류부(112)는, 클래스 탭 추출부(111)로부터 공급되는 클래스 탭의 특징에 따라서, 주목 화소를 특정 클래스로 분류함으로써, 주목 화소에 대한 클래스를 생성하고, 그 클래스를 계수 기억부(113)에 공급한다.
계수 기억부(113)는, 후술하는 학습 장치(130)(도 12)에 의해 학습된, 클래스마다의 기점 계수 W0과 편차 계수 Wd를 기억하고 있다. 기점 계수 W0과 편차 계수 Wd는 후술하는 도 12의 블록도에 도시된 학습 장치(130)에 의해 미리 학습되었다. 클래스 분류부(112)로부터 클래스를 수신하면, 계수 기억부(113)는 예측 계수 생성부(116)에 클래스와 연관된 기점 계수 W0과 편차 계수 Wd를 제공한다.
정규화 레벨 탭 추출부(114)는, 클래스 탭 추출부(111)와 마찬가지로, HD 화상을 구성하는 복수의 화소의 각각을, 순차적으로 주목 화소로서 결정한다. 각 주목 화소에 대해서, 정규화 레벨 탭 추출부(114)는 SD 화상 데이터로부터 정규화 레벨 탭으로서 SD 화상을 구성하는 복수의 화소값을 추출한다. 주목 화소값에 대해서 정규화 레벨의 벡터인 정규화 레벨 벡터를 연산하는 정규화 레벨 벡터 연산부(115)에 의해 핸해진 처리에 사용되도록, 정규화 레벨 탭으로서 SD 화상으로부터 추출된 화소값들은 HD 화상 내의 주목 화소의 위치 및 주목 화소의 위치를 둘러싼 주변 위치에 따른 위치의 화소값이다. 이후, 정규화 레벨 탭 추출부(114)는 정규 화 레벨 탭을 정규화 레벨 벡터 연산부(115)에 공급한다.
정규화 레벨 연산부(115)는, 정규화 레벨 탭 추출부(114)로부터 공급되는 정규화 레벨 탭을 구성하는 화소값을 정규화한다. 구체적으로는, 정규화 레벨 연산부(115)는, 예를 들면, 정규화 레벨 탭을 구성하는 화소값 L 각각에 대해서, 화소값 L로부터, 정규화 레벨 탭을 구성하는 화소값의 최소값 Lmin을 감산한 것을, 정규화 레벨 탭을 구성하는 화소값의 최대값 Lmax로부터 최소값 Lmin을 감산한 것으로 제산하고, 정규화 후의 화소값 ILevel을 구한다.
정규화 레벨 연산부(115)는, 정규화 레벨 탭의 정규화 후의 각 화소값 ILevel을 나타내는 1차원의 벡터를, 정규화 레벨 벡터로서 예측 계수 생성부(116)에 공급한다.
예측 계수 생성부(116)는, 정규화 레벨 벡터 연산부(115)로부터 수신된 정규화 레벨 벡터 이외에, 계수 기억부(113)로부터 수신된 기점 계수 W0과 편차 계수 Wd에 기초하여, 수학식 2에 다른 연산 처리를 행함으로써 예측 계수 W를 생성한다. 구체적으로, 예측 계수 W를 연산하기 위해서, 예측 계수 생성부(116)는 수학식 2 내의 m을 1(즉, m=1)로 설정한다. 이후, 예측 계수 생성부(116)는 기점 계수 W0과 편차 계수 Wd를 수학식 2에 대입한다. 예측 계수 생성부(116)는 또한 수학식 2에 정규화 레벨 벡터를 거리 벡터 d0으로 대입한다. 예측 계수 생성부(116)는 예측 계수 W를 데이터 예측부(118)에 공급한다.
예측 탭 추출부(117)는, 클래스 탭 추출부(111)나 정규화 레벨 탭 추출부(114)와 마찬가지로, HD 화상을 구성하는 복수의 화소의 각각을, 순차적으로 주목 화소로서 결정한다. 예측 탭 추출부(117)는, 주목 화소의 화소값을 예측하기 위해 이용하는, 주목 화소의 위치 및 그 주변의 위치에 대응하는 SD 화상 내의 복수의 화소의 화소값을, SD 화상 데이터로부터 예측 탭으로서 추출한다. 주목 화소값을 예측하도록, 예측 탭으로서 SD 화상 데이터로부터 추출된 화소값들은 HD 화상의 주목 화소의 위치 및 그 주변 위치의 화소값들이다. 예측 탭 추출부(117)는, 예측 탭을 데이터 예측부(118)에 공급한다.
데이터 예측부(118)는, 예측 계수 생성부(116)로부터 공급되는 예측 계수 W와, 예측 탭 추출부(117)로부터 공급되는 예측 탭을 이용하여, 상술한 수학식 5의 예측 연산을 행하고, 주목 화소의 화소값의 예측값을, HD 화상을 구성하는 주목 화소의 화소값으로서 생성한다. 데이터 예측부(118)는, 예측 연산에 의해 생성된 화소값으로 이루어지는 HD 화상 데이터를 출력한다.
다음으로, 도 11의 플로우차트를 참조하여, 도 10의 신호 처리 장치(110)에 의한 화상 처리에 대해서 설명한다.
단계 S111에서, 클래스 탭 추출부(111), 정규화 레벨 탭 추출부(114), 및 예측 탭 추출부(117)는, HD 화상을 구성하는 복수의 화소 중의 아직 주목 화소로 되어 있지 않은 1개를, 주목 화소로서 결정한다. 단계 S112에서, 클래스 탭 추출부(111)는, 주목 화소에 대응하는 클래스 탭을 추출하고, 클래스 분류부(112)에 공급한다.
다음, 단계 S113에서, 클래스 분류부(112)는, 클래스 탭 추출부(111)로부터 공급되는 클래스 탭의 특징에 따라서, 주목 화소를 클래스로 분류함으로써, 주목 화소에 대한 클래스를 생성한다. 그리고, 클래스 분류부(112)는, 생성된 주목 화소에 대한 클래스를 계수 기억부(113)에 공급한다.
다음, 단계 S114에서, 정규화 레벨 탭 추출부(114)는, SD 화상 데이터로부터 주목 화소에 대응하는 정규화 레벨 탭을 추출하고, 정규화 레벨 연산부(115)에 공급한다.
이후, 단계 S115에서, 정규화 레벨 연산부(115)는, 정규화 레벨 탭 추출부(114)로부터 공급되는 정규화 레벨 탭으로부터, 정규화 레벨 벡터를 연산한다. 구체적으로는, 정규화 레벨 연산부(115)는, 정규화 레벨 탭을 구성하는 화소값을 정규화하고, 그 결과 얻어지는 화소값을 나타내는 일차원의 벡터를, 정규화 레벨 벡터로서 구한다. 정규화 레벨 연산부(115)는, 정규화 레벨 벡터를 예측 계수 생성부(116)에 공급한다.
단계 S116에서, 계수 기억부(113)는, 클래스 분류부(112)로부터 공급되는 클래스에 대응하는 기점 계수 W0과 편차 계수 Wd를 읽어내고, 예측 계수 생성부(116)에 공급한다. 단계 S117에서, 예측 계수 생성부(116)는, 계수 기억부(113)로부터 공급되는 기점 계수 W0 및 편차 계수 Wd와, 정규화 레벨 연산부(115)로부터 공급되는 정규화 레벨 벡터를 이용하여, 예측 계수 W를 생성한다. 다음, 예측 계수 생성부(116)는, 예측 계수 W를 데이터 예측부(118)에 공급한다.
이후, 다음 단계 S118에서, 예측 탭 추출부(117)는, SD 화상 데이터로부터 주목 화소에 대응하는 예측 탭을 추출하고, 데이터 예측부(118)에 공급한다.
다음, 단계 S119에서, 데이터 예측부(118)는, 예측 계수 생성부(116)로부터 공급되는 예측 계수 W와, 예측 탭 추출부(117)로부터 공급되는 예측 탭을 이용하여, 상술한 수학식 5의 예측 연산을 행하고, 주목 화소의 화소값의 예측값을, HD 화상을 구성하는 주목 화소의 화소값으로서 생성한다. 단계 S20에서, 클래스 탭 추출부(111), 정규화 레벨 탭 추출부(114), 및 예측 탭 추출부(117)는, HD 화상을 구성하는 모든 화소를 주목 화소로 결정하였는지를 판정한다.
단계 S120에서, HD 화상을 구성하는 모든 화소를 아직 주목 화소로 결정하고 있지 않다고 판정된 경우, 처리는 단계 S111로 되돌아가고, 상술한 처리가 반복된다.
한편, 단계 S120에서, HD 화상을 구성하는 모든 화소를 주목 화소로 결정하였다고 판정된 경우, 단계 S121에서, 데이터 예측부(118)는, 예측 연산에 의해 생성된 화소값으로 이루어지는 HD 화상 데이터를 출력하고, 처리는 종료한다.
도 12는, 도 10의 신호 처리 장치(110)에 의해 이용되는 기점 계수 W0 및 편차 계수 Wd를 학습하는 학습 장치(130)의 구성예를 도시하고 있다.
도 12의 학습 장치(130)는, 학습쌍 기억부(131), 클래스 탭 추출부(132), 클래스 분류부(133), 정규화 레벨 탭 추출부(134), 정규화 레벨 연산부(135), 예측 탭 추출부(136), 정규 방정식 생성부(137), 계수 생성부(138), 및 계수 기억 부(139)에 의해 구성된다.
학습 장치(130)에서, 학습쌍 기억부(131)는, 기점 계수 W0 및 편차 계수 Wd의 학습에서의 생도로서의, 신호 처리 장치(110)에서의 SD 화상 데이터에 상당하는 데이터(이하, 생도 화상 데이터라고 함)와, 교사로서의, 그 SD 화상 데이터로부터 변환된 이상적인 HD 화상 데이터에 상당하는 데이터(이하, 교사 화상 데이터라고 함)의 세트를, 학습쌍 데이터로서 기억하고 있다.
그리고, 학습쌍 기억부(131)는, 학습쌍 데이터 중의 생도 화상 데이터를, 클래스 탭 추출부(132), 정규화 레벨 탭 추출부(134), 및 예측 탭 추출부(136)에 출력하고, 교사 화상 데이터를 정규 방정식 생성부(137)에 출력한다. 또한, 이하에서는, 생도 화상 데이터에 대응하는 SD 화상을 생도 화상이라고 하고, 교사 화상 데이터에 대응하는 HD 화상을 교사 화상이라고 한다.
클래스 탭 추출부(132)는, 도 10의 클래스 탭 추출부(111)와 마찬가지로, 교사 화상을 구성하는 복수의 화소의 각각을, 순차적으로 주목 화소로서 결정한다. 클래스 탭 추출부(132)는, 그 주목 화소를 클래스로 분류하기 위해 이용하는, 주목 화소의 위치 및 그 주변의 위치에 대응하는 생도 화상 내의 복수의 화소값을 생도 화상 데이터로부터 클래스 탭으로서 추출한다. 클래스에 따른 주목 화소가 될ㄴ 주목 화소를 분류하는데 이용하도록, 클래스 탭으로서 생도 화상 데이터로부터 추출된 화소값들은 교사 화상의 주목 화소의 위치 및 그 주변 위치의 화소값이다. 이후, 클래스 탭 추출부(132)는 클래스 탭을 클래스 분류부(133)에 공급한다.
클래스 분류부(133)는, 도 10의 클래스 분류부(112)와 마찬가지로, 클래스 탭 추출부(132)로부터 공급되는 클래스 탭의 특징에 따라서, 주목 화소를 클래스로 분류함으로써, 주목 화소에 대한 클래스를 생성한다. 클래스 분류부(133)는, 그 클래스를 정규 방정식 생성부(137)에 공급한다.
정규화 레벨 탭 추출부(134)는, 클래스 탭 추출부(132)와 마찬가지로, 교사 화상을 구성하는 복수의 화소의 각각을, 순차적으로 주목 화소로서 결정한다. 정규화 레벨 탭 추출부(134)는, 도 10의 정규화 레벨 탭 추출부(114)와 마찬가지로, 주목 화소에 대응하는 정규화 레벨 벡터를 연산하기 위해 이용하는, 주목 화소의 위치 및 그 주변의 위치에 대응하는 생도 화상 내의 복수의 화소의 화소값을, 생도 화상 데이터로부터 정규화 레벨 탭으로서 추출한다. 이후, 정규화 레벨 탭 추출부(134)는 정규화 레벨 탭을 정규화 레벨 연산부(135)에 공급한다.
정규화 레벨 연산부(135)는, 도 10의 정규화 레벨 연산부(115)와 마찬가지로, 정규화 레벨 탭 추출부(134)로부터 공급되는 정규화 레벨 탭을 구성하는 화소값을 정규화하고, 정규화 레벨 벡터를 연산한다. 정규화 레벨 연산부(135)는, 그 정규화 레벨 벡터를 정규 방정식 생성부(137)에 공급한다.
예측 탭 추출부(136)는, 클래스 탭 추출부(132)나 정규화 레벨 탭 추출부(134)와 마찬가지로, 교사 화상을 구성하는 복수의 화소의 각각을 순차적으로 주목 화소로서 결정한다. 각 주목 화소에 대해서, 예측 탭 추출부(136)는 생도 화상 데이터로부터 주목 화소에 대한 정규 방정식을 구하는데 사용될 예측 탭으로서 생도 화상을 구성하는 복수의 화소값을 추출한다. 예측 탭으로서 생도 화상 데이터 로부터 추출된 화소값은 교사 화상의 주목 화소의 위치 및 그 주변 위치의 화소값이다. 이후, 예측 탭 추출부(136)는 예측 탭을 정규 방정식 생성부(137)에 공급한다.
정규 방정식 생성부(137)는, 클래스 분류부(133)로부터 공급되는 클래스마다, 도 7에 도시된 행렬식으로 나타난 방정식인 정규 방정식을 생성한다. 실제로, 정규 방정식 생성부(137)는 도 7의 도면에 도시된 행렬식의 행렬의 구성요소, m=1로서 사용된 가중치 tk를 연산한다. 이후, 정규 방정식 생성부(137)는 가중치 tk, 정규화 레벨 벡터 연산부(135)로부터 수신된 정규화 레벨 벡터, 생도 화상 데이터를 나타내는 탭으로서 예측 탭 추출부(136)로부터 수신된 예측 탭 Xk 및 교사 화상 데이터로서 학습쌍 기억부(131)로부터 수신된 실제값 yk에 기초하여, 정규 방정식의 파라미터를 창조한다. 전술한 바와 같이, 예측 탭 Xk은 생도 화상 데이터로부터 k 번째 주목 화소에 대한 예측 탭으로서 추출된 화소값을 나타낸다.
구체적으로, 클래스 분류부(133)로부터 수신된 클래스마다, 정규 방정식 생성부(137)는, 제k 샘플(또는 교사 화상에 포함된 k 번째 주목 화소)에 대한 가중치를 나타내는 정규 방정식에 사용된 심볼 tk로 표시된 파라미터로서 가중치 tk를 사용하고, 생도 화상으로부터 추출된 화소의 n차원 벡터를 나타내는 정규 방정식에 사용된 심볼 Xk(Xk=(xk0, xk1, …, xkn))로 나타낸 파라미터로서 예측 탭 Xk를 사용하고, k 번째 주목 화소에 대한 교사 화상 데이터를 나타내는 정규 방정식에서의 심 볼 yk로 나타내는 파라미터로서 실제값 yk를 사용하고, 정규 방정식에서의 심볼 d0로 나타내는 파라미터로서 정규화 레벨 벡터를 사용하여 정규 방정식의 파라미터를 창조한다. 이후, 정규 방정식 생성부(137)는 계수 생성부(138)에 정규 방정식의 파라미터를 공급한다.
계수 생성부(138)는, 정규 방정식 생성부(137)로부터 공급되는 정규 방정식을 풀어서, 기점 계수 W0과 편차 계수 Wd를 생성한다. 계수 생성부(138)는, 그 기점 계수 W0과 편차 계수 Wd를 계수 기억부(139)에 기억시킨다. 따라서, 신호 처리 장치(100)는 학습 장치(130)에 의해서 미리 상술한 생도 화상 데이터와 교사 화상 데이터로부터 미리 학습된 기점 계수 W0과 편차 계수 Wd를 이용할 수 있다.
다음으로, 도 13의 플로우차트를 참조하여, 도 12의 학습 장치(130)에 의한 학습 처리에 대해서 설명한다.
단계 S130에서, 학습쌍 기억부(131)는, 아직 선택되지 않은 학습쌍 데이터로서 저장된 학습쌍들 중에서 학습쌍 데이터를 선택하고 선택된 학습쌍 데이터의 생도 화상 데이터를 클래스 탭 추출부(132), 정규화 레벨 탭 추출부(134) 및 예측 탭 추출부(136)에 출력하지만 선택된 학습쌍 데이터의 교사 화상 데이터는 정규 방정식 생성부(137)에 출력한다.
이후, 다음 단계 S131에서, 클래스 탭 추출부(132), 정규화 레벨 탭 추출부(134), 및 예측 탭 추출부(136)는, 도 10의 클래스 탭 추출부(111)와 마찬가지 로, 교사 화상을 구성하는 복수의 화소 중의 아직 주목 화소로 되어 있지 않은 1개를 주목 화소로서 결정한다.
다음, 단계 S132에서, 클래스 탭 추출부(132)는, 생도 화상 데이터로부터 주목 화상에 대응하는 클래스 탭을 추출하고, 클래스 분류부(133)에 공급한다.
이후, 단계 S133에서, 클래스 분류부(133)는, 도 10의 클래스 분류부(112)와 마찬가지로, 클래스 탭 추출부(132)로부터 공급되는 클래스 탭의 특징에 따라서, 주목 화소를 클래스로 분류함으로써, 주목 화소에 대한 클래스를 생성한다. 클래스 분류부(133)는, 그 클래스를 정규 방정식 생성부(137)에 공급한다.
단계 S134에서, 정규화 레벨 탭 추출부(134)는, 도 10의 정규화 레벨 탭 추출부(114)와 마찬가지로, 생도 화상 데이터로부터 주목 화소에 대응하는 정규화 레벨 탭을 추출하고, 정규화 레벨 연산부(135)에 공급한다.
이후, 단계 S135에서, 정규화 레벨 연산부(135)는, 도 10의 정규화 레벨 연산부(115)와 마찬가지로, 정규화 레벨 탭 추출부(134)로부터 공급되는 정규화 레벨 탭으로부터, 주목 화소에 대응하는 정규화 레벨 벡터를 연산하고, 정규 방정식 생성부(137)에 공급한다.
단계 S136에서, 예측 탭 추출부(136)는 도 10의 예측 탭 추출부(117)와 마찬가지로, 생도 화상 데이터로부터 주목 화소에 대응하는 예측 탭을 추출하고, 정규 방정식 생성부(137)에 공급한다.
이후, 단계 S137에서, 정규 방정식 생성부(137)는, 클래스 분류부(133)로부터 공급되는 클래스마다, 정규화 레벨 연산부(135)로부터 공급되는 정규화 레벨 벡 터, 예측 탭 추출부(136)로부터 공급되는 예측 탭, 및 학습쌍 기억부(131)로부터 입력되는 교사 화상 데이터를 이용하여, 도 7에서 m=1인 행렬식에 대하여 산입을 행한다.
이후, 단계 S138에서, 클래스 탭 추출부(132), 정규화 레벨 탭 추출부(134), 및 예측 탭 추출부(136)는, 교사 화상을 구성하는 모든 화소를 주목 화소로 결정하였는지를 판정한다. 단계 S138에서 교사 화상을 구성하는 모든 화소를 아직 주목 화소로 결정하고 있지 않다고 판정된 경우, 처리는 단계 S131로 되돌아가고, 상술한 처리가 반복된다.
한편, 단계 S138에서, 교사 화상을 구성하는 모든 화소를 주목 화소로 결정하였다고 판정된 경우, 단계 S139에서, 학습쌍 기억부(131)는, 모든 학습쌍 데이터에 대하여 단계 S130 내지 S138의 처리가 행하여졌는지, 즉 학습쌍 기억부(131)에 기억된 모든 학습쌍 데이터가 처리되었는지를 판정한다. 단계 S139에서, 아직 모든 학습쌍 데이터에 대하여 단계 S130 내지 S138의 처리가 행하여지고 있지 않다고 판정된 경우, 처리는 단계 S130으로 되돌아가고, 상술한 처리가 반복된다.
한편, 단계 S139에서, 모든 학습쌍 데이터에 대하여 단계 S130 내지 S138의 처리가 행하여졌다고 판정된 경우, 정규 방정식 생성부(137)는, 단계 S137에서 산입이 행하여짐으로써 생성된 정규 방정식을, 계수 생성부(138)에 공급한다.
그리고, 단계 S140에서, 계수 생성부(138)는, 정규 방정식 생성부(137)로부터 공급되는 정규 방정식을 풀어서, 기점 계수 W0과 편차 계수 Wd를 구해서, 계수 기억부(139)에 기억시킨다.
다음으로, 도 14의 히스토그램을 참조하여, 도 10의 신호 처리 장치(110)에 의해 얻어지는 HD 화상 데이터와, 종래의 클래스 적응 처리에 의해 얻어지는 HD 화상 데이터의 S/N비의 차분값의 실험 결과에 대해서 설명한다. 이하의 설명에서, 도 10의 도면에 도시된 신호 처리 장치(110)에 의해 생성된 HD 화상 데이터는 본 발명 HD 화상 데이터로, 종래 클래스 적응 처리의 결과로 얻어진 HD 화상 데이터는 종래 HD 화상 데이터로 지칭되며, S/N비의 차분은 S/N 차분값이라고 지칭된다.
또한, 도 14에서의 실험에서는, 실험의 대상으로서, 112매의 SD 화상 데이터를 이용하고 있다. 또한, 신호 처리 장치(110)에서의 클래스 적응 처리에서, 정규화 레벨로서, 정규화 레벨 탭의 중심 화소와의 정규화 거리(중심 화소의 화소값을 LC로 하고, 그 밖의 화소의 화소값을 L로 하였을 때, |LC-L|)을 이용함과 함께, 주목 화소를 클래스로 분류하는 방법으로서 1비트 ADRC를 이용하고, 전개의 최대의 차수 p를 1로 하고 있다.
한편, 종래의 클래스 적응 처리에서, 주목 화소를 클래스로 분류하는 방법으로서 2비트 ADRC를 이용하고 있다. 또한, 신호 처리 장치(110)에서의 클래스 적응 처리와 종래의 클래스 적응 처리에서, 클래스 탭 및 예측 탭을 구성하는 화소의 수를 9개로 하고 있다.
따라서, 도 14의 히스토그램에 도시된 S/N비 차분의 실험에서, 신호 처리 장치(110)의 클래스 적응 처리에서 이용되는 예측 계수의 총수는, 46,080(= 512×9× 10)개로 된다. 또한, 종래의 클래스 적응 처리에서 이용되는 예측 계수의 총수는, 이론상 취할 수 없는 클래스에 대해서는 수에 포함시키지 않는 것으로 하면, 147,456(= 512×9×32)개로 된다.
도 14의 히스토그갬은, 이상과 같은 조건에서의 실험에 의해 얻어진 본 발명 HD 화상 데이터의 S/N비로부터, 종래 HD 화상 데이터의 S/N비를 감산한 S/N비 차분값의 출현 빈도를 나타내고 있다. 또, 도 14에서, 횡축은 S/N비 차분값을 나타내고, 종축은 S/N비 차분값이 출현한 출현 빈도를 나타내고 있다.
도 14의 히스토그램에 도시된 S/N비 차분값 실험에서는, 상술한 바와 같이, 신호 처리 장치(110)의 클래스 적응 처리에서 이용되는 예측 계수의 총수는 46,080개이며, 종래의 클래스 적응 처리에서 이용되는 예측 계수의 총수인 147,456개에 비해서 적지만, 실험 결과에서는, 도 14에 도시하는 바와 같이, 0보다 큰 S/N 차분값이 출현하는 출현 빈도가 많게 되어 있다. 즉, 대부분의 입력 화상 데이터에서, 본 발명 HD 화상 데이터의 S/N비가, 종래 HD 화상 데이터의 S/N비보다 크게 되어 있다.
따라서, 이 실험으로부터, 신호 처리 장치(110)에서는, 종래의 클래스 적응 처리를 행하는 경우에 비하여, 보다 고화질의 HD 화상 데이터를 생성할 수 있는 것을 알 수 있다. 바꾸어 말하면, 신호 처리 장치(110)에서는, 학습에 의해 얻어진 기점 계수 W0 및 편차 계수 Wd와 정규화 레벨 벡터를 이용하여, 예측 계수 W를 생성함으로써, 보다 최적인 예측 계수 W를 생성할 수 있는 것을 알 수 있다.
도 15는, 본 발명의 제3 실시예에 따른 신호 처리 장치의 구성예를 도시하는 블록도이다.
도 15의 신호 처리 장치(210)는, 도 10의 신호 처리 장치(110)에, 다시 휘도 레벨 탭 추출부(211)와 휘도 레벨 벡터 연산부(212)를 설치하고, 신호 처리 장치(110)에 채용된 예측 계수 생성부(116) 대신에, 예측 계수 생성부(213)를 설치함으로써 구성된다. 더욱이, 신호 처리 장치(210)에서는, 거리 벡터 d로서, 정규화 레벨 벡터와 휘도 레벨을 나타내는 휘도 레벨 벡터로 이루어지는 2차원의 벡터가 이용된다.
신호 처리 장치(210)에서, 휘도 레벨 탭 추출부(211)는, 클래스 탭 추출부(111)와 마찬가지로, HD 화상을 구성하는 복수의 화소의 각각을, 순차적으로 주목 화소로서 결정한다. 휘도 레벨 탭 추출부(211)는, 주목 화소에 대응하는 휘도 레벨 벡터를 연산하기 위해 이용하는, 주목 화소의 위치 및 그 주변의 위치에 대응하는 SD 화상 내의 복수의 화소의 화소값을, SD 화상 데이터로부터 휘도 레벨 탭으로서 추출한다. 휘도 레벨 탭 추출부(211)는, 휘도 레벨 탭을 휘도 레벨 벡터 연산부(212)에 공급한다.
휘도 레벨 벡터 연산부(212)는, 휘도 레벨 탭 추출부(211)로부터 공급되는 휘도 레벨 탭을 구성하는 각 화소값을 휘도 레벨로 해서, 그 휘도 레벨을 나타내는 휘도 레벨 벡터를 연산하여, 예측 계수 생성부(213)에 공급한다.
예측 계수 생성부(213)는, 계수 기억부(113)로부터 공급되는 기점 계수 W0 및 편차 계수 Wd, 정규화 레벨 연산부(115)로부터 공급되는 정규화 레벨 벡터 및 휘도 레벨 연산부(212)로부터 공급되는 휘도 레벨 벡터에 기초하여 수학식 2에 따른 연산 처리를 행하여 예측 계수 W를 생성한다. 구체적으로는, 예측 계수 생성부(213)는, 수학식 2에서 m=2로 하고, 기점 계수 W0 및 편차 계수 Wd를 대입하며, 또한, 정규화 레벨 벡터를 거리 벡터 d0으로서 대입함과 함께, 휘도 레벨 벡터를 거리 벡터 d1로서 대입함으로써, 예측 계수 W를 구한다. 예측 계수 생성부(213)는, 예측 계수 W를 데이터 예측부(118)에 공급한다.
다음으로, 도 16의 플로우차트를 참조하여, 도 15의 신호 처리 장치(210)에 의한 화상 처리에 대해서 설명한다.
도 16의 화상 처리에서, 단계 S211 내지 S215의 처리는, 도 11의 단계 S111 내지 S115의 처리와 마찬가지이므로, 설명은 생략한다. 단, 단계 S211의 처리에서는, 클래스 탭 추출부(111), 정규화 레벨 탭 추출부(114), 및 예측 탭 추출부(117)뿐만 아니라, 휘도 레벨 탭 추출부(211)도 주목 화소를 결정한다.
도 16의 단계 S216에서, 휘도 레벨 탭 추출부(211)는, SD 화상 데이터로부터 주목 화소에 대응하는 휘도 레벨 탭을 추출하고, 휘도 레벨 벡터 연산부(212)에 공급한다.
이후, 단계 S217에서, 휘도 레벨 벡터 연산부(212)는, 휘도 레벨 탭 추출부(211)로부터 공급되는 휘도 레벨 탭으로부터 휘도 레벨 벡터를 연산하여, 예측 계수 생성부(213)에 공급한다.
단계 S218에서, 계수 기억부(113)는, 도 11의 단계 S116의 처리와 마찬가지로, 클래스 분류부(112)로부터 공급되는 클래스에 대응하는 기점 계수 W0과 편차 계수 Wd를 읽어내고, 예측 계수 생성부(213)에 공급한다.
다음, 단계 S219에서, 예측 계수 생성부(213)는 계수 기억부(113)로부터 공급되는 기점 계수 W0 및 편차 계수 Wd, 정규화 레벨 연산부(115)로부터 공급되는 정규화 레벨 벡터, 및 휘도 레벨 벡터 연산부(212)로부터 공급되는 휘도 레벨 벡터를 이용하여, 예측 계수 W를 생성한다. 예측 계수 생성부(116)는, 예측 계수 W를 데이터 예측부(118)에 공급한다.
단계 S220 내지 S223의 처리는, 도 11의 단계 S118 내지 S121의 처리와 마찬가지이므로, 중복을 피하도록 설명은 생략한다. 단, 단계 S222의 처리에서는, 클래스 탭 추출부(111), 정규화 레벨 탭 추출부(114), 및 예측 탭 추출부(117)뿐만 아니라, 클래스 탭 추출부(111), 정규화 레벨 탭 추출부(114), 및 예측 탭 추출부(117)와 같은 판정을 하는 휘도 레벨 탭 추출부(211)도 판정을 행한다.
도 17은, 도 15의 신호 처리 장치(210)에 의해 이용되는 기점 계수 W0 및 편차 계수 Wd를 학습하는 학습 장치(230)의 구성예를 도시하고 있다.
도 17의 학습 장치(230)는, 도 12의 학습 장치(130)에, 다시 휘도 레벨 탭 추출부(231)와 휘도 레벨 연산부(232)를 설치하고, 정규 방정식 생성부(137) 대신에, 정규 방정식 생성부(233)를 설치함으로써 구성된다.
즉, 학습 장치(230)에서, 휘도 레벨 탭 추출부(231)는, 클래스 탭 추출부(132)와 마찬가지로, 교사 화상을 구성하는 복수의 화소의 각각을 순차적으로 주목 화소로서 결정한다. 휘도 레벨 탭 추출부(231)는, 도 15의 휘도 레벨 탭 추출부(211)와 마찬가지로, 주목 화소에 대응하는 휘도 레벨 벡터를 연산하기 위해 이용하는, 주목 화소의 위치 및 그 주변의 위치에 대응하는 생도 화상 내의 복수의 화소의 화소값을, 생도 화상 데이터로부터 휘도 레벨 탭으로서 추출한다. 주목 화소에 따른 휘도 레벨 벡터를 연산하는데 사용되도록, 휘도 레벨 탭으로서 생도 화상 데이터로부터 추출된 화소값은 교사 화상의 주목 화소의 위치 및 그 주변 위치의 화소값이다. 이후, 휘도 레벨 탭 추출부(231)는, 휘도 레벨 탭을 휘도 레벨 연산부(232)에 공급한다.
휘도 레벨 벡터 연산부(232)는, 도 15의 휘도 레벨 연산부(212)와 마찬가지로, 휘도 레벨 탭 추출부(231)로부터 공급되는 휘도 레벨 탭을 구성하는 각 화소값을 휘도 레벨로 하여, 그 휘도 레벨을 나타내는 휘도 레벨 벡터를, 정규 방정식 생성부(233)에 공급한다.
클래스 분류부(133)로부터 공급되는 클래스마다, 정규 방정식 생성부(233)는 도 7에 도시된 행렬식으로 표현된 방정식인 정규 방정식을 생성한다. 실제로, 정규 방정식 생성부(233)는 도 7에 도시된 m=2인 행렬식의 행렬 내의 구성요소로 사용된 가중치 tk를 연산한다. 이후, 정규 방정식 생성부(233)는, 가중치 tk, 정규화 레벨 벡터 연산부(135)로부터 수신된 정규화 레벨 벡터, 휘도 레벨 벡터 연산 부(232)로부터 수신된 휘도 레벨 벡터, 생도 화상 데이터를 나타내는 탭으로서 예측 탭 추출부(136)로부터 수신된 예측 탭 Xk 및 교사 화상 데이터의 값으로서 학습쌍 기억부(131)로부터 수신된 실제값 yk에 기초하여, 생성되는 정규 방정식의 파라미터를 창조한다. 전술한 바와 같이, 예측 탭 Xk는 k 번째 주목 화소에 대한 예측 탭으로서 생도 화상 데이터로부터 추출된 화소값을 나타낸다.
클래스 분류부(133)로부터 수신된 클래스마다, 정규 방정식 생성부(233)는, 클래스마다, 도 7의 행렬식에서, 제k 샘플의 예측 탭을 구성하는 각 화소값을 Xk(Xk=(xk0, xk1, …, xkn))로서 대입하고, 제k 샘플의 교사 화상 데이터의 주목 화소의 화소값을 yk로서 대입하고, 그 주목 화소에 대응하는 정규화 레벨 벡터를 d0으로서 대입함과 함께, 휘도 레벨 벡터를 d1로서 대입함으로써, 정규 방정식을 생성한다. 그리고, 정규 방정식 생성부(233)는, 그 정규 방정식을 계수 생성부(138)에 공급한다.
다음으로, 도 18의 플로우차트를 참조하여, 도 17의 학습 장치(230)에 의한 학습 처리에 대해서 설명한다.
도 18의 플로우차트에서 단계 S230 내지 S235의 처리는, 도 13의 단계 S130 내지 S135의 처리와 마찬가지이므로, 설명의 중복을 피하기 위해서 설명은 생략한다. 단, 단계 S231의 처리에서는, 클래스 탭 추출부(132), 정규화 레벨 탭 추출부(134), 및 예측 탭 추출부(136)뿐만 아니라, 휘도 레벨 탭 추출부(231)도 주목 화소를 결정한다.
도 18의 단계 S236에서, 휘도 레벨 탭 추출부(231)는, 도 15의 휘도 레벨 탭 추출부(211)와 마찬가지로, 생도 화상 데이터로부터 주목 화소에 대응하는 휘도 레벨탭을 추출하고, 휘도 레벨 벡터 연산부(232)에 공급한다.
단계 S237에서, 휘도 레벨 벡터 연산부(232)는, 도 15의 휘도 레벨 벡터 연산부(212)와 마찬가지로, 휘도 레벨 탭 추출부(231)로부터 공급되는 휘도 레벨 탭으로부터 휘도 레벨 벡터를 연산하고, 정규 방정식 생성부(233)에 공급한다.
단계 S238에서, 예측 탭 추출부(136)는, 도 13의 단계 S136의 처리와 마찬가지로, 생도 화상 데이터로부터 주목 화소에 대응하는 예측 탭을 추출하고, 정규 방정식 생성부(137)에 공급한다.
단계 S239에서, 정규 방정식 생성부(233)는, 클래스 분류부(133)로부터 공급되는 클래스마다, 정규화 레벨 연산부(135)로부터 공급되는 정규화 레벨 벡터, 휘도 레벨 벡터 연산부(232)로부터 공급되는 휘도 레벨 벡터, 예측 탭 추출부(136)로부터 공급되는 예측 탭, 및 학습쌍 기억부(131)로부터 입력되는 교사 화상 데이터를 이용하여, 도 7에서 m=2인 행렬식에 대하여 산입을 행한다.
이후, 단계 S240에서, 클래스 탭 추출부(132), 정규화 레벨 탭 추출부(134), 예측 탭 추출부(136), 및 휘도 레벨 탭 추출부(231)는, 교사 화상을 구성하는 모든 화소를 주목 화소로 결정하였는지를 판정한다. 단계 S240에서 교사 화상을 구성하는 모든 화소를 아직 주목 화소로 결정하고 있지 않다고 판정된 경우, 처리는 단계 S231로 되돌아가고, 상술한 처리가 반복된다.
한편, 단계 S240에서, 교사 화상을 구성하는 모든 화소를 주목 화소로 결정하였다고 판정된 경우, 처리는 단계 S241로 진행한다. 단계 S241 및 S242의 처리는, 도 13의 단계 S139 및 S140의 처리와 마찬가지이므로, 설명의 중복을 피하기 위해서 설명은 생략한다.
또한, 신호 처리 장치(110 및/또는 210)에서의 거리 벡터 d로서는, 정규화 레벨 벡터나 휘도 레벨 벡터 외에, SD 화상의 다이내믹 레인지를 나타내는 벡터 등을 이용해도 된다는 것에 유의한다.
또한, 신호 처리 장치(110 및 210)에서는, 입력 데이터를 SD 화상 데이터로 함과 함께, 출력 데이터를 HD 화상 데이터로 하여, 입력 데이터를 출력 데이터로 변환하는 화상 처리를 행하였지만, 이 화상 처리에 따르면, 입력 데이터와 출력 데이터를 어떻게 정의하는지에 따라 다양한 처리를 실현할 수 있다.
즉, 예를 들면, 불선명을 포함하는 입력 데이터를 화상의 화상 데이터로 하고, 출력 데이터를 불선명을 제거한 화상의 화상 데이터로 하면, 화상 변환 처리는, 불선명을 제거하는 불선명 제거 처리라고 할 수 있다. 다른 예에서, 입력 데이터를 노이즈를 포함한 화상의 화상 데이터로 하고, 출력 데이터를 노이즈를 제거한 화상의 화상 데이터로 하면, 입력 데이터를 출력 데이터로 변환하는 화상 변환 처리는 노이즈를 제거하는 노이즈 제거 처리라고 할 수 있다.
신호 처리 장치(110 및/또는 210)가, 불선명 제거 처리를 행하는 경우, 거리 벡터로서는, 링잉(ringing) 특징량을 나타내는 벡터 및/또는 불선명량 추정값을 나타내는 벡터 등을 이용할 수 있다. 또한, 링잉 특징량은, 예를 들면, 입력 데이터 로서의 불선명을 포함한 화상의 화상 데이터의 움직임량에 기초하는 거리만큼 주목 화소로부터 떨어진 위치에 대응하는 입력 화상 내의 각 화소와 인접하는 화소의 차분의 절대값이다. 또한, 불선명량 추정값은, 예를 들면, 주목 화소의 위치 및 그 주변의 위치에 대응하는 입력 화상 내의 복수의 화소의 인접하는 화소끼리의 차분의 절대값이다.
또한, 신호 처리 장치(110 및/또는 210)가, 노이즈 제거 처리를 행하는 경우, 거리 벡터로서는 노이즈의 통계 분포 추정값을 나타내는 벡터 등을 이용할 수 있다. 통계 분포 추정값은 화소값이다. 구체적으로, 통계 분포 추정값은 주목 화소의 위치 및 그 주변의 위치에 대응하는 입력 화상 내의 복수의 화소의 화소값 각각으로부터 구해진다.
다음으로, 전술한 일련의 처리는, 하드웨어 및/또는 소프트웨어에 의해 실행될 수 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.
도 19는 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터(300)의 하드웨어 구성예를 도시하고 있다.
컴퓨터(300)에서, CPU(Central Processing Unit)(301), ROM(Read Only Memory)(302), RAM(Random Access Memory)(303)은, 버스(304)에 의해 서로 접속되어 있다.
버스(304)에는, 또한 입출력 인터페이스(305)가 접속되어 있다. 입출력 인터페이스(305)에는, 키보드, 마우스, 마이크로폰, 리모트 컨트롤러로부터 송신되어 오는 명령을 수신하는 수신부 등으로 이루어지는 입력부(306), 디스플레이, 스피커 등으로 이루어지는 출력부(307), 하드디스크나 불휘발성의 메모리 등으로 이루어지는 기억부(308), 네트워크 인터페이스 등으로 이루어지는 통신부(309), 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등), 광 자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(311)를 구동하는 드라이브(310)가 접속되어 있다.
이상과 같이 구성되는 컴퓨터(300)에서는, CPU(301)가, 예를 들면, 기억부(308)에 기억되어 있는 프로그램을, 입출력 인터페이스(305) 및 버스(304)를 통하여, RAM(303)에 로드해서 실행함으로써, 상술한 일련의 처리가 행하여진다.
컴퓨터(300)의 CPU(301)가 실행하는 프로그램은, 예를 들면, 리무버블 미디어(311)로부터 프로그램을 다운로딩함으로써 기억부(308)에 미리 인스톨된 프로그램, 또는 LAN(Local Area Network), 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해서 외부 프로그램 제공자로부터 프로그램을 다운로딩함으로써 기억부(308)에 인스톨된 프로그램이다.
그리고, 프로그램은, 리무버블 미디어(311)를 드라이브(310)에 장착함으로써, 입출력 인터페이스(305)를 통하여, 기억부(308)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(309)에서 수신하고, 기 억부(308)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(302)이나 기억부(308)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터(300)가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행하여지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 타이밍에서 처리가 행하여지는 프로그램이어도 된다.
당업자라면, 특허청구범위에 기재된 범위 또는 그 균등물의 범위 내에서 각종 변경, 조합, 부조합 및 수정이 가능함을 이해할 것이다.
본 발명의 이러한 혁신과 특징들은 첨부한 도면을 참조하여 바람직한 실시예의 이하의 개시로부터 명백해질 것이다.
도 1은 종래의 클래스 적응 처리에서의 예측 계수에 대해서 설명하는 도면.
도 2는 종래의 다른 클래스 적응 처리에서의 예측 계수에 대해서 설명하는 도면.
도 3은 종래의 또 다른 클래스 적응 처리에서의 예측 계수에 대해서 설명하는 도면.
도 4는 본 발명의 원리를 도시하는 도면.
도 5는 본 발명을 적용한 신호 처리 장치의 제1 실시예의 구성예를 도시하는 블록도.
도 6은 도 5의 블록도에 도시된 신호 처리 장치에 의한 신호 처리에 대해서 설명하는 플로우차트.
도 7은 생도 데이터와 교사 데이터로부터 기점 계수 및 편차 계수를 학습하는 학습 처리에 사용되는 행렬식을 도시하는 도면.
도 8은 예측 계수를 연산하는 도 5의 블록도에 도시된 신호 처리 장치에 사용되는 기점 계수 및 편차 계수를 학습하는 학습 장치의 구성예를 도시하는 블록도.
도 9는 도 8의 학습 장치에 의한 학습 처리에 대해서 설명하는 플로우차트.
도 10은 본 발명의 제2 실시예에 따른 신호 처리 장치의 구성예를 도시하는 블록도.
도 11은 도 10의 신호 처리 장치에 의한 신호 처리에 대해서 설명하는 플로우차트.
도 12는 예측 계수를 연산하기 위해 도 10의 신호 처리 장치에 의해 이용되는 기점 계수 및 편차 계수를 학습하는 학습 장치의 구성예를 도시하는 블록도.
도 13은 도 12의 학습 장치에 의한 학습 처리에 대해서 설명하는 플로우차트.
도 14는 S/N(signal to noise) 비차분값의 실험 결과에 대해서 설명하는 도면.
도 15는 본 발명의 제3 실시예에 따른 신호 처리 장치의 구성예를 도시하는 블록도.
도 16은 도 15의 블록도에 도시된 신호 처리 장치에 의한 신호 처리에 대해서 설명하는 플로우차트.
도 17은 예측 계수를 연산하기 위해 도 15의 블록도에 도시된 신호 처리 장치에 의해 이용되는 기점 계수 및 편차 계수를 학습하는 학습 장치의 구성예를 도시하는 블록도.
도 18은 도 17의 블록도에 도시된 학습 장치에 의한 학습 처리에 대해서 설명하는 플로우차트.
도 19는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도.
<도면의 주요 부분에 대한 부호의 설명>
10 : 신호 처리 장치
13 : 클래스 분류부
14 : 거리 벡터 탭 추출부
15 : 거리 벡터 연산부
16 : 예측 계수 생성부
17 : 예측 탭 추출부
18 : 데이터 예측부
30 : 학습 장치
33 : 클래스 분류부
37 : 정규 방정식 생성부
38 : 계수 생성부
110 : 신호 처리 장치
112 : 클래스 분류부
114 : 정규화 레벨 탭 추출부
115 : 정규화 레벨 연산부
116 : 예측 계수 생성부
117 : 예측 탭 추출부
118 : 데이터 예측부
130 : 학습 장치
133 : 클래스 분류부
137 : 정규 방정식 생성부
138 : 계수 생성부
210 : 신호 처리 장치
211 : 휘도 레벨 탭 추출부
212 : 휘도 레벨 연산부
213 : 예측 계수 생성부
230 : 학습 장치
231 : 휘도 레벨 탭 추출부
232 : 휘도 레벨 연산부
233 : 정규 방정식 생성부분류 적응 처리에서의 예측 계수에 대해서 설명하는 도면.

Claims (10)

  1. 입력 데이터를 보다 고품질의 출력 데이터로 변환하는 신호 처리를 수행하는 신호 처리 장치로서,
    상기 출력 데이터 내의 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치에 위치하는 데이터로서 상기 입력 데이터 내의 복수의 데이터를 추출하는 제1 데이터 추출 수단과,
    상기 제1 데이터 추출 수단에 의해 추출된 상기 복수의 데이터로부터, 상기 주목 데이터의 비선형 특징량을 구하는 비선형 특징량 연산 수단과,
    상기 입력 데이터에 대응하는 생도 데이터와, 상기 생도 데이터의 연산 처리에 의해 교사 데이터를 생성하는 관계식에 기초하는 정규 방정식에 따르는 학습 처리에서 상기 출력 데이터에 대응하는 교사 데이터로부터 미리 학습된 비선형 특징량과 제1 처리 계수의 연산 처리에 의해 구해진 제2 처리 계수를 생성하는 처리 계수 생성 수단 - 상기 제2 처리 계수는 상기 생도 데이터의 비선형 특징량과 상기 제1 처리 계수에 따라 구해짐 - 과,
    상기 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 상기 입력 데이터 내의 복수의 데이터를 추출하는 제2 데이터 추출 수단과,
    상기 제2 데이터 추출 수단에 의해 추출된 상기 복수의 데이터와, 상기 제2 처리 계수의 연산 처리에 의해, 상기 주목 데이터를 예측하는 데이터 예측 수단
    을 포함하는 신호 처리 장치.
  2. 제1항에 있어서,
    상기 제1 처리 계수는, 기준으로 되는 기점(origin) 계수와, 그 기점 계수와 상기 제2 처리 계수의 편차를 상기 비선형 특징량과 함께 나타내는 편차 계수를 갖는 신호 처리 장치.
  3. 제1항에 있어서,
    상기 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 데이터로서 상기 입력 데이터에 포함된 데이터를 나타내는 클래스 탭의 특징에 따라서, 상기 주목 데이터에 대한 클래스를 생성하는 클래스 분류 수단을 더 포함하고,
    상기 처리 계수 생성 수단은, 상기 클래스 분류 수단에 의해 생성된 상기 클래스의 제1 처리 계수로서 작용하는 특정 클래스에 제공된 상기 정규 방정식에 따르는 학습 처리에서 상기 클래스 중 특정 하나에 대해 미리 학습된 상기 제1 처리 계수 중의 제1 처리 계수와 상기 비선형 특징량의 제1 연산 처리에 의해, 상기 제2 처리 계수를 생성하는 신호 처리 장치.
  4. 입력 데이터를, 보다 고품질의 출력 데이터로 변환하는 신호 처리를 수행하는 신호 처리 방법으로서,
    상기 출력 데이터 내의 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 상기 입력 데이터로부터 상기 입력 데이터에 포함된 복수의 데이터를 추출 하는 제1 추출 단계와,
    상기 입력 데이터로부터 추출된 상기 데이터로부터 상기 주목 데이터에 대한 비선형 특징량을 구하는 단계와,
    상기 입력 데이터에 대응하는 생도 데이터와, 상기 생도 데이터의 연산 처리에 의해 데이터를 생성하는 관계식에 기초하는 정규 방정식에 따르는 학습 처리에서 상기 출력 데이터에 대응하는 교사 데이터로부터 미리 학습된 비선형 특징량과 제1 처리 계수의 연산 처리에 의해 구해진 제2 처리 계수를 생성하는 처리 계수 생성 - 상기 제2 처리 계수는 상기 생도 데이터의 비선형 특징량과 상기 제1 처리 계수에 따라 구해짐 - 단계와,
    상기 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 상기 입력 데이터로부터 상기 입력 데이터에 포함된 복수의 데이터를 추출하는 제2 추출 단계와,
    상기 제2 추출 단계에서 추출된 상기 데이터와, 상기 제2 처리 계수에서 연산 처리를 행함으로써, 상기 주목 데이터를 예측하는 단계
    를 포함하는 신호 처리 방법.
  5. 상기 입력 데이터를 보다 고품질의 출력 데이터로 변환하는 신호 처리를 수행하는 신호 처리 방법을 구현한 프로그램으로서,
    상기 출력 데이터 내의 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 상기 입력 데이터로부터 상기 입력 데이터에 포함된 복수의 데이터를 추출 하는 제1 추출 단계와,
    상기 입력 데이터로부터 추출된 상기 데이터로부터 상기 주목 데이터에 대한 비선형 특징량을 구하는 단계와,
    상기 입력 데이터에 대응하는 생도 데이터와, 상기 생도 데이터의 연산 처리에 의해 데이터를 생성하는 관계식에 기초하는 정규 방정식에 따르는 학습 처리에서 상기 출력 데이터에 대응하는 교사 데이터로부터 미리 학습된 비선형 특징량과 제1 처리 계수의 연산 처리에 의해 구해진 제2 처리 계수를 생성하는 처리 계수 생성 - 상기 제2 처리 계수는 상기 생도 데이터의 비선형 특징량과 상기 제1 처리 계수에 따라 구해짐 - 단계와,
    상기 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 상기 입력 데이터로부터 상기 입력 데이터에 포함된 복수의 데이터를 추출하는 제2 추출 단계와,
    상기 제2 추출 단계에서 추출된 상기 데이터와, 상기 제2 처리 계수에서 연산 처리를 행함으로써, 상기 주목 데이터를 예측하는 단계
    를 포함하는 신호 처리를 컴퓨터에 행하게 하는 프로그램.
  6. 생도 데이터 및 교사 데이터로부터 제1 처리 계수를 학습하는 학습 처리를 행하는 학습 장치로서,
    상기 생도 데이터로서의 입력 데이터와 상기 입력 데이터에 대한 교사 데이터로서 공지된 출력 데이터를 이용하여, 관계식을 풀어서 구성된 정규 방정식을 생 성하는 정규 방정식 생성 수단과,
    상기 정규 방정식을 풀어서 상기 제1 처리 계수를 생성하는 계수 생성 수단을 포함하며,
    상기 관계 방정식은, 상기 입력 데이터로부터 추출된 복수의 데이터와, 상기 입력 데이터로부터 추출된 복수의 데이터로부터 상기 신호 처리에서 구한 비선형 특징량에서 제1 연산 처리를 행하여 얻어지는 제2 처리 계수와, 상기 계수 생성 수단에 의해 미리 생성된 상기 제1 처리 계수에서 연산 처리를 행함으로써 입력 데이터보다 고품질의 출력 데이터를 생성하는 신호 처리에 사용된 방정식인 학습 장치.
  7. 제6항에 있어서,
    상기 제1 처리 계수는, 기준으로 되는 기점 계수와 그 기점 계수와 상기 제2 처리 계수 간의 편차를 상기 비선형 특징량과 함께 나타내는 편차 계수를 갖고,
    상기 계수 생성 수단은, 상기 정규 방정식을 풀어서, 상기 기점 계수와 상기 편차 계수를 생성하는 학습 장치.
  8. 제6항에 있어서,
    상기 학습 장치는, 상기 출력 데이터 내의 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 상기 입력 데이터 내의 데이터를 나타내는 클래스 탭의 특징에 따라서, 상기 주목 데이터에 대한 클래스를 생성하는 클래스 분류 수단을 더 포함하고,
    상기 정규 방정식 생성 수단은, 상기 클래스 분류 수단에 의해 생성된 클래스마다, 상기 입력 데이터와 상기 주목 데이터를 이용하여, 상기 정규 방정식을 생성하는 학습 장치.
  9. 입력 데이터를 상기 입력 데이터보다 고품질인 출력 데이터로 변환하는 신호 처리를 행하는 신호 처리 장치로서,
    상기 출력 데이터 내의 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 상기 입력 데이터 내의 복수의 데이터를 추출하는 제1 데이터 추출부와,
    상기 제1 데이터 추출부에 의해 추출된 상기 데이터로부터 상기 주목 데이터의 비선형 특징량을 구하는 비선형 특징량 연산부와,
    상기 입력 데이터에 대응하는 생도 데이터와, 상기 생도 데이터의 연산 처리에 의해 교사 데이터를 생성하는 관계식에 기초하는 정규 방정식에 따르는 학습 처리에서 상기 출력 데이터에 대응하는 교사 데이터로부터 미리 학습된 비선형 특징량과 제1 처리 계수의 연산 처리에 의해 구해진 제2 처리 계수를 생성하는 예측 계수 생성부 - 상기 제2 처리 계수는 상기 생도 데이터의 비선형 특징량과 상기 제1 처리 계수에 따라 구해짐 - 와,
    상기 주목 데이터의 위치 및 그 주변의 위치에 대응하는 위치의 상기 입력 데이터 내의 복수의 데이터를 추출하는 제2 데이터 추출부와,
    상기 제2 데이터 추출부에 의해 추출된 상기 복수의 데이터와, 상기 제2 처리 계수의 연산 처리에 의해, 상기 주목 데이터를 생성하는 데이터 예측부
    를 포함하는 신호 처리 장치.
  10. 생도 데이터와 교사 데이터로부터 제1 처리 계수를 학습하는 학습 처리를 행하는 학습 장치로서,
    상기 생도 데이터로서의 입력 데이터와 상기 입력 데이터에 대한 교사 데이터로서 공지된 출력 데이터를 이용하여, 관계식을 풀어서 구성된 정규 방정식을 생성하는 정규 방정식 생성부와,
    상기 정규 방정식을 풀어서 상기 제1 처리 계수를 생성하는 계수 생성부를 포함하며,
    상기 관계 방정식은, 상기 입력 데이터로부터 추출된 복수의 데이터와, 상기 입력 데이터로부터 추출된 복수의 데이터로부터 상기 신호 처리에서 구한 비선형 특징량에서 제1 연산 처리를 행하여 얻어지는 제2 처리 계수와, 상기 계수 생성부에 의해 미리 생성된 상기 제1 처리 계수에서 연산 처리를 행함으로써 입력 데이터보다 고품질의 출력 데이터를 생성하는 신호 처리에 사용된 방정식인 학습 장치.
KR1020080130228A 2007-12-21 2008-12-19 신호 처리 장치, 신호 처리 방법, 및 신호 처리 프로그램, 및 학습 장치 KR20090068163A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007330456A JP5099429B2 (ja) 2007-12-21 2007-12-21 信号処理装置、信号処理方法、およびプログラム、並びに学習装置
JPJP-P-2007-330456 2007-12-21

Publications (1)

Publication Number Publication Date
KR20090068163A true KR20090068163A (ko) 2009-06-25

Family

ID=40789784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080130228A KR20090068163A (ko) 2007-12-21 2008-12-19 신호 처리 장치, 신호 처리 방법, 및 신호 처리 프로그램, 및 학습 장치

Country Status (4)

Country Link
US (1) US8311963B2 (ko)
JP (1) JP5099429B2 (ko)
KR (1) KR20090068163A (ko)
CN (1) CN101466015B (ko)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3072306B2 (ja) 1996-01-29 2000-07-31 ソニー株式会社 ディジタルビデオ信号変換装置及び変換方法
US6678405B1 (en) * 1999-06-08 2004-01-13 Sony Corporation Data processing apparatus, data processing method, learning apparatus, learning method, and medium
JP4470280B2 (ja) * 2000-05-24 2010-06-02 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP4517264B2 (ja) * 2000-12-26 2010-08-04 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体
US7149369B2 (en) * 2002-04-23 2006-12-12 Hewlett-Packard Development Company, L.P. Method and system for image scaling
JP4006628B2 (ja) * 2002-07-03 2007-11-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びにプログラム
JP4093114B2 (ja) * 2003-05-29 2008-06-04 ソニー株式会社 情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP4265291B2 (ja) * 2003-06-06 2009-05-20 ソニー株式会社 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
JP4349086B2 (ja) * 2003-11-05 2009-10-21 ソニー株式会社 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体
JP2007189589A (ja) * 2006-01-16 2007-07-26 Sony Corp 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
JP5061883B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および学習装置

Also Published As

Publication number Publication date
CN101466015A (zh) 2009-06-24
JP5099429B2 (ja) 2012-12-19
JP2009153006A (ja) 2009-07-09
US8311963B2 (en) 2012-11-13
US20090164398A1 (en) 2009-06-25
CN101466015B (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
US7747069B2 (en) Data processing apparatus and data processing method
KR100669251B1 (ko) 디지털 영상 품질 자동 분석 장치 및 방법
US20120321214A1 (en) Image processing apparatus and method, program, and recording medium
US8401340B2 (en) Image processing apparatus and coefficient learning apparatus
US8433145B2 (en) Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium
JP5061882B2 (ja) 画像処理装置、画像処理方法、およびプログラム、並びに学習装置
KR20090068163A (ko) 신호 처리 장치, 신호 처리 방법, 및 신호 처리 프로그램, 및 학습 장치
JPH10136317A (ja) 画像信号変換装置および方法
CN113077525A (zh) 一种基于频域对比学习的图像分类方法
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
Pujol et al. Color quantization for image processing using self information
JP4337186B2 (ja) 画像情報変換装置および画像情報変換方法、学習装置および学習方法
JP2000348019A (ja) データ処理装置およびデータ処理方法、並びに媒体
JPH08214159A (ja) 画像処理方法および画像処理装置
JP5050944B2 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
JPH096946A (ja) 画像処理方法及びその装置
US20020064296A1 (en) Data processing apparatus and data processing method, decoding apparatus and method thereof, and recording medium
JP4235852B2 (ja) 画像データ変換装置及び画像データ変換方法
JP2004104318A (ja) 画像処理方法及び装置並びにプログラム
JP4415229B2 (ja) 画像処理装置および方法、並びに記録媒体
JP3777600B2 (ja) 画像情報変換装置、係数算出装置、代表画素信号設定装置および方法、記憶装置、記録媒体、並びにプログラム
JP2009060481A (ja) 画像処理装置及び方法、学習装置及び方法、並びにプログラム
JP4168298B2 (ja) データ変換装置及びデータ変換方法
JP2009278323A (ja) 画像処理装置および画像処理方法
JP2000278681A (ja) 画像符号化装置および方法、並びに提供媒体

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid