KR100877457B1 - 신호 처리 장치 및 방법과 신호 처리 프로그램을 기록한 기록매체 - Google Patents

신호 처리 장치 및 방법과 신호 처리 프로그램을 기록한 기록매체 Download PDF

Info

Publication number
KR100877457B1
KR100877457B1 KR1020027013945A KR20027013945A KR100877457B1 KR 100877457 B1 KR100877457 B1 KR 100877457B1 KR 1020027013945 A KR1020027013945 A KR 1020027013945A KR 20027013945 A KR20027013945 A KR 20027013945A KR 100877457 B1 KR100877457 B1 KR 100877457B1
Authority
KR
South Korea
Prior art keywords
processing
learning
signal
unit
data
Prior art date
Application number
KR1020027013945A
Other languages
English (en)
Other versions
KR20030005286A (ko
Inventor
데쯔지로 곤도
가즈시 요시까와
데쯔시 고꾸보
히사까즈 시라끼
미찌마사 오바나
히데오 가사마
마사노리 가네마루
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20030005286A publication Critical patent/KR20030005286A/ko
Application granted granted Critical
Publication of KR100877457B1 publication Critical patent/KR100877457B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/028—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using expert systems only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명은 사용자의 조작을 사용자가 모르는 사이에 학습하고, 그 학습 결과에 기초하여 그 사용자에게 있어 최적의 처리를 행할 수 있도록 한 신호 처리 장치에 관한 것이다. 학습부(22)에서 사용자의 조작에 따라 공급되는 조작 신호가 모니터되어 학습에 이용할 수 있는지 여부가 판정된다. 그리고, 조작 신호가 학습에 이용할 수 있는 학습용 조작 신호인 경우에는, 학습부(22)는 그 학습용 조작 신호에 기초하여 입력 신호를 보정하는 규범인 보정 규범을 학습한다. 한편, 보정부(21)에서는 입력 신호가 학습에 의해 얻어진 보정 규범에 기초하여 보정되고, 그 보정 후의 신호가 출력 신호로서 출력된다. 본 발명은 노이즈를 제거하는 NR(Noise Reduction) 회로에 적용할 수 있다.
Figure R1020027013945
학습, 보정, NR 회로, 최적, 신호 처리, 오차

Description

신호 처리 장치 및 방법과 신호 처리 프로그램을 기록한 기록매체{SIGNAL PROCESSING DEVICE AND METHOD AND RECORDING MEDIUM FOR RECORDING SIGNAL PROCESSING PROGRAM}
본 발명은, 신호 처리 장치 및 방법과 신호 처리 프로그램을 기록한 기록매체에 관한 것으로, 특히, 예를 들면, 사용자의 조작에 의해 처리 내용이나 처리 구조를 변경함으로써 그 사용자로 하여금 최적의 처리를 행할 수 있도록 하는 신호 처리 장치 및 방법과 신호 처리 프로그램을 기록한 기록매체에 관한 것이다.
예를 들면, 종래의 NR(Noise Reduction) 회로에서는 사용자가 그 조정용 손잡이를 조작하여 소정의 위치로 설정하면 그 손잡이의 위치에 대응하는 노이즈 제거 처리가 행하여진다.
그런데, NR 회로에 입력되는 신호의 S/N(Signal to Noise Ratio)나 주파수 특성 등은 항상 일정하다고는 볼 수 없고 오히려 변화하는 것이 일반적이다. 그리고, NR 회로에 입력되는 신호의 S/N이나 주파수 특성 등이 변화한 경우, 사용자가 손잡이를 조작하여 설정한 위치에 대응하는 노이즈 제거 처리에 있어서 NR 회로에 입력되는 신호에 대하여 적절한 처리가 실시된다고는 볼 수 없고, 이 때문에 사용자는 직접 적절한 노이즈 제거 처리가 실시되도록 빈번하게 손잡이를 조작할 필요가 있어 번거로웠다.
본 발명은, 이러한 상황에 감안하여 이루어진 것으로, 사용자의 조작에 의해 처리 내용이나 처리 구조를 변경함으로써 그 사용자로 하여금 최적의 처리를 행할 수 있도록 하는 것이다.
본 발명의 신호 처리 장치는 입력 신호를 신호 처리하는 신호 처리 수단과, 신호 처리 수단의 신호 처리 결과를 출력하는 출력 수단을 구비하며, 사용자의 조작에 따라 공급되는 조작 신호에 기초하여 신호 처리 수단의 처리 구조가 변경되는 것을 특징으로 한다.
상기 신호 처리 수단에는 입력 신호로부터 특징을 검출하는 특징 검출 수단과, 특징 검출 수단에 의해 검출된 특징에 기초하여 입력 신호에 대한 처리 내용을 결정하는 처리 결정 수단과, 처리 결정 수단에 의해 결정된 처리 내용에 따라 입력 신호에의 처리를 실행하는 처리 실행 수단을 설치하도록 할 수 있어, 조작 신호에 기초하여 특징 검출 수단, 처리 결정 수단, 또는 처리 실행 수단 중의 적어도 어느 하나의 처리 구조가 변경되도록 할 수 있다.
상기 출력 수단에는 신호 처리 수단의 신호 처리 결과를 제시하는 제시 수단을 포함하도록 할 수 있다.
상기 조작 신호에 기초하여 특징 검출 수단의 처리 구조가 변경되도록 할 수 있다.
상기 조작 신호는 복수 종류의 특징 중에서 소정 수의 특징의 종류를 지정하는 신호가 되도록 할 수 있고, 특징 검출 수단에는 소정 수 종류의 특징을 검출하도록 그 처리 구조를 변경시키도록 할 수 있다.
상기 특징 검출 수단에는 입력 신호로부터 소정 수의 종류의 특징을 검출시 키도록 할 수 있고, 처리 결정 수단에는 특징 검출 수단에 의해 입력 신호로부터 검출된 소정 수 종류의 특징에 기초하여 입력 신호에 대한 처리 실행 수단에서의 처리 내용을 결정시키도록 할 수 있다.
상기 입력 신호는 화상 신호로 하도록 할 수 있고, 처리 결정 수단에는 특징 검출 수단에 의해 입력 신호로부터 검출된 소정 수 종류의 특징에 기초하여 입력 신호에 대한 처리 내용으로서 입력 신호를 그대로 출력할지 여부를 결정하도록 할 수 있고, 처리 실행 수단에는 처리 결정 수단의 결정에 따라 입력 신호를 선택적으로 출력함으로써 입력 신호인 화상 신호 중의 텔롭을 검출시키도록 할 수 있다.
상기 특징 검출 수단에는 조작 신호에 기초하여 사전에 준비되어 있는 특징과 다른 새로운 종류의 특징을 검출하도록 그 처리 구조를 변경시키도록 할 수 있다.
상기 특징 검출 수단은 사전에 준비되어 있는 특징의 다이내믹 레인지, 최대값, 중앙값, 최소값, 합, 분산, 특징이 임계값보다 큰 입력 신호의 수, 또는 특징의 선형 1차 결합을 새로운 종류의 특징으로 하여 검출시키도록 할 수 있다.
상기 조작 신호에 기초하여 처리 결정 수단의 처리 구조가 변경되도록 할 수 있다.
상기 처리 결정 수단에는 특징의 각 값과, 그 값의 특징을 갖는 입력 신호에 대한 처리 내용과의 대응 관계인 특징/처리 대응 관계를 기억시켜 두도록 할 수 있고, 특징/처리 대응 관계에서 입력 신호로부터 검출된 특징의 값과 대응되어 있는 처리 내용을 그 입력 신호에 대한 처리 내용으로서 결정시키도록 할 수 있다.
상기 처리 결정 수단에는 조작 신호에 기초하여 특징/처리 대응 관계에서의 처리 내용을 변경함으로써 그 처리 구조를 변경시키도록 할 수 있다.
상기 특징/처리 대응 관계에서는, 입력 신호에 대하여 제1 값의 출력 신호를 출력하는 처리와, 제2 값의 출력 신호를 출력하는 처리의 두 개의 처리 내용이 존재하도록 할 수 있고, 처리 실행 수단에는 처리 결정 수단의 결정에 따라 입력 신호를 제 1과 제2 값으로 2 치화시키도록 할 수 있다.
상기 조작 신호에 기초하여 처리 실행 수단의 처리 구조가 변경되도록 할 수 있다.
상기 처리 실행 수단에는, 소정의 학습용 데이터로부터 교사 데이터를 생성하는 교사 데이터 생성 수단과, 학습용 데이터로부터 학생 데이터를 생성하는 학생 데이터 생성 수단과, 학생 데이터와 소정의 예측 계수의 선형 결합에 의해 구해지는 교사 데이터의 예측값과, 그 교사 데이터와의 오차를 최소로 하는 예측 계수를 학습하는 학습 수단과, 입력 신호와 학습 수단에 의해 구해진 예측 계수를 선형 결합함으로써 출력 신호를 생성하는 출력 신호 생성 수단을 설치하도록 할 수 있다.
상기 학습 수단에는 오차의 N승인 N승 오차를 통계적으로 최소로 하는 최소 N승 오차법에 의해 예측 계수를 학습시키도록 할 수 있고, 조작 신호에 기초하여 오차의 N승을 변경함으로써 그 처리 구조를 변경시키도록 할 수 있다.
상기 학습 수단에는 N승 오차로서 2승 오차와 조작 신호에 따른 가중값과의 곱을 채용함으로써 조작 신호에 기초하여 오차의 N승을 변경시키도록 할 수 있다.
상기 학습 수단에는 조작 신호에 대응하는 N승을 이용한 N승 오차로서 2승 오차와, 최소 N'승 오차법에 의해 구해지는 예측 계수를 이용하여 연산되는 교사 데이터의 예측값의 N-2승 오차와의 곱을 채용시키도록 할 수 있다.
상기 학습 수단에는 처리 결정 수단이 결정하는 처리 내용마다 예측 계수를 학습시키도록 할 수 있고, 출력 생성 수단에는 입력 신호와 그 입력 신호에 대하여 처리 결정 수단이 결정하는 처리 내용에 대응하는 예측 계수와의 선형 결합에 의해 출력 신호를 생성시키도록 할 수 있다.
상기 신호 처리 수단에는 조작 신호를 모니터하여 학습에 이용할 수 있는지 여부를 판정하는 판정 수단과, 학습에 이용할 수 있는 조작 신호인 학습용 조작 신호에 기초하여 입력 신호를 보정하는 규범인 보정 규범을 학습하는 학습 수단과, 입력 신호를 학습에 의해 얻어진 보정 규범에 기초하여 보정하고, 그 보정 후의 신호를 출력 신호로서 출력하는 보정 수단을 설치하도록 시킬 수 있다.
상기 신호 처리 수단에는 소정의 학습용 데이터로부터 교사 데이터를 생성하는 교사 데이터 생성 수단과, 학습용 데이터로부터 학생 데이터를 생성하는 학생 데이터 생성 수단과, 학생 데이터와 소정의 예측 계수와의 선형 결합에 의해 구해지는 교사 데이터의 예측값과, 그 교사 데이터와의 오차를 최소로 하는 예측 계수를 학습하는 학습 수단과, 입력 신호와 학습 수단에 의해 구해진 예측 계수를 선형 결합함으로써 출력 신호를 생성하는 출력 신호 생성 수단을 설치하도록 시킬 수 있다.
상기 신호 처리 수단에는 오차의 N승인 N승 오차를, 통계적으로 최소로 하는 최소 N승 오차법에 의해 예측 계수를 학습시키도록 할 수 있고, 조작 신호에 기초 하여 오차의 N승을 변경함으로써 그 처리 구조를 변경시키도록 할 수 있다.
상기 학습 수단에는 N승 오차로서 2승 오차와 조작 신호에 따른 가중값과의 곱을 채용함으로써 조작 신호에 기초하여 오차의 N승을 변경시키도록 할 수 있다.
상기 학습 수단에는 조작 신호에 대응하는 N승을 이용한 N승 오차로서 2승 오차와 최소 N'승 오차법에 의해 구해지는 예측 계수를 이용하여 연산되는 교사 데이터의 예측값의 N-2 승 오차의 곱을 채용시키도록 할 수 있다.
본 발명의 신호 처리 방법은 입력 신호를 신호 처리하는 신호 처리 단계과, 신호 처리 단계의 처리에서의 신호 처리 결과를 출력하는 출력 단계를 포함하며, 사용자의 조작에 따라 공급되는 조작 신호에 기초하여 신호 처리 단계의 처리 구조가 변경되는 것을 특징으로 한다.
본 발명의 기록 매체 프로그램은 입력 신호의 신호 처리를 제어하는 신호 처리 제어 단계과, 신호 처리 제어 단계의 처리에서의 신호 처리 결과의 출력을 제어하는 출력 제어 단계를 포함하며, 사용자의 조작에 따라 공급되는 조작 신호에 기초하여 신호 처리 제어 단계의 처리 구조가 변경되는 것을 특징으로 한다.
본 발명의 프로그램은, 입력 신호의 신호 처리를 제어하는 신호 처리 제어 단계과, 신호 처리 제어 단계의 처리에서의 신호 처리 결과의 출력을 제어하는 출력 제어 단계를 컴퓨터에 실행시켜, 사용자의 조작에 따라 공급되는 조작 신호에 기초하여 신호 처리 제어 단계의 처리 구조가 변경되는 것을 특징으로 한다.
본 발명에 있어서는, 입력 신호가 신호 처리되고 신호 처리 결과가 출력되며, 사용자의 조작에 따라 공급되는 조작 신호에 기초하여 신호 처리에서의 처리 구조가 변경된다.
도 1은 본 발명을 적용한 최적화 장치를 나타내는 도면.
도 2는 본 발명을 적용한 최적화 장치의 일실시예의 구성예를 나타내는 블록도.
도 3은 도 2의 최적화 장치에 의한 최적화 처리를 설명하는 흐름도.
도 4는 최적화 장치를 이용한 NR 회로의 일실시예의 구성예를 나타내는 블록도.
도 5A는 입력 신호를 나타내는 파형도.
도 5B는 입력 신뢰도를 나타내는 파형도.
도 6은 NR 회로에 의한 보정 처리를 설명하는 흐름도.
도 7은 NR 회로에 의한 보정 파라미터 연산 처리를 설명하는 흐름도.
도 8은 NR 회로에 의한 제어 데이터 학습 처리를 설명하는 흐름도.
도 9A∼도 9C는 제어 데이터 학습 처리를 설명하기 위한 도면.
도 10은 최적화 장치를 이용한 NR 회로의 다른 일실시예의 구성예를 나타내는 블록도.
도 11은 파라미터 제어 데이터와 승산되는 화소를 나타내는 도면.
도 12는 NR 회로에 의한 보정 파라미터 연산 처리를 설명하는 흐름도.
도 13은 NR 회로에 의한 제어 데이터 학습 처리를 설명하는 흐름도.
도 14는 최적화 장치를 이용한 NR 회로의 다른 일 실시예의 구성예를 나타내 는 블록도.
도 15는 도 14의 최적화 장치에 의한 최적화 처리를 설명하는 흐름도.
도 16은 본 발명을 적용한 자동 주행 장치의 일실시예의 구성예를 나타내는 블록도이다.
도 17은 도 16의 최적화 장치의 처리부의 구성예를 나타내는 블록도.
도 18은 도 16의 최적화 장치에 의한 보정 파라미터 연산 처리를 설명하는 흐름도.
도 19는 도 16의 최적화 장치에 의한 제어 데이터 학습 처리를 설명하는 흐름도.
도 20은 도 16의 최적화 장치의 처리부의 다른 구성예를 나타내는 블록도.
도 21은 도 16의 연산부가 출력하는 주행 방향을 나타내는 도면.
도 22는 도 16의 최적화 장치에 의한 보정 처리를 설명하는 흐름도.
도 23은 도 16의 최적화 장치에 의한 보정 파라미터 학습 처리를 설명하는 흐름도.
도 24는 본 발명을 적용한 자동 주행 장치의 다른 구성예를 나타내는 블록도.
도 25는 도 24의 최적화 장치에 의한 보정 파라미터 연산 처리를 설명하는 흐름도.
도 26은 도 24의 최적화 장치에 의한 보정 파라미터 학습 처리를 설명하는 흐름도.
도 27은 도 24의 내부 정보 생성부에 의해 생성되는 내부 정보의 예를 나타내는 도면.
도 28은 도 24의 내부 정보 생성부에 의해 생성되는 내부 정보의 예를 나타내는 도면.
도 29는 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 30은 도 29의 최적화 장치의 학습부의 구성예를 나타내는 블록도.
도 31은 도 29의 최적화 장치의 맵핑 처리부의 구성예를 나타내는 블록도.
도 32는 실제값과 예측값과의 오차를 설명하는 도면.
도 33은 최소 N승 오차법을 설명하는 도면.
도 34는 가중값 αs를 설명하는 도면.
도 35는 도 29의 최적화 장치에 의한 화상 최적화 처리를 설명하는 흐름도.
도 36은 최소 N승 규범과 최소 2승 규범의 비교를 나타내는 도면.
도 37은 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 38은 도 37의 최적화 장치에 의한 화상 최적화 처리를 설명하는 흐름도.
도 39는 도 37의 내부 정보 생성부에 의해 생성되는 내부 정보의 예를 나타내는 도면.
도 40은 도 37의 내부 정보 생성부에 의해 생성되는 내부 정보의 예를 나타 내는 도면.
도 41은 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 42는 도 41의 최적화 장치의 계수 변환부의 구성예를 나타내는 블록도.
도 43은 도 41의 계수 메모리에 저장되는 계수를 학습에 의해 생성하는 학습 장치의 구성예를 나타내는 블록도.
도 44는 도 43의 학습 장치에 의한 계수 결정 처리를 설명하는 흐름도.
도 45는 예측 탭의 구성을 나타내는 도면.
도 46은 예측 탭의 탭 위치에 대응하는 계수 치의 분포의 예를 나타내는 도면.
도 47은 예측 탭의 구성을 나타내는 도면.
도 48은 예측 탭의 탭 위치에 대응하는 계수 치의 분포의 예를 나타내는 도면.
도 49는 예측 탭의 구성을 나타내는 도면.
도 50은 스프링 모델을 설명하는 도면.
도 51은 균형 모델을 설명하는 도면.
도 52는 도 41의 최적화 장치에 의한 화상 최적화 처리를 설명하는 흐름도.
도 53은 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 54는 도 53의 최적화 장치에 의한 화상 최적화 처리를 설명하는 흐름도.
도 55는 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 56은 도 55의 특징량 검출부의 구성예를 나타내는 블록도.
도 57은 도 55의 처리 결정부의 구성예를 나타내는 블록도.
도 58은 도 55의 처리부의 구성예를 나타내는 블록도.
도 59는 도 55의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 흐름도.
도 6O는 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 61은 도 60의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 흐름도.
도 62는 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 63은 도 62의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 흐름도.
도 64는 도 62의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 도면.
도 65는 도 62의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 도면.
도 66은 도 62의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 도 면.
도 67은 도 62의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 도면.
도 68은 도 62의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 도면.
도 69는 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 70은 도 69의 처리 결정부의 구성예를 나타내는 블록도.
도 71은 도 69의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 흐름도.
도 72는 도 69의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 도면.
도 73은 도 69의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 도면.
도 74는 도 69의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 도면.
도 75는 도 69의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 도면.
도 76은 도 69의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 도면.
도 77은 도 69의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 도면.
도 78은 도 69의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 도면.
도 79는 도 69의 최적화 장치에 의한 특징량의 전환을 설명하는 도면.
도 80은 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 81은 도 80의 특징량 검출부의 구성예를 나타내는 블록도.
도 82는 도 80의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 흐름도.
도 83은 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 84는 도 80의 특징량 검출부의 구성예를 나타내는 블록도.
도 85는 도 84의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 흐름도.
도 86은 도 84의 최적화 장치에 의한 특징량의 가공 내용 지시 화면을 설명하는 도면.
도 87은 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 88은 도 87의 최적화 장치에 의한 텔롭 추출 최적화 처리를 설명하는 흐 름도.
도 89는 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 90은 도 89의 처리 결정부의 구성예를 나타내는 블록도.
도 91은 도 89의 최적화 장치에 의한 화상 최적화 처리를 설명하는 흐름도.
도 92는 LUT을 설명하는 도면.
도 93은 LUT 상에 특징량마다 지정되는 처리 내용을 설명하는 도면.
도 94는 LUT 상에 특징량마다 지정되는 처리 내용을 설명하는 도면.
도 95는 LUT 상에 특징량마다 지정되는 처리 내용을 설명하는 도면.
도 96은 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 흐름도.
도 97은 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 도면.
도 98은 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 도면.
도 99는 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 도면.
도 100은 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 도면.
도 101은 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 도면.
도 102A는 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 도면.
도 102B는 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 도면.
도 103A는 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 도면.
도 103B는 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 도면.
도 104A는 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 도면.
도 104B는 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 도면.
도 105는 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 오토 LUT 변경 처리를 설명하는 흐름도.
도 106은 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 오토 LUT 변경 처리를 설명하는 도면.
도 107은 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 오토 LUT 변경 처리를 설명하는 도면.
도 108은 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 오토 LUT 변 경 처리를 설명하는 도면.
도 109는 도 91의 최적화 장치에 의한 화상 최적화 처리에서의 오토 LUT 변경 처리를 설명하는 도면.
도 110은 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 111은 도 110의 처리 결정부의 구성예를 나타내는 블록도.
도 112는 도 110의 최적화 장치에 의한 화상 최적화 처리를 설명하는 흐름도.
도 113은 도 110의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 흐름도.
도 114는 도 110의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 도면.
도 115는 도 110의 최적화 장치에 의한 화상 최적화 처리에서의 매뉴얼 LUT 변경 처리를 설명하는 도면.
도 116은 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 117은 도 116의 처리부의 구성예를 나타내는 블록도.
도 118은 도 116의 계수 메모리에 저장되는 계수 세트를 학습에 의해 생성하는 학습 장치를 나타내는 블록도.
도 119는 도 117의 맵핑 처리부의 구성예를 나타내는 블록도.
도 120은 도 116의 최적화 장치에 의한 학습 처리를 설명하는 흐름도.
도 121은 도 116의 최적화 장치에 의한 맵핑 처리를 설명하는 흐름도.
도 122는 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 123은 도 122의 처리부의 구성예를 나타내는 블록도.
도 124는 도 122의 최적화 장치에 의한 학습 처리를 설명하는 흐름도.
도 125는 도 122의 최적화 장치에 의한 맵핑 처리를 설명하는 흐름도.
도 126은 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 127은 도 126의 처리부의 구성예를 나타내는 블록도.
도 128은 도 127의 계수 메모리에 저장되는 계수 세트를 학습에 의해 생성하는 학습 장치를 나타내는 블록도.
도 129는 도 128의 학습 장치에 의한 계수 결정 처리를 설명하는 흐름도.
도 130은 도 126의 최적화 장치에 의한 화상 최적화 처리를 설명하는 흐름도.
도 131은 본 발명을 적용한 최적화 장치의 그 밖의 실시예의 구성예를 나타내는 블록도.
도 132는 도 131의 처리부의 구성예를 나타내는 블록도이다.
도 133은 도 131의 최적화 장치에 의한 화상 최적화 처리를 설명하는 흐름도.
도 134는 본 발명을 적용한 컴퓨터의 일실시예의 구성예를 나타내는 블록도.
도 1은 본 발명을 적용한 최적화 장치의 일실시예의 구성예를 나타내고 있다. 최적화 장치는 입력 신호에 대하여 소정의 처리(신호 처리)를 실행한 후, 그 처리 결과 얻어지는 신호를 출력 신호로서 출력한다. 사용자는 이 출력 신호를 음미(정성적으로 평가)하여 자신의 기호에 맞는 출력 신호가 아닌 경우, 사용자의 기호에 대응한 조작 신호를 최적화 장치에 입력한다. 최적화 장치는 이 조작 신호에 기초하여 처리 내용 및 처리 구조를 변경하고, 다시 입력 신호에 소정의 처리를 실시하여 출력 신호를 출력한다. 최적화 장치는 이와 같이 사용자의 조작에 의해 입력되는 조작 신호에 대응하여 처리 내용 및 처리 구조의 변경을 반복하면서 최적의 처리(사용자에 있어 최적의 처리)를 입력 신호에 실시하여, 사용자의 기호에 보다 가까운 출력 신호를 출력한다.
도 2는 도 1의 최적화 장치의 제1 상세 구성예를 나타내고 있다.
이 최적화 장치(1)에서는 사용자의 조작을 사용자가 알지 못하는 사이에 학습함으로써 그 사용자로 하여금 최적의 처리를 행하게 되어 있다. 즉, 최적화 장치에서는 사용자의 조작에 따라 공급되는 조작 신호가 모니터되어 학습에 이용할 수 있는지 여부가 판정된다. 그리고, 조작 신호가 학습에 이용할 수 있는 학습용 조작 신호인 경우에는, 그 학습용 조작 신호에 기초하여 입력 신호를 보정하는 규범인 보정 규범이 학습된다. 한편, 입력 신호는 학습에 의해 얻어진 보정 규범에 기초하여 보정되고, 그 보정 후의 신호가 출력 신호로서 출력된다.
최적화 장치(1)는 보정부(21)와 학습부(22)로 이루어지는 처리부(11)로 구성되어 있고, 거기에는 처리 대상인 입력 신호 외에, 사용자의 조작에 대응한 조작 신호가 공급되도록 되어 있다.
조작 신호는 조작부(2)로부터 공급되도록 되어 있다. 즉, 조작부(2)는 예를 들면 로터리형이나 슬라이드형 손잡이나, 스위치, 포인팅 디바이스 등으로 구성되어 있고, 사용자의 조작에 대응한 조작 신호를 최적화 장치(1)를 구성하는 처리부(11)에 공급한다.
최적화 장치(1)를 구성하는 보정부(21)에는, 예를 들면, 디지털 입력 신호가 공급됨과 함께 학습부(22)로부터 입력 신호를 보정하는 보정 규범으로서의 예를 들면, 보정 파라미터가 공급되도록 되어 있다. 보정부(21)는 입력 신호를 보정 파라미터에 기초하여 보정(신호 처리)하고, 그 보정 후의 신호를 출력 신호로서 출력한다.
학습부(22)에는 조작부(2)로부터의 조작 신호가 공급됨과 함께 필요에 따라 입력 신호 또는 출력 신호가 공급되도록 되어 있다. 학습부(22)는 조작 신호를 모니터하여 학습에 이용할 수 있는지 여부를 판정한다. 그리고, 학습부(22)는 조작 신호가 학습에 이용할 수 있는 학습용 조작 신호인 경우에는, 그 학습용 조작 신호에 기초하여 입력 신호를 보정하는 데 이용되는 보정 파라미터를 필요에 따라 입력 신호나 출력 신호를 이용하여 학습하고 보정부(21)에 공급한다.
또, 학습부(22)는 학습용 데이터 메모리(53)와 학습 정보 메모리(55)를 내장하고 있고, 학습용 데이터 메모리(53)는 학습에 이용되는 학습용 데이터를 기억하 고, 학습 정보 메모리(55)는 학습에 의해 얻어지는 후술하는 학습 정보를 기억한다.
다음에, 도 3의 흐름도를 참조하여 도 2의 최적화 장치(1)가 행하는 처리(최적화 처리)에 대하여 설명한다.
우선 최초로, 단계 S1에서, 학습부(22)는 조작부(2)로부터 학습용 조작 신호를 수신하였는지 여부를 판정한다. 여기서, 사용자는, 조작부(2)를 조작할 경우, 최초는 적당한 조작을 행하여 그 조작에 따라 출력되는 출력 신호를 확인하면서 세밀한 조작을 행하여 최종적으로 최적이라고 생각한 출력 신호가 얻어진 시점에서 조작을 정지하는 것이 일반적이다. 사용자가 최적이라고 생각한 출력 신호가 얻어진 시점에서의, 조작부(2)의 위치에 대응하는 조작 신호가, 학습용 조작 신호이고, 이 때문에 학습부(22)는 조작부(2)의 조작이 소정 시간 이상 계속된 후 그 조작이 정지된 경우에 그 정지되었을 때의 조작 신호를 학습용 조작 신호라고 판정하게 되어 있다.
단계 S1에서, 학습용 조작 신호를 수신하고 있지 않다고 판정된 경우, 즉, 예를 들면, 사용자가 조작부(2)를 조작하지 않거나, 혹은 조작하고 있더라도 최적의 위치를 찾고 있는 것 같은 조작을 하고 있는 경우 단계 S2 내지 S10을 스킵하여 단계 S11로 진행하고, 보정부(21)는 입력 신호를 이미 설정되어 있는 보정 파라미터에 따라 보정하고, 그 보정 결과로서의 출력 신호를 출력하여 단계 S1로 되돌아간다.
또한, 단계 S1에서 학습용 조작 신호를 수신하였다고 판정된 경우, 단계 S2 로 진행하고, 학습부(22)는 그 학습용 조작 신호에 기초하여 학습에 이용하는 학습용 데이터를 취득하여 단계 S3으로 진행한다. 단계 S3에서는 학습용 데이터 메모리(53)가 단계 S2에서 취득된 최신 학습용 데이터를 기억한다.
여기서, 학습용 데이터 메모리(53)는 복수의 학습용 데이터를 기억할 수 있는 기억 용량을 갖고 있다. 또한, 학습용 데이터 메모리(53)는 그 기억 용량분만의 학습용 데이터를 기억하면, 다음의 학습용 데이터를 가장 오래된 기억값에 덮어쓰기 하는 형태로 기억하도록 되어 있다. 따라서, 학습용 데이터 메모리(53)에는 복수의 학습용 데이터로서 최근의 것이 기억된다.
단계 S3에서 학습용 데이터 메모리(53)에 학습용 데이터를 기억한 후는 단계 S4로 진행하고, 학습부(22)는 학습용 데이터 메모리(53)에 기억된 최신 학습용 데이터와 학습 정보 메모리(55)에 기억된 학습 정보를 이용하여 학습을 행하고 보정 파라미터를 구하여 단계 S5로 진행한다. 단계 S5에서는 학습부(22)는 단계 S4의 학습 도중에서 얻어지는 새로운 학습 정보에 의해 학습 정보 메모리(55)의 기억 내용을 갱신하고 단계 S6으로 진행한다.
단계 S6에서는 학습부(22)는 단계 S4에서 구한 보정 파라미터의 적정함을 나타내는, 후술하는 바와 같은 적정도를 구하고 단계 S7로 진행하고, 그 적정도에 기초하여 단계 S4에서 구한 보정 파라미터가 적정한지의 여부를 판정한다.
단계 S7에서 보정 파라미터가 적정하다고 판정된 경우 단계 S8 및 S9를 스킵하여 단계 S10으로 진행하고, 학습부(22)는 그 적정하다고 판정한 보정 파라미터를 보정부(21)에 출력하고 단계 S11로 진행한다. 따라서, 이 경우, 그 이후는 보정부(21)에서 단계 S4의 학습에서 구한 새로운 보정 파라미터에 따라 입력 신호가 보정된다.
한편, 단계 S7에서 보정 파라미터가 적정하지 않다고 판정된 경우, 단계 S8로 진행하고, 학습부(22)는 학습용 데이터 메모리(53)에 기억된 학습용 데이터 중 최근의 학습용 데이터만을 이용하여 학습을 행하여 보정 파라미터를 구하고 단계 S9로 진행한다. 단계 S9에서는 학습부(22)는 단계 S8의 학습 도중에 얻어지는 새로운 학습 정보에 의해 학습 정보 메모리(55)의 기억 내용을 갱신하고 단계 S10으로 진행한다. 이 경우, 단계 S10에서는 학습부(22)는 단계 S8에서 최근의 학습용 데이터만으로부터 얻어진 보정 파라미터를 보정부(21)에 출력하고 단계 S11로 진행한다. 따라서, 이 경우 그 이후는 보정부(21)에서 단계 S8의 학습에서 구한 새로운 보정 파라미터에 따라 입력 신호가 보정된다.
다음에, 도 4는 도 2의 처리부(11)를 예를 들면 화상 신호나 음성 신호로부터 노이즈를 제거하는 NR 회로에 적용한 경우의 상세 구성예를 나타내고 있다.
가중값 메모리(31)는 학습부(22)의, 후술하는 선택부(41)로부터 공급되는 보정 파라미터로서의 가중값(계수)W(예를 들면, O 이상 1 이하의 값)를 기억한다. 가중값 메모리(32)는 연산기(33)로부터 공급되는 가중값 1-W를 기억한다.
연산기(33)는 학습부(22)의 선택부(41)로부터 공급되는 가중값 W를, 1. 0으로부터 감산한 감산값 1-W를 가중값으로서 가중값 메모리(32)에 공급한다. 연산기(34)는 입력 신호와 가중값 메모리(32)에 기억된 가중값 1-W를 승산하고 그 승산값을 연산기(36)에 공급한다. 연산기(35)는 가중값 메모리(31)에 기억된 가중 값 W와, 래치 회로(37)에 기억(래치)된 출력 신호를 승산하여 그 승산값을 연산기(36)에 공급한다. 연산기(36)는 연산기(34, 35)의 양자의 출력을 가산하고 그 가산치를 출력 신호로서 출력한다.
래치 회로(37)는 연산기(36)가 출력하는 출력 신호를 래치하여 연산기(35)에 공급한다.
도 4의 실시예에서는 이상의 가중값 메모리(31 및 32), 연산기(33, 34, 35, 및 36), 및 래치 회로(37)에 의해 처리부(11)의 보정부(21)가 구성되어 있다.
선택부(41)는 가중값 보정부(46)가 출력하는 가중값, 또는 조작 신호 처리부(50)가 출력하는 가중값 중 어느 한쪽을 선택하여 보정 파라미터로서 보정부(21)에 공급한다.
입력 신뢰도 계산부(42)에는, 입력 신호가 공급되도록 되어 있고, 그 입력 신호의 신뢰성을 나타내는 입력 신뢰도를 구하여, 출력 신뢰도 계산부(43)와 가중값 계산부(45)에 출력한다. 출력 신뢰도 계산부(43)는 입력 신뢰도 계산부(42)로부터의 입력 신뢰도에 기초하여 출력 신호의 신뢰성을 나타내는 출력 신뢰도를 구하여 래치 회로(44)와 가중값 계산부(45)에 공급한다. 래치 회로(44)는 출력 신뢰도 계산부(43)로부터의 출력 신뢰도를 기억(래치)하여 출력 신뢰도 계산부(43) 및 가중값 계산부(45)에 공급한다.
가중값 계산부(45)는 입력 신뢰도 계산부(42)로부터의 입력 신뢰도와 출력 신뢰도 계산부(43)로부터의 출력 신뢰도로부터 가중값을 계산하여 가중값 보정부(46)에 출력한다. 가중값 보정부(46)에는 가중값 외에, 파라미터 제어 데이 터 메모리(57)로부터 보정 파라미터로서의 가중값을 제어하는 파라미터 제어 데이터가 공급되도록 되어 있고, 가중값 보정부(46)는 가중값을 파라미터 제어 데이터에 의해 처리(보정)하여 선택부(41)에 공급한다.
조작 신호 처리부(50)에는 조작부(2)(도 2)로부터 조작 신호가 공급되도록 되어 있고, 조작 신호 처리부(50)는 거기에 공급되는 조작 신호를 처리하여 그 조작 신호에 대응하는 가중값을 선택부(41), 교사 데이터 생성부(51), 및 학생 데이터 생성부(52)에 공급한다. 또한, 조작 신호 처리부(50)는 조작 신호가 상술한 학습용 조작 신호인지 여부를 판정하고, 조작 신호가 학습용 조작 신호인 경우에는 그 취지의 플래그(이하, 적절하게 학습 플래그라 함)를, 출력하는 가중값에 부가한다.
교사 데이터 생성부(51)는 조작 신호 처리부(50)로부터 학습 플래그 부가 가중값을 수신하면, 학습의 교사로 되는 교사 데이터를 생성하여 학습용 데이터 메모리(53)에 공급한다. 즉, 교사 데이터 생성부(51)는 학습 플래그가 부가되어 있는 가중값을 교사 데이터로 하여 학습용 데이터 메모리(53)에 공급한다.
학생 데이터 생성부(52)는 조작 신호 처리부(50)로부터 학습 플래그가 부가된 가중값을 수신하면, 학습의 학생으로 되는 학생 데이터를 생성하여 학습용 데이터 메모리(53)에 공급한다. 즉, 학생 데이터 생성부(52)는 예를 들면 상술한 입력 신뢰도 계산부(42), 출력 신뢰도 계산부(43), 래치 회로(44), 및 가중값 계산부(45)와 마찬가지로 구성되고, 거기에 공급되는 입력 신호로부터 가중값을 계산하고 있으므로 학습 플래그가 부가된 가중값을 수신했을 때에 입력 신호로부터 계산된 가중값을 학생 데이터로 하여 학습용 데이터 메모리(53)에 공급한다.
학습용 데이터 메모리(53)는 교사 데이터 생성부(51)로부터 공급되는 학습용 조작 신호에 대응하는 가중값으로서의 교사 데이터와 학생 데이터 생성부(52)로부터 공급되는 그 학습용 조작 신호를 수신했을 때의 입력 신호로부터 계산되는 가중값으로서의 학생 데이터의 세트를 1 세트의 학습용 데이터로서 기억한다. 또, 상술한 바와 같이, 학습용 데이터 메모리(53)는 복수의 학습용 데이터를 기억할 수 있고, 또한, 그 기억 용량분만큼의 학습용 데이터를 기억하면, 다음의 학습용 데이터를 가장 오래된 기억값에 덮어쓰기하는 형태로 기억하도록 되어 있다. 따라서, 학습용 데이터 메모리(53)는 기본적으로 최근의 학습용 데이터의 몇 개가 항상 기억되어 있는 상태에 있다.
파라미터 제어 데이터 계산부(54)는 판정 제어부(56)의 제어 하에 학습용 데이터 메모리(53)에 기억된 학습용 데이터로서의 교사 데이터 및 학생 데이터, 나아가서는 필요에 따라 학습 정보 메모리(55)에 기억된 학습 정보를 이용하여, 소정의 통계적인 오차를 최소로 하는 파라미터 제어 데이터를 새로운 학습 정보를 연산함으로써 학습하여 판정 제어부(56)에 공급한다. 또한, 파라미터 제어 데이터 계산부(54)는 학습에 의해 얻어진 새로운 학습 정보에 의해 학습 정보 메모리(55)의 기억 내용을 갱신한다. 학습 정보 메모리(55)는 파라미터 제어 데이터 계산부(54)로부터의 학습 정보를 기억한다.
판정 제어부(56)는 파라미터 제어 데이터 계산부(54)로부터 공급되는 파라미터 제어 데이터의 적정함을 학습용 데이터 메모리(53)에 기억된 최근의 학습용 데 이터를 참조함으로써 판정한다. 또한, 판정 제어부(56)는 파라미터 제어 데이터 계산부(54)를 제어하고, 파라미터 제어 데이터 계산부(54)로부터 공급되는 파라미터 제어 데이터를 파라미터 제어 데이터 메모리(57)에 공급한다. 파라미터 제어 데이터 메모리(57)는 그 기억 내용을 판정 제어부(56)로부터 공급되는 파라미터 제어 데이터에 의해 갱신하여 가중값 보정부(46)에 공급한다.
도 4의 실시예에서는 이상의 선택부(41) 내지 가중값 보정부(46), 및 조작 신호 처리부(50) 내지 파라미터 제어 데이터 메모리(57)에 의해 처리부(11)의 학습부(22)가 구성되어 있다.
이상과 같이 구성되는 NR 회로로서의 최적화 장치(1)의 처리부(11)에서는 다음과 같이 하여 입력 신호에서의 노이즈가 제거된다.
즉, 예를 들면, 이제 설명을 간단히 하기 위해서 도 5A에 도시한 바와 같은 실제값이 일정하고 또한 시간적으로 변동하는 노이즈가 중첩된 입력 신호에 대하여 그 평균을 취함으로써 시간적으로 변동하는 노이즈를 제거하는 것을 생각하면, 노이즈의 정도로서의 예를 들면 노이즈의 레벨이 큰 입력 신호(따라서, S/N이 나쁜 신호)에 대해서는 그 가중값을 작게 하고(그다지 고려하지 않도록 한다), 노이즈의 레벨이 작은 입력 신호(따라서, S/N이 좋은 신호)에 대해서는 그 가중값을 크게 함으로써 노이즈를 효과적으로 제거할 수 있다.
그래서, 도 4의 NR 회로에서는 입력 신호의 평가값으로서 예를 들면 도 5B에 도시한 바와 같은 입력 신호의 실제값에 대한 근사, 즉, 입력 신호가 실제값임의 신뢰성을 나타내는 입력 신뢰도를 구하고, 그 입력 신뢰도에 대응한 가중값 부여를 입력 신호에 대하여 행하면서 그 평균을 계산함으로써 노이즈를 효과적으로 제거하도록 되어 있다.
따라서, 도 4의 NR 회로에서는 입력 신호에 대하여 그 입력 신뢰도에 대응한 가중값을 이용한 가중값 부여 평균이 구해져 출력 신호로서 출력되지만, 이제, 시각 t에서의 입력 신호, 출력 신호, 입력 신뢰도를 각각 x(t), y(t), αx(t)로 나타내면, 다음 식에 따라서 출력 신호 y(t)가 구해지게 된다.
Figure 112002034151099-pct00001
또, 여기서는, 입력 신뢰도 αx(t)가 클수록, 큰 가중값을 부여하는 것으로 하고 있다.
수학식 1로부터 현재 시각 t로부터 1 샘플전의 출력 신호 y(t-l)는, 다음 식으로 구해진다.
Figure 112002034151099-pct00002
또한, 출력 신호 y(t)에 대해서도, 그 출력 신호 y(t)의 평가값으로서 실제값에 대한 근사, 즉, 출력 신호 y(t)가 실제값인 것의 신뢰성을 나타내는 출력 신 뢰도 αy(t)를 도입하고, 현재 시각 t로부터 1 샘플 전의 출력 신호 y(t-1)의 출력 신뢰도 αy(t-1)를 다음 식으로 정의한다.
Figure 112002034151099-pct00003
이 경우, 수학식 1 내지 수학식 3으로부터, 출력 신호 y(t) 및 그 출력 신뢰도 αy(t)는 다음과 같이 나타낼 수 있다.
Figure 112002034151099-pct00004
Figure 112002034151099-pct00005
또한, 시각 t에서, 출력 신호 y(t)를 구하는 데 이용하는 가중값을, w(t)로 나타내고 이것을 다음 식으로 정의한다.
Figure 112002034151099-pct00006
수학식 6으로부터 다음 식이 성립한다.
Figure 112002034151099-pct00007
수학식 6 및 7을 이용하면, 수학식 4에서의 출력 신호 y(t)는 다음과 같은 승산과 가산에 의한 가중값 부여 평균에 의해 나타낼 수 있다.
Figure 112002034151099-pct00008
또, 수학식 8에서 이용하는 가중값 w(t)(및 1-w(t))는 수학식 6으로부터 1 샘플 전의 출력 신호 y(t-1)의 출력 신뢰도 αy(t-1)와, 현재의 입력 신호 x(t)의 입력 신뢰도 αx(t)로부터 구할 수 있다. 또한, 수학식 5에서의 현재의 출력 신호 y(t)의 출력 신뢰도 αy(t)도, 그 1 샘플 전의 출력 신호 y(t-1)의 출력 신뢰도 αy(t-1)와, 현재의 입력 신호 x(t)의 입력 신뢰도 αx(t)로부터 구할 수 있다.
여기서, 입력 신호 x(t)의 입력 신뢰도 αx(t), 또는 출력 신호 y(t)의 출력 신뢰도 αy(t)로서, 각각의 분산 σx(t) 2, 또는 σy(t) 2의 역수를 이용하는 것으로 하면, 즉, 입력 신뢰도 αx(t), 출력 신뢰도 αy(t)를, 식
Figure 112002034151099-pct00009
로 두면, 수학식 6에서의 가중값 w(t)와, 수학식 7에서의 가중값 1-w(t)는 다음 식으로 구할 수 있다.
Figure 112002034151099-pct00010
Figure 112002034151099-pct00011
또한, σy(t) 2는, 다음 식으로 구할 수 있다.
Figure 112002034151099-pct00012
도 4의 NR 회로는 기본적으로는 수학식 6에 따라, 가중값 w(t)로서의 보정 파라미터를 연산하는 보정 파라미터 연산 처리를 행하고, 그 가중값 w(t)를 이용하여, 수학식 8에 따라 1 샘플 전의 출력 신호 y(t-1)와, 현재의 입력 신호 x(t)와의 가중값 부여 평균을 계산함으로써, 입력 신호 x(t)에 포함되는 노이즈를 효과적으로 제거하는 보정 처리를 행한다.
그런데, 수학식 6에 따라서 구해진 가중값 w(t)에 의한 입력 신호의 보정 처리 결과 얻어지는 출력 신호가, 반드시, 사용자가 최적이라고 느낀다고는 볼 수 없다. 그래서, 도 4의 NR 회로는 사용자에 의한 조작부(2)의 조작을 학습함으로써, 보정 파라미터로서의 가중값 w(t)를 제어(보정)하는 파라미터 제어 데이터를 구하는 제어 데이터 학습 처리를 행하여, 그 파라미터 제어 데이터에 의해서 보정한 가중값을 이용하여 입력 신호의 보정 처리를 행하게 되어 있다.
제어 데이터 학습 처리는 다음과 같이 하여 행해지도록 되어 있다.
즉, 사용자가 조작부(2)를 조작함으로써 i 회째에 주어진 학습용 조작 신호에 대응하는 가중값 Wi는, 그 학습용 조작 신호가 주어졌을 때에 입력된 입력 신호에 대하여 사용자가 최적이라고 생각하고 있다고 볼 수 있고, 따라서, 제어 데이터 학습 처리에서는, 수학식 6에 따라 구해지는 가중값 w(t)를 학습용 조작 신호에 대응하는 가중값 Wi에 가까운 값(이상적으로는, 동일한 값)으로 보정할 수 있는 파라미터 제어 데이터를 구하면 된다.
그래서, 이제, 수학식 6에 따라 구해지는 가중값 w(t)를 학습의 학생이 되는 학생 데이터로 함과 동시에, 학습용 조작 신호에 대응하는 가중값 Wi를, 학습의 교사가 되는 교사 데이터로서, 학생 데이터로서의 가중값 w(t)로부터, 예를 들면, 다음 식에 나타낸 바와 같은, 파라미터 제어 데이터 a와 b에 의해 정의되는 1차식에 의해 예측되는, 교사 데이터로서의 가중값 Wi의 예측값 Wi'를 구하는 것을 생각한다.
Figure 112002034151099-pct00013
또한, 수학식 13에서 (후술하는 수학식 14, 수학식 16 내지 21에서도, 마찬가지임), Wi는 교사 데이터로서의 학습용 조작 신호에 대응하는 가중값 Wi가 주어졌을 때에 입력된 입력 신호에 대하여 수학식 6에 따라 구해지는 학생 데이터로서의 가중값 w(t)를 나타낸다.
수학식 13으로부터 교사 데이터로서의 Wi과, 그 예측값 Wi'와의 오차(예측 오차) ei는 다음 식으로 나타낸다.
Figure 112002034151099-pct00014
이제, 수학식 14의 예측 오차 ei의, 다음 식으로 나타내는 제곱(2승) 오차의 총합
Figure 112002034151099-pct00015
을 최소로 하는 파라미터 제어 데이터 a와 b를, 최소 제곱법(최소 제곱 오차법이라 고도 함)에 의해 구하는 것을 생각한다. 또, 수학식 15에서 (후술하는 수학식 16 내지 (21)에서도 마찬가지임), N은 교사 데이터와 학생 데이터의 세트 수를 나타낸다.
우선, 수학식 15의 제곱 오차의 총합을 파라미터 제어 데이터 a와 b로 각각 편미분하면 다음 식이 얻어진다.
Figure 112002034151099-pct00016
Figure 112002034151099-pct00017
수학식 15의 제곱 오차의 총합의 최소값(극소값)은, 수학식 16과 l7의 우변을 0으로 하는 a와 b에 의해 주어지므로, 수학식 16과 l7의의 우변을 각각 0으로 해두면, 수학식 16으로부터는 수학식 18이 수학식 17로부터는 수학식 19가 각각 얻어진다.
Figure 112002034151099-pct00018
Figure 112002034151099-pct00019
수학식 19를 수학식 18에 대입함으로써, 파라미터 제어 데이터 a는, 다음 식에 의해 구할 수 있다.
Figure 112002034151099-pct00020
또한, 수학식 19와 20으로부터 파라미터 제어 데이터 b는 다음 식에 의해 구할 수 있다.
Figure 112002034151099-pct00021
도 4의 NR 회로에서는 이상과 같이 하여 파라미터 제어 데이터 a와 b를 구하는 제어 데이터 학습 처리를 행하게 되어 있다.
다음에, 도 6 내지 도 8의 흐름도를 참조하여, 도 4의 NR 회로가 행하는 보정 처리, 보정 파라미터 연산 처리, 및 제어 데이터 학습 처리에 대하여 설명한다.
우선 최초로, 도 6의 흐름도를 참조하여 보정 처리에 대하여 설명한다.
학습부(22)의 선택부(41)로부터, 보정부(21)에 대하여 보정 파라미터로서의 가중값 w(t)가 공급되면, 보정부(21)의 가중값 메모리(31)는 그 가중값 w(t)를 덮어쓰기하는 형태로 기억한다. 또한, 보정부(21)의 연산기(33)는 가중값 w(t)를 1.0으로부터 감산하여 가중값 1-w(t)를 구하고, 가중값 메모리(32)에 공급하여 덮어쓰기하는 형태로 기억시킨다.
그리고, 입력 신호 x(t)가 공급되면, 단계 S21에서 연산기(34)는 그 입력 신호 x(t)와 가중값 메모리(32)에 기억된 가중값 1-w(t)와의 곱을 연산하여 연산기(36)에 공급한다. 또한, 단계 S21에서는 연산기(35)가 가중값 메모리(31)에 기억된 가중값 w(t)와 래치 회로(37)에 래치된 1 샘플 전의 출력 신호 y(t-1)와의 곱을 연산하여 연산기(36)에 공급한다.
그리고, 단계 S22로 진행하여 연산기(36)는 입력 신호 x(t) 및 가중값 1-w(t)의 곱과, 가중값 w(t) 및 출력 신호 y(t-1)의 곱을 가산하고, 이에 따라 입력 신호 x(t)와 출력 신호 y(t-1)의 가중값 부여 가산값(1-w(t))x(t)+w(t)y(t-1)를 구하여 출력 신호 y(t)로서 출력한다. 이 출력 신호 y(t)는 래치 회로(37)에도 공급되고, 래치 회로(37)는 출력 신호 y(t)를 덮어쓰기하는 형태로 기억한다. 그 후, 단계 S21로 되돌아가 다음 샘플의 입력 신호가 공급되는 것을 대기하고, 이하, 마찬가지의 처리가 반복된다.
다음에, 도 7의 흐름도를 참조하여 보정 파라미터 연산 처리에 대하여 설명한다.
보정 파라미터 연산 처리에서는, 우선 최초로, 단계 S31에서 입력 신뢰도 계 산부(42)가 예를 들면 입력 신호의 분산에 기초하는 입력 신뢰도 αx(t)를 구한다.
즉, 입력 신뢰도 계산부(42)는 현재의 입력 신호 샘플 x(t) 외에 그 과거 수 샘플을 래치할 수 있는, 도시하지 않은 FIFO(First In First Out) 메모리를 내장하고 있고, 현재의 입력 신호의 샘플 x(t)와, 그 과거 수 샘플을 이용하여 이들의 분산을 계산하고 그 역수를 입력 신뢰도 αx(t)로서 구하여 출력 신뢰도 계산부(43) 및 가중값 계산부(45)에 공급한다. 또, 입력 신호의 입력이 개시된 직후에는 분산을 계산하는 데 필요한 수의 입력 신호의 샘플이 존재하지 않은 경우가 있지만 이 경우에는 예를 들면 디폴트 값이 입력 신뢰도 αx(t)로서 출력된다.
그 후, 단계 S32로 진행하고, 가중값 계산부(45)는 입력 신뢰도 계산부(42)로부터의 입력 신뢰도 αx(t)를 이용하여 수학식 6에 따라 가중값 w(t)를 구한다.
즉, 입력 신뢰도 계산부(42)로부터 가중값 계산부(45)에 대하여 입력 신뢰도 αx(t)가 공급되는 타이밍에서는 래치 회로(44)에서 출력 신뢰도 계산부(43)가 1 샘플 전에 출력한 출력 신뢰도 αy(t-1)가 래치되어 있고, 가중값 계산부(45)는 단계 S32에서 입력 신뢰도 계산부(12)로부터의 입력 신뢰도 αx(t)와 래치 회로(44)에 래치되어 있는 출력 신뢰도 αy(t-1)를 이용하여 수학식 6에 따라 가중값 w(t)를 구한다. 이 가중값 w(t)는 가중값 보정부(46)에 공급된다.
그 후, 단계 S33으로 진행하고, 가중값 보정부(46)는 파라미터 제어 데이터 메모리(57)로부터 파라미터 제어 데이터를 판독하여 단계 S34로 진행한다. 단계 S34에서는, 가중값 보정부(46)는 파라미터 제어 데이터 메모리(57)로부터 판독한 파라미터 제어 데이터가, 가중값 w(t)를 보정하지 않는 모드, 즉, 사용자에 의한 조작부(2)의 조작에 관계없이, 가중값 계산부(45)에서 입력 신뢰도와 출력 신뢰도로부터 말하자면 자동적으로 구해지는 가중값 w(t)를 그대로 입력 신호 x(t)를 보정하기 위한 가중값 W로서 이용하는 모드(이하, 적절하게 오토 모드라 함)를 나타내는 오토 모드 데이터로 되어 있는지 여부를 판정한다.
단계 S34에서, 파라미터 제어 데이터가 오토 모드 데이터가 아니라고 판정된 경우, 단계 S35로 진행하고, 가중값 보정부(46)는 가중값 계산부(45)로부터 공급되는 가중값 w(t)를 파라미터 제어 데이터 메모리(57)로부터 공급되는 파라미터 제어 데이터 a와 b에 의해 정의되는 수학식 13의 1차식에 따라 보정하여 단계 S36으로 진행한다. 단계 S36에서는, 가중값 보정부(46)가 보정후의 가중값을 선택부(41)에 공급하고 단계 S37로 진행한다. 여기서, 수학식 13에서, wi가, 가중값 계산부(45)로부터 공급되는 가중값 w(t)에 상당하고, Wi'가 보정 후의 가중값 W에 상당한다.
한편, 단계 S34에서 파라미터 제어 데이터가 오토 모드 데이터라고 판정된 경우, 단계 S35를 스킵하여 단계 S36으로 진행하고, 가중값 보정부(46)는 가중값 계산부(45)로부터의 가중값 w(t)를 그대로 선택부(41)에 공급하고 단계 S37로 진행한다.
단계 S37에서는 출력 신뢰도 계산부(43)는 출력 신뢰도를 갱신한다. 즉, 출력 신뢰도 계산부(43)는 직전 단계 S31에서 입력 신뢰도 계산부(42)가 계산한 입력 신뢰도 αx(t)와, 래치 회로(44)가 래치하고 있는 1 샘플 전의 출력 신뢰도 αy(t-1)를 수학식 5에 따라 가산함으로써 현재의 출력 신뢰도 αy(t)를 구하여 래치 회로(44)에 덮어쓰기하는 형태로 기억시킨다.
그리고, 단계 S38로 진행하고, 선택부(41)는 조작 신호 처리부(50)의 출력으로부터 조작부(2)가 사용자에 의해 조작되어 있는지 여부를 판정한다. 단계 S38에서, 조작부(2)가 조작되어 있지 않다고 판정된 경우, 단계 S39로 진행하고 선택부(41)는 가중값 보정부(46)로부터 공급된 가중값(이하, 적절하게 보정 가중값이라고 함)를 선택하여 보정부(21)에 출력하고, 단계 S31로 되돌아간다.
또한, 단계 S38에서 조작부(2)가 조작되어 있다고 판정된 경우, 단계 S40으로 진행하고 선택부(41)는 그 조작에 따라 조작 신호 처리부(50)가 출력하는 가중값을 선택하여 보정부(21)에 출력하고, 단계 S31로 되돌아간다.
따라서, 도 7의 보정 파라미터 연산 처리에서는, 조작부(2)가 조작되고 있지 않은 경우에는, 보정 가중값이 보정부(21)에 공급되고, 또한, 조작부(2)가 조작되어 있는 경우에는 그 조작 신호에 대응하는 가중값이 보정부(21)에 공급된다. 그 결과, 보정부(21)에서는 조작부(2)가 조작되어 있지 않은 경우에는, 보정 가중값에 의해 입력 신호가 보정되고, 조작부(2)가 조작되어 있는 경우에는 그 조작 신호에 대응하는 가중값에 의해 입력 신호가 보정된다.
또한, 도 7의 보정 파라미터 연산 처리에서는, 오토 모드의 경우에는 조작부(2)의 조작에 관계없이 입력 신뢰도와 출력 신뢰도만으로부터 보정 처리에 이용되는 가중값이 구해지고, 오토 모드가 아닌 경우에는 조작부(2)의 조작에 기초하는, 후술하는 도 8의 제어 데이터 학습 처리에 의한 학습에 의해 얻어지는 파라미터 제어 데이터를 이용하여 보정 처리에 이용되는 가중값이 구해진다.
다음에, 도 8의 흐름도를 참조하여 제어 데이터 학습 처리에 대하여 설명한다.
제어 데이터 학습 처리에서는, 우선 최초로, 단계 S41에서, 조작 신호 처리부(50)가 학습용 조작 신호를 조작부(2)로부터 수신했는지 여부를 판정하여 수신하지 않았다고 판정한 경우 단계 S41로 되돌아간다.
또한, 단계 S41에서, 조작부(2)로부터 학습용 조작 신호를 수신하였다고 판정된 경우, 즉, 예를 들면, 조작부(2)가 그 조작 개시 후, 제1 시간 t1 이상의 간격을 두지 않고, 제2 시간 t2 이상 연속하여 조작되고, 그 후, 제3 시간 t3 이상 연속하여 그 조작이 정지된 경우나 조작부(2)의 조작 개시 후, 제3 시간 t3 이상 연속하여 그 조작이 정지된 경우 등, 사용자가 원하는 출력 신호를 얻을 수 있도록 조작부(2)의 조작을 행했다고 판정할 수 있는 경우, 단계 S42로 진행하여 교사 데이터 생성부(52)가 교사 데이터를 생성함과 함께 학생 데이터 생성부(52)가 학생 데이터를 생성한다.
즉, 조작 신호 처리부(50)는 학습용 조작 신호를 수신한 경우, 그 학습용 조작 신호에 대응하는 가중값 W(예를 들면, 조작부(2)의 조작량이나, 조작부(2)로서의 손잡이나 레버 등의 위치에 대응한 가중값 W)를, 학습 플래그와 함께 교사 데이터 생성부(51) 및 학생 데이터 생성부(52)에 공급한다. 교사 데이터 생성부(51) 는, 학습 플래그가 부가된 가중값 W를 수신하면, 그 가중값 W를 교사 데이터로서 취득하여 학습용 데이터 메모리(53)에 공급한다. 또한, 학생 데이터 생성부(52)는 학습 플래그 부가 가중값을 수신하면 그 때의 입력 신호에 대응하는 가중값 w를 학생 데이터로서 구하여 학습용 데이터 메모리(53)에 공급한다.
여기서, 입력 신호에 대응하는 가중값 w란 수학식 6에 따라 입력 신뢰도와 출력 신뢰도로부터, 말하자면 자동적으로 구해지는 가중값을 의미하고, 상술한 바와 같이 학생 데이터 생성부(52)는 이 입력 신호에 대응하는 가중값 w를 입력 신호로부터 계산하고 있다.
학습용 데이터 메모리(53)는 교사 데이터 생성부(51)로부터 교사 데이터 W를 수신함과 함께 학생 데이터 생성부(52)로부터 학생 데이터 w를 수신하면 단계 S43에서 그 최신 교사 데이터 W와 학생 데이터 w의 세트를 기억하고, 단계 S44로 진행한다.
단계 S44에서는, 파라미터 제어 데이터 계산부(54)가 교사 데이터와 학생 데이터를 대상으로 하여 최소 제곱법에서의 덧셈 가산을 행한다.
즉, 파라미터 제어 데이터 계산부(54)는 수학식 20이나 21에서의 학생 데이터 wi와 교사 데이터 Wi와의 승산(wiWi)과 서메이션(Σwi Wi)에 상당하는 연산, 학생 데이터 wi의 서메이션(Σwi)에 상당하는 연산, 교사 데이터 Wi의 서메이션(ΣW i)에 상당하는 연산, 학생 데이터 wi끼리의 곱의 서메이션(Σwi 2)에 상당하는 연산을 행한다.
여기서, 예를 들면, 이제, 이미, N-1 세트의 교사 데이터와 학생 데이터가 얻어져 있고, 최신 교사 데이터와 학생 데이터로서 N 세트째의 교사 데이터와 학생 데이터가 얻어졌다고 하면, 그 시점에서는 파라미터 제어 데이터 계산부(54)에서, N-1 세트의 교사 데이터와 학생 데이터를 대상으로 한 가산이 이미 행해지고 있다. 따라서, N 세트째의 교사 데이터와 학생 데이터에 대해서는 이미 행해지고 있는 N-1 세트의 교사 데이터와 학생 데이터를 대상으로 한 가산 결과를 유지하고 있으면, 그 가산 결과에 N 세트째의 교사 데이터와 학생 데이터를 가산함으로써 최신 교사 데이터와 학생 데이터를 포함하는 N 세트의 교사 데이터와 학생 데이터의 가산 결과를 얻을 수 있다.
그래서, 파라미터 제어 데이터 계산부(54)는 전 회의 가산 결과를 학습 정보로 하여 학습 정보 메모리(55)에 기억시켜 두게 되어 있고, 이 학습 정보를 이용하여 N 세트째의 교사 데이터와 학생 데이터에 대한 가산을 행하게 되어 있다. 또, 가산에는 지금까지의 가산에 이용한 교사 데이터와 학생 데이터의 세트 수 N도 필요하며, 학습 정보 메모리(55)는 이 세트 수 N도 학습 정보로서 기억하도록 되어 있다.
파라미터 제어 데이터 계산부(54)는 단계 S44에서 가산을 행한 후, 그 가산 결과를 학습 정보로서 학습 정보 메모리(55)에 덮어쓰기하는 형태로 기억시키고 단계 S45로 진행한다.
단계 S45에서는 파라미터 제어 데이터 계산부(54)가 학습 정보 메모리(55)에 기억된 학습 정보로서의 가산 결과로부터 수학식 20 및 21에 의해 파라미터 제어 데이터 a 및 b를 구하는 것이 가능한지 여부를 판정한다.
즉, 교사 데이터와 학생 데이터의 세트를, 이하, 적절하게, 학습 쌍이라고 하면, 적어도, 2개의 학습 쌍으로부터 얻어진 학습 정보가 존재하지 않으면 수학식 20 및 21로부터 파라미터 제어 데이터 a 및 b를 얻을 수 없다. 그래서, 단계 S45에서는 학습 정보로부터 파라미터 제어 데이터 a 및 b를 구하는 것이 가능한지의 여부가 판정된다.
단계 S45에서, 파라미터 제어 데이터 a 및 b를 구하는 것이 가능하지 않다고 판정된 경우, 파라미터 제어 데이터 계산부(54)는 그 취지를 판정 제어부(56)에 공급하고 단계 S49로 진행한다. 단계 S49에서는 판정 제어부(56)는 파라미터 제어 데이터로서 오토 모드를 나타내는 오토 모드 데이터를 파라미터 제어 데이터 메모리(57)에 공급하여 기억시킨다. 그리고, 단계 S41로 되돌아가 이하 마찬가지의 처리가 반복된다.
따라서, 파라미터 제어 데이터 a 및 b를 구할 수 있는 만큼의 학습 정보가 존재하지 않은 경우에는 도 7에서 설명한 바와 같이 입력 신뢰도와 출력 신뢰도로부터 자동적으로 구해지는 가중값 w(t)가 그대로 입력 신호 x(t)의 보정에 이용되어진다.
한편, 단계 S45에서, 파라미터 제어 데이터 a 및 b를 구하는 것이 가능하다고 판정된 경우 단계 S46으로 진행하고, 파라미터 제어 데이터 계산부(54)는 학습 정보를 이용하여 수학식 20 및 21을 계산함으로써 파라미터 제어 데이터 a 및 b를 구하여 판정 제어부(56)에 공급하고, 단계 S47로 진행한다.
단계 S47에서는, 판정 제어부(56)는 파라미터 제어 데이터 계산부(54)로부터의 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식에 따라 학습용 데이터 메모리(53)에 기억된 각 학생 데이터로부터 대응하는 교사 데이터의 예측값을 구하고 그 예측값의 예측 오차(학습용 데이터 메모리(53)에 기억되어 있는 교사 데이터에 대한 오차)의 수학식 15로 나타내는 제곱 오차의 총합을 구한다. 또한, 판정 제어부(56)는 그 제곱 오차의 총합을 예를 들면 학습용 데이터 메모리(53)에 기억되어 있는 학습 쌍의 수로 제산한 정규화 오차를 구하고 단계 S48로 진행한다.
단계 S48에서는 판정 제어부(56)는 정규화 오차가 소정의 임계값 S1보다 큰(이상)지의 여부를 판정한다. 단계 S48에서, 정규화 오차가 소정의 임계값 S1보다 크다고 판정된 경우, 즉, 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하지 않은 경우, 단계 S49로 진행하고, 판정 제어부(56)는 상술한 바와 같이, 파라미터 제어 데이터로서 오토 모드를 나타내는 오토 모드 데이터를 파라미터 제어 데이터 메모리(57)에 공급하여 기억시킨다. 그리고, 단계 S41로 되돌아가 이하 마찬가지의 처리가 반복된다.
따라서, 파라미터 제어 데이터 a 및 b를 구할 수 있더라도, 그 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하지 않은 경우에는 파라미터 제어 데이터 a 및 b를 구할 수 있는 만큼의 학습 정보가 존재하지 않은 경우와 마찬가지로, 입력 신뢰도와 출력 신뢰도로부터 자동적으로 구해지는 가중값 w(t)가 그대로 입력 신호 x(t)의 보정에 이용되게 된다.
한편, 단계 S48에서, 정규화 오차가 소정의 임계값 S1보다 크지 않다고 판정된 경우, 즉, 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하고 있는 경우, 단계 S50으로 진행하여, 판정 제어부(56)는 파라미터 제어 데이터 계산부(54)로부터의 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식으로 나타내는 회귀 직선과 학습용 데이터 메모리(53)에 기억된 최신 교사 데이터 및 학생 데이터로 규정되는 점 사이의 오차(거리) ε를 구한다.
그리고, 단계 S51로 진행하여, 판정 제어부(56)는 오차 ε의 크기가 소정의 임계값 S2보다 큰(이상)지의 여부를 판정하고, 크지 않다고 판정한 경우, 단계 S52를 스킵하여 단계 S53으로 진행하고, 판정 제어부(56)는 단계 S46에서 구해진 파라미터 제어 데이터 a 및 b를 파라미터 제어부 데이터 메모리(37)에 출력한다. 파라미터 제어 데이터 메모리(57)는 판정 제어부(56)로부터의 파라미터 제어 데이터 a 및 b를 덮어쓰기하는 형태로 기억하고, 단계 S41로 되돌아간다.
한편, 단계 S51에서, 오차 ε의 크기가 소정의 임계값 S2보다 크다고 판정된 경우, 단계 S52로 진행하여 판정 제어부(56)는 파라미터 제어 데이터 계산부(54)를 제어함으로써 학습용 데이터 메모리(53)에 기억된 최근의 교사 데이터와 학생 데이터로서의 최신 학습 쌍으로부터 소정 수의 과거의 학습 쌍만을 이용하여(학습 정보 메모리(55)의 학습 정보를 이용하지 않고), 파라미터 제어 데이터 a 및 b를 재계산 시킨다. 그리고, 단계 S53으로 진행하여 판정 제어부(56)는 단계 S52에서 구해진 파라미터 제어 데이터 a 및 b를 파라미터 제어부 데이터 메모리(37)에 출력하여 덮어쓰기하는 형태로 기억시키고 단계 S41로 되돌아간다.
따라서, 파라미터 제어 데이터 a 및 b를 구할 수 있고, 또한, 그 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하고 있는 경우에는, 사용자에 의한 조작부(2)의 조작에 기초하여 얻어지는 학습쌍을 이용하여 학습이 행해짐으로써 구해진 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13에 따라 입력 신뢰도와 출력 신뢰도로부터 구해지는 가중값 w(t)가 보정되어 그 보정에 의해 얻어지는 보정 가중값 W가 입력 신호 x(t)의 보정에 이용되어진다.
여기서, 단계 S46에서 구해진 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식으로 나타내는 회귀 직선은 도 9A에 도시한 바와 같이 N 세트의 교사 데이터와 학생 데이터에 의해 규정되는 N개의 점과의 제곱 오차(의 총합)을 최소로 하는 직선이지만, 단계 S50에서는 이 직선과 최신 교사 데이터 및 학생 데이터로 규정되는 점 사이의 오차 ε가 구해진다.
그리고, 이 오차 ε의 크기가 임계값 S2보다 크지 않은 경우에는 단계 S46에서 구해진 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식으로 나타내는 회귀 직선은 최신 교사 데이터와 학생 데이터로 규정되는 점도 포함시켜 지금까지 주어진 교사 데이터와 학생 데이터로 규정되는 점의 어느 것도 비교적 높 은 정밀도로 근사하고 있다고 생각된다.
그러나, 오차 ε의 크기가 임계값 S2보다 큰 경우에는, 즉, 최신 교사 데이터와 학생 데이터로 규정되는 점(도 9B에서 ○으로 표시함)이, 도 9B에 도시한 바와 같이, 단계 S46에서 구해진 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식으로 나타내는 회귀 직선으로부터 크게 떨어져 있는 경우에는, 어떠한 원인으로 사용자가 지금까지와는 다른 경향의 조작부(2)의 조작을 행했다고 생각할 수 있다.
그래서, 이 경우, 판정 제어부(56)는 파라미터 제어 데이터 계산부(54)를 제어함으로써 단계 S52에서 학습용 데이터 메모리(53)에 기억된 학습 쌍 중 최근 학습 쌍의 몇 개만을 이용하여 파라미터 제어 데이터 a 및 b를 재계산시킨다.
즉, 이 경우, 파라미터 제어 데이터 계산부(54)는 학습 정보 메모리(55)에 기억된 과거의 가산 결과로서의 학습 정보를 이용하지 않고(망각하여), 최근 몇개의 교사 데이터와 학생 데이터의 세트만을 이용하여 이들 교사 데이터와 학생 데이터에 의해 규정되는 점의 집합을 가장 양호하게 근사하는 수학식 13의 직선을 정의하는 파라미터 제어 데이터 a 및 b를 재계산한다.
구체적으로는, 파라미터 제어 데이터 계산부(54)는 예를 들면, 도 9C에 도시한 바와 같이, 최신 교사 데이터와 학생 데이터에 의해 규정되는 점(도 9C에서 ○으로 표시함)와, 그 1회 전에 주어진 교사 데이터와 학생 데이터에 의해 규정되는 점(도 9C에서 표로 나타낸다)를 통하는 직선을 정의하는 파라미터 제어 데이터 a' 및 b'을 구한다.
이상과 같이, 사용자의 조작에 따라 공급되는 조작 신호가 학습에 이용할 수 있는지 여부를 판정하고, 학습에 이용할 수 있는 학습용 조작 신호인 경우에는, 그 학습용 조작 신호에 기초하여 입력 신호를 보정하는 가중값을 보정하는 파라미터 제어 데이터 a 및 b를 학습하도록 하였기 때문에, 사용자의 조작을 사용자가 모르는 동안에 학습할 수 있고, 그 결과, 그 학습 결과에 기초하여 사용자에 있어 서서히 적절한 처리가 행해지게 되어 최종적으로는 사용자로 하여금 최적의 처리가 행해지게 된다.
이것은, 사용자측에서 보면, 사용자가 조작부(2)를 통상 조작하고 있으면, 그 동안에 조작을 행하지 않더라도 각종 입력 신호에 대하여 사용자에 있어 최적의 노이즈 제거 결과가 얻어짐을 의미하며, 따라서, 장치가 말하자면 손에 익숙해지는 것을 의미한다. 그리고, 이 손에 익숙해지는 단계에서는 사용자가 원하는 출력 신호를 얻을 수 있도록 조작부(2)의 조작을 행하기 때문에 사용자에게 있어서는 조작부(2)의 조작과 입력 신호의 보정에 이용되는 가중값 W와의 관계가 서서히 명확하게 인식되어 가게 되어 최종적으로는 사용자에 의한 조작부(2)의 조작과 입력 신호의 보정에 이용되는 가중값 W가 정성적으로 관계지어지게 된다.
또한, 도 4의 NR 회로에서는, 사용자에 의한 조작부(2)의 조작에 따라 보정부(21)에서 행해지는 보정 처리(도 6)에서 이용되는 가중값 W가 사용자에 있어 원하는 출력 신호가 얻어지도록 변경된다. 즉, 사용자가 조작부(2)를 조작하면 조작 신호 처리부(50)는 그 조작에 대응한 조작 신호가 나타내는 가중값을 출력하고, 선택부(41)는 그 가중값을 선택하여 보정부(21)에 공급한다. 이 경우, 보정부(21)에 서는 사용자의 조작에 대응한 가중값을 이용하여 수학식 8로 나타내는 보정 처리가 행해진다. 그리고, 사용자의 조작에 의해 수학식 8의 가중값 w(t)가 변경될 경우에는, 당연히, 수학식 8로 나타내는 처리(보정 처리)의 내용도 변경하게 되므로, 도 4의 NR 회로에서는 사용자의 조작에 따라 그「처리 내용」이 사용자에 있어 원하는 출력 신호가 얻어지도록 변경되어 있다고 할 수 있다.
또한, 도 4의 NR 회로에서는 파라미터 제어 데이터 a 및 b를 구할 수 없는 경우나, 구할 수 있더라도 그 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하지 않은 경우에는, 입력 신뢰도와 출력 신뢰도로부터 자동적으로 구해지는 가중값이 보정부(21)에서의 보정 처리에 이용된다. 한편, 파라미터 제어 데이터 a 및 b를 구할 수 있고, 또한, 그 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하고 있는 경우에는, 사용자에 의한 조작부(2)의 조작에 기초하여 얻어지는 학습 쌍을 이용하여 학습이 행해짐으로써 구해진 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13에 따라 입력 신뢰도와 출력 신뢰도로부터 구해지는 가중값이 보정되고, 그 보정에 의해 얻어지는 보정 가중값이 보정부(21)에 의한 보정 처리에 이용된다.
즉, 도 4의 NR 회로에서는 사용자로부터 충분한 수의 학습 쌍이 입력되어 있지 않은 경우나, 정밀도가 높은 근사가 가능한 학습 쌍이 입력되어 있지 않은 경우에는, 입력 신뢰도와 출력 신뢰도로부터 자동적으로 구해지는 가중값이 보정부(21) 에서의 보정 처리에 이용되고, 사용자로부터 정밀도가 높은 근사가 가능한 학습 쌍이 입력된 경우에는, 그 학습 쌍을 이용하여 학습이 행해짐으로써 구해진 파라미터 제어 데이터 a 및 b에 의해 구해지는 보정 가중값이 보정부(21)에서의 보정 처리에 이용된다.
따라서, 충분한 수의 학습 쌍이나, 정밀도가 높은 근사가 가능한 학습 쌍이 얻어지고 있지 않은 경우와 정밀도가 높은 근사가 가능한 학습 쌍이 얻어진 경우에서는, 역시 수학식 8의 가중값 w(t)가 변화하고, 그 결과, 그 수학식 8로 나타내는 보정 처리 내용도 변경하게 되므로, 이러한 관점으로부터도 도 4의 NR 회로에서는 사용자의 조작에 따라 그「처리 내용」이 사용자에 있어 원하는 출력 신호가 얻어지도록 변경되어 있다고 할 수 있다.
또한, 도 4의 NR 회로에서는, 충분한 수의 학습 쌍이나 정밀도가 높은 근사가 가능한 학습 쌍이 얻어지고 있지 않은 경우와, 정밀도가 높은 근사가 가능한 학습 쌍이 얻어진 경우에서, 보정 처리에 이용되는 가중값을 산출하는 체계가 변화한다.
즉, 충분한 수의 학습 쌍이나, 정밀도가 높은 근사가 가능한 학습 쌍이 얻어지고 있지 않은 경우에는, 사용자의 조작에 관계없이 입력 신뢰도와 출력 신뢰도로부터 가중값이 구해진다. 한편, 정밀도가 높은 근사가 가능한 학습 쌍이 얻어진 경우에는 사용자의 조작에 기초하여 얻어진 학습 쌍을 이용한 학습에 의해 구해진 파라미터 제어 데이터에 기초하여 가중값이 구해진다.
따라서, 이 경우, 사용자의 조작에 따라 가중값을 산출하는 처리 체계, 즉, 가중값이 구해진 방법의 알고리즘이 사용자에 있어 원하는 출력 신호가 얻어지도록 변경되어 있다고 할 수 있다.
여기서, 가중값을 구하는 처리를, 함수 F로 나타내면, 상술한 「처리 내용」의 변경이라고 하는 것은, 함수 F가 변경되는 것에 상당한다. 그리고, 함수 F가 변경되는 경우로서는, 크게 나눠 함수 F 그것 자체의 형태가 변하는 경우(예를 들면, F=x로부터 F=x2로 변하는 경우 등)과, 함수 F 그 자체의 형태는 변하지 않지만 함수 F를 정의하는 계수가 변하는 경우(예를 들면, F=2x로부터 F=3x로 변하는 경우 등)가 있다.
이제, 「처리 내용」의 변경 중, 그 처리를 나타내는 함수 F 그 자체의 형태가 변하는 경우를, 「처리 구조」의 변경이라고 하면, 상술한 바와 같이, 가중값을 산출하는 처리 체계, 즉, 가중값을 구한 방법의 알고리즘이 변하는 것은, 「처리 구조」의 변경이라 할 수 있다.
따라서, 도 4의 NR 회로에서는 사용자의 조작에 따라, 그 「처리 내용」도, 나아가서는, 그 「처리 구조」도 변경되고, 이에 따라 사용자에 있어 원하는 출력 신호가 얻어지게 되어 있다.
또, 입력 신호로서는 화상 신호나 음성 신호는 물론 그 밖의 신호를 이용하는 것이 가능하다. 단지, 입력 신호가 화상 신호인 경우에는 입력 신뢰도는 처리하고자 하고 있는 화소에 대하여 공간적 또는 시간적으로 가까운 위치에 있는 복수의 화소로부터 구해지는 분산에 기초하여 계산하게 된다.
또한, 상술의 경우에는, 설명을 간단히 하기 위해서, 학습부(22)에서 입력 신뢰도 등으로부터 구해지는 가중값 w를 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식에 의해, 보정 가중값 W로 보정하도록 하였지만, 가중값 w의 보정은 실제로는 보다 고차 식에 의해 행하는 것이 바람직하다. 또한, 그 고차 식의 차수는 예를 들면, 최적화 장치가 적용되는 어플리케이션 등에 기초하여 적절한 값으로 설정하는 것이 바람직하다.
또한, 가중값 w에서 보정 가중값 W를 구하는 식 (이하, 적절하게, 보정 가중값 산출식이라 함)으로서는, 수학식 13의 1차식 W=aw+b 외에, 예를 들면, 2차식 W=aw2+bw+c이나, 3차식 W=aw3+bw2+cw+d 등의 복수를 준비해 두고(a, b, c, d는 소정의 계수), 그 복수의 보정 가중값 산출식 중 정규화 오차가 최소로 되는 것을 채용하도록 하는 것이 가능하다. 또, 이 경우, 사용자의 조작에 의해 얻어지는 학습 쌍으로부터 구해지는 정규화 오차가 최소로 되는 보정 가중값 산출식이 선택되고 그 선택된 보정 가중값 산출식에 의해 보정 가중값이 구해지게 된다. 즉, 사용자의 조작에 따라 보정 가중값을 구하는 방법의 알고리즘이 변경되어진다. 따라서, 이 경우도, 사용자의 조작에 따라, 「처리 구조」가 변경되어 있다고 할 수 있다.
다음에, 도 10은 도 4의 최적화 장치(1)의 처리부(11)를, NR 회로에 적용한 경우의 다른 상세 구성예를 나타내고 있다. 또, 도면 중에서, 도 4에서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고 이하에서는 그 설명은 적절하게 생략한다. 즉, 도 10의 NR 회로는 가중값 보정부(46)가 설치되지 않고, 입력 신뢰 도 계산부(42)와 학생 데이터 생성부(52)를 대신하여 입력 신뢰도 계산부(61)와 학생 데이터 생성부(62)가 각각 설치되어 있는 외에는 기본적으로 도 4에서의 경우와 마찬가지로 구성되어 있다.
입력 신뢰도 계산부(61)는 입력 신호의 입력 신뢰도를 입력 신호의 복수의 샘플과, 파라미터 제어 데이터 메모리(57)에 기억된 파라미터 제어 데이터로부터 계산하여 출력 신뢰도 계산부(43)와 가중값 계산부(45)에 공급한다.
학생 데이터 생성부(62)는 입력 신호와, 출력 신뢰도 계산부(43)가 출력하는 출력 신뢰도를 학생 데이터로서 취득하여 학습용 데이터 메모리(53)에 공급한다.
또, 도 10의 실시예에서는, 가중값 보정부(46)가 설치되어 있지 않기 때문에 가중값 계산부(45)에서 구해진 가중값이 그대로 선택부(41)에 공급되도록 되어 있고, 선택부(41)는 이 가중값 계산부(45)가 출력하는 가중값과, 조작 신호 처리부(50)가 출력하는 가중값 중 어느 한쪽을 도 4에서의 경우와 마찬가지로 선택하여 출력하도록 되어 있다.
또한, 도 10의 실시예에서는 파라미터 제어 데이터는 입력 신뢰도를 제어하는 데이터로서 기능한다.
도 10의 NR 회로에서도, 도 4의 NR 회로와 마찬가지로, 보정 처리, 보정 파라미터 연산 처리, 및 제어 데이터 학습 처리가 행해진다. 또, 보정 처리로서는, 도 6에서 설명한 처리와 마찬가지의 처리가 행해지기 때문에, 도 10의 NR 회로에 대해서는 보정 처리 설명은 생략하고 보정 파라미터 연산 처리 및 제어 데이터 학습 처리에 대하여 설명한다.
즉, 도 10의 NR 회로에서는 보정 처리에서 이용되는 수학식 6에 나타낸 가중값을 규정하는 입력 신뢰도 αx(t)가 예를 들면, 다음 식으로 정의되는 것으로 하여 보정 파라미터 연산 처리 및 제어 데이터 학습 처리가 행해진다.
Figure 112002034151099-pct00022
단, 수학식 22에서, a1, a2, …, aN은, 파라미터 제어 데이터이고, x1 , x2, …, xN은, 이제 처리를 실시하고자 하는 입력 신호의 샘플(주목 샘플)과 소정의 관계에 있는 입력 신호의 샘플이다. 여기서, 입력 신호가 예를 들면, 화상 신호인 경우에는, x1, x2, …, xN으로서는, 예를 들면, 주목 샘플로서의 화소(도 11에서 ×로 표시함)와, 그 화소로부터 공간적 또는 시간적으로 가까운 위치에 있는 화소(도 11에 ○으로 표시함)를 이용할 수 있다.
수학식 22로부터 수학식 6에서 주어지는 가중값 w(t)는 수학식 23에 도시한 바와 같이 나타낼 수 있다.
Figure 112002034151099-pct00023
따라서, 입력 신호 x1, x2, …, xN이 입력된 경우에, 사용자로부터 주어진 가 중값 W를 얻기 위해서는, 수학식 23으로부터 다음식을 만족하도록 파라미터 제어 데이터 a1, a2, …, aN을 구하면 된다.
Figure 112002034151099-pct00024
따라서, 수학식 24를 변형하면 수학식 25를 얻을 수 있다.
Figure 112002034151099-pct00025
수학식 25을 항상 만족하는 파라미터 제어 데이터 a1, a2, …, aN를 구하는 것은, 일반적으로 곤란하기 때문에, 여기서는, 예를 들면, 수학식 25의 좌변과 우변의 제곱 오차의 총합이 최소로 되는 파라미터 제어 데이터 a1, a2, …, aN을 최소 제곱법에 의해 구하는 것을 생각할 수 있다.
여기서, 수학식 25의 좌변과 우변의 제곱 오차의 총합을 최소로 한다는 것은, 수학식 23에 의해 주어지는 가중값 w(t)와, 사용자에 의해 주어지는 가중값 W와의 제곱 오차를 최소로 하는 것, 즉, 사용자에 의해서 주어지는 가중값 W를 교사 데이터로 함과 함께, 수학식 23의 가중값 w(t)를 정의하는 입력 신호 x1, x2, …, xN, 및 출력 신뢰도 αy(t-1)를 학생 데이터로 하여, 그 학생 데이터로부터 수학식 23에 의해 계산되는 가중값 w(t)와, 사용자에 의해 주어지는 교사 데이터로서의 가중 값 W와의 제곱 오차를 최소로 하는 것과 등가이고, 그와 같은 파라미터 제어 데이터 a1, a2, …, aN과, 학생 데이터로부터 수학식 23에 의해 계산되는 가중값 w(t)는 교사 데이터 W와의 오차가 작은 것이 된다.
수학식 25의 좌변과 우변의 제곱 오차 e2는, 수학식 26으로 주어진다.
Figure 112002034151099-pct00026
제곱 오차 e2를 최소로 하는 파라미터 제어 데이터 a1, a2, …, aN 은, 수학식 26의 제곱 오차 e2를 a1, a2, …, aN 각각으로 편미분한 것이 O이 된다는 조건, 즉, 다음 식에 의해 주어진다.
Figure 112002034151099-pct00027
수학식 27에, 수학식 26을 대입하여 계산하면 수학식 28이 얻어진다.
Figure 112002034151099-pct00028
따라서, 행렬 X, A, Y 각각을 수학식 29에 도시한 바와 같이 정의하면, 이들 행렬 X, A, Y에는, 수학식 28로부터 수학식 30의 관계가 성립한다.
Figure 112002034151099-pct00029
Figure 112002034151099-pct00030
단, 수학식 29에서의 서메이션(Σ)는 입력 신호 x1 내지 xN과, 그 입력 신호 x1 내지 xN가 입력되었을 때에 사용자로부터 주어진 가중값 W와의 세트 수에 대한 서메이션을 의미한다.
수학식 30은, 예를 들면, 콜레스키법 등에 따라, 행렬(벡터) A, 즉, 파라미터 제어 데이터 a1, a2, …, aN에 대하여 풀 수 있다.
도 10의 NR 회로는, 이상과 같이, 사용자에 의해 주어지는 가중값 W를 교사 데이터로 함과 동시에 수학식 23의 가중값 w(t)를 정의하는 입력 신호 x1, x2, …, xN, 및 출력 신뢰도 αy(t-1)를 학생 데이터로 하여, 그 학생 데이터로부터 수학식 23 에 의해 계산되는 가중값 w(t)와, 사용자에 의해 주어지는 교사 데이터로서의 가중값 W와의 제곱 오차를 최소로 하는 파라미터 제어 데이터 a1, a2, …, aN을, 최소 제곱법에 의해 학습하는 제어 데이터 학습 처리를 행한다. 또한, 도 10의 NR 회로는 그 파라미터 제어 데이터 a1 내지 aN으로 정의되는 수학식 22로부터 입력 신뢰도 αx(t)를 구하고, 다시, 그 입력 신뢰도 αx(t)와 출력 신뢰도 αy(t-1)로부터, 수학식 23에 따라 보정 파라미터로서의 가중값을 구하는 보정 파라미터 연산 처리를 행한다.
따라서, 도 12의 흐름도를 참조하여, 도 10의 NR 회로에 의한 보정 파라미터 연산 처리에 대하여 설명한다.
보정 파라미터 연산 처리에서는, 우선 최초로, 단계 S61에서, 입력 신뢰도 계산부(61)가 파라미터 제어 데이터 메모리(57)로부터 파라미터 제어 데이터를 판독하고, 단계 S62로 진행한다. 단계 S62에서는 입력 신뢰도 계산부(61)는 파라미터 제어 데이터 메모리(57)로부터 판독한 파라미터 제어 데이터가 입력 신뢰도를 파라미터 제어 데이터를 이용하지 않고 구하는 모드, 즉, 사용자에 의한 조작부(2)의 조작에 관계없이 입력 신뢰도를 입력 신호만으로부터, 말하자면 자동적으로 구하는 모드(이 모드도, 이하/적절하게 오토 모드라 함)를 나타내는 오토 모드 데이터로 되어있는지 여부를 판정한다.
단계 S62에서, 파라미터 제어 데이터가 오토 모드 데이터가 아니라고 판정된 경우, 단계 S63으로 진행하여, 입력 신뢰도 계산부(61)는 파라미터 제어 데이터 메 모리(57)로부터 판독한 파라미터 제어 데이터 a1 내지 aN에 의해 정의되는 수학식 22의 1차식에 따라, 거기에 공급되는 최신 N개의 입력 신호의 샘플 x1 내지 xN을 이용하여 구하여, 출력 신뢰도 계산부(43) 및 가중값 계산부(45)에 공급하고 단계 S65로 진행한다.
또한, 단계 S62에서, 파라미터 제어 데이터가 오토 모드 데이터라고 판정된 경우, 단계 S64로 진행하여, 입력 신뢰도 계산부(61)는 예를 들면, 도 7의 단계 S31에서의 경우와 마찬가지로 입력 신호만을 이용하여 그 분산에 기초하는 입력 신뢰도 αx(t)를 구하여 출력 신뢰도 계산부(43) 및 가중값 계산부(45)에 공급한다.
그리고, 단계 S65에서는, 가중값 계산부(45)는 입력 신뢰도 계산부(61)로부터의 입력 신뢰도 αx(t)와 래치 회로(44)에서 래치된 출력 신뢰도 계산부(43)가 1 샘플 전에 출력한 출력 신뢰도 αy(t-1)를 이용하여, 수학식 23에 따라 가중값 w(t)를 구한다. 이 가중값 w(t)는 가중값 계산부(45)로부터 선택부(41)에 공급된다.
그 후, 단계 S66으로 진행하여, 출력 신뢰도 계산부(43)는 도 7의 단계 S37에서의 경우와 마찬가지로, 입력 신뢰도 계산부(61)로부터 공급된 입력 신뢰도 αx(t)와, 래치 회로(44)가 래치하고 있는 1 샘플 전의 출력 신뢰도 αy(t-1)를 수학식 5에 따라 가산함으로써 출력 신뢰도 αy(t)를 갱신하여 래치 회로(44)에 덮어쓰기하는 형태로 기억시킨다.
그리고, 단계 S67로 진행하여, 선택부(41)는 조작 신호 처리부(50)의 출력으 로부터 조작부(2)가 사용자에 의해 조작되어 있는지 여부를 판정한다. 단계 S67에서, 조작부(2)가 조작되어 있지 않다고 판정된 경우, 단계 S68로 진행하고, 선택부(41)는 가중값 계산부(45)로부터 공급된 가중값을 선택하여 보정부(21)에 출력하고 단계 S61로 되돌아간다.
또한, 단계 S67에서, 조작부(2)가 조작되어 있다고 판정된 경우, 단계 S69로 진행하고, 선택부(41)는 그 조작에 따라 조작 신호 처리부(50)가 출력하는 가중값을 선택하여 보정부(21)에 출력하고 단계 S61로 되돌아간다.
따라서, 도 12의 보정 파라미터 연산 처리에서는 조작부(2)가 조작되어 있지 않은 경우에는, 입력 신뢰도에 기초하여 산출된 가중값이 보정부(21)에 공급되고, 또한, 조작부(2)가 조작되어 있는 경우에는 그 조작 신호에 대응하는 가중값이 보정부(21)에 공급된다. 그 결과, 보정부(21)에서는 조작부(2)가 조작되어 있지 않은 경우에는, 입력 신뢰도에 기초하는 가중값에 의해 입력 신호가 보정되고, 조작부(2)가 조작되어 있는 경우에는 그 조작 신호에 대응하는 가중값에 의해 입력 신호가 보정된다.
또한, 도 12의 보정 파라미터 연산 처리에서는 오토 모드의 경우에는, 조작부(2)의 조작에 관계없이 입력 신호의 분산에 기초하는 입력 신뢰도로부터 보정 처리에 이용되는 가중값이 구해지고, 오토 모드가 아닌 경우에는, 조작부(2)의 조작에 기초하여 후술하는 도 13의 제어 데이터 학습 처리에 의한 학습에 의해 얻어지는 파라미터 제어 데이터를 이용하여 구해지는 입력 신뢰도로부터 보정 처리에 이용되는 가중값이 구해진다.
다음에, 도 13의 흐름도를 참조하여 도 10의 NR 회로가 행하는 제어 데이터 학습 처리를 설명한다.
제어 데이터 학습 처리에서는, 우선 최초로, 단계 S71에서 도 8의 단계 S41에서의 경우와 마찬가지로, 조작 신호 처리부(50)가 학습용 조작 신호를 조작부(2)로부터 수신했는지 여부를 판정하고, 수신하지 않았다고 판정한 경우 단계 S71로 되돌아간다.
또한, 단계 S71에서 조작부(2)로부터 학습용 조작 신호를 수신하였다고 판정된 경우, 즉, 예를 들면 조작부(2)가 그 조작 개시 후 제1 시간 t1 이상의 간격을 두지 않고 제2 시간 t2 이상 연속하여 조작되고, 그 후, 제3 시간 t3 이상 연속하여 그 조작이 정지된 경우나 조작부(2)의 조작 개시 후, 제3 시간 t3 이상 연속하여 그 조작이 정지된 경우 등, 사용자가 원하는 출력 신호를 얻을 수 있도록 조작부(2)의 조작을 행했다고 판정할 수 있는 경우, 단계 S72로 진행하여 교사 데이터 생성부(51)가 교사 데이터를 생성함과 동시에 학생 데이터 생성부(62)가 학생 데이터를 생성한다.
즉, 조작 신호 처리부(50)는 학습용 조작 신호를 수신한 경우, 그 학습용 조작 신호에 대응하는 가중값 W를 학습 플래그와 함께 교사 데이터 생성부(51) 및 학생 데이터 생성부(62)에 공급한다. 교사 데이터 생성부(51)는 학습 플래그가 부가된 가중값 W를 수신하면, 그 가중값 W를 교사 데이터로서 취득하여 학습용 데이터 메모리(53)에 공급한다.
한편, 학생 데이터 생성부(62)는 입력 신호를 버퍼링하는 버퍼(도시하지 않 음)을 내장하고 있고, 입력 신호를 그 버퍼에 그 기억 용량분만큼 항상 기억하고 있고, 학습 플래그가 부가된 가중값을 수신하면, 그 때에 입력된 입력 신호의 샘플과 소정의 위치 관계에 있는 입력 신호의 샘플 x1 내지 xN를, 그 내장한 버퍼로부터 판독한다. 또한, 학생 데이터 생성부(62)는 출력 신뢰도 계산부(43)로부터 출력 신뢰도 αy(t-1)를 판독한다. 그리고, 학생 데이터 생성부(62)는 이들 입력 신호의 샘플 x1 내지 xN와, 출력 신뢰도 αy(t-1)를 학생 데이터로서 학습용 데이터 메모리(53)에 공급한다.
학습용 데이터 메모리(53)는 교사 데이터 생성부(51)로부터 교사 데이터 W를 수신함과 함께, 학생 데이터 생성부(62)로부터 학생 데이터 x1 내지 xN 및 αy(t-1)을 수신하면, 단계 S73에서, 그 최신 교사 데이터 W와 학생 데이터 x1 내지 xN 및 αy(t-1)의 세트(학습 쌍)를 기억하고, 단계 S74로 진행한다.
단계 S74에서는 파라미터 제어 데이터 계산부(54)가 교사 데이터와 학생 데이터를 대상으로 하여 최소 제곱법에서의 가산을 행한다.
즉, 파라미터 제어 데이터 계산부(54)는 수학식 29에서의 행렬 X와 Y의 요소로 되어 있는 학생 데이터끼리의 곱, 및 학생 데이터와 교사 데이터의 곱, 및 이들의 서메이션에 상당하는 연산을 행한다.
또, 단계 S74에서의 가산은, 도 8의 단계 S44에서의 경우와 마찬가지로 행해진다. 즉, 학습 정보 메모리(55)에는 전 회의 가산 결과가 학습 정보로서 기억되 어 있고, 파라미터 제어 데이터 계산부(54)는 이 학습 정보를 이용하여 최신 교사 데이터와 학생 데이터에 대한 가산을 행한다.
파라미터 제어 데이터 계산부(54)는 단계 S74에서 가산을 행한 후, 그 가산 결과를 학습 정보로서 학습 정보 메모리(55)에 덮어쓰기하는 형태로 기억시키고, 단계 S75에 진행하여 파라미터 제어 데이터 계산부(54)가 학습 정보 메모리(55)에 기억된 학습 정보로서의 가산 결과로부터 수학식 30을 행렬 A에 대하여 푸는 것이 가능한지의 여부, 즉, 파라미터 제어 데이터 a1 내지 aN을 구하는 것이 가능한지의 여부를 판정한다.
즉, 수학식 30은 소정 수 이상의 학습 쌍으로부터 얻어진 학습 정보가 존재하지 않으면, 행렬 A에 대하여 풀 수 없어 그 요소로 되어있는 파라미터 제어 데이터 a1 내지 aN을 구할 수 없다. 그래서, 단계 S75에서는, 학습 정보로부터 파라미터 제어 데이터 a1 내지 aN을 구하는 것이 가능한지의 여부가 판정된다.
단계 S75에서, 파라미터 제어 데이터 a1 내지 aN를 구하는 것이 가능하지 않다고 판정된 경우, 파라미터 제어 데이터 계산부(54)는 그 취지를 판정 제어부(56)에 공급하고 단계 S79로 진행한다. 단계 S79에서는 판정 제어부(56)는 파라미터 제어 데이터로서 오토 모드를 나타내는 오토 모드 데이터를 파라미터 제어 데이터 메모리(57)에 공급하여 기억시킨다. 그리고, 단계 S71로 되돌아가 이하 마찬가지의 처리가 반복된다.
따라서, 파라미터 제어 데이터 a1 내지 aN을 구할 수 있는 만큼의 학습 정보가 존재하지 않은 경우에는, 도 12에서 설명한 바와 같이, 입력 신호의 분산에 기초하는 입력 신뢰도로부터 구해지는 가중값이 입력 신호 x(t)의 보정에 이용되어진다.
한편, 단계 S75에서, 파라미터 제어 데이터를 구하는 것이 가능하다고 판정된 경우, 단계 S76으로 진행하여 파라미터 제어 데이터 계산부(54)는 학습 정보를 이용하여 수학식 30을 행렬 A에 대하여 풀음으로써 그 요소로 되어 있는 파라미터 제어 데이터 a1 내지 aN을 구하여 판정 제어부(56)에 공급하고 단계 S77로 진행한다.
단계 S77에서는, 판정 제어부(56)는 파라미터 제어 데이터 계산부(54)로부터의 파라미터 제어 데이터 a1 내지 aN에 의해 정의되는 수학식 23에 따라 학습용 데이터 메모리(53)에 기억된 각 학생 데이터로부터 대응하는 교사 데이터의 예측값을 구하고, 그 예측값의 예측 오차(학습용 데이터 메모리(53)에 기억되어 있는 교사 데이터에 대한 오차)의 수학식 26으로 나타내는 제곱 오차의 총합을 구한다. 또한, 판정 제어부(56)는 그 제곱 오차의 총합을 예를 들면 학습용 데이터 메모리(53)에 기억되어 있는 학습 쌍의 수로 제산한 정규화 오차를 구하고 단계 S78로 진행한다.
단계 S78에서는 판정 제어부(56)는 정규화 오차가 소정의 임계값 S1보다 큰지의 여부를 판정한다. 단계 S78에서, 정규화 오차가 소정의 임계값 S1보다 크다 고 판정된 경우, 즉, 파라미터 제어 데이터 a1 내지 aN에 의해 정의되는 수학식 23의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하지 않은 경우, 단계 S79로 진행하여 판정 제어부(56)는 상술한 바와 같이 파라미터 제어 데이터로서 오토 모드를 나타내는 오토 모드 데이터를 파라미터 제어 데이터 메모리(57)에 공급하여 기억시킨다. 그리고, 단계 S71로 되돌아가 이하 마찬가지의 처리가 반복된다.
따라서, 파라미터 제어 데이터 a1 내지 aN을 구할 수 있더라도, 그 파라미터 제어 데이터 a1 내지 aN에 의해 정의되는 수학식 23이, 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하지 않은 경우에는, 파라미터 제어 데이터 a1 내지 aN을 구할 수 있는 만큼의 학습 정보가 존재하지 않은 경우와 마찬가지로, 입력 신호의 분산에 기초하는 입력 신뢰도로부터 구해지는 가중값이 입력 신호 x(t)의 보정에 이용되어진다.
한편, 단계 S78에서, 정규화 오차가 소정의 임계값 S1보다 크지 않다고 판정된 경우, 즉, 파라미터 제어 데이터 a1 내지 aN에 의해 정의되는 수학식 23의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하고 있는 경우, 단계 S80으로 진행하여 판정 제어부(56)는 파라미터 제어 데이터 계산부(54)에서 구해진 파라미터 제어 데이터 a1 내지 aN에 의해 정의되는 수학식 23의 면(선)과, 학습용 데이터 메모리(53)에 기억된 최신 교사 데 이터 및 학생 데이터로 규정되는 점 사이의 오차(거리) ε를 구한다.
그리고, 단계 S81로 진행하여, 판정 제어부(56)는 오차 ε의 크기가 소정 임계값 S2보다 큰(이상)지의 여부를 판정하고, 크지 않다고 판정한 경우 단계 S82를 스킵하여 단계 S83으로 진행하고 판정 제어부(56)는 단계 S76에서 구해진 파라미터 제어 데이터 a1 내지 aN를 파라미터 제어부 데이터 메모리(37)에 출력한다. 파라미터 제어 데이터 메모리(57)는 판정 제어부(56)로부터의 파라미터 제어 데이터 a1 내지 aN를 덮어쓰기하는 형태로 기억하고, 단계 S71로 되돌아가 이하 마찬가지의 처리가 반복된다.
한편, 단계 S81에서, 오차 ε의 크기가 소정의 임계값 S2보다 크다고 판정된 경우 단계 S82로 진행하며, 판정 제어부(56)는 파라미터 제어 데이터 계산부(54)를 제어함으로써 학습용 데이터 메모리(53)에 기억된 최근 교사 데이터와 학생 데이터만을 이용하여 파라미터 제어 데이터 a1 내지 aN을 재계산시킨다. 그리고, 단계 S83으로 진행하여 판정 제어부(56)는 단계 S82에서 구해진 파라미터 제어 데이터 a1 내지 aN을 파라미터 제어 데이터 메모리(57)에 출력하여 덮어쓰기하는 형태로 기억시키고 단계 S71로 되돌아간다.
즉, 도 13의 실시예에서도, 도 8의 실시예에서의 경우와 마찬가지로, 단계 S82에서, 지금까지 주어진 교사 데이터 및 학생 데이터로부터 구해진 파라미터 제어 데이터 a1 내지 aN으로부터 수학식 23에서 정의되는 면과, 최신 교사 데이터 및 학생 데이터로 규정되는 점 사이의 오차 ε가 구해진다.
그리고, 이 오차 ε의 크기가 임계값 S2보다 크지 않은 경우에는 단계 S76에서 구해진 파라미터 제어 데이터 a1 내지 aN에 의해 정의되는 수학식 23의 면이, 최신 교사 데이터와 학생 데이터로 규정되는 점도 포함시켜, 지금까지 주어진 교사 데이터와 학생 데이터로 규정되는 점의 어느 것도 비교적 높은 정밀도로 근사하고 있다고 생각되기 때문에, 그 파라미터 제어 데이터 a1 내지 aN이 파라미터 제어 데이터 메모리(57)에 기억된다.
한편, 오차 ε의 크기가 임계값 S2보다 큰 경우에는, 단계 S76에서 구해진 파라미터 제어 데이터 a1 내지 aN에 의해 정의되는 수학식 23의 면으로부터, 최신 교사 데이터와 학생 데이터로 규정되는 점이 비교적 크게 떨어져 있다고 생각되기 때문에, 판정 제어부(56)는 파라미터 제어 데이터 계산부(54)를 제어함으로써 단계 S82에서 학습용 데이터 메모리(53)에 기억된 최근 교사 데이터와 학생 데이터만을 이용하여 파라미터 제어 데이터 a1 내지 aN를 재계산시킨다.
도 10의 NR 회로에서는, 입력 신뢰도 계산부(61)에서, 이상과 같이 하여 구해진 파라미터 제어 데이터 a1 내지 aN으로부터 수학식 22에 따라 입력 신뢰도 αx(t)가 계산된다.
따라서, 이 경우도, 사용자의 조작에 따라 공급되는 학습용 조작 신호에 기초하여, 수학식 22의 입력 신뢰도 αx(t)를 규정하는 파라미터 제어 데이터 a1 내지 aN의 학습이 행해지기 때문에, 사용자의 조작을 사용자가 모르는 동안에 학습할 수 있고, 또한, 그 학습 결과를 이용하여, 사용자에 따라 최적의 처리를 행하는 것이 가능해진다.
또한, 도 10의 NR 회로도, 도 4의 NR 회로와 마찬가지로, 사용자가 조작부(2)를 조작하면 조작 신호 처리부(50)는 그 조작에 대응한 조작 신호가 나타내는 가중값을 출력하고, 선택부(41)는 그 가중값을 선택하여 보정부(21)에 공급한다. 이 경우, 보정부(21)에서는 사용자의 조작에 대응한 가중값을 이용하여, 수학식 8로 나타내는 보정 처리가 행해진다. 그리고, 사용자의 조작에 의해 수학식 8의 가중값 w(t)가 변경되는 경우에는, 당연히, 수학식 8로 나타내는 처리(보정 처리)의 내용도 변경되게 되므로, 도 10의 NR 회로에서도 사용자의 조작에 따라 그「처리 내용」이 사용자에 있어 원하는 출력 신호가 얻어지도록 변경되어 있다고 할 수 있다.
또한, 도 10의 NR 회로에서는 파라미터 제어 데이터 a1 내지 aN을 구할 수 없는 경우나, 구할 수 있더라도 그 파라미터 제어 데이터 a1 내지 aN에 의해 정의되는 수학식 23이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하지 않은 경우에는, 입력 신호의 분산에 기초하는 입력 신뢰도로부터 구해지는 가중값이 보정부(21)에서의 보정 처리에 이용된다. 한편, 파라미터 제어 데이터 a1 내지 aN를 구할 수 있고, 또한, 그 파라미터 제어 데이터 a1 내지 aN에 의해 정의되는 수학식 23이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하고 있는 경우에는, 사용자에 의한 조작부(2)의 조작에 기초하여 얻어지는 학습 쌍을 이용하여 학습이 행해짐으로써 구해진 파라미터 제어 데이터 a1 내지 aN에 의해 정의되는 수학식 23에 따라 입력 신호 및 파라미터 제어 데이터 a1 내지 aN(으로부터 산출되는 입력 신뢰도)와 출력 신뢰도로부터 구해지는 가중값이 보정부(21)에 의한 보정 처리에 이용된다.
즉, 도 10의 NR 회로도, 도 4의 NR 회로에서의 경우와 마찬가지로, 충분한 수의 학습 쌍이나 정밀도가 높은 근사가 가능한 학습 쌍이 얻어져 있지 않은 경우와 정밀도가 높은 근사가 가능한 학습 쌍이 얻어진 경우에서, 보정 처리에 이용되는 가중값을 산출하는 알고리즘이 변경되어 있다.
따라서, 도 10의 NR 회로에서도, 사용자의 조작에 따라 그「처리 내용」도, 나아가서는 그「처리 구조」도 변경되고, 이에 따라, 사용자에 있어 원하는 출력 신호가 출력되어진다.
또, 상술의 경우에는, 출력 신뢰도 αy(t-1)를 학생 데이터로서 이용하여, 파라미터 제어 데이터 a1 내지 aN을 구하고 있지만, 이 출력 신뢰도 αy(t-1)는 수학식 5에 나타낸 바와 같이, 입력 신뢰도 αx(t-1)로부터 구해진다. 그리고, 입력 신뢰도 αx(t)는 도 13의 제어 데이터 학습 처리가 행해짐으로써, 서서히, 사용자가 희망하는 가중값이 얻어지도록 개선되어 가므로, 출력 신뢰도 αy(t-1)도 아울러 개선되게 된다.
또한, 상술의 경우에는, 출력 신뢰도를 기지의 값으로 함과 함께, 입력 신뢰도를 파라미터 제어 데이터 a1 내지 aN로 규정하여, 사용자가 희망하는 가중값이 얻어지게 하는 파라미터 제어 데이터 a1 내지 aN을 구하도록 하였지만, 이것과는 반대로, 입력 신뢰도를 기지의 값으로 함과 함께, 출력 신뢰도를 파라미터 제어 데이터 a1 내지 aN로 규정하여, 사용자가 희망하는 가중값이 얻어지도록 하는 파라미터 제어 데이터 a1 내지 aN을 구하는 것도 가능하다.
또한, 예를 들면, 출력 신뢰도를 기지의 값으로 함과 함께 입력 신뢰도를 파라미터 제어 데이터 a1 내지 aN로 규정하여, 사용자가 희망하는 가중값이 얻어지도록 하는 파라미터 제어 데이터 a1 내지 aN을 구하고, 또한, 그 파라미터 제어 데이터 a 1 내지 aN에 의해 얻어지는 입력 신뢰도를 기지의 값으로 함과 함께 출력 신뢰도를 파라미터 제어 데이터 a1' 내지 aN'로 규정하여, 사용자가 원하는 가중값이 얻어지도록 하는 파라미터 제어 데이터 a1' 내지 aN'를 구하는 것, 즉, 2 세트의 파라미터 제어 데이터 a1 내지 aN 및 a1' 내지 aN'를 구하도록 하는 것도 가능하다.
또한, 상술의 경우에는, 가중값을 수학식 6에 나타낸 바와 같이 입력 신뢰도 αx(t)와 출력 신뢰도 αy(t-1)로 정의하여, 파라미터 제어 데이터 a1 내지 aN을 구하 도록 하였지만, 이 밖에도 가중값을 예를 들면, 수학식 31에 나타낸 바와 같이, 입 력 신뢰도 αx(t)와 출력 신뢰도 αy(t-1) 이 외에, 입력 신뢰도 αx(t) 또는 출력 신뢰도 αy(t-1)의 보정항 △α도 이용하여 정의하여, 파라미터 제어 데이터 a1 내지 a N과 보정항 △α을 구하도록 하는 것이 가능하다.
Figure 112002034151099-pct00031
또한, 입력 신뢰도를 파라미터 제어 데이터에 의해서 정의하는 식은 수학식 22에 한정되는 것이 아니다.
다음에, 도 14는 도 1의 최적화 장치의 제2 상세 구성예를 나타내고 있다. 도 14의 최적화 장치(1)에서는, 도 2의 최적화 장치(1)에 내부 정보 생성부(71)가 새롭게 설치되어 구성되어 있고, 처리부(11)의 구성은 도 2의 경우와 마찬가지이므로 그 설명은 생략한다. 또한, 도 14의 실시예에서는 최적화 장치(1)의 외부에 표시부(81)가 설치되어 있다.
내부 정보 생성부(71)는 처리부(11)의 내부 정보를 판독하여 화상 정보로 변환한 후, LCD(Liquid Crystal Display)나 CRT(Cathode Ray Tube)로 이루어지는 표시부(81)에 출력하여 표시시킨다(제시시킨다). 보다 상세하게는, 표시부(81)는 내부 정보를 그대로 수치적으로 표시하도록 해도 되고, 예를 들면, 레벨 게이지와 같은 표시 화면을 설정하여 내부 정보의 값에 따라 레벨 게이지가 변동하는 표시로 해도 된다. 또한, 표시부(81)는 이것에 한하는 것이 아니고, 시각적으로 내부 정보를 표시(제시)하는 것이면 이외의 표시 방법이어도 된다. 또한, 내부 정보란, 예를 들면, 보정부(21)의 가중값 메모리(31, 32)에 기억되는 가중값이나, 학습부(22)의 학습용 데이터 메모리(53)나 학습 정보 메모리(55)의 기억 내용 이외의 것을 채용할 수 있다. 또한, 내부 정보는 표시 이외의 제시(제시) 방법, 즉, 소리 등에 의해 사용자에게 제시해도 된다.
다음에, 도 15의 흐름도를 참조하여 도 14의 NR 회로의 최적화 처리에 대하여 설명한다. 이 처리는 도 3의 흐름도를 참조하여 설명한, 최적화 처리와 기본적으로는 마찬가지이고, 내부 정보 생성부(71)에 의한 내부 정보를 표시하는 처리가 추가되어 있는 점이 다르다. 즉, 단계 S91 내지 S101에서, 도 3의 단계 S1 내지 S11과 각각 마찬가지의 처리가 행해지고 단계 S102로 진행한다.
단계 S102에서, 표시부(81)에 가중값 W가 표시된다. 즉, 내부 정보 생성부(71)는 예를 들면, 가중값 메모리(31)에 기억되어 있는 가중값 W의 값을 내부 정보로서 판독하고, 표시부(81)에서 표시 가능한 화상 신호로 변환하여 표시부(81)에 출력하고 가중값 W를 표시(제시)시켜, 단계 S91로 되돌아간다.
도 15의 흐름도를 참조하여 설명한 처리에 의해, 처리부(11)에서 실제로 실행하고 있는 처리에 관한 내부 정보로서의 가중값 W가 사용자에게 표시(제시)되고, 그 결과 사용자는 그 내부 정보의 표시를 보면서 최적의 출력 신호를 얻을 수 있도록 조작부(2)를 조작하는 것이 가능해진다. 또한, 내부 정보 생성부(71)에서는 상술한 가중값 등의 내부 정보 이외에, 예를 들면 학습부(22)의 파라미터 제어 데이터 메모리(37)(도 4, 도 10)로부터 파라미터 제어 데이터 a, b를 판독하여 표시하도록해도 된다. 또한, 선택부(41)(도 4, 도 10)에 의해 선택된 가중값이 학습 쌍 을 이용하여 학습이 행해짐으로써 구해진 파라미터 제어 데이터 a 및 b로부터 구해진 가중값인지, 또는, 입력 신뢰도와 출력 신뢰도로부터 구해지는 가중값인지를 나타내는 화상 정보를 내부 정보로서 생성하도록 해도 된다.
다음에 도 16는 도 1의 최적화 장치를 적용한 자동차의 자동 주행 장치의 일실시예의 구성예를 나타내고 있다.
자동 주행 장치에서는 자동차의 위치 좌표(X, Y)나 주행 방향 θ이 구해지고, 소정의 궤적을 따라 자동차를 주행시키도록 되어 있다. 그러나, 자동 주행 장치에서 구해지는 좌표(X, Y)나 주행 방향 θ에는 오차가 포함되는 경우가 많고, 이 경우에는 자동차가 소정의 궤적으로부터 벗어나 주행하는 경우가 있다. 그래서, 도 16의 자동 주행 장치에서는 사용자의 조작을 사용자가 모르는 동안에 학습하고, 그 학습 결과에 기초하여 자동차를 소정의 궤적을 따라 주행시키도록 되어 있다. 즉, 자동차가 소정의 궤적으로부터 벗어나 주행하기 시작한 경우, 일반적으로 사용자는 자동차를 소정의 궤적을 따라 주행시키도록 핸들이나 액셀레이터 등을 조작한다. 그래서, 도 16의 자동 주행 장치에서는 그와 같은 사용자의 조작을 사용자가 모르는 동안에 학습하고, 그 학습 결과에 기초하여 자동차를 서서히 소정의 궤적을 따라 주행시키도록 제어한다.
자이로 센서(91)는 자동차의 요우 레이트 r를 검지하여 연산부(93)에 공급한다. 차륜 펄서(92)는 자동차 차륜의 회전 각도에 따른 수의 전기 펄스를 연산부(93)에 공급한다.
연산부(93)는 자이로 센서(91)와 차륜 펄서(92)의 출력으로부터 예를 들면 다음식에 따라 자동차의 좌표(X, Y)와 주행 방향 θ을 연산하여 최적화 장치(94)에 공급한다.
Figure 112002034151099-pct00032
단, 수학식 32에서, θ(0)는 자동차의 주행 개시 시의 방향을 나타내고, (X(0), Y(0))는 자동차의 주행 개시 시의 좌표를 나타낸다. 또, θ(0)나 (X(O), Y(O))는 예를 들면, 도시하지 않은 GPS(Global Positioning System)등을 이용하여 구할 수 있다. 또한, Vr는 자동차의 주행 속도를 나타내고, β는 자동차의 가중값 중심점의 슬립 앵글을 나타낸다.
여기서, 상술한 바와 같이 하여 자동차의 좌표(X, Y)와 주행 방향 θ을 구하는 방법은 예를 들면, 특개평10-69219호 공보에 개시되어 있다.
최적화 장치(94)는 처리부(101)로 구성되고, 사용자에 의한 조작부(98)의 조작을 학습하고, 즉, 사용자가 조작부(98)를 조작함으로써 공급되는 조작 신호에 기초하여 학습을 행하고, 그 학습 결과에 기초하여 연산부(93)로부터의 좌표(X, Y)나 주행 방향 θ을 사용자가 원하는 주행이 행해지도록 보정하여 자동 주행 제어부(95)에 공급한다.
자동 주행 제어부(95)는 지도 데이터와, 자동 주행해야 할, 미리 설정된 궤 적(이하, 적절하게 설정궤적이라 함)을 기억하고 있다. 그리고, 자동 주행 제어부(95)는 최적화 장치(94)의 처리부(101)로부터 공급되는 좌표(X, Y)와 주행 방향 θ으로부터 자동차의 현재 위치와 주행 방향을 인식하여, 자동차가 설정 궤적을 따라 주행하도록 후술하는 구동부(97)를 제어하는 제어 신호를 생성하여 선택부(96)에 출력한다.
선택부(96)에는 자동 주행 제어부(95)로부터 제어 신호가 공급되는 것 외에, 조작부(98)로부터 조작 신호가 공급되도록 되어 있다. 그리고, 선택부(96)는 자동 주행 제어부(95)로부터의 제어 신호와 조작부(98)로부터의 조작 신호 중의 조작 신호를 우선적으로 선택하여 구동부(97)에 출력한다. 즉, 선택부(96)는 통상은 자동 주행 제어부(95)로부터의 제어 신호를 선택하여 구동부(97)에 출력하지만, 조작부(98)로부터의 조작 신호를 수신하면 그 조작 신호를 수신하고 있는 동안은 자동 주행 제어부(95)로부터의 제어 신호의 출력을 정지하여 조작부(98)로부터의 조작 신호를 구동부(97)에 출력한다.
구동부(97)는 선택부(96)로부터의 제어 신호 또는 조작 신호에 따라 자동차의 도시하지 않은 엔진이나 차륜, 브레이크, 클러치 등의 주행에 필요한 각 기구를 구동한다. 조작부(98)는 예를 들면, 핸들이나, 액셀레이터 페달, 브레이크 페달, 클러치 페달 등으로 구성되고, 사용자의 조작에 대응한 조작 신호를 최적화 장치(94) 및 선택부(96)에 공급한다.
이상과 같이 구성되는 자동 주행 장치에서는, 연산부(93)에서 자이로 센서(91)와 차륜 펄서(92)의 출력으로부터 자동차의 현재의 좌표(X, Y)와 주행 방 향 θ이 연산되어 최적화 장치(94)의 처리부(101)을 통해 자동 주행 제어부(95)에 공급된다. 자동 주행 제어부(95)는 거기에 공급되는 좌표(X, Y)와 주행 방향 θ으로부터 자동차의 현재 위치와 주행 방향을 인식하여, 자동차가 설정 궤적을 따라 주행하도록 후술하는 구동부(97)를 제어하는 제어 신호를 생성하여 선택부(96)를 통해 구동부(97)에 공급한다. 이에 따라, 자동차는 자동 주행 제어부(95)가 출력하는 제어 신호에 따라 자동 주행한다.
한편, 사용자가 조작부(98)를 조작하면 그 조작에 대응한 조작 신호가 선택부(96)를 통해 구동부(97)에 공급되고, 이에 따라 자동차는 사용자에 의한 조작부(98)의 조작에 따라 주행한다.
또한, 사용자가 조작부(98)를 조작함으로써 조작부(98)가 출력하는 조작 신호는 최적화 장치(94)의 처리부(101)에도 공급된다. 최적화 장치(94)는 사용자가 조작부(98)를 조작함으로써 공급되는 조작 신호에 기초하여 학습을 행한다. 그리고, 최적화 장치(94)의 처리부(101)는 사용자가 조작부(98)의 조작을 정지하면, 연산부(93)로부터 공급되는 좌표(X, Y)나 주행 방향 θ을 학습 결과에 기초하여 사용자가 원하는 주행으로서의 설정 궤적을 따른 주행이 행해지도록 보정하여, 자동 주행 제어부(95)에 공급한다.
다음에, 도 17은 도 16의 최적화 장치(94)의 처리부(101)의 구성예를 나타내고 있다. 또, 도면 중, 도 4의 처리부(11)에서의 경우와 대응하는 부분에 대해서는 동일한 부호를 붙이고, 이하에서는 그 설명은 적절하게 생략한다. 즉, 도 17의 처리부(101)는 선택부(41)가 설치되지 않고, 조작 신호 처리부(50)와 교사 데이터 생성부(51)를 대신하여 조작 신호 처리부(110)와 교사 데이터 생성부(111)가 각각 설치되어 있는 것 외에, 기본적으로 도 4의 처리부(11)와 마찬가지로 구성되어 있다.
여기서, 이하에서는 설명을 간단히 하기 위해서, 연산부(93)로부터의 최적화 장치(94)의 처리부(101)에 공급되는 좌표(X, Y)와 주행 방향 θ중, 주행 방향 θ에 만 주목하여 설명을 행한다. 단지, 좌표(X, Y)에 대해서도 이하에 설명하는 주행 방향 θ에 대한 처리와 마찬가지의 처리를 행하는 것이 가능하다.
조작 신호 처리부(110)는 조작부(98)로부터의 조작 신호를 수신하여 학습용 조작 신호인지 아닌지를 판정한다. 그리고, 조작 신호 처리부(110)는 조작 신호가 학습용 조작 신호인 경우에는 그 취지를 나타내는 메시지를 학생 데이터 생성부(52)와 교사 데이터 생성부(111)에 공급한다.
교사 데이터 생성부(111)에는 조작 신호 처리부(110)로부터 조작 신호가 학습용 조작 신호인 취지의 메시지(이하, 적절하게 학습 메시지라 함)가 공급되는 것 외에, 입력 신호로서의 연산부(93)로부터의 주행 방향 θ이 공급되도록 되어 있다. 또한, 교사 데이터 생성부(111)에는 보정부(21)(연산기(36))가 출력하는 출력 신호로서의 연산부(93)로부터의 주행 방향 θ을 보정한 것(이하, 적절하게 보정 주행 방향이라 함)도 공급되도록 되어 있다. 교사 데이터 생성부(111)는 학습 메시지를 수신했을 때에 공급되는 입력 신호로서의 주행 방향 θ과 출력 신호로서의 보정 주행 방향으로부터 학습용 조작 신호에 대응하는 가중값 W를 구하여 교사 데이터로서 학습용 데이터 메모리(53)에 공급한다.
즉, 지금의 경우, 교사 데이터로서는 자동차가 소정의 방향을 향하도록, 사용자가 핸들로서의 조작부(98)를 조작한 후에 자동차가 소정의 방향을 향했을 때의 가중값 W를 구할 필요가 있다. 즉, 교사 데이터로서는 사용자가 핸들로서의 조작부(98)를 조작하여 자동차가 원하는 방향을 향하게 된 직후의 그 주행 방향 θ을 나타내는 입력 신호 x(t)의 보정에 이용되는 가중값 W를 채용할 필요가 있다. 이, 조작부(98)의 조작 직후의 입력 신호 x(t)는 수학식 8에 따라 그 입력 신호 x(t)와 조작부(98)의 조작 직전에 출력되는 출력 신호 y(t-1)와의 가중치 부여 가산에 의해 보정 주행 방향으로서의 조작부(98)의 조작 직후의 출력 신호 y(t)로 보정되기 때문에 조작부(98)의 조작 직후의 입력 신호 x(t)의 보정에 이용되는 가중값 W는 수학식 8로부터 조작부(98)의 조작 직후의 입력 신호 x(t)와 조작부(98)의 조작 직후의 출력 신호 y(t) 및 조작부(98)의 조작 직전의 y(t-1)에 의해 구할 수 있다. 그래서, 교사 데이터 생성부(111)는 학습 메시지를 수신한 직후에 공급되는 입력 신호 x(t)로서의 주행 방향 θ, 및 학습 메시지를 수신한 직전과 직후에 각각 공급되는 출력 신호 y(t-1)와 y(t)로서의 보정 주행 방향으로부터 교사 데이터로서의 가중값 W를 구하여 학습용 데이터 메모리(53)에 공급한다.
또, 학생 데이터 생성부(52)는 학습 메시지를 수신하면, 그 직전까지 공급된 입력 신호로서의 주행 방향으로부터 구해져 있는 가중값 w를 학생 데이터로서 학습용 데이터 메모리(53)에 공급한다. 즉, 학생 데이터 생성부(52)는 도 4에서 설명한 바와 같이 입력 신뢰도 계산부(42), 출력 신뢰도 계산부(43), 래치 회로(44), 및 가중값 계산부(45)와 마찬가지로 구성되고, 거기에 공급되는 입력 신호로서의 주행 방향으로부터 가중값 w(가중값 계산부(45)에서 구해지는 것과 동일한 가중값 w)을 계산하고 있고, 학습 메시지를 수신하기 직전에 계산된 가중값 w를 학생 데이터로서 학습용 데이터 메모리(53)에 공급한다.
따라서, 파라미터 제어 데이터 계산부(54)에서는 사용자가 조작부(98)를 조작하여, 주행 방향이 사용자가 원하는 방향으로 되었을 때의 가중값 W를 교사 데이터로 함과 함께 사용자가 조작부(98)를 조작하기 직전에 가중값 계산부(45)가 출력한 것과 동일한 가중값 w를 학생 데이터로서 수학식 20 및 21에 나타낸 파라미터 제어 데이터 a 및 b의 계산이 행해진다.
그리고, 가중값 보정부(46)에서는 그 파라미터 제어 데이터 a 및 b를 이용하여 수학식 13에 따라 가중값 계산부(45)에서 구해진 가중값 w가 보정되어 보정부(21)에 공급된다.
그 결과, 파라미터 제어 데이터 a 및 b는 사용자가 조작부(98)를 조작하기 직전의 주행 방향을 사용자가 조작부(98)를 조작한 직후의 주행 방향으로 보정하도록, 가중값 계산부(45)에서 구해진 가중값 w를 보정하게 되므로 자동차는 설정 궤적을 따라 자동 주행하도록 되어진다.
즉, 사용자가 조작부(98)를 조작한다는 것은, 자이로 센서(91)의 오차나 그 출력에 포함되는 노이즈, 연산부(93)에서의 연산 오차 등에 기인하여 연산부(93)가 출력하는 주행 방향 θ이 오차를 포함하여 자동차의 실제 주행 방향을 표시하고 있지 않기 때문에, 자동차의 실제 주행 방향이 설정 궤적으로부터 벗어나 있는 상태라고 생각할 수 있다. 또한, 이 경우의 사용자에 의한 조작부(98)의 조작은 자동 차의 실제 주행 방향을 설정 궤적을 따른 방향으로 하는 것으로 생각할 수 있다. 따라서, 사용자가 조작부(98)를 조작하여 자동차의 실제 주행 방향이 설정 궤적을 따른 것으로 되었을 때의 가중값 W를 교사 데이터로 함과 함께 사용자가 조작부(98)를 조작하기 직전에 가중값 계산부(45)에서 구해진 가중값 w, 즉, 설정 궤적으로부터 벗어나 있는 상태에서의 가중값 계산부(45)가 출력하는 가중값 w를 학생 데이터로서 학습을 행함으로써, 설정 궤적으로부터 벗어나 있는 상태에서의 주행 방향을 설정 궤적을 따른 방향으로 보정하도록, 수학식 6의 가중값을 보정하는 수학식 13의 파라미터 제어 데이터 a 및 b가 구해지게 된다.
다음에, 도 17의 최적화 장치(94)의 처리부(101)의 처리에 대하여 설명한다. 또, 도 17의 최적화 장치(94)의 처리부(101)에서는 도 4의 NR 회로의 처리부(11)와과 마찬가지로, 입력 신호 x(t)로서의 연산부(93)가 출력하는 주행 방향 θ을 보정하는 보정 처리, 그 보정 처리에 이용되는 보정 파라미터로서의 가중값을 구하는 보정 파라미터 연산 처리, 및 사용자에 의한 조작부(98)(도 16)의 조작을 학습함으로써 보정 파라미터로서의 가중값을 제어(보정)하는 파라미터 제어 데이터를 구하는 제어 데이터 학습 처리가 행해지지만, 보정 처리는 도 7에서 설명한 도 4의 NR 회로에 의한 보정 처리와 동일하기 때문에, 여기서는 도 17의 최적화 장치(94)의 처리부(101)가 행하는 보정 파라미터 연산 처리와 학생 데이터 학습 처리에 대하여 설명한다.
우선, 도 18의 흐름도를 참조하여, 도 17의 최적화 장치(94)의 처리부(101)가 행하는 보정 파라미터 연산 처리에 대하여 설명한다.
보정 파라미터 연산 처리에서는, 우선 최초로, 단계 S111에서 입력 신뢰도 계산부(42)가 도 7의 단계 S31에서의 경우와 마찬가지로, 입력 신호로서의 연산부(93)(도 16)로부터의 주행 방향 θ의 분산에 기초하는 입력 신뢰도 αx(t)를 구하여 출력 신뢰도 계산부(43) 및 가중값 계산부(45)에 공급한다.
그 후, 단계 S112로 진행하여, 가중값 계산부(45)는 입력 신뢰도 계산부(42)로부터의 입력 신뢰도 αx(t)를 이용하여, 수학식 6에 따라 가중값 w(t)를 구하여 가중값 보정부(46)에 공급하고 단계 S113으로 진행한다.
단계 S113에서는, 가중값 보정부(46)는 파라미터 제어 데이터 메모리(57)로부터 파라미터 제어 데이터를 판독하고 단계 S114로 진행한다. 단계 S114에서는, 가중값 보정부(46)는 파라미터 제어 데이터 메모리(57)로부터 판독한 파라미터 제어 데이터가 가중값 w(t)을 보정하지 않은 모드, 즉, 사용자에 의한 조작부(98)(도 16)의 조작에 관계없이 가중값 계산부(45)에서 입력 신뢰도와 출력 신뢰도로부터, 말하자면 자동적으로 구해지는 가중값 w(t)을 그대로 입력 신호 x(t)를 보정하기 위한 가중값 W으로서 이용하는 모드(오토 모드)를 나타내는 오토 모드 데이터로 되어있는지 여부를 판정한다.
단계 S113에서, 파라미터 제어 데이터가 오토 모드 데이터가 아니라고 판정된 경우, 단계 S115로 진행하여 가중값 보정부(46)는 가중값 계산부(45)로부터 공급되는 가중값 w(t)을 파라미터 제어 데이터 메모리(57)로부터 공급되는 파라미터 제어 데이터 a와 b에 의해 정의되는 수학식 13의 1차식에 따라 보정하여 단계 S116 으로 진행한다. 단계 S116에서는 가중값 보정부(46)가 보정 후의 가중값을 보정 파라미터로서 보정부(21)에 공급하고 단계 S117로 진행한다.
한편, 단계 S114에서, 파라미터 제어 데이터가 오토 모드 데이터라고 판정된 경우, 단계 S115를 스킵하고, 단계 S116에 진행하여 가중값 보정부(46)는 가중값 계산부(45)로부터의 가중값 w(t)를 보정 파라미터로서 그대로 보정부(21)에 공급하고, 단계 S117로 진행한다.
단계 S117에서는 출력 신뢰도 계산부(43)는 출력 신뢰도를 갱신한다. 즉, 출력 신뢰도 계산부(43)는 직전 단계 S31에서 입력 신뢰도 계산부(42)가 계산한 입력 신뢰도 αx(t)와, 래치 회로(44)가 래치하고 있기 1 샘플 전의 출력 신뢰도 αy(t-1)를, 수학식 5에 따라 가산함으로써 현재의 출력 신뢰도 αy(t)를 구하여, 래치 회로(44)에 덮어쓰기하는 형태로 기억시킨다.
단계 S117의 처리 후는, 단계 S111로 되돌아가고 이하 마찬가지의 처리가 반복된다.
이상과 같이, 도 18의 보정 파라미터 연산 처리에서는 오토 모드의 경우에는, 조작부(98)의 조작에 관계없이 입력 신뢰도와 출력 신뢰도로부터 보정 처리에 이용되는 가중값이 구해지고, 오토 모드가 아닌 경우에는, 조작부(98)의 조작에 기초하여 후술하는 도 19의 제어 데이터 학습 처리에 의한 학습에 의해 얻어지는 파라미터 제어 데이터를 이용하여 보정 처리에 이용되는 가중값이 구해진다.
다음에, 도 19의 흐름도를 참조하여 도 17의 최적화 장치(94)의 처리부(101) 가 행하는 제어 데이터 학습 처리에 대하여 설명한다.
제어 데이터 학습 처리에서는, 우선 최초로, 단계 S131에서, 조작 신호 처리부(110)가 학습용 조작 신호를 조작부(98)(도 16)로부터 수신했는지 여부를 판정하고 수신하지 않았다고 판정한 경우, 단계 S101로 되돌아간다.
또한, 단계 S101에서, 조작부(98)로부터 학습용 조작 신호를 수신했다고 판정된 경우, 즉, 예를 들면, 조작부(98)로서 핸들 등이 그 조작 개시 후, 제1 시간 t1 이상의 간격을 두지 않고, 제2 시간 t2 이상 연속 조작되고, 그 후, 제3 시간 t3 이상 연속하여, 그 조작이 정지된 경우나 조작부(98)로서의 핸들 조작의 개시 후, 제3 시간 t3 이상 연속하여 그 조작이 정지된 경우 등 자동차가 원하는 방향을 향하도록 사용자가 조작부(98)로서의 핸들 조작을 행했다고 판정할 수 있는 경우, 단계 S132로 진행하고 교사 데이터 생성부(111)가 교사 데이터를 생성함과 함께 학생 데이터 생성부(52)가 학생 데이터를 생성한다.
즉, 조작 신호 처리부(110)는 학습용 조작 신호를 수신하였다고 판정하면, 학습 메시지를 교사 데이터 생성부(111) 및 학생 데이터 생성부(52)에 공급한다. 교사 데이터 생성부(111)는 조작 신호 처리부(110)로부터 학습 메시지를 수신하면, 단계 S132에서, 연산부(93)로부터 공급되는 입력 신호로서의 주행 방향 θ과, 보정부(21)(연산기(36))가 출력하는 출력 신호로서의 연산부(93)로부터의 주행 방향 θ을 보정한 것(보정 주행 방향)으로부터 학습용 조작 신호에 대응하는 가중값 W을 구한다.
구체적으로는, 교사 데이터 생성부(111)는 사용자가 핸들로서의 조작부(98) 를 조작하여 자동차가 원하는 방향을 향하게 된 직후의 그 주행 방향 θ을 나타내는 입력 신호 x(t)를, 연산부(93)(도 16)로부터 수신한다. 또한, 교사 데이터 생성부(111)는 보정부(21)가 출력하는 현재의 출력 신호 y(t)와, 그 1 시각만큼 전의 출력 신호 y(t-1), 즉, 조작부(98)의 조작 직전의 출력 신호 y(t-1)를 유지하도록 되어 있고, 이들 입력 신호 x(t), 및 출력 신호 y(t) 및 y(t-1)를 이용하여 수학식 8에 따라 학습용 조작 신호가 주어졌을 때에 보정부(21)에서 이용된 가중값 W(학습용 조작 신호에 대응하는 가중값)을 구한다.
또, 여기서는 설명을 간단히 하기 위해 사용자에 의한 조작부(98)로서의 핸들의 조작이 t-1부터 t까지의 1 시각 동안에 순시로 완료하는 것으로 한다.
교사 데이터 생성부(111)는 이상과 같이 하여 학습용 조작 신호에 대응하는 가중값 W을 구하면, 그 가중값 W을 교사 데이터로서 학습용 데이터 메모리(53)에 공급한다.
또한, 단계 S132에서는 조작 신호 처리부(110)로부터 학습 메시지를 수신한 학생 데이터 생성부(52)가 그 직전까지 연산부(93)(도 16)로부터 공급된 입력 신호로서의 주행 방향으로부터 구해지는 입력 신뢰도와 출력 신뢰도를 이용하여 계산된, 가중값 계산부(45)가 출력하는 것과 동일한 가중값 w을 학생 데이터로서 학습용 데이터 메모리(53)에 공급한다.
따라서, 학습 데이터 메모리(33)에는 사용자가 조작부(98)를 조작하여 자동차의 실제 주행 방향이 사용자가 원하는 방향으로 되었을 때에 보정부(21)에서 이용된 가중값 W을 교사 데이터로 함과 함께 사용자가 조작부(98)를 조작하기 직전에 입력 신뢰도와 출력 신뢰도로부터 구해져 있는 가중값 w을 학생 데이터로 하는 학습 쌍이 공급된다.
학습용 데이터 메모리(53)는 교사 데이터 생성부(111)로부터 교사 데이터 W를 수신함과 함께 학생 데이터 생성부(52)로부터 학생 데이터 w를 수신하면, 단계 S133에서 그 최신 교사 데이터 W와 학생 데이터 w의 세트를 기억하여 단계 S134로 진행한다.
단계 S134에서는 파라미터 제어 데이터 계산부(54)가 도 8의 단계 S44에서의 경우와 마찬가지로 학습용 데이터 메모리(53)에 기억된 최신의 교사 데이터와 학생 데이터, 및 학습 정보 메모리(55)에 기억되어 있는 학습 정보를 대상으로 하여 최소 제곱법에서의 가산을 행한다. 또한, 단계 S134에서는 파라미터 제어 데이터 계산부(54)는 그 가산 결과를 학습 정보로 하여 학습 정보 메모리(55)에 덮어쓰기하는 형태로 기억시키고, 단계 S135로 진행한다.
단계 S135에서는, 도 8의 단계 S45에서의 경우와 마찬가지로, 파라미터 제어 데이터 계산부(54)가 학습 정보 메모리(55)에 기억된 학습 정보로서의 가산 결과로부터 수학식 20 및 21에 의해 파라미터 제어 데이터 a 및 b를 구하는 것이 가능한지 여부를 판정한다.
단계 S135에서, 파라미터 제어 데이터 a 및 b를 구하는 것이 가능하지 않다고 판정된 경우, 파라미터 제어 데이터 계산부(54)는 그 취지를 판정 제어부(56)에 공급하여 단계 S139로 진행한다. 단계 S139에서는 판정 제어부(56)는 파라미터 제어 데이터로서 오토 모드를 나타내는 오토 모드 데이터를 파라미터 제어 데이터 메 모리(57)에 공급하여 기억시킨다. 그리고, 단계 S131로 되돌아가 이하 마찬가지의 처리가 반복된다.
따라서, 파라미터 제어 데이터 a 및 b를 구할 수 있는 만큼의 학습 정보가 존재하지 않은 경우에는, 가중값 계산부(45)(도 17)에서 입력 신뢰도와 출력 신뢰도로부터 자동적으로 구해지는 가중값 w(t)이 그대로 입력 신호 x(t)의 보정에 이용되어진다.
한편, 단계 S135에서, 파라미터 제어 데이터 a 및 b를 구하는 것이 가능하다고 판정된 경우, 단계 S136으로 진행하여 파라미터 제어 데이터 계산부(54)는 학습 정보를 이용하여, 수학식 20 및 21을 계산함으로써 파라미터 제어 데이터 a 및 b를 구하여 판정 제어부(56)에 공급하고, 단계 S137로 진행한다.
단계 S137에서는 판정 제어부(56)는 파라미터 제어 데이터 계산부(54)로부터의 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식에 따라 학습용 데이터 메모리(53)에 기억된 각 학생 데이터로부터 대응하는 교사 데이터의 예측값을 구하고, 그 예측값의 예측 오차(학습용 데이터 메모리(53)에 기억되어 있는 교사 데이터에 대한 오차)의 수학식 15로 나타내는 제곱 오차의 총합을 구한다. 또한, 판정 제어부(56)는 그 제곱 오차의 총합을 예를 들면 학습용 데이터 메모리(53)에 기억되어 있는 학습 쌍의 수로 제산한 정규화 오차를 구하고 단계 S138로 진행한다.
단계 S138에서는 판정 제어부(56)는 정규화 오차가 소정의 임계값 S1보다 큰지의 여부를 판정한다. 단계 S138에서, 정규화 오차가 소정의 임계값 S1보다 크다 고 판정된 경우, 즉, 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하지 않은 경우, 단계 S139로 진행하고 판정 제어부(56)는 상술한 바와 같이 파라미터 제어 데이터로서 오토 모드를 나타내는 오토 모드 데이터를 파라미터 제어 데이터 메모리(57)에 공급하여 기억시킨다. 그리고, 단계 S131로 되돌아가 이하 마찬가지의 처리가 반복된다.
따라서, 파라미터 제어 데이터 a 및 b를 구할 수 있더라도, 그 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하지 않은 경우에는, 파라미터 제어 데이터 a 및 b를 구할 수 있는 만큼의 학습 정보가 존재하지 않은 경우와 마찬가지로, 입력 신뢰도와 출력 신뢰도로부터 자동적으로 구해지는 가중값 w(t)이 그대로 입력 신호 x(t)의 보정에 이용되는 것으로 된다.
한편, 단계 S138에서, 정규화 오차가 소정의 임계값 S1보다 크지 않다고 판정된 경우, 즉, 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하고 있는 경우, 단계 S140으로 진행하고 판정 제어부(56)는 파라미터 제어 데이터 계산부(54)로부터의 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식으로 나타내는 회귀 직선과, 학습용 데이터 메모리(53)에 기억된 최신의 교사 데이터 및 학생 데이터로 규정되는 점 사이의 오차(거리) ε를 구한다.
그리고, 단계 S141로 진행하여, 판정 제어부(56)는 오차 ε의 크기가 소정의 임계값 S2보다 큰지 여부를 판정하고, 크지 않다고 판정한 경우, 단계 S142를 스킵하여 단계 S143으로 진행하고 판정 제어부(56)는 단계 S136에서 구해진 파라미터 제어 데이터 a 및 b를 파라미터 제어부 데이터 메모리(37)에 출력한다. 파라미터 제어 데이터 메모리(57)는 판정 제어부(56)로부터의 파라미터 제어 데이터 a 및 b를 덮어쓰기하는 형태로 기억하고 단계 S131로 되돌아간다.
한편, 단계 S141에서, 오차 ε의 크기가 소정의 임계값 S2보다 크다고 판정된 경우, 단계 S142로 진행하여 판정 제어부(56)는 파라미터 제어 데이터 계산부(54)를 제어함으로써 학습용 데이터 메모리(53)에 기억된 최근의 교사 데이터와 학생 데이터로서의 최신의 학습 쌍으로부터 소정 수의 과거의 학습 쌍만을 이용하여(학습 정보 메모리(55)의 학습 정보를 이용하지 않고), 파라미터 제어 데이터 a 및 b를 재계산시킨다. 그리고, 단계 S143으로 진행하여 판정 제어부(56)는 단계 S142에서 구해진 파라메타 제어 데이터 a 및 b를 파라미터 제어부 데이터 메모리(37)에 출력하여 덮어쓰기하는 형태로 기억시키고, 단계 S131로 되돌아간다.
따라서, 파라미터 제어 데이터 a 및 b를 구할 수 있고 또 그 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하고 있는 경우에는, 사용자에 의한 조작부(2)의 조작에 기초하여 얻어지는 학습 쌍을 이용하여 학습이 행해짐으로써 구해지는 파라미터 제어 데이터 a 및 b에 의해 정의되는 수학식 13에 따라 입력 신뢰도와 출력 신뢰도로부터 구해지는 가중값 w(t)이 보정되고 그 보정에 의해 얻어지는 보정 가중값 W이 입력 신호 x(t)의 보정에 이용되어진다.
이상과 같이, 도 16의 자동 주행 장치에서도 사용자의 조작에 따라 공급되는 조작 신호가 학습에 이용할 수 있는지 여부가 판정되고, 학습에 이용할 수 있는 학습용 조작 신호인 경우에는 그 학습용 조작 신호에 기초하여 입력 신호를 보정하는 가중값을 보정하는 파라미터 제어 데이터 a 및 b가 학습되기 때문에 사용자의 조작을 사용자가 모르는 동안에 학습할 수 있고, 그 결과, 그 학습 결과에 기초하여 사용자에 있어 서서히 적절한 처리가 행해지게 되어 최종적으로는 사용자에 있어 최적의 처리가 행해지게 된다.
즉, 사용자가 주행 방향을 설정 궤적을 따른 것으로 수정하도록, 조작부(98)를 조작하고 있는 동안에 자동차는 서서히 설정 궤적을 따라 자동 주행하게 된다.
또한, 도 17의 최적화 장치(94)의 처리부(101)에서도 도 4의 NR 회로와 마찬가지로 사용자에 의한 조작부(98)의 조작에 따라 자동차의 실제 주행 방향이 설정궤적을 따르도록 보정부(21)에서 행해지는 보정 처리(도 6)에서 이용되는 가중값 W이 변경된다. 즉, 자동차의 주행 방향이 원하는 방향으로 되도록 사용자가 조작부(98)를 조작하면 연산부(93)(도 16)가 출력하는 입력 신호로서의 주행 방향 θ이 변화하여, 그 주행 방향 θ으로부터 구해지는 입력 신뢰도, 또한 그 입력 신뢰도로부터 구해지는 출력 신뢰도도 변화한다. 이 입력 신뢰도 및 출력 신뢰도의 변화에 의해 가중값 계산부(45)에서 구해지는 가중값도 변화하고, 이 변화한 가중값은 가중값 보정부(46)를 경유하여 보정부(21)에 공급된다. 그리고, 보정부(21)에서는 이와 같이 하여 공급되는 가중값을 이용하여 수학식 8에서 나타내는 보정 처리가 행해진다. 따라서, 사용자가 조작부(98)를 조작한 경우에는 그 사용자의 조작에 의해 수학식 8의 가중값이 변경되어, 도 4의 NR 회로에서 설명한 경우와 마찬가지로 당연히, 수학식 8로 나타내는 처리(보정 처리)의 내용도 변경하게 되므로 도 17의 최적화 장치(94)의 처리부(101)에서도 사용자의 조작에 따라 그「처리 내용」이 사용자에 있어 원하는 주행 방향이 얻어지도록 변경되어 있다고 할 수 있다.
또한, 도 17의 최적화 장치(94)의 처리부(101)에서도, 도 4의 NR 회로와 마찬가지로 사용자로부터 충분한 수의 학습 쌍이 입력되어 있지 않은 경우나, 정밀도가 높은 근사가 가능한 학습 쌍이 입력되어 있지 않은 경우에는, 입력 신뢰도와 출력 신뢰도로부터 자동적으로 구해지는 가중값이 보정부(21)에서의 보정 처리에 이용되고, 사용자로부터 정밀도가 높은 근사가 가능한 학습 쌍이 입력된 경우에는 그 학습 쌍을 이용하여 학습이 행해짐으로써 구해진 파라미터 제어 데이터 a 및 b에 의해 구해지는 보정 가중값이 보정부(21)에서의 보정 처리에 이용된다. 즉, 충분한 수의 학습 쌍이나 정밀도가 높은 근사가 가능한 학습 쌍이 얻어지고 있지 않은 경우와 정밀도가 높은 근사가 가능한 학습 쌍이 얻어진 경우에서, 보정 처리에 이용되는 가중값을 산출하는 알고리즘이 변경되어 있다.
따라서, 도 17의 최적화 장치(94)의 처리부(101)에서도 도 4의 NR 회로와 마찬가지로 사용자의 조작에 따라 그「처리 내용」뿐만 아니라, 그「처리 구조」도 변경되고, 이에 따라 설정 궤적을 따른 주행 방향으로 자동차가 자동 주행하도록 되어 있다.
또, 예를 들면, 특개평7-13625호 공보에는 모내기 기기 등의 작업차의 주행 제어 장치가 개시되어 있고, 이 주행 제어 장치에서는, 사용자의 조작 상태와 자이로 센서 등의 검출 결과에 기초하는 정보의 차가 적어지도록, 자동 조종 상태에서의 제어 파라미터의 보정량이 연산되도록 되어 있다. 따라서, 도 16의 자동 주행 장치는 사용자의 조작에 기초하여 자동 주행(자동 조종)을 위한 파라미터의 보정량이 변화하는 점에서, 특개평7-13625호 공보에 기재된 주행 제어 장치와 공통된다.
그러나, 도 16의 자동 주행 장치는 사용자의 조작에 따라 공급되는 조작 신호가 학습에 이용할 수 있는지 여부를 판정하는 점, 조작 신호가 학습에 이용할 수 있는 학습용 조작 신호인 경우에는, 그 학습용 조작 신호에 기초하여 입력 신호를 보정하는 가중값을 보정하는 파라미터 제어 데이터를 학습하는 점에서, 스위치를 수동으로 전환하여 수동 조종 제어 모드로 한 경우에만 자동 조종 상태에서의 제어 파라미터의 보정량이 연산되는 특개평7-13625호 공보에 기재된 주행 제어 장치와 크게 다르다.
이러한 상위가 있는 결과, 특개평7-13625호 공보에 기재된 주행 제어 장치에서는 사용자가 적절한 자동 조종이 행해지고 있지 않다고 느낄 때마다 스위치를 전환하여 수동 조종 제어 모드로 하고, 제어 파라미터의 보정량 연산의 종료 후에 다시 스위치를 전환하여 자동 조종 제어 모드로 해야만 하고, 따라서 사용자에게 번거로움을 느끼게 할 우려가 있다.
이것에 대하여 도 16의 자동 주행 장치에서는 사용자의 조작에 따라 공급되는 조작 신호가 학습에 이용할 수 있는지 여부를 판정하고, 또한, 학습에 이용할 수 있는 학습용 조작 신호인 경우에는 그 학습용 조작 신호에 기초하여, 입력 신호를 보정하는 가중값을 보정하는 파라미터 제어 데이터를 학습하도록 알고리즘이 변경되기 때문에, 사용자가 상술과 같은 스위치의 전환을 행하지 않더라도 적절한 자동 주행이 행해지게 된다. 즉, 사용자가 모르는 동안에 사용자의 조작의 학습이 행해지기 때문에 사용자가 주행 방향을 수정하는 조작을 하고 있는 동안에 학습이 진행하여 서서히 사용자가 조작을 행하지 않더라도 자동차가 설정 궤적을 따라 주행하게 된다.
또한, 도 16의 자동 주행 장치는 사용자의 조작에 대응하여 처리 구조가 변화하지만 그 점에서도 특개평7-13625호 공보에 기재된 주행 제어 장치와 다르다.
다음에, 도 20은 도 16의 최적화 장치(94)의 처리부(101)의 다른 실시예를 나타내고 있다. 또, 도면 중 도 17에서의 경우와 대응하는 부분에 대해서는 동일한 부호를 붙이고 이하에서는 그 설명은 적절하게 생략한다.
도 4 및 도 10의 NR 회로의 처리부(11), 및 도 17의 최적화 장치(94)의 처리부(101)에서는 사용자의 조작에 기초하여 얻어지는 학습 쌍을 이용하여 보정 파라미터를 제어하는 파라미터 제어 데이터의 학습이 행해지게 되어 있었지만, 도 20의 처리부(101)에서는 사용자의 조작에 기초하여 얻어지는 학습 쌍을 이용하여 보정 파라미터 자체의 학습이 행해지게 되어 있다.
즉, 도 20의 실시예에서는 보정부(21)는 보정량 계산부(141)와 연산기(142)로 구성되고, 학습부(22)는 학습용 데이터 메모리(53), 학습 정보 메모리(55), 판정 제어부(56), 조작 신호 처리부(110), 교사 데이터 생성부(143), 학생 데이터 생 성부(144), 보정 파라미터 계산부(145), 및 보정 파라미터 메모리(146)로 구성되어 있다.
보정량 계산부(141)에는 학습부(22)의 보정 파라미터 메모리(146)로부터 후술하는 바와 같은 보정 파라미터가 공급되도록 되어 있고, 보정량 계산부(141)은 그 보정 파라미터를 이용하여 입력 신호로서의 주행 방향 θ을 보정하는 보정량을 계산하여 연산기(142)에 공급한다.
연산기(142)에는 보정량 계산부(141)로부터 보정량이 공급되는 것 외에, 입력 신호로서의 주행 방향 θ이 연산부(93)(도 16)로부터 공급되도록 되어 있고, 연산기 (142)은 입력 신호로서의 주행 방향 θ을, 그것에 보정량을 가산함으로써 보정하고 그 보정 후의 주행 방향(보정 주행 방향)을 출력 신호로서 자동 주행 제어부(95)(도 16)에 출력한다.
교사 데이터 생성부(143)는 조작 신호 처리부(110)로부터 학습 메시지를 수신한 직후에 공급되는 입력 신호로서의 주행 방향을 교사 데이터로서 학습용 데이터 메모리(53)에 공급한다. 학생 데이터 생성부(144)는 조작 신호 처리부(130)로부터 학습 메시지를 수신하기 직전에 공급되는 입력 신호로서의 주행 방향을 학생 데이터로서 학습용 데이터 메모리(53)에 공급한다.
보정 파라미터 계산부(145)는 판정 제어부(56)의 제어 하에 학습용 데이터 메모리(53)에 기억된 학습용 데이터로서의 교사 데이터 및 학생 데이터, 또한, 필요에 따라 학습 정보 메모리(55)에 기억된 학습 정보를 이용하여 소정의 통계적인 오차를 최소로 하는 보정 파라미터를 새로운 학습 정보를 연산함으로써 학습하여 판정 제어부(56)에 공급한다. 또한, 보정 파라미터 계산부(145)는 학습에 의해 얻어진 새로운 학습 정보에 의해 학습 정보 메모리(55)의 기억 내용을 갱신한다.
보정 파라미터 메모리(146)는 판정 제어부(56)가 출력하는 보정 파라미터를 기억한다.
이상과 같이 구성되는 최적화 장치(94)에서는 연산부(93)로부터 공급되는 주행 방향 θ이 다음과 같이 보정된다.
즉, 자이로 센서(91)(도 16)가 출력하는 시각 t의 요우 레이트를 r'으로 하면, 연산부(93)에서는 주행 방향이 수학식 32에서의 r를 r'으로 치환한 식으로부터 계산된다.
이제, 자이로 센서(91)가 출력하는 요우 레이트 r'에 포함되는 오차를 er로 함과 함께, 실제의 요우 레이트를 r로 하면, 자이로 센서(91)가 출력하는 요우 레이트 r'는 다음 식으로 표현된다.
Figure 112002034151099-pct00033
연산부(93)에 있어서, 자이로 센서(91)가 출력하는 요우 레이트 r로부터 계산되는 주행 방향 θ'은, 수학식 32과 33으로부터 다음과 같이 된다.
Figure 112002034151099-pct00034
따라서, 연산부(93)에서 구해지는 주행 방향 θ'과 실제의 요우 레이트 r로부터 구해지는 실제의 주행 방향 θ과의 관계는 다음 식으로 나타낸 바와 같다.
Figure 112002034151099-pct00035
자이로 센서(91)가 출력하는 요우 레이트 r'에 포함되는 오차 er가 백색인 경우에는, 수학식 35의 우변 제 2항은 장기적으로 보면, 다음 식에 나타낸 바와 같이 0이 되므로 특별히 문제는 없다. 또, 단기적으로는 수학식 35의 우변 제 2항은 0이 되지 않지만, 이 경우에는, 도 17의 최적화 장치(94)의 처리부(101)에 의해 대처할 수 있다.
Figure 112002034151099-pct00036
그러나, 오차 er가 유색인 경우에는, 시간 t의 경과와 함께 오차 er가 축적되어 연산부(93)에서 구해지는 주행 방향 θ'은 실제의 주행 방향 θ으로부터 크게 벗어나게 된다.
즉, 이제, 설명을 간단히 하기 위해서, 어느 일정 방향으로 직진하는 자동 주행을 생각하면, 자동 주행 제어부(95)(도 16)에서는 연산부(93)에서 구해지는 주행 방향 θ'이 도 21에서 점선으로 나타낸 바와 같이 일정해지도록 제어 신호가 생성된다.
그러나, 연산부(93)에서 구해지는 주행 방향 θ'에 포함되는 오차 er가 유색인 경우에는, 시간 t의 경과와 함께, 오차 er가 축적되므로 연산부(93)에서 구해지는 주행 방향 θ'이 예를 들면 도 21에서 실선으로 나타낸 바와 같은 곡선의 궤적을 그릴 때가 자동차가 실제로 직진하고 있는 때가 된다.
이 때문에, 도 20의 최적화 장치(94)의 처리부(101)는 입력 신호로서 공급되는 연산부(93)로부터의 주행 방향 θ'이 도 21에서 실선으로 나타내는 궤적을 그리 도록, 그 주행 방향 θ'을 보정하는 보정 파라미터 ao, a1, …, aN을, 사용자로부터의 학습용 조작 신호에 기초하여 학습하는 보정 파라미터 학습 처리를 행하고, 그 보정 파라미터 ao, …, aN를 이용하여 연산부(93)로부터의 주행 방향 θ을 보정하는 보정 처리를 행하게 되어 있다.
그래서, 도 22 및 도 23을 참조하여 도 20의 최적화 장치(94)의 처리부(101)가 행하는 보정 처리와 보정 파라미터 학습 처리에 대하여 설명한다. 또, 도 18의 실시예에서는, 일정 방향으로 직진하는 자동 주행을 행하는 것으로 하였지만, 도 20의 최적화 장치(94)의 처리부(101)는 임의의 궤적을 따른 자동 주행에 적용하는 것이 가능하다.
우선 최초로, 도 22의 흐름도를 참조하여 도 20의 최적화 장치(94)의 처리부(101)가 행하는 보정 처리에 대하여 설명한다.
보정 처리에서는 단계 S151에서 보정량 계산부(141)가 보정 파라미터 메모리(146)에 기억된 보정 파라미터 ao, …, aN를 이용하여 보정량을 계산한다.
즉, 여기서는 예를 들면 실제의 주행 방향 θ이 보정 파라미터 ao, …, aN와, 입력 신호로서의 연산부(93)로부터의 주행 방향 θ'을 이용하여 수학식 37로 정의한 바와 같이 나타냄으로써 보정량이 계산된다.
따라서, 수학식 37로부터 보정량 계산부(141)에서는, ao+a1t1+a2t 2+··+aNtN이 보정량으로서 계산된다. 이 보정량은 연산기(142)에 공급된다.
연산기(142)에서는 단계 S152에서 입력 신호로서의 연산기(53)로부터의 주행 방향 θ'과 보정량이 가산되고, 그 가산값(수학식 37의 θ)이 출력 신호로서 출력되며, 다음의 입력 신호의 샘플이 공급되는 것을 대기하고 단계 S151로 되돌아가 이하 마찬가지의 처리가 반복된다.
다음에, 도 23의 흐름도를 참조하여 도 20의 최적화 장치(94)의 처리부(101)가 행하는 보정 파라미터 학습 처리에 대하여 설명한다.
보정 파라미터 학습 처리에서는, 우선 최초로, 단계 S161에서, 조작 신호 처 리부(110)가 학습용 조작 신호를 조작부(98)(도 16)로부터 수신했는지 여부를 판정하고, 수신하지 않았다고 판정한 경우 단계 S161로 되돌아간다. 또한, 단계 S161에서 조작부(98)로부터 학습용 조작 신호를 수신하였다고 판정된 경우, 즉, 예를 들면 조작부(98)가 그 조작 개시 후 제1 시간 t1 이상의 간격을 두지 않고 제2 시간 t2 이상 연속하여 조작되고, 그 후, 제3 시간 t3 이상 연속하여 그 조작이 정지된 경우나 조작부(98)의 조작 개시 후, 제3 시간 t3 이상 연속하여 그 조작이 정지된 경우 등, 사용자가 자동차가 원하는 주행 방향을 향하도록 조작부(98)의 조작을 행했다고 판정할 수 있는 경우, 단계 S162로 진행하여 교사 데이터 생성부(143)가 교사 데이터를 생성함과 동시에 학생 데이터 생성부(144)가 학생 데이터를 생성한다.
즉, 조작 신호 처리부(110)는 학습용 조작 신호를 수신한 경우 그 취지의 학습 메시지를 교사 데이터 생성부(143) 및 학생 데이터 생성부(144)에 공급한다. 교사 데이터 생성부(143)는 학습 메시지를 수신하면 그 직후에 공급되는 입력 신호로서의 주행 방향을 교사 데이터로서 취득하여 학습용 데이터 메모리(53)에 공급한다.
즉, 지금의 경우, 교사 데이터로서는 자동차가 원하는 방향을 향하도록 사용자가 핸들로서의 조작부(98)를 조작한 후의 주행 방향을 이용할 필요가 있다. 그래서, 교사 데이터 생성부(143)는 학습 메시지를 수신한 후에 공급되는 입력 신호로서의 주행 방향 θ을 교사 데이터로서 학습용 데이터 메모리(53)에 공급한다.
또한, 학생 데이터 생성부(52)는 학습 메시지를 수신하면, 그 직전에 공급된 입력 신호로서의 주행 방향, 즉, 자동차가 원하는 방향을 향하기 직전의 주행 방향을 학생 데이터로서 학습용 데이터 메모리(53)에 공급한다.
그 후, 단계 S163으로 진행하고, 학습용 데이터 메모리(53)는 교사 데이터 생성부(51)로부터 교사 데이터와 학생 데이터의 세트를 기억하여 단계 S164로 진행한다.
단계 S164에서는 보정 파라미터 계산부(145)가 교사 데이터와 학생 데이터를 대상으로 하여 수학식 22 내지 수학식 30에서 설명한 경우와 마찬가지의 최소 제곱법에서의 가산을 행한다.
또, 단계 S164에서의 가산은 상술한 경우와 마찬가지로, 학습 정보 메모리(55)에 기억되어 있는 학습 정보로서의 전 회의 가산 결과를 이용하여 행해진다. 또한, 여기서는, 수학식 37의 θ'로서 학생 데이터를 이용하여 계산되는 수학식 37의 θ로서의 교사 데이터의 예측값과 대응하는 교사 데이터의 제곱 오차의 총합을 최소로 하는 보정 파라미터 ao 내지 aN을 구하기 위한 가산이 행해진다.
보정 파라미터 계산부(145)는 단계 S164에서 가산을 행한 후, 그 가산 결과를 학습 정보로서 학습 정보 메모리(55)에 덮어쓰기하는 형태로 기억시키고, 단계 S165로 진행한다.
단계 S165에서는 보정 파라미터 계산부(145)가 학습 정보 메모리(55)에 기억된 학습 정보로서의 가산 결과로부터 보정 파라미터 a1 내지 aN를 구하는 것이 가능한지의 여부를 판정한다.
단계 S165에서, 보정 파라미터 a1 내지 aN를 구하는 것이 가능하지 않다고 판정된 경우, 보정 파라미터 계산부(145)는 그 취지를 판정 제어부(56)에 공급하고 단계 S169로 진행한다. 단계 S169에서는 판정 제어부(56)는 보정 파라미터로서 보정의 금지를 나타내는 디스에이블(disable) 데이터를 보정 파라미터 메모리(146)에 공급하여 기억시킨다. 그리고, 단계 S161로 되돌아가 이하 마찬가지의 처리가 반복된다.
따라서, 보정 파라미터 a1 내지 aN을 구할 수 있는 만큼의 학습 정보가 존재하지 않은 경우에는, 보정부(21)에서는 입력 신호의 보정은 행해지지 않는다. 즉, 입력 신호의 보정량은 O이 된다.
한편, 단계 S165에서, 보정 파라미터를 구하는 것이 가능하다고 판정된 경우, 단계 S166으로 진행하여 보정 파라미터 계산부(145)는 학습 정보를 이용하여 보정 파라미터 a0 내지 aN을 구하여 판정 제어부(56)에 공급하고 단계 S167로 진행한다.
단계 S167에서, 판정 제어부(56)는 보정 파라미터 계산부(145)로부터의 파라미터 제어 데이터 a1 내지 aN에 의해 정의되는 수학식 37에 따라 학습용 데이터 메모리(53)에 기억된 각 학생 데이터로부터 대응하는 교사 데이터의 예측값을 구하고, 그 예측값의 예측 오차(학습용 데이터 메모리(53)에 기억되어 있는 교사 데이터에 대한 오차)의 제곱합을 구한다. 또한, 판정 제어부(56)는 그 예측 오차의 제곱합을 예를 들면 학습용 데이터 메모리(53)에 기억되어 있는 학습 쌍의 수로 제산 한 정규화 오차를 구하고 단계 S168로 진행한다.
단계 S168에서, 판정 제어부(56)는 정규화 오차가 소정의 임계값 S1보다 큰지 여부를 판정한다. 단계 S168에서, 정규화 오차가 소정의 임계값 S1보다 크다고 판정된 경우, 즉, 보정 파라미터 a1 내지 aN에 의해 정의되는 수학식 37의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터와의 관계를 높은 정밀도로 근사하지 않은 경우 단계 S169로 진행하고, 판정 제어부(56)는 상술한 바와 같이 보정 파라미터로서 디스에이블 데이터를 보정 파라미터 메모리(146)에 공급하여 기억시킨다. 그리고, 단계 S161로 되돌아가 이하 마찬가지의 처리가 반복된다.
따라서, 보정 파라미터 a1 내지 aN을 구할 수 있더라도, 그 보정 파라미터 a1 내지 aN에 의해 정의되는 수학식 37이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터의 관계를 높은 정밀도로 근사하지 않은 경우에는, 보정 파라미터 a1 내지 aN을 구할 수 있는 만큼의 학습 정보가 존재하지 않은 경우와 마찬가지로 입력 신호 x(t)의 보정량은 O이 된다.
한편, 단계 S168에서, 정규화 오차가 소정의 임계값 S1보다 크다고 판정된 경우, 즉, 보정 파라미터 a1 내지 aN에 의해 정의되는 수학식 37의 1차식이 학습용 데이터 메모리(53)에 기억된 학생 데이터와 교사 데이터의 관계를 높은 정밀도로 근사하고 있는 경우, 단계 S170으로 진행하고, 판정 제어부(56)는 보정 파라미터 계산부(145)로부터의 보정 파라미터 a1 내지 aN에 의해 정의되는 수학식 37의 면과 학습용 데이터 메모리(53)에 기억된 최신의 교사 데이터 및 학생 데이터로 규정되는 점 사이의 오차 ε를 구한다.
그리고, 단계 S171로 진행하여, 판정 제어부(56)는 오차 ε의 크기가 소정의 임계값 S2보다 큰지를 판정하여 크지 않다고 판정한 경우, 단계 S172을 스킵하여 단계 S173으로 진행하고 판정 제어부(56)는 단계 S166에서 구해진 보정 파라미터 a0 내지 aN를 보정 파라메터 메모리(146)에 출력한다. 이 경우, 보정 파라미터 메모리 (146)는 판정 제어부(56)로부터의 보정 파라미터 a0 내지 aN을 덮어쓰기하는 형태로 기억하고 단계 S161로 되돌아간다.
한편, 단계 S171에서, 오차 ε의 크기가 소정의 임계값 S2보다 크다고 판정된 경우, 단계 S172로 진행하여 판정 제어부(56)는 보정 파라미터 계산부(145)를 제어함으로써 학습용 데이터 메모리(53)에 기억된 최근의 교사 데이터와 학생 데이터만을 이용하여 보정 파라미터 a0 내지 aN를 재계산시킨다. 그리고, 단계 S173으로 진행하여 판정 제어부(56)는 단계 S172에서 구해진 보정 파라미터 a0 내지 aN를 파라미터 제어부 데이터 메모리(37)에 출력하여 덮어쓰기하는 형태로 기억시키고 단계 S161로 되돌아간다.
즉, 도 23의 실시예에서도 도 8의 실시예에서의 경우와 마찬가지로, 단계 S170에서, 지금까지 주어진 교사 데이터 및 학생 데이터로부터 구해진 보정 파라미 터 a0 내지 aN로부터 수학식 37에서 정의되는 면과, 최신의 교사 데이터 및 학생 데이터로 규정되는 점 사이의 오차ε가 구해진다.
그리고, 이 오차ε의 크기가 임계값 S2보다 크지 않은 경우에는 단계 S166에서 구해진 보정 파라미터 a0 내지 aN에 의해 정의되는 수학식 37의 면이 최신의 교사 데이터와 학생 데이터로 규정되는 점도 포함시켜, 지금까지 주어진 교사 데이터와 학생 데이터로 규정되는 점의 어느 것이든 비교적 높은 정밀도로 근사하고 있다고 생각되기 때문에 그 보정 파라미터 a0 내지 aN가 보정 파라미터 메모리(146)에 기억된다.
한편, 오차 ε의 크기가 임계값 S2보다 큰 경우에는, 단계 S166에서 구해진 보정 파라미터 a0 내지 aN에 의해 정의되는 수학식 37의 면으로부터 최신의 교사 데이터와 학생 데이터로 규정되는 점이 비교적 크게 떨어져 있다고 생각할 수 있기 때문에, 판정 제어부(56)는 단계 S172에서 학습용 데이터 메모리(53)에 기억된 최근의 교사 데이터와 학생 데이터만을 이용하여 보정 파라미터 a0 내지 aN을 재계산시킨다.
따라서, 이 경우도 사용자의 조작에 따라 공급되는 학습용 조작 신호에 기초하여 수학식 37의 보정 파라미터 a0 내지 aN의 학습이 행하여지기 때문에 사용자의 조작을 사용자가 모르는 동안에 학습할 수 있고, 또한, 그 학습 결과를 이용하여 사용자에 있어 최적의 처리를 행하는 것이 가능해진다.
또한, 이 경우 연산부(93)(도 16)가 출력하는 주행 방향에 포함되는 오차가 유색일 때 소정의 설정 궤적을 따라 자동차를 자동 주행시키는 것이 가능해진다.
또한, 도 20의 최적화 장치(94)의 처리부(101)에서는 사용자에 의한 조작부(98)의 조작에 따라 자동차의 실제의 주행 방향이 설정 궤적을 따르도록 보정부(21)에서 행해지는 보정 처리(도 6)에서 이용되는 보정 파라미터가 변경된다. 즉, 자동차의 주행 방향이 원하는 방향으로 되도록 사용자가 조작부(98)를 조작하면 연산부(43)(도 16)가 출력하는 조작부(98)의 조작 직전과 직후의 입력 신호로서의 주행 방향 θ 각각을 각각 학생 데이터와 교사 데이터로서 보정 파라미터의 학습이 행해지고, 이에 따라 보정 파라미터가 변경된다. 이 변경된 보정 파라미터는 보정부(21)에 공급되고 보정부(21)에서는 그 보정 파라미터를 이용하여 보정량이 계산되고, 그 보정량에 의해 입력 신호의 보정 처리(도 22)가 행해진다. 따라서, 사용자가 조작부(98)를 조작한 경우에는 그 사용자의 조작에 의해 수학식 37의 보정 파라미터가 변경됨으로써, 당연히, 수학식 37로 나타내는 처리(보정 처리)의 내용도 변경하게 되므로, 도 20의 최적화 장치(94)의 처리부(101)에서도 사용자의 조작에 따라 그 「처리 내용」이 사용자에 있어 원하는 주행 방향이 얻어지도록 변경되어 있다고 할 수 있다.
또한, 도 20의 최적화 장치(94)에서는 사용자로부터 충분한 수의 학습 쌍이 입력되어 있지 않은 경우나 정밀도가 높은 근사가 가능한 학습 쌍이 입력되어 있지 않은 경우에는, 보정부(21)에서의 입력 신호의 보정량이 0이 되고, 사용자로부터 정밀도가 높은 근사가 가능한 학습 쌍이 입력된 경우에는, 그 학습 쌍을 이용하여 학습이 행해짐으로써 구해진 보정 파라미터에 의해 구해지는 보정량에 의해 입력 신호의 보정이 행해진다. 즉, 충분한 수의 학습 쌍이나 정밀도가 높은 근사가 가능한 학습 쌍이 얻어지고 있지 않은 경우와, 정밀도가 높은 근사가 가능한 학습 쌍이 얻어진 경우에서, 보정부(21)의 보정 처리에 이용되는 가중값을 산출하는 알고리즘이 변경된다.
따라서, 도 20의 최적화 장치(94)의 처리부(101)에서도 사용자의 조작에 따라 그 「처리 내용」뿐만 아니라, 그 「처리 구조」도 변경되고, 이에 따라 설정 궤적을 따른 주행 방향으로 자동차가 자동 주행하도록 되어 있다.
여기서, 도 23의 실시예에서는(도 8 및 도 13의 실시예에서도 마찬가지임), 단계 S170에서 보정 파라미터 계산부(145)로부터의 보정 파라미터 a0 내지 aN에 의해 정의되는 수학식 37의 면과 최신의 교사 데이터 및 학생 데이터로 규정되는 점 사이의 오차 ε를 구하여 이후의 처리를 행하도록 하였지만, 단계 S170에서는 최근의 복수의 교사 데이터와 학생 데이터가 공급되기 전에 단계 S166에서 구해진 보정 파라미터 a0 내지 aN에 의해 정의되는 수학식 37의 면과 최근의 복수의 교사 데이터 및 학생 데이터로 규정되는 점 각각과의 사이의 오차 ε를 구하고, 그 복수의 오차에 기초하여 이후의 처리를 행하도록 하는 것도 가능하다.
또, 도 16의 최적화 장치(94)의 처리부(101)는 도 17이나 도 20에 도시한 것 외에, 예를 들면 도 10에 나타낸 최적화 장치(1)의 처리부(11)를 이용하여 구성하는 것도 가능하다.
다음에, 도 24는 도 1의 최적화 장치를 적용한 자동 주행 장치의 다른 실시예의 구성예를 나타내고 있다. 또한, 도면 중, 도 16에서의 경우와 대응하는 부분에 대해서는 동일한 부호를 붙이고, 이하에서는 그 설명은 적절하게 생략한다. 즉, 도 24의 자동 주행 장치는 최적화 장치(94)에 내부 정보 생성부(161)가 새롭게 설치되고, 또한, 표시부(171)는 새로이 설치되어 있는 것 외에는 도 16에서의 경우와 마찬가지로 구성되어 있다.
내부 정보 생성부(161)는 도 14의 내부 정보 생성부(171)와 마찬가지로 처리부(11)로부터 그 내부 정보를 판독하고 화상 정보로 변환하여 표시부(171)에 출력한다. 표시부(171)는 내부 정보 생성부(161)로부터 공급되는 내부 정보를 소정의 표시 형식으로 표시한다.
도 24의 실시예에서, 처리부(101)는 도 17이나 도 20에 도시한 바와 같이 구성할 수 있다. 도 24의 처리부(101)가 도 17에 도시한 바와 같이 구성되는 경우에는 보정 파라미터 연산 처리를 제외하고 도 17에서의 경우와 마찬가지의 처리가 행해진다. 그래서, 도 25의 흐름도를 참조하여 도 24의 처리부(101)가 도 17에 도시한 바와 같이 구성되는 경우의 보정 파라미터 연산 처리에 대하여 설명한다.
단계 S191 내지 S197에서는 도 18의 단계 S111 내지 Sl17에서의 경우와 각각 마찬가지의 처리가 행해진다.
단계 S197의 처리 후는 단계 S198로 진행하고, 표시부(171)에서 내부 정보가 표시된다. 즉, 보다 상세하게는 내부 정보 생성부(161)가 예를 들면 가중값 메모리(31)(도 17)에 기억되어 있는 가중값 W을 내부 정보로서 판독하여 표시부(171)에 서 표시 가능한 화상 신호로 변환하여 표시부(171)에 출력하여 표시(제시)시킨다. 단계 S198의 처리 후는 단계 S111로 되돌아가 이하 마찬가지의 처리가 반복된다.
도 25의 흐름도에서 설명한 처리에 의해, 처리부(101)의 처리에 관한 내부 정보로서의 가중값 W이 표시부(171)에서 표시(제시)되고, 그 결과 사용자는 그 표시를 보면서 최적의 자동 주행이 행해지도록 조작부(98)를 조작하는 것이 가능해진다.
또한, 상술의 경우에는 가중값 W을 표시하도록 했었지만 내부 정보 생성부(161)에서는, 그 밖의 내부 정보를 표시부(171)에 표시(제시)시키도록 해도 되고, 예를 들면, 파라미터 제어 데이터 메모리(37)로터 파라미터 제어 데이터 a, b를 판독하여 표시하도록 해도 된다. 또한, 선택부(41)에 의해 선택된 가중값이 학습 쌍을 이용하여 학습이 행해짐으로써 구해진 파라미터 제어 데이터 a 및 b로부터 구해진 가중값인지, 또는 입력 신뢰도와 출력 신뢰도로부터 구해지는 가중값인지를 나타내는 내부 정보를 표시하도록 해도 된다.
다음에, 도 24의 처리부(101)가 도 20에 도시한 바와 같이 구성되는 경우에는 보정 파라미터 학습 처리를 제외하고, 도 20에서의 경우와 마찬가지의 처리가 행해진다. 그래서, 도 26의 흐름도를 참조하여 도 24의 처리부(101)가 도 20에 도시한 바와 같이 구성되는 경우의 보정 파라미터 학습 처리에 대하여 설명한다.
단계 S211 내지 S223에서, 도 23의 단계 S161 내지 S172에서의 경우와 각각 마찬가지의 처리가 행해진다.
단계 S219 및 단계 S223의 처리 후는, 단계 S224로 진행하고 내부 정보 생성 부(161)는 예를 들면 보정 파라미터 메모리(101)에 기억된 보정 파라미터 a0 내지 aN을 내부 정보로서 판독하고 표시부(171)에서 표시 가능한 화상 신호로 변환하여 표시부(171)에 표시시킨다. 이 때, 보정 파라미터 a0 내지 aN은 복수의 파라미터로 구성되어 있기 때문에 도 27에서 도시한 바와 같이 각 파라미터를 횡축으로 하고 각 값을 종축으로 하여 예를 들면 막대 그래프 형상으로 하여 표시하도록 해도 된다. 또한, 보정 파라미터 a0 내지 aN는 예를 들면 도 28에 도시한 바와 같이 임의의 두 개의 보정 파라미터 ai와 aj를 각각 횡축과 종축에서 표시하도록 해도 된다. 또한, 횡축과 종축으로 하는 보정 파라미터는 사용자가 선택 가능하도록 하는 것이 가능하다.
이 후, 단계 S211로 되돌아가 이하 마찬가지의 처리가 반복된다.
이상과 같이 도 26의 흐름도를 참조하여 설명한 보정 파라미터 처리에 의해 보정 파라미터 a0 내지 aN가 표시됨으로써 도 24의 최적화 장치(94)의 처리부(101)에서는 보정 파라미터 a0 내지 aN가 내부 정보로서 표시되고, 그 결과 사용자는 그 표시를 보면서 최적의 자동 주행이 행해지도록 조작부(98)를 조작하는 것이 가능해진다.
또한, 내부 정보 생성부(161)에서는, 보정 파라미터 a0 내지 aN 이외의 내부 정보를 표시하도록 해도 된다.
또한, 도 26의 실시예에서, 단계 S219의 처리 후에, 단계 S224로 진행한 경우에는 내부 정보로서의 보정 파라미터 a0 내지 aN은 0으로 그 표시가 행해진다.
다음에, 도 29를 참조하여 도 1의 최적화 장치의 그 밖의 실시예로서의 최적화 장치(201)에 대하여 설명한다. 최적화 장치(201)는 처리부(211)로 구성되어 있고, 입력 신호로서의 예를 들면 화상 신호 등으로부터 노이즈를 제거하여 표시되는 화상 신호의 최적화를 도모하는 것이다. 또한, 이 예에서는 화상 신호를 주된 입력 신호의 예로서 설명하지만, 화상 신호에 한하지 않고 그 밖의 신호여도 된다.
처리부(211)는 학습부(221)와 맵핑 처리부(222)로 구성되어 있다. 처리부(211)의 학습부(221)에는, 조작부(202)로부터의 조작 신호가 공급되고, 학습부(221)는 그 조작 신호에 기초하여 맵핑 처리부(222)의 처리에서 필요해지는 계수 세트를 학습하여 계수 메모리(235)에 기억시킨다. 학습부(211)의 학습의 규범(학습 규범)으로서는 예를 들면, 최소 N승 오차법(최소 N 곱셈)을 이용할 수 있다. 또한, 최소 N승 오차법에 의한 해법에 대해서는 후술한다.
맵핑 처리부(222)는 입력 신호를 소정의 출력 신호로 맵핑(변환)하는 맵핑 처리를 행한다. 즉, 맵핑 처리부(222)는 출력 신호로서의 화상 신호 중 지금부터 얻고자 하는 화소를 주목 화소로 하고 그 주목 화소에 대응하는 탭(처리에 필요한 적어도 1 이상의 화소로서 샘플이라 칭한다)을 입력 신호로서의 화상 신호로부터 추출하여 계수 메모리(235)에 기억된 계수 세트와의 곱합 연산 처리를 실행함으로써 주목 화소를 구한다. 맵핑 처리부(222)는 출력 신호로서의 화상 신호를 구성하는 화소에 대하여 마찬가지의 처리(맵핑)를 행하고, 이에 따라 출력 신호로서의 화 상 신호를 생성하여 표시부(203)에 출력하여 표시시킨다.
조작부(202)는 사용자에 의해 조작되고 그 조작에 대응하는 조작 신호를 학습부(221)에 공급한다. 표시부(203)는 맵핑 처리부(202)가 출력하는 출력 신호로서의 화소 신호를 표시한다.
다음에, 도 30를 참조하여, 도 29의 학습부(221)의 상세한 구성에 대하여 설명한다. 교사 데이터 생성부(231)는 입력 신호로부터 학습의 교사가 되는 교사 데이터를 생성하여, 최소 N승 오차법 계수 연산부(234)에 출력한다. 학생 데이터 생성부(232)는 입력 신호로부터 학습의 학생이 되는 학생 데이터를 생성하여 예측 탭 추출부(233)에 출력한다. 이 교사 데이터와 학생 데이터는 예를 들면, 입력 신호에 대하여 교사 데이터 생성부(231)가 어떠한 처리도 하지 않음으로써, 또는, 학생 데이터 생성부(232)가 소정의 씨닝 처리, 또는, LPF(Low Pass Filter) 등에 의해 입력 데이터를 열화시키는 등으로 하여 생성되는 것이고, 학생 데이터가 교사 데이터에 대하여 열화한 것으로서 생성되면 상술한 구성에 한하는 것은 아니다. 따라서, 상기한 것 외에도, 예를 들면, 교사 데이터 생성부(231)가 입력 신호에 대하여 소정의 씨닝이나 LPF에 의한 처리를 실시할 때에는, 학생 데이터 생성부(232)는 교사 데이터 생성부(231)에서 실시되는 이상으로 큰 정도의 씨닝이나 LPF에 의한 처리가 실시되면 된다. 또한, 예를 들면, 교사 데이터로서는 입력 신호로 그대로 이용하고, 학생 데이터로서는 입력 신호에 노이즈를 중첩한 것을 이용하는 것도 가능하다.
예측 탭 추출부(233)는 교사 데이터로서의 화상 신호를 구성하는 화소를 차 례로 주목 화소로 하고, 그 주목 화소와 소정의 위치 관계에 있는 적어도 1개 이상의 화소(탭)를 학생 데이터로서의 화상 신호로부터 예측 탭으로서 추출하여, 최소 N승 오차법 계수 연산부(234)에 출력한다.
최소 N승 오차법 계수 연산부(234)는 조작부(202)로부터 입력되는 최소 N승 오차법 계수 연산 처리에 필요한 지수 N의 값을 지정하는 정보를 나타내는 조작 신호에 기초하여, 예측 탭과 교사 데이터로부터 최소 N승 오차법에 의해 계수 세트를 연산하여 계수 메모리(235)에 출력하고 기억시킨다(적절하게 덮어쓰기하여 기억시킨다).
계수 메모리(235)는 최소 N승 오차법 계수 연산부(234)로부터 공급되는 계수 세트를 기억하여 맵핑 처리부(222)에 적절하게 출력한다.
다음에, 도 31를 참조하여, 도 29의 맵핑 처리부(222)의 구성에 대하여 설명한다. 맵핑 처리부(222)의 탭 추출부(251)는 출력 신호로서의 화상 신호를 구성하는 화소를 차례로 주목 화소로 하고 그 주목 화소에 대하여 소정의 위치 관계에 있는 화소(의 화소값)를 예측 탭으로 하여, 입력 신호로서의 화상 신호로부터 추출함으로써 도 30의 예측 탭 추출부(233)가 구성하는 것과 동일한 탭 구조의 예측 탭을 구성하여 곱합 연산부(252)에 출력한다. 곱합 연산부(252)는 탭 추출부(251)로부터 입력되어 온 추출된 예측 탭(화소)의 값과 학습부(221)의 계수 메모리(235)에 기억되어 있는 계수 세트와의 곱합 연산을 행함으로써 주목 화소를 생성하여 표시부(203)(도 29)에 출력한다.
여기서, 도 30의 최소 N승 오차법 계수 연산부(234)의 최소 N승 오차법에 의 한 계수 연산에 대하여 설명한다. 최소 N승 오차법에서의 지수 N=2인 경우가, 일반적으로 최소 제곱 오차법(최소 2승 오차법)이라 불리는 것이다. 즉, 주목 화소로서의 교사 데이터를 y로, 예측 탭을 구성하는 M 개의 학생 데이터를 xi(i=1, 2, …, M)로, 소정의 M 개의 계수를 wi로 각각 나타내고, 교사 데이터 y의 예측값 y'를 예측탭 xi와 소정의 계수 wi의 선형 1차 결합(곱의 합 연산) w1x1 +w2x2+…+wNxN 으로 하는 경우에서는, 도 32에서 도시한 바와 같이 검은 동그라미로 나타내는 교사 데이터 y와, 도면 중의 흰 동그라미로 나타내는 예측값 y'와의 오차(도면 중 화살표로 나타내는 교사 데이터로서의 실제값 y와 그 예측 오차 y'와의 차분의 절대값)의 2승의 합을 최소로 하는 계수 세트 w1, w2, …, wM이 구해진다.
최소 N승 오차법에서의 지수 N의 값을 변화시킬 경우, 예를 들면, 지수 N이 커질 때 오차가 큰 예측값 y'의 오차는 N승 오차의 합에 대한 영향이 커지기 때문에, 최소 N승 오차법에 따르면 결과적으로 그와 같은 큰 오차의 예측값 y'가 구제되는 방향의 계수(큰 오차의 예측값 y'의 오차를 작게 하는 계수)가 구해진다. 단, 오차가 작은 예측값 y'의 오차는 N승 오차의 합에 대한 영향도 작기 때문에 그다지 고려되지 않고 결과적으로 무시되기 쉬워진다. 반대로, 지수 N이 작아질 때, 오차가 큰 예측값 y'의 오차는 N승 오차의 합에 대한 영향력이 지수 N이 클 때와 비교하여 작아지게 되어, 오차가 작은 예측값 y'의 오차는 N승 오차의 합에 대한 영향이 보다 작아지게 된다. 그 결과, 최소 N승 오차법에 따르면 지수 N이 큰 경우에 비교하여 오차가 작은 예측값의 오차를 보다 작게 하는 방향의 계수가 구해진 다.
또한, 상술한 바와 같은 예측값 y' 오차의 N승 오차의 합에 대한 영향의 변화는 예측값 y'의 오차를 N승함에 의한 것이며, 이하, 적절하게 N승 오차의 성질이라고 한다.
상술한 바와 같이, 지수 N에 의해, 최소 N승 오차법으로 구해지는 계수 세트의 정성적인 경향이 보이기 때문에, 지수 N을 변화시켜 최소 N승 오차법에 의해 계수 세트를 구하도록 함으로써 사용자의 기호에 맞는 맵핑 처리를 실행하기 위한 계수 세트를 구할 수 있다(입력 신호에 대하여 맵핑되는 출력 신호를 사용자 기호의 것으로 하는 계수 세트를 구할 수 있다). 그러나, 실제로는 최소 2승 오차법 이외의 방법, 즉, 지수 N=2 이외의 방법에서는 예측값 y'의 N승 오차의 합을 최소로 하는 계수 세트의 연산이 매우 곤란하다.
여기서, 최소 2승 오차법 이외의 방법에서는 예측값 y'의 N승 오차의 합을 최소로 하는 계수 세트의 연산이 곤란해지는 이유에 대하여 설명한다.
예측값 y' 오차의 N승의 총합(N 승 오차의 합)은 수학식 38로 나타낼 수 있다.
Figure 112002034151099-pct00038
여기서, E는 교사 데이터로서의 실제값 y와 예측값 y' 와의 오차 e의 N승의 샘플 수만큼의 총합을 나타낸다.
한편, 본 실시예에서는 상술한 바와 같이 실제값 y의 예측값 y'는 예측 탭 xi와 소정의 계수 wi의 선형 1차 결합, 즉, 이하의 수학식 39에 의해 정의된다.
Figure 112002034151099-pct00039
여기서, 계수 w1, w2, w3, …, wM을 이하 적절하게 예측 계수라고 한다. 이 예측 계수의 세트가 도 30의 계수 메모리(235)에 기억되는 계수 세트이다. 또한, 예측탭 x1, x2, x3, …, xM으로서는 교사 데이터로서의 화상의 화소(실제값) y에 대응하는 학생 데이터로서의 화상의 위치에서 공간적 또는 시간적으로 가까운 위치에 있는 화소를 채용할 수 있다.
이 경우, 수학식 38의 오차 e는 이하에 나타내는 수학식 40으로 나타낼 수 있다.
Figure 112002034151099-pct00040
최소 N승 오차법에서는, 수학식 40으로부터 유도되는 이하의 수학식 41, 42로 나타내는 N승 오차의 총합 E를 최소로 하는 예측 계수 w1, w2, w3, …, wM을 구할 필요가 있다. 또한, 수학식 41은 지수 N이 홀수일 때의 총합 E를 나타내는 식이고, 수학식 42는 지수 N이 짝수일 때의 총합 E를 나타내는 식이다.
Figure 112002034151099-pct00041
Figure 112002034151099-pct00042
여기서, 수학식 41의 경우, 즉, 지수 N이 홀수인 경우, 총합 E는 실제값 y와 그 예측값 y' 와의 차분 y-y'의 크기의 합이 동일한 값이면, 차분 y-y'의 부호에 상관없이, 동일한 값이 되어 결과적으로 총합 E를 최소로 하는 예측 계수 w1, w2, w3, …, wM을 구할 수 없다. 즉, 총합 E는 절대치를 포함하는 함수이고, 예를 들면, 도 33에 도시한 바와 같은 함수가 된다. 이 때문에, 전체 탐색 이외에서는 총합 E의 최소값을 제공하는 예측 계수 w1, w2, w3, …, wM을 구할 수 없다. 또한, 도 33은 지수 N=1일 때의 임의의 예측 계수 wi와, 총합 E의 변화를 나타내고 있다.
한편, 수학식 42의 경우 즉, 지수 N이 짝수인 경우, 총합 E는 반드시 E≥0를 만족하므로 이하의 수학식 43으로 나타낸 바와 같이, 수학식 42의 총합 E를 각 예측 계수 wi로 편미분한 식을 0으로 해둠으로써 극소값을 구할 수 있다.
Figure 112002034151099-pct00043
따라서, 수학식 43으로부터, 이하의 수학식 44으로 나타내는 방정식을 풀음으로써, 즉 N승 오차의 총합 E를 최소로 하는 예측 계수 w1, w2, w3, …, wM이 구해지게 된다.
Figure 112002034151099-pct00044
이 수학식 44에 대하여, 예를 들면, 지수 N이 N=2인 경우, 즉, 소위 최소 2승 오차법에 의해 해를 구하는 경우, 수학식 44의 지수 N에 2를 대입하여 이하의 수학식 45을 풀면 된다.
Figure 112002034151099-pct00045
수학식 45의 방정식은 이하의 수학식 46으로 나타낸 바와 같이, 행렬식의 형태로 표현할 수 있어 정규 방정식이라고 불린다. 또한, 지수 N=2일 때는 총합 E의 극소값이 일의적으로 결정되고 그 최소값은 총합 E의 최소값이 된다. 수학식 45의 정규 방정식에 의해 예측 계수 w1, w2, w3, …, wM의 수와 동수(지금의 경우 M 개)의 연립 1차 방정식이 구성되면, 이 연립 1차 방정식은 예를 들면, 콜레스키법 등에 의해 풀 수 있어, 예측 계수 w1, w2, w3, …, wM을 구할 수 있다.
Figure 112002034151099-pct00046
또한, 수학식 46의 정규 방정식을 풀기 위해서는, 수학식 46에서의 좌변의 예측 탭끼리의 곱 xixj의 총합(Σxixj)을 컴포넌트로 하는 행렬이 정칙일 필요가 있다.
지수 N이 짝수이고, 또한 4 이상인 경우, 수학식 42는 이하의 수학식 47과 같이 나타낼 수 있다.
Figure 112002034151099-pct00047
수학식 47로 나타내는 방정식은, 고차의 연립 방정식이 되기 때문에, 지수 N이 N=2인 경우와 같이 연립 1차 방정식을 풀도록 하여 예측 계수 w1, w2, w3, …, wM을 구할 수 없다.
이상과 같이, 지수 N이 N=2 이외일 때, 수학식 38로 나타내는 N승 오차의 합 을 최소로 하는 예측 계수 w1, w2, w3, …, wM은 일반적으로는 용이하게 구할 수 없다.
그래서, 학습부(221)의 최소 N승 오차법 계수 연산부(234)는 이하에 나타내는 두 개의 최소 N승 오차법에 의해 예측 계수를 연산한다. 또한, 두 개의 최소 N승 오차법 중 어느 것을 채용할지는 예를 들면 사용자가 조작부(202)(도 29)를 조작함으로써 지정 가능하다.
우선, 제1 방법(이하, 직접법이라고도 칭한다)에 대하여 설명한다. 이하의 수학식 48로 나타낸 바와 같이, 오차 e2의 항에 가중값 αs를 곱한 것의 총합 E를 N승 오차법의 합으로서 수학식 38 대신에 정의한다.
Figure 112002034151099-pct00048
즉, N승 오차 eN을 가중값 αs와 2승 오차 e2의 곱에 의해 정의한다.
이 경우, 수학식 48의 가중값 αs를 예를 들면, 이하의 수학식 49로 나타낸 바와 같이, 지수 N이 N=2일 때에 구해지는 예측 계수 w1, w2, w3, …, w M로부터 수학식 39의 선형 1차식에 의해 얻어지는 예측값 y'의 함수로 함으로써, 수학식 48의 N승 오차의 총합 E를 최소로 하는 예측 계수 w1 내지 wM을 구할 수 있다.
Figure 112002034151099-pct00049
가중값 αs로서는 다양한 함수를 생각할 수 있지만, 수학식 48로 정의되는 N승 오차 eN=αse2가 상술한 N승 오차의 성질을 만족하게 되는 함수를 채용할 필요가 있고, 예를 들면, 이하의 수학식 50으로 나타내는 함수를 채용할 수 있다.
Figure 112002034151099-pct00050
여기서, xs는 최소 2승 오차법에 의해 구해지는 예측 계수 w1 내지 wM로부터 수학식 39에 의해 연산되는 예측값 y'의 오차(이하, 적절하게, 최소 2승 규범에 의한 오차라 함)를 0 내지 1.0의 범위로 정규화한 값을 나타내고, 이 예측값 y'의 오차 xs의 함수로서 정의되는, 수학식 50의 가중값 αs는 도 34에 도시된 바와 같다.
계수 a는 최소 2승 규범에 의한 오차 xs가, N승 오차 eN에 미치는 영향을 제어하는 항이고, 계수 a가 a=0일 때, 가중값 αs는 도 34에서 그 기울기가 0인 수평 방향의 직선이 된다. 이 경우, 최소 2승 규범에 의한 오차 xs가 N승 오차 eN에 미치는 영향은 최소 2승 규범에 의한 오차 xs의 대소에 상관없이 일정해져 수학식 48의 총합 E를 최소로 하는 예측 계수 wi는 이론적으로는 최소 2승 오차법에 의해 구 해지는 것과 동일해진다. 따라서, a=0으로 함으로써, 실질적으로 최소 2승 오차법이 실현된다. 또한, 계수 a>0일 때는, 최소 2승 규범에 의해 오차 xs가 수학식 48의 N승 오차 eN에 미치는 영향은 오차 xs가 클수록 커지고, 오차 xs가 작을 수록 작아진다. 한편, a<0일 때는, 최소 2승 규범에 의한 오차 xs가 수학식 48의 N승 오차 eN에 미치는 영향은 오차 xs가 클수록 작아지고, 오차 xs가 작을 수록 커진다.
즉, 수학식 48의 N승 오차 eN은 계수 a를 플러스로 한 경우에는 지수 N을 크게 하였을 때와 마찬가지의 성질을 가지고, 계수 a를 마이너스로 한 경우에는 지수 N을 작게 하였을 때와 마찬가지의 성질을 갖는다. 따라서, 수학식 48의 N승 오차 eN은 수학식 38의 N승 오차 eN과 마찬가지의 성질을 가지므로 수학식 48의 N승 오차의 총합 E를 최소로 하는 예측 계수는 실질적으로 수학식 38의 N승 오차의 총합 E를 최소로 하는 예측 계수가 된다.
또한, 계수 a가 0인 경우에는, 상술한 바와 같이, 최소 2승 오차법이 실현된다. 즉, 지수 N이 2인 경우가 되지만, 계수 a가 플러스인 경우에는, 지수 N이 N> 2인 경우가 되며, 계수 a가 마이너스인 경우에는, 지수 N이 N<2인 경우가 된다. 이 계수 a는 후술하는 계수 c와 마찬가지로 최소 N승 오차법의 지수 N에 크게 영향을 준다.
계수 b는 보정항이고, 계수 b의 값에 의해 도 34의 함수값(가중값 αs)가 전 체적으로 상하 방향으로 변화한다. 또한, 계수 b는 최소 N승 오차법의 지수 N에 그만큼 큰 영향을 주지 않는다.
계수 c는 축의 스케일링을 변환시키는 항, 즉, 최소 2승 규범에 의한 오차 xs에 대한 가중값 αs의 할당 방법을 변경하는 항이고, 계수 c의 값이 커지면 커질수록 가중값 αxs의 변화는 급경사가 되고, 반대로, 계수 c의 값이 작아지면 작아질수록 가중값 αs의 변화는 완만해진다. 따라서, 계수 c가 변화함으로써 최소 2승 규범에 의해 오차 xs가 수학식 48의 N승 오차 eN에 미치는 영향은 계수 a가 변화하는 경우와 마찬가지이므로, 계수 c에 의해서도 수학식 48의 N승 오차 eN에는 수학식 38의 N승 오차 eN와 마찬가지의 성질을 제공할 수 있다. 즉, 계수 c에 의해 최소 N승 오차법의 지수 N에 영향을 줄 수 있다.
또한, 도 34 중의 직선은, c=1, a>0인 경우(b는 임의)를 나타내고 있고, 도 34 중의 곡선은, c≠1, a>0인 경우(b는 임의)를 나타내고 있다.
수학식 50의 가중값 αs를 규정하는 계수 a, b, c는 사용자가 조작부(202)를 조작(설정)함으로써 변화시킬 수 있고, 계수 a, b, c가 변화함으로써 수학식 50의 가중값 αs가 변화한다. 가중값 αs의 변화에 의해, 수학식 48의 αs e 2는 소정의 지수 N에 대한 N승 오차 eN으로서 실질적(등가적)으로 기능하게 되고, 그 결과, 수 학식 50의 N승 오차의 합 E를 최소로 하는 예측 계수, 즉, 최소 N승 오차법에 의한 규범의 예측 계수 wi를 구할 수 있다.
또한, 이상의 제1 방법에서는, 가중값 αs를 결정하는 계수 a, b, c를 여러가지로 변화시킴으로써, 실질적으로 지수 N을 변화시켜 최소 N승 오차법에 의해 예측 계수를 구하도록 하였기 때문에 지수 N은 정수에 한하지 않고 예를 들면, 지수 N=2.2 등의 지수 N이 소수 등의 그 밖의 실수인 경우의 예측 계수를 구하는 것이 가능하다.
다음에, 최소 N승 오차법에 의해 예측 계수를 연산하는 제2 방법(이하, 재귀법=반복법이라고도 함)에 대하여 설명한다. 제1 방법에서는, 수학식 48에 나타낸 바와 같이, 2승 오차 e2에 대하여 가중값 αs를 승산한 것을 N승 오차로서 채용하였지만, 제2 방법에서는 저차의 최소 N승 오차법으로 구해진 해를 사용하여 재귀적인 방법으로 보다 고차의 최소 N승 오차법에 의한 해가 구해진다.
즉, 이하에 나타내는 수학식 51의 2승 오차의 합 E를 최소로 하는 예측 계수 wi는 상술한 바와 같이 최소 2승 오차법에 의해 구할 수 있지만 이 최소 2승 오차법에 의해 얻어지는 예측 계수 wi를 이용하여 수학식 39에 의해 연산되는 예측값 y'를 y1(이하, 적절하게, 최소 2승 규범에 의한 예측값이라고 함)로 나타낸다.
Figure 112002034151099-pct00051
다음에, 예를 들면, 이하에 나타내는 수학식 52로 나타내는 3승 오차의 합 E에 대하여 생각한다.
Figure 112002034151099-pct00052
수학식 52의 3승 오차의 합 E를 최소로 하는 예측 계수 wi를 구하는 것은, 최소 3승 오차법에 의해 해를 얻는 것이 되지만, 이 때 수학식 52로 나타낸 바와 같이 3승 오차 ｜e3｜를 2승 오차 e2, 및, 최소 2승 규범에 의한 예측값 y1과 실제값 y와의 오차 ｜y-y1｜의 곱으로 나타낸다. 수학식 52의 ｜y-y1｜는 상수로서 구해 둘 수 있으므로, 수학식 52의 3승 오차의 합 E를 최소로 하는 예측 계수 wi는 실제로는 최소 2승 오차법에 의해 얻는 것이 가능해진다.
마찬가지로, 수학식 53으로 나타내는 4승 오차의 합 E에 대하여 생각한다.
Figure 112002034151099-pct00053
수학식 53의 4승 오차의 합 E를 최소로 하는 예측 계수 wi를 구하는 것은, 최소 4승 오차법에 의해 해를 얻는 것이 되지만, 이제, 수학식 52의 3승 오차의 합 E를 최소로 하는 예측 계수 wi를 이용하여 수학식 39에 의해 연산되는 예측값 y'를 y2(이하, 적절하게, 최소 3승 규범에 의한 예측값이라고 함)을 나타내면, 4승 오차 e4는 수학식 53에 나타낸 바와 같이, 2승 오차 e2, 및, 최소 3승 규범에 의한 예측값 y2와 실제값 y와의 오차의 2승(이하, 적절하게, 최소 3승 규범에 의한 2승 오차라 함)｜y-y2｜2의 곱으로 나타낼 수 있다. 수학식 53의 최소 3승 규범에 의한 2승 오차 ｜y-y2｜2는 상수로서 구해 둘 수 있으므로, 수학식 53의 4승 오차의 합 E를 최소로 하는 예측 계수 wi는 실제로는 최소 2승 오차법에 의해 얻는 것이 가능해진다.
또한, 이하의 수학식 54에 대해서도 마찬가지이다.
Figure 112002034151099-pct00054
즉, 수학식 54는 5승의 총합 E를 최소로 하는 예측 계수 wi를 구하는 것이 최소 5승 오차법에 의해 해를 얻는 것이 된다. 이제, 수학식 53의 4승 오차의 합 E를 최소로 하는 예측 계수 wi를 이용하여 수학식 39에 의해 연산되는 예측값 y'를, y3(이하, 적절하게 최소 4승 규범에 의한 예측값이라고 함)으로 나타내면, 5승 오차 e5는 수학식 54에 나타낸 바와 같이, 2승 오차 e2, 및 최소 4승 규범에 의한 예측값 y3와 실제값 y와의 오차의 3승(이하, 적절하게, 최소 4승 규범에 의한 3승 오차라 고 함) ｜y-y3｜3의 곱으로 나타낼 수 있다. 수학식 54의 최소 4승 규범에 의한 3승 오차는 상수로서 구해 둘 수 있으므로, 수학식 54의 5승 오차의 합 E를 최소로 하는 예측 계수 wi도 실제로는 최소 2승 오차법에 의해 얻는 것이 가능하다.
지수 N이 6차 이상인 최소 N승 오차법의 경우도, 이하, 마찬가지로 하여, 그 해(예측 계수 wi)를 구하는 것이 가능하다.
이상과 같이, 제2 방법에서는 고차의 최소 N승 오차법에 의해 해를 구하는 데, 저차의 최소 N승 오차법에 의해 구해진 예측 계수를 이용하여 연산되는 예측값(의 예측 오차)를 사용하고, 이것을 재귀적으로 반복함으로써 보다 고차의 최소 N승 오차법에 의한 해를 얻을 수 있다.
또한, 상술의 경우에는, 최소 N승 오차법에 의한 해를, 그보다 1차만큼 낮은 최소 (N-1)승 오차법에 의해 구해진 예측 계수를 이용하여 연산되는 예측값을 사용하여 구하도록 하였지만, 최소 N승 오차법에 의한 해는 그보다 저차인 임의의 최소 N승 오차법에 의해 구해진 예측 계수를 이용하여 연산되는 예측값을 사용하여 구하는 것이 가능하다. 즉, 수학식 53의 경우, ｜y-y2｜의 대신에 ｜y-y1｜를 사용해도 되고, 수학식 54의 경우 ｜y-y3｜의 대신에 ｜y-y2｜나 ｜y-y1｜를 사용해도 된다.
또한, 제2 방법에서는, N승 오차 eN이, 2승 오차 e2와 N-2승 오차 ｜y-y'｜N-2의 곱으로 나타내므로 제1 방법과 마찬가지로 예를 들면, 지수 N이 N=2.2 등의 지수 N이 임의 실시의 최소 N승 오차법에 의한 해를 구할 수 있다.
다음에, 도 35의 흐름도를 참조하여, 도 29의 최적화 장치(201)에 의한 화상 최적화 처리에 대하여 설명한다. 화상 최적화 처리는 학습 처리와 맵핑으로 이루어진다.
학습 처리에서는, 단계 S230에서, 사용자가 조작부(202)를 조작했는지 여부가 판정되고, 조작하지 않았다고 판정된 경우, 단계 S230으로 되돌아간다. 또한, 단계 S230에서, 조작부(202)가 조작되었다고 판정된 경우, 단계 S231로 진행한다.
단계 S231에서, 학습부(221)의 교사 데이터 생성부(231)는 입력 신호로부터 교사 데이터를 생성하여 최소 N승 오차법 계수 연산부(234)에 출력함과 함께 학생 데이터 생성부(232)는 입력 신호로부터 학생 데이터를 생성하여 예측 탭 추출부(233)에 출력하고, 단계 S232로 진행한다.
또한, 학생 데이터와 교사 데이터를 생성하는 데 이용하는 데이터(이하, 적절하게 학습용 데이터라 함)로서는 예를 들면, 현재 소정 시간만큼 과거로 거스러 오른 시점까지 입력된 입력 신호를 채용할 수 있다. 또한, 학습용 데이터로서는 입력 신호를 이용하는 것은 아니고, 사전에 전용 데이터를 기억해 두는 것도 가능하다.
단계 S232에서, 예측 탭 추출부(233)는 각 교사 데이터를 주목 화소로 하고, 그 각 주목 화소에 대하여 학생 데이터 생성부(232)로부터 입력된 학생 데이터로부터 예측 탭을 생성하여, 최소 N승 오차법 계수 연산부(234)에 출력하고 단계 S233로 진행한다.
단계 S233에서, 최소 N승 오차법 계수 연산부(234)는 조작부(202)로부터 반 복법(제2 방법)에 의한 최소 N승 오차법으로 계수 세트를 연산하는 것을 지정하는 조작 신호가 입력되었는지의 여부를 판정하고, 예를 들면, 사용자에 의해 조작부(202)가 조작되어 반복법이 아닌 즉, 직접법(제1 방법)이 지정되었다고 판정된 경우, 단계 S234로 진행하여, 수학식 50의 가중값 αs를 지정하는(지수 N을 지정하는) 계수 a, b, c가 입력되었는지의 여부가 판정되고, 입력될 때까지 그 처리가 반복되며, 예를 들면 사용자에 의해 조작부(202)가 조작되어, 계수 a, b, c를 지정하는 값이 입력되었다고 판정된 경우, 그 처리는 단계 S235로 진행한다.
단계 S235에서, 최소 N승 오차법 계수 연산부(234)는 가중값 αs를 입력된 계수 a, b, c의 상태에서, 상술한 수학식 48을 최소로 한다는 문제를 실질적으로는 최소 2승 오차법에 의해 푸는 것에 의해, 가중값 αs에 대응하는 지수 N의 최소 N승 오차법에 의한 해로서의 예측 계수 w1, w2, …, wM, 즉, 계수 세트를 구하여 계수 메모리(235)에 기억시켜 단계 S230으로 되돌아간다.
한편, 단계 S233에서, 반복법이 선택되었다고 판정된 경우, 그 처리는 단계 S236으로 진행한다.
단계 S236에서, 최소 N승 오차법 계수 연산부(234)는 지수 N을 지정하는 정보가 입력되었는지의 여부를 판정하고, 지수 N이 입력될 때까지 그 처리를 반복하며, 예를 들면, 사용자가 조작부(202)를 조작함으로써 지수 N을 지정하는 정보가 입력되었고 판정한 경우, 그 처리는, 단계 S237로 진행한다.
단계 S237에서, 최소 N승 오차법 계수 연산부(234)는 기초가 되는 최소 2승 오차법에 의한 해법에 의해 계수 세트를 구한다. 단계 S238에서, 최소 N승 오차법 계수 연산부(234)는, 최소 2승 오차법에 의해 구해진 계수 세트로부터 얻어지는 예측값을 이용하여, 수학식 51 내지 수학식 54를 참조하여 설명한 바와 같이 재귀적으로 지수 N에 조작부(202)로부터 입력된 대응하는 최소 N승 오차법에 의한 계수 세트를 구하여 계수 메모리(235)에 기억시키고, 단계 S231로 되돌아간다.
다음에, 맵핑 처리에서는 단계 S241에서, 맵핑 처리부(222)의 탭 추출부(251)는 현재의 입력 신호로서의 화상 프레임에 대응하는 출력 신호로서의 화상의 프레임을 주목 프레임으로 하고, 그 주목 프레임의 화소 중, 예를 들면, 래스터 스캔순으로, 아직 주목 화소로서 있지 않은 것을 주목 화소로 하고, 그 주목 화소에 대하여 입력 신호로부터 예측 탭을 추출하여 곱합 연산부(252)에 출력한다.
그리고, 단계 S242에서, 곱합 연산부(252)는 학습부(221)의 계수 메모리(235)의 예측 계수를 판독하여 수학식 39에 따라 탭 추출부(251)로부터 입력된 예측 탭과 계수 메모리(235)로부터 판독한 예측 계수와의 곱합 연산 처리를 실행한다. 이에 따라, 곱합 연산부(252)는 주목 화소의 화소값(예측값)을 구한다. 그 후, 단계 S243으로 진행하여, 탭 추출부(251)는 주목 프레임의 모든 화소를 주목 화소로 했는지 여부를 판정하고, 아직 아니라고 판정한 경우, 단계 S241로 되돌아가 주목 프레임의 래스터 스캔순으로 아직 주목 화소로 하고 있지 않은 화소를 새롭게 주목 화소로 하여 이하 마찬가지의 처리를 반복한다.
또한, 단계 S243에서, 주목 프레임의 모든 화소를 주목 화소로 하였다고 판정된 경우, 단계 S244로 진행하여, 표시부(203)는 곱합 연산부(252)에서 구해진 화 소인 주목 프레임을 표시한다.
그리고, 단계 S241로 되돌아가, 탭 추출부(251)는 다음 프레임을 새롭게 주목 프레임으로 하여 이하 마찬가지의 처리를 반복한다.
도 35의 화상 최적화 처리에 따르면, 사용자는 맵핑 처리에서 표시부(203)에 표시된 화상을 보고, 자신의 기호에 맞는 것이 아닌 경우, 조작부(202)를 조작하여 직접법이나 반복법을 지정하고, 또한, 최소 N승 오차법의 지수 N을 지정하여, 이에 따라 학습 처리에서 최소 N승 오차법에 의해 구해지는 예측 계수가 변경되어, 맵핑 처리로 구해지는 출력 신호로서의 화상을 사용자 자신의 기호에 맞는 것으로 해 갈 수 있다.
여기서, 도 36은 수학식 50의 가중값 αs의 계수 a, b, c의 값을 변화시키는 직접법에 있어서, 예를 들면, 계수 a, b, c를 a=40, b=0.1, c=1로 함으로써, 최소 N승 오차법에 의해 구해지는 최소 N승 규범의 계수 세트를 이용하여 연산되는 예측값의 오차의 총합과, 일반적인 최소 2승 오차법에 의해 구해지는 최소 2승 규범의 계수 세트를 이용하여 연산되는 예측값의 오차의 총합을 나타내고 있다. 여기서는 오차의 총합으로서는 2승 오차와 3승 오차의 총합을 나타내고 있다. 또한, 계수 a, b, c가 상술한 값인 경우에는, 수학식 48의 N승 오차 eN의 지수 N 이 2보다 큰 경우에 상당한다. 도 36에서는, 2승 오차의 총합은 최소 2승 규범의 계수 세트에 의한 경우에는 10160281로 되고, 최소 N승 규범의 계수 세트에 의한 경우에는 10828594로 되어 있고, 최소 2승 규범의 계수 세트에 의한 경우 쪽이, 최소 N승 규 범의 계수 세트에 의한 경우보다 작아져 있다. 한편, 3승 오차의 총합은, 최소 2승 규범의 계수 세트에 의한 경우에는 165988823으로 되고, 최소 N승 규범의 계수 세트에 의한 경우에는 161283660으로 되어 있고, 최소 N승 규범의 계수 세트에 의한 경우 쪽이 최소 2승 규범의 계수 세트에 의한 경우보다 작아져 있다.
따라서, 최소 2승 규범의 계수 세트를 이용하여, 맵핑 처리(수학식 39의 곱합 연산)를 행함으로써, 2승 규범의 총합이 보다 작은 출력 신호로서의 화상을 얻는 수 있고, 또한, 상술한 값의 계수 a, b, c를 이용하여, 구해지는 최소 N승 규범의 계수 세트를 이용하여 맵핑 처리를 행함으로써 3승 오차의 총합이 보다 작은 출력 신호로서의 화상을 얻을 수 있다.
또한, 도 35의 화상 최적화 처리에서는, 사용자가 조작부(202)를 조작함으로써 지수 N이 변경되고(직접법에서는 지수 N을 지정하는 계수 a, b, c가 변경되고, 또한, 반복법에서는 지수 N 그 자체가 변경되고), 이에 따라 예측 계수(계수 세트)의 학습 규범(학습의 체계)으로서 어떠한 지수 N의 최소 N승 오차법을 채용할지가 설정된다. 즉, 예측 계수를 구하는 학습 알고리즘 자체가 변경되어 있다. 따라서, 「처리 구조」가 사용자 기호에 맞는 화상이 얻어지도록 변경되어 있다고 말할 수 있다.
다음에, 도 37은 도 1의 최적화 장치의 다른 구성예를 나타내고 있다. 도 37의 최적화 장치(201)에서는 내부 정보 생성부(261)가 설치된 것 이외의 구성은, 도 29의 최적화 장치(201)와 마찬가지이므로 그 설명은 생략한다.
내부 정보 생성부(261)는 처리부(211)의 내부 곱셈으로서, 예를 들면, 계수 메모리(235)에 기억되어 있는 예측 계수를 판독하여 그 예측 계수의 정보를 화상 신호로 변환하여 표시부(203)에 출력하여 표시시킨다.
다음에, 도 38의 흐름도를 참조하여, 도 37의 최적화 장치(201)에 의한 화상 최적화 처리에 대하여 설명한다. 도 38의 화상 최적화 장치도, 도 35에서의 경우와 마찬가지로 학습 처리와 맵핑 처리로 이루어진다. 그리고, 학습 처리에서는 단계 S250 내지 S258에서, 도 35의 단계 S230 내지 S238에서의 경우와 각각 마찬가지의 처리가 행해진다.
또한, 학습 처리에서는, 단계 S255 및 S258의 처리 후, 단계 S259로 진행하고, 내부 정보 생성부(261)는 계수 메모리(235)에 기억되어 있는 계수 세트를 내부 정보로서 판독하여 계수 세트에 포함되는 각 값에 기초하여 표시 가능한 화상 신호를 생성하여 표시부(203)에 출력하여 표시시킨다.
이 때, 내부 정보 생성부(261)에 의해 생성되어 표시부(203)에 표시되는 화상은, 예를 들면, 도 39에서 도시한 바와 같은 3차원 분포도이거나, 또는, 도 40에서 나타낸 2차원 분포도와 같은 형식 등으로 할 수 있다. 즉, 도 39에서는 입력 신호로부터 추출되는 예측 탭의 위치에 상당하는 좌표가 Tap Position(x) 및 Tap Position(y)로서 xy 평면 상의 위치로 표시되어 있고, 각 예측 탭의 위치에 대응하는 좌표 상에 그 예측 탭으로서의 화소값과 곱을 취하는 예측 계수(Coeff)가 표시되어 있다. 또한, 도 40에서는, 도 39가 등고선도 형상으로 표현되어 있다.
여기서, 도 38의 흐름도의 설명으로 되돌아간다.
단계 S259의 처리 후는, 단계 S250으로 되돌아가 이하 마찬가지의 처리가 반 복된다.
한편, 맵핑 처리에서는, 단계 S261 내지 S264에서 도 35의 단계 S241 내지 S244에서의 경우와 각각 마찬가지의 처리가 행해진다.
이상의 처리에 의해, 처리부(211)의 계수 메모리(235)에 기억된 계수 세트의 각 값(각 계수값)이 처리에 관한 내부 정보로서 표시(제시)되어, 사용자는 이 계수 세트의 분포와, 출력 신호로서의 처리부(211)의 처리 결과를 보면서 자기의 기호에 맞는 출력 신호로서의 화상이 얻어지도록 조작부(202)를 조작하여 지수 N이 변경되고(직접법에서는 지수 N을 지정하는 계수 a, b, c가 변경되고, 또한 반복법에서는 지수 N 그 자체가 변경되고), 이에 따라 예측 계수(계수 세트)의 학습 규범(학습의 체계)로서 임의의 지수 N의 최소 N승 오차법을 채용할 것인가가 설정된다. 즉, 예측 계수를 구하는 학습 알고리즘 자체가 변경되어 있기 때문에 「처리 구조」가 변경되어 있다고 할 수 있다. 또한, 이상의 예에서는 계수 세트를 표시시키도록 하였으나, 예를 들면, 현재의 최소 N승 오차법이 직접법이든 또는 반복법이든 처리에 관한 내부 정보를 표시하도록 해도 된다.
도 41은 최적화 장치의 그 밖의 구성예를 나타내고 있다. 도 41의 최적화 장치(301)는 처리부(311)로 구성되고, 조작부(202)로부터 입력된 조작 신호에 기초하여 입력 신호를 최적화하여 표시부(202)에 표시한다. 또, 도면 중, 상술한 실시예에서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고 이하에서는 그 설명은 적절하게 생략한다.
도 41의 처리부(311)의 계수 메모리(321)는 도 30의 계수 메모리(235)와 기 본적으로는 마찬가지이며, 맵핑 처리부(222)가 맵핑 처리를 실행하는 데 필요한 계수 세트를 기억한다. 이 계수 세트는 기본적으로는 후술하는 도 43의 학습 장치(341)에 의해 생성된 계수 세트(초기값으로서의 계수 세트)이지만, 계수 변경부(322)에 의해 적절하게 변경되어 덮어쓰기로 기억된다. 따라서, 덮어쓰기가 반복되어 가는 동안, 계수 세트는, 비로소 학습 장치(341)에 의해 생성된 것과는 다른 것이 된다. 또한, 초기값으로서의 계수 세트는 도시하지 않은 메모리에 유지해 두고 조작부(202)의 조작에 대응하여 계수 메모리(321)의 기억 내용을 초기값의 계수 세트로 복귀하도록 하는 것이 가능하다.
계수 변경부(322)는 조작부(202)로부터 입력되는 조작 신호에 기초하여, 계수 메모리(321)에 기억된 계수 세트(예측 계수)를 판독하여 각 예측 탭에 대응하는 예측 계수(각 예측탭과 적산되는 예측 계수)의 값을 변경하여 다시 계수 메모리(321)에 덮어쓰기로 기억시킨다.
다음에, 도 42를 참조하여, 계수 변경부(322)의 구성에 대하여 설명한다. 계수 변경부(322)의 계수 판독 기입부(331)는 변경 처리부(332)에 의해 제어되고, 계수 메모리(321)에 기억된 계수 세트를 판독하여 변경 처리부(332)에 출력함과 동시에 변경 처리부(332)에 의해 값이 변경된 예측 계수를 계수 메모리(321)에 덮어쓰기로 기억시킨다. 변경 처리부(332)는 계수 판독 기입부(331)에 의해 계수 메모리(321)로부터 판독된 예측 계수를 조작 신호에 기초하여 변경한다.
여기서, 도 43을 참조하여 계수 메모리(321)에 기억되는 계수 세트를 학습 처리에 의해 생성하는 학습 장치(341)에 대하여 설명한다. 학습 장치(341)의 교사 데이터 생성부(351)는 도 30의 학습 장치(221)의 교사 데이터 생성부(231)와 마찬가지이며, 사전에 준비된 학습 데이터로서의 화상 신호로부터 교사 데이터를 생성하여 교사 데이터를 정규 방정식 생성부(354)에 출력한다. 학생 데이터 생성부(352)는 도 30의 학생 데이터 생성부(232)와 마찬가지이며, 학습용 데이터로부터 학생 데이터를 생성하여 예측 탭 추출부(353)에 출력한다.
예측 탭 추출부(353)는 도 30의 예측 탭 추출부(233)와 마찬가지이며, 교사 데이터 중의 이제부터 처리하려고 하는 것을 주목 화소로 하고, 그 주목 화소에 대하여 도 41의 맵핑 처리부(222)를 구성하는 탭 추출부(251)(도 31)가 생성하는 것과 동일한 탭 구조의 예측 탭을 학생 데이터로부터 추출하여 정규 방정식 생성부(354)에 출력한다.
정규 방정식 생성부(354)는 교사 데이터 생성부(351)로부터 입력된 주목 화소로서의 교사 데이터 y와 예측탭 x1 내지 xM으로부터 수학식 46의 정규 방정식을 생성한다. 그리고, 정규 방정식 생성부(354)는 모든 교사 데이터를 주목 화소로 하여 수학식 46의 정규 방정식을 구하면, 그 정규 방정식을 계수 결정부(355)에 출력한다. 계수 결정부(355)는 입력된 정규 방정식(상술한 수학식 46)을 예를 들면, 콜레스키법 등에 의해 풀어 계수 세트를 구한다.
다음에, 도 44의 흐름도를 참조하여 도 43의 학습 장치(341)에 의한 계수 결정 처리(학습 처리)에 대하여 설명한다. 단계 S271에서, 교사 데이터 생성부(351)는 학습용 데이터로부터 교사 데이터를 생성하여 정규 방정식 생성부(354)에 출력 함과 함께 학생 데이터 생성부(352)는 학습용 데이터로부터 학생 데이터를 생성하여 예측 탭 추출부(353)에 출력하고 단계 S272로 진행한다.
단계 S272에서, 예측 탭 추출부(352)는 각 교사 데이터를 차례로 주목 화소로 하고, 각 주목 데이터에 대하여 학생 데이터로부터 예측 탭을 추출하여 정규 방정식 생성부(354)에 출력하고, 단계 S273으로 진행한다.
단계 S273에서, 정규 방정식 생성부(354)는 각 교사 데이터와 예측 탭의 세트를 이용하여, 수학식 46에서의 좌변의 행렬의 각 컴포넌트로 되어 있는 서메이션(Σ)과, 우변의 벡터의 각 컴포넌트로 되어 있는 서메이션(Σ)을 연산함으로써 정규 방정식을 생성하여 계수 결정부(355)에 출력한다.
그리고, 단계 S274로 진행하여, 계수 결정부(355)는 정규 방정식 생성부(354)로부터 입력된 정규 방정식을 풀어, 소위 최소 2승 오차법에 의해 계수 세트를 구하여 단계 S275에서 계수 메모리(321)에 기억시킨다.
이상의 처리에 의해, 계수 메모리(321)에 기초가 되는 계수 세트(초기값으로서의 계수 세트)가 기억된다. 또한, 이상의 예에서는, 계수 세트는 최소 2승 오차법에 의해 구해지는 경우에 대해 설명하였지만 그 밖의 방법으로 구해진 계수 세트이어도 되며, 상술한 최소 N승 오차법에 의해 구해지는 계수 세트이어도 된다.
다음에, 도 41의 계수 변경부(322)의 변경 처리부(332)에 의한 계수 세트의 변경에 대하여 설명한다. 계수 세트는 상술한 도 44의 흐름도의 처리에 의해, 계수 메모리(321)에 사전에 기억되어 있는 것이지만, 계수 변경부(322)는 이 사전 연산에 의해 설정되어 있는 계수 세트의 각 예측 계수를 조작부(202)로부터 입력되는 조작 신호에 기초하여 변경한다.
예를 들면, 학생 데이터로부터 추출되는 예측 탭이, 도 45에 도시한 바와 같이, 7탭×7탭(가로×세로가 7×7 화소)의 합계 49탭인 경우, 각 예측 탭에 대응하는 예측 계수도 동일한 수만큼 존재한다. 즉, 이 경우, 계수 메모리(321)에 기억되어 있는 계수 세트는 49개의 예측 계수로 이루어지는 계수 세트이다. 이 때, 각 예측탭의 위치(탭 위치)를 횡축으로 하여(예를 들면, 각 예측 탭에 번호를 붙여, 그 번호의 값을 횡축으로 하여), 각 탭 위치의 예측 탭과 승산되는 예측 계수의 계수값을 종축으로 했을 때의 분포가 도 46에서 도시한 바와 같이 되어 있는 것으로 한다. 이제, 사용자에게 계수 세트의 각 계수값을 전부 변경시키고자 하면 49개쯤의 각 계수의 계수값을 조작할 필요가 았다. 각 계수의 값은 입력 신호와, 그 입력 신호와 예측 계수로 처리하여 얻어지는 출력 신호와의 게인이 동일해지도록 정규화(계수 전체 값의 합계로 개개의 계수를 나눈 것)된 것, 즉, 계수의 값의 합계가 1일 필요가 있지만, 또한, 그 합계가 1이 되도록 개개의 계수를 조작하는 것은 곤란하다.
즉, 예를 들면, 도 47 중에서 화살표로 나타내는 예측 탭에 대응하는 계수의 계수 값만을 끌어 올리는 것을 생각하면, 탭 위치와 계수값의 분포는 도 48에서 도시한 바와 같은 것이 된다. 또한, 도 48 중 탭 위치 t는 도 47 중의 화살표로 지정된 탭 위치이다.
이와 같이, 어떤 특정한 예측 탭에 대응하는 계수의 계수값만을 끌어 올리하면(증가시키면), 그 밖의 탭 위치의 계수의 계수값을 감소시키는 등으로 하여, 그 합계가 1이 되도록 조작할 필요가 있지만, 그 조작은 곤란하다. 또한, 이 이상의 수의 예측 탭에 대응하는 계수의 계수값을 변화시키는 경우도 마찬가지로 그 합계를 1로 하는 조작은 곤란하다.
그래서, 변경 처리부(332)는 조작 신호가 도 49의 화살표로 표시되는 하나의 탭 위치에 대응하는 계수의 계수값을 소정의 임계값 S11보다 크게 변화시키는(변화량이 임계값 S11보다 크게 변화하는) 것일 때, 다른 계수의 계수값을 도 46에 도시한 바와 같은 분포로부터, 도 50에 도시한 바와 같은 분포로 변경한다. 즉, 변경 처리부(332)는 값이 변화된 계수에 대응하는 탭 위치로부터의 거리에 따라 계수값의 분포가 스프링과 같은 모델로서 변화하도록, 각 탭 위치에 대응하는 계수의 계수값을 변화시킨다. 즉, 변경 처리부(332)는 학습으로 구해진 계수 세트의 분포가 도 46과 같은 분포인 경우, 조작부(202)가 도 50에서 도시한 바와 같이, 탭 위치 t에 대응하는 값을 끌어 올리도록 조작되었을 때, 그 밖의 값에 대해서는, 탭 위치 t로부터 가까운 위치의 계수값을 그 위치가 가까울수록 크게 변화하도록 증가시키고, 반대로 탭 위치 t로부터 먼 위치의 탭에 대응하는 계수의 계수값을 그 위치가 멀수록 크게 감소하도록 변경시키고, 또한 계수값의 합계가 1이 되도록 한다. 여기서, 이하에서는, 도 50과 같이 스프링 형상으로 분포가 변화하는 모델을 스프링 모델이라 칭한다. 또한, 스프링 모델에 따르면 임의의 탭 위치 t의 계수를 끌어 내리도록 조작부(202)가 조작된 경우에는, 탭 위치 t로부터 가까운 위치의 계수값은 그 위치의 근접함에 따라 인하되고, 반대로 탭 위치 t로부터 먼 위치의 계수값은 그 위치가 멀어짐에 따라 인상된다.
또한, 계수의 계수값의 변화량이 소정의 임계값 S11보다 작을 때, 변경 처리부(332)는 도 51에서 도시한 바와 같이 탭 위치 t의 계수의 변화량에 따라 탭 위치 t의 계수와 동일한 극성의 극치를 취하는 계수값은 탭 위치 t의 계수와 동일한 방향으로 변경시키고, 탭 위치 t의 계수와 다른 극성의 극치를 취하는 계수값은 탭 위치 t의 계수와 역방향으로 변경시켜(조작된 계수가 갖는 극치의 방향과 동일한 극치의 계수는 조작된 계수와 동일한 방향으로 시프트하고, 조작된 계수가 갖는 극치의 방향과 다른 극치의 계수는, 조작된 계수와 역방향으로 시프트시켜), 전체적으로 분포의 밸런스를 균형있게 유지하면서 계수값의 합계를 1이 되도록 변화시킨다. 또한, 이하에서는 도 51과 같이 전체적으로 밸런스를 균형있게 유지하면서 계수값을 변화시키는 모델을 균형 모델이라 칭하기로 한다. 또한, 균형 모델은 이와 같이 변화함으로써 HPF(High Pass Filter)나 LPF(Low Pass Filter)로서 근사적으로(등가적으로) 기능한다.
또한, 상술에서는 균형 모델에 있어서 플러스 값의 계수값이 인상된 경우에 대해 설명하였지만, 예를 들면, 플러스 값의 계수값이 인하된 경우, 즉, 마이너스 방향으로 변화된 경우, 플러스 값은 마이너스 방향으로 변경시키고, 마이너스 값의 계수값은 플러스 방향으로 변경시킨다. 또한, 마이너스 값의 계수값이 인상된 경우, 플러스 값의 계수값은 마이너스 방향으로 변경시키고, 마이너스 계수는 플러스 방향으로 변경시키며, 또한, 마이너스 값의 계수값이 인하된 경우, 플러스 계수값은 플러스 방향으로 변경시키고, 마이너스 계수값은 마이너스 방향으로 변경시킨다. 균형 모델에 있어서는, 어느 것이든 전체적으로 밸런스가 균형있게 유지되는 방향으로 계수값이 변경된다.
이상과 같이, 변경 처리부(332)는 변경된 계수값의 변화량이 임계값 S11 보다 클 때는, 도 50에서 나타내는 스프링 모델에 의해 그 밖의 탭에 대응하는 계수값을 변화시키고, 계수값의 변화량이 임계값 S11보다 작을 때는, 도 51에서 나타내는 균형 모델에 의해 그 밖의 탭에 대응하는 계수의 계수값을 변화시킨다. 이것은 1개의 계수의 변화량이 클 때에는, 각 계수값 전체의 밸런스로부터 보아 영향이 큰 것이 되므로 전체의 밸런스를 유지하는 변화를 시키는 것은 부자연스러운 것이 되기 때문에 스프링 모델을 채용하고, 변화량이 작은 경우에는 그 계수의 변화는 전체의 밸런스에의 영향이 작기 때문에 전체적으로 밸런스를 유지하도록 변화시키기 위해서이다.
또한, 조작부(202)가 조작됨으로써, 변경된 계수값 이외의 계수의 변화의 모델은 이것에 한하는 것이 아니고, 전체적으로 계수값의 합계가 1이 되도록 변화시키는 것이면 된다. 또한, 상술의 경우에는, 조작부(202)가 조작됨으로써 변경된 계수의 변화량의 대소에 따라 다른 계수를 변화시키는 모델을 전환하도록 하였지만, 다른 계수를 변화시키는 모델은 고정하는 것도 가능하다.
다음에, 도 52의 흐름도를 참조하여, 도 41의 최적화 장치(301)의 화상 최적화 처리에 대하여 설명한다. 또한, 이 화상 최적화 처리는 계수 변경 처리와 맵핑 처리로 이루어지는 맵핑 처리는 도 35나 도 38에서 설명한 맵핑 처리와 동일하기 때문에 여기서는 계수 변경 처리에 대해서만 설명한다.
단계 S291에서, 계수 변경부(322)의 변경 처리부(332)(도 42)는 계수값을 조 작하는 조작 신호가 조작부(202)로부터 입력되었는지의 여부를 판정한다. 즉, 사용자는 표시부(203)에 표시된 화상을 보고 자기의 기호에 맞는 것이라고 간주한 경우, 이제, 계수 메모리(321)(도 41)에 기억되어 있는 계수 세트에 의한 맵핑 처리를 실행시키지만, 자기의 기호에 맞는 것이 아니라고 판정한 경우, 맵핑 처리에 사용되는 계수 메모리(321)에 기억되어 있는 계수 세트를 변경하는 조작을 행한다.
예를 들면, 단계 S291에서, 계수를 조작하는 조작 신호가 입력되었다고 판정된 경우, 즉, 계수 메모리(321)에 기억된 계수 중 어느 하나의 계수값을 변경하도록 조작부(202)가 조작된 경우 단계 S292로 진행한다.
단계 S292에서, 변경 처리부(332)는 계수 판독 기입부(331)를 제어하여, 계수 메모리(321)에 기억되어 있는 계수 세트를 판독하고, 단계 S293으로 진행한다. 단계 S293에서, 변경 처리부(332)는 조작 신호로서 입력된 계수값이 계수 세트에 사전에 포함되어 있는 값과 비교하여 소정의 임계값 S11 이상으로 변화하고 있는지 여부를 판정한다. 예를 들면, 단계 S293에서, 조작 신호로서 입력된 값과 계수 메모리(321)에 기억되어 있던 계수 세트의 값의 변화가 임계값 S11 이상이라고 판정된 경우, 그 처리는 단계 S294로 진행한다.
단계 S294에서, 변경 처리부(332)는 계수 세트에 포함되는 각 계수의 값을 도 50에서 도시한 바와 같이 스프링 모델에 의해 변경하고, 그 처리는 단계 S295로 진행한다.
한편, 단계 S293에서, 조작 신호로서 입력된 값과 계수 메모리(321)에 기억되어 있던 계수 세트의 값의 변화가 임계값 S11 이상이 아니라고 판정된 경우, 그 처리는 단계 S296으로 진행한다.
단계 S296에서 변경 처리부(332)는 계수 세트에 포함되는 각 계수의 값을 도 51에서 도시한 바와 같이 균형 모델에 의해 변경하고, 그 처리는 단계 S295로 진행한다.
단계 S295에서, 변경 처리부(332)는 계수 판독 기입부(331)를 제어하여, 변경한 계수 세트의 값을 계수 메모리(321)에 덮어쓰기로 기억시키고, 그 처리는 단계 S291로 되돌아가 그 이후의 처리가 반복된다.
그리고, 단계 S291에서, 계수값이 조작되어 있지 않다고 판정된 경우, 즉, 사용자가 표시부(203)에 표시된 화상이 사용자의 기호의 화상이라고 판정된 경우, 단계 S291로 되돌아가 이하 마찬가지의 처리가 반복된다.
이상의 계수 변경 처리에 의해 사용자는 맵핑 처리에 이용되는 계수 세트를 변화시켜 사용자에게 있어 최적의 처리를 실행시키는 것이 가능해진다. 또한, 계수 세트의 각 계수의 값을 변경하는 것은 맵핑 처리부(311)에 의한 맵핑 처리「처리 내용」이 변경되어진다.
또한, 도 52의 계수 변경 처리에서는 계수의 변화의 크기가 소정의 임계값 S11 이상일 때에는 조작된 계수의 값에 따라 계수 세트의 모든 계수값을 스프링 모델로 변경시키고, 임계값 S11보다 작을 때는 계수 세트의 모든 계수값을 균형 모델로 변경시키기 위해서 계수 세트를 변경시키는 알고리즘이 변화한다. 따라서, 도 41의 최적화 장치(301)의 처리부(311)에서도 사용자의 조작에 따라 그「처리 내용」뿐만 아니라, 그 「처리 구조」도 변경되고 이에 따라 사용자에게 있어 최적의 신호 처리가 행해지고 있다고 할 수 있다.
또한, 상술한 바와 같이, 계수 메모리(321)에 기억되는 계수 세트가 최소 N승 오차법에 의해 구해지는 것인 경우, 예를 들면, 복수의 지수 N에 대응하는 계수 세트를 사전에 계수 메모리(321)에 기억시켜 두고, 계수 변경부(322)가 사용자의 조작에 기초를 둔 조작부(202)로부터의 조작 신호에 따라 지정된 지수 N에 대응하는 계수 세트로 변경시키도록 해도 된다. 이 경우, 계수 메모리(321)에 기억되는 각 계수 세트는 사용자의 조작에 기초하여 조작부(202)로부터 입력되는 지수 N에 대응한 최소 N승 오차법에 의해 생성된 것으로 변경되는, 즉, 상이한 계수 세트 생성 알고리즘에 의해 생성된 계수 세트로 변경되므로 「처리 구조」가 변경되어 있다고 할 수 있다.
다음에, 도 53를 참조하여, 도 41의 최적화 장치(301)에 내부 정보 생성부(371)를 설치한 실시예에 대하여 설명한다. 또한, 도 53에서는, 내부 정보 생성부(371)가 설치된 것 이외의 점에 대해서는, 도 41에서 나타낸 최적화 장치(301)와 마찬가지이다.
내부 정보 생성 장치(371)는 처리부(311)의 내부 정보로서, 예를 들면, 계수 메모리(321)에 기억되어 있는 계수 세트를 판독하여 표시부(203)에 표시 가능한 화상 신호로 변환한 후 표시부(203)에 출력하여 표시시킨다.
다음에, 도 54의 흐름도를 참조하여, 도 53의 최적화 장치(301)의 화상 최적화 처리에 대하여 설명한다. 이 화상 최적화 처리도 도 41의 최적화 처리(301)가 행하는 화상 최적화 처리와 마찬가지로, 계수 변경 처리와 맵핑 처리로 이루어지지 만, 맵핑 처리는 도 35나 도 38에서 설명한 맵핑 처리와 동일하기 때문에 여기서는 계수 변경 처리에 대해서만 설명한다.
계수 변경 처리에서는 단계 S311 내지 S315에서, 도 52의 단계 S291 내지 S296에서의 경우와 각각 마찬가지의 처리가 행해진다.
그리고, 단계 S315에서, 도 52의 단계 S295에서의 경우와 마찬가지로 변경 후의 계수 세트가 계수 메모리(321)에 기억된 후는, 단계 S317로 진행하고, 내부 정보 생성부(371)는 계수 메모리(321)에 기억되어 있는 계수 세트의 각 계수값을 판독하여 표시부(203)에서 표시 가능한 화상 신호로 변환하여 표시부(203)에 출력하여 표시시킨다. 이 때, 표시부(203)에는 예를 들면 상술한 도 39에서 도시한 바와 같은 3차원 분포도나, 또는, 도 40에서 도시한 2차원 분포도와 같은 형식으로 하여 계수 세트의 각 계수값을 표시하도록 할 수 있다.
단계 S317의 처리 후는, 단계 S311로 되돌아가 이하 마찬가지의 처리가 반복된다.
도 54의 계수 변경 처리에 따르면, 계수 메모리(321)에 기억된 계수 세트의 값이 내부 정보로서 표시되기 때문에 사용자는 이 계수 세트를 보면서 사용자에게 있어 최적의 처리를 실행하는 계수 세트가 얻어지도록, 조작부(202)를 조작하는 것이 가능해진다.
또한, 맵핑 처리부(222)의 곱합 연산부(252)(도 31)에서는 수학식 39의 1차식이 아니라, 2차 이상의 고차식을 연산함으로써 출력 신호를 구하도록 하는 것이 가능하다.
다음에, 도 55를 참조하여 입력 신호로서의 화상 신호로부터 텔롭 부분을 추출하는 최적화 장치(401)의 구성예에 대하여 설명한다.
최적화 장치(401)의 특징량 검출부(411)는 조작부(402)로부터 입력되는 조작 신호에 기초하여 예를 들면 지정된 2 종류의 특징량을 입력 신호로서의 화상 신호의 각 화소에 대하여 검출하여 검출한 특징량의 정보를 처리 결정부(412)에 출력한다. 또한, 특징량 검출부(411)는 입력된 화상 신호로부터 텔롭이 추출되기까지의 동안에 내부의 버퍼(421)에 입력 신호로서의 화상 신호를 기억하여 처리부(413)에 출력한다. 조작부(402)는 도 41이나 도 53의 조작부(202)와 마찬가지의 것이다. 또한, 특징량 검출부(411)는 지정된 2 종류의 특징량을 입력 신호로서의 화상 신호의 각 화소에 대하여 검출할 뿐인 것에 한하지 않고, 예를 들면, 복수 종류의 특징량을 동시에 검출하여 그 중에서 지정된 2 종류의 특징량을 출력하는 것이어도 되고, 2 종류 이상의 특징량을 동시에 검출하여 동시에 출력하는 것이어도 된다.
처리 결정부(412)는 특징량 검출부(411)로부터 입력된 특징량에 기초하여 후단의 처리부(413)가 화상 신호에 대하여 실시하는 처리를 예를 들면 화소 단위로 결정하여 결정한 처리 내용을 처리부(413)에 출력한다.
처리부(413)는 버퍼(421)로부터 판독한 입력 신호로서의 화상 신호에 처리 결정부(412)로부터 입력된 처리 내용의 처리를 화소 단위로 실시하여 표시부(403)에 출력하여 표시시킨다.
다음에 도 56을 참조하여 특징량 검출부(411)의 구성에 대하여 설명한다. 특징량 검출부(411)의 버퍼(421)는 입력 신호로서의 화상 신호를 일시적으로 기억 하여 처리부(413)에 공급한다. 특징량 추출부(422)는 특징량 선택부(423)에 의해 선택된 2 종류의 특징량을 입력 신호로서의 화상 신호로부터 추출하여 처리 결정부(412)에 출력한다. 특징량 선택부(423)는 조작부(402)로부터 입력되는 조작 신호에 기초하여 특징량 추출부(422)에 대하여 입력 신호로부터 추출하여야 할 특징량을 지정하는 정보를 공급한다. 선택 가능한 특징량으로서는 예를 들면, 화상 신호의 각 화소마다의 휘도값, 라플라시안, 소벨, 프레임간 차분, 필드간 차분, 배경 차분, 및, 소정 범위 내의 각 특징량으로부터 얻어지는 값(총합, 평균, 다이내믹 레인지, 최대값, 최소값, 중앙값, 또는, 분산 등)등이지만 그 이외의 특징량이어도 된다.
다음에, 도 57을 참조하여 처리 결정부(412)의 구성에 대하여 설명한다. 처리 결정부(412)의 특징량 인식부(431)는 특징량 검출부(421)로부터 입력되어 오는 복수의 특징량의 종류를 인식하고, 인식한 특징량의 종류를 나타내는 정보와 함께 그 특징량 그 자체를 처리 내용 결정부(432)에 출력한다. 처리 내용 결정부(432)는 특징량 인식부(431)로부터 입력되는 특징량의 종류를 나타내는 정보와, 특징량 그 자체에 기초하여 처리 내용 데이터베이스(433)에 기억되어 있는 각 특징량마다 사전에 설정되어 있는 처리 내용을 결정하고, 결정한 처리 내용을 처리부(413)에 출력한다.
다음에, 도 58을 참조하여, 처리부(413)의 구성에 대하여 설명한다. 처리부(413)의 처리 내용 인식부(441)는 처리 결정부(412)로부터 입력되어 오는 처리 내용을 인식하고, 인식한 처리를 실행하도록 처리 실행부(442)에 대하여 명령한 다. 처리 실행부(442)는 처리 내용 인식부(441)로부터의 각 화소마다의 명령에 기초하여 버퍼(421)를 통해 입력되는 입력 신호에 대하여 지정된 처리를 실시하여 표시부(202)에서 표시 가능한 화상 신호로 변환하여 표시부(403)에 출력하여 표시시킨다.
또한, 도 55의 최적화 장치(401)는 화상 신호로부터 텔롭을 추출하는 것이기때문에 처리 내용은 각 화소마다 텔롭 부분으로서 추출할것인지의 여부(표시시킬 것인지의 여부)의 처리가 되지만, 그 이외의 처리를 화상 신호에 실시하도록 해도 되고, 텔롭 부분이라고 인식된 화소에 대해서는 입력 신호가 그대로 출력되고, 텔롭 부분 이외라고 인식된 화소에 대해서는 출력하지 않도록 하는 처리여도 된다. 또한, 여기서는 설명을 간단히 하기 위해서 입력 신호로서 입력되는 화상이 1 프레임의 정지 화상인 것으로 한다. 단지, 도 55의 최적화 장치(401)는 동화상에도 적용 가능하다.
다음에, 도 59의 흐름도를 참조하여 도 55의 최적화 장치에 의한 텔롭 추출 최적화 처리에 대하여 설명한다.
단계 S331에서, 특징량 검출부(411)의 특징량 추출부(422)는 특징량 선택부(423)로부터 2 종류의 특징량이 선택되었는지의 여부를 판정하여, 선택될 때까지 그 처리를 반복한다. 즉, 사용자가 조작부(402)를 조작함으로써 입력되어 오는 특징량의 종류에 따른 조작 신호에 기초하여 특징량 선택부(423)가 선택된 특징량을 나타내는 정보를 특징량 추출부(422)에 입력할 때까지 단계 S331의 처리가 반복된다. 예를 들면, 특징량 선택부(423)로부터 특징량을 선택하는 정보가 입력되 었다고 판정된 경우, 즉, 사용자가 조작부(402)를 조작하여 2 종류의 특징량을 선택하였다고 판정한 경우 그 처리는 단계 S332로 진행한다.
단계 S332에서, 특징량 추출부(422)는 선택된 2 종류의 특징량을 입력 신호로서의 화상 신호로부터 각 화소마다 추출하여 처리 결정부(412)에 출력한다. 이 때, 버퍼(421)에는 입력 신호로서의 화상 신호가 기억된다.
단계 S333에서, 처리 결정부(412)는 입력된 2 종류의 특징량에 기초하여 각 화소마다 처리 내용을 결정하여 처리부(413)에 출력한다. 보다 상세하게는 특징량 인식부(431)가 입력된 2 종류의 특징량을 식별하여 식별한 특징량의 종류와, 특징량 그 자체를 처리 결정부(412)에 출력한다. 또한, 처리 결정부(412)는 각 화소마다 입력된 2 종류의 특징량으로부터 처리 내용을 결정한다. 보다 구체적으로는, 처리 내용 데이터베이스(433)에는 임의의 2 종류의 특징량 A와 특징량 B의 조합으로 하여 (특징량 A, 특징량 B)마다 그 특징량 A와 B의 각 값과, 그 특징량 A와 B를 갖는 화소에 대한 처리 내용(지금의 경우, 텔롭인지 아닌지의 정보)을 대응시킨 LUT (Look Up Table)라고 불리는 테이블이 기억되어 있고, 처리 내용 결정부(432)는 현재 처리하려고 하고 있는 주목 화소의 (특징량 A, 특징량 B)의 조합에 기초하여, LUT를 참조하여 대응하는 처리, 즉, 텔롭으로서 처리할지 여부를 결정하여 처리부(413)에 출력한다. 또한, 이 LUT는, 예를 들면, 사전에 텔롭만의 화상으로부터 복수의 특징량을 추출하고 그 조합을 텔롭이라고 하는 정보에 대응시킴으로써 생성된다. 또한, LUT의 상세에 대해서는 후술한다.
단계 S334에서, 처리부(413)는 처리 결정부(412)로부터 입력된 처리 내용에 따라 버퍼(421)를 통해 입력되는 입력 신호로서의 화상 신호를 처리하여, 표시부(403)에 표시 가능한 화상 신호로 변환하여 표시부(403)에 출력하여 표시시킨다. 보다 상세하게는, 처리부(413)의 처리 내용 인식부(441)는 처리 결정부(412)로부터 입력된 처리 내용을 인식하여 대응하는 화소에 대하여 결정된 처리를 실행하도록 처리 실행부(442)에 명령한다. 처리 실행부(442)는 버퍼(421)에 기억된 입력 신호로서의 화상 신호를 판독하여 각 화소마다 대응하는 처리를 실행한 후, 표시부(403)에서 표시 가능한 화상 신호로 변환하여 표시부(403)에 출력함과 함께 표시시킨다.
단계 S335에서, 특징량 검출부(411)는 텔롭이 추출되어 있다고 간주되고 있는지의 여부를 판정한다. 즉, 사용자가 표시부(403)에 표시된 화상을 보아 텔롭이 추출되어 있다고 판단되지 않을 때, 재차 특징량의 조합을 변경하여 텔롭 추출 처리를 하도록 조작부(402)를 조작한다. 이 조작에 대응하는 조작부(402)로부터의 조작 신호가 입력되었을 때, 그 처리는, 단계 S331로 되돌아가 그 이후의 처리가 반복된다.
한편, 사용자의 주관에 의해 텔롭이 추출되어 있다고 판정할 때, 사용자가 조작부(402)를 조작함으로써 처리 종료를 나타내는 조작 신호가 특징량 검출부(421)에 입력되고 이 때 처리는 종료한다.
즉, 상술한 처리에 의해, 사용자가 표시부(403)에 표시되는 화상을 보아 텔롭이 추출되어 있다고 판단할 수 있을 때까지, 단계 S331 내지 S335의 처리가 반복되므로 사용자에게 있어 최적의 특징량의 조합을 설정하여, 입력 신호로서의 화상 신호로부터 텔롭을 추출시키도록 할 수 있다. 또한, 상술에서 처리 내용을 결정하기 위해서 2 종류의 특징량을 이용하였지만, 그 이외의 수의 종류의 특징량에 의해 처리 내용을 결정하도록 해도 된다. 또한, 단계 S331의 처리에서는 사용자에 의한 조작부(402)의 소정의 조작(예를 들면, 업 다운을 지정하는 버튼 조작 등)에 대응한 조작 신호에 의해 소정의 순서로 복수의 특징량의 조합이 차례로 전환하도록 하여 사용자가 특히 특징량의 종류를 의식하지 않더라도 특징량을 전환하여 입력할 수 있도록 해도 된다.
이상의 처리에서는, 사용자에 의한 조작부(402)의 조작에 따라 특징량 검출부(411)에서 검출되는 특징량의 종류가 처리부(413)에서 텔롭이 검출되도록 변경된다. 이 특징량 검출부(411)에서 검출되는 특징량의 종류의 변경은 처리 결정부에서의 처리 내용의 결정 알고리즘의 변경을 나타내는 것이 되기 때문에 특징량 검출부(411)에서도 「처리 구조」가 변경되어 있다고 할 수 있다.
또한, 특징량 검출부(411)에서는, 상술한 바와 같이, 각종 특징량의 검출이 가능하지만 이 특징량 중에는 그 검출을 행하는 데, 예를 들면, 라플라시안 등과 같이 필터 계수 등의 파라미터의 설정이 필요한 것이 존재한다. 특징량의 검출을 위한 파라미터는 조작부(402)의 조작에 대응하여 변경 가능하도록 할 수 있지만 이 파라미터의 변경에 따르면 특징량 검출부(411)에서 검출되는 특징량의 종류 자체는 변하지 않지만 검출되는 특징량의 값은 변화한다. 따라서, 이 특징량의 검출을 위한 파라미터의 변경은 특징량 검출부(411)의 「처리 내용」의 변경이라고 할 수 있다.
다음에, 도 60을 참조하여, 도 55의 최적화 장치(401)에 내부 정보 생성부(511)를 설치한 최적화 장치(501)의 구성에 대하여 설명한다. 도 60의 최적화 장치(501)에서는 내부 정보 생성부(511)를 설치한 것 이외의 구성에 대해서는 기본적으로 도 55의 최적화 장치(401)와 마찬가지이다.
최적화 장치(501)의 내부 정보 생성부(511)는 내부 정보로서, 예를 들면 특징량 검출부(411)의 특징량 선택부(423)로부터 출력되는 특징량 선택 정보를 추출하여 현재 선택된 특징량의 종류를 표시부(403)에 표시시킨다.
여기서, 도 61의 흐름도를 참조하여, 최적화 장치(501)에 의한 텔롭 추출 최적화 처리에 대하여 설명한다.
또한, 이 처리는 도 59의 흐름도를 참조하여 설명하였다, 도 55의 최적화 장치(401)에 의한 텔롭 추출 최적화 처리와 기본적으로는 마찬가지의 처리이고, 선택된 특징량의 종류를 나타내는 정보가 표시되는 처리가 가해진 점이 다르다.
즉, 단계 S341에서 특징량 검출부(411)의 특징량 추출부(422)는 특징량 선택부(423)로부터 2 종류의 특징량이 선택되었는지의 여부를 판정하여 선택될 때까지 그 처리를 반복한다. 예를 들면, 특징량 선택부(423)로부터 특징량을 선택하는 정보가 입력되었다고 판정된 경우, 즉, 사용자가 조작부(402)를 조작하여 2 종류의 특징량을 선택하였다고 판정한 경우, 그 처리는 단계 S342로 진행한다.
단계 S342에서, 내부 정보 생성부(511)는 선택된 2 종류의 특징량의 종류를 나타내는 정보를 특징량 선택부(423)로부터 추출하여 선택된 2 종류의 특징량의 종류의 명칭을 표시부(403)에 표시시킨다.
이하, 단계 S343 내지 S346에서, 도 59의 단계 S332 내지 S335에서의 경우와 각각 마찬가지의 처리가 행해진다.
도 61의 처리에 따르면, 특징량 검출부(411)의 처리에 관한 내부 정보인 현재 선택되어 있는 특징량의 종류가 표시(제시)되기 때문에, 사용자는 현재 선택되어 있는 특징량의 종류를 파악하면서 입력 신호로서의 화상 신호로부터 텔롭을 높은 정밀도로 추출할 수 있도록 한 최적의 특징량의 조합을 설정할 수 있다.
또한, 내부 정보 생성부(511)에서는 예를 들면, 특징량 검출부(411)에서 검출된 각 화소의 대한 2 종류의 특징량의 값의 분포를 내부 정보로서 생성하고, 표시부(403)에서 후술하는 도 65나 도 67에 도시한 바와 같이 표시시키도록 하는 것이 가능하다. 또한, 상술한 바와 같이, 조작부(402)의 조작에 따라 특징량의 검출을 위한 파라미터를 변경하는 경우에는 내부 정보 생성부(511)에서는 그 파라미터를 내부 정보로서 표시부(403)에 표시(제시)시키도록 하는 것도 가능하다.
다음에, 도 62를 참조하여, 도 60의 내부 정보 생성부(511)에 대신하여, 처리 결정부(412)로부터 내부 정보를 생성하는 내부 정보 생성부(611)를 설치하도록 한 최적화 장치(601)의 구성 예에 대하여 설명한다.
도 62의 최적화 장치(601)는 도 60의 내부 정보 생성부(511)에 대신하여, 내부 정보 생성부(611)를 설치한 것 이외는, 도 60의 최적화 장치(501)와 마찬가지로 구성되어 있다.
내부 정보 생성부(611)는 내부 정보로서 예를 들면, 처리 결정부(412)의 처리 내용 결정부(432)에 의해 결정된 처리 내용과, 실제로 검출된 2 종류의 특징량 에 기초하여 2 종류의 특징량을 축으로 했을 때의 텔롭 추출된 화소와, 텔롭 추출되지 않은 화소의 분포도(예를 들면, 도 65, 도 67)를 생성하여, 표시부(403)에 표시시킨다.
다음에, 도 63의 흐름도를 참조하여, 도 62의 최적화 장치(601)에 의한 텔롭 추출 최적화 처리에 대하여 설명한다.
또한, 이 처리는 도 61의 흐름도를 참조하여 설명한, 도 60의 최적화 장치(501)에 의한 텔롭 추출 최적화 처리와 기본적으로는 마찬가지의 처리이고, 선택된 2 종류의 특징량을 축으로 한, 화소가 텔롭 추출되었는지 여부의 분포가 표시되는 처리가 가해진 점이 다르다.
즉, 단계 S351에서, 특징량 검출부(411)의 특징량 추출부(422)는 특징량 선택부(423)로부터 2 종류의 특징량이 선택되었는지의 여부를 판정하여, 선택될 때까지 그 처리를 반복한다. 예를 들면, 특징량 선택부(423)로부터 특징량을 선택하는 정보가 입력되었다고 판정된 경우, 즉, 사용자가 조작부(402)를 조작하여 2 종류의 특징량을 선택하였다고 판정한 경우 그 처리는 단계 S352로 진행한다.
단계 S352에서, 특징량 추출부(422)는 선택된 2 종류의 특징량을 입력 신호로서의 화상 신호로부터 각 화소마다 추출하여 처리 결정부(412)에 출력한다. 이 때, 버퍼(421)에는 입력 신호로서의 화상 신호가 기억된다.
단계 S353에서, 처리 결정부(412)는 입력된 2 종류의 특징량에 기초하여 각 화소마다 처리 내용을 결정하여 처리부(413)에 출력한다.
단계 S354에서, 처리부(413)는 처리 결정부(412)로부터 입력된 처리 내용에 따라 버퍼(421)로부터 판독되는 입력 신호로서의 화상 신호를 처리하여 표시부(403)에 표시 가능한 화상 신호로 변환하여 표시부(403)에 출력하여 표시시킨다.
단계 S355에서, 내부 정보 생성부(611)는 처리 결정부(412)의 처리 내용 결정부에 의해 결정된 처리 내용을 2 종류의 특징량을 축으로 하여 플로팅한 분포도를 내부 정보로서 생성하여 표시부(403)에 표시시킨다.
단계 S356에서, 특징량 검출부(411)는 텔롭이 추출되어 있다고 간주되어 있는지의 여부를 판정한다. 단계 S356에서, 사용자의 조작에 대응하는 조작부(202)로부터의 조작 신호가 입력되어 텔롭이 추출되어 있지 않다고 간주하였을 때, 그 처리는 단계 S351로 되돌아가 그 이후의 처리가 반복된다.
한편, 단계 S356에서, 사용자가 조작부(402)를 조작함으로써 처리 종료를 나타내는 조작 신호가 특징량 검출부(421)에 입력되었을 때 처리는 종료한다.
즉, 예를 들면, 도 64에서 도시한 바와 같은 입력 신호로서의 화상 신호가 입력된 것으로 한다. 도 64에서는, 배경 화상(여기서는, 텔롭이 아닌 부분)에 대하여, 도면 중앙에 「타이틀 ABC」가 텔롭으로서 표시되어 있다.
단계 S355에서는, 내부 정보 생성부(611)는 도 64에서 도시한 바와 같은 화상 신호로부터 검출된 2 종류의 특징량을 각각 축으로 하여 텔롭으로서 추출되었는지의 여부를 나타내는 분포를 예를 들면, 도 65에서 도시한 바와 같은 2차원 분포도로서 나타낸다.
도 65의 예에서는, 특징량으로서 선택된 것은 라플라시안과 프레임 간 차분 의 2 종류로 되어 있고, 도면 중 동그라미 표시가 텔롭 추출된 화소를 나타내고, ×표시가 텔롭 추출되지 않은 화소를 나타낸다. 도 65의 예에서는, 텔롭 추출된 화소와, 텔롭 추출되지 않은 화소가 분포 상 경계선이 없는 상태로 되어 있다(텔롭의 화소와 텔롭이 아닌 화소의 분포가 나뉘어져 있지 않다). 이러한 분포로 되어 있는 경우, 텔롭은 배경 화상으로부터 추출되어 있지 않은 것이 많고, 예를 들면, 도 66에서 도시한 바와 같이 텔롭 부분이 경계가 아니고 그 주위에 경계(621, 622)가 생기게 되는 상태로 된다.
이러한 때, 사용자는 텔롭이 추출되어 있지 않다고 판정하는 것으로 이루어지고, 결과적으로, 단계 S351 내지 S356의 처리가 반복되어진다. 그리고, 이 처리가 반복됨에 따라 예를 들면, 선택된 특징량이 라플라시안 합(17 화소×17 화소)(주목 화소를 중심으로 한 17화소×17 화소 범위의 화소의 각 라플라시안의 총합)과 휘도 DR(각 화소의 휘도값의 주목 화소를 중심으로 한 17 화소×17 화소 범위의 화소의 다이내믹 레인지)이 되었을 때, 도 67에서 도시한 바와 같이, 분포도가 생성된 것으로 한다. 이 때, 도 67에서는, 텔롭으로서 추출된 화소의 분포와, 텔롭으로서 추출되지 않은 화소의 분포가 시각적으로 분리된 상태로 되어 있다. 즉, 특징량으로서 라플라시안 합과 휘도 DR의 조합을 선택했을 때에, 입력 화상의 텔롭과 그 이외의 부분이 분리되도록 분포하는 것이 도시되어 있다. 이러한 분포가 얻어졌을 때, 각 화소로부터 검출된 특징량으로서의 라플라시안 합과 휘도 DR를 임계값 처리 등으로 함으로써, 도 68에서 도시한 바와 같이, 텔롭 부분을 높은 정밀도로 추출할 수 있다.
이와 같이, 상술한 처리에 의해, 사용자가 표시부(403)에 표시되는 화상과 같이, 선택된 2 종류의 특징량을 축으로 한 2차원 분포를 보아 텔롭이 추출되어 있다고 판단할 수 있을 때까지, 단계 S351 내지 S356의 처리가 반복됨으로써 처리 결정부(412)의 처리에 관한 내부 정보로서의 특징량으로부터 본 텔롭과 검출된 화소와 배경 화소와의 분포가 표시됨으로써, 사용자는 특징량으로부터 본 텔롭과 검출된 화소와, 배경 화소와의 분포를 파악하면서 입력 신호로서의 화상 신호로부터 텔롭을 높은 정밀도로 추출할 수 있도록 조작부(402)를 조작하여 사용자에게 있어 최적의 특징량의 조합을 설정할 수 있다.
다음에, 도 69를 참조하여 도 62에서 나타낸 최적화 장치(601)의 처리 결정부(412)를 대신하여, 처리 결정부(711)를 설치한 최적화 장치(701)의 구성에 대하여 설명한다. 최적화 장치(701)에서는 처리 결정부(412)를 대신하여 처리 결정부(711)가 설치된 것 이외의 구성은 도 62에서 나타낸 최적화 장치(601)와 마찬가지이다.
처리 결정부(711)는 조작부(702)(조작부(402)와 같은 것)로부터의 조작 신호에 기초하여 처리 내용 데이터베이스(433)의 LUT의 내용을 변경함과 함께 특징량 검출부(411)로부터 입력된 특징량에 기초하여 후단의 처리부(413)가 화상 신호에 대하여 실시하는 처리를 화소 단위로 결정하고, 결정한 처리 내용을 처리부(413)에 출력한다.
다음에, 도 70을 참조하여, 처리 결정부(711)에 대하여 설명한다. 기본적인 구성은 도 50의 처리 결정부(412)와 마찬가지이지만, 처리 내용 결정부(432)를 대 신하여, 처리 내용 결정부(721)가 설치되어 있다. 처리 내용 결정부(721)는 조작부(702)로부터 입력된 조작 신호에 기초하여 처리 내용 데이터베이스(433)에 기억된 2 종류의 특징량의 조합마다 처리 내용이 결정되어 있는 LUT를 변경한다. 보다 상세하게는, 입력 신호로서의 화상 신호를 그대로 표시한 상태에서 조작부(202)에 의해 텔롭으로서 지정된 영역의 화소의 특징량을 텔롭이라고 간주하고, 그 이외의 영역을 텔롭 이외의 처리를 하도록 LUT을 설정한다.
LUT가 변경된 후, 처리 내용 결정부(721)는 특징량 인식부(431)로부터 입력되는 특징량을 식별하는 정보와, 특징량 그 자체에 기초하여 처리 내용 데이터베이스(433)에 기억되어 있는 각 특징량마다 사전에 설정되어 있는 처리 내용을 결정하고 결정한 처리 내용을 처리부(413)에 출력한다.
다음에, 도 71의 흐름도를 참조하여, 도 69의 최적화 장치(701)에 의한 텔롭 추출 최적화 처리에 대하여 설명한다.
단계 S361에서 입력 신호로서의 화상 신호가 그대로 표시부(403)에 표시된다. 보다 상세하게는 특징량 검출부(411)의 버퍼(421)가 입력 신호로서의 화상 신호를 수신하여 기억하고, 처리부(413)가 버퍼(421)에 기억되어 있는 입력 신호로서의 화상 신호를 그대로 판독하여 처리하지 않고 그대로 표시부(403)에 출력하여 표시시킨다.
단계 S362에서 처리 결정부(711)의 처리 내용 결정부(721)는 조작부(702)로부터 텔롭과 배경이 지시되었는지의 여부를 판정한다. 즉, 예를 들면, 단계 S361의 처리에서, 도 72에서 도시한 바와 같이 처리되어 있지 않은 화상 신호가 표시되 어 있는 것으로 한다. 이 때, 사용자가 조작부(702)를 통해 포인터(741)를 조작하여(예를 들면, 드래그하거나, 클릭하여), 범위(742) 등에 의해 조잡하게 텔롭 부분을 지정하거나 하여, 예를 들면, 도 73에서 도시한 바와 같이, 텔롭부(752)와 도 72의 범위(742)의 외측 부분의 배경부(751)가 지정될 때까지 그 처리를 반복하고, 텔롭과 배경부가 지시되었을 때 지시된 각각이 대응하는 화소 위치를 내장하는 메모리(도시하지 않음)에 기억하고, 그 처리는 단계 S363으로 진행한다.
단계 S363에서, 특징량 검출부(421)의 특징량 선택부(423)는 조작부(202)로부터 소정의 2 종류의 특징량을 선택하는 조작 신호가 입력되었는지의 여부를 판정하여, 소정의 2 종류의 특징량이 지정될 때까지 그 처리를 반복하고, 소정의 2 종류의 특징량이 선택되었을 때, 그 처리는 단계 S364로 진행한다.
단계 S364에서, 특징량 추출부(422)는 특징량 선택부(423)에 입력된 특징량의 종류를 선택하는 정보에 기초하여 입력 신호로부터 선택된 2 종류의 특징량을 추출하여 처리 결정부(711)에 출력한다.
단계 S365에서, 내부 정보 생성부(611)는 처리 결정부(711)에 입력된 2 종류의 특징량과, 텔롭과 배경에 지정된 화소 위치의 정보에 기초하여 2 종류의 특징량을 축으로 한 2차원 분포도를 생성하고, 단계 S366에서 그 2차원 분포도를 표시부(403)에 표시한다. 보다 상세하게는, 처리 결정부(711)의 특징량 인식부(431)가 특징량의 종류를 인식하여, 그 종류를 나타내는 정보와 특징량 그 자체를 처리 내용 결정부(721)에 출력하고, 처리 내용 결정부(721)가 특징량과 그 종류를 나타내는 정보 외에 텔롭과 배경에 지정된 화소 위치를 나타내는 정보를 내 부 정보 생성부(611)에 출력함으로써, 내부 정보 생성부(611)가 텔롭과 배경에 지정된 화소 위치를 나타내는 정보에 기초하여 예를 들면 도 74에서 도시한 바와 같은 특징량의 2차원 분포도를 생성한다. 즉, 도 74의 예에서는, 라플라시안과 프레임간 차분이 특징량으로서 선택되어 있는 예가 도시되어 있지만, 도면 중 동그라미 표시가 텔롭의 화소를 나타내고, 도면 중 ×표시가 배경으로서 지정된 화소를 나타내고 있다. 도 74의 2차원 분포도에서는, 예를 들면, 소정의 화소에 대하여 라플라시안이 X라는 값으로 검출되고, 프레임간 차분이 Y라는 값으로 검출되어, 그 화소가 텔롭으로서 지정되어 있을 때, 2차원 분포 상의 (X, Y)의 위치에 동그라미 표시가 표시되도록 되어 있고, 배경이 지정되어 있을 때 그 위치에 × 표시가 표시되도록 되어 있다.
단계 S367에서, 처리 내용 결정부(721)는 텔롭과 배경이 분리되어 있다고 판정된 것을 나타내는 조작 신호가 입력되었는지의 여부를 판정한다. 즉, 예를 들면, 도 74에서 도시한 바와 같은 2차원 분포의 경우, 텔롭을 나타내는 동그라미 표시의 분포와, 배경을 나타내는 ×표시의 분포는 완전하게 분리되어 있다고는 할 수 없는 상태이기 때문에, 당연한 것이지만 표시 화면 상에서도 텔롭이 추출되어 있는 것을 기대할 수 없고, 예를 들면, 도 73에서 도시한 바와 같이, 배경부(751)와 텔롭부(752)와는 별도로 경계(753)가 생기거나 하여, 배경과 텔롭이 나뉘어져 있지 않은 상태인 것이 많다. 이와 같이 사용자로부터 볼 때 텔롭이 추출되어 있지 않다고 판정되는 경우, 사용자가 재차 특징량을 변경하려고 할 때, 사용자의 조작에 따라서 조작부(702)는 분리되어 있지 않은 것을 나타내는 조작 신호를 처리 결정부(711)의 처리 내용 결정부(721)에 출력한다. 이 경우, 단계 S367에서, 텔롭과 배경이 분리되어 있다고 판정된 것을 나타내는 조작 신호가 입력되지 않았다고 판정되고, 그 처리는 단계 S363으로 되돌아가 그 이후의 처리가 반복된다.
이 처리에 의해, 다시 2 종류의 특징량이 선택되어진다.
또한, 단계 S366의 처리에 의해, 예를 들면, 도 75에서 도시한 바와 같이, 텔롭부를 나타내는 동그라미 표시와, 배경을 나타내는 ×표시가 어느 정도 분리된 상태일 때, 조작부(702)는 사용자에 의해 조작되어 분리되어 있음을 나타내는 조작 신호를 처리 결정부(711)의 처리 내용 결정부(721)에 출력한다. 이 경우, 단계 S367에서, 텔롭과 배경이 분리되어 있다고 판정된 것을 나타내는 조작 신호가 입력되었다고 판정되고, 그 처리는 단계 S368로 진행한다.
단계 S368에서, 처리 내용 결정부(721)는 2차원 분포 상에서 텔롭 부분이 지시되었는지의 여부를 판정한다. 즉, 도 75에서 도시한 바와 같이, 표시된 분포 상에 포인터(741)에 의해 텔롭을 나타내는 동그라미 표시가 많이 분포하는 범위로서, 예를 들면, 범위(761) 등을 지정하는 조작 신호가 조작부(702)로부터 입력되었는지 여부를 판정하여, 범위가 지정될 때까지 그 처리를 반복하고 지정되었다고 판정된 경우 그 처리는 단계 S369로 진행한다.
단계 S369에서, 처리 내용 결정부(721)는 조작부(702)로부터 입력된 도 75의 범위(761)를 지정하는 조작 신호에 기초하여, 각 특징량의 조합에 대응하는 텔롭 추출의 유무를 나타내는 LUT 상의 처리 내용을 변경하여, 변경된 LUT에 따라 처리 내용을 결정하여 처리부(413)에 출력함과 동시에, 처리부(413)는 입력된 처리 내용 에 따라 버퍼(421)를 통해 입력된 입력 신호로서의 화상 신호로부터 텔롭을 추출하여 표시부(403)에 표시시킨다. 보다 상세하게는, 처리 내용 결정부(721)는 조작부(702)로부터 입력된, 도 75에서 도시한 바와 같은 2차원 분포 상의 범위를 나타내는 정보에 기초하여 지정된 범위에 분포하는 화소에 대응하는 2 종류의 특징량의 조합을 텔롭으로서 추출하도록 처리 내용 데이터베이스(433)의 LUT를 갱신하여, 갱신한 LUT에 따라 각 화소의 처리 내용을 결정하여 처리부(413)에 출력한다.
단계 S370에서, 처리 내용 결정부(721)는 텔롭이 추출되어 있다고 판정되고 있는지의 여부를 판정한다. 즉, 사용자로부터 볼 때 텔롭이 추출되어 있다고 판단하고 있는지 또는, 텔롭이 추출되어 있지 않다고 판단하고 있는지를 판정한다. 예를 들면, 도 76에서 도시한 바와 같이, 단계 S369의 처리에 의해 표시부(403)에 출력 화상이 표시되어 있을 때, 텔롭부와 배경부의 경계(771, 772)는 텔롭 그 자체가 아니기 때문에, 완전하게 텔롭이 추출되어 있다고는 할 수 없다. 그래서, 사용자로부터 볼 때 이와 같이 텔롭이 추출되어 있지 않다고 판단될 때, 사용자는 조작부(702)를 조작하여 텔롭이 추출되어 있지 않음을 나타내는 조작 신호를 입력한다. 처리 결정부(711)의 처리 내용 결정부(721)는 이 조작 신호를 수신했을 때, 단계 S370에서, 텔롭이 추출되어 있지 않다고 판정하고 그 처리는 단계 S371로 진행한다.
단계 S371에서, 2차원 분포 상의 텔롭 범위를 새로 지정하는지의 여부가 판정되고, 2차원 분포 상의 텔롭의 범위를 새로 지정하지 않은 것이 선택되었다고 판정된 경우, 그 처리는, 단계 S368로 되돌아가 그 이후의 처리가 반복된다.
한편, 단계 S370에서, 예를 들면, 단계 S371의 처리에서 텔롭의 범위를 새로 지정하는 것이 선택된 경우, 단계 S368에서, 도 77에서 도시한 바와 같이, 도 75의 범위(761)에 비교하여, 텔롭을 나타내는 동그라미 표시 분포가 존재하는 부분을 보다 작게 좁게 한 범위(781)(로부터 텔롭으로서 추출된 동그라미 표시를 많이 포함하는 부분을 좁게 한 범위)를 설정한다. 즉, 도 75에서, 특징량의 분포 상의 범위(761)를 텔롭 부분으로서 설정해도 결과적으로 도 76에 도시한 바와 같이, 텔롭부와 배경부의 경계(771, 772)는 텔롭 그 자체가 아니기 때문에 완전하게 텔롭이 추출되지 않은 것이 된다.
그래서, 사용자는 조작부(702)를 조작함으로써, 특징량의 분포 상의 범위로서(텔롭 부분으로서 지정하는 부분의 범위로서), 범위(761)보다 좁은 범위(781)를 설정한다. 이와 같이 범위를 설정함으로써, 텔롭으로서 추출되는 특징량의 분포 상의 범위는 좁혀진 것이 된다, 즉, 보다 배경 부분이 배제되기 쉬워진다. 단, 텔롭으로서 추출되는 범위를 지나치게 좁게 하면, 텔롭 자신도 추출되기 어렵게 되기 때문에, 사용자는 추출된 텔롭을 보면서, 이러한 처리를 반복함으로써 최적의 텔롭의 추출 상태를 모색한다.
그리고, 예를 들면, 도 78에서 도시한 바와 같이 텔롭이 추출된 상태가 되었을 때, 단계 S370에서, 사용자가 텔롭이 추출되었다고 판정하였을 때는 사용자에 의해 조작부(702)가 조작되어 텔롭이 추출되어 있다고 판단하고 있는 것을 나타내는 조작 신호가, 처리 결정부(711)의 처리 내용 결정부(721)에 입력되어지기 때문에 텔롭이 추출되어 있다고 판정하고 그 처리는 종료한다.
또한, 단계 S371에서, 텔롭의 범위를 지정하지 않는다고 판정된 경우, 그 처리는 단계 S363으로 되돌아가 그 이후의 처리가 반복된다.
이러한 처리에 의해, 우선, 사용자가 입력 신호로서의 화상 신호 상에서 텔롭과 배경부와, 2 종류의 특징량을 선택하고, 또한, 선택된 텔롭과 배경이 선택된 특징량을 2축으로 하였을 때에 어떻게 2차원 분포하는지를 볼 때, 2차원 분포 상에서 텔롭의 범위를 바꿀지(좁힐지), 또는, 선택하는 2 종류의 특징량을 변경하고, 다시, 추출되는 텔롭을 보면서, 사용자의 기호에 맞는 상태로 될 때까지, 처리를 반복함으로써 사용자의 기호에 맞는 텔롭 추출 처리를 실현할 수 있다. 또한, 단계 S362의 처리에서 텔롭과 배경 처리가 지시되었다고 판정할 때, 텔롭과 배경의 범위의 지정은, 그 후, 2 종류의 특징량의 선택이나 2차원 분포의 텔롭이 좁혀진 모형이 되는 정보를 생성할 수 있으면 되기 때문에 그 범위는, 조잡한 것이어도 된다.
이상의 처리에서는, 사용자에 의해 선택된 2 종류의 특징량의 조합에 따라 텔롭인지, 또는, 배경인지의 처리로 나뉘어지므로 사용자의 조작에 의해 「처리 내용」이 변경되어진다.
또한, 이상의 처리에서는, 조작부(402)에서, 2 종류의 특징량을 지정함으로써 특징량의 종류가 결정되었지만, 예를 들면, 도 79에서 도시한 바와 같이, 조작부(702)의 소정의 조작 버튼에 의해 업 또는 다운의 지시를 조작 신호로서 보내는 것만으로 2 종류의 특징량의 조합을 변경하지 않도록 해도 된다. 즉, 초기 상태로서, 상태 A로 나타내는 특징량 a, b의 조합에 의해 처리를 실행하고, 다음에, 다운 을 지시하면, 상태 B로 나타내는 특징량 b, c의 조합에 의해 처리를 실행하고, 또한, 다운을 지시하면, 상태 C로 나타내는 특징량 c, d의 조합으로 처리를 실행하고, 예를 들면, 상태 C일 때, 업을 지정하면 상태 B로 되돌아가고, 또, 상태 B일 때, 업을 지정하면 상태 A로 되돌아가도록 해도 된다. 이와 같이 함으로써, 사용자는, 특징량의 종류에 대하여, 특별히 의식하지 않고 차례차례로 특징량을 바꿔 갈 수 있기 때문에 효율적으로 텔롭을 추출하기 위한 특징량의 조합을 좁혀가는 것이 가능해진다.
다음에, 도 80을 참조하여, 도 55의 최적화 장치(401)의 특징량 검출부(411)에 대신하여, 기존의 특징량으로부터 새로운 특징량을 생성할 수 있는 특징량 검출부(811)를 설치한 최적화 장치(801)의 구성에 대하여 설명한다. 도 80에서는, 도 55의 최적화 장치(401)의 특징량 검출부(411)에 대신하여 특징량 검출부(811)를 설치한 것 이외의 구성에 대해서는 마찬가지이다.
또한, 조작부(802)는 조작부(402)와 마찬가지인 것이다.
도 81을 참조하여, 도 80의 특징량 검출부(811)의 구성에 대하여 설명한다. 특징량 검출부(811)에서는, 버퍼(421), 및, 특징량 추출부(422)는 도 56에서 나타낸 특징량 검출부(411)와 동일하다. 특징량 선택부(821)는 조작부(802)로부터 입력되는 특징량을 지정하는 조작 정보에 기초하여, 특징량 추출부(422)를 제어하여, 사전에 준비된 특징량 중 지정된 2 종류의 특징량을 추출하여, 처리 결정부(413)에 출력시키거나, 또는, 특징량 데이터베이스(823)에 사전에 기억되어 있는 특징량을 처리 결정부(413)에 출력한다. 보다 상세하게는, 특징량 데이터베이스(823)에는 특징량의 종류와, 그 특징량의 검출 방법에 대한 특징량 정보가 기억되어 있다. 특징량 추출부(422)는 이 특징량 정보에 기초하여 특징량 선택부(821)에 의해 선택된 특징량의 종류에 대응하는 특징량 정보를 특징량 데이터베이스(823)로부터 판독하여, 그 특징량 정보에 기록되어 있는 특징량의 검출 방법에 따라 입력 신호로부터 선택된 특징량을 검출한다.
사전에 준비된 특징량 정보로서는 각 화소에 대한 휘도값, 라플라시안, 소벨, 프레임간 차분(예를 들면, 주목 화소(x, y)의 프레임 간 차분 fs(x, y)는, fs (x, y)=fo(x, y)-f1(x, y)로 나타내고, 여기서, fo(x, y)는 현재의 주목 화소를 나타내고, f1(x, y)는 공간 상의 동일한 위치의 1 프레임전의 화소를 나타낸다), 필드 간 차분, 배경 차분, 미분값(예를 들면, 주목 화소(x, y)의 미분값 fb (x, y)는, fb(x, y)=4×fo(x, y)-fo(x-1, y)-fo(x+1, y)-fo(x, y+1)-fo(x, y-1)로 나타내고, 여기서, fo(x, y)는 현재의 주목 화소를 나타내고, fo(x-1, y), fo(x+1, y), fo(x, y+1), fo(x, y-1)는, 각각 공간 상의 x, y 방향으로 1 화소씩 떨어진 화소를 나타낸다), 및, 소정 범위 내의 각 특징량으로부터 얻어지는 값(총합, 평균, 다이내믹 레인지, 최대값, 최소값, 중앙값, 또는, 분산 등) 등이 있지만, 이 이외의 것이어도 된다.
특징량 가공부(822)는 사용자로부터 입력된 조작 신호에 기초하여, 특징량 데이터베이스(823)에 기억된 특징량으로부터 새로운 특징량을 생성한다. 보다 상 세하게는, 특징량 가공부(822)는 사용자로부터 입력된 조작 신호에 기초하여 특징량 데이터베이스(823)에 기억된 특징량 정보로부터 새로운 특징량 정보를 생성하여 그 특징량 정보에 기초하여 특징량 추출부(422)가 새로운 특징량을 추출한다.
또한, 특징량 데이터베이스(823)에 특징량의 종류로서 특징량 A, B, C의 특징량 정보가 기억되어 있는 것으로 하면, 특징량 A의 DR(다이내믹 레인지 주목 화소에 대하여 소정의 위치에 존재하는 복수의 화소의 특징량 A의 값을 판독하여, 그 최소값과 최대값의 차분이 되는 값을 각 화소마다 구함으로써 생성되는 값)을 새로운 특징량 A'에 대응한 특징량 정보로 해도 되고, 마찬가지로, 최대값, 중앙값, 최소값, 합, 분산, 임계값 이상이 값을 취하는 화소 수(임계값도 설정하는 것이 가능함), 또는, 복수의 특징량 사이의 선형 1차 결합을 구하여, 새로운 특징량 정보로 해도 된다. 또한, 복수의 특징량 사이의 선형 1차 결합이란, 예를 들면, 소정의 화소에 대한 라플라시안이 xa, 소벨이 xb, 프레임간 차분이 xc이고, 이 3 종류의 특징량을 선형 1차 결합시킬 때, 이 3 종류의 각 특징량에 계수를 곱해 합을 취한 것, 즉, A×xa+ B×xb+ C×xc가 이 화소의 새로운 특징량으로 하는 것이다. 여기서, A, B, C는, 계수이지만, 이 계수는, 예를 들면, 텔롭 추출의 경우, 조작부(802)에 의해 텔롭부를 조잡하게 지정한 범위의 화소를 교사 데이터로 하고, 복수의 특징량을 학생 데이터로 한 학습 처리에 의해, 도 43, 및, 도 44에서 설명한 바와 같이 하여 구할 수 있다. 또한, 도 81에서는, 특징량 데이터베이스(823)에 기억된 특징량은, 특징량 A 내지 C가 특징량 추출부(422)에 의해 추출된 특징량 의 종류를 나타내고, 특징량 A' 내지 C'가 특징량 가공부(822)에 의해 특징량 A 내지 C로부터 가공된 특징량의 종류인 것으로 한다(실제로 기억되어 있는 것은 각각의 특징량 정보(특징량의 종류와, 그 검출 방법을 나타내는 정보)이다).
특징량 데이터베이스(823)에 기억되는 특징량 정보는, 특징량 추출부(422)에 의해 추출되는 타이밍에서 지정된 것을 기억시키도록 해도 되고, 사전에 특징량 데이터베이스(823)에 기억되어 있는 특징량 정보가 특징량 가공부(822)에 의해 가공된 것이어도 되고, 그 이외의 방법으로 사전에 기억시켜 두는 것이어도 된다.
다음에, 도 82의 흐름도를 참조하여, 도 80의 최적화 장치(801)에 의한 텔롭 추출 최적화 처리에 대하여 설명한다. 단계 S381에서, 특징량 검출부(411)의 특징량 추출부(422)는 특징량 선택부(821)로부터 2 종류의 특징량이 선택되었는지의 여부를 판정하여, 선택되지 않은 경우, 그 처리는 단계 S386로 진행한다. 또한, 예를 들면, 특징량 선택부(423)로부터 특징량을 선택하는 정보가 입력되었다고 판정된 경우, 즉, 사용자가 조작부(802)를 조작하여, 2 종류의 특징량을 선택하였다고 판정한 경우, 그 처리는 단계 S382로 진행한다.
단계 S382에서, 특징량 추출부(422)는 선택된 2 종류의 특징량을 입력 신호로서의 화상 신호로부터 각 화소마다 추출하여 처리 결정부(412)에 출력한다. 이 때, 버퍼(421)에는 입력 신호로서의 화상 신호가 기억된다.
단계 S383에서, 처리 결정부(412)는 입력된 2 종류의 특징량에 기초하여 각 화소마다 처리 내용을 결정하여 처리부(413)에 출력한다.
단계 S384에서, 처리부(413)는 처리 결정부(412)로부터 입력된 처리 내용에 따라 버퍼(421)를 통해 입력되는 입력 신호로서의 화상 신호를 처리하여, 표시부(403)에 표시 가능한 화상 신호로 변환하여 표시부(403)에 출력하여 표시시킨다.
단계 S385에서, 특징량 검출부(411)는 텔롭이 추출되어 있다고 간주되고 있는지의 여부를 판정한다. 즉, 사용자가 표시부(403)에 표시된 화상을 볼 때 텔롭이 추출되어 있다고 판단되지 않을 때, 재차 특징량의 조합을 변경하여 텔롭 추출 처리를 하기 위해 조작부(802)를 조작한다. 이 조작에 대응하는 조작부(802)로부터의 조작 신호가 입력되었을 때 그 처리는 단계 S386으로 진행한다.
단계 S386에서, 특징량 검출부(811)의 특징량 가공부(822)는, 특징량의 가공이 지시되었는지의 여부를 판정하여 특징량의 가공의 지시가 없을 때, 그 처리는 단계 S381로 되돌아간다. 한편, 단계 S386에서, 특징량 가공부(822)는 조작부(802)로부터 특징량의 가공을 지시하는 조작 신호가 입력되었다고 판정한 경우, 그 처리는 단계 S387로 진행한다.
단계 S387에서, 특징량 가공부(822)는 기초가 되는 특징량이 지정되었는지의 여부를 판정하여, 기초가 되는 특징량을 지정하는 정보가 입력될 때까지 그 처리를 반복한다. 예를 들면, 조작부(802)가 조작되어, 특징량 A를 지시하는 조작 신호가 입력되면 입력 신호로서의 화상 신호의 특징량 A를 기초가 되는 특징량이 입력되었다고 판정하여 그 처리는 단계 S388로 진행한다.
단계 S388에서, 특징량 가공부(822)는 가공 처리 내용이 지시되었는지 여부를 판정하여, 가공 처리 내용이 지시될 때까지 그 처리를 반복한다. 예를 들면, 조작부(802)가 조작되어 DR를 지시하는 조작 신호가 입력되면 가공 처리 내용이 지정되었다고 판정하여 그 처리는 단계 S389로 진행한다.
단계 S389에서, 특징량 가공부(822)는 지정된 특징량을 지정된 가공 처리 내용으로 가공하여 새로운 특징량을 구하여 특징량 데이터베이스(823)에 기억시키고, 그 처리는 단계 S381로 되돌아간다. 즉, 지금의 경우, 특징량 가공부(822)는 특징량 데이터베이스(823)로부터 특징량 A를 판독하여, 지정된 가공 처리 내용인 DR을 취득함으로써 새로운 특징량 A'을 생성하여 특징량 데이터베이스(823)에 기억시키고, 그 처리는 단계 S381로 되돌아간다.
한편, 단계 S385에서, 사용자의 주관에 의해 텔롭이 추출되어 있다고 판정할 때, 사용자는 조작부(802)를 조작함으로써 처리 종료를 나타내는 조작 신호가 특징량 검출부(421)에 입력되고 이 때 처리는 종료한다.
즉, 상술한 처리에 의해, 사용자가 표시부(403)에 표시되는 화상을 볼 때 텔롭이 추출되어 있다고 판단할 수 있을 때까지, 단계 S381 내지 S389의 처리가 반복됨으로써 사용자에게 있어 최적의 특징량의 조합을 설정하여, 입력 신호로서의 화상 신호로부터 텔롭을 추출시키도록 할 수 있고, 또한, 사용자가 선택하는 특징량의 종류를 늘림으로써, 많은 특징량의 조합을 설정하는 것이 더욱 가능하게 되어, 사용자에게 있어 최적의 처리를 실행시키도록 할 수 있다.
이상의 처리에서는, 사용자에 의해 지정된 2 종류의 특징량에 따라 처리 내용이 결정되어 입력 신호로서의 화상 신호로부터 텔롭을 추출하도록 하고 있으므로, 사용자의 조작에 따라 그 「처리 내용」이 사용자에게 있어 원하는 출력 신호 가 얻어지도록 변경되어 있다고 할 수 있다. 또한, 사용자의 조작에 따라 특징량의 2축(선택되는 2 종류의 특징량)이 전환됨과 함께 새로운 특징량도 설정됨으로써(특징량의 종류가 증가한다), 이들 특징량의 조합에 의해 처리 내용(예를 들면, 텔롭으로서 처리할지 여부)를 결정하는 알고리즘이 변경되는 것이 되므로, 「처리 내용」 중, 「처리 구조」도 변경되어 있다고 할 수 있다.
또한, 텔롭 추출은 시행 착오에 의해 추출하는 특징량의 종류를 전환해 감으로써 얻어지는 것이지만, 특징량을 고정적으로 이용한 방법에서는 상정하는 특징량을 변화시키기 위해서는 프로그램을 재기입하거나 시스템 그 자체를 만들어낼 필요가 있었기 때문에 텔롭 추출을 위한 최적의 알고리즘을 발견적으로 얻기 위해서는 몇번이나 시스템을 만들어낼 필요가 있어 현실적으로는 상당히 곤란한 것이었다. 이것에 대하여, 본 발명의 최적화 장치에서는 실시간으로 새로운 특징량을 추출시키는 것이 가능하고, 그 특징량 분포의 제시도 가능하기 때문에 사용자에 의해 행해지는 시행 착오도 용이한 것이 되어, 텔롭 추출에 최적의 특징량을 발견할 가능성을 향상시킬 수 있다.
다음에, 도 83을 참조하여, 도 80의 최적화 장치(801)에 특징량 검출부(911)와 내부 정보 생성부(912)를 설치하도록 한 최적화 장치(901)의 구성에 대하여 설명한다. 도 83의 최적화 장치(901)에서는 특징량 검출부(811)에 대신하여 특징량 검출부(911)가 설치되고, 또한, 새롭게 내부 정보 생성부(912)가 설치된 것 이외의 구성은 도 80에서 나타낸 최적화 장치(801)와 기본적으로는 마찬가지이다.
동일하다.
다음에, 도 84를 참조하여 특징량 검출부(911)의 구성에 대하여 설명한다. 특징량 검출부(911)는 도 81의 특징량 검출부(811)와 기본적으로 마찬가지의 구성이지만, 특징량 선택부(821)를 대신하여 특징량 선택부(921)를, 특징량 가공부(822)를 대신하여 특징량 가공부(922)를 설치하고 있다. 어느것이나, 기본적인 기능은 마찬가지이만, 특징량 선택부(911)는 선택된 특징량의 종류의 정보를 내부 정보 생성부(912)에 공급하고 있는 점이 다르다. 또한, 특징량 가공부(922)는 표시부(403)에 가공 내용의 지시에 관한 화상 정보를 출력하고 있는 점이 다르다.
내부 정보 생성부(912)는 도 60의 내부 정보 생성부(511)와 마찬가지인 것이다. 또한, 조작부(902)는 조작부(402)와 마찬가지인 것이다.
다음에, 도 85의 흐름도를 참조하여, 도 83의 최적화 장치(901)에 의한 텔롭 추출 최적화 처리에 대하여 설명한다. 또한, 이 처리는 기본적으로 도 82의 흐름도를 참조하여 설명한 처리와 마찬가지이지만, 내부 정보 생성부(912)에 의해 선택된 특징량을 표시하는 점이 다르다.
즉, 단계 S391에서, 특징량 검출부(911)의 특징량 추출부(422)는 특징량 선택부(921)로부터 2 종류의 특징량이 선택되었는지 여부를 판정하여, 선택되지 않은 경우, 그 처리는, 단계 S397로 진행한다. 또한, 예를 들면, 특징량 선택부(921)로부터 특징량을 선택하는 정보가 입력되었다고 판정된 경우, 그 처리는 단계 S392로 진행한다.
단계 S392에서, 내부 정보 생성부(912)는 선택된 2 종류의 특징량의 종류를 나타내는 정보를 특징량 선택부(921)로부터 추출하여, 선택된 2 종류의 특징량의 종류의 명칭을 표시부(403)에 표시시킨다.
단계 S393에서, 특징량 추출부(422)는 선택된 2 종류의 특징량을 입력 신호로서의 화상 신호로부터 각 화소마다 추출하여 처리 결정부(412)에 출력한다. 이 때, 버퍼(421)에는 입력 신호로서의 화상 신호가 기억된다.
단계 S394에서, 처리 결정부(412)는 입력된 2 종류의 특징량에 기초하여 각 화소마다 처리 내용을 결정하여 처리부(413)에 출력한다.
단계 S395에 있어서, 처리부(413)는 처리 결정부(412)로부터 입력된 처리 내용에 따라 버퍼(421)를 통해 입력되는 입력 신호로서의 화상 신호를 처리하여, 표시부(403)에 표시 가능한 화상 신호로 변환하여 표시부(403)에 출력하여 표시시킨다.
단계 S396에서 특징량 검출부(411)는 텔롭이 추출되어 있다고 간주되어 있는지의 여부를 판정한다. 즉, 사용자가, 표시부(403)에 표시된 화상을 보고 텔롭이 추출되어 있다고 판단되지 않을 때, 재차 특징량의 조합을 변경하여 텔롭 추출 처리를 하기 위해 조작부(902)를 조작한다. 이 조작에 대응하는 조작부(902)로부터의 조작 신호가 입력되었을 때, 그 처리는, 단계 S397로 진행한다.
단계 S397에서, 특징량 검출부(911)의 특징량 가공부(922)는 특징량의 가공이 지시되었는지의 여부를 판정하여, 특징량의 가공의 지시가 없을 때 그 처리는 단계 S391로 되돌아간다. 한편, 단계 S397에서, 특징량 가공부(922)는 조작부(902)로부터 특징량의 가공을 지시하는 조작 신호가 입력되었다고 판정한 경 우 그 처리는 단계 S398로 진행한다.
단계 S398에서, 특징량 가공부(922)는 예를 들면, 도 86에서 도시한 바와 같은 가공 내용의 지시 화면을 표시한다. 도 86에서는, 도면 중 좌측에는 기초 특징량 표시부(931)가 설치되고, 기초가 되는 특징량으로서, 지금 현재 특징량 데이터베이스(823)에 기억되어 있는 특징량이 표시되어 있다. 지금의 경우, 특징량 A 내지 C, 및, A' 내지 C'가 표시되어 있다. 또한, 그 우측에는 가공 처리 내용 선택 란(932)이 표시되어 있다. 지금의 경우, DR, 최대치, 최소치, 중앙치, 최소치, 합, 분산, 임계치 이상의 값을 취하는 화소 수, 또는, 선형 1차 결합이 표시되어 있고, 임계값 이상의 값을 취하는 화소 수에 대해서는 임계값을 설정하는 란(932a)이 설정되어 있고, 또한, 선형 1차 결합을 선택하는 경우에 선택되는 특징량을 선택하는 란(932b)도 설정되어 있다. 또한, 각 값의 스케일을 설정하는 스케일 설정란(933)이 표시된다. 스케일 값이란, 주목 화소를 중심으로 하였을 때의 영역을 나타내는 것으로, 예를 들면, DR을 검출할 때에 필요한 화소를 3화소×3화소나, 5화소×5 화소로 하도록 하여 나타내는 화소의 영역을 나타내는 값이다.
단계 S399에서, 특징량 가공부(922)는 기초가 되는 특징량이 지정되었는지의 여부를 판정하여, 기초가 되는 특징량을 지정하는 정보가 입력될 때까지 그 처리를 반복한다. 예를 들면, 조작부(902)가 조작되어 특징량 A를 지시하는 조작 신호가 입력되면 입력 신호로서의 화상 신호의 특징량 A를 기초가 되는 특징량이 입력되었다고 판정하여 그 처리는 단계 S400으로 진행한다.
단계 S400에서, 특징량 가공부(922)는 가공 처리 내용이 지시되었는지의 여 부를 판정하여 가공 처리 내용이 지시될 때까지 그 처리를 반복한다. 예를 들면, 조작부(902)가 조작되어 DR를 지시하는 조작 신호가 입력되면 가공 처리 내용이 지정되었다고 판정하여 그 처리는 단계 S401로 진행한다.
단계 S401에서, 특징량 가공부(922)는 지정된 특징량을 지정된 가공 처리 내용으로 가공하여, 특징량 데이터베이스(823)에 기억시키고, 그 처리는 단계 S391로 되돌아간다.
한편, 사용자의 주관에 의해 텔롭이 추출되어 있다고 판정할 때, 사용자는 조작부(902)를 조작함으로써 처리의 종료를 나타내는 조작 신호가 특징량 검출부(421)에 입력되고 이 때 처리는 종료한다.
즉, 상술한 처리에 의해 사용자는 표시되어 있는 기본이 되는 특징량이나, 가공 처리 내용을 보면서 조작함으로써 최적의 처리를 행할 수 있는 특징량을 인식하는 것이 가능해진다. 또한, 그 후는 사용자에게 있어 최적의 처리를 실현할 수 있는 특징량을 즉시 지정하는 것이 가능해진다. 또한, 새로운 특징량을 생성할 때에 필요한 입력 정보를 표시 화면에 따라 입력함으로써 사용자가 선택하는 특징량의 종류를 늘릴 수 있기 때문에 많은 특징량의 조합을 효율적으로 설정하는 것이 가능하게 된다.
이상의 처리에서는, 사용자에 의해 지정된 2 종류의 특징량에 따라 처리 내용이 결정되어, 입력 신호로서의 화상 신호로부터 텔롭을 추출하도록 하고 있으므로, 사용자의 조작에 따라 그 「처리의 내용」이 사용자에게 있어 원하는 출력 신호가 얻어지도록 변경되어 있다고 할 수 있다. 또한, 사용자의 조작에 따라 특징 량의 2축(선택되는 2 종류의 특징량)이 전환됨과 함께 새로운 특징량도 설정됨(특징량의 종류가 증가함)으로써, 이들 특징량의 조합에 의해 처리 내용(예를 들면, 텔롭으로서 처리할지 여부)를 결정하는 알고리즘이 변경되므로, 「처리의 내용」 중, 「처리의 구조」도 변경되어 있다고 할 수 있다.
다음에, 도 87을 참조하여, 도 83의 최적화 장치(901)의 내부 정보 생성부(912)를 대신하여 내부 정보 생성부(1011)를 설치한 최적화 장치(1001)의 구성에 대하여 설명한다. 도 87에서는, 내부 정보 생성부(912)를 내부 정보 생성부(1011)로 바꾸고, 또한, 처리 결정부(412)를 도 69의 처리 결정부(711)로 바꾼 것 이외의 구성은 도 83의 최적화 장치(901)와 마찬가지이다.
내부 정보 생성부(1011)는 기본적으로는 내부 정보 생성부(912)와 마찬가지이지만, 또한, 처리 결정부(412)의 처리 내용 결정부(432)에 의해 결정된 각 화소에 결정한 처리 내용의 정보를 판독하여 표시부(403)에 표시시킨다(도 69의 내부 정보 생성부(611)의 기능이 부가되어 있다).
또한, 조작부(1002)는, 조작부(402)와 마찬가지인 것이다.
다음에, 도 88의 흐름도를 참조하여, 도 87의 최적화 장치(1001)에 의한 텔롭 추출 최적화 처리에 대하여 설명한다.
단계 S411에서, 특징량 검출부(911)의 버퍼(421)가 입력 신호로서의 화상 신호를 수신하여 기억하고, 처리부(413)가 버퍼(421)에 기억되어 있는 입력 신호로서의 화상 신호를 그대로 판독하여 처리하지 않고 그대로 표시부(403)에 출력하여 표시시킨다.
단계 S412에서, 처리 결정부(711)의 처리 내용 결정부(721)는 조작부(1002)로부터 텔롭과 배경이 지시되었는지 여부를 판정하여, 텔롭과 배경이 지시될 때까지 그 처리를 반복하고, 텔롭과 배경이 지시되면, 그 처리는 단계 S413으로 진행한다.
단계 S413에서, 특징량 검출부(911)의 특징량 추출부(422)는 특징량 선택부(921)로부터 2 종류의 특징량이 선택되었는지 여부를 판정하여, 선택되지 않은 경우, 그 처리는 단계 S421로 진행한다. 또한, 예를 들면, 특징량 선택부(921)로부터 특징량을 선택하는 정보가 입력되었다고 판정된 경우, 그 처리는 단계 414로 진행한다.
단계 S414에서, 내부 정보 생성부(912)는 선택된 2 종류의 특징량의 종류를 나타내는 정보를 특징량 선택부(921)로부터 추출하여 선택된 2 종류의 특징량의 종류의 명칭을 표시부(403)에 표시(제시)시킨다.
단계 S415에서, 특징량 추출부(422)는, 선택된 2 종류의 특징량을 입력 신호로서의 화상 신호로부터 각 화소마다 추출하여 처리 결정부(412)에 출력한다. 이 때, 버퍼(421)에는 입력 신호로서의 화상 신호가 기억된다.
단계 S416에서, 처리 결정부(711)는 입력된 2 종류의 특징량에 기초하여 각 화소마다 처리 내용을 결정하여 처리부(413)에 출력한다.
단계 S417에서, 내부 정보 생성부(1011)는 처리 결정부(711)에 입력된 2 종류의 특징량과 텔롭과 배경에 지정된 화소 위치의 정보에 기초하여 2 종류의 특징량을 축으로 한 2차원 분포도를 생성하여, 단계 S418에서, 그 2차원 분포도를 표시 부(403)에 표시한다. 보다 상세하게는, 처리 결정부(711)의 특징량 인식부(431)가 특징량의 종류를 인식하여, 그 종류를 나타내는 정보와 특징량 그 자체를 처리 내용 결정부(721)에 출력하여 처리 내용 결정부(721)가 특징량과 그 종류를 나타내는 정보 외에 텔롭과 배경에 지정된 화소 위치를 나타내는 정보를 내부 정보 생성부(1011)에 출력함으로써 내부 정보 생성부(1011)가 텔롭과 배경에 지정된 화소 위치를 나타내는 정보에 기초하여 예를 들면 도 74에서 도시한 바와 같은 특징량의 2차원 분포도를 생성한다.
단계 S419에서, 처리부(413)는 처리 결정부(711)로부터 입력된 처리 내용에 따라 버퍼(421)를 통해 입력되는 입력 신호로서의 화상 신호를 처리하여, 표시부(403)에 표시 가능한 화상 신호로 변환하여 표시부(403)에 출력하여 표시시킨다.
단계 S420에서, 특징량 검출부(911)는 텔롭이 추출되어 있다고 간주되어 있는지의 여부를 판정한다. 즉, 사용자가 표시부(403)에 표시된 화상을 보고 텔롭이 추출되어 있다고 판단되지 않을 때, 재차 특징량의 조합을 변경하여 텔롭 추출 처리를 하기 위해 조작부(1002)를 조작한다. 이 조작에 대응하는 조작부(1002)로부터의 조작 신호가 입력되었을 때 그 처리는 단계 S421로 진행한다.
단계 S421에서 특징량 검출부(911)의 특징량 가공부(922)는 특징량의 가공이 지시되었는지의 여부를 판정하여 특징량의 가공의 지시가 없을 때 그 처리는 단계 S413으로 되돌아간다. 한편, 단계 S421에서 특징량 가공부(922)는 조작부(1002)로부터 특징량의 가공을 지시하는 조작 신호가 입력되었다고 판정한 경우, 그 처리는 단계 S422로 진행한다.
단계 S422에서, 특징량 가공부(922)는 가공 내용의 지시 화면을 표시한다(도 86).
단계 S423에서, 특징량 가공부(922)는 기초가 되는 특징량이 지정되었는지의 여부를 판정하여, 기초가 되는 특징량을 지정하는 정보가 입력될 때까지 그 처리를 반복한다. 입력 신호로서 기초가 되는 특징량이 입력되었다고 판정한 경우, 그 처리는 단계 S424로 진행한다.
단계 S424에서, 특징량 가공부(922)는 가공 처리 내용이 지시되었는지의 여부를 판정하여, 가공 처리 내용이 지시될 때까지 그 처리를 반복한다. 가공 처리 내용이 입력되었다고 판정된 경우 그 처리는 단계 S425로 진행한다.
단계 S425에서, 특징량 가공부(922)는, 지정된 기초가 되는 특징량을 지정된 가공 처리 내용으로 가공하여 특징량 데이터베이스(823)에 기억시키고, 그 처리는 단계 S413으로 되돌아간다.
한편, 단계 S420에서, 사용자의 주관에 의해 텔롭이 추출되어 있다고 판정할 때, 사용자는 조작부(1102)를 조작함으로써 처리의 종료를 나타내는 조작 신호가 특징량 검출부(421)에 입력되고 이 때 처리는 종료한다.
즉, 상술한 처리에 의해, 사용자가 표시부(403)에 표시되는 화상을 보아 텔롭이 추출되어 있다고 판단할 수 있을 때까지, 단계 S411 내지 S425의 처리가 반복됨으로써 사용자에게 있어 최적의 특징량의 조합을 설정하여 입력 신호로서의 화상 신호로부터 텔롭을 추출시키도록 할 수 있고, 사용자가 선택 가능한 특징량의 종류 를 늘림으로써 더욱 많은 특징량의 조합을 설정하는 것이 가능해져 사용자에게 있어 최적의 처리를 실행시키도록 할 수 있다. 또한, 기존의 특징량을 가공하여 새로운 특징량을 생성할 때에 필요한 가공 지시 화면을 표시하도록 하였기 때문에, 사용자는 그 표시에 따라 효율적으로 가공 처리를 실행할 수 있다. 또한, 그 때, 화소의 특징량 상의 텔롭과 배경의 분리 상태를 보면서 특징량을 변화시키면서 반복하여 텔롭의 추출 처리를 실행할 수 있기 때문에 정밀도가 높은 텔롭 추출이 가능한 특징량을 용이하게 선택하는 것이 가능해진다.
다음에, 도 89를 참조하여 도 55의 최적화 장치(401)의 특징량 검출부(411), 처리 결정부(412), 및 조작부(402)를 대신하여, 특징량 검출부(1111), 처리 결정부(1112), 및, 조작부(1102)를 설치하였을 때의 최적화 장치(1101)의 구성에 대하여 설명한다. 도 89에서는, 특징량 검출부(1111), 처리 결정부(1112), 및, 조작부(1102)가 새롭게 설치된 것 이외의 구성에 대해서는 도 55의 최적화 장치(401)와 마찬가지이다.
특징량 검출부(1111)는 도 56의 특징량 검출부(411)의 구성 중, 특징량 선택부(423)가 설치되지 않고 특징량 추출부(422)가 사전에 설정된 2 종류의 특징량을 추출하는 것 이외의 구성은 마찬가지이다.
처리 결정부(1112)는 처리 내용 데이터베이스(433)에 기억된 LUT가 갱신되는 이력 정보를 기억하고 그 이력 정보에 대응하여 LUT를 변경한다. 또한, 처리 결정부(1112)의 구성에 대해서는 도 90을 참조하여 후술한다.
또한, 조작부(1102)은 조작부(402)와 마찬가지인 것이다.
여기서, 도 90을 참조하여, 처리 결정부(1112)의 구성에 대하여 설명한다. 도 90의 처리 결정부(1112)는 도 57의 처리 결정부(412)의 처리 내용 결정부(432) 대신에, 처리 내용 결정부(1121)를 설치하고, 또한, 이력 메모리(1122)가 추가되어 있는 점 이외는 처리 결정부(412)와 마찬가지의 구성이다.
처리 내용 결정부(1121)는 처리 내용 데이터베이스(433)에 기억된 LUT를 변경시키는 조작의 이력 정보를 이력 메모리(1122)에 기억시켜, 이력 정보에 기초하여 LUT를 변경시킨다. 이 이외의 기능에 대해서는, 도 57의 처리 결정부(412)의 처리 내용 결정부(432)와 마찬가지인 것이다.
다음에, 도 91의 흐름도를 참조하여 도 89의 최적화 장치(1101)에 의한 텔롭 추출 최적화 처리에 대하여 설명한다.
단계 S431에서, 특징량 검출부(1111)의 특징량 추출부(411)는 입력 신호로서의 화상 신호로부터 소정의 2 종류의 특징량을 추출하여 처리 결정부(1112)에 출력한다. 이 때, 버퍼(421)에는 입력 신호로서의 화상 신호를 기억한다.
단계 S432에서, 처리 결정부(1112)의 처리 내용 결정부(1121)는 특징량 인식부(431)로부터 입력되는 특징량의 종류와 특징량에 기초하여, 처리 내용 데이터베이스(433)에 기억된 LUT을 참조하여 각 화소마다 처리 내용을 결정하여 처리부(413)에 출력한다.
단계 S433에서, 처리부(413)는 처리 결정부(1112)로부터 입력된 처리 내용에 따라 각 화소를 처리하여 표시부(403)에 출력하여 표시시킨다.
단계 S434에서, 처리 결정부(1112)의 처리 내용 결정부(1121)는 LUT를 변경 하는 조작 신호가 조작부(1102)로부터 입력되었는지의 여부를 판정한다. 즉, 사용자는 표시부(403)에 표시된 화상을 보고, 사용자의 기호의 처리가 이루어져 있는가를 주관적으로 판단하여, 그 판단 결과에 기초하여, 사용자에 의해 조작부(1102)가 조작되어, 대응하는 조작 신호가 입력되어진다. 예를 들면, 사용자의 기호에 맞는 처리가 이루어지고 있지 않은 경우(사용자의 기호에 맞춰 화상이 표시부(403)에 표시되어 있지 않은 경우), 처리 결정부(1121)의 처리 내용 데이터베이스(433)의 LUT를 변경하기 위해서 LUT의 변경의 요구가 입력되어진다.
단계 S434에서, LUT의 변경을 요구하는 조작 신호가 입력된, 즉, 사용자의 기호의 처리가 이루어지고 있지 않은 경우, 그 처리는 단계 S435로 진행한다.
단계 S435에서, LUT의 변경 처리를 오토 LUT 변경 처리에 의해 실행할 수 있는지 여부가 판정된다. 여기서, LUT의 변경 처리는, 매뉴얼 LUT 변경 처리와 오토 LUT 변경 처리가 존재한다. 오토 LUT 변경 처리가 가능한지 여부 판정의 상세에 대해서는 후술한다.
예를 들면, 단계 S435에서, 오토 LUT 변경 처리가 가능하지 않다고 판정된 경우, 그 처리는 단계 S436으로 진행하여 메뉴얼 LUT 변경 처리가 실행된다.
여기서, LUT의 변경 처리의 설명 시에 LUT의 상세에 대하여 설명해 둔다. LUT는 도 92에서 도시한 바와 같이 2개의 특징량의 조합마다 결정되어 있는 처리 내용을 나타낸 테이블이다. 도 92에서는, 2 종류의 특징량으로서 특징량 A, B의 경우에 대해 도시하고 있고, 이 예에서는 각 특징량이 8 단계(합계 64 클래스)로 분류되는 예가 도시되어 있다. 또한, 도 92에서는 특징량이 0 내지 1.0의 값으로 정규화된 것으로 하고, 특징량 A의 값 Va에 대해서는, 좌측으로부터 0≤Va<1/8, 1/8≤Va<2/8, 2/8≤Va<3/8, 3/8≤Va<4/8, 4/8≤Va<5/8, 5/8≤Va<6/8, 6/8≤Va<7/8, 7/8≤Va≤8/8, 특징량 B의 값 Vb에 대해서는, 위로부터 O≤Vb<1/8, 1/8≤V b<2/8, 2/8≤Vb<3/8, 3/8≤Vb<4/8, 4/8≤Vb<5/8, 5/8≤Vb<6/8, 6/8≤Vb<7/8, 7/8≤Vb≤8/8의 범위로 분리되어 있다. 각 처리 내용은, 도면 중에서는, 각각의 범위의 특징량이 조합에 의해 X, Y, Z의 3 종류로 분류되어 있고, 도 92의 경우, 0≤Va≤3/8, 또한, 0≤Vb≤3/8의 범위에서는 처리 내용 X, 4/8≤Va<6/8, 또는, 4/8≤Va<6/8의 범위에서는 처리 내용 Y, 그 이외의 범위에서는 처리 내용 Z로 되어 있다. 또한, 처리 내용은 다양한 지정이 가능하다. 예를 들면, 도 93 내지 도 95에서 도시한 바와 같이, 주목 화소에 대하여 처리부(413)에서 처리에 이용되는 예측 탭을 지정할 수 있다.
즉, 도 93에서는, 처리 내용 X를 나타내고 있고, 주목 화소를 P0로 하여, 공간적으로 x 방향으로 주목 화소 P0를 중심으로 하여 필터 탭 P1, P2를 설정하고, y 방향으로도 마찬가지로 주목 화소 P0를 중심으로 하여 탭 P3, P4을 설정하고, 또한, 시간적으로 주목 화소 P0를 중심으로 하여 그 전후에 탭 P5, P6(예를 들면, 동일한 화소 위치의 1 프레임 전의 탭 P6과 1 프레임 후의 P5)를 설정하고 있다. 즉, 처리 내용 X는 소위 시공간 필터의 처리이다.
또한, 도 94에서는 처리 내용 Y를 나타내고 있고, 도 93의 시공간 필터로부터 탭 P3, P4 대신에, 시간 방향으로 탭 P6보다 더 전의 타이밍의 탭 P12과, 탭 P5 보다 더 뒤의 탭 P11을 설정하고 있다. 즉, 처리 내용 Y는 소위 시간 필터의 처리이다.
또한, 도 95에서는 처리 내용 Z를 나타내고 있고, 도 93의 시공간 필터로부터 탭 P5, P6 대신에, x 방향으로 탭 P1보다 더 주목 화소로부터도 떨어진 위치에 탭 P21과, 탭 P2보다 더 주목 화소로부터도 떨어진 위치에 탭 P22을 설정하고 있다. 즉, 처리 내용 Z는 소위 공간 필터의 처리이다.
또한, 처리 내용은 그 종류도 도 92의 예와 같이 3 종류로 한정되는 것이 아니고, 당연한 것이지만 그 이외의 수의 종류로 나누어도 되고, 예를 들면, 모든 화소를 백색이나, 또는, 흑색으로 나누는 2치화 처리를 시키도록 해도 된다. 또한, 이 2치화 처리는 예를 들면, 상술한 예와 같이 텔롭부로서 추출하는 화소인지 여부의 2 치화 처리를 지정하는 것이어도 된다. 반대로, 처리 내용의 종류가 3 종류 이상이어도 된다.
다음에, 도 96의 흐름도를 참조하여 도 91의 단계 S436에서의 메뉴얼 LUT 변경 처리에 대하여 설명한다.
단계 S441에서 처리 내용 결정부(1121)는 조작부(1102)로부터 조작 신호로서 화소 위치가 지정되고 처리 내용이 지정되었는지의 여부를 판정하여, 조작부(1102)로부터 조작 신호로서 화소 위치가 지정되고, 처리 내용이 지정되기까지, 그 처리를 반복한다. 즉, 예를 들면, 도 97에서 나타내는 화면이 표시부(403)에 표시되어 있는 경우, 사용자는 표시부(403)에 표시된 화상 상에서 포인터(1131)를 조작하여 처리의 변경을 가하고 싶은 화소 위치에서 소정의 처리를 실행하여, 예를 들면 도 97에서 도시한 바와 같이 드롭 다운 리스트(1132)를 표시시키고, 또한 드롭 다운 리스트(1132)에 표시된 처리 내용 X, Y, Z 중 어느 하나를 지정할 수 있다. 단계 S441에서는 이 지정이 이루어졌을 때, 화소 위치가 지정되어 처리 내용이 지정되었다고 판단되고, 그 처리는 단계 S442로 진행한다. 지금의 경우, 도 97에서 도시한 바와 같이, 화소 위치 P41가 선택되고 처리 내용 X가 선택되어 있다.
단계 S442에서, 처리 내용 결정부(1121)는 지정된 화소 위치로부터 대응하는 2 종류의 특징량의 조합을 판독한다. 보다 상세하게는 처리 내용 결정부(1121)는 특징량 검출부(1111)에 의해 검출된 특징량 중 지정된 화소에 대응하는 2 종류의 특징량의 조합을 판독한다.
단계 S443에서, 처리 내용 결정부(1121)는 대응하는 특징량의 조합에 해당하는 처리 내용을 단계 S441에서 지정된 처리 내용으로 변경한다.
단계 S444에서, 처리 내용 결정부(1121)는 변경된 화소 위치와 처리 내용을 이력 메모리(1122)에 기억시킨다.
단계 S445에서, 처리 내용 결정부(1121)는 그 외에 LUT의 변경이 있는지 여부를 판정하여, 아직, 계속해서 LUT를 변경시키는 처리가 이루어진다고 판정한 경우, 즉, 조작부(1102)로부터 그 밖의 LUT의 변경을 지시하는 조작 신호가 입력된 경우, 그 처리는 단계 S441로 되돌아가고, 계속해서 LUT를 변경시키는 처리가 없다고 판정한 경우, 즉, 조작부(1102)로부터 LUT 의 변경의 종료를 나타내는 조작 신호가 입력된 경우 그 처리는 종료한다.
이상의 메뉴얼 LUT 변경 처리에서는, LUT의 변경이 다음과 같이 행해진다. 즉, 단계 S442에서, 얻어진 화소 위치 P41의 화소의 특징량이 예를 들면, (Va, Vb)=(0.52, 0.27)의 경우, 도 98 중 LUT의 (좌측으로부터의 위치, 위로부터의 위치)=(5,3)의 위치(LUT 상의 위치에 대해서는, 이하에서도 마찬가지로 나타낸다)에 대해서는, 도 98에서는, 처리 내용 Y가 설정되어 있다. 지금, 단계 S443에서, 도 97에 도시한 바와 같이, 처리 내용이 X로 변경되었다고 하면, 도 99에서 도시한 바와 같이 단계 S443에서, LUT의 (5,3)의 위치의 처리가 처리 내용 Y로부터 처리 내용 X로 변경된다.
도 96의 메뉴얼 LUT 변경 처리가 종료한 후, 그 처리는 도 91의 흐름도의 단계 S432의 처리로 되돌아가, 그 이후의 처리가 반복되어진다. 이 경우, LUT가 상술한 바와 같이 변경되어 있을 때는, 2 종류의 특징량의 조합이, 도 99에서 도시한 바와 같이, LUT의 (5, 3)이 되는 화소에서는 처리 내용 Y에 대응하는 처리가 실행되어진다. 결과적으로, 도 97에서 나타낸 화상 중, 화소 위치 P41과 동일한 특징량을 갖는 화소, 즉, LUT의 (5, 3)에 속하는 화소에 대응하는 처리가 변경되어, 예를 들면, 도 100에 도시한 바와 같이, 그 부분에 도 97에서의 경우와 다른 처리가 실시된 화상이 표시된다. 또한, 도 100에서는 도 97의 화소 위치 P41의 화소와 동일한 특징량을 갖는 화소가 백색이 된 예를 나타내고 있다.
도 96의 흐름도를 참조하여 설명한 처리의 예에서는, 선택된 화소의 특징량의 조합에 의해 지정되는 LUT(위의 처리 내용)만이 변경되는 예에 대하여 설명하였지만, LUT의 변경은 이것에 한하는 것이 아니다. 즉, 예를 들면, LUT 상에서 변경 이 지정된 위치에서 보아, 가까운 부분을 전부 변경된 처리 내용으로 하도록 해도 된다. 즉, 예를 들면, 도 101에서 도시한 바와 같이, LUT의 초기 상태로서, 모든 처리 내용이 Z로서 설정되어 있는 경우(LUT의 초기 상태는, 소위 디폴트의 설정이고, 모든 처리 내용이 Z가 아닌 상태여도 된다), 도 96의 흐름도의 처리에 의해, 도 102A에서 도시한 바와 같이, LUT 상의 (4, 2)의 위치의 처리 내용이 X로, (5, 2)의 위치의 처리 내용이 Y로 변경되었을 때, 도 102B에서 도시한 바와 같이, 변경된 LUT 상의 위치로부터 가까운 영역을 X 또는 Y로 변화시키도록 해도 된다. 즉, 도 102B의 경우, LUT 상의 모든 위치에서, LUT 상의 (4,2)의 위치로부터의 거리와, (5, 2)의 위치로부터의 거리를 비교하여, 가까운 위치의 처리 내용으로 모두 변경되어 있다. 결과적으로, 도 102B에서는, 왼쪽 절반의 영역이 처리 내용 X로 되고, 오른쪽 절반의 영역이 처리 내용 Y로 되어 있다.
마찬가지로 하여, 도 103A에서 도시한 바와 같이, LUT 상의 (4, 2), (7, 7) 위치의 특징량의 조합의 처리 내용이 X로, LUT 상의 (5, 2), (4, 5)의 위치의 특징량 조합의 처리 내용이 Y로 변경된 경우, 도 103B에서 도시한 바와 같이, LUT 상의 (1, 1), (2, 1), (3, 1), (4, 1), (1, 2), (2, 2), (3, 2), (4, 2), (1, 3), (2, 3), (3, 3), (4, 3), (5, 7), (5, 8), (6, 6), (6, 7), (6, 8), (7, 5), (7, 6), (7, 7), (7, 8), (8, 4), (8, 5), (8, 6), (8, 7), (8, 8)에서는, 처리 내용이 X로 되고, LUT 상의 그 이외의 위치에서는 처리 내용이 Y로 된다.
또한, 마찬가지로 하여, 도 104A에서 도시한 바와 같이, LUT 상의 (4, 2), (7,7)의 위치의 특징량 조합의 처리 내용이 X로, LUT 상의 (2, 3), (5,2), (4, 5), (7, 4)의 위치의 특징량 조합의 처리 내용이 Y로 변경된 경우, 도 104B에서 도시한 바와 같이 LUT 상의 (3, 1), (3, 2), (4, 1), (4, 2), (4, 3), (5, 7), (5, 8), (6, 6), (6,7), (6, 8), (7, 6), (7, 7), (7, 8), (8, 6), (8,7), (8, 8)에서는, 처리 내용이 X로 되고, LUT 상의 그것 이외의 위치에서는 처리 내용이 Y로 된다.
이와 같이 LUT를 변경시키도록 함으로써, 1회의 처리로 복수의 특징량 조합의 처리 내용을 비교적 유사한 특징량의 조합으로 일괄하여 변경시키는 것이 가능해진다.
여기서, 도 91의 흐름도의 설명으로 되돌아간다.
단계 S435에서, 오토 LUT 변경 처리가 가능하다고 판정된 경우, 단계 S437로 진행하여 오토 LUT 변경 처리가 실행된다.
여기서, 도 105의 흐름도를 참조하여 오토 LUT 변경 처리에 대하여 설명한다. 단계 S461에서, 처리 내용 결정부(1121)는 이력 메모리(1122)에 기억되어 있는 갱신 이력 분포의 각 처리 내용마다 존재하는 군을 구한다. 즉, 이력 메모리(1122)에는, 도 106에서 도시한 바와 같이, 예를 들면, 상술한 메뉴얼 LUT 변경 처리에 의해 변경이 지정된 LUT 상의 위치와, 지정된 처리 내용이 기록된 LUT 와는 다른 이력 테이블을 기억하고 있다. 도 106에서 나타내는 이력 테이블에서는, LUT 상의 (3, 3), (8, 3), (2, 5), (6, 6)의 처리 내용으로 변경이 지시된 것이 도시되어 있고, 각각 처리 내용 X, X, X, 및 Y가 지시된 것이 도시되어 있다.
여기서, 처리 내용마다의 군이란, 이력 테이블 상의 각 처리 내용이 소정의 밀도 이상으로 존재하고 소정의 면적 이상으로 되어 있는 영역을 가리킨다.
예를 들면, 군이 존재하면, 도 107에서 도시한 바와 같이, 이력 테이블 상에 군(1151)이 형성되고, 처리 내용 결정부(1121)는 이 군(1151)을 구한다. 또한, 도 107에서는, 군(1151)은 처리 내용 X의 군이고, 그 밖의 처리 내용마다도 군이 구해진다.
또한, 군은, 메뉴얼 LUT의 처리가 어느 정도의 횟수로 실행되어, 갱신 이력이 이력 메모리(1122)에 기억되어 있고, 또한, 어느 정도 LUT 상의 정리된 위치에서, 마찬가지의 처리 내용에의 변경 처리가 실행되어 있지 않으면 존재하지 않는다. 또한, 도 91의 단계 S435에서는, 이 처리 내용의 군이 존재하는지의 여부에 의해 오토 LUT 변경 처리가 가능할지가 판정된다. 즉, 처리 내용마다의 군이 존재하는 경우에는 오토 LUT 변경 처리가 가능하다고 판정되고, 존재하지 않은 경우에는 오토 LUT 변경 처리가 가능하지 않다고 판정된다.
단계 S462에서, 처리 내용 결정부(1121)는, 단계 S461에서 구해진 군의 가중값 중심 위치를 검출한다.
즉, 예를 들면, 도 107의 경우, 군(1151)이 형성되어 있지만, 그 가중값 중심 위치는 처리 내용 X가 지정된 모든 이력 테이블 상의 위치로부터 구해진다. 도 107의 경우, 군(1161) 내의 처리 내용 X가 지정된 모든 이력 테이블 상의 위치의 가중값 중심(1161)이 구해진다.
단계 S463에서, 처리 내용 결정부(1121)는 군의 가중값 중심 위치로부터 소정의 범위 내에 존재하는 이력 테이블 상의 위치의 처리 내용에 대응하여, 각각의 화소의 특징량의 조합에 대응하는 LUT 상의 칸의 처리 내용을, 군을 구성하는 화소 의 특징량의 조합에 대응하는 이력 테이블 상의 칸의 처리 내용으로 변경하고, 그 처리는 종료한다. 즉, 도 107에서, 가중값 중심 위치(1161)를 중심으로 하는 소정의 반경의 원의 범위인 범위(1162) 안에 존재하는 이력 테이블 상의 위치에 대응하는 LUT 상의 모든 처리 내용이 군을 구성하는 처리 내용 X로 변경된다.
즉, 예를 들면, 도 107에서 도시한 바와 같이 이력 테이블이, 도 108에 도시한 바와 같은 LUT이 구성되어 있는 상태에서 생성된다고 하면, 도 107에서 도시한 바와 같이, 가중값 중심(1161)으로부터 소정의 거리 내의 범위(1162) 내의 이력 테이블 상의 (2, 3), (3, 4)는 군을 구성하는 처리 내용 X와는 다른 처리 내용 Y가 이력 정보로서 기억되어 있기 때문에, 이력 테이블 상의 (2, 3), (3, 4)에 대응하는 LUT 상의 (2, 3), (3, 4)의 처리 내용을 X로 변경한다. 따라서, 도 108에 도시한 바와 같이 LUT가 구성되어 있는 경우, 처리 내용 결정부(1121)는 LUT 상의 (2, 3)의 처리 내용이 Y이기 때문에, 도 109에서 도시한 바와 같이 LUT 상의 (2, 3)을 처리 내용을 X로 변경한다. 또한, 도 108의 경우, 처리 내용 결정부(1121)는 LUT 상의 (3,4)의 처리 내용이 X이기 때문에, 도 109에서 도시한 바와 같이, LUT 상의 (3, 4)를 그 대로의 상태로 유지한다.
이 처리에 의해, LUT 상의 처리 내용(칸의 정보)는, 자동적으로 변경된다. 또한, 이 처리는, 사용자에 의해 LUT의 변경 처리가 지시되는 타이밍뿐만아니라, 소정의 시간 간격으로 반복하여 실행되도록 해도 된다.
여기서, 도 91의 흐름도의 설명으로 되돌아간다.
단계 S434에서, LUT의 변경이 지시되어 있지 않다고 판정된 경우, 즉, 사용 자가 표시부(403)에 표시된 화상을 보아 사용자의 기호의 화상이 생성되어 있다고 판정된 경우 그 처리는 종료한다.
이상의 처리에 의해, 사용자의 조작에 따라, LUT의 변경을 반복함에 따라 LUT의 각 칸에 등록되는 처리 내용을 변경함으로써, 사용자의 기호의 화상을 생성시키도록 할 수 있다.
이상에서는, 사용자의 조작에 대응하여 LUT 상의 처리 내용이 변경되기 때문에, 「처리의 내용」이 변경되어 있다고 할 수 있다. 또한, 사용자의 처리에 따라서, 처리 내용마다의 군이 구해지는지의 여부에 의해, 군의 가중값 중심 위치로부터 LUT의 처리 내용이 변경되는 처리 체계나, 또는, 도 101 내지 도 104에서 도시한 바와 같이, 지정된 LUT 상의 위치의 처리 내용에 대응하여, 그 밖의 LUT 상의 위치의 LUT 상의 처리 내용이 변경된다는 처리 체계의 어느 하나로 변경된다. 즉, LUT의 변경 알고리즘이 변경되기 때문에, 사용자의 조작에 대응하여, 「처리의 내용」 중의「처리의 구조」도 변경되어 있다고 할 수 있다.
다음에, 도 110을 참조하여, 도 89의 최적화 장치(1101)의 처리 결정부(111 2)를 대신하여 처리 결정부(1181)를 설치하고, 새롭게 내부 정보 생성부(1182)를 설치하였을 때의 최적화 장치(1101)의 그 밖의 구성 예에 대하여 설명한다. 도 110에서는, 처리 결정부(1181)와 내부 정보 생성부(1182)가 새롭게 설치된 것 이외의 구성에 대해서는 도 89의 최적화 장치(1101)와 마찬가지이다.
처리 결정부(1181)는 처리 내용 데이터베이스(1191)(도 111)에 기억된 LUT가 갱신되는 이력 정보를 기억하고, 그 이력 정보에 대응하여 LUT를 변경함과 함께 처 리 내용 데이터베이스(1191)에 기억되어 있는 LUT를 내부 정보 생성부(1182)에 공급한다.
내부 정보 생성부(1182)는 처리 내용 데이터베이스(1191)에 기억된 LUT를 판독하여 표시부(403)에서 표시 가능한 정보로 변환하고 표시부(403)에 출력하여 표시시킨다.
다음에, 도 111을 참조하여, 처리 결정부(1181)의 구성에 대하여 설명한다. 도 111의 처리 결정부(1181)는 도 90의 처리 내용 데이터베이스(433)를 대신하여 처리 내용 데이터베이스(1191)를 설치하고 있는 점 이외는 처리 결정부(1112)와 마찬가지의 구성이다.
처리 내용 데이터베이스(1191)는, LUT를 기억함과 함께 필요에 따라 LUT의 정보를 내부 정보 생성부(1182)에 공급한다. 이 이외의 기능에 대해서는 도 90의 처리 내용 데이터베이스(433)와 마찬가지의 것이다.
다음에, 도 112의 흐름도를 참조하여, 도 110의 최적화 장치(1101)에 의한 텔롭 추출 최적화 처리에 대하여 설명한다. 또한, 도 112의 텔롭 추출 최적화 처리는 도 91의 흐름도를 참조하여 설명한 처리와, 기본적으로는 마찬가지이고, 도 112의 단계 S471 내지 S473, 및, S475 내지 S478의 처리는 도 91의 단계 S431 내지 S437에 대응하는 처리이고, 단계 S473의 처리 후, 단계 S474에서, 내부 정보 생성부(1182)는 처리 결정부(1181)의 처리 내용 데이터베이스(1191)의 LUT를 판독하여 표시부(403)에서 표시 가능한 화상 신호로 변환하여 표시부(403)에 출력하여 표시(제시)시키고, 단계 S475로 진행하여, 그 이후의 처리가 반복된다.
이러한 처리에 의해, LUT가 표시(제시)되기 때문에, 표시부(403)에 표시된 화상으로부터 입력 신호로서의 화상 신호에 실시된 처리와, LUT의 변화 인식하면서 LUT를 변경시키는 것이 가능해진다.
또한, 이상에서는, 메뉴얼 LUT 변경 처리에서 표시부(403)에 표시된 LUT에 등록된 처리 내용으로 처리된 화상 상의 화소와 처리 내용을 지정함으로써 LUT를 변경하는 예에 대하여 설명하였지만, 내부 정보 생성부(1182)가 처리 내용 데이터베이스(1191)에 기억되어 있는 LUT를 판독하여, 예를 들면, 조작부(1102)에서 LUT 상의 처리 내용을 직접 조작 가능한 상태에서 표시부(403)에 표시시켜, LUT 상의 처리 내용을 직접 변경할 수 있도록 해도 된다.
여기서, 도 113의 흐름도를 참조하여, 도 110의 최적화 장치(1101)가 상술한 LUT 상의 값을 직접 변경시키는 메뉴얼 LUT 변경 처리에 대하여 설명한다.
단계 S481에서, 처리 내용 결정부(1121)는, LUT 상의 위치가 지정되었는지 여부를 판정하여, 지정될 때까지 그 처리를 반복한다. 예를 들면, 도 114에서 도시한 바와 같이, 표시부(403)에 표시된 LUT 상의 (5, 3)의 위치의 처리 내용이 Y로서 설정되어 있는 위치가 지정되면, LUT 상의 위치가 지정되었다고 판정하여, 그 처리는 단계 S482로 진행한다.
단계 S482에서, 내부 정보 생성부(1182)는, 지정된 LUT 상의 위치를 나타내는 표시를 표시부(403)로 한다. 즉, 도 114의 경우, 위치 표시 프레임(1192)이 지정된 (5, 3)에 표시된다.
단계 S483에서, 처리 내용 결정부(1121)는 처리 내용이 지정되었는지 여부를 판정하여, 처리 내용이 지정될 때까지 그 처리를 반복한다. 예를 들면, 도 114에서 도시한 바와 같이, 포인터(1191)가 조작된 위치에서, (예를 들면, 조작부(1102)로서의 마우스의 우측 클릭 등에 의해) 드롭 다운 리스트(1193)를 표시시키고, 그 중에 표시되는 처리 내용 X, Y, Z 중 어느 하나를 사용자가 조작부(1102)를 조작함으로써 지정하면 처리 내용이 지정되었다고 판정하여, 그 처리는 단계 S484로 진행한다.
단계 S484에서, 처리 내용 결정부(1121)는 처리 내용을 지정된 처리 내용으로 변경하여 처리를 종료한다. 즉, 도 114의 경우, 드롭 다운 리스트(1193)에 표시된 「X」가 선택되어 있기 때문에, 도 115에서 도시한 바와 같이, LUT 상의 (5, 3)는 처리 내용이 Y로부터 X로 변경되어진다.
이상의 처리에 의해, LUT 상에 설정된 처리 내용을 직접 변경시키도록 할 수 있기 때문에, LUT에 등록된 처리 내용으로 처리된 화상을 보면서, LUT를 조작함으로써, 사용자의 기호로 되는 처리 내용을 용이하게 설정하는 것이 가능해진다.
도 110의 최적화 장치(1101)에서는, 메뉴얼 LUT 변경 처리에서 사용자의 조작에 의해 지정되는 LUT 상의 칸 상의 처리 내용이 변경되기 때문에, 사용자의 조작에 의해 「처리의 내용」이 변경되어 있다고 할 수 있다. 또한, 이력 메모리 (1122)에 기억되는 변경 이력이 어느 정도 축적되어, 군이 검출되면 LUT를 변경하는 알고리즘이 메뉴얼 LUT 변경 처리로부터 오토 LUT 변경 처리로 변경되기 때문에 「처리의 구조」가 변경되어 있다.
또한, 처리 결정부(1112)의 처리에 관한 내부 정보로서 LUT가 표시됨과 함께 표시된 LUT를 보면서 LUT 상의 처리 내용을 변경시킬 수 있기 때문에 사용자는 LUT 상의 내용과 표시부(403)에 표시를 하는 화상과의 대응 관계를 인식하는 것이 가능해진다.
다음에, 도 116을 참조하여, 도 55의 최적화 장치(401)의 특징량 검출부(411)와 처리부(413) 대신에 특징량 검출부(1111)와 처리부(413)를 설치하 도록 한 다른 실시예로서 최적화 장치(1201)의 구성에 대하여 설명한다.
특징량 검출부(1111)는 도 89의 최적화 장치(1101)의 구성과 마찬가지의 것이다.
처리부(1211)는 처리 결정부(413)로부터 입력된 처리 내용의 정보에 기초하여, 버퍼(421)로부터 판독되는 입력 신호를 예를 들면, 학습에 의해 얻어진 계수 세트를 이용하여 맵핑 처리하여 표시부(403)에 출력하여 표시한다. 처리 결정부(413)는 조작부(1202)로부터의 조작 신호에 기초하여, 계수 세트의 학습 방법을 변경한다. 또한, 조작부(1202)는 조작부(402)와 마찬가지의 것이다.
다음에, 도 117을 참조하여, 처리부(1211)의 구성에 대하여 설명한다.
학습 장치(1221)는 특징량 검출부(1111)의 버퍼(421)로부터 판독되는 입력 신호로서의 화상 신호에 기초하여, 맵핑 처리부(1222)의 맵핑 처리에 필요한 계수 세트를 처리 내용마다 최소 N승 오차법에 의해 학습하여 계수 메모리(1237)에 기억시킨다. 또한, 학습 장치(1221)는 조작부(1202)로부터 입력되는 조작 신호에 기초하여 최소 N승 오차법의 지수 N의 값을 변경시켜 계수 세트를 학습한다.
맵핑 처리부(1222)는 처리 결정부(412)로부터 입력되는 처리 내용에 기초하 여 학습 장치(1221)의 계수 메모리(1237)로부터 대응하는 계수 세트를 판독하여 특징량 검출부(1111)의 버퍼(421)로부터 판독되는 입력 신호로서의 화상 신호를 맵핑 처리하여 표시부(403)에 출력하여 표시시킨다.
다음에, 도 118을 참조하여 학습 장치(1221)의 상세한 구성에 대하여 설명한다. 교사 데이터 생성부(1231)는 도 30의 교사 데이터 생성부(231)와 마찬가지의 것이며, 학습용 데이터로서의 입력 신호로부터 교사 데이터를 생성하여 최소 N승 오차법 계수 연산부(1236)에 출력한다. 학생 데이터 생성부(1232)는 도 30의 학생 데이터 생성부(232)와 마찬가지의 것이며, 학습용 데이터로서의 입력 신호로부터 교사 데이터를 생성하여 특징량 추출부(1233), 및, 예측 탭 추출부(1235)에 출력한다.
특징량 추출부(1233)는 특징량 검출부(1111)의 특징량 추출부(422)와 마찬가지의 것이며, 학생 데이터로부터 특징량을 추출하여 처리 결정부(1234)에 출력한다. 처리 결정부(1234)는 처리 결정부(412)와 마찬가지의 것이고, 특징량 검출부(1233)로부터 입력된 특징량에 기초하여 처리 내용을 결정하여, 최소 N승 오차법 계수 연산부(1236)에 출력한다. 예측 탭 추출부(1235)는 예측 탭 추출부(233)와 마찬가지의 것이고, 교사 데이터를 차례로 주목 화소로 하고 각 주목 화소에 대하여 예측 탭이 되는 화소를 학생 데이터로부터 추출하여, 최소 N승 오차법 계수 연산부(1236)에 출력한다.
최소 N승 오차법 계수 연산부(1236)는, 기본적인 구성과 처리 내용에 있어서, 도 30의 최소 N승 오차법 계수 연산부(234)와 마찬가지이며, 조작부(1202)로부 터 입력되는 최소 N 곱셈 오차법 계수 연산 처리에 필요한 지수 N의 값을 지정하는 정보에 기초하여, 예측 탭 추출부(1235)로부터 입력된 예측 탭과 교사 데이터로부터 최소 N승 오차법에 의해 계수 세트를 연산하여 계수 메모리(1237)에 출력하여 덧씌우기로 기억시킨다. 단, 도 118의 최소 N승 오차법 계수 연산부(1236)는 처리 결정부(1234)로부터 입력되는 처리 내용마다 계수 세트를 생성하는 점이, 도 30의 최소 N승 오차법 계수 연산부(234)와 다르다. 계수 메모리(1237)는 처리 내용마다 최소 N승 오차법 계수 연산부(1236)로부터 출력되어 오는 계수 세트를 처리 내용마다 기억한다. 도 118 중에는, 처리 내용마다 계수 세트 A 내지 N이 기억되어 있는 것이 도시되어 있다.
다음에, 도 119를 참조하여, 맵핑 처리부(1222)의 구성에 대하여 설명한다. 탭 추출부(251)는 도 31의 맵핑 처리부(222)와 마찬가지의 것으로, 주목 화소에 대하여 버퍼(421)로부터 공급되는 입력 신호로부터 예측 탭을 추출하여, 곱합 연산부(1251)에 출력한다. 곱합 연산부(1251)는 도 31의 곱합 연산부(252)와 동일한 것이며, 예측 탭 추출부(251)로부터 입력되어 오는 추출된 예측 탭(화소)의 값과, 학습 장치(1221)의 계수 메모리(1237)에 기억되어 있는 계수 세트를 이용하여 곱합 연산 처리를 실행하여, 주목 화소를 생성하고, 이들을 모든 화소에 실시하여 출력 신호로서 표시부(403)에 출력하여 표시시킨다. 단, 곱합 연산부(1251)는 곱합 연산 처리에서, 계수 메모리(1237)에 기억되어 있는 계수 세트 A 내지 N 중, 처리 결정부(412)로부터 공급되는 처리 내용에 대응한 계수 세트를 이용하게 되어 있다.
다음에, 도 120의 흐름도를 참조하여, 도 116의 최적화 장치(1201)에 의한 화상 최적화 처리에서의 학습 처리에 대하여 설명한다.
단계 S501에서, 사용자가 조작부(202)를 조작했는지 여부가 판정되어, 조작하고 있지 않다고 판정된 경우, 단계 S501로 되돌아간다. 또한, 단계 S501에서 조작부(1202)가 조작되었다고 판정된 경우, 단계 S502로 진행한다.
단계 S502에서, 학습 장치(1221)의 교사 데이터 생성부(1231)는 입력 신호로부터 교사 데이터를 생성하여 최소 N승 오차법 계수 연산부(1236)에 출력함과 함께 학생 데이터 생성부(1232)는 입력 신호로부터 학생 데이터를 생성하여 특징량 추출부(1233), 및, 예측 탭 추출부(1235)에 출력하고, 단계 S503으로 진행한다.
또한, 학생 데이터와 교사 데이터를 생성하는 데 이용하는 데이터(이하, 적절하게 학습용 데이터라 함)로서는, 예를 들면, 현재로부터 소정 시간만큼 과거로 거스러 오른 시점까지 입력된 입력 신호를 채용할 수 있다. 또한, 학습용 데이터로서는 입력 신호를 이용하는 것은 아니고 사전에 전용 데이터를 기억해 두는 것도 가능하다.
단계 S503에서, 특징량 추출부(1233)는 주목 화소(교사 데이터)에 대응하는 위치의 학생 데이터로부터 특징량을 추출하여 처리 결정부(1234)에 출력한다.
단계 S504에서, 처리 결정부(1234)는 특징량 추출부(1233)로부터 입력된 특징량에 기초하여 주목 화소에 대한 처리 내용을 결정하여, 최소 N승 오차법 계수 연산부(1236)에 출력한다. 예를 들면, 처리 결정부(1234)는 특징량 추출부(1233)로부터 1 또는 복수의 특징량을 벡터 양자화하여, 그 양자화 결과를 처리 내용의 정보로 하도록 해도 된다. 단, 이 경우, 도 89의 처리 결정부(1112)와 같이 LUT 등은 기억되어 있지 않다.
단계 S505에서, 예측 탭 추출부(1235)는 각 교사 데이터를 주목 화소로 하고, 그 각 주목 화소에 대하여 학생 데이터 생성부(1232)로부터 입력된 학생 데이터로부터 예측 탭을 생성하여, 최소 N승 오차법 계수 연산부(1234)에 출력하여, 단계 S506으로 진행한다.
단계 S506에서, 최소 N승 오차법 계수 연산부(1236)는 조작부(202)로부터 반복법(제2 방법)에 의한 최소 N승 오차법으로 계수 세트를 연산하는 것을 지정하는 조작 신호가 입력되었는지 여부를 판정하고, 예를 들면, 사용자에 의해 조작부(1202)가 조작되고, 반복법이 아닌, 즉, 직접법(제1 방법)이 지정되었다고 판정된 경우, 단계 S507로 진행하여, 수학식 50의 가중값 αs를 지정하는(지수 N을 지정하는) 계수 a, b, c가 입력되었는지 여부가 판정되어, 입력될 때까지 그 처리가 반복되고, 예를 들면, 사용자에 의해 조작부(1202)가 조작되어 계수 a, b, c를 지정하는 값이 입력되었다고 판정된 경우, 그 처리는 단계 S507로 진행한다.
단계 S507에서, 최소 N승 오차법 계수 연산부(1236)는 가중값 αs가 입력된 계수 a, b, c의 상태에서, 상술한 수학식 48을 최소로 한다는 문제를 실질적으로는 최소 2승 오차법으로 푸는 것에 의해, 가중값 αs에 대응하는 지수 N의 최소 N승 오차법에 의한 해로서의 예측 계수 w1, w2, …, wM, 즉, 계수 세트를 처리 결정부(1234)로부터 입력된 처리 내용마다 구하여 계수 메모리(1237)에 기억시키 고, 단계 S501로 되돌아간다.
한편, 단계 S506에서, 반복법이 선택되었다고 판정된 경우, 그 처리는 단계 S509로 진행한다.
단계 S509에서, 최소 N승 오차법 계수 연산부(1236)는 지수 N을 지정하는 정보가 입력되었는지의 여부를 판정하여, 지수 N이 입력될 때까지 그 처리를 반복하고, 예를 들면, 사용자가 조작부(1202)를 조작함으로써 지수 N을 지정하는 정보가 입력되었다고 판정한 경우, 그 처리는 단계 S510으로 진행한다.
단계 S510에서, 최소 N승 오차법 계수 연산부(1236)는 기초가 되는 최소 2승 오차법에 의한 해법에 의해 계수 세트를 구한다. 단계 S511에서, 최소 N승 오차법 계수 연산부(1236)는 최소 2승 오차법에 의해 구해진 계수 세트로부터 얻어지는 예측값을 이용하여, 수학식 51 내지 수학식 54를 참조하여 설명한 바와 같이 재귀적으로 지수 N으로, 조작부(1202)로부터 입력된 대응하는 최소 N승 오차법에 의한 계수 세트를 처리 결정부(1234)로부터 입력된 처리 내용마다 구하여, 계수 메모리(1237)에 기억시키고, 단계 S501로 되돌아간다.
이상의 처리에 의해, 처리 내용마다, 계수 세트가 계수 메모리(1237)에 학습되어 간다.
다음에, 도 121의 흐름도를 참조하여, 도 116의 최적화 장치(1201)에 의한 화상 최적화 처리에서의 맵핑 처리에 대하여 설명한다.
단계 S521에서, 특징량 검출부(1111)는 입력 신호로서의 화상 신호로부터 주목 화소(출력 신호)에 대응하는 위치의 입력 신호의 화소의 특징량을 검출하여, 검 출한 특징량을 처리 결정부(412)에 출력한다.
단계 S522에서, 처리 결정부(412)는 특징량 검출부(1111)로부터 입력된 특징량에 기초하여, 처리 내용을 결정하여 처리부(1211)에 출력한다. 처리 결정부(412)의 처리는, 도 118의 처리 결정부(1234)와 동일한 처리를 행함으로써 처리 내용을 결정한다. 따라서, 상술한 바와 같이, 처리 결정부(1234)가 특징량 추출부(1233)로부터 1 또는 복수의 특징량을 벡터 양자화하고, 그 양자화 결과를 처리 내용의 정보로 하도록 할 경우, 도 116의 처리부(412)에는 도 89의 처리 결정부(1112)와 같은 LUT 등은 기억되지 않게 된다.
단계 S523에서, 처리부(1211)의 맵핑 처리부(1222)의 탭 추출부(251)는 현재의 입력 신호로서의 화상 프레임에 대응하는 출력 신호로서의 화상 프레임을 주목 프레임으로 하고, 그 주목 프레임의 화소 중, 예를 들면 래스터 스캔 순으로 아직 주목 화소로 하고 있지 않은 것을 주목 화소로 하여, 그 주목 화소에 대하여, 입력 신호로부터 예측 탭을 추출하여 곱합 연산부(1251)에 출력한다.
단계 S524에서, 맵핑 처리부(1222)의 곱합 연산부(1251)는 처리 결정부(412)로부터 입력되는 처리 내용에 대응하는 계수 세트를 학습 장치(1221)의 계수 메모리(1237)로부터 판독한다.
그리고, 단계 S525에서, 곱합 연산부(1251)는 학습 장치(1221)의 계수 메모리(1237)로부터 판독하고 있다, 처리 내용에 대응한 예측 계수를 이용하여 수학식 39에 따라 탭 추출부(251)로부터 입력된 예측 탭과 계수 메모리(1237)로부터 판독한 계수 세트와의 곱합 연산 처리를 실행한다. 이에 따라, 곱합 연산부(1251)는 주목 화소의 화소값(예측값)을 구한다. 그 후, 단계 S526으로 진행하고, 탭 추출부(251)는 주목 프레임의 모든 화소를 주목 화소로 했는지 여부를 판정하여, 아직 하지 않고 있다고 판정한 경우, 단계 S521로 되돌아가, 주목 프레임의 래스터 스캔 순으로 아직 주목 화소로 하고 있지 않은 화소를 새롭게 주목 화소로 하여 이하 마찬가지의 처리를 반복한다.
또한, 단계 S526에서, 주목 프레임의 모든 화소를 주목 화소로 하였다고 판정된 경우, 단계 S527로 진행하여, 표시부(403)는 곱합 연산부(1251)에서 구해진 화소로 이루어지는 주목 프레임을 표시한다.
그리고, 단계 S521로 되돌아가, 특징량 검출부(1111)는 입력 신호로서의 화상 신호로부터 주목 화소(출력 신호)에 대응하는 위치의 입력 신호의 화소의 특징량을 검출하여, 다음의 프레임을 새롭게 주목 프레임으로 하여, 이하, 마찬가지의 처리를 반복한다.
또한, 도 116의 최적화 장치(1201)에서는 사용자가 조작부(1202)를 조작함으로써 지수 N이 변경되고(직접법에서는, 지수 N을 지정하는 계수 a, b, c가 변경되고, 또한, 반복법에서는, 지수 N 그 자체가 변경되고), 이에 따라 예측 계수(계수 세트)의 학습 규범(학습의 체계)로서, 어떠한 지수 N의 최소 N승 오차법을 채용할것인가가 설정된다. 즉, 계수를 구하는 학습 알고리즘이 변경되어 있다. 따라서, 「처리의 구조」가, 사용자 기호의 화상이 얻어지도록 변경되어 있다고 할 수 있다.
다음에, 도 122를 참조하여, 도 116의 최적화 장치(1201)에 내부 정보 생성 부(1312)를 설치하도록 한 최적화 장치(1301)의 구성에 대하여 설명한다.
도 122의 최적화 장치(1301)에서는, 내부 정보 생성부(1312)가 설치된 것에 의해, 처리부(1211)를 대신하여 처리부(1311)가 설치된 점 이외에 대해서는 도 116의 최적화 장치(1201)와 마찬가지이다.
내부 정보 생성부(1312)는 내부 정보로서, 예를 들면, 처리부(1311)의 계수 메모리(1321)로부터 처리 내용마다 기억되어 있는 계수 세트의 정보를 판독하여, 표시부(403)에서 표시 가능한 정보로 변환 출력하여 표시시킨다.
다음에, 도 123을 참조하여, 처리부(1311)의 구성에 대하여 설명한다. 기본적인 구성은 마찬가지이만, 계수 메모리(1237)를 대신하여 계수 메모리(1321)가 설치되어 있지만, 그 기능은 마찬가지이지만 내부 정보 생성부(13l2)에 접속되어 있고, 처리 내용마다 기억되어 있는 계수 세트가 판독되는 구성으로 되어 있다.
다음에, 도 124의 흐름도를 참조하여, 도 122의 최적화 장치(1301)에 의한 화상 최적화 처리에 대하여 설명한다. 도 122의 최적화 장치(1301)도 도 116에 있어서의 최적화 장치(1201)의 경우와 마찬가지로 학습 처리와 맵핑 처리로 이루어진다. 그리고, 학습 처리에서는, 단계 S541 내지 S551에서, 도 120의 단계 S501 내지 S511에서의 경우와 각각 마찬가지의 처리가 행해진다.
또한, 학습 처리에서는 단계 S541 및 S551의 처리 후, 단계 S552에 진행하여 내부 정보 생성부(1312)는 계수 메모리(1321)에 기억되어 있는 계수 세트를 내부 정보로 하여 판독하고 계수 세트에 포함되는 각 값에 기초하여 표시 가능한 화상 신호를 생성하여 표시부(403)에 출력하여 표시시킨다.
이 때, 내부 정보 생성부(1312)에 의해 생성되어 표시부(403)에 표시되는 화상은 상술한 바와 같이, 예를 들면, 도 39에서 도시한 바와 같은 3차원 분포도나 또는 도 40에서 나타낸 2차원 분포도와 같은 형식 등으로 할 수 있다.
여기서, 도 124의 흐름도의 설명으로 되돌아간다.
단계 S552의 처리 후는, 단계 S541로 되돌아가 이하 마찬가지의 처리가 반복된다.
한편, 도 125의 흐름도에 나타내는 맵핑 처리에서는, 단계 S571 내지 S577에서, 도 121의 단계 S521 내지 S527에서의 경우와 각각 마찬가지의 처리가 행해진다.
이상의 처리에 의해, 처리부(1311)의 계수 메모리(1321)에 기억된 계수 세트의 각 값(각 계수값)의 처리에 관한 내부 정보로서 표시(제시)되고, 사용자는 이 계수 세트의 분포와 출력 신호로서의 처리부(1311)의 처리 결과를 보면서 자기의 기호에 맞는 출력 신호로서의 화상이 얻어지도록, 조작부(1202)를 조작하여 지수 N을 변경시킴으로써 계수 세트를 구하는 학습 알고리즘이 변경되어 있다. 따라서, 「처리의 구조」가 변경 사용자의 기호에 맞는 화상이 얻어지도록 변경되어 있다고 할 수 있다. 또한, 이상의 예에서는 계수 세트를 표시시키도록 하였지만, 예를 들면 현재의 최소 N승 오차법이 직접법이든, 또는, 반복법이든, 처리에 관한 내부 정보를 표시하도록 해도 된다.
다음에, 도 126을 참조하여 도 116의 최적화 장치(1201)의 처리부(1211)를 대신하여 처리부(1411)을 설치하도록 한 최적화 장치(1401)의 구성에 대하여 설명 한다.
처리부(1411)의 구성은 기본적으로 도 41의 최적화 장치(301)의 처리부(311)와 마찬가지의 구성이고, 조작부(1202)로부터 입력된 조작 신호와 처리 결정부(412)에 의해 입력된 처리 내용에 기초하여 입력 신호를 최적화하여 표시부(403)에 표시한다.
다음에, 도 127을 참조하여, 처리부(1411)의 구성에 대하여 설명한다. 계수 메모리(1421)는 처리 내용마다 복수의 계수 세트가 기억되어 있고, 맵핑 처리부(1222)에 의한 맵핑 처리에 필요한 계수 세트가 기억되어 있다. 도면 중에서는, 계수 세트 A 내지 N이 기억되어 것이 도시되어 있다. 이 계수 세트는, 도 128의 학습 장치(1441)에 의해 사전에 학습되어 생성되는 것이다.
여기서, 계수 세트를 생성하는 학습 장치(1441)의 구성에 대하여, 도 128을 참조하여 설명한다.
학습 장치(1441)의 교사 데이터 생성부(1451), 학생 데이터 생성부(1452), 특징량 추출부(1453), 처리 결정부(1454), 및, 예측 탭 추출부(1455)는 도 118의 학습 장치(1221)의 교사 데이터 생성부(1231), 학생 데이터 생성부(1232), 특징량 추출부(1233), 처리 결정부(1234), 및, 예측 탭 추출부(1235)에 대응하며 마찬가지이므로, 그 설명에 대해서는 생략한다.
정규 방정식 생성부(1456)는, 도 43의 정규 방정식 생성부(354)와 동일한 마찬가지이며, 교사 데이터 생성부(351)로부터 입력된 교사 데이터와 예측 탭에 기초하여 정규 방정식을 생성하여, 계수 결정부(1457)에 출력하지만, 이 때, 처리 결정 부(1454)로부터 입력되는 처리 내용의 정보마다 정규 방정식을 생성하여 출력하는 점이 다르다.
계수 결정부(1457)는, 도 43의 계수 결정부(355)와 마찬가지이며, 입력된 정규 방정식을 풀어 계수 세트를 생성하지만 이 때, 처리 내용의 정보마다 대응하여 계수 세트를 생성한다.
다음에, 도 129의 흐름도를 참조하여 도 128의 학습 장치(1441)에 의한 계수 결정 처리(학습 처리)에 대하여 설명한다. 단계 S591에서, 교사 데이터 생성부(1451)는 학습용 데이터로부터 교사 데이터를 생성하여 정규 방정식 생성부(1456)에 출력함과 함께 학생 데이터 생성부(1452)는 학습용 데이터로부터 학생 데이터를 생성하여, 특징량 추출부(1453), 및, 예측 탭 추출부(1455)에 출력하고 단계 S592로 진행한다.
단계 S592에서, 예측 탭 추출부(1455)는 각 교사 데이터를 차례로 주목 화소로 하고 각 주목 데이터에 대하여 학생 데이터로부터 예측 탭을 추출하여 정규 방정식 생성부(1456)에 출력하고, 단계 S593으로 진행한다.
단계 S593에서, 특징량 추출부(1453)는 주목 화소(교사 데이터)에 대응하는 위치의 학생 데이터(화소)에 대한 특징량을 추출하여 처리 결정부(1454)에 출력한다.
단계 S594에서, 처리 결정부(1454)는 특징량 추출부(1453)로부터 추출된 특징량에 기초하여 각 화소마다 처리 내용을 결정하고, 결정한 처리내용의 정보를 정규 방정식 생성부(1456)에 출력한다. 예를 들면, 처리 결정부(1454)는 예를 들면, 1 또는 복수의 특징량을 벡터 양자화하고, 그 양자화 결과를 처리 내용의 정보로 해도 된다. 따라서, 처리 결정부(1456)에서는 LUT가 기억되어 있지 않다.
단계 S595에서, 정규 방정식 생성부(2456)는 각 교사 데이터와 예측 탭의 세트를 이용하여, 수학식 46에서의 좌변의 행렬의 각 컴포넌트로 되어 있는 서메이션(Σ)과, 우변의 벡터의 각 컴포넌트로 되어 있는 서메이션(Σ)를 연산함으로써, 처리 결정부(1454)로부터 입력되는 처리 내용의 정보마다 정규 방정식을 생성하여, 계수 결정부(1457)에 출력한다.
그리고, 단계 S596으로 진행하여, 계수 결정부(1457)는 정규 방정식 생성부(1456)로부터 입력된 정규 방정식을 처리 내용의 정보마다 풀어, 소위 최소 2승 오차법에 의해 처리 내용의 정보마다 계수 세트를 구하고, 단계 S597에서 계수 메모리(1421)에 기억시킨다.
이상의 처리에 의해, 계수 메모리(1421)에 기초가 되는 계수 세트(초기값으로서의 계수 세트)가 처리 내용의 정보마다 기억된다. 또한, 이상의 예에서는, 계수 세트는 최소 2승 오차법에 의해 구하는 경우에 대해 설명했지만, 그 밖의 방법으로 구해진 계수 세트여도 되며, 상술한 최소 N승 오차법에 의해 구해지는 계수 세트여도 된다.
다음에, 도 130의 흐름도를 참조하여, 도 126의 최적화 장치(1401)에 의한 화상 최적화 처리에 대하여 설명한다. 또한, 이 화상 최적화 처리는 계수 변경 처리와 맵핑 처리로 이루어지고, 맵핑 처리는 도 121이나 도 125에서 설명한 맵핑 처리와 동일하기 때문에 여기서는 계수 변경 처리에 대해서만 설명한다.
단계 S611에서, 계수 변경부(322)의 변경 처리부(332)는 계수값을 조작하는 조작 신호가 조작부(1202)로부터 입력되었는지의 여부를 판정한다. 즉, 사용자는 표시부(403)에 표시된 화상을 보고 자기의 기호에 맞는 것이라고 판단한 경우, 이제, 계수 메모리(1421)에 기억되어 있는 처리 내용의 정보마다의 계수 세트에 의한 맵핑 처리를 실행시키지만, 자기의 기호에 맞는 것이 아니라고 판정한 경우, 맵핑 처리에 사용되는 계수 메모리(1421)에 기억되어 있는 계수 세트를 변경하는 조작을 행한다.
예를 들면, 단계 S611에서, 계수를 조작하는 조작 신호가 입력되었다고 판정된 경우, 즉, 계수 메모리(1421)에 기억된 계수 중 어느 하나의 계수값을 변경하도록 조작부(1202)가 조작된 경우, 단계 S612로 진행한다.
단계 S612에서, 변경 처리부(332)는 계수 판독 기입부(331)를 제어하여, 계수 메모리(321)에 기억되어 있는 계수 세트를 판독하고, 단계 S613으로 진행한다. 단계 S613에서, 변경 처리부(332)는 조작 신호로서 입력된 계수값이 계수 세트에 사전에 포함되어 있는 값과 비교하여 소정의 임계값 S11 이상으로 변화하고 있는지의 여부를 판정한다. 예를 들면, 단계 S613에서, 조작 신호로서 입력된 값과 계수 메모리(1421)에 기억되어 있던 계수 세트의 값과의 변화가 임계값 S11 이상이라고 판정된 경우 그 처리는 단계 S614로 진행한다.
단계 S614에서, 변경 처리부(332)는 계수 세트에 포함되는 각 계수의 값을 도 50에서 도시한 바와 같이 스프링 모델에 의해 변경하고, 그 처리는 단계 S615로 진행한다.
한편, 단계 S613에서, 조작 신호로서 입력된 값과 계수 메모리(1421)에 기억되어 있던 계수 세트의 값과의 변화가 임계값 S11 이상이 아니라고 판정된 경우, 그 처리는 단계 S615로 진행한다.
단계 S615에서, 변경 처리부(332)는, 계수 세트에 포함되는 각 계수의 값을 도 51에서 도시한 바와 같이 균형 모델에 의해 변경하고, 그 처리는 단계 S616으로 진행한다.
단계 S616에서, 변경 처리부(332)는 계수 판독 기입부(331)를 제어하여, 변경한 계수 세트의 값을 계수 메모리(1421)에 덧씌우기로 기억시키고, 그 처리는 단계 S611로 되돌아가 그 이후의 처리가 반복된다.
그리고, 단계 S611에서, 계수값이 조작되어 있지 않다고 판정된 경우, 즉, 사용자가 표시부(403)에 표시된 화상이 사용자의 기호에 맞는 화상이라고 판정된 경우, 단계 S611로 되돌아가 이하 마찬가지의 처리가 반복된다.
이상의 계수 변경 처리에 의해, 사용자는 맵핑 처리에 이용되는 처리 내용의 정보마다 기억된 계수 세트를 변화시켜 사용자에게 있어 최적의 처리를 실행시키는 것이 가능해진다. 또한, 계수 세트의 각 계수의 값을 변경하는 것은, 맵핑 처리부(311)에 의한 맵핑 처리의 「처리의 내용」이 변경되어진다.
또한, 도 130의 계수 변경 처리에서는, 계수의 변화의 크기가 소정의 임계값 S11 이상일 때에는 조작된 계수의 값에 따라 계수 세트의 모든 계수값을 스프링 모델로 변경시키고, 임계값 S11보다 작을 때는 계수 세트의 모든 계수 값을 균형 모델로 변경시키기 때문에 계수 세트를 변경시키는 계수 세트의 변경 알고리즘이 변 화한다. 따라서, 도 126의 최적화 장치(1401)의 처리부(1411)에서도 사용자의 조작에 따라, 그 「처리의 내용」뿐만 아니라, 그 「처리의 구조」도 변경되고, 이에 따라 사용자에게 있어 최적의 신호 처리가 행해지고 있다고 할 수 있다.
또한, 상술한 바와 같이, 계수 메모리(1421)에 기억되는 계수 세트가, 최소 N승 오차법에 의해 구해지는 것인 경우, 예를 들면, 복수의 지수 N에 대응하는 계수 세트를 사전에 계수 메모리(1421)에 기억시켜 두고, 계수 변경부(322)가 사용자의 조작에 기초를 둔 조작부(1202)로부터의 조작 신호에 따라 지정된 지수 N에 대응하는 계수 세트로 변경시키도록 해도 된다. 이 경우, 계수 메모리(1421)에 기억되는 각 계수 세트는 사용자의 조작에 기초하여 조작부(1202)로부터 입력되는 지수 N에 대응한 최소 N승 오차법에 의해 생성된 것으로 변경된다. 즉, 지수 N에 대응하여 계수 세트를 구하는 학습 알고리즘이 변경되는 것이므로 「처리의 구조」가 변경되어 있다고 할 수 있다.
다음에, 도 131을 참조하여, 도 126의 최적화 장치(1401)에 내부 정보 생성부(1521)를 설치하도록 한 최적화 장치(1501)의 구성에 대하여 설명한다. 도 131의 최적화 장치(1501)에서는, 내부 정보 생성부(1521)가 설치됨에 따라 처리부(1411)를 대신하여 처리부(1511)가 설치되어 있는 점을 제외하고, 그 밖의 구성은 도 126의 최적화 처리부(1401)와 동일하다.
내부 정보 생성부(1521)는 내부 정보로서, 예를 들면, 처리부(1511)의 계수 메모리(1531)에 처리 내용의 정보마다 기억되어 있는 계수 세트를 판독하여 표시부(403)에 표시 가능한 화상 신호로 변환한 후, 표시부(403)에 출력하여 표시 시킨다.
다음에, 도 132를 참조하여, 처리부(1521)의 구성에 대하여 설명한다. 기본적으로는, 도 126의 처리부(1411)의 구성과 마찬가지이만, 계수 메모리(1421)에 대신하여 계수 메모리(1531)가 설치되어 있다. 계수 메모리(1531)는 기능 상 계수 메모리(1421)와 거의 마찬가지이지만, 내부 정보 생성부(1521)에 접속되어 있어, 적절하게 계수 세트가 판독되는 구성으로 되어 있는 점에서 다르다.
다음에, 도 133의 흐름도를 참조하여, 도 131의 최적화 장치(1501)에 의한 화상 최적화 처리에 대하여 설명한다. 이 화상 최적화 처리도 도 126의 최적화 처리(1401)가 행하는 화상 최적화 처리와 마찬가지로 계수 변경 처리와 맵핑 처리로 이루어지지만, 맵핑 처리는 도 121이나 도 125에서 설명한 맵핑 처리와 동일하기 때문에, 여기서는 계수 변경 처리에 대해서만 설명한다.
계수 변경 처리에서는 단계 S631 내지 S636에서, 도 130의 단계 S611 내지 S616에서의 경우와 각각 마찬가지의 처리가 행해진다.
그리고, 단계 S636에서, 도 130의 단계 S636에서의 경우와 마찬가지로, 변경 후의 계수 세트가 계수 메모리(1531)에 기억된 후는, 단계 S637로 진행하여 내부 정보 생성부(1521)는 계수 메모리(1531)에 기억되어 있는 계수 세트의 각 계수값을 판독하여 표시부(403)에서 표시 가능한 화상 신호로 변환하여 표시부(403)에 출력하여 표시(제시)시킨다. 이 때 표시부(403)에는 예를 들면, 상술한 도 39에서 도시한 바와 같은 3차원 분포도나, 또는 도 40에서 나타낸 2차원 분포도와 같은 형식으로 계수 세트의 각 계수값을 표시(제시)하도록 할 수 있다.
단계 S637의 처리 후는, 단계 S631로 되돌아가 이하 마찬가지의 처리가 반복된다.
도 133의 계수 변경 처리에 따르면 계수 메모리(1531)에 처리 내용의 정보마다 기억된 계수 세트의 값이 내부 정보로서 표시되기 때문에, 사용자는 이 계수 세트를 보면서 사용자에게 있어 최적의 처리를 실행하는 계수 세트가 얻어지도록 조작부(1202)를 조작하는 것이 가능해진다.
또한, 맵핑 처리부(1222)의 곱합 연산부(1251)에서는 수학식 39의 1차식이 아니고, 2차 이상의 고차식을 연산함으로써 출력 신호를 구하도록 하는 것이 가능하다.
다음에, 상술한 일련의 처리는 하드웨어에 의해 행할 수도 있고 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행할 경우에는, 그 소프트웨어를 구성하는 프로그램이 범용 컴퓨터 등에 인스톨된다.
그래서, 도 134는 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일실시예의 구성예를 나타내고 있다.
프로그램은 컴퓨터에 내장되어 있는 기록 매체로서의 하드디스크(2105)나 ROM(2103)에 사전에 기록해 둘 수 있다.
혹은, 프로그램은 플로피 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등의 리무버블 기록 매체(2111)에 일시적 또는 영속적으로 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체(2111)는 소위 패키지 소프트웨어로서 제공할 수 있다.
또, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(2111)로부터 컴퓨터에 인스톨하는 것 외에, 다운로드 사이트로부터 디지털 위성 방송용 인공위성을 통해 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷이라는 네트워크를 통해 컴퓨터에 유선으로 전송하고, 컴퓨터에서는 그와 같이 하여 전송되어 온 프로그램을 통신부(2108)로 수신하여 내장한 하드디스크(2105)에 인스톨할 수 있다.
컴퓨터는, CPU(Central Processing Unit)(2102)를 내장하고 있다. CPU(2102)에는, 버스(2101)를 통해 입출력 인터페이스(2110)가 접속되어 있고, CPU(2102)는 입출력 인터페이스(2110)를 통해 사용자에 의해 키보드나 마우스, 마이크 등으로 구성되는 입력부(2107)가 조작됨으로써 명령이 입력되면, 그에 따라서, ROM(Read Only Memory)(2103)에 저장되어 있는 프로그램을 실행한다. 혹은, CPU(2102)는 하드디스크(2105)에 저장되어 있는 프로그램, 위성 또는 네트워크로부터 전송되고, 통신부(2108)로 수신되어 하드디스크(2105)에 인스톨된 프로그램, 또는 드라이브(2109)에 장착된 리무버블 기록 매체(2111)로부터 판독되어 하드디스크 (2105)에 인스톨된 프로그램을, RAM(Random Access Memory)(2104)에 로드하여 실행한다. 이에 따라, CPU(2102)는 상술한 흐름도에 따른 처리, 또는 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(2102)는 그 처리 결과를 필요에 따라 예를 들면, 입출력 인터페이스(2110)를 통해, LCD(Liquid Crystal Display)나 스피커 등으로 구성되는 출력부(2106)로부터 출력, 혹은, 통신부(2108) 로부터 송신, 또는, 하드디스크(2105)에 기록시킨다.
여기서, 본 명세서에서, 컴퓨터에 각종 처리를 실행시키기 위한 프로그램을 기술하는 처리 단계는 반드시 흐름도에서 기재된 순서에 따라 시계열로 처리할 필요는 없고, 병렬적 혹은 개별로 실행되는 처리(예를 들면, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함하는 것이다.
또한, 프로그램은, 하나의 컴퓨터에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은 원격 컴퓨터에 전송되어 실행되는 것이어도 된다.
이상, 본 발명을 입력 신호로부터의 노이즈 제거나, 자동 주행에 적용한 경우에 대해 설명하였지만, 본 발명은 노이즈 제거나 자동 주행 이외의, 예를 들면, 신호의 주파수 특성의 변환 그 밖의 어플리케이션에 널리 적용 가능하다.
이상과 같이, 본 발명에 따르면, 사용자의 처리에 기초하여 처리의 내용뿐만 아니라, 처리의 구조가 변경함으로써, 그 사용자에게 있어 최적의 처리를 행하는 것이 가능해진다.
본 실시예에서는, 내부 정보를 출력 신호와 동일한 표시부에서 표시하도록 하였지만, 내부 정보는 출력 신호를 표시하는 표시부와는 별도의 표시부에서 표시하는 것이 가능하다.

Claims (27)

  1. 삭제
  2. 입력 신호를 신호 처리하는 신호 처리 수단과,
    상기 신호 처리 수단의 신호 처리 결과를 출력하는 출력 수단
    을 포함하며,
    사용자의 조작에 따라 공급되는 조작 신호에 기초하여, 상기 신호 처리 수단의 처리의 내용을 결정하는 알고리즘이 변경되는 것에 의해, 상기 신호 처리 수단의 처리의 구조가 변경되고,
    상기 신호 처리 수단은,
    상기 입력 신호로부터 특징을 검출하는 특징 검출 수단과,
    상기 특징 검출 수단에 의해 검출된 특징에 기초하여 상기 입력 신호에 대한 처리의 내용을 결정하는 처리 결정 수단과,
    상기 처리 결정 수단에 의해 결정된 상기 처리의 내용에 따라 상기 입력 신호에의 처리를 실행하는 처리 실행 수단을 구비하고,
    상기 조작 신호에 기초하여 상기 특징 검출 수단, 상기 처리 결정 수단, 및 상기 처리 실행 수단 중의 적어도 어느 하나의 처리 구조가 변경되는 것을 특징으로 하는 신호 처리 장치.
  3. 제2항에 있어서,
    상기 출력 수단은, 상기 신호 처리 수단의 신호 처리 결과를 제시하는 제시 수단을 포함하는 것을 특징으로 하는 신호 처리 장치.
  4. 제2항에 있어서,
    상기 조작 신호에 기초하여, 상기 특징 검출 수단의 처리의 구조가 변경되는 것을 특징으로 하는 신호 처리 장치.
  5. 제4항에 있어서,
    상기 조작 신호는, 복수 종류의 특징 중의, 소정 수의 특징의 종류를 지정하는 신호이고,
    상기 특징 검출 수단은, 상기 소정 수의 종류의 특징을 검출하도록, 그 처리 구조를 변경하는 것을 특징으로 하는 신호 처리 장치.
  6. 제5항에 있어서,
    상기 특징 검출 수단은, 상기 입력 신호로부터 상기 소정 수의 종류의 특징을 검출하고,
    상기 처리 결정 수단은 상기 특징 검출 수단에 의해 상기 입력 신호로부터 검출된 상기 소정 수의 종류의 특징에 기초하여 상기 입력 신호에 대한 상기 처리 실행 수단에서의 처리 내용을 결정하는 것을 특징으로 하는 신호 처리 장치.
  7. 제6항에 있어서,
    상기 입력 신호는, 화상 신호이고,
    상기 처리 결정 수단은, 상기 특징 검출 수단에 의해 상기 입력 신호로부터 검출된 상기 소정 수의 종류의 특징에 기초하여 상기 입력 신호에 대한 상기 처리의 내용으로서 상기 입력 신호를 그대로 출력하는지 여부를 결정하고,
    상기 처리 실행 수단은, 상기 처리 결정 수단의 결정에 따라 상기 입력 신호를 선택적으로 출력함으로써 상기 입력 신호인 화상 신호 중의 텔롭을 검출하는 것을 특징으로 하는 신호 처리 장치.
  8. 제4항에 있어서,
    상기 특징 검출 수단은, 상기 조작 신호에 기초하여 사전에 준비되어 있는 특징과 다른 새로운 종류의 특징을 검출하도록 그 처리의 구조를 변경하는 것을 특징으로 하는 신호 처리 장치.
  9. 제8항에 있어서,
    상기 특징 검출 수단은, 사전에 준비되어 있는 상기 특징의 다이내믹 레인지, 최대값, 중앙값, 최소값, 합, 분산, 상기 특징이 임계값보다 큰 입력 신호의 수, 또는 상기 특징의 선형 1차 결합을 상기 새로운 종류의 특징으로 하여 검출하는 것을 특징으로 하는 신호 처리 장치.
  10. 제2항에 있어서,
    상기 조작 신호에 기초하여 상기 처리 결정 수단의 처리의 구조가 변경되는 것을 특징으로 하는 신호 처리 장치.
  11. 제10항에 있어서
    상기 처리 결정 수단은,
    상기 특징의 각 값과, 그 값의 특징을 갖는 상기 입력 신호에 대한 상기 처리의 내용과의 대응 관계인 특징/처리 대응 관계를 기억하고 있고,
    상기 특징/처리 대응 관계에서, 상기 입력 신호로부터 검출된 특징의 값과 대응지어져 있는 처리 내용을 그 입력 신호에 대한 처리 내용으로서 결정하는 것을 특징으로 하는 신호 처리 장치.
  12. 제11항에 있어서,
    상기 처리 결정 수단은, 상기 조작 신호에 기초하여 상기 특징/처리 대응 관계에서의 상기 처리 내용을 변경함으로써 그 처리의 구조를 변경하는 것을 특징으로 하는 신호 처리 장치.
  13. 제11항에 있어서,
    상기 특징/처리 대응 관계에서는, 상기 입력 신호에 대하여 제1 값의 출력 신호를 출력하는 처리와, 제2 값의 출력 신호를 출력하는 처리의 두 개의 처리의 내용이 존재하고,
    상기 처리 실행 수단은, 상기 처리 결정 수단의 결정에 따라 상기 입력 신호를 상기 제1 값과 제2 값으로 2 치화하는 것을 특징으로 하는 신호 처리 장치.
  14. 제2항에 있어서,
    상기 조작 신호에 기초하여 상기 처리 실행 수단의 처리의 구조가 변경되는 것을 특징으로 하는 신호 처리 장치.
  15. 제14항에 있어서,
    상기 처리 실행 수단은,
    소정의 학습용 데이터로부터 교사 데이터를 생성하는 교사 데이터 생성 수단과,
    상기 학습용 데이터로부터 학생 데이터를 생성하는 학생 데이터 생성 수단과,
    상기 학생 데이터와 소정의 예측 계수와의 선형 결합에 의해 구해지는 상기 교사 데이터의 예측값과, 그 교사 데이터와의 오차를 최소로 하는 상기 예측 계수를 학습하는 학습 수단과,
    상기 입력 신호와 상기 학습 수단에 의해 구해진 예측 계수를 선형 결합함으로써 출력 신호를 생성하는 출력 신호 생성 수단을 갖는 것을 특징으로 하는 신호 처리 장치.
  16. 제15항에 있어서,
    상기 학습 수단은,
    상기 오차의 N승인 N승 오차를 통계적으로 최소로 하는 최소 N승 오차법에 의해 상기 예측 계수를 학습하고,
    상기 조작 신호에 기초하여 상기 오차의 N승을 변경함으로써 그 처리 구조를 변경하는 것을 특징으로 하는 신호 처리 장치.
  17. 제16항에 있어서,
    상기 학습 수단은, 상기 N승 오차로서, 2승 오차와 조작 신호에 따른 가중값과의 곱을 채용함으로써 상기 조작 신호에 기초하여 상기 오차의 N승을 변경하는 것을 특징으로 하는 신호 처리 장치.
  18. 제16항에 있어서,
    상기 학습 수단은, 상기 조작 신호에 대응하는 N승을 이용한 상기 N승 오차로서, 2승 오차와, 최소 N'승 오차법에 의해 구해지는 상기 예측 계수를 이용하여 연산되는 상기 교사 데이터의 예측값의 N-2승 오차와의 곱을 채용하는 것을 특징으로 하는 신호 처리 장치.
  19. 제15항에 있어서,
    상기 학습 수단은, 상기 처리 결정 수단이 결정하는 상기 처리 내용마다 상기 예측 계수를 학습하고,
    상기 출력 신호 생성 수단은, 상기 입력 신호와 그 입력 신호에 대하여 상기 처리 결정 수단이 결정하는 상기 처리의 내용에 대응하는 상기 예측 계수와의 선형 결합에 의해 상기 출력 신호를 생성하는 것을 특징으로 하는 신호 처리 장치.
  20. 제2항에 있어서,
    상기 신호 처리 수단은,
    상기 조작 신호를 모니터하여 학습에 이용할 수 있는지 여부를 판정하는 판정 수단과,
    학습에 이용할 수 있는 상기 조작 신호인 학습용 조작 신호에 기초하여 상기 입력 신호를 보정하는 규범인 보정 규범을 학습하는 학습 수단과,
    상기 입력 신호를 상기 학습에 의해 얻어진 상기 보정 규범에 기초하여 보정하고 그 보정 후의 신호를 출력 신호로서 출력하는 보정 수단을 갖는 것을 특징으로 하는 신호 처리 장치.
  21. 제2항에 있어서,
    상기 신호 처리 수단은,
    소정의 학습용 데이터로부터 교사 데이터를 생성하는 교사 데이터 생성 수단과,
    상기 학습용 데이터로부터 학생 데이터를 생성하는 학생 데이터 생성 수단과,
    상기 학생 데이터와 소정의 예측 계수와의 선형 결합에 의해 구해지는 상기교사 데이터의 예측값과 그 교사 데이터와의 오차를 최소로 하는 상기 예측 계수를 학습하는 학습 수단과,
    상기 입력 신호와 상기 학습 수단에 의해 구해진 예측 계수를 선형 결합함으로써 출력 신호를 생성하는 출력 신호 생성 수단을 갖는 것을 특징으로 하는 신호 처리 장치.
  22. 제21항에 있어서,
    상기 신호 처리 수단은,
    오차의 N승인 N승 오차를 통계적으로 최소로 하는 최소 N승 오차법에 의해 상기 예측 계수를 학습하고,
    상기 조작 신호에 기초하여 상기 오차의 N승을 변경함으로써 그 처리 구조를 변경하는 것을 특징으로 하는 신호 처리 장치.
  23. 제22항에 있어서,
    상기 학습 수단은, 상기 N승 오차로서, 2승 오차와 조작 신호에 따른 가중값과의 곱을 채용함으로써 상기 조작 신호에 기초하여 상기 오차의 N승을 변경하는 것을 특징으로 하는 신호 처리 장치.
  24. 제22항에 있어서,
    상기 학습 수단은, 상기 조작 신호에 대응하는 N승을 이용한 상기 N승 오차로서, 2승 오차와 최소 N'승 오차법에 구해지는 상기 예측 계수를 이용하여 연산되는 상기 교사 데이터의 예측값의 N-2승 오차와의 곱을 채용하는 것을 특징으로 하는 신호 처리 장치.
  25. 입력 신호를 신호 처리하는 신호 처리 단계와,
    상기 신호 처리 단계의 처리에서의 신호 처리 결과를 출력하는 출력 단계
    를 포함하고,
    사용자의 조작에 따라 공급되는 조작 신호에 기초하여, 상기 신호 처리 단계의 처리의 내용을 결정하는 알고리즘이 변경되는 것에 의해, 상기 신호 처리 단계의 처리의 구조가 변경되며,
    상기 신호 처리 단계는,
    상기 입력 신호로부터 특징을 검출하는 특징 검출 단계와,
    상기 특징 검출 단계에 의해 검출된 특징에 기초하여 상기 입력 신호에 대한 처리의 내용을 결정하는 처리 결정 단계와,
    상기 처리 결정 단계에 의해 결정된 상기 처리의 내용에 따라 상기 입력 신호에의 처리를 실행하는 처리 실행 단계를 구비하고,
    상기 조작 신호에 기초하여 상기 특징 검출 단계, 상기 처리 결정 단계, 및 상기 처리 실행 단계 중의 적어도 어느 하나의 처리 구조가 변경되는 것을 특징으로 하는 신호 처리 방법.
  26. 입력 신호의 신호 처리를 제어하는 신호 처리 제어 단계와,
    상기 신호 처리 제어 단계의 처리에서의 신호 처리 결과의 출력을 제어하는 출력 제어 단계를 포함하고,
    사용자의 조작에 따라 공급되는 조작 신호에 기초하여, 상기 신호 처리 제어 단계의 처리의 내용을 결정하는 알고리즘이 변경되는 것에 의해, 상기 신호 처리 제어 단계의 처리의 구조가 변경되며,
    상기 신호 처리 제어 단계는,
    상기 입력 신호로부터 특징을 검출하는 것을 제어하는 특징 검출 제어 단계와,
    상기 특징 검출 제어 단계에 의해 검출된 특징에 기초하여 상기 입력 신호에 대한 처리의 내용을 결정하는 것을 제어하는 처리 결정 제어 단계와,
    상기 처리 결정 제어 단계에 의해 결정된 상기 처리의 내용에 따라 상기 입력 신호에의 처리를 실행하는 것을 제어하는 처리 실행 제어 단계를 구비하고,
    상기 조작 신호에 기초하여 상기 특징 검출 제어 단계, 상기 처리 결정 제어 단계, 및 상기 처리 실행 제어 단계 중의 적어도 어느 하나의 처리 구조가 변경되는 것을 특징으로 하는 컴퓨터가 판독 가능한 프로그램이 기록되어 있는 기록 매체.
  27. 삭제
KR1020027013945A 2001-02-21 2002-02-21 신호 처리 장치 및 방법과 신호 처리 프로그램을 기록한 기록매체 KR100877457B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001045249 2001-02-21
JPJP-P-2001-00045249 2001-02-21
PCT/JP2002/001541 WO2002067192A1 (fr) 2001-02-21 2002-02-21 Dispositif de traitement de signaux

Publications (2)

Publication Number Publication Date
KR20030005286A KR20030005286A (ko) 2003-01-17
KR100877457B1 true KR100877457B1 (ko) 2009-01-07

Family

ID=18907082

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020027013945A KR100877457B1 (ko) 2001-02-21 2002-02-21 신호 처리 장치 및 방법과 신호 처리 프로그램을 기록한 기록매체
KR1020027014074A KR100874062B1 (ko) 2001-02-21 2002-02-21 신호 처리 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020027014074A KR100874062B1 (ko) 2001-02-21 2002-02-21 신호 처리 장치

Country Status (7)

Country Link
US (2) US7814039B2 (ko)
EP (2) EP1363234B1 (ko)
JP (4) JP4269214B2 (ko)
KR (2) KR100877457B1 (ko)
CN (2) CN1271564C (ko)
DE (1) DE60231480D1 (ko)
WO (2) WO2002067192A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100852042B1 (ko) 2002-02-21 2008-08-13 소니 가부시끼 가이샤 신호 처리 장치, 신호 처리 방법, 및 기록 매체
JP4392584B2 (ja) 2003-06-27 2010-01-06 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
NO319660B1 (no) * 2003-11-17 2005-09-05 Tandberg Telecom As Fremgangsmåte for interpolering av pixelverdier
ATE402561T1 (de) * 2005-03-04 2008-08-15 Sennheiser Comm As Lernkopfhörer
US7453771B2 (en) * 2005-12-19 2008-11-18 Caterpillar Inc. Apparatus and method for reducing noise for moveable target
RU2474972C2 (ru) * 2006-01-17 2013-02-10 Конинклейке Филипс Электроникс Н.В. Обнаружение присутствия телевизионных сигналов, погруженных в шум, с использованием набора инструментальных средств циклостационарности
JP5061882B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに学習装置
JP5618128B2 (ja) * 2010-02-22 2014-11-05 ソニー株式会社 符号化装置、符号化方法、およびプログラム
CN101916393B (zh) * 2010-07-14 2012-09-26 中国科学院半导体研究所 具有图像分割功能的脉冲耦合神经网络的实现电路
CN102929730B (zh) * 2012-10-31 2015-02-25 成都主导科技有限责任公司 一种数据校正方法、装置及系统
US20150193699A1 (en) * 2014-01-08 2015-07-09 Civitas Learning, Inc. Data-adaptive insight and action platform for higher education
CN104636784A (zh) * 2015-02-28 2015-05-20 立德高科(北京)数码科技有限责任公司 一种二维码及其生成方法与识别方法
CN104636785B (zh) * 2015-02-28 2018-08-07 北京慧眼食珍科技有限公司 带有二维码软件安装信息的二维码、生成方法与识别方法
JPWO2017061189A1 (ja) * 2015-10-05 2018-09-13 シャープ株式会社 画像復号装置または画像符号化装置のための画像予測装置
KR20180046679A (ko) * 2016-10-28 2018-05-09 삼성전자주식회사 지문 인식 방법 및 이를 포함하는 전자 기기
JP6803241B2 (ja) * 2017-01-13 2020-12-23 アズビル株式会社 時系列データ処理装置および処理方法
JP6638695B2 (ja) * 2017-05-18 2020-01-29 トヨタ自動車株式会社 自動運転システム
JP2019049875A (ja) * 2017-09-11 2019-03-28 トヨタ自動車株式会社 作動許可認証装置
JP6833660B2 (ja) * 2017-11-08 2021-02-24 株式会社東芝 信頼度監視システム、信頼度評価方法、及びプログラム
JP6812334B2 (ja) * 2017-12-12 2021-01-13 日本電信電話株式会社 学習型自律システム用学習データ生成装置、学習型自律システム用学習データ生成方法、プログラム
CN108174126B (zh) * 2017-12-28 2020-09-18 北京空间机电研究所 一种基于可见光图像的ccd信号采样位置精确选取方法
JP6852141B2 (ja) 2018-11-29 2021-03-31 キヤノン株式会社 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム
CN110907694A (zh) * 2020-02-07 2020-03-24 南京派格测控科技有限公司 功率放大器的输入电流的计算方法及装置
KR102399635B1 (ko) * 2020-09-28 2022-05-18 경북대학교 산학협력단 저전력-저용량 임베디드 장비에 적용 가능한 신호 최적화 장치, 방법 및 이를 수행하기 위한 프로그램을 기록한 기록매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950009484A (ko) * 1993-09-30 1995-04-24 프레데릭 얀 스미트 전방향 신경망을 구비한 정보처리 시스템 및 신경망 학습방법
US6031543A (en) 1995-09-28 2000-02-29 Fujitsu Limited Image processing apparatus for correcting color space coordinates and method

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4228538A (en) * 1977-12-15 1980-10-14 Harris Corporation Real-time adaptive power control in satellite communications systems
US4261054A (en) * 1977-12-15 1981-04-07 Harris Corporation Real-time adaptive power control in satellite communications systems
JPH083842B2 (ja) * 1987-01-13 1996-01-17 オリンパス光学工業株式会社 画像処理方法
US5303306A (en) * 1989-06-06 1994-04-12 Audioscience, Inc. Hearing aid with programmable remote and method of deriving settings for configuring the hearing aid
JP2792633B2 (ja) * 1990-02-09 1998-09-03 株式会社日立製作所 制御装置
CA2064750C (en) 1990-06-06 2002-03-19 Satoru Moriya Polyolefin resin composition
US6259824B1 (en) 1991-03-12 2001-07-10 Canon Kabushiki Kaisha Image processing apparatus utilizing a neural network to improve printed image quality
JPH0580626A (ja) 1991-03-12 1993-04-02 Canon Inc 情報処理装置
JP3096507B2 (ja) 1991-11-29 2000-10-10 松下電器産業株式会社 操作内容学習装置および空気調和機制御装置
US5412735A (en) * 1992-02-27 1995-05-02 Central Institute For The Deaf Adaptive noise reduction circuit for a sound reproduction system
JP3048811B2 (ja) 1992-11-27 2000-06-05 三洋電機株式会社 コントラスト自動調整装置
JP3435713B2 (ja) 1992-11-27 2003-08-11 株式会社デンソー 学習パターン選択型追加学習装置
US5619619A (en) * 1993-03-11 1997-04-08 Kabushiki Kaisha Toshiba Information recognition system and control system using same
JPH06289782A (ja) * 1993-04-07 1994-10-18 Matsushita Electric Ind Co Ltd 相互認証方法
US5649065A (en) * 1993-05-28 1997-07-15 Maryland Technology Corporation Optimal filtering by neural networks with range extenders and/or reducers
DE4343411C2 (de) * 1993-12-18 2001-05-17 Blue Chip Music Gmbh Gitarren-Signalanalyseeinrichtung
US5796609A (en) * 1996-09-13 1998-08-18 Honeywell-Measurex Corporation Method and apparatus for internal model control using a state variable feedback signal
US5974235A (en) * 1996-10-31 1999-10-26 Sensormatic Electronics Corporation Apparatus having flexible capabilities for analysis of video information
US6046878A (en) * 1997-04-30 2000-04-04 Seagate Technology, Inc. Object positioning using discrete sliding mode control with variable parameters
US5987444A (en) * 1997-09-23 1999-11-16 Lo; James Ting-Ho Robust neutral systems
JPH11176272A (ja) 1997-12-12 1999-07-02 Toa Corp スイッチの誤操作防止装置及びスイッチの誤操作防止装置を備えた音響信号処理装置
JP4258045B2 (ja) 1998-11-09 2009-04-30 ソニー株式会社 ノイズ低減装置、ノイズ低減方法、および記録媒体
JP4147647B2 (ja) 1998-11-09 2008-09-10 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP4517409B2 (ja) 1998-11-09 2010-08-04 ソニー株式会社 データ処理装置およびデータ処理方法
JP2000250603A (ja) * 1999-03-02 2000-09-14 Yamaha Motor Co Ltd 総合特性最適化方法
US6342810B1 (en) * 1999-07-13 2002-01-29 Pmc-Sierra, Inc. Predistortion amplifier system with separately controllable amplifiers
JP2001045249A (ja) 1999-07-26 2001-02-16 Canon Inc ファクシミリ装置
JP2001319228A (ja) * 2000-02-28 2001-11-16 Sharp Corp 画像処理装置および画像処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950009484A (ko) * 1993-09-30 1995-04-24 프레데릭 얀 스미트 전방향 신경망을 구비한 정보처리 시스템 및 신경망 학습방법
US6031543A (en) 1995-09-28 2000-02-29 Fujitsu Limited Image processing apparatus for correcting color space coordinates and method

Also Published As

Publication number Publication date
CN1253830C (zh) 2006-04-26
WO2002067192A1 (fr) 2002-08-29
JP2008146661A (ja) 2008-06-26
EP1363234A4 (en) 2006-11-22
WO2002067193A1 (fr) 2002-08-29
JP4811399B2 (ja) 2011-11-09
KR20020089511A (ko) 2002-11-29
US7814039B2 (en) 2010-10-12
JP4761170B2 (ja) 2011-08-31
CN1460227A (zh) 2003-12-03
CN1460228A (zh) 2003-12-03
DE60231480D1 (de) 2009-04-23
EP1363235A4 (en) 2006-11-29
CN1271564C (zh) 2006-08-23
EP1363234B1 (en) 2009-03-11
JPWO2002067193A1 (ja) 2004-06-24
JP4269214B2 (ja) 2009-05-27
KR20030005286A (ko) 2003-01-17
KR100874062B1 (ko) 2008-12-12
US7516107B2 (en) 2009-04-07
US20030142837A1 (en) 2003-07-31
JP4707083B2 (ja) 2011-06-22
EP1363234A1 (en) 2003-11-19
US20040034721A1 (en) 2004-02-19
JPWO2002067192A1 (ja) 2004-06-24
JP2008159062A (ja) 2008-07-10
EP1363235A1 (en) 2003-11-19

Similar Documents

Publication Publication Date Title
KR100877457B1 (ko) 신호 처리 장치 및 방법과 신호 처리 프로그램을 기록한 기록매체
KR100852042B1 (ko) 신호 처리 장치, 신호 처리 방법, 및 기록 매체
JP4591786B2 (ja) 信号処理装置
US6999068B2 (en) System and method for enabling users to edit graphical images
US5748801A (en) Method of setting threshold values for extracting image data
JP4591785B2 (ja) 信号処理装置
JPH1125280A (ja) ラスター画像におけるオブジェクト境界のユーザ援助型識別
US6208766B1 (en) Process for influencing the quality images furnished by an electronic imaging system
JPH07239856A (ja) 画像検索方法および装置
US20220381582A1 (en) Dynamic Parameterization of Digital Maps
JP2937390B2 (ja) 画像変換方法
JP2000339463A (ja) 画像処理方法及びその装置並びに記憶媒体
JPH05289880A (ja) ファジィ知識抽出装置並びにファジィ知識詳細化／簡略化装置及びファジィ推論装置
CN118037587A (zh) 一种用于腹腔镜图像增强优化方法
CN117235348A (zh) 慕课推荐方法、系统、计算设备及存储介质
US20080183437A1 (en) Simulation method, medium and apparatus
JPH05197558A (ja) ファジィ決定におけるメンバーシップ関数の修正案策定方法及びファジィ知識抽出システム
JPH0695882A (ja) 学習機能を有する推論装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121221

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131220

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141219

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee