WO2002067193A1 - Dispositif de traitement de signaux - Google Patents

Dispositif de traitement de signaux Download PDF

Info

Publication number
WO2002067193A1
WO2002067193A1 PCT/JP2002/001542 JP0201542W WO02067193A1 WO 2002067193 A1 WO2002067193 A1 WO 2002067193A1 JP 0201542 W JP0201542 W JP 0201542W WO 02067193 A1 WO02067193 A1 WO 02067193A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
processing
learning
unit
data
Prior art date
Application number
PCT/JP2002/001542
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Kazushi Yoshikawa
Tetsushi Kokubo
Hisakazu Shiraki
Michimasa Obana
Hideo Kasama
Masanori Kanemaru
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP02700666A priority Critical patent/EP1363235A4/en
Priority to JP2002566439A priority patent/JP4707083B2/ja
Priority to US10/258,033 priority patent/US7814039B2/en
Publication of WO2002067193A1 publication Critical patent/WO2002067193A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/028—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using expert systems only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a signal processing device, and in particular, to a signal processing device that is capable of performing optimal processing for a user by, for example, changing the content of the processing and the structure of the processing by a user operation.
  • a signal processing device that is capable of performing optimal processing for a user by, for example, changing the content of the processing and the structure of the processing by a user operation.
  • the S / N Signal to Noise Ratio
  • frequency characteristics, and the like of the signal input to the NR circuit are not always constant, but rather generally change.
  • the SZN, frequency characteristics, etc. of the signal input to the NR circuit change, the signal input to the NR circuit in the noise removal processing corresponding to the position set by the user operating the knob This is not always the case, and the user must frequently operate the knobs to perform appropriate noise removal processing for himself, which is troublesome.
  • the present invention has been made in view of such a situation, and allows a user to perform an optimal process for a user by changing a process content or a process structure by a user operation. Things.
  • a signal processing device includes a signal processing unit that performs signal processing on an input signal, and an output unit that outputs a signal processing result of the signal processing unit, and based on an operation signal supplied in response to a user operation, The processing structure of the signal processing means is changed. I do.
  • the signal processing unit includes: a feature detection unit that detects a feature from the input signal; a process determination unit that determines a content of a process for the input signal based on the feature detected by the feature detection unit; Processing execution means for executing processing on the input signal in accordance with the content of the processing determined by the above, and the characteristic detection means, the processing determination means, or the processing execution based on the operation signal
  • the structure of at least one of the means may be changed.
  • the output means may include a presentation means for presenting a signal processing result of the signal processing means.
  • the processing structure of the feature detecting means may be changed based on the operation signal.
  • the operation signal may be a signal designating a predetermined number of types of features among a plurality of types of features, and the feature detection means may detect the predetermined number of types of features. Then, the structure of the processing can be changed.
  • the feature detecting means can detect a predetermined number of types of features from the input signal, and the processing determining means can detect the predetermined number of types of features based on the predetermined number of types of features detected from the input signal by the feature detecting means. Thus, it is possible to determine the content of the processing in the processing execution means for the input signal.
  • the input signal may be an image signal
  • the processing determining unit may perform processing on the input signal based on a predetermined number of types of characteristics detected from the input signal by the characteristic detecting unit. It is possible to determine whether or not to output the input signal as it is, and the processing executing means selectively outputs the input signal according to the determination of the processing determining means, thereby obtaining the input signal.
  • a telop in an image signal can be detected.
  • the feature detecting means may change the processing structure so as to detect a new type of feature different from a prepared feature based on an operation signal.
  • the feature detecting means may include a dynamic range, a maximum value, a median value, a minimum value, a sum, a variance, a number of input signals whose features are larger than a threshold value, or a linear linear combination of features, which are prepared in advance. It can be detected as a type of feature.
  • the structure of the process of the process determining means may be changed.
  • the processing determining means may store a feature / processing correspondence relationship, which is a correspondence relationship between each value of the feature and the content of a process on an input signal having the feature of the value.
  • a feature / processing correspondence relationship which is a correspondence relationship between each value of the feature and the content of a process on an input signal having the feature of the value.
  • the content of the process associated with the value of the feature detected from the input signal can be determined as the content of the process for the input signal.
  • the processing determining means may change the structure of the processing in the feature Z processing correspondence relationship based on an operation signal, thereby changing the structure of the processing.
  • the processing execution means can binarize the input signal into first and second values according to the determination of the processing determining means.
  • the structure of the processing of the processing executing means may be changed based on the operation signal.
  • the processing executing means includes: teacher data generating means for generating teacher data from predetermined learning data; student data generating means for generating student data from learning data; By linearly combining the predicted value of the teacher data obtained by the linear combination, the learning means for learning the prediction coefficient that minimizes the error between the teacher data and the input signal, and the prediction coefficient obtained by the learning means And output signal generating means for generating an output signal.
  • the learning means can learn a prediction coefficient by a least-N-th power error method of statistically minimizing an N-th power error, which is the N-th power of the error, based on an operation signal. By changing the error raised to the Nth power, the structure of the processing can be changed.
  • the learning means employs the product of the square error and the weight according to the operation signal as the Nth error, thereby changing the Nth power of the error based on the operation signal. .
  • the learning means includes a squared error as a Nth error using the Nth power corresponding to the operation signal, and a predicted value of teacher data calculated using a prediction coefficient obtained by a minimum N′th error method.
  • the learning means may be made to learn a prediction coefficient for each content of the processing determined by the processing determining means, and the output generating means is configured to determine the input signal and the input signal by the processing determining means.
  • An output signal can be generated by linear combination with a prediction coefficient corresponding to the content of the processing to be performed.
  • the signal processing unit includes: a determination unit that monitors an operation signal and determines whether the operation signal can be used for learning; and an input signal based on a learning operation signal that is an operation signal that can be used for learning.
  • a learning unit for learning a correction standard, which is a standard for correction, and a correction unit for correcting an input signal based on a correction standard obtained by learning and outputting the corrected signal as an output signal are provided. Can be done.
  • the signal processing means includes: teacher data generating means for generating teacher data from predetermined learning data; student data generating means for generating student data from learning data; By linearly combining the predicted value of the teacher data obtained by the linear combination, the learning means for learning the prediction coefficient that minimizes the error between the teacher data and the input signal, and the prediction coefficient obtained by the learning means And output signal generating means for generating an output signal.
  • the signal processing means can learn a prediction coefficient by a minimum N-th power error method that statistically minimizes an N-th power error, which is the N-th power of the error, based on an operation signal, By changing the N-th power of the error, the structure of the processing can be changed.
  • the learning means employs the product of the square error and the weight according to the operation signal as the Nth error, thereby changing the Nth power of the error based on the operation signal. .
  • the learning means includes a squared error as a Nth error using the Nth power corresponding to the operation signal, and a predicted value of teacher data calculated using a prediction coefficient obtained by a minimum N′th error method.
  • a signal processing method includes a signal processing step of performing signal processing on an input signal, and an output step of outputting a signal processing result in the processing of the signal processing step, wherein an operation signal supplied in response to a user operation is provided.
  • the processing structure of the signal processing step is changed based on this.
  • the recording medium program according to the present invention includes a signal processing control step of controlling signal processing of an input signal, and an output control step of controlling output of a signal processing result in the processing of the signal processing control step.
  • the processing structure of the signal processing control step is changed based on the operation signal supplied in response to the control signal.
  • a program according to the present invention causes a computer to execute a signal processing control step for controlling signal processing of an input signal, and an output control step for controlling output of a signal processing result in the processing of the signal processing control step.
  • the structure of the processing of the signal processing control step is changed based on the operation signal supplied according to the following.
  • an input signal is signal-processed, a signal processing result is output, and a processing structure in the signal processing is changed based on an operation signal supplied according to a user operation.
  • FIG. 1 is a diagram showing an optimization device to which the present invention is applied.
  • FIG. 2 is a block diagram illustrating a configuration example of an embodiment of an optimization device to which the present invention has been applied.
  • FIG. 3 is a flowchart for explaining the optimization processing by the optimization device of FIG.
  • FIG. 4 is a block diagram illustrating a configuration example of an embodiment of an NR circuit using an optimization device.
  • FIG. 5A is a waveform diagram showing an input signal.
  • FIG. 5B is a waveform chart showing the input reliability.
  • FIG. 6 is a flowchart illustrating the correction processing by the NR circuit.
  • FIG. 7 is a flowchart illustrating a correction parameter calculation process performed by the NR circuit.
  • FIG. 8 is a flowchart illustrating control data learning processing by the NR circuit.
  • 9A to 9C are diagrams for explaining control data learning processing.
  • FIG. 10 is a block diagram showing a configuration example of another embodiment of an NR circuit using an optimization device.
  • FIG. 11 is a diagram illustrating pixels multiplied by the parameter control data.
  • FIG. 12 is a flowchart illustrating a correction parameter calculation process performed by the NR circuit.
  • FIG. 13 is a flowchart illustrating a control data learning process by the NR circuit.
  • FIG. 14 is a block diagram illustrating a configuration example of another embodiment of an NR circuit using an optimization device.
  • FIG. 15 is a flowchart for explaining the optimization processing by the optimization device in FIG.
  • FIG. 16 is a block diagram showing a configuration example of an embodiment of an automatic traveling device to which the present invention is applied.
  • FIG. 17 is a block diagram illustrating a configuration example of a processing unit of the optimization device in FIG.
  • FIG. 18 is a flowchart illustrating a correction parameter calculation process performed by the optimization device of FIG.
  • FIG. 19 is a flowchart illustrating a control data learning process by the optimization device of FIG.
  • FIG. 20 is a block diagram illustrating another configuration example of the processing unit of the optimization device in FIG. 16.
  • FIG. 21 is a diagram illustrating the traveling direction output by the calculation unit in FIG. 16.
  • FIG. 22 is a flowchart illustrating a correction process by the optimization device in FIG. 16.
  • FIG. 23 is a flowchart for explaining a correction parameter learning process by the optimization device of FIG.
  • FIG. 24 is a block diagram showing another configuration example of the automatic traveling device to which the present invention is applied.
  • FIG. 25 is a flowchart illustrating a correction parameter calculation process performed by the optimization device in FIG. 24.
  • FIG. 26 is a flowchart for explaining a correction parameter learning process by the optimizing device of FIG.
  • FIG. 27 is a diagram illustrating an example of internal information generated by the internal information generation unit in FIG.
  • FIG. 28 is a diagram illustrating an example of internal information generated by the internal information generation unit in FIG.
  • FIG. 29 is a block diagram illustrating a configuration example of another embodiment of the optimization device to which the present invention has been applied.
  • FIG. 30 is a block diagram illustrating a configuration example of a learning unit of the optimization device in FIG.
  • FIG. 31 is a block diagram illustrating a configuration example of a mapping processing unit of the optimization device in FIG. 29.
  • FIG. 32 is a diagram for explaining an error between a true value and a predicted value.
  • FIG. 33 is a diagram for explaining the minimum N-th power error method.
  • 3 4 is a diagram for explaining the weight a s.
  • FIG. 35 is a flowchart for explaining the image optimization processing by the optimization device in FIG.
  • FIG. 37 is a block diagram illustrating a configuration example of another embodiment of the optimizing device to which the present invention has been applied.
  • FIG. 38 is a flowchart for explaining the image optimizing process by the optimizing device of FIG.
  • FIG. 39 is a diagram illustrating an example of internal information generated by the internal information generation unit in FIG.
  • FIG. 40 is a diagram illustrating an example of internal information generated by the internal information generation unit in FIG.
  • FIG. 41 is a block diagram showing a configuration example of another embodiment of the optimizing device to which the present invention is applied.
  • FIG. 42 is a block diagram illustrating a configuration example of a coefficient conversion unit of the optimization device in FIG.
  • FIG. 43 is a block diagram illustrating a configuration example of a learning device that generates the coefficients stored in the coefficient memory of FIG. 41 by learning.
  • FIG. 44 is a flowchart illustrating a coefficient determination process by the learning device in FIG.
  • FIG. 45 is a diagram illustrating the configuration of the prediction tap.
  • FIG. 46 is a diagram illustrating an example of a distribution of coefficient values corresponding to tap positions of prediction taps.
  • FIG. 47 is a diagram illustrating the configuration of the prediction tap.
  • FIG. 48 is a diagram illustrating an example of a distribution of coefficient values corresponding to the tap positions of the prediction taps.
  • FIG. 49 is a diagram illustrating the configuration of the prediction tap.
  • FIG. 50 is a diagram illustrating the panel model.
  • Figure 51 illustrates the equilibrium model
  • FIG. 52 is a flowchart illustrating the image optimizing process performed by the optimizing device of FIG.
  • FIG. 53 shows a configuration example of another embodiment of the optimization device to which the present invention is applied. It is a block diagram.
  • FIG. 54 is a flowchart for explaining the image optimizing process by the optimizing device of FIG.
  • FIG. 55 is a block diagram showing a configuration example of another embodiment of the optimization device to which the present invention is applied.
  • FIG. 56 is a block diagram illustrating a configuration example of the feature amount detection unit in FIG.
  • FIG. 57 is a block diagram illustrating a configuration example of the process determining unit in FIG.
  • FIG. 58 is a block diagram illustrating a configuration example of the processing unit in FIG.
  • FIG. 59 is a flowchart illustrating the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 60 is a block diagram showing a configuration example of another embodiment of the optimizing device to which the present invention is applied.
  • FIG. 61 is a flowchart for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 62 is a block diagram illustrating a configuration example of another embodiment of the optimization device to which the present invention has been applied.
  • FIG. 63 is a flowchart for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 64 is a diagram for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 65 is a view for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 66 is a diagram for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 67 is a diagram for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 68 is a diagram for explaining the telop extraction optimizing process by the optimizing device of FIG. is there.
  • FIG. 69 is a block diagram showing a configuration example of another embodiment of the optimizing device to which the present invention is applied.
  • FIG. 70 is a block diagram illustrating a configuration example of the process determining unit in FIG.
  • FIG. 71 is a flowchart for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 72 is a view for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 73 is a diagram for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 74 is a diagram for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 75 is a diagram for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 76 is a view for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 77 is a view for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 78 is a view for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 79 is a diagram for explaining switching of the feature amounts by the optimization device of FIG.
  • FIG. 80 is a block diagram showing a configuration example of another embodiment of the optimizing device to which the present invention is applied.
  • FIG. 81 is a block diagram illustrating a configuration example of the feature amount detection unit in FIG.
  • FIG. 82 is a flowchart for explaining the telop extraction optimizing process performed by the optimizing device shown in FIG.
  • FIG. 83 shows a configuration example of another embodiment of the optimization device to which the present invention is applied. It is a block diagram.
  • FIG. 84 is a block diagram illustrating a configuration example of the feature amount detection unit in FIG.
  • FIG. 85 is a flowchart for explaining the telop extraction optimizing process by the optimizing device of FIG.
  • FIG. 86 is a diagram for explaining a feature content processing content instruction screen by the optimization device of FIG. 84.
  • FIG. 87 is a block diagram illustrating a configuration example of another embodiment of the optimization device to which the present invention has been applied.
  • FIG. 88 is a flowchart illustrating the telop extraction optimizing process performed by the optimizing device of FIG.
  • FIG. 89 is a block diagram showing a configuration example of another embodiment of the optimization device to which the present invention is applied.
  • FIG. 90 is a block diagram illustrating a configuration example of the process determining unit in FIG. 89.
  • FIG. 91 is a flowchart for explaining the image optimization processing by the optimization device in FIG. 89.
  • FIG. 92 is a diagram for explaining LUT.
  • FIG. 93 is a diagram for explaining the processing content specified on the LUT for each feature amount.
  • FIG. 94 is a view for explaining the processing content designated on the LUT for each feature amount.
  • FIG. 95 is a view for explaining the processing content designated on the LUT for each feature amount.
  • Figure 96 shows the manual L U in the image optimization processing by the optimization device in Figure 91.
  • Figure 97 shows the manual L U in the image optimization processing by the optimization device of Figure 91.
  • FIG. 98 is a diagram illustrating the manual LUT change processing in the image optimization processing by the optimization device of FIG.
  • Fig. 99 shows the manual LU in the image optimization processing by the optimization device in Fig. 91.
  • FIG. 100 is a view for explaining manual LUT change processing in the image optimization processing by the optimization device of FIG.
  • FIG. 101 illustrates the manual LUT changing process in the image optimizing process by the optimizing device of FIG. 91.
  • FIG. 102A is a diagram illustrating a manual LUT change process in the image optimization process by the optimization device of FIG.
  • FIG. 102B is a view for explaining manual LUT change processing in the image optimization processing by the optimization device of FIG.
  • FIG. 103A is a view for explaining manual LUT change processing in the image optimization processing by the optimization device of FIG.
  • FIG. 103B is a diagram for explaining manual LUT change processing in the image optimization processing by the optimization device in FIG.
  • FIG. 104A is a diagram for explaining the manual LUT change processing in the image optimization processing by the optimization device in FIG.
  • FIG. 104B is a diagram for explaining the manual LUT change processing in the image optimization processing by the optimization device in FIG.
  • FIG. 105 is a flowchart for explaining the auto LUT changing process in the image optimizing process by the optimizing device of FIG. 'FIG. 106 is a diagram for explaining the automatic LUT changing process in the image optimizing process by the optimizing device of FIG.
  • FIG. 107 is a diagram for explaining the automatic LUT changing process in the image optimizing process by the optimizing device of FIG.
  • FIG. 108 is a diagram for explaining the auto LUT change processing in the image optimization processing by the optimization device in FIG.
  • FIG. 109 is a view for explaining the auto LUT change processing in the image optimization processing by the optimization device of FIG.
  • FIG. 110 shows a configuration example of another embodiment of the optimization device to which the present invention is applied.
  • FIG. 110 shows a configuration example of another embodiment of the optimization device to which the present invention is applied.
  • FIG. 11 is a block diagram illustrating a configuration example of the process determining unit in FIG.
  • FIG. 112 is a flowchart for explaining the image optimizing process by the optimizing device of FIG.
  • FIG. 113 is a flowchart for explaining the manual LUT changing process in the image optimizing process by the optimizing device of FIG.
  • FIG. 114 illustrates the manual LUT changing process in the image optimizing process by the optimizing device of FIG.
  • FIG. 115 is a view for explaining manual LUT changing processing in the image optimization processing by the optimizing device of FIG.
  • FIG. 116 is a block diagram showing a configuration example of another embodiment of the optimizing device to which the present invention is applied.
  • FIG. 117 is a block diagram illustrating a configuration example of the processing unit in FIG.
  • FIG. 118 is a block diagram showing a learning device that generates a coefficient set stored in the coefficient memory of FIG. 116 by learning.
  • FIG. 119 is a block diagram illustrating a configuration example of the mapping processing unit in FIG.
  • FIG. 120 is a flowchart illustrating the learning processing by the optimization device in FIG.
  • FIG. 121 is a flowchart for explaining the mapping process by the optimization device of FIG.
  • FIG. 122 is a block diagram showing a configuration example of another embodiment of the optimization device to which the present invention is applied.
  • FIG. 123 is a block diagram illustrating a configuration example of the processing unit in FIG.
  • FIG. 124 is a flowchart illustrating a learning process performed by the optimization device in FIG. 122.
  • FIG. 125 is a flowchart for explaining the mapping process by the optimization device of FIG.
  • FIG. 126 is a block diagram illustrating a configuration example of another embodiment of the optimization device to which the present invention has been applied.
  • FIG. 127 is a block diagram illustrating a configuration example of the processing unit in FIG.
  • FIG. 128 is a block diagram illustrating a learning device that generates a coefficient set stored in the coefficient memory of FIG. 127 by learning.
  • FIG. 129 is a flowchart illustrating the coefficient determination processing by the learning device in FIG.
  • FIG. 130 is a flowchart illustrating the image optimizing process by the optimizing device of FIG.
  • FIG. 13 1 is a block diagram showing a configuration example of another embodiment of the optimization device to which the present invention is applied.
  • FIG. 13 is a block diagram illustrating a configuration example of the processing unit in FIG.
  • FIG. 13 is a flowchart for explaining the image optimizing process by the optimizing device of FIG.
  • FIG. 134 is a block diagram showing a configuration example of an embodiment of a computer to which the present invention is applied.
  • FIG. 1 shows a configuration example of an embodiment of an optimization device to which the present invention is applied.
  • the optimizing device performs predetermined processing (signal processing) on an input signal, and then outputs a signal obtained as a result of the processing as an output signal.
  • the user examines (qualitatively evaluates) this output signal, and if it is not the output signal of his / her own preference, inputs an operation signal corresponding to the user's preference to the optimization device.
  • the optimizing device changes the content of the processing and the structure of the processing based on the operation signal, performs a predetermined processing on the reproduced input signal, and outputs an output signal.
  • the optimizing device responds to the operation signal input by the user's operation in this way, and repeats the change of the processing content and the processing structure, thereby performing the optimal processing (the processing optimal for the user) as the input signal.
  • the optimal processing the processing optimal for the user
  • FIG. 2 shows a first detailed configuration example of the optimization device of FIG.
  • the optimizing device 1 by learning the operation of the user without the user's knowledge, a process optimal for the user is performed. That is, the optimization device monitors an operation signal supplied in response to a user operation, and determines whether the operation signal can be used for learning. Then, when the operation signal is a learning operation signal that can be used for learning, a correction criterion for correcting an input signal is learned based on the learning operation signal. On the other hand, the input signal is corrected based on a correction criterion obtained by learning, and the corrected signal is output as an output signal.
  • the optimization device 1 includes a processing unit 11 including a correction unit 21 and a learning unit 22.
  • the processing unit 11 includes an input signal to be processed and an operation signal corresponding to a user operation. It is being supplied.
  • the operation signal is supplied from the operation unit 2. That is, the operation unit 2 is composed of, for example, a rotary-type or slide-type knob, a switch, a pointing device, and the like, and configures the optimization device 1 with an operation signal corresponding to a user's operation. Supply to the processing unit 11.
  • a digital input signal is supplied to the correction unit 21 constituting the optimizing device 1, and the learning unit 22 supplies a correction parameter as a correction criterion for correcting the input signal. It is being supplied.
  • the correction unit 21 corrects the input signal based on the correction parameter (signal processing), and outputs the corrected signal as an output signal.
  • the learning unit 22 is supplied with an operation signal from the operation unit 2, and is supplied with an input signal or an output signal as necessary.
  • the learning unit 22 monitors the operation signal to determine whether the operation signal can be used for learning.
  • the learning unit 22 corrects the correction signal used to correct the input signal based on the learning operation signal.
  • the parameters are learned using the input signal and output signal as necessary, and are supplied to the correction unit 21.
  • the learning unit 22 includes a learning data memory 53 and a learning information memory 55.
  • the learning data memory 53 stores learning data used for learning. 5 stores learning information, which will be described later, obtained by learning. Next, the processing (optimization processing) performed by the optimization device 1 in FIG. 2 will be described with reference to the flowchart in FIG.
  • step S1 the learning unit 22 determines whether a learning operation signal has been received from the operation unit 2.
  • the user when operating the operation unit 2, the user first performs an appropriate operation, performs a detailed operation while checking an output signal output according to the operation, and finally optimizes the operation.
  • the operation is stopped when an output signal that is considered to be obtained is obtained.
  • the operation signal corresponding to the position of the operation unit 2 at the time when the output signal that the user considers to be optimal is obtained is the operation signal for learning. Therefore, the learning unit 22 If the operation is stopped after the operation has been performed for a predetermined time or more, the operation signal at the time of the stop is determined as a learning operation signal.
  • step S1 when it is determined that the learning operation signal has not been received, that is, for example, the user has not operated the operation unit 2, or even if the user has operated the operation unit 2, If such an operation is performed, skip steps S2 to S10 and proceed to step SI1, where the correction unit 21 corrects the input signal according to the correction parameters that have been set. Then, an output signal as a result of the correction is output, and the process returns to step S1.
  • step S1 If it is determined in step S1 that the learning operation signal has been received, the process proceeds to step S2, where the learning unit 22 acquires learning data used for learning based on the learning operation signal. And proceed to step S3.
  • step S3 the learning data memory 53 stores the latest learning data acquired in step S2.
  • the learning data memory 53 since the learning data memory 53 stores a plurality of learning data, Storage capacity. Further, the learning data memory 53 stores the learning data only for the storage capacity, and stores the next learning data in a form overwriting the oldest stored value. Therefore, the learning data memory 53 stores a plurality of learning data, which are recent ones.
  • step S3 After the learning data is stored in the learning data memory 53 in step S3, the process proceeds to step S4, where the learning unit 22 and the learning data stored in the learning data memory 53 are updated with the latest learning data. Then, learning is performed using the learning information stored in the learning information memory 55, a correction parameter is obtained, and the process proceeds to step S5. In step S5, the learning unit 22 updates the storage content of the learning information memory 55 with the new learning information obtained during the learning in step S4, and proceeds to step S6.
  • step S6 the learning unit 22 obtains an appropriateness, which will be described later, representing the appropriateness of the correction parameter obtained in step S4, and proceeds to step S7. Determine whether the correction parameters obtained in step 4 are appropriate.
  • step S7 If it is determined in step S7 that the correction parameter is appropriate, skip steps S8 and S9 and proceed to step S10, where the learning unit 22 determines that the correction parameter is appropriate.
  • the obtained correction parameters are output to the correction unit 21 and the process proceeds to step S11. Therefore, in this case, thereafter, the correction unit 21 corrects the input signal in accordance with the new correction parameters obtained in the learning in step S4.
  • step S7 determines whether the correction parameter is corrects the input signal according to the new correction parameters obtained in the learning in step S8.
  • FIG. 4 shows an example of a detailed configuration in a case where the processing unit 11 of FIG. 2 is applied to, for example, an NR circuit that removes noise from an image signal or an audio signal.
  • the weight memory 31 stores a weight (coefficient) W (for example, a value of 0 or more and 1 or less) as a correction parameter supplied from the selecting unit 41 described later of the learning unit 22.
  • the weight memory 32 stores the weight 11 W supplied from the arithmetic unit 33.
  • the arithmetic unit 33 supplies the weight memory 32 with a subtraction value 11 W obtained by subtracting the weight W supplied from the selection unit 41 of the learning unit 22 from 1.0, as a weight.
  • the arithmetic unit 34 multiplies the input signal by the weight 1_W stored in the weight memory 32, and supplies the multiplied value to the arithmetic unit 36.
  • the arithmetic unit 35 multiplies the weight W stored in the weight memory 31 by the output signal stored (latched) in the latch circuit 37, and supplies the multiplied value to the arithmetic unit 36.
  • the computing unit 36 adds the outputs of both computing units 34 and 35 and outputs the sum as an output signal.
  • the latch circuit 37 latches the output signal output from the arithmetic unit 36 and supplies the output signal to the arithmetic unit 35.
  • the correction unit 21 of the processing unit 11 is constituted by 35, 36, and the latch circuit 37.
  • the selection unit 41 selects one of the weight output from the weight correction unit 46 and the weight output from the operation signal processing unit 50, and supplies the selected weight to the correction unit 21 as a correction parameter.
  • An input signal is supplied to the input reliability calculation section 42.Input reliability indicating the reliability of the input signal is obtained, and the output reliability calculation section 43 and the weight calculation section are calculated.
  • the output reliability calculation unit 43 obtains the output reliability indicating the reliability of the output signal based on the input reliability from the input reliability calculation unit 42, and calculates the output reliability.
  • the weight is supplied to the weight calculator 45.
  • the latch circuit 44 stores (latches) the output reliability from the output reliability calculation section 43 and supplies the output reliability to the output reliability calculation section 43 and the weight calculation section 45.
  • the weight calculation unit 45 calculates a weight from the input reliability from the input reliability calculation unit 42 and the output reliability from the output reliability calculation unit 43 and outputs the weight to the weight correction unit 46. .
  • parameter control data for controlling the weight as a correction parameter is supplied to the weight correction unit 46 from the parameter control data memory 57.
  • the weights are processed (corrected) by the parameter control data and supplied to the selector 41.
  • the operation signal processing unit 50 is supplied with an operation signal from the operation unit 2 (FIG. 2).
  • the operation signal processing unit 50 processes the operation signal supplied thereto,
  • the weight corresponding to the signal is supplied to the selection unit 41, the teacher data generation unit 51, and the student data generation unit 52. Further, the operation signal processing unit 50 determines whether the operation signal is the learning operation signal described above, and if the operation signal is the learning operation signal, a flag to that effect (hereinafter referred to as a learning flag as appropriate). Is added to the output weight.
  • the teacher data generation unit 51 Upon receiving the weight with the learning flag from the operation signal processing unit 50, the teacher data generation unit 51 generates teacher data as a learning teacher and supplies it to the learning data memory 53. That is, the teacher data generation unit 51 supplies the weight to which the learning flag is added to the learning data memory 53 as teacher data.
  • the student data generation unit 52 When receiving the weight with the learning flag from the operation signal processing unit 50, the student data generation unit 52 generates student data to be a student for learning and supplies the data to the learning data memory 53. That is, the student data generation unit 52 is configured in the same manner as, for example, the input reliability calculation unit 42, the output reliability calculation unit 43, the latch circuit 44, and the weight calculation unit 45 described above.
  • the weight is calculated from the supplied input signal, and when the weight with the learning flag is received, the weight calculated from the input signal is supplied to the learning data memory 53 as student data.
  • the learning data memory 53 includes teacher data as a weight corresponding to the learning operation signal supplied from the teacher data generator 51, and a learning operation signal supplied from the student data generator 52.
  • a set of student data as weights calculated from the input signal when the is received is stored as one set of learning data.
  • the learning data memory 53 can store a plurality of learning data. Further, if the learning data of only the storage capacity is stored, the next learning data becomes The oldest stored value is overwritten and stored. Therefore, the learning data memory 53 basically has a state in which some recent learning data is always stored.
  • the parameter control data calculation unit 54 outputs teacher data and student data as learning data stored in the learning data memory 53, and further, if necessary, learning information. Using the learning information stored in the memory 55, parameter control data that minimizes a predetermined statistical error is learned by calculating new learning information, and is supplied to the determination control unit 56. Further, the parameter control data calculation unit 54 updates the storage content of the learning information memory 55 with the new learning information obtained by the learning.
  • the learning information memory 55 stores learning information from the parameter control data calculator 54.
  • the judgment control unit 56 determines the appropriateness of the parameter control data supplied from the parameter control data calculation unit 54 by referring to the latest learning data stored in the learning data memory 53. judge. Further, the judgment control unit 56 controls the parameter control data calculation unit 54, and supplies the parameter control data supplied from the parameter control data calculation unit 54 to the parameter control data memory 57.
  • the parameter control data memory 57 updates the stored content with the parameter control data supplied from the determination control unit 56 and supplies the updated data to the weight correction unit 46.
  • the learning unit 22 of the processing unit 11 is configured by the above-described selection unit 41 to weight correction unit 46, and the operation signal processing unit 50 to parameter control data memory 57. ing.
  • the processing unit 11 of the optimizing device 1 as an NR circuit configured as described above removes noise in the input signal as follows.
  • the average of the input signal on which the true value is constant and the noise that fluctuates with time is superimposed is obtained.
  • the weight of an input signal with a high noise level should be reduced (for example, For input signals with low noise levels (thus, signals with good S / N), noise can be effectively removed by increasing the weight.
  • the evaluation value of the input signal is, for example, the closeness of the input signal to the true value as shown in FIG. 5B, that is, the reliability of the input signal being the true value.
  • the noise is effectively removed by calculating the input reliability that expresses, and calculating the average while weighting the input signal according to the input reliability.
  • a weighted average using the weight corresponding to the input reliability is obtained for the input signal and output as an output signal.
  • the input reliability is X (t), y (t),
  • Equation 1 the output signal y (t-1) one sample before the current time t is obtained by the following equation. [Equation 2] t-1
  • the evaluation value of the output signal y (t) indicates that the output signal y (t) is close to the true value, that is, that the output signal y (t) is the true value.
  • the output reliability y (t ) representing reliability is introduced, and the output reliability ya-D of the output signal y (t-1) one sample before the current time t is defined by the following equation.
  • the output signal y (t) in Eq. (4) can be represented by the following weighted average by multiplication and addition.
  • the weight w (t) (and one w (t)) used in equation (8) can be calculated from equation (6) using the output signal y (t-1) It can be obtained from the output reliability and the input reliability x (t ) of the current input signal X (t).
  • the output reliability Q; y ( t ) of the current output signal y (t) in equation (5) is also calculated as the output reliability of the output signal y (t-1) one sample before. 3 ⁇ 41
  • the main input fe X (t can be obtained from the input angle ( ⁇ x (t) and
  • the input reliability x (t ) of the input signal X (t) or the output reliability a yW of the output signal y (t) use the respective variance ⁇ ⁇ 2 or the reciprocal of ⁇ ⁇ 2 Then, the input reliability ⁇ and the output reliability a y (t )
  • the NR circuit in FIG. 4 performs a correction parameter calculation process of calculating a correction parameter as a weight w (t) according to equation (6), and calculates the weight w (t ) To calculate the weighted average of the output signal y (t-1) one sample before and the current input signal X (t) according to equation (8) to obtain the input signal X (t) Performs a correction process that effectively removes the noise contained in.
  • the output signal obtained as a result of the input signal correction processing using the weight w (t) obtained according to the equation (6) is not always felt by the user to be optimal. Therefore, the NR circuit in Fig. 4 is used to learn the operation of the operation unit 2 by the user.
  • the control data learning process for obtaining parameter control data for controlling (correcting) the weight w (t) as a correction parameter is performed, and the input signal is corrected using the weight corrected by the parameter control data. Has become.
  • the control data learning process is performed as follows.
  • the weight Wi corresponding to the learning operation signal given at the i-th time is calculated based on the input signal input when the learning operation signal is given. It can be considered that the user thinks that the weight is optimal. Therefore, in the control data learning process, the weight w (t) obtained according to Equation (6) is close to the weight corresponding to the learning operation signal. Parameter control data that can be corrected to a value (ideally, the same value) may be obtained.
  • the weight w (t) obtained according to the equation (6) is used as student data as a learning student, and the weight Wi corresponding to the learning operation signal is used as teacher data as a learning teacher.
  • a predicted value of weight Wi as teacher data which is predicted by a linear expression defined by parameter control data a and b as shown in the following equation, is obtained. Think about it.
  • Equation (13) (the same applies to equations (14) and (16) to (21) described later), the following is applied to the learning operation signal as teacher data.
  • the weight w (t) as the student data obtained according to Equation (6) is represented.
  • N represents the number of sets of teacher data and student data.
  • Equation (17) The minimum value (minimum value) of the sum of the squared errors in Eq. (15) is given by a and b, which set the right-hand sides of Eqs. (16) and (17) to 0. If the right-hand sides of Equations (16) and (17) are set to 0, respectively, Equation (18) is derived from Equation (16), and Equation (1) is derived from Equation (17). 9), each obtained.
  • parameter control data a can be obtained by the following equation.
  • parameter control data b can be obtained by the following equation.
  • control data learning processing for obtaining parameter control data a and b is performed as described above.
  • the correction processing will be described with reference to the flowchart in FIG.
  • the weight memory 31 of the correction unit 21 stores the weight w (t). Is stored in an overwritten form.
  • the computing unit 33 of the correction unit 21 subtracts the weight w (t) from 1.0, obtains the weight 1 _w (t), supplies the weight 1_w (t) to the weight memory 32, and stores the overwritten data. Let it.
  • step S21 the operation unit
  • the 34 calculates the product of the input signal X (t) and the weight 1 ⁇ w (t) stored in the weight memory 32 and supplies the result to the calculator 36. Further, in step S21, the arithmetic unit
  • the computing unit 36 adds the product of the input signal X (t) and the weight 1—w (t) to the product of the weight w (t) and the output signal y (t-1). Then, the weighted sum (1—w (t)) of the input signal X (t) and the output signal y (t-1) is obtained as X (t) + w (t) y (t-1). , And output as the output signal y (t).
  • This output signal y (t) is also supplied to the latch circuit 37, and the latch circuit 37 stores the output signal y (t) in an overwritten form. Thereafter, the process returns to step S21, and waits for the input signal of the next sample to be supplied. Thereafter, the same processing is repeated.
  • the input reliability calculation unit 42 obtains, for example, the input reliability ax ( t ) based on the variance of the input signal. That is, the input reliability calculator 42 can latch not only a sample X (t) of the current input signal but also the past several samples, and a FIFO (First In Firs t Out) memory is built in, the variance is calculated using the current input signal sample x (t) and the past several samples, and the reciprocal is calculated as the input reliability ⁇ ⁇ ⁇ Are supplied to the output reliability calculation section 43 and the weight calculation section 45. Immediately after input signal input is started, there may not be as many input signal samples required to calculate the variance.In this case, for example, the default value is It is output as reliability ⁇ .
  • the input reliability calculator 42 can latch not only a sample X (t) of the current input signal but also the past several samples, and a FIFO (First In Firs t Out) memory is built in, the variance is calculated using the current input signal sample x (t) and the past several
  • the weight calculation unit 45 uses the input reliability a x (t ) from the input reliability calculation unit 42 to calculate the weight w (t) according to the equation (6).
  • the output reliability H output before the sample is latched, and the weight calculator 45 calculates the input reliability x (t ) from the input reliability calculator 12 and the latch circuit in step S32. 4
  • the weight w (t) is supplied to the weight correction unit 46.
  • step S34 the weight correction unit 46 performs the mode in which the parameter control data read from the parameter control data memory 57 does not correct the weight w (t), i.e., the operation of the operation unit 2 by the user.
  • the weight calculation unit 45 uses the weight w (t) automatically obtained from the input reliability and the output reliability as it is, as the weight W for correcting the input signal X (t).
  • step S34 determines the weight w (t) supplied from the weight calculation unit 45.
  • the weight correction unit 46 determines the weight w (t) supplied from the weight calculation unit 45.
  • the weight correction unit 46 supplies the weight after the correction to the selection unit 41, and proceeds to step S37.
  • Wi corresponds to the weight w (t) supplied from the weight calculator 45, and corresponds to the weight W after the Wi ′ force correction.
  • step S34 determines whether the parameter control data is auto mode data. If it is determined in step S34 that the parameter control data is auto mode data, step S35 is skipped and the process proceeds to step S36.
  • the weight w (t) is supplied to the selection unit 41 as it is, and the process proceeds to step S37.
  • step S37 the output reliability calculation unit 43 updates the output reliability. That is, the output reliability calculating unit 43, the input reliability calculation section 42 in Step S 3 1 the immediately preceding calculated input reliability chi), one sample before the latch circuit 44 is latched output signal Yoriyukidohi
  • the current output reliability ayW is obtained by adding y — 1 according to Equation (5), and stored in the latch circuit 44 in an overwritten form.
  • step S38 the selection unit 41 determines whether or not the operation unit 2 is operated by the user from the output of the operation signal processing unit 50. If it is determined in step S38 that the operation unit 2 has not been operated, the process proceeds to step S39, and the selection unit 41 selects the weight supplied from the weight correction unit 46 (hereinafter, appropriately referred to as correction weight). Is selected and output to the correction unit 21 to return to step S31.
  • correction weight the weight supplied from the weight correction unit 46 (hereinafter, appropriately referred to as correction weight). Is selected and output to the correction unit 21 to return to step S31.
  • step S38 If it is determined in step S38 that the operation unit 2 is operated, the process proceeds to step S40, and the selection unit 41 selects the weight output by the operation signal processing unit 50 according to the operation. Then, output to the correction unit 21 and return to step S31. Therefore, in the correction parameter calculation processing of FIG. 7, when the operation unit 2 is not operated, the correction weight is supplied to the correction unit 21. When the operation unit 2 is operated, the operation weight is The weight corresponding to the signal is supplied to the correction unit 21. As a result, in the correction unit 21, when the operation unit 2 is not operated, the input signal is corrected by the correction weight, and when the operation unit 2 is operated, the input signal is corrected by the weight corresponding to the operation signal. The input signal is corrected. Furthermore, in the correction parameter calculation processing of FIG.
  • the weight used for the correction processing is obtained only from the input reliability and the output reliability regardless of the operation of the operation unit 2, and the auto mode is not performed.
  • the weight used in the correction process is obtained by using parameter control data obtained by learning based on the operation of the operation unit 2 by the control data learning process in FIG.
  • step S41 the operation signal processing unit 50 determines whether or not the learning operation signal has been received from the operation unit 2, and has determined that the learning operation signal has not been received. If so, return to step S41.
  • step S41 when it is determined that the learning operation signal has been received from the operation unit 2, that is, for example, after the operation unit 2 has started the operation, the operation unit 2 waits for the first time t1 or more. The operation is continuously performed for the second time t2 or more without opening, and then the operation is stopped for the third time t3 or more, or after the operation of the operation unit 2 is started, If it is determined that the operation of the operation unit 2 has been performed so that the user output S and a desired output signal can be obtained, for example, when the operation is stopped continuously for a time t 3 or more of step 3, step S Proceeding to 42, the teacher data generator 51 generates teacher data, and the student data generator 52 generates student data.
  • the weight W corresponding to the learning operation signal (for example, the operation amount of the operation unit 2, the knob or lever of the operation unit 2, and the like) Is supplied to the teacher data generation unit 51 and the student data generation unit 52 together with the learning flag.
  • the teacher data generation unit 51 acquires the weight W as teacher data and supplies it to the learning data memory 53.
  • the student data generating unit 52 obtains a weight w corresponding to the input signal at that time as student data and supplies the weight w to the learning data memory 53.
  • the weight w corresponding to the input signal is expressed by the following equation (6): It means a weight automatically obtained from the output reliability, so to speak, and as described above, the student data generator 52 calculates the weight w corresponding to this input signal from the input signal.
  • the learning data memory 53 When the learning data memory 53 receives the teacher data W from the teacher data generator 51 and receives the student data w from the student data generator 52, the learning data memory 53 receives the latest teacher data W in step S43. And the set of student data w, and then proceed to step S44.
  • step S44 the parameter control data calculation unit 54 adds the least squares method to the teacher data and the student data.
  • the parameter control data calculating unit 5 Equation (2 0) and (2 1) of the student data Wi and the teacher data Wi in multipliers (W Iwi) and Sameshiyon (sigma W i Wi) equivalent to computing a calculation corresponding to Sameshiyon ( ⁇ W i) of the student data W i, calculation corresponding to Sameshiyon ( ⁇ Wi) of teacher data Wi, calculation corresponding to the student data if the product of shark Shiyon ( ⁇ W i 2) I do.
  • N-1 sets of teacher data and student data have already been obtained, and that the Nth set of teacher data and student data has been obtained as the latest teacher data and student data.
  • the parameter control data calculation unit 54 has already added N_1 sets of teacher data and student data. Therefore, as for the Nth set of teacher data and student data, if the addition results for the already performed N_1 sets of teacher data and student data are held, the addition results By adding the Nth set of teacher data and student data, an addition result of N sets of teacher data and student data including the latest teacher data and student data can be obtained.
  • the parameter control data calculation unit 54 stores the result of the previous addition as learning information in the learning information memory 55.
  • the N set The teacher data and the student data are added.
  • the teacher data used for the addition is used for the addition.
  • the number N of sets of student data is required, and the learning information memory 55 stores the number N of sets as learning information.
  • the parameter control data calculation unit 54 After performing the addition in step S44, the parameter control data calculation unit 54 stores the addition result as learning information in the form of overwriting in the learning information memory 55, and in step S45. move on.
  • step S45 the parameter control data calculation unit 54 calculates the parameter control data a and the parameter control data a from the addition result as the learning information stored in the learning information memory 55 by using equations (2 0) and (2 1). Determine if it is possible to find b.
  • step S45 it is determined whether the parameter control data a and b can be obtained from the learning information.
  • step S45 If it is determined in step S45 that the parameter control data a and b cannot be obtained, the parameter control data calculation unit 54 supplies the determination to the determination control unit 56, and 4 Proceed to 9.
  • step S49 the judgment control unit 56 supplies, as parameter control data, auto mode data indicating the auto mode to the parameter control data memory 57 and stores it. Then, returning to step S41, the same processing is repeated thereafter.
  • the weight w (t) automatically obtained from the input reliability and output reliability as described in Fig. 7 1S It is used as is for the input signal X (t) correction.
  • step S45 if it is determined in step S45 that the parameter control data a and b can be obtained, the process proceeds to step S46, and the parameter control data calculation unit 54 uses the learning information to By calculating the equations (2 0) and (2 1), The parameter control data a and b are obtained, supplied to the judgment control unit 56, and the process proceeds to step S47.
  • step S47 the judgment control unit 56 sets the learning data memory 53 according to the linear expression of the expression (13) defined by the parameter control data a and b from the parameter control data calculation unit 54.
  • a predicted value of the corresponding teacher data is obtained from each student data stored in the learning data. Find the sum of the squared errors represented by).
  • the determination control unit 56 obtains a normalized error obtained by dividing the sum of the square errors by, for example, the number of learning pairs stored in the learning data memory 53, and proceeds to step S48.
  • step S48 the determination control unit 56 determines whether the normalization error is greater than (or greater than) a predetermined threshold S1.
  • a predetermined threshold S1 that is, the linear expression of the expression (1 3) defined by the parameter control data a and b is If the relationship between the student data and the teacher data stored in the memory 53 is not accurately approximated, the process proceeds to step S49, and the determination control unit 56 sets the parameter control data as described above.
  • the auto mode data representing the auto mode is supplied to the parameter control data memory 57 and stored therein. Then, the process returns to step S41, and the same processing is repeated thereafter.
  • the linear expression of the expression (13) defined by the parameter control data a and b is converted to the student data stored in the learning data memory 53. If the relationship between the data and the teacher data is not closely approximated, the input reliability and output reliability are calculated in the same way as when there is no learning information sufficient to obtain the parameter control data a and b.
  • the weight w (t) automatically obtained is used as it is for the correction of the input signal x (t).
  • step S48 unless the normalization error is greater than a predetermined threshold S1,
  • the judgment control unit 56 determines the linear expression of the expression (1 3) defined by the parameter control data a and b from the parameter control data calculation unit 54.
  • An error (distance) E between the regression line represented by and the point specified by the latest teacher data and student data stored in the learning data memory 53 is determined.
  • step S51 the determination control unit 56 determines whether the magnitude of the error ⁇ is greater than (or greater than) a predetermined threshold value S2. Skipping to step 52, the process proceeds to step S53, and the determination control unit 56 outputs the parameter control data a and b obtained in step S46 to the parameter control unit data memory 37.
  • the parameter control data memory 57 stores the parameter control data a and b from the judgment control unit 56 in an overwritten form, and returns to step S41.
  • step S51 if it is determined in step S51 that the magnitude of the error ⁇ is larger than the predetermined threshold value S2, the process proceeds to step S52, where the determination control unit 56 includes the parameter control data calculation unit 5 4 by using only a predetermined number of past learning pairs from the latest learning pairs as the latest teacher data and student data stored in the learning data memory 53 (learning information memory 55). Without using the learning information of), the parameters control data a and b are recalculated. Then, the process proceeds to step S53, where the judgment control unit 56 outputs the parameter control data a and b obtained in step S52 to the parameter control unit data memory 37, and stores it in an overwritten form. Return to step S41.
  • the parameter control data a and b can be obtained, and the linear expression of the expression (13) defined by the parameter control data a and b is calculated based on the student data stored in the learning data memory 53. If the relationship between the data and the teacher data is approximated with high accuracy, the learning pair obtained based on the operation of the operation unit 2 by the user The weight w (t) obtained from the input reliability and the output reliability is corrected according to the equation (13) defined by the parameter control data a and b obtained by learning using The correction weight W obtained by the correction will be used for correcting the input signal X (t).
  • the regression line represented by the linear expression of the expression (13) defined by the parameter control data a and b obtained in step S46 is, as shown in FIG. Error between N points specified by teacher data and student data
  • step S50 an error ⁇ between this straight line and a point defined by the latest teacher data and student data is obtained. If the magnitude of the error ⁇ is not larger than the threshold value S 2, the error ⁇ is expressed by a linear expression of the expression (1 3) defined by the parameter control data a and b obtained in step S 46.
  • the regression line is considered to be relatively accurate approximation to the points specified by the teacher data and student data given up to now, including the points specified by the latest teacher data and student data. .
  • the determination control unit 56 controls the parameter control data calculation unit 54 to make the most recent learning pair of the learning pairs stored in the learning data memory 53 in step S52.
  • the parameter control data a and b are recalculated using only some of the learning pairs of.
  • the parameter control data calculation unit 54 does not use (forget) the learning information as the past addition result stored in the learning information memory 55 and forgets some recent teacher data. Using only a set of student data, their teacher data And the parameter control data a and b that define the straight line of equation (13) that best approximates the set of points defined by the student data.
  • the parameter control data calculation unit 54 determines the points defined by the latest teacher data and student data (indicated by ⁇ in FIG. 9C).
  • the parameter control data a ′ and b ′ that define a straight line passing through the points specified by the teacher data and the student data given the previous time (indicated by ⁇ in FIG. 9C) are obtained.
  • the operation signal supplied in response to the user's operation can be used for learning. If the operation signal is a learning operation signal that can be used for learning, the operation signal for learning is determined. Since the parameter control data a and b for correcting the weight for correcting the input signal are learned based on the operation signal, the user's operation can be learned without the user's knowledge. Based on the learning results, appropriate processing is gradually performed for the user, and ultimately, optimal processing for the user is performed.
  • the user can obtain optimal noise removal results for various input signals without performing any operation during that time. Means that the device fits into your hand, so to speak. Then, at the stage where the user is familiar with the hand, the user operates the operation unit 2 so as to obtain a desired output signal. Therefore, the user has to operate the operation unit 2 and correct the input signal.
  • the relationship between the weight W used and the weight W used for correction of the input signal is eventually qualitatively determined. Will be related. Also, in the NR circuit of FIG. 4, the weight W used in the correction processing (FIG. 6) performed by the correction unit 21 according to the operation of the operation unit 2 by the user is set so that a desired output signal for the user is obtained.
  • the operation signal processing unit 50 outputs the weight represented by the operation signal corresponding to the operation
  • the selection unit 41 selects the weight, and selects the correction unit. 2 Feed to 1.
  • the correction unit In 21 the correction process represented by Expression (8) is performed using the weight corresponding to the user's operation.
  • the content of the processing (correction processing) represented by the equation (8) naturally changes.
  • the NR circuit of Fig. 4 it can be said that, according to the operation of the user, the "contents of processing" have been changed so that a desired output signal can be obtained for the user.
  • the linear expression of the equation (13) defined by the parameter control data a and b becomes
  • the weight automatically obtained from the input reliability and the output reliability is Used for the correction processing in the correction unit 21.
  • the parameter control data a and b can be obtained, and the linear expression of the expression (13) defined by the parameter control data a and b is stored in the student data stored in the learning data memory 53.
  • the parameter control data a and b obtained by performing learning using a learning pair obtained based on the operation of the operation unit 2 by the user are corrected according to the equation (13) defined by the following equation, and the correction weight obtained by the correction is used for the correction processing by the correction unit 21.
  • the input reliability and output reliability Is used for the correction processing in the correction unit 21. If a learning pair capable of highly accurate approximation is input by the user, learning is performed using the learning pair.
  • the correction weights obtained from the parameter control data a and b thus obtained are used for the correction processing in the correction unit 21.
  • the weight w (t) of the equation (8) changes between the case where the learning pair is obtained and the learning pair capable of high-precision approximation.
  • the correction represented by the equation (8) From this point of view, the NR circuit shown in Fig. 4 changes the content of the processing according to the user's operation so that the output content desired by the user can be obtained. It can be said that.
  • the weight is obtained from the input reliability and the output reliability regardless of the user's operation.
  • the weight is determined based on the parameter control data obtained by learning using the learning pair obtained based on the user's operation. Desired.
  • the processing system for calculating the weight that is, the algorithm for obtaining the weight, has been changed in accordance with the operation of the user so that a desired output signal for the user can be obtained.
  • a change in the “contents of the processing” described above corresponds to a change in the function F.
  • the input signal not only an image signal and an audio signal but also other signals can be used.
  • the input signal is an image signal
  • the input reliability is calculated based on the variance obtained from a plurality of pixels that are spatially or temporally close to the pixel to be processed. Become.
  • the learning unit 22 calculates the weight w obtained from the input reliability and the like by using the primary expression (13) defined by the parameter control data a and b.
  • the correction weight is corrected to the correction weight W according to the equation.
  • the correction weight calculation formula that minimizes the normalization error obtained from the learning pair obtained by the user's operation is selected, and the correction weight is calculated by the selected correction weight calculation formula. Become. That is, the algorithm for obtaining the correction weight is changed according to the operation of the user. Therefore, also in this case, it can be said that the “processing structure” has been changed according to the operation of the user.
  • FIG. 10 shows another detailed configuration example when the processing unit 11 of the optimization device 1 in FIG. 4 is applied to an NR circuit.
  • the NR circuit of FIG. 10 does not include the weight correction unit 46, and instead of the input reliability calculation unit 42 and the student data generation unit 52, the input reliability calculation unit 61 and the student data
  • the configuration is basically the same as that in FIG. 4 except that the generators 62 are provided.
  • the input reliability calculation unit 61 calculates the input reliability of the input signal from the plurality of samples of the input signal and the parameter control data stored in the parameter control data memory 57. 3 and the weight calculator 45 are supplied.
  • the student data generator 62 acquires the input signal and the output reliability output by the output reliability calculator 43 as student data, and supplies the student data to the learning data memory 53.
  • the weight calculated by the weight calculation unit 45 is supplied to the selection unit 41 as it is.
  • the selector 41 selects one of the weight output by the weight calculator 45 and the weight output by the operation signal processor 50 in the same manner as in FIG. Output.
  • the parameter control data functions as data for controlling the input reliability.
  • the NR circuit in FIG. 10 also performs the correction processing, the correction parameter calculation processing, and the control data learning processing, as in the NR circuit in FIG. Since the same processing as the processing described in FIG. 6 is performed as the correction processing, the description of the correction processing will be omitted for the NR circuit in FIG. 10 and the correction parameter calculation processing and the control data learning processing will be described. explain.
  • the input reliability x (t ) that defines the weights shown in Expression (6) and is used in the correction processing is, for example, the correction parameter as defined by the following expression.
  • Meter calculation processing and control data learning processing are performed.
  • aa 2, ... ⁇ , a N is the parameter control data
  • xx 2, ⁇ ..., x N is an attempt Hodokoso now process Input signal
  • the input signal is, for example, when an image signal, Xl, x 2, ⁇ ⁇ ⁇ , as the x N, e.g., a pixel as a target sample (indicated by X marks in FIG. 1 1), From that pixel, a pixel that is spatially or temporally close (indicated by a triangle in Fig. 11) can be used.
  • Equation (2 5) Since it is generally difficult to find parameter control data a 2 ,..., A N that always satisfies equation (2 5), here, for example, equation (2 5) Parameter control data & ⁇ a 2 , ⁇ ⁇ ⁇ , a N that minimizes the sum of squared errors on the left and right sides of Consider finding it by the small square method.
  • minimizing the sum of the square errors of the left side and the right side of equation (25) means that the square error between the weight w (t) given by equation (23) and the weight W given by the user is minimizing, i.e., with the weight W provided by the user and teacher data, the input signal defining the weight w (t) of formula (2 3) Xl, X 2 ,. ⁇ ⁇ , x N, And the output reliability ⁇ -as the student data, the square error between the weight w (t) calculated from equation (23) from the student data and the weight W as the teacher data given by the user is minimized.
  • Equation (26) The weight w (t) calculated by equation (2 3) from such parameter control data a 1; a 2 ,..., A N and the student data is equivalent to the teacher data
  • the error from W is small.
  • the square error e 2 between the left and right sides of Equation (25) is given by Equation (26).
  • Equation (30) can be solved, for example, by the Cholesky method for the matrix (beta) A, that is, the parameter control data a 2 , ⁇ ⁇ , a N.
  • the NR circuit in FIG. With the data, the input signal defining the weight w (t) of formula (2 3) Xl, x 2 , • ⁇ ⁇ , x N, and the output reliability monument as student data from the student data, the formula ( 23) The parameter control data a a 2 ,..., A N that minimizes the square error between the weight w (t) calculated by 3) and the weight W A control data learning process for learning by the multiplication method is performed. Further, the NR circuit of FIG.
  • step S61 the parameter control data is read from the input reliability calculation unit 61 1 parameter control data memory 57, and the process proceeds to step S62.
  • step S62 the input reliability calculation unit 61 generates no. Parameter control data read out from parameter control data memory 57 Mode in which input reliability is obtained without using parameter control data, i.e., regardless of the operation of the operation unit 2 by the user, the input reliability is calculated using only the input signal. From this, it is determined whether or not the data is auto-mode data representing a mode that is automatically obtained (this mode is also referred to as an auto mode as appropriate).
  • step S62 If it is determined in step S62 that the parameter control data is not the auto mode data, the process proceeds to step S63, where the input reliability calculator 61 reads the parameter control data read from the parameter control data memory 57. at to a child stranded connection being defined formula in accordance with an equation of (2 2), determined using the sample X to x N of the latest N pieces of the input signal supplied thereto, the output reliability calculating unit 4 3 and The weight is supplied to the weight calculator 45, and the process proceeds to step S65.
  • step S62 If it is determined in step S62 that the parameter control data is the auto mode data, the process proceeds to step S64, and the input reliability calculation unit 61 executes the example.
  • the input reliability ⁇ is obtained based on the variance, and the obtained input reliability ⁇ ⁇ ⁇ is supplied to the output reliability calculation unit 43 and the weight calculation unit 45 .
  • step S65 the weight calculator 45 calculates the input reliability ⁇ x (t ) from the input reliability calculator 61 and the output reliability calculator 4 latched in the latch circuit 44.
  • the weight w (t) is obtained according to the equation (2 3) using the output reliability ⁇ output one sample before in 3.
  • the weight w (t) is supplied from the weight calculator 45 to the selector 41.
  • step S66 the output reliability calculating unit 43 receives the input reliability ⁇ ⁇ ( t) supplied from the input reliability calculating unit 61, as in step S37 in FIG.
  • the output reliability a y W is updated by adding the output reliability ⁇ _ one sample before latched by the latch circuit 44 according to the equation (5), and the output reliability a y W is updated.
  • step S67 the selection unit 41 determines whether or not the operation unit 2 is operated by the user from the output of the operation signal processing unit 50. If it is determined in step S67 that the operation unit 2 is not operated, the process proceeds to step S68, where the selection unit 41 selects the weight supplied from the weight calculation unit 45, and selects the correction unit 2 Output to 1 and return to step S61.
  • step S67 If it is determined in step S67 that the operation unit 2 is operated, the process proceeds to step S69, and the selection unit 41 outputs the operation signal processing unit 50 according to the operation. The weight is selected, output to the correction unit 21, and the process returns to step S61.
  • the correction unit 21 corrects the input signal by the weight based on the input reliability when the operation unit 2 is not operated, and when the operation unit 2 is operated, the operation signal is corrected. Input signal is corrected by the weight corresponding to Is done.
  • the weight used in the correction processing is obtained from the input reliability based on the variance of the input signal regardless of the operation of the operation unit 2.
  • the mode is not the auto mode, based on the operation of the operation unit 2, it is used for the correction process based on the input reliability obtained using the parameter control data obtained by learning by the control data learning process of FIG. 13 described later. A weight is determined.
  • step S71 the operation signal processing unit 50 receives the learning operation signal from the operation unit 2 as in step S41 of FIG. It is determined whether or not reception has been performed. If it is determined that reception has not been performed, the process returns to step S71. ′ In addition, in step S71, when it is determined that the learning operation signal has been received from the operation unit 2, that is, for example, the operation unit 2 waits for the first time t1 or more after the start of the operation.
  • step S7 Proceeding to 2, the teacher data generator 51 generates teacher data, and the student data generator 62 generates student data.
  • the operation signal processing unit 50 sends the weight W corresponding to the learning operation signal to the teacher data generation unit 51 and the student data generation unit 62 together with the learning flag. Supply.
  • the teacher data generation unit 51 acquires the weight W as teacher data and supplies it to the learning data memory 53.
  • the student data generation unit 62 has a buffer (Fig. (Not shown), the input signal is always stored in the buffer for the storage capacity, and when the weight with the learning flag is received, the sample of the input signal input at that time is samples XL to X N of the input signal having a predetermined positional relationship is read from the buffer built in it. Further, the student data generator 62 reads out the output reliability o ⁇ tD from the output reliability calculator 43. The student data generating unit 6 2 supplies a sample X l to x N of these input signals, and an output reliability monument, as student data, the learning data memory 5 3.
  • step S 7 The rewritable received teacher data W from the tutor data generating unit 5 1, when from the student data generating unit 6 2 student data X l through chi New and ay (t is received, step S 7 in 3, storing the most recent tutor data W and student data X l through a set of x N Oyobihi gamma _ upsilon (learning pair), the process proceeds to step S 7 4. in step S 7 4, parameter control data calculating unit 5 4 adds the least squares method to the teacher data and student data.
  • the parameter control data calculation unit 54 corresponds to the product of the student data and the product of the student data and the teacher data, which are the elements of the matrix X and ⁇ in the equation (29), and their summation. Perform the operation.
  • step S74 is performed in the same manner as in step S44 in FIG. That is, the previous addition result is stored as learning information in the learning information memory 55, and the parameter control data calculation unit 54 uses this learning information to calculate the latest teacher data and student data. Perform addition.
  • the parameter control data calculation unit 54 stores the addition result as learning information in the learning information memory 55 in a form of overwriting, and then proceeds to step S75. Then, the parameter control data calculation unit 54 determines whether the equation (30) can be solved for the matrix ⁇ ⁇ based on the addition result as the learning information stored in the learning information memory 55. , that is, whether it is possible to obtain the parameter control data a L to a N.
  • Expression (30) indicates that learning information obtained from a predetermined number or more of learning pairs must exist. Lever can not be solved for the matrix A, it can not be determined that the element and going on the parameter control data ai to a N. Therefore, in step S 7 5, the learning information, whether it is possible to obtain the parameter control data 1 to a N is determined.
  • step S 7 5 if is possible to obtain the parameter control data ai to a N is determined to be not possible, the parameter control data calculating unit 5 4 to that effect is supplied to determine the constant control unit 5 6, step Proceed to S79.
  • step S79 the judgment control unit 56 supplies, as parameter control data, auto mode data representing the auto mode to the parameter control data memory 57 and stores it. Then, returning to step S71, the same processing is repeated thereafter.
  • parameter control data ai to a N as described in FIG. 1 2, the weight obtained from the input reliability based on dispersion of input signals, It will be used to correct the input signal X (t).
  • step S75 when it is determined in step S75 that the parameter control data can be obtained, the process proceeds to step S76, and the parameter control data calculation unit 54 uses the learning information to calculate the equation (30). and by solving for the matrix a, it obtains the parameter control data ai to a N has its element, is supplied to the judgment control unit 5 6, the process proceeds to step S 7 7.
  • step S 7 7 the judgment control unit 5 6 follow the parameter control data calculating unit 4 or these parameters control data ai to formula defined by a N (2 3), stored in the learning data memory 5 3
  • a predicted value of the corresponding teacher data is obtained from each of the obtained student data, and the prediction error of the predicted value (error with respect to the teacher data stored in the learning data memory 53) is expressed by the equation (26).
  • the judgment control unit 56 obtains a normalized error obtained by dividing the sum of the square errors by, for example, the number of learning pairs stored in the learning data memory 53, and proceeds to step S78.
  • step S78 the determination control unit 56 determines whether the normalization error is greater than (or greater than) a predetermined threshold S1.
  • step S 7 8 if the normalization error is judged to be larger than a predetermined threshold S 1, i.e., a linear equation of expression defined by the parameter control data a to a N (2 3) is, for training If the relationship between the student data and the teacher data stored in the data memory 53 is not approximated with high accuracy, the process proceeds to step S79, and the determination control unit 56 executes the parameter control data as described above. As the data, auto mode data representing the auto mode is supplied to the parameter control data memory 57 and stored therein. Then, the process returns to step S71, and the same processing is repeated thereafter.
  • a predetermined threshold S 1 i.e., a linear equation of expression defined by the parameter control data a to a N (2 3) is, for training
  • the student data stored in the equation (23) 1S learning data memory 53 defined by the parameter control data & 1 to a N the relationship between a teacher data and, if not accurately approximated, as in the case of learning information can only obtain the parameter control data a t to a N does not exist, based on the variance of the input signal input
  • the weight obtained from the reliability is used for correcting the input signal X (t).
  • step S 7 8 if the normalization error is judged not greater than the predetermined threshold value S 1, i.e., linear expression of equation defined by the parameter control data & 1 to a N (2 3) is, If the relationship between the student data and the teacher data stored in the learning data memory 53 is accurately approximated, the process proceeds to step S80, where the determination control unit 56 includes the parameter control data calculation unit 5 type defined by the parameter control data a t to a N obtained in 4 with the surface of (2 3) (line), defined by the most recent tutor data Contact Yopi student data stored in the learning data memory 5 3 Find the error (distance) ⁇ from the point to be set.
  • the predetermined threshold value S 1 i.e., linear expression of equation defined by the parameter control data & 1 to a N (2 3) is, If the relationship between the student data and the teacher data stored in the learning data memory 53 is accurately approximated, the process proceeds to step S80, where the determination control unit 56 includes the parameter control data calculation unit 5 type defined by the parameter control data a
  • step S81 the determination control unit 56 determines whether the magnitude of the error ⁇ is greater than (or greater than) a predetermined threshold value S2. 82, skipping to step S83, the determination control unit 56 performs parameter control on the parameter control data & 1 to & 11 obtained in step S76. Output to the external data memory 37. Parameter control data memory 5 7, and stored in the form of overwriting the parameter control data a 1 to a N from the judgment control unit 5 6 returns to Sutetsu flop S 7 1, the same process is repeated.
  • step S81 when it is determined in step S81 that the magnitude of the error E is larger than the predetermined threshold value S2, the process proceeds to step S82, where the determination control unit 56 determines the parameter control data calculation unit 5 By controlling 4, the parameter control data to a N are recalculated using only the latest teacher data and student data stored in the learning data memory 53. Then, the process proceeds to step S 8 3, the judgment control unit 5 6 stores Sutetsu flop S 8 parameter control data & 1 to a N obtained in 2, and outputs the parameter control data memory 5 7, in the form of overwriting And return to step S71.
  • step S82 the parameter control data ai obtained from the teacher data and student data given up to now is used. From a N, the error ⁇ between the surface defined by equation (23) and the point defined by the latest teacher data and student data is obtained.
  • the magnitude of this error ⁇ is, if not greater than the threshold S 2 is the surface of the expression defined (2 3) in step S 7 parameters obtained by the sixth control data ai to a N, latest Since the points specified by the teacher data and the student data, including the points specified by the teacher data and the student data, are considered to be relatively accurate approximations, the parameter control data & 1 to a N is stored in the parameter one motor control data memory 5 7.
  • the judgment control unit 56 controls the parameter control data calculation unit 54 to perform the learning in step S82.
  • the input reliability calculation unit 61 based on the parameter control data a 1 to a N obtained as described above, the input signal frequency Is calculated.
  • the learning of the formula (2 2) to the parameter control data ai defining the input reliability alpha Kaiomega of a New performed Therefore, the user's operation can be learned without the user's knowledge, and furthermore, the optimum processing for the user can be performed using the learning result.
  • the operation signal processing unit 50 outputs the weight represented by the operation signal corresponding to the operation.
  • the selection unit 41 selects the weight and supplies it to the correction unit 21.
  • the correction unit 21 performs the correction process represented by Expression (8) using the weight corresponding to the user's operation.
  • the weight w (t) of equation (8) is changed by the user's operation, the content of the processing (correction processing) represented by equation (8) naturally changes.
  • the NR circuit shown in FIG. 10 can be said to have been modified so that the "contents of processing" power S and the output signal desired by the user can be obtained.
  • the parameter control data & 1 to a N can be obtained, and the equation (23) defined by the parameter control data ai to a N (23) 1S Student data and teacher data stored in the learning data memory 53 If the relationship is closely approximated, the learning pair obtained based on the operation of the operation unit 2 by the user is According to the equation (23) defined by the parameter control data & 1 to a N obtained by performing the learning using the input signal, the input signal and the input calculated from the parameter control data & 1 to a N ( The weight obtained from the (reliability) and the output reliability is used for the correction processing by the correction unit 21.
  • the NR circuit in FIG. 10 has the same high accuracy as the case of the NR circuit in FIG. 4 in the case where a sufficient number of learning pairs or a learning pair capable of highly accurate approximation are not obtained.
  • the algorithm for calculating the weights used in the correction process is different between when a learning pair that can be approximated is obtained.
  • the output reliability Q ⁇ t-D is used as student data, but seeking the parameter control data ai to a N, the output reliability ay (t - ⁇ the formula
  • the input reliability ⁇ ⁇ ⁇ is gradually improved to obtain the weight desired by the user by performing the control data learning process of FIG. 13, so that the output reliability y (t will also be improved.
  • the output with the reliability to a known value, the input reliability, defined by the parameter control data ai to a N, the parameter control data ai such as weights the user desires is obtained, et al. or has been to seek a N, on the contrary, with the input reliability and known value, the output reliability, and defined by the parameter control data ai to a N, the weight desired by the user it is also possible to determine the parameters one as obtained motor control data ai to a N.
  • the output reliability a known value
  • the input reliability defined by the parameter control data ai to a N
  • the parameter control data 1 to a N such as the weight that the user desires to obtain determined
  • the output signal The reliability is defined by the parameter control data to a N ′
  • the parameter control data a to a N ′ to obtain the weight desired by the user is obtained. That is, two sets of parameter control data ai to a it is also possible to obtain the N and a to a N '.
  • the weights as shown in Equation (6), defined by the input reliability "x (t) and the output reliability monument, and to seek the parameter control data ai to a N
  • the correction term of the input reliability x (t ) or the output reliability x be defined with, it is possible Unisuru by obtaining the correction term parameter control data ai to a N.
  • the expression that defines the input signal by parameter control data is not limited to expression (2 2).
  • FIG. 14 shows a second detailed configuration example of the optimization device in FIG.
  • the internal information generation unit 71 is newly provided in the optimization device 1 of FIG. 2, and the configuration of the processing unit 11 is the same as that of FIG. 2. The description is omitted here.
  • the display unit 81 is provided outside the optimizing device 1.
  • the internal information generation unit 71 reads out the internal information of the processing unit 11, converts it into image information, and outputs it to a display unit 81 such as an LCD (Liquid Crystal Display) or CRT (Cathode Ray Tube). Display (present). More specifically, the display unit 81 may display the internal information numerically as it is. For example, a display screen such as a level gauge may be set, and the level gauge may be displayed according to the value of the internal information. The display may fluctuate.
  • the display unit 81 is not limited to this, Other display methods may be used as long as they visually display (present) the internal information.
  • the internal information includes, for example, the weights stored in the weight memories 31 and 32 of the correction unit 21 and the contents stored in the learning data memory 53 and the learning information memory 55 of the learning unit 22. Can be adopted. Also, the internal information may be presented to the user by a presentation (presentation) method other than display, that is, by sound or the like.
  • step S102 the weight W is displayed on the display unit 81. That is, the internal information generation unit 71 reads, for example, the value of the weight W stored in the weight memory 31 as internal information, converts the value into an image signal that can be displayed on the display unit 81, and converts the value into a display signal. And the weight W is displayed (presented), and the process returns to step S91.
  • the weight W as internal information regarding the processing actually executed in the processing unit 11 is displayed (presented) to the user. It is possible to operate the operation unit 2 so that an optimum output signal can be obtained while watching the display of the internal information.
  • the internal information generation unit 71 stores the parameter control data a and b from the parameter control data memory 37 (FIGS. 4 and 10) of the learning unit 22 in addition to the internal information such as the weight described above. You may make it read and display.
  • the weights selected by the selector 41 (FIGS. 4 and 10) are the weights obtained from the parameter control data a and b obtained by performing the learning using the learning pair.
  • image information indicating whether the weight is obtained from the input reliability and the output reliability may be generated as internal information.
  • Fig. 16 shows an example of an automobile autonomous driving system to which the optimization device of Fig. 1 was applied. 1 illustrates a configuration example of an embodiment.
  • the position coordinates (X, Y) and traveling direction 0 of the vehicle are obtained, and the vehicle is caused to travel along a predetermined trajectory.
  • the coordinates (X, Y) and traveling direction 0 obtained by the automatic traveling device often include an error, and in this case, the vehicle may run off a predetermined trajectory.
  • the operation of the user is learned without the user's knowledge, and the vehicle is caused to travel along a predetermined trajectory based on the learning result. That is, when the vehicle starts running off the predetermined trajectory, the user generally operates the steering wheel, the accelerator, and the like so that the vehicle runs along the predetermined trajectory. Therefore, in the automatic traveling device shown in FIG.
  • the gyro sensor 91 detects the yaw rate r of the vehicle and supplies it to the calculation unit 93.
  • the wheel pulsar 92 supplies the arithmetic unit 93 with a number of electric pulses corresponding to the rotation angle of the vehicle wheel.
  • the calculation unit 93 calculates the coordinates (X, Y) and the traveling direction 0 of the vehicle from the outputs of the gyro sensor 91 and the wheel pulser 92 according to, for example, the following formula, and supplies them to the optimization device 94: .
  • Equation (32) where, in equation (3 2), ⁇ (0) represents the direction at the start of driving of the car, and (X (0), ⁇ (0) ⁇ are the coordinates at the start of driving of the car. Note that ⁇ (0) and (X (0), ⁇ (0)) are, for example, GPS (Global Positioning System) not shown. Etc. can be obtained. Vr represents the running speed of the car, and ⁇ represents the slip angle of the center of gravity of the car.
  • the optimization device 94 is composed of a processing unit 101 and learns the operation of the operation unit 98 by the user, that is, based on an operation signal supplied when the user operates the operation unit 98. Based on the learning result, the coordinates (X, Y) and the traveling direction 0 from the computing unit 93 are corrected so that the traveling desired by the user is performed, and supplied to the automatic traveling control unit 95. I do.
  • the automatic travel control unit 95 stores map data and a preset locus to be automatically traveled (hereinafter, appropriately referred to as a set locus). Then, the automatic traveling control unit 95 recognizes the current position and the traveling direction of the vehicle from the coordinates (X, Y) and the traveling direction ⁇ supplied from the processing unit 101 of the optimization device 94, and A control signal for controlling a drive unit 97 described later is generated so as to travel along the set locus, and is output to the selection unit 96.
  • the selection unit 96 is supplied with a control signal from the automatic traveling control unit 95 and an operation signal from the operation unit 98. Then, the selection unit 96 preferentially selects an operation signal from the control signal from the automatic traveling control unit 95 and the operation signal from the operation unit 98 and outputs the operation signal to the driving unit 97. That is, the selection unit 96 normally selects the control signal of the automatic driving control unit 95 and outputs the control signal to the driving unit 97, but upon receiving the operation signal from the operation unit 98, While receiving the operation signal, the output of the control signal from the automatic traveling control unit 95 is stopped, and the operation signal from the operation unit 98 is output to the drive unit 97.
  • the drive unit 97 drives, according to a control signal or an operation signal from the selection unit 96, an engine (not shown) of an automobile, and various mechanisms necessary for traveling, such as wheels, brakes, and clutches.
  • the operation unit 98 includes, for example, a steering wheel, an accelerator pedal, a brake pedal, a clutch pedal, and the like, and optimizes an operation signal corresponding to a user operation. It is supplied to the device 94 and the selection unit 96.
  • the current coordinates (X, Y) and traveling direction ⁇ of the vehicle are computed from the outputs of the gyro sensor 91 and the wheel pulsar 92 in the computing unit 93. It is supplied to the automatic traveling control unit 95 via the processing unit 101 of the optimizing device 94.
  • the automatic travel control unit 95 recognizes the current position and the travel direction of the vehicle from the coordinates (X, Y) and the travel direction 0 supplied thereto, and described later so that the vehicle travels along the set locus.
  • a control signal for controlling the driving unit 97 is generated and supplied to the driving unit 97 via the selecting unit 96. As a result, the vehicle automatically travels according to the control signal output by the automatic travel control unit 95.
  • the operation signal output from the operation unit 98 is also supplied to the processing unit 101 of the optimization device 94.
  • the optimization device 94 performs learning based on an operation signal supplied when the user operates the operation unit 98.
  • the processing unit 101 of the optimization device 94 determines the coordinates (X, Y) and the traveling direction 0 supplied from the calculation unit 93, and obtains the learning result. Based on this, the travel is corrected so that the travel along the set locus as the travel desired by the user is performed, and the corrected travel is supplied to the automatic travel controller 95.
  • FIG. 17 illustrates a configuration example of the processing unit 101 of the optimization device 94 in FIG.
  • the processing unit 101 in FIG. 17 does not include the selection unit 41, and instead of the operation signal processing unit 50 and the teacher data generation unit 51, the operation signal processing unit 110
  • the configuration is basically the same as that of the processing unit 11 in FIG. 4, except that a mentor data generation unit 111 is provided.
  • the operation unit 93 is used to Of the coordinates (X, Y) and the traveling direction 0 supplied to the processing unit 101 of 94, only the traveling direction 0 will be focused on for description. However, for the coordinates (X, Y), the same processing as the processing for the traveling direction ⁇ ⁇ described below can be performed.
  • the operation signal processing unit 110 receives the operation signal from the operation unit 98 and determines whether the operation signal is a learning operation signal. When the operation signal is a learning operation signal, the operation signal processing unit 110 supplies a message indicating that to the student data generation unit 52 and the teacher data generation unit 111. .
  • the teacher data generation unit 111 is supplied with a message indicating that the operation signal is a learning operation signal (hereinafter, appropriately referred to as a learning message) from the operation signal processing unit 110, and also as an input signal.
  • the running direction 0 is supplied from the calculation unit 93.
  • the teacher data generation unit 111 corrects the traveling direction ⁇ from the calculation unit 93 as an output signal output from the correction unit 21 (arithmetic unit 36) (hereinafter referred to as “correction travel Direction).
  • the teacher data generation unit 111 obtains a weight W corresponding to the learning operation signal from the traveling direction ⁇ ⁇ ⁇ as an input signal supplied when a learning message is received and the corrected traveling direction as an output signal.
  • the data is supplied to the learning data memory 53 as teacher data.
  • the weight W when the vehicle turns in the predetermined direction after the user operates the operation unit 98 as the steering wheel so that the vehicle turns in the predetermined direction is obtained.
  • the teacher data the user power S, the operation unit 98 as a steering wheel, and the correction of the input signal X (t) representing the traveling direction ⁇ immediately after the vehicle turns to the desired direction are obtained. It is necessary to adopt the weight W used for.
  • the input signal X (t) immediately after the operation of the operation section 98 is expressed by the following equation (8) and the input signal X (t) and the output signal y (t) output immediately before the operation of the operation section 98.
  • the teacher data generator 111 Since the output signal y (t) immediately after the operation of the operation section 98 is corrected as the corrected traveling direction by the weighted addition with 1), the input signal X immediately after the operation of the operation section 98 is obtained. From Equation (8), the weight W used for correcting (t) is obtained from the input signal X (t) immediately after the operation of the operation unit 98 and the output signal y (t) immediately after the operation of the operation unit 98. And y (t-1) immediately before the operation of the operation unit 98. Therefore, the teacher data generator 111 generates the driving direction ⁇ ⁇ ⁇ as the input signal X (t) supplied immediately after receiving the learning message, and the output supplied immediately before and immediately after receiving the learning message.
  • a weight W as teacher data is obtained and supplied to the learning data memory 53.
  • the student data generation unit 52 stores the weight w obtained from the running direction as the input signal supplied up to immediately before the learning message in the learning data memory 53 as student data.
  • the student data generator 52 has the same configuration as the input reliability calculator 42, the output reliability calculator 43, the latch circuit 44, and the weight calculator 45.
  • the weight w (the same weight w obtained by the weight calculation unit 45) is calculated from the traveling direction as the input signal supplied thereto, and the weight w calculated immediately before receiving the learning message is calculated.
  • the data is supplied to the learning data memory 53 as student data.
  • the user operates the operation unit 98 to use the weight W when the traveling direction becomes the direction desired by the user as the teacher data, and the user operates the operation unit 98.
  • the same weight w output by the weight calculator 45 immediately before the operation of 98 is used as the student data, and the calculation of the parameter control data a and b shown in the equations (20) and (21) is performed. Done.
  • the weight correction unit 46 corrects the weight w obtained by the weight calculation unit 45 in accordance with the equation (13) using the parameter control data a and b, and supplies the weight w to the correction unit 21. Is done.
  • the parameter control data a and b are used by the weight calculation unit 4 so that the traveling direction immediately before the user operates the operation unit 98 is corrected to the traveling direction immediately after the user operates the operation unit 98. Since the weight w obtained in step 5 is corrected, the vehicle will automatically travel along the set track.
  • the fact that the user operates the operation unit 98 means that an error of the gyro sensor 91, noise included in the output thereof, a calculation error in the calculation unit 93, etc. Since the traveling direction ⁇ ⁇ output by the arithmetic unit 93 includes an error and does not represent the true traveling direction of the vehicle, it is considered that the actual traveling direction of the vehicle is out of the set trajectory. . Further, in this case, the operation of the operation unit 98 by the user is considered to change the actual traveling direction of the vehicle to a direction along the set trajectory. Therefore, when the user operates the operation unit 98, the weight W when the actual traveling direction of the car follows the set trajectory is used as the teacher data, and the user operates the operation unit 98 immediately before operating the operation unit 98.
  • the weight w obtained by the weight calculation unit 45 that is, the weight w output by the weight calculation unit 45 in a state deviating from the set trajectory is learned as student data, so that the weight w deviates from the set trajectory.
  • the parameter control data a and b of the equation (13) for correcting the weight of the equation (6) are obtained so that the traveling direction in the state where the vehicle is in a state along the set locus is corrected.
  • the processing of the processing unit 101 of the optimization device 94 in FIG. 17 will be described.
  • the correction process is performed by learning the correction process to correct the direction ⁇ , the correction parameter calculation process to find the weight as the correction parameter used in the correction process, and the operation of the operation unit 98 (Fig. 16) by the user.
  • Control data learning processing for obtaining parameter control data for controlling (correcting) the weight as a parameter is performed, but the correction processing is the same as the correction processing by the NR circuit in FIG. 4 described in FIG.
  • the correction parameter calculation process and the student data learning process performed by the processing unit 101 of the optimization device 94 in FIG. 17 will be described.
  • step S111 the input reliability calculation unit 42 sets the calculation unit 9 3 ( The input reliability o; x ( t ) based on the variance of the traveling direction ⁇ from FIG. 16) is obtained and supplied to the output reliability calculation unit 43 and the weight calculation unit 45. Then, the process proceeds to step S 1 1 2, and the weight calculator 45 uses the input reliability a x ( t ) from the input reliability calculator 42 to calculate the weight w (t) according to equation (6). Then, the calculated value is supplied to the weight correction unit 46, and the process proceeds to step S113.
  • step S113 the weight correction unit 46 reads the parameter control data from the parameter control data memory 57, and proceeds to step S114.
  • step S114 the weight correction unit 46 sets the mode in which the parameter control data read from the parameter control data memory 57 does not correct the weight w (t), that is, the operation unit 98 (FIG. Regardless of the operation of 16), the weight calculation unit 45 corrects the input signal X (t) with the weight w (t) automatically obtained from the input reliability and output reliability. It is determined whether the data is auto mode data indicating the mode (auto mode) used as the weight W.
  • step SI 13 If it is determined in step SI 13 that the parameter control data is not the auto mode data, the process proceeds to step S 115, where the weight correction unit 46 determines the weight w (t) supplied from the weight calculation unit 45. ) Is corrected according to the linear expression of the expression (13) defined by the parameter control data a and b supplied from the parameter control data memory 57, and the process proceeds to step S116.
  • step S116 the weight correction unit 46 supplies the weight after the correction to the correction unit 21 as a correction parameter, and proceeds to step S117.
  • step S114 determines whether the parameter control data is the auto mode data. If it is determined in step S114 that the parameter control data is the auto mode data, step S115 is skipped, the process proceeds to step S116, and the weight correction unit 46 The weight w (t) from the weight calculation unit 45 is supplied as it is to the correction unit 21 as a correction parameter, and the process proceeds to step S117.
  • step S117 the output reliability calculation unit 43 updates the output reliability. That is, the output reliability calculation unit 43 calculates the input reliability x W calculated by the input reliability calculation unit 42 in the immediately preceding step S 31 and the one sample before the latched by the latch circuit 44.
  • the current output reliability y (t ) is obtained by adding the output reliability according to equation (5), and is stored in the latch circuit 44 in a form overwritten.
  • the weight used in the correction processing is obtained from the input reliability and the output reliability regardless of the operation of the operation unit 98. If the mode is not the auto mode, the weight used in the correction process is obtained based on the operation of the operation unit 98 using the parameter control data obtained by learning by the control data learning process in FIG.
  • step S131 it is determined whether or not the operation signal processing unit 110 has received an operation signal for force learning from the operation unit 98 (Fig. 16). If it is determined that the information has not been received, the process returns to step S101.
  • step S 101 when it is determined that the learning operation signal has been received from the operation unit 98, that is, for example, a steering wheel or the like is used as the operation unit 98.
  • the operation is continuously performed for the second time t2 or more without leaving an interval of the time t1 or more, and then the operation is stopped for the third time t3 or more, or After the operation of the steering wheel as the start of operation 8, the user operates the operation unit 9 8 so that the vehicle turns in a desired direction, for example, when the operation is stopped for a third time t 3 or more and the operation is stopped.
  • the process proceeds to step S132, where the teacher data generation unit 111 generates the teacher data, and the student data generation unit 52 generates the student data. Generate.
  • the operation signal processing unit 110 when determining that the operation signal processing unit 110 has received the learning operation signal, the operation signal processing unit 110 supplies the learning message to the teacher data generation unit 111 and the student data generation unit 52.
  • the teacher data generation unit 111 Upon receiving the learning message from the operation signal processing unit 110, the teacher data generation unit 111, in step S132, calculates the traveling direction ⁇ ⁇ as the input signal supplied from the calculation unit 93, The operation for learning is performed based on the output signal output from the unit 21 (arithmetic unit 36) obtained by correcting the traveling direction 6 from the computing unit 93 (corrected traveling direction). Find the weight W corresponding to the signal.
  • the teacher data generation unit 111 generates an input signal X representing the traveling direction 0 immediately after the user operates the operation unit 98 as a steering wheel and the vehicle turns to the desired direction. (t) is received from the operation unit 93 (FIG. 16). Further, the teacher data generation unit 1 1 1 includes a current output signal y (t) output from the correction unit 21 and an output signal y (t-1) one time earlier, that is, the operation of the operation unit 98. The immediately preceding output signal y (t-1) is retained, and using these input signals X (t) and output signals y (t) and y (t-1), the equation (8) is obtained. According to, the weight W (weight corresponding to the learning operation signal) used by the correction unit 21 when the learning operation signal is given is obtained.
  • the teacher data generation unit 111 After obtaining the weight W corresponding to the learning operation signal as described above, the teacher data generation unit 111 supplies the weight W to the learning data memory 53 as teacher data.
  • step S132 the student data generation unit 52, which has received the learning message from the operation signal processing unit 110, obtains, from the traveling direction as the input signal supplied from the calculation unit 93 (FIG. 16) immediately before that.
  • the same weight w calculated by using the input reliability and the output reliability obtained and output by the weight calculator 45 is supplied to the learning data memory 53 as student data.
  • the learning data memory 33 stores the weight W used by the correction unit 21 when the user operates the operation unit 98 to change the actual traveling direction of the vehicle to the direction desired by the user. At the same time, immediately before the user operates the operation unit 98, a learning pair in which the weight w obtained from the input reliability and the output reliability is student data is supplied.
  • the learning data memory 53 receives the teacher data W from the teacher data generator 1 1 1 When the student data w is received from the student data generator 52, the latest set of teacher data W and student data w is stored in step S133, and the process proceeds to step S134.
  • step S134 the parameter control data calculation unit 54 outputs the latest teacher data and student data stored in the learning data memory 53, and the learning information as in step S44 in FIG. With the learning information stored in the memory 55 as a target, addition in the least squares method is performed. Further, in step S134, the parameter control data calculation section 54 stores the addition result as learning information in the learning information memory 55 so as to overwrite it, and proceeds to step S135.
  • step S135 as in step S45 in FIG. 8, the parameter control data calculation unit 54 calculates the equation from the addition result as learning information stored in the learning information memory 55. Based on (20) and (21), it is determined whether or not the parameter control data a and b can be obtained.
  • step S135 If it is determined in step S135 that the parameter control data a and b cannot be obtained, the parameter control data calculation unit 54 supplies the fact to the determination control unit 56, and the step S1 Go to 3-9.
  • step S139 the judgment control unit 56 supplies auto mode data representing the auto mode to the parameter control data memory 57 as parameter control data and stores it. Then, the process returns to step S131, and thereafter, the same processing is repeated.
  • the weight calculation unit 45 (Fig. 17) automatically obtains it from the input reliability and the output reliability.
  • the weight w (t) ⁇ is used as is for the correction of the input signal ⁇ (t).
  • step S135 when it is determined in step S135 that the parameter control data a and b can be obtained, the process proceeds to step S136, and the parameter control data calculation unit 54 uses the learning information to By calculating the equations (20) and (21), the parameter control data a and b are obtained, supplied to the judgment control unit 56, and Proceed to step S137.
  • step S137 the determination control unit 56 determines the learning data memory 53 according to the linear expression of the expression (13) defined by the parameter control data a and b from the parameter control data calculation unit 54.
  • a prediction value of the corresponding teacher data is obtained from each student data stored in the learning data, and a prediction error of the prediction value (an error with respect to the teacher data stored in the learning data memory 53) is calculated by the equation (15). Find the sum of the squared errors expressed. Further, the determination control unit 56 obtains a normalization error by dividing the sum of the square errors by, for example, the number of learning pairs stored in the learning data memory 53, and proceeds to step S138.
  • step S138 the determination control unit 56 determines whether the normalization error is greater than (or greater than) a predetermined threshold S1. If it is determined in step S138 that the normalization error is larger than the predetermined threshold value S1, that is, the linear expression of the expression (13) defined by the parameter control data a and b is If the relationship between the student data and the teacher data stored in the learning data memory 53 is not accurately approximated, the process proceeds to step S139, and the determination control unit 56 sets the parameter as described above. As control data, auto mode data representing the auto mode is supplied to the parameter control data memory 57 and stored therein. Then, the process returns to step S131, and the same processing is repeated thereafter.
  • the linear expression of the expression (13) defined by the parameter control data a and b is converted to the student data stored in the learning data memory 53. If the relationship between the data and the teacher data is not closely approximated, the input reliability and output reliability are calculated in the same way as when there is no learning information sufficient to obtain the parameter control data a and b.
  • the automatically obtained weight w (t) i is used as it is for the correction of the input signal ⁇ (t).
  • step S138 when it is determined in step S138 that the normalization error is not larger than the predetermined threshold value S1, that is, as defined by the parameter control data a and b If the linear expression of the expression (13) accurately approximates the relationship between the student data and the teacher data stored in the learning data memory 53, the process proceeds to step S140, and the determination control unit 5 6 is a regression line represented by a linear expression of the expression (13) defined by the parameter control data a and b from the parameter control data calculation unit 54, and the latest regression line stored in the learning data memory 53. Find the error (distance) ⁇ between the points specified by the teacher data and student data.
  • step S141 the determination control unit 56 determines whether or not the magnitude of the error ⁇ is greater than (or greater than) a predetermined threshold S2. Skipping step S142, proceeding to step S143, the determination control unit 56 stores the parameter control data a and b obtained in step S136 into the parameter control unit data memory 37. Output.
  • the parameter control data memory 57 stores the parameter control data a and b from the judgment control unit 56 in an overwritten form, and returns to step S1331.
  • step S141 when it is determined that the magnitude of the error ⁇ is larger than the predetermined threshold S2, the process proceeds to step S142, where the determination control unit 56 performs the parameter control.
  • the determination control unit 56 performs the parameter control.
  • the data calculation unit 54 only a predetermined number of past learning pairs from the latest learning pairs as the latest teacher data and student data stored in the learning data memory 53 are used ( Without using the learning information in the learning information memory 55), the parameter control data a and b are recalculated.
  • step S144 where the determination control unit 56 outputs the parameter control data a and b obtained in step S142 to the parameter control unit data memory 37, and overwrites the data. And return to step S13.
  • the parameter control data a and b can be obtained, and the linear expression of the expression (13) defined by the parameter control data a and b is calculated based on the student data stored in the learning data memory 53.
  • the parameter control data a and b obtained by performing learning using a learning pair obtained based on the operation of the operation unit 2 by the user.
  • the weight w (t) obtained from the input reliability and the output reliability is corrected according to the equation (13) defined by the following equation, and the correction weight W obtained by the correction is used to correct the input signal X (t). Will be used.
  • the operation signal supplied in response to the user's operation can be used for learning, and the operation signal for learning that can be used for learning is determined by the operation signal.
  • the parameter control data a and b for correcting the weight for correcting the input signal are learned based on the learning operation signal, so that the user's operation must be learned without the user's knowledge. As a result, based on the learning result, appropriate processing is gradually performed for the user, and finally, optimal processing is performed for the user.
  • the vehicle while operating the operation unit 98 so that the user corrects the traveling direction to the one along the set locus, the vehicle gradually runs automatically along the set locus. Become.
  • the actual traveling direction of the car follows the set trajectory.
  • the weight W used in the correction process (FIG. 6) performed by the correction unit 21 is changed. That is, when the user operates the operation unit 98 so that the traveling direction of the automatic vehicle becomes the desired direction, the traveling direction 0 as an input signal output by the calculation unit 93 (FIG. 16) changes, The input reliability obtained from the traveling direction 0 and the output reliability obtained from the input reliability also change.
  • the weight calculated by the weight calculation section 45 also changes, and the changed weight is supplied to the correction section 21 via the weight correction section 46. Then, the correction unit 21 performs the correction process represented by Expression (8) using the weights supplied in this manner. Therefore, when the user operates the operation unit 98, the weight of the equation (8) is changed by the user's operation, and as in the case of the NR circuit shown in FIG. Since the contents of the processing (correction processing) represented by are also changed, the processing unit 101 of the optimization device 94 in FIG. Accordingly, the “contents of the processing” can be determined to have been changed so that the user can obtain a desired traveling direction.
  • the processing unit 101 of the optimizing device 94 shown in FIG. 17 can also perform a case where a sufficient number of learning pairs are not input from the user or an approximation with high accuracy, similarly to the NR circuit shown in FIG. If no proper learning pair is input, the weight automatically obtained from the input reliability and the output reliability is used for the correction processing in the correction unit 21, and the user can perform highly accurate approximation.
  • the correction weights obtained by the parameter control data a and b obtained by performing the learning using the learning pair are used for the correction processing in the correction unit 21.
  • a sufficient number of learning pairs or a learning pair capable of high-precision approximation are not obtained, and a learning pair capable of high-precision approximation is obtained.
  • the algorithm for calculating weights has changed.
  • Japanese Patent Application Laid-Open No. Hei 7-13625 discloses a travel control device for a work vehicle such as a rice transplanter.
  • this travel control device the operation state of a user and the detection result of a jay mouth sensor and the like are disclosed.
  • the correction amount of the control parameter in the autopilot state is calculated so as to reduce the difference from the information based on the control parameter.
  • the automatic traveling device shown in FIG. 16 is different from the traveling control system disclosed in Japanese Patent Application Laid-Open No. 7-13625 in that the correction amount of the parameter for automatic traveling (autopilot) changes based on the operation of the user.
  • the automatic traveling apparatus shown in FIG. 16 is different from the learning operation in which the operation signal supplied in response to the user's operation determines whether or not the operation signal can be used for learning. If the signal is a signal, the parameter control data for correcting the weight for correcting the input signal is learned based on the learning operation signal. However, only when the switch is manually switched to the manual steering control mode, the correction amount of the control parameter in the automatic steering state is calculated, which is significantly different from the traveling control device described in JP-A-7-13625. .
  • the switch is switched each time the user feels that the automatic power control is not being performed properly, and the manual control mode is set. After the calculation of the control parameter correction amount is completed, the switch must be switched again to set the automatic pilot control mode, and thus the user may feel troublesome.
  • the automatic traveling device shown in Fig. 16 it is determined whether or not the operation signal supplied in response to the user's operation can be used for learning. If the signal is an operation signal, the algorithm is changed based on the learning operation signal so as to learn parameter control data for correcting the weight for correcting the input signal. Even without switching, appropriate automatic driving will be performed. That is, since the learning of the user's operation is performed without the user's knowledge, the learning proceeds while the user is performing the operation of correcting the traveling direction, and even if the user does not perform the operation, the learning gradually proceeds. The car will follow the set track.
  • the automatic traveling apparatus shown in FIG. 16 has a different processing structure in response to a user's operation, but also differs from the traveling control apparatus described in JP-A-7-13625 in that respect.
  • FIG. 20 shows another embodiment of the processing unit 101 of the optimizing device 94 of FIG.
  • the same reference numerals are given to the portions corresponding to the case in FIG. 17, and the description thereof will be appropriately omitted below.
  • the processing unit 11 of the NR circuit in FIGS. 4 and 10 and the processing unit 101 of the optimizing device 94 in FIG. 17 use a learning pair obtained based on a user operation, Learning of parameter control data for controlling the correction parameters is performed, but the processing unit 101 in FIG. 20 uses a learning pair obtained based on a user operation. Therefore, learning of the correction parameter itself is performed.
  • the correction unit 21 includes a correction amount calculation unit 141 and a computing unit 144
  • the learning unit 22 includes a learning data memory 53, a learning information memory 55, Judgment control unit 56, Operation signal processing unit 110, Teacher data generation unit 144, Student data generation unit 144, Correction parameter calculation unit 144, and Correction parameter memory 1 46 It is composed of
  • the correction amount calculation unit 14 1 is supplied with correction parameters as described later from the correction parameter memory 14 6 of the learning unit 22, and the correction amount calculation unit 14 1
  • the correction amount for correcting the traveling direction 0 as the input signal is calculated using the correction parameter, and is supplied to the computing unit 144.
  • the computing unit 14 2 is supplied with the correction amount from the correction amount calculating unit 14 1, as well as the traveling direction force S as an input signal and the computing unit 93 (FIG. 16).
  • the computing unit 144 corrects the traveling direction 0 as an input signal by adding a correction amount to the traveling direction 0, and outputs the traveling direction (corrected traveling direction) after the correction as an output signal as an output signal. Output to the row control section 95 (FIG. 16).
  • the teacher data generation unit 144 supplies the traveling direction as an input signal supplied immediately after receiving the learning message from the operation signal processing unit 110 to the learning data memory 53 as teacher data.
  • the student data generating section 144 supplies the running direction as an input signal supplied immediately before receiving the learning message from the operation signal processing section 130 to the learning data memory 53 as student data.
  • the correction parameter calculation unit 144 includes teacher data and student data as learning data stored in the learning data memory 53. Using the learning information stored in the information memory 55, a correction parameter for minimizing a predetermined statistical error is learned by calculating new learning information, and is supplied to the judgment control unit 56. Further, the correction parameter calculation unit 144 updates the storage content of the learning information memory 55 with the new learning information obtained by the learning. The correction parameter memory 146 considers the correction parameters output by the determination control unit 56 as “G'I”.
  • the traveling direction 6 force supplied from the calculation unit 93 is corrected as follows.
  • the arithmetic unit 93 replaces r in the equation (32) with r ′ in the traveling direction. Calculated from the formula.
  • the traveling direction ⁇ 'calculated from the yaw rate r' output from the gyro sensor 91 is as follows from the equations (32) and (33).
  • the processing unit 101 of the optimizing device 94 in FIG. 20 is configured to draw the trajectory indicated by a solid line in FIG.
  • a correction parameter a for correcting the traveling direction 0 '. A physician ⁇ ⁇ ⁇ , a N to perform the correction parameter learning processing of learning based on the learning operating signals from Interview one The, the capturing positive parameter a.
  • To a N a correction process for correcting the traveling direction 0 ′ from the calculation unit 93 is performed.
  • step S151 the correction amount calculation unit 141 corrects the correction parameter a stored in the correction parameter memory 146. Or with a N, to a total of the correction amount.
  • the true traveling direction 0 is the correction parameter a.
  • the amount of capture is calculated as represented by Expression (37).
  • step S 15 the traveling direction 0 ′ from the arithmetic unit 53 as an input signal is added to the correction amount, and the added value (6 in Expression (3 7)) ⁇ It is output as an output signal, waits for the next input signal sample to be supplied, returns to step S151, and thereafter repeats the same processing.
  • step S161 the operation signal processing unit 110 determines whether or not the learning operation signal has been received from the operation unit 98 (FIG. 16). If it is determined that it has not been received, the process returns to step S1661.
  • step S 161 that the operation section 98 has received the learning operation signal, that is, for example, the operation section 98 has been operated for the first time after the start of the operation. It is operated continuously for at least t 2 without leaving an interval of t 1 or more, After that, if the operation is stopped continuously for the third time t3 or more, or the operation is stopped continuously for the third time t3 or more after the operation of the operation unit 98 is started.
  • step S162 the teacher data generation unit 144 Generates the teacher data, and the student data generator 144 generates the student data.
  • the operation signal processing unit 110 supplies a learning message to that effect to the teacher data generation unit 144 and the student data generation unit 144.
  • the teacher data generation unit 144 acquires the traveling direction as an input signal supplied immediately thereafter as the teacher data, and supplies it to the learning data memory 53.
  • the teacher data generation unit 144 supplies the traveling direction 0 as an input signal supplied after receiving the learning message to the learning data memory 53 as teacher data.
  • the student data generating unit 52 sets the running direction as the input signal supplied immediately before, that is, the running direction immediately before the vehicle turns in the desired direction, as student data.
  • the data is supplied to the learning data memory 53.
  • step S166 the learning data memory 53 stores the set of teacher data and student data from the teacher data generation unit 51, and proceeds to step S164.
  • step S 164 the correction parameter calculation unit 145 applies the least squares method to the teacher data and student data in the same manner as described in the equations (2 2) to (30). Perform
  • step S164 is performed using the previous addition result as the learning information stored in the learning information memory 55, as in the case described above.
  • ⁇ ′ in equation (37) the predicted value of the teacher data as 0 in equation (37) calculated using the student data and the sum of the square errors of the corresponding teacher data Correction parameter a to minimize To a N are added.
  • the correction parameter calculation unit 14 5 stores the result of the addition as learning information in the form of overwriting in the learning information memory 55 5. Proceed to.
  • Step S 1 6 the correction parameter calculating unit 1 4 5, whether the result the adding of the learning information stored in the learning information memory 5 5, it is possible to determine the correction parameter & 1 through a N Is determined.
  • Step S 1 6 5 the correction parameter ai to when it is determined that it is not possible to determine the a N, the correction parameter calculator 1 4 5, to that effect, is supplied to the judgment control unit 5 6, step S Proceed to 1 6 9
  • step S169 the determination control unit 56 supplies, to the correction parameter memory 1446, disable data indicating disable of correction as a correction parameter. Then, the process returns to step S161, and the same processing is repeated thereafter.
  • the correction unit 2 1 when the learning information can only determine the correction parameters a L to a N does not exist, the correction unit 2 1, the correction of the input signal is not performed. That is, the correction amount of the input signal is set to zero.
  • step S165 if it is determined in step S165 that it is possible to obtain the correction parameter, the process proceeds to step S166, where the correction parameter calculation unit 144 calculates the correction using the learning information.
  • Parameter a To a N are obtained and supplied to the judgment control unit 56, and the process proceeds to step S167.
  • step S 167 the judgment control unit 56 sets the learning data memory 53 according to the equation (37) defined by the parameter control data ai to a N from the correction parameter calculation unit 145.
  • a prediction value of the corresponding teacher data is obtained from each student data stored in the learning data, and a prediction error of the prediction value (stored in the learning data memory 53).
  • the sum of the squares of the error (for the teacher data) is calculated.
  • the judgment control unit 56 obtains a normalized error obtained by dividing the sum of squares of the prediction error by, for example, the number of learning pairs stored in the learning data memory 53, and proceeds to step S168. move on.
  • step S168 the determination control unit 56 determines whether the normalization error is greater than (or greater than) a predetermined threshold S1.
  • a predetermined threshold S 1 i.e., linear expression of equation defined by the correction parameters & 1 to a N (3 7) is, learning If the relationship between the student data and the teacher data stored in the data memory 53 is not accurately approximated, the process proceeds to step S169, and the determination control unit 56 sets the correction parameter as The disable data is supplied to and stored in the correction parameter memory 146. Then, the process returns to step S161, and the same processing is repeated thereafter.
  • the correction parameter & 1 to a be able to obtain the N
  • the capturing positive parameter ai to formula defined by a N forces the student data memorize in the learning data memory 5 3 the relationship between a teacher data and, if not accurately approximate the correction parameters a 1 through as if a no learning information only can be obtained a N, the correction of the input signal X (t)
  • the quantity is assumed to be zero.
  • Step S 1 6 if the normalization error is judged not greater than the predetermined threshold value S 1, i.e., linear expression of equation defined by the correction parameters & 1 to a N (3 7) is,
  • the process proceeds to step S170, and the determination control unit 56 sets the correction parameter calculation unit 1 4 5 Correction parameters from a.
  • the error ⁇ between the point defined by the most recent tutor data Contact Yopi student data stored in the learning data memory 5 3.
  • step S171 the determination control unit 56 determines whether the magnitude of the error ⁇ is greater than (or greater than) a predetermined threshold value S2. Skipping step S172 and proceeding to step S173, the judgment control unit 56 sets the correction parameter a obtained in step S166. Through a ⁇ , the correction parameter Output to memory 1 4 6. In this case, the correction parameter memory 144 stores the correction parameter a from the determination control unit 56. To a N are overwritten and stored, and the process returns to step S 16 1.
  • step S 171 determines whether the magnitude of the error ⁇ is larger than the predetermined threshold value S 2 or if it is determined in step S 171 that the magnitude of the error ⁇ is larger than the predetermined threshold value S 2, the process proceeds to step S 172, and the determination control unit 56 sets the correction parameter calculation unit By controlling 145, only the latest teacher data and student data stored in the learning data memory 53 are used, and the correction parameter a. Or a N is recalculated. Then, the process proceeds to step S 173, where the judgment control unit 56 sets the correction parameter a obtained in step S 172. Or a a N, and outputs the parameter control unit data memory 3 7, are stored in the form of overwriting, the flow returns to Step S 1 6 1.
  • step S170 the teacher data and the student data which have been given so far are obtained.
  • Correction parameters a From a N, the error ⁇ between the surface defined by equation (37) and the point defined by the latest teacher data and student data is obtained. C The magnitude of this error ⁇ is determined by the threshold S If not, the correction parameter a obtained in step S166. Any or surface of the type defined (3 7) by a N is, including the point defined by the most recent tutor data and student data, the point defined by the teacher data and student data given et the ever Is also considered to be relatively accurate, so its correction parameter a. To a N are stored in the collection parameter memory 1 46.
  • the magnitude of the error ⁇ is, when the threshold S 2 large from the surface of the expression defined (3 7) in step S 1 6 determined Me was corrected parameter 6 a 0 to a N, most Since it is considered that the point specified by the new teacher data and the student data is relatively far apart, the judgment control unit 56 determines in step S172 that the latest data stored in the learning data memory 53 Correction parameter a using only teacher data and student data. Let a N be recalculated.
  • the learning operation signal is supplied based on the user's operation.
  • the correction parameter a in equation (37) Since the learning of a to N is performed, the operation of the user can be learned without the user's knowledge, and furthermore, the processing optimal for the user can be performed using the learning result.
  • the vehicle when the error included in the traveling direction output by the arithmetic unit 93 (FIG. 16) is colored, the vehicle can be automatically driven along a predetermined set locus.
  • the processing unit 101 of the optimizing device 94 shown in FIG. 20 has a correction unit so that the actual running direction of the vehicle follows the set trajectory according to the operation of the operation unit 98 by the user. 21.
  • the correction parameters used in the correction process (Fig. 6) performed in step 1 are changed. That is, when the user operates the operation unit 98 so that the traveling direction of the automobile becomes the desired direction, the calculation unit 43 (FIG. 16) outputs the input immediately before and immediately after the operation of the operation unit 98.
  • the learning of the correction parameter is performed using the traveling direction 0 as a signal as the student data and the teacher data, respectively, whereby the correction parameter is changed.
  • the changed correction parameter is supplied to the correction unit 21.
  • the correction unit 21 calculates a correction amount using the correction parameter, and corrects the input signal based on the correction amount (FIG. 22). Is performed. Therefore, when the user operates the operation section 98, the correction parameter of the equation (37) is changed by the user's operation, so that the processing expressed by the equation (37) is naturally performed. Therefore, the processing unit 101 of the optimizing device 94 shown in FIG. 20 also changes its “processing content” power S according to the user's operation. It can be said that the driving direction has been changed so that it can be obtained.
  • the correction unit 2 when a sufficient number of learning pairs are not input from the user, or when a learning pair capable of high-precision approximation is not input, the correction unit 2 When the correction amount of the input signal in 1 is set to 0 and a learning pair that allows highly accurate approximation is input by the user, the correction parameter obtained by performing learning using the learning pair The input signal is corrected by the correction amount obtained by the above. In other words, there are a sufficient number of learning pairs and learning pairs that can perform highly accurate approximation. The algorithm for calculating the weight used in the correction process of the correction unit 21 is changed depending on whether it is not obtained or when a learning pair capable of approximation with high accuracy is obtained.
  • step S170 the correction parameter a .
  • the error ⁇ between the surface of equation (37) defined by a N and the point specified by the latest teacher data and student data was obtained, and the subsequent processing was performed.
  • the correction parameter a obtained in step S166 before the latest plurality of teacher data and student data is supplied.
  • the processing unit 101 of the optimizing device 94 in FIG. 16 uses the processing unit 11 of the optimizing device 1 shown in FIG. 10 in addition to those shown in FIGS. It is also possible to configure with.
  • FIG. 24 shows a configuration example of another embodiment of the automatic traveling device to which the optimization device of FIG. 1 is applied.
  • parts corresponding to the case in FIG. 16 are denoted by the same reference numerals, and description thereof will be omitted as appropriate below. That is, in the automatic traveling device of FIG. 24, an internal information generation unit 161 is newly provided in the optimization device 94, and a display unit 171 is newly provided.
  • the configuration is the same as in the case of. ⁇
  • the internal information generating unit 161 like the internal information generating unit 171, in FIG. 14, reads the internal information from the processing unit 11, converts it into image information, and outputs it to the display unit 1 11 .
  • the display unit 171 displays the internal information supplied from the internal information generation unit 161 in a predetermined display format.
  • the processing unit 101 can be configured as shown in FIGS.
  • the same processing as in FIG. 17 is performed except for the correction parameter calculation processing. Therefore, with reference to the flowchart of FIG. 25, the correction parameter calculation processing when the processing unit 101 of FIG. 24 is configured as shown in FIG. 17 will be described.
  • steps S191 to S197 the same processes as those in steps S111 to S117 in FIG. 18 are performed.
  • step S197 the process proceeds to step S198, and the internal information is displayed on the display section 171. That is, in more detail, the internal information generation unit 16 1 ⁇
  • the weight W stored in the weight memory 31 (FIG. 17) is read out as the internal information, and the image signal that can be displayed on the display unit 171 is displayed. And output to the display unit 17 1 for display (presentation).
  • step S198 the process returns to step S111, and the same processing is repeated thereafter.
  • the weight W as internal information related to the processing of the processing unit 101 is displayed (presented) on the display unit 171.
  • the user looks at the display, It is possible to operate the operation unit 98 so that optimal automatic traveling is performed.
  • the weight W is displayed.
  • the internal information generation unit 161 may display (present) other internal information on the display unit 171, for example.
  • the parameter control data a and b may be read from the parameter control data memory 37 and displayed. Whether the weight selected by the selection unit 41 is the weight obtained from the parameter control data a and b obtained by performing the learning using the learning pair, or the input reliability And internal information indicating whether the weight is obtained from the output reliability.
  • steps S211 to S223 the same processes as those in steps S161 to S172 of FIG. 23 are performed.
  • step S224 the internal information generation unit 161 stores, for example, the correction parameter a stored in the correction parameter memory 101. Or a a N, reads as internal information, and converts the display available-image signal on the display unit 1 7 1 on the display unit 1 7 1.
  • the correction parameter a Since a N is composed of a plurality of parameters, as shown in FIG. 27, each parameter may be displayed on a horizontal axis and each value on a vertical axis, for example, in a bar graph form. .
  • the correction parameter a. Or a N for example, as shown in FIG. 2 8, it may be displayed taking any two correction parameters ai and aj on the horizontal axis and vertical axis, respectively.
  • the correction parameters for the horizontal axis and the vertical axis can be selected by a user.
  • the correction parameter a is obtained by the correction parameter processing described with reference to the flowchart in FIG.
  • the processing unit 101 of the optimizing device 94 in FIG. To a N are displayed as internal information.
  • the user can operate the operation unit 98 so as to perform optimal automatic driving while watching the display.
  • the internal information generation unit 16 1 uses the correction parameter a. Or it may be displayed inside information other than a N.
  • the correction parameter a as internal information is set.
  • the display is performed assuming that a to N are 0.
  • an optimization device 201 as another embodiment of the optimization device in FIG. 1 will be described with reference to FIG.
  • the optimizing device 201 includes a processing unit 211, and removes noise from, for example, an image signal or the like as an input signal, and optimizes the displayed image signal.
  • the image signal is described as an example of a main input signal, but the present invention is not limited to the image signal, and may be another signal.
  • the processing unit 2 1 1 includes a learning unit 2 2 1 and a mapping processing unit 2 2 2.
  • the operation signal from the operation section 202 is supplied to the learning section 2 21 of the processing section 2 1 1, and the learning section 2 2 1 processes the mapping processing section 2 2 2 based on the operation signal.
  • the necessary coefficient set is learned in and stored in the coefficient memory 235.
  • a learning standard (learning standard) of the learning unit 211 for example, a minimum N-th power error method (least N-th power method) can be used. The solution by the least N-th power error method will be described later.
  • the mapping processing unit 222 performs a mapping process of mapping (converting) an input signal to a predetermined output signal. That is, the mapping processing unit 222 sets a pixel to be obtained from the image signal as an output signal as a pixel of interest, and sets a tap corresponding to the pixel of interest (at least one or more taps required for processing).
  • a pixel of interest is obtained by extracting a pixel (also referred to as a sample) from an image signal as an input signal and performing a product-sum operation with a coefficient set stored in a coefficient memory 235.
  • the mapping processing section 222 performs the same processing (mapping) on the pixels constituting the image signal as an output signal, thereby generating an image signal as an output signal and outputting the generated image signal to the display section 203. Let it.
  • the operation unit 202 is operated by the user, and supplies an operation signal corresponding to the operation to the learning unit 221.
  • the display unit 203 displays a pixel signal as an output signal output by the mapping processing unit 202.
  • the teacher data generator 231 generates teacher data as a learning teacher from the input signal, and outputs the generated teacher data to the minimum N-th power error coefficient calculator 234.
  • Student data generator 2 3 2 Generates student data to be students for learning from the input signal, and outputs the generated student data to the prediction tap extracting unit 233.
  • the teacher data and the student data are generated, for example, by performing no processing on the input signal by the teacher data 231, and by allowing the student data generating unit 232 to perform a predetermined thinning process or It is generated by deteriorating the input data by LPF (Low Pass Filter) or the like, and is not limited to the above configuration as long as the student data is generated as being inferior to the teacher data.
  • LPF Low Pass Filter
  • the teacher data generator 2 31 performs predetermined thinning or processing by LPF on the input signal
  • the student data generator 2 32 If thinning or LPF processing is applied to a greater extent than in step 1, Further, for example, it is also possible to use the input signal as it is as the teacher data, and to use the data obtained by superimposing noise on the input signal as the student data.
  • the prediction tap extracting unit 233 sequentially sets pixels constituting an image signal as teacher data as a pixel of interest, and at least one or more pixels (taps) having a predetermined positional relationship with the pixel of interest. It is extracted as a prediction tap from the image signal as data, and is output to the least-N-th power error coefficient calculation unit 234.
  • the least-N-th-power-error-factor-computing unit 234 is based on an operation signal representing information for specifying the value of the exponent N required for the least-N-th power-of-error calculating method input from the operation unit 202. Then, a coefficient set is calculated from the prediction taps and the teacher data by the least-N-th power error method, output to the coefficient memory 235, and stored (overwritten and stored as appropriate).
  • the coefficient memory 235 stores the coefficient set supplied from the least-N-th-power-error-method coefficient calculator 234 and outputs it to the mapping processor 222 as appropriate.
  • the tap extraction unit 25 1 of the mapping processing unit 22 2 sequentially sets pixels constituting an image signal as an output signal as a target pixel, and a pixel (of a pixel having a predetermined positional relationship with respect to the target pixel). Is extracted from the image signal as an input signal as a prediction tap, thereby forming a prediction tap having the same tap structure as that formed by the prediction tap extraction unit 233 of FIG. Output to the calculation unit 252.
  • the unit 252 multiplies the product of the value of the extracted prediction tap (pixel) input from the tap extraction unit 251 and the coefficient set stored in the coefficient memory 235 of the learning unit 221 , A target pixel is generated and output to the display unit 203 (FIG. 29).
  • the coefficient calculation by the minimum N-th power error method of the minimum N-th power error coefficient calculation unit 234 in FIG. 30 will be described.
  • the error of the predicted value y 'with a large error has a large effect on the sum of the N-th power error.
  • a coefficient in a direction in which the predicted value y 'of such a large error is relieved (a coefficient for reducing the error of the predicted value y' of a large error) is obtained.
  • the error of the predicted value y whose error is small has little effect on the sum of the N-th power error, and is therefore not considered so much, and as a result, it is easily ignored.
  • the error of the predicted value y 'with a larger error has a smaller influence on the sum of the N-th power error than when the index N is larger, and the error is smaller. Will have a smaller effect on the sum of Nth power errors.
  • the least-N-th power error method a coefficient in a direction in which the error of a predicted value having a small error compared to the case where the index N is large is made smaller is obtained.
  • Equation (38) The sum of the N-th error of the predicted value y '(sum of the N-th error) can be expressed by Equation (38).
  • E represents the sum of the error e between the true value y as the teacher data and the predicted value y 'for the number of N-th samples.
  • the predicted value y ′ of the true value y is a linear linear combination of the predicted tap X i and the predetermined coefficient wi, that is, the following equation (39) Defined by
  • This set of prediction coefficients is a coefficient set stored in the coefficient memory 235 of FIG. Ma
  • the prediction taps X i, x 2 , ⁇ 3 ⁇ , ⁇ ⁇ are spatially or from the position of the image as the student data corresponding to the pixel (true value) y of the image as the teacher data. It is possible to adopt a pixel located at a position close in time.
  • Equation (41) is an equation showing the sum E when the exponent N is an odd number.
  • (42) is an equation X indicating the sum E when the exponent N is an even number.
  • equation (4 3) Therefore, from equation (4 3), solving equation (4 4) below solves the equation, that is, the prediction coefficients Wl , w 2 , w 3- , w M will be obtained.
  • Equation (45) can be expressed in the form of a determinant, as shown in the following equation (46), and is called a normal equation.
  • the index N 2
  • the pole of the sum E The small value is uniquely determined, and the minimum value is the minimum value of the sum E.
  • the normal equations in Equation (45) form the same number of simultaneous linear equations as the number of prediction coefficients ww 2 , w 3 "-, w M (in this case, M), this simultaneous linear equation , Cholesky method, etc., and the prediction coefficient w 2) w 3- ", w M can be obtained. [Equation 46]
  • Equation (42) can be expressed as Equation 2 (47) below.
  • the least-N-th-power error coefficient calculating unit 234 of the learning unit 221 calculates a prediction coefficient by the following two least-N-th power error methods. Note that of the two least-N Which of the above is adopted can be specified, for example, by the user operating the operation unit 202 (FIG. 29).
  • the sum E of the term of the error e 2 multiplied by the weight a s is defined as the sum of the N-th power error method instead of the equation (38).
  • the N-th power error e N is defined by the product of the weight s and the square error e 2 .
  • x s ax s c + b ⁇ (50)
  • x s is a predicted value y ′ calculated by the equation ( 39 ) from the prediction coefficients Wl to w M obtained by the least square error method.
  • Error hereinafter referred to as the least-squares Is expressed as a function of the error x s of the predicted values y and, and the weight s of equation (50) defined as shown in FIG. It will show.
  • the coefficient a is a term that controls the effect of the error X s by the least square criterion on the N-th error e N .
  • the weight s is Is a horizontal straight line of 0.
  • the influence of the error X s by the least square criterion on the N-th error e N is constant regardless of the magnitude of the error X s by the least square criterion, and the prediction that minimizes the sum E of Equation (48)
  • Error x s is the least-squares criterion, impact on the N-th power error e N of the formula (48), false difference x s increases the larger, the smaller the error X s is small.
  • the error X s by least squares norms, impact on N-th power error e N of the formula (48) becomes smaller as the error x s is large, the more the error x s is less growing.
  • the N-th power error e N Equation (48) in the case where the coefficient a is positive has the same properties as when the exponent N large, in the case where the coefficient a negative, exponent It has the same properties as when N is small. Therefore, the prediction coefficients of N th power error e N Equation (48), since having properties similar to N-th power error e N of the formula (3 8), to the sum E of the N-th power error of formula (48) to a minimum Is a prediction coefficient that effectively minimizes the sum E of the N-th error in Equation (38).
  • the least square error method is realized as described above. That is, the index N is 2, but if the coefficient a is positive, the index N is N> 2, and if the coefficient a is negative, the index N is 2 and 2. Become. This coefficient a greatly affects the index N of the least-N-th power error method, similarly to the coefficient c described later.
  • the coefficient b is a correction term, and the function value (weight s ) of FIG. 34 as a whole changes in the vertical direction depending on the value of the coefficient b. Note that the coefficient b does not significantly affect the index N of the least-N-th power error method.
  • Coefficients c Section for converting axis scaling, i.e., a term for changing the assignment how weights monument 5 to the error X s by least squares criterion, as the value of the coefficient c is the greater, the weight a s Changes sharply, and conversely, the smaller the value of the coefficient c, the more gradual the change in the weight o; s .
  • the coefficient c changes, the effect of the error x s on the N-th error e N in Equation (48) according to the least-squares criterion is the same as when the coefficient a changes, so that the coefficient by c, the N-th power error e N of the formula (4 8), can provide properties similar to N-th power error e N of the formula (3 8). That is, the coefficient c can influence the index N of the least-N-th power error method.
  • Coefficients a, b, c that define the weights a s of formula (5 0), by the user operation unit 20 2 operation (setting) can be changed, coefficients a, b, c is changed Thus, the weight o; s in equation (50) changes.
  • Weight o by a change in s, the formula (4 8) a s e 2 as N-th power error e N for a given index N, will be functional in the substantially (equivalently), as a result, the formula (5 0)
  • the prediction coefficient that minimizes the sum E of the Nth power error E that is, the standard prediction coefficient w;
  • the first method as shown in Equation (4 8), but those obtained by multiplying the weight shed s relative squared error e 2 was adopted as the N-th power error
  • the second method low-order Using the solution obtained by the least-N-th-power error method, a higher-order least-N-th-power error solution is obtained by a recursive method. That is, the prediction coefficient W i that minimizes the sum E of the square errors of the following equation (5 1) can be obtained by the least square error method as described above.
  • the predicted value y ′ calculated by the equation ( 39 ) using the prediction coefficient W i obtained by the above is represented as yi (hereinafter, appropriately referred to as a predicted value according to the least square criterion).
  • Equation (5 3) To find the prediction coefficient W i that minimizes the sum E of the fourth-order error of Eq. (53), a solution is obtained by the least-square error method. equation (3 9) predicted value y which is calculated by 'using the prediction coefficients W i which minimizes the sum E of 3 square error 29), y 2 (Hereinafter, appropriately referred to as the predicted value based on the least-squares criterion), the squared error e 4 is represented by the squared error e 2 and the predicted value based on the least-squares criterion as shown in Equation (5 3).
  • Equation (54) is to find the prediction coefficient W i that minimizes the sum E of the fifth power. Will obtain a solution by the least square error method. Now, the predicted value y ′ calculated by the equation (39) using the prediction coefficient W i that minimizes the sum E of the fourth-order error of the equation (5 3) is converted to y 3 (hereinafter, appropriately, the minimum fourth power).
  • the cube of (hereinafter referred to as the cube will keep in error due to a minimum of 4 square norm) can be expressed by the product of I y- y 3 I 3. Since the cubic error of Equation (54) according to the minimum fourth power criterion can be obtained as a constant, the prediction coefficient w that minimizes the sum E of the quintic error in Equation (54) is also actually a minimum. It can be obtained by the square error method.
  • the solution (predicted coefficient W i) can be obtained in the same manner.
  • a prediction value (of the prediction value calculated using the prediction coefficient obtained by the lower-order least-Nth-power error method) is obtained. (Predictive error), and by repeating this recursively, higher order least-Nth error A solution by the difference method can be obtained.
  • the solution by the least-N-th power error method is calculated using the predicted value calculated using the prediction coefficient obtained by the first-order lowest N-first-power error method.
  • the solution using the least-N-th power error method can be obtained by using a predicted value calculated using the prediction coefficient obtained by an arbitrary lower-order N-th power error method. That is, in the case of equation (5 3), instead of I y— y 2 I
  • the N-th error e N is the square error e 2 and the N—square error
  • Image optimization processing consists of learning processing and mapping.
  • step S230 it is determined whether or not the user has operated the operation unit 202 in step S230. If it is determined that the user has not operated the operation unit 202, the process returns to step S230. If it is determined in step S230 that the operation unit 202 has been operated, the process proceeds to step S231.
  • step S 231 the teacher data generator 2 31 of the learning section 2 21 generates teacher data from the input signal and outputs the generated teacher data to the least-N-th-power error coefficient calculator 2 34, as well as the student data.
  • the generating unit 232 generates student data from the input signal, outputs the generated student data to the predicted tap extracting unit 233, and proceeds to step S232.
  • the data used to generate the student data and the teacher data may be, for example, an input signal input from the present to a point in time that has been retroactive for a predetermined time. Can be adopted. Instead of using input signals, dedicated data can be stored in advance as learning data. Noh.
  • step S2 32 the prediction tap extracting unit 2 33 generates a prediction tap from the student data input from the student data generating unit 23 2 for each of the attention pixels, using each teacher data as a target pixel, Output to the least-N-th-error-method coefficient calculator 2 34, and then go to step S 2 33.
  • step S233 the least-N-th-power error coefficient calculating unit 234 specifies from the operation unit 202 that the coefficient set is to be calculated by the least-N-th power error method using the recursive method (second method). It is determined whether or not an operation signal to be input is input. For example, it is determined that the operation unit 202 is operated by the user and the recursive method is not specified, that is, the direct method (first method) is specified.
  • step S 2 3 4 (specify the index N) weights a s specifies the formula (5 0) coefficients a, b, whether c is inputted is determined, the input If, for example, it is determined that the user has operated the operation unit 202 and the values specifying the coefficients a, b, and c have been input, the process proceeds to step S 235. move on.
  • step S 235 the least-N-th-error-method coefficient calculating section 234 asks the question of minimizing the above equation (48) with the weights a s and the input coefficients a, b, c.
  • the prediction coefficient w or w 2 , w 3- ", w M as a solution by the least Nsquare error method of the exponent N corresponding to the weight a s , that is,
  • the coefficient set is obtained and stored in the coefficient memory 235, and the process returns to step S230.On the other hand, if it is determined in step S233 that the recursive method has been selected, the process proceeds to step S230. Proceed to 2 3 6.
  • step S 236 the least-N-th-error-method coefficient calculating section 234 determines whether or not information specifying the exponent N has been input, and repeats the processing until the exponent N is input. For example, if it is determined that the user operates the operation unit 202 to input information specifying the exponent N, the process proceeds to step S 237.
  • step S 237 the least-N-square-error-method coefficient calculation unit 234 obtains a coefficient set by a solution based on the least squares error method.
  • step S 2 3 8 Smell
  • the least-N-square-error-method coefficient calculating unit 234 uses the predicted values obtained from the coefficient set obtained by the least-square error method, and explains the equations with reference to equations (51) to (54). As described above, the coefficient set is recursively obtained for the exponent N by the corresponding least-N-th power error method input from the operation unit 202, stored in the coefficient memory 235, and the process returns to step S231.
  • step S 2 41 the tap extracting unit 25 1 of the mapping processing unit 22 2 extracts the image frame as the output signal corresponding to the image frame as the current input signal.
  • a frame of interest among pixels of the frame of interest, for example, in a raster scan order, a pixel that has not yet been set as a target pixel is set as a target pixel, and a prediction tap is extracted from the input signal for the target pixel, and a product-sum operation unit Output to 2 5 2.
  • step S 2 42 the product-sum operation unit 25 2 reads the prediction coefficient of the coefficient memory 2 35 of the learning unit 2 21, and inputs the prediction coefficient from the tap extraction unit 25 1 according to the equation (39).
  • a product-sum operation is performed on the prediction tap thus read and the prediction coefficient read from the coefficient memory 235.
  • the product-sum operation unit 252 obtains the pixel value (predicted value) of the target pixel.
  • step S243 the tap extracting unit 251 determines whether or not all the pixels of the frame of interest have been set as the pixel of interest. 4.
  • step 1 the same process is repeated with a new pixel of interest as a pixel of interest in the raster scan order of the frame of interest.
  • step S 243 If it is determined in step S 243 that all the pixels of the frame of interest have been set as the pixel of interest, the process proceeds to step S 244, and the display unit 203 is obtained by the product-sum operation unit 252. Display the frame of interest consisting of the pixels.
  • step S 2 41 the tap extracting section 2 51 repeats the same processing thereafter with the next frame as a new frame of interest.
  • the user sees the image displayed on the display unit 203 in the mapping processing, and if the image does not suit his or her own preference, the operation unit 202 is switched to the operation unit 202.
  • Operation to specify the direct method or the recursive method, and The exponent N of the difference method is specified, whereby the prediction coefficient obtained by the least-N-th power error method is changed in the learning process, and the image as the output signal obtained by the mapping process is adapted to the user's own preference. You can let it go.
  • the sum of the errors is the sum of the squared and cubic errors.
  • the coefficient a, b, c is in the case of the above value, the index N of the N-th power error e N of the formula (48) corresponds to the case of greater than 2.
  • the sum of the squared errors is 10 1 6028 1 when using the least squares coefficient set, and 108 28 594 when using the least N coefficients set.
  • the results obtained with the coefficient set of the norm are smaller than those obtained with the coefficient set of the least-N power norm.
  • the sum of the cubic errors is 16 598 88 23 when using the least squares coefficient set, and 16 1 283 660 when using the least N coefficients set.
  • the result with the coefficient set of the square law is smaller than that with the least squares coefficient set.
  • mapping process (the product-sum operation of equation (39)) using the coefficient set of the least-squares criterion, it is possible to obtain an image as an output signal having a smaller sum of the square criterion, Also, by performing the matting process using the coefficient set of the minimum N-th power criterion obtained using the coefficients a, b, and c of the above values, an image as an output signal having a smaller sum of the third-order errors is obtained. Obtainable.
  • the index N is changed by the user operating the operation unit 202 (coefficients a, b, and c specifying the index N are changed in the direct method). Also, in the recursive method, the index N itself is changed), and as a result, what kind of index is used as a learning criterion (learning system) for the prediction coefficient (coefficient set) Sets whether to use the minimum N-th power error method. In other words, the learning algorithm for finding the prediction coefficients has changed. Therefore, it can be said that the processing structure has been changed so that the user's favorite image can be obtained.
  • learning system learning criterion
  • FIG. 37 shows another configuration example of the optimization device in FIG.
  • the configuration of the optimizing device 201 of FIG. 37 is the same as that of the optimizing device 201 of FIG. 29 except for the configuration of the internal information generating unit 261, and a description thereof will be omitted. .
  • the internal information generation unit 261 reads, for example, a prediction coefficient stored in the coefficient memory 235 as an internal multiplication method of the processing unit 211, converts the information of the prediction coefficient into an image signal, and displays the image signal. Output to section 203 and display.
  • the image optimizing device of FIG. 38 also includes a learning process and a mapping process as in the case of FIG. In the learning process, in steps S250 to S258, the same processes as those in steps S230 to S238 in FIG. 35 are performed.
  • step S259 the internal information generation unit 2611 stores the coefficient set stored in the coefficient memory 2335. Then, it reads out as internal information, generates a displayable image signal based on each value included in the coefficient set, and outputs it to the display unit 203 for display.
  • the image generated by the internal information generation unit 26 1 and displayed on the display unit 203 is, for example, a three-dimensional distribution diagram as shown in FIG. 39 or a two-dimensional distribution diagram as shown in FIG. It may be in a form such as a dimension distribution diagram. That is, in FIG. 39, the coordinates corresponding to the positions of the prediction taps extracted from the input signal are shown as positions on the xy plane as Tap Position (x) and ⁇ Tap Position (y). On the coordinates corresponding to the position of the tap, a prediction coefficient (Coeff) that takes the product of the pixel value as the prediction tap is shown. In FIG. 40, FIG. 39 is represented in a contour diagram. 'Now, return to the description of the flowchart in FIG. After the processing in step S259, the process returns to step S250, and the same processing is repeated thereafter.
  • each value (coefficient value) of the coefficient set stored in the coefficient memory 235 of the processing unit 211 is displayed (presented) as internal information relating to the processing, and the user can obtain the distribution of the coefficient set.
  • the exponent N is changed (directly In the method, the coefficients a, b, and c specifying the exponent N are changed, and in the recursive method, the exponent N itself is changed), whereby the learning criterion (the learning system) of the prediction coefficient (coefficient set) is changed. ) Is set what kind of exponent N least-Nth power error method is to be used. In other words, it can be said that the “processing structure” has been changed because the learning algorithm itself for obtaining the prediction coefficient has been changed.
  • the coefficient set is displayed.However, for example, internal information about the processing such as whether the current least-N-th power error method is a direct method or a recursive method is displayed. May be displayed.
  • FIG. 41 shows another configuration example of the optimization device.
  • the optimizing device 310 of FIG. 41 includes a processing unit 311 and optimizes an input signal based on an operation signal input from the operation unit 202 to display the signal on the display unit 202.
  • the same reference numerals are given to portions corresponding to those in the above-described embodiment, and a description thereof will be omitted as appropriate below.
  • the coefficient memory 3 2 1 of the processing unit 3 1 1 of FIG. 4 is basically the same as the coefficient memory 2 3 5 of FIG. 3, and the mapping processing unit 2 2 2 executes the mapping processing.
  • the coefficient set necessary for the calculation is stored.
  • This coefficient set is basically a coefficient set (coefficient set as an initial value) generated by the learning device 341 of FIG. 43 described later, but is appropriately changed by the coefficient changing unit 322. Is overwritten and stored. Obedience Thus, as the overwriting is repeated, the coefficient set will be different from the one generated by the learning device 341 in due course.
  • the coefficient set as the initial value is stored in a memory (not shown), and the content stored in the coefficient memory 3 2 1 is returned to the initial value coefficient set in response to the operation of the operation unit 202.
  • the coefficient changing unit 3222 reads out the coefficient set (prediction coefficient) stored in the coefficient memory 3221 based on the operation signal input from the operation unit 202, and calculates the prediction coefficient corresponding to each prediction tap. Change the value of (the prediction coefficient integrated with each prediction tap) and overwrite and store it again in the coefficient memory 3 2 1.
  • the coefficient read / write unit 3 3 1 of the coefficient change unit 3 2 2 is controlled by the change processing unit 3 3 2, reads the coefficient set stored in the coefficient memory 3 2 1, and outputs it to the change processing unit 3 3 2
  • the prediction coefficient whose value has been changed by the change processing unit 332 is overwritten and stored in the coefficient memory 3221.
  • the change processing unit 332 changes the prediction coefficient read from the coefficient memory 3221 by the coefficient read / write unit 331 based on the operation signal.
  • the teacher data generator 3 51 of the learning device 3 41 is the same as the teacher data generator 2 3 1 of the learning device 2 21 of FIG. 30, and an image as learning data prepared in advance is used.
  • the teacher data is generated from the signal, and the teacher data is output to the normal equation generator 354.
  • the student data generation unit 352 is the same as the student data generation unit 232 in FIG. 30, generates student data from the learning data, and outputs the generated student data to the prediction tap extraction unit 353.
  • the prediction tap extraction unit 353 is the same as the prediction tap extraction unit 233 of FIG. 30.
  • the teacher data to be processed from now on is set as a pixel of interest, and the prediction pixel 4 Extract the predicted taps with the same tap structure as the tap extraction unit 25 1 (Fig. 31) that constitutes the muting processing unit 22 1 of Fig. 21 from the student data, and send them to the normal equation generation unit 35 4 Output.
  • the normal equation generator 3 5 4 generates the target pixel input from the teacher data generator 3 5 1 From the teacher data y and the prediction taps x 2 , x, x, x M force, generate the normal equation of equation (46). Then, when the normal equation generation unit 354 obtains the normal equation of Expression (46) using all the teacher data as the pixel of interest, the normal equation is output to the coefficient determination unit 355.
  • the coefficient determination unit 355 obtains a coefficient set by solving the input normal equation (the above equation (46)) by, for example, the Cholesky method.
  • step S 271 the teacher data generation unit 35 1 generates teacher data from the learning data and outputs it to the normal equation generation unit 35 4, and the student data generation unit 35 2
  • the student data is generated from the data for use, and is output to the prediction tap extracting unit 353, and the process proceeds to step S272.
  • step S272 the prediction tap extraction unit 352 extracts the prediction tap from the student data for each data of interest, sequentially using each teacher data as a pixel of interest, and outputs it to the normal equation generation unit 354. Proceed to step S27.
  • step S 273 the normal equation generation unit 354 uses each teacher data and a set of prediction taps to calculate a summation ( ⁇ ), which is each component of the matrix on the left side of the equation (46), By calculating the summation ( ⁇ ), which is each component of the vector on the right side, a normal equation is generated and output to the coefficient determination unit 355.
  • the coefficient determination unit 355 solves the normal equation input from the normal equation generation unit 354, obtains a coefficient set by the so-called least square error method, and In S275, it is stored in the coefficient memory 321.
  • the coefficient set (the coefficient set as an initial value) serving as the basis is stored in the coefficient memory 3 21.
  • the coefficient set obtained by the least square error method has been described.
  • the coefficient set obtained by another method may be used. May be a coefficient set obtained by
  • the coefficient set stored in the coefficient memory 32 1 is a coefficient set including 49 prediction coefficients.
  • the position of each prediction tap is set on the horizontal axis (for example, a number is assigned to each prediction tap, and the value of the number is set on the horizontal axis), and multiplied by the prediction tap at each tap position It is assumed that the distribution when the coefficient value of the prediction coefficient is set to the vertical axis is as shown in FIG.
  • each coefficient is normalized so that the gain of the input signal and the gain of the input signal and the output signal obtained by processing with the prediction coefficients are the same (the individual coefficients are divided by the sum of the values of all coefficients). It is necessary that the sum of the coefficients, ie, the values of the coefficients, be one, but it is difficult to manipulate the individual coefficients so that the sum is one.
  • the tap position t in FIG. 48 is the tap position designated by the arrow in FIG.
  • the change processing section 332 sends the operation signal to a single key indicated by the arrow in FIG. 49.
  • the coefficient value of the coefficient corresponding to the step position is to be changed more than the predetermined threshold value S11 (the amount of change is larger than the threshold value S11)
  • the coefficient values of the other coefficients are plotted.
  • the distribution shown in FIG. 46 is changed to the distribution shown in FIG.
  • the change processing unit 332 corresponds to each tap position such that the distribution of coefficient values changes as a model like a panel according to the distance from the tap position corresponding to the coefficient whose value has been changed.
  • the coefficient value of the coefficient to be changed is changed. That is, when the distribution of the coefficient set obtained by the learning is a distribution as shown in FIG. 46, the change processing unit 33 32 changes the tap position t as shown in FIG.
  • the coefficient value at a position closer to the tap position t is increased so that the closer the position is, the more the coefficient value changes, and conversely, the farther from the tap position t
  • the coefficient value of the coefficient corresponding to the tap at the position is changed so that the farther the position is, the more the coefficient value decreases, and the sum of the coefficient values becomes 1.
  • a model whose distribution changes like a spring like 50 is called a panel model.
  • the coefficient value at a position close to the tap position t depends on the proximity of the position.
  • the coefficient value at a position far from the tap position t is raised according to the distance of the position.
  • the change processing unit 332 changes the tap position according to the change amount of the coefficient at the tap position t as shown in FIG.
  • the coefficient value that takes the extreme value of the same polarity as the coefficient of t is changed in the same direction as the coefficient of the tap position t, and the coefficient value that takes the extreme value of the polarity different from the coefficient of the tap position t is the coefficient of the tap position t.
  • the force described when the positive coefficient value is raised for example, when the positive coefficient value is reduced, that is, when the coefficient value is changed in the negative direction. If the value is positive, change it in the negative direction, and the negative coefficient value changes in the positive direction. In addition, if the negative coefficient value is increased, the positive coefficient value is changed in the negative direction, the negative coefficient is changed in the positive direction, and the negative coefficient value is decreased. If so, a positive coefficient value changes in the positive direction, and a negative coefficient value changes in the negative direction. In the equilibrium model, in each case, the value of the coefficient changes in a direction to maintain the balance as a whole.
  • the change processing unit 332 changes the coefficient values corresponding to the other taps using the panel model shown in FIG.
  • the coefficient values of the coefficients corresponding to the other taps are changed using the equilibrium model shown in FIG. This is because when the amount of change of one coefficient is large, the effect is large in view of the balance of each coefficient value, and it is unnatural to make a change that maintains the overall balance. If the amount of change is small, the change in the coefficient will have little effect on the overall balance, so that the change is made to maintain the balance as a whole.
  • the model of the change of the coefficient other than the changed coefficient value is not limited to this, but is changed so that the total of the coefficient values becomes 1 as a whole. Anything is fine.
  • the model for changing another coefficient is switched in accordance with the magnitude of the change in the coefficient changed by operating the operation unit 202.
  • the model that changes is fixed.
  • the image optimizing process includes a coefficient change process and a mask change process. Since the mubbing process consisting of the rubbing process is the same as the mapping process described in FIGS. 35 and 38, only the coefficient changing process will be described here.
  • step S291 the change processing unit 332 (FIG. 42) of the coefficient changing unit 322 determines whether or not an operation signal for operating the coefficient value has been input from the operation unit 202. That is, when the user sees the image displayed on the display unit 203 and determines that the user's preference is met, the user now uses the coefficient set stored in the coefficient memory 3 2 1 (FIG. 41). Although the mapping process is executed, if it is determined that the mapping does not meet the user's own preference, an operation of changing the coefficient set stored in the coefficient memory 321 used for the mapping process is performed.
  • step S291 determines whether an operation signal for operating a coefficient has been input, that is, one of the coefficients stored in the coefficient memory 3221 is changed. If the operation unit 202 has been operated, the process proceeds to step S292.
  • step S292 the change processing section 3332 controls the coefficient read / write section 331 ⁇ to read the coefficient set stored in the coefficient memory 3221, and in step S2 9 Proceed to 3.
  • step S293 the change processing unit 3332 determines whether the coefficient value input as the operation signal has changed to a predetermined threshold S11 or more compared to a value previously included in the coefficient set. Determine whether or not. For example, if it is determined in step S293 that the change between the value input as the operation signal and the value of the coefficient set stored in the coefficient memory 3221 is equal to or greater than the threshold S11, the processing is performed. Is Step S
  • step S294 the change processing unit 3332 changes the value of each coefficient included in the coefficient set by a spring model as shown in FIG. 50, and the processing is performed in step S290. Go to 5.
  • step S293 the value input as the operation signal and the coefficient memory
  • step S2 If it is determined that the change from the value of the coefficient set stored in 3 2 1 is not greater than or equal to the threshold value S 1 1, the process proceeds to step S 2 96.
  • step S296 the change processing unit 3332 changes the value of each coefficient included in the coefficient set by the equilibrium model as shown in FIG. 51, and the processing is performed in step S2 Go to 9 5.
  • step S295 the change processing unit 3332 controls the coefficient read / write unit 331 to overwrite and store the changed coefficient set value in the coefficient memory 3221. Then, the process returns to step S291, and the subsequent processing is repeated.
  • step S291 when it is determined that the coefficient value has not been operated, that is, when the user determines that the image displayed on the display unit 203 is the user's favorite image, Returning to step S291, the same processing is repeated thereafter.
  • the user can change the coefficient set used for the mapping processing and execute the processing optimal for the user.
  • changing the value of each coefficient in the coefficient set changes the "processing content" of the mubbing processing by the mapping processing unit 311.
  • each coefficient set stored in the coefficient memory 3 2 1 is input from the operation unit 202 based on a user operation. Is changed to the one generated by the least-N-th-power error method corresponding to the exponent N, i.e., the coefficient set is generated by a different coefficient set generation algorithm. It can be said that.
  • FIG. 53 an embodiment will be described in which the internal information generating unit 37 1 is provided in the optimizing device 301 of FIG.
  • the configuration is the same as that of the optimizing device 301 shown in FIG. 41 except for the point that the internal information generation unit 371 is provided.
  • the internal information generating device 371 reads out, for example, a coefficient set stored in the coefficient memory 321 as internal information of the processing unit 331, and converts the read image data into an image signal that can be displayed on the display unit 203. After the conversion, it is output to the display unit 203 for display.
  • This image optimization process like the image optimization process performed by the optimization process 301 in FIG. 41, includes a coefficient change process and a matting process, but the mapping process is shown in FIGS. 35 and 38. Since this is the same as the mapping process described, only the coefficient changing process will be described here.
  • steps S311 to S315 the same processes as those in steps S291 to S296 of FIG. 52 are performed.
  • step S 3 15 as in the case of step S 2 95 in FIG. 52, after the changed coefficient set is stored in the coefficient memory 3 21, the process proceeds to step S 3 17
  • the internal information generation unit 371 reads out each coefficient value of the coefficient set stored in the coefficient memory 321 and converts it into an image signal that can be displayed on the display unit 203. Output and display.
  • the display unit 203 displays the coefficient in the form of, for example, the three-dimensional distribution diagram shown in FIG. 39 or the two-dimensional distribution diagram shown in FIG. Each coefficient value of the set can be displayed.
  • step S317 After the processing in step S317, the process returns to step S311 and the same processing is repeated thereafter.
  • the coefficient change processing shown in FIG. 54 the value of the coefficient set stored in the coefficient memory 3221 is displayed as internal information. It is possible to operate the operation unit 202 such that a coefficient set for executing the operation is obtained.
  • the output is obtained by calculating not a linear expression of the expression (39) but a higher-order expression of second order or higher. It is possible to determine the signal.
  • the feature amount detection unit 4111 of the optimization device 401 Based on the operation signal input from the operation unit 402, the feature amount detection unit 4111 of the optimization device 401, for example, converts two specified feature amounts into an image signal as an input signal. Each pixel is detected, and information on the detected feature amount is output to the process determining unit 412. Further, the feature amount detection unit 4111 stores the image signal as an input signal in the internal buffer 421 until the telop is extracted from the input image signal, and outputs the image signal to the processing unit 4113. I do.
  • the operation unit 402 is the same as the operation unit 202 in FIGS. 41 and 53. Note that the feature amount detection unit 411 is not limited to detecting only two types of designated feature amounts for each pixel of an image signal as an input signal. It is also possible to output two types of feature values specified from them, or to detect two or more types of feature values simultaneously and output them simultaneously.
  • the processing determination unit 4 12 determines, for example, on a pixel-by-pixel basis, a process to be performed on the image signal by the subsequent processing unit 4 13 based on the feature amount input from the feature amount detection unit 4 11.
  • the determined processing content is output to the processing unit 4 13.
  • the processing unit 4 13 applies the processing of the processing content input from the processing determining unit 4 12 to the image signal as the input signal read from the buffer 4 21 in units of pixels, and outputs the processed image signal to the display unit 4 3. , To be displayed.
  • the buffer 421 of the amount detection unit 411 temporarily stores the image signal as an input signal and supplies the image signal to the processing unit 413.
  • the feature amount extraction unit 4222 extracts the two types of feature amounts selected by the feature amount selection unit 4223 from the image signal as an input signal, and outputs the extracted feature amounts to the processing determination unit 4122.
  • the feature amount selection unit 423 supplies information specifying the feature amount to be extracted from the input signal to the feature amount extraction unit 422 based on the operation signal input from the operation unit 402.
  • the selectable feature amounts include, for example, a luminance value for each pixel of an image signal, Laplacian, Sobel, inter-frame difference, inter-field difference, background difference, and a value obtained from each feature amount within a predetermined range (total sum). , Average, dynamic range, maximum value, minimum value, median value, or variance), but other feature values may be used.
  • the feature amount recognition unit 431 of the processing decision unit 4 1 2 recognizes the types of the plurality of feature amounts input from the feature amount detection unit 4 2 1, together with information indicating the type of the recognized feature amount. Then, the feature amount itself is output to the processing content determining unit 432.
  • the processing content deciding unit 432 based on the information indicating the type of the feature amount input from the feature amount recognizing unit 431 and the feature amount itself, stores each feature stored in the processing content database 433. The processing content set in advance for each amount is determined, and the determined processing content is output to the processing unit 413.
  • the processing content recognition unit 441 of the processing unit 4 13 recognizes the processing content input from the processing determination unit 4 12 and instructs the processing execution unit 4 42 to execute the recognized processing. I do.
  • the processing execution unit 442 performs a specified process on an input signal input via the buffer 421 based on a command for each pixel from the processing content recognition unit 441.
  • the image signal is converted into an image signal that can be displayed on the display unit 202, output to the display unit 403, and displayed. Since the optimizing device 401 shown in FIG. 55 extracts a telop from an image signal, the processing content is to determine whether or not to extract a telop portion for each pixel (whether or not to display the telop).
  • step S 331 the feature amount extraction unit 4 2 2 of the feature amount detection unit 4 1 1 determines whether or not two types of feature amounts have been selected by the feature amount selection unit 4 2 3, and the selection is made. Repeat the process until That is, based on an operation signal corresponding to the type of the feature amount input by the user operating the operation unit 402, the feature amount selection unit 4 23 3 outputs information indicating the selected feature amount. Until the data is input to the feature amount extraction unit 4 22, the process of step S 3 31 is repeated. For example, when it is determined that the information for selecting the feature amount is input from the feature amount selection unit 4 2 3, that is, it is determined that the user operates the operation unit 402 and selects two types of feature amounts. In this case, the process proceeds to Step S332.
  • step S3332 the feature amount extraction unit 422 extracts each of the selected two types of feature amounts from the image signal as an input signal for each pixel, and outputs the extracted feature amount to the processing determination unit 4122.
  • the buffer 421 stores an image signal as an input signal.
  • the processing determining unit 412 determines the processing content for each pixel based on the two types of input feature amounts, and outputs the processing content to the processing unit 413. More specifically, the feature amount recognizing unit 431 identifies the two types of input feature amounts, and outputs the type of the identified feature amount and the feature amount itself to the process determining unit 412. Further, the processing determining unit 4 12 determines the processing content from the two types of feature amounts input for each pixel.
  • the processing content database 4 33 contains, as a combination of arbitrary two types of feature amounts A and B, for each (feature amount A, feature amount B), each of the feature amounts A and B A table called LUT (Look Up Table) that associates values with the processing contents (in this case, information on whether or not they are telops) for the pixels having the feature values A and B
  • LUT Look Up Table
  • the processing content determining unit 432 refers to the LUT based on the combination of (feature amount A, feature amount B) of the pixel of interest that is currently being processed, and performs the corresponding processing, that is, Then, it is determined whether or not to be processed as a telop and output to the processing unit 4 13.
  • the LUT is generated by, for example, extracting a plurality of feature amounts from an image of only a telop in advance and associating the combination with information indicating that the telop is a telop. The details of the LUT will be described later.
  • step S334 the processing unit 4113 processes the image signal as an input signal input via the buffer 4221 according to the processing content input from the processing determination unit 4122, and displays the display unit.
  • the image signal is converted to an image signal that can be displayed on the display section 403, and is output to the display section 403 for display.
  • the processing content recognition unit 441 of the processing unit 4 13 recognizes the processing content input from the processing determination unit 4 12 and executes the determined processing on the corresponding pixel.
  • the processing execution unit 442 reads out the image signal as the input signal stored in the buffer 421, executes a process corresponding to each pixel, and converts it into an image signal that can be displayed on the display unit 403. Then, the information is output to the display section 400 and displayed.
  • step S335 the feature detection unit 4111 determines whether or not the telop is regarded as being extracted. That is, when the user looks at the image displayed on the display unit 403 and determines that the telop has not been extracted, the user operates again to change the combination of the feature amounts and try the telop extraction processing. Operate section 402. When an operation signal from the operation unit 402 corresponding to this operation is input, the process returns to step S331, and the subsequent processes are repeated.
  • the user when it is determined that the telop has been extracted by the user's subjectivity, the user operates the operation unit 402 to input an operation signal indicating the end of the processing to the feature amount detection unit 421. At this time, the process ends.
  • the processing in steps S3311 to S335 is repeated until the user looks at the image displayed on the display unit 403 and determines that the telop has been extracted.
  • the optimal combination of features for the user Then, the telop can be extracted from the image signal as the input signal.
  • two types of feature values are used to determine the processing content.
  • the processing content may be determined based on other types of feature values.
  • a plurality of operations are performed in a predetermined order by an operation signal corresponding to a predetermined operation of the operation unit 402 (for example, a button operation for specifying up / down) by the user.
  • the combination of the feature values may be sequentially switched so that the user can switch and input the feature value without being particularly aware of the type of the feature value.
  • the type of the feature amount detected by the feature amount detection unit 411 according to the operation of the operation unit 402 by the user is set so that the telop is detected by the processing unit 413. Be changed. Since the change in the type of the feature detected by the feature detector 411 indicates a change in the algorithm for deciding the processing content in the process determiner, the feature detector 411 also executes the processing. Structure has changed.
  • the feature amount detection unit 411 can detect various feature amounts, but some of these feature amounts include, for example, Laplacian, etc. Some parameters need to be set, such as filter coefficients.
  • the parameter for detecting the characteristic amount can be changed according to the operation of the operation unit 402, but according to the change of the parameter, the parameter is detected by the characteristic amount detection unit 411.
  • the type of the detected feature does not change, but the value of the detected feature changes. Therefore, the change of the parameter for detecting the feature can be said to be a change of the “contents of processing” of the feature detector 411.
  • the optimization device 501 of FIG. 60 is basically the same as the optimization device 401 of FIG. 55 except for the configuration in which the internal information generation unit 511 is provided.
  • the internal information generation unit 5111 of the optimization device 501 is configured as, for example, a feature
  • the feature quantity selection information output from the feature quantity selection section 4 2 3 of the quantity detection section 4 11 is extracted, and the type of the feature quantity currently selected is displayed on the display section 4 3.
  • this processing is basically the same as the telop extraction optimizing processing by the optimizing device 401 in FIG. 55 described with reference to the flowchart in FIG. 59, and the selected features
  • a process of displaying information indicating the type of the amount is added. That is, in step S 3 41, the feature amount extraction unit 4 2 2 of the feature amount detection unit 4 1 1 determines whether or not two types of feature amounts have been selected by the feature amount selection unit 4 2 3. The process is repeated until it is done. For example, when it is determined that the information for selecting the feature amount is input from the feature amount selection unit 4 2 3, that is, it is determined that the user operates the operation unit 402 and selects two types of feature amounts. In this case, the process proceeds to Step S3422.
  • step S3342 the internal information generation unit 5111 extracts information indicating the type of the selected two types of characteristics from the characteristic amount selection unit 423, and outputs the selected two types of characteristics.
  • the name of the quantity type is displayed on the display section 403.
  • steps S3343 to S346 the same processing is performed as in steps S3332 to S335 of FIG. 59.
  • the type of the currently selected feature quantity which is internal information relating to the processing of the feature quantity detection unit 411, is displayed (presented), so that the user is currently selected. While grasping the types of the feature amounts, it is possible to set an optimal combination of feature amounts so that a telop can be accurately extracted from an image signal as an input signal.
  • the internal information generation unit 511 1 generates, for example, a distribution of two types of feature values for each pixel detected by the feature detection unit 4 11 1 as internal information, and displays the display unit 4 0 1 In 3, it is possible to display as shown in FIGS. 65 and 67 described later. As described above, when the parameter for detecting the feature amount is changed according to the operation of the operation unit 402, the internal information generation unit 5111 displays the parameter as internal information. It is also possible to display (present) it in the section 4003.
  • FIG. 62 instead of internal information generation section 5 11 1 of FIG. 60, an internal information generation section 6 11 1 for generating internal information from processing determination section 4 12 is provided.
  • a configuration example of the optimizing device 600 will be described.
  • the optimization device 600 of FIG. 62 is the same as the optimization device 50 of FIG. 60 except that an internal information generation unit 6 11 1 is provided instead of the internal information generation unit 5 11 1 of FIG. It has the same configuration as 1.
  • the internal information generation unit 611 is used as the internal information based on, for example, the processing content determined by the processing content determination unit 432 of the processing determination unit 4 12 and the two types of feature amounts actually detected. Then, a distribution map (for example, FIGS. 65 and 67) of pixels extracted from telop and pixels not extracted from telop when two kinds of feature amounts are used as axes is generated, and the display unit 40 Display on 3.
  • a distribution map for example, FIGS. 65 and 67
  • This processing is basically the same as the telop extraction optimizing processing by the optimizing device 501 shown in FIG. 60 described with reference to the flowchart in FIG. 61. The difference is that processing has been added to display the distribution of whether or not pixels have been extracted as telops based on the type of feature.
  • step S355 the feature amount extraction unit 4222 of the feature amount detection unit 4111 determines whether or not two types of feature amounts have been selected by the feature amount selection unit 4223, and selects The process is repeated until it is done. For example, when it is determined that the information for selecting the feature amount is input from the feature amount selection unit 4 2 3, that is, it is determined that the user operates the operation unit 402 and selects two types of feature amounts. If so,
  • the feature amount extraction unit 422 extracts the selected two types of feature amounts for each pixel from the image signal as an input signal, and outputs the extracted feature amount to the processing determination unit 412.
  • the buffer 421 stores an image signal as an input signal.
  • the processing determining unit 412 determines the processing content for each pixel based on the two types of input feature amounts and outputs the processing content to the processing unit 413.
  • step S354 the processing unit 413 processes the image signal as the input signal read from the buffer 421 according to the processing content input from the processing determination unit 412, and outputs the processed image signal to the display unit 403.
  • the image signal is converted into a displayable image signal, output to the display unit 403, and displayed.
  • step S ⁇ b> 355 the internal information generation unit 611 generates a distribution map obtained by plotting the processing content determined by the processing content determination unit of the processing determination unit 412 with two types of feature amounts as axes. Is generated as internal information and displayed on the display unit 403.
  • step S355 the feature amount detection unit 411 determines whether or not the telop is regarded as being extracted.
  • step S356 when an operation signal corresponding to the user's operation is input from the operation unit 202 and it is determined that no telop has been extracted, the process returns to step S355. The subsequent processing is repeated.
  • step S 356 when the user operates the operation unit 402 to input an operation signal indicating the end of the process to the feature amount detection unit 421, the process ends.
  • step S355 the internal information generation unit 6111 generates a distribution indicating whether or not the two types of feature amounts detected from the image signal as shown in FIG. For example, it is displayed as a two-dimensional distribution diagram as shown in FIG. In the example of Fig. 65, two types of features were selected as Laplacian and the difference between frames. The circles in the figure indicate the pixels from which the telop was extracted, and the backslashes indicate the pixels from which the telop was not extracted.
  • the pixels from which the telop is extracted and the pixels from which the telop is not extracted are in a state where there is no upper boundary (the distribution of the pixels of the telop and the non-telop pixels is not separated). ).
  • the telop is often not extracted from the background image.
  • the telop part is not a boundary, but is surrounded by a boundary 6 2 1, 6 It is a state where 22 occurs.
  • the user determines that the telop has not been extracted, and as a result, the processes of steps S351 to S356 are repeated. Then, by repeating this process, for example, the selected feature amount is the Laplacian sum (17 pixels XI 7 pixels) (the sum of the Laplacian of the pixels in the range of 17 pixels X 17 pixels centering on the target pixel) ) And the luminance DR (17 pixels X 17 pixels centered around the pixel of interest of the luminance value of each pixel), a distribution map is generated as shown in Fig. 67. Suppose. At this time, in FIG. 67, the distribution of pixels extracted as a telop and the distribution of pixels not extracted as a telop are visually separated.
  • the telop of the input image and the other parts are distributed so as to be separated.
  • the Laplacian sum and the luminance DR as the feature amounts detected from each pixel are subjected to threshold value processing, etc., and the telop portion is accurately extracted as shown in FIG. 68. be able to.
  • the telop is extracted by the user viewing the two-dimensional distribution centered on the selected two types of feature amounts together with the image displayed on the display unit 403.
  • steps S351 to S356 By repeating the processing of steps S351 to S356 until it can be determined that the telop and the detected pixel and the background pixel are viewed from the feature amount as the internal information related to the processing of the processing determining unit 412.
  • By displaying the distribution of The user operates the operation unit 402 so that the telop can be accurately extracted from the image signal as the input signal while grasping the distribution of the telop, the detected pixel, and the background pixel from the feature amount. By operating, it is possible to set the optimal combination of feature amounts for the user.
  • the configuration of the optimization device 701 is the same as that of the optimization device 601 shown in FIG. 62 except that a processing determination unit 711 is provided instead of the processing determination unit 412. .
  • the processing determination unit 711 changes the contents of the LUT of the processing content database 433 based on the operation signal from the operation unit 702 (the same as the operation unit 402), and detects the feature value. Based on the feature amount input from the unit 4 11, the subsequent processing unit 4 13 determines the processing to be performed on the image signal for each pixel, and outputs the determined processing content to the processing unit 4 13 .
  • the processing content determination section 7 2 1 determines the processing content for each combination of the two types of feature amounts stored in the processing content database 4 3 3 based on the operation signal input from the operation section 7 02. Change the LUT. More specifically, in a state where the image signal as the input signal is displayed as it is, the feature amount of the pixel in the area designated as the telop by the operation unit 202 is regarded as the telop, and the other area is regarded as the telop. Set the LUT to do the processing.
  • the processing content determining unit 7 2 1 After the LUT is changed, the processing content determining unit 7 2 1 generates a processing content database 4 3 3 based on the information identifying the feature value input from the feature value recognizing unit 4 3 1 and the feature value itself. The processing content that is set in advance for each feature value stored in the storage unit is determined, and the determined processing content is output to the processing unit 413.
  • step S3661 the image signal as an input signal is displayed on the display unit 403 as it is. More specifically, the buffer 421 of the feature amount detection unit 411 receives and stores the image signal as an input signal, and the processing unit 413 detects the input signal stored in the buffer 421. The image signal as a signal is read out as it is, and is output to the display unit 403 as it is without processing, and displayed.
  • step S3652 the processing content determining unit 721 of the processing determining unit 711 determines whether or not the telop and the background have been instructed by the operating unit 702. That is, for example, it is assumed that an unprocessed image signal is displayed as shown in FIG. 72 in the process of step S3661. At this time, the user operates the pointer 741 via the operation unit 72 (by dragging or clicking), and roughly specifies the tip portion by the range 742 or the like. For example, as shown in FIG. 73, the process is repeated until the telop part 752 and the background part 751 of the outer part of the range 742 in FIG. When the section is instructed, each designated pixel position is stored in a built-in memory (not shown), and the process proceeds to step S366.
  • step S3663 the feature selection section 4223 of the feature detection section 4221 determines whether or not an operation signal for selecting two predetermined types of feature amounts has been input from the operation section 202. It is determined and the process is repeated until two predetermined types of feature values are specified. When the two predetermined types of feature values are selected, the process proceeds to step S364.
  • step S364 the feature amount extraction unit 422 determines the two types selected from the input signal based on the information for selecting the type of the feature amount input to the feature amount selection unit 423.
  • the feature amount is extracted and output to the processing determining unit 711.
  • step S365 the internal information generation unit 611 based on the two types of feature amounts input to the processing determination unit 7111 and the information on the pixel position specified in the telop and the background, A two-dimensional distribution map with two types of feature amounts as axes is generated, and in step S366, the two-dimensional distribution map is displayed on the display unit 403. More specifically, the feature amount recognizing unit 431 of the processing determining unit 7 11 1 recognizes the type of the feature amount, and information indicating the type and the feature. The collected amount itself is output to the processing content determination unit 721, and the processing content determination unit 721 internally stores information indicating the pixel position specified in the telop and the background in addition to the information indicating the feature amount and its type.
  • the internal information generation unit 611 By outputting the information to the information generation unit 611, the internal information generation unit 611 based on the information indicating the pixel position designated as the telop and the background, for example, the feature amount 2 shown in FIG. Generate a dimensional distribution map. That is, in the example of FIG. 74, an example is shown in which the Labracian and the inter-frame difference are selected as the feature amounts, but the circles in the figure indicate the pixels of the telop, and the backslashes in the figure indicate the background. Pixels are shown. In the two-dimensional distribution diagram of FIG.
  • step S366 the processing content determination section 721 determines whether or not an operation signal indicating that the telop and the background have been determined to be separated has been input.
  • an operation signal indicating that the telop and the background have been determined to be separated has been input.
  • the distribution of circles indicating telops and the distribution of back marks indicating backgrounds are not completely separated.
  • the boundary 753 is separate from the background 7'51 and the telop 752.
  • the background and the telop are not separated, for example, due to the appearance of a background.
  • the operation unit 720 When it is determined that the telop has not been extracted from the viewpoint of the user in this way, when the user tries to change the feature amount again, the operation unit 720 according to the user operation confirms that the separation has not been performed.
  • the operation signal shown is output to the processing content determination section 7 21 of the processing determination section 7 11.
  • step S366 it is determined that the operation signal indicating that the telop and the background are determined to be separated has not been input, and the process returns to step S366 and thereafter. Is repeated. By this process, two types of feature amounts are selected again.
  • step S366 by performing the processing in step S366, for example, as shown in FIG.
  • the operation unit 720 is operated by the user and processes and determines the operation signal indicating that the operation is separated. Output to the processing content determination unit 7 21 of the unit 7 11.
  • step S366 it is determined that an operation signal indicating that the telop and the background are separated has been input, and the process proceeds to step S366.
  • step S368 the processing content determination unit 721 determines whether or not a telop portion has been designated on the two-dimensional distribution. That is, as shown in FIG. 75, as an area in which a large number of circles indicating telops are distributed by the pointer 741 on the displayed distribution, for example, an operation signal for designating the area 761 is an operation unit. It is determined whether or not an input has been made from 702, and the process is repeated until a range is specified. If it is determined that the range has been specified, the process proceeds to step S369.
  • the processing content determination unit 721 corresponds to each combination of the feature amounts based on the operation signal input from the operation unit 702 and specifying the range 761 in FIG.
  • the processing content on the LUT that indicates the presence or absence of telop extraction is changed, the processing content is determined according to the changed LUT and output to the processing unit 4 13, and the processing unit 4 13 ,
  • the telop is extracted from the image signal as the input signal input through the buffer 421, and is displayed on the display unit 403. More specifically, the processing content determining unit 721, based on the information indicating the range on the two-dimensional distribution as shown in FIG.
  • the LUT of the processing content database 4 33 is updated so that a combination of two types of feature values corresponding to the pixel to be extracted is extracted as a telop, and the processing content of each pixel is determined according to the updated LUT. Output to 3.
  • step S370 the processing content determining unit 721 determines whether or not it has been determined that a telop has been extracted. That is, it is determined whether the telop has been extracted from the viewpoint of the user or whether the telop has not been extracted. For example, as shown in FIG. 76, when the output image is displayed on the display unit 403 by the processing of step S369, the telop unit and the background unit Since the boundaries 771 and 772 are not telops themselves, it cannot be said that telops are completely extracted. Therefore, when the user determines that the telop has not been extracted as described above, the user operates the operation unit 720 to input an operation signal indicating that the telop has not been extracted. .
  • step S 370 determines in step S 370 that no telop has been extracted, and the processing in step S 3 7 1 Proceed to.
  • step S371 it is determined whether or not the range of the telop on the two-dimensional distribution is to be re-designated. The process returns to step S368, and the subsequent processes are repeated.
  • step S370 for example, if it is selected to re-specify the range of the terror in the processing of step S371, in step S368, as shown in FIG. Compared to the range 761 in Fig. 75, the range where the distribution of the circles indicating the telop exists is narrowed down to a smaller range 7 8 1 (The range where the circles extracted as the telop are included in a larger number of the circles is narrowed down) ) Is set.
  • FIG. 75 even if the range 761 on the distribution of the feature amount is set as the telop portion, as a result, as shown in FIG. 76, the boundary between the telop portion and the background portion 771, 7 In the case of 72, since the telop was not the telop itself, the telop was not completely extracted.
  • the user operates the operation unit 702 to set the range 781 narrower than the range 761 as the range on the distribution of the feature amount (as the range of the portion specified as the telop portion). Set.
  • the range on the distribution of the feature value extracted as the telop is narrowed, that is, the background portion is more easily removed.
  • the telop itself will not be easily extracted, and the user will need to repeat this process while looking at the extracted telop to extract the optimal telop. Search for the state.
  • step S370 when the user determines that the telop has been extracted, it indicates that the user has operated the operation unit 720 to determine that the telop has been extracted. Since the operation signal is to be input to the processing content determining unit 721 of the processing determining unit 711, it is determined that the telop has been extracted, and the processing ends.
  • step S371 If it is determined in step S371 that the range of the telop is not to be specified, the process returns to step S366, and the subsequent processes are repeated.
  • the user first selects two types of feature amounts, a telop and a background portion, on an image signal as an input signal, and furthermore, the selected telop and background determine the selected feature amount.
  • a telop extraction process that meets the user's preference can be realized.
  • step S365 If it is determined in step S365 that the telop and background processing has been instructed, then the range of the telop and the background is specified by selecting two types of feature values and the two-dimensional distribution of the telop. It is only necessary to be able to generate information that can be used as a template for narrowing down.
  • the processing is divided into the processing of whether it is a telop key or the background depending on the combination of the two types of feature amounts selected by the user. Content ”will be changed.
  • the type of feature is determined by designating two types of feature in the operation unit 402. For example, as shown in FIG.
  • the combination of the two types of feature amounts may be changed simply by sending an up or down instruction as an operation signal using the two predetermined operation buttons. That is, as an initial state, the process is executed by the combination of the feature amounts a and b shown in the state A, and when the down is instructed, the process is executed by the combination of the feature amounts b and c shown in the state B, Furthermore, when down is instructed, the processing is executed with the combination of the feature values c and d shown in state C. For example, in state C, if up is specified, it returns to state B, and in state B, up is specified. Then, the state A may be returned. In this way, the user can change the feature values one after another without being particularly conscious of the types of the feature values, so that the combination of the feature values for efficient telop extraction can be made. It is possible to narrow down.
  • FIG. 8 ⁇ a feature amount capable of generating a new feature amount from an existing feature amount in place of the feature amount detection unit 4 11 1 of the optimization device 401 of FIG.
  • the configuration of the optimizing device 8101 provided with the detecting unit 811 will be described.
  • FIG. 80 the configuration is the same except that a feature value detection unit 811 is provided instead of the feature value detection unit 411 of the optimization device 401 of FIG.
  • the operation unit 802 is the same as the operation unit 402.
  • the configuration of the feature amount detection unit 811 in FIG. 80 will be described.
  • the buffer 4 21 and the feature amount extracting unit 4 22 are the same as the feature amount detecting unit 4 11 1 shown in FIG.
  • the feature value selection unit 8221 controls the feature value extraction units 4 and 22 based on the operation information that specifies the feature value input from the operation unit 8002, and selects the feature values prepared in advance. Extracts two types of specified feature quantities and outputs them to the processing decision section 4 13 or outputs the feature quantities stored in advance in the feature quantity database 8 23 to the processing decision section 4 13 . More specifically, the feature amount database 823 stores feature amount information on a type of feature amount and a method of detecting the feature amount.
  • the feature amount extraction unit 4 222 reads out feature amount information corresponding to the type of feature amount selected by the feature amount selection unit 8 21 from the feature amount database 8 23, and According to the feature amount detection method recorded in the feature amount information, the feature amount selected from the input signal is detected.
  • (X, y) indicates the current pixel of interest
  • (x, y) indicates the pixel one frame before at the same position in space)
  • inter-field difference background difference
  • the feature amount processing unit 822 generates a new feature amount from the feature amounts stored in the feature amount database 823 based on the operation signal input by the user. More specifically, the feature amount processing unit 822 generates new feature amount information from the feature amount information stored in the feature amount database 823 based on the operation signal input by the user, and generates the feature amount.
  • the feature amount extraction unit 422 extracts a new feature amount based on the information.
  • the DR of the feature amount A (dynamic range: a predetermined The value generated by reading the value of the feature value A of a plurality of pixels present at the position and obtaining the value that is the difference between the minimum value and the maximum value for each pixel) corresponds to the new feature value A '. It may be feature amount information, and similarly, the maximum value, the median value, the minimum value, the sum, the variance, the number of pixels having a value equal to or more than the threshold value (threshold value can be set), or a plurality of A linear linear combination between the feature values may be obtained and used as new feature value information.
  • A, B, and C are coefficients,
  • the feature amounts stored in the feature amount database 8 23 indicate the types of the feature amounts A to C extracted by the feature amount extraction unit 4 22, and the feature amount A 'To C' It is assumed that they are the types of the feature amounts processed from the feature amounts A to C by the feature amount processing unit 8 2 2 (actually stored are and the respective feature amount information (feature amount information Information indicating the type and its detection method)).
  • the feature amount information stored in the feature amount database 8 23 information designated at the timing of extraction by the feature amount extraction unit 4 22 may be stored, or the feature amount database 8 2 3 may be stored in advance. May be processed by the feature processing unit 822, or may be stored in advance by another method.
  • step S381 the feature amount extraction unit 4222 of the feature amount detection unit 4111 determines whether two types of feature amounts have been selected by the feature amount selection unit 8221, and if not selected. The process proceeds to step S386. Further, for example, when it is determined that the information for selecting the feature amount is input from the feature amount selection unit 4 23, that is, the user operates the operation unit 8 02 to select two types of feature amounts. When it is determined, the process proceeds to step S382.
  • step S382 the feature amount extraction unit 422 extracts each of the two selected feature amounts from the image signal as an input signal for each pixel, and outputs the extracted feature amount to the processing determination unit 412.
  • the buffer 421 stores an image signal as an input signal.
  • the processing determining unit 412 determines the processing content for each pixel based on the two types of input feature amounts and outputs the processing content to the processing unit 413.
  • step S384 the processing unit 4113 determines the image signal as an input signal input via the buffer 4221 according to the processing content input from the processing determination unit 4122.
  • the signal is processed, converted into an image signal that can be displayed on the display unit 403, output to the display unit 403, and displayed.
  • step S385 the feature amount detection unit 411 determines whether or not the telop is regarded as being extracted. That is, when the user looks at the image displayed on the display unit 403 and determines that the telop has not been extracted, the user operates again to change the combination of the feature amounts and try the telop extraction processing. Operate section 8002. When an operation signal corresponding to this operation is input from the operation unit 802, the process proceeds to step S3886.
  • step S386 the feature amount processing unit 822 of the feature amount detection unit 811 determines whether or not the processing of the feature amount has been instructed. The processing returns to step S381.
  • step S 386 when the feature amount processing unit 8 22 determines that the operation signal instructing the processing of the feature amount has been input from the operation unit 80 2, the processing is performed in step S 3 87 Proceed to.
  • step S387 the feature amount processing unit 822 determines whether or not the base feature amount has been designated, and repeats the process until information specifying the base feature amount is input. For example, when the operation unit 802 is operated and an operation signal indicating the feature amount A is input, it is determined that the feature amount based on the feature amount A of the image signal as the input signal is input. The processing proceeds to step S388.
  • step S388 the feature amount processing unit 822 determines whether or not the processing content has been instructed, and repeats the processing until the processing content is instructed. For example, when the operation unit 802 is operated and an operation signal for instructing DR is input, it is determined that the processing content is specified, and the process proceeds to step S389.
  • step S 3 89 the feature amount processing unit 8 22 processes the specified feature amount according to the specified processing content to obtain a new feature amount, and stores the new feature amount in the feature amount database 8 23.
  • the process returns to step S 3 81. That is, in this case, the feature amount processing unit 8 22 reads out the feature amount A from the feature amount database 8 23 and acquires the DR that is the specified processing content, thereby obtaining a new feature amount A ′. Generate a Then, the process is stored in the feature amount database 823, and the process returns to step S3801.
  • step S385 when it is determined in step S385 that the telop has been extracted by the user's subjectivity, the user operates the operation unit 802 to generate an operation signal indicating the end of the processing to detect the feature amount.
  • the input is made to the section 4 2 1, at which time the process ends. That is, according to the above-described processing, the processing of steps S381 to S389 is repeated until the user sees the image displayed on the display unit 403 and determines that the telop has been extracted.
  • the contents of the processing are determined according to the two kinds of feature amounts specified by the user, and the telop is extracted from the image signal as the input signal. Therefore, it can be said that it has been changed so that the user can obtain the desired output signal.
  • the two axes of the feature amount (the two types of feature amounts to be selected) are switched, and a new feature amount is set (the types of the feature amounts increase).
  • the algorithm that determines the processing content (for example, whether or not to process as a telop) is changed depending on the combination of the feature amounts, so the “processing structure” of the “processing content” is also changed. It can be said that there is.
  • telop extraction is obtained by switching the types of features to be extracted by trial and error.However, in a method using fixed features, changing the assumed features requires a program. It is necessary to rewrite the system or recreate the system itself, so in order to heuristically obtain the optimal algorithm for telop extraction, it is necessary to recreate the system many times, which is actually quite difficult. It was.
  • the optimization device of the present invention provides a new feature in real time. Since it is possible to extract the amount of feature and to present the feature amount distribution, trial and error performed by the user is also easy, and the possibility of finding the optimum feature amount for telop extraction is improved. Can be.
  • FIG. 83 the configuration of the optimizing device 90 1 in which the feature amount detecting unit 9 11 and the internal information generating unit 9 12 are provided in the optimizing device 800 of FIG. Will be described.
  • a feature amount detection unit 911 is provided in place of the feature amount detection unit 811, and a new internal information generation unit 912 is additionally provided. Is basically the same as the optimizing device 800 shown in FIG.
  • the feature amount detection unit 9 11 1 has basically the same configuration as the feature amount detection unit 8 11 1 in FIG. 81, except that the feature amount selection unit 8 2 1 is replaced by a feature amount selection unit 9 2 1
  • a feature amount processing section 9222 is provided in place of the feature amount processing section 8222.
  • the basic functions are the same in each case. 1 The difference is that the feature amount selection unit 911 supplies the information of the type of the selected feature amount to the internal information generation unit 912. Also, the feature amount processing unit 9222 is different in that it outputs image information related to the instruction of the processing content to the display unit 400.
  • the internal information generator 911 is similar to the internal information generator 511 of FIG.
  • the operation unit 902 is the same as the operation unit 402.
  • step S 3 9 the feature extraction unit 4 2 2 feature quantity detecting unit 9 1 1 judges whether or not two types of features from the feature value selection section 9 2 1 is selected, selection If not, the process proceeds to step S397. Further, for example, when it is determined that the information for selecting the feature amount has been input from the feature amount selection unit 921, the process proceeds to step S392.
  • step S392 the internal information generation unit 912 determines the selected two types of characteristics. Information indicating the type of the characteristic amount is extracted from the characteristic amount selection unit 9 21 and the names of the two selected characteristic amount types are displayed on the display unit 4 03.
  • step S393 the feature amount extraction unit 422 extracts the selected two types of feature amounts for each pixel from the image signal as an input signal, and outputs the extracted feature amounts to the processing determination unit 4122.
  • the buffer 421 stores an image signal as an input signal.
  • the processing determining unit 412 determines the processing content for each pixel based on the two types of input feature amounts and outputs the processing content to the processing unit 413.
  • step S395 the processing unit 4113 processes the image signal as the input signal input through the buffer 421 according to the processing content input from the processing determination unit 4122, and displays the display unit.
  • the image signal is converted to an image signal that can be displayed on the display section 403, and is output to the display section 403 for display.
  • step S396 the feature amount detection unit 411 determines whether or not the telop is regarded as being extracted. That is, when the user looks at the image displayed on the display unit 403 and determines that the telop has not been extracted, the user operates again to change the combination of the feature amounts and try the telop extraction processing. Operate part 902. When an operation signal corresponding to this operation is input from the operation unit 902, the process proceeds to step S397.
  • step S397 the feature amount processing unit 922 of the feature amount detection unit 911 determines whether or not the processing of the feature amount has been instructed. The processing returns to step S391. On the other hand, in step S397, when the feature amount processing unit 922 determines that the operation signal instructing the processing of the feature amount has been input from the operation unit 902, the processing is performed in step S398 Proceed to.
  • the feature amount processing unit 9222 displays, for example, an instruction screen of the processing content as shown in FIG.
  • a basic characteristic amount display section 931 is provided on the left side of the figure, and the characteristic amount currently stored in the characteristic amount database 8 23 as a basic characteristic amount is provided. Is displayed. In this case, feature amounts A to C and A ′ to C ′ are displayed. Also, on the right side, The selection box 9 3 2 is displayed.
  • DR maximum value, minimum value, median value, minimum value, sum, variance, number of pixels that take values above the threshold, or linear linear combination is displayed, and pixels that take values above the threshold
  • a column 9332a for setting a threshold is provided, and further, a column 9332b for selecting a feature quantity selected when linear linear combination is selected is provided.
  • a scale setting field 933 for setting the scale of each value is displayed.
  • the scale value indicates the area around the target pixel.For example, when detecting DR, the required pixels are set to 3 pixels x 3 pixels or 5 pixels x 5 pixels. Is a value indicating an area of a pixel indicated by a circle.
  • step S399 the feature amount processing unit 9222 determines whether or not a base feature amount has been specified, and repeats the processing until information specifying the base feature amount is input. For example, when the operation unit 902 is operated and an operation signal indicating the feature amount A is input, it is determined that the feature amount based on the feature amount A of the image signal as the input signal has been input, and that The process proceeds to step S400.
  • step S400 the feature amount processing unit 9222 determines whether or not the processing content has been instructed, and repeats the processing until the processing content is instructed. For example, when the operation unit 902 is operated and an operation signal for instructing DR is input, it is determined that the processing content is specified, and the process proceeds to step S401.
  • step S401 the feature amount processing unit 922 processes the specified feature amount according to the specified processing content and stores the processed feature amount in the feature amount database 823. Return to S39 1.
  • the user operates the operation unit 902 to input an operation signal indicating the end of the processing to the feature amount detection unit 421. At this time, the process ends.
  • the user can recognize the displayed characteristic amount as a base and the characteristic amount that can be optimally processed by operating while looking at the processing content. Further, thereafter, it is possible to immediately specify a feature amount that can realize the optimum processing for the user. Also generate new features By inputting necessary input information in accordance with the display screen, the number of types of feature amounts selected by the user can be increased, so that many combinations of feature amounts can be set efficiently.
  • the contents of the processing are determined according to the two kinds of feature amounts specified by the user, and the telop is extracted from the image signal as the input signal.
  • the content of the processing has been changed so that the user can obtain the desired output signal.
  • the two axes of the feature amount (the two types of feature amounts to be selected) are switched, and a new feature amount is set (the types of the feature amounts increase).
  • the algorithm that determines the processing content (for example, whether or not to process as a telop) is changed depending on the combination of the feature amounts, so the “processing structure” of the “processing content” is also changed. It can be said that there is.
  • FIG. 87 an optimizing device 100 having an internal information generating unit 101 instead of the internal information generating unit 912 of the optimizing device 91 of FIG.
  • the configuration of 1 will be described.
  • a configuration other than replacing the internal information generation unit 9 12 with the internal information generation unit 101 1 and further replacing the processing determination unit 4 1 2 with the processing determination unit 7 1 1 of FIG. Is the same as that of the optimization device 901 of FIG.
  • the internal information generating unit 101 is basically the same as the internal information generating unit 912, but is further determined by the processing content determining unit 432 of the processing determining unit 412. The information of the processing content determined for each pixel is read out and displayed on the display unit 403 (the function of the internal information generation unit 611 in FIG. 69 is added).
  • the operation unit 1002 is the same as the operation unit 402.
  • step S411 the buffer 421 of the feature amount detection unit 911 receives and stores an image signal as an input signal, and the processing unit 413 is stored in the buffer 421.
  • the image signal as an input signal is read out as it is, without processing, It is output to the display section 400 as it is and displayed.
  • step S 4 12 the processing content determining section 7 2 1 of the processing determining section 7 11 1 determines whether or not a telop and a background have been instructed by the operation section 100 2, and the telop and the background have been instructed.
  • the process proceeds to step S 413.
  • step S 4 13 the feature amount extraction unit 4 2 2 of the feature amount detection unit 9 11 1 determines whether or not two types of feature amounts have been selected by the feature amount selection unit 9 2 If not, the process proceeds to Step S 4 21. Also, for example, when it is determined that the information for selecting the feature amount has been input from the feature amount selection unit 921, the process proceeds to step S414.
  • step S 4 14 the internal information generation unit 912 extracts information indicating the selected two types of feature amounts from the feature amount selection unit 9 2 1, and selects the two types of selected feature types.
  • the name of the quantity type is displayed (presented) on the display section 403.
  • step S415 the feature amount extraction unit 422 extracts the selected two types of feature amounts for each pixel from the image signal as an input signal, and outputs the extracted feature amounts to the process determination unit 4122.
  • the buffer 421 stores an image signal as an input signal.
  • the processing determining unit 711 determines the processing content for each pixel based on the two types of input feature amounts, and outputs the processing content to the processing unit 413.
  • step S 417 the internal information generation unit 101 1, based on the two types of feature amounts input to the processing determination unit 711, and information on the pixel position specified in the telop and the background, A two-dimensional distribution map is generated with two types of feature amounts as axes, and in step S 418, the two-dimensional distribution map is displayed on the display unit 403.
  • the feature amount recognizing unit 431 of the processing determining unit 7 11 1 recognizes the type of the feature amount, outputs information indicating the type and the feature amount itself to the processing content determining unit 7 2 1, and
  • the content deciding unit 7 21 outputs the information indicating the pixel position specified in the telop and the background to the internal information generating unit 101 1 in addition to the information indicating the feature amount and its type, so that the internal
  • the information generation unit 1011 based on the information indicating the pixel position designated as the telop and the background, A two-dimensional distribution map of the feature values as shown in 7 is generated.
  • step S419 the processing unit 413 processes the image signal as the input signal input via the buffer 421 according to the processing content input from the processing determination unit 711, and displays the display unit.
  • the image signal is converted to an image signal that can be displayed on the display section 403, and is output to the display section 403 for display.
  • step S420 the feature amount detection unit 911 determines whether or not the telop is regarded as being extracted. That is, when the user looks at the image displayed on the display unit 403 and determines that the telop has not been extracted, the user operates again to change the combination of the feature amounts and try to perform the telop extraction process. Operate section 1002. When an operation signal from the operation unit 1002 corresponding to this operation is input, the processing proceeds to step S 4 21.
  • step S 4 21 the feature amount processing unit 9 22 of the feature amount detection unit 9 11 determines whether or not the processing of the feature amount has been instructed. The process returns to step S413. On the other hand, in step S 4 21, when the feature amount processing unit 9 22 determines that the operation signal for instructing the processing of the feature amount is input from the operation unit 100 2, the processing is performed in step S 4 21 Proceed to 2 2.
  • step S422 the feature amount processing unit 9222 displays an instruction screen for the processing content (FIG. 86).
  • step S4243 the feature amount processing unit 9222 determines whether or not a base feature amount has been specified, and repeats the processing until information specifying the base feature amount is input. If it is determined that a basic feature amount has been input as an input signal, the process proceeds to step S424.
  • step S424 the feature amount processing unit 9222 determines whether or not the processing content has been instructed, and repeats the processing until the processing content is instructed. If it is determined that the processing content has been input, the process proceeds to step S425. In step S425, the feature amount processing unit 9222 processes the specified basic feature amount according to the specified processing content, and stores the processed feature amount in the feature amount database 823. Then, the process returns to step S 4 13.
  • step S420 when it is determined in step S420 that the telop has been extracted by the user's subjectivity, the user operates the operation unit 1102 so that the operation signal indicating the end of the processing detects the feature amount. This is input to the section 4 2 1, at which time the processing ends.
  • the processing of steps S411 to S425 is repeated until the user looks at the image displayed on the display unit 4003 and determines that the telop has been extracted.
  • By increasing the types of feature amounts that can be selected by the user it is possible to set many combinations of feature amounts, and it is possible to execute a process optimal for the user.
  • a processing instruction screen necessary for generating a new feature by processing an existing feature is displayed, the user can efficiently execute the processing according to the display.
  • FIG. 89 instead of the feature amount detection unit 4 1 1, the processing determination unit 4 1 2, and the operation unit 4 02 of the optimization device 401 of FIG.
  • the configuration of the optimizing device 111 when the unit 111, the process determining unit 111, and the operation unit 112 are provided will be described.
  • the optimization device shown in FIG. Same as 401 except for the configuration in which the feature amount detection unit 1 1 1 1, the processing determination unit 1 1 1 2, and the operation unit 1 102 are newly provided, the optimization device shown in FIG. Same as 401.
  • the feature amount detection unit 1 1 1 1 is different from the configuration of the feature amount detection unit 4 1 1 in FIG. 56 in that the feature amount selection unit 4 2 3 is not provided, and the feature amount extraction unit 4 2 2 is preset.
  • the configuration is the same except that the extracted two types of feature values are extracted.
  • the processing decision unit 1 1 1 2 updates the LUT stored in the processing content database 4 3 3
  • the new history information is stored, and the LUT is changed according to the new history information. Note that the configuration of the processing determining unit 111 will be described later with reference to FIG.
  • the operation unit 1102 is the same as the operation unit 402.
  • the processing deciding unit 1 1 1 2 of FIG. 90 is provided with a processing content deciding unit 1 1 2 1 instead of the processing content deciding unit 4 3 2 of the processing deciding unit 4 1 2 of FIG.
  • the configuration is the same as that of the processing determination unit 4 12 except that 1 1 2 2 is added.
  • the processing content determination unit 1 121 stores the history information of the operation for changing the LUT stored in the processing content database 43 3 in the history memory 1 122, and changes the LUT based on the history information. Other functions are the same as those of the processing content determining unit 432 of the processing determining unit 412 in FIG.
  • step S 431 the feature amount extraction unit 4 1 1 of the feature amount detection unit 1 1 1 1 extracts two predetermined types of feature amounts from the image signal as an input signal, and the processing determination unit 1 1 1 2 Output to At this time, an image signal as an input signal is
  • step S 4 32 the processing content deciding unit 1 1 2 1 of the processing deciding unit 1 1 1 2, based on the type and the feature amount of the feature amount input from the feature amount recognizing unit 4 3 1, With reference to the LUT stored in 433, the processing content is determined for each pixel and output to the processing unit 413.
  • step S433 the processing unit 413 processes each pixel according to the processing content input from the processing determination unit 111, outputs the processed pixel to the display unit 403, and displays it.
  • step S4334 the processing content determining unit 1121 of the processing determining unit 1112 determines whether or not an operation signal for changing the LUT has been input from the operating unit 1102. In other words, the user sees the image displayed on the display unit 403 and subjectively determines whether or not the user's favorite processing has been performed.
  • the operation unit 1102 is operated, and a corresponding operation signal is input.
  • step S434 if the operation signal requesting the change of the LUT has been input, that is, if the user's favorite process has not been performed, the process proceeds to step S435.
  • step S435 it is determined whether the LUT change processing can be executed by the automatic LUT change processing.
  • the LUT change processing includes manual LUT change processing and auto LUT change processing. The details of determining whether or not the auto LUT change process is possible will be described later.
  • step S435 determines whether the auto LUT change process is possible. If it is determined in step S435 that the auto LUT change process is not possible, the process proceeds to step S436, where a manual LUT change process is performed.
  • LUT as shown in Figure 92. 9 is a table showing processing contents determined for each combination of two feature amounts.
  • Fig. 92 shows the case of feature amounts A and B as two types of feature amounts.
  • each feature amount is classified in eight stages (total 64 classes). I have. Note that in FIG. 9.
  • characteristic amount is one that was normalized to a value of 0 to 1.0, it is about the value V a of the feature A, 0 ⁇ V a rather 1Z8 left, l / 8 ⁇ V a ⁇ 2/8 N 2 / 8 ⁇ V a ⁇ 3/8 3 / 8 ⁇ V a ⁇ 48, 4 / 8 ⁇ V a ⁇ 58, 5 / 8 ⁇ V a ⁇ 6/8 , 6 / 8 ⁇ V a ⁇ 7/8 , 7 / 8 ⁇ V a ⁇ 8/8, for the value V b of the feature B, OV b ⁇ 1/8 from the top, 1 / 8 ⁇ V b ⁇ 2 / 8, 2 / 8 ⁇ V b ⁇ 3/8, 3 / 8 ⁇ V b ⁇ 4/8, 4 / 8 ⁇ V b ⁇ 5/8 N 5 / 8 ⁇ V b ⁇ 6/8, 6/8 ⁇ V b ⁇ is separated in a range of 7/8 N 7 / 8 ⁇ V b ⁇ is separated
  • Each processing content is classified into three types of X, ⁇ , and Z in the figure according to the combination of a very small amount in each range. If, 0 ⁇ V a ⁇ 3/8 and,, 0 ⁇ V b 3Z8 processing contents X in the range of, 4/8 ⁇ V a ⁇ 6/8, or treatment in the range of 4Z8 ⁇ V a rather 6/8
  • the content is Y, and the processing content is ⁇ in other ranges.
  • the processing content can be variously specified. For example, as shown in FIG. 93 to FIG. 95, a prediction tap used for processing by the processing unit 413 can be designated for the target pixel.
  • FIG. 93 shows the processing content X, where the target pixel is ⁇ 0, the filter taps P l and ⁇ 2 are set spatially in the X direction with the target pixel ⁇ 0 as the center, and the y direction is set. Similarly, taps P 3 and P 4 are set around the pixel of interest ⁇ 0, and taps P 5 and P 6 before and after the pixel of interest P 0 (for example, at the same pixel position). Tap P6 one frame before and P5) one frame after. That is, the processing content X is the processing of a so-called spatiotemporal filter.
  • FIG. 94 the processing content Y is shown. Instead of the taps P 3 and P 4 from the spatiotemporal filter of FIG. 93, the tap P 1 at the timing earlier than the tap P 6 in the time direction is used. 2 and tap P 11 which is further after tap P 5 are set. That is, the processing content Y is a so-called time filter process.
  • FIG. 95 shows the processing content Z.
  • taps P5 and P6 are replaced with taps in the X direction further away from the target pixel in the X direction.
  • the tap P 21 is set at the position where the tap P 2 is located, and the tap P 22 is set at a position further away from the pixel of interest than the tap P 2. That is, the processing content Z is the processing of the so-called spatial finoleta.
  • the types of processing are not limited to the three types as shown in the example of FIG. 92, but may be of course divided into other types.
  • a binarization process of dividing the color into black may be performed.
  • the binarization process may specify, for example, a binarization process as to whether or not the pixel is extracted as a telop portion, as in the above-described example.
  • the types of processing contents may be three or more.
  • step S436 of FIG. The manual LUT change processing will be described.
  • step S441 the processing content determination unit 1 1 2 1 determines whether the pixel position is specified as the operation signal from the operation unit 1 102 and the processing content is specified, and the processing content determination unit 1 1 2 The pixel position is specified as the operation signal, and the processing is repeated until the processing content is specified. That is, for example, when the screen shown in FIG. 97 is displayed on the display unit 403, the user operates the pointer 113 on the image displayed on the display unit 403 to change the process. Is performed at the pixel position where the pixel is to be added, for example, a drop-down list 1 1 3 2 is displayed as shown in FIG. 97, and further, the processing contents X, Either ⁇ or Z can be specified.
  • step S441 when this designation is made, it is determined that the pixel position has been designated and the processing content has been designated, and the process proceeds to step S442.
  • the pixel position P41 is selected, and the processing content X is selected.
  • step S442 the processing content determining unit 111 reads out a combination of two types of feature amounts for the specified pixel position. More specifically, the processing content determination unit 111 reads out a combination of two types of feature amounts corresponding to the specified pixel from among the feature amounts detected by the feature amount detection unit 111.
  • step S443 the processing content determining unit 1 121 changes the processing content corresponding to the combination of the corresponding feature amounts to the processing content specified in step S441.
  • step S444 the processing content determining unit 1121 stores the changed pixel position and the processing content in the history memory 1122.
  • step S445 the processing content determination unit 1 1 2 1 determines whether or not there is another LUT change, and if it is determined that the process of continuing to change the LUT is still performed, that is, the operation unit 1 If an operation signal instructing to change another LUT is input from 102, the process returns to step S441, and if it is determined that there is no process to continuously change the LUT, that is, the LUT is When the operation signal indicating the end of the change of is input, the process ends.
  • step S 442 the obtained feature value of the pixel at the pixel position P 41 is obtained.
  • the processing content is changed to X in step S443 as shown in FIG. 97
  • the processing of the position of (5, 3) of the LUT is performed in step S443 as shown in FIG. Is changed from processing content Y to processing content X.
  • the changed LUT A region near the upper position may be changed to X or Y.
  • the distance from the position (4, 2) on the LUT is compared with the distance from the position (5, 2) on the LUT. Everything has been changed in the content.
  • the left half area is the processing content X
  • the right half area is the processing content Y.
  • the processing content of the combination of the feature amounts at the positions (4, 2) and (7, 7) on the LUT is represented by X, and (5, 2), (
  • the processing content of the combination of the feature values at the positions of 4, 5) is changed to Y, as shown in Fig. 103B, (1, 1), (2, 1), (3, 1) on the LUT , (4, 1), (1, 2), (2, 2), (3, 2), (4, 2), (1, 3), (2, 3), (3, 3),
  • the processing contents of the combination of the feature amounts at the positions (4, 2) and (7, 7) on the LUT are represented by X, and (2, 3) on the LUT. ), (5, 2), (4, 5), (7, 4)
  • the processing content of the combination of feature values is changed to Y, as shown in Fig. 104B, ( (3, 1), (3, 2), (4, 1), (4, 2), (4, 3), (5, 7), (5, 8), (6, 6), (6, For (7), (6, 8), (7, 6), (7, 7), (7, 8), (8, 6), (8, 7), and (8, 8)
  • the processing content is X
  • the processing content is Y.
  • step S435 If it is determined in step S435 that auto LUT change processing is possible, the flow advances to step S437 to execute auto LUT change processing.
  • step S461 the processing content determining unit 1121 obtains a group that exists for each processing content in the distribution of the update history stored in the history memory 1122. That is, as shown in FIG. 106, for example, the history memory 1122 stores, for example, the position on the LUT where the change is designated by the manual LUT change process described above, and the LUT where the designated process content is recorded. Stores different history tables.
  • the history table shown in Fig. 106 shows that an instruction has been issued to change the processing contents of (3, 3), (8, 3), (2, 5), and (6, 6) on the LUT. , Respectively, indicate that processing contents X, X, X, and Y have been designated.
  • the group for each processing content refers to a region where each processing content on the history table exists at a predetermined density or more and has a predetermined area or more.
  • a group 1151 is formed on the history table as shown in FIG. 107, and the processing volume determination unit 1121 obtains the group 1151.
  • the group 1 151 is a group of processing contents X, and a group is also obtained for each of the other processing contents.
  • step S435 of FIG. 91 whether or not auto LUT change processing is possible is determined based on whether or not this processing content group exists. That is, if a group for each processing content exists, it is determined that the auto LUT change processing is possible, and if not, it is determined that the auto LUT change processing is not possible.
  • step S462 the processing content determination unit 1 121 detects the centroid position of the group obtained in step S461. That is, for example, in the case of FIG. 107, the group 1 151 is formed, and the position of the center of gravity is obtained from the positions on all the history tables where the processing content X is specified. In the case of FIG. 107, the center of gravity 1 161 of the position on all the history tables in which the processing content X in the group 1 1 6 1 is specified is obtained.
  • step S463 the processing content determination unit 1 1 2 1 determines the combination of the feature amount of each pixel in accordance with the processing content of the position on the history table existing within a predetermined range from the position of the center of gravity of the group.
  • the processing contents of the cell on the corresponding LUT are changed to the processing contents of the cell on the history table corresponding to the combination of the feature values of the pixels constituting the group, and the processing ends. That is, in FIG. 107, all processes on the LUT corresponding to positions on the history table existing in the range 1 1 62 which is a range of a circle of a predetermined radius centered on the center of gravity position 1 1 6 1
  • the contents are changed to the processing contents X that make up the group.
  • the processing content determination unit 1 121 when the LUT is configured as shown in FIG. 108, the processing content determination unit 1 121 generates (2, 3) force on the LUT.
  • the processing content determination unit 1121 outputs the (3, 4) force on the LUT as shown in FIG. Is maintained as it is. Through this processing, the processing contents (cell information) on the LUT are automatically changed. This process may be repeatedly executed at predetermined time intervals, not only at the timing when the user instructs the LUT change process.
  • step S434 the change of the LUT has not been instructed, that is, the user sees the image displayed on the display unit 403, and determines that the user's favorite image has been generated. If so, the process ends.
  • a processing determining unit 1 18 1 is provided in place of the processing determining unit 1 1 1 2 of the optimizing device 1101 of FIG. 89, and a new internal information generating unit is provided.
  • FIG. 110 the configuration is the same as that of the optimizing device 1101 in FIG. 89 except for the configuration other than the newly provided processing determining unit 1181 and internal information generating unit 1182.
  • the processing determination unit 1181 stores history information for updating the LUT stored in the processing content database 1191 (Fig. 111), and changes the LUT according to the history information. At the same time, the LUT stored in the processing content database 1191 is supplied to the internal information generator 1182.
  • the internal information generation unit 1182 reads the LUT stored in the processing content database 1191, converts the LUT into information that can be displayed on the display unit 403, and outputs the information to the display unit 403 for display.
  • the processing determination unit 1 1 1 1 of 1 1 1 1 is the same as the processing determination unit 1 1 1 2 except that a processing content database 1 1 9 1 is provided instead of the processing content database 4 3 3 in FIG.
  • the configuration is as follows.
  • the processing content database 1191 stores the LUT and supplies LUT information to the internal information generation unit 1182 as needed.
  • the other functions are the same as those in the processing content database 433 of FIG.
  • the telop extraction optimizing process performed by the optimizing device 111 of FIG. 110 will be described with reference to the flowchart of FIG.
  • the telop extraction optimization processing of FIG. 11 is basically the same as the processing described with reference to the flowchart of FIG. 91, and steps S 471 to S 473 of FIG.
  • the processing of S475 to S478 is processing corresponding to steps S431 to S437 in FIG. 91.
  • the internal information generation unit 11 82 reads the LUT of the processing content database 1191 of the processing determining unit 1181, converts it into an image signal that can be displayed on the display unit 403, outputs the image signal to the display unit 403, and displays (presents) it.
  • step S475 the process proceeds to step S475, and the subsequent processes are repeated. Since the LUT is displayed (presented) by such processing, the processing performed on the image signal as an input signal from the image displayed on the display unit 403 and the LUT is changed while recognizing a change in the LUT. It becomes possible.
  • the internal information generation unit 1182 reads the LUT stored in the processing content database 1191, and, for example, the operation unit 1102 can directly operate the processing content on the LUT.
  • the status may be displayed on the display unit 403 so that the processing content on the LUT can be directly changed.
  • step S481 the processing content determination unit 1 121 determines whether or not a position on the LUT has been designated, and repeats the processing until it is designated. For example, as shown in Fig. 11-14, if the position where (5, 3) processing on the LUT displayed on the display unit 4 ⁇ 3 is set as Y is specified, the LUT on the LUT is displayed. It is determined that the position has been designated, and the process proceeds to step S482.
  • step S482 the internal information generating unit 1182 causes the display unit 403 to display a position on the designated LUT. That is, in the case of FIG. 114, the position display frame 1 192 is displayed at the designated (5, 3).
  • step S483 the processing content determination unit 111 determines whether or not the processing content has been specified, and repeats the processing until the processing content is specified. For example, as shown in FIG. 114, at the position where the pointer 1 191 is operated, a drop-down list 1 193 is displayed (for example, by right-clicking the mouse as the operation unit 1102), and If the user specifies any of the processing contents X, ⁇ , and Z displayed by operating the operation unit 1102, it is determined that the processing content has been specified, and the processing proceeds to step S484 .
  • step S484 the processing content determination unit 111 changes the processing content to the specified processing content, and ends the processing. That is, in the case of FIG. 114, since “X” displayed in the drop-down list 1 193 is selected, (5, 3) on the LUT has the processing content as shown in FIG. It will be changed from Y to X. By performing the above processing, the processing contents set on the LUT can be directly changed.By operating the LUT while viewing the image processed with the processing contents registered in the LUT, the user It is possible to easily set the processing content that is the favorite of the user.
  • the processing contents on the grid on the LUT specified by the user operation are changed by the user operation in the manual LUT change processing. Can be said to have changed.
  • the change history stored in the history memory 1 122 is accumulated to some extent, and when a group is detected, the LU Since the algorithm for changing T is changed from manual LUT change processing to auto LUT change processing, the "processing structure" has been changed.
  • the LUT is displayed as internal information on the processing of the processing determining unit 1 1 1 2 and the processing contents on the LUT can be changed while looking at the displayed LUT, the user can check the contents on the LUT. It is possible to recognize the correspondence relationship with the image displayed on the display unit 403.
  • the feature amount detection unit 1 1 1 1 and the processing unit 4 1 3 of the optimization device 401 of FIG. As another embodiment in which the unit 4 13 is provided, the configuration of the optimizing device 1 201 will be described.
  • the feature amount detection unit 111 is the same as the configuration of the optimization device 111 of FIG.
  • the processing unit 1221 based on the information of the processing content input from the processing determining unit 4113, converts the input signal read from the buffer 421 using, for example, a coefficient set obtained by learning. Performs mapping processing, outputs it to the display unit 403, and displays it.
  • the processing determination unit 413 changes the learning method of the coefficient set based on the operation signal from the operation unit 122.
  • the operation unit 122 is the same as the operation unit 402. Next, the configuration of the processing unit 122 1 will be described with reference to FIG.
  • the learning device 1221 based on the image signal as the input signal read from the buffer 4221 of the feature detection unit 1111, is used for the mapping process of the mapping unit 1222.
  • the coefficient set is learned by the least N-th power error method for each processing content, and is stored in the coefficient memory 123. Further, the learning device 1221, based on the operation signal input from the operation unit 122, changes the value of the exponent N of the least-N-th power error method to learn the coefficient set.
  • the matching processing section 122 reads the corresponding coefficient set from the coefficient memory 123 of the learning device 122 based on the processing content input from the processing determining section 412, and obtains the feature amount.
  • the image signal as an input signal read from the buffer 4 21 of the detection unit 1 1 1 1 is subjected to a matting process and output to the display unit 4 03 for display.
  • the teacher data generator 1 2 3 1 is the same as the teacher data generator 2 31 in FIG. 30, generates teacher data from an input signal as learning data, and generates a minimum N-th power error coefficient calculation unit.
  • the student data generator 1 2 3 2 is similar to the student data generator 2 32 in FIG. 30, generates teacher data from an input signal as learning data, and generates a feature amount extractor 1 2. 3 3 and output to prediction tap extraction unit 1 2 3 5
  • the feature amount extraction unit 1 2 3 3 is the same as the feature amount extraction unit 4 2 2 of the feature amount detection unit 1 1 1 1, and extracts the feature amount from the student data and sends it to the processing determination unit 1 2 3 4 Output.
  • the processing determining unit 1 2 3 4 is the same as the processing determining unit 4 1 2, and the feature amount detecting unit 1
  • the processing content is determined based on the feature amount input from 233, and is output to the least-Nth-power-error-method coefficient calculating unit 123.
  • the teacher data is sequentially used as a target pixel, and a pixel serving as a prediction tap for each target pixel is extracted from the student data, and is output to the least-N-th-power error coefficient calculating unit 1236.
  • the least-N-th-power error coefficient calculating unit 1 2 3 6 is similar in basic configuration and processing to the least-N-th power error coefficient calculating unit 2 3 4 in FIG. Based on the information that specifies the value of the exponent N required for the input least-N-th power error calculation method, the least-N-th power is calculated from the prediction tap and the teacher data input from the prediction tap extraction unit 123. The coefficient set is calculated by the error method, output to the coefficient memory 123, and overwritten and stored. However, the point that the least-N-th power error coefficient calculation unit 1 2 36 in FIG. 118 generates a coefficient set for each processing content input from the processing determination unit 1 This is different from the least-N-th-power error coefficient calculation unit 2 3 4.
  • the coefficient memory 1237 stores the coefficient set output from the least-N-th power error coefficient calculating section 123 for each processing content.
  • FIG. 118 shows that coefficient sets A to N are stored for each processing content.
  • the tap extracting unit 251 which is the same as the mapping processing unit 222 in FIG. 31, extracts a prediction tap from the input signal supplied from the buffer 421, and calculates a product-sum operation for the target pixel. Output to section 1 2 5 1.
  • the product-sum operation unit 1251 is the same as the product-sum operation unit 252 in FIG. 31.
  • the product-sum operation unit 1252 is used to extract the extracted prediction taps (pixels) input from the prediction tap extraction unit 251. Executes the product-sum operation using the values and the coefficient set stored in the coefficient memory 1 2 3 7 of the learning device 1 2 2 1 to generate the pixel of interest, applies these to all pixels, and outputs an output signal. Is output to the display section 400 and displayed.
  • the product-sum operation unit 1 25 among the coefficient sets A to N stored in the coefficient memory 1 2 3 7, is a process content supplied from the process determination unit 4 1 2 Is used.
  • step S501 it is determined whether the user has operated the operation unit 202. If it is determined that the user has not operated the operation unit 202, the process returns to step S501. If it is determined in step S501 that the operation unit 122 has been operated, the process proceeds to step S502.
  • step S502 the teacher data generator 1 2 3 1 of the learning device 1 2 1 2 generates teacher data from the input signal and outputs the generated data to the least-N-th-power error coefficient calculator 1 2 3 6.
  • the student data generator 1 2 3 2 generates student data from the input signal, and outputs it to the feature amount extractor 1 2 3 3 and the prediction tap extractor 1 2 3 5. move on.
  • the data used to generate the student data and the teacher data may be, for example, an input signal input from the present to a point in time that has been retroactive for a predetermined time. Can be adopted.
  • learning data it is also possible to store exclusive data in advance instead of using an input signal.
  • step S503 the feature amount extraction unit 1233 sets the pixel of interest (teacher data) The feature amount is extracted from the student data at the position corresponding to, and is output to the process determining unit 123.
  • the processing determining unit 123 determines the processing content for the pixel of interest based on the feature amount input from the feature amount extracting unit 123, and calculates the minimum N Output to the operation unit 1 2 3 6.
  • the processing determining unit 123 may vector-quantize one or more feature amounts from the feature extracting unit 123 and may use the quantization result as information of the processing content.
  • LUT and the like are not stored as in the processing determination unit 111 of FIG. 89.
  • step S505 the prediction tap extracting unit 123 generates a prediction tap from the student data input from the student data generation unit 123 for each pixel of interest with each teacher data as a pixel of interest. Then, the result is output to the least-N-th power error coefficient coefficient calculation unit 123, and the flow advances to step S506.
  • step S506 the least-N-th-power-error-method coefficient calculating unit 1236 specifies from the operation unit 202 that a coefficient set is to be calculated by the least-Nth-power error method using the recursive method (second method). It is determined whether or not an operation signal to be input is input. For example, it is determined that the operation unit 122 is operated by the user and the recursive method is not specified, that is, the direct method (first method) is specified. If so, the process proceeds to step S507, where it is determined whether or not coefficients a, b, and c that specify the weight s of the equation (50) (specify the exponent N) are input. If, for example, it is determined that the user has operated the operation unit 122 and the values specifying the coefficients a, b, and c have been input, the process proceeds to step S507. Proceed to.
  • step S 5 0 7 the minimum N-th power error method coefficient calculation unit 1 2 3 6, weighting a s coefficients are input a, b, in the state of c, of minimizing the expression (4 8) above
  • the prediction coefficients W l , w 2 , w 3 ′ ”, w M as the solution by the least-Nsquare error method for the index N corresponding to the weight a s are obtained. That is, a coefficient set is obtained for each processing content input from the processing determination section 123, stored in the coefficient memory 123, and the process returns to step S501.
  • step S506 it is determined in step S506 that the recursive method has been selected, the process proceeds to step S509.
  • step S509 the least-Nth-power error coefficient calculating unit 1236 determines whether information specifying the exponent N has been input, and repeats the processing until the exponent N is input. If it is determined that the user operates the operation unit 122 to input information specifying the exponent N, the process proceeds to step S510.
  • step S510 the least-N-square-error-method coefficient calculating unit 1236 obtains a coefficient set by a solution based on the least squares error method as a basis.
  • step S 511 the least-N-square-error-method coefficient calculation unit 1 2 36 uses the predicted values obtained from the coefficient set obtained by the least-square error method, and calculates equations (5 1) to (5 1) As described with reference to 5 4), the coefficient set recursively input to the exponent N by the least squares error method input from the operation unit 1202 and input from the processing determination unit 1 2 3 4 It is obtained for each of the processed contents, stored in the coefficient memory 1 237, and the process returns to step S501.
  • the coefficient set is learned in the coefficient memory 1237 for each processing content.
  • mapping process in the image optimization process performed by the optimization device 1201 in FIG. 116 will be described with reference to the flowchart in FIG.
  • step S ⁇ b> 521 the feature detection unit 111 detects a feature of a pixel of an input signal at a position corresponding to a target pixel (output signal) from an image signal as an input signal, and detects the detected feature. Is output to the processing determining unit 4 1 2.
  • the processing determining unit 4112 determines the processing content based on the feature amount input from the feature amount detecting unit 1111 and outputs the processing content to the processing unit 1221.
  • the processing of the processing determining unit 4 12 determines the processing content by performing the same processing as the processing determining unit 1 2 3 4 of FIG. Therefore, as described above, the processing determining unit 123 4 performs vector quantization of one or a plurality of feature amounts from the feature amount extracting unit 123, and uses the quantization result as information of processing contents.
  • the processing unit 4 12 in FIG. 116 does not store the LUT or the like as in the processing determining unit 1 112 in FIG.
  • step S 523 the tap extracting unit 251 of the matching processing unit 122 2 of the processing unit 122 1 1 outputs the frame of the image as the output signal corresponding to the image frame as the current input signal.
  • Is set as a target frame and among the pixels of the target frame, for example, in the raster scan order, a pixel which has not been set as a target pixel is set as a target pixel.
  • a prediction tap is extracted from an input signal. Output to 2 5 1.
  • step S 5 2 the product-sum operation unit 1 2 5 1 of the mapping processing unit 1 2 2 2 calculates a coefficient set corresponding to the processing content input from the processing determination unit 4 1 2 into the learning device 1 2 2 1 Read from coefficient memory 1 2 3 7
  • step S525 the product-sum operation unit 1251 uses the prediction coefficient corresponding to the processing content read from the coefficient memory 123 of the learning device 1221, and calculates the equation ( According to 3 9), a product-sum operation is performed on the prediction tap input from the tap extracting unit 2 51 and the coefficient set read from the coefficient memory 1 2 3 7. Thus, the product-sum operation unit 1251 obtains the pixel value (predicted value) of the target pixel. Then, the process proceeds to step S 5 26, where the tap extracting unit 25 1 determines whether or not all the pixels of the frame of interest have been set as the pixel of interest. Returning to 1, the same process is repeated with a new pixel of interest as a pixel of interest in the raster scan order of the frame of interest.
  • step S526 If it is determined in step S526 that all the pixels of the frame of interest have been determined as the pixel of interest, the process proceeds to step S527, and the display unit 4003 obtains the sum by the product-sum operation unit 1251 The frame of interest consisting of the pixels thus displayed is displayed.
  • the feature amount detection unit 1 11 1 1 detects the feature amount of the pixel of the input signal at the position corresponding to the pixel of interest (output signal) from the image signal as the input signal. The same processing is repeated hereafter, with the frame of which is a new frame of interest.
  • the exponent N is changed by the user operating the operation unit 122 (in the direct method, the coefficients a, b, c is changed, and in the recursive method, the exponent N itself is changed.)
  • a learning criterion learning system
  • what kind of least-Nth power error method of the exponent N is Whether to adopt is set. That is, the learning algorithm for finding the coefficient has been changed. Therefore, it can be said that the processing structure has been changed so that the user's favorite image can be obtained.
  • the internal information generation unit 1312 reads the information of the coefficient set stored for each processing content from the coefficient memory 1321 of the processing unit 1311 as the internal information. Convert it to displayable information, output it, and display it.
  • the basic configuration is the same, but a coefficient memory 1321 is provided in place of the coefficient memory 1237, but the function is the same, but it is connected to the internal information generation unit 1312.
  • the coefficient set stored for each processing content is read out.
  • the optimization device 1301 in FIG. 122 also includes a learning process and a mapping process as in the case of the optimization device 1201 in FIG.
  • the learning process in steps S541 to S551, the same processes as those in steps S501 to S511 in FIG. 120 are performed.
  • step S 5 52 the internal information generation unit 13 12 sets the coefficient set stored in the coefficient memory 13 21 Read as internal information, based on each value included in coefficient set Then, an image signal that can be displayed is generated, output to the display unit 403, and displayed.
  • the image generated by the internal information generation unit 1312 and displayed on the display unit 403 is, for example, a three-dimensional distribution diagram as shown in FIG. It can be in a form such as a two-dimensional distribution map indicated by 0.
  • step S552 After the processing in step S552, the process returns to step S541, and the same processing is repeated thereafter.
  • each value (coefficient value) of the coefficient set stored in the coefficient memory 1321 of the processing unit 1311 is displayed (presented) as internal information relating to the processing, and the user
  • the learning algorithm for finding the coefficient set by changing the index N has been changed. Therefore, it can be said that the “processing structure” has been changed so as to obtain an image that the changed user likes.
  • the coefficient set is displayed.For example, internal information about the processing, such as whether the current least-N-th power error method is a direct method or a recursive method, is displayed. It may be displayed.
  • FIG. 126 an optimizing device 1 in which a processing unit 1 4 1 1 is provided instead of the processing unit 1 2 1 1 of the optimizing device 1 201 of FIG.
  • the configuration of 401 will be described.
  • the configuration of the processing unit 1 4 1 1 is basically the same as the configuration of the processing unit 3 1 1 of the optimization device 3 0 1 of FIG.
  • the input signal is optimized based on the processing content input by the processing determining unit 4 12 and displayed on the display unit 4 3.
  • the coefficient memory 1442 1 stores a plurality of coefficient sets for each processing content, and stores a coefficient set necessary for the mapping processing by the mapping processing unit 122 2.
  • the figure shows that the coefficient sets A to N are stored. This coefficient set is generated by learning in advance by the learning device 1441 shown in FIG.
  • Teacher data generator 1 4 5 1, Student data generator 1 4 5 2, Feature amount extractor 1 4 5 3, Processing determiner 1 4 5 4, and prediction tap extractor 1 4 of learning device 1 4 4 1
  • Reference numeral 5 denotes a teacher data generation unit 1 2 3 1, a student data generation unit 1 2 3 2, a feature amount extraction unit 1 2 3 3, and a process determination unit 1 2 3 of the learning apparatus 1 2 2 1 in FIG. 4, and corresponds to the predicted tap extracting unit 123, and is the same as that described above.
  • the normal equation generator 1 456 is the same as the normal equation generator 354 in FIG. 43, and the normal equation is generated based on the teacher data input from the teacher data generator 3 51 and the prediction tap. Is generated and output to the coefficient determining unit 14457, except that a normal equation is generated and output for each piece of processing content information input from the processing determining unit 1445.
  • the coefficient deciding unit 1 457 is the same as the coefficient deciding unit 355 of FIG. 43, and solves the input normal equation to generate a coefficient set.
  • a coefficient set is generated in association with the coefficient set.
  • step S591 the teacher data generation unit 1451 generates teacher data from the learning data and outputs it to the normal equation generation unit 1456.
  • Student data is generated from the learning data, and the feature amount extraction unit 1 4 5 3 and the prediction tap extraction unit Output to 1 4 5 5 and proceed to step S 5 92.
  • step S 592 the prediction tap extraction unit 144 5 5 extracts prediction taps from the student data for each data of interest, using each teacher data as a pixel of interest in sequence, and outputs the prediction tap to the normal equation generation unit 144 56. Output and go to step S593.
  • step S595 the feature amount extraction unit 14453 extracts the feature amount of the student data (pixel) at the position corresponding to the pixel of interest (teacher data), and outputs it to the processing determination unit 1444. I do.
  • step S 594 the processing determination unit 144 5 determines the processing content for each pixel based on the feature amount extracted by the feature amount extraction unit 144 3, and determines the determined processing content. Is output to the normal equation generator 1 4 5 6.
  • the processing determination unit 144 5 4 may perform, for example, vector quantization of one or a plurality of feature amounts, and use the quantization result as information of processing content. Therefore, LUT is not stored in the processing determining unit 14456.
  • step S595 the normal equation generation unit 14566 uses each set of teacher data and prediction taps to calculate the summation ( ⁇ ) And the summation ( ⁇ ), which is a component of the vector on the right side, calculates a normal equation for each piece of processing content information input from the processing decision unit 144 5, and determines the coefficient. Output to section 1 4 5 7.
  • step S 596 the coefficient determination unit 1457 solves the normal equation input from the normal equation generation unit 1456 for each piece of processing content information, and uses a so-called least square error method.
  • a coefficient set is obtained for each piece of processing content information, and stored in the coefficient memory 14421 in step S5997.
  • a coefficient set (coefficient set as an initial value) serving as a basis is stored in the coefficient memory 144 2 for each piece of processing content information.
  • the coefficient set is obtained by the least squares error method.
  • the coefficient set may be obtained by another method. It may be a coefficient set that is obtained more.
  • this image optimization process includes a coefficient change process and a matting process. Since the matting process is the same as the mapping process described with reference to FIGS. 122 and 125, only the coefficient change process will be described here. explain.
  • step S611 the change processing unit 332 of the coefficient changing unit 3222 determines whether or not an operation signal for operating the coefficient value has been input from the operation unit 122. In other words, if the user views the image displayed on the display unit 403 and determines that the image suits his or her preference, the user now determines the processing content information stored in the coefficient memory 1442 1. Performs the mapping process using each coefficient set, but if it is determined that it does not suit the user's own preference, the operation of changing the coefficient set stored in the coefficient memory 1442 1 used for the mapping process is performed. Do.
  • step S611 determines whether an operation signal for operating a coefficient has been input, that is, one of the coefficients stored in the coefficient memory 14421 is changed. If the operation unit 122 is operated, the process proceeds to step S612.
  • step S 6 12 the change processing section 3 3 2 controls the coefficient read / write section 3 3 1 to read out the coefficient set stored in the coefficient memory 3 2 1, and in step S 6 1 Proceed to 3.
  • step S 6 13 the change processing section 3 3 2 determines whether the coefficient value input as the operation signal has changed to a predetermined threshold S 11 or more compared to a value previously included in the coefficient set. Determine whether or not. For example, when it is determined in step S 6 13 that the change between the value input as the operation signal and the value of the coefficient set stored in the coefficient memory 14 21 is equal to or greater than the threshold value S 11, The processing proceeds to step S 6 14.
  • step S 614 the change processing section 332 changes the value of each coefficient included in the coefficient set by using a panel model as shown in FIG. 50. Proceed to step S 6 1 5.
  • step S 6 13 when it is determined in step S 6 13 that the change between the value input as the operation signal and the value of the coefficient set stored in the coefficient memory 144 2 1 is not greater than or equal to the threshold value S 11, The process proceeds to step S615.
  • step S 615 the change processing unit 332 changes the value of each coefficient included in the coefficient set by using the equilibrium model as shown in FIG. 51, and the processing is performed in step S 6. Go to 6 1 6
  • step S 6 16 the change processing section 3 3 2 controls the coefficient read / write section 3 3 1 to overwrite and store the changed coefficient set value in the coefficient memory 1 4 2 1. Then, the process returns to step S611, and the subsequent processing is repeated.
  • step S 611 when it is determined that the coefficient value is not operated, that is, when the user determines that the image displayed on the display unit 403 is the user's favorite image, Returning to step S611, the same processing is repeated thereafter.
  • the user can change the stored coefficient set for each piece of processing content information used in the mapping processing, and execute the processing optimal for the user. Note that changing the value of each coefficient in the coefficient set changes the “processing content” of the mapping processing by the matching processing unit 311.
  • the coefficient set stored in the coefficient memory 1442 1 is determined by the least N-th power error method, for example, a coefficient set corresponding to a plurality of exponents N is previously stored in the coefficient memory.
  • the coefficient is changed to the coefficient set corresponding to the specified exponent N according to the operation signal from the operation unit 122 based on the operation of the user. You may make it do.
  • the coefficient memory 1442 1 determines whether the coefficient set stored in the coefficient memory 1442 1 is determined by the least N-th power error method.
  • Each coefficient set stored in 1442 is changed to a coefficient generated by the least N-th power error method corresponding to the exponent N input from the operation unit 122 based on a user operation. That is, since the learning algorithm for finding the coefficient set corresponding to the index N is changed, it can be said that the “processing structure” has been changed.
  • the internal information generation unit is added to the optimization device 1401 of FIG. 126.
  • the configuration of the optimization device 1501 provided with 1 5 2 1 will be described.
  • a processing unit 1511 is provided instead of the processing unit 1411 in accordance with the provision of the internal information generation unit 1521. Except for this point, the other configuration is the same as that of the optimization processing unit 1401 in FIG. 126.

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Position Input By Displaying (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

明細書
信号処理装置 技術分野
本発明は、 信号処理装置に関し、 特に、 例えば、 ユーザの操作により、 処理の 内容や、 処理の構造を変更することで、 そのユーザにとって最適な処理を行うこ とができるようにする信号処理装置に関する。 背景技術
例えば、従来の N R (Noise Reduction)回路においては、ユーザが、 その調整用 のつまみを操作して、 所定の位置に設定すると、 そのつまみの位置に対応するノ ィズ除去処理が行われる。
ところで、 N R回路に入力される信号の S /N (Signal to Noise Ratio)や周波 数特性等は、 常に一定であるとは限らず、 むしろ変化するのが一般的である。 そ して、 N R回路に入力される信号の S ZNや周波数特性等が変化した場合、 ユー ザがつまみを操作して設定した位置に対応するノイズ除去処理において、 N R回 路に入力される信号に対して適切な処理が施されるとは限らず、 このため、 ユー ザは、 自身にとって適切なノイズ除去処理が施されるように、 頻繁に、 つまみを 操作する必要があり、 面倒であった。 発明の開示
本発明は、このような状況に鑑みてなされたものであり、ユーザの操作により、 処理の内容や、 処理の構造を変更することで、 そのユーザにとって最適な処理を 行うことができるようにするものである。
本発明の信号処理装置は、 入力信号を信号処理する信号処理手段と、 信号処理 手段の信号処理結果を出力する出力手段とを備え、 ユーザの操作に応じて供給さ れる操作信号に基づいて、 信号処理手段の処理の構造が変更されることを特徴と する。
前記信号処理手段には、 入力信号より特徴を検出する特徴検出手段と、 特徴検 出手段により検出された特徴に基づいて、 入力信号に対する処理の内容を決定す る処理決定手段と、 処理決定手段により決定された処理の内容に従って、 入力信 号への処理を実行する処理実行手段とを設けるようにさせることができ、 操作信 号に基づいて、 特徴検出手段、 処理決定手段、 または、 処理実行手段のうちの少 なくともいずれかの処理の構造が変更されるようにすることができる。
前記出力手段には、 信号処理手段の信号処理結果を呈示する呈示手段を含ませ るようにすることができる。
前記操作信号に基づいて、 特徴検出手段の処理の構造が変更されるようにする ことができる。
― 前記操作信号は、 複数種類の特徴のうちの、 所定数の特徴の種類を指定する信 号とするようにすることができ、 特徴検出手段には、 所定数の種類の特徴を検出 するように、 その処理の構造を変更させるようにすることができる。
前記特徴検出手段には、 入力信号より所定数の種類の特徴を検出させるように することができ、 処理決定手段には、 特徴検出手段により入力信号より検出され た所定数の種類の特徴に基づいて、 入力信号に対する処理実行手段における処理 の内容を決定させるようにすることができる。
前記入力信号は、 画像信号とするようにすることができ、 処理決定手段には、 特徴検出手段により入力信号より検出された所定数の種類の特徴に基づいて、 入 力信号に対する処理の内容として、 入力信号をそのまま出力するか否かを決定さ せるようにすることができ、 処理実行手段には、 処理決定手段の決定に従い、 入 力信号を選択的に出力することにより、 入力信号である画像信号中のテロップを 検出させるようにすることができる。
前記特徴検出手段には、 操作信号に基づいて、 予め用意されている特徴と異な る新たな種類の特徴を検出するように、 その処理の構造を変更させるようにする ことができる。 前記特徴検出手段は、予め用意されている特徴のダイナミックレンジ、最大値、 中央値、 最小値、 和、 分散、 特徴が閾値よりも大きな入力信号の数、 または特徴 の線形一次結合を、新たな種類の特徴として検出させるようにすることができる。 前記操作信号に基づいて、 処理決定手段の処理の構造が変更されるようにする ことができる。
前記処理決定手段には、 特徴の各値と、 その値の特徴を有する入力信号に対す る処理の内容との対応関係である特徴/処理対応関係を記憶させておくようにす ることができ、 特徴 Z処理対応関係において、 入力信号から検出された特徴の値 と対応付けられている処理の内容を、 その入力信号に対する処理の内容として決 定させるようにすることができる。
前記処理決定手段には、 操作信号に基づいて、 特徴 Z処理対応関係における処 理の内容を変更することにより、 その処理の構造を変更させるようにすることが できる。
前記特徴/処理対応関係においては、 入力信号に対して、 第 1の値の出力信号 を出力する処理と、 第 2の値の出力信号を出力する処理との 2つの処理の内容が 存在するようにさせることができ、 処理実行手段には、 処理決定手段の決定に従 い、 入力信号を第 1と第 2の値に 2値化させるようにすることができる。
前記操作信号に基づいて、 処理実行手段の処理の構造が変更されるようにする ことができる。
前記処理実行手段には、 所定の学習用データより教師データを生成する教師デ 一タ生成手段と、学習用データより生徒データを生成する生徒データ生成手段と、 生徒データと所定の予測係数との線形結合により求められる教師データの予測値 と、 その教師データとの誤差を最小とする予測係数を学習する学習手段と、 入力 信号と、 学習手段により求められた予測係数とを線形結合することにより、 出力 信号を生成する出力信号生成手段とを設けるようにさせることができる。
前記学習手段には、 誤差の N乗である N乗誤差を、 統計的に最小にする最小 N 乗誤差法により予測係数を学習させるようにすることができ、 操作信号に基づい て、 誤差の N乗を変更することにより、 その処理の構造を変更させるようにする ことができる。
前記学習手段には、 N乗誤差として、 2乗誤差と、 操作信号に応じた重みとの 積を採用することにより、 操作信号に基づいて、 誤差の N乗を変更させるように することができる。
前記学習手段には、 操作信号に対応する N乗を用いた N乗誤差として、 2乗誤 差と、 最小 N ' 乗誤差法により求められる予測係数を用いて演算される教師デー タの予測値の N— 2乗誤差との積を採用させるようにすることができる。
前記学習手段には、 処理決定手段が決定する処理の内容毎に、 予測係数を学習 させるようにすることができ、 出力生成手段には、 入力信号と、 その入力信号に ついて処理決定手段が決定する処理の内容に対応する予測係数との線形結合によ り、 出力信号を生成させるようにすることができる。
前記信号処理手段には、 操作信号をモニタし、 学習に用いることができるかど うかを判定する判定手段と、 学習に用いることのできる操作信号である学習用操 作信号に基づいて、 入力信号を補正する規範である補正規範を学習する学習手段 と、 入力信号を、 学習により得られた補正規範に基づいて補正し、 その補正後の 信号を、出力信号として出力する補正手段とを設けるようにさせることができる。 前記信号処理手段には、 所定の学習用データより教師データを生成する教師デ 一タ生成手段と、学習用データより生徒データを生成する生徒データ生成手段と、 生徒データと所定の予測係数との線形結合により求められる教師データの予測値 と、 その教師データとの誤差を最小とする予測係数を学習する学習手段と、 入力 信号と、 学習手段により求められた予測係数とを線形結合することにより、 出力 信号を生成する出力信号生成手段とを設けるようにさせることができる。
前記信号処理手段には、 誤差の N乗である N乗誤差を、 統計的に最小にする最 小 N乗誤差法により予測係数を学習させるようにすることができ、 操作信号に基 づいて、 誤差の N乗を変更することにより、 その処理の構造を変更させるように することができる。 前記学習手段には、 N乗誤差として、 2乗誤差と、 操作信号に応じた重みとの 積を採用することにより、 操作信号に基づいて、 誤差の N乗を変更させるように することができる。
前記学習手段には、 操作信号に対応する N乗を用いた N乗誤差として、 2乗誤 差と、 最小 N ' 乗誤差法により求められる予測係数を用いて演算される教師デー タの予測値の N— 2乗誤差との積を採用させるようにすることができる。
本発明の信号処理方法は、 入力信号を信号処理する信号処理ステップと、 信号 処理ステップの処理での信号処理結果を出力する出力ステップとを含み、 ユーザ の操作に応じて供給される操作信号に基づいて、 信号処理ステップの処理の構造 が変更されることを特徴とする。
本発明の記録媒体のプログラムは、 入力信号の信号処理を制御する信号処理制 御ステップと、 信号処理制御ステップの処理での信号処理結果の出力を制御する 出力制御ステップとを含み、 ユーザの操作に応じて供給される操作信号に基づい て、 信号処理制御ステップの処理の構造が変更されることを特徴とする。
本発明のプログラムは、 入力信号の信号処理を制御する信号処理制御ステップ と、 信号処理制御ステップの処理での信号処理結果の出力を制御する出力制御ス テツプとをコンピュータに実行させ、 ユーザの操作に応じて供給される操作信号 に基づいて、信号処理制御ステップの処理の構造が変更されることを特徴とする。 本発明においては、 入力信号が信号処理され、 信号処理結果が出力され、 ユー ザの操作に応じて供給される操作信号に基づいて、 信号処理における処理の構造 が変更される。 図面の簡単な説明
図 1は、 本発明を適用した最適化装置を示す図である。
図 2は、 本発明を適用した最適化装置の一実施の形態の構成例を示すブロック 図である。
図 3は、図 2の最適化装置による最適化処理を説明するフローチヤ一トである。 図 4は、 最適化装置を利用した N R回路の一実施の形態の構成例を示すプロッ ク図である。
図 5 Aは、 入力信号を示す波形図である。
図 5 Bは、 入力信頼度を示す波形図である。
図 6は、 N R回路による補正処理を説明するフローチャートである。
図 7は、 N R回路による補正パラメータ演算処理を説明するフローチャートで ある。
図 8は、 N R回路による制御データ学習処理を説明するフローチャートである。 図 9 A〜図 9 Cは、 制御データ学習処理を説明するための図である。
図 1 0は、 最適化装置を利用した N R回路の他の一実施の形態の構成例を示す プロック図である。
図 1 1は、 パラメータ制御データと乗算される画素を示す図である。
図 1 2は、 N R回路による補正パラメータ演算処理を説明するフローチャート である。
図 1 3は、 N R回路による制御データ学習処理を説明するフローチャートであ る。
図 1 4は、 最適化装置を利用した N R回路の他の一実施の形態の構成例を示す ブロック図である。
図 1 5は、 図 1 4の最適化装置による最適化処理を説明するフローチヤ一トで ある。
図 1 6は、 本発明を適用した自動走行装置の一実施の形態の構成例を示すプロ ック図である。
図 1 7は、 図 1 6の最適化装置の処理部の構成例を示すブロック図である。 図 1 8は、 図 1 6の最適化装置による補正パラメータ演算処理を説明するフロ 一チャートである。
図 1 9は、 図 1 6の最適化装置による制御データ学習処理を説明するフローチ ヤートである。 図 2 0は、図 1 6の最適化装置の処理部の他の構成例を示すプロック図である。 図 2 1は、 図 1 6の演算部が出力する走行方向を示す図である。
図 2 2は、 図 1 6の最適化装置による補正処理を説明するフローチャートであ る。
図 2 3は、 図 1 6の最適化装置による補正パラメータ学習処理を説明するフロ 一チヤ一トである。
図 2 4は、 本発明を適用した自動走行装置の他の構成例を示すプロック図であ る。
図 2 5は、 図 2 4の最適化装置による捕正パラメータ演算処理を説明するフロ 一チャートである。
図 2 6は、 図 2 4の最適化装置による補正パラメータ学習処理を説明するフロ 一チヤ一トである。
図 2 7は、 図 2 4の内部情報生成部により生成される内部情報の例を示す図で ある。
図 2 8は、 図 2 4の内部情報生成部により生成される内部情報の例を示す図で ある。
図 2 9は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示す ブロック図である。
図 3 0は、 図 2 9の最適化装置の学習部の構成例を示すプロック図である。 図 3 1は、 図 2 9の最適化装置のマッビング処理部の構成例を示すプロック図 である。
図 3 2は、 真値と予測値との誤差を説明する図である。
図 3 3は、 最小 N乗誤差法を説明する図である。
図 3 4は、 重み a sを説明する図である。
図 3 5は、 図 2 9の最適化装置による画像最適化処理を説明するフローチヤ一 トである。
図 3 6は、 最小 N乗規範と最小 2乗規範の比較を示す図である。 図 3 7は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示す プロック図である。
図 3 8は、 図 3 7の最適化装置による画像最適化処理を説明するフローチヤ一 トである。
図 3 9は、 図 3 7の内部情報生成部により生成される内部情報の例を示す図で ある。
図 4 0は、 図 3 7の内部情報生成部により生成される内部情報の例を示す図で ある。
図 4 1は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示す ブロック図である。
図 4 2は、図 4 1の最適化装置の係数変換部の構成例を示すブロック図である。 図 4 3は、 図 4 1の係数メモリに格納される係数を学習により生成する学習装 置の構成例を示すプロック図である。
図 4 4は、 図 4 3の学習装置による係数決定処理を説明するフローチャートで ある。
図 4 5は、 予測タップの構成を示す図である。
図 4 6は、 予測タップのタップ位置に対応する係数値の分布の例を示す図であ る。
図 4 7は、 予測タップの構成を示す図である。
図 4 8は、 予測タップのタップ位置に対応する係数値の分布の例を示す図であ る。
図 4 9は、 予測タップの構成を示す図である。
図 5 0は、 パネモデルを説明する図である。
図 5 1は、 均衡モデルを説明する図である。
図 5 2は、 図 4 1の最適化装置による画像最適化処理を説明するフローチヤ一 トである。
図 5 3は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示す プロック図である。
図 5 4は、 図 5 3の最適化装置による画像最適化処理を説明するフローチヤ一 トである。
図 5 5は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示す ブロック図である。
図 5 6は、 図 5 5の特徴量検出部の構成例を示すプロック図である。
図 5 7は、 図 5 5の処理決定部の構成例を示すブロック図である。
図 5 8は、 図 5 5の処理部の構成例を示すブロック図である。
図 5 9は、 図 5 5の最適化装置によるテロップ抽出最適化処理を説明するフロ 一チャートである。
図 6 0は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示す プロック図である。
図 6 1は、 図 6 0の最適化装置によるテロップ抽出最適化処理を説明するフロ 一チヤ一トである。
図 6 2は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示す ブロック図である。
図 6 3は、 図 6 2の最適化装置によるテロップ抽出最適化処理を説明するフロ 一チヤ一トである。
図 6 4は、 図 6 2の最適化装置によるテロップ抽出最適化処理を説明する図で ある。
図 6 5は、 図 6 2の最適化装置によるテロップ抽出最適化処理を説明する図で ある。
図 6 6は、 図 6 2の最適化装置によるテロップ抽出最適化処理を説明する図で ある。
図 6 7は、 図 6 2の最適化装置によるテロップ抽出最適化処理を説明する図で ある。
図 6 8は、 図 6 2の最適化装置によるテロップ抽出最適化処理を説明する図で ある。
図 6 9は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示す ブロック図である。
図 7 0は、 図 6 9の処理決定部の構成例を示すブロック図である。
図 7 1は、 図 6 9の最適化装置によるテロップ抽出最適化処理を説明するフロ 一チヤ一トである。
図 7 2は、 図 6 9の最適化装置によるテロップ抽出最適化処理を説明する図で ある。
図 7 3は、 図 6 9の最適化装置によるテロップ抽出最適化処理を説明する図で ある。
図 7 4は、 図 6 9の最適化装置によるテロップ抽出最適化処理を説明する図で ある。
図 7 5は、 図 6 9の最適化装置によるテロップ抽出最適化処理を説明する図で ある。
図 7 6は、 図 6 9の最適化装置によるテロップ抽出最適化処理を説明する図で ある。
図 7 7は、 図 6 9の最適化装置によるテロップ抽出最適化処理を説明する図で ある。
図 7 8は、 図 6 9の最適化装置によるテロップ抽出最適化処理を説明する図で ある。
図 7 9は、 図 6 9の最適化装置による特徴量の切替を説明する図である。 図 8 0は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示す プロック図である。
図 8 1は、 図 8 0の特徴量検出部の構成例を示すブロック図である。
図 8 2は、 図 8 0の最適化装置によるテロップ抽出最適化処理を説明するフロ 一チヤ一トである。
図 8 3は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示す ブロック図である。
図 8 4は、 図 8 0の特徴量検出部の構成例を示すブロック図である。
図 8 5は、 図 8 4の最適化装置によるテロップ抽出最適化処理を説明するフロ 一チヤ一トである。
図 8 6は、 図 8 4の最適化装置による特徴量の加工内容指示画面を説明する図 である。
図 8 7は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示す ブロック図である。
図 8 8は、 図 8 7の最適化装置によるテロップ抽出最適化処理を説明するフロ 一チャートである。
図 8 9は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示す ブロック図である。
図 9 0は、 図 8 9の処理決定部の構成例を示すプロック図である。
図 9 1は、 図 8 9の最適化装置による画像最適化処理を説明するフローチヤ一 トである。
図 9 2は、 L U Tを説明する図である。
図 9 3は、 L U T上に特徴量毎に指定される処理内容を説明する図である。 図 9 4は、 L U T上に特徴量毎に指定される処理内容を説明する図である。 図 9 5は、 L U T上に特徴量毎に指定される処理内容を説明する図である。 図 9 6は、 図 9 1の最適化装置による画像最適化処理におけるマニュアル L U
T変更処理を説明するフローチャートである。
図 9 7は、 図 9 1の最適化装置による画像最適化処理におけるマニュアル L U
T変更処理を説明する図である。
図 9 8は、 図 9 1の最適化装置による画像最適化処理におけるマニュアル L U T変更処理を説明する図である。
図 9 9は、 図 9 1の最適化装置による画像最適化処理におけるマニュアル L U
T変更処理を説明する図である。 図 1 00は、 図 9 1の最適化装置による画像最適化処理におけるマニュアル L UT変更処理を説明する図である。
図 1 0 1は、 図 9 1の最適化装置による画像最適化処理におけるマニュアル L UT変更処理を説明する図である。
図 1 02Aは、 図 9 1の最適化装置による画像最適化処理におけるマニュアル LUT変更処理を説明する図である。
図 1 02 Bは、 図 9 1の最適化装置による画像最適化処理におけるマニュアル LUT変更処理を説明する図である。
図 1 03 Aは、 図 9 1の最適化装置による画像最適化処理におけるマニュアル LUT変更処理を説明する図である。
図 1 03 Bは、 図 9 1の最適化装置による画像最適化処理におけるマニュアル LUT変更処理を説明する図である。
図 1 04 Aは、 図 9 1の最適化装置による画像最適化処理におけるマニュアル LUT変更処理を説明する図である。
図 1 04 Bは、 図 9 1の最適化装置による画像最適化処理におけるマニュアル LUT変更処理を説明する図である。
図 1 05は、 図 9 1の最適化装置による画像最適化処理におけるオート LUT 変更処理を説明するフローチャートである。 ' 図 1 06は、 図 9 1の最適化装置による画像最適化処理におけるォート LUT 変更処理を説明する図である。
図 1 07は、 図 9 1の最適化装置による画像最適化処理におけるォート LUT 変更処理を説明する図である。
図 1 08は、 図 9 1の最適化装置による画像最適化処理におけるオート LUT 変更処理を説明する図である。
図 1 09は、 図 9 1の最適化装置による画像最適化処理におけるオート LUT 変更処理を説明する図である。
図 1 1 0は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示 すプロック図である。
図 1 1 1は、 図 1 1 0の処理決定部の構成例を示すプロック図である。
図 1 1 2は、 図 1 1 0の最適化装置による画像最適化処理を説明するフローチ ヤートである。
図 1 1 3は、 図 1 1 0の最適化装置による画像最適化処理におけるマニュアル L U T変更処理を説明するフローチヤ一トである。
図 1 1 4は、 図 1 1 0の最適化装置による画像最適化処理におけるマニュアル L U T変更処理を説明する図である。
図 1 1 5は、 図 1 1 0の最適化装置による画像最適化処理におけるマニュアル L U T変更処理を説明する図である。
図 1 1 6は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示 すプロック図である。
図 1 1 7は、 図 1 1 6の処理部の構成例を示すブロック図である。
図 1 1 8は、 図 1 1 6の係数メモリに格納される係数セットを学習により生成 する学習装置を示すプロック図である。
図 1 1 9は、 図 1 1 7のマッピング処理部の構成例を示すブロック図である。 図 1 2 0は、 図 1 1 6の最適化装置による学習処理を説明するフローチャート である。
図 1 2 1は、 図 1 1 6の最適化装置によるマッピング処理を説明するフローチ ヤートである。
図 1 2 2は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示 すプロック図である。
図 1 2 3は、 図 1 2 2の処理部の構成例を示すブロック図である。
図 1 2 4は、 図 1 2 2の最適化装置による学習処理を説明するフローチャート である。
図 1 2 5は、 図 1 2 2の最適化装置によるマッピング処理を説明するフローチ ヤートである。 図1 2 6は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示 すブロック図である。
図 1 2 7は、 図 1 2 6の処理部の構成例を示すプロック図である。
図 1 2 8は、 図 1 2 7の係数メモリに格納される係数セットを学習により生成 する学習装置を示すプロック図である。
図 1 2 9は、 図 1 2 8の学習装置による係数決定処理を説明するフローチヤ一 トである。
図 1 3 0は、 図 1 2 6の最適化装置による画像最適化処理を説明するフローチ ヤートである。
図 1 3 1は、 本発明を適用した最適化装置のその他の実施の形態の構成例を示 すプロック図である。
図 1 3 2は、 図 1 3 1の処理部の構成例を示すブロック図である。
図 1 3 3は、 図 1 3 1の最適化装置による画像最適化処理を説明するフローチ ヤートである。
図 1 3 4は、 本発明を適用したコンピュータの一実施の形態の構成例を示すブ 口ック図である。 発明を実施するための最良の形態
図 1は、 本発明を適用した最適化装置の一実施の形態の構成例を示している。 最適化装置は、 入力信号に対して所定の処理 （信号処理） を実行した後、 その処 理の結果得られる信号を出力信号として出力する。 ユーザは、 この出力信号を吟 味 （定性的に評価） して、 自らの好みの出力信号ではない場合、 ユーザの好みに 対応した操作信号を最適化装置に入力する。 最適化装置は、 この操作信号に基づ いて、 処理の内容、 および、 処理の構造を変更し、 再ぴ入力信号に所定の処理を 施し、 出力信号を出力する。 最適化装置は、 このようにユーザの操作により入力 される操作信号に対応して、 処理の内容、 および、 処理の構造の変更を繰り返し ながら、 最適な処理 （ユーザにとって最適な処理） を入力信号に施し、 ユーザの 好みにより近い出力信号を出力する。
図 2は、 図 1の最適化装置の第 1の詳細構成例を示している。
この最適化装置 1においては、 ユーザの操作を、 ユーザが知らないうちに学習 することにより、そのユーザにとって最適な処理を行うようになつている。即ち、 最適化装置では、 ユーザの操作に応じて供給される操作信号がモニタされ、 学習 に用いることができるかどうかが判定される。 そして、 操作信号が、 学習に用い ることのできる学習用操作信号である場合には、その学習用操作信号に基づいて、 入力信号を補正する規範である補正規範が学習される。 一方、 入力信号は、 学習 により得られた補正規範に基づいて補正され、 その補正後の信号が、 出力信号と して出力される。
最適化装置 1は、 補正部 2 1と学習部 2 2からなる処理部 1 1から構成されて おり、 そこには、 処理の対象となる入力信号の他、 ユーザの操作に対応した操作 信号が供給されるようになっている。
操作信号は、 操作部 2から供給されるようになっている。 即ち、 操作部 2は、 例えば、 ロータリ型やスライ ド型のつまみや、 スィッチ、 ポインティングデバイ ス等で構成されており、 ユーザの操-作に対応した操作信号を、 最適化装置 1を構 成する処理部 1 1に供給する。
最適化装置 1を構成する捕正部 2 1には、 例えば、 ディジタルの入力信号が供 給されるとともに、 学習部 2 2から、 入力信号を補正する補正規範としての、 例 えば、 補正パラメータが供給されるようになっている。 補正部 2 1は、 入力信号 を、 補正パラメータに基づいて補正 （信号処理） し、 その補正後の信号を、 出力 信号として出力する。
学習部 2 2には、 操作部 2からの操作信号が供給されるとともに、 必要に応じ て、 入力信号または出力信号が供給されるようになっている。 学習部 2 2は、 操 作信号をモエタし、 学習に用いることができるかどうかを判定する。 そして、 学 習部 2 2は、 操作信号が、 学習に用いることのできる学習用操作信号である場合 には、 その学習用操作信号に基づき、 入力信号を補正するのに用いられる補正パ ラメータを、 必要に応じて、 入力信号や出力信号を用いて学習し、 補正部 2 1に 供給する。
なお、 学習部 2 2は、 学習用データメモリ 5 3と学習情報メモリ 5 5とを内蔵 しており、学習用データメモリ 5 3は、学習に用いられる学習用データを記憶し、 学習情報メモリ 5 5は、 学習によって得られる、 後述する学習情報を記憶する。 次に、 図 3のフローチャートを参照して、 図 2の最適化装置 1が行う処理 （最 適化処理） について説明する。
まず最初に、 ステップ S 1において、 学習部 2 2は、 操作部 2から学習用操作 信号を受信したかどうかを判定する。 ここで、 ユーザは、 操作部 2を操作する場 合、 最初は、 適当な操作を行い、 その操作に応じて出力される出力信号を確認し ながら、 細かな操作を行って、 最終的に最適であると思った出力信号が得られた 時点で、 操作を停止するのが一般的である。 この、 ユーザが最適であると思った 出力信号が得られた時点における、 操作部 2の位置に対応する操作信号が、 学習 用操作信号であり、 このため、 学習部 2 2は、 操作部 2の操作が所定時間以上続 いた後に、 その操作が停止された場合に、 その停止されたときの操作信号を、 学 習用操作信号と判定するようになっている。
ステップ S 1において、 学習用操作信号を受信していないと判定された場合、 即ち、 例えば、 ユーザが操作部 2を操作していないか、 あるいは、 操作していて も、 最適な位置を探しているような操作をしている場合、 ステップ S 2乃至 S 1 0をスキップして、 ステップ S I 1に進み、 補正部 2 1は、 入力信号を、 既に設 定されている補正パラメータにしたがって補正し、 その補正結果としての出力信 号を出力して、 ステップ S 1に戻る。
また、 ステップ S 1において、 学習用操作信号を受信したと判定された場合、 ステップ S 2に進み、 学習部 2 2は、 その学習用操作信号に基づいて、 学習に用 いる学習用データを取得し、 ステップ S 3に進む。 ステップ S 3では、 学習用デ 一タメモリ 5 3力 ステップ S 2で取得された最新の学習用データを記憶する。 ここで、 学習用データメモリ 5 3は、 複数の学習用データを記憶することので きる記憶容量を有している。 また、 学習用データメモリ 5 3は、 その記憶容量分 だけの学習用データを記憶すると、 次の学習用データを、 最も古い記憶値に上書 きする形で記憶するようになっている。 従って、 学習用データメモリ 5 3には、 複数の学習用データであって、 最近のものが記憶される。
ステップ S 3で学習用データメモリ 5 3に学習用データを記憶した後は、 ステ ップ S 4に進み、 学習部 2 2は、 学習用データメモリ 5 3に記憶された最新の学 習用データと、学習情報メモリ 5 5に記憶された学習情報とを用いて学習を行い、 補正パラメータを求めて、 ステップ S 5に進む。 ステップ S 5では、 学習部 2 2 は、 ステップ S 4の学習の途中で得られる新たな学習情 によって、 学習情報メ モリ 5 5の記憶内容を更新し、 ステップ S 6に進む。
ステップ S 6では、 学習部 2 2は、 ステップ S 4で求めた補正パラメータの適 正さを表す、 後述するような適正度を求め、 ステップ S 7に進み、 その適性度に 基づいて、 ステップ S 4で求めた補正パラメータが適正であるかどうかを判定す る。
ステップ S 7において、 補正パラメータが適正であると判定された場合、 ステ ップ S 8および S 9をスキップして、 ステップ S 1 0に進み、 学習部 2 2は、 そ の適正であると判定した捕正パラメータを、 補正部 2 1に出力して、 ステップ S 1 1に進む。 従って、 この場合、 それ以降は、 補正部 2 1において、 ステップ S 4の学習で求められた新たな捕正パラメータにしたがって、 入力信号が補正され る。
一方、ステップ S 7において、補正パラメータが適正でないと判定された場合、 ステップ S 8に進み、 学習部 2 2は、 学習用データメモリ 5 3に記憶された学習 用データのうちの、 最近の学習用データのみを用いて学習を行い、 補正パラメ一 タを求めて、 ステップ S 9に進む。 ステップ S 9では、 学習部 2 2は、 ステップ S 8の学習の途中で得られる新たな学習情報によって、 学習情報メモリ 5 5の記 憶内容を更新し、 ステップ S 1 0に進む。 この場合、 ステップ S 1 0では、 学習 部 2 2は、 ステップ S 8で最近の学習用データのみから得られた補正パラメータ を、 補正部 2 1に出力して、 ステップ S 1 1に進む。 従って、 この場合、 それ以 降は、 補正部 2 1において、 ステップ S 8の学習で求められた新たな補正パラメ ータにしたがって、 入力信号が補正される。
次に、 図 4は、 図 2の処理部 1 1を、 例えば、 画像信号や音声信号からノイズ を除去する N R回路に適用した場合の詳細構成例を示している。
重みメモリ 3 1は、 学習部 2 2の、 後述する選択部 4 1から供給される補正パ ラメータとしての重み （係数） W (例えば、 0以上 1以下の値） を記憶する。 重 みメモリ 3 2は、 演算器 3 3から供給される重み 1一 Wを記憶する。
演算器 3 3は、 学習部 2 2の選択部 4 1から供給される重み Wを、 1 . 0から 減算した減算値 1一 Wを、 重みとして、 重みメモリ 3 2に供給する。 演算器 3 4 は、 入力信号と、 重みメモリ 3 2に記憶された重み 1 _Wとを乗算し、 その乗算 値を、 演算器 3 6に供給する。 演算器 3 5は、 重みメモリ 3 1に記憶された重み Wと、 ラッチ回路 3 7に記憶 （ラッチ） された出力信号とを乗算し、 その乗算値 を、 演算器 3 6に供給する。 演算器 3 6は、 演算器 3 4， 3 5の両者の出力を加 算し、 その加算値を、 出力信号として出力する。
ラッチ回路 3 7は、 演算器 3 6が出力する出力信号をラッチし、 演算器 3 5に 供給する。
図 4の実施の形態では、以上の重みメモリ 3 1および 3 2、演算器 3 3 , 3 4，
3 5、 および 3 6、 並びにラッチ回路 3 7によって、 処理部 1 1の補正部 2 1が 構成されている。
選択部 4 1は、 重み補正部 4 6が出力する重み、 または操作信号処理部 5 0が 出力する重みのうちのいずれか一方を選択し、 補正パラメータとして、 補正部 2 1に供給する。
入力信頼度計算部 4 2には、 入力信号が供給されるようになっており、 その入 力信号の信頼性を表す入力信頼度を求めて、 出力信頼度計算部 4 3と重み計算部
4 5に出力する。 出力信頼度計算部 4 3は、 入力信頼度計算部 4 2からの入力信 頼度に基づいて、 出力信号の信頼性を表す出力信頼度を求め、 ラッチ回路 4 4と 重み計算部 4 5に供給する。 ラッチ回路 4 4は、 出力信頼度計算部 4 3からの出 力信頼度を記憶 （ラッチ） し、 出力信頼度計算部 4 3および重み計算部 4 5に供 給する。
重み計算部 4 5は、 入力信頼度計算部 4 2からの入力信頼度と、 出力信頼度計 算部 4 3からの出力信頼度とから、 重みを計算し、 重み補正部 4 6に出力する。 重み捕正部 4 6には、 重みの他、 パラメータ制御データメモリ 5 7から、 補正パ ラメータとしての重みを制御するパラメータ制御データが供給されるようになつ ており、 重み補正部 4 6は、 重みを、パラメータ制御データによって処理 （補正） し、 選択部 4 1に供給する。
操作信号処理部 5 0には、 操作部 2 (図 2 ) から操作信号が供給されるように なっており、 操作信号処理部 5 0は、 そこに供給される操作信号を処理し、 その 操作信号に対応する重みを、 選択部 4 1、 教師データ生成部 5 1、 および生徒デ ータ生成部 5 2に供給する。 さらに、 操作信号処理部 5 0は、 操作信号が、 上述 した学習用操作信号かどうかを判定し、 操作信号が学習用操作信号である場合に は、 その旨のフラグ （以下、 適宜、 学習フラグという） を、 出力する重みに付加 する。
教師データ生成部 5 1は、 操作信号処理部 5 0から、 学習フラグ付きの重みを 受信すると、 学習の教師となる教師データを生成し、 学習用データメモリ 5 3に 供給する。即ち、教師データ生成部 5 1は、学習フラグが付加されている重みを、 教師データとして、 学習用データメモリ 5 3に供給する。
生徒データ生成部 5 2は、 操作信号処理部 5 0から学習フラグ付きの重みを受 信すると、 学習の生徒となる生徒データを生成し、 学習用データメモリ 5 3に供 給する。即ち、生徒データ生成部 5 2は、例えば、上述の入力信頼度計算部 4 2、 出力信頼度計算部 4 3、 ラッチ回路 4 4、 および重み計算部 4 5と同様に構成さ れ、 そこに供給される入力信号から重みを計算しており、 学習フラグ付きの重み を受信したときに入力信号から計算された重みを、 生徒データとして、 学習用デ 一タメモリ 5 3に供給する。 学習用データメモリ 5 3は、 教師データ生成部 5 1から供給される、 学習用操 作信号に対応する重みとしての教師データと、 生徒データ生成部 5 2から供給さ れる、 その学習用操作信号を受信したときの入力信号から計算される重みとして の生徒データとのセットを、 1セットの学習用データとして記憶する。 なお、 上 述したように、 学習用データメモリ 5 3は、 複数の学習用データを記憶すること ができ、 さらに、 その記憶容量分だけの学習用データを記憶すると、 次の学習用 データを、最も古い記憶値に上書きする形で記憶するようになっている。従って、 学習用データメモリ 5 3は、 基本的に、 最近の学習用データの幾つかが、 常に記 憶されている状態にある。
パラメータ制御データ計算部 5 4は、 判定制御部 5 6の制御の下、 学習用デー タメモリ 5 3に記憶された学習用データとしての教師データおよび生徒データ、 さらには、 必要に応じて、 学習情報メモリ 5 5に記憶された学習情報を用いて、 所定の統計的な誤差を最小にするパラメータ制御データを、 新たな学習情報を演 算することにより学習し、 判定制御部 5 6に供給する。 また、 パラメータ制御デ ータ計算部 5 4は、 学習によって得られた新たな学習情報によって、 学習情報メ モリ 5 5の記憶内容を更新する。 学習情報メモリ 5 5は、 パラメータ制御データ 計算部 5 4からの学習情報を記憶する。
判定制御部 5 6は、 パラメータ制御データ計算部 5 4から供給されるパラメ一 タ制御データの適正さを、 学習用データメモリ 5 3に記憶された最近の学習用デ ータを参照することにより判定する。 また、 判定制御部 5 6は、 パラメータ制御 データ計算部 5 4を制御し、 パラメータ制御データ計算部 5 4から供給されるパ ラメータ制御データを、 パラメータ制御データメモリ 5 7に供給する。 パラメ一 タ制御データメモリ 5 7は、 その記憶内容を、 判定制御部 5 6から供給されるパ ラメータ制御データによって更新し、 重み補正部 4 6に供給する。
図 4の実施の形態では、 以上の選択部 4 1乃至重み補正部 4 6、 および操作信 号処理部 5 0乃至パラメータ制御データメモリ 5 7によって、 処理部 1 1の学習 部 2 2が構成されている。 以上のように構成される NR回路としての最適化装置 1の処理部 1 1では、 次 のようにして、 入力信号におけるノイズが除去される。
即ち、 例えば、 いま、 説明を簡単にするために、 図 5 Aに示すような、'真値が 一定で、 かつ時間的に変動するノイズが重畳された入力信号について、 その平均 をとることで、 時間的に変動するノイズを除去することを考えると、 ノイズの度 合いとしての、 例えば、 ノイズのレベルが大きい入力信号 （従って、 SZNの悪 い信号） については、 その重みを小さく し （あまり考慮しないようにする） 、 ノ ィズのレベルの小さい入力信号 （従って、 S/Nの良い信号） については、 その 重みを大きくすることにより、 ノイズを効果的に除去することができる。
そこで、 図 4の NR回路では、 入力信号の評価値として、 例えば、 図 5 Bに示 すような、 入力信号の、 真値に対する近さ、 即ち、 入力信号が真値であることの 信頼性を表す入力信頼度を求め、 その入力信頼度に対応した重み付けを入力信号 に対して行いながら、 その平均を計算することで、 ノイズを効果的に除去するよ うになっている。
従って、 図 4の NR回路では、 入力信号について、 その入力信頼度に対応した 重みを用いた重み付け平均が求められ、 出力信号として出力されるが、 いま、 時 刻 tにおける入力信号、 出力信号、入力信頼度を、 それぞれ X ( t ) ， y ( t ) ，
Q;x(t)と表すと、 次式にしたがって、 出力信号 y ( t ) が求められることになる。
'【数 1】
x(i)X(i)
y(t) = ^
∑ ί (\)
i=0
■ · · (1) なお、 ここでは、 入力信頼度 αχωが大きいほど、 大きな重みを与えることとし ている。
式 （1) から、 現在時刻 tから 1サンプル前の出力信号 y ( t — 1) は、 次式 で求められる。 【数 2】 t - 1
∑ x(i)x(i)
i=0
y(t-1) t-1
L x(i)
i=0
• · · (2) また、 出力信号 y (t) についても、 その出力信号 y ( t) の評価値として、 真値に対する近さ、 即ち、 出力信号 y ( t) が真値であることの信頼性を表す出 力信頼度 y(t)を導入し、 現在時刻 tから 1サンプル前の出力信号 y ( t - 1) の 出力信頼度ひ ya-Dを、 次式で定義する。
【数 3】
t-1
y(t— 1)= _ x(i)
i=0
• · ■ (3) この場合、 式 （1) 乃至 （3) から、 出力信号 y ( t) およびその出力信頼度 o;y(t)は、 次のように表すことができる。
【数 4】
y(t— i)y(t— 1)
∑Qfx(i)x(i) + afX(t)x(t)
i=0
y(t) t-1
∑ x(i) + x(t)
i=0
ay(t-1)
y(t—i)y(t— 1)+ x(t)x(t)
y(t— 1)+ x(t)
(4)
【数 5】 バ t)= y(t— 1)+ x(t) … (5) また、 時刻 tにおいて、 出力信号 y ( t ) を求めるのに用いる重みを、 w ( t) と表し、 これを、 次式で定義する。
【数 6】
( ) _QTy(t-1) _
Qfy(t— 1)+ x(t)
• · · (6) 式 （6) から、 次式が成り立つ。
【数 7】
Figure imgf000025_0001
· ■ ■ (7) 式 （6) および （7) を用いると、 式 （4) における出力信号 y ( t ) は、 次 のような乗算と加算による重 付け平均によって表すことができる。
【数 8】
y(t) =w(t)y(t-1) + (1-w(t))x(t)
· ■ ■ (8) なお、 式 （8) で用いる重み w ( t ) (および 1一 w ( t) ) は、 式 （6) か ら、 1サンプル前の出力信号 y ( t - 1) の出力信頼度ひ と、 現在の入力信 号 X ( t ) の入力信頼度ひ x(t)とから求めることができる。 また、 式 （5) におけ る現在の出力信号 y ( t ) の出力信頼度 Q; y(t)も、 その 1サンプル前の出力信号 y ( t - 1) の出力信頼度ひバ と、 ¾1主の入力 fe X ( t の入力 职度（¾x(t)と から求めることができる。
ここで、 入力信号 X ( t ) の入力信頼度ひ x(t)、 または出力信号 y ( t ) の出力 信頼度 ayWとして、 それぞれの分散 σχω 2、 または σγω 2の逆数を用いることとす ると、 即ち、 入力信頼度ひ χω、 出力信頼度 ay(t)を、 式
【数 9】 1
ffx(t) 2
び x(t)
_ 1_
y(t) 2
び y(t)
(9) とおくと、 式 （6) における重み w ( t) と、 式 （7) における重み 1—w ( t) は、 次式で求めることができる。
【数 1 0】
2
w(t) =
び y(t—1)2+0"x(t)2
(10)
【数 1 1】
2
0"y(t-1)
1— w(t) =
び y(t-l)2+0"x(t)2
(1 1) なお、 σγω 2は、 次式で求めることができる。
【数 1 2】
cry(t)2=w(t)2ay(t-i)2+(1-w(t))2ax(t)2
• · · (1 2) 図 4の NR回路は、 基本的には、 式 （6) にしたがい、 重み w ( t ) としての 補正パラメータを演算する補正パラメータ演算処理を行い、 その重み w ( t) を 用いて、 式 （8) にしたがい、 1サンプル前の出力信号 y ( t - 1) と、 現在の 入力信号 X ( t ) との重み付け平均を計算することで、 入力信号 X ( t ) に含ま れるノイズを効果的に除去する補正処理を行う。
ところで、 式 （6) にしたがって求められた重み w ( t) による入力信号の捕 正処理の結果得られる出力信号が、 必ずしも、 ユーザが最適と感じるとは限らな い。 そこで、 図 4の NR回路は、 ユーザによる操作部 2の操作を学習することに より、 補正パラメータとしての重み w ( t) を制御 （補正） するパラメータ制御 データを求める制御データ学習処理を行い、 そのパラメータ制御データによって 補正した重みを用いて、 入力信号の補正処理を行うようになっている。
制御データ学習処理は、 次のようにして行われるようになつている。
即ち、 ユーザが操作部 2を操作することによって、 i回目に与えられた学習用 操作信号に対応する重み Wiは、その学習用操作信号が与えられたときに入力され た入力信号に対して、 ユーザが最適なものと考えているとみることができ、 従つ て、制御データ学習処理では、 式（6) にしたがって求められる重み w ( t ) を、 学習用操作信号に対応する重み に近い値（理想的には、 同一の値） に補正する ことのできるパラメータ制御データを求めれば良い。
そこで、 いま、 式 （6) にしたがって求められる重み w ( t ) を、 学習の生徒 となる生徒データとするとともに、学習用操作信号に対応する重み Wiを、学習の 教師となる教師データとして、 生徒データとしての重み w ( t ) から、 例えば、 次式に示すような、 パラメータ制御データ aと bによって定義される一次式によ つて予測される、 教師データとしての重み Wiの予測値 を求めることを考え る。
【数 1 3】
Figure imgf000027_0001
• - · (1 3) なお、 式 （1 3) において （後述する式 （14) 、 式 （16) 乃至 （21) に おいても、 同様） 、 は、 教師データとしての学習用操作信号に対応する重み W iが与えられたときに入力された入力信号に対して、 式 (6) にしたがって求めら れる生徒データとしての重み w ( t) を表す。
式 （13) から、 教師データとしての Wiと、 その予測値 Wi' との誤差 （予測 誤差） e iは、 次式で表される。
【数 14】 8
ei =Wi-W'i
β
=Wi- 2 (aWi+b)
• · · ( 1 4) いま、 式 （1 4) の予測誤差 eiの、 次式で表される自乗 （2乗） 誤差の総和 【数 1 5】
N
∑ei2
i =1
- … （1 5) を最小にするパラメータ制御データ aと bを、 最小自乗法 （最小自乗誤差法とも いう） により求めることを考える。 なお、 式 （1 5) において （後述する式 （1 6) 乃至 （2 1 ) においても、 同様） 、 Nは、 教師データと生徒データのセット 数を表す。
まず、 式 （1 5) の自乗誤差の総和を、 パラメータ制御データ aと bで、 それ ぞれ偏微分すると、 次式が得られる。
【数 1 6】 , N
3∑ei2 N
= -2∑Wj ( i-(a i+b))
6a
i =1
(1 6)
【数 1 7】
■2∑ (Wi-(awi+b))
i =1
• · · ( 1 7) 式 （1 5) の自乗誤差の総和の最小値 （極小値） は、 式 （1 6) と （1 7) の 右辺を 0にする aと bによって与えられるから、式（1 6) と （1 7) の右辺を、 それぞれ 0とおくと、 式 （1 6) からは式 ( 1 8) 力 式 （1 7) からは式 （1 9) 、 それぞれ得られる。
【数 1 8】
N N N
N∑WiWi=Nb∑ Wi+Na∑ Wi2
i=1 i=1 i=1
• · · (1 8) 【数 1 9】
Figure imgf000029_0001
• · · (1 9) 式 （1 9) を、 式 （1 8) に代入することにより、 パラメータ制御データ aは、 次式によって求めることができる。
【数 20】
Figure imgf000029_0002
• · · (20) また、 式 （1 9) と （20) から、 パラメータ制御データ bは、 次式によって 求めることができる。
【数 2 1】
Figure imgf000029_0003
• · · (2 1) 図 4の NR回路では、 以上のようにして、 パラメータ制御データ aと bを求め る制御データ学習処理を行うようになっている。
次に、 図 6乃至図 8のフローチャートを参照して、 図 4の NR回路が行う補正 処理、 補正パラメータ演算処理、 および制御データ学習処理について説明する。 まず最初に、 図 6のフローチャートを参照して、 補正処理について説明する。 学習部 2 2の選択部 41から、 補正部 2 1に対して、 補正パラメータとしての 重み w ( t) が供給されると、 補正部 2 1の重みメモリ 3 1は、 その重み w ( t) を上書きする形で記憶する。 さらに、 補正部 2 1の演算器 3 3は、 重み w ( t) を 1. 0から減算し、 重み 1 _w ( t) を求め、 重みメモリ 3 2に供給して、 上 書きする形で記憶させる。
そして、 入力信号 X (t) が供給されると、 ステップ S 2 1において、 演算器
34は、 その入力信号 X ( t) と、 重みメモリ 3 2に記憶された重み 1— w (t) との積を演算し、 演算器 36に供給する。 さらに、 ステップ S 21では、 演算器
3 5が、 重みメモリ 3 1に記憶された重み w ( t ) と、 ラツチ回路 3 7にラツチ された 1サンプル前の出力信号 y (t - 1) との積を演算し、 演算器 3 6に供給 する。
そして、 ステップ S 22に進み、 演算器 36は、 入力信号 X ( t ) および重み 1— w ( t) の積と、 重み w ( t) および出力信号 y (t - 1) の積とを加算し、 これにより、 入力信号 X (t) と出力信号 y (t - 1) の重み付け加算値 （1— w ( t) ) X ( t) +w ( t) y (t - 1) を求めて、 出力信号 y (t) として 出力する。 この出力信号 y ( t) は、 ラッチ回路 37にも供給され、 ラッチ回路 37は、 出力信号 y ( t) を上書きする形で記憶する。 その後、 ステップ S 2 1 に戻り、 次のサンプルの入力信号が供給されるのを待って、 以下、 同様の処理が 繰り返される。
次に、 図 7のフローチャートを参照して、 補正パラメータ演算処理について説 明する。
補正パラメータ演算処理では、 まず最初に、 ステップ S 3 1において、 入力信 頼度計算部 42が、 例えば、 入力信号の分散に基づく入力信頼度 ax(t)を求める。 即ち、 入力信頼度計算部 42は、 現在の入力信号のサンプル X ( t ) の他、 そ の過去数サンプノレをラッチすることができる、 図示せぬ F I F O (First In Firs t Out)メモリを内蔵しており、 現在の入力信号のサンプル x ( t ) と、 その過去 数サンプルとを用いて、 それらの分散を計算し、 その逆数を、 入力信頼度 α χ ω として求め、 出力信頼度計算部 4 3および重み計算部 4 5に供給する。 なお、 入 力信号の入力が開始された直後においては、 分散を計算するのに必要な数の入力 信号のサンプルが存在しない場合があるが、 この場合には、 例えば、 デフォルト の値が、 入力信頼度ひ χωとして出力される。
その後、 ステップ S 3 2に進み、 重み計算部 4 5は、 入力信頼度計算部 4 2か らの入力信頼度 a x (t)を用い、 式 （6 ) にしたがって、 重み w ( t ) を求める。 即ち、 入力信頼度計算部 4 2から重み計算部 4 5に対して、 入力信頼度 ο; χ ω が供給されるタイミングにおいては、 ラッチ回路 4 4において、 出力信頼度計算 部 4 3力 S 1サンプル前に出力した出力信頼度ひ - がラツチされており、 重み計 算部 4 5は、 ステップ S 3 2において、 入力信頼度計算部 1 2からの入力信頼度 x (t)と、 ラッチ回路 4 4にラッチされている出力信頼度 とを用い、式（6 ) にしたがって、 重み w ( t ) を求める。 この重み w ( t ) は、 重み補正部 4 6に 供給される。
その後、 ステップ S 3 3に進み、 重み補正部 4 6は、 パラメータ制御データメ モリ 5 7からパラメータ制御データを読み出し、 ステップ S 3 4に進む。 ステツ プ S 3 4では、 重み補正部 4 6は、 パラメータ制御データメモリ 5 7から読み出 したパラメータ制御データが、 重み w ( t ) を補正しないモード、.即ち、 ユーザ による操作部 2の操作に関係なく、 重み計算部 4 5において、 入力信頼度と出力 信頼度から、いわば自動的に求められる重み w ( t )を、そのまま入力信号 X ( t ) を補正するための重み Wとして用いるモード（以下、適宜、オートモードという） を表すォートモ一ドデータとなっているかどうかを判定する。
ステップ S 3 4において、 パラメータ制御データがォートモードデータでない と判定された場合、 ステップ S 3 5に進み、 重み補正部 4 6は、 重み計算部 4 5 から供給される重み w ( t ) を、 パラメータ制御データメモリ 5 7から供給され るパラメータ制御データ aと bによって定義される式 （1 3 ) の一次式にしたが つて補正し、 ステップ S 36に進む。 ステップ S 36では、 重み補正部 46が、 補正後の重みを、 選択部 41に供給し、 ステップ S 3 7に進む。 ここで、 式 （1 3) において、 Wiが、 重み計算部 45から供給される重み w ( t) に相当し、 W i' 力 補正後の重み Wに相当する。
一方、 ステップ S 34において、 パラメータ制御データがォートモ一ドデータ であると判定された場合、 ステップ S 3 5をスキップして、 ステップ S 36に進 み、 重み捕正部 46は、 重み計算部 45からの重み w ( t) を、 そのまま選択部 4 1に供給し、 ステップ S 3 7に進む。
ステップ S 3 7では、出力信頼度計算部 43は、出力信頼度を更新する。即ち、 出力信頼度計算部 43は、 直前のステップ S 3 1で入力信頼度計算部 42が計算 した入力信頼度 χ )と、 ラッチ回路 44がラッチしている 1サンプル前の出力信 頼度ひ y— 1 とを、 式 （5) にしたがって加算することで、 現在の出力信頼度 ayW を求め、 ラッチ回路 44に上書きする形で記憶させる。
そして、 ステップ S 38に進み、 選択部 41は、 操作信号処理部 50の出力か ら、 操作部 2がユーザによって操作されているかどうかを判定する。 ステップ S 38において、 操作部 2が操作されていないと判定された場合、 ステップ S 3 9 に進み、 選択部 4 1は、 重み補正部 46から供給された重み （以下、 適宜、 補正 重みという） を選択し、 補正部 2 1に出力して、 ステップ S 3 1に戻る。
また、ステップ S 38において、操作部 2が操作されていると判定された場合、 ステップ S 40に進み、 選択部 4 1は、 その操作に応じて、 操作信号処理部 50 が出力する重みを選択し、 補正部 2 1に出力して、 ステップ S 31に戻る。 従って、 図 7の補正パラメータ演算処理においては、 操作部 2が操作されてい ない場合は、 補正重みが、 補正部 2 1に供給され、 また、 操作部 2が操作されて いる場合は、 その操作信号に対応する重みが、 補正部 21に供給される。 その結 果、 補正部 21では、 操作部 2が操作されていない場合は、 補正重みによって、 入力信号が補正され、 操作部 2が操作されている場合には、 その操作信号に対応 する重みによって、 入力信号が補正される。 さらに、 図 7の補正パラメータ演算処理においては、 オートモードの場合は、 操作部 2の操作に関係なく、 入力信頼度と出力信頼度のみから、 補正処理に用い られる重みが求められ、オートモードでない場合には、操作部 2の操作に基づく、 後述する図 8の制御データ学習処理による学習によって得られるパラメータ制御 データを用いて、 補正処理に用いられる重みが求められる。
次に、 図 8のフローチャートを参照して、 制御データ学習処理について説明す る。
制御データ学習処理では、 まず最初に、 ステップ S 4 1において、 操作信号処 理部 5 0が、 学習用操作信号を、 操作部 2から受信したかどうかを判定し、 受信 していないと判定した場合、 ステップ S 4 1に戻る。
また、 ステップ S 4 1において、 操作部 2から、 学習用操作信号を受信したと 判定された場合、 即ち、 例えば、 操作部 2が、 その操作の開始後、 第 1の時間 t 1以上の間隔をあけることなく、第 2の時間 t 2以上連続して操作され、その後、 第 3の時間 t 3以上連続して、 その操作が停止された場合や、 操作部 2の操作の 開始後、 第 3の時間 t 3以上連続して、 その操作が停止された場合など、 ユーザ 力 S、 所望の出力信号を得られるように、 操作部 2の操作を行ったと判定すること ができる場合、 ステップ S 4 2に進み、 教師データ生成部 5 1が教師データを生 成するとともに、 生徒データ生成部 5 2が生徒データを生成する。
即ち、 操作信号処理部 5 0は、 学習用操作信号を受信した場合、 その学習用操 作信号に対応する重み W (例えば、 操作部 2の操作量や、 操作部 2としてのつま みやレバーなどの位置に対応した重み W) を、 学習フラグとともに、 教師データ 生成部 5 1および生徒データ生成部 5 2に供給する。 教師データ生成部 5 1は、 学習フラグ付きの重み Wを受信すると、その重み Wを、教師データとして取得し、 学習用データメモリ 5 3に供給する。 また、 生徒データ生成部 5 2は、 学習フラ グ付きの重みを受信すると、 そのときの入力信号に対応する重み wを、 生徒デー タとして求め、 学習用データメモリ 5 3に供給する。
ここで、 入力信号に対応する重み wとは、 式 （6 ) にしたがい、 入力信頼度と 出力信頼度とから、 いわば自動的に求められる重みを意味し、 上述したように、 生徒データ生成部 5 2は、 この入力信号に対応する重み wを、 入力信号から計算 している。
学習用データメモリ 5 3は、 教師データ生成部 5 1から教師データ Wを受信す るとともに、 生徒データ生成部 5 2から生徒データ wを受信すると、 ステップ S 4 3において、 その最新の教師データ Wと生徒データ wのセッ トを記憶し、 ステ ップ S 4 4に進む。
ステップ S 4 4では、 パラメータ制御データ計算部 5 4が、 教師データと生徒 データを対象として、 最小自乗法における足し込みを行う。
即ち、 パラメータ制御データ計算部 5 4は、 式 （2 0 ) や （2 1 ) における生 徒データ Wiと教師データ Wiとの乗算 （W iWi) とサメーシヨン （∑W iWi) に相 当する演算、 生徒データ W iのサメーシヨン （∑W i) に相当する演算、 教師デー タ Wiのサメーシヨン （∑Wi) に相当する演算、 生徒データ どうしの積のサメ ーシヨン （∑W i 2) に相当する演算を行う。
ここで、 例えば、 いま、 既に、 N— 1セットの教師データと生徒データが得ら れており、 最新の教師データと生徒データとして、 Nセット目の教師データと生 徒データが得られたとすると、 その時点では、 パラメータ制御データ計算部 5 4 において、 N _ 1セットの教師データと生徒データを対象とした足し込みが、 既 に行われている。 従って、 Nセット目の教師データと生徒データについては、 既 に行われている N _ 1セットの教師データと生徒データを対象とした足し込み結 果を保持してあれば、 その足し込み結果に、 Nセット目の教師データと生徒デー タを足し込むことにより、 最新の教師データと生徒データを含む、 Nセットの教 師データと生徒データの足し込み結果を得ることができる。
そこで、 パラメータ制御データ計算部 5 4は、 前回の足し込み結果を、 学習情 報として、 学習情報メモリ 5 5に記憶させておくようになっており、 この学習情 報を用いて、 Nセッ ト目の教師データと生徒データについての足し込みを行うよ うになつている。 なお、 足し込みには、 いままでの足し込みに用いた教師データ と生徒データのセット数 Nも必要であり、 学習情報メモリ 5 5は、 このセット数 Nも、 学習情報として記憶するようになっている。
パラメータ制御データ計算部 5 4は、 ステップ S 4 4において足し込みを行つ た後、 その足し込み結果を、 学習情報として、 学習情報メモリ 5 5に上書きする 形で記憶させ、 ステップ S 4 5に進む。
ステップ S 4 5では、 パラメータ制御データ計算部 5 4が、 学習情報メモリ 5 5に記憶された学習情報としての足し込み結果から、 式 （2 0 ) および （2 1 ) によって、 パラメータ制御データ aおよび bを求めることが可能であるかどうか を判定する。
即ち、 教師データと生徒データのセットを、 以下、 適宜、 学習対というものと すると、 少なく とも、 2つの学習対から得られた学習情報が存在しなければ、 式 ( 2 0 ) および （2 1 ) から、 パラメータ制御データ aおよび bを得ることがで きない。 そこで、 ステップ S 4 5では、 学習情報から、 パラメータ制御データ a および bを求めることが可能であるかどうかが判定される。
ステップ S 4 5において、 パラメータ制御データ aおよび bを求めることが可 能でないと判定された場合、 パラメータ制御データ計算部 5 4は、 その旨を、 判 定制御部 5 6に供給し、 ステップ S 4 9に進む。 ステップ S 4 9では、 判定制御 部 5 6は、 パラメータ制御データとして、 オードモードを表すオートモードデー タを、 パラメータ制御データメモリ 5 7に供給して記憶させる。 そして、 ステツ プ S 4 1に戻り、 以下、 同様の処理が繰り返される。
従って、 パラメータ制御データ aおよび bを求めることができるだけの学習情 報が存在しない場合には、 図 7で説明したように、 入力信頼度と出力信頼度から 自動的に求められる重み w ( t ) 1S そのまま入力信号 X ( t ) の捕正に用いら れることになる。
一方、 ステップ S 4 5において、 パラメータ制御データ aおよび bを求めるこ とが可能であると判定された場合、 ステップ S 4 6に進み、 パラメータ制御デー タ計算部 5 4は、 学習情報を用い、式（2 0〉 および（2 1 ) を計算することで、 パラメータ制御データ aおよび bを求め、 判定制御部 5 6に供給して、 ステップ S 4 7に進む。
ステップ S 4 7では、 判定制御部 5 6は、 パラメータ制御データ計算部 5 4か らのパラメータ制御データ aおよび bによって定義される式 （1 3 ) の一次式に したがい、 学習用データメモリ 5 3に記憶された各生徒データから、 対応する教 師データの予測値を求め、 その予測値の予測誤差 （学習用データメモリ 5 3に記 憶されている教師データに対する誤差） の、 式 （1 5 ) で表される自乗誤差の総 和を求める。 さらに、 判定制御部 5 6は、 その自乗誤差の総和を、 例えば、 学習 用データメモリ 5 3に記憶されている学習対の数で除算した正規化誤差を求め、 ステップ S 4 8に進む。
ステップ S 4 8では、 判定制御部 5 6は、 正規化誤差が、 所定の閾値 S 1より 大 （以上） であるかどうかを判定する。 ステップ S 4 8において、 正規化誤差が 所定の閾値 S 1より大であると判定された場合、 即ち、 パラメータ制御データ a および bによって定義される式 （1 3 ) の一次式が、 学習用データメモリ 5 3に 記憶された生徒データと教師データとの関係を、 精度良く近似していない場合、 ステップ S 4 9に進み、 判定制御部 5 6は、 上述したように、 パラメータ制御デ ータとして、 オードモードを表すオートモードデータを、 パラメータ制御データ メモリ 5 7に供給して記憶させる。 そして、 ステップ S 4 1に戻り、 以下、 同様 の処理が繰り返される。
従って、 パラメータ制御データ aおよび bを求めることができても、 そのパラ メータ制御データ aおよび bによって定義される式 （1 3 ) の一次式が、 学習用 データメモリ 5 3に記憶された生徒データと教師データとの関係を、 精度良く近 似していない場合には、 パラメータ制御データ aおよび bを求めることができる だけの学習情報が存在しない場合と同様に、 入力信頼度と出力信頼度から自動的 に求められる重み w ( t ) ί そのまま入力信号 x ( t ) の補正に用いられるこ とになる。
一方、 ステップ S 4 8において、 正規化誤差が所定の閾値 S 1より大でないと 判定された場合、 即ち、 パラメータ制御データ aおよび bによって定義される式 ( 1 3 ) の一次式が、 学習用データメモリ 5 3に記憶された生徒データと教師デ ータとの関係を、 精度良く近似している場合、 ステップ S 5 0に進み、 判定制御 部 5 6は、 パラメータ制御データ計算部 5 4からのパラメータ制御データ aおよ び bによって定義される式 （1 3 ) の一次式で表される回帰直線と、 学習用デー タメモリ 5 3に記憶された最新の教師データおよび生徒データで規定される点と の間の誤差 （距離） Eを求める。
そして、 ステップ S 5 1に進み、 判定制御部 5 6は、 誤差 εの大きさが、 所定 の閾値 S 2より大 （以上） であるかどうかを判定し、 大でないと判定した場合、 ステップ S 5 2をスキップして、 ステップ S 5 3に進み、 判定制御部 5 6は、 ス テツプ S 4 6で求められたパラメータ制御データ aおよび bを、 パラメータ制御 部データメモリ 3 7に出力する。 パラメータ制御データメモリ 5 7は、 判定制御 部 5 6からのパラメータ制御データ aおよび bを上書きする形で記憶し、 ステツ プ S 4 1に戻る。
一方、 ステップ S 5 1において、 誤差 εの大きさが、 所定の閾値 S 2より大で あると判定された場合、 ステップ S 5 2に進み、 判定制御部 5 6は、 パラメータ 制御データ計算部 5 4を制御することにより、 学習用データメモリ 5 3に記憶さ れた最近の教師データと生徒データとしての、 最新の学習対から所定数の過去の 学習対のみを用いて （学習情報メモリ 5 5の学習情報を用いずに） 、 パラメータ 制御データ aおよび bを再計算させる。 そして、 ステップ S 5 3に進み、 判定制 御部 5 6は、 ステップ S 5 2で求められたパラメータ制御データ aおよび bを、 パラメータ制御部データメモリ 3 7に出力し、 上書きする形で記憶させ、 ステツ プ S 4 1に戻る。
従って、 パラメータ制御データ aおよび bを求めることができ、 かつ、 そのパ ラメータ制御データ aおよび bによって定義される式 （1 3 ) の一次式が、 学習 用データメモリ 5 3に記憶された生徒データと教師データとの関係を、 精度良く 近似している場合には、 ユーザによる操作部 2の操作に基づいて得られる学習対 を用いて学習が行われることにより求められたパラメータ制御データ aおよび b によって定義される式 （1 3 ) にしたがって、 入力信頼度と出力信頼度から求め られる重み w ( t ) が補正され、 その補正によって得られる補正重み Wが、 入力 信号 X ( t ) の補正に用いられることになる。
ここで、 ステップ S 4 6で求められたパラメータ制御データ aおよび bによつ て定義される式 （1 3 ) の一次式で表される回帰直線は、 図 9 Aに示すように、 Nセットの教師データと生徒データによって規定される N個の点との自乗誤差
(の総和） を最小にする直線であるが、 ステップ S 5 0では、 この直線と、 最新 の教師データおよぴ生徒データで規定される点との間の誤差 εが求められる。 そして、 この誤差 εの大きさが、 閾値 S 2より大でない場合には、 ステップ S 4 6で求められたパラメータ制御データ aおよび bによって定義される式（1 3 ) の一次式で表される回帰直線は、 最新の教師データと生徒データで規定される点 も含め、 いままでに与えられた教師データと生徒データで規定される点のいずれ も、 比較的精度良く近似していると考えられる。
しかしながら、 誤差 εの大きさが、 閾値 S 2より大の場合には、 即ち、 最新の 教師データと生徒データで規定される点 （図 9 Βにおいて〇印で示す） 力 図 9 Βに示すように、 ステップ S 4 6で求められたパラメータ制御データ aおよび b によって定義される式 （1 3 ) の一次式で表される回帰直線から大きく離れてい る場合には、 何らかの原因で、 ユーザが、 いままでとは異なる傾向の操作部 2の 操作を行ったと考えられる。
そこで、 この場合、 判定制御部 5 6は、 パラメータ制御データ計算部 5 4を制 御することにより、 ステップ S 5 2において、 学習用データメモリ 5 3に記憶さ れた学習対のうちの、 最近の学習対のいくつかのみを用いて、 パラメータ制御デ ータ aおよび bを再計算させる。
即ち、 この場合、 パラメータ制御データ計算部 5 4は、 学習情報メモリ 5 5に 記憶された過去の足し込み結果としての学習情報を用いずに （忘却して） 、 最近 の幾つかの教師データと生徒データのセットのみを用いて、 それらの教師データ と生徒データによって規定される点の集合を最も良く近似する式 （1 3 ) の直線 を定義するパラメータ制御データ aおよび bを再計算する。
具体的には、 パラメータ制御データ計算部 5 4は、 例えば、 図 9 Cに示すよう に、 最新の教師データと生徒データによって規定される点 （図 9 Cにおいて〇印 で示す） と、 その 1回前に与えられた教師データと生徒データによって規定され る点 （図 9 Cにおいて△印で示す） とを通る直線を定義するパラメータ制御デー タ a ' および b ' を求める。
以上のように、 ユーザの操作に応じて供給される操作信号が、 学習に用いるこ とができるかどうかを判定し、 学習に用いることのできる学習用操作信号である 場合には、 その学習用操作信号に基づいて、 入力信号を補正する重みを補正する パラメータ制御データ aおよび bを学習するようにしたので、 ユーザの操作を、 ユーザが知らないうちに学習することができ、 その結果、 その学習結果に基づい て、 ユーザにとって、 徐々に適切な処理が行われるようになり、 最終的には、 ュ 一ザにとって最適な処理が行われることになる。
これは、 ユーザ側からみれば、 ユーザが操作部 2を通常操作していると、 その うちに、 操作を行わなくても、 各種の入力信号に対して、 ユーザにとって最適な ノイズ除去結果が得られることを意味し、 従って、 装置が、 いわば手になじんで くることを意味する。 そして、 この手になじんでくる段階では、 ユーザが、 所望 の出力信号を得られるように、 操作部 2の操作を行うことから、 ユーザにおいて は、 操作部 2の操作と、 入力信号の補正に用いられる重み Wとの関係が、 徐々に 明確に認識されていくことになり、最終的には、ユーザによる操作部 2の操作と、 入力信号の補正に用いられる重み Wとが、 定性的に関係付けられることになる。 また、 図 4の N R回路においては、 ユーザによる操作部 2の操作にしたがい、 補正部 2 1で行われる補正処理 （図 6 ) で用いられる重み Wが、 ユーザにとって 所望の出力信号が得られるように変更される。 即ち、 ユーザが操作部 2を操作す ると、操作信号処理部 5 0は、その操作に対応した操作信号が表す重みを出力し、 選択部 4 1は、 その重みを選択して、 補正部 2 1に供給する。 この場合、 補正部 2 1では、 ユーザの操作に対応した重みを用いて、 式 （8 ) で表される補正処理 が行われる。 そして、 ユーザの操作により式 （8 ) の重み w ( t ) が変更される 場合には、 当然に、 式 （8 ) で表される処理 （補正処理） の内容も変更すること となるから、 図 4の N R回路では、 ユーザの操作にしたがい、 その 「処理の内容」 力 ユーザにとって所望の出力信号が得られるように変更されているということ ができる。
さらに、 図 4の N R回路では、 パラメータ制御データ aおよび bを求めること ができない場合や、 求めることができても、 そのパラメータ制御データ aおよび bによって定義される式 （1 3 ) の一次式が、 学習用データメモリ 5 3に記憶さ れた生徒データと教師データとの関係を、 精度良く近似していない場合には、 入 力信頼度と出力信頼度とから自動的に求められる重みが、 補正部 2 1における補 正処理に用いられる。 一方、 パラメータ制御データ aおよび bを求めることがで き、 かつ、 そのパラメータ制御データ aおよび bによって定義される式 （1 3 ) の一次式が、 学習用データメモリ 5 3に記憶された生徒データと教師データとの 関係を、 精度良く近似している場合には、 ユーザによる操作部 2の操作に基づい て得られる学習対を用いて学習が行われることにより求められたパラメータ制御 データ aおよび bによって定義される式 （1 3 ) にしたがって、 入力信頼度と出 力信頼度から求められる重みが補正され、その補正によって得られる補正重みが、 補正部 2 1による補正処理に用いられる。
即ち、 図 4の N R回路では、 ユーザから十分な数の学習対が入力されていない 場合や、 精度の高い近似が可能な学習対が入力されていない場合には、 入力信頼 度と出力信頼度とから自動的に求められる重みが、 補正部 2 1における補正処理 に用いられ、 ユーザから精度の高い近似が可能な学習対が入力された場合には、 その学習対を用いて学習が行われることにより求められたパラメータ制御データ aおよび bによって求められる補正重みが、 補正部 2 1における補芷処理に用い られる。
従って、 十分な数の学習対や、 精度の高い近似が可能な学習対が得られていな い場合と、精度の高い近似が可能な学習対が得られた場合とでは、やはり、式（ 8 ) の重み w ( t ) が変化し、 その結果、 その式 （8 ) で表される補正処理の内容も 変更することとなるから、 かかる観点からも、 図 4の N R回路では、 ユーザの操 作にしたがい、 その 「処理の内容」 力 ユーザにとって所望の出力信号が得られ るように変更されているということができる。
さらに、 図 4の N R回路では、 十分な数の学習対や、 精度の高い近似が可能な 学習対が得られていない場合と、 精度の高い近似が可能な学習対が得られた場合 とで、 補正処理に用いられる重みを算出する体系が変化する。
即ち、 十分な数の学習対や、 精度の高い近似が可能な学習対が得られていない 場合には、 ユーザの操作に関係なく、 入力信頼度と出力信頼度から、 重みが求め られる。 一方、 精度の高い近似が可能な学習対が得られた場合には、 ユーザの操 作に基づいて得られた学習対を用いた学習によって求められたパラメータ制御デ ータに基づいて、 重みが求められる。
従って、 この場合、 ユーザの操作にしたがい、 重みを算出する処理体系、 つま り、 重みの求め方のアルゴリズムが、 ユーザにとって所望の出力信号が得られる ように変更されているということができる。
ここで、 重みを求める処理を、 関数 Fで表すこととすると、 上述の 「処理の内 容」 の変更というのは、 関数 Fが変更されることに相当する。 そして、 関数 Fが 変更される場合としては、 大きく分けて関数 Fそれ自体の形が変わる場合 （例え ば、 F = xから F = x 2に変わる場合など） と、 関数 Fそれ自体の形は変わらな いが、 関数 Fを定義する係数が変わる場合 （例えば、 = 2 から = 3 に変 わる場合など） とがある。
いま、 「処理の内容」 の変更のうち、 その処理を表す関数 Fそれ自体の形が変 わる場合を、 「処理の構造」 の変更というものとすると、 上述のように、 重みを 算出する処理体系、すなわち、重みの求め方のアルゴリズムが変わることは、 「処 理の構造」 の変更ということができる。
従って、 図 4の N R回路では、 ユーザの操作にしたがい、 その 「処理の内容」 も、 さらには、 その 「処理の構造」 も変更され、 これにより、 ユーザにとって所 望の出力信号が得られるようになっている。
なお、 入力信号としては、 画像信号や音声信号は勿論、 その他の信号を用いる ことが可能である。 但し、 入力信号が画像信号の場合は、 入力信頼度は、 処理し ようとしている画素に対して、 空間的または時間的に近い位置にある複数の画素 から求められる分散に基づいて計算することになる。
また、 上述の場合には、 説明を簡単にするため、 学習部 2 2において、 入力信 頼度等から求められる重み wを、 パラメータ制御データ aおよび bによって定義 される式 （1 3 ) の一次式によって、 補正重み Wに補正するようにしたが、 重み wの捕正は、 実際には、 より高次の式によって行うのが望ましい。 また、 その高 次の式の次数は、 例えば、 最適化装置が適用されるアプリケーション等に基づい て適切な値に設定するのが望ましい。
さらに、 重み wから、 補正重み Wを求める式 （以下、 適宜、 補正重み算出式と いう） としては、 式 （1 3 ) の 1次式 W= a w + の他に、 例えば、 2次式 W = a w 2 + b w + cや、 3次式 W= a w 3 + b w 2 + c w + dなどの複数を用意して おき （a， b， c , dは、 所定の係数） 、 その複数の補正重み算出式のうちの、 正規化誤差が最小になるものを採用するようにすることが可能である。 なお、 こ の場合、 ユーザの操作によって得られる学習対から求められる正規化誤差が最小 になる補正重み算出式が選択され、 その選択された補正重み算出式によって、 補 正重みが求められることになる。 即ち、 ユーザの操作にしたがい、 補正重みの求 め方のアルゴリズムが変更されることになる。 従って、 この場合も、 ユーザの操 作にしたがい、 「処理の構造」 が変更されているということができる。
次に、 図 1 0は、 図 4の最適化装置 1の処理部 1 1を、 N R回路に適用した場 合の他の詳細構成例を示している。 なお、 図中、 図 4における場合と対応する部 分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。 即ち、 図 1 0の N R回路は、 重み補正部 4 6が設けられておらず、 入力信頼度計 算部 4 2と生徒データ生成部 5 2に替えて、 入力信頼度計算部 6 1と生徒データ 生成部 6 2がそれぞれ設けられている他は、 基本的に、 図 4における場合と同様 に構成されている。
入力信頼度計算部 6 1は、 入力信号の入力信頼度を、 入力信号の複数のサンプ ルと、 パラメータ制御データメモリ 5 7に記憶されたパラメータ制御データとか ら計算し、 出力信頼度計算部 4 3と重み計算部 4 5に供給する。
生徒データ生成部 6 2は、 入力信号と、 出力信頼度計算部 4 3が出力する出力 信頼度とを生徒データとして取得し、 学習用データメモリ 5 3に供給する。 なお、 図 1 0の実施の形態では、 重み補正部 4 6が設けられていないため、 重 み計算部 4 5において求められた重みが、 そのまま、 選択部 4 1に供給されるよ うになつており、 選択部 4 1は、 この重み計算部 4 5が出力する重みと、 操作信 号処理部 5 0が出力する重みのうちのいずれか一方を、 図 4における場合と同様 にして選択して出力するようになっている。
また、 図 1 0の実施の形態では、 パラメータ制御データは、 入力信頼度を制御 するデータとして機能する。
図 1 0の N R回路でも、 図 4の N R回路と同様に、 補正処理、 捕正パラメータ 演算処理、 および制御データ学習処理が行われる。 なお、 補正処理としては、 図 6で説明した処理と同様の処理が行われるため、 図 1 0の N R回路については、 補正処理の説明は省略し、 補正パラメータ演算処理および制御データ学習処理に ついて説明する。
即ち、 図 1 0の N R回路では、 補正処理で用いられる、 式 （6 ) に示した重み を規定する入力信頼度ひ x (t)が、 例えば、 次式で定義されるものとして、 補正パラ メータ演算処理およぴ制御データ学習処理が行われる。
【数 ¾ 2】
Figure imgf000043_0001
· · · ( 2 2 ) 但し、 式 （2 2 ) において、 a a 2, · · ■ ， a Nは、 パラメータ制御データ であり、 x x 2, ■ · · ， x Nは、 いま処理を施そうとしている入力信号のサン プル （注目サンプル） と所定の関係にある入力信号のサンプルである。 ここで、 入力信号が、 例えば、 画像信号である場合には、 Xl, x2, · ■ ■， xNとしては、 例えば、 注目サンプルとしての画素 （図 1 1において X印で示す） と、 その画素 から、 空間的または時間的に近い位置にある画素 （図 1 1に〇印で示す） を用い ることができる。
式 （2 2) から、 式 （6) で与えられる重み w ( t ) は、 式 （2 3) に示すよ うに表すことができる。
【数 2 3】 y(t一 1)
w(t) =
y(t— 1)+ x(t)
y(t— 1)
^y(t-i) + (ai i+a2 2+---+a N) · · ■ (2 3) 従って、 入力信号 Xl， χ2) · · ·， xNが入力された場合に、 ユーザから与え られた重み Wを得るためには、 式 （2 3) から、 次式を満たすようなパラメータ 制御データ aい a 2, · ■ ·， a Nを求めれば良いことになる。
【数 24】 w= y(t— "
y(t— 1) + (aiXl+a2X2+'"+aNXN)
• · ■ (2 4) そこで、 式 (24) を変形すると、 式 （2 5) を得ることができる。
【数 2 5】
(aixi+a2X2+〜+aNXN)W+(W— 1) a (t-i)=0
· · · (2 5) 式 （2 5) を常時満たすパラメータ制御データ aい a 2, · · ·， a Nを求める ことは、 一般に困難であるため、 ここでは、 例えば、 式 （2 5) の左辺と右辺の 自乗誤差の総和が最小になるパラメータ制御データ &ぃ a2， ■ ■ · , aNを、 最 小自乗法により求めることを考える。
ここで、式（2 5)の左辺と右辺の自乗誤差の総和を最小にするということは、 式 （2 3) によって与えられる重み w ( t ) と、 ユーザによって与えられる重み Wとの自乗誤差を最小にすること、 即ち、 ユーザによって与えられる重み Wを教 師データとするとともに、 式 （2 3) の重み w ( t ) を定義する入力信号 Xl， X 2, . · · , xN、 および出力信頼度ひ γ - を生徒データとして、 その生徒データか ら、 式 （2 3) によって計算される重み w ( t) と、 ユーザによって与えられる 教師データとしての重み Wとの自乗誤差を最小にすることと等価であり、 そのよ うなパラメータ制御データ a1; a2, · · ■， aNと、 生徒データとから式 （2 3) によって計算される重み w ( t)は、教師データ Wとの誤差が小さいものとなる。 式 （2 5) の左辺と右辺の自乗誤差 e2は、 式 （2 6) で与えられる。
【数 2 6】
Figure imgf000045_0001
• · · (2 6) 自乗誤差 e2を最小にするパラメータ制御データ a i， a2) ■ ' · , aNは、 式 (2 6) の自乗誤差 e 2を、 aい a 2, · ■ ·， a Nそれぞれで偏微分したものが 0となるという条件、 即ち、 次式によって与えられる。
【数 2 7】
9ai
Figure imgf000045_0002
• · · (2 7) 式 （2 7) に、 式 （2 6) を代入して計算すると、 式 （2 8) が得られる。 【数 2 8】 (aixiW+a2X2W+---+aNX W+ (W-1) y(t— i))Wxi=0
(ai xi W+a2X2W+ - -■ +8NX W+ y(t— i))Wx2=0
(aix】W+a2X2W十… +awXNW+ (W-1) バ t-i))WxN=0
• · · (28) 従って、 行列 X, A, Yそれぞれを、 式 （29) に示すように定義すると れらの行列 X, A, Υには、 式 （28) から、 式 （30) の関係が成立する, 【数 29】
∑WV ∑W2x2xi- ∑W2xNxi
∑W¾X2 ∑W2X2 2 … ∑W2XNX2
∑W2X!XN ∑W2X2XN ∑ 2XN 2
Figure imgf000046_0001
∑W(1-W) Ofy(t - 1)X1
∑W(1-W) y(t— 1)X2
∑W(1-W) y(t— 1)XN—
• · · (29)
【数 30】
XA=Y
■ · · (30) 伹し、 式 （29) におけるサメーシヨン （∑) は、 入力信号 Xl乃至 xNと、 そ の入力信号 乃至 xNが入力されたときにユーザから与えられた重み Wとのセッ トの数についてのサメーションを意味する。
式 （30) は、 例えば、 コレスキー法などによって、 行列 （ベタ トル） A、 即 ち、 パラメータ制御データ aい a2, ■ · '· , aNについて解くことができる。 図 1 0の NR回路は、 以上のように、 ユーザによって与えられる重み Wを教師 データとするとともに、 式 （2 3) の重み w ( t) を定義する入力信号 Xl， x2, • · ■， xN、 および出力信頼度ひ を生徒データとして、 その生徒データから、 式 （2 3) によって計算される重み w ( t) と、 ユーザによって与えられる教師 データとしての重み Wとの自乗誤差を最小にするパラメータ制御データ aい a 2， · · · ， aNを、 最小自乗法により学習する制御データ学習処理を行う。 さらに、 図 1 0の NR回路は、 そのパラメータ制御データ & 1乃至 aNで定義される式 （2 2) から入力信頼度 αχωを求め、 さらに、 その入力信頼度 ax(t)と出力信頼度 y(t から、 式 （2 3) にしたがって、 補正パラメータとしての重みを求める補正パ ラメータ演算処理を行う。
そこで、 図 1 2のフローチャートを参照して、 図 1 0の NR回路による捕正パ ラメータ演算処理について説明する。
補正パラメータ演算処理では、 まず最初に、 ステップ S 6 1において、 入力信 頼度計算部 6 1力 パラメータ制御データメモリ 5 7からパラメータ制御データ を読み出し、 ステップ S 6 2に進む。 ステップ S 6 2では、 入力信頼度計算部 6 1はノ、。ラメータ制御データメモリ 5 7から読み出したパラメータ制御データ力 入力信頼度をパラメータ制御データを用いずに求めるモード、 即ち、 ユーザによ る操作部 2の操作に関係なく、 入力信頼度を、 入力信号だけから、 いわば自動的 に求めるモード （このモードも、 以下、 適宜、 オートモードという） を表すォー トモ一ドデータとなっているかどうかを判定する。
ステップ S 6 2において、 パラメータ制御データがオートモードデータでない と判定された場合、 ステップ S 6 3に進み、 入力信頼度計算部 6 1は、 パラメ一 タ制御データメモリ 5 7から読み出したパラメータ制御データ a t乃至 a こよ つて定義される式 （2 2) の一次式にしたがい、 そこに供給される最新の N個の 入力信号のサンプル X 乃至 xNを用いて求め、 出力信頼度計算部 4 3および重み 計算部 4 5に供給して、 ステップ S 6 5に進む。
また、 ステップ S 6 2において、 パラメータ制御データがオートモードデータ であると判定された場合、 ステップ S 6 4に進み、 入力信頼度計算部 6 1は、 例 えば、 図 7のステップ S 3 1における場合と同様に、 入力信号のみを用い、 その 分散に基づく入力信頼度 α χωを求め、出力信頼度計算部 4 3および重み計算部 4 5に供給する。 - そして、 ステップ S 6 5では、 重み計算部 4 5は、 入力信頼度計算部 6 1から の入力信頼度《x(t)と、 ラッチ回路 4 4においてラッチされた、 出力信頼度計算部 4 3が 1サンプル前に出力した出力信頼度 α とを用い、 式 （2 3 ) にしたが つて、 重み w ( t ) を求める。 この重み w ( t ) は、 重み計算部 4 5から選択部 4 1に供給される。
その後、 ステップ S 6 6に進み、 出力信頼度計算部 4 3は、 図 7のステップ S 3 7における場合と同様に、入力信頼度計算部 6 1から供給された入力信頼度 α χ (t)と、 ラッチ回路 4 4がラッチしている 1サンプル前の出力信頼度ひ γ _ とを、 式 （5 ) にしたがって加算することで、 出力信頼度 a y Wを更新し、 ラッチ回路 4 4に上書きする形で記憶させる。
そして、 ステップ S 6 7に進み、 選択部 4 1は、 操作信号処理部 5 0の出力か ら、 操作部 2がユーザによって操作されているかどうかを判定する。 ステップ S 6 7において、 操作部 2が操作されていないと判定された場合、 ステップ S 6 8 に進み、 選択部 4 1は、 重み計算部 4 5から供給された重みを選択し、 補正部 2 1に出力して、 ステップ S 6 1に戻る。
また、ステップ S 6 7において、操作部 2が操作されていると判定された場合、 ステップ S 6 9に進み、 選択部 4 1は、 その操作に応じて、 操作信号処理部 5 0 が出力する重みを選択し、 補正部 2 1に出力して、 ステップ S 6 1に戻る。
従って、 図 1 2の補正パラメータ演算処理においては、 操作部 2が操作されて いない場合は、入力信頼度に基づいて算出された重みが、補正部 2 1に供給され、 また、 操作部 2が操作されている場合は、 その操作信号に対応する重みが、 補正 部 2 1に供給される。 その結果、 補正部 2 1では、 操作部 2が操作されていない 場合は、 入力信頼度に基づく重みによって、 入力信号が補正され、 操作部 2が操 作されている場合には、 その操作信号に対応する重みによって、 入力信号が補正 される。
さらに、図 1 2の補正パラメータ演算処理においては、ォートモ一ドの場合は、 操作部 2の操作に関係なく、 入力信号の分散に基づく入力信頼度から、 補正処理 に用いられる重みが求められ、 オートモードでない場合には、 操作部 2の操作に 基づいて、 後述する図 1 3の制御データ学習処理による学習によって得られるパ ラメータ制御データを用いて求められる入力信頼度から、 補正処理に用いられる 重みが求められる。
次に、 図 1 3のフローチャートを参照して、 図 1 0の N R回路が行う制御デー タ学習処理を説明する。
制御データ学習処理では、 まず最初に、 ステップ S 7 1において、 図 8のステ ップ S 4 1における場合と同様に、 操作信号処理部 5 0が、 学習用操作信号を、 操作部 2から受信したかどうかを判定し、 受信していないと判定した場合、 ステ ップ S 7 1に戻る。 ' また、 ステップ S 7 1において、 操作部 2から、 学習用操作信号を受信したと 判定された場合、 即ち、 例えば、 操作部 2が、 その操作の開始後、 第 1の時間 t 1以上の間隔をあけることなく、第 2の時間 t 2以上連続して操作され、その後、 第 3の時間 t 3以上連続して、 その操作が停止された場合や、 操作部 2の操作の 開始後、 第 3の時間 t 3以上連続して、 その操作が停止された場合など、 ユーザ 力 所望の出力信号を得られるように、 操作部 2の操作を行ったと判定すること ができる場合、 ステップ S 7 2に進み、 教師データ生成部 5 1が教師データを生 成するとともに、 生徒データ生成部 6 2が生徒データを生成する。
即ち、 操作信号処理部 5 0は、 学習用操作信号を受信した場合、 その学習用操 作信号に対応する重み Wを、 学習フラグとともに、 教師データ生成部 5 1および 生徒データ生成部 6 2に供給する。 教師データ生成部 5 1は、 学習フラグ付きの 重み Wを受信すると、 その重み Wを、 教師データとして取得し、 学習用データメ モリ 5 3に供給する。
一方、 生徒データ生成部 6 2は、 入力信号をバッファリングするバッファ (図 示せず） を内蔵しており、 入力信号を、 そのバッファに、 その記憶容量分だけ常 に記憶しており、 学習フラグ付きの重みを受信すると、 そのときに入力された入 力信号のサンプルと所定の位置関係にある入力信号のサンプル X L乃至 X Nを、 そ の内蔵するバッファから読み出す。 さらに、 生徒データ生成部 6 2は、 出力信頼 度計算部 4 3から、 出力信頼度 o^t-Dを読み出す。 そして、 生徒データ生成部 6 2は、 これらの入力信号のサンプル X l乃至 x Nと、 出力信頼度ひ とを、 生徒 データとして、 学習用データメモリ 5 3に供給する。
学習用データメモリ 5 3は、 教師データ生成部 5 1から教師データ Wを受信す るとともに、 生徒データ生成部 6 2から生徒データ X l乃至 χ Νおよび a y(t を受 信すると、 ステップ S 7 3において、 その最新の教師データ Wと生徒データ X l 乃至 x Nおよびひ γ _υのセット （学習対） を記憶し、 ステップ S 7 4に進む。 ステップ S 7 4では、 パラメータ制御データ計算部 5 4が、 教師データと生徒 データを対象として、 最小自乗法における足し込みを行う。
即ち、 パラメータ制御データ計算部 5 4は、 式 （2 9 ) における行列 Xと Υの 要素となっている生徒データどうしの積、 および生徒データと教師データの積、 並びにそれらのサメーションに相当する演算を行う。
なお、 ステップ S 7 4における足し込みは、 図 8のステップ S 4 4における場 合と同様に行われる。 即ち、 学習情報メモリ 5 5には、 前回の足し込み結果が、 学習情報として記憶されており、 パラメータ制御データ計算部 5 4は、 この学習 情報を用いて、 最新の教師データと生徒データについての足し込みを行う。 パラメータ制御データ計算部 5 4は、 ステップ S 7 4において足し込みを行つ た後、 その足し込み結果を、 学習情報として、 学習情報メモリ 5 5に上書きする 形で記憶させ、 ステップ S 7 5に進み、 パラメータ制御データ計算部 5 4が、 学 習情報メモリ 5 5に記憶された学習情報としての足し込み結果から、 式 （3 0 ) を、 行列 Αについて解くことが可能であるかどう力、、 即ち、 パラメータ制御デー タ a L乃至 a Nを求めることが可能であるかどうかを判定する。
即ち、 式 （3 0〉 は、 所定数以上の学習対から得られた学習情報が存在しなけ れば、 行列 Aについて解くことができず、 その要素となっているパラメータ制御 データ a i乃至 a Nを求めることができない。 そこで、 ステップ S 7 5では、 学習 情報から、 パラメータ制御データ 1乃至 a Nを求めることが可能であるかどうか が判定される。
ステップ S 7 5において、 パラメータ制御データ a i乃至 a Nを求めることが可 能でないと判定された場合、 パラメータ制御データ計算部 5 4は、 その旨を、 判 定制御部 5 6に供給し、 ステップ S 7 9に進む。 ステップ S 7 9では、 判定制御 部 5 6は、 パラメータ制御データとして、 オードモードを表すオートモードデー タを、 パラメータ制御データメモリ 5 7に供給して記憶させる。 そして、 ステツ プ S 7 1に戻り、 以下、 同様の処理が繰り返される。
従って、 パラメータ制御データ a i乃至 a Nを求めることができるだけの学習情 報が存在しない場合には、 図 1 2で説明したように、 入力信号の分散に基づく入 力信頼度から求められる重みが、 入力信号 X ( t ) の補正に用いられることにな る。
一方、 ステップ S 7 5において、 パラメータ制御データを求めることが可能で あると判定された場合、 ステップ S 7 6に進み、 パラメータ制御データ計算部 5 4は、 学習情報を用い、 式 （3 0 ) を、 行列 Aについて解くことで、 その要素と なっているパラメータ制御データ a i乃至 a Nを求め、判定制御部 5 6に供給して、 ステップ S 7 7に進む。
ステップ S 7 7では、 判定制御部 5 6は、 パラメータ制御データ計算部 5 4か らのパラメータ制御データ a i乃至 a Nによって定義される式（2 3 )にしたがい、 学習用データメモリ 5 3に記憶された各生徒データから、 対応する教師データの 予測値を求め、 その予測値の予測誤差 （学習用データメモリ 5 3に記憶されてい る教師データに対する誤差） の、式（2 6 ) で表される自乗誤差の総和を求める。 さらに、 判定制御部 5 6は、 その自乗誤差の総和を、 例えば、 学習用データメモ リ 5 3に記憶されている学習対の数で除算した正規化誤差を求め、 ステップ S 7 8に進む。 ステップ S 7 8では、 判定制御部 5 6は、 正規化誤差が、 所定の閾値 S 1より 大 （以上） であるかどうかを判定する。 ステップ S 7 8において、 正規化誤差が 所定の閾値 S 1より大であると判定された場合、 即ち、 パラメータ制御データ a 乃至 a Nによって定義される式 （2 3 ) の一次式が、 学習用データメモリ 5 3に記 憶された生徒データと教師データとの関係を、 精度良く近似していない場合、 ス テツプ S 7 9に進み、 判定制御部 5 6は、 上述したように、 パラメータ制御デー タとして、 オードモードを表すオートモードデータを、 パラメータ制御データメ モリ 5 7に供給して記憶させる。 そして、 ステップ S 7 1に戻り、 以下、 同様の 処理が繰り返される。
従って、 パラメータ制御データ & 1乃至 a Nを求めることができても、 そのパラ メータ制御データ & 1乃至 a Nによって定義される式 （2 3 ) 1S 学習用データメ モリ 5 3に記憶された生徒データと教師データとの関係を、 精度良く近似してい ない場合には、 パラメータ制御データ a t乃至 a Nを求めることができるだけの学 習情報が存在しない場合と同様に、 入力信号の分散に基づく入力信頼度から求め られる重みが、 入力信号 X ( t ) の補正に用いられることになる。
一方、 ステップ S 7 8において、 正規化誤差が所定の閾値 S 1より大でないと 判定された場合、 即ち、 パラメータ制御データ & 1乃至 a Nによって定義される式 ( 2 3 ) の一次式が、 学習用データメモリ 5 3に記憶された生徒データと教師デ ータとの関係を、 精度良く近似している場合、 ステップ S 8 0に進み、 判定制御 部 5 6は、 パラメータ制御データ計算部 5 4で求められたパラメータ制御データ a t乃至 a Nによって定義される式 （2 3 ) の面 （線） と、 学習用データメモリ 5 3に記憶された最新の教師データおよぴ生徒データで規定される点との間の誤差 (距離） εを求める。
そして、 ステップ S 8 1に進み、 判定制御部 5 6は、 誤差 εの大きさが、 所定 の閾値 S 2より大 （以上〉 であるかどうかを判定し、 大でないと判定した場合、 ステップ S 8 2をスキップして、 ステップ S 8 3に進み、 判定制御部 5 6は、 ス テツプ S 7 6で求められたパラメータ制御データ & 1乃至& 11を、 パラメータ制御 部データメモリ 3 7に出力する。 パラメータ制御データメモリ 5 7は、 判定制御 部 5 6からのパラメータ制御データ a 1乃至 a Nを上書きする形で記憶し、 ステツ プ S 7 1に戻り、 以下、 同様の処理が繰り返される。
一方、 ステップ S 8 1において、 誤差 Eの大きさが、 所定の閾値 S 2より大で あると判定された場合、 ステップ S 8 2に進み、 判定制御部 5 6は、 パラメータ 制御データ計算部 5 4を制御することにより、 学習用データメモリ 5 3に記憶さ れた最近の教師データと生徒データのみを用いて、パラメータ制御データ 乃至 a Nを再計算させる。 そして、 ステップ S 8 3に進み、 判定制御部 5 6は、 ステツ プ S 8 2で求められたパラメータ制御データ & 1乃至 a Nを、 パラメータ制御デー タメモリ 5 7に出力し、 上書きする形で記憶させ、 ステップ S 7 1に戻る。
即ち、 図 1 3の実施の形態においても、 図 8の実施の形態における場合と同様 に、 ステップ S 8 2において、 いままでに与えられた教師データおよび生徒デー タから求められたパラメータ制御データ a i乃至 a Nから式 （2 3 ) で定義される 面と、 最新の教師データおよび生徒データで規定される点との間の誤差 εが求め られる。
そして、 この誤差 εの大きさが、 閾値 S 2より大でない場合には、 ステップ S 7 6で求められたパラメータ制御データ a i乃至 a Nによって定義される式（2 3 ) の面が、 最新の教師データと生徒データで規定される点も含め、 いままでに与え られた教師データと生徒データで規定される点のいずれも、 比較的精度良く近似 していると考えられるため、 そのパラメータ制御データ & 1乃至 a Nが、 パラメ一 タ制御データメモリ 5 7に記憶される。
—方、 誤差 εの大きさが、 閾値 S 2より大の場合には、 ステップ S 7 6で求め られたパラメータ制御データ a i乃至 a Nによって定義される式（2 3 )の面から、 最新の教師データと生徒データで規定される点が比較的大きく離れていると考え られるため、 判定制御部 5 6は、 パラメータ制御データ計算部 5 4を制御するこ とにより、 ステップ S 8 2において、 学習用データメモリ 5 3に記憶された最近 の教師データと生徒データのみを用いて、 パラメータ制御データ a i乃至 a Nを再 計算させる。
図 1 0の NR回路では、 入力信頼度計算部 6 1において、 以上のようにして求 められたパラメータ制御データ a 1乃至 a Nから、 式 （2.2) にしたがい、 入力信 賴度ひ χωが計算される。
従って、 この場合も、 ユーザの操作に応じて供給される学習用操作信号に基づ いて、 式 （2 2) の入力信頼度 αχωを規定するパラメータ制御データ a i乃至 a Ν の学習が行われるので、 ユーザの操作を、 ユーザが知らないうちに学習すること ができ、 さらに、 その学習結果を用いて、 ユーザにとって最適な処理を行うこと が可能となる。
また、 図 1 0の NR回路も、 図 4の NR回路と同様に、 ユーザが操作部 2を操 作すると、 操作信号処理部 50は、 その操作に対応した操作信号が表す重みを出 力し、 選択部 4 1は、 その重みを選択して、 補正部 2 1に供給する。 この場合、 補正部 2 1では、 ユーザの操作に対応した重みを用いて、 式 （8) で表される補 正処理が行われる。 そして、 ユーザの操作により式 （8) の重み w ( t ) が変更 される場合には、 当然に、 式 （8) で表される処理 （補正処理） の内容も変更す ることとなるから、 図 1 0の NR回路でも、 ユーザの操作にしたがい、 その 「処 理の内容」 力 S、 ユーザにとって所望の出力信号が得られるように変更されている ということができる。
さらに、 図 1 0の NR回路では、 パラメータ制御データ & 1乃至 aNを求めるこ とができない場合や、求めることができても、そのパラメータ制御データ a i乃至 aNによって定義される式 （2 3) 1 学習用データメモリ 5 3に記憶された生徒 データと教師データとの関係を、 精度良く近似していない場合には、 入力信号の 分散に基づく入力信頼度から求められる重みが、 補正部 2 1における補正処理に 用いられる。一方、パラメータ制御データ & 1乃至 aNを求めることができ、かつ、 そのパラメータ制御データ a i乃至 aNによって定義される式 （23) 1S 学習用 データメモリ 5 3に記憶された生徒データと教師データとの関係を、 精度良く近 似している場合には、 ユーザによる操作部 2の操作に基づいて得られる学習対を 用いて学習が行われることにより求められたパラメータ制御データ & 1乃至 a Nに よって定義される式 （2 3 ) にしたがって、 入力信号およびパラメータ制御デー タ & 1乃至 a N (から算出される入力信頼度） と出力信頼度とから求められる重み が、 補正部 2 1による補正処理に用いられる。
即ち、 図 1 0の N R回路も、 図 4の N R回路における場合と同様に、 十分な数 の学習対や、 精度の高い近似が可能な学習対が得られていない場合と、 精度の高 い近似が可能な学習対が得られた場合とで、 補正処理に用いられる重みを算出す るアルゴリズムが変更されている。
従って、 図 1 0の N R回路でも、 ユーザの操作にしたがい、 その 「処理の内容」 も、 さらには、 その 「処理の構造」 も変更され、 これにより、 ユーザにとって所 望の出力信号が出力されることになる。
なお、 上述の場合においては、 出力信頼度 Q^t—Dを生徒データとして用いて、 パラメータ制御データ a i乃至 a Nを求めているが、 この出力信頼度 a y(t— υは、 式
( 5 ) に示したように、 入力信頼度ひ から求められる。 そして、 入力信頼度 α χ ωは、 図 1 3の制御データ学習処理が行われることにより、 徐々に、 ユーザが 希望する重みが得られるように改善されていくから、 あわせて、 出力信頼度 y(t も改善されていくことになる。
また、上述の場合には、出力信頼度を既知の値とするとともに、入力信頼度を、 パラメータ制御データ a i乃至 a Nによって規定し、 ユーザが希望する重みが得ら れるようなパラメータ制御データ a i乃至 a Nを求めるようにしたが、 これとは逆 に、 入力信頼度を既知の値とするとともに、 出力信頼度を、 パラメータ制御デー タ a i乃至 a Nによって規定し、 ユーザが希望する重みが得られるようなパラメ一 タ制御データ a i乃至 a Nを求めることも可能である。
さらに、 例えば、 出力信頼度を既知の値とするとともに、 入力信頼度を、 パラ メータ制御データ a i乃至 a Nによって規定し、 ユーザが希望する重みが得られる ようなパラメータ制御データ 1乃至 a Nを求め、 さらに、 そのパラメータ制御デ 一タ a L乃至 a Nによって得られる入力信頼度を既知の値とするとともに、 出力信 頼度を、 パラメータ制御データ 乃至 aN' によって規定し、 ユーザが希望す る重みが得られるようなパラメータ制御データ a 乃至 aN' を求めること、 即 ち、 2セットのパラメータ制御データ a i乃至 aNおよび a 乃至 aN' を求める ようにすることも可能である。
また、 上述の場合には、 重みを、 式 （6) に示したように、 入力信頼度《x(t) と出力信頼度ひ で定義して、 パラメータ制御データ a i乃至 aNを求めるよう したが、 その他、 重みを、 例えば、 式 （3 1 ) に示すように、 入力信頼度 ■ (t) と出力信頼度 の他、 入力信頼度ひ x(t)または出力信頼度ひ の補正項 をも用いて定義して、 パラメータ制御データ a i乃至 a Nと補正項 を求めるよ うにすることが可能である。
【数 3 1】
Figure imgf000056_0001
• · · (3 1) さらに、 入力信賴度を、 パラメータ制御データによって定義する式は、 式 （2 2) に限定されるものではない。
次に、 図 1 4は、 図 1の最適化装置の第 2の詳細構成例を示している。 図 1 4 の最適化装置 1においては、 図 2の最適化装置 1に内部情報生成部 7 1が新たに 設けられて構成されており、 処理部 1 1の構成は図 2の場合と同様であるのでそ の説明は省略する。 尚、 図 1 4の実施の形態では、 最適化装置 1の外部に表示部 8 1が設けられている。
内部情報生成部 7 1は、 処理部 1 1の内部情報を読出し、 画像情報に変換した 後、 L CD (Liquid Crystal Display) や CRT (Cathode Ray Tube) からなる 表示部 8 1に出力して、 表示させる （呈示させる） 。 より詳細には、 表示部 8 1 は、 内部情報をそのまま数値的に表示するようにしても良いし、 例えば、 レベル ゲージのような表示画面を設定し、 内部情報の値に応じてレベルゲージが変動す るような表示にしても良い。 また、 表示部 8 1は、 これに限るものではなく、 視 覚的に内部情報を表示 （呈示） するものであればこれ以外の表示方法であっても よい。 尚、 内部情報とは、 例えば、 補正部 2 1の重みメモリ 3 1や 3 2に記憶さ れる重みや、 学習部 2 2の学習用データメモリ 5 3や学習情報メモリ 5 5の記憶 内容その他を採用することができる。 また、 内部情報は、 表示以外の呈示 （提示） 方法、 すなわち、 音などによって、 ユーザに呈示しても良い。
次に、 図 1 5のフローチャートを参照して、 図 1 4の N R回路の最適化処理に ついて説明する。 この処理は、 図 3のフローチャートを参照して説明した、 最適 化処理と基本的には同様であり、 内部情報生成部 7 1による内部情報を表示する 処理が加えられている点が異なる。 すなわち、 ステップ S 9 1乃至 S 1 0 1にお いて、 図 3のステップ S 1乃至 S 1 1とそれぞれ同様な処理が行われ、 ステップ S 1 0 2に進む。
ステップ S 1 0 2において、 表示部 8 1に、 重み Wが表示される。 すなわち、 内部情報生成部 7 1は、例えば、重みメモリ 3 1に記憶されている重み Wの値を、 内部情報として読出し、 表示部 8 1で表示可能な画像信号に変換して表示部 8 1 に出力し、 重み Wを表示 （呈示） させ、 ステップ S 9 1に戻る。
図 1 5のフローチャートを参照して説明した処理により、 処理部 1 1において 実際に実行している処理に関する内部情報としての重み Wが、 ユーザに表示 （呈 示） され、 その結果、 ユーザは、 その内部情報の表示を見ながら最適な出力信号 を得ることができるように操作部 2を操作することが可能となる。 尚、 内部情報 生成部 7 1では、 上述した重みなどの内部情報の他、 例えば、 学習部 2 2のパラ メータ制御データメモリ 3 7 (図 4 , 図 1 0 ) よりパラメータ制御データ a , b を読み出して表示するようにしても良い。 また、 選択部 4 1 (図 4 , 図 1 0 ) に より選択された重みが、 学習対を用いて学習が行われることにより求められたパ ラメータ制御データ aおよび bから求められた重みであるのか、 若しくは、 入力 信頼度と出力信頼度から求められる重みであるのかを表す画像情報を内部情報と して生成するようにしても良い。
次に、 図 1 6は、 図 1の最適化装置を適用した、 自動車の自動走行装置の一実 施の形態の構成例を示している。
自動走行装置においては、 自動車の位置座標 （X, Y) や走行方向 0が求めら れ、所定の軌跡に沿って、自動車を走行させるようになつている。 しかしながら、 自動走行装置において求められる座標 （X， Y) や走行方向 0には、 誤差が含ま れる場合が多く、 この場合には、 自動車が、 所定の軌跡からはずれて走行するこ とがある。 そこで、 図 1 6の自動走行装置においては、 ユーザの操作を、 ユーザ が知らないうちに学習し、 その学習結果に基づいて、 自動車を、 所定の軌跡に沿 つて走行させるようになつている。 即ち、 自動車が、 所定の軌跡からはずれて走 行しだした場合、 一般に、 ユーザは、 自動車を所定の軌跡に沿って走行させるよ うに、ハンドルやアクセルなどを操作する。そこで、図 1 6の自動走行装置では、 そのようなユーザの操作を、 ユーザが知らないうちに学習し、 その学習結果に基 づいて、 自動車を、 徐々に、 所定の軌跡に沿って走行させるように制御する。 ジャイロセンサ 9 1は、 自動車のョーレート rを検知し、 演算部 9 3に供給す る。 車輪パルサ 9 2は、 自動車の車輪の回転角度に応じた数の電気パルスを、 演 算部 9 3に供給する。
演算部 9 3は、 ジャイロセンサ 9 1と車輪パルサ 9 2の出力から、 例えば、 次 式にしたがって、 自動車の座標 （X, Y) と走行方向 0を演算し、 最適化装置 9 4に供給する。
【数 3 2】 θ^θ(0)+ J rdt
Figure imgf000058_0001
• · · (32) 但し、 式（3 2) において、 θ (0) は自動車の走行開始時の方向を表し、 （X (0) ， Υ (0) 〉 は、 自動車の走行開始時の座標を表す。 なお、 Θ (0) や （X (0) , Υ (0) ) は、 例えば、 図示せぬ G P S (Global Positioning System) 等を利用して求めることができる。また、 Vrは、自動車の走行速度を表し、 βは、 自動車の重心点のスリップアングルを表す。
ここで、 上述のようにして、 自動車の座標 （X , γ ) と走行方向 eを求める方 法は、 例えば、 特開平 10-69219号公報に開示されている。
最適化装置 9 4は、 処理部 1 0 1から構成され、 ユーザによる操作部 9 8の操 作を学習し、 即ち、 ユーザが操作部 9 8を操作することにより供給される操作信 号に基づいて学習を行い、 その学習結果に基づき、 演算部 9 3からの座標 （X , Y) や走行方向 0を、 ユーザが所望する走行が行われるように補正し、 自動走行 制御部 9 5に供給する。
自動走行制御部 9 5は、 地図データと、 自動走行すべき、 あらかじめ設定され た軌跡 （以下、 適宜、 設定軌跡という） を記憶している。 そして、 自動走行制御 部 9 5は、 最適化装置 9 4の処理部 1 0 1から供給される座標 （X , Y ) と走行 方向 Θから、 自動車の現在位置と走行方向を認識し、 自動車が設定軌跡に沿って 走行するように、 後述する駆動部 9 7を制御する制御信号を生成して、 選択部 9 6に出力する。
選択部 9 6には、 自動走行制御部 9 5から制御信号が供給される他、 操作部 9 8から操作信号が供給されるようになっている。 そして、 選択部 9 6は、 自動走 行制御部 9 5からの制御信号と、操作部 9 8からの操作信号のうちの操作信号を、 優先的に選択し、 駆動部 9 7に出力する。 即ち、 選択部 9 6は、 通常は、 自動走 行制御部 9 5カゝらの制御信号を選択し、 駆動部 9 7に出力するが、 操作部 9 8か らの操作信号を受信すると、 その操作信号を受信している間は、 自動走行制御部 9 5からの制御信号の出力を停止して、 操作部 9 8からの操作信号を、 駆動部 9 7に出力する。
駆動部 9 7は、 選択部 9 6からの制御信号または操作信号にしたがい、 自動車 の図示せぬエンジンや、 車輪、 ブレーキ、 クラッチ等の、 走行に必要な各機構を 駆動する。 操作部 9 8は、 例えば、 ハンドルや、 アクセルペダル、 ブレーキぺダ ル、 クラッチペダル等で構成され、 ユーザの操作に対応した操作信号を、 最適化 装置 9 4および選択部 9 6に供給する。
以上のように構成される自動走行装置では、 演算部 9 3において、 ジャイロセ ンサ 9 1と車輪パルサ 9 2の出力から、 自動車の現在の座標 （X , Y ) と走行方 向 Θが演算され、 最適化装置 9 4の処理部 1 0 1を介して、 自動走行制御部 9 5 に供給される。 自動走行制御部 9 5は、 そこに供給される座標 （X , Y ) と走行 方向 0から、 自動車の現在位置と走行方向を認識し、 自動車が設定軌跡に沿って 走行するように、 後述する駆動部 9 7を制御する制御信号を生成して、 選択部 9 6を介して、 駆動部 9 7に供給する。 これにより、 自動車は、 自動走行制御部 9 5が出力する制御信号にしたがって自動走行する。
—方、 ユーザが操作部 9 8を操作すると、 その操作に対応した操作信号が、 選 択部 9 6を介して、 駆動部 9 7に供給され、 これにより、 自動車は、 ユーザによ る操作部 9 8の操作にしたがって走行する。
さらに、 ユーザが操作部 9 8を操作することにより、 操作部 9 8が出力する操 作信号は、 最適化装置 9 4の処理部 1 0 1にも供給される。 最適化装置 9 4は、 ユーザが操作部 9 8を操作することにより供給される操作信号に基づいて学習を 行う。 そして、 最適化装置 9 4の処理部 1 0 1は、 ユーザが操作部 9 8の操作を 停止すると、 演算部 9 3から供給される座標 （X , Y) や走行方向 0を、 学習結 果に基づき、 ユーザが所望する走行としての設定軌跡に沿った走行が行われるよ うに補正し、 自動走行制御部 9 5に供給する。
次に、 図 1 7は、 図 1 6の最適化装置 9 4の処理部 1 0 1の構成例を示してい る。 なお、 図中、 図 4の処理部 1 1における場合と対応する部分については、 同 一の符号を付してあり、 以下では、 その説明は、 適宜省略する。 即ち、 図 1 7の 処理部 1 0 1は、 選択部 4 1が設けられておらず、 操作信号処理部 5 0と教師デ ータ生成部 5 1に替えて、 操作信号処理部 1 1 0と敎師データ生成部 1 1 1がそ れぞれ設けられている他は、 基本的に、 図 4の処理部 1 1と同様に構成されてい る。
ここで、 以下においては、 説明を簡単にするため、 演算部 9 3から最適化装置 9 4の処理部 1 0 1に供給される座標 （X , Y) と走行方向 0のうち、 走行方向 0にだけ注目して、 説明を行う。 但し、 座標 （X , Y ) についても、 以下で説明 する走行方向 Θに対する処理と同様の処理を行うことが可能である。
操作信号処理部 1 1 0は、 操作部 9 8からの操作信号を受信し、 学習用操作信 号かどうかを判定する。 そして、 操作信号処理部 1 1 0は、 操作信号が学習用操 作信号である場合には、 その旨を表すメッセージを、 生徒データ生成部 5 2と教 師データ生成部 1 1 1に供給する。
教師データ生成部 1 1 1には、 操作信号処理部 1 1 0から、 操作信号が学習用 操作信号である旨のメッセージ （以下、 適宜、 学習メッセージという） が供給さ れる他、 入力信号としての、 演算部 9 3からの走行方向 0が供給されるようにな つている。 さらに、 教師データ生成部 1 1 1には、 補正部 2 1 (演算器 3 6 ) が 出力する出力信号としての、演算部 9 3からの走行方向 Θを補正したもの（以下、 適宜、 補正走行方向という） も供給されるようになっている。 教師データ生成部 1 1 1は、 学習メッセージを受信したときに供給される入力信号としての走行方 向 Θと、 出力信号としての補正走行方向とから、 学習用操作信号に対応する重み Wを求め、 教師データとして、 学習用データメモリ 5 3に供給する。
即ち、 いまの場合、 教師データとしては、 自動車が所定の方向に向くように、 ユーザが、 ハンドルとしての操作部 9 8を操作した後に、 自動車が所定の方向を 向いたときの重み Wを求める必要がある。 つまり、 教師データとしては、 ユーザ 力 S、 ハンドルとしての操作部 9 8を操作し、 自動車が所望の方向を向くようにな つた直後の、 その走行方向 Θを表す入力信号 X ( t ) の補正に用いられる重み W を採用する必要がある。 この、 操作部 9 8の操作直後の入力信号 X ( t ) は、 式 ( 8 ) にしたがい、 その入力信号 X ( t ) と、 操作部 9 8の操作直前に出力され る出力信号 y ( t— 1 ) との重み付け加算によって、 補正走行方向としての、 操 作部 9 8の操作直後の出力信号 y ( t ) に捕正されることから、 操作部 9 8の操 作直後の入力信号 X ( t ) の補正に用いられる重み Wは、 式 （8 ) から、 操作部 9 8の操作直後の入力信号 X ( t )並びに操作部 9 8の操作直後の出力信号 y ( t ) および操作部 9 8の操作直前の y ( t - 1 ) によって求めることができる。 そこ で、 教師データ生成部 1 1 1は、 学習メッセージを受信した直後に供給される入 力信号 X ( t ) としての走行方向 Θ、 および学習メッセージを受信した直前と直 後にそれぞれ供給される出力信号 y ( t - 1 ) と y ( t ) としての補正走行方向 から、 教師データとしての重み Wを求め、 学習用データメモリ 5 3に供給する。 なお、 生徒データ生成部 5 2は、 学習メッセージを受信すると、 その直前まで に供給された入力信号としての走行方向から求められている重み wを、 生徒デー タとして、学習用データメモリ 5 3に供給する。即ち、生徒データ生成部 5 2は、 図 4で説明したように、 入力信頼度計算部 4 2、 出力信頼度計算部 4 3、 ラッチ 回路 4 4、 および重み計算部 4 5と同様に構成され、 そこに供給される入力信号 としての走行方向から重み w (重み計算部 4 5で求められるのと同一の重み w) を計算しており、 学習メッセージを受信する直前において計算された重み wを、 生徒データとして、 学習用データメモリ 5 3に供給する。
従って、 パラメータ制御データ計算部 5 4では、 ユーザが操作部 9 8を操作し て、 走行方向が、 ユーザが所望する方向となったときの重み Wを教師データとす るとともに、 ユーザが操作部 9 8を操作する直前に重み計算部 4 5が出力したの と同一の重み wを生徒データとして、 式 （2 0 ) および （2 1 ) に示したパラメ ータ制御データ aおよび bの計算が行われる。
そして、重み捕正部 4 6では、そのパラメータ制御データ aおよび bを用いて、 式 （1 3 ) にしたがい、 重み計算部 4 5で求められた重み wが補正され、 補正部 2 1に供給される。
その結果、 パラメータ制御データ aおよび bは、 ユーザが操作部 9 8を操作す る直前の走行方向を、 ユーザが操作部 9 8を操作した直後の走行方向に補正する ように、 重み計算部 4 5で求められた重み wを補正するものとなるから、 自動車 は、 設 軌跡に沿って自動走行するようになることになる。
即ち、 ユーザが操作部 9 8を操作するということは、 ジャイロセンサ 9 1の誤 差や、 その出力に含まれるノイズ、 演算部 9 3における演算誤差等に起因して、 演算部 9 3が出力する走行方向 Θが誤差を含み、 自動車の真の走行方向を表して いないために、 自動車の実際の走行方向が、 設定軌跡からはずれている状態にな つていると考えられる。 さらに、 この場合におけるユーザによる操作部 9 8の操 作は、 自動車の実際の走行方向を、 設定軌跡に沿った方向にするものであると考 えられる。 従って、 ユーザが操作部 9 8を操作し、 自動車の実際の走行方向が、 設定軌跡に沿ったものとなったときにおける重み Wを教師データとするとともに、 ユーザが操作部 9 8を操作する直前に重み計算部 4 5で求められた重み w、即ち、 設定軌跡からはずれている状態での重み計算部 4 5が出力する重み wを生徒デー タとして学習を行うことにより、設定軌跡からはずれている状態での走行方向を、 設定軌跡に沿った方向に補正するように、 式 （6 ) の重みを補正する式 （1 3 ) のパラメータ制御データ aおよび bが求められることになる。
次に、図 1 7の最適化装置 9 4の処理部 1 0 1の処理について説明する。なお、 図 1 7の最適化装置 9 4の処理部 1 0 1では、 図 4の N R回路の処理部 1 1と同 様に、 入力信号 X ( t ) としての演算部 9 3が出力する走行方向 Θを補正する補 正処理、 その補正処理に用いられる捕正パラメータとしての重みを求める補正パ ラメータ演算処理、 およびユーザによる操作部 9 8 (図 1 6 ) の操作を学習する ことにより、 補正パラメータとしての重みを制御 （補正） するパラメータ制御デ ータを求める制御データ学習処理が行われるが、 補正処理は、 図 7で説明した図 4の N R回路による捕正処理と同一であるため、 ここでは、 図 1 7の最適化装置 9 4の処理部 1 0 1が行う補正パラメータ演算処理と生徒データ学習処理につい て説明する。
まず、 図 1 8のフローチャートを参照して、 図 1 7の最適化装置 9 4の処理部 1 0 1が行う補正パラメータ演算処理について説明する。
補正パラメータ演算処理では、 まず最初に、 ステップ S 1 1 1において、 入力 信頼度計算部 4 2が、 図 7のステップ S 3 1における場合と同様に、 入力信号と しての演算部 9 3 (図 1 6 ) からの走行方向 Θの分散に基づく入力信頼度 o; x(t) を求め、 出力信頼度計算部 4 3および重み計算部 4 5に供給する。 その後、 ステップ S 1 1 2に進み、 重み計算部 4 5は、 入力信頼度計算部 4 2 からの入力信頼度 a x(t)を用い、 式 （6 ) にしたがって、 重み w ( t ) を求め、 重 み補正部 4 6に供給し、 ステップ S 1 1 3に進む。
ステップ S 1 1 3では、 重み捕正部 4 6は、 パラメータ制御データメモリ 5 7 からパラメータ制御データを読み出し、 ステップ S 1 1 4に進む。 ステップ S 1 1 4では、 重み補正部 4 6は、 パラメータ制御データメモリ 5 7から読み出した パラメータ制御データが、 重み w ( t ) を補正しないモード、 即ち、 ユーザによ る操作部 9 8 (図 1 6 ) の操作に関係なく、 重み計算部 4 5において、 入力信頼 度と出力信頼度から、 いわば自動的に求められる重み w ( t ) を、 そのまま入力 信号 X ( t ) を補正するための重み Wとして用いるモード （オートモード） を表 すオートモードデータとなっているかどうかを判定する。
ステップ S I 1 3において、 パラメータ制御データがオートモードデータでな いと判定された場合、 ステップ S 1 1 5に進み、 重み捕正部 4 6は、 重み計算部 4 5から供給される重み w ( t ) を、 パラメータ制御データメモリ 5 7から供給 されるパラメータ制御データ aと bによって定義される式 （1 3 ) の一次式にし たがって捕正し、 ステップ S 1 1 6に進む。 ステップ S 1 1 6では、 重み補正部 4 6が、 捕正後の重みを、 補正パラメータとして、 補正部 2 1に供給し、 ステツ プ S 1 1 7に進む。
一方、 ステップ S 1 1 4において、 パラメータ制御データがオートモードデー タであると判定された場合、 ステップ S 1 1 5をスキップして、 ステップ S 1 1 6に進み、 重み補正部 4 6は、 重み計算部 4 5からの重み w ( t ) を、 補正パラ メータとして、 そのまま補正部 2 1に供給し、 ステップ S 1 1 7に進む。
ステップ S 1 1 7では、 出力信頼度計算部 4 3は、 出力信頼度を更新する。 即 ち、 出力信頼度計算部 4 3は、 直前のステップ S 3 1で入力信頼度計算部 4 2が 計算した入力信頼度ひ x Wと、 ラッチ回路 4 4がラッチしている 1サンプル前の出 力信頼度ひ とを、 式 （5 ) にしたがって加算することで、 現在の出力信頼度 ひ y (t)を求め、 ラツチ回路 4 4に上書きする形で記憶させる。 ステップ S 1 1 7の処理後は、 ステップ S 1 1 1に戻り、 以下、 同様の処理が 操り返される。
以上のように、 図 1 8の補正パラメータ演算処理においては、 オートモードの 場合は、 操作部 9 8の操作に関係なく、 入力信頼度と出力信頼度から、 補正処理 に用いられる重みが求められ、 オートモードでない場合には、 操作部 9 8の操作 に基づいて、 後述する図 1 9の制御データ学習処理による学習によって得られる パラメータ制御データを用いて、 補正処理に用いられる重みが求められる。
次に、 図 1 9のフローチャートを参照して、 図 1 7の最適化装置 9 4の処理部 1 0 1が行う制御データ学習処理について説明する。
制御データ学習処理では、 まず最初に、 ステップ S 1 3 1において、 操作信号 処理部 1 1 0力 学習用操作信号を、 操作部 9 8 (図 1 6 ) から受信したかどう かを判定し、 受信していないと判定した場合、 ステップ S 1 0 1に戻る。
また、 ステップ S 1 0 1において、 操作部 9 8から、 学習用操作信号を受信し たと判定された場合、 即ち、 例えば、 操作部 9 8としてハンドルなどが、 その操 作の開始後、 第 1の時間 t 1以上の間隔をあけることなく、 第 2の時間 t 2以上 連続して操作され、 その後、 第 3の時間 t 3以上連続して、 その操作が停止され た場合や、.操作部 9 8としてのハンドルの操作の開始後、 第 3の時間 t 3以上連 続して、 その操作が停止された場合など、 自動車が所望の方向を向くように、 ュ 一ザが操作部 9 8としてのハンドルの操作を行ったと判定することができる場合、 ステップ S 1 3 2に進み、 教師データ生成部 1 1 1が教師データを生成するとと もに、 生徒データ生成部 5 2が生徒データを生成する。
即ち、 操作信号処理部 1 1 0は、 学習用操作信号を受信したと判定すると、 学 習メッセージを、 教師データ生成部 1 1 1および生徒データ生成部 5 2に供給す る。 教師データ生成部 1 1 1は、 操作信号処理部 1 1 0から学習メッセージを受 信すると、 ステップ S 1 3 2において、 演算部 9 3から供給される入力信号とし ての走行方向 Θと、 補正部 2 1 (演算器 3 6 ) が出力する出力信号としての、 演 算部 9 3からの走行方向 6を補正したもの （補正走行方向） とから、 学習用操作 信号に対応する重み Wを求める。
具体的には、 教師データ生成部 1 1 1は、 ユーザが、 ハンドルとしての操作部 98を操作し、 自動車が所望の方向を向くようになった直後の、 その走行方向 0 を表す入力信号 X ( t ) を、 演算部 93 (図 16) から受信する。 さらに、 教師 データ生成部 1 1 1は、 補正部 2 1が出力する現在の出力信号 y ( t ) と、 その 1時刻だけ前の出力信号 y ( t- 1) 、 即ち、 操作部 98の操作直前の出力信号 y ( t - 1) を保持するようになっており、 これらの入力信号 X ( t ) 、 並びに 出力信号 y ( t ) および y ( t- 1) を用いて、 式 （8) にしたがい、 学習用操 作信号が与えられたときに補正部 21で用いられた重み W (学習用操作信号に対 応する重み） を求める。
なお、 ここでは、 説明を簡単にするために、 ユーザによる操作部 98としての ハンドルの操作が、 t一 1から tまでの 1時刻の間に、 瞬時に完了するものとす る。
教師データ生成部 1 11は、 以上のようにして、 学習用操作信号に対応する重 み Wを求めると、 その重み Wを、 教師データとして、 学習用データメモリ 53に 供給する。
さらに、 ステップ S 132では、 操作信号処理部 1 10から学習メッセージを 受信した生徒データ生成部 52が、 その直前までに、 演算部 93 (図 16) から 供給された入力信号としての走行方向から求められる入力信頼度と出力信頼度を 用いて計算された、 重み計算部 45が出力するのと同一の重み wを、 生徒データ として、 学習用データメモリ 53に供給する。
従って、 学習データメモリ 33には、 ユーザが操作部 98を操作して、 自動車 の実際の走行方向が、 ユーザが所望する方向となったときに補正部 21で用いら れた重み Wを教師データとするとともに、ユーザが操作部 98を操作する直前に、 入力信頼度と出力信頼度から求められていた重み wを生徒データとする学習対が 供給される。
学習用データメモリ 53は、 教師データ生成部 1 1 1から教師データ Wを受信 するとともに、 生徒データ生成部 5 2から生徒データ wを受信すると、 ステップ S 1 3 3において、 その最新の教師データ Wと生徒データ wのセッ トを記憶し、 ステップ S 1 3 4に進む。
ステップ S 1 3 4では、 パラメータ制御データ計算部 5 4が、 図 8のステップ S 4 4における場合と同様に、 学習用データメモリ 5 3に記憶された最新の教師 データと生徒データ、 および学習情報メモリ 5 5に記憶されている学習情報を対 象として、最小自乗法における足し込みを行う。 さらに、ステップ S 1 3 4では、 パラメータ制御データ計算部 5 4は、 その足し込み結果を、 学習情報として、 学 習情報メモリ 5 5に上書きする形で記憶させ、 ステップ S 1 3 5に進む。
ステップ S 1 3 5では、 図 8のステップ S 4 5における場合と同様に、 パラメ ータ制御データ計算部 5 4が、 学習情報メモリ 5 5に記憶された学習情報として の足し込み結果から、 式 （2 0 ) および （2 1 ) によって、 パラメータ制御デー タ aおよび bを求めることが可能であるかどうかを判定する。
ステップ S 1 3 5において、 パラメータ制御データ aおよび bを求めることが 可能でないと判定された場合、 パラメータ制御データ計算部 5 4は、 その旨を、 判定制御部 5 6に供給し、 ステップ S 1 3 9に進む。 ステップ S 1 3 9では、 判 定制御部 5 6は、 パラメータ制御データとして、 ォードモードを表すォートモ一 ドデータを、 パラメータ制御データメモリ 5 7に供給して記憶させる。 そして、 ステップ S 1 3 1に戻り、 以下、 同様の処理が繰り返される。
従って、 パラメータ制御データ aおよび bを求めることができるだけの学習情 報が存在しない場合には、 重み計算部 4 5 (図 1 7 ) において、 入力信頼度と出 力信頼度から自動的に求められる重み w ( t ) ίΚ そのまま入力信号 χ ( t ) の 補正に用いられることになる。
一方、 ステップ S 1 3 5において、 パラメータ制御データ aおよび bを求める ことが可能であると判定された場合、 ステップ S 1 3 6に進み、 パラメータ制御 データ計算部 5 4は、 学習情報を用い、 式 （2 0 ) および （2 1 ) を計算するこ とで、 パラメータ制御データ aおよび bを求め、 判定制御部 5 6に供給して、 ス テツプ S 1 3 7に進む。
ステップ S 1 3 7では、 判定制御部 5 6は、 パラメータ制御データ計算部 5 4 からのパラメータ制御データ aおよび bによって定義される式 （1 3 ) の一次式 にしたがい、 学習用データメモリ 5 3に記憶された各生徒データから、 対応する 教師データの予測値を求め、 その予測値の予測誤差 （学習用データメモリ 5 3に 記憶されている教師データに対する誤差） の、 式 （1 5 ) で表される自乗誤差の 総和を求める。 さらに、 判定制御部 5 6は、 その自乗誤差の総和を、 例えば、 学 習用データメモリ 5 3に記憶されている学習対の数で除算した正規化誤差を求め、 ステップ S 1 3 8に進む。
ステップ S 1 3 8では、 判定制御部 5 6は、 正規化誤差が、 所定の閾値 S 1よ り大 （以上） であるかどうかを判定する。 ステップ S 1 3 8において、 正規化誤 差が所定の閾値 S 1より大であると判定された場合、 即ち、 パラメータ制御デー タ aおよび bによって定義される式 （1 3 ) の一次式が、 学習用データメモリ 5 3に記憶された生徒データと教師データとの関係を、 精度良く近似していない場 合、 ステップ S 1 3 9に進み、 判定制御部 5 6は、 上述したように、 パラメータ 制御データとして、 オードモードを表すオートモードデータを、 パラメータ制御 データメモリ 5 7に供給して記憶させる。 そして、 ステップ S 1 3 1に戻り、 以 下、 同様の処理が繰り返される。
従って、 パラメータ制御データ aおよび bを求めることができても、 そのパラ メータ制御データ aおよび bによって定義される式 （1 3 ) の一次式が、 学習用 データメモリ 5 3に記憶された生徒データと教師データとの関係を、 精度良く近 似していない場合には、 パラメータ制御データ aおよび bを求めることができる だけの学習情報が存在しない場合と同様に、 入力信頼度と出力信頼度から自動的 に求められる重み w ( t ) i そのまま入力信号 χ ( t ) の補正に用いられるこ とになる。
一方、 ステップ S 1 3 8において、 正規化誤差が所定の閾値 S 1より大でない と判定された場合、 即ち、 パラメータ制御データ aおよび bによって定義される 式 （1 3 ) の一次式が、 学習用データメモリ 5 3に記憶された生徒データと教師 データとの関係を、 精度良く近似している場合、 ステップ S 1 4 0に進み、 判定 制御部 5 6は、 パラメータ制御データ計算部 5 4からのパラメータ制御データ a および bによって定義される式 （1 3 ) の一次式で表される回帰直線と、 学習用 データメモリ 5 3に記憶された最新の教師データおよび生徒データで規定される 点との間の誤差 （距離） εを求める。
そして、 ステップ S 1 4 1に進み、 判定制御部 5 6は、 誤差 εの大きさが、 所 定の閾値 S 2より大（以上）であるかどうかを判定し、大でないと判定した場合、 ステップ S 1 4 2をスキップして、ステップ S 1 4 3に進み、判定制御部 5 6は、 ステップ S 1 3 6で求められたパラメータ制御データ aおよび bを、 パラメータ 制御部データメモリ 3 7に出力する。 パラメータ制御データメモリ 5 7は、 判定 制御部 5 6からのパラメータ制御データ aおよび bを上書きする形で記憶し、 ス テツプ S 1 3 1に戻る。
一方、 ステップ S 1 4 1において、 誤差 εの大きさが、 所定の閾値 S 2より大 であると判定された場合、 ステップ S 1 4 2に進み、 判定制御部 5 6は、 パラメ ータ制御データ計算部 5 4を制御することにより、 学習用データメモリ 5 3に記 憶された最近の教師データと生徒データとしての、 最新の学習対から所定数の過 去の学習対のみを用いて （学習情報メモリ 5 5の学習情報を用いずに） 、 パラメ ータ制御データ aおよび bを再計算させる。 そして、 ステップ S 1 4 3に進み、 判定制御部 5 6は、 ステップ S 1 4 2で求められたパラメータ制御データ aおよ び bを、パラメータ制御部データメモリ 3 7に出力し、上書きする形で記憶させ、 ステップ S 1 3 1に戻る。
従って、 パラメータ制御データ aおよび bを求めることができ、 かつ、 そのパ ラメータ制御データ aおよび bによって定義される式 （1 3 ) の一次式が、 学習 用データメモリ 5 3に記憶された生徒データと教師データとの関係を、 精度良く 近似している場合には、 ユーザによる操作部 2の操作に基づいて得られる学習対 を用いて学習が行われることにより求められたパラメータ制御データ aおよび b によって定義される式 （1 3 ) にしたがって、 入力信頼度と出力信頼度から求め られる重み w ( t ) が補正され、 その補正によって得られる補正重み Wが、 入力 信号 X ( t ) の補正に用いられることになる。
以上のように、 図 1 6の自動走行装置でも、 ユーザの操作に応じて供給される 操作信号が、 学習に用いることができるかどうかが判定され、 学習に用いること のできる学習用操作信号である場合には、 その学習用操作信号に基づいて、 入力 信号を補正する重みを補正するパラメータ制御データ aおよび bが学習されるの で、 ユーザの操作を、 ユーザが知らないうちに学習することができ、 その結果、 その学習結果に基づいて、 ユーザにとって、 徐々に適切な処理が行われるように なり、 最終的には、 ユーザにとって最適な処理が行われることになる。
即ち、 ユーザが、 走行方向を、 設定軌跡に沿ったものに修正するように、 操作 部 9 8を操作しているうちに、 自動車は、 徐々に、 設定軌跡に沿って自動走行す るようになる。
また、 図 1 7の最適化装置 9 4の処理部 1 0 1においても、 図 4の N R回路と 同様に、 ユーザによる操作部 9 8の操作にしたがい、 自動車の実際の走行方向が 設定軌跡に沿ったものにあるように、 補正部 2 1で行われる補正処理 （図 6 ) で 用いられる重み Wが変更される。 即ち、 自動'車の走行方向が所望の方向となるよ うに、 ユーザが操作部 9 8を操作すると、 演算部 9 3 (図 1 6 ) が出力する入力 信号としての走行方向 0が変化し、 その走行方向 0から求められる入力信頼度、 さらには、 その入力信頼度から求められる出力信頼度も変化する。 この入力信頼 度および出力信頼度の変化によって、重み計算部 4 5で求められる重みも変化し、 この変化した重みは、 重み補正部 4 6を経由して、 補正部 2 1に供給される。 そ して、 捕正部 2 1では、 このようにして供給される重みを用いて、 式 （8 ) で表 される補正処理が行われる。 従って、 ユーザが操作部 9 8を操作した場合には、 そのユーザの操作により式 （8 ) の重みが変更され、 図 4の N R回路で説明した 場合と同様に、 当然に、 式 （8 ) で表される処理 （補正処理） の内容も変更する こととなるから、 図 1 7の最適化装置 9 4の処理部 1 0 1でも、 ユーザの操作に したがい、 その 「処理の内容」 力 ユーザにとって所望の走行方向が得られるよ うに変更されているとレ、うことができる。
さらに、 図 1 7の最適化装置 9 4の処理部 1 0 1でも、 図 4の N R回路と同様 に、 ユーザから十分な数の学習対が入力されていない場合や、 精度の高い近似が 可能な学習対が入力されていない場合には、 入力信頼度と出力信頼度とから自動 的に求められる重みが、 補正部 2 1における補正処理に用いられ、 ユーザから精 度の高い近似が可能な学習対が入力された場合には、 その学習対を用いて学習が 行われることにより求められたパラメータ制御データ aおよび bによって求めら れる捕正重みが、 捕正部 2 1における補正処理に用いられる。 即ち、 十分な数の 学習対や、 精度の高い近似が可能な学習対が得られていない場合と、 精度の高い 近似が可能な学習対が得られた場合とで、 捕正処理に用いられる重みを算出する アルゴリズムが変更されている。
従って、 図 1 7の最適化装置 9 4の処理部 1 0 1でも、 図 4の N R回路と同様 に、 ユーザの操作にしたがい、 その 「処理の内容」 も、 さらには、 その 「処理の 構造」 も変更され、 これにより、 設定軌跡に沿った走行方向に、 自動車が自動走 行するようになっている。
なお、 例えば、 特開平 7- 13625号公報には、 田植機等の作業車の走行制御装置 が開示されており、 この走行制御装置においては、 ユーザの操作状態と、 ジャィ 口センサ等の検出結果に基づく情報との差が少なくなるように、 自動操縦状態に おける制御パラメータの補正量が演算されるようになっている。 従って、 図 1 6 の自動走行装置は、 ユーザの操作に基づいて、 自動走行 （自動操縦） のためのパ ラメータの補正量が変化する点において、 特開平 7-13625号公報に記載の走行制 御装置と共通する。
しかしながら、 図 1 6の自動走行装置は、 ユーザの操作に応じて供給される操 作信号が、 学習に用いることができるかどうかを判定する点、 操作信号が学習に 用いることのできる学習用操作信号である場合には、 その学習用操作信号に基づ いて、 入力信号を補正する重みを補正するパラメータ制御データを学習する点に おいて、 スィッチを手動で切り替えて、 手動操縦制御モードとした場合にのみ、 自動操縦状態における制御パラメータの補正量が演算される特開平 7-13625号公 報に記載の走行制御装置と大きく異なる。
かかる相違がある結果、 特開平 7-13625号公報に記載の走行制御装置では、 ュ 一ザ力 S、適切な自動操縦が行われていないと感じるたびに、スィツチを切り替え、 手動操縦制御モードとし、 制御パラメータの捕正量の演算の終了後に、 再び、 ス イッチを切り替え、 自動操縦制御モードとしなければならず、 従って、 ユーザに 煩わしさを感じさせるおそれがある。
これに対して、 図 1 6の自動走行装置では、 ユーザの操作に応じて供給される 操作信号が、 学習に用いることができるかどうかを判定し、 さらに、 学習に用い ることのできる学習用操作信号である場合には、その学習用操作信号に基づいて、 入力信号を補正する重みを補正するパラメータ制御データを学習するようにアル ゴリズムが変更されるので、 ユーザが、 上述のようなスィッチの切り替えを行わ なくても、 適切な自動走行が行われるようになる。 即ち、 ユーザが知らないうち に、 ユーザの操作の学習が行われるので、 ユーザが走行方向を修正する操作をし ているうちに、 学習が進み、 徐々に、 ユーザが操作を行わなくても、 自動車が設 定軌跡に沿って走行するようになる。
さらに、 図 1 6の自動走行装置は、 ユーザの操作に対応して、 処理の構造が変 化するが、 その点においても、 特開平 7-13625号公報に記載の走行制御装置と異 なる。
次に、 図 2 0は、 図 1 6の最適化装置 9 4の処理部 1 0 1の他の実施の形態を 示している。 なお、 図中、 図 1 7における場合と対応する部分については、 同一 の符号を付してあり、 以下では、 その説明は、 適宜省略する。
図 4およぴ図 1 0の N R回路の処理部 1 1、 並びに図 1 7の最適化装置 9 4の 処理部 1 0 1においては、 ユーザの操作に基づいて得られる学習対を用いて、 補 正パラメータを制御するパラメータ制御データの学習が行われるようになつてい たが、 図 2 0の処理部 1 0 1では、 ユーザの操作に基づいて得られる学習対を用 いて、 補正パラメータ自体の学習が行われるようになっている。
即ち、 図 2 0の実施の形態では、 補正部 2 1は、 補正量計算部 1 4 1と演算器 1 4 2で構成され、 学習部 2 2は、 学習用データメモリ 5 3、 学習情報メモリ 5 5、 判定制御部 5 6、 操作信号処理部 1 1 0、 教師データ生成部 1 4 3、 生徒デ ータ生成部 1 4 4、 補正パラメータ計算部 1 4 5、 および補正パラメータメモリ 1 4 6から構成されている。
補正量計算部 1 4 1には、 学習部 2 2の補正パラメータメモリ 1 4 6から、 後 述するような補正パラメータが供給されるようになつており、 補正量計算部 1 4 1は、 その捕正パラメータを用いて、 入力信号としての走行方向 0を補正する補 正量を計算し、 演算器 1 4 2に供給する。
演算器 1 4 2には、 補正量計算部 1 4 1から補正量が供給される他、 入力信号 としての走行方向 Θ力 S、演算部 9 3 (図 1 6 )から供給されるようになっており、 演算器 1 4 2は、 入力信号としての走行方向 0を、 それに補正量を加算すること で補正し、 その補正後の走行方向 （補正走行方向） を、 出力信号として、 ，自動走 行制御部 9 5 (図 1 6 ) に出力する。
教師データ生成部 1 4 3は、 操作信号処理部 1 1 0から学習メッセージを受信 した直後に供給される入力信号としての走行方向を、 教師データとして、 学習用 データメモリ 5 3に供給する。 生徒データ生成部 1 4 4は、 操作信号処理部 1 3 0から学習メッセージを受信した直前に供給される入力信号としての走行方向を、 生徒データとして、 学習用データメモリ 5 3に供給する
補正パラメータ計算部 1 4 5は、 判定制御部 5 6の制御の下、 学習用データメ モリ 5 3に記憶された学習用データとしての教師データおよび生徒データ、 さら には、 必要に応じて、 学習情報メモリ 5 5に記憶された学習情報を用いて、 所定 の統計的な誤差を最小にする補正パラメータを、 新たな学習情報を演算すること により学習し、 判定制御部 5 6に供給する。 また、 補正パラメータ計算部 1 4 5 は、 学習によって得られた新たな学習情報によって、 学習情報メモリ 5 5の記憶 内容を更新する。 補正パラメータメモリ 146は、 判定制御部 5 6が出力する補正パラメータを ¾G'I思 "る。
以上のように構成される最適化装置 94では、 演算部 9 3から供給される走行 方向 6力 次のように捕正される。
即ち、 ジャイロセンサ 9 1 (図 1 6) が出力する時刻 tのョーレートを、 r ' とすると、 演算部 9 3では、 走行方向が、 式 （3 2) における rを、 r ' に置き 換えた式から計算される。
いま、 ジャイロセンサ 9 1が出力するョーレート r ' に含まれる誤差を erとす るとともに、 真のョーレートを r とすることとすると、 ジャイロセンサ 9 1が出 力するョーレート r ' は、 次式で表される。
【数 33】
r' =r+s「
• · · (3 3) 演算部 9 3において、 ジャイロセンサ 9 1が出力するョーレート r ' から計算 される走行方向 Θ ' は、 式 （ 32) と （3 3) から、 次のようになる。
【数 34】
Figure imgf000074_0001
= 0(O)+J*rdt +Jerdt
• · ■ (34) 従って、 演算部 9 3で求められる走行方向 6 ' と、 真のョーレート rから求め られる真の走行方向 Θ との関係は、 次式で示すようになる。
【数 3 5】
erdt
• · · (3 5) ジャイロセンサ 9 1が出力するョーレート r 'に含まれる誤差 erが白色である 場合には、 式 （3 5 ) の右辺第 2項は、 長期的にみれば、 次式に示すように 0に なるから、 特に問題はない。 なお、 短期的には、 式 （3 5 ) の右辺第 2項は 0に ならないが、 この場合は、 図 1 7の最適化装置 9 4の処理部 1 0 1によって対処 することができる。
【数 3 6】
J erdt =0
• · · ( 3 6 ) しかしながら、 誤差 e rが有色である場合には、 時間 tの経過とともに、 誤差 e rが蓄積され、演算部 9 3で求められる走行方向 Θ ' は、真の走行方向 Θから大き くずれることになる。
即ち、 いま、 説明を簡単にするために、 ある一定方向に直進する自動走行を考 えると、 自動走行制御部 9 5 (図 1 6 ) では、 演算部 9 3で求められる走行方向 Θ ' 力 図 2 1に点線で示すように、 一定となるような制御信号が生成される。 しかしながら、演算部 9 3で求められる走行方向 Θ ' に含まれる誤差 e rが有色 である場合には、 時間 tの経過とともに、誤差 e rが蓄積されることから、演算部 9 3で求められる走行方向 Θ， 力 例えば、 図 2 1において実線で示すような曲 線の軌跡を描くときが、 自動車が真に直進しているときとなる。
このため、 図 2 0の最適化装置 9 4の処理部 1 0 1は、 入力信号として供給さ れる演算部 9 3からの走行方向 Θ ' 力 図 2 1において実線で示す軌跡を描くよ うに、 その走行方向 0 ' を補正する補正パラメータ a。， aい ■ · · , a Nを、 ュ 一ザからの学習用操作信号に基づいて学習する補正パラメータ学習処理を行い、 その捕正パラメータ a。乃至 a Nを用いて、 演算部 9 3からの走行方向 0 ' を補正 する補正処理を行うようになっている。
そこで、 図 2 2および図 2 3を参照して、 図 2 0の最適化装置 9 4の処理部 1 0 1が行う捕正処理と補正パラメータ学習処理について説明する。 なお、 図 1 8 の実施の形態では、 一定方向に直進する自動走行を行うこととしたが、 図 2 0の 最適化装置 9 4の処理部 1 0 1は、 任意の軌跡に沿った自動走行に適用すること が可能である。
まず最初に、 図 2 2のフローチャートを参照して、 図 2 0の最適化装置 9 4の 処理部 1 0 1が行う補正処理について説明する。
補正処理では、 ステップ S 1 5 1において、 補正量計算部 1 4 1が、 補正パラ メータメモリ 1 4 6に記憶された補正パラメータ a。乃至 aNを用いて、 補正量を 計 する。
即ち、 ここでは、 例えば、 真の走行方向 0が、 補正パラメータ a。乃至 aNと、 入力信号としての演算部 9 3からの走行方向 Θ ' とを用いて、 式 （3 7) に示す ように表されることとして、 捕正量が計算される。
【数 3 7】
0 = 0'+ao+ait1+a2t2十… +aNtN
• · · (3 7) 従って、 式 （3 7) から、 補正量計算部 1 4 1では、 a。+ a1 t 1+ a2 t 2+ - - - + aNt Nが、 補正量として計算される。 この補正量は、 演算器 1 4 2に供給 される。
演算器 1 4 2では、 ステップ S 1 5 2において、 入力信号としての演算器 5 3 からの走行方向 0 ' と、 補正量とが加算され、 その加算値 （式（3 7) の 6 ) ί 出力信号として出力され、 次の入力信号のサンプルが供給されるのを待って、 ス テツプ S 1 5 1に戻り、 以下、 同様の処理が繰り返される。
次に、 図 2 3のフローチャートを参照して、 図 20の最適化装置 9 4の処理部 1 0 1が行う補正パラメータ学習処理について説明する。
補正パラメータ学習処理では、 まず最初に、 ステップ S 1 6 1において、 操作 信号処理部 1 1 0が、 学習用操作信号を、 操作部 9 8 (図 1 6) から受信したか どうかを判定し、 受信していないと判定した場合、 ステップ S 1 6 1に戻る。 また、 ステップ S 1 6 1において、 操作部 9 8力、ら、 学習用操作信号を受信し たと判定された場合、 即ち、 例えば、 操作部 9 8が、 その操作の開始後、 第 1の 時間 t 1以上の間隔をあけることなく、 第 2の時間 t 2以上連続して操作され、 その後、 第 3の時間 t 3以上連続して、 その操作が停止された場合や、 操作部 9 8の操作の ^始後、 第 3の時間 t 3以上連続して、 その操作が停止された場合な ど、 ユーザが、 自動車が所望の走行方向を向くように、 操作部 9 8の操作を行つ たと判定することができる場合、 ステップ S 1 6 2に進み、 教師データ生成部 1 4 3が教師データを生成するとともに、 生徒データ生成部 1 4 4が生徒データを 生成する。
即ち、 操作信号処理部 1 1 0は、 学習用操作信号を受信した場合、 その旨の学 習メッセージを、 教師データ生成部 1 4 3および生徒データ生成部 1 4 4に供給 する。 教師データ生成部 1 4 3は、 学習メッセージを受信すると、 その直後に供 給される入力信号としての走行方向を、 教師データとして取得し、 学習用データ メモリ 5 3に供給する。
即ち、 いまの場合、 教師データとしては、 自動車が所望の方向に向くように、 ユーザが、 ハンドルとしての操作部 9 8を操作した後の走行方向を用いる必要が ある。 そこで、 教師データ生成部 1 4 3は、 学習メッセージを受信した後に供給 される入力信号としての走行方向 0を、 教師データとして、 学習用データメモリ 5 3に供給する。
また、 生徒データ生成部 5 2は、 学習メッセージを受信すると、 その直前に供 給された入力信号としての走行方向、 即ち、 自動車が所望の方向を向く直前の走 行方向を、 生徒データとして、 学習用データメモリ 5 3に供給する。
その後、 ステップ S 1 6 3に進み、 学習用データメモリ 5 3は、 教師データ生 成部 5 1から教師データと生徒データのセットを記憶し、 ステップ S 1 6 4に進 む。
ステップ S 1 6 4では、 補正パラメータ計算部 1 4 5が、 教師データと生徒デ ータを対象として、 式 （2 2 ) 乃至式 （3 0 ) で説明した場合と同様の最小自乗 法における足し込みを行う。
なお、 ステップ S 1 6 4における足し込みは、 上述した場合と同様に、 学習情 報メモリ 5 5に記憶されている学習情報としての前回の足し込み結果を用いて行 われる。 また、 ここでは、 式 （3 7 ) の θ ' として、 生徒データを用いて計算さ れる式 （3 7 ) の 0 としての教師データの予測値と、 対応する教師データとの自 乗誤差の総和を最小にする補正パラメータ a。乃至 a Nを求めるための足し込み が行われる。
補正パラメータ計算部 1 4 5は、 ステップ S 1 6 4において足し込みを行った 後、 その足し込み結果を、 学習情報として、 学習情報メモリ 5 5に上書きする形 で記憶させ、 ステップ S 1 6 5に進む。
ステップ S 1 6 5では、 補正パラメータ計算部 1 4 5が、 学習情報メモリ 5 5 に記憶された学習情報としての足し込み結果から、 補正パラメータ & 1乃至 a Nを 求めることが可能であるかどうかを判定する。
ステップ S 1 6 5において、 補正パラメータ a i乃至 a Nを求めることが可能で ないと判定された場合、 補正パラメータ計算部 1 4 5は、 その旨を、 判定制御部 5 6に供給し、 ステップ S 1 6 9に進む。 ステップ S 1 6 9では、 判定制御部 5 6は、 補正パラメータとして、 補正の禁止を表すディセープル （disable) データ を、 補正パラメータメモリ 1 4 6に供給して記憶させる。 そして、 ステップ S 1 6 1に戻り、 以下、 同様の処理が繰り返される。
従って、 補正パラメータ a L乃至 a Nを求めることができるだけの学習情報が存 在しない場合には、 補正部 2 1では、 入力信号の補正は行われない。 即ち、 入力 信号の補正量は 0とされる。
一方、 ステップ S 1 6 5において、 捕正パラメータを求めることが可能である と判定された場合、 ステップ S 1 6 6に進み、 補正パラメータ計算部 1 4 5は.、 学習情報を用いて、 補正パラメータ a。乃至 a Nを求め、 判定制御部 5 6に供給し て、 ステップ S 1 6 7に進む。
ステップ S 1 6 7において、 判定制御部 5 6は、 補正パラメータ計算部 1 4 5 からのパラメータ制御データ a i乃至 a Nによって定義される式 （3 7 ) にしたが い、 学習用データメモリ 5 3に記憶された各生徒データから、 対応する教師デー タの予測値を求め、 その予測値の予測誤差 （学習用データメモリ 5 3に記憶され ている教師データに対する誤差）の自乗和を求める。 さらに、判定制御部 5 6は、 その予測誤差の自乗和を、 例えば、 学習用データメモリ 5 3に記憶されている学 習対の数で除算した正規化誤差を求め、 ステップ S 1 6 8に進む。
ステップ S 1 6 8において、 判定制御部 5 6は、 正規化誤差が、 所定の閾値 S 1より大 （以上） であるかどうかを判定する。 ステップ S 1 6 8において、 正規 化誤差が所定の閾値 S 1より大であると判定された場合、 即ち、 補正パラメータ & 1乃至 a Nによって定義される式 （3 7 ) の一次式が、 学習用データメモリ 5 3 に記憶された生徒データと教師データとの関係を、精度良く近似していない場合、 ステップ S 1 6 9に進み、 判定制御部 5 6は、 上述したように、 補正パラメータ として、 ディセーブルデータを、 補正パラメータメモリ 1 4 6に供給して記憶さ せる。 そして、 ステップ S 1 6 1に戻り、 以下、 同様の処理が操り返される。 従って、 補正パラメータ & 1乃至 a Nを求めることができても、 その捕正パラメ ータ a i乃至 a Nによって定義される式 （3 7 ) 力 学習用データメモリ 5 3に記 憶された生徒データと教師データとの関係を、精度良く近似していない場合には、 補正パラメータ a 1乃至 a Nを求めることができるだけの学習情報が存在しない場 合と同様に、 入力信号 X ( t ) の補正量は 0とされる。
一方、 ステップ S 1 6 8において、 正規化誤差が所定の閾値 S 1より大でない と判定された場合、 即ち、 補正パラメータ & 1乃至 a Nによって定義される式 （3 7 ) の一次式が、 学習用データメモリ 5 3に記憶された生徒データと教師データ との関係を、 精度良く近似している場合、 ステップ S 1 7 0に進み、 判定制御部 5 6は、 補正パラメータ計算部 1 4 5からの補正パラメータ a。乃至 a Nによって 定義される式 （3 7 ) の面と、 学習用データメモリ 5 3に記憶された最新の教師 データおよぴ生徒データで規定される点との間の誤差 εを求める。
そして、 ステップ S 1 7 1に進み、 判定制御部 5 6は、 誤差 εの大きさが、 所 定の閾値 S 2より大（以上）であるかどうかを判定し、大でないと判定した場合、 ステップ S 1 7 2をスキップして、ステップ S 1 7 3に進み、判定制御部 5 6は、 ステップ S 1 6 6で求められた補正パラメータ a。乃至 a Νを、 補正パラメ一タメ モリ 1 4 6に出力する。 この場合、 補正パラメータメモリ 1 4 6は、 判定制御部 5 6からの補正パラメータ a。乃至 a Nを上書きする形で記憶し、 ステップ S 1 6 1に戻る。
一方、 ステップ S 1 7 1において、 誤差 εの大きさ力 所定の閾値 S 2より大 であると判定された場合、 ステップ S 1 7 2に進み、 判定制御部 5 6は、 補正パ ラメータ計算部 1 4 5を制御することにより、 学習用データメモリ 5 3に記憶さ れた最近の教師データと生徒データのみを用いて、 補正パラメータ a。乃至 a Nを 再計算させる。 そして、 ステップ S 1 7 3に進み、 判定制御部 5 6は、 ステップ S 1 7 2で求められた補正パラメータ a。乃至 a Nを、 パラメータ制御部データメ モリ 3 7に出力して、 上書きする形で記憶させ、 ステップ S 1 6 1に戻る。
即ち、 図 2 3の実施の形態においても、 図 8の実施の形態における場合と同様 に、 ステップ S 1 7 0において、 いままでに与えられた教師データおょぴ生徒デ ータから求められた補正パラメータ a。乃至 a Nから式（3 7 )で定義される面と、 最新の教師データおよび生徒データで規定される点との間の誤差 εが求められる c そして、 この誤差 εの大きさが、 閾値 S 2より大でない場合には、 ステップ S 1 6 6で求められた補正パラメータ a。乃至 a Nによって定義される式 （3 7 ) の 面が、 最新の教師データと生徒データで規定される点も含め、 いままでに与えら れた教師データと生徒データで規定される点のいずれも、 比較的精度良く近似し ていると考えられるため、 その補正パラメータ a。乃至 a Nが、 捕正パラメ一タメ モリ 1 4 6に記憶される。
一方、 誤差 εの大きさが、 閾値 S 2より大の場合には、 ステップ S 1 6 6で求 められた補正パラメータ a 0乃至 a Nによって定義される式 （3 7 ) の面から、 最 新の教師データと生徒データで規定される点が比較的大きく離れていると考えら れるため、 判定制御部 5 6は、 ステップ S 1 7 2において、 学習用データメモリ 5 3に記憶された最近の教師データと生徒データのみを用いて、 補正パラメータ a。乃至 a Nを再計算させる。
従って、 この場合も、 ユーザの操作に応じて供給される学習用操作信号に基づ いて、 式 （3 7 ) の補正パラメータ a。乃至 a Nの学習が行われるので、 ユーザの 操作を、 ユーザが知らないうちに学習することができ、 さらに、 その学習結果を 用いて、 ユーザにとって最適な処理を行うことが可能となる。
さらに、 この場合、 演算部 9 3 (図 1 6 ) が出力する走行方向に含まれる誤差 が有色であるときに、 所定の設定軌跡に沿って、 自動車を自動走行させることが 可能となる。
また、 図 2 0の最適化装置 9 4の処理部 1 0 1では、 ユーザによる操作部 9 8 の操作にしたがい、 自動車の実際の走行方向が設定軌跡に沿ったものにあるよう に、 補正部 2 1で行われる補正処理 （図 6 ) で用いられる補正パラメータが変更 される。 即ち、 自動車の走行方向が所望の方向となるように、 ユーザが操作部 9 8を操作すると、 演算部 4 3 (図 1 6 ) が出力する、 操作部 9 8の操作直前と直 後の入力信号としての走行方向 0それぞれを、 それぞれ生徒データと教師データ として、 補正パラメータの学習が行われ、 これにより、 補正パラメータが変更さ れる。 この変更された補正パラメータは、 補正部 2 1に供給され、 補正部 2 1で は、 その補正パラメータを用いて補正量が計算され、 その補正量によって、 入力 信号の補正処理 （図 2 2 ) が行われる。 従って、 ユーザが操作部 9 8を操作した 場合には、 そのユーザの操作により式 （3 7 ) の補正パラメータが変更されるこ とにより、 当然に、 式 （3 7 ) で表される処理 （補正処理） の内容も変更するこ ととなるから、 図 2 0の最適化装置 9 4の処理部 1 0 1でも、 ユーザの操作にし たがい、 その 「処理の内容」 力 S、 ユーザにとって所望の走行方向が得られるよう に変更されているということができる。
さらに、 図 2 0の最適化装置 9 4では、 ユーザから十分な数の学習対が入力さ れていない場合や、精度の高い近似が可能な学習対が入力されていない場合には、 補正部 2 1における入力信号の補正量が 0とされ、 ユーザから精度の高い近似が 可能な学習対が入力された場合には、 その学習対を用いて学習が行われることに より求められた補正パラメータによって求められる補正量によって、 入力信号の 補正が行われる。 即ち、 十分な数の学習対や、 精度の高い近似が可能な学習対が 得られていない場合と、 精度の高い近似が可能な学習対が得られた場合とで、 捕 正部 2 1の補正処理に用いられる重みを算出するアルゴリズムが変更される。 従って、 図 2 0の最適化装置 9 4の処理部 1 0 1でも、 ユーザの操作にしたが い、 その 「処理の内容」 も、 さらには、 その 「処理の構造」 も変更され、 これに より、 設定軌跡に沿った走行方向に、 自動車が自動走行するようになっている。 ここで、 図 2 3の実施の形態では （図 8および図 1 3の実施の形態おいても同 様） 、 ステップ S 1 7 0において、 補正パラメータ計算部 1 4 5からの捕正パラ メータ a。乃至 a Nによって定義される式 （3 7 ) の面と、 最新の教師データおよ び生徒データで規定される点との間の誤差 εを求め、 以降の処理を行うようにし たが、 ステップ S 1 7 0では、 最近の複数の教師データと生徒データが供給され る前にステップ S 1 6 6で求められた補正パラメータ a。乃至 a Νによって定義さ れる式 （3 7 ) の面と、 最近の複数の教師データおよび生徒データで規定される 点それぞれとの間の誤差 εを求め、 その複数の誤差 εに基づいて、 以降の処理を 行うようにすることも可能である。
なお、図 1 6の最適化装置 9 4の処理部 1 0 1は、図 1 7や図 2 0に示した他、 例えば、 図 1 0に示した最適化装置 1の処理部 1 1を利用して構成することも可 能である。
次に、 図 2 4は、 図 1の最適化装置を適用した自動走行装置の他の実施の形態 の構成例を示している。 尚、 図中、 図 1 6における場合と対応する部分について は、 同一の符号を付してあり、以下では、その説明は、適宜省略する。すなわち、 図 2 4の自動走行装置は、 最適化装置 9 4に内部情報生成部 1 6 1が新たに設け られ、 さらに、 表示部 1 7 1は新たに設けられている他は、 図 1 6における場合 と同様に構成されている。 ·
内部情報生成部 1 6 1は、 図 1 4の内部情報生成部 1 7 1と同様に、 処理部 1 1からその内部情報を読出し、 画像情報に変換して、 表示部 1 Ί 1に出力する。 表示部 1 7 1は、 内部情報生成部 1 6 1から供給される内部情報を、 所定の表示 形式で表示する。 図 24の実施の形態において、 処理部 1 01は、 図 1 7や図 20に示したよう に構成することができる。 図 24の処理部 10 1力 図 1 7に示したように構成 される場合においては、 補正パラメータ演算処理を除き、 図 1 7における場合と 同様の処理が行われる。 そこで、 図 25のフローチャートを参照して、 図 24の 処理部 10 1が、 図 1 7に示したように構成される場合の捕正パラメータ演算処 理について説明する。
ステップ S 1 9 1乃至 S 1 97では、 図 1 8のステップ S 1 1 1乃至 S 1 1 7 における場合とそれぞれ同様な処理が行われる。
ステップ S 1 97の処理の後は、 ステップ S 1 98に進み、 表示部 1 7 1にお いて、 内部情報が表示される。 すなわち、 より詳細には、 内部情報生成部 1 6 1 ヽ 例えば重みメモリ 3 1 (図 1 7) に記憶されている重み Wを、 内部情報とし て読出し、 表示部 1 71で表示可能な画像信号に変換し、 表示部 1 7 1に出力し て表示 （呈示） させる。 ステップ S 1 98の処理の後は、 ステップ S 1 1 1に戻 り、 以下、 同様の処理が繰り返される。
図 25のフローチャートで説明した処理により、 処理部 1 0 1の処理に関する 内部情報としての重み Wが、 表示部 1 71で表示 （提示） され、 その結果、 ユー ザは、 その表示を見ながら、 最適な自動走行が行われるように、 操作部 98を操 作することが可能となる。
また、 上述の場合においては、 重み Wを表示するようにしていたが、 内部情報 生成部 16 1では、 その他の内部情報を表示部 1 7 1に表示 （呈示） させるよう にしても良く、 例えば、 パラメータ制御データメモリ 3 7よりパラメータ制御デ ータ a, bを読み出して表示するようにしても良い。 また、 選択部 4 1により選 択された重みが、 学習対を用いて学習が行われることにより求められたパラメ一 タ制御データ aおよび bから求められた重みであるのか、 若しくは、 入力信頼度 と出力信頼度から求められる重みであるのかを表す内部情報を表示するようにし ても良い。
次に、 図 24の処理部 10 1力 図 20に示したように構成される場合におい ては、 捕正パラメータ学習処理を除き、 図 2 0における場合と同様の処理が行わ れる。 そこで、 図 2 6のフローチャートを参照して、 図 2 4の処理部 1 0 1力 図 2 0に示したように構成される場合の補正パラメータ学習処理について説明す る。
ステップ S 2 1 1乃至 S 2 2 3において、 図 2 3のステップ S 1 6 1乃至 S 1 7 2における場合とそれぞれ同様の処理が行われる。
ステップ S 2 1 9およびステップ S 2 2 3の処理後は、 ステップ S 2 2 4に進 み、 内部情報生成部 1 6 1は、 例えば、 補正パラメータメモリ 1 0 1に記憶され た補正パラメータ a。乃至 a Nを、 内部情報として読出し、 表示部 1 7 1で表示可 能な画像信号に変換して、 表示部 1 7 1に表示させる。 このとき、 補正パラメ一 タ a。乃至 a Nは、 複数のパラメータから構成されているので、 図 2 7で示すよう に、 各パラメータを横軸として、 各値を縦軸として、 例えば、 棒グラフ状にして 表示するようにしても良い。 また、 補正パラメータ a。乃至 a Nは、 例えば、 図 2 8に示すように、任意の 2つの補正パラメータ a iと a jをそれぞれ横軸と縦軸に とって表示するようにしても良い。 尚、 横軸と縦軸にする補正パラメータは、 ュ 一ザが選択可能なようにすることが可能である。
この後、 ステップ S 2 1 1に戻り、 以下、 同様の処理が繰り返される。
以上のように、 図 2 6のフローチャートを参照して説明した補正パラメータ処 理により、 補正パラメータ a。乃至 a Nが表示されることにより、 図 2 4の最適化 装置 9 4の処理部 1 0 1では、 補正パラメータ a。乃至 a Nが内部情報として表示 され、 その結果、 ユーザは、 その表示を見ながら、 最適な自動走行が行われるよ うに、 操作部 9 8を操作することが可能となる。
尚、 内部情報生成部 1 6 1では、 補正パラメータ a。乃至 a N以外の内部情報を 表示するようにしても良い。
また、 図 2 6の実施の形態において、 ステップ S 2 1 9の処理の後に、 ステツ プ S 2 2 4に進んだ場合には、 内部情報としての補正パラメータ a。乃至 a Nは、 0であるとして、 その表示が行われる。 次に、 図 2 9を参照して、 図 1の最適化装置のその他の実施の形態としての最 適化装置 2 0 1について説明する。 最適化装置 2 0 1は、 処理部 2 1 1から構成 されており、 入力信号としての、 例えば、 画像信号などからノイズを除去し、 表 示される画像信号の最適化を図るものである。 尚、 この例においては、 画像信号 を主な入力信号の例として説明するが、 画像信号に限らずその他の信号であって も良い。
処理部 2 1 1は、学習部 2 2 1とマッピング処理部 2 2 2から構成されている。 処理部 2 1 1の学習部 2 2 1には、 操作部 2 0 2からの操作信号が供給され、 学 習部 2 2 1は、 その操作信号に基づいて、 マッピング処理部 2 2 2の処理で必要 となる係数セットを学習し、 係数メモリ 2 3 5に記憶させる。 学習部 2 1 1の学 習の規範 （学習規範） としては、 例えば、 最小 N乗誤差法 （最小 N乗法） を用い ることができる。 尚、 最小 N乗誤差法による解法については後述する。
マッピング処理部 2 2 2は、 入力信号を所定の出力信号にマッピング （変換） するマッピング処理を行う。 すなわち、 マッピング処理部 2 2 2は、 出力信号と しての画像信号のうち、 今から得ようとする画素を注目画素として、 その注目画 素に対応するタップ （処理に必要な少なくとも 1以上の画素であり、 サンプルと も称する） を、 入力信号としての画像信号から抽出し、 係数メモリ 2 3 5に記憶 された係数セットとの積和演算処理を実行することにより、 注目画素を求める。 マッピング処理部 2 2 2は、 出力信号としての画像信号を構成する画素について 同様の処理 （マッピング） を行い、 これにより出力信号としての画像信号を生成 して表示部 2 0 3に出力し、 表示させる。
操作部 2 0 2は、 ユーザによって操作され、 その操作に対応する操作信号を、 学習部 2 2 1に供給する。 表示部 2 0 3は、 マッピング処理部 2 0 2が出力する 出力信号としての画素信号を表示する。
次に、 図 3 0を参照して、 図 2 9の学習部 2 2 1の詳細な構成について説明す る。 教師データ生成部 2 3 1は、 入力信号より、 学習の教師となる教師データを 生成し、 最小 N乗誤差法係数演算部 2 3 4に出力する。 生徒データ生成部 2 3 2 は、 入力信号から学習の生徒となる生徒データを生成し予測タップ抽出部 2 3 3 に出力する。 この教師データと生徒データは、 例えば、 入力信号に対して教師デ ータ 2 3 1が何の処理も施さないことにより、また、生徒データ生成部 2 3 2が、 所定の間引き処理、 または、 L P F (Low Pass Filter) などにより入力データを 劣化させるなどして生成されるものであり、 生徒データが教師データに対して劣 化したものとして生成されれば上述の構成に限るものではない。 従って、 上記の 他にも、 例えば、 教師データ生成部 2 3 1が、 入力信号に対して所定の間引きや L P Fによる処理を施す時には、 生徒データ生成部 2 3 2は、 教師データ生成部 2 3 1で施される以上に大きな程度の間引きや L P Fによる処理が施されればよ レ、。 また、 例えば、 教師データとしては、 入力信号とそのまま用い、 生徒データ としては、 入力信号にノイズを重畳したものを用いることも可能である。
予測タップ抽出部 2 3 3は、 教師データとしての画像信号を構成する画素を、 順次、 注目画素として、 その注目画素と所定の位置関係にある少なくとも 1個以 上の画素 （タップ） を、 生徒データとしての画像信号から予測タップとして抽出 し、 最小 N乗誤差法係数演算部 2 3 4に出力する。
最小 N乗誤差法係数演算部 2 3 4は、 操作部 2 0 2より入力される最小 N乗法 誤差法係数演算処理に必要な、 指数 Nの値を指定する情報を表す操作信号に基づ いて、予測タップと教師データから最小 N乗誤差法により係数セットを演算して、 係数メモリ 2 3 5に出力し、 記憶させる （適宜上書き記憶させる） 。
係数メモリ 2 3 5は、 最小 N乗誤差法係数演算部 2 3 4より供給される係数セ ットを記憶し、 マッピング処理部 2 2 2に適宜出力する。
次に、 図 3 1を参照して、 図 2 9のマッピング処理部 2 2 2の構成について説 明する。 マッピング処理部 2 2 2のタップ抽出部 2 5 1は、 出力信号としての画 像信号を構成する画素を、 順次注目画素として、 その注目画素に対して、 所定の 位置関係にある画素 （の画素値） を予測タップとして、 入力信号としての画像信 号から抽出することにより、 図 3 0の予測タップ抽出部 2 3 3が構成するのと同 一のタップ構造の予測タップを構成し、 積和演算部 2 5 2に出力する。 積和演算 部 25 2は、タップ抽出部 25 1より入力されてくる、抽出された予測タップ（画 素） の値と、 学習部 22 1の係数メモリ 23 5に記憶されている係数セットとの 積和演算を行うことにより、 注目画素を生成し、 表示部 203 (図 29) に出力 する。
ここで、 図 30の最小 N乗誤差法係数演算部 234の最小 N乗誤差法による係 数演算について説明する。最小 N乗誤差法における指数 N= 2の場合が、一般に、 最小自乗誤差法 （最小 2乗誤差法） と呼ばれるものである。 すなわち、 注目画素 としての教師データを yと、 予測タップを構成する M個の生徒データを X i ( i = 1, 2, ···, M) と、 所定の M個の係数を W iと、 それぞれ表し、 教師データ yの予測値 y ' を、予測タップ X iと所定の係数 w ,との線形 1次結合（積和演算） W l X + w2 X 2 +〜+ wMx Mであることとする場合においては、 図 3 2で示す ように、 黒丸で示す教師データ yと、 図中の白丸で示す予測値 y' との誤差 （図 中矢印で示される教師データとしての真値 yとその予測誤差 y ' との差分の絶対 値） の 2乗の和を最小にする係数セット Wl, w2> ···, wMが求められる。
最小 N乗誤差法における指数 Nの値を変化させる場合、 例えば、 指数 Nが大き くなるとき、 誤差が大きい予測値 y' の誤差は、 N乗誤差の和に対する影響が大 きくなるため、 最小 N乗誤差法によれば、 結果として、 そのような大きな誤差の 予測値 y' が救済される方向の係数 （大きな誤差の予測値 y' の誤差を小さくす る係数） が求められる。 但し、 誤差が小さい予測値 y， の誤差は、 N乗誤差の和 に対しての影響も小さいため、 あまり考慮されず、 結果として無視されやすくな る。 逆に、 指数 Nが小さくなるとき、 誤差が大きい予測値 y' の誤差は、 N乗誤 差の和に対する影響力が指数 Nが大きいときと比べて小さくなり、 誤差が小さい 予測ィ直 y' の誤差は、 N乗誤差の和に対する影響がより小さくなることになる。 その結果、 最小 N乗誤差法によれば、 指数 Nが大きい場合に比較して誤差が小さ い予測値の誤差をより小さくする方向の係数が求められる。
尚、 上述のような予測値 y' の誤差の、 N乗誤差の和に対する影響の変化は、 予測値 y' の誤差を N乗することによりものであり、 以下、 適宜、 N乗誤差の性 質という。
上述のように、 指数 Nにより、 最小 N乗誤差法で求められる係数セッ トの定性 的な傾向が見られるので、 指数 Nを変化させて、 最小 N乗誤差法により係数セッ トを求めるようにすることで、 ユーザに好みのマッビング処理を実行するための 係数セットを求めることができる （入力信号に対してマッピングされる出力信号 をユーザ好みのものとする係数セットを求めることができる） 。 しかしながら、 実際には、 最小 2乗誤差法以外の方法、 すなわち、 指数 N= 2以外の方法では、 予測値 y' の N乗誤差の和を最小にする係数セットの演算が極めて困難である。 ここで、 最小 2乗誤差法以外の方法では、 予測値 y' の N乗誤差の和を最小に する係数セットの演算が困難となる理由について説明する。
予測値 y' の誤差の N乗の総和 （N乗誤差の和） は、 式 （38) で表すことが できる。
【数 3 8】
E= ∑ eN
samp I e
• · · (3 8) ここで、 Eは、 教師データとしての真値 yと予測値 y ' との誤差 eの N乗のサ ンプル数分の総和を示す。
一方、 本実施の形態では、 上述したように、 真値 yの予測値 y' は、 予測タツ プ X iと、 所定の係数 w i との線形 1次結合、 すなわち、 以下の式 （3 9) によ り定義される。
【数 3 9】
M
y =wi xi +W2X9 +■■■ +WMXM=∑ WjXj
i=1
• · · (3 9) ここで、 係数 Wl, w2, w3---, wMを、 以下、 適宜、 予測係数という。 この予 測係数のセットが図 30の係数メモリ 23 5に記憶される係数セットである。 ま た、 予測タップ X i， x 2, χ 3 ···， χ Μとしては、 教師データとしての画像の画素 (真値） yに対応する生徒データとしての画像の位置から、 空間的、 または、 時 間的に近い位置にある画素を採用することができる。
y
この場合、 式（38) の誤差 eは、 以下に示す式（40) で表すことができる。
Σ一一 Μ
【数 40】 y
∑ X一一 M∑ = M
e=|y-y'i w
X X
• · · (40) 最小 N乗誤差法では、 式 （40) から導かれる以下の式 （41) , 式 （42) で示す N乗誤差の総和 Eを最小にする予測 y係数 Wl, w2) w3---, wMを求める必 要がある。 尚、 式 （41) は、 指数 Nが奇数の∑ときの総和 Eを示す式であり、 式
(42) は、 指数 Nが偶数のときの総和 Eを示す式 Xである。
【数 4 1】 y
samp I e sample
4 (41)
【数 42】
N
：= ∑ ∑ = ∑
sample sample sample
• · · (42) ここで、 式 （41) の場合、 すなわち、 指数 Nが奇数の場合、 総和 Eは、 真値 yとその予測値 y' との差分 y— y' の大きさの和が同一の値であれば、 差分 y -y ' の符号に関わらず、 同一の値となり、 結果として総和 Eを最小にする予測 係数 w1; w2, w3---, wMを求めることができない。 すなわち、 総和 Eは、 絶対 値を含む関数であり、 例えば、 図 3 3に示すような関数となる。 このため、 全探 索以外では、 総和 Eの最小値を与える予測係数 Wl, w2, w3-", wMを求めるこ とができない。 尚、 図 3 3は、 指数 N= lのときの、 ある予測係数 W iと、 総和 Eの変化を示している。
一方、 式 （4 2〉 の場合、 すなわち、 指数 Nが偶数の場合、 総和 Eは、 必ず E ≥ 0を満たすので、 以下の式 （4 3) で示すように、 式 （4 2) の総和 Eを各予 測係数 W iで偏微分した式を 0とおくことにより、 極小値を求めることができる。 【数 4 3】
(一 Xi) 、N-1
Figure imgf000090_0001
=0
• · · (4 3 ) 従って、 式 （4 3 ) より、 以下の式 （4 4) で示す方程式を解くことで解、 す なわち、 N乗誤差の総和 Eを最小にする予測係数 Wl, w2, w3-, wMが求めら れることになる。
【数 4 4】 sa
Figure imgf000090_0002
• · · (4 4) この式 （4 4) について、 例えば、 指数 Nが N= 2の場合、 すなわち、 いわゆ る最小 2乗誤差法により解を求める場合、 式 （4 4) の指数 Nに 2を代入して、 以下の式 （4 5 ) を解けばよいことになる。
【数 4 5】
∑ ∑ iXjWj= ∑ Xjy, u=1,2, )
ι=1 sample samp I e
(4 5) 式 （4 5 ) の方程式は、 以下の式 （4 6 ) で示すように、 行列式の形で表現す ることができ、 正規方程式と呼ばれる。 また、 指数 N= 2のときは、 総和 Eの極 小値が一意に決まり、 その最小値は、 総和 Eの最小値となる。 式 （45) の正規 方程式により、 予測係数 w w2, w3"-, wMの数と同数 （今の場合 M個） の連 立一次方程式が構成されれば、 この連立一次方程式は、 例えば、 コレスキー法な どにより解くことができ、予測係数 wい w2) w3-", wMを求めることができる。 【数 46】
/ sam le ΥΧΐ
L. sample λ2χ1 ∑ sample Λ2Χ2 "' ∑ sample x2½ W2 ∑ sample Υχ2
,∑ sample XMX1 ∑ sample XMX2…∑ sample L sample y½
• ■ · (46) 尚、 式 （46) の正規方程式を解くには、 式 J（46) における左辺の予測タツ プ同士の積 X； X jの総和 （∑ X i X をコンポーネ oントとする行列が、 正則であ ることが必要である。
指数 Nが偶数で、 かつ、 4以上である場合、 式 （42) は、 2以下の式 （47) のように表すことができる。
【数 47】
Figure imgf000091_0001
• · · (47) 式 （47) で示される方程式は、 高次の連立方程式となるため、 指数 Nが N = 2である場合のように連立一次方程式を解くようにして、 予測係数 Wl， w2, w 3···， wMを求めることができない。
以上のように、 指数 Nが N= 2以外のとき、 式 （3 8) で示す N乗誤差の和を 最小にする予測係数 w2, w3"-, wMは、 一般には、 容易に求めることがで きない。
そこで、 学習部 2 21の最小 N乗誤差法係数演算部 234は、 以下に示す 2つ の最小 N乗誤差法により予測係数を演算する。 尚、 2つの最小 N乗誤差法のうち のいずれを採用するかは、 例えば、 ユーザが操作部 2 0 2 (図 2 9 ) を操作する ことにより指定可能である。
まず、第 1の方法（以下、 直接法とも称する） について説明する。 以下の式（4
8) で示すように、 誤差 e 2の項に重み a sを乗じたものの総和 Eを、 N乗誤差法 の和として式 （3 8 ) に替えて定義する。
【数 4 8】
E= ∑ eN= ∑ se2
samp I e sample
• · · (4 8) すなわち、 N乗誤差 e Nを、重み sと、 2乗誤差 e 2との積によって定義する。 この場合、 式 （4 8 ) の重みひ sを、 例えば、 以下の式 （4 9 ) で示すように、 指数 Nが N= 2のときに求められる予測係数 Wl， w2, w3---, wMから、 式 （3
9) の線形 1次式によって得られる予測値 y ' の関数とすることにより、 式 （4 8) の N乗誤差の総和 Eを最小にする予測係数 w i乃至 wMを求めることができる c
【数 4 9】
s= f (y')
• · · (4 9) 重み a sとしては、 様々な関数が考えられるが、 式 （4 8) で定義される N乗 誤差 e N= a s e 2が、 上述の N乗誤差の性質を満たすようなものとなる関数を採 用する必要があり、 例えば、 以下の式 （5 0) で示す関数を採用することができ る。
【数 5 0】
s= axs c+b · ■ · ( 5 0) ここで、 x sは、 最小 2乗誤差法により求められる予測係数 Wl乃至 wMから、 式 （3 9) によって演算される予測値 y ' の誤差 （以下、 適宜、 最小 2乗規範に よる誤差という） を、 0乃至 1. 0の範囲に正規化した値を表し、 この予測値 y ， の誤差 xsの関数として、 定義される式 （50) の重みひ sは、 図 34に示すよ うになる。
係数 aは、 最小 2乗規範による誤差 X sが、 N乗誤差 e Nに与える影響を制御す る項であり、 係数 aが a = 0のとき、 重みひ sは、 図 34において、 その傾きが 0の水平方向の直線となる。 この場合、 最小 2乗規範による誤差 X sが N乗誤差 e Nに与える影響は、 最小 2乗規範による誤差 X sの大小に関わらず一定となり、 式 （48) の総和 Eを最小にする予測係数 W iは、 理論的には、 最小 2乗誤差法 により求められるものと同一となる。 従って、 a ==0とすることにより、 実質的 に最小 2乗誤差法が実現される。 また、 係数 a > 0のときは、
最小 2乗規範により誤差 xsが、 式 （48) の N乗誤差 eNに与える影響は、 誤 差 x sが大きいほど大きくなり、 誤差 X sが小さいほど小さくなる。 一方、 a < 0 のときは、 最小 2乗規範による誤差 X sが、 式 （48) の N乗誤差 e Nに与える影 響は、 誤差 xsが大きいほど小さくなり、 誤差 xsが小さいほど大きくなる。
すなわち、 式 （48) の N乗誤差 eNは、 係数 aを正とした場合には、 指数 N を大としたときと同様の性質を有し、 係数 aを負とした場合には、 指数 Nを小と したときと同様の性質を有する。 従って、 式 （48) の N乗誤差 eNは、 式 （3 8) の N乗誤差 eNと同様の性質を有するから、 式 （48) の N乗誤差の総和 E を最小にする予測係数は、 実質的に式 （38) の N乗誤差の総和 Eを最小にする 予測係数となる。
尚、 係数 aが 0の場合は、 上述したように、 最小 2乗誤差法が実現される。 す なわち、 指数 Nが 2の場合となるが、 係数 aが正の場合は、 指数 Nが N〉 2の場 合となり、 係数 aが負の場合は、 指数 Nが Nく 2の場合となる。 この係数 aは、 後述する係数 cと同様に最小 N乗誤差法の指数 Nに大きく影響する。
係数 bは、 捕正項であり、 係数 bの値によって、 図 34の関数値 （重み s) 力 全体として上下方向に変化する。 尚、 係数 bは、 最小 N乗誤差法の指数 Nに それ程大きな影響を与えない。 係数 cは、 軸のスケーリングを変換させる項、 すなわち、 最小 2乗規範による 誤差 X sに対する重みひ 5の割り当て方を変更する項であり、係数 cの値が大きく なればなる程、 重み a sの変化は、 急峻なものとなり、 逆に、 係数 cの値が小さ くなればなる程、 重み o; sの変化は、 緩やかなものとなる。 従って、 係数 cが変 化することにより、 最小 2乗規範により誤差 x sが式 （4 8) の N乗誤差 e Nに与 える影響は、係数 aが変化する場合と同様であるから、係数 cによっても、式（4 8) の N乗誤差 e Nには、 式 （3 8) の N乗誤差 e Nと同様の性質を与えることが できる。 すなわち、 係数 cによって、 最小 N乗誤差法の指数 Nに影響を与えるこ とができる。 '
尚、 図 3 4中の直線は、 c = l、 a > 0の場合 （ bは任意） を示しており、 図 3 4中の曲線は、 c≠ l， a > 0の場合 （bは任意） を示している。
式 （5 0) の重み a sを規定する係数 a , b， cは、 ユーザが操作部 20 2を 操作 （設定） することで、 変化させることができ、 係数 a , b, cが変化するこ とで、 式 （5 0) の重み o; sが変化する。 重み o; sの変化により、 式 （4 8) a s e 2は、 所定の指数 Nについての N乗誤差 eNとして、 実質的 （等価的） に機能 することとなり、その結果、式（5 0)の N乗誤差の和 Eを最小にする予測係数、 すなわち、 最小 N乗誤差法による規範の予測係数 w；を求めることができる。 また、 以上の第 1の方法では、 重み a sを決定する係数 a , b， cを様々に変 化させることにより、 実質的に指数 Nを変化させて最小 N乗誤差法により予測係 数を求めるようにしたので、 指数 Nは、 整数に限らず、 例えば、 指数 N= 2. 2 といった指数 Nが小数などのその他の実数の場合の予測係数を求めることが可能 である。
次に、 最小 N乗誤差法により予測係数を演算する第 2の方法 （以下、 再帰法 = リカーシブ法とも称する） について説明する。 第 1の方法においては、 式 （4 8) に示したように、 2乗誤差 e 2に対して重みひ sを乗算したものを N乗誤差として 採用したが、第 2の方法では、低次の最小 N乗誤差法で求められた解を使用して、 再帰的な手法でより高次の最小 N乗誤差法による解が求められる。 すなわち、 以下に示す式 （5 1) の 2乗誤差の和 Eを最小にする予測係数 W i は、 上述のように最小 2乗誤差法により求めることができるが、 この最小 2乗誤 差法によって得られる予測係数 W iを用いて式 （3 9) により演算される予測値 y' を y i (以下、 適宜、 最小 2乗規範による予測値という） と表す。
【数 5 1】
E=∑e2
• · · (5 1) 次に、 例えば、 以下に示す式 （52) で表される 3乗誤差の和 Eについて考え る。 ·
【数 5 2】
E=∑ |e|3=∑(ly-yil)e2 ■ · · (5 2) 式 （52) の 3乗誤差の和 Eを最小にする予測係数 W iを求めることは、 最小 3乗誤差法により解を得ることになるが、 このとき式 （5 2) で示すように、 3 乗誤差 I e 3 I を、 2乗誤差 e 2、 および、 最小 2乗規範による予測値 y iと真値 yとの誤差 I y— y Iの積で表す。 式 （ 5 2 ) の | y— y | は、 定数として求 めておくことができるから、 式 （52) の 3乗誤差の和 Eを最小にする予測係数 w iは、 実際には最小 2乗誤差法により得ることが可能となる。
同様にして、 式 （5 3) で表される 4乗誤差の和 Eについて考える。
【数 5 3】
E=∑e4=∑(ly-y2l)2e2
• · · (5 3) 式 （53) の 4乗誤差の和 Eを最小にする予測係数 W iを求めることは、 最小 4乗誤差法により解を得ることになるが、 今、 式 （5 29) の 3乗誤差の和 Eを 最小にする予測係数 W iを用いて式 （3 9) により演算される予測値 y' を、 y2 (以下、 適宜、 最小 3乗規範による予測値という） を表すと、 4乗誤差 e 4は、 式 （5 3) に示すように、 2乗誤差 e 2、 および、 最小 3乗規範による予測値 y 2 と真値 yとの誤差の 2乗 （以下、 適宜、 最小 3乗規範による 2乗誤差という） I y-y 2 I 2の積で表すことができる。 式 （53) の最小 3乗規範による 2乗誤差 I y— y 2 I 2は、 定数として求めておくことができるから、 式 （5 3) の 4乗誤 差の和 Eを最小にする予測係数 w；は、 実際には最小 2乗誤差法により得ること が可能となる。
さらに、 以下の式 （54) についても同様である。
【数 54】
E=∑|e|5=∑(ly-y3l)3e2 · · · (54) すなわち、 式 （54) は、 5乗の総和 Eを最小にする予測係数 W iを求めるこ とが最小 5乗誤差法により解を得ることになる。 今、 式 （5 3) の 4乗誤差の和 Eを最小にする予測係数 W iを用いて式（3 9) により演算される予測値 y' を、 y 3 (以下、 適宜、 最小 4乗規範による予測値という） と表すと、 5乗誤差 e 5 は、 式 （54) に示すように、 2乗誤差 e 2、 および、 最小 4乗規範による予測 値 y 3と真値 yとの誤差の 3乗 （以下、 適宜、 最小 4乗規範による 3乗誤差とい う） I y— y 3 I 3の積で表すことができる。 式 （54) の最小 4乗規範による 3 乗誤差は、 定数として求めておくことができるから、 式 （54) の 5乗誤差の和 Eを最小にする予測係数 w；も、 実際には最小 2乗誤差法により得ることが可能 である。
指数 Nが 6次以上の最小 N乗誤差法の場合も、 以下、 同様にして、 その解 （予 測係数 W i ) を求めることが可能である。
以上のように、第 2の方法では、高次の最小 N乗誤差法により解を求めるのに、 低次の最小 N乗誤差法により求められた予測係数を用いて演算される予測値 （の 予測誤差） を使用し、 これを再帰的に、 繰り返すことで、 より高次の最小 N乗誤 差法による解を得ることができる。
尚、 上述の場合には、 最小 N乗誤差法による解を、 それより 1次だけ低い最小 N— 1乗誤差法により求められた予測係数を用いて演算される予測値を使用して 求めるようにしたが、 最小 N乗誤差法による解は、 それより低次の任意の最小 N 乗誤差法により求められた予測係数を用いて演算される予測値を使用して求める ことが可能である。 すなわち、 式 （5 3 ) の場合、 I y— y 2 Iの代わりに | y - y！ I を使用してもよいし、 式 （5 4 ) の場合、 I y— y 3 | の代わりに | y _ y 2 Iや i y— y i I を使用してもよい。
また、 第 2の方法においては、 N乗誤差 e Nが、 2乗誤差 e 2と、 N— 2乗誤差
N- 2
y— y との積で表されるから、 第 1の方法と同様に、 例えば、 指数 N が N = 2 . 2といった指数 Nが任意の実施の最小 N乗誤差法による解を求めるこ とができる。
次に、 図 3 5のフローチヤ一トを参照して、 図 2 9の最適化装置 2 0 1による 画像最適化処理について説明する。 画像最適化処理は、 学習処理とマッピングか らなる。
学習処理では、 ステップ S 2 3 0において、 ユーザが操作部 2 0 2を操作した かどうかが判定され、 操作していないと判定された場合、 ステップ S 2 3 0に戻 る。 また、 ステップ S 2 3 0において、 操作部 2 0 2が操作されたと判定された 場合、 ステップ S 2 3 1に進む。
ステップ S 2 3 1において、 学習部 2 2 1の教師データ生成部 2 3 1は、 入力 信号より教師データを生成して最小 N乗誤差法係数演算部 2 3 4に出力すると共 に、 生徒データ生成部 2 3 2は、 入力信号より生徒データを生成し予測タップ抽 出部 2 3 3に出力し、 ステップ S 2 3 2に進む。
尚、 生徒データと教師データを生成するのに、 用いるデータ （以下、 適宜、 学 習用データという） としては、 例えば、 現在から、 所定時間だけ過去に遡った時 点までに入力された入力信号を採用することができる。 また、 学習用データとし ては、 入力信号を用いるのではなく、 予め専用のデータを記憶しておくことも可 能である。
ステップ S 2 3 2において、 予測タップ抽出部 2 3 3は、 各教師データを注目 画素として、 その各注目画素について生徒データ生成部 2 3 2より入力された生 徒データより予測タップを生成し、最小 N乗誤差法係数演算部 2 3 4に出力して、 ステップ S 2 3 3に進む。
ステップ S 2 3 3において、 最小 N乗誤差法係数演算部 2 3 4は、 操作部 2 0 2よりリカーシブ法 （第 2の方法） による最小 N乗誤差法で係数セットを演算す ることを指定する操作信号が入力されたか否かがを判定し、 例えば、 ユーザによ り操作部 2 0 2が操作されて、 リカーシブ法ではない、 すなわち、 直接法 （第 1 の方法） が指定されたと判定された場合、 ステップ S 2 3 4に進み、 式 （5 0 ) の重み a sを指定する （指数 Nを指定する） 係数 a , b , cが入力されたか否か が判定され、 入力されるまでその処理が繰り返され、 例えば、 ユーザによって操 作部 2 0 2が操作され、 係数 a， b , cを指定する値が入力されたと判定された 場合、 その処理は、 ステップ S 2 3 5に進む。
ステップ S 2 3 5において、 最小 N乗誤差法係数演算部 2 3 4は、 重み a sを 入力された係数 a， b , cの状態で、 上述した式 （4 8 ) を最小にするという問 題を実質的には最小 2乗誤差法により解くことにより、 重み a sに対応する指数 Nの最小 N乗誤差法による解としての予測係数 wい w 2 , w 3 -" , wM、すなわち、 係数セットを求めて係数メモリ 2 3 5に記憶させ、 ステップ S 2 3 0に戻る。 一方、 ステップ S 2 3 3において、 リカーシブ法が選択されたと判定された場 合、 その処理は、 ステップ S 2 3 6に進む。
ステップ S 2 3 6において、 最小 N乗誤差法係数演算部 2 3 4は、 指数 Nを指 定する情報が入力されたか否かを判定し、 指数 Nが入力されるまでその処理を繰 り返し、 例えば、 ユーザが操作部 2 0 2を操作することにより指数 Nを指定する 情報が入力されたと判定した場合、 その処理は、 ステップ S 2 3 7に進む。
ステップ S 2 3 7において、 最小 N乗誤差法係数演算部 2 3 4は、 基礎となる 最小 2乗誤差法による解法により係数セットを求める。 ステップ S 2 3 8におい て、 最小 N乗誤差法係数演算部 2 3 4は、 最小 2乗誤差法により求められた係数 セットから得られる予測値を用い、 式 （5 1 ) 乃至式 （5 4 ) を参照して説明し たように再帰的に指数 Nに、 操作部 2 0 2から入力された対応する最小 N乗誤差 法による係数セットを求め、 係数メモリ 2 3 5に記憶させ、 ステップ S 2 3 1に 戻る。
次に、 マッピング処理では、 ステップ S 2 4 1において、 マッピング処理部 2 2 2のタップ抽出部 2 5 1は、 現在の入力信号と しての画像フレームに対応する 出力信号としての画像のフレームを注目フレームとして、 その注目フレームの画 素のうち、 例えば、 ラスタスキャン順で、 まだ注目画素としていないものを注目 画素として、 その注目画素について、 入力信号より予測タップを抽出し、 積和演 算部 2 5 2に出力する。
そして、 ステップ S 2 4 2において、 積和演算部 2 5 2は、 学習部 2 2 1の係 数メモリ 2 3 5の予測係数を読出し、 式 （3 9 ) に従いタップ抽出部 2 5 1より 入力された予測タップと係数メモリ 2 3 5から読み出した予測係数との積和演算 処理を実行する。 これにより、積和演算部 2 5 2は、 注目画素の画素値 （予測値） を求める。 その後、 ステップ S 2 4 3に進み、 タップ抽出部 2 5 1は、 注目フレ ームの全ての画素を注目画素としたかどうかを判定し、 まだしていないと判定し た場合、 ステップ S 2 4 1に戻り、 注目フレームのラスタスキャン順でまだ注目 画素としていない画素を新たに注目画素として、 以下、 同様の処理を繰り返す。 また、 ステップ S 2 4 3において、 注目フレームの全ての画素を注目画素とし たと判定された場合、 ステップ S 2 4 4に進み、 表示部 2 0 3は、 積和演算部 2 5 2で求められた画素でなる注目フレームを表示する。
そして、 ステップ S 2 4 1に戻り、 タップ抽出部 2 5 1は、 次のフレームを新 たに注目フレームとして、 以下、 同様の処理を繰り返す。
図 3 5の画像最適化処理によれば、 ユーザは、 マッピング処理において、 表示 部 2 0 3に表示された画像をみて、 自らの好みに合うものではなかった場合、 操 作部 2 0 2を操作して、 直接法やリカーシブ法を指定し、 さらには、 最小 N乗誤 差法の指数 Nを指定し、 これにより学習処理において、 最小 N乗誤差法により求 められる予測係数が変更され、 マッピング処理で求められる出力信号としての画 像をユーザ自身の好みに合うものにさせていくことができる。
ここで、 図 3 6は、 式 （50) の重みひ sの係数 a, b， cの値を変化させる 直接法において、 例えば、 係数 a , b， cを a = 40， b = 0. 1 , c = lとす ることにより、 最小 N乗誤差法により求められる最小 N乗規範の係数セットを用 いて演算される予測値の誤差の総和と、 一般的な最小 2乗誤差法により求められ る最小 2乗規範の係数セットを用いて演算される予測値の誤差の総和を示してい る。 ここでは、 誤差の総和としては、 2乗誤差と 3乗誤差の総和を示してある。 また、 係数 a, b， cが上述の値の場合は、 式 （48) の N乗誤差 e Nの指数 N が 2より大の場合に相当する。 図 36においては、 2乗誤差の総和は、 最小 2乗 規範の係数セットによる場合は、 10 1 6028 1となり、 最小 N乗規範の係数 セットによる場合は、 108 28594となっており、 最小 2乗規範の係数セッ トによる場合の方が、 最小 N乗規範の係数セットによる場合よりも小さくなって いる。 一方、 3乗誤差の総和は、 最小 2乗規範の係数セットによる場合は、 1 6 598 88 23となり、 最小 N乗規範の係数セットによる場合は、 1 6 1 283 660となっており、 最小 N乗規範の係数セットによる場合の方が、 最小 2乗規 範の係数セットによる場合よりも小さくなっている。
従って、 最小 2乗規範の係数セットを用いて、 マッピング処理 （式 （39) の 積和演算） を行うことにより、 2乗規範の総和がより小さい出力信号としての画 像を得ることができ、 また、 上述の値の係数 a， b , cを用いて、 求められる最 小 N乗規範の係数セットを用いてマツビング処理を行うことにより、 3乗誤差の 総和がより小さい出力信号としての画像を得ることができる。
尚、 図 3 5の画像最適化処理では、 ユーザが操作部 20 2を操作することによ り指数 Nが変更され （直接法においては、 指数 Nを指定する係数 a， b, cが変 更され、 また、 リカーシブ法においては、 指数 Nそのものが変更され） 、 これに より予測係数 （係数セット） の学習規範 （学習の体系） として、 どのような指数 Nの最小 N乗誤差法を採用するかが設定される。 すなわち、 予測係数を求める学 習アルゴリズム自体が変更されている。 従って、 「処理の構造」 力 ユーザの好 みの画像が得られるように変更されているということが言える。
次に、 図 3 7は、 図 1の最適化装置の他の構成例を示している。 図 3 7の最適 化装置 2 0 1においては、 内部情報生成部 2 6 1が設けられた以外の構成は、 図 2 9の最適化装置 2 0 1と同様であるので、 その説明は省略する。
内部情報生成部 2 6 1は、 処理部 2 1 1の内部乗法として、 例えば、 係数メモ リ 2 3 5に記憶されている予測係数を読出し、 その予測係数の情報を画像信号に 変換して表示部 2 0 3に出力し、 表示させる。
次に、 図 3 8のフローチャートを参照して、 図 3 7の最適化装置 2 0 1による 画像最適化処理について説明する。 図 3 8の画像最適化装置も、 図 3 5における 場合と同様に学習処理とマッピング処理からなる。 そして、 学習処理では、 ステ ップ S 2 5 0乃至 S 2 5 8において、 図 3 5のステップ S 2 3 0乃至 S 2 3 8に おける場合とそれぞれ同様の処理が行われる。
さらに、 学習処理では、 ステップ S 2 5 5および S 2 5 8の処理後、 ステップ S 2 5 9に進み、 内部情報生成部 2 6 1は、 係数メモリ 2 3 5に記憶されている 係数セットを、 内部情報として読出し、 係数セットに含まれる各値に基づいて表 示可能な画像信号を生成して、 表示部 2 0 3に出力し、 表示させる。
このとき、 内部情報生成部 2 6 1により生成され表示部 2 0 3に表示される画 像は、 例えば、 図 3 9で示すような 3次元分布図や、 または、 図 4 0で示した 2 次元分布図のような形式などとすることができる。 すなわち、 図 3 9では、 入力 信号から抽出される予測タップの位置に相当する座標が Tap Position ( x ) およ ぴ Tap Position ( y ) として x y平面上の位置として示されており、 各予測タツ プの位置に対応する座標上に、 その予測タップとしての画素値と積をとる予測係 数 （Coeff) が示されている。 また、 図 4 0では、 図 3 9が等高線図状に表現され ている。 ' ここで、 図 3 8のフローチャートの説明に戻る。 ステップ S 2 5 9の処理後は、 ステップ S 2 5 0に戻り、 以下、 同様の処理が 繰り返される。
—方、 マッピング処理では、 ステップ S 2 6 1乃至 S 2 6 4において、 図 3 5 のステップ S 2 4 1乃至 S 2 4 4における場合とそれぞれ同様の処理が行われる。 以上の処理により、 処理部 2 1 1の係数メモリ 2 3 5に記憶された係数セット の各値（各係数値） が処理に関する内部情報として表示（呈示） され、ユーザは、 この係数セットの分布と、 出力信号としての処理部 2 1 1の処理結果を見ながら 自らの好みに合う出力信号としての画像が得られるように、 操作部 2 0 2を操作 して、 指数 Nが変更され （直接法においては、 指数 Nを指定する係数 a , b， c が変更され、 また、 リカーシブ法においては、 指数 Nそのものが変更され） 、 こ れにより予測係数 （係数セット） の学習規範 （学習の体系） として、 どのような 指数 Nの最小 N乗誤差法を採用するかが設定される。 すなわち、 予測係数を求め る学習アルゴリズム自体が変更されているので、 「処理の構造」 が変更されてい るということができる。 また、 以上の例においては、 係数セットを表示させるよ うにしたが、 例えば、 現在の最小 N乗誤差法が直接法であるのか、 または、 リカ ーシブ法であるのかといつた、 処理に関する内部情報を表示するようにしてもよ レ、。
図 4 1は、 最適化装置のその他の構成例を示している。 図 4 1の最適化装置 3 0 1は、 処理部 3 1 1より構成され、 操作部 2 0 2より入力された操作信号に基 づいて、 入力信号を最適化し表示部 2 0 2に表示する。 なお、 図中、 上述の実施 の形態における場合と対応する部分については、 同一の符号を付してあり、 以下 では、 その説明は、 適宜省略する。
図 4 1の処理部 3 1 1の係数メモリ 3 2 1は、 図 3 0の係数メモリ 2 3 5と基 本的には同様のものであり、 マッピング処理部 2 2 2がマッピング処理を実行す るのに必要な係数セットを記憶する。 この係数セットは、 基本的には、 後述する 図 4 3の学習装置 3 4 1により生成された係数セット （初期値としての係数セッ ト) であるが、 係数変更部 3 2 2により適宜変更されて、 上書き記憶される。 従 つて、 上書きが繰り返されていく うち、 係数セットは、 やがて学習装置 3 4 1に より生成されたものとは異なるものとなる。 尚、 初期値としての係数セットは、 図示せぬメモリに保持しておき、 操作部 2 0 2の操作に対応して、 係数メモリ 3 2 1の記憶内容を、 初期値の係数セットに戻すようにすることが可能である。 係数変更部 3 2 2は、 操作部 2 0 2から入力される操作信号に基づいて、 係数 メモリ 3 2 1に記憶された係数セット （予測係数） を読出し、 各予測タップに対 応する予測係数 （各予測タップと積算される予測係数） の値を変更して、 再び係 数メモリ 3 2 1に上書き記憶させる。
次に、 図 4 2を参照して、 係数変更部 3 2 2の構成について説明する。 係数変 更部 3 2 2の係数読出書込部 3 3 1は、 変更処理部 3 3 2により制御され、 係数 メモリ 3 2 1に記憶された係数セットを読出し、 変更処理部 3 3 2に出力すると 共に、 変更処理部 3 3 2により値が変更された予測係数を係数メモリ 3 2 1に上 書き記憶させる。 変更処理部 3 3 2は、 係数読出書込部 3 3 1により係数メモリ 3 2 1から読み出された予測係数を、 操作信号に基づいて変更する。
ここで、 図 4 3を参照して、 係数メモリ 3 2 1に記憶される係数セットを学習 処理により生成する学習装置 3 4 1について説明する。 学習装置 3 4 1の教師デ ータ生成部 3 5 1は、 図 3 0の学習装置 2 2 1の教師データ生成部 2 3 1と同様 のものであり、 予め用意された学習データとしての画像信号より教師データを生 成し、 教師データを正規方程式生成部 3 5 4に出力する。 生徒データ生成部 3 5 2は、 図 3 0の生徒データ生成部 2 3 2と同様のものであり、 学習用データから 生徒データを生成し予測タップ抽出部 3 5 3に出力する。
予測タップ抽出部 3 5 3は、 図 3 0の予測タップ抽出部 2 3 3と同様のもので あり、 教師データのうちの今から処理しょうとするものを注目画素として、 その 注目画素について、 図 4 1のマツビング処理部 2 2 2を構成するタップ抽出部 2 5 1 (図 3 1 ) が生成するのと同一のタップ構造の予測タップを生徒データから 抽出し、 正規方程式生成部 3 5 4に出力する。
正規方程式生成部 3 5 4は、 教師データ生成部 3 5 1より入力された注目画素 としての教師データ yと予測タップ xい X 2 , ■· · , x M力 ら、 式 （4 6 ) の正規 方程式を生成する。 そして、 正規方程式生成部 3 5 4は、 全ての教師データを注 目画素として、 式 （4 6 ) の正規方程式を求めると、 その正規方程式を係数決定 部 3 5 5に出力する。係数決定部 3 5 5は、入力された正規方程式（上述の式（4 6 ) ) を例えば、 コレスキー法などにより解いて係数セットを求める。
次に、 図 4 4のフローチャートを参照して、 図 4 3の学習装置 3 4 1による係 数決定処理 （学習処理） について説明する。 ステップ S 2 7 1において、 教師デ ータ生成部 3 5 1は、 学習用データから教師データを生成し、 正規方程式生成部 3 5 4に出力すると共に、 生徒データ生成部 3 5 2は、 学習用データから生徒デ ータを生成し、 予測タップ抽出部 3 5 3に出力して、 ステップ S 2 7 2に進む。 ステップ S 2 7 2において、 予測タップ抽出部 3 5 2は、 各教師データを順次 注目画素として、 各注目データについて、 生徒データより予測タップを抽出し、 正規方程式生成部 3 5 4に出力して、 ステップ S 2 7 3に進む。
ステップ S 2 7 3において、 正規方程式生成部 3 5 4は、 各教師データと予測 タップのセットを用いて、 式 （4 6 ) における左辺の行列の各コンポーネントと なっているサメーシヨン (∑) と、 右辺のベクトルの各コンポーネントとなって いるサメーシヨン （∑) を演算することにより、 正規方程式を生成し、 係数決定 部 3 5 5に出力する。
そして、 ステップ S 2 7 4に進み、 係数決定部 3 5 5は、 正規方程式生成部 3 5 4より入力された正規方程式を解いて、 いわゆる最小 2乗誤差法により係数セ ットを求め、 ステップ S 2 7 5において、 係数メモリ 3 2 1に記憶させる。 以上の処理により、 係数メモリ 3 2 1に基礎となる係数セット （初期値として の係数セット） が記憶される。 尚、 以上の例においては、 係数セットは、 最小 2 乗誤差法により求められる場合について説明してきたが、 その他の方法で求めら れた係数セットであってもよく、 上述の最小 N乗誤差法により求められる係数セ ットであってもよい。
次に、 図 4 1の係数変更部 3 2 2の変更処理部 3 3 2による係数セットの変更 について説明する。係数セットは、上述の図 4 4のフローチヤ一トの処理により、 係数メモリ 3 2 1に予め記憶されているもめであるが、 係数変更部 3 2 2は、 こ の予め演算により設定されている係数セットの各予測係数を操作部 2 0 2から入 力される操作信号に基づいて変更する。
例えば、 生徒データから抽出される予測タップが、 図 4 5に示すように、 7タ ップ X 7タップ （横 X縦が 7 X 7画素） の合計 4 9タップであった場合、 各予測 タップに対応する予測係数も同一の数だけ存在する。 すなわち、 この場合、 係数 メモリ 3 2 1に記憶されている係数セットは、 4 9個の予測係数からなる係数セ ットである。 このとき、 各予測タップの位置 （タップ位置） を横軸として （例え ば、 各予測タップに番号を付して、 その番号の値を横軸として） 、 各タップ位置 の予測タップと乗算される予測係数の係数値を縦軸とした時の分布が、 図 4 6で 示すようになっているものとする。 いま、 ユーザに、 係数セッ トの各係数値を全 て変更させようとすると 4 9個もの各係数の係数値を操作する必要がる。 各係数 の値は、 入力信号と、 その入力信号と予測係数で処理して得られる出力信号との ゲインが同一となるように、 正規化 （係数全ての値の合計で個々の係数を割った もの） されたもの、すなわち、係数の値の合計が 1である必要があるが、 さらに、 その合計が 1となるように、 個々の係数を操作することは、 困難である。
すなわち、 例えば、 図 4 7中で矢印で示された予測タップに対応する係数の係 数値だけを引き上げることを考えると、 タップ位置と係数値の分布は、 図 4 8で 示すようなものとなる。 尚、 図 4 8中タップ位置 tは、 図 4 7中の矢印で指定さ れたタップ位置である。
このように、 ある特定の予測タップに対応する係数の係数値だけを引き上げる (増加させる） と、 その他のタップ位置の係数の係数値を減少させるなどして、 その合計が 1となるように操作する必要があるが、 その操作は困難である。 さら に、 これ以上の数の予測タップに対応する係数の係数値を変化させる場合も同様 に、 その合計を 1とする操作は困難である。
そこで、 変更処理部 3 3 2は、 操作信号が図 4 9の矢印で示される 1つのタツ プ位置に対応する係数の係数値を、所定の閾値 S 1 1よりも大きく変化させる（変 化量が閾値 S 1 1より大きく変化する） ものであるとき、 他の係数の係数値を図
4 6で示すような分布から、 図 5 0で示すような分布に変更する。 すなわち、 変 更処理部 3 3 2は、 値が変化された係数に対応するタップ位置からの距離に応じ て、 係数値の分布がパネのようなモデルとして変化するように、 各タップ位置に 対応する係数の係数値を変化させる。 すなわち、 変更処理部 3 3 2は、 学習で求 められた係数セットの分布が図 4 6のような分布であった場合、 操作部 2 0 2が 図 5 0で示すように、 タップ位置 tに対応する値を引き上げるように操作された とき、 その他の値については、 タップ位置 tから近い位置の係数値を、 その位置 が近いほど大きく変化するように増加させ、 逆にタップ位置 tから遠い位置のタ ップに対応する係数の係数値を、 その位置が遠いほど大きく減少するように変更 させ、 さらに係数値の合計が 1となるようにする。 ここで、 以下においては、 図
5 0のようにバネ状に分布が変化するモデルをパネモデルと称する。 尚、 バネモ デルによれば、 あるタップ位置 tの係数を引き下げるように、 操作部 2 0 2が操 作された場合は、 タップ位置 tから近い位置の係数値は、 その位置の近さに応じ て引き下げられ、 逆にタップ位置 tから遠い位置の係数値は、 その位置の遠さに 応じて引き上げられる。
また、 係数の係数値の変化量が所定の閾値 S 1 1より小さいとき、 変更処理部 3 3 2は、 図 5 1で示すようにタップ位置 tの係数の変化量に応じて、 タップ位 置 tの係数と同じ極性の極値をとる係数値は、 タップ位置 tの係数と同じ方向に 変更させ、 タツプ位置 tの係数と異なる極性の極値をとる係数値は、 タップ位置 tの係数と逆方向に変更させ （操作された係数が持つ極値の方向と同じ極値の係 数は、 操作された係数と同じ方向にシフトし、 操作された係数が持つ極値の方向 と異なる極値の係数は、 操作された係数と逆方向にシフトさせられ） 、 全体とし て分布のバランスを均衡に保つようにして係数値の合計を 1となるように変化さ せる。 尚、 以下においては、 図 5 1のように全体としたバランスを均衡に保ちな がら係数値を変化させるモデルを均衡モデルと称するものとする。 また、 均衡モ デルは、 このように変化することから H P F (High Pass Filter) や L P F (Lo w Pass Filter) として近似的に （等価的に） 機能する。
尚、 上述においては、 均衡モデルにおいて、 正の値の係数値が、 引き上げられ た場合について説明してきた力 例えば、正の値の係数値が引き下げられた場合、 すなわち、 負の方向に変化された場合、 正の値は、 負方向に変更させ、 負の値の 係数値は、 正の方向に変更させる。 さらに、 負の値の係数値が、 引き上げられた 場合、 正の値の係数値は、 負方向に変更させ、 負の係数は、 正方向に変更させ、 また、負の値の係数値が引き下げられた場合、正の係数値は、正方向に変更させ、 負の係数値は、負方向に変更させる。均衡モデルにおいては、いずれにおいても、 全体としてバランスが均衡に保たれる方向に係数の値が変更される。
以上のように、 変更処理部 3 3 2は、 変更された係数値の変化量が閾値 S 1 1 より大きいときは、 図 5 0で示すパネモデルによりその他のタップに対応する係 数値を変化させ、 係数値の変化量が閾値 S 1 1より.も小さいときは、 図 5 1で示 す均衡モデルによりその他のタップに対応する係数の係数値を変化させる。 これ は、 1個の係数の変化量が大きい時には、 各係数値全体のバランスから見て影響 が大きいものとなるので全体のバランスを維持する変化をさせるのは不自然なも のとなるためパネモデルを採用し、 変化量が小さい場合には、 その係数の変化は 全体のバランスへの影響が小さいので、 全体としてバランスを維持するように変 化させるためである。
尚、 操作部 2 0 2が操作されることにより、 変更された係数値以外の係数の変 化のモデルはこれに限るものではなく、 全体として、 係数値の合計が 1となるよ うに変化させるものであれば良い。 また、 上述の場合には、 操作部 2 0 2が操作 されることにより変更された係数の変化量の大小に応じて、 他の係数を変化させ るモデルを切り替えるようにしたが、 他の係数を変化させるモデルは、 固定する ことも可能である。
次に、 図 5 2のフローチャートを参照して、 図 4 1の最適化装置 3 0 1の画像 最適化処理について説明する。 尚、 この画像最適化処理は、 係数変更処理と、 マ ッビング処理からなるマツビング処理は、 図 3 5や図 3 8で説明したマッビング 処理と同一であるため、 ここでは、 係数変更処理についてのみ説明する。
ステップ S 2 9 1において、 係数変更部 3 2 2の変更処理部 3 3 2 (図 4 2 ) は、係数値を操作する操作信号が操作部 2 0 2より入力されたか否かを判定する。 すなわち、 ユーザは、 表示部 2 0 3に表示された画像をみて自らの好みに合うも のであるとみなした場合、 いま、 係数メモリ 3 2 1 (図 4 1 ) に記憶されている 係数セットによるマッピング処理を実行させるが、 自らの好みに合うものではな いと判定した場合、 マッピング処理に使用される係数メモリ 3 2 1に記憶されて いる係数セットを変更する操作を行う。
例えば、 ステップ S 2 9 1において、 係数を操作する操作信号が入力されたと 判定された場合、 すなわち、 係数メモリ 3 2 1に記憶された係数のうちいずれか 1個の係数値を変更するように、 操作部 2 0 2が操作された場合、 ステップ S 2 9 2に進む。
ステップ S 2 9 2において、 変更処理部 3 3 2は、 係数読出書込部 3 3 1^を制 御して、 係数メモリ 3 2 1に記憶されている係数セットを読み出させ、 ステップ S 2 9 3に進む。 ステップ S 2 9 3において、 変更処理部 3 3 2は、 操作信号と して入力された係数値が係数セットに予め含まれている値と比べて所定の閾値 S 1 1以上に変化しているか否かを判定する。例えば、ステップ S 2 9 3において、 操作信号として入力された値と係数メモリ 3 2 1に記憶されていた係数セットの 値との変化が閾値 S 1 1以上であると判定された場合、 その処理は、 ステップ S
2 9 4に進む。
ステップ S 2 9 4において、 変更処理部 3 3 2は、 係数セットに含まれる各係 数の値を、 図 5 0で示したようにバネモデルによって変更し、 その処理は、 ステ ップ S 2 9 5に進む。
一方、 ステップ S 2 9 3において、 操作信号として入力された値と係数メモリ
3 2 1に記憶されていた係数セットの値との変化が閾値 S 1 1以上ではないと判 定された場合、 その処理は、 ステップ S 2 9 6に進む。 ステップ S 2 9 6において、 変更処理部 3 3 2は、 係数セットに含まれる各係 数の値を、 図 5 1で示したように均衡モデルによって変更し、 その処理は、 ステ ップ S 2 9 5に進む。
ステップ S 2 9 5において、 変更処理部 3 3 2は、 係数読出書込部 3 3 1を制 御して、 変更した係数セットの値を係数メモリ 3 2 1に上書き記憶させ、 その処 理は、 ステップ S 2 9 1に戻り、 それ以降の処理が繰り返される。
そして、 ステップ S 2 9 1において、 係数値が操作されていないと判定された 場合、 すなわち、 ユーザが表示部 2 0 3に表示された画像がユーザの好みの画像 であると判定された場合、 ステップ S 2 9 1に戻り、 以下、 同様の処理が繰り返 される。
以上の係数変更処理により、 ユーザは、 マッピング処理に用いられる係数セッ トを変化させ、 ユーザにとって最適な処理を実行させることが可能となる。 尚、 係数セットの各係数の値を変更することは、 マッビング処理部 3 1 1によるマツ ビング処理の 「処理の内容」 が変更されることになる。
また、 図 5 2の係数変更処理では、 係数の変化の大きさが所定の閾値 S 1 1以 上のときには、 操作された係数の値に応じて、 係数セットの全ての係数値をバネ モデルで変更させ、 閾値 S 1 1よりも小さいときは、 係数セットの全ての係数値 を均衡モデルで変更させるため、 係数セットを変更させるアルゴリズムが変化す る。 従って、 図 4 1の最適化装置 3 0 1の処理部 3 1 1でも、 ユーザの操作に従 い、 その 「処理の内容」 も、 さらには、 その 「処理の構造」 も変更され、 これに よりユーザにとって最適な信号処理が行われているということができる。
また、 上述のように、 係数メモリ 3 2 1に記憶される係数セットが、 最小 N乗 誤差法により求められるものである場合、 例えば、 複数の指数 Nに対応する係数 セットを予め係数メモリ 3 2 1に記憶させておき、 係数変更部 3 2 2が、 ユーザ の操作に基づいた操作部 2 0 2からの操作信号に従って、 指定された指数 Nに対 応する係数セットに変更させるようにしても良い。 この場合、 係数メモリ 3 2 1 に記憶される各係数セットは、 ユーザの操作に基づいて操作部 2 0 2から入力さ れる指数 Nに対応した最小 N乗誤差法により生成されたものに変更される、 すな わち、 異なる係数セット生成アルゴリズムにより生成された係数セットに変更さ れるから、 「処理の構造」 が変更されているということができる。
次に、 図 5 3を参照して、 図 4 1の最適化装置 3 0 1に内部情報生成部 3 7 1 を設けた実施の形態について説明する。 尚、 図 5 3においては、 内部情報生成部 3 7 1が設けられた以外の点については、 図 4 1で示した最適化装置 3 0 1と同 様のものである。
内部情報生成装置 3 7 1は、 処理部 3 1 1の内部情報として、 例えば、 係数メ モリ 3 2 1に記憶されている係数セットを読み出して、 表示部 2 0 3に表示可能 な画像信号に変換した後、 表示部 2 0 3に出力して、 表示させる。
次に、 図 5 4のフローチャートを参照して、 図 5 3の最適化装置 3 0 1の画像 最適化処理について説明する。 この画像最適化処理も、 図 4 1の最適化処理 3 0 1が行う画像最適化処理と同様に、係数変更処理と、マツビング処理からなるが、 マッピング処理は、図 3 5や図 3 8で説明したマッピング処理と同一であるため、 ここでは、 係数変更処理についてのみ説明する。
係数変更処理では、 ステップ S 3 1 1乃至 S 3 1 5において、 図 5 2のステツ プ S 2 9 1乃至 S 2 9 6における場合と、 それぞれ同様の処理が行われる。
そして、 ステップ S 3 1 5において、 図 5 2のステップ S 2 9 5における場合 と同様に、 変更後の係数セットが係数メモリ 3 2 1に記憶された後は、 ステップ S 3 1 7に進み、 内部情報生成部 3 7 1は、 係数メモリ 3 2 1に記憶されている 係数セットの各係数値を読出し、表示部 2 0 3で表示可能な画像信号に変換して、 表示部 2 0 3に出力して表示させる。 このとき、 表示部 2 0 3には、 例えば、 上 述の図 3 9で示したような 3次元分布図や、 または、 図 4 0で示した 2次元分布 図のような形式 して、 係数セットの各係数値を表示するようにすることができ る。
ステップ S 3 1 7の処理後は、 ステップ S 3 1 1に戻り、 以下、 同様の処理が 繰り返される。 図 5 4の係数変更処理によれば、 係数メモリ 3 2 1に記憶された係数セットの 値が、 内部情報として表示されるので、 ユーザは、 この係数セットを見ながらュ 一ザにとって最適な処理を実行する係数セットが得られるように、 操作部 2 0 2 を操作することが可能となる。
尚、 マッピング処理部 2 2 2の積和演算部 2 5 2 (図 3 1 ) では、 式 （3 9 ) の 1次式ではなく、 2次以上の高次の式を演算することによって、 出力信号を求 めるようにすることが可能である。
次に、 図 5 5を参照して、 入力信号としての画像信号からテロップ部分を抽出 する最適化装置 4 0 1の構成例について説明する。
最適化装置 4 0 1の特徴量検出部 4 1 1は、 操作部 4 0 2より入力される操作 信号に基づいて、 例えば、 指定された 2種類の特徴量を入力信号としての画像信 号の各画素について検出し、 検出した特徴量の情報を処理決定部 4 1 2に出力す る。 また、 特徴量検出部 4 1 1は、 入力された画像信号よりテロップが抽出され るまでの間、 内部のバッファ 4 2 1に入力信号としての画像信号を記憶し、 処理 部 4 1 3に出力する。 操作部 4 0 2は、 図 4 1や図 5 3の操作部 2 0 2と同様の ものである。 尚、 特徴量検出部 4 1 1は、 指定された 2種類の特徴量を入力信号 としての画像信号の各画素について検出するだけのものに限らず、 例えば、 複数 種類の特徴量を同時に検出し、 その中から指定された 2種類の特徴量を出力する ものでも良いし、 2種類以上の特徴量を同時に検出し、 同時に出力するものでも 良い。
処理決定部 4 1 2は、 特徴量検出部 4 1 1より入力された特徴量に基づいて、 後段の処理部 4 1 3が画像信号に対して施す処理を、例えば、画素単位で決定し、 決定した処理内容を処理部 4 1 3に出力する。
処理部 4 1 3は、バッファ 4 2 1より読み出した入力信号としての画像信号に、 処理決定部 4 1 2より入力された処理内容の処理を画素単位で施し、 表示部 4 0 3に出力し、 表示させる。
次に、 図 5 6を参照して、 特徴量検出部 4 1 1の構成について説明する。 特徴 量検出部 4 1 1のバッファ 4 2 1は、 入力信号としての画像信号を一時的に記憶 して、 処理部 4 1 3に供給する。 特徴量抽出部 4 2 2は、 特徴量選択部 4 2 3に より選択された 2種類の特徴量を、 入力信号としての画像信号から抽出し、 処理 決定部 4 1 2に出力する。 特徴量選択部 4 2 3は、 操作部 4 0 2より入力される 操作信号に基づいて特徴量抽出部 4 2 2に対して入力信号から抽出すべき特徴量 を指定する情報を供給する。 選択可能な特徴量としては、 例えば、 画像信号の各 画素毎の輝度値、ラプラシアン、 ソーベル、 フレーム間差分、フィールド間差分、 背景差分、 および、 所定範囲内の各特徴量から得られる値 （総和、 平均、 ダイナ ミックレンジ、 最大値、 最小値、 中央値、 または、 分散など） などであるが、 そ れ以外の特徴量であっても良い。
次に、 図 5 7を参照して、 処理決定部 4 1 2の構成について説明する。 処理決 定部 4 1 2の特徴量認識部 4 3 1は、 特徴量検出部 4 2 1より入力されてくる複 数の特徴量の種類を認識し、 認識した特徴量の種類を示す情報と共に、 その特徴 量そのものを処理内容決定部 4 3 2に出力する。 処理内容決定部 4 3 2は、 特徴 量認識部 4 3 1より入力される特徴量の種類を示す情報と、 特徴量そのものに基 づいて、 処理内容データベース 4 3 3に記憶されている各特徴量毎に予め設定さ れている処理内容を決定し、 決定した処理内容を処理部 4 1 3に出力する。
次に、 図 5 8を参照して、 処理部 4 1 3の構成について説明する。 処理部 4 1 3の処理内容認識部 4 4 1は、 処理決定部 4 1 2より入力されてくる処理内容を 認識し、 認識した処理を実行するように処理実行部 4 4 2に対して指令する。 処 理実行部 4 4 2は、 処理内容認識部 4 4 1からの各画素毎の指令に基づいて、 バ ッファ 4 2 1を介して入力される入力信号に対して、 指定された処理を施し、 表 示部 2 0 2で表示可能な画像信号に変換して表示部 4 0 3に出力し、表示させる。 尚、 図 5 5の最適化装置 4 0 1は、 画像信号よりテロップを抽出するものであ るので、 処理内容は、 各画素毎にテロップ部分として抽出するか否か （表示させ るか否か） の処理となるが、 それ以外の処理を画像信号に施すようにさせても良 いし、テロップ部分と認識された画素については、入力信号がそのまま出力され、 テロップ部分以外と認識された画素については、 出力しないようにする処理であ つても良い。 また、 ここでは、 説明を簡単にするために、 入力信号として入力さ れる画像が 1フレームの静止画であるものとする。 伹し、 図 5 5の最適化装置 4 0 1は、 動画にも適用可能である。
次に、 図 5 9のフローチャートを参照して、 図 5 5の最適化装置によるテロッ プ抽出最適化処理について説明する。
ステップ S 3 3 1において、 特徴量検出部 4 1 1の特徴量抽出部 4 2 2は、 特 徴量選択部 4 2 3より 2種類の特徴量が選択されたか否かを判定し、 選択される までその処理を繰り返す。 すなわち、 ユーザが、 操作部 4 0 2を操作することに より入力されてくる特徴量の種類に応じた操作信号に基づいて、 特徴量選択部 4 2 3が選択された特徴量を示す情報を特徴量抽出部 4 2 2に入力するまで、 ステ ップ S 3 3 1の処理が繰り返される。 例えば、 特徴量選択部 4 2 3より特徴量を 選択する情報が入力されたと判定された場合、 すなわち、 ユーザが操作部 4 0 2 を操作して、 2種類の特徴量を選択したと判定した場合、 その処理は、 ステップ S 3 3 2に進む。
ステップ S 3 3 2において、 特徴量抽出部 4 2 2は、 選択された 2種類の特徴 量を入力信号としての画像信号より各画素毎に抽出し、 処理決定部 4 1 2に出力 する。このとき、バッファ 4 2 1には、入力信号としての画像信号が記憶される。 ステップ S 3 3 3において、 処理決定部 4 1 2は、 入力された 2種類の特徴量 に基づいて各画素毎に処理内容を決定して処理部 4 1 3に出力する。 より詳細に は、 特徴量認識部 4 3 1が、 入力された 2種類の特徴量を識別して、 識別した特 徴量の種類と、 特徴量そのものを処理決定部 4 1 2に出力する。 さらに、 処理決 定部 4 1 2は、 各画素毎に入力された 2種類の特徴量から処理内容を決定する。 より具体的には、 処理内容データベース 4 3 3には、 任意の 2種類の特徴量 Aと 特徴量 Bの組合せとして （特徴量 A， 特徴量 B ) 毎に、 その特徴量 Aと Bの各値 と、 その特徴量 Aと Bを有する画素に対する処理内容 （今の場合、 テロップであ るか無いかの情報） とを対応付けた L U T (Look Up Table) と呼ばれるテーブル が記憶されており、 処理内容決定部 4 3 2は、 いま処理しょうとしている注目画 素の （特徴量 A， 特徴量 B ) の組合せに基づいて、 L U Tを参照し、 対応する処 理、 すなわち、 テロップとして処理するか否かを決定して処理部 4 1 3に出力す る。 尚、 この L U Tは、 例えば、 予めテロップのみの画像から、 複数の特徴量を 抽出し、 その組合せをテロップであるという情報に対応付けることによって生成 される。 また、 L U Tの詳細については後述する。
ステップ S 3 3 4において、 処理部 4 1 3は、 処理決定部 4 1 2より入力され た処理内容に従ってバッファ 4 2 1を介して入力される入力信号としての画像信 号を処理し、 表示部 4 0 3に表示可能な画像信号に変換して、 表示部 4 0 3に出 力して、 表示させる。 より詳細には、 処理部 4 1 3の処理内容認識部 4 4 1は、 処理決定部 4 1 2より入力された処理内容を認識して、 対応する画素に対して決 定された処理を実行するように処理実行部 4 4 2に指令する。 処理実行部 4 4 2 は、 バッファ 4 2 1に記憶された入力信号としての画像信号を読出し、 各画素毎 に対応する処理を実行した後、 表示部 4 0 3で表示可能な画像信号に変換して、 表示部 4 0 3に出力すると共に表示させる。
ステップ S 3 3 5において、 特徴量検出部 4 1 1は、 テロップが抽出されてい るとみなされているか否かを判定する。 すなわち、 ユーザが、 表示部 4 0 3に表 示された画像を見て、 テロップが抽出されていると判断されないとき、 再度特徴 量の組合せを変更してテロップ抽出処理をしょうとするように操作部 4 0 2を操 作する。 この操作に対応する操作部 4 0 2からの操作信号が入力されたとき、 そ の処理は、 ステップ S 3 3 1に戻り、 それ以降の処理が繰り返される。
一方、 ユーザの主観によりテロップが抽出されていると判定されるとき、 ユー ザが、 操作部 4 0 2を操作することにより処理の終了を示す操作信号が特徴量検 出部 4 2 1に入力され、 このとき、 処理は終了する。
すなわち、 上述の処理により、 ユーザが、 表示部 4 0 3に表示される画像を見 て、 テロップが抽出されていると判断できるまで、 ステップ S 3 3 1乃至 S 3 3 5の処理が操り返されることにより、 ユーザにとって最適な特徴量の組合せを設 定し、 入力信号としての画像信号からテロップを抽出させるようにすることがで きる。 尚、 上述において、 処理内容を決定するために、 2種類の特徴量を用いて いたが、 それ以外の数の種類の特徴量により処理内容を決定するようにしても良 レ、。 また、 ステップ S 3 3 1の処理においては、 ユーザによる操作部 4 0 2の所 定の操作 （例えば、 アップダウンを指定するボタン操作など） に対応した操作信 号により、 所定の順序で複数の特徴量の組合せが、 順次切り替わるようにして、 ユーザが特に特徴量の種類を意識しなくても特徴量を切替えて入力することがで きるようにしてもよレ、。
以上の処理においては、 ユーザによる操作部 4 0 2の操作に応じて、 特徴量検 出部 4 1 1で検出される特徴量の種類が、 処理部 4 1 3においてテロップが検出 されるように変更される。 この特徴量検出部 4 1 1で検出される特徴量の種類の 変更は、 処理決定部における処理内容の決定アルゴリズムの変更を示すことにな るので、 特徴量検出部 4 1 1においても 「処理の構造」 が変更されているといえ る。
また、 特徴量検出部 4 1 1では、 上述したように、 各種の特徴量の検出が可能 であるが、 この特徴量の中には、 その検出を行うのに、 例えば、 ラプラシアンな どのように、 フィルタ係数などのパラメータの設定が必要なものが存在する。 特 徴量の検出のためのパラメータは、 操作部 4 0 2の操作に対応して変更可能なよ うにすることができるが、 このパラメータの変更によれば、 特徴量検出部 4 1 1 で検出される特徴量の種類自体は変わらないが、 検出される特徴量の値は変化す る。 従って、 この特徴量の検出のためのパラメータの変更は、 特徴量検出部 4 1 1の 「処理の内容」 の変更と言うことができる。
次に、 図 6 0を参照して、 図 5 5の最適化装置 4 0 1に内部情報生成部 5 1 1 を設けた最適化装置 5 0 1の構成について説明する。 図 6 0の最適化装置 5 0 1 においては、 内部情報生成部 5 1 1を設けた以外の構成については、 基本的に図 5 5の最適化装置 4 0 1と同様である。
最適化装置 5 0 1の内部情報生成部 5 1 1は、 内部情報として、 例えば、 特徴 量検出部 4 1 1の特徴量選択部 4 2 3より出力される特徴量選択情報を抽出し、 今現在選択された特徴量の種類を表示部 4 0 3に表示させる。
ここで、 図 6 1のフローチヤ一トを参照して、 最適化装置 5 0 1によるテロッ プ抽出最適化処理について説明する。 .
尚、 この処理は、 図 5 9のフローチャートを参照して説明した、 図 5 5の最適 化装置 4 0 1によるテロップ抽出最適化処理と基本的には同様の処理であり、 選 択された特徴量の種類を示す情報が表示される処理が加えられた点が異なる。 すなわち、 ステップ S 3 4 1において、 特徴量検出部 4 1 1の特徴量抽出部 4 2 2は、 特徴量選択部 4 2 3より 2種類の特徴量が選択されたか否かを判定し、 選択されるまでその処理を繰り返す。 例えば、 特徴量選択部 4 2 3より特徴量を 選択する情報が入力されたと判定された場合、 すなわち、 ユーザが操作部 4 0 2 を操作して、 2種類の特徴量を選択したと判定した場合、 その処理は、 ステップ S 3 4 2に進む。
ステップ S 3 4 2において、 内部情報生成部 5 1 1は、 選択された 2種類の特 徴量の種類を示す情報を特徴量選択部 4 2 3より抽出し、 選択された 2種類の特 徴量の種類の名称を表示部 4 0 3に表示させる。
以下、 ステップ S 3 4 3乃至 S 3 4 6において、 図 5 9のステップ S 3 3 2乃 至 S 3 3 5における場合と、 それぞれ同様の処理が行われる。
図 6 1の処理によれば、 特徴量検出部 4 1 1の処理に関する内部情報である現 在選択されている特徴量の種類が表示 （呈示） されるので、 ユーザは、 現在選択 されている特徴量の種類を把握しながら、 入力信号としての画像信号からテロッ プを精度良く抽出することができるような最適な特徴量の組合せを設定すること ができる。
尚、 内部情報生成部 5 1 1では、 例えば、 特徴量検出部 4 1 1で検出された各 画素のついての 2種類の特徴量の値の分布を、 内部情報として生成し、 表示部 4 0 3において、 後述する図 6 5や図 6 7に示すように表示させるようにすること が可能である。 また、 上述したように、 操作部 4 0 2の操作に応じて、 特徴量の検出のための パラメータを変更する場合には、 内部情報生成部 5 1 1では、 そのパラメータを 内部情報として、 表示部 4 0 3に表示 （呈示） させるようにすることも可能であ る。
次に、 図 6 2を参照して、 図 6 0の内部情報生成部 5 1 1に替えて、 処理決定 部 4 1 2から内部情報を生成する内部情報生成部 6 1 1を設けるようにした最適 化装置 6 0 1の構成例について説明する。
図 6 2の最適化装置 6 0 1は、 図 6 0の内部情報生成部 5 1 1に替えて、 内部 情報生成部 6 1 1を設けたこと以外は、 図 6 0の最適化装置 5 0 1と同様に構成 されている。
内部情報生成部 6 1 1は、 内部情報として、 例えば、 処理決定部 ·4 1 2の処理 内容決定部 4 3 2により決定された処理内容と、 実際に検出された 2種類の特徴 量に基づいて、 2種類の特徴量を軸とした時のテロップ抽出された画素と、 テロ ップ抽出されなかった画素の分布図 （例えば、 図 6 5， 図 6 7 ) を生成し、 表示 部 4 0 3に表示させる。
次に、 図 6 3のフローチャートを参照して、 図 6 2の最適化装置 6 0 1による テロップ抽出最適化処理について説明する。
尚、 この処理は、 図 6 1のフローチャートを参照して説明した、 図 6 0の最適 化装置 5 0 1によるテロップ抽出最適化処理と基本的には同様の処理であり、 選 択された 2種類の特徴量を軸とした、 画素がテロップ抽出されたか否かの分布が 表示される処理が加えられた点が異なる。
すなわち、 ステップ S 3 5 1において、 特徴量検出部 4 1 1の特徴量抽出部 4 2 2は、 特徴量選択部 4 2 3より 2種類の特徴量が選択されたか否かを判定し、 選択されるまでその処理を繰り返す。 例えば、 特徴量選択部 4 2 3より特徴量を 選択する情報が入力されたと判定された場合、 すなわち、 ユーザが操作部 4 0 2 を操作して、 2種類の特徴量を選択したと判定した場合、 その処理は、
S 3 5 2に進む。 3 5 2において、 特徴量抽出部 4 2 2は、 選択された 2種類の特徴 量を入力信号としての画像信号より各画素毎に抽出し、 処理決定部 4 1 2に出力 する。このとき、バッファ 4 2 1には、入力信号としての画像信号が記憶される。 ステップ S 3 5 3において、 処理決定部 4 1 2は、 入力された 2種類の特徴量 に基づいて各画素毎に処理内容を決定して処理部 4 1 3に出力する。
ステップ S 3 5 4において、 処理部 4 1 3は、 処理決定部 4 1 2より入力され た処理内容に従ってバッファ 4 2 1より読み出される入力信号としての画像信号 を処理し、 表示部 4 0 3に表示可能な画像信号に変換して、 表示部 4 0 3に出力 して、 表示させる。
ステップ S 3 5 5において、 内部情報生成部 6 1 1は、 処理決定部 4 1 2の処 理内容決定部により決定された処理内容を、 2種類の特徴量を軸として、 プロッ トした分布図を、 内部情報として生成し、 表示部 4 0 3に表示させる。
ステップ S 3 5 6において、 特徴量検出部 4 1 1は、 テロップが抽出されてい るとみなされているか否かを判定する。 ステップ S 3 5 6において、 ユーザの操 作に対応する操作部 2 0 2からの操作信号が入力され、 テロップが抽出されてい ないとみなされたとき、 その処理は、 ステップ S 3 5 1に戻り、 それ以降の処理 が繰り返される。
—方、 ステップ S 3 5 6において、 ユーザが、 操作部 4 0 2を操作することに より処理の終了を示す操作信号が特徴量検出部 4 2 1に入力されたとき、 処理は 終了する。
すなわち、 例えば、 図 6 4で示すような入力信号としての画像信号が入力され たものとする。 図 6 4においては、 背景画像 （ここでは、 テロップでない部分） に対して、 図中中央に 「タイ トル A B C」 がテロップとして表示されている。 ステップ S 3 5 5においては、 内部情報生成部 6 1 1は、 図 6 4で示すような 画像信号から検出された 2種類の特徴量をそれぞれ軸としてテロップとして抽出 されたか否かを示す分布を、 例えば、 図 6 5で示すような 2次元分布図として表 示する。 図 6 5の例では、 特徴量として選択されたものは、 ラプラシアンとフレーム間 差分の 2種類となっており、 図中丸印がテロップ抽出された画素を示し、 バッ印 がテロップ抽出されなかった画素を示す。 図 6 5の例では、 テロップ抽出された 画素と、テロップ抽出されなかった画素が分布上境目のない状態になっている（テ 口ップの画素とテロップではない画素との分布が分かれていない） 。 このような 分布となっている場合、 テロップは背景画像から抽出されていないことが多く、 例えば、 図 6 6で示すように、 テロップ部分が境界ではなく、 その周りに、 境界 6 2 1 , 6 2 2が生じるような状態となる。
このようなとき、 ユーザは、 テロップが抽出されていないと判定することに成 り、 結果として、 ステップ S 3 5 1乃至 S 3 5 6の処理が繰り返されることにな る。 そして、 この処理が繰り返されることにより、 例えば、 選択された特徴量が ラプラシアン和 （1 7画素 X I 7画素） （注目画素を中心とした 1 7画素 X 1 7 画素範囲の画素の各ラプラシアンの総和） と輝度 D R (各画素の輝度値の注目画 素を中心とした 1 7画素 X 1 7画素範囲の画素のダイナミックレンジ） となった とき、 図 6 7で示すように、 分布図が生成されたとする。 このとき、 図 6 7にお いては、 テロップとして抽出された画素の分布と、 テロップとして抽出されなか つた画素の分布が視覚的に分かれた状態となっている。 すなわち、 特徴量として ラプラシアン和と輝度 D Rの組合せを選択した時に、 入力画像のテロップとそれ 以外の部分が分かれるように分布することが示されている。 このような分布が得 られた時、 各画素から検出された特徴量としてのラプラシアン和と輝度 D Rを閾 値処理等することにより、 図 6 8で示すように、 テロップ部分を精度良く抽出す ることができる。
このように、 上述の処理により、 ユーザが、 表示部 4 0 3に表示される画像と 共に、 選択された 2種類の特徴量を軸とした 2次元分布を見て、 テロップが抽出 されていると判断できるまで、 ステップ S 3 5 1乃至 S 3 5 6の処理が繰り返さ れることにより、 処理決定部 4 1 2の処理に関する内部情報としての特徴量から みたテロップと検出された画素と、 背景画素との分布が表示されることにより、 ユーザは、 特徴量からみたテロップと検出された画素と、 背景画素との分布を把 握しながら、 入力信号としての画像信号からテロップを精度良く抽出することが できるように操作部 4 0 2を操作して、 ユーザにとって最適な特徴量の組合せを 設定することができる。
次に、 図 6 9を参照して、 図 6 2で示した最適化装置 6 0 1の処理決定部 4 1 2に替えて、 処理決定部 7 1 1を設けた最適化装置 7 0 1の構成について説明す る。 最適化装置 7 0 1においては、 処理決定部 4 1 2に替えて、 処理決定部 7 1 1が設けられた以外の構成は、 図 6 2で示した最適化装置 6 0 1と同様である。 処理決定部 7 1 1は、 操作部 7 0 2 (操作部 4 0 2と同じもの） からの操作信 号に基づいて、 処理内容データベース 4 3 3の L U Tの内容を変更すると共に、 特徴量検出部 4 1 1より入力された特徴量に基づいて、 後段の処理部 4 1 3が画 像信号に対して施す処理を画素単位で決定し、 決定した処理内容を処理部 4 1 3 に出力する。
次に、 図 7 0を参照して、 処理決定部 7 1 1について説明する。 基本的な構成 は、図 5 0の処理決定部 4 1 2と同様である力 処理内容決定部 4 3 2に替えて、 処理内容決定部 7 2 1が設けられている。 処理内容決定部 7 2 1は、 操作部 7 0 2より入力された操作信号に基づいて、 処理内容データベース 4 3 3に記憶され た 2種類の特徴量の組合せ毎に処理内容が決定されている L U Tを変更する。 よ り詳細には、 入力信号としての画像信号をそのまま表示した状態で、 操作部 2 0 2によりテロップとして指定された領域の画素の特徴量をテロップとみなし、 そ れ以外の領域をテロップ以外の処理をするように L U Tを設定する。
L U Tが変更された後、 処理内容決定部 7 2 1は、 特徴量認識部 4 3 1より入 力される特徴量を識別する情報と、 特徴量そのものに基づいて、 処理内容データ ベース 4 3 3に記憶されている各特徴量毎に予め設定されている処理内容を決定 し、 決定した処理内容を処理部 4 1 3に出力する。
次に、 図 7 1のフローチャートを参照して、 図 6 9の最適化装置 7 0 1による テロップ抽出最適化処理について説明する。 ステップ S 3 6 1において、 入力信号としての画像信号がそのまま表示部 4 0 3に表示される。 より詳細には、 特徴量検出部 4 1 1のバッファ 4 2 1が、 入力 信号としての画像信号を受信して記憶し、 処理部 4 1 3が、 バッファ 4 2 1に記 憶されている入力信号としての画像信号をそのまま読出し、 処理すること無く、 そのまま表示部 4 0 3に出力して、 表示させる。
ステップ S 3 6 2において、 処理決定部 7 1 1の処理内容決定部 7 2 1は、 操 作部 7 0 2よりテロップと背景が指示されたか否かを判定する。 すなわち、 例え ば、 ステップ S 3 6 1の処理で、 図 7 2で示すように処理されていない画像信号 が表示されていたものとする。 このとき、 ユーザが操作部 7 0 2を介してポイン タ 7 4 1を操作して （ドラッグ、 または、 クリックするなどして） 、 範囲 7 4 2 などにより大雑把にテ口ップ部分を指定するなどして、 例えば、 図 7 3で示すよ うに、 テロップ部 7 5 2と図 7 2の範囲 7 4 2の外側部分の背景部 7 5 1が指定 されるまでその処理を繰り返し、 テロップと背景部が指示されたとき、 指示され たそれぞれの対応する画素位置を内蔵するメモリ （図示せず） に記憶し、 その処 理は、 ステップ S 3 6 3に進む。
ステップ S 3 6 3において、 特徴量検出部 4 2 1の特徴量選択部 4 2 3は、 操 作部 2 0 2より所定の 2種類の特徴量を選択する操作信号が入力されたか否かを 判定し、 所定の 2種類の特徴量が指定されるまでその処理を繰り返し、 所定の 2 種類の特徴量が選択されたとき、 その処理は、 ステップ S 3 6 4に進む。
ステップ S 3 6 4において、 特徴量抽出部 4 2 2は、 特徴量選択部 4 2 3に入 力された特徴量の種類を選択する情報に基づいて、 入力信号から選択された 2種 類の特徴量を抽出して処理決定部 7 1 1に出力する。
ステップ S 3 6 5において、 内部情報生成部 6 1 1は、 処理決定部 7 1 1に入 力された 2種類の特徴量と、 テロップと背景に指定された画素位置の情報に基づ いて、 2種類の特徴量を軸とした 2次元分布図を生成し、 ステップ S 3 6 6にお いて、 その 2次元分布図を表示部 4 0 3に表示する。 より詳細には、 処理決定部 7 1 1の特徴量認識部 4 3 1が特徴量の種類を認識し、 その種類を示す情報と特 徴量そのものを処理内容決定部 7 2 1に出力し、 処理内容決定部 7 2 1が、 特徴 量とその種類を示す情報に加えて、 テロップと背景に指定された画素位置を示す 情報を内部情報生成部 6 1 1に出力することにより、 内部情報生成部 6 1 1が、 テロップと背景に指定された画素位置を示す情報に基づいて、 例えば、 図 7 4で 示すような特徴量の 2次元分布図を生成する。 すなわち、 図 7 4の例では、 ラブ ラシアンとフレーム間差分が特徴量として選択されている例が示されているが、 図中丸印がテロップの画素を示し、 図中バッ印が背景として指定された画素を示 している。 図 7 4の 2次元分布図においては、 例えば、 所定の画素について、 ラ プラシアンが Xという値で検出され、 フレーム間差分が Yという値で検出され、 その画素がテロップとして指定されているとき、 2次元分布上の （X , Y) の位 置に丸印が表示されるようになっており、 背景が指定されているとき、 同位置に バッ印が表示されるようになっている。
ステップ S 3 6 7において、 処理内容決定部 7 2 1は、 テロップと背景が分離 されていると判定されたことを示す操作信号が入力されたか否かを判定する。 す なわち、 例えば、 図 7 4で示すような 2次元分布の場合、 テロップを示す丸印の 分布と、 背景を示すバッ印の分布は、 完全に分離されているとは言えない状態の ため、 当然のことながら表示画面上でもテロップが抽出されていることが期待で きず、 例えば、 図 7 3で示すように、 背景部 7' 5 1とテロップ部 7 5 2とは別に 境界 7 5 3が生じるなどして、 背景とテロップが分かれていない状態であること が多い。 このようにユーザからみてテロップが抽出できていないと判定される場 合、 ユーザが再度特徴量を変更しょうとするとき、 ユーザの操作に応じて操作部 7 0 2は、 分離されていないことを示す操作信号を処理決定部 7 1 1の処理内容 決定部 7 2 1に出力する。 この場合、 ステップ S 3 6 7において、 テロップと背 景が分離されていると判定されたことを示す操作信号が入力されなかったと判定 され、 その処理は、 ステップ S 3 6 3に戻り、 それ以降の処理が繰り返される。 この処理により、 再び、 2種類の特徴量が選択されることになる。
また、 ステップ S 3 6 6の処理により、 例えば、 図 7 5で示すように、 テロッ プ部を示す丸印と、 背景を示すバッ印がある程度分離された状態となった時、 操 作部 7 0 2は、 ユーザにより操作され、 分離されていることを示す操作信号を処 理決定部 7 1 1の処理内容決定部 7 2 1に出力する。 この場合、 ステップ S 3 6 7において、 テロップと背景が分離されていると判定されたことを示す操作信号 が入力されたと判定され、 その処理は、 ステップ S 3 6 8に進む。
ステップ S 3 6 8において、 処理内容決定部 7 2 1は、 2次元分布上でテロッ プ部分が指示されたか否かを判定する。 すなわち、 図 7 5で示すように、 表示さ れた分布上にボインタ 7 4 1によりテロップを示す丸印が多く分布する範囲とし て、 例えば、 範囲 7 6 1などを指定する操作信号が操作部 7 0 2より入力された か否かを判定し、 範囲が指定されるまでその処理を繰り返し、 指定されたと判定 された場合、 その処理は、 ステップ S 3 6 9に進む。
ステップ S 3 6 9において、 処理内容決定部 7 2 1は、 操作部 7 0 2より入力 された図 7 5の範囲 7 6 1を指定する操作信号に基づいて、 各特徴量の組合せに 対応するテロップ抽出の有無を示す L U T上の処理内容を変更し、 変更された L U Tに応じて処理内容を決定して処理部 4 1 3に出力すると共に、 処理部 4 1 3 は、 入力された処理内容に従って、 バッファ 4 2 1を介して入力された入力信号 としての画像信号からテロップを抽出して表示部 4 0 3に表示させる。 より詳細 には、 処理内容決定部 7 2 1は、 操作部 7 0 2より入力された、 図 7 5で示すよ うな 2次元分布上の範囲を示す情報に基づいて、 指定された範囲に分布する画素 に対応する 2種類の特徴量の組合せをテロップとして抽出するように、 処理内容 データベース 4 3 3の L U Tを更新し、 更新した L U Tに従って、 各画素の処理 内容を決定し、 処理部 4 1 3に出力する。
ステップ S 3 7 0において、 処理内容決定部 7 2 1は、 テロップが抽出されて いると判定されているか否かを判定する。 すなわち、 ユーザからみてテロップが 抽出されていると判断しているか、 または、 テロップが抽出されていないと判断 しているかを判定する。 例えば、 図 7 6で示すように、 ステップ S 3 6 9の処理 によって、 表示部 4 0 3に出力画像が表示されているとき、 テロップ部と背景部 の境界 7 7 1， 7 7 2は、 テロップそのものではないので、 完全にテロップが抽 出されているとは言えない。 そこで、 ユーザからみて、 このようにテロップが抽 出されていないと判断されるとき、 ユーザは、 操作部 7 0 2を操作して、 テロッ プが抽出されていないことを示す操作信号を入力する。 処理決定部 7 1 1の処理 内容決定部 7 2 1は、この操作信号を受信したとき、ステップ S 3 7 0において、 テロップが抽出されていないと判定し、 その処理は、 ステップ S 3 7 1に進む。 ステップ S 3 7 1において、 2次元分布上のテロップの範囲を指定し直すか否 かが判定され、 2次元分布上のテロップの範囲を指定し直さないことが選択され たと判定された場合、 その処理は、 ステップ S 3 6 8に戻り、 それ以降の処理が 繰り返さ;^る。
一方、 ステップ S 3 7 0において、 例えば、 ステップ S 3 7 1の処理で、 テロ ップの範囲を指定し直すことが選択された場合、 ステップ S 3 6 8において、 図 7 7で示すように、 図 7 5の範囲 7 6 1に比べて、 テロップを示す丸印の分布の 存在する部分をより小さく絞り込んだ範囲 7 8 1 (よりテロップとして抽出され た丸印を多く含む部分を絞り込んだ範囲） を設定する。 すなわち、 図 7 5におい て、特徴量の分布上の範囲 7 6 1をテロップ部分として設定しても、結果として、 図 7 6に示すように、 テロップ部と背景部の境界 7 7 1， 7 7 2は、 テロップそ のものではないので、 完全にテロップが抽出されなかったことになる。
そこで、 ユーザは、 操作部 7 0 2を操作することにより、 特徴量の分布上の範 囲として（テロップ部分として指定する部分の範囲として）、範囲 7 6 1よりも、 狭い範囲 7 8 1を設定する。 このように範囲を設定することで、 テロップとして 抽出される特徴量の分布上の範囲は、 絞り込まれたことになる、 すなわち、 より 背景部分が排除されやすくなる。 ただし、 テロップとして抽出される範囲を狭く しすぎると、 テロップ自身も抽出されにくくなるので、 ユーザは、 抽出されたテ 口ップを見ながら、 このような処理を繰り返すことにより最適なテロップの抽出 状態を模索する。
そして、例えば、図 7 8で示すようにテロップが抽出された状態となったとき、 ステップ S 3 7 0において、 ユーザが、 テロップが抽出されたものと判定したと きは、 ユーザにより操作部 7 0 2が操作されて、 テロップが抽出されていると判 断していることを示す操作信号が、 処理決定部 7 1 1の処理内容決定部 7 2 1に 入力されることになるので、 テロップが抽出されていると判定し、 その処理は、 終了する。
また、 ステップ S 3 7 1において、 テロップの範囲を指定するのではないと判 定された場合、 その処理は、 ステップ S 3 6 3に戻り、 それ以降の処理が繰り返 される。
このような処理により、 まず、 ユーザが入力信号としての画像信号上でテロッ プと背景部と、 2種類の特徴量を選択し、さらに、選択されたテロップと背景が、 選択された特徴量を 2軸としたときにどのように 2次元分布するかを見て、 2次 元分布上でテロップの範囲を変えるか （絞り込むか） 、 または、 選択する 2種類 の特徴量を変えて、 さらに、 抽出されるテロップをみながら、 ユーザの好みの状 態となるまで、 処理を繰り返すことにより、 ユーザの好みに合ったテロップ抽出 処理を実現することができる。 尚、 ステップ S 3 6 2の処理で、 テロップと背景 処理が指示されたと判定されるとき、 テロップと背景の範囲の指定は、 その後、 2種類の特徴量の選択や、 2次元分布のテロップの絞込みの雛型となる情報を生 成することができれば良いので、 その範囲は、 大雑把なもので良い。
以上の処理においては、 ユーザにより選択された 2種類の特徴量の組合せに応 じて、 テロップであるカヽ または、 背景であるかの処理に分かれることになるの で、 ユーザの操作により 「処理の内容」 が変更されることになる。
また、 以上の処理においては、 操作部 4 0 2において、 2種類の特徴量を指定 することにより特徴量の種類が決定されたが、 例えば、 図 7 9で示すように、 操 作部 7 0 2の所定の操作ボタンによりアップまたはダウンの指示を操作信号とし て送るだけで 2種類の特徴量の組合せを変えられるようにしても良い。すなわち、 初期状態として、状態 Aで示す特徴量 a， bの組合せにより処理を実行し、次に、 ダウンを指示すると、 状態 Bで示す特徴量 b， cの組合せにより処理を実行し、 さらに、 ダウンを指示すると、 状態 Cで示す特徴量 c , dの組合せで処理を実行 し、 例えば、 状態 Cのとき、 アップを指定すると状態 Bに戻り、 さらに、 状態 B のとき、 アップを指定すると状態 Aに戻るようにしても良い。 このようにするこ とで、 ユーザは、 特徴量の種類について、 特に意識することなく、 次々と特徴量 を変えていくことができるので、 効率的にテロップ抽出するための特徴量の組合 せを絞り込むことが可能となる。
次に、 図 8◦を参照して、 図 5 5の最適化装置 4 0 1の特徴量検出部 4 1 1に 替えて、 既存の特徴量から新たな特徴量を生成することができる特徴量検出部 8 1 1を設けた最適化装置 8 0 1の構成について説明する。 図 8 0においては、 図 5 5の最適化装置 4 0 1の特徴量検出部 4 1 1に替えて、 特徴量検出部 8 1 1を 設けた以外の構成については同様である。
尚、 操作部 8 0 2は、 操作部 4 0 2と同様のものである。
図 8 1を参照して、 図 8 0の特徴量検出部 8 1 1の構成について説明する。 特 徴量検出部 8 1 1においては、バッファ 4 2 1、および、特徴量抽出部 4 2 2は、 図 5 6で示した特徴量検出部 4 1 1と同様である。 特徴量選択部 8 2 1は、 操作 部 8 0 2から入力される特徴量を指定する操作情報に基づいて、 特徴量抽出部 4· 2 2を制御して、 予め用意された特徴量のうち指定された 2種類の特徴量を抽出 して、 処理決定部 4 1 3に出力させる力、 または、 特徴量データベース 8 2 3に 予め記憶されている特徴量を処理決定部 4 1 3に出力する。 より詳細には、 特徴 量データベース 8 2 3には、 特徴量の種類と、 その特徴量の検出方法についての 特徴量情報が記憶されている。 特徴量抽出部 4 2 2は、 この特徴量情報に基づい て、 特徴量選択部 8 2 1により選択された特徴量の種類に対応する特徴量情報を 特徴量データベース 8 2 3から読み出して、 その特徴量情報に記録されている特 徴量の検出方法に従って、 入力信号から選択された特徴量を検出する。
予め用意された特徴量情報としては、各画素についての輝度値、ラプラシアン、 ソーベル、 フレーム間差分 （例えば、 注目画素 （X , y ) のフレーム間差分 f s ( χ , y ) は、 f s ( χ , y ) = f o ( x， y ) - f i ( χ , y ) で表され、 ここ で、 f 。 （x， y) は、 現在の注目画素を示し、 (x, y ) は、 空間上の同じ 位置の 1フレーム前の画素を示す） 、 フィールド間差分、 背景差分、 微分値 （例 えば、 注目画素 （ X， y) の微分値 f b ( x， y ) は、 f b ( x， y ) = 4 X f 。 (x, y ) — f o x— 1 , y ) — f o x + l， y ) — f 0 (x, y + 1 ) — f 0 (x, y— 1) で表され、 ここで、 f 。 (x, y ) は、 現在の注目画素を示し、 f 0 ( — 1 , y) , f ο ( + 1 , y) , f 。 (x， y + 1 ) , f 0 (x， y— 1 ) は、 それぞれ空間上の x, y方向に 1画素ずつ離れた画素を示す） 、 および、 所 定範囲内の各特徴量から得られる値（総和、平均、ダイナミックレンジ、最大値、 最小値、 中央値、 または、 分散など） などがあるが、 これ以外のものであっても 良い。
特徴量加工部 8 22は、 ユーザから入力された操作信号に基づいて、 特徴量デ ータベース 8 23に記憶された特徴量から新たな特徴量を生成する。 より詳細に は、 特徴量加工部 8 22は、 ユーザから入力された操作信号に基づいて、 特徴量 データベース 8 23に記憶された特徴量情報から新たな特徴量情報を生成し、 そ の特徴量情報に基づいて特徴量抽出部 422が新たな特徴量を抽出する。
また、 特徴量データベース 8 23に特徴量の種類として特徴量 A , B, Cの特 徴量情報が記憶されているものとすると、 特徴量 Aの DR (ダイナミックレンジ ：注目画素に対して所定の位置に存在する複数の画素の特徴量 Aの値を読出し、 その最小値と最大値の差分となる値を各画素毎に求めることにより生成される 値） を新たな特徴量 A' に対応した特徴量情報としてもよいし、 同様にして、 最 大値、 中央値、 最小値、 和、 分散、 閾値以上の値をとる画素数 （閾値も設定する ことが可能である） 、 または、 複数の特徴量間の線形一次結合を求めて、 新たな 特徴量情報としてもよい。 尚、 複数の特徴量間の線形一次結合とは、 例えば、 所 定の画素についてのラプラシアンが X a、 ソーベルが x b， フレーム間差分が x c であり、 この 3種類の特徴量を線形一次結合させるとき、 この 3種類の各特徴量 に係数を乗じて和を取ったもの、 すなわち、 AX xa + B X xb + CX x cが、 こ の画素の新たな特徴量とするものである。 ここで、 A， B, Cは、係数であるが、 この係数は、 例えば、 テロップ抽出の場合、 操作部 8 0 2によりテロップ部を大 雑把に指定した範囲の画素を教師データとし、 複数の特徴量を生徒データとした 学習処理により、 図 4 3、 および、 図 4 4で説明したようにして求めることがで きる。尚、図 8 1においては、特徴量データベース 8 2 3に記憶された特徴量は、 特徴量 A乃至 Cが特徴量抽出部 4 2 2により抽出された特徴量の種類を示し、 特 徴量 A ' 乃至 C ' 特徴量加工部 8 2 2により特徴量 A乃至 Cから加工された 特徴量の種類であるものとする （実際に記憶されているのは、 とそれぞれの特徴 量情報 （特徴量の種類と、 その検出方法を示す情報） である） 。
特徴量データベース 8 2 3に記憶される特徴量情報は、 特徴量抽出部 4 2 2に より抽出されるタイミングで指定されたものを記憶させるようにしても良いし、 予め特徴量データベース 8 2 3に記憶されていた特徴量情報が特徴量加工部 8 2 2により加工されたものであっても良いし、 それ以外の方法で予め記憶させてお くものであってもよい。
次に、 図 8 2のフローチャートを参照して、 図 8 0の最適化装置 8 0 1による テロップ抽出最適化処理について説明する。 ステップ S 3 8 1において、 特徴量 検出部 4 1 1の特徴量抽出部 4 2 2は、 特徴量選択部 8 2 1より 2種類の特徴量 が選択されたか否かを判定し、 選択されない場合、 その処理はステップ S 3 8 6 に進む。 また、 例えば、 特徴量選択部 4 2 3より特徴量を選択する情報が入力さ れたと判定された場合、 すなわち、 ユーザが操作部 8 0 2を操作して、 2種類の 特徴量を選択したと判定した場合、 その処理は、 ステップ S 3 8 2に進む。 ステップ S 3 8 2において、 特徴量抽出部 4 2 2は、 選択された 2種類の特徴 量を入力信号としての画像信号より各画素毎に抽出し、 処理決定部 4 1 2に出力 する。このとき、バッファ 4 2 1には、入力信号としての画像信号が記憶される。 ステップ S 3 8 3において、 処理決定部 4 1 2は、 入力された 2種類の特徴量 に基づいて各画素毎に処理内容を決定して処理部 4 1 3に出力する。
ステップ S 3 8 4において、 処理部 4 1 3は、 処理決定部 4 1 2より入力され た処理内容に従ってバッファ 4 2 1を介して入力される入力信号としての画像信 号を処理し、 表示部 4 0 3に表示可能な画像信号に変換して、 表示部 4 0 3に出 力して、 表示させる。
ステップ S 3 8 5において、 特徴量検出部 4 1 1は、 テロップが抽出されてい るとみなされているか否かを判定する。 すなわち、 ユーザが、 表示部 4 0 3に表 示された画像を見て、 テロップが抽出されていると判断されないとき、 再度特徴 量の組合せを変更してテロップ抽出処理をしょうとするように操作部 8 0 2を操 作する。 この操作に対応する操作部 8 0 2からの操作信号が入力されたとき、 そ の処理は、 ステップ S 3 8 6に進む。
ステップ S 3 8 6において、 特徴量検出部 8 1 1の特徴量加工部 8 2 2は、 特 徴量の加工が指示されたか否かを判定し、 特徴量の加工の指示が無い時、 その処 理は、 ステップ S 3 8 1に戻る。 一方、 ステップ S 3 8 6において、 特徴量加工 部 8 2 2は、 操作部 8 0 2より特徴量の加工を指示する操作信号が入力されたと 判定した場合、 その処理は、 ステップ S 3 8 7に進む。
ステップ S 3 8 7において、 特徴量加工部 8 2 2は、 基礎となる特徴量が指定 されたか否かを判定し、 基礎となる特徴量を指定する情報が入力されるまでその 処理を繰り返す。 例えば、 操作部 8 0 2が操作されて、 特徴量 Aを指示する操作 信号が入力されると、 入力信号としての画像信号の特徴量 Aを基礎となる特徴量 が入力されたと判定し、 その処理は、 ステップ S 3 8 8に進む。
ステップ S 3 8 8において、 特徴量加工部 8 2 2は、 加工処理内容が指示され たか否かを判定し、加工処理内容が指示されるまでその処理を繰り返す。例えば、 操作部 8 0 2が操作されて、 D Rを指示する操作信号が入力されると、 加工処理 内容が指定されたと判定し、 その処理は、 ステップ S 3 8 9に進む。
ステップ S 3 8 9において、 特徴量加工部 8 2 2は、 指定された特徴量を、 指 定された加工処理内容で加工し新たな特徴量を求め、 特徴量データベース 8 2 3 に記憶させ、 その処理は、 ステップ S 3 8 1に戻る。 すなわち、 今の場合、 特徴 量加工部 8 2 2は、 特徴量データベース 8 2 3より特徴量 Aを読み出して、 指定 された加工処理内容である D Rを取得することにより、 新たな特徴量 A ' を生成 し、 特徴量データベース 8 2 3に記憶させ、 その処理は、 ステップ S 3 8 1に戻 る。
一方、 ステップ S 3 8 5において、 ユーザの主観によりテロップが抽出されて いると判定されるとき、 ユーザは、 操作部 8 0 2を操作することにより処理の終 了を示す操作信号が特徴量検出部 4 2 1に入力され、このとき、処理は終了する。 すなわち、 上述の処理により、 ユーザが、 表示部 4 0 3に表示される画像を見 て、 テロップが抽出されていると判断できるまで、 ステップ S 3 8 1乃至 S 3 8 9の処理が繰り返されることにより、 ユーザにとって最適な特徴量の組合せを設 定し、 入力信号としての画像信号からテロップを抽出させるようにすることがで き、 さらに、 ユーザが選択する特徴量の種類を増やすことにより、 さらに、 多く の特徴量の組合せを設定することが可能となり、 ユーザにとって最適な処理を実 行させるようにすることができる。
以上の処理においては、 ユーザにより指定された 2種類の特徴量に応じて、 処 理内容が決定されて、 入力信号としての画像信号からテロップを抽出するように しているので、 ユーザの操作に従い、 その 「処理の内容」 ίΚ ユーザにとって所 望の出力信号が得られるように変更されているといえる。 また、 ユーザの操作に 従い、 特徴量の 2軸 （選択される 2種類の特徴量） が切替えられると共に、 新た な特徴量も設定される （特徴量の種類が増える） ことになり、 これらの特徴量の 組合せにより、 処理内容 （例えば、 テロップとして処理するか否か） を決定する アルゴリズムが変更されることになるので、 「処理の内容」 のうち、 「処理の構 造」 も変更されているといえる。
また、 テロップ抽出は、 試行錯誤により抽出する特徴量の種類を切替えていく ことにより得られるものであるが、 特徴量を固定的に用いた方法では、 想定する 特徴量を変化させるには、 プログラムを書き換えたり、 システムそのものを作り 直す必要があつたため、 テロップ抽出のための最適なアルゴリズムを発見的に得 るためには、 何度もシステムを作り直す必要があり、 現実的にはかなり困難なも のであった。 これに対して、 本発明の最適化装置では、 リアルタイムで新たな特 徴量を抽出させることが可能であり、 その特徴量分布の提示も可能であるため、 ユーザにより行われる試行錯誤も容易なものとなり、 テロップ抽出に最適な特徴 量を見出す可能性を向上させることができる。
次に、 図 8 3を参照して、 図 8 0の最適化装置 8 0 1に特徴量検出部 9 1 1と 内部情報生成部 9 1 2を設けるようにした最適化装置 9 0 1の構成について説明 する。 図 8 3の最適化装置 9 0 1においては、 特徴量検出部 8 1 1に替えて特徴 量検出部 9 1 1が設けられ、 さらに、 新たに内部情報生成部 9 1 2が設けられた 以外の構成は、 図 8 0で示した最適化装置 8 0 1と基本的には同様である。
次に、 図 8 4を参照して特徴量検出部 9 1 1の構成について説明する。 特徴量 検出部 9 1 1は、 図 8 1の特徴量検出部 8 1 1と基本的に同様の構成であるが、 特徴量選択部 8 2 1に替えて、 特徴量選択部 9 2 1を、 特徴量加工部 8 2 2に替 えて、 特徴量加工部 9 2 2を設けている。 いずれも、 基本的な機能は同様である 1 特徴量選択部 9 1 1は、 選択された特徴量の種類の情報を内部情報生成部 9 1 2に供給している点が異なる。 また、 特徴量加工部 9 2 2は、 表示部 4 0 3に 加工内容の指示に関する画像情報を出力している点が異なる。
内部情報生成部 9 1 2は、図 6 0の内部情報生成部 5 1 1と同様のものである。 また、 操作部 9 0 2は、 操作部 4 0 2と同様のものである。
次に、 図 8 5のフローチャートを参照して、 図 8 3の最適化装置 9 0 1による テロップ抽出最適化処理について説明する。 尚、 この処理は基本的に図 8 2のフ ローチャートを参照して説明した処理と同様であるが、 内部情報生成部 9 1 2に より選択された特徴量を表示する点が異なる。
すなわち、 ステップ S 3 9 1において、 特徴量検出部 9 1 1の特徴量抽出部4 2 2は、 特徴量選択部 9 2 1より 2種類の特徴量が選択されたか否かを判定し、 選択されない場合、 その処理は、 ステップ S 3 9 7に進む。 また、 例えば、 特徴 量選択部 9 2 1より特徴量を選択する情報が入力されたと判定された場合、 その 処理は、 ステップ S 3 9 2に進む。
ステップ S 3 9 2において、 内部情報生成部 9 1 2は、 選択された 2種類の特 徴量の種類を示す情報を特徴量選択部 9 2 1より抽出し、 選択された 2種類の特 徴量の種類の名称を表示部 4 0 3に表示させる。
ステップ S 3 9 3において、 特徴量抽出部 4 2 2は、 選択された 2種類の特徴 量を入力信号としての画像信号より各画素毎に抽出し、 処理決定部 4 1 2に出力 する。このとき、バッファ 4 2 1には、入力信号としての画像信号が記憶される。 ステップ S 3 9 4において、 処理決定部 4 1 2は、 入力された 2種類の特徴量 に基づいて各画素毎に処理内容を決定して処理部 4 1 3に出力する。
ステップ S 3 9 5において、 処理部 4 1 3は、 処理決定部 4 1 2より入力され た処理内容に従ってバッファ 4 2 1を介して入力される入力信号としての画像信 号を処理し、 表示部 4 0 3に表示可能な画像信号に変換して、 表示部 4 0 3に出 力して、 表示させる。
ステップ S 3 9 6において、 特徴量検出部 4 1 1は、 テロップが抽出されてい るとみなされているか否かを判定する。 すなわち、 ユーザが、 表示部 4 0 3に表 示された画像を見て、 テロップが抽出されていると判断されないとき、 再度特徴 量の組合せを変更してテロップ抽出処理をしょうとするように操作部 9 0 2を操 作する。 この操作に対応する操作部 9 0 2からの操作信号が入力されたとき、 そ の処理は、 ステップ S 3 9 7に進む。
ステップ S 3 9 7において、 特徴量検出部 9 1 1の特徴量加工部 9 2 2は、 特 徴量の加工が指示されたか否かを判定し、 特徴量の加工の指示が無い時、 その処 理は、 ステップ S 3 9 1に戻る。 一方、 ステップ S 3 9 7において、 特徴量加工 部 9 2 2は、 操作部 9 0 2より特徴量の加工を指示する操作信号が入力されたと 判定した場合、 その処理は、 ステップ S 3 9 8に進む。
ステップ S 3 9 8において、 特徴量加工部 9 2 2は、 例えば、 図 8 6で示すよ うな加工内容の指示画面を表示する。 図 8 6においては、 図中左側には、 基礎特 徴量表示部 9 3 1が設けられ、 基礎となる特徴量として、 今現在特徴量データべ ース 8 2 3に記憶されている特徴量が表示されている。 今の場合、 特徴量 A乃至 C、 および、 A ' 乃至 C ' が表示されている。 また、 その右側には、 加工処理内 容選択欄 9 3 2が表示されている。 今の場合、 D R、 最大値、 最小値、 中央値、 最小値、 和、 分散、 閾値以上の値をとる画素数、 または、 線形一次結合が表示さ れており、 閾値以上の値を取る画素数については、 閾値を設定する欄 9 3 2 aが 設けられており、 さらに、 線形一次結合を選択する場合に選択される特徴量を選 択する欄 9 3 2 bも設けられている。 さらに、 各値のスケールを設定するスケー ル設定欄 9 3 3が表示される。 スケール値とは、 注目画素を中心としたときの領 域を示すものであり、 例えば、 D Rを検出する際に、 必要な画素を 3画素 X 3画 素や、 5画素 X 5画素といったようにして示す画素の領域を示す値である。 ステップ S 3 9 9において、 特徴量加工部 9 2 2は、 基礎となる特徴量が指定 されたか否かを判定し、 基礎となる特徴量を指定する情報が入力されるまでその 処理を繰り返す。 例えば、 操作部 9 0 2が操作されて、 特徴量 Aを指示する操作 信号が入力されると、 入力信号としての画像信号の特徴量 Aを基礎となる特徴量 が入力されたと判定し、 その処理は、 ステップ S 4 0 0に進む。
ステップ S 4 0 0において、 特徴量加工部 9 2 2は、 加工処理内容が指示され たか否かを判定し、加工処理内容が指示されるまでその処理を繰り返す。例えば、 操作部 9 0 2が操作されて、 D Rを指示する操作信号が入力されると、 加工処理 内容が指定されたと判定し、 その処理は、 ステップ S 4 0 1に進む。
ステップ S 4 0 1において、 特徴量加工部 9 2 2は、 指定された特徴量を、 指 定された加工処理内容で加工し、 特徴量データベース 8 2 3に記憶させ、 その処 理は、 ステップ S 3 9 1に戻る。
一方、 ユーザの主観によりテロップが抽出されていると判定されるとき、 ユー ザは、 操作部 9 0 2を操作することにより処理の終了を示す操作信号が特徴量検 出部 4 2 1に入力され、 このとき、 処理は終了する。
すなわち、 上述の処理により、 ユーザは、 表示されているベースとなる特徴量 や、 加工処理内容を見ながら操作することにより、 最適な処理が行える特徴量を 認識することが可能となる。 さらに、 その後は、 ユーザにとって最適な処理を実 現できる特徴量を直ぐに指定することが可能となる。 また、 新しい特徴量を生成 する際に必要な入力情報を表示画面に従って入力することにより、 ユーザが選択 する特徴量の種類を増やすことができるので、 多くの特徴量の組合せを効率よく 設定することが可能になる。
以上の処理においては、 ユーザにより指定された 2種類の特徴量に応じて、 処 理内容が決定されて、 入力信号としての画像信号からテロップを抽出するように しているので、 ユーザの操作に従い、 その 「処理の内容」 力 ユーザにとって所 望の出力信号が得られるように変更されているといえる。 また、 ユーザの操作に 従い、 特徴量の 2軸 （選択される 2種類の特徴量） が切替えられると共に、 新た な特徴量も設定される （特徴量の種類が増える） ことになり、 これらの特徴量の 組合せにより、 処理内容 （例えば、 テロップとして処理するか否か） を決定する アルゴリズムが変更されることになるので、 「処理の内容」 のうち、 「処理の構 造」 も変更されているといえる。
次に、 図 8 7を参照して、 図 8 3の最適化装置 9 0 1の内部情報生成部 9 1 2 に替えて、 内部情報生成部 1 0 1 1を設けた最適化装置 1 0 0 1の構成について 説明する。 図 8 7においては、 内部情報生成部 9 1 2を内部情報生成部 1 0 1 1 に替え、 さらに、 処理決定部 4 1 2を図 6 9の処理決定部 7 1 1に替えた以外の 構成は、 図 8 3の最適化装置 9 0 1と同様である。
内部情報生成部 1 0 1 1は、 基本的には、 内部情報生成部 9 1 2と同様のもの であるが、 さらに、 処理決定部 4 1 2の処理内容決定部 4 3 2により決定された 各画素に決定した処理内容の情報を読出し、 表示部 4 0 3に表示させる （図 6 9 の内部情報生成部 6 1 1の機能が加えられている） 。
尚、 操作部 1 0 0 2は、 操作部 4 0 2と同様のものである。
次に、 図 8 8のフローチャートを参照して、 図 8 7の最適化装置 1 0 0 1によ るテロップ抽出最適化処理について説明する。
ステップ S 4 1 1において、 特徴量検出部 9 1 1のバッファ 4 2 1力 入力信 号としての画像信号を受信して記憶し、 処理部 4 1 3が、 バッファ 4 2 1に記憶 されている入力信号としての画像信号をそのまま読出し、 処理すること無く、 そ のまま表示部 4 0 3に出力して、 表示させる。
ステップ S 4 1 2において、 処理決定部 7 1 1の処理内容決定部 7 2 1は、 操 作部 1 0 0 2よりテロップと背景が指示されたか否かを判定し、 テロップと背景 が指示されるまでその処理を繰り返し、 テロップと背景が指示されると、 その処 理は、 ステップ S 4 1 3に進む。
ステップ S 4 1 3において、 特徴量検出部 9 1 1の特徴量抽出部 4 2 2は、 特 徴量選択部 9 2 1より 2種類の特徴量が選択されたか否かを判定し、 選択されな い場合、 その処理は、 ステップ S 4 2 1に進む。 また、 例えば、 特徴量選択部 9 2 1より特徴量を選択する情報が入力されたと判定された場合、 その処理は、 ス テツプ S 4 1 4に進む。
ステップ S 4 1 4において、 内部情報生成部 9 1 2は、 選択された 2種類の特 徴量の種類を示す情報を特徴量選択部 9 2 1より抽出し、 選択された 2種類の特 徴量の種類の名称を表示部 4 0 3に表示 （呈示） させる。
ステップ S 4 1 5において、 特徴量抽出部 4 2 2は、 選択された 2種類の特徴 量を入力信号としての画像信号より各画素毎に抽出し、 処理決定部 4 1 2に出力 する。このとき、バッファ 4 2 1には、入力信号としての画像信号が記憶される。 ステップ S 4 1 6において、 処理決定部 7 1 1は、 入力された 2種類の特徴量 に基づいて各画素毎に処理内容を決定して処理部 4 1 3に出力する。
ステップ S 4 1 7において、 内部情報生成部 1 0 1 1は、 処理決定部 7 1 1に 入力された 2種類の特徴量と、 テロップと背景に指定された画素位置の情報に基 づいて、 2種類の特徴量を軸とした 2次元分布図を生成し、 ステップ S 4 1 8に おいて、 その 2次元分布図を表示部 4 0 3に表示する。 より詳細には、 処理決定 部 7 1 1の特徴量認識部 4 3 1が特徴量の種類を認識し、 その種類を示す情報と 特徴量そのものを処理内容決定部 7 2 1に出力し、 処理内容決定部 7 2 1が、 特 徴量とその種類を示す情報に加えて、 テロップと背景に指定された画素位置を示 す情報を内部情報生成部 1 0 1 1に出力することにより、 内部情報生成部 1 0 1 1が、 テロップと背景に指定された画素位置を示す情報に基づいて、 例えば、 図 7 4で示すような特徴量の 2次元分布図を生成する。
ステップ S 4 1 9において、 処理部 4 1 3は、 処理決定部 7 1 1より入力され た処理内容に従ってバッファ 4 2 1を介して入力される入力信号としての画像信 号を処理し、 表示部 4 0 3に表示可能な画像信号に変換して、 表示部 4 0 3に出 力して、 表示させる。
ステップ S 4 2 0において、 特徴量検出部 9 1 1は、 テロップが抽出されてい るとみなされているか否かを判定する。 すなわち、 ユーザが、 表示部 4 0 3に表 示された画像を見て、 テロップが抽出されていると判断されないとき、 再度特徴 量の組合せを変更してテロップ抽出処理をしようとするように操作部 1 0 0 2を 操作する。この操作に対応する操作部 1 0 0 2からの操作信号が入力されたとき、 その処理は、 ステップ S 4 2 1に進む。
ステップ S 4 2 1において、 特徴量検出部 9 1 1の特徴量加工部 9 2 2は、 特 徴量の加工が指示されたか否かを判定し、 特徴量の加工の指示が無い時、 その処 理は、 ステップ S 4 1 3に戻る。 一方、 ステップ S 4 2 1において、 特徴量加工 部 9 2 2は、 操作部 1 0 0 2より特徴量の加工を指示する操作信号が入力された と判定した場合、 その処理は、 ステップ S 4 2 2に進む。
ステップ S 4 2 2において、 特徴量加工部 9 2 2は、 加工内容の指示画面を表 示する （図 8 6 ) 。
ステップ S 4 2 3において、 特徴量加工部 9 2 2は、 基礎となる特徴量が指定 されたか否かを判定し、 基礎となる特徴量を指定する情報が入力されるまでその 処理を繰り返す。入力信号として基礎となる特徴量が入力されたと判定した場合、 その処理は、 ステップ S 4 2 4に進む。
ステップ S 4 2 4において、 特徴量加工部 9 2 2は、 加工処理内容が指示され たか否かを判定し、 加工処理内容が指示されるまでその処理を繰り返す。 加工処 理内容が入力されたと判定された場合、 その処理は、 ステップ S 4 2 5に進む。 ステップ S 4 2 5において、 特徴量加工部 9 2 2は、 指定された基礎となる特 徴量を、 指定された加工処理内容で加工し、 特徴量データベース 8 2 3に記憶さ せ、 その処理は、 ステップ S 4 1 3に戻る。
一方、 ステップ S 4 2 0において、 ユーザの主観によりテロップが抽出されて いると判定されるとき、 ユーザは、 操作部 1 1 0 2を操作することにより処理の 終了を示す操作信号が特徴量検出部 4 2 1に入力され、 このとき、 処理は終了す る。
すなわち、 上述の処理により、 ユーザが、 表示部 4 0 3に表示される画像を見 て、 テロップが抽出されていると判断できるまで、 ステップ S 4 1 1乃至 S 4 2 5の処理が繰り返されることにより、 ユーザにとって最適な特徴量の組合せを設 定し、 入力信号としての画像信号からテロップを抽出させるようにすることがで き、 ユーザが選択可能な特徴量の種類を増やすことにより、 さらに、 多くの特徴 量の組合せを設定することが可能となり、 ユーザにとって最適な処理を実行させ るようにすることができる。 また、 既存の特徴量を加工して新しい特徴量を生成 する際に必要な加工指示画面を表示するようにしたので、 ユーザは、 その表示に 従って効率よく加工処理を実行することができる。 また、 その際、 画素の特徴量 上のテロップと背景の分離状態を見ながら特徴量を変化させながら、 繰り返しテ 口ップの抽出処理を実行することができるので、 精度の高いテロップ抽出が可能 な特徴量を容易に選択することが可能となる。
次に、 図 8 9を参照して、 図 5 5の最適化装置 4 0 1の特徴量検出部 4 1 1、 処理決定部 4 1 2、 および操作部 4 0 2に替えて、 特徴量検出部 1 1 1 1、 処理 決定部 1 1 1 2、 および、 操作部 1 1 0 2を設けたときの最適化装置 1 1 0 1の 構成について説明する。 図 8 9においては、 特徴量検出部 1 1 1 1、 処理決定部 1 1 1 2、 および、 操作部 1 1 0 2が新たに設けられた以外の構成については、 図 5 5の最適化装置 4 0 1と同様である。
特徴量検出部 1 1 1 1は、 図 5 6の特徴量検出部 4 1 1の構成のうち、 特徴量 選択部 4 2 3が設けられておらず、 特徴量抽出部 4 2 2が予め設定された 2種類 の特徴量を抽出する以外の構成は同様である。
処理決定部 1 1 1 2は、 処理内容データベース 4 3 3に記憶された L U Tが更 新される履歴情報を記憶し、 その履歴情報に対応して L U Tを変更する。 尚、 処 理決定部 1 1 1 2の構成については、 図 9 0を参照して後述する。
尚、 操作部 1 1 0 2は、 操作部 4 0 2と同様のものである。
ここで、 図 9 0を参照して、 処理決定部 1 1 1 2の構成について説明する。 図 9 0の処理決定部 1 1 1 2は、 図 5 7の処理決定部 4 1 2の処理内容決定部 4 3 2に替えて、 処理内容決定部 1 1 2 1を設け、 さらに、 履歴メモリ 1 1 2 2が追 加されている点が以外は処理決定部 4 1 2と同様の構成である。
処理内容決定部 1 1 2 1は、 処理内容データベース 4 3 3に記憶された L U T を変更させる操作の履歴情報を履歴メモリ 1 1 2 2に記憶させ、 履歴情報に基づ いて L U Tを変更させる。 これ以外の機能については、 図 5 7の処理決定部 4 1 2の処理内容決定部 4 3 2と同様のものである。
次に、 図 9 1のフローチャートを参照して、 図 8 9の最適化装置 1 1 0 1によ るテロップ抽出最適化処理について説明する。
ステップ S 4 3 1において、 特徴量検出部 1 1 1 1の特徴量抽出部 4 1 1は、 入力信号としての画像信号より所定の 2種類の特徴量を抽出し、 処理決定部 1 1 1 2に出力する。 このとき、 バッファ 4 2 1には、 入力信号としての画像信号を
BD¾ る。
ステップ S 4 3 2において、処理決定部 1 1 1 2の処理内容決定部 1 1 2 1は、 特徴量認識部 4 3 1より入力される特徴量の種類と特徴量に基づいて、 処理内容 データベース 4 3 3に記憶された L U Tを参照して、 各画素毎に処理内容を決定 し処理部 4 1 3に出力する。
ステップ S 4 3 3において、 処理部 4 1 3は、 処理決定部 1 1 1 2より入力さ れた処理内容に従って各画素を処理して、表示部 4 0 3に出力して、表示させる。 ステップ S 4 3 4において、処理決定部 1 1 1 2の処理内容決定部 1 1 2 1は、 L U Tを変更する操作信号が操作部 1 1 0 2より入力されたか否かを判定する。 すなわち、 ユーザは、 表示部 4 0 3に表示された画像をみて、 ユーザの好みの処 理がなされているかを主観的に判断し、 その判断結果に基づいて、 ユーザにより 操作部 1 1 0 2が操作され、対応する操作信号が入力されることになる。例えば、 ユーザの好みに合う処理がなされていない場合 （ユーザの好みの画像が表示部 4 03に表示されていない場合） 、 処理決定部 1 1 2 1の処理内容データベース 4 3 3の LUTを変更するために、 LUTの変更の要求が入力されることになる。 ステップ S 434において、 LUTの変更を要求する操作信号が入力された、 すなわち、 ユーザの好みの処理がなされていない場合、 その処理は、 ステップ S 43 5に進む。
ステップ S 435において、 LUTの変更処理をォート LUT変更処理により 実行することができるか否かが判定される。 ここで、 LUTの変更処理は、 マ二 ュアル LUT変更処理とオート LUT変更処理が存在する。 オート LUT変更処 理が可能であるか否かの判定の詳細については後述する。
例えば、 ステップ S 43 5において、 オート LUT変更処理が可能ではないと 判定された場合、 その処理は、 ステップ S 436に進み、 マニュアル LUT変更 処理が実行される。
ここで、 LUTの変更処理の説明にあたり、 LUTの詳細について説明してお く。 LUTは、 図 9 2で示すように。 2つの特徴量の組合せ毎に決定されている 処理内容を示したテーブルである。 図 9 2においては、 2種類の特徴量として特 徴量 A， Bの場合について示されており、 この例では、 各特徴量が 8段階 （合計 64クラス） で分類される例が示されている。 尚、 図 9 2においては、 特徴量が 0乃至 1. 0の値に正規化されたものであるものとし、 特徴量 Aの値 Vaについ ては、 左から 0≤Vaく 1Z8、 l/8≤Va< 2/8N 2/8≤Va< 3/8 3/8≤Va<4 8、 4/8≤ Va < 5 8、 5/8≤ V a < 6/8 , 6/8≤ Va< 7/8, 7/8≤Va≤ 8/8, 特徴量 Bの値 V bについては、 上から O Vb< 1/8, 1/8≤ Vb< 2/8、 2/8≤Vb< 3/8、 3/8≤ Vb< 4/ 8、 4/8≤Vb< 5/8 N 5/8≤Vb< 6/8, 6/8≤ Vb< 7/8 N 7/ 8≤Vb≤ 8ノ 8の範囲に分離されている。 各処理内容は、 図中では、 それぞれ の範囲の特微量の組合せにより X， Υ, Zの 3種類に分類されており、 図 9 2の 場合、 0≤Va≤ 3/8、 かつ、 0≤ Vb 3Z8の範囲では処理内容 X、 4/8 ≤Va< 6/8, または、 4Z8≤Vaく 6/8の範囲では処理内容 Y、 それ以外 の範囲では、処理内容 Ζとなっている。また、処理内容は、様々な指定ができる。 例えば、 図 9 3乃至図 9 5で示すように、 注目画素に対して、 処理部 4 1 3で処 理に用いられる予測タップを指定することができる。
すなわち、 図 93においては、 処理内容 Xを示しており、 注目画素を Ρ 0とし て、 空間的に X方向に注目画素 Ρ 0を中心として、 フィルタタップ P l， Ρ 2を 設定し、 y方向にも同様に注目画素 Ρ 0を中心として、 タップ P 3， P 4を設定 し、 さらに、 時間的に注目画素 P 0を中心として、 その前後にタップ P 5， P 6 (例えば、 同じ画素位置の 1フレーム前のタップ P 6と 1フレーム後の P 5) を 設定している。すなわち、処理内容 Xは、いわゆる時空間フィルタの処理である。 また、 図 94においては、 処理内容 Yを示しており、 図 9 3の時空間フィルタ からタップ P 3， P 4に替えて、 時間方向にタップ P 6よりもさらに前のタイミ ングのタップ P 1 2と、 タップ P 5よりもさらに後のタップ P 1 1を設定してい る。 すなわち、 処理内容 Yは、 いわゆる時間フィルタの処理である。
さらに、 図 9 5においては、 処理内容 Zを示しており、 図 9 3の時空間フィル タからタップ P 5， P 6に替えて、 X方向にタップ P 1よりもさらに注目画素よ りも離れた位置にタップ P 2 1と、 タップ P 2よりもさらに注目画素よりは離れ た位置にタップ P 22を設定している。 すなわち、 処理内容 Zは、 いわゆる空間 フイノレタの処理である。
尚、 処理内容は、 その種類も図 92の例のように 3種類に限られるものではな く、 当然のことながらそれ以外の数の種類に分けても良く、 例えば、 全ての画素 を白色か、 または、 黒色に分けるような 2値化処理をさせるようにしても良い。 また、 この 2値化処理は、 例えば、 上述の例のように、 テロップ部として抽出す る画素であるか否かの 2値化処理を指定するものであってもよい。 逆に、 処理内 容の種類が、 3種類以上であってもよい。
次に、 図 96のフローチヤ一トを参照して、 図 9 1のステップ S 436におけ るマニュアル LUT変更処理について説明する。
ステップ S 44 1において、 処理内容決定部 1 1 2 1は、 操作部 1 102より 操作信号として、 画素位置が指定され、 処理内容が指定されたか否かを判定し、 操作部 1 1 0 2より操作信号として、 画素位置が指定され、 処理内容が指定され るまでその処理を繰り返す。 すなわち、 例えば、 図 9 7で示す画面が表示部 40 3に表示されていた場合、 ユーザは、 表示部 40 3に表示された画像上でポイン タ 1 1 3 1を操作して、処理の変更を加えたい画素位置で所定の処理を実行して、 例えば、図 97で示すようにドロップダウンリスト 1 1 3 2を表示させ、さらに、 ドロップダウンリスト 1 1 3 2に表示された処理内容 X, Υ, Zのいずれかを指 定することができる。 ステップ S 44 1においては、 この指定がなされたとき、 画素位置が指定され、 処理内容が指定されたと判断され、 その処理は、 ステップ S 442に進む。 今の場合、 図 9 7で示すように、 画素位置 P 41が選択され、 処理内容 Xが選択されている。
ステップ S 442において、 処理内容決定部 1 1 2 1は、 指定された画素位置 から対 する 2種類の特徴量の組合せを読み出す。 より詳細には、 処理内容決定 部 1 1 2 1は、 特徴量検出部 1 1 1 1により検出された特徴量のうち、 指定され た画素に対応する 2種類の特徴量の組合せを読み出す。
ステップ S 443において、 処理内容決定部 1 1 2 1は、 対応する特徴量の組 合せに該当する処理内容を、 ステップ S 44 1において指定された処理内容に変 更する。
ステップ S 444において、 処理内容決定部 1 1 2 1は、 変更された画素位置 と、 処理内容を履歴メモリ 1 1 22に記憶させる。
ステップ S 445において、 処理内容決定部 1 1 2 1は、 他に LUTの変更が 有るか無いかを判定し、 まだ、 引き続き LUTを変更させる処理がされると判定 した場合、 すなわち、 操作部 1 102よりその他の LUTの変更を指示する操作 信号が入力された場合、 その処理は、 ステップ S 441に戻り、 引き続き LUT を変更させる処理がないと判定した場合、 すなわち、 操作部 1 102より LUT の変更の終了を示す操作信号が入力された場合、 その処理は終了する。
以上のマニュアル LUT変更処理では、 LUTの変更が次のように行われる。 すなわち、 ステップ S 442において、 得られた画素位置 P 4 1の画素の特徴量 力 例えば、 （Va， Vb) = (0. 52， 0. 2 7) の場合、 図 98中 LUTの (左からの位置， 上からの位置） = (5, 3) の位置 （LUT上の位置について は、 以下においても同様に示す） については、 図 98においては、 処理内容 Yが 設定されている。 いま、 ステップ S 443において、 図 9 7で示すように、 処理 内容が Xに変更されたとすると、 図 9 9で示すように、 ステップ S 443におい て、 LUTの（5, 3)の位置の処理が処理内容 Yから処理内容 Xに変更される。 図 96のマニュアル LUT変更処理が終了した後、 その処理は、 図 9 1のフロ 一チャートのステップ S 43 2の処理に戻り、 それ以降の処理が繰り返されるこ とになる。 この場合、 LUTが上述のように変更されているときは、 2種類の特 徴量の組合せが、 図 9 9で示すように、 LUTの （5， 3) となる画素では、 処 理内容 Yに対応する処理が実行されることになる。 結果として、 図 9 7で示した 画像のうち、 画素位置 P 41と同様の特徴量を有する画素、 すなわち、 LUTの (5, 3) に属する画素に対応する処理が変更され、 例えば、 図 100に示すよ うに、その部分に図 97における場合と異なる処理が施された画像が表示される。 尚、 図 100では、 図 9 7の画素位置 P 4 1の画素と同様の特徴量を有する画素 が白色になった例を示している。
図 9 6のフローチャートを参照して説明した処理の例では、 選択された画素の 特徴量の組合せにより指定される LUT (上の処理内容） だけが変更される例に ついて説明したが、 LUTの変更はこれに限るものではない。すなわち、例えば、 LUT上で変更が指定された位置から見て、 近い部分を全て変更された処理内容 とするようにしても良い。 すなわち、 例えば、 図 10 1で示すように、 LUTの 初期状態として、 全ての処理内容が Zとして設定されていた場合 （LUTの初期 状態は、 いわゆるデフォルトの設定であって、 全ての処理内容が Zでない状態で あっても良い） 、 図 96のフローチャートの処理により、 図 1 02Aで示すよう に、 LUT上の （4， 2) の位置の処理内容が Xに、 （5， 2) の位置の処理内 容が Yに変更されたとき、 図 102 Bで示すように、 変更された LUT上の位置 から近い領域を Xまたは Yに変化させるようにしても良い。 すなわち、 図 1 02 Bの場合、 LUT上の全ての位置で、 LUT上の （4， 2) の位置からの距離と、 (5, 2) の位置からの距離を比較し、 近い位置の処理内容に全てが変更されて いる。 結果として、 図 1 02 Bでは、 左半分の領域が処理内容 Xにされ、 右半分 の領域が処理内容 Yにされている。
同様にして、 図 1 03Aで示すように、 LUT上の （4, 2) ， (7 , 7) の 位置の特徴量の組合せの処理内容が Xに、 LUT上の （5， 2) ， （4， 5) の 位置の特徴量の組合せの処理内容が Yに変更された場合、 図 103 Bで示すよう に、 LUT上の （1， 1) ， （2， 1) ， （3， 1) ， (4, 1) ， （1， 2) ， (2, 2) ， （3， 2) ， (4, 2) ， （1， 3) ， （2， 3) ， （3, 3) ，
(4, 3) ， （5， 7) ， (5， 8) , (6， 6) ， （6， 7) (6, 8) , (7， 5) ， (7, 6) ， (7， 7) ， （7， 8) ， （8， 4) (8, 5) ， ((88,， 66)) ，， (（88,， 77)) ,， (8, 8) では、 処理内容が Xとなり LUT上のそ れ以外の位置では、 処理内容が Yとなる。
さらに、 同様にして、 図 1 04 Aで示すように、 LUT上の （4, 2) ， (7, 7) の位置の特徴量の組合せの処理内容が Xに、 LUT上の （2， 3) ， （5， 2) ， （4, 5) , (7, 4) の位置の特徴量の組合せの処理内容が Yに変更さ れた場合、 図 104 Bで示すように、 LUT上の （3， 1) , (3, 2) ， (4, 1) , (4， 2) ， （4, 3) ， （5， 7) , (5， 8) ， （6， 6) ， （6， 7) ， （6， 8) ， (7 , 6) , (7, 7) , (7, 8) , (8, 6) ， （8， 7) ， （8, 8) では、 処理内容が Xとなり、 LUT上のそれ以外の位置では、 処理内容が Yとなる。
このように LUTを変更させるようにすることで、 1回の処理で複数の特徴量 の組合せの処理内容を、 比較的類似した特徴量の組合せで、 一括して変更させる ことが可能となる。 ここで、 図 9 1のフローチャートの説明に戻る。
ステップ S 435において、 ォート LUT変更処理が可能であると判定された 場合、 ステップ S 43 7に進み、 オート LUT変更処理が実行される。
ここで、 図 1 05のフローチャートを参照して、 オート LUT変更処理につい て説明する。 ステップ S 46 1において、 処理内容決定部 1 1 21は、 履歴メモ リ 1 1 22に記憶されている更新履歴の分布の各処理内容毎に存在する群を求め る。 すなわち、 履歴メモリ 1 1 22には、 図 1 06で示すように、 例えば、 上述 のマニュアル LUT変更処理により変更が指定された LUT上の位置と、 指定さ れた処理内容が記録された LUTとは異なる履歴テーブルを記憶している。 図 1 06で示す履歴テーブルでは、 LUT上の （3， 3) ， （8, 3) ， （2， 5) ， (6, 6) の処理内容に変更が指示されたことが示されており、 それぞれ、 処理 内容 X, X, X、 および Yが指示されたことが示されている。
ここで、 処理内容毎の群とは、 履歴テーブル上の各処理内容が所定の密度以上 に存在し、 所定の面積以上となっている領域を指す。
例えば、 群が存在すると、 図 1 07で示すように、 履歴テーブル上に群 1 1 5 1が形成され、 処理內容決定部 1 1 2 1は、 この群 1 1 5 1を求める。 尚、 図 1 07においては、 群 1 1 5 1は、 処理内容 Xの群であり、 その他の処理内容毎に も群が求められる。
また、 群は、 マニュアル LUTの処理がある程度の回数実行されて、 更新履歴 が履歴メモリ 1 1 22に記憶されていて、 かつ、 ある程度、 LUT上のまとまつ た位置で、 同じ処理内容への変更処理が実行されていないと存在しない。 尚、 図 9 1のステップ S 43 5では、 この処理内容の群が存在するか否かによって、 ォ ート LUT変更処理が可能であるかが判定される。 すなわち、 処理内容毎の群が 存在する場合には、 オート LUT変更処理が可能であると判定され、 存在しない 場合には、 オート LUT変更処理が可能ではないと判定される。
ステップ S 462において、 処理内容決定部 1 1 2 1は、 ステップ S 46 1で 求められた群の重心位置を検出する。 すなわち、 例えば、 図 1 07の場合、 群 1 1 5 1が形成されているが、 その重 心位置は、処理内容 Xが指定された全ての履歴テーブル上の位置から求められる。 図 107の場合、 群 1 1 6 1内の処理内容 Xが指定された全ての履歴テーブル上 の位置の重心 1 16 1が求められる。
ステップ S 463において、 処理内容決定部 1 1 2 1は、 群の重心位置から所 定の範囲内に存在する履歴テーブル上の位置の処理内容に対応して、 それぞれの 画素の特徴量の組合せに対応する LUT上のマス目の処理内容を、 群を構成する 画素の特徴量の組合せに対応する履歴テーブル上のマス目の処理内容に変更し、 その処理は、 終了する。 すなわち、 図 1 0 7において、 重心位置 1 1 6 1を中心 とする所定の半径の円の範囲である範囲 1 1 62のなかに存在する履歴テーブル 上の位置に対応する LUT上の全ての処理内容が、 群を構成する処理内容 Xに変 更される。
すなわち、 例えば、 図 107で示すように履歴テーブルが、 図 1 08に示すよ うな LUTが構成されている状態で生成されたものであるとすると、 図 10 7で 示すように、 重心 1 16 1から所定の距離内の範囲 1 1 6 2内の履歴テーブル上 の （2, 3) 、 （3, 4) は、 群を構成する処理内容 Xとは異なる処理内容 Yが 履歴情報として記憶されているので、 履歴テーブル上の （2, 3) 、 （3， 4) に対応する LUT上の （2， 3) 、 （3, 4) の処理内容を Xに変更する。 従つ て、 図 1 08に示すように LUTが構成されていた場合、 処理内容決定部 1 1 2 1は、 LUT上の （2， 3) 力 処理内容が Yであるので、 図 10 9で示すよう に、 LUT上の （2， 3) を処理内容を Xに変更する。 また、 図 1 08の場合、 処理内容決定部 1 1 21は、 LUT上の （ 3， 4) 力 処理内容が Xであるので、 図 10 9で示すように、 LUT上の （3， 4) を、 そのままの状態に維持する。 この処理により、 LUT上の処理内容 （マス目の情報） は、 自動的に変更され る。 尚、 この処理は、 ユーザにより LUTの変更処理が指示されるタイミングの みならず、 所定の時間間隔で繰り返し実行されるようにしても良い。
ここで、 図 9 1のフローチャートの説明に戻る。 ステップ S 434において、 LUTの変更が指示されていないと判定された場 合、 すなわち、 ユーザが、 表示部 403に表示された画像を見て、 ユーザの好み の画像が生成されていると判定された場合、 その処理は終了する。
以上の処理により、ユーザの操作に従い、 LUTの変更を繰り返すことにより、 LUTの各マス目に登録される処理内容を変更することで、 ユーザの好みの画像 が生成させるようにすることができる。
以上においては、 ユーザの操作に対応して、 LUT上の処理内容が変更される ので、 「処理の内容」が変更されていると言える。 また、ユーザの処理に応じて、 処理内容毎の群が求められるか否かにより、 群の重心位置から LUTの処理内容 が変更される処理体系か、 または、 図 10 1乃至図 1 04で示したように、 指定 された LUT上の位置の処理内容に対応して、 その他の LUT上の位置の LUT 上の処理内容が変更されるという処理体系かの何れかにに変更される。すなわち、 LUTの変更アルゴリズムが変更されるので、 ユーザの操作に対応して、 「処理 の内容」 のうちの 「処理の構造」 も変更しているといえる。
次に、 図 1 1 0を参照して、 図 8 9の最適化装置 1 10 1の処理決定部 1 1 1 2に替えて、 処理決定部 1 1 8 1を設け、 新たに内部情報生成部 1 18 2を設け たときの最適化装置 1 1 01のその他の構成例について説明する。 図 1 10にお いては、 処理決定部 1 1 8 1と内部情報生成部 1 182が新たに設けられた以外 の構成については、 図 8 9の最適化装置 1 1 01と同様である。
処理決定部 1 1 8 1は、 処理内容データベース 1 1 9 1 (図 1 1 1) に記憶さ れた LUTが更新される履歴情報を記憶し、 その履歴情報に対応して LUTを変 更すると共に、 処理内容データベース 1 1 9 1に記憶されている LUTを内部情 報生成部 1 1 8 2に供給する。
内部情報生成部 1 18 2は、 処理内容データベース 1 1 9 1に記憶された LU Tを読出し、表示部 403で表示可能な情報に変換して、表示部 403に出力し、 表示させる。
次に、 図 1 1 1を参照して、 処理決定部 1 18 1の構成について説明する。 図 1 1 1の処理決定部 1 1 8 1は、図 90の処理内容データベース 4 3 3に替えて、 処理内容データベース 1 1 9 1を設けている点が以外は処理決定部 1 1 1 2と同 様の構成である。
処理内容データベース 1 1 9 1は、 LUT記憶すると共に、 必要に応じて LU Tの情報を内部情報生成部 1 1 8 2に供給する。 これ以外の機能については、 図 90の処理内容データベース 43 3と同様のものである。
次に、 図 1 1 2のフローチャートを参照して、 図 1 1 0の最適化装置 1 1 0 1 によるテロップ抽出最適化処理について説明する。 尚、 図 1 1 2のテロップ抽出 最適化処理は、 図 9 1のフローチャートを参照して説明した処理と、 基本的には 同様であり、 図 1 1 2のステップ S 47 1乃至 S 47 3、 および、 S 475乃至 S 478の処理は、 図 9 1のステップ S 43 1乃至 S 43 7に対応する処理であ り、 ステップ S 473の処理の後、 ステップ S 474において、 内部情報生成部 1 1 82は、 処理決定部 1 1 8 1の処理内容データベース 1 1 9 1の LUTを読 出し、 表示部 403で表示可能な画像信号に変換して表示部 403に出力し、 表 示 （呈示） させ、 ステップ S 475に進み、 それ以降の処理が繰り返される。 このような処理により、 LUTが表示 （呈示） されるので、 表示部 403に表 示された画像から入力信号としての画像信号に施された処理と、 LUTの変化認 識しながら LUTを変更させることが可能となる。
尚、 以上においては、 マニュアル LUT変更処理で、 表示部 40 3に表示され た LUTに登録された処理内容で処理された画像上の画素と処理内容を指定する ことにより LUTを変更する例について説明してきたが、 内部情報生成部 1 1 8 2が、 処理内容データベース 1 1 9 1に記憶されている LUTを読み出して、 例 えば、 操作部 1 1 02で LUT上の処理内容を直接操作可能な状態で表示部 40 3に表示させ、 LUT上の処理内容を直接変更できるようにしても良い。
ここで、 図 1 1 3のフローチヤ一トを参照して、 図 1 1 0の最適化装置 1 10 1が上述の LUT上の値を直接変更させるマニュアル LUT変更処理について説 明する。 ステップ S 48 1において、 処理内容決定部 1 1 2 1は、 LUT上の位置が指 定されたか否かを判定し、 指定されるまでその処理を繰り返す。 例えば、 図 1 1 4で示すように、 表示部 4◦ 3に表示された LUT上の （5, 3) の位置の処理 内容が Yとして設定されている位置が指定されると、 LUT上の位置が指定され たと判定し、 その処理は、 ステップ S 48 2に進む。
ステップ S 48 2において、 内部情報生成部 1 18 2は、 指定された LUT上 の位置を示す表示を表示部 403にする。 すなわち、 図 1 14の場合、 位置表示 枠 1 1 92が、 指定された （5, 3) に表示される。
ステップ S 48 3において、 処理内容決定部 1 1 2 1は、 処理内容が指定され たか否かを判定し、 処理内容が指定されるまでその処理を繰り返す。 例えば、 図 1 14で示すように、 ポインタ 1 1 9 1が操作された位置で、 （例えば、 操作部 1 102としてのマウスの右クリックなどにより） ドロップダウンリスト 1 1 9 3を表示させて、 その中に表示される処理内容 X, Υ, Zのいずれかを、 ユーザ が操作部 1 10 2を操作することにより指定すると処理内容が指定されたと判定 し、 その処理は、 ステップ S 484に進む。
ステップ S 484において、 処理内容決定部 1 1 2 1は、 処理内容を指定され た処理内容に変更して処理を終了する。 すなわち、 図 1 1 4の場合、 ドロップダ ゥンリスト 1 1 93に表示された 「X」 が選択されているので、 図 1 1 5で示す ように、 LUT上の （5， 3) は、処理内容が Yから Xに変更されることになる。 以上の処理により、 LUT上に設定された処理内容を直接変更させるようにす ることができるので、 LUTに登録された処理内容で処理された画像を見ながら、 LUTを操作することで、 ユーザの好みとなる処理内容を容易に設定することが 可能となる。
図 1 10の最適化装置 1 1 0 1においては、 マニュアル LUT変更処理で、 ュ —ザの操作により指定される LUT上のマス目上の処理内容が変更されるので、 ユーザの操作により 「処理の内容」 が変更されているといえる。 また、 履歴メモ リ 1 1 22に記憶される変更履歴がある程度蓄積され、 群が検出されると、 LU Tを変更するアルゴリズムがマニュアル L U T変更処理からォート L U T変更処 理へと変更されるので、 「処理の構造」 が変更されている。
さらに、 処理決定部 1 1 1 2の処理に関する内部情報として L U Tが表示され ると共に、 表示された L U Tを見ながら L U T上の処理内容を変更させることが できるので、 ユーザは、 L U T上の内容と表示部 4 0 3に表示をする画像との対 応関係を認識することが可能となる。
次に、 図 1 1 6を参照して、 図 5 5の最適化装置 4 0 1の特徴量検出部 4 1 1 と処理部 4 1 3に替えて、 特徴量検出部 1 1 1 1と処理部 4 1 3を設けるように した他の実施例として最適化装置 1 2 0 1の構成について説明する。
特徴量検出部 1 1 1 1は、 図 8 9の最適化装置 1 1 0 1の構成と同様のもので ある。
処理部 1 2 1 1は、 処理決定部 4 1 3より入力された処理内容の情報に基づい て、 ノ ッファ 4 2 1より読み出される入力信号を、 例えば、 学習により得られた 係数セットを用いてマッピング処理し、 表示部 4 0 3に出力し、 表示する。 処理 決定部 4 1 3は、 操作部 1 2 0 2からの操作信号に基づいて、 係数セットの学習 方法を変更する。 尚、 操作部 1 2 0 2は、 操作部 4 0 2と同様のものである。 次に、 図 1 1 7を参照して、 処理部 1 2 1 1の構成について説明する。
学習装置 1 2 2 1は、 特徴量検出部 1 1 1 1のバッファ 4 2 1より読み出され る入力信号としての画像信号に基づいて、 マッピング処理部 1 2 2 2のマツピン グ処理に必要な係数セットを処理内容毎に、 最小 N乗誤差法により学習し、 係数 メモリ 1 2 3 7に記憶させる。 また、 学習装置 1 2 2 1は、 操作部 1 2 0 2より 入力される操作信号に基づいて、 最小 N乗誤差法の指数 Nの値を変更させて係数 セットを学習する。
マツビング処理部 1 2 2 2は、 処理決定部 4 1 2より入力される処理内容に基 づいて、 学習装置 1 2 2 1の係数メモリ 1 2 3 7から対応する係数セットを読出 し、 特徴量検出部 1 1 1 1のバッファ 4 2 1より読み出される入力信号としての 画像信号をマツビング処理し表示部 4 0 3に出力して表示させる。 次に、 図 1 1 8を参照して学習装置 1 2 2 1の詳細な構成について説明する。 教師データ生成部 1 2 3 1は、 図 3 0の教師データ生成部 2 3 1と同様のもので あり、 学習用データとしての入力信号より教師データを生成し、 最小 N乗誤差法 係数演算部 1 2 3 6に出力する。 生徒データ生成部 1 2 3 2は、 図 3 0の生徒デ ータ生成部 2 3 2と同様のものであり、 学習用データとしての入力信号より教師 データを生成し、 特徴量抽出部 1 2 3 3、 および、 予測タップ抽出部 1 2 3 5に 出力する。
特徴量抽出部 1 2 3 3は、 特徴量検出部 1 1 1 1の特徴量抽出部 4 2 2と同様 のものであり、生徒データから特徴量を抽出して処理決定部 1 2 3 4に出力する。 処理決定部 1 2 3 4は、 処理決定部 4 1 2と同様のものであり、 特徴量検出部 1
2 3 3より入力された特徴量に基づいて処理内容を決定し、 最小 N乗誤差法係数 演算部 1 2 3 6に出力する。 予測タップ抽出部 1 2 3 5は、 予測タップ抽出部 2
3 3と同様のものであり、 教師データを順次注目画素として各注目画素について 予測タップとなる画素を生徒データから抽出し、 最小 N乗誤差法係数演算部 1 2 3 6に出力する。
最小 N乗誤差法係数演算部 1 2 3 6は、 基本的な構成と処理内容において、 図 3 0の最小 N乗誤差法係数演算部 2 3 4と同様であり、 操作部 1 2 0 2より入力 される最小 N乗法誤差法係数演算処理に必要な、 指数 Nの値を指定する情報に基 づいて、予測タップ抽出部 1 2 3 5より入力された予測タップと教師データから、 最小 N乗誤差法により係数セットを演算し、 係数メモリ 1 2 3 7に出力し、 上書 き記憶させる。 伹し、 図 1 1 8の最小 N乗誤差法係数演算部 1 2 3 6は、 処理決 定部 1 2 3 4より入力される処理内容毎に係数セットを生成する点が、 図 3 0の 最小 N乗誤差法係数演算部 2 3 4と異なる。 係数メモリ 1 2 3 7は、 処理内容毎 に最小 N乗誤差法係数演算部 1 2 3 6より出力されてくる係数セットを処理内容 毎に記憶する。 図 1 1 8中では、 処理内容毎に係数セット A乃至 Nが記憶されて いることが示されている。
次に、 図 1 1 9を参照して、 マッピング処理部 1 2 2 2の構成について説明す る。 タップ抽出部 2 5 1は、 図 3 1のマッピング処理部 2 2 2と同様のものであ り、 注目画素について、 バッファ 4 2 1から供給される入力信号から予測タップ を抽出し、 積和演算部 1 2 5 1に出力する。 積和演算部 1 2 5 1は、 図 3 1の積 和演算部 2 5 2と同様のものであり、 予測タップ抽出部 2 5 1より入力されてく る、 抽出された予測タップ （画素） の値と、 学習装置 1 2 2 1の係数メモリ 1 2 3 7に記憶されている係数セットを用いて積和演算処理を実行し、 注目画素を生 成し、 これらを全画素に施して出力信号として表示部 4 0 3に出力し、 表示させ る。 伹し、 積和演算部 1 2 5 1は、 積和演算処理において、 係数メモリ 1 2 3 7 に記憶されている係数セット A乃至 Nのうち、 処理決定部 4 1 2から供給される 処理内容に対応した係数セットを用いるようになっている。
次に、 図 1 2 0のフローチヤ一トを参照して、 図 1 1 6の最適化装置 1 2 0 1 による画像最適化処理における学習処理について説明する。
ステップ S 5 0 1において、 ユーザが操作部 2 0 2を操作したかどうかが判定 され、 操作していないと判定された場合、 ステップ S 5 0 1に戻る。 また、 ステ ップ S 5 0 1において、 操作部 1 2 0 2が操作されたと判定された場合、 ステツ プ S 5 0 2に進む。
ステップ S 5 0 2において、学習装置 1 2 2 1の教師データ生成部 1 2 3 1は、 入力信号より教師データを生成して最小 N乗誤差法係数演算部 1 2 3 6に出力す ると共に、 生徒データ生成部 1 2 3 2は、 入力信号より生徒データを生成し、 特 徴量抽出部 1 2 3 3、 および、 予測タップ抽出部 1 2 3 5に出力し、 ステップ S 5 0 3に進む。
尚、 生徒データと教師データを生成するのに、 用いるデータ （以下、 適宜、 学 習用データという） としては、 例えば、 現在から、 所定時間だけ過去に遡った時 点までに入力された入力信号を採用することができる。 また、 学習用データとし ては、 入力信号を用いるのではなく、 予め専用のデータを記憶しておくことも可 能である。
ステップ S 5 0 3において、特徴量抽出部 1 2 3 3は、注目画素（教師データ） に対応する位置の生徒データより特徴量を抽出し、 処理決定部 1 2 3 4に出力す る。
ステップ S 5 0 4において、 処理決定部 1 2 3 4は、 特徴量抽出部 1 2 3 3よ り入力された特徴量に基づいて注目画素についての処理内容を決定し、 最小 N乗 誤差法係数演算部 1 2 3 6に出力する。 例えば、 処理決定部 1 2 3 4は、 特徴量 抽出部 1 2 3 3より 1または複数の特徴量をべク トル量子化し、 その量子化結果 を処理内容の情報とするようにしてもよい。 伹し、 この場合、 図 8 9の処理決定 部 1 1 1 2のように L U Tなどは記憶されていない。
ステップ S 5 0 5において、 予測タップ抽出部 1 2 3 5は、 各教師データを注 目画素として、 その各注目画素について生徒データ生成部 1 2 3 2より入力され た生徒データより予測タップを生成し、 最小 N乗誤差法係数演算部 1 2 3 4に出 力して、 ステップ S 5 0 6に進む。
ステップ S 5 0 6において、 最小 N乗誤差法係数演算部 1 2 3 6は、 操作部 2 0 2よりリカーシブ法 （第 2の方法） による最小 N乗誤差法で係数セットを演算 することを指定する操作信号が入力されたか否かを判定し、 例えば、 ユーザによ り操作部 1 2 0 2が操作されて、 リカーシブ法ではない、 すなわち、 直接法 （第 1の方法） が指定されたと判定された場合、 ステップ S 5 0 7に進み、 式 （5 0 ) の重みひ sを指定する （指数 Nを指定する） 係数 a , b , cが入力されたか否か が判定され、 入力されるまでその処理が繰り返され、 例えば、 ユーザによって操 作部 1 2 0 2が操作され、 係数 a， b， cを指定する値が入力されたと判定され た場合、 その処理は、 ステップ S 5 0 7に進む。
ステップ S 5 0 7において、 最小 N乗誤差法係数演算部 1 2 3 6は、 重み a s が入力された係数 a , b , cの状態で、 上述した式 （4 8 ) を最小にするという 問題を実質的には最小 2乗誤差法により解くことにより、 重み a sに対応する指 数 Nの最小 N乗誤差法による解としての予測係数 W l， w 2 , w 3 '"， wM、 すなわ ち、 係数セットを、 処理決定部 1 2 3 4より入力された処理内容毎に求めて係数 メモリ 1 2 3 7に記憶させ、 ステップ S 5 0 1に戻る。 一方、 ステップ S 5 0 6において、 リカーシブ法が選択されたと判定された場 合、 その処理は、 ステップ S 5 0 9に進む。
ステップ S 5 0 9において、 最小 N乗誤差法係数演算部 1 2 3 6は、 指数 Nを 指定する情報が入力されたか否かを判定し、 指数 Nが入力されるまでその処理を 繰り返し、 例えば、 ユーザが操作部 1 2 0 2を操作することにより指数 Nを指定 する情報が入力されたと判定した場合、 その処理は、 ステップ S 5 1 0に進む。 ステップ S 5 1 0において、 最小 N乗誤差法係数演算部 1 2 3 6は、 基礎とな る最小 2乗誤差法による解法により係数セットを求める。 ステップ S 5 1 1にお いて、 最小 N乗誤差法係数演算部 1 2 3 6は、 最小 2乗誤差法により求められた 係数セットから得られる予測値を用い、 式 （5 1 ) 乃至式 （5 4 ) を参照して説 明したように再帰的に指数 Nに、 操作部 1 2 0 2から入力された対応する最小 N 乗誤差法による係数セットを、 処理決定部 1 2 3 4より入力された処理内容毎に 求め、 係数メモリ 1 2 3 7に記憶させ、 ステップ S 5 0 1に戻る。
以上の処理により、 処理内容毎に、 係数セットが係数メモリ 1 2 3 7に学習さ れていく。
次に、 図 1 2 1のフローチャートを参照して、 図 1 1 6の最適化装置 1 2 0 1 による画像最適化処理におけるマッビング処理について説明する。
ステップ S 5 2 1において、 特徴量検出部 1 1 1 1は、 入力信号としての画像 信号より注目画素 （出力信号） に対応する位置の入力信号の画素の特徴量を検出 し、 検出した特徴量を処理決定部 4 1 2に出力する。
ステップ S 5 2 2において、 処理決定部 4 1 2は、 特徴量検出部 1 1 1 1より 入力された特徴量に基づいて、 処理内容を決定し、 処理部 1 2 1 1に出力する。 処理決定部 4 1 2の処理は、 図 1 1 8の処理決定部 1 2 3 4と同一の処理を行う ことにより処理内容を決定する。従って、上述のように、処理決定部 1 2 3 4が、 特徴量抽出部 1 2 3 3より 1または複数の特徴量をべク トル量子化し、 その量子 化結果を処理内容の情報とするようにする場合、 図 1 1 6の処理部 4 1 2には、 図 8 9の処理決定部 1 1 1 2のような L U Tなどは記憶されないことになる。 ステップ S 5 2 3において、 処理部 1 2 1 1のマツビング処理部 1 2 2 2のタ ップ抽出部 2 5 1は、 現在の入力信号としての画像フレームに対応する出力信号 としての画像のフレームを注目フレームとして、その注目フレームの画素のうち、 例えば、ラスタスキヤン順で、まだ注目画素としていないものを注目画素として、 その注目画素について、 入力信号より予測タップを抽出し、 積和演算部 1 2 5 1 に出力する。
ステップ S 5 2 4において、 マッピング処理部 1 2 2 2の積和演算部 1 2 5 1 は、 処理決定部 4 1 2より入力される処理内容に対応する係数セットを学習装置 1 2 2 1の係数メモリ 1 2 3 7より読み出す。
そして、 ステップ S 5 2 5において、 積和演算部 1 2 5 1は、 学習装置 1 2 2 1の係数メモリ 1 2 3 7より読み出している、 処理内容に対応した予測係数を用 いて、 式 （3 9 ) に従いタップ抽出部 2 5 1より入力された予測タップと係数メ モリ 1 2 3 7から読み出した係数セットとの積和演算処理を実行する。 これによ り、 積和演算部 1 2 5 1は、 注目画素の画素値 （予測値） を求める。 その後、 ス テツプ S 5 2 6に進み、 タップ抽出部 2 5 1は、 注目フレームの全ての画素を注 目画素としたかどうかを判定し、 まだしていないと判定した場合、 ステップ S 5 2 1に戻り、 注目フレームのラスタスキャン順でまだ注目画素としていない画素 を新たに注目画素として、 以下、 同様の処理を繰り返す。
また、 ステップ S 5 2 6において、 注目フレームの全ての画素を注目画素とし たと判定された場合、 ステップ S 5 2 7に進み、 表示部 4 0 3は、 積和演算部 1 2 5 1で求められた画素からなる注目フレームを表示する。
そして、 ステップ S 5 2 1に戻り、 特徴量検出部 1 1 1 1は、 入力信号として の画像信号より注目画素 （出力信号） に対応する位置の入力信号の画素の特徴量 を検出し、 次のフレームを新たに注目フレームとして、 以下、 同様の処理を繰り 返す。
尚、 図 1 1 6の最適化装置 1 2 0 1では、 ユーザが操作部 1 2 0 2を操作する ことにより指数 Nが変更され（直接法においては、指数 Nを指定する係数 a， b , cが変更され、 また、 リカーシブ法においては、 指数 Nそのものが変更され） 、 これにより予測係数 （係数セット） の学習規範 （学習の体系） として、 どのよう な指数 Nの最小 N乗誤差法を採用するかが設定される。 すなわち、 係数を求める 学習アルゴリズムが変更されている。 従って、 「処理の構造」 力 ユーザの好み の画像が得られるように変更されているということが言える。
次に、 図 1 2 2を参照して、 図 1 1 6の最適化装置 1 20 1に内部情報生成部 1 3 1 2を設けるようにした最適化装置 1 30 1の構成について説明する。
図 1 22の最適化装置 1 30 1においては、 内部情報生成都 1 3 1 2が設けら れたことにより、 処理部 1 2 1 1に替えて処理部 1 3 1 1が設けられた点以外に ついては図 1 1 6の最適化装置 1 20 1と同様である。
内部情報生成部 1 3 1 2は、 内部情報として、 例えば、 処理部 1 3 1 1の係数 メモリ 1 3 2 1より処理内容毎に記憶されている係数セットの情報を読出し、 表 示部 403で表示可能な情報に変換して出力し、 表示させる。
次に、 図 1 2 3を参照して、 処理部 1 3 1 1の構成について説明する。 基本的 な構成は、 同様であるが、 係数メモリ 1 237に替えて、 係数メモリ 1 32 1が 設けられているが、 その機能は同様であるが、 内部情報生成部 1 3 1 2に接続さ れており、 処理内容毎に記憶されている係数セットが読み出される構成になって いる。
次に、 図 1 24のフローチヤ一トを参照して、 図 1 22の最適化装置 1 301 による画像最適化処理について説明する。 図 1 22の最適化装置 1 30 1も、 図 1 1 6における最適化装置 1 20 1の場合と同様に学習処理とマッピング処理か らなる。 そして、 学習処理では、 ステップ S 54 1乃至 S 5 5 1において、 図 1 20のステップ S 5 0 1乃至 S 5 1 1における場合とそれぞれ同様の処理が行わ れる。
さらに、 学習処理では、 ステップ S 54 1および S 55 1の処理後、 ステップ S 5 5 2に進み、 内部情報生成部 1 3 1 2は、 係数メモリ 1 3 21に記憶されて いる係数セットを、 内部情報として読出し、 係数セットに含まれる各値に基づい て表示可能な画像信号を生成して、 表示部 4 0 3に出力し、 表示させる。
このとき、 内部情報生成部 1 3 1 2により生成され表示部 4 0 3に表示される 画像は、 上述のように、 例えば、 図 3 9で示すような 3次元分布図や、 または、 図 4 0で示した 2次元分布図のような形式などとすることができる。
ここで、 図 1 2 4のフローチャートの説明に戻る。
ステップ S 5 5 2の処理後は、 ステップ S 5 4 1に戻り、 以下、 同様の処理が 操り返される。
—方、 図 1 2 5のフローチャートに示すマッピング処理では、 ステップ S 5 7 1乃至 S 5 7 7において、 図 1 2 1のステップ S 5 2 1乃至 S 5 2 7における場 合とそれぞれ同様の処理が行われる。
以上の処理により、 処理部 1 3 1 1の係数メモリ 1 3 2 1に記憶された係数セ ットの各値 （各係数値） が処理に関する内部情報として表示 （呈示） され、 ユー ザは、 この係数セットの分布と、 出力信号としての処理部 1 3 1 1の処理結果を 見ながら自らの好みに合う出力信号としての画像が得られるように、 操作部 1 2 0 2を操作して、 指数 Nを変更させることで係数セットを求める学習アルゴリズ ムが変更されている。 従って、 「処理の構造」 が変更ユーザの好みの画像が得ら れるように変更されていると言える。 また、 以上の例においては、 係数セットを 表示させるようにしたが、 例えば、 現在の最小 N乗誤差法が直接法であるのか、 または、 リカーシブ法であるのかといつた、 処理に関する内部情報を表示するよ うにしてもよい。
次に、 図 1 2 6を参照して、 図 1 1 6の最適化装置 1 2 0 1の処理部 1 2 1 1 に替えて、 処理部 1 4 1 1を設けるようにした最適化装置 1 4 0 1の構成につい て説明する。
処理部 1 4 1 1の構成は、 基本的に図 4 1の最適化装置 3 0 1の処理部 3 1 1 と同様の構成であり、 操作部 1 2 0 2より入力された操作信号と、 処理決定部 4 1 2により入力された処理内容に基づいて、 入力信号を最適化し表示部 4 0 3に 表示する。 次に、 図 1 2 7を参照して、 処理部 1 4 1 1の構成について説明する。 係数メ モリ 1 4 2 1は、 処理内容毎に複数の係数セットが記憶されており、 マッピング 処理部 1 2 2 2によるマッピング処理に必要な係数セットが記憶されている。 図 中では、 係数セット A乃至 Nが記憶されていることが示されている。 この係数セ ットは、 図 1 2 8の学習装置 1 4 4 1により予め学習されて生成されるものであ る。
ここで、 係数セットを生成する学習装置 1 4 4 1の構成について、 図 1 2 8を 参照して説明する。
学習装置 1 4 4 1の教師データ生成部 1 4 5 1、 生徒データ生成部 1 4 5 2、 特徴量抽出部 1 4 5 3、 処理決定部 1 4 5 4、 および、 予測タップ抽出部 1 4 5 5は、 図 1 1 8の学習装置 1 2 2 1の教師データ生成部 1 2 3 1、 生徒データ生 成部 1 2 3 2、 特徴量抽出部 1 2 3 3、 処理決定部 1 2 3 4、 および、 予測タッ プ抽出部 1 2 3 5に対応しており、 同様のものであるので、 その説明については 省略する。
正規方程式生成部 1 4 5 6は、 図 4 3の正規方程式生成部 3 5 4と同様のもの であり、 教師データ生成部 3 5 1より入力された教師データと予測タップに基づ いて正規方程式を生成して、 係数決定部 1 4 5 7に出力するが、 この際、 処理決 定部 1 4 5 4より入力される処理内容の情報毎に正規方程式を生成して出力する 点が異なる。
係数決定部 1 4 5 7は、 図 4 3の係数決定部 3 5 5と同様のものであり、 入力 された正規方程式を解いて係数セットを生成するが、 この際、 処理内容の情報毎 に対応付けて係数セットを生成する。
次に、 図 1 2 9のフローチャートを参照して、 図 1 2 8の学習装置 1 4 4 1に よる係数決定処理 （学習処理） について説明する。 ステップ S 5 9 1において、 教師データ生成部 1 4 5 1は、 学習用データから教師データを生成し、 正規方程 式生成部 1 4 5 6に出力すると共に、 生徒データ生成部 1 4 5 2は、 学習用デー タから生徒データを生成し、 特徴量抽出部 1 4 5 3、 および、 予測タップ抽出部 1 4 5 5に出力して、 ステップ S 5 9 2に進む。
ステップ S 5 9 2において、 予測タップ抽出部 1 4 5 5は、 各教師データを順 次注目画素として、各注目データについて、生徒データより予測タップを抽出し、 正規方程式生成部 1 4 5 6に出力して、 ステップ S 5 9 3に進む。
ステップ S 5 9 3において、特徴量抽出部 1 4 5 3は、注目画素 （教師データ） に対応する位置の生徒データ （画素） についての特徴量を抽出し、 処理決定部 1 4 5 4に出力する。
ステップ S 5 9 4において、 処理決定部 1 4 5 4は、 特徴量抽出部 1 4 5 3よ り抽出された特徴量に基づいて、 各画素毎に処理内容を決定し、 決定した処理内 容の情報を正規方程式生成部 1 4 5 6に出力する。 例えば、 処理決定部 1 4 5 4 は、 例えば、 1または複数の特徴量をベク トル量子化し、 その量子化結果を処理 内容の情報としてもよい。 従って、 処理決定部 1 4 5 6においては、 L U Tが記 憶されていない。
ステップ S 5 9 5において、 正規方程式生成部 1 4 5 6は、 各教師データと予 測タップのセットを用いて、 式 （4 6 ) における左辺の行列の各コンポーネント となっているサメーション (∑) と、 右辺のベタ トルの各コンポーネントとなつ ているサメーシヨン (∑) を演算することにより、 処理決定部 1 4 5 4より入力 されてくる処理内容の情報毎に正規方程式を生成し、 係数決定部 1 4 5 7に出力 する。
そして、 ステップ S 5 9 6に進み、 係数決定部 1 4 5 7は、 正規方程式生成部 1 4 5 6より入力された正規方程式を処理内容の情報毎に解いて、 いわゆる最小 2乗誤差法により処理内容の情報毎に係数セットを求め、 ステップ S 5 9 7にお いて、 係数メモリ 1 4 2 1に記憶させる。
以上の処理により、 係数メモリ 1 4 2 1に基礎となる係数セット （初期値とし ての係数セット) が処理内容の情報毎に記憶される。 尚、 以上の例においては、 係数セットは、 最小 2乗誤差法により求められる場合について説明してきたが、 その他の方法で求められた係数セットであってもよく、 上述の最小 N乗誤差法に より求められる係数セットであってもよい。
次に、 図 1 3 0のフローチヤ一トを参照して、 図 1 2 6の最適化装置 1 4 0 1 による画像最適化処理について説明する。 尚、 この画像最適化処理は、 係数変更 処理とマツビング処理からなり、 マツビング処理は、 図 1 2 1や図 1 2 5で説明 したマッピング処理と同一であるため、 ここでは、 係数変更処理についてのみ説 明する。
ステップ S 6 1 1において、 係数変更部 3 2 2の変更処理部 3 3 2は、 係数値 を操作する操作信号が操作部 1 2 0 2より入力されたか否かを判定する。 すなわ ち、 ユーザは、 表示部 4 0 3に表示された画像をみて自らの好みに合うものであ るとみなした場合、 いま、 係数メモリ 1 4 2 1に記憶されている処理内容の情報 毎の係数セットによるマッピング処理を実行させるが、 自らの好みに合うもので はないと判定した場合、 マッピング処理に使用される係数メモリ 1 4 2 1に記憶 されている係数セットを変更する操作を行う。
例えば、 ステップ S 6 1 1において、 係数を操作する操作信号が入力されたと 判定された場合、 すなわち、 係数メモリ 1 4 2 1に記憶された係数のうちいずれ か 1個の係数値を変更するように、 操作部 1 2 0 2が操作された場合、 ステップ S 6 1 2に進む。
ステップ S 6 1 2において、 変更処理部 3 3 2は、 係数読出書込部 3 3 1を制 御して、 係数メモリ 3 2 1に記憶されている係数セットを読み出させ、 ステップ S 6 1 3に進む。 ステップ S 6 1 3において、 変更処理部 3 3 2は、 操作信号と して入力された係数値が係数セットに予め含まれている値と比べて所定の閾値 S 1 1以上に変化しているか否かを判定する。例えば、ステップ S 6 1 3において、 操作信号として入力された値と係数メモリ 1 4 2 1に記憶されていた係数セット の値との変化が閾値 S 1 1以上であると判定された場合、 その処理は、 ステップ S 6 1 4に進む。
ステップ S 6 1 4において、 変更処理部 3 3 2は、 係数セットに含まれる各係 数の値を、 図 5 0で示したようにパネモデルによって変更し、 その処理は、 ステ ップ S 6 1 5に進む。
一方、 ステップ S 6 1 3において、 操作信号として入力された値と係数メモリ 1 4 2 1に記憶されていた係数セットの値との変化が閾値 S 1 1以上ではないと 判定された場合、 その処理は、 ステップ S 6 1 5に進む。
ステップ S 6 1 5において、 変更処理部 3 3 2は、 係数セットに含まれる各係 数の値を、 図 5 1で示したよう'に均衡モデルによって変更し、 その処理は、 ステ ップ S 6 1 6に進む。
ステップ S 6 1 6において、 変更処理部 3 3 2は、 係数読出書込部 3 3 1を制 御して、 変更した係数セットの値を係数メモリ 1 4 2 1に上書き記憶させ、 その 処理は、 ステップ S 6 1 1に戻り、 それ以降の処理が繰り返される。
そして、 ステップ S 6 1 1において、 係数値が操作されていないと判定された 場合、 すなわち、 ユーザが表示部 4 0 3に表示された画像がユーザの好みの画像 であると判定された場合、 ステップ S 6 1 1に戻り、 以下、 同様の処理が繰り返 される。
以上の係数変更処理により、 ユーザは、 マッピング処理に用いられる処理内容 の情報毎に記憶された係数セットを変化させ、 ユーザにとって最適な処理を実行 させることが可能となる。 尚、 係数セットの各係数の値を変更することは、 マツ ビング処理部 3 1 1によるマッピング処理の 「処理の内容」 が変更されることに なる。
また、 図 1 3 0の係数変更処理では、 係数の変化の大きさが所定の閾値 S 1 1 以上のときには、 操作された係数の値に応じて、 係数セットの全ての係数値をバ ネモデルで変更させ、 閾値 S 1 1よりも小さいときは、 係数セットの全ての係数 値を均衡モデルで変更させるため、 係数セットを変更させる係数セットの変更ァ ルゴリズムが変化する。 従って、 図 1 2 6の最適化装置 1 4 0 1の処理部 1 4 1 1でも、 ユーザの操作に従い、 その 「処理の内容」 も、 さらには、 その 「処理の 構造」 も変更され、 これによりユーザにとって最適な信号処理が行われていると いうことができる。 また、 上述のように、 係数メモリ 1 4 2 1に記憶される係数セットが、 最小 N 乗誤差法により求められるものである場合、 例えば、 複数の指数 Nに対応する係 数セットを予め係数メモリ 1 4 2 1に記憶させておき、 係数変更部 3 2 2が、 ュ 一ザの操作に基づいた操作部 1 2 0 2からの操作信号に従って、 指定された指数 Nに対応する係数セットに変更させるようにしても良い。 この場合、 係数メモリ
1 4 2 1に記憶される各係数セットは、 ユーザの操作に基づいて操作部 1 2 0 2 から入力される指数 Nに対応した最小 N乗誤差法により生成されたものに変更さ れる。 すなわち、 指数 Nに対応して係数セットを求める学習アルゴリズムが変更 されることになるから、 「処理の構造」 が変更されているということができる。 次に、 図 1 3 1を参照して、 図 1 2 6の最適化装置 1 4 0 1に内部情報生成部
1 5 2 1を設けるようにした最適化装置 1 5 0 1の構成について説明する。 図 1 3 1の最適化装置 1 5 0 1においては、 内部情報生成部 1 5 2 1が設けられたこ とに伴って処理部 1 4 1 1に替えて処理部 1 5 1 1が設けられている点を除き、 その他の構成は、 図 1 2 6の最適化処理部 1 4 0 1と同様である。
内部情報生成部 1 5 2 1は、 内部情報として、 例えば、 処理部 1 5 1 1の係数 メモリ 1 5 3 1に処理内容の情報毎に記憶されている係数セットを読出し、 表示 部 4 0 3に表示可能な画像信号に変換した後、 表示部 4 0 3に出力して、 表示さ せる。
次に、 図 1 3 2を参照して、 処理部 1 5 2 1の構成について説明する。 基本的 には、 図 1 2 6の処理部 1 4 1 1の構成と同様であるが、 係数メモリ 1 4 2 1に 替えて、 係数メモリ 1 5 3 1が設けられている。 係数メモリ 1 5 3 1は、 機能上 係数メモリ 1 4 2 1とほぼ同様であるが、 内部情報生成部 1 5 2 1に接続されて おり、 適宜係数セットが読み出される構成となっている点で異なる。
次に、 図 1 3 3のフローチャートを参照して、 図 1 3 1の最適化装置 1 5 0 1 による画像最適化処理について説明する。 この画像最適化処理も、 図 1 2 6の最 適化処理 1 4 0 1が行う画像最適化処理と同様に、 係数変更処理と、 マッピング 処理からなるが、 マッビング処理は、 図 1 2 1や図 1 2 5で説明したマツビング 処理と同一であるため、 ここでは、 係数変更処理についてのみ説明する。
係数変更処理では、 ステップ S 6 3 1乃至 S 6 3 6において、 図 1 3 0のステ ップ S 6 1 1乃至 S 6 1 6における場合と、 それぞれ同様の処理が行われる。 そして、 ステップ S 6 3 6において、 図 1 3 0のステップ S 6 3 6における場 合と同様に、 変更後の係数セットが係数メモリ 1 5 3 1に記憶された後は、 ステ ップ S 6 3 7に進み、 内部情報生成部 1 5 2 1は、 係数メモリ 1 5 3 1に記憶さ れている係数セットの各係数値を読出し、 表示部 4 0 3で表示可能な画像信号に 変換して、 表示部 4 0 3に出力して表示 （呈示） させる。 このとき、 表示部 4 0 3には、 例えば、 上述の図 3 9で示したような 3次元分布図や、 または、 図 4 0 で示した 2次元分布図のような形式にして、係数セットの各係数値を表示（呈示） するようにすることができる。
ステップ S 6 3 7の処理後は、 ステップ S 6 3 1に戻り、 以下、 同様の処理が 繰り返される。
図 1 3 3の係数変更処理によれば、 係数メモリ 1 5 3 1に処理内容の情報毎に 記憶された係数セッ トの値が、 内部情報として表示されるので、 ユーザは、 この 係数セットを見ながらユーザにとって最適な処理を実行する係数セットが得られ るように、 操作部 1 2 0 2を操作することが可能となる。
尚、 マッビング処理部 1 2 2 2の積和演算部 1 2 5 1では、 式 （3 9 ) の 1次 式ではなく、 2次以上の高次の式を演算することによって、 出力信号を求めるよ うにすることが可能である。
次に、 上述した一連の処理は、 ハードウェアにより行うこともできるし、 ソフ トウエアにより行うこともできる。 一連の処理をソフトウエアによって行う場合 には、 そのソフトウェアを構成するプログラムが、 汎用のコンピュータ等にイン ストーノレされる。
そこで、 図 1 3 4は、 上述した一連の処理を実行するプログラムがインスト一 ルされるコンピュータの一実施の形態の構成例を示している。
プログラムは、 コンピュータに内蔵されている記録媒体としてのハードデイス ク 2 1 0 5や ROM 2 1 0 3に予め記録しておくことができる。
あるいはまた、 プログラムは、 フロッピーディスク、 CD- ROM (Compact Disc Re ad Only Memory) , MO (Magneto optical)ケイスク， DVD (Digital Versatile Disc)、 磁気ディスク、 半導体メモリなどのリムーバブル記録媒体 2 1 1 1に、 一時的あ るいは永続的に格納 （記録） しておくことができる。 このようなリムーバブル記 録媒体 2 1 1 1は、 いわゆるパッケージソフトウェアとして提供することができ る。
なお、 プログラムは、 上述したようなリムーバブル記録媒体 2 1 1 1からコン ピュータにインス トールする他、 ダウンロードサイ トから、 ディジタル衛星放送 用の人工衛星を介して、 コンピュータに無線で転送したり、 LAN (Local Area Net work) ,ィンターネットといったネットワークを介して、 コンピュータに有線で転 送し、 コンピュータでは、 そのようにして転送されてくるプログラムを、 通信部 2 1 0 8で受信し、 内蔵するハードディスク 2 1 0 5にインス トールすることが できる。
コンピュータは、 CPU(Central Processing Unit) 2 1 0 2を内蔵している。 CP U2 1 0 2には、バス 2 1 0 1を介して、入出力ィンタフェース 2 1 1 0が接続さ れており、 CPU2 1 0 2は、 入出力インタフェース 2 1 1 0を介して、 ユーザによ つて、 キーボードや、 マウス、 マイク等で構成される入力部 2 1 0 7が操作等さ れることにより指令が入力されると、それにしたがって、 R0M(Read Only Memory) 2 1 0 3に格納されているプログラムを実行する。 あるいは、 また、 CPU2 1 0 2 は、 ハードディスク 2 1 0 5に格納されているプログラム、 衛星若しくはネット ワークから転送され、 通信部 2 1 0 8で受信されてハードディスク 2 1 0 5にィ ンストールされたプログラム、 またはドライブ 2 1 0 9に装着されたリムーバブ ル記録媒体 2 1 1 1から読み出されてハードディスク 2 1 0 5にインス トールさ れたプログラムを、 RAM (Random Access Memory) 2 1 04にロードして実行する。 これにより、 CPU 2 1 0·2は、 上述したフローチャートにしたがった処理、 あるい は上述したプロック図の構成により行われる処理を行う。そして、 CPU 2 1 0 2は、 その処理結果を、 必要に応じて、 例えば、 入出力インタフェース 2 1 1 0を介し て、 LCD (Liquid Crystal Display)やスピーカ等で構成される出力部 2 1 0 6から 出力、 あるいは、 通信部 2 1 0 8から送信、 さらには、 ハードディスク 2 1 0 5 に記録等させる。
ここで、 本明細書において、 コンピュータに各種の処理を行わせるためのプロ グラムを記述する処理ステップは、 必ずしもフローチヤ一トとして記載された順 序に沿って時系列に処理する必要はなく、 並列的あるいは個別に実行される処理 (例えば、 並列処理あるいはオブジェク トによる処理） も含むものである。
また、 プログラムは、 1のコンピュータにより処理されるものであっても良い し、 複数のコンピュータによって分散処理されるものであっても良い。 さらに、 プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。 以上、 本発明を、 入力信号からのノイズ除去や、 自動走行に適用した場合につ いて説明したが、 本発明は、 ノイズ除去や自動走行以外の、 例えば、 信号の周波 数特性の変換その他のアプリケーションに広く適用可能である。 産業上の利用可能性
以上の如く、 本発明によれば、 ユーザの処理に基づいて、 処理の内容と、 さら には、 処理の構造が変更することにより、 そのユーザにとって最適な処理を行う ことが可能となる。
本実施の形態では、 内部情報を出力信号と同一の表示部で表示するようにした が内部情報は出力信号を表示する表示部とは別の表示部で表示することが可能で ある。

Claims

請求の範囲
1 . 入力信号を信号処理する信号処理手段と、
前記信号処理手段の信号処理結果を出力する出力手段と
を備え、 .
.ユーザの操作に応じて供給される操作信号に基づいて、 前記信号処理手段の処 理の構造が変更される
ことを特徴とする信号処理装置。
2 . 前記信号処理手段は、
前記入力信号より特徴を検出する特徴検出手段と、
前記特徴検出手段により検出された特徴に基づいて、 前記入力信号に対する 処理の内容を決定する処理決定手段と、
前記処理決定手段により決定された前記処理の内容に従って、 前記入力信号 への処理を実行する処理実行手段とを有し、
前記操作信号に基づいて、 前記特徴検出手段、 処理決定手段、 または、 処理実 行手段のうちの少なくともいずれかの処理の構造が変更される
ことを特徴とする請求の範囲第 1項に記載の信号処理装置。
3 . 前記出力手段は、 前記信号処理手段の信号処理結果を呈示する呈示手段を 含む
ことを特徴とする請求の範囲第 1項に記載の信号処理装置。
4 . 前記操作信号に基づいて、 前記特徴検出手段の処理の構造が変更される ことを特徴とする請求の範囲第 2項に記載の信号処理装置。
5 . 前記操作信号は、 複数種類の特徴のうちの、 所定数の特徴の種類を指定す る信号であり、
前記特徴検出手段は、 前記所定数の種類の特徴を検出するように、 その処理の 構造を変更する
ことを特徴とする請求の範囲第 4項に記載の信号処理装置。
6 . 前記特徴検出手段は、前記入力信号より前記所定数の種類の特徴を検出し、 前記処理決定手段は、 前記特徴検出手段により前記入力信号より検出された前 記所定数の種類の特徴に基づいて、 前記入力信号に対する前記処理実行手段にお ける処理の内容を決定する
ことを特徴とする請求の範囲第 5項に記載の信号処理装置。
7 . 前記入力信号は、 画像信号であり、
前記処理決定手段は、 前記特徴検出手段により前記入力信号より検出された前 記所定数の種類の特徴に基づいて、前記入力信号に対する前記処理の内容として、 前記入力信号をそのまま出力するか否かを決定し、
前記処理実行手段は、 前記処理決定手段の決定に従い、 前記入力信号を選択的 に出力することにより、 前記入力信号である画像信号中のテロップを検出する ことを特徴とする請求の範囲第 6項に記載の信号処理装置。
8 . 前記特徴検出手段は、 前記操作信号に基づいて、 予め用意されている特徴 と異なる新たな種類の特徴を検出するように、 その処理の構造を変更する ことを特徴とする請求の範囲第 4項に記載の信号処理装置。
9 . 前記特徴検出手段は、予め用意されている前記特徴のダイナミックレンジ、 最大値、 中央値、最小値、和、分散、前記特徴が閾値よりも大きな入力信号の数、 または前記特徴の線形一次結合を、 前記新たな種類の特徴として検出する ことを特徴とする請求の範囲第 8項に記載の信号処理装置。
1 0 . 前記操作信号に基づいて、 前記処理決定手段の処理の構造が変更される ことを特徴とする請求の範囲第 2項に記載の信号処理装置。
1 1 . 前記処理決定手段は、
前記特徴の各値と、 その値の特徴を有する前記入力信号に対する前記処理の 内容との対応関係である特徴/処理対応関係を記憶しており、
前記特徴 Z処理対応関係において、 前記入力信号から検出された特徴の値と対 応付けられている処理の内容を、 その入力信号に対する処理の内容として決定す る
ことを特徴とする請求の範囲第 1 1項に記載の信号処理装置。
1 2 . 前記処理決定手段は、 前記操作信号に基づいて、 前記特徴 Z処理対応関 係における前記処理の内容を変更することにより、 その処理の構造を変更する ことを特徴とする請求の範囲第 1 1項に記載の信号処理装置。
1 3 . 前記特徴/処理対応関係においては、 前記入力信号に対して、 第 1の値 の出力信号を出力する処理と、 第 2の値の出力信号を出力する処理との 2つの処 理の内容が存在し、
前記処理実行手段は、 前記処理決定手段の決定に従い、 前記入力信号を前記第 1と第 2の値に 2値化する
ことを特徴とする請求の範囲第 1 1項に記載の信号処理装置。
1 4 . 前記操作信号に基づいて、 前記処理実行手段の処理の構造が変更される ことを特徴とする請求の範囲第 2項に記載の信号処理装置。
1 5 . 前記処理実行手段は、
所定の学習用データより教師データを生成する教師データ生成手段と、 前記学習用データより生徒データを生成する生徒データ生成手段と、 前記生徒データと所定の予測係数との線形結合により求められる前記教師デ ータの予測値と、 その教師データとの誤差を最小とする前記予測係数を学習する 学習手段と、
前記入力信号と、 前記学習手段により求められた予測係数とを線形結合する ことにより、 出力信号を生成する出力信号生成手段と
を有する
ことを特徴とする請求の範囲第 1 4項に記載の信号処理装置。
1 6 . 前記学習手段は、
前記誤差の N乗である N乗誤差を、 統計的に最小にする最小 N乗誤差法により 前記予測係数を学習し、
前記操作信号に基づいて、 前記誤差の N乗を変更することにより、 その処理の 構造を変更する
ことを特徴とする請求の範囲第 1 5項に記載の信号処理装置。
1 7 . 前記学習手段は、 前記 N乗誤差として、 2乗誤差と、 操作信号に応じた 重みとの積を採用することにより、 前記操作信号に基づいて、 前記誤差の N乗を 変更する
ことを特徴とする請求の範囲第 1 6項に記載の信号処理装置。
1 8 . 前記学習手段は、 前記操作信号に対応する N乗を用いた前記 N乗誤差と して、 2乗誤差と、 最小 N ' 乗誤差法により求められる前記予測係数を用いて演 算される前記教師データの予測値の N— 2乗誤差との積を採用する
ことを特徴とする請求の範囲第 1 6項に記載の信号処理装置。
1 9 . 前記学習手段は、 前記処理決定手段が決定する前記処理の内容毎に、 前 記予測係数を学習し、
前記出力生成手段は、 前記入力信号と、 その入力信号について前記処理決定手 段が決定する前記処理の内容に対応する前記予測係数との線形結合により、 前記 出力信号を生成する
ことを特徴とする請求の範囲第 1 5項に記載の信号処理装置。
2 0 . 前記信号処理手段は、
前記操作信号をモニタし、 学習に用いることができるかどうかを判定する判 定手段と、
学習に用いることのできる前記操作信号である学習用操作信号に基づいて、 前記入力信号を補正する規範である補正規範を学習する学習手段と、
前記入力信号を、 前記学習により得られた前記補正規範に基づいて補正し、 その補正後の信号を、 出力信号として出力する補正手段と
を有する
ことを特徴とする請求の範囲第 1項に記載の信号処理装置。
2 1 . 前記信号処理手段は、
所定の学習用データより教師データを生成する教師データ生成手段と、 前記学習用データより生徒データを生成する生徒データ生成手段と、 前記生徒データと所定の予測係数との線形結合により求められる前記教師デ ータの予測値と、 その教師データとの誤差を最小とする前記予測係数を学習する 学習手段と、
前記入力信号と、 前記学習手段により求められた予測係数とを線形結合する ことにより、 出力信号を生成する出力信号生成手段と
を有する
ことを特徴とする請求の範囲第 1項に記載の信号処理装置。
2 2 . 前記信号処理手段は、
誤差の N乗である N乗誤差を、 統計的に最小にする最小 N乗誤差法により前記 予測係数を学習し、
前記操作信号に基づいて、 前記誤差の N乗を変更することにより、 その処理の 構造を変更する
ことを特徴とする請求の範囲第 1項に記載の信号処理装置。
2 3 . 前記学習手段は、 前記 N乗誤差として、 2乗誤差と、 操作信号に応じた 重みとの積を採用することにより、 前記操作信号に基づいて、 前記誤差の N乗を 変更する
ことを特徴とする請求の範囲第 2 2項に記載の信号処理装置。
2 4 . 前記学習手段は、 前記操作信号に対応する N乗を用いた前記 N乗誤差と して、 2乗誤差と、 最小 N ' 乗誤差法により求められる前記予測係数を用いて演 算される前記教師データの予測値の N— 2乗誤差との積を採用する
ことを特徴とする請求の範囲第 2 2項に記載の信号処理装置。
2 5 . 入力信号を信号処理する信号処理ステップと、
前記信号処理ステップの処理での信号処理結果を出力する出力ステップと を含み、
ユーザの操作に応じて供給される操作信号に基づいて、 前記信号処理ステップ の処理の構造が変更される
ことを特徴とする信号処理方法。
2 6 . 入力信号の信号処理を制御する信号処理制御ステップと、 前記信号処理制御ステップの処理での信号処理結果の出力を制御する出力制御 ステップと
を含み、
ュ一ザの操作に応じて供給される操作信号に基づいて、 前記信号処理制御ステ ップの処理の構造が変更される
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている 記録媒体。
2 7 . 入力信号の信号処理を制御する信号処理制御ステップと、
前記信号処理制御ステップの処理での信号処理結果の出力を制御する出力制御 ステップと
をコンピュータに実行させ、
ユーザの操作に応じて供給される操作信号に基づいて、 前記信号処理制御ステ ップの処理の構造が変更される
ことを特徴とするプログラム。
PCT/JP2002/001542 2001-02-21 2002-02-21 Dispositif de traitement de signaux WO2002067193A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP02700666A EP1363235A4 (en) 2001-02-21 2002-02-21 SIGNAL PROCESSING DEVICE
JP2002566439A JP4707083B2 (ja) 2001-02-21 2002-02-21 信号処理装置
US10/258,033 US7814039B2 (en) 2001-02-21 2002-02-21 Signal processing device and method which learn a prediction coefficient by least-Nth-power error minimization of student teacher data error to detect a telop within image signals which are input signals by selectively outputting input signals following decision of the processing deciding means

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001045249 2001-02-21
JP2001-45249 2001-02-21

Publications (1)

Publication Number Publication Date
WO2002067193A1 true WO2002067193A1 (fr) 2002-08-29

Family

ID=18907082

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2002/001541 WO2002067192A1 (fr) 2001-02-21 2002-02-21 Dispositif de traitement de signaux
PCT/JP2002/001542 WO2002067193A1 (fr) 2001-02-21 2002-02-21 Dispositif de traitement de signaux

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/001541 WO2002067192A1 (fr) 2001-02-21 2002-02-21 Dispositif de traitement de signaux

Country Status (7)

Country Link
US (2) US7814039B2 (ja)
EP (2) EP1363234B1 (ja)
JP (4) JP4707083B2 (ja)
KR (2) KR100877457B1 (ja)
CN (2) CN1253830C (ja)
DE (1) DE60231480D1 (ja)
WO (2) WO2002067192A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672536B2 (en) 2003-06-27 2010-03-02 Sony Corporation Signal processing device, signal processing method, program, and recording medium

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60232831D1 (de) * 2002-02-21 2009-08-13 Sony Corp Signalverarbeitungsvorrichtung
NO319660B1 (no) * 2003-11-17 2005-09-05 Tandberg Telecom As Fremgangsmåte for interpolering av pixelverdier
EP1699211B1 (en) * 2005-03-04 2008-07-23 Sennheiser Communications A/S A learning headset
US7453771B2 (en) * 2005-12-19 2008-11-18 Caterpillar Inc. Apparatus and method for reducing noise for moveable target
KR101376556B1 (ko) * 2006-01-17 2014-04-02 코닌클리케 필립스 엔.브이. 사이클로스테이션너리 툴박스를 이용하여 잡음에 삽입된텔레비전 신호의 존재 검출
JP5061882B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに学習装置
JP5618128B2 (ja) * 2010-02-22 2014-11-05 ソニー株式会社 符号化装置、符号化方法、およびプログラム
CN101916393B (zh) * 2010-07-14 2012-09-26 中国科学院半导体研究所 具有图像分割功能的脉冲耦合神经网络的实现电路
CN102929730B (zh) * 2012-10-31 2015-02-25 成都主导科技有限责任公司 一种数据校正方法、装置及系统
US20150193699A1 (en) * 2014-01-08 2015-07-09 Civitas Learning, Inc. Data-adaptive insight and action platform for higher education
CN104636785B (zh) * 2015-02-28 2018-08-07 北京慧眼食珍科技有限公司 带有二维码软件安装信息的二维码、生成方法与识别方法
CN104636784A (zh) * 2015-02-28 2015-05-20 立德高科(北京)数码科技有限责任公司 一种二维码及其生成方法与识别方法
WO2017061189A1 (ja) * 2015-10-05 2017-04-13 シャープ株式会社 画像復号装置または画像符号化装置のための画像予測装置
KR20180046679A (ko) * 2016-10-28 2018-05-09 삼성전자주식회사 지문 인식 방법 및 이를 포함하는 전자 기기
JP6803241B2 (ja) * 2017-01-13 2020-12-23 アズビル株式会社 時系列データ処理装置および処理方法
JP6638695B2 (ja) * 2017-05-18 2020-01-29 トヨタ自動車株式会社 自動運転システム
JP2019049875A (ja) * 2017-09-11 2019-03-28 トヨタ自動車株式会社 作動許可認証装置
JP6833660B2 (ja) * 2017-11-08 2021-02-24 株式会社東芝 信頼度監視システム、信頼度評価方法、及びプログラム
JP6812334B2 (ja) * 2017-12-12 2021-01-13 日本電信電話株式会社 学習型自律システム用学習データ生成装置、学習型自律システム用学習データ生成方法、プログラム
CN108174126B (zh) * 2017-12-28 2020-09-18 北京空间机电研究所 一种基于可见光图像的ccd信号采样位置精确选取方法
JP6852141B2 (ja) 2018-11-29 2021-03-31 キヤノン株式会社 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム
CN110907694A (zh) * 2020-02-07 2020-03-24 南京派格测控科技有限公司 功率放大器的输入电流的计算方法及装置
KR102399635B1 (ko) * 2020-09-28 2022-05-18 경북대학교 산학협력단 저전력-저용량 임베디드 장비에 적용 가능한 신호 최적화 장치, 방법 및 이를 수행하기 위한 프로그램을 기록한 기록매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63173181A (ja) * 1987-01-13 1988-07-16 Olympus Optical Co Ltd 画像処理方法
US6031543A (en) * 1995-09-28 2000-02-29 Fujitsu Limited Image processing apparatus for correcting color space coordinates and method
EP1001371A1 (en) * 1998-11-09 2000-05-17 Sony Corporation Data processing apparatus and data processing methods
JP2001319228A (ja) * 2000-02-28 2001-11-16 Sharp Corp 画像処理装置および画像処理システム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4261054A (en) * 1977-12-15 1981-04-07 Harris Corporation Real-time adaptive power control in satellite communications systems
US4228538A (en) * 1977-12-15 1980-10-14 Harris Corporation Real-time adaptive power control in satellite communications systems
US5303306A (en) * 1989-06-06 1994-04-12 Audioscience, Inc. Hearing aid with programmable remote and method of deriving settings for configuring the hearing aid
JP2792633B2 (ja) * 1990-02-09 1998-09-03 株式会社日立製作所 制御装置
KR950009484B1 (ko) 1990-06-06 1995-08-23 미쓰이세끼유 가가꾸고오교오 가부시끼가이샤 폴리올레핀 수지 조성물
US6259824B1 (en) * 1991-03-12 2001-07-10 Canon Kabushiki Kaisha Image processing apparatus utilizing a neural network to improve printed image quality
JPH0580626A (ja) * 1991-03-12 1993-04-02 Canon Inc 情報処理装置
JP3096507B2 (ja) 1991-11-29 2000-10-10 松下電器産業株式会社 操作内容学習装置および空気調和機制御装置
US5412735A (en) * 1992-02-27 1995-05-02 Central Institute For The Deaf Adaptive noise reduction circuit for a sound reproduction system
JP3435713B2 (ja) 1992-11-27 2003-08-11 株式会社デンソー 学習パターン選択型追加学習装置
JP3048811B2 (ja) 1992-11-27 2000-06-05 三洋電機株式会社 コントラスト自動調整装置
US5619619A (en) * 1993-03-11 1997-04-08 Kabushiki Kaisha Toshiba Information recognition system and control system using same
JPH06289782A (ja) * 1993-04-07 1994-10-18 Matsushita Electric Ind Co Ltd 相互認証方法
US5649065A (en) * 1993-05-28 1997-07-15 Maryland Technology Corporation Optimal filtering by neural networks with range extenders and/or reducers
DE69425100T2 (de) * 1993-09-30 2001-03-15 Koninkl Philips Electronics Nv Dynamisches neuronales Netzwerk
DE4343411C2 (de) * 1993-12-18 2001-05-17 Blue Chip Music Gmbh Gitarren-Signalanalyseeinrichtung
US5796609A (en) * 1996-09-13 1998-08-18 Honeywell-Measurex Corporation Method and apparatus for internal model control using a state variable feedback signal
US5974235A (en) * 1996-10-31 1999-10-26 Sensormatic Electronics Corporation Apparatus having flexible capabilities for analysis of video information
US6046878A (en) * 1997-04-30 2000-04-04 Seagate Technology, Inc. Object positioning using discrete sliding mode control with variable parameters
US5987444A (en) * 1997-09-23 1999-11-16 Lo; James Ting-Ho Robust neutral systems
JPH11176272A (ja) 1997-12-12 1999-07-02 Toa Corp スイッチの誤操作防止装置及びスイッチの誤操作防止装置を備えた音響信号処理装置
JP4258045B2 (ja) * 1998-11-09 2009-04-30 ソニー株式会社 ノイズ低減装置、ノイズ低減方法、および記録媒体
JP4147647B2 (ja) * 1998-11-09 2008-09-10 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP2000250603A (ja) * 1999-03-02 2000-09-14 Yamaha Motor Co Ltd 総合特性最適化方法
US6342810B1 (en) * 1999-07-13 2002-01-29 Pmc-Sierra, Inc. Predistortion amplifier system with separately controllable amplifiers
JP2001045249A (ja) 1999-07-26 2001-02-16 Canon Inc ファクシミリ装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63173181A (ja) * 1987-01-13 1988-07-16 Olympus Optical Co Ltd 画像処理方法
US6031543A (en) * 1995-09-28 2000-02-29 Fujitsu Limited Image processing apparatus for correcting color space coordinates and method
EP1001371A1 (en) * 1998-11-09 2000-05-17 Sony Corporation Data processing apparatus and data processing methods
JP2001319228A (ja) * 2000-02-28 2001-11-16 Sharp Corp 画像処理装置および画像処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1363235A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672536B2 (en) 2003-06-27 2010-03-02 Sony Corporation Signal processing device, signal processing method, program, and recording medium
US7672526B2 (en) 2003-06-27 2010-03-02 Sony Corporation Signal processing device, signal processing method, program, and recording medium

Also Published As

Publication number Publication date
JP4269214B2 (ja) 2009-05-27
CN1271564C (zh) 2006-08-23
CN1460228A (zh) 2003-12-03
JP2008146661A (ja) 2008-06-26
DE60231480D1 (de) 2009-04-23
US7516107B2 (en) 2009-04-07
EP1363235A1 (en) 2003-11-19
CN1253830C (zh) 2006-04-26
JP4707083B2 (ja) 2011-06-22
JPWO2002067193A1 (ja) 2004-06-24
US20030142837A1 (en) 2003-07-31
JP4761170B2 (ja) 2011-08-31
JP2008159062A (ja) 2008-07-10
KR20030005286A (ko) 2003-01-17
US7814039B2 (en) 2010-10-12
US20040034721A1 (en) 2004-02-19
EP1363234B1 (en) 2009-03-11
KR100877457B1 (ko) 2009-01-07
JPWO2002067192A1 (ja) 2004-06-24
EP1363234A1 (en) 2003-11-19
KR20020089511A (ko) 2002-11-29
WO2002067192A1 (fr) 2002-08-29
EP1363235A4 (en) 2006-11-29
KR100874062B1 (ko) 2008-12-12
JP4811399B2 (ja) 2011-11-09
EP1363234A4 (en) 2006-11-22
CN1460227A (zh) 2003-12-03

Similar Documents

Publication Publication Date Title
WO2002067193A1 (fr) Dispositif de traitement de signaux
WO2003071479A1 (fr) Processeur de signaux
JP7466289B2 (ja) 映像処理装置及びその動作方法
JP4591786B2 (ja) 信号処理装置
CN110874578B (zh) 一种基于强化学习的无人机视角车辆识别追踪方法
JP2020008896A (ja) 画像識別装置、画像識別方法及びプログラム
JP7111088B2 (ja) 画像検索装置、学習方法及びプログラム
CN117218498B (zh) 基于多模态编码器的多模态大语言模型训练方法及系统
US20220088775A1 (en) Robot control device, robot system, and robot control method
WO2021132099A1 (ja) 学習支援装置、学習装置、学習支援方法及び学習支援プログラム
CN114693790B (zh) 基于混合注意力机制的自动图像描述方法与系统
KR20100022958A (ko) 학습 장치, 학습 방법, 정보 가공 장치, 정보 가공 방법, 및 프로그램
JP4591785B2 (ja) 信号処理装置
CN112947466B (zh) 一种面向自动驾驶的平行规划方法、设备及存储介质
CN116101205A (zh) 基于车内摄像头的智能座舱车内智能感知系统
JP2009075937A (ja) 機器動作設定装置
CN112907535B (zh) 一种用于超声图像采集教学任务的辅助系统
US20220381582A1 (en) Dynamic Parameterization of Digital Maps
Tian et al. Vehicle Music Automation Control System Based on Machine Vision.
JP2937390B2 (ja) 画像変換方法
CN112967293A (zh) 一种图像语义分割方法、装置及存储介质
CN116453043A (zh) 一种基于背景建模和目标检测的厨房老鼠检测方法
PRIYA et al. Grey Level Image Enhancement Technique using Particle Swarm Optimization Algorithm

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

WWE Wipo information: entry into national phase

Ref document number: 2002700666

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020027013945

Country of ref document: KR

ENP Entry into the national phase

Ref country code: JP

Ref document number: 2002 566439

Kind code of ref document: A

Format of ref document f/p: F

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 028011120

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020027013945

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 10258033

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2002700666

Country of ref document: EP