WO1998018264A1 - Schaltungsanordnung zur farbdekodierung eines videosignals - Google Patents

Schaltungsanordnung zur farbdekodierung eines videosignals Download PDF

Info

Publication number
WO1998018264A1
WO1998018264A1 PCT/DE1997/002374 DE9702374W WO9818264A1 WO 1998018264 A1 WO1998018264 A1 WO 1998018264A1 DE 9702374 W DE9702374 W DE 9702374W WO 9818264 A1 WO9818264 A1 WO 9818264A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
video signal
input
neural network
signal component
Prior art date
Application number
PCT/DE1997/002374
Other languages
English (en)
French (fr)
Inventor
Stefan Prange
Michael Jansen
Joachim Horn
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO1998018264A1 publication Critical patent/WO1998018264A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Definitions

  • the invention relates to a circuit arrangement for color decoding a video signal, by means of which the brightness and color signal components contained in the video signal can be generated separately from one another.
  • the color information of a video signal is known to be arranged in the upper part of its frequency spectrum modulated on the color carrier.
  • the video signal is therefore synchronously demodulated with orthogonal color carrier components.
  • Comb filtering is used in more recent color decoders, as described in EP-0 471 700 A.
  • Input pixels are fed to the comb filter from an input mask which comprises three lines in the vertical direction and a few pixels in the horizontal direction.
  • different filtering methods two- and one-line comb filtering as well as simple decoding
  • the filtering methods are parameterized based on empirical values.
  • the classic method provides crosstalk between chrominance and luminance, in particular in the case of spatially high-frequency structures, e.g. vertical jumps in brightness.
  • adaptive comb filtering the image conditions are taken into account by hard switching between different methods.
  • the method does not provide optimal results for all image content that occurs in practice.
  • the object of the invention is to provide a circuit arrangement for color decoding a video signal, which enables a good quality color decoding even with different picture contents. According to the invention, this object is achieved by a circuit arrangement for color decoding according to the features of patent claim 1.
  • a neural network acts as a nonlinear filter. By “training” the network, whereby the available parameters of the network are set, a desired filter function is obtained. When training the neural network in the color decoder, the color decoding is also selected
  • Training images numerically optimized based on a specified quality criterion. Even if the image data to be processed by the already trained color decoder in later practical operation deviate from the training images, the neural network delivers good decoding results. In addition, the network can be specially trained for particularly critical image content.
  • a video signal is applied to the neural network on the input side with a sequence of training images in which uminance and chrominance are combined in the signal as described at the beginning.
  • the associated ideal decoded signals are already known. For example, original images are assumed for which the training video signal or the decoded signals have been calculated in a different way.
  • the - defective - output image calculated by the color decoder is compared with the ideal reference output image.
  • the determined error is used to correct the adjustable parameters of the network in such a way that the error subsequently becomes smaller.
  • the known method of gradual gradient descent by means of error back propagation is preferably used. Step-by-step training leads to weight parameters of the neural network that are not too large and relatively evenly distributed. This ensures a good approximation of the decoder output.
  • a suitable termination criterion during training ⁇ forms a stagnant course of the sum of squares weighting factor and squares.
  • a stochastic training is also expedient, in which the input data for each training step does not consist of the complete image content, but of a random image section.
  • the section changes constantly between the iterative training steps of error back propagation. This avoids secondary minima of the error and ensures that the training process settles safely to a relevant minimum of errors.
  • the optimization of the network structure which results during the training and the values of the weight factors are then adopted as the dimensioning of the network for mass production, for example as an integrated circuit.
  • the network can be implemented as an application-specific hardware circuit or processor-supported with appropriate software control.
  • the abundance of training data is almost unlimited. It has been found to be advantageous that the training data for optimal training contain as many edge structures as possible with different angles, as well as image contents with colors, to the incorrect reproduction of which the human eye is particularly sensitive, such as human skin color. Otherwise, the training data should correspond to the usual picture content of a television station.
  • the neural network is adapted by a suitable training algorithm to the best possible reproduction quality, which is influenced by the suitable selection of the training data and the error measure used.
  • the parameters of the neural network are thus automatically adjusted during the training for later use, which is reproduced as realistically as possible using the training data.
  • conventional color decoders use conventional fil- ter structures such as synchronous demodulators including low-pass filters and comb filters, and between them, if necessary, a hard switching controlled by the image content is carried out. With picture contents for which no special switching combination is provided, or with multiple switching processes, picture errors perceived as disturbances can occur.
  • FIG. 1 shows a basic circuit diagram of the neural network for sampling the video signal with 4 times the color carrier frequency
  • FIG. 2 shows an input data mask for the neural network for an NTSC video signal sampled at four times the color carrier frequency
  • Figure 3 shows a corresponding representation for a PAL video signal
  • the neural network 1 in FIG. 1 contains a layer 2 each consisting of an input buffer for an input signal E1,..., E18, a layer 3 consisting of neurons as an output buffer for each output signal Y1, Y2, I ', B' and a layer 4 from neurons with a sigmoid transfer function as a hidden layer.
  • Neurons are usually totalizer amplifiers, to which a number i of signals can be fed on the input side, which are multiplicatively weighted in the neuron with a weighting factor w-j_ and summed with one another and additionally provided with a bias weight.
  • the transfer function of the neuron is one in the case of the output buffer Identity, in the case of the hidden layer neurons a sigmoid function.
  • each neuron of the hidden layer 4 or the output layer 3 is connected to each neuron of the previous layer.
  • Such a structure of a neural network is referred to as a multilayer perceptron.
  • each neuron of the hidden layer 4 has 18 input signals.
  • a neuron for a brightness sample value Y1, Y2 and a neuron for a sample value I ', Q', from which the color signal components I, Q for an NTSC video signal are derived are provided.
  • the video signals I, Q (and U, V for a PAL video signal) are the color difference signals which are modulated as quadrature components onto the color signal carrier in the input-side video signal.
  • an alternative implementation is to provide only a single output neuron for the color signal component C, this color signal component then representing the individual signals I, Q modulated in quadrature.
  • the weighting factors w of the input signals of the neurons of the hidden layer 4 and the weighting factors w 'of the input signals for the neurons of the output layer 3 as well as the respective bias weights are gradually adjusted during the training, so that the error resulting for an input training image of the output signals Y1, Y2, I, Q is as low as possible compared to an ideally decoded reference output signal, taking into account a "flat" error curve.
  • connections and neurons of the hidden layer which are found to be insignificant can be omitted (so-called pruning) in order to reduce the computational effort in the neuronal Reduce network.
  • the sigmoid (S-shaped) transfer function of the neurons of the hidden layer 4 is expediently a tangent hyperbolic (tanh).
  • the neural network can be implemented using analog or digital circuit technology.
  • a processor-based implementation is also expedient, in which the circuit shown in FIG. 1 and its signal flow are simulated in software.
  • application-specific hardware components can be combined with programmable ones in order to implement the network algorithm in hardware.
  • the input signals El, ..., E18 of the neural network 1 are taken from an input mask which is passed step by step over the samples of each image of the coded video signal on the input side.
  • the sample values of the input mask are shown in FIG. 2 for three successive lines.
  • the video signal is color-coded according to the NTSC standard and sampled at four times the color carrier frequency, with the scanning being carried out by 57 ° relative to the color carrier (burst).
  • the sampled values each contain a sum of the brightness signal component Y and one of the color signal components I, Q with a changing sign.
  • the decoded values are calculated for the two middle pixels 20, namely, as shown in FIG.
  • the input mask should be symmetrical with respect to those pixels for which the decoded output signals are calculated, so that as much input information as possible is available to each pixel.
  • the input masks shown in FIG. 1 and the one shown in FIG. 4 have proven to be expedient.
  • the input mask is guided step by step over the input image, the step size being two pixels in the horizontal direction in the case of FIGS. 2 and 3, and one pixel in the horizontal direction in the case of FIG.
  • the input mask jumps to the beginning of the next line.
  • a device 5, 6 for polarity reversal is therefore provided at the outputs 7, 8 for the chrominance signal components of the neural network 1 in FIG. 1, by means of which the sign is changed in each step.
  • the video signal is shifted by 180 ° with a phase angle of 237 ° relative to the color carrier, the signs for the sums between the luminance and chrominance signal components are just reversed.
  • the same neural network and the same control for the Polarity reversers 5, 6 receive negative chrominance signal components I, Q.
  • FIG. 3 shows the corresponding sampling values for sampling a PAL color-coded video signal when sampling with four times the color carrier frequency and a phase angle of 0 ° relative to the color carrier.
  • the V color signal has opposite signs in successive lines in the PAL standard.
  • the assignment of the outputs 7, 8 from U to V to V to U must be reversed when the line changes.
  • the neural network optimally adapts itself organizing to the respective task depending on the respective training process, it is possible to process further input signals, for example differences or sums between diagonally adjacent pixels, which are proportional to the luminance with a constant image content. You can also
  • Input pixels from several successive fields can be used. If sufficient computing capacity is available, instead of the three-layer multilayer perceptron shown in FIG. 1, it is also possible to use neural networks with more than one hidden layer in order to achieve a better approximation quality for higher-order dependencies.
  • the devices 5, 6 shown in FIG. 1 for reversing the sign represent special cases of the above transformation.
  • FIG. 4 A further implementation for the color decoder using a neural network 43 is shown in FIG. 4.
  • the input mask only comprises a central pixel 40 for which a sample value Y for the brightness signal component and a sample value C for the color signal component are calculated.
  • the color signal C is a linear combination of the color difference signals I, Q.
  • the components I, Q are obtained in a conventional manner by synchronous demodulation with orthogonal color carriers F1, F2 and subsequent low-pass filtering in low-pass filters 41, 42. Since standard circuits are already available for this synchronous demodulation and the low-pass filters 41, 42 only have to achieve moderate quality requirements, the use of the neural network 43 results overall in a considerable improvement in quality.
  • the neural network 43 interchangeably fits into conventional circuit concepts in which the Y and C signal component - with the disadvantages specified in the introduction - is calculated by means of a comb filter for a pixel.
  • the input mask of FIG. 4 each has a sample 44, 45 in the horizontal direction in the current image line in addition to the lines above or below it. This provides the network 43 with more horizontal input image information. It is also noteworthy that the input pixel 40 has a completely symmetrical neighborhood in the horizontal direction. In addition, it can be advantageous to supply the neural network with input values which are taken from various fields which follow one another in time, so that the filter effect carried out by the neural network receives a temporal component.
  • radial basis function networks are expedient.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

Bei einem Farbdekoder für ein Videosignal ist ein neuronales Netz (1) vorgesehen, um den im Videosignal trägerfrequent enthaltenen Farbsignalanteil (I, Q) und den Helligkeitssignalanteil (Y1, Y2) getrennt bereitzustellen. Zweckmässigerweise wird ein Multilayer-Perceptron (1) mit einer verborgenen Schicht (4) verwendet. Die Eingangssignale (E1, ..., E18) umfassen die Bildpunkte einer Eingabemaske an sich sowie dem Farbsignalanteil proportionale Differenzen. Die Ausgangssignale (Y1, Y2, I, Q) werden für die zentralen Bildpunkte berechnet.

Description

Beschreibung
Schaltungsanordnung zur Farbdekodierung eines Videosignals
Die Erfindung betrifft eine Schaltungsanordnung zur Farbdekodierung eines Videosignals, durch die im Videosignal enthaltenen Helligkeits- und Farbsignalanteile getrennt voneinander erzeugbar sind.
Die Farbinformation eines Videosignals ist bekanntlich im oberen Teil dessen FrequenzSpektrums auf den Farbträger moduliert angeordnet. In klassischen Farbdekodern wird deshalb das Videosignal mit orthogonalen Farbträgerkomponenten syn- chrondemoduliert . In jüngeren Farbdekodern, wie in der EP-0 471 700 A beschrieben, wird eine Kammfilterung angewandt. Dem Kammfilter werden Eingangsbildpunkte aus einer Eingabemaske zugeführt, die drei Zeilen in vertikaler Richtung und einige Bildpunkte in horizontaler Richtung umfaßt . Abhängig von einer Gradientenanalyse werden unterschiedliche Filterverfahren (Zwei- und Einzeilenkammfilterung sowie Ein- fachdekodierung) teilweise in Kombination auf verschiedene Eingangssignalwerte der Eingabemaske angewandt. Die Filterverfahren sind aufgrund von Erfahrungswerten parametrisiert .
Das klassische Verfahren liefert bekanntlich ein Übersprechen zwischen Chrominanz und Luminanz, insbesondere bei räumlich hochfrequenten Strukturen, z.B. vertikalen Helligkeitssprüngen. Bei der adaptiven Kammfilterung wird den Bildgegebenheiten durch harte Umschaltung zwischen verschiedenen Verfahren Rechnung getragen. Jedoch können die dort vorgeschlagenen
Verfahren nicht bei allen in der Praxis vorkommenden Bildinhalten optimale Ergebnisse liefern.
Die Aufgabe der Erfindung besteht darin, eine Schaltungsan- Ordnung zur Farbdekodierung eines Videosignals anzugeben, die auch bei unterschiedlichen Bildinhalten eine qualitativ gute Farbdekodierung ermöglicht . Erfindungsgemäß wird diese Aufgabe durch eine Schaltungsanordnung zur Farbdekodierung nach den Merkmalen des Patentanspruchs 1 gelöst .
Ein neuronales Netz wirkt bekanntlich als nichtlineares Filter. Durch "Training" des Netzes, wodurch die verfügbaren Parameter des Netzes eingestellt werden, wird eine gewünschte Filterfunktion erhalten. Beim Training des neuronalen Netzes im Farbdekoder wird die Farbdekodierung mit ausgesuchten
Trainingsbildern anhand eines vorgegebenen Qualitätskriteriums numerisch optimiert . Auch wenn die vom bereits trainierten Farbdekoder im späteren Praxisbetrieb zu verarbeitenden Bilddaten von den Trainingsbildern abweichen, liefert das neuronale Netz gute Dekodierergebnisse. Darüber hinaus kann das Netz auf besonders kritische Bildinhalte hin speziell trainiert werden.
Zum Training wird an das neuronale Netz eingangsseitig ein Videosignal angelegt mit einer Sequenz von Trainingsbildern, in welchen uminanz und Chrominanz wie eingangs beschrieben kombiniert im Signal vorliegen. Die zugehörigen idealen dekodierten Signale sind bereits bekannt. Beispielsweise wird von Originalbildern ausgegangen, für die das Trainingsvideosignal bzw. die dekodierten Signale auf andere Weise berechnet wurden. Das vom Farbdekoder berechnete - fehlerhafte - Ausgangsbild wird mit dem idealen Referenzausgangsbild verglichen. Der ermittelte Fehler wird dazu verwendet, die einstellbaren Parameter des Netzwerks zu korrigieren, derart, daß anschlie- ßend der Fehler geringer wird. Hierzu wird vorzugsweise das an sich bekannte Verfahren des schrittweisen Gradientenabstiegs mittels Error-Backpropagation angewandt. Ein schrittweises Training führt zu nicht allzu großen und relativ gleich verteilten Gewichtsparametern des neuronalen Netzes . Dadurch wird eine gute Approximation des Dekoderausgangs-
Signals gegenüber dem Referenzsignal bei den Trainingsdaten als auch für ein alltägliches, von den Trainingsdaten abwei- chendes Videoeingangssignal erhalten. Ein geeignetes Abbruch¬ kriterium beim Training bildet ein stagnierender Verlauf der Summe aus Fehlerquadraten und Gewichtsfaktorquadraten.
Zweckmäßig ist außerdem ein stochastisches Training, bei dem die Eingangsdaten bei jedem Trainingsschritt nicht aus dem vollständigen Bildinhalt, sondern aus einem zufälligen Bildausschnitt bestehen. Der Ausschnitt ändert sich ständig zwischen den iterativen Trainingsschritten der Error- Backpropagation. Damit werden Nebenminima des Fehlers vermieden und ein sicheres Einschwingen des Trainingsvorgangs auf ein relevantes Fehlerminimum erreicht. Die sich während des Trainings ergebende Optimierung der Netzstruktur und die Werte der Gewichtsfaktoren werden dann als Dimensionierung des Netzwerks für die Massenfertigung, beispielsweise als integrierte Schaltung, übernommen. Das Netzwerk kann als anwendungsspezifische Hardware-Schaltung oder prozessorgestützt mit entsprechender Softwaresteuerung realisiert werden.
Die Fülle der Trainingsdaten ist nahezu uneingeschränkt. Es hat sich als vorteilhaft herausgestellt, daß die Trainingsdaten für optimales Training möglichst viele Kantenstrukturen mit unterschiedlichen Winkeln enthalten sowie Bildinhalte mit Farben, auf deren fehlerhafte Wiedergabe das menschliche Auge besonders empfindlich reagiert, wie zum Beispiel menschliche Hautfarbe. Ansonsten sollten die Trainingsdaten ausgewogen dem üblichen Bildinhalt eines Fernsehsenders entsprechen.
Das neuronale Netz wird unter Verwendung seiner Selbstorgani- sationseigenschaft durch einen geeigneten Trainingsalgorithmus auf eine möglichst gute Wiedergabequalität angepaßt, die durch die geeignete Auswahl der Trainingsdaten und das verwendete Fehlermaß beeinflußt wird. Die Parameter des neuronalen Netzes stellen sich somit während des Trainings auf den späteren Einsatz, der durch die Trainingsdaten möglichst realistisch nachgebildet wird, automatisch ein. Im Gegensatz dazu wird bei den herkömmlichen Farbdekodern von üblichen Fil- terstrukturen wie Synchrondemodulatoren einschließlich Tiefpaßfiltern und Kammfiltern ausgegangen und zwischen diesen gegebenenfalls eine harte, vom Bildinhalt gesteuerte Umschaltung ausgeführt. Bei Bildinhalten, für die keine spezielle Schaltkombination vorgesehen ist, oder bei mehrfachen Schal - Vorgängen können als Störungen empfundene Bildfehler auftreten.
Nachfolgend wird die Erfindung anhand der in der Zeichnung dargestellten Ausführungsbeispiele näher erläutert. Es zeigen:
Figur 1 ein Prinzipschaltbild des neuronalen Netzes für Abtastung des Videosignals mit 4-facher Farbträger- frequenz,
Figur 2 eine Eingangsdatenmaske für das neuronale Netz für ein mit 4-facher Farbträgerfrequenz abgetastetes NTSC-Videosignal ,
Figur 3 eine entsprechende Darstellung für ein PAL- Videosignal und
Figur 4 eine Realisierung des Farbdekoders für beliebige Abtastraten.
Das neuronale Netz 1 der Figur 1 enthält eine Schicht 2 aus je einem Eingangspuffer für ein Eingangssignal El, ..., E18, eine Schicht 3 aus Neuronen als Ausgangspuffer für je ein Ausgangssignal Yl, Y2 , I', B' und eine Schicht 4 aus Neuronen mit sigmoider Transferfunktion als verborgene Schicht (sogenannter hidden layer) . Neuronen sind üblicherweise Summiererverstärker, denen eine Anzahl i von Signalen eingangs- seitig zuführbar ist, die im Neuron mit einem Gewichtungsfak- tor w-j_ multiplikativ gewichtet und miteinander summiert und zusätzlich mit einem Bias-Gewicht versehen werden. Die Transferfunktion des Neurons ist im Fall der Ausgangspuffer eine Identität, im Fall der Neuronen der verborgenen Schicht eine sigmoide Funktion. Im allgemeinen ist jedes Neuron der verborgenen Schicht 4 bzw. der Ausgangsschicht 3 mit jedem Neuron der vorhergehenden Schicht verbunden. Eine solche Struk- tur eines neuronalen Netzwerks wird als Multilayer-Perceptron bezeichnet .
Jedes Neuron der verborgenen Schicht 4 weist im dargestellten Beispiel 18 Eingangssignale auf. Bei einer Anzahl von h Neu- ronen der verborgenen Schicht 4 weist jeder Eingang eines Neurons der Ausgangsschicht 3 ebenfalls h (beispielsweise h = 18) Eingangssignale auf, von denen jedes mit Faktoren w' gewichtet wird. In der Ausgangsschicht 2 ist je ein Neuron für einen Helligkeitsabtastwert Yl, Y2 sowie je ein Neuron für einen Abtastwert I', Q' , aus denen die Farbsignalanteile I, Q für ein NTSC-Videosignal abgeleitet werden, vorgesehen. Die Videosignale I, Q (und U, V für ein PAL-Videosignal) sind bekanntlich die Farbdifferenzsignale, die als Quadraturkomponenten dem Farbsignalträger im eingangsseitigen Videosignal aufmoduliert sind. Wie in Figur 4 gezeigt, besteht eine alternative Realisierung darin, nur ein einziges Ausgangsneuron für die Farbsignalkomponente C vorzusehen, wobei diese Farbsignalkomponente dann die in Quadratur modulierten Einzelsignalen I, Q darstellt.
Wie oben ausgeführt, werden die Gewichtungsfaktoren w der Eingangssignale der Neuronen der verborgenen Schicht 4 sowie die Gewichtungsfaktoren w' der EingangsSignale für die Neuronen der Ausgangsschicht 3 sowie die jeweiligen Bias-Gewichte während des Trainings schrittweise angepaßt, so daß der sich für ein Eingangstrainingsbild ergebende Fehler der Ausgangs- Signale Yl, Y2 , I, Q gegenüber einem ideal dekodierten Referenzausgangssignal unter Berücksichtigung einer "flachen" Fehlerkurve möglichst gering ist. Darüber hinaus können sich aufgrund des Trainings als unbedeutend ergebende Verbindungen sowie Neuronen der verborgenen Schicht weggelassen werden (sogenanntes Pruning) , um den Rechenaufwand im neuronalen Netz zu verringern. Die sigmoide (S-förmige) Transferfunktion der Neuronen der verborgenen Schicht 4 ist zweckmäßigerweise ein Tangenshyperbolicus (tanh) .
Das neuronale Netz kann hardwaremäßig mit analoger oder digitaler Schaltungstechnik realisiert werden.- Zweckmäßig ist auch eine prozessorgestützte Realisierung, bei der die in Figur 1 gezeigte Schaltung und deren Signalflußlauf in Software nachgebildet werden. Außerdem können anwendungsspezifische Hardwareanteile mit programmierbaren kombiniert werden, um den Netzwerkalgorithmus in Hardware zu realisieren.
Die Eingangssignale El, ..., E18 des neuronalen Netzwerks 1 sind einer Eingabemaske entnommen, die schrittweise über die Abtastwerte jedes Bildes des eingangsseitigen kodierten Videosignals geführt wird. In Figur 2 sind für drei aufeinanderfolgende Zeilen die Abtastwerte der Eingangsmaske dargestellt. Das Videosignal ist nach dem NTSC-Standard farbkodiert und mit vierfacher Farbträgerfrequenz abgetastet, wo- bei die Abtastung um 57° relativ zum Farbträger (Burst) erfolgt ist. Die Abtastwerte enthalten je eine Summe aus dem Helligkeitssignalanteil Y und einer der Farbsignalkomponenten I, Q mit wechselndem Vorzeichen. Für die beiden mittleren Bildpunkte 20 werden die dekodierten Werte berechnet, nämlich wie in Figur 1 gezeigt der Helligkeitswert Yl für den linken der Bildpunkte 20, der Helligkeitswert Y2 für den rechten der Bildpunkte 20 sowie je ein Farbsignalabtastwert I, Q. In Anlehnung an die geringere Farbauflösung des menschlichen Auges im Vergleich zur Helligkeitsauflösung ist dabei das übliche Darstellungsformat von Y:I:Q = 4:2:2 berücksichtigt. In Klammern sind die Bezeichnungen der zugeordneten Eingangssignale El, ..., E12 angegeben, die direkt den entsprechenden Eingängen des neuronalen Netzwerks 1 zugeführt werden. Zweckmäßigerweise werden auch Differenzen gebildet und als weitere Eingangssignale E13, ..., E18 in das neuronale Netzwerk 1 eingespeist. Die Differenzwerte E13, ..., E18 setzen sich wie folgt zusammen: E13 = E6 - E8,
E14 = E7 - E5,
E15 = E6 - E2, E16 = E7 - E3,
E17 = E6 - E10,
E18 = E7 - Eil.
Diese Differenzen sind, sofern ein horizontal und vertikal konstanter Bildinhalt vorausgesetzt wird, proportional den Chrominanzsignalanteilen I, Q. Sie enthalten also bei allgemeinem Bildinhalt im wesentlichen Chrominanzsignalanteile. Entsprechende Summen können darüber hinaus (hier nicht verwendet) für den Luminanzsignalanteil gebildet werden. Prinzi- piell sollte die Eingabemaske bezüglich derjenigen Bildpunkte, für die die dekodierten Ausgabesignale berechnet werden, symmetrisch sein, so daß jedem Bildpunkt möglichst gleich viel EingangsInformation zur Verfügung steht. Als zweckmäßig haben sich die in Figur 1 sowie die in Figur 4 dargestellten Eingabemasken erwiesen.
Die Eingabemaske wird schrittweise über das Eingangsbild geführt, wobei im Fall der Figuren 2 und 3 die Schrittweite zwei Bildpunkte in horizontaler Richtung beträgt, im Fall der Figur 4 einen Bildpunkt in horizontaler Richtung. Am Ende einer Zeile springt die Eingabemaske auf den Anfang der nächstfolgenden Zeile. Das Vorzeichen der Verknüpfung der Chro- minanzsignalanteile I, Q wechselt mit jedem Schritt. An den Ausgängen 7, 8 für die Chrominanzsignalanteile des neuronalen Netzes 1 in Figur 1 ist deshalb jeweils eine Einrichtung 5, 6 zur Polaritätsumkehr vorgesehen, durch die bei jedem Schritt das Vorzeichen gewechselt wird. Bei einer um 180° verschobenen Abtastung des Videosignals mit einer Phasenlage von 237° relativ zum Farbträger sind die Vorzeichen für die Summen zwischen Luminanz- und Chrominanzsignalanteilen gerade umgekehrt. Bezüglich entsprechender Abtastwerte werden mit dem gleichen neuronalen Netz und der gleichen Steuerung für die Polaritätsumkehreinrichtungen 5, 6 negative Chrominanz- signalanteile I, Q erhalten.
In Figur 3 sind die entsprechenden Abtastwerte für die Abta- stung eines PAL-farbkodierten Videosignals bei Abtastung mit vierfacher Farbträgerfrequenz und einer Phasenlage von 0° relativ zum Farbträger dargestellt. Das V-Farbsignal weist in aufeinanderfolgenden Zeilen bei der PAL-Norm umgekehrte Vorzeichen auf. Neben dem alternierenden Vorzeichen der Netzaus- gänge für U, V zwischen zwei aufeinanderfolgenden Schritten innerhalb einer Zeile ist eine Umkehr der Zuordnung der Ausgänge 7, 8 von U zu V auf V zu U beim Zeilenwechsel erforderlich.
Da das neuronale Netz abhängig vom jeweiligen Trainingsvorgang sich selbst organisierend auf die jeweilige Aufgabe optimal anpaßt, ist es möglich, auch weitere Eingangssignale zu verarbeiten, beispielsweise Differenzen oder Summen zwischen diagonal benachbarten Bildpunkten, die bei einem konstanten Bildinhalt proportional zur Luminanz sind. Außerdem können
Eingangsbildpunkte aus mehreren zeitlich aufeinanderfolgenden Halbbildern verwendet werden. Sofern genügend Rechenkapazität bereitsteht, können anstelle des in Figur 1 dargestellten dreischichtigen Multilayer-Perceptrons auch neuronale Netze mit mehr als einer verborgenen Schicht verwendet werden, um eine bessere Approximationsgüte für Abhängigkeiten höherer Ordnung zu erreichen.
Für einen Multi-Standard-Dekoder wird die bisher beschriebene Lösung verallgemeinert für eine Abtastung des Videosignals mit n/k-facher Farbträgerfrequenz. An den Ausgängen 7, 8 liegt dann je eine Linearkombination aus den Farbsignalkomponenten vor. Diese wird mit nachfolgend dargestellter Transformation für den NTSC-Standard in einzelne Komponenten der Farbdifferenzsignale umgewandelt:
Figure imgf000011_0001
Die in Figur 1 dargestellten Einrichtungen 5, 6 zur Vorzei- chenumkehr stellen Spezialfälle obiger Transformation dar.
Eine weitere Realisierung für den Farbdekoder unter Anwendung eines neuronalen Netzes 43 zeigt Figur 4. Die Eingabemaske umfaßt nur einen zentralen Bildpunkt 40, für den ein Ab- tastwert Y für den Helligkeitssignalanteil sowie ein Abtastwert C für den Farbsignalanteil berechnet wird. Das Farb- signal C ist eine Linearkombination aus den Farbdifferenzsignalen I, Q. Die Anteile I, Q werden auf herkömmliche Weise durch Synchrondemodulation mit orthogonalen Farbträgern Fl, F2 und anschließender Tiefpaßfilterung in Tiefpaßfiltern 41, 42 erhalten. Da für diese Synchrondemodulation bereits standardgemäße Schaltungen vorhanden sind und die Tiefpaßfilter 41, 42 nur moderate Güteanforderungen erreichen müssen, ergibt sich insgesamt durch die Anwendung des neuronalen Netzes 43 eine erhebliche Qualitätsverbesserung. Darüber hinaus paßt das neuronale Netz 43 austauschbar in herkömmliche Schaltungskonzepte, in denen mittels eines Kammfilterε für einen Bildpunkt der Y- und C-Signalanteil - mit den einleitend angegebenen Nachteilen - berechnet wird.
Im Unterschied zur Eingabemaske der Figuren 2, 3 weist die Eingabemaske der Figur 4 je einen Abtastwert 44, 45 in horizontaler Richtung in der aktuellen Bildzeile zusätzlich zu den darüber bzw. darunter liegenden Zeilen auf. Dadurch steht dem Netzwerk 43 mehr horizontale Eingangsbildinformation zur Verfügung. Bemerkenswert ist außerdem, daß der Eingangsbild- punkt 40 in horizontaler Richtung eine völlig symmetrische Nachbarschaft hat . Es kann darüber hinaus vorteilhaft sein, dem neuronalen Netz Eingangswerte zuzuführen, die verschiedenen, zeitlich aufeinanderfolgenden Halbbildern entnommen werden, so daß die vom neuronalen Netz ausgeführte Filterwirkung eine zeitliche Kom- ponente erhält.
Abgesehen von den hier beschriebenen MLP-Netzwerken können ebenso andere neuronale Netztypen verwendet werden. Beispielsweise sind Radialbasis-Funktionen-Netze (RBF) zweckmä- ßig.

Claims

Patentansprüche
1. Schaltungsanordnung zur Farbdekodierung eines Videosignals, umfassend Mittel zur Zuführung des Videosignals, wobei das Videosignal einen Helligkeitssignalanteil und einen Farbsignalanteil enthält, und Mittel zur Bereitstellung des Helligkeitssignalanteils (Yl, Y2 , Y) getrennt vom Farbsignalanteil (I' , Q' , I, Q, C) , g e k e n n z e i c h n e t d u r c h ein neuronales Netzwerk (1, 43) , dem das Videosignal (El,
..., E18) eingangsseitig zuführbar ist und an dem dessen Helligkeitssignalanteil (Yl, Y2, Y) und Farbsignalanteil (I1, Q', I, Q, C) ausgangsseitig abgreifbar sind.
2. Schaltungsanordnung nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , daß durch die Mittel zur Zuführung des Videosignals dem neuronalen Netz (1, 43) Bildpunkte (El, ..., E12) innerhalb einer Eingabemaske zuführbar sind, wobei die Eingabemaske minde- stens einen zentral angeordneten Bildpunkt (20, 40) und diesen umgebende Bildpunkte enthält, daß die Eingabemaske schrittweise über ein im Videosignal enthaltenes Bild geführt wird, daß der Helligkeitssignalanteil (Yl, Y2 , Y) und der Farbsignalanteil (I1, Q1 , I, Q, C) jeweils für den zentral angeordneten Bildpunkt berechnet wird.
3. Schaltungsanordnung nach Anspruch 2, d a d u r c h g e k e n n z e i c h n e t , daß durch die Mittel zur Zuführung des Videosignals dem neurona- len Netz (1, 43) außerdem aus zueinander benachbarten Bildpunkten der Eingabemaske gebildete Differenzen (E13, ..., E18) zuführbar sind, die im wesentlichen proportional zum Farbsignalanteil (I', Q', I, Q, C) sind.
4. Schaltungsanordnung nach einem der Ansprüche 1 bis 3, d a d u r c h g e k e n n z e i c h n e t , daß das neuronale Netzwerk (1, 43) enthält: für jedes seiner Ein- gangssignale (El, ..., E18) einen Eingangspuffer (2) und für jedes seiner Ausgangssignale einen Ausgangspuffer (3; 7, 8) und eine Anzahl (4) von zwischen die Eingangs- und Ausgangs- puffer geschalteten Summiererelementen mit sigmoider Transferfunktion, denen jeweils ein Ausgangssignal mindestens eines der Eingangspufferverstärker zuführbar ist, welches mit einem Gewichtungsfaktor (w) verknüpft wird.
5. Schaltungsanordnung nach Anspruch 4, d a d u r c h g e k e n n z e i c h n e t , daß das Videosignal mit der vierfachen Farbträgerfrequenz abgetastet ist und daß der Farbsignalanteil (I', Q1) zwei Farbdifferenzsignale (I, Q) umfaßt, daß das neuronale Netz (1) je einen einem Farbdifferenzsignal (I, Q) zugeordneten Ausgangspuffer (7, 8) aufweist und daß jedem dieser Ausgangspuffer eine schrittweise umschaltbare Vorzeichenumkehreinrichtung (5, 6) nachgeschaltet ist, an denen ausgangsseitig je eines der Farbdifferenzsignale (I, Q) abgreifbar ist.
6. Schaltungsanordnung nach Anspruch 4, d a d u r c h g e k e n n z e i c h n e t , daß der Farbsignalanteil (C) zwei Farbdifferenzsignale (I, Q) umfaßt, daß das neuronale Netz (43) einen Ausgangspuffer für eine Linearkombination aus den Farbdifferenzsignalen (I, Q) aufweist und daß diesem Ausgangspuffer eine Einrichtung zur Synchrondemodulation mit orthogonalen Farbträgersignalen (Fl, F2) und nachgeschalteten Tiefpaßfiltermitteln (41, 42) ausgangsseitig nachgeschaltet ist, an denen die Farbdifferenzsi- gnale (I, Q) getrennt abgreifbar sind.
PCT/DE1997/002374 1996-10-21 1997-10-16 Schaltungsanordnung zur farbdekodierung eines videosignals WO1998018264A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE1996143388 DE19643388C1 (de) 1996-10-21 1996-10-21 Schaltungsanordnung zur Farbdekodierung eines Videosignals
DE19643388.6 1996-10-21

Publications (1)

Publication Number Publication Date
WO1998018264A1 true WO1998018264A1 (de) 1998-04-30

Family

ID=7809332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE1997/002374 WO1998018264A1 (de) 1996-10-21 1997-10-16 Schaltungsanordnung zur farbdekodierung eines videosignals

Country Status (2)

Country Link
DE (1) DE19643388C1 (de)
WO (1) WO1998018264A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990013978A1 (de) * 1989-05-09 1990-11-15 Deutsche Itt Industries Gmbh Zweizeilenkammfilterung mit räumlicher mischung
JPH03184492A (ja) * 1989-12-14 1991-08-12 Fujitsu Ltd ニューラルネットワークを用いた適応型ｙ／ｃ分離方式
DE19541319A1 (de) * 1994-11-07 1996-05-09 Tektronix Inc Decoder mit adaptivem, nicht-trennbaren digitalen Filter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990013978A1 (de) * 1989-05-09 1990-11-15 Deutsche Itt Industries Gmbh Zweizeilenkammfilterung mit räumlicher mischung
JPH03184492A (ja) * 1989-12-14 1991-08-12 Fujitsu Ltd ニューラルネットワークを用いた適応型ｙ／ｃ分離方式
DE19541319A1 (de) * 1994-11-07 1996-05-09 Tektronix Inc Decoder mit adaptivem, nicht-trennbaren digitalen Filter

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PATENT ABSTRACTS OF JAPAN vol. 15, no. 442 (E - 1131) 11 November 1991 (1991-11-11) *

Also Published As

Publication number Publication date
DE19643388C1 (de) 1998-07-02

Similar Documents

Publication Publication Date Title
DE69022470T2 (de) Bewegungsabhängige Videosignalverarbeitung.
DE602005004694T2 (de) Verfahren und Vorrichtung für lokal adaptive Bildverarbeitungsfilter
DE2750173C2 (de) Anordnung zum Vermindern des Rauschens in Fernsehsignalen
DE60026925T2 (de) Einstellung des Kontrasts eines Digitalbildes mit einem adaptiven, rekursiven Filter
DE60132278T2 (de) Rauschverminderungsverfahren unter Verwendung von Farbinformationen, einer Vorrichtung und eines Programms zur Digital-Bildverarbeitung
DE69938227T2 (de) Verfahren und Gerät zur Bewegungsartefakten- und Geräuschverringerung in Videobildverarbeitung
DE60012649T2 (de) Beseitigung von chromarauschen aus digitalbildern durch verwendung veränderlich geformter pixelnachbarschaftsbereiche
DE3402251C2 (de)
DE3512278C2 (de)
DE3610916A1 (de) Matrixfoermige fluessigkristall-anzeigeeinrichtung
DE3226038C3 (de) Filterschaltung
DE69121659T2 (de) Schärferegelung für ein Fernsehbild
DE68904356T2 (de) Bildverarbeitung.
DE69224175T2 (de) Steuerung für adaptive Chromafilterung
DE60023114T2 (de) Formatumwandlungsverfahren und -vorrichtung mit klassifizierendem adaptiven zeitlich -räumlichem prozess
WO2004023822A2 (de) Verfahren und vorrichtung zum umwandeln eines farbbildes
DE69617184T2 (de) Verfahren zur Änderung der Auflösung eines digitalen Bildes
DE69019696T2 (de) Verfahren und Apparat zur Verminderung von Rauschimpulsen in digitalen Fernsehempfängern.
DE4142782A1 (de) Variable chrominanz-filterung zur kodierung von tv-signalen
DE19643388C1 (de) Schaltungsanordnung zur Farbdekodierung eines Videosignals
DE69215118T2 (de) Nichtlinearer Signalprozessor
DE19517357C1 (de) Verfahren und Vorrichtung zur Aufbereitung eines Videobildes
DE69730554T2 (de) Signalverarbeitungssystem
DE69125989T2 (de) Verbesserte Vorrichtung zur Abtastumwandlung für Fernsehsignale
DE69129871T2 (de) Verfahren und Vorrichtung zur Signalverarbeitung

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase