RU123615U1

RU123615U1 - TELEVISION RECEIVER, IMAGE PROCESSING DEVICE WITH ADAPTIVE CORRECTION OF MOVING IMAGES BASED ON MOTION STREAM TECHNOLOGY

Info

Publication number: RU123615U1
Application number: RU2012137163/07U
Authority: RU
Inventors: Ирина Александровна Голубева; Михаил Юрьевич Петров
Original assignee: Общество с ограниченной ответственностью "Дискурс"
Priority date: 2012-08-31
Filing date: 2012-08-31
Publication date: 2012-12-27

Abstract

1. Устройство обработки изображений с адаптивной коррекцией движущихся изображений для воспроизведения выходного изображения на основании входного изображения, при этом устройство содержит детектор вектора движения для обнаружения вектора движения во входном изображении и блок коррекции движущихся изображений, полученных с упомянутого детектора вектора движения, отличающееся тем, что оно выполнено с возможностью анализа входного изображения для выделения отдельных объектов в поле кадра посредством автоматической сегментации изображения с адаптивно настраиваемыми параметрами сегментации, далее осуществляется покадровое сравнение каждого из выделенных сегментов изображения и расчет вектора движения для отдельных сегментов, в результате чего расчетное перемещение и движение отдельных сегментов изображения для каждого следующего кадра сравнивается с реальным его изображением следующего кадра, и строится массив корректирующих коэффициентов для обеспечения максимальной степени соответствия между расчетным и реальным изображением объекта, и полученный массив корректирующих коэффициентов используется для коррекции изображения каждого последующего кадра изображений для вывода выходного изображения.2. Устройство по п.1, отличающееся тем, что корректируется смещение сегмента на следующем кадре относительно предыдущего кадра изображения.3. Устройство по п.1, отличающееся тем, что корректирующие коэффициенты подбираются индивидуально для каждого движущегося объекта на основе анализа информации о скорости и направлении перемещения объекта по полю кадра изображения.4. Устройство по п.1, отличающ�1. An image processing device with adaptive correction of moving images for reproducing an output image based on an input image, the device comprises a motion vector detector for detecting a motion vector in the input image and a block for correcting moving images obtained from said motion vector detector, characterized in that it is configured to analyze the input image to select individual objects in the frame field by means of automatic image segmentation with adaptively adjustable segmentation parameters, then frame-by-frame comparison of each of the selected image segments and the calculation of the motion vector for individual segments is carried out, resulting in the calculated movement and movement of individual segments image for each next frame is compared with its real image of the next frame, and an array of correction coefficients is constructed to ensure the maximum degree of correspondence m Between the calculated and real image of the object, and the resulting array of correction coefficients is used to correct the image of each subsequent frame of images to display the output image. 2. The device according to claim 1, characterized in that the offset of the segment in the next frame relative to the previous image frame is corrected. The device according to claim 1, characterized in that the correction coefficients are selected individually for each moving object based on the analysis of information about the speed and direction of movement of the object along the field of the image frame. Device according to claim 1, characterized

Description

Полезная модель относится к видео и телевизионной технике, и в частности, к телевизорам и устройствам обработки и отображения изображений с адаптивной коррекцией движущихся изображений. Предложенная полезная модель может быть использована, например, в телевизионных приемниках, устройствах отображения, таких как плазменная или ЖК индикаторная панель для адаптивной коррекции движущихся изображений.The invention relates to video and television technology, and in particular to televisions and image processing and display devices with adaptive correction of moving images. The proposed utility model can be used, for example, in television receivers, display devices, such as a plasma or LCD display panel for adaptive correction of moving images.

В настоящее время в телевизионной технике одним из важных показателей изображений является качество передачи локальных, точечных объектов и внутрикадровой структуры соответствующего изображения. Нежелательное размывание во внутрикадровом пространстве их протяженности, сопряженное со снижением уровня этих составляющих, приводит к снижению общей четкости изображений. Для повышения качества отображения движущихся объектов используются различные способы коррекции изображения.Currently, in television technology, one of the important indicators of images is the transmission quality of local, point objects and the intraframe structure of the corresponding image. Undesirable blurring in the intraframe space of their length, coupled with a decrease in the level of these components, leads to a decrease in the overall image clarity. To improve the display quality of moving objects, various image correction methods are used.

Так из уровня техники известны различные устройства отображения и обработки движущихся изображений. Так из патента на изобретение RU 2182727 С2, МПК G06T 7/20, известен способ поиска векторов движения деталей в динамических изображениях, включающем преобразование последовательности кадров изображений в цифровую форму, запоминание дискретных отсчетов яркости текущего и опорного кадров, разбиение текущего кадра на макроблоки и поиск вектора движения каждого из макроблоков текущего кадра относительно опорного посредством минимизации по рассматриваемому множеству векторов движения контрольной суммы данного макроблока, являющейся суммой норм попиксельной разности уровней в текущем и опорных кадрах, производят выбор среди множества пикселов каждого макроблока небольшого числа пикселов, характеризующих рельеф значений макроблока, вычисление упомянутой контрольной суммы лишь по выбранным опорным пикселам, при этом координаты выбранных пикселов в макроблоке определяют с использованием значений всех пикселов макроблока.Thus, various devices for displaying and processing moving images are known in the art. So from the patent for invention RU 2182727 C2, IPC G06T 7/20, a method for searching motion vectors of parts in dynamic images is known, including converting a sequence of image frames into digital form, storing discrete samples of brightness of the current and reference frames, dividing the current frame into macroblocks and searching the motion vectors of each of the macroblocks of the current frame relative to the reference one by minimizing, over the considered set of motion vectors, the checksum of this macroblock, which is the sum of the norms the pixel-by-pixel difference of levels in the current and reference frames, a small number of pixels characterizing the relief of macroblock values is selected from the set of pixels of each macroblock, the said checksum is calculated only from the selected reference pixels, while the coordinates of the selected pixels in the macroblock are determined using the values of all pixels of the macroblock.

Недостатком указанного решения является то, что оно не позволяет исправить размытие и характерные искажения границ движущихся объектов.The disadvantage of this solution is that it does not allow you to fix the blur and characteristic distortion of the boundaries of moving objects.

Наиболее близким аналогом по назначению и технической сущности к предложенной полезной модели является патент на изобретение RU 2198434 С2, МПК H04N 5/66, в котором используется схема коррекции динамического изображения в составе устройства отображения и содержит: устройство обнаружения вектора движения для обнаружения вектора движения блока в течение одного кадра или вектора движения блока в течение множества кадров, корректор быстро движущегося динамического изображения для коррекции и вывода входного видеосигнала с использованием средства правильной коррекции динамического изображения, когда значение вектора движения, который обнаруживается с помощью устройства обнаружения вектора движения, больше предварительно установленного значения S, корректор медленно движущегося динамического изображения для коррекции и вывода входного видеосигнала с использованием средства коррекции правильного динамического изображения и дискриминационный селектор для выделения выходного сигнала, поступающего из корректора быстро движущегося динамического изображения, из выходного сигнала, поступающего из корректора медленно движущегося динамического изображения, для вывода в устройство отображения в зависимости от того, является ли значение вектора движения, который обнаруживается с помощью устройства обнаружения вектора движения, больше или меньше, чем предварительно установленное значение S. Дискриминационный селектор выводит входной видеосигнал, скорректированный с помощью корректора быстро движущегося динамического изображения, в устройство отображения, когда значение обнаруженного вектора движения становится больше предварительно установленного значения S, и выводит входной видеосигнал, скорректированный с помощью корректора медленно движущегося динамического изображения, в устройство отображения, когда значение обнаруженного вектора движения меньше предварительно установленного значения S. Изобретение позволяет выполнить оптимальную коррекцию динамического изображения как для быстро движущейся части динамического изображения, так и для медленно движущейся части динамического изображения, которые будут отображаться на устройстве отображения.The closest analogue in purpose and technical nature to the proposed utility model is the patent for invention RU 2198434 C2, IPC H04N 5/66, which uses a dynamic image correction circuit as part of a display device and contains: a motion vector detection device for detecting a block motion vector in flow of one frame or block motion vector for many frames, fast-moving dynamic image corrector for correction and output of the input video signal using means and correct correction of the dynamic image, when the value of the motion vector that is detected by the motion vector detection device is larger than the preset value S, the corrector of the slowly moving dynamic image for correcting and outputting the input video signal using the correct dynamic image correction means and the discriminating selector to select the output signal coming from the corrector of a fast moving dynamic image from the output with the needle coming from the corrector of the slow-moving dynamic image for output to the display device, depending on whether the value of the motion vector detected by the motion vector detection device is greater or less than the preset value S. The discriminating selector outputs the input video signal corrected by using a fast-moving dynamic image corrector to the display device when the value of the detected motion vector is updates more than the preset value S, and outputs the input video signal corrected by the corrector of the slow moving dynamic image to the display device when the value of the detected motion vector is less than the preset value S. The invention allows optimal correction of the dynamic image as for the fast moving part of the dynamic image , and for the slowly moving part of the dynamic image that will be displayed on the device Display property.

Недостатком прототипа является то, что в нем используется только два значения скорости движения объекта, и с соответственно все движения с другими скоростями будут либо недокорректированы, либо перекорректированы. Также прототип имеет сложную реализацию и не позволяет оптимально исправить "лесенку" на границах движущихся объектов при чересстрочной развертке исходного изображения.The disadvantage of the prototype is that it uses only two values of the speed of movement of the object, and accordingly, all movements with other speeds will either be unadjusted or corrected. Also, the prototype has a complex implementation and does not optimally fix the "ladder" at the boundaries of moving objects during interlaced scanning of the original image.

Рассмотренные выше и другие варианты реализации коррекции изображений не обеспечивают эффективное увеличение четкости в силу возрастания заметности составляющих шума и искажений, которое имеет место при увеличении степени коррекции. Соответственно преимущество имеют варианты реализации адаптивной коррекции, которые позволяют снизить размытие и характерные искажения границ движущихся объектов, при этом исключить возможность размытия и искажения неподвижных частей изображения. При этом следует учитывать и специфику процесса формирования сигнала изображения в современных видео и телевизионных системах, и специфику восприятия человеком пространственно-временной структуры изображения.The above and other options for the implementation of image correction do not provide an effective increase in clarity due to an increase in the visibility of noise components and distortions, which occurs with an increase in the degree of correction. Accordingly, adaptive correction implementations are advantageous, which can reduce blur and characteristic distortion of the boundaries of moving objects, while eliminating the possibility of blurring and distortion of the stationary parts of the image. In this case, one should take into account both the specifics of the image signal formation process in modern video and television systems, and the specifics of human perception of the spatio-temporal image structure.

Соответственно, необходимо разработать устройство обработки изображений с адаптивной коррекцией и антишумовой обработкой изображения, которые не имеют указанных недостатков и не вносят существенных искажений в пространственный спектр сигнала изображения, что особенно важно для цифровых видео и телевизионных систем с сжатием сигнала изображения.Accordingly, it is necessary to develop an image processing device with adaptive correction and anti-noise image processing that do not have these drawbacks and do not introduce significant distortions into the spatial spectrum of the image signal, which is especially important for digital video and television systems with image signal compression.

Полезная модель позволяет устранить недостатки предшествующего уровня техники, и задачей является создание модуля адаптивной коррекции движущихся изображений, при этом полезная модель направлена на достижение нового технического результата - снижение заметности искажений движущихся объектов на экране устройства отображения, например, позволяет в значительной степени исправить "лесенку" на границах движущихся объектов при чересстрочной развертке исходного изображения, тем самым повысить качество отображения движущихся объектов на экране телевизора. Также обеспечивается снижение вычислительной нагрузки и тем самым возможность более эффективной адаптивной коррекцией движущихся изображений.The utility model allows to eliminate the disadvantages of the prior art, and the task is to create a module for adaptive correction of moving images, while the utility model is aimed at achieving a new technical result - reducing the visibility of distortion of moving objects on the screen of the display device, for example, allows you to significantly correct the "ladder" at the boundaries of moving objects during interlaced scanning of the original image, thereby improving the quality of the display of moving objects on TV screen. It also reduces the computational load and thereby the possibility of more effective adaptive correction of moving images.

Указанный технический результат достигается тем, что предложено устройство обработки изображений с адаптивной коррекцией движущихся изображений для воспроизведения выходного изображения на основании входного изображения, при этом устройство дополнительно содержит: блок детектора вектора движения для обнаружения вектора движения во входного изображении и блок коррекции движущихся изображений, полученных с упомянутого детектора вектора движения, отличающееся тем, что устройство выполнено с возможностью анализа входного изображения для выделения отдельных объектов в поле кадра, посредством автоматической сегментации изображения с адаптивно настраиваемыми параметрами сегментации, осуществления покадрового сравнения каждого из выделенных сегментов изображения и расчета вектора движения для отдельных сегментов, в результате, чего расчетное перемещение и движение отдельных сегментов изображения для каждого следующего кадра сравнивается с реальным его изображением следующего кадра и строится массив корректирующих коэффициентов для обеспечения максимальной степени соответствия между расчетным и реальным изображением объекта и указанный массив корректирующих коэффициентов используется для коррекции изображения каждого последующего кадра изображений, в результате чего выводится скорректированное выходное изображение для его отображения.This technical result is achieved by the fact that the proposed image processing device with adaptive correction of moving images to reproduce the output image based on the input image, the device further comprising: a motion vector detector unit for detecting a motion vector in the input image and a block for correcting moving images obtained from said motion vector detector, characterized in that the device is arranged to analyze the input image I to select individual objects in the frame field, by automatically segmenting the image with adaptively segmentation parameters, performing frame-by-frame comparison of each of the selected image segments and calculating the motion vector for individual segments, resulting in a calculated movement and movement of individual image segments for each subsequent frame is compared with its real image of the next frame and an array of correction factors is built to ensure maximum The correspondence between the calculated and real image of the object and the indicated array of correction coefficients is used to correct the image of each subsequent image frame, as a result of which the adjusted output image is displayed for its display.

Предпочтительными вариантами осуществления полезной модели является выполнение устройства обработки изображений с адаптивной коррекцией движущихся изображений, в котором корректируется смещение сегмента на следующем кадре относительно предыдущего кадра изображения. Также в устройстве отображения изображений с адаптивной коррекцией движущихся изображений корректирующие коэффициенты подбираются индивидуально для каждого движущегося объекта на основе анализа информации о скорости и направлении перемещения объекта по полю кадра изображения. Также предложенное устройство выполнено с возможностью обработки входного изображения как с чересстрочной разверткой так и построчной разверткой. Устройство обработки изображений с адаптивной коррекцией движущихся изображений может входить в состав, например, телевизора, плазменной индикаторной панели или жидкокристаллического устройства отображения, спутникового тюнера, видеомагнитофона, устройства записи и воспроизведения, получая входной сигнал изображения с соответствующих средств этих устройств.Preferred embodiments of the utility model are the implementation of an image processing device with adaptive correction of moving images, in which the offset of the segment in the next frame relative to the previous image frame is adjusted. Also, in the image display device with adaptive correction of moving images, correction factors are selected individually for each moving object based on the analysis of information about the speed and direction of movement of the object along the field of the image frame. Also, the proposed device is configured to process the input image as interlaced and progressive scan. An image processing device with adaptive correction of moving images can be a part of, for example, a TV, a plasma display panel or a liquid crystal display device, a satellite tuner, a VCR, a recording and reproducing device, receiving an input image signal from the corresponding means of these devices.

Таким образом, все отличительные от прототипа признаки предложенного устройства направлены на получение технического результата, а именно, обеспечение возможности снизить заметность искажений движущихся объектов на экране телевизора, например, позволяет в значительной степени исправить "лесенку" на границах движущихся объектов при чересстрочной развертке исходного изображения, тем самым повысить качество отображения движущихся объектов на экране телевизора.Thus, all the features of the proposed device that are distinctive from the prototype are aimed at obtaining a technical result, namely, providing the ability to reduce the perceptibility of distortions of moving objects on a TV screen, for example, it can significantly correct the "ladder" at the boundaries of moving objects during interlaced scanning of the original image, thereby improving the quality of the display of moving objects on the TV screen.

Проведенный анализ уровня техники и наиболее близкого аналога позволяет определить, что предложенное техническое решение, характеризующееся описанной совокупностью существенных признаков является новым, а возможность его использования в промышленности определяет его как промышленно применимым.The analysis of the prior art and the closest analogue allows us to determine that the proposed technical solution, characterized by the described set of essential features, is new, and the possibility of its use in industry defines it as industrially applicable.

Эти и другие аспекты устройства обработки изображений с адаптивной коррекцией движущихся изображений согласно предложенной полезной модели станут очевидными и будут объяснены со ссылками на реализации и варианты осуществления, описанные в дальнейшем, и со ссылками на чертеж.These and other aspects of the image processing device with adaptive correction of moving images according to the proposed utility model will become apparent and will be explained with reference to the implementations and embodiments described later, and with reference to the drawing.

На фиг.1 показана принципиальная блок-схема устройства обработки изображения с адаптивной коррекцией движущихся изображений на основе технологии Motion Stream Technology для использования в телевизионном приемнике или устройстве отображения.Figure 1 shows a schematic block diagram of an image processing device with adaptive correction of moving images based on Motion Stream Technology for use in a television receiver or display device.

Так фиг.1 схематично иллюстрирует устройство, например, телевизор оснащенный модулем адаптивной коррекцией движущихся изображений Motion Stream Technology, содержащий последовательно соединенные между собой с возможностью осуществления связи блок детектора вектора движения 1 для обнаружения вектора движения во входного изображении и блок коррекции движущихся изображений 2, полученных с упомянутого блока детектора вектора движения. Предложенное устройство отображения изображений функционирует следующим образом. Входное изображение Y_INP содержит последовательность кадров телевизионного изображения, которые анализируются, в результате чего строится массив корректирующих коэффициентов Y₁₁…Y_MN для отдельных элементов изображения. Корректирующие коэффициенты подбираются индивидуально для каждого движущегося объекта на основе анализа информации о скорости и направлении перемещения объекта по полю кадра изображения. Массив корректирующих коэффициентов используется при отображении выходного изображения Y_OUT на экране устройства отображения. Так на первом этапе анализа изображения осуществляется выделение отдельных объектов в поле кадра методом автоматической сегментации изображения с адаптивно настраиваемыми параметрами сегментации. На следующем этапе осуществляется покадровое сравнение каждого из выделенных сегментов изображения и расчет вектора движения для отдельных сегментов. Так расчетное перемещение и движение отдельных сегментов изображения для каждого следующего кадра сравнивается с реальным его изображением следующего кадра и строится массив корректирующих коэффициентов для обеспечения максимальной степени соответствия между расчетным и реальным изображением объекта. Этот массив корректирующих коэффициентов и используется для коррекции изображения каждого последующего кадра. Корректируется в первую очередь смещение сегмента на следующем кадре относительно предыдущего кадра, это позволяет, например, в значительной степени исправить "лесенку" на границах движущихся объектов при чересстрочной развертке исходного изображения, вызванную тем, что соседние строки снимаются в соседних полукадрах (т.е. в разные моменты времени). Использование адаптивных методов обеспечивает оптимальный подбор корректирующих параметров для отдельных фрагментов изображения. Это позволяет с одной стороны значительно снизить размытие и характерные искажения границ движущихся объектов. С другой стороны исключается возможность размытия и искажения неподвижных частей изображения, что традиционно воспринимается зрителем как общее снижение резкости картинки.So Fig. 1 schematically illustrates a device, for example, a TV equipped with a module for adaptive correction of moving images Motion Stream Technology, comprising a motion vector detector unit 1 for detecting a motion vector in the input image and a correction block for moving images 2 obtained from said motion vector detector unit. The proposed image display device operates as follows. The input image Y _INP contains a sequence of frames of the television image, which are analyzed, as a result of which an array of correction factors Y ₁₁ ... Y _MN for individual image elements is built. Correction coefficients are selected individually for each moving object based on the analysis of information about the speed and direction of movement of the object along the field of the image frame. An array of correction factors is used when displaying the output image Y _OUT on the screen of the display device. So at the first stage of image analysis, the selection of individual objects in the frame field is carried out by the method of automatic image segmentation with adaptively adjustable segmentation parameters. At the next stage, frame-by-frame comparison of each of the selected image segments and calculation of the motion vector for individual segments are performed. So, the calculated movement and movement of individual image segments for each next frame is compared with its real image of the next frame and an array of correction factors is constructed to ensure the maximum degree of correspondence between the calculated and real image of the object. This array of correction factors is used to correct the image of each subsequent frame. First of all, the segment offset is corrected in the next frame relative to the previous frame, this allows, for example, to significantly fix the “ladder” at the boundaries of moving objects during interlaced scanning of the original image, caused by the fact that neighboring lines are shot in neighboring half-frames (i.e. at different points in time). The use of adaptive methods ensures the optimal selection of correction parameters for individual fragments of the image. This allows, on the one hand, to significantly reduce the blurring and characteristic distortion of the boundaries of moving objects. On the other hand, the possibility of blurring and distortion of the stationary parts of the image is excluded, which is traditionally perceived by the viewer as a general decrease in the sharpness of the image.

Использование адаптивной коррекции движущихся изображений с технологией Motion Stream Technology в телевизоре обеспечивает повышение качества изображения как движущихся, так и неподвижных объектов, что позволяет получить четкую и чистую картинку даже при воспроизведении сцен с многочисленными движущимися объектами.The use of adaptive correction of moving images with Motion Stream Technology on a TV provides improved image quality of both moving and stationary objects, which allows you to get a clear and clean picture even when playing scenes with many moving objects.

Полезная модель может быть осуществлена посредством аппаратных средств, содержащих несколько отличных элементов или посредством запрограммированного процессора/компьютера. Так модуль адаптивной коррекции движущихся изображений выполнен преимущественно в виде запрограммированного процессора или микросхемы.The utility model may be implemented through hardware containing several distinct elements or through a programmed processor / computer. So the module for adaptive correction of moving images is made mainly in the form of a programmed processor or microcircuit.

Перечисленные средства/модули или несколько из этих средств могут быть воплощены одним и тем же элементом аппаратных или программных средств. Альтернативно устройство адаптивной коррекции движущихся изображений не содержит необязательного устройства отображения, но выдает выходные изображения к устройству, которое может содержать устройство отображения.The listed tools / modules or several of these tools can be embodied by the same element of hardware or software. Alternatively, the adaptive moving image correction device does not contain an optional display device, but provides output images to a device that may include a display device.

Вышеупомянутые варианты осуществления полезной модели не являются исчерпывающими и приведены только с целью пояснения полезной модели и подтверждения ее промышленной применимости и специалисты в данной области техники способны создавать альтернативные варианты ее осуществления без отрыва от объема приложенной формулы, но в пределах сущности полезной модели, отраженной в описании.The above-mentioned embodiments of the utility model are not exhaustive and are given only for the purpose of explaining the utility model and confirming its industrial applicability, and specialists in the art are able to create alternative options for its implementation without interruption from the scope of the applied formula, but within the essence of the utility model reflected in the description .

Claims

1. An image processing device with adaptive correction of moving images for reproducing an output image based on an input image, the device comprising a motion vector detector for detecting a motion vector in the input image and a block for correcting moving images obtained from said motion vector detector, characterized in that it is configured to analyze the input image to highlight individual objects in the frame field by means of automatic image segmentation image with adaptively adjustable segmentation parameters, then each frame of the selected image segments is frame-by-frame compared and motion vector calculated for individual segments, as a result of which the calculated movement and movement of individual image segments for each next frame is compared with its real image of the next frame, and an array of corrective coefficients to ensure the maximum degree of correspondence between the calculated and real image of the object, and the resulting mass the correction factors used for correcting the image of each successive image frame to output the output image.

2. The device according to claim 1, characterized in that the offset of the segment on the next frame relative to the previous image frame is adjusted.

3. The device according to claim 1, characterized in that the correction factors are selected individually for each moving object based on the analysis of information about the speed and direction of movement of the object along the field of the image frame.

4. The device according to claim 1, characterized in that the input image is an interlaced image.

5. The device according to any one of claims 1 to 4, characterized in that it is part of a television, plasma display panel or liquid crystal display device, satellite tuner, VCR, recording and reproducing device, receiving an input signal of a two-dimensional image from these devices.