WO2012018282A1 - Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления - Google Patents

Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления Download PDF

Info

Publication number
WO2012018282A1
WO2012018282A1 PCT/RU2011/000329 RU2011000329W WO2012018282A1 WO 2012018282 A1 WO2012018282 A1 WO 2012018282A1 RU 2011000329 W RU2011000329 W RU 2011000329W WO 2012018282 A1 WO2012018282 A1 WO 2012018282A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
neural network
frames
resolution
images
Prior art date
Application number
PCT/RU2011/000329
Other languages
English (en)
French (fr)
Inventor
Дмитрий Валерьевич ШМУНК
Original Assignee
Shmunk Dmitry Valerievich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shmunk Dmitry Valerievich filed Critical Shmunk Dmitry Valerievich
Priority to DE112011102647T priority Critical patent/DE112011102647T5/de
Priority to KR1020137004968A priority patent/KR101612165B1/ko
Priority to JP2013523122A priority patent/JP5784723B2/ja
Priority to US13/814,664 priority patent/US9020302B2/en
Priority to CN201180037162.7A priority patent/CN103098089B/zh
Publication of WO2012018282A1 publication Critical patent/WO2012018282A1/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene

Definitions

  • the invention relates to the field of photo and video images and can be used, for example, to obtain high-quality images of visually close objects with a camera or video camera equipped with sensors with an electronic shutter.
  • Modern mobile devices as a rule, are equipped with photo and video cameras, which allow receiving images of good quality.
  • the mobility requirement of these devices does not allow the use of optical systems (lenses) with variable focal length (zoom, zoom, zoom lens) in view of their large size. Therefore, such mobile devices use digital zoom.
  • a known method of obtaining an enlarged image with low resolution using digital zoom When using this method of visual approximation, only the central part of the sensor is used to obtain an image. Then, to obtain an image with the number of pixels equal to the total number of pixels of the sensor, the obtained reduced image from the central part of the sensor is interpolated using one of the known methods of two-dimensional interpolation (bilinear or bicubic). [en.wikipedia.org/wiki/Digital_zoom].
  • the interpolated signal does not contain high-frequency components, as a result the faces look fuzzy, there are no small details.
  • SUBSTITUTE SHEET (RULE 26) A known method of image enhancement [Michal Irani, Shmuel Peleg "Super Resolution From Image Sequences", ICPR, 2: 115-120, June 1990], using several frames and the presence of small spatial shifts between them to increase resolution or obtain super resolution. In this method, iteratively approximates (converges) to an optimal high-resolution image. Iterations begin with the creation of the primary (rough) version of the high-resolution image. Such a primary version is created, as a rule, by simply adding up the interpolated low-resolution images. The second stage of the iteration is the reverse acquisition of low-resolution images from this high-resolution version, comparing them with the original low-resolution images and calculating the correction. Subsequent iterations compute new versions of the high-resolution image, adjusted for the previous iteration.
  • SUBSTITUTE SHEET (RULE 26) temporal IIR filter ", IEEE Transactions on Consumer Electronics, Vol. 42, No.3, August 1996], which carry more information than a single two-dimensional image.
  • Subpixel level motion detection and time-axis IIR filtering for visual image enlargement are proposed with high resolution, as well as for digital image stabilization.
  • Experimental results on real image sequences are demonstrated.
  • the method is carried out as follows: they collect data from the sensor, align, enlarge the image, combine / filter the enlarged image with a linear filter, and the next incoming frame is summed with the previous result using different weights. After enlarging the image, but before combining, an additional convolution is made with a rectangular window, i.e. additional filtering so that the subpixel-shifted image can be directly summed (filtered by a 1IR filter) with the pixels of the previous result.
  • the disadvantages of the prototype are, firstly, that the simplicity of the filter used at the output does not allow to obtain an optimally clear resulting image.
  • the filter does not use the area of adjacent, neighboring pixels of the image, which does not allow to correct distortions (blurring / blurring) of the camera’s optical system. Data is collected from the sensor in a standard, low-speed, manner, which leads to blurring of the image, as well as to the doubling of unsteady objects.
  • SUBSTITUTE SHEET (RULE 26) - the values of the selected pixels are transmitted to the input of a pre-trained neural network
  • the neural network directly gives the pixel value to form a clear image
  • the neural network produces a signal with a level proportional to the likelihood of text in this area of the image.
  • a nonlinear digital filter is used for image areas with faces constructed using a neural network.
  • the neural network is pre-trained using 'field', natural images.
  • the input data for the interpolator are the coordinates of the region, the 'quality' of the face, the slope of the face, the value of the processed pixel and its neighboring pixels.
  • the 'quality' of the face and the slope of the face are calculated based on the pixel data included in the area.
  • This data is transmitted to the inputs of the neural network.
  • the neural network multiplies the input data by the weights determined at the stage of preliminary training of the neural network,
  • the result of the neural network is the value of the interpolated pixel.
  • the neural network acts as a nonlinear filter, the coordinates of the region, the 'quality' of the face, the slope of the face, the value of the processed pixel and its neighboring pixels are transmitted directly to the inputs.
  • the neural network directly yields the value of the interpolated pixel.
  • the neural network is trained to recognize a predetermined, limited set of patterns (face orientation options), which entails incorrect interpolation of images that are not similar to images from a natural set;
  • the aim of the invention is to create a method that would allow to obtain visually approximate images of high quality and resolution when photographing and filming both stationary and moving objects.
  • the proposed technical solution is based on the application of a method for increasing the resolution of an image using several low-resolution frames to obtain one high-resolution frame (i.e., super resolution), as well as on the possibility of high-speed shooting of several image frames when scanning only part of the sensor. Moreover, the solution of the problem, i.e. achievement of the required technical effect is achieved through the use of a non-linear filter designed for this purpose.
  • the essence of the claimed invention lies in the fact that for superresolution of images, in a known method of improving images, including
  • SUBSTITUTE SHEET (RULE 26) exposure of several frames, obtaining source images by reading from the sensor, aligning them, generating an enlarged image, filtering it with a filter, the original image is obtained from a digital sensor in the form of a continuous sequence of frames with high-speed shooting, in which the frame rate is inversely proportional to the size of the scanned part of the photosensitive area of the sensor.
  • an enlarged image is formed by combining the original low-resolution images, revealing the clearest frames, and increasing the resolution is carried out by a non-linear filter, applying it to the enlarged image.
  • a non-linear digital filter is used, the input for which is the pixels of the processed image, including a neural network pre-trained using a test image.
  • Modified digitized data is supplied to the neural network, and their modification includes: selection of the low-frequency component, pixel-by-pixel arrangement of pixels, subtraction of the low-frequency component from the arranged pixels, and their subsequent normalization. Then, the data at the output of the neural network is subjected to reverse normalization, and the low-frequency component is added to the value at the output of the neural network.
  • a filter value only the data of the pixel to be filtered and pixels spaced no more than 3 points in the horizontal and vertical directions from the enlarged image are used.
  • Figure 1 shows the standard case of shooting frames in video mode using a sensor with an electronic shutter. There are pauses between frame exposures. Vertical lines 1; 2; 3 on the timeline indicate the time the exposure begins, with the distance between them corresponding to the frame rate. The shaded areas are the actual exposure time of the sensor lines (since a sensor with an electronic shutter is used, the actual time of the beginning and end of the exposure of individual lines is somewhat shifted in time).
  • Figure 2 shooting frames without pauses using a sensor with an electronic shutter.
  • Vertical lines 1; 2; 3; 4 on the timeline indicate the time the exposure began. The exposure of the next frame begins immediately after reading the data of the line of the current frame and there is no pause.
  • Fig.Z is a sensor circuit, where 301 is the photosensitive region of the sensor; 302 - him the central part used to obtain a visually close image.
  • Figure 4 shows the alignment of several frames and their combination into a single image of an enlarged size with a subsequent increase in resolution (block diagram), where:
  • Figure 5 shows the use of a nonlinear filter to increase resolution, where:
  • 502 is a diagram of a filter including preliminary data preparation (503); neural network (504) and summation (505);
  • 506 is the final image with super resolution.
  • 6 is a test image used in the preliminary training stage of the neural network.
  • the maximum speed of receiving data from the sensor in modern mobile devices is limited by the maximum possible speed of the data transfer interface, and when shooting visually close images there is no need to scan the entire surface of the sensor, when scanning only part of the sensor, it is possible to proportionally increase the frame rate. Expose several frames at a fixed frequency and shutter speed, with a frame rate that eliminates pauses between exposures. In the case of poor illumination of the object, it is possible either to increase the shutter speed of each frame, or, more preferably, to increase the number of exposed frames.
  • the maximum frame rate can be increased by 9 times, which means that shooting, for example, nine frames takes the same time
  • REPLACE ITS SHEET RULE 26 as shooting a single frame using the standard method. With such a survey, both stationary and moving objects in each frame will be clear, and the noise level will be lower than when shooting by similar known methods, because when combined, the amplitude of the noise component of individual frames increases in proportion to the square root of the total number of frames, and the amplitude of the useful component (the image itself) increases in proportion to the number of frames.
  • the next processing step is the identification of the clearest frames, as well as their alignment relative to each other.
  • frame clarity There are many ways to assess frame clarity, for example, the method described in [Xin Wang, Baofeng Tian, Chao Liang, Dongcheng Shi “Blind Image Quality Assessment for Measuring Image Blur", Congress on Image and Signal Processing, 2008. CISP ⁇ 8. Volume: 1, ISBN: 978-0-7695-3119-9], where a subset of the sharpest faces is selected to determine the clarity of the frame, the average clarity of the selected faces is determined, and the average value is used as the clarity metric of the entire frame.
  • one enlarged frame (404) is used, obtained by aligning and combining the frames of the previous step (Fig. 4).
  • the increase in the frame is carried out by interpolation (for example, bicubic).
  • the combination of frames is carried out either by simple averaging of the values of the coincident pixels of the enlarged frames, or by more complex summation using weight coefficients. For example, in the case of the presence of moving objects, selective averaging of frames is performed with the selection of data from those frames in which the position (location) of moving objects coincides.
  • the combination is performed with more weight being given to those frames in which the noise level is lower in order to lower the overall noise level in the combined frame.
  • a super-resolution image is obtained by applying, successively to each pixel, an enlarged frame, a non-linear filter.
  • the filter uses the region of pixels located in the immediate vicinity of the pixel for which the resolution is increased (Fig. 5).
  • SUBSTITUTE SHEET (RULE 26) They are adapted to a specific lens-sensor system. This provides the maximum increase in resolution for this particular system, as well as optimal noise reduction.
  • the filter is constructed using an artificial neural network.
  • various types of neural networks can be used.
  • a nonlinear multilayer perceptron was used [Medvedev BC, Potemkin VG, "Neural networks. MATLAB 6", M: Dialog-MEPhI, 2002, chapter 4]. It was experimentally established that the most optimal neural network architecture for the task is a perceptron with one hidden layer, sigmoidal or tangential activation functions in all layers, four neurons in the input layer, four neurons in the hidden layer.
  • the filter is applied to a monochromatic image or only to the luminance component of the image, one neuron is used in the output layer. If the filter is applied to a multi-color image, the output layer may contain the number of neurons equal to the number of color layers of the image, or a separate filter can be applied to each color layer independently.
  • Non-linear filter includes:
  • the preliminary modification of digitized data consists of the following steps:
  • Low-frequency separation Produced using a conventional linear filter (for example, calculating the average value of all pixels within a radius of 8 pixels from a given one). Low-frequency separation reduces the dynamic range of input data.
  • the neural network operates in the most favorable mode, if the dynamic range of the input values is small, rationing allows you to further reduce the dynamic range. All arrays of pixels are normalized so that the pixel values fall in a certain range (for example, [0..1]).
  • Modified in this way data is transmitted to the input of the neural network. They are used both when training a neural network, and when using a neural network as part of a non-linear filter.
  • a test image is used (Fig. 6), specially prepared for this purpose, captured by the lens-sensor system, for which the filter will be used.
  • neural networks have the ability to 'generalize' (i.e., to derive some general rules and dependencies based on a limited set of data), then there is no need to use all possible image options at the stage of training the neural network.
  • the image used during training should meet the minimum requirements in order to get a network that works well enough for all images as a result of training.
  • the image must include:
  • the shots of the test image as well as their alignment and association are made by the claimed method using reference points (crosshairs) to simplify the alignment of frames of the captured image.
  • reference points crosshairs
  • the normalized pixels of the test image are used according to the coordinates, from which the high and low frequencies are pre-filtered.
  • the cutoff frequency of the high frequencies is chosen experimentally, based on the requirements for the clarity of the final image and the acceptable level of noise / distortion in it.
  • the cutoff frequency of the low frequencies is chosen equal to the frequency of the low-pass filter used to modify the input digitized data.
  • the Levenberg – Marquardt algorithm [7] is used, which gives the best results for medium and small sized neural networks.
  • step 5 of the preliminary modification After receiving the data at the output of the neural network, they are reverse normalized. For example, if in step 5 of the preliminary modification, rationing was carried out by simple multiplication by a constant, then inverse rationing is performed by dividing the data obtained from the output of the neural network by the same constant.
  • the non-linear filter data processing procedure consists of:
  • the proposed method of superresolution of images and a non-linear digital filter for its implementation makes it possible to obtain high-quality images with high resolution and is applicable when using various kinds of mobile devices currently manufactured by the industry.
  • the post-processing of data received from the sensor necessary for obtaining high resolution, imposes low requirements on the computing resources of the device and can be
  • SUBSTITUTE SHEET (RULE 26) 13. Masaaki Hayashi, "Neurofilter, and method of training same to operate on image data such as to discriminate between text and picture regions jf an image which is expressed by image data" United States Patent 6,301, 381

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

Изобретение относится к области фото- и видеоизображений и может быть использовано для получения высококачественных 4 изображений визуально приближенных объектов фотоаппаратом или видеокамерой, снабженных сенсорами с электронным затвором. Техническим результатом является повышение разрешения изображения, когда несколько кадров низкого разрешения используют для получения одного кадра высокого разрешения (т.е. суперразрешения), а также возможность высокоскоростной съемки нескольких кадров изображения при сканировании лишь части сенсора. Результат достигается тем, что экспонируют нескольких кадров, получают исходные изображения путем считывания с сенсора в виде непрерывной последовательности кадров высокоскоростной съемкой, при которой частота кадров обратно пропорциональна величине сканируемой части светочувствительной области сенсора, выравнивают их, формируют увеличенное изображение фильтруют его нелинейным фильтром, который включает нейросеть, предварительно натренированную с использованием тестового изображения, содержащего радиальные и синусоидальные миры, а также реперные точки. При этом фильтрация включает подачу на нейросеть предварительно модифицированных оцифрованных данных, при этом их модификация включает: вьщеление низкочастотной компоненты, поэлементную компоновку пикселей, вычитание низкочастотной компоненты из скомпонованных пикселей, и последующее их нормирование. Затем данные на выходе нейросети подвергают обратному нормированию, а низкочастотную компоненту прибавляют к значению на выходе нейросети.

Description

СПОСОБ СУПЕРРАЗРЕШЕНИЯ ИЗОБРАЖЕНИЙ И НЕЛИНЕЙНЫЙ ЦИФРОВОЙ
ФИЛЬТР ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ.
Область техники
Изобретение относится к области фото- и видеоизображений и может быть использовано, например, для получения высококачественных изображений визуально приближенных объектов фотоаппаратом или видеокамерой, снабженных сенсорами с электронным затвором.
Предшествующий уровень техники
Современные мобильные устройства, как правило, оборудованы фото- и видеокамерами, позволяющими получать изображения неплохого качества. Однако, для получения изображений визуально приближенных, требование мобильности этих устройств не позволяет использовать в них оптические системы (объективы) с переменным фокусным расстоянием (трансфокатор, зум, вариообъектив) в виду их большого размера. Поэтому в таких мобильных устройствах используется цифровой зум.
Известны следующие технические решения, являющиеся аналогами первого объекта заявляемой группы изобретений:
Известен способ получения увеличенного изображения с низким разрешением с применением цифрового зума. При использовании этого способа визуального приближения для получения изображения используется лишь центральная часть сенсора. Затем, для получения изображения с количеством пикселей, равным полному количеству пикселей сенсора, полученное уменьшенное изображение с центральной части сенсора интерполируется с помощью одного из известных способов двумерной интерполяции (билинейной или бикубической). [en.wikipedia.org/wiki/Digital_zoom].
Недостатки цифрового зума:
при интерполяции происходит пропорциональное увеличение смазанности изображения, вызываемого движением рук во время экспонирования. Использование же традиционных систем стабилизации [David Sachs, Steven Nasiri, Daniel Goehl "Image
Stabilization Technology Overview",
http://invensense.com/mems/gyro/documents/whitepapers/ImageStabilizationWhitepaper 05160 6.pdf затруднено в связи с требованием мобильности;
в интерполированном сигнале не содержатся высокочастотные компоненты, в результате грани выглядят нечеткими, мелкие детали отсутствуют.
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) Известен способ улучшения изображений [Michal Irani, Shmuel Peleg "Super Resolution From Image Sequences", ICPR, 2: 115—120, June 1990], использующий несколько кадров и наличие небольших пространственных сдвигов между ними для увеличения разрешения или получения суперразрешения. В данном способе итеративным образом происходит приближение (схождение) к оптимальному изображению высокого разрешения. Начинаются итерации с создания первичной (грубой) версии изображения высокого разрешения. Такая первичная версия создается, как правило, путем простого суммирования интерполированных изображений низкого разрешения. Второй этап итерации - обратное получение изображений низкого разрешения из данной версии высокого разрешения, сравнение их с исходными изображениями низкого разрешения и вычисление поправки. Последующие итерации вычисляют новые версии изображения высокого разрешения с учетом поправки на предыдущей итерации.
Недостатком данного способа является чрезвычайно низкая скорость получения результата вследствие большого количества итераций. Кроме того, непредсказуемо необходимое количество итераций.
Известен способ улучшения изображений путем повышения разрешения [А.В.Насонов, А.С.Крылов "Быстрое суперразрешение изображений с использованием смешанной медианной фильтрации", труды 12 Международной конференции и выставки "Цифровая обработка сигналов и ее применение" (DSPA' 2010), т.2, стр.101-104], при котором применяют метод регуляризации Тихонова для обеспечения сходимости итеративных приближений к результату с высоким разрешением. Этот способ эффективен при съемке нескольких кадров изображения для получения визуально приближенного изображения с улучшенным разрешением.
Недостатком его является то, что ввиду неизбежных пауз, возникающих между снимками при съемке традиционным способом, движущиеся (нестационарные) объекты в кадре будут запечатлены смазанными либо с многократным двоением контуров. Данный способ не имеет возможности корректировать искажения (размытие/нечеткость) оптической системы камеры. Кроме того, примененная в данном способе медианная фильтрация сохраняет четкость граней, однако уничтожает мелкие детали изображения, выявление которых и является одной из целей суперразрешения.
Наиболее близким к первому объекту заявляемой группы изобретений является способ улучшения разрешения последовательностей изображений [Jung-Hyun Hwang, Hweihn Chung, Sung-Ii Su, Yong-Chul Park, Chul-Ho Lee "High resolution digital zoom using
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) temporal IIR filter", IEEE Transactions on Consumer Electronics, Vol. 42, No.3, August 1996], которые несут больший объем информации, чем одно двумерное изображение. Предлагается определение движения на субпиксельном уровне и IIR фильтрация по временной оси для визуального увеличения изображений с получением высокого разрешения, а также для цифровой стабилизации изображений. Продемонстрированы экспериментальные результаты на реальных последовательностях изображений.
Осуществляют способ следующим образом: производят сбор данных с сенсора, выравнивание, увеличение изображения, объединение/фильтрацию увеличенного изображения линейным фильтром, при этом очередной пришедший кадр суммируется с предыдущим результатом с использованием различных весов. После увеличения изображения, но перед объединением, производят дополнительную свертку с прямоугольным окном, т.е. дополнительную фильтрацию, чтобы субпиксельно сдвинутое изображение можно было напрямую суммировать (фильтровать 1IR фильтром) с пикселями предыдущего результата.
Недостатки прототипа заключаются, во-первых, в том, что простота применяемого на выходе фильтра не позволяет получать оптимально четкое результирующее изображение. Кроме того, фильтр не использует область примыкающих, соседних пикселей изображения, что не дает возможности корректировать искажения (размытие/нечеткость) оптической системы камеры. Сбор данных с сенсора производят стандартным, низкоскоростным, способом, что приводит к смазыванию изображения, а также к двоению нестационарных объектов.
Аналогами второго объекта заявляемого технического решения являются следующие:
Известен способ повышения четкости изображения [Masaaki Hayashi, "Neurofilter, and method of training same to operate on image data such as to discriminate between text and picture regions jf an image which is expressed by image data" United States Patent 6,301 ,381], где один нелинейный фильтр, реализованный с помощью нейросети используется для разделения изображения на области, содержащие текст, и области, содержащие иллюстрации, а другой нелинейный фильтр, реализованный с помощью нейросети, используется для повышения четкости изображения. Оба фильтра сконструированы следующим образом:
- из области изображения, содержащей пиксель, для которого производится фильтрация, выбираются данные этого пикселя, а также соседних с ним пикселей;
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) - значения выбранных пикселей передаются на вход предварительно натренированной нейросети;
- в случае фильтра, повышающего четкость, нейросеть выдает непосредственно значение пикселя для формирования четкого изображения;
- в случае фильтра, используемого для отделения текста от иллюстраций, нейросеть выдает сигнал с уровнем, пропорциональным вероятности наличия текста в данной области изображения.
Недостатки такого способа:
- в качестве исходного используется лишь один кадр, что не позволяет уменьшить уровень шума в результирующем изображении по сравнению с исходным;
- большой динамический диапазон значений пикселей препятствует эффективной работе нейросети;
- в результате обработки повышается четкость изображения, однако не происходит повышения разрешения изображения.
Наиболее близким ко второму объекту заявляемого технического решения является способ повышения разрешения изображения [Lin, et al. "Method for image resolution enhancement" United States Patent 7,187,811], в котором в качестве исходного используется один кадр изображения. При использовании данного способа участки исходного изображения классифицируются на две группы: участки изображения, имеющие грани, и участки изображения без граней. Участки изображения без граней интерполируются с помощью обычной билинейной интерполяции. Участки с гранями интерполируются с использованием нейросети. Такое разделение изображения на две категории и раздельная их интерполяция позволяет избежать определенных недостатков, свойственных обычным способам интерполяции (билинейной и бикубической), таких, как появление эффекта 'лестницы' на наклонных гранях изображения.
При таком способе используют нелинейный цифровой фильтр (интерполятор) для участков изображения с наличием граней, сконструированный с использованием нейросети. Нейросеть предварительно натренирована с использованием 'полевых', естественных изображений. Входными данными для интерполятора служат координаты области, 'качество' грани, наклон грани, значение обрабатываемого пикселя и соседних с ним пикселей. 'Качество' грани и наклон грани вычисляются на основе данных пикселей входящих в область. Эти данные передаются на входы нейросети. Нейросеть перемножает входные данные на веса, определенные на этапе предварительной тренировки нейросети,
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) и применяет заранее определенные нелинейные передаточные функции. Результатом работы нейросети является значение интерполированного пикселя. В данном способе нейросеть выступает нелинейным фильтром, непосредственно на входы которой передаются координаты области, 'качество' грани, наклон грани, значение обрабатываемого пикселя и соседних с ним пикселей. Нейросеть непосредственно выдает значение интерполированного пикселя.
Недостатки такого способа:
- в качестве исходного используется лишь один кадр, что не позволяет уменьшить уровень шума в результирующем изображении по сравнению с исходным;
- нейросеть натренировывается на распознавание предопределенного, ограниченного набора паттернов (вариантов ориентации грани), что влечет за собой неправильную интерполяцию изображений, непохожих на изображения из естественного набора;
- большой динамический диапазон значений пикселей препятствует эффективной работе нейросети;
- в процессе обработки есть необходимость деления изображения на две группы, что требует дополнительных вычислительных ресурсов.
Раскрытие изобретения
При анализе всего объема доступной для ознакомления информации автором заявляемого изобретения не было обнаружено технических решений, которые бы решали задачу получения изображений высокого разрешения при их визуальном приближении способом, описанном в заявляемом.
Целью изобретения является создание способа, который позволил бы получать визуально приближенные изображения высокого качества и разрешения при фото- и видеосъемке как неподвижных, так и движущихся объектов.
Предлагаемое техническое решение основано на применении способа повышения разрешения изображения, использующего несколько кадров низкого разрешения для получения одного кадра высокого разрешения (т.е. суперразрешения), а также на возможности высокоскоростной съемки нескольких кадров изображения при сканировании лишь части сенсора. При этом решение поставленной задачи, т.е. достижение необходимого технического эффекта достигается благодаря применению сконструированного для этой цели нелинейного фильтра.
Сущность заявляемого изобретения заключается в том, что для суперразрешения изображений, в известном способе улучшения изображений, включающем
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) экспонирование нескольких кадров, получение исходных изображений путем считывания с сенсора, выравнивание их, формирование увеличенного изображения, его фильтрацию фильтром, исходное изображение получают с цифрового сенсора в виде непрерывной последовательности кадров высокоскоростной съемкой, при которой частота кадров обратно пропорциональна величине сканируемой части светочувствительной области сенсора. При этом увеличенное изображение формируют путем объединения исходных изображений низкого разрешения, выявляя наиболее четкие кадры, а повышение разрешения осуществляют нелинейным фильтром, применяя его к увеличенному изображению. Для фильтрации изображений, с целью получения суперразрешения, используют нелинейный цифровой фильтр, входными данным для которого являются пиксели обрабатываемого изображения, включающий нейросеть, предварительно натренированную с использованием тестового изображения. На нейросеть подают модифицированные оцифрованные данные, при этом их модификация включает: выделение низкочастотной компоненты, поэлементную компоновку пикселей, вычитание низкочастотной компоненты из скомпонованных пикселей, и последующее их нормирование. Затем данные на выходе нейросети подвергают обратному нормированию, а низкочастотную компоненту прибавляют к значению на выходе нейросети. Кроме того, для получения значения фильтра используют только данные пикселя, подлежащего фильтрации и пикселей, отстоящих не более, чем на 3 точки в горизонтальном и вертикальном направлениях из увеличенного изображения.
Краткое описание фигур чертежей
На фиг.1 изображен стандартный случай съемки кадров в режиме видео с использованием сенсора с электронным затвором. Между экспозициями кадров имеются паузы. Вертикальные линии 1 ;2;3 на шкале времени отмечают время начала экспозиции кадра, при этом расстояние между ними соответствует частоте кадров. Заштрихованные области — фактическое время экспозиции строк сенсора (т.к. используется сенсор с электронным затвором, то фактическое время начала и конца экспозиции отдельных строк несколько смещено во времени).
Фиг.2— съемка кадров без пауз с использованием сенсора с электронным затвором. Вертикальные линии 1 ;2;3;4 на шкале времени отмечают время начала экспозиции кадра. Экспозиция следующего кадра начинается сразу после считывания данных строки текущего кадра и паузы отсутствуют.
На фиг.З - схема сенсора, где 301- светочувствительная область сенсора; 302 - его центральная часть, используемая для получения визуально приближенного изображения.
На фиг.4 показано выравнивание нескольких кадров и их объединение в одно изображение увеличенного размера с последующим повышением разрешения (блок- схема), где:
401 (верхний ряд)— исходные снимки;
402 (второй ряд)— выровненные снимки;
403 - блок объединения кадров, который принимает на входе выровненные снимки и выдает объединенный кадр увеличенного размера;
404 - исходное 'размытое' изображение;
405 - нелинейный фильтр;
406 - увеличенное изображение с суперразрешением.
На фиг.5 показано применение нелинейного фильтра для повышения разрешения, где:
501 - исходный увеличенный снимок,
502 - схема фильтра, включающего предварительную подготовку данных (503); нейросеть(504) и суммирование(505);
506 - финальное изображение с суперразрешением.
Фиг.6 — тестовое изображение, используемое на этапе предварительной тренировки нейросети.
Лучший вариант осуществления изобретения
Съемку предлагаемым способом производят следующим образом: т.к. максимальная скорость получения данных с сенсора в современных мобильных устройствах ограничивается максимальной возможной скоростью интерфейса передачи данных, а при съемке визуально приближенных изображений нет необходимости сканирования всей поверхности сенсора, то при сканировании лишь части сенсора возможно пропорционально увеличить частоту получения кадров. Экспонируют несколько кадров при фиксированных частоте и выдержке, с частотой кадров, позволяющей исключить паузы между экспозициями. В случае слабой освещенности объекта возможно либо увеличить выдержку каждого кадра, либо, что предпочтительнее, увеличить количество экспонируемых кадров.
Так, при трехкратном визуальном приближении объекта съемки сканируют лишь 1/9 поверхности сенсора, соответственно, максимальную частота кадров возможно увеличить в 9 раз, а значит, съемка, например, девяти кадров занимает то же самое время,
ЗАМЕНЯЮ ИЙ ЛИСТ ПРАВИЛО 26 что и съемка одного кадра при использовании стандартного способа. При такой съемке как стационарные, так и движущиеся объекты в каждом из кадров будут четкими, а уровень шума ниже, чем при съемке аналогичными известными способами, т.к. амплитуда шумовой компоненты отдельных кадров при объединении растет пропорционально квадратному корню из общего количества кадров, а амплитуда полезной компоненты (собственно изображения) - пропорционально количеству кадров.
В полученной таким образом серии кадров некоторые из них несколько сдвинуты друг относительно друга за счет неизбежной тряски камеры при съемке с рук. Кроме того, изображение на некоторых кадрах может быть менее четким, чем на других. Поэтому следующим этапом обработки является выявление наиболее четких кадров, а также выравнивание их относительно друг друга. Существует множество способов оценки четкости кадра, например, способ описанный в [Xin Wang, Baofeng Tian, Chao Liang, Dongcheng Shi "Blind Image Quality Assessment for Measuring Image Blur", Congress on Image and Signal Processing, 2008. CISP Ό8. Volume: 1 , ISBN: 978-0-7695-3119-9], где для определения четкости кадра отбирают подмножество наиболее четких граней, определяют среднюю четкость отобранных граней и усредненное значение используют в качестве метрики четкости всего кадра.
В предлагаемом способе суперразрешения изображения при визуальном приближении используют один кадр увеличенного размера (404), полученный путем выравнивания и объединения кадров предыдущего этапа (фиг. 4). Увеличение кадра осуществляют путем интерполяции (например, бикубической). Объединение кадров производят либо простым усреднением значений совпадающих пикселей увеличенных кадров, либо более сложным суммированием с использованием весовых коэффициентов. Например, в случае наличия движущихся объектов производят выборочное усреднение кадров с отбором данных из тех кадров, в которых позиция (расположение) движущихся объектов совпадает. В случае различий в уровне шума в отдельных кадрах, объединение производят с приданием большего веса тем кадрам, в которых уровень шума ниже, чтобы понизить общий уровень шума в объединенном кадре.
Изображение с суперразрешением получают путем применения, последовательно к каждому пикселю, увеличенного кадра, нелинейного фильтра.При этом фильтр использует область пикселей, расположенных в непосредственной близости от пикселя, для которого повышается разрешение (фиг. 5).
Нелинейный фильтр с фиксированными параметрами предварительно констру-
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) ируют под конкретную систему объектив-сенсор. Это обеспечивает максимальное повышение разрешения для данной конкретной системы, а также оптимальное шумоподавление. Фильтр конструируется с использованием искусственной нейросети. Для целей суперразрешения возможно использование различных типов нейросетей. В заявленном решении был использован нелинейный многослойный персептрон [Медведев B.C., Потемкин В.Г., "Нейронные сети. MATLAB 6", М: Диалог-МИФИ, 2002, глава 4]. Экспериментально установлено, что наиболее оптимальной архитектурой нейросети для поставленной задачи является персептрон с одним скрытым слоем, сигмоидальными или тангенциальными функциями активации во всех слоях, четырьмя нейронами во входном слое, четырьмя нейронами в скрытом слое. В случае применения фильтра к монохроматическому изображению или лишь к яркостной составляющей изображения, в выходном слое используется один нейрон. В случае применения фильтра к многоцветному изображению, выходной слой может содержать количество нейронов, равное количеству цветовых слоев изображения, или же отдельный фильтр может применяться к каждому цветовому слою независимо.
Нелинейный фильтр включает:
- модификацию оцифрованных данных изображения,
- подачу их на вход предварительно натренированной нейросети,
- обратное нормирование,
- последующее суммирование результатов работы нейросети с низкочастотны- ми данными, полученными на этапе предварительноймодификации оцифрованных дан- ных.
Предварительная модификация оцифрованных данных состоит из следующих этапов:
1. Выделение компонент для фильтрации. В случае использования фильтра для фильтрации лишь яркостной компоненты изображения или отдельного цветового слоя— выделяют эту компоненту из изображения.
2. Отделение низких частот. Производят с помощью обычного линейного фильтра (например, вычисления усредненного значения всех пикселей в радиусе 8 пикселей от данного). Отделение низких частот позволяет снизить динамический диапазон входных данных.
3. Поэлементная компоновка пикселей, соседних с пикселем, для которого происходит нелинейная фильтрация, в массивы. Так, если используются все
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) пиксели, отстоящие от данного не более чем на три пикселя по горизонтали/верти- кали, то массив будет состоять из 7x7 = 49 элементов.
4. Вычитание значения низкочастотной составляющей из всех элементов массива. Для этого из отделенной на этапе 2 низкочастотной составляющей выбирается значение с координатой, соответствующей пикселю, для которого производится фильтрация.
5. Нормирование. Нейросеть работает в наиболее благоприятном режиме, если динамический диапазон входных значений невелик, нормирование же позволяет дополнительно снизить динамический диапазон. Все массивы пикселей нормируются таким образом, чтобы значения пикселей попадали в определенный диапазон (например, [0..1]).
Модифицированные таким образом данные передаются на вход нейросети. Их используют как при тренировке нейросети, так и при использовании нейросети в составе нелинейного фильтра.
Для тренировки нейросети используют тестовое изображение (фиг. 6), специально подготовленное для этой цели, отснятое системой объектив-сенсор, для которой фильтр будет использован.
Требования к тестовому изображению:
Т.к. нейронные сети обладают способностью к 'генерализации' (т.е. к выводу неких общих правил и зависимостей на основании ограниченного набора данных), то нет необходимости использовать на этапе тренировки нейросети все возможные варианты изображений. Однако изображение, используемое при тренировке должно отвечать минимальным требованиям для того, чтобы в результате тренировки получить сеть, работающую достаточно хорошо для всех изображений. На изображении должны присутствовать:
- плавные изменения яркости различной направленности и значений градиента
яркости,
- резкие изменения яркости (грани) различной ориентации,
- при тренировке сети, обрабатывающей цветовые компоненты - плавные и резкие изменения цветовых компонент, с различной ориентацией и значениями градиента,
- темные и светлые штрихи различной толщины и направленности,
- радиальные и синусоидальные миры,
- реперные точки, с целью облегчения последующего выравнивания отснятого
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) изображения.
Съемку кадров тестового изображения а также их выравнивание и объединение производят заявленным способом с использованием реперных точек (перекрестий) для упрощения выравнивания кадров отснятого изображения. Например, сетки из 5x5 реперных точек, как показано на тестовом изображении, на фиг. 6. В качестве целевых данных при тренировке нейросети используют соответствующие по координатам, нормированные пиксели тестового изображения, из которого предварительно отфильтрованы высокие и низкие частоты. Частоту среза высоких частот выбирают экспериментально, исходя из требований к четкости конечного изображения и допустимого уровня шумов/искажений в нем. Частоту среза низких частот выбирают равной частоте фильтра низких частот, используемого для модификации входных оцифрованных данных. Для тренировки нейросети используют алгоритм Левенберга- Марквардта [7], который дает наилучшие результаты для нейросетей среднего и малого размера.
После получения данных на выходе нейросети производят их обратное нормирование. Например, если на этапе 5 предварительной модификации нормирование было осуществлено простым домножением на константу, то обратное нормирование производится путем деления данных полученных с выхода нейросети на ту же константу.
Таким образом, процедура обработки данных нелинейным фильтром состоит из:
1. Предварительной модификации оцифрованных данных.
2. Обработки данных предварительно натренированной нейросетью.
3. Процедуры, обратной нормированию на этапе 5 предварительной модификации оцифрованных данных.
4. Прибавления к результату, вычисленному с помощью нейросети, низкочастотных данных, отфильтрованных на этапе 2 предварительной модификации оцифрованных данных.
Промышленная применимость
Предлагаемый способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления дает возможность получения качественных изображений с высоким разрешением и применим при использовании различного рода мобильных устройств, выпускаемых промышленностью в настоящее время. Необходимая для получения высокого разрешения пост-обработка данных, полученных с сенсора, предъявляет невысокие требования к вычислительным ресурсам устройства и может быть
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) произведена непосредственно на мобильном устройстве. Он обладает следующими преимуществами перед уже известными:
- происходит экспонирование множества кадров, однако выдержка для каждого кадра существенно ниже выдержки, используемой для цифрового зума, в результате смазанность изображения уменьшается;
- наличие большого количества кадров, изображающих одну и ту же сцену, позволяет эффективно отфильтровать различные шумы;
- метод суперразрешения позволяет воспроизвести четкие грани, мелкие детали на изображении;
- высокоскоростная работа предлагаемого метода суперразрешения позволяет
использовать его в мобильных устройствах, где одним из требований является немедленное получение результата съемки;
- в отличие от других способов, комбинирующих несколько кадров для получения одного качественного изображения, отсутствуют проблемы передачи движущихся объектов.
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) Литература
1. Michal Irani, Shmuel Peleg "Super Resolution From Image Sequences", ICPR, 2: 115—120, June 1990.
2. А.В.Насонов, А.С.Крылов "Быстрое суперразрешение изображений с использованием смешанной медианной фильтрации", труды 12 Международной конференции и выставки "Цифровая обработка сигналов и ее применение" (DSPA' 2010), т.2, стр.101 -104.
3. А.Насонов, А.Крылов, А.Лукин "Увеличение разрешения изображения с использованием метода регуляризации Тихонова" // Материалы международной конференции "Тихонов и современная математика", Москва, 2006.
4. Reza Safaee-Rad, Milivoje Aleksic "Handshake Characterization and Image Stabilization for Cell-Phone Cameras", Proceedings of SPIE The International Society of Optical Engineering (2009), Volume: 7241 , Issue: 14, Publisher: Spie, Pages: 72410V-72410V-15, DOI: 10.1 1 17/12.806118
5. David Sachs, Steven Nasiri, Daniel Goehl "Image Stabilization Technology Overview", http://invensense.com/mems/gyro/documents/whitepapers/ImageStabilizationWhitepaper_05160
6. pdf
6. Mohammad S. Alam, John G. Bognar, Russell C. Hardie, and Brian J. Yasuda "Infrared Image Registration and High-Resolution Reconstruction Using Multiple Translationally Shifted Aliased Video Frames ", IEEE Transactions on instrumentation and measurement, Volume: 49, Issue: 5, October 2000
7. Медведев B.C., Потемкин В.Г., "Нейронные сети. MATLAB 6", M: Диалог-МИФИ, 2002
8. Xin Wang, Baofeng Tian, Chao Liang, Dongcheng Shi "Blind Image Quality Assessment for Measuring Image Blur", Congress on Image and Signal Processing, 2008. CISP '08. Volume: 1, ISBN: 978-0-7695-3119-9
9. A. Schaum and M. McHugh, "Analytic methods of image registration: Displacement estimation and resampling," Naval Res. Rep. 9298, Feb. 28 1992.
10. E. A. Kaltenbacher and R. C. Hardie, "High resolution infrared image reconstruction using multiple low resolution aliased frames," in 1996 Nat. Aerosp. Electron. Conf. (NAECON), Dayton, OH, May 1996, pp. 702-709.
11. en.wikipedia.org/wiki/Digital_zoom
12. Jung-Hyun Hwang, Hweihn Chung, Sung-Ii Su, Yong-Chul Park, Chul-Ho Lee "High resolution digital zoom using temporal IIR filter", IEEE Transactions on Consumer Electronics, Vol. 42, No.3, August 1996 (прототип 1).
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) 13. Masaaki Hayashi, "Neurofilter, and method of training same to operate on image data such as to discriminate between text and picture regions jf an image which is expressed by image data" United States Patent 6,301 ,381
14. Lin, et al. "Method for image resolution enhancement" United States Patent 7,187,811
(прототип 2)
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26)

Claims

Формула изобретения
1. Способ суперразрешения изображений, включающий :
экспонирование нескольких кадров,
получение исходных изображений путем считывания с сенсора,
выравнивание изображений,
формирование увеличенного изображения и его фильтрацию,
отличающийся тем, что
исходное изображение получают с цифрового сенсора в виде непрерывной последовательности кадров высокоскоростной съемкой,
частота кадров при съемке обратно пропорциональна величине сканируемой части светочувствительной области сенсора,
увеличенное изображение формируют путем объединения исходных изображений низкого разрешения,
повышение разрешения осуществляют нелинейным фильтром, применяя его к увеличенному изображению.
2. Способ по п.1, отличающийся тем, что увеличенное изображение формируют путем объединения наиболее четких кадров исходных изображений.
3. Нелинейный цифровой фильтр для получения суперразрешения изображений, входными данными для которого являются пиксели обрабатываемого изображения,включающий :
нейросеть, предварительно натренированную с использованием тестового изображения, отличающийся тем, что
на нейросеть подают оцифрованные, предварительно модифицированные данные, модификация данных включает:
выделение низкочастотной компоненты,
поэлементную компоновку пикселей,
вычитание низкочастотной компоненты из скомпонованных пикселей и последующее их нормирование,
данные на выходе нейросети подвергают обратному нормированию,
затем низкочастотную компоненту прибавляют к значению на выходе нейросети.
4. Фильтр по п.З, отличающийся тем, что для получения значения фильтра используют только данные пикселя, подлежащего фильтрации, и пикселей, отстоящих
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) не более чем на 3 точки в горизонтальном и вертикальном направлениях из увеличенного изображения.
5. Фильтр по п.З, отличающийся тем, что тестовое изображение содержит радиальные и синусоидальные миры, а также реперные точки.
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26)
PCT/RU2011/000329 2010-08-06 2011-05-16 Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления WO2012018282A1 (ru)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112011102647T DE112011102647T5 (de) 2010-08-06 2011-05-16 Verfahren zur Herstellung von super-auflösenden Bildern und nicht-linearer Filter zu dessen Implementierung
KR1020137004968A KR101612165B1 (ko) 2010-08-06 2011-05-16 초고해상도 이미지 생성 방법 및 이를 구현하기 위한 비선형 디지털 필터
JP2013523122A JP5784723B2 (ja) 2010-08-06 2011-05-16 超解像度画像を生成する方法及びこれを実施するための非線形デジタルフィルター
US13/814,664 US9020302B2 (en) 2010-08-06 2011-05-16 Method for producing super-resolution images and nonlinear digital filter for implementing same
CN201180037162.7A CN103098089B (zh) 2010-08-06 2011-05-16 图像超分辨率的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2010133219/09A RU2431889C1 (ru) 2010-08-06 2010-08-06 Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
RU2010133219 2010-08-06

Publications (1)

Publication Number Publication Date
WO2012018282A1 true WO2012018282A1 (ru) 2012-02-09

Family

ID=44999290

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2011/000329 WO2012018282A1 (ru) 2010-08-06 2011-05-16 Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления

Country Status (7)

Country Link
US (1) US9020302B2 (ru)
JP (1) JP5784723B2 (ru)
KR (1) KR101612165B1 (ru)
CN (1) CN103098089B (ru)
DE (1) DE112011102647T5 (ru)
RU (1) RU2431889C1 (ru)
WO (1) WO2012018282A1 (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019207350A1 (ru) 2018-04-28 2019-10-31 Алмаленс Инк. Оптическая система гибридной реальности с цифровой коррекцией аберраций
US10805634B2 (en) 2017-05-17 2020-10-13 Samsung Electronics Co., Ltd Super-resolution processing method for moving image and image processing apparatus therefor
CN112345251A (zh) * 2020-11-04 2021-02-09 山东科技大学 基于信号分辨率增强的机械智能故障诊断方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2538941C1 (ru) * 2013-06-14 2015-01-10 Общество с ограниченной ответственностью "Аби Девелопмент" Улучшения качества распознавания за счет повышения разрешения изображений
RU2549353C1 (ru) * 2014-02-03 2015-04-27 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" Способ повышения разрешающей способности видеосистем
KR101485512B1 (ko) * 2014-03-28 2015-01-23 주식회사 성우음향정보통신 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 cctv 영상처리 방법
RU2583725C1 (ru) * 2014-10-17 2016-05-10 Самсунг Электроникс Ко., Лтд. Способ и система для обработки изображения
US10007970B2 (en) 2015-05-15 2018-06-26 Samsung Electronics Co., Ltd. Image up-sampling with relative edge growth rate priors
US9741107B2 (en) * 2015-06-05 2017-08-22 Sony Corporation Full reference image quality assessment based on convolutional neural network
US9582762B1 (en) 2016-02-05 2017-02-28 Jasmin Cosic Devices, systems, and methods for learning and using artificially intelligent interactive memories
RU2664540C2 (ru) * 2016-05-04 2018-08-20 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Способ повышения разрешения изображения
RU2635883C1 (ru) * 2016-06-02 2017-11-16 Самсунг Электроникс Ко., Лтд. Способ и система обработки изображений для формирования изображений сверхвысокого разрешения
US10366480B2 (en) 2016-07-01 2019-07-30 Analytical Mechanics Associates, Inc. Super-resolution systems and methods
US10554877B2 (en) 2016-07-29 2020-02-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image synthesis method and apparatus for mobile terminal, and mobile terminal
CN106101556B (zh) 2016-07-29 2017-10-20 广东欧珀移动通信有限公司 移动终端的图像合成方法、装置及移动终端
US10380767B2 (en) * 2016-08-01 2019-08-13 Cognex Corporation System and method for automatic selection of 3D alignment algorithms in a vision system
US9864933B1 (en) 2016-08-23 2018-01-09 Jasmin Cosic Artificially intelligent systems, devices, and methods for learning and/or using visual surrounding for autonomous object operation
RU2661537C2 (ru) * 2016-08-30 2018-07-17 Самсунг Электроникс Ко., Лтд. Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации
US10452974B1 (en) 2016-11-02 2019-10-22 Jasmin Cosic Artificially intelligent systems, devices, and methods for learning and/or using a device's circumstances for autonomous device operation
JP6929047B2 (ja) * 2016-11-24 2021-09-01 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US11430199B2 (en) 2016-12-09 2022-08-30 Google Llc Feature recognition assisted super-resolution method
US10607134B1 (en) 2016-12-19 2020-03-31 Jasmin Cosic Artificially intelligent systems, devices, and methods for learning and/or using an avatar's circumstances for autonomous avatar operation
JP6236731B1 (ja) * 2017-03-10 2017-11-29 株式会社ツバサファクトリー 超解像度処理装置、超解像度処理方法およびコンピュータプログラム
TWI754764B (zh) * 2017-06-30 2022-02-11 美商克萊譚克公司 由低解析度影像產生高解析度影像以用於半導體應用
US10102449B1 (en) 2017-11-21 2018-10-16 Jasmin Cosic Devices, systems, and methods for use in automation
US10474934B1 (en) 2017-11-26 2019-11-12 Jasmin Cosic Machine learning for computing enabled systems and/or devices
US10402731B1 (en) 2017-12-15 2019-09-03 Jasmin Cosic Machine learning for computer generated objects and/or applications
KR20200003444A (ko) 2018-07-02 2020-01-10 삼성전자주식회사 영상 모델 구축 장치 및 방법
KR102614908B1 (ko) * 2018-09-13 2023-12-18 삼성전자주식회사 이미지 복원 방법 및 장치
US11030724B2 (en) 2018-09-13 2021-06-08 Samsung Electronics Co., Ltd. Method and apparatus for restoring image
KR102604016B1 (ko) 2018-10-24 2023-11-22 삼성전자주식회사 전자 장치 및 이의 제어방법
KR102545667B1 (ko) * 2018-10-30 2023-06-21 삼성전자주식회사 인공 신경망을 이용한 이미지 처리 방법 및 이를 지원하는 전자 장치
KR20200142883A (ko) 2019-06-13 2020-12-23 엘지이노텍 주식회사 카메라 장치 및 카메라 장치의 이미지 생성 방법
CN114708144B (zh) * 2022-03-16 2023-05-26 荣耀终端有限公司 图像数据处理方法及装置
CN115908142B (zh) * 2023-01-06 2023-05-09 诺比侃人工智能科技(成都)股份有限公司 一种基于视觉识别的接触网微小部件验损方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262871A (en) * 1989-11-13 1993-11-16 Rutgers, The State University Multiple resolution image sensor
JPH08263649A (ja) * 1995-02-21 1996-10-11 Xerox Corp ニューラルベースの空間画像強化システム
WO2002005213A2 (en) * 2000-07-12 2002-01-17 Koninklijke Philips Electronics N.V. Method and apparatus for digital image defect correction and noise filtering
US20090129704A1 (en) * 2006-05-31 2009-05-21 Nec Corporation Method, apparatus and program for enhancement of image resolution
JP2009194896A (ja) * 2008-01-18 2009-08-27 Sanyo Electric Co Ltd 画像処理装置及び方法並びに撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348840A (ja) * 1993-06-03 1994-12-22 Konica Corp 画像復元方法
JPH08305846A (ja) 1995-03-07 1996-11-22 Matsushita Electric Ind Co Ltd ニューロフィルターと像域分割方法とフィルター装置
US7085436B2 (en) * 2001-08-28 2006-08-01 Visioprime Image enhancement and data loss recovery using wavelet transforms
US7187811B2 (en) 2003-03-18 2007-03-06 Advanced & Wise Technology Corp. Method for image resolution enhancement
FR2864631B1 (fr) * 2003-12-31 2006-04-14 Mauna Kea Technologies Procede et systeme de super-resolution d'images confocales acquises a travers un guide d'image, et dispositif utilise pour la mise en oeuvre d'un tel procede
KR100555866B1 (ko) * 2004-06-08 2006-03-03 삼성전자주식회사 패턴 적응형 필터링에 의한 영상신호의 평활화 장치 및 그평활화 방법
JP4184319B2 (ja) * 2004-06-10 2008-11-19 オリンパス株式会社 撮像装置
US20060291750A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution)
US7412107B2 (en) * 2004-12-17 2008-08-12 The Regents Of The University Of California, Santa Cruz System and method for robust multi-frame demosaicing and color super-resolution
WO2008133951A2 (en) * 2007-04-24 2008-11-06 Massachusetts Institute Of Technology Method and apparatus for image processing
JP4886583B2 (ja) * 2007-04-26 2012-02-29 株式会社東芝 画像拡大装置および方法
JP5040449B2 (ja) * 2007-05-31 2012-10-03 富士通セミコンダクター株式会社 固体撮像素子および固体撮像素子を用いた信号処理方法
US8743963B2 (en) * 2007-08-13 2014-06-03 Ntt Docomo, Inc. Image/video quality enhancement and super-resolution using sparse transformations
JP2009273072A (ja) * 2008-05-12 2009-11-19 Hitachi Ltd 高精細画像処理装置、高精細画像処理方法、およびプログラム
JP5156982B2 (ja) * 2008-06-05 2013-03-06 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
US8374444B2 (en) * 2008-08-06 2013-02-12 Sony Corporation Method and apparatus for providing higher resolution images in an embedded device
US8233747B2 (en) * 2009-04-03 2012-07-31 Sony Corporation Method and apparatus for forming super resolution images from raw data representative of color filter array images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262871A (en) * 1989-11-13 1993-11-16 Rutgers, The State University Multiple resolution image sensor
JPH08263649A (ja) * 1995-02-21 1996-10-11 Xerox Corp ニューラルベースの空間画像強化システム
WO2002005213A2 (en) * 2000-07-12 2002-01-17 Koninklijke Philips Electronics N.V. Method and apparatus for digital image defect correction and noise filtering
US20090129704A1 (en) * 2006-05-31 2009-05-21 Nec Corporation Method, apparatus and program for enhancement of image resolution
JP2009194896A (ja) * 2008-01-18 2009-08-27 Sanyo Electric Co Ltd 画像処理装置及び方法並びに撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805634B2 (en) 2017-05-17 2020-10-13 Samsung Electronics Co., Ltd Super-resolution processing method for moving image and image processing apparatus therefor
WO2019207350A1 (ru) 2018-04-28 2019-10-31 Алмаленс Инк. Оптическая система гибридной реальности с цифровой коррекцией аберраций
US11372243B2 (en) 2018-04-28 2022-06-28 Almalence, Inc. Optical hybrid reality system having digital correction of aberrations
CN112345251A (zh) * 2020-11-04 2021-02-09 山东科技大学 基于信号分辨率增强的机械智能故障诊断方法
CN112345251B (zh) * 2020-11-04 2022-03-04 山东科技大学 基于信号分辨率增强的机械智能故障诊断方法

Also Published As

Publication number Publication date
JP5784723B2 (ja) 2015-09-24
US9020302B2 (en) 2015-04-28
KR101612165B1 (ko) 2016-04-12
DE112011102647T5 (de) 2013-07-11
CN103098089B (zh) 2017-03-29
KR20130102550A (ko) 2013-09-17
CN103098089A (zh) 2013-05-08
RU2431889C1 (ru) 2011-10-20
US20130156345A1 (en) 2013-06-20
JP2013532878A (ja) 2013-08-19

Similar Documents

Publication Publication Date Title
RU2431889C1 (ru) Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
Wronski et al. Handheld multi-frame super-resolution
JP6957197B2 (ja) 画像処理装置および画像処理方法
JP5909540B2 (ja) 画像処理表示装置
Delbracio et al. Burst deblurring: Removing camera shake through fourier burst accumulation
CN1870715B (zh) 手抖动校正装置
JP5220777B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US10282822B2 (en) Digital correction of optical system aberrations
JP5341010B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
Delbracio et al. Removing camera shake via weighted fourier burst accumulation
JP2003078812A (ja) デジタル画像における動きによるぼけを低減する方法
KR101813292B1 (ko) 이미지 개선 방법
Chang et al. Beyond camera motion blur removing: How to handle outliers in deblurring
Wang et al. High-quality image deblurring with panchromatic pixels.
US20080002909A1 (en) Reconstructing Blurred High Resolution Images
JP4423537B2 (ja) 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
Bhagat et al. Novel Approach to Estimate Motion Blur Kernel Parameters and Comparative Study of Restoration Techniques
Soulez et al. Joint deconvolution and demosaicing
JP6611509B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6818461B2 (ja) 撮像装置、画像処理装置、画像処理方法および画像処理プログラム
Lim et al. Image resolution and performance analysis of webcams for ground-based astronomy
US20230041139A1 (en) Image processing for oversampled infrared imaging
Eboli Hybrid Non-blind Image Deblurring for Real Scenarios
KRAININ et al. Handheld Multi-Frame Super-Resolution
Park Super resolution image reconstruction using averaged image and regularized deconvolution

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180037162.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11814859

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013523122

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13814664

Country of ref document: US

Ref document number: 1120111026471

Country of ref document: DE

Ref document number: 112011102647

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 20137004968

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 11814859

Country of ref document: EP

Kind code of ref document: A1