RU2762144C1 - Устройство и способ для обработки изображения и система для обучения нейроной сети - Google Patents

Устройство и способ для обработки изображения и система для обучения нейроной сети Download PDF

Info

Publication number
RU2762144C1
RU2762144C1 RU2020136214A RU2020136214A RU2762144C1 RU 2762144 C1 RU2762144 C1 RU 2762144C1 RU 2020136214 A RU2020136214 A RU 2020136214A RU 2020136214 A RU2020136214 A RU 2020136214A RU 2762144 C1 RU2762144 C1 RU 2762144C1
Authority
RU
Russia
Prior art keywords
image
feature image
pixels
pixel
block
Prior art date
Application number
RU2020136214A
Other languages
English (en)
Inventor
Пабло НАВАРРЕТЕ МИЧЕЛИНИ
Дань Чжу
Ханьвэнь ЛЮ
Original Assignee
Боэ Текнолоджи Груп Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201811155147.2A external-priority patent/CN109360151B/zh
Priority claimed from CN201811155930.9A external-priority patent/CN109345456B/zh
Priority claimed from CN201811155252.6A external-priority patent/CN109255390B/zh
Priority claimed from CN201811155326.6A external-priority patent/CN109345455B/zh
Application filed by Боэ Текнолоджи Груп Ко., Лтд. filed Critical Боэ Текнолоджи Груп Ко., Лтд.
Application granted granted Critical
Publication of RU2762144C1 publication Critical patent/RU2762144C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)

Abstract

Изобретение относится к области технологий глубокого обучения. Технический результат заключается в повышении точности формирования изображений сопоставления. Устройство для формирования множества изображений сопоставления может включать в себя блок извлечения признаков, выполненный с возможностью принимать обучающее изображение и извлекать по меньшей мере один или более признаков из обучающего изображения для формирования первого признакового изображения на основе обучающего изображения; нормировщик, выполненный с возможностью нормировать первое признаковое изображение и формировать второе признаковое изображение; и блок сдвигового сопоставления, выполненный с возможностью выполнять множество поступательных сдвигов по второму признаковому изображению для формирования множества сдвинутых изображений, сопоставлять каждое из множества сдвинутых изображений со вторым признаковым изображением для формирования множества изображений сопоставления. 4 н. и 17 з.п. ф-лы, 8 ил.

Description

Перекрестные ссылки на родственные заявки
[1] Настоящая заявка притязает на приоритет по дате подачи каждой из патентной заявки Китая № 201811155252.6, поданной 30 сентября 2018 года, патентной заявки Китая № 201811155326.6, поданной 30 сентября 2018 года, патентной заявки Китая № 201811155147.2, поданной 30 сентября 2108 года, и патентной заявки Китая № 201811155930.9, поданной 30 сентября 2018 года, раскрытие каждой из которых, таким образом, содержится в своей полноте по ссылке.
Область техники, к которой относится изобретение
[2] Настоящее изобретение, в целом, относится к области технологий глубокого обучения, а более конкретно, к технологии обработки изображений на основе глубокого обучения, включающей в себя устройство, способ и машиночитаемый носитель для дискриминантной сети обработки изображений.
Уровень техники
[3] Технология глубокого обучения на основе искусственной нейронной сети добилась значительного прогресса в таких областях как обработка изображений. Преимущество технологии глубокого обучения лежит в решении различных технических проблем с помощью структуры общего назначения и относительно похожей системы.
Краткая сущность изобретения
[4] Вариант осуществления настоящего изобретения является устройством для формирования множества изображений сопоставления. Устройство может содержать блок извлечения признаков, выполненный с возможностью принимать обучающее изображение и извлекать по меньшей мере один или более признаков из обучающего изображения, чтобы формировать первое признаковое изображение на основе обучающего изображения; нормировщик, выполненный с возможностью нормировать первое признаковое изображение и формировать второе признаковое изображение; и блок сдвигового сопоставления, выполненный с возможностью выполнять множество поступательных сдвигов по второму признаковому изображению, чтобы формировать множество сдвинутых изображений, сопоставлять каждое из множества сдвинутых изображений со вторым признаковым изображением, чтобы формировать множество изображений сопоставления.
[5] По меньшей мере, в некоторых вариантах осуществления блок сдвигового сопоставления может быть выполнен с возможностью выполнять множество поступательных сдвигов по второму признаковому изображению посредством сдвига количества a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения, чтобы они стали самыми правыми или самыми левыми столбцами, соответственно, блока пикселов; и сдвигая количество b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения, чтобы они стали самыми верхними или самыми нижними строками, соответственно, блока пикселов. По меньшей мере, в некоторых вариантах осуществления, 0≤a≤Y, 0≤b≤X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и a и b являются одинаковыми или различными.
[6] По меньшей мере, в некоторых вариантах осуществления блок сдвигового сопоставления может быть выполнен с возможностью выполнять множество поступательных сдвигов по второму признаковому изображению посредством сдвига количества a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения, чтобы они стали самыми правыми или самыми левыми столбцами, соответственно, блока пикселов; и сдвигая количество b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения, чтобы они стали самыми верхними или самыми нижними строками, соответственно, блока пикселов. По меньшей мере, в некоторых вариантах осуществления, 0≤a≤Y, 0≤b≤X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и a и b являются одинаковыми или различными.
[7] По меньшей мере, в некоторых вариантах осуществления блок сдвигового сопоставления может быть выполнен с возможностью сопоставлять каждое из множества сдвинутых изображений со вторым признаковым изображением, умножая значение пиксела для каждого пиксела в блоке пикселов каждого из множества сдвинутых изображений на значение пиксела для позиционно соответствующего пиксела в блоке пикселов второго признакового изображения. По меньшей мере, в некоторых вариантах осуществления первое признаковое изображение может быть яркостным признаковым изображением. По меньшей мере, в некоторых вариантах осуществления блок извлечения признаков может содержать: детектор яркости, выполненный с возможностью извлекать информацию о яркости из обучающего изображения, чтобы формировать яркостное признаковое изображение.
[8] По меньшей мере, в некоторых вариантах осуществления, чтобы формировать яркостное признаковое изображение, детектор яркости выполнен с возможностью определять значение яркости пиксела в заданной позиции в яркостном признаковом изображении согласно следующей формуле (1):
[9] I=0,299R+0,587G+0,114B (1)
[10] I является значением яркости. R является значением красного компонента позиционно соответствующего пиксела в обучающем изображении. G является значением зеленого компонента позиционно соответствующего пиксела в обучающем изображении. B является значением синего компонента позиционно соответствующего пиксела в обучающем изображении.
[11] По меньшей мере, в некоторых вариантах осуществления нормировщик может быть выполнен с возможностью нормировать яркостное признаковое изображение согласно следующей формуле (2):
[12]
Figure 00000001
(2)
[13] N является первым признаковым изображением. I представляет значение яркости пиксела в заданной позиции в яркостном признаковом изображении. Blur(I) является изображением, полученным посредством применения фильтра Гаусса к яркостному признаковому изображению. Blur(I 2 ) является изображением, полученным возведением в квадрат каждого значения пиксела в яркостном признаковом изображении и затем применением фильтра Гаусса к изображению.
[14] По меньшей мере, в некоторых вариантах осуществления второе признаковое изображение может содержать блок пикселов, имеющий первый размер. Каждое из множества сдвинутых изображений и каждое из множества изображений сопоставления могут содержать блок пикселов, имеющий первый размер. В каждом из множества сдвинутых изображений пиксел, имеющий ненулевое значение пиксела, может иметь соответствующий пиксел с таким же ненулевым значением пиксела во втором признаковом изображении.
[15] Другой вариант осуществления настоящего изобретения является способом формирования множества изображений сопоставления. Способ может содержать: формирование первого признакового изображения на основе обучающего изображения; нормировку первого признакового изображения и формирование второго признакового изображения; выполнение множества поступательных сдвигов по второму признаковому изображению, чтобы сформировать множество сдвинутых изображений; и сопоставление каждого из сдвинутых изображений со вторым признаковым изображением, чтобы формировать множество изображений сопоставления.
[16] По меньшей мере, в некоторых вариантах осуществления сопоставление каждого из множества сдвинутых изображений со вторым признаковым изображением может содержать умножение значения пиксела для каждого пиксела в блоке пикселов каждого из множества сдвинутых изображений на значение пиксела для позиционно соответствующего пиксела в блоке пикселов второго признакового изображения.
[17] По меньшей мере, в некоторых вариантах осуществления выполнение множества поступательных сдвигов может содержать: сдвиг количества a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения, чтобы они стали самыми правыми или самыми левыми столбцами, соответственно, блока пикселов; и сдвиг количества b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения, чтобы они стали самыми верхними или самыми нижними строками, соответственно, блока пикселов. По меньшей мере, в некоторых вариантах осуществления, 0≤a≤Y, 0≤b≤X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и a и b являются одинаковыми или различными. По меньшей мере, в некоторых вариантах осуществления по меньшей мере одно из a и b может изменяться по меньшей мере однократно во время выполнения множества поступательных сдвигов.
[18] По меньшей мере, в некоторых вариантах осуществления выполнение множества поступательных сдвигов может содержать: удаление количества a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения и добавление количества a столбцов пикселов в самой правой или самой левой позиции, соответственно, блока пикселов; и удаление количества b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения и добавление количества b строк в самой верхней или самой нижней позиции, соответственно, блока пикселов. По меньшей мере, в некоторых вариантах осуществления, 0≤a≤Y, 0≤b≤X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения. По меньшей мере, в некоторых вариантах осуществления каждый из добавленных пикселов может иметь значение пиксела, равное 0. По меньшей мере, в некоторых вариантах осуществления по меньшей мере одно из a и b может изменяться по меньшей мере однократно во время выполнения множества поступательных сдвигов.
[19] По меньшей мере, в некоторых вариантах осуществления способ может дополнительно содержать выполнение X*Y поступательных сдвигов, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, а X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения.
[20] По меньшей мере, в некоторых вариантах осуществления способ может дополнительно содержать, перед формированием первого признакового изображения, прием обучающего изображения. По меньшей мере, в некоторых вариантах осуществления формирование первого признакового изображения может содержать формирование яркостного признакового изображения на основе информации о яркости обучающего изображения.
[21] По меньшей мере, в некоторых вариантах осуществления способ может дополнительно содержать определение значения яркости пиксела в данной позиции в яркостном признаковом изображении согласно следующей формуле (1):
[22] I=0,299R+0,587G+0,114B (1)
[23] I является значением яркости. R является значением красного компонента позиционно соответствующего пиксела в обучающем изображении. G является значением зеленого компонента позиционно соответствующего пиксела в обучающем изображении. B является значением синего компонента позиционно соответствующего пиксела в обучающем изображении.
[24] По меньшей мере, в некоторых вариантах осуществления способ может дополнительно содержать нормировку яркостного признакового изображения согласно следующей формуле (2):
[25]
Figure 00000001
(2)
[26] N является первым признаковым изображением. I представляет яркостное признаковое изображение. Blur(I) является изображением, полученным посредством применения фильтра Гаусса к яркостному признаковому изображению. Blur(I 2 ) является изображением, полученным возведением в квадрат каждого значения пиксела в яркостном признаковом изображении и затем применением фильтра Гаусса к изображению.
[27] По меньшей мере, в некоторых вариантах осуществления первое признаковое изображение может содержать блок пикселов, имеющий первый размер. По меньшей мере, в некоторых вариантах осуществления каждое из множества сдвинутых изображений и каждое из множества изображений сопоставления может содержать блок пикселов, имеющий первый размер. По меньшей мере, в некоторых вариантах осуществления, в каждом из множества сдвинутых изображений, пиксел, имеющий ненулевое значение пиксела, может иметь соответствующий пиксел с таким же ненулевым значением пиксела в первом признаковом изображении.
[28] Другой вариант осуществления настоящего изобретения является долговременным машиночитаемым носителем, хранящим инструкции, которые предписывают компьютеру исполнять способ формирования множества изображений сопоставления. Способ может быть таким, как описан выше.
[29] Другой вариант осуществления настоящего изобретения является системой для обучения генеративно-состязательной сети. Система может содержать процессор генеративно-состязательной сети, содержащий микропроцессор генеративной сети, который выполнен с возможностью обучаться посредством микропроцессора дискриминантной сети, и микропроцессор дискриминантной сети, который соединяется с генеративной сетью.
[30] По меньшей мере, в некоторых вариантах осуществления микропроцессор дискриминантной сети может содержать: множество входных выводов, соединенных с множеством устройств для формирования множества изображений сопоставления. Каждое из множества устройств может быть таким, как описано выше; множество модулей анализа, каждый из множества модулей анализа соединяется с одной из множества входных выводов; множество модулей объединения в пул, соединенных в каскад, каждая ступень каскада содержит модуль объединения в пул, соединенный с одним из множества модулей анализа и с модулем объединения в пул на предыдущей ступени каскада; и сеть дискриминатора, соединенную с модулем объединения в пул на последней ступени каскада.
Краткое описание чертежей
[31] Предмет изучения, который рассматривается как изобретение, в частности, указывается и отчетливо заявляется в формуле изобретения в заключении спецификации. Вышеупомянутые и другие цели, признаки и преимущества настоящего изобретения становятся очевидными из последующего подробного описания, выполненного вместе с сопровождающими чертежами, на которых:
[32] Фиг. 1 показывает блок-схему устройства для обработки изображений, согласно варианту осуществления настоящего изобретения;
[33] Фиг. 2 показывает схематичный чертеж блока пикселов 3*3 в первом признаковом изображении согласно варианту осуществления настоящего изобретения;
[34] Фиг. 3 показывает блок пикселов 3*3 в каждом из девяти (9) сдвинутых изображений, полученных посредством сдвига первого признакового изображения, иллюстрированного на фиг. 2, согласно варианту осуществления настоящего изобретения;
[35] Фиг. 4 показывает блок пикселов 3*3 в каждом из девяти (9) сдвинутых изображений, полученных посредством сдвига первого признакового изображения, иллюстрированного на фиг. 2, согласно другому варианту осуществления настоящего изобретения;
[36] Фиг. 5 показывает дискриминантную сеть согласно варианту осуществления настоящего изобретения, причем эта дискриминантная сеть может быть соединена с устройством для обработки изображений согласно настоящему изобретению;
[37] Фиг. 6 показывает блок-схему последовательности операций способа для обработки изображений согласно варианту осуществления настоящего изобретения;
[38] Фиг. 7 показывает блок-схему последовательности операций способа для обработки изображений согласно другому варианту осуществления настоящего изобретения; и
[39] Фиг. 8 показывает блок-схему системы согласно варианту осуществления настоящего изобретения для обучения нейронной сети.
[40] Различные признаки чертежей не начерчены по масштабу, поскольку иллюстрации существуют для ясности в содействии специалисту в области техники в понимании изобретения вместе с подробным описанием.
Подробное описание изобретения
[41] Далее варианты осуществления настоящего изобретения будут описаны ясно и конкретно вместе с сопровождающими чертежами, которые описаны вкратце выше. Предмет настоящего изобретения описывается с конкретикой, чтобы удовлетворять установленным требованиям. Однако само описание не предназначено, чтобы ограничивать объем этого изобретения. Скорее авторы предполагают, что заявленное изобретение может также быть осуществлено другими способами, чтобы включать в себя разные этапы или элементы, аналогичные описанным в этом документе, вместе с другими настоящими или будущими технологиями.
[42] В то время как настоящая технология была описана в сочетании с вариантами осуществления различных чертежей, следует понимать, что другие аналогичные варианты осуществления могут быть использованы, или модификации и дополнения могут быть сделаны описанных вариантах осуществления для выполнения той же функции настоящей технологии без отклонения от нее. Следовательно, настоящая технология не должна быть ограничена каким-либо одним вариантом осуществления, а вместо этого должна рассматриваться в объеме и рамках в соответствии с прилагаемой формулой изобретения. Кроме того, все другие варианты осуществления, полученные обычным специалистом на основе вариантов осуществления, описанных в данном документе, считаются находящимися в пределах объема этого изобретения.
[43] Технология глубокого обучения на основе искусственной нейронной сети добилась значительного прогресса в таких областях как обработка изображений. Глубокое обучение является способом обучения на основе характеризования данных среди способов машинного обучения. Наблюдаемые значения (такие как изображение) могут быть представлены различными способами как вектор значений интенсивности различных пикселов, или более абстрактно, как последовательность краев, область, имеющая конкретную форму, и т.д. Преимущество технологии глубокого обучения лежит в решении различных технических проблем с помощью структуры общего назначения и относительно похожей системы. Преимуществом глубокого обучения является замена ручного получения признаков с помощью эффективных неконтролируемых или полуконтролируемых алгоритмов для изучения признаков и иерархического извлечения признаков.
[44] Изображения природного мира могут быть легко различимы от изображений, созданных синтетически людьми или случайным образом компьютером. Естественные изображения являются особенными, по меньшей мере, поскольку они содержат индивидуальную структуру и являются в высшей степени неслучайными. Например, изображения, сформированные синтетически и случайным образом посредством компьютера, редко содержат натуралистичную сцену или объект.
[45] Системы обработки изображений, такие как алгоритмы сжатия, аналоговые носители хранения и даже собственные визуальные системы человека работают с изображениями реального мира. Генеративно-состязательные сети (GAN) являются одним решением для формирования реалистичных образцов естественных изображений. GAN могут быть подходом к генеративному моделированию, когда две модели обучаются одновременно или перекрестно обучаются.
[46] Системы обучения могут быть выполнены с возможностью регулировать параметры на основе конкретной цели, представленной посредством функции потерь. В GAN функция потерь заменяется другой системой машинного обучения, которая может независимо обучаться трудной задаче. GAN, как правило, включает в себя генеративную сеть, которая противопоставляется дискриминантной сети. Генеративная сеть принимает ввод информационного изображения низкого разрешения, повышает качество информационного изображения низкого разрешения и предоставляет изображение повышенного качества в дискриминантную сеть. Дискриминантной сети ставится задача классифицировать то, являются ли ее входные данные выходными данными генеративной сети (т.е. "фальшивым" информационным изображением повышенного качества) или фактическим изображением (т.е. оригинальным информационным изображением высокого разрешения). Дискриминантная сеть выводит оценку между "0" и "1", которая измеряет вероятность того, что ее входные данные являются изображением повышенного качества и оригинальным изображением. Если дискриминантная сеть выводит оценку "0" или приблизительно "0", тогда дискриминантная сеть определяет, что изображение является выходными данными генеративной сети. Если дискриминантная сеть выводит число, равное "1" или приближающееся к "1", тогда дискриминантная сеть определяет, что изображение является оригинальным изображением. Этот способ противопоставления генеративной сети с дискриминантной сетью - следовательно, "состязательный" - использует соревнование между двумя сетями, чтобы побуждать две сети улучшать их способы до тех пор, пока изображения, сформированные посредством генеративной сети, не будут неотличимыми от оригиналов.
[47] Дискриминантная сеть может быть обучена оценивать входные данные как "реальные" или "фальшивые" с помощью данных, имеющих предварительно определенные оценки. "Фальшивые" данные могут быть изображением высокого разрешения, сформированным посредством генеративной сети, а "реальные" данные могут быть предварительно определенным эталонным изображением. Чтобы обучать дискриминантную сеть, параметр дискриминантной сети регулируется до тех пор, пока дискриминантная сеть не выведет оценку, приближающуюся к "1", всякий раз, когда она принимает "реальные" данные, и оценку, приближающуюся к "0", всякий раз, когда она принимает "фальшивые" данные. Чтобы обучать генеративную сеть, параметр генеративной сети регулируется до тех пор, пока выходные данные генеративной сети не примут оценку, близкую к "1", насколько возможно, из дискриминантной сети.
[48] Общей аналогией для GAN является аналогия с фальшивомонетчиком и полицией. Генеративная сеть может быть сравнима с фальшивомонетчиком, пытающимся создать фальшивые деньги и использовать их без обнаружения, тогда как дискриминантная сеть может быть сравнима с полицией, пытающейся обнаружить фальшивые деньги. Соперничество между фальшивомонетчиком и полицией будет подстрекать обе стороны улучшать их методы до тех пор, пока подделки не будут неотличимыми от подлинных.
[49] И генеративные, и дискриминантные сети пытаются оптимизировать различную и противоположную целевую функцию, т.е. функцию потерь, в игре с нулевой суммой. Посредством "перекрестного обучения", чтобы максимизировать выходные данные дискриминантной сети, генеративная сеть улучшает изображения, которые она формирует, а дискриминантная сеть улучшает точность в своем различении между оригинальным изображением высокого разрешения и изображением, сформированным посредством генеративной сети. Генеративная сеть и дискриминантная сеть состязаются, чтобы формировать более хорошие изображения и улучшать критерии оценки изображений.
[50] Остается необходимость увеличивать точность дискриминантной сети в различении между оригинальным изображением высокого разрешения и изображением, сформированным посредством генеративной сети, для того, чтобы обучать генеративную сеть, чтобы улучшать конкретный параметр. Например, существует интерес в задаче формирования изображений, которые воспринимаются как реальные и неискаженные. Это может быть применено к проблемам, таким как устранение размытости, устранение шума, демозаика, удаление сжатия, улучшение контрастности, сверхвысокое разрешение изображения и т.д. В таких проблемах искаженное изображение является визуально поврежденным, и система машинного обучения может быть предназначена, чтобы исправлять это. Однако, цель восстановления оригинального изображения часто является непрактичной и ведет к изображениям, которые не выглядят реальными. GAN предназначаются, чтобы формировать "реальные" изображения. Типичная конфигурация берет цветное выходное изображение и использует систему машинного обучения (например, сверточную сеть), чтобы выводить одно число, которое измеряет, насколько реальным является изображение. Эта система может улучшать качество восприятия, но сегодня выходные данные состязательной системы остаются недостаточно воспринимаемыми как естественные изображения зрителем-человеком.
[51] Фиг. 1 показывает блок-схему устройства для обработки изображений, согласно варианту осуществления настоящего изобретения.
[52] [53] Блок-схема на фиг. 1 не предназначается, чтобы указывать, что устройство 100 включает в себя только компоненты, показанные на фиг. 1. Скорее, устройство 100 может включать в себя любое количество дополнительных вспомогательных устройств и/или компонентов, известных обычному специалисту в области техники, но которые не показаны на фиг. 1, в зависимости от деталей конкретных реализаций.
[54] Как показано на фиг. 1, устройство 100 содержит блок 110 извлечения признаков и блок 120 сдвигового сопоставления.
[55] Блок 110 извлечения признаков выполнен с возможностью извлекать один или более признаков из обучающего изображения, которое вводится в или принимается посредством устройства 100, и формировать признаковое изображение на основе извлеченного признака(ов). Признаковое изображение представляет один или более признаков обучающего изображения. Обучающее изображение может быть изображением, сформированным посредством генеративной сети, или предварительно определенным эталонным изображением.
[56] В некоторых вариантах осуществления, как показано на фиг. 1, блок 110 извлечения признаков может содержать детектор 111 яркости.
[57] Детектор 111 яркости выполнен с возможностью формировать первое признаковое изображение, например, для обучающего изображения, посредством извлечения из обучающего изображения информации, относящейся к яркости в обучающем изображении. Первое признаковое изображение может, следовательно, называться яркостным признаковым изображением.
[58] В некоторых вариантах осуществления, как показано на фиг. 1, блок 110 извлечения признаков может содержать нормировщик 112.
[59] Нормировщик 112 выполнен с возможностью формировать второе признаковое изображение посредством нормировки первого признакового изображения. В вариантах осуществления, где первое признаковое изображение является яркостным признаковым изображением, нормировщик 112 выполнен с возможностью нормировать яркостное признаковое изображение. Нормировка приводит пиксельные значения изображения в меньший диапазон значений, который может устранять посторонние значения пикселов, которые являются слишком высокими или слишком низкими. Это может, в свою очередь, облегчать вычисления сопоставлений, которые должны обсуждаться ниже.
[60] Устройство 100 для обработки изображений согласно настоящему изобретению может быть реализовано на вычислительном устройстве в форме компьютера общего назначения, микропроцессора, в цифровой электронной схеме, интегральной схеме, специально предназначенных ASIC (специализированных интегральных схемах), компьютерных аппаратных средствах, микропрограммном обеспечении, программном обеспечении и/или их сочетаниях.
[61] Второе признаковое изображение, сформированное блоком 110 извлечения признаков, выводится в блок 120 сдвигового сопоставления для дополнительной обработки. Блок 120 сдвигового сопоставления выполнен с возможностью выполнять множество поступательных сдвигов второго признакового изображения, чтобы формировать множество сдвинутых изображений. Блок 120 сдвигового сопоставления дополнительно выполнен с возможностью формировать множество изображений сопоставления на основе набора сопоставлений между вторым признаковым изображением и каждым из множества сдвинутых изображений. Блок 120 сдвигового сопоставления дополнительно выполнен с возможностью передавать множество изображений сопоставления в сеть глубокого обучения для обучения сети. Например, в некоторых вариантах осуществления, множество изображений сопоставления могут быть переданы в дискриминантную сеть в генеративно-состязательной сети, чтобы обучать дискриминантную сеть итеративно с помощью генеративной сети в генеративно-состязательной сети.
[62] Второе признаковое изображение имеет пиксельный блок первого размера, определенный посредством первого количества строк пикселов и первого количества столбцов пикселов. Второе признаковое изображение занимает первую область, соответствующую первому размеру, перед множеством поступательных сдвигов. Поступательный сдвиг может совершаться множеством способов. В некоторых вариантах осуществления поступательный сдвиг перемещает пикселы во втором признаковом изображении в направлении строки (или горизонтальном) или направлении столбца (или вертикальном) от первоначальной области. В некоторых вариантах осуществления поступательный сдвиг может содержать удаление строк и/или столбцов пикселов, которые сдвигаются из первой области, и назначение значения "0" пикселам в пространстве, освобожденном сдвинутыми пикселами. В некоторых вариантах осуществления поступательный сдвиг может содержать переупорядочивание или повторное размещение строк и/или столбцов пикселов.
[63] Каждое из множества сдвинутых изображений имеет блок пикселов того же размера, что и первый размер блока пикселов во втором признаковом изображении. Каждое из множества сдвинутых изображений имеет то же количество строк пикселов и то же количество столбцов пикселов, что и во втором признаковом изображении.
[64] Каждый пиксел, имеющий ненулевое значение в каждом сдвинутом изображении, имеет соответствующий пиксел с тем же ненулевым значением во втором признаковом изображении. По меньшей мере, в некоторых вариантах осуществления пикселам, которые не имеют соответствующего пиксела во втором признаковом изображении, назначается значение "0". В качестве иллюстративного примера, значения пикселов в первых двух строках сдвинутого изображения могут быть идентичны значениям, соответственно соответствующих пикселов в последних двух строках первого признакового изображения, а всем другим пикселам в сдвинутом изображении назначается значение "0". Каждый пиксел в сдвинутом изображении, который имеет соответствующий пиксел во втором признаковом изображении, имеет то же значение пиксела, что и соответствующий пиксел.
[65] В настоящем изобретении "соответствующие пикселы" не ограничиваются пикселами, которые соответствуют по позиции, но могут также включать в себя пикселы, которые занимают другие позиции. "Соответствующие пикселы" ссылаются на пикселы, которые имеют те же значения пикселов.
[66] В настоящем изобретении изображения обрабатываются как блоки пикселов. Значение пиксела в блоке представляет значение пиксела в изображении, который соответствует по позиции пикселу в блоке.
[67] Сопоставление между двумя изображениями может быть вычислено посредством попиксельного умножения блоков пикселов двух изображений. Например, значение пиксела в i-ой строке и j-ом столбце (i, j) изображения сопоставления может быть определено посредством умножения значения пиксела в (i, j) позиции во втором признаковом изображении на значение пиксела в (i, j) позиции в соответствующем сдвинутом изображении.
[68] Как показано на фиг. 1, в некоторых вариантах осуществления, блок 110 извлечения признаков содержит детектор 111 яркости и нормировщик 112.
[69] Детектор 111 яркости выполнен с возможностью формировать первое признаковое изображение посредством извлечения, например, из обучающего изображения, принятого посредством блока 110 извлечения признаков, информации, относящейся к яркости в обучающем изображении, и формировать яркостное признаковое изображение на основе извлеченной информации о яркости. Первое признаковое изображение может, следовательно, называться яркостным признаковым изображением. Глаза человека имеют склонность быть более чувствительными к яркости изображения, чем к другим признакам. Извлекая информацию о яркости, устройство настоящего изобретения устраняет ненужную информацию из обучающего изображения, что может уменьшать нагрузку обработки.
[70] Количества строк и столбцов пикселов в яркостном признаковом изображении являются такими же, что и в обучающем изображении. Значение I яркости пиксела в i-ой строке и j-ом столбце (i, j) яркостного признакового изображения может быть вычислено согласно следующей формуле (1):
[71] I=0,299R+0,587G+0,114B (1)
[72] В формуле (1) R представляет значение красного компонента для пиксела (i, j) в обучающем изображении. G представляет значение зеленого компонента. B представляет значение синего компонента. i и j являются целыми числами. Значение для i равно 1≤i≤X. Значение для j равно 1≤j≤Y. X является суммарным количеством строк в обучающем изображении, а Y является суммарным количеством столбцов в обучающем изображении.
[73] В некоторых вариантах осуществления обучающее изображение является цветным изображением. В некоторых вариантах осуществления обучающее изображение имеет R-компонент, G-компонент и B-компонент, и устройство настоящего изобретения может быть выполнено с возможностью обрабатывать обучающее изображение таким образом, что R-компонент, G-компонент и B-компонент вводятся в детектор яркости, преобразуются в Y-компонент, U-компонент и V-компонент, соответственно, в нем, и затем соответственно вводятся в Y-канал, U-канал и V-канал, соответственно. Y-компонент, U-компонент и V-компонент являются компонентами обучающего изображения в YUV-пространстве. Y-канал, U-канал и V-канал обозначают, что выходные данные этих каналов являются выходным Y-компонентом, выходным U-компонентом и выходным V-компонентом, соответственно. В вариантах осуществления, где RGB-компоненты обучающего изображения преобразуются в YUV-компоненты, значение I яркости соответствует значению Y-компонента.
[74] В некоторых вариантах осуществления обучающее изображение имеет Y-компонент, U-компонент и V-компонент. В этом случае устройство настоящего изобретения может быть выполнено с возможностью обрабатывать Y-компонент обучающего изображения через Y-канал детектора яркости; U-компонент обучающего изображения через U-канал детектора яркости; и V-компонент обучающего изображения через V-канал детектора яркости.
[75] В некоторых вариантах осуществления использование YUV-пространства выполняет дискретизацию сигнала цветности по обучающему изображению. Y-компонент обучающего изображения поступает в Y-канал. U-компонент обучающего изображения поступает в U-канал. V-компонент обучающего изображения поступает в V-канал. Посредством разделения входного сигнала обучающего изображения на три группы соответствующий канал, обрабатывающий сигнал в компоненте из группы из Y-компонента, U-компонента и V-компонента, может уменьшать вычислительную нагрузку и улучшать скорость обработки. U-компонент и V-компонент имеют относительно низкое влияние на эффект отображения изображения, таким образом, обработка различных компонентов в различных каналах не будет иметь значительного эффекта на отображение изображения.
[76] Нормировщик 112 выполнен с возможностью формировать второе признаковое изображение посредством нормировки первого признакового изображения. В вариантах осуществления, где блок 110 извлечения признаков содержит детектор 111 яркости, и первое признаковое изображение является яркостным признаковым изображением, нормировщик 112 выполнен с возможностью нормировать яркостное признаковое изображение. Нормировка приводит пиксельные значения изображения в меньший диапазон значений, который может устранять посторонние значения пикселов, которые являются слишком высокими или слишком низкими. Это может, в свою очередь, облегчать вычисления сопоставлений.
[77] Более конкретно, нормировщик 112 выполнен с возможностью выполнять нормировку согласно следующей формуле (2), чтобы получать второе признаковое изображение:
[78]
Figure 00000001
(2)
[79] В формуле (2) N представляет второе признаковое изображение. I представляет яркостное признаковое изображение, полученное из обучающего изображения. Blur представляет гауссову размытость. Blur(I) представляет фильтр гауссовой размытости, реализованный на яркостном признаковом изображении. Blru(I 2 ) представляет изображение, полученное возведением в квадрат каждого значения пиксела в яркостном признаковом изображении и затем реализации фильтра гауссовой размытости на изображении. μ представляет выходное изображение, полученное с помощью фильтра гауссовой размытости. σ 2 представляет нормированное изображение локальной дисперсии.
[80] В некоторых вариантах осуществления настоящего изобретения поступательный сдвиг второго признакового изображения содержит сдвиг последних a столбцов пикселов во втором признаковом изображении вперед оставшихся столбцов пикселов, чтобы получать промежуточное изображение. Последние b строк пикселов в промежуточном изображении затем сдвигаются вперед оставшихся строк пикселов, чтобы получать сдвинутое изображение. Значение a равно 0≤a≤Y. Значение b равно 0≤b≤X. a и b являются целыми числами. X представляет суммарное количество строк пикселов во втором признаковом изображении. Y представляет суммарное количество столбцов пикселов во втором признаковом изображении. Значения a и b могут быть одинаковыми или различными. Когда a и b, оба равны нулю, сдвинутое изображение является вторым признаковым изображением. В некоторых вариантах осуществления, в любых предоставленных двух процессах сдвига изображения, значение по меньшей мере одного из a и b изменяется. Понятно, что порядок, в котором сдвиги выполняются, особенно не ограничивается. Например, в некоторых вариантах осуществления, строки пикселов могут быть сдвинуты, чтобы получать промежуточное изображение, а затем столбцы пикселов могут быть сдвинуты, чтобы получать сдвинутое изображение.
[81] Значение каждого пиксела в сдвинутом изображении соответствует значению пиксела во втором признаковом изображении. Значение пиксела (i, j) в каждом из множества сдвинутых изображений происходит из другого пиксела в другой позиции во втором признаковом изображении.
[82] В некоторых вариантах осуществления поступательный сдвиг первого признакового изображения содержит сдвиг последних b строк пикселов во втором признаковом изображении вперед оставшихся строк пикселов, чтобы получать промежуточное изображение. Последние a строк пикселов в промежуточном изображении затем сдвигаются вперед оставшихся строк пикселов, чтобы получать сдвинутое изображение.
[83] В некоторых вариантах осуществления X*Y количество поступательных сдвигов выполняется по второму признаковому изображению, чтобы получать X*Y количество изображений сопоставления. Даже когда a и b, оба равны нулю, это считается одним поступательным сдвигом.
[84] Блок-схема на фиг. 1 не предназначается, чтобы указывать, что устройство 100 включает в себя только компоненты, показанные на фиг. 1. Скорее, устройство 100 может включать в себя любое количество дополнительных вспомогательных устройств и/или компонентов, известных обычному специалисту в области техники, но которые не показаны на фиг. 1, в зависимости от деталей конкретных реализаций.
[85] Фиг. 2 показывает схематичный чертеж блока пикселов 3*3 во втором признаковом изображении согласно варианту осуществления настоящего изобретения. На фиг. 2 каждый из "p1" … "p9" представляет значение одного из девяти (9) пикселов. Фиг. 3 показывает блок пикселов 3*3 в каждом из девяти (9) сдвинутых изображений, полученных посредством сдвига второго признакового изображения, иллюстрированного на фиг. 2, согласно варианту осуществления настоящего изобретения.
[86] В вариантах осуществления настоящего изобретения второе признаковое изображение содержит блок-пикселов, имеющий первый размер. Каждое из множества сдвинутых изображений и каждое из множества изображений сопоставления содержит блок пикселов, имеющий первый размер.
[87] В целях настоящего изобретения, самая верхняя строка пикселов в блоке, иллюстрированном на фиг. 2, является первой строкой, а самый левый столбец пикселов в блоке, иллюстрированном на фиг. 2, является первым столбцом. Если a=1 и b=1, тогда, чтобы получать сдвинутое изображение, показанное в середине второй строки на фиг. 3, последний столбец (т.е. самый правый столбец) пикселов во втором признаковом изображении перемещается вперед первого столбца (т.е. самого левого столбца) пикселов, а последняя строка (т.е. нижняя строка) пикселов перемещается вперед первой строки (т.е. верхней строки) пикселов.
[88] В вариантах осуществления, иллюстрированных на фиг. 2 и 3, пиксел может занимать одну из девяти (9) позиций в блоке, и вероятность того, что каждый пиксел появляется в каждой из девяти (9) позиций, отражается в девяти (9) сдвинутых изображениях. Следовательно, девять (9) изображений сопоставления содержат информацию не только о сопоставлении каждого пиксела не только с самим собой, но также о сопоставлении каждого пиксела с другими пикселами в изображении. В иллюстративном примере генеративно-состязательной сети, если генеративная сеть формирует изображение, в котором значение одного пиксела отличается от оригинального ("реального") изображения высокого разрешения, тогда каждое изображение сопоставления, полученное на основе синтетически сформированного изображения, будет показывать различие с изображением сопоставления оригинального изображения высокого разрешения. Это различие будет побуждать дискриминантную сеть оценивать синтетически сформированное изображение ближе к "0" (т.е. классификация как "фальшивое"), что будет побуждать генеративную сеть обновлять и улучшать формирование выходного изображения, которое является более реалистичным и перцепционно более убедительным.
[89] Понятно, что настоящее изобретение не ограничивает поступательные сдвиги, которые могут быть применены к изображению. Фиг. 4 показывает блок пикселов 3*3 в каждом из девяти (9) сдвинутых изображений, полученных после сдвига второго признакового изображения, иллюстрированного на фиг. 2, согласно другому варианту осуществления настоящего изобретения.
[90] На фиг. 2 и 4 последние a столбцов пикселов во втором признаковом изображении удаляются, и a столбцов пикселов добавляются перед оставшимися столбцами пикселов, чтобы получать промежуточное изображение. Каждый пиксел в добавленных a столбцах имеет значение "0". Далее, в промежуточном изображении, последние b строк пикселов удаляются, и b строк пикселов добавляются перед оставшимися строками пикселов, чтобы получать сдвинутое изображение. Каждый пиксел в добавленных b строках имеет значение "0". Более конкретно, 0≤a≤Y, 0≤b≤X, a и b, оба являются целыми числами. X представляет суммарное количество строк пикселов во втором признаковом изображении. Y представляет суммарное количество столбцов пикселов во втором признаковом изображении. Значения a и b могут быть одинаковыми или различными. В некоторых вариантах осуществления, в любых данных двух процессах сдвига изображения, значение по меньшей мере одного из a и b изменяется.
[91] Блок 120 сдвигового сопоставления выполнен с возможностью формировать изображение сопоставления посредством умножения значений пикселов в соответствующих позициях в двух изображениях. В изображении сопоставления значение пиксела в (i, j) позиции получается посредством умножения значения пиксела (i, j) во втором признаковом изображении на значение пиксела (i, j) в сдвинутом изображении. Значение для i равно 1≤i≤X. Значение для j равно 1≤j≤Y. i и j являются целыми числами. X представляет суммарное количество строк пикселов во втором признаковом изображении. Y представляет суммарное количество столбцов пикселов во втором признаковом изображении.
[92] Устройство 100 для обработки изображений согласно настоящему изобретению может быть реализовано на вычислительном устройстве в форме компьютера общего назначения, микропроцессора, в цифровой электронной схеме, интегральной схеме, специально предназначенных ASIC (специализированных интегральных схемах), компьютерных аппаратных средствах, микропрограммном обеспечении, программном обеспечении и/или их сочетаниях. Эти различные реализации могут включать в себя реализацию в одной или более компьютерных программах, которые являются исполняемыми и/или интерпретируемыми на программируемой системе, включающей в себя по меньшей мере один программируемый процессор, который может быть специального или общего назначения, соединенный, чтобы принимать данные и инструкции от, и передавать данные и инструкции в, системы хранения по меньшей мере одного устройства ввода и по меньшей мере одного устройства вывода.
[93] Эти компьютерные программы (также известные как программы, программное обеспечение, приложения системы программного обеспечения или код) включают в себя машинные инструкции для программируемого процессора и могут быть реализованы на процедурном и/или объектно-ориентированном языке программирования высокого уровня и/или на языке ассемблера/машины. Когда используются в данном документе, выражения "машиночитаемый носитель", "машиночитаемый носитель" ссылаются на любой компьютерный программный продукт, аппаратное средство и/или устройство (например, магнитные диски, оптические диски, память, программируемые логические устройства (PLD)), используемое для предоставления машинных инструкций и/или данных программируемому процессору, включающие в себя машиночитаемый носитель, который принимает машинные инструкции в качестве машиночитаемого сигнала. Выражение "машиночитаемый сигнал" ссылается на любой сигнал, используемый, чтобы предоставлять машинные инструкции и/или данные программируемому процессору.
[94] Чтобы обеспечивать взаимодействие с пользователем, устройства, системы, процессы, функциональные возможности и методы, описанные здесь, могут быть реализованы на компьютере, имеющем устройство отображения (например, CRT (катодно-лучевая трубка) или LCD (жидкокристаллический дисплей) монитор), для отображения информации пользователю и клавиатуру и указывающее устройство (например, мышь или трекбол), посредством которых пользователь может предоставлять входные данные компьютеру. Другие виды вспомогательного оборудования и/или устройств могут быть использованы для обеспечения взаимодействия с пользователем также, включающие в себя, например, обратная связь, предоставляемая пользователю, может быть любой формой чувствительной обратной связи (например, визуальной обратной связью, акустической обратной связью или тактильной обратной связью). Входные данные от пользователя могут быть приняты в любой форме, включающей в себя звуковой, речевой или тактильный ввод.
[95] Устройства, системы, процессы, функциональные возможности и методы, описанные выше, могут быть реализованы в вычислительной системе, которая включает в себя внутренний компонент (например, в качестве сервера данных), или которая включает в себя промежуточный компонент (например, сервер приложений), или которая включает в себя компонент первичной обработки данных (например, клиентский компьютер, имеющий графический пользовательский интерфейс или веб-браузер, посредством которого пользователь может взаимодействовать с реализацией устройств, систем, процессов, функциональных возможностей и методов, описанных здесь), или любую комбинацию таких внутренних, промежуточных или компонентов первичной обработки данных. Компоненты системы могут быть взаимосвязаны посредством любой формы или носителя для обмена цифровыми данными (например, сети связи). Примеры сетей связи включают в себя локальную вычислительную сеть ("LAN"), глобальную вычислительную сеть ("WAN") и Интернет.
[96] Вычислительная система может включать в себя клиентов и серверы. Клиент и сервер, как правило, удалены друг от друга и типично взаимодействуют через сеть связи. Отношение клиента и сервера возникает посредством компьютерных программ, работающих на соответствующих компьютерах и имеющих отношение клиент-сервер друг с другом.
[97] Устройство согласно настоящему изобретению для обработки изображения может быть соединено с нейронными сетями и может быть выполнено с возможностью обучать нейронные сети. В некоторых вариантах осуществления устройство согласно настоящему изобретению выполнено с возможностью обучать генеративно-состязательную сеть (GAN). GAN может содержать генеративную сеть и дискриминантную сеть.
[98] Дискриминантная сеть может быть сконструирована и сконфигурирована любым подходящим образом, известным обычному специалисту в области техники, пока дискриминантная сеть является приспособленной для классификации степени совпадения между изображением, которое она принимает в качестве входных данных, и предварительно определенным эталонным изображением, имеющим то же разрешение, что и входное изображение. Фиг. 5 показывает дискриминантную сеть 200 согласно варианту осуществления настоящего изобретения. Дискриминантная сеть 200 может содержать множество входных выводов In1, In2, In3, множество модулей 210 анализа, множество модулей 220 объединения в пул и модуль 230 дискриминатора.
[99] Каждый из множества модулей 210 анализа соединяется с соответствующей одной из множества входных выводов In1, In2, In3. Модули 210 анализа принимают, через входные выводы In1, In2, In3, множество изображений сопоставления, сформированных посредством устройства согласно настоящему изобретению. Модули 210 анализа выполнены с возможностью формировать, на основе множества изображений сопоставления, соответствующее множество третьих признаковых изображений. Каждое из третьих признаковых изображений является многоканальным изображением, которое представляет различные измерения соответствующего изображения сопоставления. Каждое из множества третьих признаковых изображений имеет большее количество каналов по сравнению с соответствующим изображением сопоставления. Например, входное изображение сопоставления может иметь 3 канала, а выходное третье признаковое изображение может иметь 64 канала, 128 каналов или некоторое другое произвольное количество каналов. Каждое из множества третьих признаковых изображений формируется с тем же разрешением, что и соответствующее изображение сопоставления.
[100] Каждый из множества модулей 210 анализа соединяется с одним из множества модулей 220 объединения в пул. Множество модулей 220 объединения в пул соединяются в каскад. Модули 220 объединения в пул выполнены с возможностью принимать множество входных изображений, формировать составное изображение, соединяя множество входных изображений, и уменьшать разрешение составного изображения, чтобы формировать составное изображение более низкого качества. Более конкретно, множество входных изображений включает в себя третье признаковое изображение, принятое от соответствующего модуля 210 анализа, и эталонное изображение. Как показано на фиг. 5, на первой ступени каскада, третье признаковое изображение из модуля 210 анализа дублируется в качестве эталонного изображения для соответствующего модуля 220 объединения в пул. На последующих ступенях каскада эталонное изображение является составным изображением более низкого качества, сформированным посредством модуля 220 объединения в пул на предыдущей ступени каскада.
[101] Модуль 230 дискриминатора выполнен с возможностью принимать составное изображение более низкого качества от модуля 220 объединения в пул на последней ступени каскада, классифицировать принятое составное изображение более низкого качества посредством формирования оценки, которая представляет степень совпадения между принятым изображением и предварительно определенным эталонным изображением, имеющим то же разрешение, что и принятое изображение.
[102] Генеративная сеть может быть сконструирована и сконфигурирована любым подходящим образом, известным обычному специалисту в области техники, пока генеративная сеть является приспособленной для повышения качества и формирования изображения.
[103] Устройство 100 может быть соединено с дискриминантной сетью через входной вывод дискриминантной сети. Дискриминантная сеть может не принимать непосредственно выходное изображение от генеративной сети, или оригинальное образцовое изображение высокого разрешения. Скорее, дискриминантная сеть может быть выполнена с возможностью принимать, классифицировать и оценивать выходное изображение из генеративной сети, или оригинальное образцовое изображение высокого разрешения, после того как оно было предварительно обработано посредством устройства 100. Другими словами, дискриминантная сеть может быть выполнена с возможностью принимать, классифицировать и оценивать выходные данные от устройства 100.
[104] Традиционные способы обучения GAN предоставляют выходное изображение из генеративной сети или оригинальное образцовое изображение непосредственно в дискриминантную сеть для классификации. В результате, с целью классификации дискриминантная сеть ограничивается опорой на информацию, которая существует в выходном изображении или оригинальном образцовом изображении.
[105] В устройстве согласно настоящему изобретению для обработки изображения блок сдвигового сопоставления обрабатывает выходное изображение из генеративной сети и/или оригинальное изображение высокого разрешения, чтобы формировать множество изображений сопоставления. Например, блок сдвигового сопоставления выполнен с возможностью формировать множество изображений сопоставления, которые содержат не только информацию, присущую выходному изображению и/или оригинальному образцовому изображению, но также информацию, относящуюся к сопоставлениям между такими изображениями и сдвинутыми или иначе преобразованными изображениями. По сравнению с традиционными способами дискриминантная сеть в системе настоящего изобретения снабжается дополнительной информацией, с помощью которой должна выполнять классификацию, например, сравнивая множество сопоставлений между выходным значением из генеративной сети и преобразованными изображениями с множеством сопоставлений между оригинальным образцовым изображением и преобразованными изображениями. Дополнительно, из оценки качества неэталонного изображения модуля оценки качества естественности изображения (NIQE) предполагается, что сопоставления между выходным изображением (или оригинальным образцовым изображением) и преобразованными изображениями влияют на качество восприятия.
[106] По сравнению с традиционными способами, классификация на основе выходных данных от устройства настоящего изобретения для обработки изображения увеличивает четкость классификации, улучшает точность результата классификации и обучает параметры генеративной сети в сторону создания решений, которые являются очень похожими на реальные изображения и, таким образом, трудно классифицируемыми посредством дискриминантной сети. Это способствует перцепционно превосходным решениям.
[107] Настоящее изобретение также предоставляет способ для обработки изображений. Фиг. 6 показывает блок-схему последовательности операций способа для обработки изображений согласно варианту осуществления настоящего изобретения.
[108] Этап S1 содержит получение первого признакового изображения, например, посредством формирования яркостного признакового изображения на основе извлеченной информации о яркости обучающего изображения.
[109] Этап S2 содержит нормировку первого признакового изображения, чтобы получать второе признаковое изображение.
[110] Этап S3 содержит выполнение поступательных сдвигов по второму признаковому изображению, чтобы получать множество сдвинутых изображений. Каждое сдвинутое изображение имеет такое же количество строк и столбцов пикселов, что и во втором признаковом изображении. Каждый пиксел, имеющий ненулевое значение в каждом сдвинутом изображении, имеет соответствующий пиксел с тем же ненулевым значением во втором признаковом изображении. Пикселам, которые не имеют соответствующего пиксела во втором признаковом изображении, может быть назначено значение "0". Другими словами, каждый пиксел, имеющий ненулевое значение в сдвинутом изображении, имеет соответствующий пиксел во втором признаковом изображении.
[111] Этап S4 содержит формирование множества изображений сопоставления на основе сопоставлений между вторым признаковым изображением и множеством сдвинутых изображений. Каждое изображение сопоставления имеет такое же количество строк и столбцов пикселов, что и второе признаковое изображение.
[112] Этап S5 содержит передачу множества изображений сопоставления в нейронную сеть, например, дискриминантную сеть генеративно-состязательной сети.
[113] Способ согласно настоящему изобретению может быть выполнен с возможностью обучать нейронные сети. В некоторых вариантах осуществления способ согласно настоящему изобретению адаптирован обучать генеративно-состязательную сеть (GAN). GAN может содержать генеративную сеть и дискриминантную сеть. Традиционные способы обучения GAN предоставляют выходное изображение из генеративной сети или оригинальное образцовое изображение непосредственно в дискриминантную сеть для классификации. В результате, с целью классификации дискриминантная сеть ограничивается опорой на информацию, которая существует в выходном изображении или оригинальном образцовом изображении.
[114] По сравнению с традиционными методами, способ настоящего изобретения не передает выходное изображение из генеративной сети или оригинальное изображение высокого разрешения непосредственно в дискриминантную сеть. Скорее, изображения обрабатываются посредством устройства, описанного выше, которое включает в себя блок извлечения признаков и блок сдвигового сопоставления, перед подачей в дискриминантную сеть для классификации. Блок сдвигового сопоставления формирует множество преобразованных изображений. Например, блок сдвигового сопоставления выполнен с возможностью формировать множество изображений сопоставления, которые содержат не только информацию, присущую выходному изображению и оригинальному образцовому изображению, но также информацию, относящуюся к сопоставлениям между такими изображениями и преобразованными изображениями. Эта дополнительная информация предоставляет возможность дискриминантной сети выполнять классификацию на основе сходства между двумя наборами сопоставлений, а именно, набором сопоставлений между выходным изображением из генеративной сети и преобразованными изображениями и другим набором сопоставлений между оригинальным образцовым изображением и преобразованными изображениями. Дополнительно, из оценки качества неэталонного изображения модуля оценки качества естественности изображения (NIQE) предполагается, что сопоставления между выходным изображением (или оригинальным образцовым изображением) и преобразованными изображениями влияют на качество восприятия.
[115] Классификация на основе выходных данных от устройства настоящего изобретения увеличивает четкость классификации, улучшает точность результата классификации и обучает параметры генеративной сети в направлении создания решений, которые являются очень похожими на реальные изображения и, таким образом, трудно классифицируемыми посредством дискриминантной сети. Это способствует перцепционно превосходным решениям.
[116] Фиг. 7 показывает блок-схему последовательности операций способа для обработки изображений согласно другому варианту осуществления настоящего изобретения.
[117] Этап S1 содержит получение первого признакового изображения. Первое признаковое изображение может быть яркостным признаковым изображением, полученным посредством извлечения информации о яркости обучающего изображения.
[118] Получение первого признакового изображения может, следовательно, содержать этап S11, который содержит получение яркостного признакового изображения на основе информации о яркости в обучающем изображении.
[119] Яркостное признаковое изображение имеет те же количества строк и столбцов пикселов, что и в обучающем изображении. Значение I яркости пиксела в i-ой строке и j-ом столбце (i, j) яркостного признакового изображения может быть вычислено согласно следующей формуле (1):
[120] I=0,299R+0,587G+0,114B (1)
[121] В формуле (1) R представляет значение красного компонента для пиксела (i, j) в обучающем изображении. G представляет значение зеленого компонента. B представляет значение синего компонента. i и j являются целыми числами. Значение для i равно 1≤i≤X. Значение для j равно 1≤j≤Y. X является суммарным количеством строк в обучающем изображении, а Y является суммарным количеством столбцов в обучающем изображении.
[122] На этапе S12 яркостное признаковое изображение нормируется, чтобы получать второе признаковое изображение. Нормировка приводит пиксельные значения изображения в меньший диапазон значений, который может устранять посторонние значения пикселов, которые являются слишком высокими или слишком низкими. Это может, в свою очередь, облегчать вычисления сопоставлений.
[123] Более конкретно, на этапе S12, нормировка выполняется согласно следующей формуле (2):
[124]
Figure 00000001
(2)
[125] В формуле (2) N представляет второе признаковое изображение. I представляет значение яркости пиксела в данной позиции в яркостном признаковом изображении, полученном из обучающего изображения. Blur представляет гауссову размытость. Blur(I) представляет фильтр гауссовой размытости, реализованный на яркостном признаковом изображении. Blru(I 2 ) представляет изображение, полученное возведением в квадрат каждого значения пиксела в яркостном признаковом изображении и затем реализации фильтра гауссовой размытости на изображении. μ представляет выходное изображение, полученное с помощью фильтра гауссовой размытости. σ 2 представляет изображение локальной дисперсии.
[126] Этап S2 содержит выполнение множества поступательных сдвигов по второму признаковому изображению, чтобы получать множество сдвинутых изображений. Каждое сдвинутое изображение имеет такое же количество строк и столбцов пикселов, что и во втором признаковом изображении.
[127] В некоторых вариантах осуществления настоящего изобретения выполнение множества поступательных сдвигов содержит сдвиг последних a столбцов пикселов во втором признаковом изображении вперед оставшихся столбцов пикселов, чтобы получать промежуточное изображение, и затем сдвиг последних b строк пикселов в промежуточном изображении вперед оставшихся строк пикселов, чтобы получать сдвинутое изображение.
[128] В других вариантах осуществления настоящего изобретения выполнение множества поступательных сдвигов содержит сдвиг последних b строк пикселов во втором признаковом изображении вперед оставшихся строк пикселов, чтобы получать промежуточное изображение, и затем сдвиг последних a строк пикселов в промежуточном изображении вперед оставшихся строк пикселов, чтобы получать сдвинутое изображение.
[129] Значение a равно 0≤a≤Y. Значение b равно 0≤b≤X. a и b являются целыми числами. X представляет суммарное количество строк пикселов во втором признаковом изображении. Y представляет суммарное количество столбцов пикселов во втором признаковом изображении. В некоторых вариантах осуществления, в любых предоставленных двух процессах сдвига изображения, значение по меньшей мере одного из a и b изменяется.
[130] Каждый пиксел, имеющий ненулевое значение в каждом сдвинутом изображении, имеет соответствующий пиксел с тем же ненулевым значением во втором признаковом изображении. Пикселам, которые не имеют соответствующего пиксела во втором признаковом изображении, может быть назначено значение "0". Другими словами, каждый пиксел, имеющий ненулевое значение в сдвинутом изображении, имеет соответствующий пиксел во втором признаковом изображении.
[131] Этап S3 содержит формирование множества изображений сопоставления на основе сопоставлений между вторым признаковым изображением и множеством сдвинутых изображений. Каждое изображение сопоставления имеет такое же количество строк и столбцов пикселов, что и второе признаковое изображение.
[132] Формирование множества изображений сопоставления содержит умножение значения каждого пиксела во втором признаковом изображении на значение позиционно соответствующего пиксела в сдвинутом изображении. Другими словами, значение пиксела (i, j) во втором признаковом изображении умножается на значение пиксела (i, j) в сдвинутом изображении, чтобы формировать значение пиксела в (i, j) позиции в изображении сопоставления. Значение для i равно 1≤i≤X. Значение для j равно 1≤j≤Y. i и j являются целыми числами. X представляет суммарное количество строк пикселов во втором признаковом изображении. Y представляет суммарное количество столбцов пикселов во втором признаковом изображении.
[133] Этап S4 содержит передачу множества изображений сопоставления в нейронную сеть, например, дискриминантную сеть генеративно-состязательной сети.
[134] Способ для обработки изображений согласно настоящему изобретению может быть реализован на вычислительном устройстве в форме компьютера общего назначения, микропроцессора, в цифровой электронной схеме, интегральной схеме, специально предназначенных ASIC (специализированных интегральных схемах), компьютерных аппаратных средствах, микропрограммном обеспечении, программном обеспечении и/или их сочетаниях. Эти различные реализации могут включать в себя реализацию в одной или более компьютерных программах, которые являются исполняемыми и/или интерпретируемыми на программируемой системе, включающей в себя по меньшей мере один программируемый процессор, который может быть специального или общего назначения, соединенный, чтобы принимать данные и инструкции от, и передавать данные и инструкции в, системы хранения по меньшей мере одного устройства ввода и по меньшей мере одного устройства вывода.
[135] Эти компьютерные программы (также известные как программы, программное обеспечение, приложения системы программного обеспечения или код) включают в себя машинные инструкции для программируемого процессора и могут быть реализованы на процедурном и/или объектно-ориентированном языке программирования высокого уровня и/или на языке ассемблера/машины. Когда используются в данном документе, выражения "машиночитаемый носитель", "машиночитаемый носитель" ссылаются на любой компьютерный программный продукт, аппаратное средство и/или устройство (например, магнитные диски, оптические диски, память, программируемые логические устройства (PLD)), используемое для предоставления машинных инструкций и/или данных программируемому процессору, включающие в себя машиночитаемый носитель, который принимает машинные инструкции в качестве машиночитаемого сигнала. Выражение "машиночитаемый сигнал" ссылается на любой сигнал, используемый, чтобы предоставлять машинные инструкции и/или данные программируемому процессору.
[136] Фиг. 8 показывает блок-схему системы согласно варианту осуществления настоящего изобретения для обучения нейронной сети.
[137] Как показано на фиг. 8, устройство 100, описанное выше, может быть соединено с дискриминантной сетью 200 через входной вывод In. Структура и конфигурация дискриминантной сети 200 особенно не ограничиваются. Дискриминантная сеть 200 может быть сконструирована и сконфигурирована как описано выше, или может быть сконструирована и сконфигурирована любым подходящим образом, известным обычному специалисту в области техники, пока дискриминантная сеть является приспособленной для классификации степени совпадения между изображением, которое она принимает в качестве входных данных, и предварительно определенным эталонным изображением, имеющим то же разрешение, что и входное изображение.
[138] Варианты осуществления настоящего изобретения не передают выходное изображение из генеративной сети и/или оригинальное изображение высокого разрешения непосредственно в дискриминантную сеть. Скорее, изображения обрабатываются, например, посредством устройства, описанного выше, содержащего блок извлечения признаков и блок сдвигового сопоставления, перед подачей в дискриминантную сеть для классификации. Блок сдвигового сопоставления выполнен с возможностью обрабатывать выходное изображение из генеративной сети и/или оригинальное изображение высокого разрешения, чтобы формировать множество преобразованных изображений. Например, блок сдвигового сопоставления выполнен с возможностью формировать множество изображений сопоставления, которые содержат не только информацию, присущую выходному изображению и оригинальному образцовому изображению, но также информацию, относящуюся к сопоставлениям между такими изображениями и преобразованными изображениями. Эта дополнительная информация предоставляет возможность дискриминантной сети выполнять классификацию на основе сходства между двумя наборами сопоставлений, а именно, набором сопоставлений между выходным изображением из генеративной сети и преобразованными изображениями и другим набором сопоставлений между оригинальным образцовым изображением и преобразованными изображениями. Дополнительно, из оценки качества неэталонного изображения модуля оценки качества естественности изображения (NIQE) предполагается, что сопоставления между выходным изображением (или оригинальным образцовым изображением) и преобразованными изображениями влияют на качество восприятия.
[139] Классификация на основе выходных данных от устройства настоящего изобретения увеличивает четкость классификации, улучшает точность результата классификации и обучает параметры генеративной сети в направлении создания решений, которые являются очень похожими на реальные изображения и, таким образом, трудно классифицируемыми посредством дискриминантной сети. Это способствует перцепционно превосходным решениям.
[140] В некоторых вариантах осуществления устройство согласно настоящему изобретению может быть выполнено с возможностью обучать генеративно-состязательную сеть, например, как показано на фиг. 8. Фиг. 8 показывает систему для обучения генеративно-состязательной сети согласно варианту осуществления настоящего изобретения, которая содержит одно устройство 100, соединенное с дискриминантной сетью 200 через один входной вывод In. Однако, настоящее изобретение не ограничивается вариантом осуществления, показанным на фиг. 8. Дискриминантная сеть может содержать множество входных выводов In, каждая соединена с устройством 100, например, в вариантах осуществления, где генеративная сеть формирует множество изображений, имеющих различные разрешения. Каждое изображение из генеративной сети передается одному из множества устройств 100 для обработки изображений. Каждое устройство 100 формирует множество изображений сопоставления на основе принятого изображения и передает множество изображений сопоставления в дискриминантную сеть 200. Множество изображений сопоставления от одного устройства 100 могут представлять признаковое изображение для изображения, которое должно быть классифицировано для конкретного канала. Дискриминантная сеть 200 выполнена с возможностью принимать изображения сопоставления от множества устройств 100 через множество входных выводов, и устанавливает изображение из генеративной сети с наивысшим разрешением в качестве изображения, которое должно быть классифицировано, дискриминантная сеть 200 затем выполнена с возможностью оценивать степень совпадения между изображением, которое должно быть классифицировано, и предварительно определенным эталонным изображением, имеющим то же разрешение.
[141] Блок-схема на фиг. 8 не ограничивается указанием того, что дискриминантная сеть включает в себя только компоненты, показанные на фиг. 8. Дискриминантная сеть согласно настоящему изобретению может включать в себя любое количество дополнительных вспомогательных устройств и/или компонентов, известных обычному специалисту в области техники, но не показанных на фиг. 8, в зависимости от деталей конкретной реализации.
[142] Настоящее изобретение также предоставляет машиночитаемый носитель, который хранит инструкции для выполнения способа предварительной обработки изображения для обучения генеративно-состязательной сети, как описано выше.
[143] Когда используются в данном документе, выражение "машиночитаемый носитель" ссылается на любой компьютерный программный продукт, аппаратное средство и/или устройство (например, магнитные диски, оптические диски, память, программируемые логические устройства (PLD)), используемое для предоставления машинных инструкций и/или данных программируемому процессору, включающие в себя машиночитаемый носитель, который принимает машинные инструкции в качестве машиночитаемого сигнала. Выражение "машиночитаемый сигнал" ссылается на любой сигнал, используемый, чтобы предоставлять машинные инструкции и/или данные программируемому процессору. Машиночитаемый носитель согласно настоящему изобретению включает в себя, но не только, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), энергонезависимое оперативное запоминающее устройство (NVRAM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электрически стираемое PROM (EEPROM), флэш-память, магнитное или оптическое хранилище данных, регистры, диск или ленту, такие как оптические носители хранения на компакт-диске (CD) или DVD (цифровой универсальный диск) и другие долговременные носители.
[144] В описании спецификации ссылки, выполненные на выражение "некоторый вариант осуществления", "некоторые варианты осуществления" и "примерные варианты осуществления", "пример" и "конкретный пример" или "некоторые примеры" и т.п., предназначаются, чтобы ссылаться на такие конкретные отличительные признаки и структуры, материалы или характеристики, описанные в соединении с вариантом осуществления или примером, которые включены, по меньшей мере, в некоторые варианты осуществления или пример настоящего изобретения. Схематичное выражение терминов необязательно ссылается на один и тот же вариант осуществления или пример. Кроме того, описанные конкретные признаки, структуры, материалы или характеристики могут быть включены любым подходящим образом в какой-либо один или более вариантов осуществления или примеров. Кроме того, для обычного специалиста в области техники, описание относится к рамкам настоящего изобретения, и техническая схема не ограничивается конкретным сочетанием технических признаков, а также должна охватывать другие технические схемы, которые формируются посредством объединения технических признаков или эквивалентных признаков для технических признаков без отступления от идеи изобретения. Кроме того, термины "первый" и "второй" существуют только в иллюстративных целях и не рассматриваются как указывающие или подразумевающие относительную важность или подразумеваемую ссылку на количество указанных технических признаков. Таким образом, признаки, определенные посредством терминов "первый" и "второй", могут явно или неявно включать в себя один или более признаков. В описании настоящего изобретения значением для "многочисленного" является два или более, пока иное специально и конкретно не определено.
[145] Принцип и вариант осуществления настоящего изобретения излагаются в спецификации. Описание вариантов осуществления настоящего изобретения используется, только чтобы помогать пониманию способа настоящего изобретения и его основной идеи. Между тем, для обычного специалиста в области техники, описание относится к рамкам изобретения, и техническая схема не ограничивается конкретным сочетанием технических признаков, а также должна охватывать другие технические схемы, которые формируются посредством объединения технических признаков или эквивалентных признаков для технических признаков без отступления от идеи изобретения. Например, техническая схема может быть получена посредством замены признаков, описанных выше, как описано в этом описании (но не только), аналогичными признаками.

Claims (80)

1. Компьютерное устройство для формирования множества изображений сопоставления, содержащее:
блок извлечения признаков, выполненный с возможностью принимать обучающее изображение и извлекать из обучающего изображения, по меньшей мере, один или более из признаков для формирования первого признакового изображения на основе обучающего изображения;
нормировщик, выполненный с возможностью нормировать первое признаковое изображение и формировать второе признаковое изображение; и
блок сдвигового сопоставления, выполненный с возможностью выполнять множество поступательных сдвигов в отношении второго признакового изображения для формирования множества сдвинутых изображений, сопоставлять каждое из множества сдвинутых изображений со вторым признаковым изображением для формирования множества изображений сопоставления.
2. Устройство по п.1,
при этом блок сдвигового сопоставления выполнен с возможностью выполнять множество поступательных сдвигов в отношении второго признакового изображения посредством сдвигания количества a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения, чтобы они стали, соответственно, самыми правыми или самыми левыми столбцами блока пикселов, и сдвигания количества b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения, чтобы они стали, соответственно, самыми верхними или самыми нижними строками блока пикселов,
при этом 0≤a<Y, 0≤b<X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и
при этом a и b могут быть одинаковыми или разными.
3. Устройство по п.1 или 2,
при этом блок сдвигового сопоставления выполнен с возможностью выполнять множество поступательных сдвигов в отношении второго признакового изображения посредством сдвигания количества a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения, чтобы они стали, соответственно, самыми правыми или самыми левыми столбцами блока пикселов, и сдвигания количества b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения, чтобы они стали, соответственно, самыми верхними или самыми нижними строками блока пикселов,
при этом 0≤a<Y, 0≤b<X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и
при этом a и b могут быть одинаковыми или разными.
4. Устройство по любому из пп.1-3, в котором блок сдвигового сопоставления выполнен с возможностью сопоставлять каждое из множества сдвинутых изображений со вторым признаковым изображением посредством умножения значения пиксела каждого пиксела в блоке пикселов каждого из множества сдвинутых изображений на значение пиксела позиционно соответствующего пиксела в блоке пикселов второго признакового изображения.
5. Устройство по любому из пп.1-4,
при этом первое признаковое изображение является яркостным признаковым изображением, и
при этом блок извлечения признаков содержит: детектор яркости, выполненный с возможностью извлекать информацию о яркости из обучающего изображения для формирования яркостного признакового изображения.
6. Устройство по п.5, в котором для формирования яркостного признакового изображения детектор яркости выполнен с возможностью определять значение яркости пиксела в заданной позиции в яркостном признаковом изображении согласно следующей формуле (1):
I=0,299R+0,587G+0,114B (1)
при этом:
I является значением яркости,
R является значением красного компонента позиционно соответствующего пиксела в обучающем изображении,
G является значением зеленого компонента позиционно соответствующего пиксела в обучающем изображении, и
B является значением синего компонента позиционно соответствующего пиксела в обучающем изображении.
7. Устройство по п.5 или 6, в котором нормировщик выполнен с возможностью нормировать яркостное признаковое изображение согласно следующей формуле (2):
Figure 00000002
(2)
при этом:
N является первым признаковым изображением,
I представляет значение яркости пиксела в заданной позиции в яркостном признаковом изображении,
Blur(I) является изображением, полученным посредством применения фильтра Гаусса к яркостному признаковому изображению, и
Blur(I 2 ) является изображением, полученным возведением в квадрат каждого значения пиксела в яркостном признаковом изображении и затем применением фильтра Гаусса к изображению.
8. Устройство по любому из пп.1-7,
при этом второе признаковое изображение содержит блок пикселов, имеющий первый размер,
при этом каждое из множества сдвинутых изображений и каждое из множества изображений сопоставления содержит блок пикселов, имеющий первый размер, и
при этом в каждом из множества сдвинутых изображений пиксел, имеющий ненулевое значение пиксела, имеет соответствующий пиксел с таким же ненулевым значением пиксела во втором признаковом изображении.
9. Компьютерно-реализуемый способ формирования множества изображений сопоставления, содержащий этапы, на которых:
формируют первое признаковое изображение на основе обучающего изображения;
нормируют первое признаковое изображение и формируют второе признаковое изображение;
выполняют множество поступательных сдвигов в отношении второго признакового изображения для формирования множества сдвинутых изображений; и
сопоставляют каждое из множества сдвинутых изображений со вторым признаковым изображением для формирования множества изображений сопоставления.
10. Способ по п.9, в котором упомянутое сопоставление каждого из множества сдвинутых изображений со вторым признаковым изображением содержит этап, на котором умножают значение пиксела каждого пиксела в блоке пикселов каждого из множества сдвинутых изображений на значение пиксела позиционно соответствующего пиксела в блоке пикселов второго признакового изображения.
11. Способ по п.9 или 10, в котором выполнение множества поступательных сдвигов содержит этапы, на которых:
сдвигают количество a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения, чтобы они были, соответственно, самыми правыми или самым левыми столбцами блока пикселов; и
сдвигают количество b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения, чтобы они стали, соответственно, самыми верхними или самыми нижними строками блока пикселов,
при этом 0≤a<Y, 0≤b<X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и
при этом a и b могут быть одинаковыми или разными.
12. Способ по п.11, в котором по меньшей мере одно из a и b изменяется по меньшей мере один раз во время выполнения множества поступательных сдвигов.
13. Способ по п.9 или 10, в котором выполнение множества поступательных сдвигов содержит этапы, на которых:
удаляют количество a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения и добавляют количество a столбцов пикселов в самой правой или самой левой позиции блока пикселов, соответственно; и
удаляют количество b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения и добавляют количество b строк в самой верхней или самой нижней позиции блока пикселов, соответственно,
при этом 0≤a<Y, 0≤b<X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, а X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и
при этом каждый из добавленных пикселов имеет значение пиксела, равное 0.
14. Способ по п.13, в котором по меньшей мере одно из a и b изменяется по меньшей мере один раз во время выполнения множества поступательных сдвигов.
15. Способ по любому из пп.9-14, дополнительно содержащий этап, на котором выполняют X*Y поступательных сдвигов, при этом Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, а X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения.
16. Способ по любому из пп.9-15, дополнительно содержащий, перед формированием первого признакового изображения, этап, на котором принимают обучающее изображение, при этом формирование первого признакового изображения содержит этап, на котором формируют яркостное признаковое изображение на основе информации о яркости обучающего изображения.
17. Способ по п.16, дополнительно содержащий этап, на котором определяют значение яркости пиксела в заданной позиции в яркостном признаковом изображении согласно следующей формуле (1):
I=0,299R+0,587G+0,114B (1)
при этом:
I является значением яркости,
R является значением красного компонента позиционно соответствующего пиксела в обучающем изображении,
G является значением зеленого компонента позиционно соответствующего пиксела в обучающем изображении, и
B является значением синего компонента позиционно соответствующего пиксела в обучающем изображении.
18. Способ по п.16 или 17, дополнительно содержащий этап, на котором нормируют яркостное признаковое изображение согласно следующей формуле (2):
Figure 00000003
(2)
при этом:
N является первым признаковым изображением,
I представляет яркостное признаковое изображение,
Blur(I) является изображением, полученным посредством применения фильтра Гаусса к яркостному признаковому изображению, и
Blur(I 2 ) является изображением, полученным возведением в квадрат каждого значения пиксела в яркостном признаковом изображении и затем применением фильтра Гаусса к изображению.
19. Способ по любому из пп.9-18,
при этом первое признаковое изображение содержит блок пикселов, имеющий первый размер,
при этом каждое из множества сдвинутых изображений и каждое из множества изображений сопоставления содержит блок пикселов, имеющий первый размер, и
при этом в каждом из множества сдвинутых изображений пиксел, имеющий ненулевое значение пиксела, имеет соответствующий пиксел с таким же ненулевым значением пиксела в первом признаковом изображении.
20. Долговременный машиночитаемый носитель, хранящий инструкции, которые предписывают компьютеру исполнять способ по любому из пп.9-19.
21. Система для обучения генеративно-состязательной сети, содержащая:
процессор генеративно-состязательной сети, содержащий микропроцессор генеративной сети, который выполнен с возможностью обучаться посредством микропроцессора дискриминантной сети, и микропроцессор дискриминантной сети, который соединен с генеративной сетью,
при этом микропроцессор дискриминантной сети содержит:
множество входных выводов, соединенных с множеством устройств по любому из пп.1-8;
множество модулей анализа, при этом каждый из множества модулей анализа соединен с одним из множества входных выводов;
множество модулей объединения в пул, соединенных в каскад, причем каждая ступень каскада содержит модуль объединения в пул, соединенный с одним из множества модулей анализа и с модулем объединения в пул на предыдущей ступени каскада; и
сеть дискриминатора, соединенную с модулем объединения в пул на последней ступени каскада.
RU2020136214A 2018-09-30 2019-04-23 Устройство и способ для обработки изображения и система для обучения нейроной сети RU2762144C1 (ru)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
CN201811155326.6 2018-09-30
CN201811155147.2A CN109360151B (zh) 2018-09-30 2018-09-30 图像处理方法及系统、分辨率提升方法、可读存储介质
CN201811155147.2 2018-09-30
CN201811155252.6 2018-09-30
CN201811155930.9 2018-09-30
CN201811155930.9A CN109345456B (zh) 2018-09-30 2018-09-30 生成对抗网络训练方法、图像处理方法、设备及存储介质
CN201811155252.6A CN109255390B (zh) 2018-09-30 2018-09-30 训练图像的预处理方法及模块、鉴别器、可读存储介质
CN201811155326.6A CN109345455B (zh) 2018-09-30 2018-09-30 图像鉴别方法、鉴别器和计算机可读存储介质
PCT/CN2019/083872 WO2020062846A1 (en) 2018-09-30 2019-04-23 Apparatus and method for image processing, and system for training neural network

Publications (1)

Publication Number Publication Date
RU2762144C1 true RU2762144C1 (ru) 2021-12-16

Family

ID=69950197

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020136214A RU2762144C1 (ru) 2018-09-30 2019-04-23 Устройство и способ для обработки изображения и система для обучения нейроной сети

Country Status (9)

Country Link
US (4) US11615505B2 (ru)
EP (4) EP3857447A4 (ru)
JP (3) JP7415251B2 (ru)
KR (2) KR102661434B1 (ru)
AU (1) AU2019350918B2 (ru)
BR (1) BR112020022560A2 (ru)
MX (1) MX2020013580A (ru)
RU (1) RU2762144C1 (ru)
WO (4) WO2020062846A1 (ru)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220230276A1 (en) * 2019-05-23 2022-07-21 Deepmind Technologies Limited Generative Adversarial Networks with Temporal and Spatial Discriminators for Efficient Video Generation
JP7312026B2 (ja) * 2019-06-12 2023-07-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP3788933A1 (en) * 2019-09-05 2021-03-10 BSH Hausgeräte GmbH Method for controlling a home appliance
EP4049235A4 (en) * 2020-01-23 2023-01-11 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND ELECTRONIC DEVICE CONTROL METHOD
US11507831B2 (en) * 2020-02-24 2022-11-22 Stmicroelectronics International N.V. Pooling unit for deep learning acceleration
CN111695605B (zh) * 2020-05-20 2024-05-10 平安科技（深圳）有限公司 基于oct图像的图像识别方法、服务器及存储介质
EP4383184A3 (en) * 2020-07-08 2024-06-26 Sartorius Stedim Data Analytics AB Computer-implemented method, computer program product and system for processing images
US11887279B2 (en) * 2020-08-25 2024-01-30 Sharif University Of Technology Machine learning-based denoising of an image
US11455811B2 (en) * 2020-08-28 2022-09-27 Check it out Co., Ltd. System and method for verifying authenticity of an anti-counterfeiting element, and method for building a machine learning model used to verify authenticity of an anti-counterfeiting element
CN112132012B (zh) * 2020-09-22 2022-04-26 中国科学院空天信息创新研究院 基于生成对抗网络的高分辨率sar船舶图像生成方法
US11893710B2 (en) * 2020-11-16 2024-02-06 Boe Technology Group Co., Ltd. Image reconstruction method, electronic device and computer-readable storage medium
CN112419200B (zh) * 2020-12-04 2024-01-19 宁波舜宇仪器有限公司 一种图像质量优化方法及显示方法
US11895330B2 (en) * 2021-01-25 2024-02-06 Lemon Inc. Neural network-based video compression with bit allocation
CN113012064B (zh) * 2021-03-10 2023-12-12 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112884673A (zh) * 2021-03-11 2021-06-01 西安建筑科技大学 改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法
US20220405980A1 (en) * 2021-06-17 2022-12-22 Nvidia Corporation Fused processing of a continuous mathematical operator
CN113962360B (zh) * 2021-10-09 2024-04-05 西安交通大学 一种基于gan网络的样本数据增强方法及系统
KR102548283B1 (ko) * 2021-12-22 2023-06-27 (주)뉴로컴즈 콘볼루션 신경망 컴퓨팅 장치
CN114331903B (zh) * 2021-12-31 2023-05-12 电子科技大学 一种图像修复方法及存储介质
CN115063492B (zh) * 2022-04-28 2023-08-08 宁波大学 一种抵抗jpeg压缩的对抗样本的生成方法
KR20240033619A (ko) 2022-09-05 2024-03-12 삼성에스디에스 주식회사 문서 내 관심 영역 추출 방법 및 장치
CN115393242A (zh) * 2022-09-30 2022-11-25 国网电力空间技术有限公司 一种基于gan的电网异物图像数据增强的方法和装置
CN115631178B (zh) * 2022-11-03 2023-11-10 昆山润石智能科技有限公司 自动晶圆缺陷检测方法、系统、设备及存储介质
CN117196985A (zh) * 2023-09-12 2023-12-08 军事科学院军事医学研究院军事兽医研究所 一种基于深度强化学习的视觉去雨雾方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766067B2 (en) * 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
CN103903236B (zh) * 2014-03-10 2016-08-31 北京信息科技大学 人脸图像超分辨率重建的方法和装置
CN105975968A (zh) * 2016-05-06 2016-09-28 西安理工大学 一种基于Caffe框架的深度学习车牌字符识别方法
RU2635883C1 (ru) * 2016-06-02 2017-11-16 Самсунг Электроникс Ко., Лтд. Способ и система обработки изображений для формирования изображений сверхвысокого разрешения
US9865036B1 (en) * 2015-02-05 2018-01-09 Pixelworks, Inc. Image super resolution via spare representation of multi-class sequential and joint dictionaries
CN108596830A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种图像风格迁移模型训练方法以及图像风格迁移方法

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781196A (en) * 1990-10-19 1998-07-14 Eidos Plc Of The Boat House Video compression by extracting pixel changes exceeding thresholds
US5754697A (en) * 1994-12-02 1998-05-19 Fu; Chi-Yung Selective document image data compression technique
WO2002089046A1 (en) 2001-04-26 2002-11-07 Georgia Tech Research Corporation Video enhancement using multiple frame techniques
AU2002366985A1 (en) 2001-12-26 2003-07-30 Yeda Research And Development Co.Ltd. A system and method for increasing space or time resolution in video
CN101593269B (zh) 2008-05-29 2012-05-02 汉王科技股份有限公司 人脸识别装置及方法
WO2011092696A1 (en) 2010-01-28 2011-08-04 Yissum Research Development Company Of The Hebrew University Of Jerusalem, Ltd. Method and system for generating an output image of increased pixel resolution from an input image
CN101872472B (zh) 2010-06-02 2012-03-28 中国科学院自动化研究所 一种基于样本学习的人脸图像超分辨率重建方法
US9378542B2 (en) 2011-09-28 2016-06-28 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
US8737728B2 (en) * 2011-09-30 2014-05-27 Ebay Inc. Complementary item recommendations using image feature data
EP2662824A1 (en) 2012-05-10 2013-11-13 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
US8675999B1 (en) 2012-09-28 2014-03-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system, and method for multi-patch based super-resolution from an image
CN102915527A (zh) 2012-10-15 2013-02-06 中山大学 基于形态学成分分析的人脸图像超分辨率重建方法
JP2016502801A (ja) 2012-11-27 2016-01-28 エルジー エレクトロニクス インコーポレイティド 信号送受信装置及び信号送受信方法
CN103514580B (zh) 2013-09-26 2016-06-08 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
EP2908285A1 (en) 2014-02-13 2015-08-19 Thomson Licensing Method for performing super-resolution on single images and apparatus for performing super-resolution on single images
CN104853059B (zh) 2014-02-17 2018-12-18 台达电子工业股份有限公司 超分辨率图像处理方法及其装置
TWI492187B (zh) 2014-02-17 2015-07-11 Delta Electronics Inc 超解析度影像處理方法及其裝置
CN105144232B (zh) 2014-03-25 2017-09-08 展讯通信（上海）有限公司 图像去噪方法和系统
KR102338372B1 (ko) * 2015-09-30 2021-12-13 삼성전자주식회사 영상으로부터 객체를 분할하는 방법 및 장치
GB2562924B (en) 2015-12-14 2021-05-19 Motion Metrics Int Corp Method and apparatus for identifying fragmented material portions within an image
US10360477B2 (en) * 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
CN107315566B (zh) * 2016-04-26 2020-11-03 中科寒武纪科技股份有限公司 一种用于执行向量循环移位运算的装置和方法
FR3050846B1 (fr) * 2016-04-27 2019-05-03 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif et procede de distribution de donnees de convolution d'un reseau de neurones convolutionnel
CN105976318A (zh) 2016-04-28 2016-09-28 北京工业大学 一种图像超分辨率重建方法
CN105975931B (zh) 2016-05-04 2019-06-14 浙江大学 一种基于多尺度池化的卷积神经网络人脸识别方法
US10319076B2 (en) 2016-06-16 2019-06-11 Facebook, Inc. Producing higher-quality samples of natural images
US11024009B2 (en) 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
JP2018063504A (ja) * 2016-10-12 2018-04-19 株式会社リコー 生成モデル学習方法、装置及びプログラム
CN108074215B (zh) 2016-11-09 2020-04-14 京东方科技集团股份有限公司 图像升频系统及其训练方法、以及图像升频方法
KR20180057096A (ko) * 2016-11-21 2018-05-30 삼성전자주식회사 표정 인식과 트레이닝을 수행하는 방법 및 장치
CN108229508B (zh) * 2016-12-15 2022-01-04 富士通株式会社 用于训练图像处理装置的训练装置和训练方法
KR101854071B1 (ko) * 2017-01-13 2018-05-03 고려대학교 산학협력단 딥러닝을 사용하여 관심 부위 이미지를 생성하는 방법 및 장치
US10482639B2 (en) * 2017-02-21 2019-11-19 Adobe Inc. Deep high-resolution style synthesis
KR101947782B1 (ko) * 2017-02-22 2019-02-13 한국과학기술원 열화상 영상 기반의 거리 추정 장치 및 방법. 그리고 이를 위한 신경망 학습 방법
JP2018139071A (ja) * 2017-02-24 2018-09-06 株式会社リコー 生成モデル学習方法、生成モデル学習装置およびプログラム
KR102499396B1 (ko) * 2017-03-03 2023-02-13 삼성전자 주식회사 뉴럴 네트워크 장치 및 뉴럴 네트워크 장치의 동작 방법
RU2652722C1 (ru) * 2017-05-03 2018-04-28 Самсунг Электроникс Ко., Лтд. Обработка данных для сверхразрешения
CN107133601B (zh) 2017-05-13 2021-03-23 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN107154023B (zh) 2017-05-17 2019-11-05 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107369189A (zh) 2017-07-21 2017-11-21 成都信息工程大学 基于特征损失的医学图像超分辨率重建方法
CN107527044B (zh) 2017-09-18 2021-04-30 北京邮电大学 一种基于搜索的多张车牌清晰化方法及装置
WO2019061020A1 (zh) 2017-09-26 2019-04-04 深圳市大疆创新科技有限公司 图像生成方法、图像生成装置和机器可读存储介质
US10552944B2 (en) * 2017-10-13 2020-02-04 Adobe Inc. Image upscaling with controllable noise reduction using a neural network
CN108122197B (zh) 2017-10-27 2021-05-04 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法
CN107766860A (zh) 2017-10-31 2018-03-06 武汉大学 基于级联卷积神经网络的自然场景图像文本检测方法
CN107767343B (zh) 2017-11-09 2021-08-31 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN108154499B (zh) 2017-12-08 2021-10-08 东华大学 一种基于k-svd学习字典的机织物纹理瑕疵检测方法
CN108052940A (zh) 2017-12-17 2018-05-18 南京理工大学 基于深度学习的sar遥感图像水面目标检测方法
CN107977932B (zh) 2017-12-28 2021-04-23 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN108268870B (zh) 2018-01-29 2020-10-09 重庆师范大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108334848B (zh) 2018-02-06 2020-12-25 哈尔滨工业大学 一种基于生成对抗网络的微小人脸识别方法
CN108416428B (zh) 2018-02-28 2021-09-14 中国计量大学 一种基于卷积神经网络的机器人视觉定位方法
US11105942B2 (en) * 2018-03-27 2021-08-31 Schlumberger Technology Corporation Generative adversarial network seismic data processor
US10783622B2 (en) * 2018-04-25 2020-09-22 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
US11222415B2 (en) * 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
KR102184755B1 (ko) * 2018-05-31 2020-11-30 서울대학교 산학협력단 안면 특화 초 고화질 심층 신경망 학습 장치 및 방법
US11756160B2 (en) * 2018-07-27 2023-09-12 Washington University ML-based methods for pseudo-CT and HR MR image estimation
CN109360151B (zh) 2018-09-30 2021-03-05 京东方科技集团股份有限公司 图像处理方法及系统、分辨率提升方法、可读存储介质
CN109255390B (zh) * 2018-09-30 2021-01-29 京东方科技集团股份有限公司 训练图像的预处理方法及模块、鉴别器、可读存储介质
CN109345456B (zh) * 2018-09-30 2021-01-19 京东方科技集团股份有限公司 生成对抗网络训练方法、图像处理方法、设备及存储介质
CN109345455B (zh) * 2018-09-30 2021-01-26 京东方科技集团股份有限公司 图像鉴别方法、鉴别器和计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766067B2 (en) * 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
CN103903236B (zh) * 2014-03-10 2016-08-31 北京信息科技大学 人脸图像超分辨率重建的方法和装置
US9865036B1 (en) * 2015-02-05 2018-01-09 Pixelworks, Inc. Image super resolution via spare representation of multi-class sequential and joint dictionaries
CN105975968A (zh) * 2016-05-06 2016-09-28 西安理工大学 一种基于Caffe框架的深度学习车牌字符识别方法
RU2635883C1 (ru) * 2016-06-02 2017-11-16 Самсунг Электроникс Ко., Лтд. Способ и система обработки изображений для формирования изображений сверхвысокого разрешения
CN108596830A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种图像风格迁移模型训练方法以及图像风格迁移方法

Also Published As

Publication number Publication date
US20200285959A1 (en) 2020-09-10
EP3859655A4 (en) 2022-08-10
JP2022501662A (ja) 2022-01-06
US20210334642A1 (en) 2021-10-28
US20210342976A1 (en) 2021-11-04
EP3857503A4 (en) 2022-07-20
US20210365744A1 (en) 2021-11-25
US11615505B2 (en) 2023-03-28
BR112020022560A2 (pt) 2021-06-01
WO2020062957A1 (en) 2020-04-02
EP3857504A1 (en) 2021-08-04
KR20200073267A (ko) 2020-06-23
AU2019350918A1 (en) 2020-11-19
JP7463643B2 (ja) 2024-04-09
KR102661434B1 (ko) 2024-04-29
MX2020013580A (es) 2021-02-26
JP7415251B2 (ja) 2024-01-17
EP3857447A4 (en) 2022-06-29
JP7446997B2 (ja) 2024-03-11
US11449751B2 (en) 2022-09-20
WO2020062846A1 (en) 2020-04-02
JP2022501661A (ja) 2022-01-06
EP3859655A1 (en) 2021-08-04
KR102389173B1 (ko) 2022-04-21
AU2019350918B2 (en) 2021-10-07
EP3857503A1 (en) 2021-08-04
EP3857504A4 (en) 2022-08-10
WO2020062958A1 (en) 2020-04-02
JP2022501663A (ja) 2022-01-06
KR20210012009A (ko) 2021-02-02
US11361222B2 (en) 2022-06-14
WO2020063648A1 (zh) 2020-04-02
EP3857447A1 (en) 2021-08-04
US11348005B2 (en) 2022-05-31

Similar Documents

Publication Publication Date Title
RU2762144C1 (ru) Устройство и способ для обработки изображения и система для обучения нейроной сети
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
WO2018166438A1 (zh) 图像处理方法、装置及电子设备
JPWO2020062846A5 (ru)
CN110111347B (zh) 图像标志提取方法、装置及存储介质
CN108875623B (zh) 一种基于图像特征融合对比技术的人脸识别方法
WO2019204577A1 (en) System and method for multimedia analytic processing and display
WO2012109670A1 (en) Systems, methods, and media for detecting an anatomical object in a medical device image
CN114913338A (zh) 分割模型的训练方法及装置、图像识别方法及装置
Wang et al. A new method estimating linear gaussian filter kernel by image PRNU noise
CN106611417B (zh) 将视觉元素分类为前景或背景的方法及装置
Omarov et al. Machine learning based pattern recognition and classification framework development
CN106683044B (zh) 一种多通道光学探测系统的图像拼接方法、装置
CN111027573A (zh) 基于盲取证技术的图像真伪鉴别方法
Viacheslav et al. Low-level features for inpainting quality assessment
US8538142B2 (en) Face-detection processing methods, image processing devices, and articles of manufacture
CN112085683A (zh) 一种显著性检测中的深度图可信度检测方法
CN111179226A (zh) 视野图的识别方法、装置及计算机存储介质
CN112395929A (zh) 一种基于红外图像lbp直方图特征的人脸活体检测方法
Hema et al. THE IDENTIFICATION OF PILL USING FEATURE EXTRACTION IN IMAGE MINING.
Choksi et al. Text Extraction from Natural Scene Images using Prewitt Edge Detection Method
Kim et al. Improving Object Detection Performance Through Selective Low-Light Enhancement
Ali et al. Spatial Stimuli Gradient Based Multifocus Image Fusion Using Multiple Sized Kernels
Cai Research on the design of automatic image processing function for intelligent face management system
Nandayapa et al. Influence of Image Pre-processing to Improve the Accuracy in a Convolutional Neural Network