RU2694021C1 - Способ и устройство идентификации частей фрагментированного материала в пределах изображения - Google Patents

Способ и устройство идентификации частей фрагментированного материала в пределах изображения Download PDF

Info

Publication number
RU2694021C1
RU2694021C1 RU2018125977A RU2018125977A RU2694021C1 RU 2694021 C1 RU2694021 C1 RU 2694021C1 RU 2018125977 A RU2018125977 A RU 2018125977A RU 2018125977 A RU2018125977 A RU 2018125977A RU 2694021 C1 RU2694021 C1 RU 2694021C1
Authority
RU
Russia
Prior art keywords
pixel
fragmented material
pixels
neural network
output
Prior art date
Application number
RU2018125977A
Other languages
English (en)
Inventor
Шахрам ТАФАЗОЛИ БИЛАНДИ
Махди РАМЕЗАНИ
Ян Ло БЕЛЛ
Мохаммад Самети
Пуранг АБОЛМАЕСУМИ
Сэман НУРАНИАН
Original Assignee
Моушен Метрикс Интернешэнл Корп.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Моушен Метрикс Интернешэнл Корп. filed Critical Моушен Метрикс Интернешэнл Корп.
Application granted granted Critical
Publication of RU2694021C1 publication Critical patent/RU2694021C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

Изобретение относится к обработке изображений. Технический результат заключается в обеспечении идентификации частей фрагментированного материала в пределах изображения. Такой результат достигается тем, что способ включает прием пиксельных данных, соответствующих входному множеству пикселей, представляющих изображение фрагментированного материала, обработку пиксельных данных с использованием сверточной нейронной сети, имеющей множество слоев, и получение выходного представления классификации пикселей, указывающее, находятся ли пиксели во входном множестве пикселей в одном из следующих положений: на краю части фрагментированного материала, изнутри от края и в промежутках между частями фрагментированного материала. Сверточная нейронная сеть содержит по меньшей мере один сверточный слой, сконфигурированный на создание свертки входного множества пикселей, и предварительно обучена с использованием множества обучающих изображений, содержащих ранее идентифицированные части фрагментированного материала. Способ дополнительно включает обработку выходного представления классификации пикселей с целью сопоставления идентифицированных краев с частями фрагментированного материала. 2 н. и 26 з.п. ф-лы, 19 ил.

Description

Предпосылки создания изобретения
Область техники, к которой относится изобретение
Настоящее изобретение относится в целом к обработке изображений, более точно, к обработке изображений с целью идентификации частей фрагментированного материала в пределах изображения.
Описание уровня техники
Для идентификации частей фрагментированного материала в пределах изображения фрагментированного материала могут применяться методы обработки изображений. Захватывается изображение или изображения фрагментированного материала, такого как горная порода, фрагментированная путем подрыва или другими способами выемки. С целью классификации частей фрагментированного материала могут применяться различные методы сегментации изображения. Поскольку фрагментированные материалы являются неоднородными по своей природе, задача их классификации является более сложной по сравнению с классификацией других объектов, имеющих общие признаки, например, в случае распознавания лиц.
Сохраняется потребность в усовершенствованных способах и устройстве идентификации частей фрагментированного материала.
Краткое изложение сущности изобретения
В соответствии с одной из раскрытых особенностей предложен способ обработки изображений фрагментированного материала с целью идентификации частей фрагментированного материала в пределах изображения. Способ предусматривает прием пиксельных данных, соответствующих входному множеству пикселей, представляющих изображение фрагментированного материала. Способ также предусматривает обработку пиксельных данных с использованием сверточной нейронной сети, имеющей множество слоев, и создание выходного представления классификации пикселей, указывающего, находятся ли пиксели из входного множества пикселей в одном из следующих положений: на краю части фрагментированного материала, изнутри от края части фрагментированного материала и в промежутках между частями фрагментированного материала. Сверточная нейронная сеть содержит, по меньшей мере, один сверточный слой, сконфигурированный на создание свертки входного множества пикселей, и предварительно обучена с использованием множества обучающих изображений, содержащих ранее идентифицированные части фрагментированного материала. Способ дополнительно предусматривает обработку выходного представления классификации пикселей с целью сопоставления идентифицированных краев с частями фрагментированного материала.
Создание свертки может предусматривать создание свертки с использованием разреженного ядра, элементы которого разделены строками и столбцами нулевых значений.
Создание свертки может предусматривать создание свертки с использованием разреженного ядра, элементы которого разделены множеством строк и множеством столбцов нулевых значений.
Обработка пиксельных данных с использованием сверточной нейронной сети может предусматривать обработку пиксельных данных с использованием первой сверточной нейронной сети и с использованием выходного представления классификации пикселей в качестве входа для второй сверточной нейронной сети, способной создавать уточненное выходное представление классификации пикселей.
Множество обучающих изображений включает ранее идентифицированные части фрагментированного материала, каждая из которых ограничена краем, областям части фрагментированного материала, находящимся ближе к краю, могут присваиваться меньшие величины показателя достоверности, чем областям части фрагментированного материала на удалении от края, при этом величины показателя достоверности являются показателем уровня достоверности, соответствующего ранее идентифицированным частям фрагментированного материала на обучающем изображении.
Прием пиксельных данных может предусматривать прием множества наборов пиксельных данных, каждый из которых содержит данные, соответствующие, по меньшей мере, одному из следующего: интенсивности оптического излучения, интенсивности теплового излучения, интенсивности, соответствующей различным основным цветам, интенсивности при множестве различных условий освещения, интенсивности для каждого из множества диапазонов электромагнитных волн, глубине пикселей и расстоянию между каждым пикселем и ближайшим краем.
Способ может предусматривать обработку, по меньшей мере, одного из множества наборов пиксельных данных с целью создания суперпиксельного представления набора пиксельных данных, в котором сгруппированы множества пикселей с целью представления частей фрагментированного материала с использованием уменьшенного числа суперпикселей относительно числа пикселей в наборе пиксельных данных.
Создание свертки может предусматривать создание множества сверток входного множества пикселей.
Прием информации о глубине пикселей может предусматривать, по меньшей мере, одно из следующего: определение диспаратности пикселей, относящихся к изображениям, полученным датчиком стереоскопических изображений, определение диспаратности пикселей, относящихся к последовательным изображениям, полученным датчиком изображений, прием данных времени пролета пикселей во входном множестве пикселей, определение информации о глубине на основании деформации картины структурированного света, проецированного на фрагментированный материал, прием трехмерного облака точек, созданного лазерным датчиком, и обработку облака точек с целью определения глубины пикселей во входном множестве пикселей.
Способ может предусматривать предварительную обработку информации о глубине пикселей до создания свертки.
Способ может предусматривать использование информации о глубине пикселей с целью расчета физического размера частей фрагментированного материала.
Способ может предусматривать определение распределения по размерам на основании расчетного размера частей фрагментированного материала.
Способ может предусматривать преобразование распределения по размерам в соответствующий результат ситового анализа.
Обработка пиксельных данных с использованием сверточной нейронной сети может дополнительно предусматривать обработку выходного представления классификации пикселей в дополнительном слое нейронной сети с целью генерирования выходного распределения по размерам, при этом нейронная сеть предварительно обучена с использованием множества обучающих изображений фрагментированного материала с указанием размеров частей фрагментированного материала.
Сверточная нейронная сеть может содержать слой подвыборки, сконфигурированный на обработку свертки с целью обеспечения множества выходных данных подвыборки, каждые из которых основаны на значениях, соответствующих множеству пикселей в свертке.
В слое подвыборки может быть реализован один из следующих процессов: выбор максимального значения из соседних элементов, выбор среднего значения из соседних элементов и выбор стохастического значения из соседних элементов.
Сверточная нейронная сеть может содержать, по меньшей мере, один слой повышающей дискретизации, следующий за слоем подвыборки и способный копировать выходные данные с целью создания классификации пикселей с повышенной частотой дискретизации, а способ может дополнительно предусматривать генерирование масштабированной копии свертки входного множества пикселей, размер которой соответствует размеру классификации пикселей с повышенной частотой дискретизации, и объединение классификации пикселей с повышенной частотой дискретизации с масштабированной копией свертки с целью создания классификации пикселей, имеющей повышенное пространственное разрешение.
Обработка выходного представления классификации пикселей с целью сопоставления идентифицированных краев с частями фрагментированного материала может предусматривать применение морфологического алгоритма к выходному представлению классификации пикселей с целью смыкания краевых участков, окружающих части фрагментированного материала.
Способ может предусматривать применение взвешивания к выходному представлению классификации пикселей с использованием различных весовых коэффициентов, присвоенных пикселям, отнесенным к пикселям на краях части фрагментированного материала, пикселям, отнесенным к пикселям изнутри от края части фрагментированного материала, и пикселям, отнесенным к пикселям в промежутке между частями фрагментированного материала.
Применение морфологического алгоритма к выходному представлению классификации пикселей может предусматривать реализацию, по меньшей мере, одного из следующих алгоритмов: алгоритма расширения, алгоритма сужения, алгоритма сегментации по водоразделам, алгоритма размыкания и алгоритма смыкания.
Способ может предусматривать идентификацию промежутков между частями фрагментированного материала как содержащих одно из следующего: мелко фрагментированный материал и пустоту.
Способ может предусматривать передискретизацию пиксельных данных, соответствующих входному множеству пикселей, с целью получения, по меньшей мере, одного передискретизированного входного множества пикселей, при этом обработка с использованием сверточной нейронной сети может предусматривать обработку одного или нескольких передискретизированных вводимых множеств пикселей, а сверточная нейронная сеть предварительно обучена с использованием соответствующим образом передискретизированного множества обучающих изображений фрагментированного материала, содержащих ранее идентифицированные части фрагментированного материала.
Передискретизация пиксельных данных может предусматривать, по меньшей мере, одно из следующего: повышающую дискретизацию пиксельных данных и понижающую дискретизацию пиксельных данных.
Выходное представление классификации пикселей может генерироваться путем осуществления свертки на участках пикселей, окружающих классифицируемый пиксель, при этом участок пикселей имеет размер, выбранный в соответствии с масштабом фрагментированного материала, окружающего классифицируемый пиксель, а масштаб определяется с использованием одного из следующего: вводимых пользователем данных, информации о глубине пикселей, сети, обученной на основании соответствующих пиксельных данных и данных глубины пикселей, и выходного представления классификации пикселей с использованием начального выбора размера участка.
В соответствии с другой раскрытой особенностью предложено устройство для осуществления анализа фрагментации. Устройство содержит датчик изображений, способный захватывать изображение фрагментированного материала, содержащего части фрагментированного материала, и генерировать пиксельные данные, соответствующие входному множеству пикселей, представляющих изображение. Устройство также содержит схему обработки, функционально сконфигурированную на обработку пиксельных данных с использованием сверточной нейронной сети, имеющей множество слоев, и создание выходного представления классификации пикселей, указывающего, находятся ли пиксели во входном множестве пикселей в одном из следующих положений: на краю части фрагментированного материала, изнутри от края части фрагментированного материала и в промежутке между частями фрагментированного материала. Сверточная нейронная сеть содержит, по меньшей мере, один сверточный слой, сконфигурированный на создание конволюции входного множества пикселей, при этом сверточная нейронная сеть предварительно обучена с использованием множества обучающих изображений, содержащих ранее идентифицированные части фрагментированного материала. Схема обработки дополнительно функционально сконфигурирована на обработку выходного представления классификации пикселей с целью сопоставления идентифицированных краев с частями фрагментированного материала.
Схема обработки может содержать графический процессор (ГП) и соответствующую память графических данных, а сверточная нейронная сеть может быть реализована, по меньшей мере, частично с использованием функций ГП, при этом в памяти графических данных могут храниться данные, генерированные путем операций, связанных со сверточной нейронной сетью.
Датчик изображений может находиться в портативном анализаторе фрагментации, содержащем схему обработки, способную обеспечивать результаты анализа фрагментации, или в визуализаторе фрагментации, поддерживающем связь с дистанционной схемой обработки, способной обеспечивать результаты анализа фрагментации.
Датчик изображений может служить для захвата изображения фрагментированного материала, доставляемого одним из следующего: землеройным орудием тяжелого оборудования, способного погружать фрагментированный материал, кузовом грузового автомобиля и конвейерной лентой.
Другие особенности и признаки станут ясны специалистам в данной области техники после ознакомления со следующим далее описанием конкретных раскрытых вариантов осуществления в сочетании с сопровождающими чертежами.
Краткое описание чертежей
На чертежах, иллюстрирующих раскрытые варианты осуществления:
на фиг. 1 показан вид в перспективе датчика изображений для захвата изображения фрагментированного материала;
на фиг. 2 показана схема обработки согласно одному из раскрытых вариантов осуществления для обработки пиксельных данных изображения, захваченного датчиком изображений, показанным на фиг. 1;
на фиг. 3 показана блок-схема, иллюстрирующая шаги программы, предписывающей показанной на фиг. 2 схеме обработки идентифицировать части фрагментированного материала;
на фиг. 4 показан вид в перспективе одного из альтернативных вариантов осуществления датчика изображений для захвата изображения фрагментированного материала;
на фиг. 5 показана блок-схема, иллюстрирующая шаги программы, предписывающей показанной на фиг. 2 схеме обработки принимать наборы пиксельных данных от датчика изображений, показанного на фиг. 4;
на фиг. 6 схематически показана нейронная сеть, реализованная в схеме обработки, показанной на фиг. 2;
на фиг. 7 показана часть изображения фрагментированного материала;
на фиг. 8 показана дополнительная часть изображения фрагментированного материала, включая часть, показанную на фиг. 7;
на фиг. 9 представлено изображение выходного представления классификации пикселей;
на фиг. 10 показано маркированное обучающее изображение, используемое для обучения сверточной нейронной сети, показанной на фиг. 6;
на фиг. 11 показана блок-схема, иллюстрирующая шаги программы, предписывающей показанной на фиг. 2 схеме обработки выполнять обработку выходного представления классификации пикселей;
на фиг. 12 схематически показан один из вариантов осуществления нейронной сети, реализованной в схеме обработки, показанной на фиг. 2;
на фиг. 13 показан один из примеров представления входного изображения фрагментированных материалов, обработанного с использованием алгоритма суперпиксельного представления;
на фиг. 14 показано маркированное обучающее изображение, используемое для обучения сверточной нейронной сети, показанной на фиг. 12;
на фиг. 15 представлен один из альтернативных вариантов осуществления маркированного обучающего изображения, используемого для обучения сверточных нейронных сетей, показанных на фиг.6 или 12;
на фиг. 16 схематически показан другой вариант осуществления нейронной сети, реализованной в схеме обработки, показанной на фиг. 2;
на фиг. 17 показана фотография карьерного экскаватора, имеющего датчик изображений согласно одному из раскрытых вариантов осуществления;
на фиг. 18 показана фотография погрузчика, имеющего датчик изображений согласно другому раскрытому варианту осуществления; и
на фиг. 19 показана фотография конвейерной ленты, имеющей датчик изображений согласно другому раскрытому варианту осуществления.
Подробное описание
На фиг.1 показан в целом обозначенный позицией 102 датчик изображений, способный захватывать изображение фрагментированного материала 100. Фрагментированный материал 100 содержит части 104 фрагментированного материала и области мелко фрагментированного материала 106 и/или пустоты 108 в промежутках между частями фрагментированного материала. Датчик 102 изображений генерирует пиксельные данные, соответствующие входному множеству пикселей, представляющих захваченное изображение фрагментированного материала 100 в поле 114 зрения датчика изображений.
На фиг. 2 показана в целом обозначенная позицией 200 схема обработки пиксельных данных согласно одному из раскрытых вариантов осуществления. Схема 200 обработки содержит микропроцессор 202, память 204 для хранения программ, память 206 для хранения переменной информации и порт 208 ввода-вывода, при этом все они поддерживают связь с микропроцессором 202. В этом варианте осуществления схема 200 обработки также содержит графический процессор (ГП) 210, имеющий соответствующую память 212 для хранения пиксельных данных. ГП способен эффективно хранить пиксельные данные и выполнять функции обработки изображений на пиксельных данных под управлением микропроцессора 202.
В памяти 204 для хранения программ, которая может быть реализована как запоминающее устройство с произвольной выборкой (ЗУПВ), флэш-память и/или накопитель на жестком диске (НЖМД) или их сочетание, хранятся управляющие программы, предписывающие микропроцессору 202 выполнять различные функции. Память программ содержит первый блок управляющих программ 220, предписывающих микропроцессору 202 выполнять функции операционной системы, и блок программ 222 для выполнения функций фрагментации.
В памяти 206 для хранения переменной информации имеется множество ячеек, включая ячейку 230 для хранения значений ядра свертки и ячейку 232 для хранения обучающих изображений. Память 206 для хранения переменной информации может быть реализована, например, как запоминающее устройство с произвольной выборкой или флэш-память.
Порт 208 ввода-вывода содержит беспроводный интерфейс 240 для поддержания беспроводной связи посредством сети Wi-Fi или сотовой сети передачи данных. Порт 208 ввода-вывода также содержит интерфейс 242, имеющий вход 244 для приема пиксельных данных от датчика 102 изображений. Схема 200 обработки также содержит дисплей 260, а ГП 210 содержит выход 262 для вывода сигналов управления дисплеем. В проиллюстрированном варианте осуществления дисплей 260 представляет собой сенсорный дисплей и содержит интерфейсный порт 264 USB, а порт 208 ввода-вывода дополнительно содержит интерфейс 246 USB, имеющий порт 248 USB для сопряжения с дисплеем 260 с целью приема вводимых пользователем данных посредством сенсорного экрана. В проиллюстрированном варианте осуществления порт 208 ввода-вывода также содержит связной интерфейс 250 для поддержания связи посредством локальной вычислительной сети (ЛВС) или глобальной вычислительной сети (ГВС), такой как Интернет. Связным интерфейсом 250 может являться, например, интерфейс сети Ethernet.
На фиг. 3 показана в целом обозначенная позицией 300 блок-схема, иллюстрирующая шаги программы, предписывающей схеме 200 обработки идентифицировать части фрагментированного материала среди принятых пиксельных данных. Шаги в целом представляют программы, которые могут считываться из блока программ 222 в памяти 204 для хранения программ, чтобы предписывать микропроцессору 202 выполнение различных функций, относящихся к идентификации частей фрагментированного материала. Программа в абсолютных адресах для реализации каждого шага может быть записана на любом применимом языке программирования, таком как, например, С, С++, С#, Java и/или язык ассемблера.
На шаге 302 микропроцессору предписывается 202 принять от датчика 102 изображений пиксельные данные, представляющие захваченное изображение в поле 114 зрения датчика изображений. В проиллюстрированном на фиг. 2 варианте осуществления датчик 102 изображений связан интерфейсом 242 порта 208 ввода-вывода проводным соединением, таким как USB или соединение стандарта IEEE 1394 для приема пиксельных данных. В других вариантах осуществления датчик 102 изображений может находиться на удалении от схемы 200 обработки, и пиксельные данные могут передаваться схеме 200 обработки посредством беспроводного интерфейса 240 или по сети 256 связи посредством связного интерфейса 250.
На шаге 304 микропроцессору 202 предписывается выбрать первый пиксель для обработки из множества пикселей. Затем на шаге 306 микропроцессору предписывается 202 создать выходное представление классификации пикселей для выбранного пикселя. Как показано на фиг. 1, выходное представление классификации пикселей указывает, находится ли пиксель на краю 110 части фрагментированного материала, изнутри от края (т.е. в положении 112 части 104 фрагментированного материала) или в промежутке между частями фрагментированного материала. Пространства между частями фрагментированного материала обычно представляют собой пустоты 108 или заполнены мелко фрагментированным материалом (мелкими частицами) 106. В одном из вариантов осуществления выходное представление классификации пикселей может отображаться в пересчете на вероятность для каждой из возможных классификаций, например, вероятность ре того, что пиксель находится на краю, вероятность pƒ того, что пиксель находится в части фрагментированного материала изнутри от края, и вероятность pt того, что пиксель находится в промежуточном пространстве между фрагментами, при этом pе+pƒ+Pi=1.
Может быть предусмотрена обработка выходного представления классификации пикселей, создаваемых сверточной нейронной сетью, несколькими слоями сети. Например, сверточная нейронная сеть может содержать сверточный слой, который свертывает входную величину каждого пикселя с помощью фильтра или ядра. Ядро отображает входные величины множества пикселей, окружающих выбранный пиксель, с целью создания выходных данных сверточного слоя. Также может быть предусмотрен слой подвыборки для обработки выходных данных сверточного слоя с целью снижения чувствительности выходных данных к небольшим изменениям во входных величин путем сжатия объема информации в выходных данных сверточного слоя. В некоторых вариантах осуществления может быть предусмотрен дополнительный полносвязный слой, который связывает все выходные представления слоя подвыборки с выходным слоем классификации пикселей, который обеспечивает выходные значения ре, pƒ, и pi, классификации пикселей.
В прошлом для классификации каждого пикселя путем обеспечения локальной области или участка вокруг пикселя в качестве входа использовались окна передачи переменной длительности. Тем не менее, участки пикселей имеют большую зону перекрытия, что приводит к избыточным вычислениям и снижению скорости обработки.
Использование сверточной нейронной сети со слоями подвыборки и пространственно-регулярно разреженными ядрами исключает множество избыточных вычислений. Во время обучения сети может достигаться повышение скорости обработки до 1500 раз, результатом чего является более тщательное обучение. Улучшенное обучение также обеспечивает более эффективное и избирательное обучение сети фрагментации для использования в полевых условиях при анализе реальных фрагментированных материалов, поскольку сеть способна более эффективно обрабатывать больше вводимой информации.
Выходное представление классификации пикселей, созданное на шаге 306, обеспечивают вероятность того, что пиксель находится на краю части фрагментированного материала, изнутри от края части фрагментированного материала или между частями фрагментированного материала. Слои сверточной нейронной сети имеют множество нейронов, каждый из которых выполняет определенную функцию с принятыми входными данными и создает выходные данные, взвешенные с помощью весовых коэффициентов wij. Весовые коэффициенты wij определяются во время обучения нейронной сети с использованием множества обучающих изображений. Обучающими изображениями обычно являются реальные изображения фрагментированных материалов, которые были оценены с целью идентификации частей фрагментированного материала. В некоторых вариантах осуществления оценка вручную осуществляется оператором, который оценивает изображение и маркирует части фрагментированного материала в пределах изображения. Затем изображение сохраняется вместе с информацией, указывающей, что каждый пиксель находится на краю части фрагментированного материала, изнутри от края части фрагментированный материал или между частями фрагментированного материала. Из множества обучающих изображений может компоноваться обучающая последовательность. В целях проверки достоверности могут быть использоваться дополнительные маркированные изображения для определения эффективности сверточной нейронной сети и обеспечения обратной связи с целью оптимальной конфигурации сети.
Затем способ продолжается на шаге 308, который предписывает микропроцессору 202 определить наличие дополнительных пикселей, которые требуют обработки, и в этом случае на шаге 310 микропроцессору предписывается 202 выбрать следующий пиксель. В некоторых вариантах осуществления пиксели изображения последовательно обрабатываются по строкам и по столбцам с длиной шага в 1 пиксель с тем, чтобы следующим пикселем являлся следующий пиксель в той же строке или чтобы в конце строки находился первый пиксель в следующей строке. В других вариантах осуществления длина шага может составлять 2 пикселя с тем, чтобы для обработки мог выбираться каждый второй пиксель в строке и, возможно, пиксели в каждой второй строке. Также возможны другие длины шага свыше 2 пикселей, которые могут оцениваться во время обучения сверточной нейронной сети с использованием критериев достоверности с целью определения наиболее эффективной длины шага. Так, поэлементная обработка может осуществляться на основании всех пикселей изображения или подмножества пикселей изображения. Затем способ 300 продолжается на шаге 306.
Если на шаге 308 установлено отсутствие дополнительных пикселей, которые требуют обработки, микропроцессор переходит к шагу 312. На шаге 312 микропроцессору предписывается 202 выполнить дополнительную обработку выходного представления классификации пикселей. Выходное представление классификации пикселей обеспечивают поэлементную классификацию пикселей, т.е. устанавливают число пикселей, находящихся на краях частей фрагментированного материала. На шаге 312 дополнительно выполняются операции дальнейшей обработки изображений, которые уточняют выходные данные сверточной нейронной сети с целью установления соответствия групп пикселей на краях конкретным частям фрагментированного материала. Например, могут применяться различные морфологические алгоритмы, такие как расширение, сужение, размыкание, смыкание и/или сегментация по водоразделам. Таким образом, на шаге 312 уточняются выходные данные и идентифицируются части фрагментированного материала в пределах изображения. На дисплее 260 может отображаться индикация в виде цветной карты или в форме результата ситового анализа, при этом с целью распределения материала среди множества бункеров, каждый из которых соответствует определенному размеру ячеек сита, используется расчетная величина проходного диаметра ячеек сита для частей фрагментированного материала.
В одном из вариантов осуществления пиксельные данные, принятые на шаге 302, содержат множество наборов пиксельных данных, захваченных при различающихся условиях и/или с использованием различных параметров захвата изображений. Например, датчик 102 изображений может быть способен воспринимать интенсивность оптического излучения в видимом диапазоне или интенсивность теплового излучения в инфракрасном диапазоне. В оптическом диапазоне датчик 102 изображений может захватывать полноцветное изображение, образованное несколькими основными цветами (например, красным, зеленым и синим основными цветами). Могут избирательно захватываться изображения в различных других оптических диапазонах с использованием специально приспособленных датчиков изображений. Дополнительно или в качестве альтернативы, датчик 102 изображений может захватывать изображения при различных световых режимах, обеспечиваемых естественным освещением или одним или несколькими источниками света.
В других вариантах осуществления датчик 102 изображений может содержать трехкоординатный датчик для приема множества трехкоординатных положений точек на поверхностях частей 104 фрагментированного материала, а пиксельные данные могут содержать информацию о глубине. Как показано на фиг. 4, в одном из вариантов осуществления датчик 102 изображений может содержать трехкоординатный датчик для приема множества трехкоординатных положений точек на поверхностях частей 104 фрагментированного материала в системе 404 координат. В проиллюстрированном варианте осуществления датчик 102 изображений содержит пару датчиков 400 и 402, разнесенных друг от друга по оси х и совместно действующих как трехкоординатный датчик, обеспечивая двухмерные изображения частей 104 фрагментированного материала. Двухмерные изображения, создаваемые соответствующими датчиками 400 и 402, могут обрабатываться с целью обеспечения информации о глубине для определения диспаратности между общими точками на двухмерных изображениях фрагментированного материала 100. В других вариантах осуществления, для создания информации о глубине могут использоваться последовательные двухмерные изображения, захватываемые одним датчиком в различных главных точках.
Одним из примеров трехкоординатного датчика изображений является стереокамера Bumblebee2 производства компании Point Grey Research Inc. (Ричмонд, Британская Колумбия, Канада) которая имеет два 1/3-дюймовых датчика изображений на приборах с зарядовой связью (т.е. датчики 400 и 402 изображений), способных создавать изображения с разрешающей способностью 1024×768 пикселей.
В других вариантах осуществления датчик 102 изображений может содержать диапазонную камеру, такую как камера времени пролета, которая обеспечивает данные трехкоординатных положений точек. В качестве альтернативы, для обеспечения данных трехкоординатных положений точек может использоваться диапазонный лазер, или на фрагментированный материал 100 может проецироваться картина структурированного света и использоваться для получения информации о глубине на основании деформации структурированного света.
На фиг. 5 более подробно показан шаг 302 проиллюстрированного на фиг. 3 способа 300 применительно к вариантам осуществления, в которых принимается несколько наборов пиксельных данных. Способ начинается с шага 500, на котором микропроцессору предписывается 202 принять первый набор пиксельных данных. Затем на шаге 502 микропроцессору необязательно предписывается 202 побудить ГП 210 к выполнению предварительной обработки набора пиксельных данных в зависимости от характера набора пиксельных данных. Например, когда набором пиксельных данных является карта глубин, полученная с использованием трехкоординатного датчика, пиксельные данные могут обрабатываться с использованием улучшающего контрастность алгоритма, такого как контрастно-ограниченное адаптивное выравнивание гистограммы (от английского - contrast limited adaptive histogram equalization или CLAHE). К картам глубин или другим наборам пиксельных данных необязательно могут применяться различные другие алгоритмы предварительной обработки, такие как алгоритм нормализации. В одном из вариантов осуществления может генерироваться набор пиксельных данных со значениями пикселей, которые представляют расстояние между каждым пикселем и ближайшим к пикселю краем. Пиксели на большем удалении от краев части фрагментированного материала с большей вероятностью находятся во фрагментированной части и могут обеспечивать полезные входные данные для конфигурирования сети.
Затем на шаге 504 микропроцессору 202 предписывается побудить ГП 210 к сохранению набора пиксельных данных в памяти 212 пикселей. В проиллюстрированном на фиг. 2 варианте осуществления порт 208 ввода-вывода принимает пиксельные данные, которые затем необязательно предварительно обрабатываются ГП и записываются непосредственно в память 212 пикселей. Затем на шаге 506 микропроцессору 202 предписывается 202 определить, должны ли еще быть приняты дополнительные наборы данных, и в этом случае микропроцессору предписывается вернуться к шагу 500. Если на шаге 506 приняты все наборы пиксельных данных, выполнение способа продолжается на шаге 304 способа 300, проиллюстрированного на фиг. 3. Обычно число наборов пиксельных данных может выбираться в зависимости от их влияния на выходное представление классификации пикселей и производительности схемы 200 обработки и ГП 210 при обработке пиксельных данных. В одном из вариантов осуществления установлено, что наборы пиксельных данных для каждого основного цвета (красный, зеленый и синий) и карта глубин обеспечивают достаточно чувствительные выходные представления классификации пикселей.
Реализация шагов 304-310 способа 300 дополнительно описана далее со ссылкой на фиг. 6, на которой нейронная сеть схематически обозначена позицией 600. Как показано на фиг. 6, наборы входных пиксельных данных представлены прямоугольниками 602, 604, 606, и 608, при этом каждый из них содержит множество пикселей 610. Наборы 602, 604 и 606 пиксельных данных соответствуют трем основным цветам, т.е. красному, зеленому и синему, при этом каждый пиксель имеет значение, отображающее интенсивность соответствующего цвета в местоположении пикселя. Набором 608 пиксельных данных являются входные данные глубины, при этом каждый пиксель имеет значение, отображающее глубину пикселя по оси z, обозначенной позицией 404 на фиг. 1. В других вариантах осуществления могут быть предусмотрены дополнительные наборы пиксельных, как описано выше. Применительно к нейронной сети каждый пиксель 610 в наборах 602-608 входных пиксельных данных действует как входной нейрон в нейронной сети 600. В одном из вариантов осуществления информации о глубине используется, чтобы определять трехмерные координаты на частях фрагментированного материала с целью определения физического размера фрагментов. Затем размер фрагментов может использоваться для получения результата ситового анализа, как описано выше.
Нейронная сеть 600 также содержит сверточный слой 612, имеющий множество нейронов 614. В проиллюстрированном варианте осуществления пиксель 630 в каждом из наборов 602-608 входных пиксельных данных должен быть классифицирован (т.е. как краевой, внутренний или промежуточный пиксель), при этом классификация производится на основе участка пикселей 632. Хотя в проиллюстрированном варианте осуществления участок имеет размер 11×11 пикселей, его размер может выбираться в соответствии с размерами признаков во входных пиксельных данных. В некоторых вариантах осуществления участок и его размер могут выбираться в соответствии с масштабом фрагментированного материала, окружающего пиксель. Например, при анализе фрагментации реального фрагментированного материала размер участка 632 может выбираться на основе вводимых пользователем данных или информации о глубине пикселей. В качестве альтернативы, размер участка 632 может быть основан на выходном представлении классификации пикселей с использованием расчета исходного размера участка 632. В одном из вариантов осуществления для участка выбирается исходный размер 40x40 пикселей, при этом он может увеличиваться до 80×80 пикселей, когда области изображения имеют вероятность плавных переходов цвета, отображающие более крупные фрагменты. Размер участка также может уменьшаться в случае небольших фрагментов (например, до около 20x20 пикселей).
Каждый нейрон 614 в сверточном слое 612 нейронной сети 600 связан с подмножеством входных нейронов в наборах 602-608 входных пиксельных данных, ограничивая ядро 616 свертки. Ядро 616 свертки в этом варианте осуществления имеет размер 3×3 пикселя и набор из 9 весовых коэффициентов 618, 620, 622 и 624 для каждого набора входных пиксельных данных. Ядро 616 находится по центру последовательных пикселей на участке 632 наборов 602-608 входных пиксельных данных, фактически связывающих соответствующие нейроны 614 в сверточном слое 612 с соответствующими подмножествами входных пикселей. В случае, например, пикселя 630 в наборе 602 входных пиксельных данных набор весовых коэффициентов 618 ядра 616 не учитывает участок 632, и весовые коэффициенты применяются к значениям пикселей с целью получения выходных данных для нейрона в сверточном слое 612, который соответствует входному пикселю 630. Ядро 616 свертки аналогичным образом связывает и создает выходные данные для других соответствующих нейронов 614 в сверточном слое 612. В этом варианте осуществления ядро 616 свертки применяет одинаковые весовые коэффициенты к каждому подмножеству входных пикселей и, соответственно, станет воспринимать одни и те же признаки во входных пикселях после последующего определения весовых коэффициентов во время обучения нейронной сети 600.
В одном из вариантов осуществления обработка пиксель за пикселем может начинаться с шагом 1 или больше. Обычно шаг может выбираться путем проверки достоверности выходного представления классификации пикселей и выбора шага на основании компромисса между временем обработки и получаемой эффективностью анализа фрагментации. Преимуществом одинаковых весовых коэффициентов для ядра 616 свертки является то, что последовательные участки 632 имеют большую зону перекрытия, и результаты сверки могут сохраняться и повторно использоваться для каждого последовательного участка, что тем самым значительно уменьшает количество требуемых вычислений. За счет этого значительно уменьшается время обработки при обучении и впоследствии при оценке реальной фрагментации с использованием обученной сети 600.
В других вариантах осуществления для выполнения свертки может использоваться разреженное ядро. Разреженное ядро конструируется путем помещения строк и столбцов нулевых значений в ядро 616 свертки. Разреженное ядро может иметь единственную строку и столбец нулевых значений между каждым элементом или множество строк и столбцов нулевых значений между элементами. Разреженное ядро имеет преимущества по сравнению обработкой с длиной шага более 1, в особенности, когда обработка выполняется ГП 210, поскольку операции по-прежнему выполняются с последовательными соседними пикселями в наборах входных пиксельных данных. Обработка посредством ГП является высокоэффективной в таких условиях, а обработка шагом более 1 требует пропуска входных пикселей, что значительно снижает эффективность применение обрабатывающей способности ГП.
На фиг. 7 показан более подробно участок изображения фрагментированного материала, обозначенный позицией 700. Прямоугольником 704 на фиг.7 обозначено ядро свертки на центральном пикселе 702. Таким образом, ядро свертки действует как фильтр, который устанавливает выходные данные соответствующего нейрона в сверточном слое 612 на основании центрального пикселя 702 и пикселей вокруг центрального пикселя, которые находятся внутри ядра. В этом случае прямоугольник 704 перекрывает участок потенциального края 706 части фрагментированного материала, а также участки вокруг края, который может находиться в части фрагментированного материала или в промежутке между частями фрагментированного материала.
Как показано на фиг. 6, нейронная сеть 600 также имеет слой 640 подвыборки, содержащий множество нейронов 642 подвыборки. В слое подвыборки объединены выходные данные сверточного слоя 612 с целью сжатия информации и снижения чувствительности нейронной сети 600 к изменениям и искажениям входных величин. В одном из вариантов осуществления применяется процесс выбора максимального значения из соседних элементов путем обнаружения максимального выходного значения в группе выходных данных сверточного слоя 612 и установления максимального выходного значения для выходных данных соответствующего нейрона 642 в слое 640 подвыборки. Например, для выходных данных 644 слоя 640 подвыборки может устанавливаться максимальное выходное значение четырех выходных нейронов 646 сверточного слоя 612. В качестве альтернативы, могут быть реализованы другие методы подвыборки, такие как выбор среднего значения из соседних элементов, когда усредняются выходные данные сверточного слоя 612 с целью получения выходных данных слоя 640 подвыборки. В других вариантах осуществления может применяться выбор стохастического значения из соседних элементов, когда из группы выходных данных сверточного слоя 612 выбираются произвольные выходные данные, чтобы получить выходные данные слоя 640 подвыборки.
Нейронная сеть 600 дополнительно имеет выходной слой 650, который содержит нейрон 652, создающий вероятность ре того, что пиксель находится на краю, нейрон 654, создающий вероятность рƒ того, что пиксель находится в части фрагментированного материала изнутри от края, и нейрон 656, создающий вероятность pt того, что пиксель находится в промежуточном пространстве между фрагментами. Обычно промежуточное пространство между фрагментами состоит из небольших фрагментов, которые может быть сложным выделять как отдельные фрагменты при ограниченном разрешении камеры. Нейрон 652 имеет значения ре для выходных величин 644 каждого из пикселей в слое 640 подвыборки и тем самым обеспечивает картину, отображающую вероятность того, что каждый пиксель находится на краю. Аналогичным образом, каждый из нейронов 654 и 656 имеет соответствующие значения pƒ, и pi для выходных величин 644 каждого из пикселей в слое подвыборки и тем самым обеспечивает картину, отображающую вероятность того, что пиксель находится в части фрагментированного материала и в промежуточном пространстве. В одном из вариантов осуществления каждый из нейронов 652, 654 и 656 может быть целиком связан с нейронами 642 в слое 640 подвыборки, что означает, что каждый из нейронов в выходном слое 650 имеет множество входных величин, которые связаны с каждым из нейронов 642.
В одном из вариантов осуществления, к нейронам 652, 654 и 656 может применяться взвешивание с целью получения выходных величин для нейронной сети 600. Пикселям, отнесенным к пикселям на краю части фрагментированного материала, пикселям, отнесенным к пикселям изнутри от края части фрагментированного материала, и пикселям, отнесенным к пикселям в промежутке между частями фрагментированного материала, могут присваиваться различные весовые коэффициенты. В таком случае выходной величиной будет являться wepe, wƒpƒ и wipi, при этом весовые коэффициенты we, wƒ и wi могут выбираться на основании более высокой вероятности того, что какой-либо пиксель находится изнутри от края части фрагментированного материала. Таким образом, в основу этого взвешивания положено эмпирическое наблюдение того, что фрагментированные материалы, такие как горная порода, обычно имеют больше пикселей, относящихся к породе, чем краевых пикселей и/или промежуточных пикселей.
Вариант осуществления нейронной сети 600, показанный на фиг. 6, является лишь одним из примеров сети, которая может быть сконфигурирована с целью получения выходного представления классификации пикселей в выходном слое 650. Обычно сеть 600 изначально конфигурируется, а затем обучается использованием обучающих изображений, которые были проанализированы и помечены. Например, оператор может помечать области изображений фрагментированных материалов, чтобы указывать, является ли область фрагментированной частью, краем фрагментированной части, пустотой или областью мелких частиц. Затем изображения сохраняются вместе данными метки в качестве меченных обучающих изображений. Желательно иметь достаточное число обучающих изображений, меченных при различных условиях освещения и других условиях, различном масштабе и различных типах фрагментированного материала. Часть меченных обучающих изображений может использоваться для обучения сети, а дополнительная часть может резервироваться для проверки достоверности нейронной сети 600 с целью оценки эффективности обучения. Один из примеров меченного обучающего изображения показан на фиг. 10.
Во время обучения весовым коэффициентам нейронной сети 600 присваивается определенное начальное значение, а обучающие изображения используются для обеспечения наборов входных пиксельных данных 602, 604, 606 и 608. Затем выходные представления классификации пикселей в выходном слое 650 сравниваются с меченными обучающими изображениями, и оценивается функция стоимости, отображающая различие между классификацией выходного слоя и меченной классификацией множества входных величин нейронной сети 600. Далее применяется алгоритм минимизации, такой как пакетный алгоритм градиентного спуска, чтобы определить новые величины для весовых коэффициентов ядро 616 свертки. Эта стадия обычно предусматривает определение градиента функции стоимости с использованием алгоритма обратного распространения ошибок.
Общая эффективность нейронной сети 600 обычно оценивается с использованием меченных изображений, зарезервированных с целью оценки функции стоимости в процессе проверки достоверности. Нейронная сеть 600 может настраиваться в попытке повышения эффективности, такой как, например, увеличение размера ядра 616 с использованием дополнительных наборов пиксельных данных или уменьшение числа наборов пиксельных данных и т.д. После достижения желаемой эффективности весовые коэффициенты сохраняются для использования при анализе фрагментации реальных фрагментированных материалов. В некоторых вариантах осуществления могут использоваться несколько ядер 616 свертки с получением тем самым нескольких выходных величин в сверточном слое 612. Ядра свертки могут различаться размером или весовыми коэффициентами, изначально присвоенными во время обучения.
Рассмотрим фиг. 8, на которой часть изображения фрагментированного материала обозначена позицией 800, а альтернативное ядро свертки представлено как прямоугольник 804 по центру пикселя 802. Часть 700 изображения на фиг. 7 содержит элементы ядра свертки, обозначенного прямоугольником 804 на части 800 изображения, в увеличенном масштабе. Эти изображения иллюстрируют, что идентификация частей фрагментированного материала в пределах изображения неотъемлемо зависит от масштаба, и из различных масштабов на фиг. 7 и на фиг.8, вероятно, будут получены различные классификации. Например, в прямоугольнике 704 на фиг. 7 заключено достаточно информации, чтобы установить, что пиксель 702, вероятно, находится на крае части фрагментированного материала. Однако прямоугольник 804 на фиг. 8 содержит слишком много информации, чтобы установить, находится ли край на пикселе 802. В одном из вариантов осуществления во время обучения обучающие изображений могут приводиться к различным масштабам, например, 0,5х, 1х и 2х, и тем самым могут обеспечиваться дополнительные входные данные для обучения сети 600. Соответственно, нейронная сеть 600 обеспечивает масштабированную выходную величину в выходном слое 650 для каждой масштабированной входной величины и соответствующего набора обучающих изображений.
Впоследствии, при анализе фрагментации реальных фрагментированных материалов может осуществляться аналогичное масштабирование и тем самым увеличение числа наборов входных пиксельных данных, показанных на фиг. 6. В одном из альтернативных вариантов осуществления выходной слой 650 классификации может выводиться в дополнительный полносвязный слой (не показанный), который выполняет фракционный анализ, такой как описанный ранее ситовый анализ. Множество выходных нейронов, по одному на каждую градацию ситового анализа может связано с нейронами 652, 654 и 656 выходного слоя 650. В этом альтернативном варианте осуществления нейронная сеть 600 обучается с использованием обучающих изображений, которые были помечены с учетом градаций просеивания, за счет чего сеть непосредственно обеспечивает результат фракционного анализа в дополнительном выходном слое.
На фиг. проиллюстрирован обозначенный позицией 900 один из примеров выходного представления классификации пикселей в выходном слое 650. На фиг. 10 проиллюстрирован обозначенный позицией 1000 один из примеров меченного обучающего изображения, используемого для обучения нейронной сети 600. Выходное представление 900 и обучающее изображение 1000 показаны в единственном масштабе, но на практике каждому масштабу будет соответствовать определенное выходное представление 900. Как показано на фиг.10, обучающее изображение 1000 имеет очень четко выраженные краевые пиксели 1002, которые обозначены темными линиями, находящиеся изнутри от краев пиксели 904, которые заштрихованы светло-серым цветом, и мелкие частицы или пустоты 906, которые заштрихованы темно-серым цветом. Выходное представление 900 показано на фиг.9 как изображение фрагментированного материала 100, на котором обнаруженные краевые пиксели 902, пикселей 904, находящиеся изнутри от краев, и мелкие частицы или пустоты 906 заштрихованы аналогичным образом с целью создания выходного представления 900. На выходном представлении 900 краевые пиксели 902 выражены менее четко и не смыкаются вокруг частей фрагментированного материала как на обучающем изображении 1000. Это объясняется тем, что каждый пиксель на выходном представлении заштрихован на основании выходных вероятностей ре, рƒ, и pi, в результате чего пиксель с высокой вероятностью нахождения на крае, заштрихован более темным цветом, а пиксели во фрагментированных частях имеют низкую вероятность нахождения на крае и заштрихованы более светлым цветом. Хотя тем самым классификации пикселей, получаемая в выходном слое 650, обеспечивает исходное прогнозирование фрагментации, фактическая идентификация частей фрагментированного материала на выходном представлении 900 остается сложной. Желательно выходное представление, более близкое к обучающему изображению 1000.
Как показано на фиг. 3, выходное представление 900 выходного слоя 650 классификации пикселей дополнительно обрабатывается на шаге 312 с целью сопоставления обнаруженных краевых пикселей с частями фрагментированного материала. На фиг. 11 более подробно показан шаг 312 способа 300. Как показано на фиг. 11, способ начинается с шага 1100, на котором микропроцессору 202 предписывается объединить масштабированные изображения с целью создания объединенного выходного представления классификации пикселей на основании множества масштабированных входных величин. Каждое масштабированное выходное представление обеспечивает различную степень детализации, которая отображается на объединенном выходном представлении классификации пикселей.
На шаге 1102 микропроцессору 202 предписывается побудить ГП 210 к выполнению функций обработки с целью идентификации областей мелкофрагментированного материала на объединенном выходном представлении классификации пикселей.
На шаге 1104 микропроцессору 202 предписывается инициировать морфологическую обработку объединенного выходного представления классификации пикселей. В одном из вариантов осуществления к выходному представлению классификации пикселей применяется один или несколько морфологических алгоритмов, чтобы сомкнуть краевые участки или определить, следует ли разделить фрагментированный материал на множество частей. Примеры алгоритмов, которые могут применяться, включают задание порога, адаптивное задание порога, сегментация по водоразделам и морфологические операции, такие как сужение, расширение, размыкание, смыкание и т.д.
Алгоритмы сегментации по водоразделам могут быть полезны при смыкании краев вокруг частей фрагментированного материала на объединенном выходном представлении классификации пикселей, когда этом градиенты на изображении анализируются на основании выходного представления классификации пикселей. Пиксели, имеющие большую величину ре, соответствуют гребням водораздела, а пиксели, имеющие малую величину ре и большую величину pƒ, соответствуют водосборным бассейнам. Из техники известны различные разновидности алгоритма сегментации по водоразделам.
В качестве альтернативы или дополнительно, может использоваться алгоритм сужения с целью удаления внешних пикселей из части фрагментированного материала, имеющей сужающийся участок, соединенный с более широкими участками. После сужения части фрагментированного материала могут разделяться на две или более частей, если сужающийся участок исключен путем сужения. За сужением может следовать соответствующее расширение, в результате которого части фрагментированного материала снова приобретут преимущественно свои первоначальные размеры, а сужающийся участок останется исключенным из изображения.
В одном из вариантов осуществления результат, полученный на шаге 1104, может использоваться на шаге 1102 обнаружения области мелких частиц. Последующая обработка и морфологические операции могут помогать при обнаружении границ области мелких частиц.
Затем способ продолжается на шаге 1106, на котором микропроцессору 202 предписывается объединить области мелких частиц, обнаруженные на шаге 1102, и сомкнутые края, обнаруженные на шаге 1104, чтобы получить изображение, на котором идентифицированы части фрагментированного материала.
Нейронная сеть 600, показанная на фиг. 6, является одним из примеров сверточной нейронной сети, которая может быть реализована показанной на фиг. 2 в схеме 200 обработки с целью идентификации частей фрагментированного материала среди принимаемых пиксельных данных. На фиг. 12 показан один из вариантов осуществления каскадной сверточной нейронной сети, реализованной в показанной на фиг. 2 схеме 200 обработки и обозначенной в целом позицией 1200. Каскадная сеть 1200 содержит первую сверточную нейронную сеть 1204 и вторую сверточную нейронную сеть 1206. На шаге 1208 принимается захваченное изображение 1202 фрагментированного материала 100 в поле 114 зрения датчика изображений и обрабатывается с использованием алгоритма, такого как контрастно-ограниченное адаптивное выравнивание гистограммы (CLAHE) или другого описанного выше алгоритма увеличения контрастности захваченного изображения. За этим следует шаг 1210 масштабирования изображения, которое может выбираться в соответствии с масштабом фрагментированного материала в пределах изображения с целью получения масштабированного представления входного изображения. Масштабированное представление входного изображения может содержать несколько наборов входных пиксельных данных, включая, например, интенсивность оптического излучения, интенсивность теплового излучения, интенсивности, соответствующей различным основным цветам, интенсивности при множестве различных условий освещения, интенсивности для каждого из множества диапазонов электромагнитных волн, информацию о глубине пикселей и расстоянием между каждым пикселем и ближайшим краем.
Затем масштабированное представление входного изображения передается первой сверточной нейронной сети 1204, которая может действовать в целом, как описано выше применительно к нейронной сети 600, создавая исходные выходные представления 1212 классификации пикселей. Исходные выходные представления 1212 классификации пикселей содержат диаграмму 1214 вероятностей ре1 того, что пиксель находится на краю, диаграмму 1216 вероятностей pƒ1 того, что пиксель находится в части фрагментированного материала изнутри от края, и диаграмму 1218 вероятностей pi1 того, что пиксель находится в промежуточном пространстве между фрагментами. Таким образом, выходные величины pe1, pƒ1, и pi1 в целом соответствуют выходным величинам pe, pƒ, pi на фиг. 6.
Выходные величины pe1, рƒ1 и pi1 первой сверточной нейронной сети 1204 принимаются как входные величины во второй сверточной нейронной сети 1206. Изображение с увеличенной контрастностью, полученное на шаге 1208, также дополнительно обрабатывается на шаге 1222 и передается второй сверточной нейронной сети 1206 в качестве дополнительного представления 1222 входного изображения. В одном из вариантов осуществления обработка на шаге 1220 может предусматривать преобразование информации о насыщенности цвета пикселей захваченного изображения 1202 в данные полутоновой шкалы с целью получения дополнительного представления 1222 входного изображения.
Вторая сверточная нейронная сеть 1206 может быть реализована с использованием ядра свертки, сверточного слоя и одного или нескольких слое подвыборки, как в целом показано на фиг. 6. Вторая сверточная нейронная сеть 1206 создает выходные представления 1224 классификации пикселей, которые содержат диаграмму 1226 вероятностей ре2 того, что пиксель находится на краю, диаграмму 1228 вероятностей рƒ2 того, что пиксель находится в части фрагментированного материала изнутри от края, и диаграмму 1230 вероятностей pi2 того, что пиксель находится в промежуточном пространстве между фрагментами. Таким образом, вторая сверточная нейронная сеть 1206 использует выходные представления 1212 классификации пикселей в качестве входных данных с целью создания уточненных выходных представлений 1224 классификации пикселей.
В этом варианте осуществления выполняется функция сегментации выходной диаграммы 1226 вероятностей того, что пиксель находится на краю, путем обработки вероятностной диаграммы с целью получения сегментированного выходного представления 1234. Функция сегментации может быть реализована с использованием одного из нескольких морфологических алгоритмов, таких как задание порога, адаптивное задание порога, сегментация по водоразделам и морфологические операции, такие как сужение, расширение, размыкание, смыкание и т.д. В других вариантах осуществления диаграмму 1230 вероятностей того, что пиксель находится в промежуточном пространстве между фрагментами, также необязательно подвергают процессу 1232 сегментации в зависимости от характера реализуемого алгоритма сегментации. Как отмечено выше, вероятности ре2, рƒ2 и pi2 в сумме дают единицу для каждого пикселя, и тем самым путем вычитания величин pe1 и рi1 из 1 определяется вероятность для части фрагментированного материала.
В одном из вариантов осуществления первая и вторая сверточные нейронные сети 1204 и 1206 обучаются раздельно. В этом случае меченные изображения предварительно обрабатываются на шаге 1208, масштабируются на шаге 1210 и используются для обучения первой сверточной нейронной сети 1204 с целью получения желаемых выходных данных 1220 и 1214-1218. Как только первая сверточная нейронная сеть 1204 надлежащим образом обучена, меченные изображения обрабатываются посредством первой сети с целью получения на шаге 1212 наборов меченных выходных данных после обучения. Затем меченные выходные данные после обучения используются при втором обучении второй сверточной нейронной сети 1206 с целью получения желаемых выходных данных 1224. В других вариантах осуществления может от начала до конца обучаться вся каскадная нейронная сеть 1200 вплоть до получения выходных представлений 1224 классификации пикселей. Процесс 1232 сегментации обычно является нелинейным и, маловероятно, сказывается на сходимости при обучении первой и второй сверточных нейронных сетей 1204 и 1206.
Таким образом, вторая сверточная нейронная сеть 1206 дополнительно уточняет выходные данные первой сверточной нейронной сети 1204 путем объединения вероятностных диаграмм 1214-1218 с одним или несколькими дополнительными представлениями 1222 входного изображения, такими как полутоновое представление захваченного изображения 1202, карту диспаратности с информацией о глубине, суперпиксельное представление захваченного изображения или другое входное представление. Каскадная сеть 1200 использует первую и вторую обученные сети 1204 и 1206, чтобы генерировать усовершенствованные вероятностные диаграммы и границы краев для представления 1202 реального входного изображения. Первая и вторая сети 1204 и 1206 имеют ограниченную способность изучать сложность обучающих изображений в процессе обучения. Первая сверточная нейронная сеть 1204 обучается созданию глобально оптимизированного решения, а вторая сверточная нейронная сеть 1206 осуществляет тонкую настройку решения. Таким образом, каскадная сеть 1200 обладает эффективностью более глубокой нейронной сети, но с более простой реализацией в виде двух каскадных подсетей.
В другом варианте осуществления шаг 1220 может предусматривать обработку пиксельных данных с целью генерирования суперпиксельного представления данных изображения с увеличенной контрастностью. Алгоритмы суперпиксельного представления группируют пиксели, которые имеют форму пиксельной сетки, связанной с наборами захваченных пиксельных данных, в области, которые имеют форму, в большей степени основанную на элементах захваченного изображения. При обработке методом суперпиксельной сегментации группе смежных пикселей присваивается среднее значение насыщенности с одновременным уменьшением сложности, что может улучшать способность каскадной сети 1200 обучаться во время обучения. На фиг. 13 показан один из примеров обозначенного позицией 1300 представления входного изображения фрагментированных материалов, которое было обработано с использованием алгоритма суперпиксельного представления. Представление 1300 содержит множество областей 1302 супепикселей, каждая из которых образовано множеством пикселей. Суперпиксели имеют тенденцию к чрезмерной сегментации изображения (т.е. каждая часть фрагментированного материала представлена множеством суперпикселей). Тем не менее, преимуществом обработки методом суперпиксельной сегментации является то, что сохраняются края частей фрагментированного материала, что позволяет представлять каждую часть меньшим числом суперпикселей, чем первоначально число пикселей на изображении с увеличенной контрастностью. Преимуществом суперпиксельного представления также является значительное снижение сложности изображения. Например, изображение размером 256×256 имеет 65536 полутоновых пикселей, при этом может быть реализована обработка методом суперпиксельной сегментации с использованием ~4000 суперпикселей для представления того же изображения. Таким образом, при суперпиксельном представлении 1300 множества пикселей группируются с целью представления частей фрагментированного материала с использованием уменьшенного числа суперпикселей по сравнению с число пикселей в наборе пиксельных данных.
В проиллюстрированном на фиг. 12 варианте осуществления использование обработки методом суперпиксельной сегментации на шаге 1220 обеспечивает на шаге 1222 менее сложные данные для ввода во вторую сверточную нейронную сеть 1206, но сохраняющие важные признаки краев. Данные, вводимые на шаге 1222, способны повышать производительность каскадной сети 1200 при обучении и последующей работе. Обработка методом суперпиксельной сегментации также может быть реализована в нейронной сети 600, показанной на фиг. 6.
В качестве альтернативы, в другом варианте осуществления может создаваться суперпиксельное представление для одной или нескольких выходных вероятностных диаграмм 1224, а в процессе 1232 сегментации могут выполняться операции слияния и расщепления суперпиксельного представления. Операции слияния и расщепления могут быть реализованы с использованием классификатора, который обучен с использованием меченных входных изображений определять, следует ли выполнять слияние смежных суперпикселей. Классификатор может обучаться и работать с признаками вероятностной диаграммы, а также другими признаками, которые могут задаваться для пар суперпикселей, такими как: относительный размер, доля длины совместных краев относительно общей длины краев и т.д. Таким образом, процесс 1232 сегментации может включать обработку методом суперпиксельной сегментации. Обработка методом суперпиксельной сегментации описана в документе "SLIC superpixels. Technical report,
Figure 00000001
Polytechnique
Figure 00000002
de Lausanne, 2010" за авторством R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua,
Figure 00000003
который в порядке ссылки включен в настоящую заявку.
На фиг. 14 проиллюстрирован один из примеров меченного обучающего изображения, обозначенного позицией 1400. Обучающее изображение 1400 помечено с целью обнаружения краев 1402 частей 1404 фрагментированного материала. Части 1406, находящиеся снаружи меченных границ края, соответствуют промежуточным пространствам или мелким частицам между частями 1404 фрагментированного материала. Таким образом, путем мечения края 1402 вся замкнутая часть распознается как часть фрагментированного материал (т.е. часть со светлой штриховкой). В одном из альтернативных вариантов осуществления, показанном на фиг. 15, обучающее изображение 1400 дополнительно обрабатывается с целью получения показателя 1500 достоверности для обнаруженной части фрагментированного материала в пределах обнаруженных краев 1402. Обучающее изображение 1500 имеет область 1502, находящуюся вблизи центральной части фрагментированного материала (т.е. по центру части 1404 на фиг. 14) и с высокой степенью достоверности относящуюся к части фрагментированного материала, тогда как область 1504, находящаяся ближе к обнаруженному краю (1402 на фиг. 14), имеет меньшую величину показателя достоверности. Так, показателям достоверности может присваиваться величина, равная 1, в центральной области 1502, которая снижается до нуля вблизи области 1504 согласно линейной или нелинейной функции, такой как сигмоидальная функция. Соответственно, величины показателя достоверности отображают уровень достоверности мечения обучающего изображения 1400.
В качестве более эффективного входного изображения для обучения описанных нейронных сетей может использоваться альтернативное обучающее изображение 1500. При использовании обучающих изображений, вручную меченных оператором, таких как изображение 1400 на фиг. 14, на обучающих изображениях может возникать неопределенность при точном позиционировании края, что делает их менее эффективными при обучения сетей. Соответственно, применение показателя достоверности на меченном обучающем изображении 1500 обеспечивает более эффективное входное изображение для обучения множества нейронных сетей.
Как показано на фиг. 6, процесс подвыборки, реализуемый слоем 640 подвыборки, позволяет нейронной сети 600 пространственно инвариантно определять, присутствует ли какой-либо элемент (такой как край части фрагментированного материала) в пределах какой-либо области изображения. В проиллюстрированном на фиг. 6 варианте осуществления свертка наборов 602-608 входных пиксельных данных с использованием ядра 616 свертки приводит к уменьшению числа нейронов 614 в сверточном слое 612. Слой 640 подвыборки дополнительно уменьшает число нейронов 614 (например, в 2 раза при выборе максимального значения из соседних элементов 2×2). Тем не менее, в процессе понижающей дискретизации в слое 640 подвыборки теряется информация о точном положении обнаруженного элемента. Если бы в нейронную сеть 600 были включены дополнительные сверточные слои и слои подвыборки, потеря информации о положении была бы еще большей.
На фиг. 16 схематически проиллюстрирован один из альтернативных вариантов осуществления нейронной сети 1600, в которой сохраняется информация о положении, и при этом эффективно обнаруживаются краевые элементы во входных пиксельных данных. Нейронная сеть 1600 принимает наборы 1602 входных пиксельных данных, которые в данном примере содержат по 256×256 пикселей в каждом из 4 каналов ввода (т.е., например, красных, зеленых, синих пикселей и информации о глубине или другой информации). Ядро 1604 свертки, имеющее 16 ядер, используется для получения первой свертки 1606, имеющей 254×254×16 нейронов (т.е. 16 каналов по 254×254 пикселей). Небольшая потеря пространственной разрешающей способности в слое 1606 вызвана свертками на границах данных изображения с 3×3 ядрами. Операция подвыборки, такая как выбор максимального значения, создает слой 1608 подвыборки. Подвыборка выполняется для подгрупп размером 2×2 пикселя, в результате чего уменьшается заполнение объема в слое 1608. В этом варианте осуществления выполняется вторая свертка с использованием ядра 1610, следующего за слоем 1608 подвыборки, в результате чего число нейронов в сверточном слое 1612 составляет 125×125×32. Соответственно, заполнение объема информации в сверточном слое 1612 уменьшается более, чем наполовину по сравнению с входными пиксельными данными 1602. Хотя сверточный слой 1612 содержит информацию, идентифицирующую такие элементы, так краевые элементы, обнаруженные во входных пиксельных данных 1602, уменьшенная разрешающая способность означает, что положения этих элементов в пределах изображения определяются менее точно.
В проиллюстрированном на фиг. 12 варианте осуществления за сверточным слоем 1612 следует обращение свертки 2×2 с образованием слоя 1614, содержащего 250×250×16 нейронов. Обращение свертки представляет собой процессы повышающей дискретизации и деконволюции с образованием слоя 1614, содержащего 250×250×16 нейронов. Повышающая дискретизация может выполняться, например, путем повторения выхода каждого нейрона в слое 1612 в последовательных группах по 2×2 нейрона.
Копию выхода первого сверточного слоя 1606 также масштабируют до размера в слое 1616 до размера 250×250×16. Масштабирование обеспечивает конкатенацию 1×1 выходов обращения свертки в слое 1614 с копированными и масштабированными выходами в слое 1616 с образованием конкатенированного слоя 1618 для нейронной сети 1600. Выходное представление 1620 свертки слоя 1618 может использоваться, чтобы генерировать выходные представления 1224 классификации пикселей в каскадной сети 1200 на фиг. 12 или выходных величин в слое 650 нейронной сети 600 на фиг.6. Таким образом, нейронная сеть 1600 имеет два пути. Путь 1606-1612 сжатия в целом аналогичен пути показанной на фиг. 6 сверточной нейронной сети 600, когда при классификации пикселей теряется пространственная разрешающая способность. На пути 1614 и 1618 расширения реализуется обращение свертки и повышающая дискретизация с целью увеличения разрешающей способности выходного представления. Таким образом, процессы подвыборки и повышающей дискретизации влияют на заполнение объема, но не изменяют число каналов. При осуществлении процессов 1606 и 1612 свертки обычно сохраняется пространственная информация, и образуется ряд каналов по числу ядер в соответствующих ядрах 1604 и 1610 свертки. Слой 1614 обращения свертки в два раза уменьшает размер каналов. Соответственно, выходное представление 1620 имеет лишь незначительно уменьшенную пространственную разрешающую способность по сравнению с наборами 1602 входных пиксельных данных.
Датчик 102 изображений и схема 200 обработки, когда они сконфигурированы на реализацию нейронной сети 600, могут использоваться для анализа фрагментации материалов во множестве различных целей. Например, датчик 102 изображений, показанный на фиг. 1, может находиться на портативном анализаторе фрагментации, который содержит схему 200 обработки и отображает результаты анализа фрагментации на дисплее с целью осуществления оценки в условиях эксплуатации. В качестве альтернативы, датчик 102 изображений может поддерживать связь с дистанционной схемой обработки, которая способна обеспечивать результаты анализа фрагментации на основании представленных данных изображений. В других вариантах осуществления датчик 102 изображений может служить для захвата изображения фрагментированного материала, доставляемого землеройным орудием тяжелого оборудования, таким как ковш карьерного экскаватора или погрузчика. Один из примеров карьерного экскаватора с датчиком изображений, расположенным над погрузочным ковшом, показан на фиг. 17. На фиг. 18 показан датчик изображений, находится ниже ковша погрузчика и способен захватывать изображения фрагментированного материала в ковше, когда материал находится в поле зрения датчика изображений. В качестве альтернативы, датчик 102 изображений может служить для захвата изображений фрагментированного материала в кузове грузового автомобиля или на конвейерной ленте, как показано на фиг. 19.
Хотя выше описаны и проиллюстрированы конкретные варианты осуществления, такие варианты осуществления следует считать лишь иллюстрирующими, а не ограничивающими изобретение, охарактеризованное в прилагаемой формуле изобретения.

Claims (70)

1. Способ обработки изображений фрагментированного материала для идентификации частей фрагментированного материала в пределах изображения, содержащий:
прием пиксельных данных, соответствующих входному множеству пикселей, представляющих изображение фрагментированного материала;
обработку пиксельных данных с использованием сверточной нейронной сети, имеющей множество слоев, и получение выходного представления классификации пикселей, указывающее, находятся ли пиксели во входном множестве пикселей в одном из следующих положений:
на краю части фрагментированного материала;
изнутри от края части фрагментированного материала и
в промежутке между частями фрагментированного материала;
при этом сверточная нейронная сеть содержит по меньшей мере один сверточный слой, сконфигурированный на создание свертки входного множества пикселей, и сверточная нейронная сеть предварительно обучена с использованием множества обучающих изображений, содержащих ранее идентифицированные части фрагментированного материала; и
обработку выходного представления классификации пикселей для сопоставления идентифицированных краев с частями фрагментированного материала.
2. Способ по п. 1, в котором создание свертки включает создание свертки с использованием разреженного ядра, элементы которого разделены строками и столбцами нулевых значений.
3. Способ по п. 2, в котором создание свертки включает создание свертки с использованием разреженного ядра, элементы которого разделены множеством строк и столбцов нулевых значений.
4. Способ по п. 1, в котором обработка пиксельных данных с использованием сверточной нейронной сети включает обработку пиксельных данных с использованием первой сверточной нейронной сети и с использованием выходного представления классификации пикселей в качестве входа для второй сверточной нейронной сети, способной создавать уточненное выходное представление классификации пикселей.
5. Способ по п. 1, в котором множество обучающих изображений включает ранее идентифицированные части фрагментированного материала, каждая из которых ограничена краем, при этом областям части фрагментированного материала, находящимся ближе к краю, могут присваиваться меньшие величины показателя достоверности, чем областям части фрагментированного материала на удалении от края, и величины показателя достоверности являются показателем уровня достоверности, соответствующего ранее идентифицированным частям фрагментированного материала на обучающем изображении.
6. Способ по п. 1, в котором прием пиксельных данных включает прием множества наборов пиксельных данных, каждый из которых содержит данные, соответствующие по меньшей мере одному из следующего:
интенсивности оптического излучения;
интенсивности теплового излучения;
интенсивности, соответствующей различным основным цветам;
интенсивности при множестве различных условий освещения;
интенсивности для каждого из множества диапазонов электромагнитных волн; информации о глубине пикселей и
расстоянию между каждым пикселем и ближайшим краем.
7. Способ по п. 6, дополнительно включающий обработку по меньшей мере одного из множества наборов пиксельных данных для создания суперпиксельного представления набора пиксельных данных, в котором сгруппированы множества пикселей для представления частей фрагментированного материала с использованием уменьшенного числа суперпикселей относительно числа пикселей в наборе пиксельных данных.
8. Способ по п. 1, в котором создание свертки включает создание множества сверток входного множества пикселей.
9. Способ по п. 4, в котором прием информации о глубине пикселей включает по меньшей мере одно из следующего:
определение диспаратности пикселей, относящихся к изображениям, полученным датчиком стереоскопических изображений;
определение диспаратности пикселей, относящихся к последовательным изображениям, полученным датчиком изображений;
прием данных времени пролета пикселей во входном множестве пикселей;
определение информации о глубине на основании деформации картины структурированного света, проецированного на фрагментированный материал; и
прием трехмерного облака точек, созданного лазерным датчиком, и обработку облака точек для определения глубины пикселей во входном множестве пикселей.
10. Способ по п. 4, дополнительно включающий предварительную обработку информации о глубине пикселей до создания свертки.
11. Способ по п. 4, дополнительно включающий использование информации о глубине пикселей для оценки физического размера частей фрагментированного материала.
12. Способ по п. 11, дополнительно включающий определение распределения по размерам на основании расчетного размера частей фрагментированного материала.
13. Способ по п. 12, дополнительно включающий преобразование распределения по размерам в соответствующий результат ситового анализа.
14. Способ по п. 1, в котором обработка пиксельных данных с использованием сверточной нейронной сети дополнительно включает обработку выходного представления классификации пикселей в дополнительном слое нейронной сети для генерирования выходного распределения по размерам, при этом нейронная сеть предварительно обучена с использованием множества обучающих изображений фрагментированного материала с указанием размеров частей фрагментированного материала.
15. Способ по п. 1, в котором сверточная нейронная сеть содержит слой подвыборки, сконфигурированный на обработку свертки для обеспечения множества выходных данных подвыборки, каждые из которых основаны на значениях, соответствующих множеству пикселей в свертке.
16. Способ по п. 15, в котором в слое подвыборки реализован один из следующих процессов: выбор максимального значения из соседних элементов, выбор среднего значения из соседних элементов и выбор стохастического значения из соседних элементов.
17. Способ по п. 15, в котором сверточная нейронная сеть содержит по меньшей мере один слой повышающей дискретизации, следующий за слоем подвыборки и способный копировать выходные данные для создания классификации пикселей с повышенной частотой дискретизации, при этом способ дополнительно включает:
генерирование масштабированной копии свертки входного множества пикселей, размер которой соответствует размеру классификации пикселей с повышенной частотой дискретизации; и
объединение классификации пикселей с повышенной частотой дискретизации с масштабированной копией свертки для создания классификации пикселей, имеющей повышенное пространственное разрешение.
18. Способ по п. 1, в котором обработка выходного представления классификации пикселей для сопоставления идентифицированных краев с частями фрагментированного материала включает применение морфологического алгоритма к выходному представлению классификации пикселей для смыкания краевых участков, окружающих части фрагментированного материала.
19. Способ по п. 18, дополнительно включающий применение взвешивания к выходному представлению классификации пикселей с использованием различных весовых коэффициентов, присвоенных пикселям, отнесенным к пикселям на краях части фрагментированного материала, пикселям, отнесенным к пикселям изнутри от края части фрагментированного материала, и пикселям, отнесенным к пикселям в промежутке между частями фрагментированного материала.
20. Способ по п. 18, в котором применение морфологического алгоритма к выходному представлению классификации пикселей включает реализацию по меньшей мере одного из следующих алгоритмов:
алгоритма расширения;
алгоритма сужения,
алгоритма сегментации по водоразделам;
алгоритма размыкания и
алгоритма смыкания.
21. Способ по п. 18, дополнительно включающий идентификацию промежутков между частями фрагментированного материала как содержащих одно из следующего: мелко фрагментированный материал и пустоту.
22. Способ по п. 1, дополнительно включающий передискретизацию пиксельных данных, соответствующих входному множеству пикселей, для получения по меньшей мере одного передискретизированного входного множества пикселей, при этом обработка с использованием сверточной нейронной сети включает обработку одного или нескольких передискретизированных вводимых множеств пикселей, а сверточная нейронная сеть предварительно обучена с использованием соответствующим образом передискретизированного множества обучающих изображений фрагментированного материала, содержащих ранее идентифицированные части фрагментированного материала.
23. Способ по п. 22, в котором передискретизация пиксельных данных включает по меньшей мере одно из следующего: повышающую дискретизацию пиксельных данных и понижающую дискретизацию пиксельных данных.
24. Способ по п. 1, в котором выходное представление классификации пикселей генерируется путем осуществления свертки на участках пикселей, окружающих классифицируемый пиксель, при этом участок пикселей имеет размер, выбранный в соответствии с масштабом фрагментированного материала, окружающего классифицируемый пиксель, а масштаб определяется с использованием одного из следующего:
вводимых пользователем данных;
информации о глубине пикселей;
сети, обученной на основании соответствующих пиксельных данных; и
выходного представления классификации пикселей с использованием начального выбора размера участка.
25. Устройство для осуществления анализа фрагментации, содержащее:
датчик изображений, способный захватывать изображение фрагментированного материала, содержащего части фрагментированного материала, и генерировать пиксельные данные, соответствующие входному множеству пикселей, представляющих изображение;
схему обработки, функционально сконфигурированную на обработку пиксельных данных с использованием сверточной нейронной сети, имеющей множество слоев, и создание выходного представления классификации пикселей, указывающего, находятся ли пиксели во входном множестве пикселей в одном из следующих положений:
на краю части фрагментированного материала;
изнутри от края части фрагментированного материала и
в промежутке между частями фрагментированного материала,
при этом сверточная нейронная сеть содержит по меньшей мере один сверточный слой, сконфигурированный на создание свертки входного множества пикселей, и предварительно обучена с использованием множества обучающих изображений, содержащих ранее идентифицированные части фрагментированного материала; и
схема обработки, дополнительно функционально сконфигурирована на обработку
выходного представления классификации пикселей для сопоставления идентифицированных краев с частями фрагментированного материала.
26. Устройство по п. 25, в котором схема обработки содержит графический процессор (ГП) и соответствующую память графических данных, а сверточная нейронная сеть реализована по меньшей мере частично с использованием функций ГП, при этом в памяти графических данных могут храниться данные, генерированные путем операций, связанных со сверточной нейронной сетью
27. Устройство по п. 25, в котором датчик изображений находится в одном из следующих устройств:
портативном анализаторе фрагментации, содержащем схему обработки, способную обеспечивать результаты анализа фрагментации; и
визуализаторе фрагментации, поддерживающем связь с дистанционной схемой обработки, способной обеспечивать результаты анализа фрагментации.
28. Устройство по п. 25, в котором датчик изображений служит для захвата изображения фрагментированного материала, доставляемого одним из следующего:
землеройным орудием тяжелого оборудования, способного погружать фрагментированный материал;
кузовом грузового автомобиля и
конвейерной лентой.
RU2018125977A 2015-12-14 2016-12-13 Способ и устройство идентификации частей фрагментированного материала в пределах изображения RU2694021C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562267059P 2015-12-14 2015-12-14
US62/267,059 2015-12-14
PCT/CA2016/000317 WO2017100903A1 (en) 2015-12-14 2016-12-13 Method and apparatus for identifying fragmented material portions within an image

Publications (1)

Publication Number Publication Date
RU2694021C1 true RU2694021C1 (ru) 2019-07-08

Family

ID=59055495

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018125977A RU2694021C1 (ru) 2015-12-14 2016-12-13 Способ и устройство идентификации частей фрагментированного материала в пределах изображения

Country Status (8)

Country Link
US (1) US10783610B2 (ru)
AU (1) AU2016374520C1 (ru)
CA (1) CA2972183C (ru)
CL (1) CL2018001583A1 (ru)
GB (1) GB2562924B (ru)
RU (1) RU2694021C1 (ru)
WO (1) WO2017100903A1 (ru)
ZA (1) ZA201804286B (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2762636C1 (ru) * 2020-09-28 2021-12-21 Федеральное государственное бюджетное образовательное учреждение высшего образования "МИРЭА - Российский технологический университет" Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475415B (zh) * 2015-12-21 2022-05-27 商汤集团有限公司 用于图像处理的方法和系统
US10706348B2 (en) * 2016-07-13 2020-07-07 Google Llc Superpixel methods for convolutional neural networks
US10599977B2 (en) * 2016-08-23 2020-03-24 International Business Machines Corporation Cascaded neural networks using test ouput from the first neural network to train the second neural network
KR102580519B1 (ko) * 2016-09-07 2023-09-21 삼성전자주식회사 영상처리장치 및 기록매체
KR102631381B1 (ko) 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
US11138724B2 (en) 2017-06-01 2021-10-05 International Business Machines Corporation Neural network classification
US10713783B2 (en) 2017-06-01 2020-07-14 International Business Machines Corporation Neural network classification
WO2018223295A1 (en) * 2017-06-06 2018-12-13 Midea Group Co., Ltd. Coarse-to-fine hand detection method using deep neural network
JP6937884B2 (ja) * 2017-07-11 2021-09-22 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 試料管頭部円の学習ベース画像エッジ強調方法及びシステム
CN107463952B (zh) * 2017-07-21 2020-04-03 清华大学 一种基于多模态融合深度学习的物体材质分类方法
WO2019043162A1 (en) * 2017-09-01 2019-03-07 Ludwigs-Maximilians-Universität München DETECTION OF BIOLOGICAL CELLS AND CELL LINE TRACING
WO2019055565A1 (en) * 2017-09-12 2019-03-21 Schlumberger Technology Corporation SYSTEM FOR INTERPRETING SEISMIC IMAGE DATA
US10796202B2 (en) * 2017-09-21 2020-10-06 VIMOC Technologies, Inc. System and method for building an edge CNN system for the internet of things
US10796221B2 (en) 2017-10-19 2020-10-06 General Electric Company Deep learning architecture for automated image feature extraction
US10460440B2 (en) 2017-10-24 2019-10-29 General Electric Company Deep convolutional neural network with self-transfer learning
US10643383B2 (en) 2017-11-27 2020-05-05 Fotonation Limited Systems and methods for 3D facial modeling
DE102018100238A1 (de) * 2018-01-08 2019-07-11 Connaught Electronics Ltd. Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks
DE102018100315A1 (de) * 2018-01-09 2019-07-11 Connaught Electronics Ltd. Erzeugen von Eingabedaten für ein konvolutionelles neuronales Netzwerk
US10410354B1 (en) 2018-03-06 2019-09-10 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for multi-model primitive fitting based on deep geometric boundary and instance aware segmentation
WO2019222951A1 (en) * 2018-05-24 2019-11-28 Nokia Technologies Oy Method and apparatus for computer vision
CN110555800A (zh) * 2018-05-30 2019-12-10 北京三星通信技术研究有限公司 图像处理装置及方法
EP3802968B1 (en) 2018-06-01 2024-01-17 Motion Metrics International Corp. Method, apparatus and system for monitoring a condition associated with operating heavy equipment such as a mining shovel or excavator
US10572989B2 (en) * 2018-06-06 2020-02-25 The Boeing Company Chopped fiber additive manufacturing void detection
JP7415251B2 (ja) 2018-09-30 2024-01-17 京東方科技集團股▲ふん▼有限公司 画像処理用の装置及び方法、並びにニューラルネットワークトをトレーニングするシステム
US11307863B1 (en) 2018-10-08 2022-04-19 Nvidia Corporation Graphics processing unit systems for performing data analytics operations in data science
US20200210775A1 (en) * 2018-12-28 2020-07-02 Harman Connected Services, Incorporated Data stitching and harmonization for machine learning
CN109903219B (zh) * 2019-02-28 2023-06-30 深圳市商汤科技有限公司 图像处理方法及装置、电子设备、计算机可读存储介质
CN110046561A (zh) * 2019-03-29 2019-07-23 贵阳铝镁设计研究院有限公司 一种基于三维视觉的电解铝阳极炭块表面钢印识别方法
CN110046570B (zh) * 2019-04-12 2022-09-30 河南工业大学 一种粮仓粮食库存动态监管方法和装置
CN111708448B (zh) * 2019-05-08 2023-11-03 义隆电子股份有限公司 用于触控装置的控制系统及方法
CN110197166B (zh) * 2019-06-04 2022-09-09 西安建筑科技大学 一种基于图像识别的车体装载状态识别装置及方法
JP7117273B2 (ja) * 2019-07-01 2022-08-12 Ｊｘ金属株式会社 破砕片検出方法、破砕片小割方法、破砕片検出装置および破砕片小割装置
JP7273250B2 (ja) 2019-09-17 2023-05-12 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた面モデリングのためのシステム及び方法
EP3798679B1 (en) * 2019-09-30 2023-06-21 STMicroelectronics (Research & Development) Limited Laser safety verification
US20220307819A1 (en) 2019-10-07 2022-09-29 Intrinsic Innovation Llc Systems and methods for surface normals sensing with polarization
US11769180B2 (en) 2019-10-15 2023-09-26 Orchard Technologies, Inc. Machine learning systems and methods for determining home value
CN110942060B (zh) * 2019-10-22 2023-05-23 清华大学 基于激光散斑和模态融合的材质识别方法及装置
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
CN111325236B (zh) * 2020-01-21 2023-04-18 南京大学 一种基于卷积神经网络的超声图像分类方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
US11613275B2 (en) * 2020-04-27 2023-03-28 Baidu Usa Llc Grayscale-based camera perception
AT523755A2 (de) * 2020-05-13 2021-11-15 Rubble Master Hmh Gmbh Verfahren zum abschnittsweisen Bestimmen der Korngrößenverteilung eines auf ein Förderband aufgegebenen Schüttgutes
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11367167B2 (en) * 2020-08-21 2022-06-21 Apple Inc. Neural network-based image processing with artifact compensation
CN112200788B (zh) * 2020-10-16 2021-03-26 清华大学 高温变形测量装置及方法
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
CA3129016A1 (en) * 2021-04-07 2022-10-07 Queen's University At Kingston Automatic classification of excavation materials
US20220350305A1 (en) * 2021-04-09 2022-11-03 3Dfortify Inc. Digital image transformation to reduce effects of scatter during digital light processing-style manufacturing
CN113240583B (zh) * 2021-04-13 2022-09-16 浙江大学 一种基于卷积核预测的图像超分辨方法
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
AU2022261652A1 (en) * 2021-04-19 2023-10-26 Orica International Pte Ltd Fragmentation georeferencing
US11669956B2 (en) * 2021-06-01 2023-06-06 Caterpillar Inc. Ground engaging tool wear and loss detection system and method
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US20240161262A1 (en) 2022-11-15 2024-05-16 Motion Metric International Corp. Monitoring an operating cycle of heavy equipment
CN116188719B (zh) * 2023-04-27 2023-11-17 中地云智慧科技有限公司 一种实景三维数据的碎片去除方法
CN116596921B (zh) * 2023-07-14 2023-10-20 济宁市质量计量检验检测研究院(济宁半导体及显示产品质量监督检验中心、济宁市纤维质量监测中心) 一种焚烧炉渣分选方法及系统
CN117021417B (zh) * 2023-08-22 2024-03-29 河北泽源橡胶制品有限公司 橡胶破碎分解控制方法及其系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020307B2 (en) * 2002-02-15 2006-03-28 Inco Limited Rock fragmentation analysis system
RU2424561C2 (ru) * 2005-08-31 2011-07-20 Майкрософт Корпорейшн Обучение сверточных нейронных сетей на графических процессорах
CN102496004A (zh) * 2011-11-24 2012-06-13 中国矿业大学(北京) 一种基于图像的煤岩界面识别方法与系统
US20130236064A1 (en) * 2012-03-08 2013-09-12 Halliburton Energy Services, Inc. Optimizing subterranean treatment characteristic by digital geoinformatics
US20150078653A1 (en) * 2013-09-17 2015-03-19 Motion Metrics International Corp. Method and apparatus for performing a fragmentation assessment of a material

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4519041A (en) * 1982-05-03 1985-05-21 Honeywell Inc. Real time automated inspection
EP0766205B1 (fr) * 1995-09-29 2003-12-03 Koninklijke Philips Electronics N.V. Procédé et dispositif de traitement d'image, pour la détection automatique de régions d'un type prédéterminé de cancer dans une image d'intensité
TW514513B (en) * 1996-02-06 2002-12-21 Deus Technologies Inc Method for the detection of lung nodule in radiological images using digital image processing and artificial neural network
US5975893A (en) * 1997-06-20 1999-11-02 Align Technology, Inc. Method and system for incrementally moving teeth
US6549646B1 (en) * 2000-02-15 2003-04-15 Deus Technologies, Llc Divide-and-conquer method and system for the detection of lung nodule in radiological images
US7013439B2 (en) * 2002-01-31 2006-03-14 Juan Andres Torres Robles Contrast based resolution enhancing technology
US7231086B2 (en) * 2002-05-09 2007-06-12 General Dynamics C4 Systems, Inc. Knowledge-based hierarchical method for detecting regions of interest
JP2007502647A (ja) * 2003-08-21 2007-02-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 血管造影図及び現ｘ線画像の複合表示のための装置及び方法
US20070058856A1 (en) * 2005-09-15 2007-03-15 Honeywell International Inc. Character recoginition in video data
US8542928B2 (en) * 2005-09-26 2013-09-24 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
US8249302B2 (en) * 2009-06-30 2012-08-21 Mitsubishi Electric Research Laboratories, Inc. Method for determining a location from images acquired of an environment with an omni-directional camera
JP5554987B2 (ja) * 2009-12-28 2014-07-23 キヤノン株式会社 オブジェクト識別装置及びその制御方法
WO2012030872A1 (en) * 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
ES2395102B1 (es) * 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real
US8861814B2 (en) * 2010-12-22 2014-10-14 Chevron U.S.A. Inc. System and method for multi-phase segmentation of density images representing porous media
JP5951367B2 (ja) * 2012-01-17 2016-07-13 シャープ株式会社 撮像装置、撮像画像処理システム、プログラムおよび記録媒体
US9152888B2 (en) * 2012-09-13 2015-10-06 Los Alamos National Security, Llc System and method for automated object detection in an image
IL231862A (en) * 2014-04-01 2015-04-30 Superfish Ltd Image representation using a neural network
US20170032285A1 (en) * 2014-04-09 2017-02-02 Entrupy Inc. Authenticating physical objects using machine learning from microscopic variations
US9449239B2 (en) * 2014-05-30 2016-09-20 Apple Inc. Credit card auto-fill
CN107408196B (zh) * 2014-12-19 2021-03-19 顶级公司 从图像中提取特征的方法
WO2016175773A1 (en) * 2015-04-29 2016-11-03 Siemens Aktiengesellschaft Method and system for semantic segmentation in laparoscopic and endoscopic 2d/2.5d image data
US20170017841A1 (en) * 2015-07-17 2017-01-19 Nokia Technologies Oy Method and apparatus for facilitating improved biometric recognition using iris segmentation
US10121245B2 (en) * 2015-09-14 2018-11-06 University Of Notre Dame Identification of inflammation in tissue images
US10521902B2 (en) * 2015-10-14 2019-12-31 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
US10192129B2 (en) * 2015-11-18 2019-01-29 Adobe Systems Incorporated Utilizing interactive deep learning to select objects in digital visual media
US10482331B2 (en) * 2015-11-20 2019-11-19 GM Global Technology Operations LLC Stixel estimation methods and systems
US11803953B2 (en) * 2017-04-10 2023-10-31 Dpix, Llc Manufacturing quality improvement through statistical root cause analysis using convolution neural networks
US10275667B1 (en) * 2018-09-05 2019-04-30 StradVision, Inc. Learning method, learning device for detecting lane through lane model and testing method, testing device using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020307B2 (en) * 2002-02-15 2006-03-28 Inco Limited Rock fragmentation analysis system
RU2424561C2 (ru) * 2005-08-31 2011-07-20 Майкрософт Корпорейшн Обучение сверточных нейронных сетей на графических процессорах
CN102496004A (zh) * 2011-11-24 2012-06-13 中国矿业大学(北京) 一种基于图像的煤岩界面识别方法与系统
US20130236064A1 (en) * 2012-03-08 2013-09-12 Halliburton Energy Services, Inc. Optimizing subterranean treatment characteristic by digital geoinformatics
US20150078653A1 (en) * 2013-09-17 2015-03-19 Motion Metrics International Corp. Method and apparatus for performing a fragmentation assessment of a material

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2762636C1 (ru) * 2020-09-28 2021-12-21 Федеральное государственное бюджетное образовательное учреждение высшего образования "МИРЭА - Российский технологический университет" Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени

Also Published As

Publication number Publication date
AU2016374520A1 (en) 2018-07-12
ZA201804286B (en) 2019-04-24
AU2016374520B2 (en) 2019-09-19
WO2017100903A1 (en) 2017-06-22
US10783610B2 (en) 2020-09-22
US20190012768A1 (en) 2019-01-10
GB2562924A (en) 2018-11-28
GB2562924B (en) 2021-05-19
CA2972183A1 (en) 2017-06-22
CL2018001583A1 (es) 2018-12-14
AU2016374520C1 (en) 2020-10-15
WO2017100903A9 (en) 2018-02-22
GB201811304D0 (en) 2018-08-29
CA2972183C (en) 2018-03-27

Similar Documents

Publication Publication Date Title
RU2694021C1 (ru) Способ и устройство идентификации частей фрагментированного материала в пределах изображения
US11830246B2 (en) Systems and methods for extracting and vectorizing features of satellite imagery
CN111368342B (zh) 图像篡改识别模型训练方法、图像篡改识别方法及装置
US11308714B1 (en) Artificial intelligence system for identifying and assessing attributes of a property shown in aerial imagery
CN106096655B (zh) 一种基于卷积神经网络的光学遥感图像飞机检测方法
CN111402146A (zh) 图像处理方法以及图像处理装置
US20060008144A1 (en) Vectorized image segmentation via trixel agglomeration
CN116091497B (zh) 遥感变化检测方法、装置、电子设备和存储介质
CN114494821B (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
US20230213671A1 (en) Classifying geologic features in seismic data through image analysis
CN114863236A (zh) 基于双重注意力机制的图像目标检测方法
JP7463186B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN114218613A (zh) 图像篡改检测方法、装置以及计算机可读存储介质
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
Osterloff et al. Polyp activity estimation and monitoring for cold water corals with a deep learning approach
CN115984712A (zh) 基于多尺度特征的遥感图像小目标检测方法及系统
CN115526855A (zh) 电池片隐裂缺陷检测方法、装置、计算机设备和存储介质
CN114926876A (zh) 图像关键点检测方法、装置、计算机设备和存储介质
KR102263029B1 (ko) 화재 피해를 입은 구조물의 위험도 추정 방법
KR101958725B1 (ko) Mars를 활용한 영상 컬러 맵핑 수행 방법 및 장치
Nair et al. Benchmarking single image dehazing methods
Sekar et al. A Novel SGD-U-Network-Based Pixel-Level Road Crack Segmentation and Classification
CN109961083A (zh) 用于将卷积神经网络应用于图像的方法和图像处理实体