RU2017143910A - Способ и устройство определения местонахождения изнашиваемой детали на изображении рабочего инструмента - Google Patents

Claims (60)

1. Способ определения местонахождения изнашиваемой детали на изображении рабочего инструмента, связанного с тяжелым оборудованием, включающий:

захват, по меньшей мере, одного изображения рабочего инструмента во время работы тяжелого оборудования, при этом изображение содержит множество пикселей, каждый из которых имеет определенное значение яркости;

выбор последовательных подмножеств пикселей из множества пикселей;

обработку каждого подмножества пикселей, чтобы определить, удовлетворяют ли значения яркости пикселей из подмножества пикселей критерию соответствия, указывающему на вероятность того, что подмножество пикселей соответствует изнашиваемой детали;

при этом критерий соответствия основан на обработке помеченного множества обучающих изображений во время обучающего упражнения до захвата, по меньшей мере, одного изображения рабочего инструмента.

2. Способ по п. 1, в котором обработка каждого подмножества пикселей включает, по меньшей мере, одно из следующего: прямую обработку значений яркости пикселей, извлечение признаков пикселей из подмножества пикселей и/или генерирование гистограммы ориентированных градиентов для подмножества пикселей.

3. Способ по п. 1, в котором обработка каждого подмножества пикселей включает обработку каждого подмножества пикселей посредством соответствующего множества входных узлов нейронной сети, при этом каждый входной узел имеет присвоенный ему вес и способен создавать взвешенные выходные сигналы в ответ на принятое значение яркости.

4. Способ по п. 3, дополнительно включающий прием взвешенных выходных сигналов от входных узлов на множестве скрытых узлов нейронной сети, при этом каждый скрытый узел имеет присвоенный ему вес и способен создавать взвешенные выходные сигналы в ответ на взвешенные выходные сигналы, принятые от входных узлов.

5. Способ по п. 4, в котором множество скрытых узлов включает скрытые узлы одного или нескольких слоев, при этом узлы каждого последовательного слоя оперируют выходными сигналами, созданными узлами предыдущего слоя.

6. Способ по п. 5, в котором захват, по меньшей мере, одного изображения включает захват последовательности изображений рабочего инструмента во время работы, при этом один или несколько слоев включают слой памяти, содержащий узлы, способные на основании результатов обработки предыдущих изображений рабочего инструмента конфигурировать нейронную сеть на обработку последовательных изображений рабочего инструмента.

7. Способ по п. 6, в котором обработка помеченного множества обучающих изображений во время обучающего упражнения включает обработку помеченных множеств последовательных обучающих изображений.

8. Способ по п. 4, дополнительно включающий прием взвешенных выходных сигналов от скрытых узлов на одном или нескольких выходных узлах, при этом один или несколько выходных узлов имеют присвоенный им вес и способны создавать взвешенные выходные сигналы в ответ на взвешенные выходные сигналы, принятые от скрытых узлов.

9. Способ по любому из пп. 3-8, в котором определение того, соответствуют ли значения яркости пикселей из подмножества пикселей критерию соответствия, включает определение того, превышают ли взвешенные выходные сигналы контрольное пороговое значение.

10. Способ по п. 3, в котором прием взвешенных выходных сигналов от входных узлов на множестве скрытых узлов включает:

прием взвешенных выходных сигналов от входных узлов на первом множестве скрытых узлов в первом слое; и

прием взвешенных выходных сигналов от первого множества скрытых узлов на втором множестве скрытых узлов во втором слое, при этом каждый из второго множества скрытых узлов имеет присвоенный ему вес и способен создавать взвешенные выходные сигналы в ответ на взвешенные выходные сигналы, принятые от первого множества скрытых узлов.

11. Способ по п. 1, в котором обработка каждого подмножества пикселей включает:

обработку каждого подмножества пикселей с использованием сверточной нейронной сети, имеющей множество слоев, включающих, по меньшей мере, один сверточный слой, сконфигурированный на создание свертки пикселей в каждом подмножестве пикселей;

при этом обработка помеченного множества обучающих изображений включает обработку обучающих изображений, чтобы сконфигурировать сверточную нейронную сеть на реализацию критерия соответствия с целью создания выходных данных классификации пикселей, указывающих, соответствуют ли пиксели из подмножеств пикселей изнашиваемой детали.

12. Способ по п. 11, в котором создание свертки включает создание свертки с использованием разреженного ядра, записи в котором разделены строками и столбцами нулевых значений.

13. Способ по п. 11, в котором создание свертки включает создание свертки с использованием разреженного ядра, записи в котором разделены множеством строк и множеством столбцов нулевых значений.

14. Способ по п. 7, в котором сверточная нейронная сеть содержит слой подвыборки, сконфигурированный на обработку свертки с целью обеспечения множества выходных сигналов подвыборки, при этом каждый выходной сигнал подвыборки основан на значениях, связанных с множеством пикселей в свертке.

15. Способ по п. 14, в котором в слое подвыборки реализован один из методов, включающих максимизирующую подвыборку, усредняющую подвыборку и стохастическую подвыборку.

16. Способ по п. 11, дополнительно включающий передискретизацию изображения с целью создания передискретизированного множества пикселей, при этом обработка с использованием сверточной нейронной сети включает обработку передискретизированного множества пикселей, а сверточная нейронная сеть сконфигурирована на реализацию критерия соответствия с использованием соответствующим образом передискретизированного множества обучающих изображений.

17. Способ по п. 16, в котором передискретизация данных пикселей включает, по меньшей мере, одно из следующего: повышающую дискретизацию изображения и понижающую дискретизацию изображения с целью создания передискретизированного множества пикселей.

18. Способ по любому из пп. 11-17, в котором захват, по меньшей мере, одного изображения включает захват последовательности изображений рабочего инструмента во время работы, а сверточная нейронная сеть содержит, по меньшей мере, один слой памяти, способный на основании результатов обработки предыдущих изображений рабочего инструмента конфигурировать нейронную сеть на обработку последовательных изображений рабочего инструмента с целью создания выходных данных классификации пикселей для последовательности изображений.

19. Способ по п. 18, в котором обработка помеченного множества обучающих изображений во время обучающего упражнения включает обработку помеченных множеств последовательных обучающих изображений.

20. Способ по п. 1, в котором помеченное множество изображений содержит множество изображений, которые были помечены пользователем.

21. Способ по п. 1, в котором множество обучающих изображений содержит множество изображений, которые были помечены компьютерным методом.

22. Способ по любому из пп. 1-21, в котором обучающие изображения включают:

изображения различных примеров изнашиваемой детали, помеченные как содержащие изнашиваемую деталь; и

другие изображения, помеченные как не содержащие изнашиваемую деталь.

23. Способ по п. 1, в котором выбор последовательных подмножеств пикселей из множества пикселей дополнительно включает:

обработку множества пикселей, чтобы определить, присутствует ли на изображении рабочий инструмент; и,

если рабочий инструмент присутствует на изображении, ограничение множества пикселей пикселями в пределах представляющий интерес области, в которую входит рабочий инструмент, до выбора последовательных подмножеств пикселей из множества пикселей.

24. Способ по п. 23, в котором обработка множества пикселей, чтобы определить, присутствует ли на изображении рабочий инструмент, включает:

выбор, по меньшей мере, одного подмножества пикселей из множества пикселей;

обработку, по меньшей мере, одного подмножества пикселей, чтобы определить, удовлетворяют ли значения яркости пикселей, по меньшей мере, из одного подмножества пикселей критерию соответствия рабочему инструменту, указывающему на вероятность того, что рабочий инструмент находится в пределах, по меньшей мере, одного подмножества пикселей,

при этом критерий соответствия рабочему инструменту основан на обработке помеченного множества обучающих изображений во время обучающего упражнения до захвата, по меньшей мере, одного изображения рабочего инструмента.

25. Способ по п. 1, в котором выбор последовательных подмножеств пикселей из множества пикселей включает одно из следующего:

выбор последовательных подмножеств пикселей, имеющих фиксированный заданный размер; и

вычисление размера подмножества пикселей на основе захваченного изображения.

26. Способ по п. 1, в котором критерий соответствия содержит множество значений весов, соответствующих пикселям из подмножества пикселей, а обработка каждого подмножества пикселей включает:

вычисление произведения яркости пикселя и соответствующего значения веса для каждого пикселя из подмножества пикселей с целью определения взвешенного выходного сигнала пикселя; и

определение того, удовлетворяет ли подмножество пикселей критерию соответствия путем определения того, превышает ли комбинация взвешенных выходных сигналов подмножества пикселей пороговое значение.

27. Способ по п. 26, в котором определение того, превышают ли взвешенные выходные сигналы подмножества пикселей пороговое значение, включает:

объединение определенных взвешенных выходных сигналов подмножества пикселей; и

определение того, превышает ли объединенный взвешенный выходной сигнал пороговое значение.

28. Способ по п. 1, в котором захват, по меньшей мере, одного изображения включает захват множества изображений рабочего инструмента во время работы тяжелого оборудования, а выбор и обработка подмножеств пикселей из множества пикселей выполняется для каждого изображения, при этом способ дополнительно включает определение того, удовлетворяют ли значения яркости пикселей из подмножеств пикселей критерию соответствия на последовательных изображениях из множества изображений

29. Способ по п. 1, в котором захват, по меньшей мере, одного изображения включает захват, по меньшей мере, одного изображения с использованием датчика изображений, имеющего чувствительность к волнам, по меньшей мере, в видимом спектре или инфракрасном спектре.

30. Способ по п. 1, дополнительно включающий определение размерного признака изнашиваемой детали.

31. Способ по п. 30, дополнительно включающий определение, по меньшей мере, одного из следующего:

является ли состояние изнашиваемой детали удовлетворительным на основании на заранее заданных критериев; и

прогнозирование времени отказа изнашиваемой детали на основании скорости износа изнашиваемой детали с течением времени.

32. Устройство определения местонахождения изнашиваемой детали на изображении рабочего инструмента, связанного с тяжелым оборудованием, содержащее:

датчик изображений для захвата, по меньшей мере, одного изображения рабочего инструмента во время работы тяжелого оборудования, при этом изображение содержит множество пикселей, каждый из которых имеет определенное значение яркости;

цепь обработки, сконфигурированную на:

выбор последовательных подмножеств пикселей из множества пикселей; обработку каждого подмножества пикселей, чтобы определять, удовлетворяют ли значения яркости пикселей из подмножества пикселей критерию соответствия, указывающему на вероятность того, что подмножество пикселей соответствует изнашиваемой детали;

при этом критерий соответствия основан на обработке помеченного множества обучающих изображений во время обучающего упражнения до захвата, по меньшей мере, одного изображения рабочего инструмента.

33. Устройство по п. 32, в котором датчиком изображений является датчик изображений, имеющий чувствительность к волнам, по меньшей мере, в видимом спектре или инфракрасном спектре