RU2797717C1 - Способ контроля и измерений образцов с помощью оптических средств - Google Patents

Abstract

Изобретение относится к способам исследования и анализа образцов с помощью оптических средств. Техническим результатом является создание способа контроля образцов повышенной точности. Такой результат достигается за счёт того, что осуществляют калибровку контрольно-измерительной установки, получение и обработку изображения, причем производят калибровку внутренних и внешних параметров камеры установки, производят получение изображения образца на видеокамеру при направленном освещении образца, производят обработку изображения путем его сегментации, настройки и ориентирования границы установочной платформы для её идентификации, сегментацию проводят методом фильтра Собеля, адаптивной пороговой обработки и сегментации Оцу, далее объединяют полученные результаты, изображение извлекают и проводят сравнение с базовым образцом посредством сверточной нейронной сети. 1 з.п. ф-лы, 5 ил.

Description

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к способам исследования и анализа образцов с помощью оптических средств, в частности, к способам контроля для обнаружения дефектов образцов (объектов, продуктов, изделий, деталей).

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Широко известны способы выявления дефектов и измерения образцов с помощью оптических средств.

Известен, в частности, способ и устройство для визуального обнаружения штифтов многоштыревого элемента (см. CN 105548203 A, опубл. 04.05.2016) (1). Метод основан на технологии обработки изображений. Устройство включает в себя камеры и источники света в трех разных направлениях, цилиндрическое зажимное устройство, устройство линейного перемещения с винтовым стержнем и лазерный датчик положения. С помощью устройства получения изображения, образованного источниками задней подсветки и камерами в трех направлениях, во взаимодействии с устройством линейного перемещения с винтовым стержнем и двигателем обнаруживаются штифты элемента. Камеры и источники света в двух направлениях получают проецируемые изображения штифтов для анализа и определения того, наклонены ли штифты или нет, а две камеры получают изображения с разных направлений, чтобы гарантировать, что наклон каждого штифта в любом направлении может быть обнаружен; третья камера получает спроецированные изображения штифтов в направлении несовпадения штифтов для анализа и определяет, сломан ли каждый штифт или нет. Способ и устройство, обеспечиваемые изобретением, могут эффективно обнаруживать штифты многоштыревого элемента и подходят для высокоскоростного и высокоточного автоматического оптического контроля в промышленности съемных технологий.

Способ (1) имеет ряд недостатков, такие как, высокая себестоимость установки, обусловленная использованием нескольких высокоточных камер.

Наиболее близким аналогом заявленного устройства, по мнению заявителя является, система контроля изготовленной детали (см. CN110554046 А, опубл. 12.10.2019) (2). Изобретение раскрывает систему и способ обнаружения контактов электронного компонента. Система содержит корпус; устройство получения изображения, которое используется для получения изображения проверяемого электронного компонента, при этом высота устройства получения изображения регулируется в вертикальном направлении; устройство изоляции источника света, в котором устройство получения изображения и подлежащий тестированию электронный компонент расположены в устройстве изоляции источника света; источник света, который используется для дополнения света, когда устройство получения изображения получает фотографии, образец расположен в устройстве изоляции источника света; модуль обработки данных, который используется для получения фотографий проверяемого электронного компонента на различных расстояниях до объекта и создания трехмерной модели проверяемого электронного компонента в соответствии с фотографиями; модуль обработки данных вычисляет индексы обнаружения электронного компонента, который должен быть обнаружен, в соответствии с трехмерной моделью, сравнивает индексы обнаружения с установленным пороговым значением и оценивает, является ли электронный компонент, который должен быть обнаружен, годным или нет.

Предложенный наиболее близкий аналог наиболее близко подходит к решению проблем, решаемых заявленным изобретением, однако, по мнению заявителя, предложенный метод имеет не очень высокую точность.

КРАТКОЕ ИЗЛОЖЕНИЕ ИЗОБРЕТЕНИЯ

Данное изобретение направлено на решение технической проблемы, связанной с увеличением точности проведения контроля и измерения образцов.

Техническим результатом изобретения является создания способа контроля и измерения повышенной точности.

Заявленный технический результат достигается посредством способа контроля и измерения образцов с помощью оптических средств, включающего калибровку контрольно-измерительной установки, получение и обработку изображения, при этом производят калибровку внутренних и внешних параметров, внутренние параметры включают внутреннюю матрицу и параметры искажения, внешние параметры включают в себя преобразование параметров из системы координат камеры в плоскую поверхность, на которой находится образец, посредством размещения калибровочной сетки на плоской поверхности и получения нескольких ее изображений с разных направлений наблюдения, которые задаются в качестве входных данных до оценки всех внутренних параметров и стабилизируются на одном уровне, образцы изображений получают путем удаления камеры из установки и размещения их в различных позициях относительно калибровочной сетки, далее дополнительное изображение калибровочной сетки схватывают после сборки камеры в установочные параметры, при этом для определения внешних параметров используют положение камеры для определения внешней системы координат, заданной для платформы, на которой будет размещен образец; производят получение изображения образца на видеокамеру при направленном освещении образца, при котором образец подсвечивают снизу через прозрачную поверхность платформы, на которой расположен образец и наклонной подсветкой сверху; производят обработку изображения путем его сегментации, настройки и ориентирования границы установочной платформы для ее идентификации, сегментацию проводят методом фильтра Собеля, адаптивной пороговой обработки и сегментации Оцу, далее объединяют результаты сегментации тремя методами, далее изображение извлекают и проводят сравнение с базовым образцом посредством сверточной нейронной сети или автоэнкодера.

В одном из вариантов выполнения автоэнкодер был обучен на изображениях исправных образцов, для оценки вычитают исходный массив входных изображений из заданного на автоэнкодере.

В одном из вариантов выполнения проводят аугментацию изображений.

Вышеупомянутые и другие цели, преимущества и особенности настоящего изобретения станут более очевидными из следующего не ограничивающего описания его примерного варианта осуществления, приведенного в качестве примера со ссылкой на прилагаемый чертеж.

КРАТКОЕ ОПИСАНИЕ РИСУНКОВ

Сущность изобретения поясняется чертежами, на которых:

Фиг. 1 - схематическое изображение направленного освещения образца;

Фиг. 2 - изображение калибровочной сетки на платформе;

Фиг. 3 - образец штифта, подлежащий контролю;

Фиг. 4 схема привязки пространственной системы координат к плоской поверхности;

Фиг. 5 - полученные изображения образца.

Эти чертежи не охватывают и, кроме того, не ограничивают весь объем вариантов реализации данного технического решения, а представляют собой только иллюстративный материал частного случая его реализации.

ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Контроль и измерение, полученных промышленным образом образцов является очень важным процессом в промышленности для исключения образцов, которые не соответствуют требованиям к качеству. Это позволяет избежать неожиданного отказа продуктов на этапе эксплуатации, что может привести значительные потери времени, доходов и производительности для отрасли.

Способ контроля и измерения образцов с помощью оптических средств осуществляется при помощи контрольно-измерительной установки и включает ее калибровку и обработки полученного изображения для точного определения интересующей области и последующего определения требуемого размера с использованием калибровочных данных.

Наиболее важным аспектом установки является направление источника света. Направление освещения может выявить разные особенности одного и того же объекта. Для обеспечения относительной ориентации камеры и источника освещения была разработана специальная установка, показанная на фиг. 1. Установка обеспечивает минимизацию влияния внешнего освещения и создание направленного освещения, подходящего для выполнения поставленной задачи. Светоизлучающая подсветка была закреплена в нижней части установки таким образом, чтобы образец подсвечивался в контровом режиме подсветки. Для удержания использовалась прозрачная поверхность, на которую устанавливается образец, которая также позволяет проходить свету в направлении, параллельном оптической оси камеры. Когда свет проходит через плоскую поверхность, он также показывает внешнюю периферию объекта в деталях. Это позволяет точно сегментировать объект и затем измерить его размеры. Такое направление освещения может не выявить детали поверхности объекта, что требуется при визуальном осмотре на наличие дефектов поверхности. Поэтому, в качестве альтернативы, также можно было использовать рассеянную форму освещения. Освещение был направлено на поверхность контролируемого объекта. Использовалась прозрачная поверхность, чтобы уменьшить эффект зеркальных отражений, когда свет падает на поверхность объекта.

Координаты изображения объекта должны быть преобразованы в координаты реального мира, также эффекты искажения изображения должны быть исправлены. Дополнительно система отсчета, закрепленная на плоскость, на которой лежит объект, используется для вывода трехмерных координат точек в изображение. Эта информация была получена из внешнего параметра, т.е. матрицы вращения и вектора переноса, который определяет систему координат с плоскостью XY, совпадающей с плоскостью, на которой находился объект, как показано на фиг. 2.

Камеру установки перед получением изображения образца калибруют для определения как внутренних, так и внешних параметров. Внутренние параметры включают внутреннюю матрицу и параметры искажения. Внешний параметр включает преобразование из системы координат камеры в плоскую поверхность, на которой находится предмет. Это было сделано путем вставки калибровочной сетки в плоской поверхности (фиг. 2) и получения нескольких ее изображений с разных направлений наблюдения. Различные изображения были получены и даны в качестве входных данных до оценки всех внутренних параметры стабилизировались на одном уровне. Образцы изображений, показанные на фиг. 5, были получены путем удаления камеры из установки и размещения их в разных позах относительно калибровочной сетки. Наконец, дополнительное изображение калибровочной сетки схватывается после сборки камеры в сетап, а внешние параметры определяются использованием конкретной позиции камеры для определения внешней системы координат, заданной на платформе, на которой будет размещен объект. Искажение моделировалось с использованием 3 радиальных и 2 тангенциальных параметров искажения. В основном это использовалось для того, чтобы не искажать входное изображение, чтобы избежать эффекта искажения на изображении, используемом для дальнейшего обработки.

Изображение, полученное с камеры, состоит как из объектов, так и из фона, как видно на фиг. 5. Первоначально объект был сегментирован, после чего была проведена наиболее подходящая и ориентированная граница. Различные способы реализации сегментации имеют свои плюсы и минусы.

Нельзя использовать какой-либо единый подход из-за отсутствия четкого различия между объектом и фоном, поэтому использовалась комбинация следующих методов.

Фильтр Собеля наиболее применим для обнаружения направленных краев на изображениях. Первоначально фильтр был применен для увеличения некоторых краев. Для полученного 2-D изображения матрица бинарного изображения должна быть представлена Is. Матрица свертки должна стремиться к тому, чтобы результирующее изображение состояло из идентифицированных краев как по вертикали, так и по горизонтали направления на изображении. Это изображение отражает характер всего изображения, т.е. в глобальном масштабе или макроскопическом уровне. Операция порогового значения на основе скользящего окна теперь выполнялась в Is, используя среднее значение значений шкалы серого в окне, чтобы получить двумерную матрицуЬзт двоичных значений. Далее морфологическое закрытие и операционные действия OpenCV (2020d) проводились последовательно, используя прямоугольный структурирующий элемент, чтобы избавиться от шумов, которые могут присутствовать в бинарной матрице I_ST. Это было сделано с помощью вертикального и горизонтального выравнивания, таким образом получая матрицы I_stv и I_sth. Для консолидации результаты обеих матриц результирующая матрица была сформирована как:

Адаптивная пороговая установка OpenCV (2020b) полезна для порогового изображения с локальными вариациями внутри изображения. Захваченное изображение подвергается адаптивной пороговой обработке с использованием скользящего окна с использованием средних значений шкалы серого в качестве порога для получения двумерной матрицы I_M. Результат

следующим образом:

Полученное изображение последовательно подвергается морфологическим операциям открытия и закрытия, чтобы очистить шум, чтобы получить 2-D матрицу двоичных значений Imsm. Для этого использовалась структурная матрица. Захваченное изображение подвергается адаптивному порогу еще раз, чтобы получить 2-D матричный Ig с использованием скользящего окна. Пороговое значение представляет собой сумму шкалы серого в пределах окна, взвешенному по значениям из распределения Гаусса. Результат сочетается с

следующим образом:

На этом морфологические операции закрытия и открытия выполнялись последовательно с использованием структурной матрицы квадратной формы для получения I_gsm

Результаты операций адаптивной пороговой обработки были объединены следующим образом:

Перед завершением процесса сегментации последним шагом было пороговое значение с использованием Оцу метод OpenCV (2020 с). Бинаризация Оцу помогает разделить изображение на две части доминирующих регионов на основе максимизации разницы между значениями гистограммы каждой области, края. Однако это часто приводит к тому, что тени также обнаруживаются вместе с объектом, подлежащим обнаружению. Однако, чтобы добавить надежности окончательному подходу, эта информация также использовался для получения признаков, представляющих объект. Пусть Но будет выходом Оцу бинаризации захваченного изображения. Морфологическое закрытие и операция дает изображение

Объединение результатов фильтра Собеля, адаптивной пороговой обработки и сегментации Оцу. окончательное изображение с выступающими краями было получено как:

Извлечение признаков и измерение размеров производят следующим образом. Сегментированное изображение оснащено ориентированной ограничивающей рамкой. Диаметр концов объект известен точно. Поэтому специально проверяется правильность точки обнаружено таким образом, что соответствующее значение диаметра для точки можно использовать в дальнейшем вычислении.

Определение дефектов производят следующим образом. Были использованы автоматические кодировщики и базовая модель CNN.

Автоэнкодеры имеют кодировщик, который пытается обучаться и кодировать данные в меньшую размерность (бутылочное горлышко). Затем мы, декодер, пытается декодировать данные малой размерности на горлышке бутылки в исходную форму ввода. Автоэнкодеры обучали только на изображениях исправных компонентов, чтобы они запоминали только признаки нормальной формы, без дефекта. Для оценки мы вычитаем исходный массив входных изображений из заданного одним из кодировщиков. Это дает расстояние, которое является эталоном, используемым для классификации. Расстояния дефектных изображений и нормальных изображений оказались близки, поэтому модель не смогла классифицировать образцы с хорошей точностью.

Поэтому предпочтительной оказалась базовая модели CNN. В результате обучили наш набор данных на 288 изображениях (70%), проверили на 62 (15%), протестировали на 62 (15%). Модель Basic CNN дала хорошие результаты. Также были использования различные методы аугментации. Увеличение не привело к повышению точности. В перспективе для использования аугментацию для получения лучших моделей, нужно сначала подробно исследовать различные методы увеличения.

Пример:

Образец штифта, подлежащий контролю, показан на фиг. З. Основным измеряемым параметром является длина, которая составляет 25 мм. Наиболее важным фактором контроля является допуск от 24,79 до 25 мм. Были исследованы образцы 10 штифтов. По каждому из них получены данные из 100 изображений. Результаты измерений показали стандарт отклонение 0,1 мм и среднее измеренное значение 24,9 мм для штифтов.

Результаты доказывают, что предлагаемая система позволяет проводить измерения со значительной точностью, т.е. со средней ошибкой 0,12 мм и стандартным отклонением 0,24 мм.

ПРОМЫШЛЕННОЕ ПРИМЕНЕНИЕ

Предложенные устройства предназначены для ряда применений, включающих измерение размеров полученных деталей и обнаружение их дефектов, которые позволят предотвратить поломку конечного продукта на стадии эксплуатации.

Claims (6)

1. Способ контроля образцов с помощью оптических средств, включающий калибровку контрольно-измерительной установки, получение и обработку изображения, отличающийся тем, что

производят калибровку внутренних и внешних параметров камеры установки,

внутренние параметры включают внутреннюю матрицу и параметры искажения, внешние параметры включают в себя преобразование параметров из системы координат камеры в плоскую поверхность, на которой находится образец, при этом для определения внешних параметров используют положение камеры для определения внешней системы координат, заданной для платформы, на которой будет размещен образец;

производят получение изображения образца на видеокамеру при направленном освещении образца, при котором образец подсвечивают снизу через прозрачную поверхность платформы, на которой расположен образец, и наклонной подсветкой сверху;

производят обработку изображения путем его сегментации, настройки и ориентирования границы установочной платформы для ее идентификации, далее объединяют результаты сегментации, полученные тремя методами: методом фильтра Собеля, адаптивной пороговой обработки и сегментации Оцу, далее объединяют результаты сегментации тремя методами, далее изображение извлекают и проводят сравнение с базовым образцом посредством сверточной нейронной сети.

2. Способ по п. 1, отличающийся тем, что проводят аугментацию изображений.

Images