KR20230133315A - 생산 라인에서 이동중인 요소에 대한 시각 검사 - Google Patents

Abstract

본 발명은 다음 사항을 포함하는 시각 검사 방법에 관한 것이다:
- 제1 비디오 시퀀스(SV1)의 제1 획득(S0);
- 상기 제1 비디오 시퀀스(SV1)로부터 수행되는 제1 이미지(I1)의 제1 추출(S1);
- 상기 제1 이미지(I1) 상에서 트리거 요소(TRI) 및 검사 요소(E) 선택(S2); 및
- 참조 특징 벡터(V_REF)를 학습하여 적합성 테스트를 생성(S3);
- 제2 비디오 시퀀스(SV2)에서 상기 트리거(TRI)의 실시간 인식(S5);
- 제2 이미지(I2)에서 상기 검사 요소(E)의 특징 벡터(V_E)의 결정(S8); 및
- 적어도 하나의 상기 검사 요소의 특징 벡터(V_E)를 상기 참조 특징 벡터(V_REF)와 비교하는 상기 적합성 테스트를 적용하여 적합성 레벨 확인(S9).

Description

생산 라인에서 이동중인 요소에 대한 시각 검사

본 발명은 산업 환경에서의 품질 관리 분야에 관한 것으로, 특히 생산 라인의 제작 과정에서 이루어지는 상품의 시각 검사에 대한 솔루션에 초점을 맞추고 있다.

본 발명의 목표 중 한 가지는 산업 환경에서 생산 라인의 시각 검사 시스템을 간단하고 빠르게 구축하는 것이다.

본 발명의 첨부된 설명에서 사용된 "생산 라인"은 상품을 제조하기 위해 필요한 제작 과정의 일부 또는 전체를 포함하는 라인이나 공정을 의미하다. 따라서 제작중인 상품은 이 생산 라인의 한 스테이션에서 다음 스테이션으로 컨베이어, 컨베이어 벨트 또는 이에 준하는 장치를 통해 이동된다.

산업 품질 프로세스는 종종 상당히 제한적이며, 이는 특히 자동차 부문에서 그러하다.

그렇기에, 품질 작업에 있어서 자동화된 시각 검사 시스템의 사용은 중요하다. 시각 검사는 관례적으로 생산 라인을 통해 이동하는 물건의 속성을 측정하기 위해 사용되는 자동화된 이미지 분석 방법에 의존한다.

머신 비전을 사용하는 검사는 높은 생산 라인 처리량과 조기 결함 감지를 수행할 수 있다.

또한 인간 조작자와 달리, 성능에 영향을 미칠 수 있는 피로, 질병 및 스트레스가 없는 머신 비전 시스템은 작업에 좀 더 일관적인 경향이 있다.

그렇기 때문에, 점점 더 산업체들은 산업 성능은 유지하면서 생산 라인에서 나가는 부품의 적합성과 품질 요구 사항에 대한 고객의 요구를 모두 보장시킬 수 있는 시각 검사 시스템을 찾고 있다.

오늘날 업계에는 사용 가능한 다양한 시각 검사 방법이 존재한다.

생산 라인에서 자주 사용되는 사용하는 최첨단 기술의 시각 검사 시스템은 생산 라인에서 움직이는 대상이 포함된 복수의 카메라 캡처 이미지를 사용한다. 이 이미지들은 결함 확인을 위해 이미지 처리 알고리즘에 의해 분석된다.

이 시스템은 여러 대의 카메라를 사용하여 생산 라인을 통해 이동하는 대상의 사진을 찍은 다음 이미지 처리 알고리즘으로 분석하여 결함을 찾는다.

마찬가지로, 문서 US2013070113 A1에서도 복수의 카메라를 사용하는 정교한 머신 비전 시스템을 제시하고 있다. 이같은 시스템은 각각의 카메라가 정의된 시야로 대상의 특정 영역 이미지를 독립적으로 캡처하기 때문에 고해상도 이미지 생성이 가능해진다. 그 후, 시스템은 획득한 모든 이미지를 결합하여 대상 전체를 표시한다.

그러나 이러한 시스템을 구축하는 것은 매우 어렵고 비용도 많이 든다. 또한 전문 운영자를 배치하는 데 매우 오랜 시간이 걸리며 상당히 많은 시스템 리소스을 필요로한다.

US2013070113A1 문서에 소개된 기술은 매우 정교하지만 반도체 시각 검사를 위해 사용하는 전자업체 같은 부문의 산업체에 맞춰져 있다.

또한 하나의 카메라로 찍은 여러 대상의 사진을 기반으로 분석하는 것이 특징인 컴퓨터 비전 시스템을 제시한 US6175652B1 문서와 여러 시야에서 부품을 계산하도록 구성된 단일 카메라 제어 시스템에 중점을 두고 있는 US6483935B1 문서도 알려져 있다.

이러한 문서들에서 제시된 머신 비전 시스템들은 상대적으로 비용이 덜 들고 자동차 부품 검사를 비롯한 다양한 작업에도 적합하다.

그럼에도, 이러한 시스템의 설치는 여전히 힘들고 복잡하기 때문에 숙련된 조작자의 도움이 필요하다.

따라서, 종래의 알려진 최첨단의 다양한 기술들은 완전히 만족스러운 것이 아니며 매우 긴 계산 시간과 길고 복잡한 설치, 더불어 상당한 시스템 리소스를 요구한다.

본 발명은 위에 설명한 상황들을 개선할 수 있도록 제안되었다.

본 발명은 위에 언급된 다양한 기술적 문제 중 적어도 하나 이상을 개선하기 위해 기계 학습을 통한 시각 검사를 제안한다.

제1 양태에서 본 이 발명의 목적은 생산 라인에서 이동하는 요소의 시각 검사에 관련한다.

본 발명에 따르면, 프로세스는 정보처리 기술에 의해 아래의 단계들을 구현하는 것으로 수행된다.

1) 사전 학습 단계에서:

- 시야에 생산 라인을 포함하기 위해 미리 결정한 검사 포인트에 따라 배치한 카메라를 사용하여, 첫 번째 비디오 시퀀스의 학습 순간에 이루어진 첫 번째 획득하는 단계;

- 첫 번째 비디오 시퀀스로부터 적어도 하나 이상의 제1 이미지의 첫 번째 추출하는 단계;

- 적어도 하나의 제1이미지에서 최소 하나 이상의 트리거 요소 및 적어도 하나의 검사 요소로부터 이루어지는 선택하는 단계; 및

- 최소 한 개의 참조 특징 벡터가 있는 검사 요소를 포함하는, 적어도 한 개의 제1 이미지를 생성하여 적합성 테스트를 생성하는 단계를 포함하고, 상기 참조 특징 벡터는 참조 요소를 나타내는 특징 값 세트를 포함한다.

2) 생산 단계에서:

- 결정된 검사 포인트에 따라 배열된 카메라를 사용하여 두 번째 비디오 시퀀스를 학습한 후 학습 순간 이후 현시점에서의 두 번째 획득하는 단계;

- 트리거 신호를 생성하기 위해 두 번째 비디오 시퀀스의 하나 이상의 트리거 요소를 실시간으로 감지하는 단계;

- 트리거 신호를 수신한 후, 적어도 하나의 트리거 요소 및 적어도 하나의 제2 이미지의 분석을 포함하는, 최소 한 개 이상의 제 2 이미지의 두 번째 비디오 시퀀스에서 검사할 하나 이상의 요소를 위해 이루어진 두 번째 추출하는 단계;

- 검사할 하나 이상의 요소를 위해 특징 벡터를 선택하는 단계; 및

- 하나 이상의 검사 요소의 특징 벡터와 참조 특징 벡터의 비교하는 적합성 테스트를 통해 적합성 정도를 확인하는 단계를 포함한다.

기계 학습(Machine Learning) 타입 AI 방식에 따른 적합성 테스트를 구축하면서 첫 번째 단계에서 이상 탐지를 자동화할 수 있는 학습 기술이 가능한 것은 본 발명의 특징적인 일련의 기술 프로세스 덕분이다.

이 방법은 기술 전문 지식 없이도 산업 환경에서 구현할 수 있다. 특히 기계 학습, 비디오 또는 컴퓨터 과학에 대한 이해가 없어도 가능하다. 또한 과거의 많은 첨단 기술과 달리, 이 솔루션은 생산 라인의 중단 없이 사용할 수 있다.

이 기술의 작동을 위해 인터넷 연결이 필요하지 않다는 점도 중요하다.

또한 새 이미지를 추가하고 모델을 재학습함으로써 이 학습 단계를 언제든지 반복할 수 있으므로, 특성 벡터를 업데이트하여 최신 적합성 테스트를 수행할 수 있다는 점에도 주목해야 한다.

적합성 테스트의 생성에서, 첫 번째 비디오 시퀀스에서 적어도 하나의 검사 항목 추적과 복수의 검사 항목 수집을 위해, 하나 이상의 검사 요소의 특징점을 추적한다는 이점이 있다.

적합성 테스트의 생성은 복수의 검사 요소에 대한 학습에 의해 수행된다는 이점이 있다.

제1 이미지의 정규화가 적합성 테스트 생성 프로세스의 일부라는 이점이 있다.

적합성 테스트의 생성에는 복수의 결정된 디스크립터에 따라 적어도 하나의 검사 요소에 대한 의미론적 분석을 포함한다는 이점이 있다.

따라서, 참조 특징 벡터에는 이미지의 의미예: 모양, 질감 등를 나타내는 값이 포함된다.

컴플라이언스 테스트의 생성은 적어도 하나의 클러스터또는 클래스를 결정하기 위해 각 특징 벡터의 특성 값의 기계 클러스터링("supervised clustering")을 포함한다는 이점이 있다.

적합성 테스트의 생성은 특징 벡터와 각 클러스터의 중심 사이의 거리의 함수로서 유사성 점수의 계산을 포함한다는 이점이 있다.

첫 번째 추출에는, 터치 그래픽 인터페이스상에 첫 번째 비디오 시퀀스를 디스플레이하고 인터페이스와 수동으로 상호 작용함으로써 적어도 하나의 제1 이미지를 선택하는 것이 포함된다는 이점이 있다.

이러한 선택은 터치 그래픽 인터페이스상의 제1 비디오 시퀀스의 디스플레이하거나

간단한 그래픽 인터페이스를 사용하여 수행할 수도 있다.

트리거 요소를 선택하는 프로세스에 제1 이미지 중 적어도 하나에서 관심 영역을 수동으로 선택하는 것이 포함되어 있는 이점이 있다.

위의 방법 대신에 간단한 그래픽 인터페이스를 사용하여 선택하는 방법도 있다.

한편, 검사 요소를 선택하는 프로세스는 트리거 요소에 해당하는 관심 영역에서 관심 하위 영역의 두 번째 선택을 포함하며, 이는 인터페이스와 수동으로 상호 작용하여 수행된다. 마찬가지로 이 선택 역시, 간단한 그래픽 인터페이스를 사용하여 할 수 있다는 것을 알 수 있다.

터치 그래픽 인터페이스를 사용하면 사용자가 터치 스크린을 통해 제어할 이미지, 트리거 및 요소를 직관적으로 선택할 수 있으므로 사용자 경험이 향상된다.

적합성 레벨 확인에서 이상이 발견된 경우, 경고 신호를 발생한다는 이점이 있다.

제2 양태에 따르면, 본 발명의 목적은 발명의 첫 번째 측면에 따른 프로세스의 시행 단계를 위해 설정된 명령을 포함하는 컴퓨터 프로그램에 관한 것이다. 이 컴퓨터 프로그램은 최소 하나의 프로세스에 의해 가동된다. 이러한 컴퓨터 프로그램은 임의의 프로그래밍 언어로 작성될 수 있으며 부분적으로 컴파일된 형태 또는 원하는 다른 형태로, 소스 코드, 목적 코드 또는 소스 코드와 목적 코드 사이의 중간 코드의 형태를 취할 수 도 있다.

제3 양태에서 본 발명의 목적은, 본 발명의 첫 번째 관점의 기술의 단계를 수행하기 위한 명령이 포함된 컴퓨터 프로그램이 저장된 컴퓨터에 의해 판독 가능한 기록 매체에 관련한다.

기록 매체는 프로그램을 저장할 수 있는 모든 대상 또는 장치로, ROM 메모리, CD-ROM 또는 마이크로 전자 회로 유형의 ROM 메모리, 심지어 자기 기록 장치 또는 하드 디스크와 같은 저장 수단이 매체에 포함될 수 있다.

다른 한편으로, 이 기록 매체는 전기 또는 광학 케이블, 기존 또는 헤르츠 라디오, 자기 지향 레이저 빔 또는 기타 수단에 의해 전송될 수 있는 전기 또는 광신호와 같은 전송 가능한 매체일 수도 있다. 본 발명에 따른 컴퓨터 프로그램은 특히 인터넷형 네트워크로부터 다운로드 할 수 있다.

대안적으로, 기록 매체는 컴퓨터 프로그램이 통합된 집적 회로일 수도 있는데, 이 직접회로는 해당 방법의 실행에 사용되거나 적합하다.

제4 양태에 따른 본 발명의 목적은, 생산 라인에서 이동하는 요소의 시각 검사를 위한 컴퓨터 시스템에 관한 것으로, 이 시스템에는 전술한 방법의 프로세스를 구현하도록 구성된 정보처리 수단이 포함되어 있다.

제5 양태에 따른 본 발명의 목적은 전술한 바와 같은 시각 검사 정보처리 시스템이 포함된 캐리어에 관련되어 있다.

따라서, 조작자는 위에 언급한 다양한 기능적 및 구조적 기술적 특징 덕분에 자신이 작업하는 산업 환경에 대한 사전 지식 없이도 몇 분 안에 배치할 수 있는 사용하기 쉬운 장비를 갖게 되는 것이다.

본 발명의 내용에 포함됨.

도 1은 본 발명의 실시예에 따른 기술의 다양한 단계를 나타내는 흐름도를 나타낸 것이다.　
도 2는 본 발명의 실시예에 따른 시각 검사 시스템의 개략도를 나타낸 것이다.

본 발명의 실시예에 따른 시각 검사 시스템이 포함된 여행 캐리어 및 관련 기술은 도 1 및 도 2를 참조하여 뒤에 설명할 것이다.

여기에 설명된 예시는 도 2와 같이 생산 라인(LP)을 이동하는 제조 부품(여기서는 대상라고 함)에 대한 시각 검사가 필요한 자동차 부문의 고전적 케이스이다.

여기에서는, 생산 라인(LP)을 이동하는 제작중인 자동차에 대한 품질 관리가 필요하다. 특히, 백미러 또는 휠 림의 이상 징후를 조기에 감지하는 것이 중요하다.

이것은 순전히 예시를 위한 상황일 뿐이며, 본 발명에서는, 다른 유형의 부품 및/또는 다른 산업에 이점을 가져다주는 적용 예도 찾을 수 있다는 점을 이해해야 할 것이다.

이러한 맥락에서 목표 중 하나는, 산업체에 완전히 자율적으로 품질 관리 및 규정 준수를 지원할 수 있는 솔루션을 제공하는 것, 특히 자동차 산업체에 배치가 쉽고 전문적인 운영자의 개입이 없이도 수행 할 수 있는 시각 검사 도구를 제공하는 것이다.

이어지는 예를 보면, 생산 라인(LP)에서 이동하는 제품에 대한 이상 자동 감지는 본 발명의 맥락에서 제안된 캐리어(200) 덕분에 가능해진다.

여기, 캐리어(200)의 예시가 있다.

이러한 휴대용 캐리어(200) 의 작동은 간단하다. 이를 통해 시스템(100)의 모든 구성 요소를 조작자가 생산 라인(LP)을 검사를 위한 자신의 검사 포인트((PC)를 설정하고 싶은 정확한 위치로 쉽게 이동할 수 있다.

전술한 바와 같이, 이 캐리어(200)에는 본 발명이 적절하게 구현할 수 있도록 해주는 시스템(100)의 다양한 기술 및 정보처리 기능이 포함되어 있다.

이를 위해 시스템(100)에는 다음 항목들이 포함된다:

- 이미지 캡처 수단(여기에서는 카메라(10)라고 함);

- 이미지 처리 회로(50);

- 그래픽 인터페이스(30), 가능하면 디지털 태블릿 유형과 같이 터치 기능이 가능한 인터페이스(30);

- 적어도 하나의 프로세스(40); 및

- 시각적 및/또는 청각적 신호를 방출할 수 있는 글래스 유형 경고 수단(60).

또한 시스템(100)은 무선 주파수, 3G, 4G 또는 5G(또는 이에 준하는) 무선 통신을 설정하거나 Wifi®, Bluetooth®, ZigBee®, RFID.와 같은 다른 기술을 배치할 수 있는 통신 인터페이스(70)를 포함한다는 점을 기억해야 한다.

이러한 인터페이스는 태블릿(30) 및 필요한 경우 카메라(10)와의 연결을 가능하게 해준다.

프로세스(40)는 임베디드 소프트웨어의 명령을 실행하도록 설정된다.

프로세스(40)에는 일체형 메모리, 입력/출력 인터페이스 및 숙련된 기술자들에게 잘 알려져 있는 다양한 회로를 포함할 수 있다. 또한, CPU, GPU, TPU, FPGA 또는 기타 유형의 프로세스(또는 마이크로프로세스)일 수도 있다. 다음은 해당 분야의 숙련 기술자들이 사용할 수 있는 구현 예이다.

이 예시처럼, 대상에 대한 사전 지식이나 네트워크 연결이 필요하지 않다는 점은 본 기술이 지닌 다양한 이점 중 하나이다.

이러한 이점을 달성하기 위해, 본 발명의 컨셉은 생산 라인(LP)을 따라 이동하는 다양한 제품의 이상을 실시간으로 정확하고 자동으로 감지하는 AI 관련 기술 활용을 기반으로 한다.

따라서, 본 발명의 맥락에 따른 학습 단계(P0)를 제공한다.　

P0 단계 동안, 조작자는 캐리어(200)를 가지고 산업 환경을 돌아다니며 검사할 생산 라인(LP) 근처에 위치한다.

그런 다음 캐리어(200)를 열어 시스템(100)의 모든 구성 요소에 액세스한다.

조작자는 이 캐리어(200)에, 예를 들어 고해상도 카메라(10)를 배치하고 카메라(10)의 시야가 생산 라인(LP)을 포함하도록 미리 결정된 검사 포인트(PC)에 따라 카메라를 배치한다.

그런 다음 조작자는 첫 번째 비디오 시퀀스(SV1)의 첫 번째 획득(S0)을 시작하면서, 정해놓은 학습 순간에 학습 단계(P0)를 시작한다.

이 첫 번째 비디오 시퀀스(SV1) 다음에는 생산 라인(LP)을 따라 이동하는 다양한 대상를 나타내는 이미지 스트림이 이어진다.

이미지 품질을 향상시키기 위해 선명도, 밝기 및/또는 해상도를 옵션 방식으로 제공할 수 있다. 이는 특정 산업 환경, 특히 밤낮으로 가동되고 조명이 종종 열악한 산업의 생산 라인에서 유용하게 쓰일 수 있다.

여기에서 그래픽 인터페이스가 이미지의 품질(다양한 빛 또는 이에 준하는 장치)을 제어(연속적으로 또는 불연속적으로) 할 수 있는 이미지 처리 수단을 비롯하여, 조기에 이상을 감지하고 모호성을 제거한다는 점에 주목해야 한다. 이에 따라, 이상이 발생하면 경고 신호가 방출된다. 모호성 제거도 마찬가지이다.

이 첫 번째 시퀀스(SV1)는 휘발성 및/또는 비휘발성 메모리 유형의 저장 수단(20) 및/또는 EEPROM, ROM, PROM, RAM, DRAM, SRAM, 플래시, 자기 또는 광학 디스크와 같은 휘발성 및/또는 비휘발성 메모리를 포함할 수 있는 메모리 저장 장치에 저장된다.

이 예시에서, 조작자는 단계(S1)로부터 적어도 제1 이미지(I1)를 추출하기 위해 태블릿(30) 상에 이 첫 번째 비디오 시퀀스(SV1)를 태블릿(30)에 디스플레이한다.

이 추출(S1)은 이미지의 흐름을 분석하고 정해진 품질 기준(예　: 선명도 등)에 따라 하나 이상의 이미지를 선택하는 소프트웨어에 의해 자동으로 수행될 수 있다.

이렇게, 조작자는 그의 태블릿(30)에 생산 라인(LP)에서 이동하는 하나 이상의 대상을 포함한 이미지(I1)를 디스플레이한다.

여기에서 말하는 대상이란, 제조된 제품 또는 제조 과정에 있는 제품(여기서는 제조 중인 자동차)을 의미한다.

S1을 추출한 이미지(I1)에서 트리거 요소(TRI)와 검사할 요소(E)를 선택해야 하는데,

이 선택 단계(S2)는 태블릿 매체(30)를 통해 수행된다:

조작자는 인터페이스(30)와 수동으로 상호 작용하면서 트리거에 해당하는 관심 영역인 S2_1를 제1 이미지(I1) 상에서 선택한다.

S2_1의 선택은 가령, 트리거(TRI)가 포함되어 있는 태블릿 화면에 손가락으로 프레임을 그림으로써 수행한다.

예시에서 말하는트리거(TRI)는 검사할 요소에 항상 존재하는 대상 또는 대상의 일부에 해당하다. 여기에서는 예를 들면, 자동차의 앞부분이나 바퀴가 이에 해당될 수 있다.

이어지는 설명을 보면 알 수 있듯이, 이러한 트리거(TRI)를 사용하면 생산 단계P1에서 이미지 캡처 및 분석을 시작할 수 있다.

트리거(TRI)가 제1 이미지(I1)에서 선택되면, 조작자는 검사할 요소(E), 예를 들면 백미러 또는 림에 해당하는 관심 하위 영역(S2_2)을 선택한다.

트리거(TRI) 대상은 검사 요소(E)가 아니어야 한다. 검사할 요소(E)가 없거나 비정상인 경우에도 이미지 캡처가 트리거되는 것이 바람직하기 때문이다.

같은 방식으로 이 선택(S2_2)은 화면상에서 이전에 선택한 관심 영역 내에서 검사할 요소가 포함된 프레임을 손가락으로 그림으로써 수행한다.

트리거(TRI)와 검사 요소(E)를 선택하는 개념은 생산의 P1 단계에서 알고리즘의 견고함을 향상시키고 처리 시간 및 정보처리 리소스를 줄이는 데 바람직하다.

이 선택(S2)이 이루어진 후, 적합성 테스트의 생성(S3)이 이어진다. 이러한 적합성 테스트 생성은 본 발명의 구별되는 특징이다. 이는 머신 러닝 타입의 기계 학습 기술을 통해 이루어지는데, 이러한 기계 학습은 시스템(100)에 포함되며 캐리어(200)에 통합되어 있는 이미지 처리 수단(50)에 결합된 프로세스(40)에 의해 구현된다.

이 작업에 인터넷 연결이나 원격 호스트는 필요하지 않다.

적합성 테스트 생성(S3)에는 검사 요소(E)의 특징점에 대한 트래킹이 포함되어 있다. 복수의 검사 요소를 수집하기 위해, 트래킹은 제1 비디오 시퀀스(SV1)에서 검사 요소(E)를 겨냥하고 추적한다.

이 트래킹 기술에 의해, 복수의 검사 요소(E)에 대한 학습을 통한 적합성 테스트 생성 단계(S3)의 수행이 가능해진다. 그 다음, 프로세스는 동일한 비디오 시퀀스(SV1)에서 복수의 검사 요소(E)를 수집할 수 있으므로 단일 시퀀스에서 견고한 테스트를 하기에 충분한 데이터를 확보할 수 있다.

이러한 견고함을 높이기 위해 제1 이미지(I1)의 정규화를 수행할 수 있다.

그런 다음, 디스크립터 목록에 따라 검사 요소의 의미론적 분석을 위해 제1 이미지(I1)를 "특징" 유형의 디스크립터 목록으로 변환한다. 적합성 테스트 생성은 각 참조 요소의 대표적인 특징 값 세트가 포함된 참조 특징(V_REF) 값의 각 검사 요소들로부터 생성된다.

다음으로, 적어도 하나의 클러스터(또는 클래스)를 결정하기 위해 각 특징 벡터의 특징 값이 기계 클러스터링 되고, 이후 유사성 점수는 특징 벡터와 각 클러스터의 중심 사이의 거리의 함수로 계산된다.

따라서, 이미지에 대한 결과는 다양성에 해당하는 유사성 점수의 목록이다 (빨간색 백미러 95%, 파란색 백미러 0%). 이 점수의 임계값이 설정되고 (경험적으로 기본 80%) 그 이하에서 발견된 클래스는 명목으로 간주될 수 없다. (예: 빨간색 백미러 32%, 파란색 백미러 1%: 불량, 충분히 인식하지 못한다.)

그런 다음 유사성 지수는 사람들이 "인간적"이고 직관적인 방식으로 결과를 파악할 수 있도록 만든 점수로 표시된다.

여기에서 광역 임계값이 각 클래스에 적용됨을 이해할 수 있다. 검사 요소의 각 분석을 위해, 그리고 발견된 클래스와는 독립적으로, 유사성 점수가 광역 임계값 미만이면 경보가 발생하다. 클래스별 임계값을 사용하면 검사 포인트의 각 클래스에 대한 임계값 정의를 구체화할 수 있다. 이처럼, 각 분석에 있어서 유사성 점수가 감지된 클래스 임계값 미만이면 경고가 발생한다.

각 임계값 아래의 표는 혼동 행렬인데, 변동이 혼동 행렬의 내용을 수정하기 때문에 임계값을 정의하기가 더 쉽다.

이렇게 다양하고 빠르게 구현되는 단계를 통해 학습 단계에서 적합성 테스트를 생성한 후, 생산 단계(P1)에서 검사할 요소의 적합성 레벨을 자동으로 제어하며 이후 생산 라인에서 발생할 수 있는 이상을 감지할 수 있다.

이 단계P1는 이 사전 학습 단계(P0) 덕분에 즉석 처리로 수행된다.

더 구체적으로, 이 단계(P1)는 학습 순간이 이루어진 후 현재 순간에 두 번째 비디오 시퀀스(SV2)의 두 번째 획득(S4)으로 구성된다.

여기서, 카메라(10)는 획득(S4)을 수행하기 위해 검사 포인트(PC)에 따라 배치된다.

이 두 번째 비디오 시퀀스(SV2)에 수행된 이미지 처리는 S5가 트리거 요소(TRI), 가령, 차량의 앞부분이나 바퀴를 실시간으로 식별하기 위한 것이다.

여기서 우리는 이 트리거(TRI) 인식을 위한 "이미지 인식" 타입의 이미지 처리 알고리즘의 구성을 제공한다.

일단 트리거가 감지되고 나면, 프로세스는 단계(S6) 동안 이 제2 비디오 시퀀스(SV2)로부터 복수의 제2 이미지(I2)를 추출하는 방식의 이미지 처리 회로50를 활성화시키는 트리거 신호(SD)를 생성하고; 트리거 요소(TRI)(예: 자동차 앞부분 또는 자동차 바퀴)를 각각 포함하는 하나 또는 복수의 제2 이미지는 검사 요소(E)(거울 또는 림)를 감지하기 위해 이미지 처리를 통해 분석(S7)된다.

그 다음에는 각각의 검사 요소(E)에 대한 특징 벡터(V_E)가 결정되어, 단계( S9)에서 각 요소의 특징 벡터(V_E)를 비교하여 적합성 테스트를 적용함으로써 적합성 레벨을 확인하는 것이 가능하다.

이상(결정된 임계값보다 큰 거리)이 감지된 경우, 생산 라인의 작업자에게 경고하기 위해 글래스(예　: 회전 경보)에서 시각 및/또는 청각 신호를 방출하는 방식의 경고 수단(60)을 위해 경고 신호(SA)의 생성을 위한 준비가 이루어진다.

따라서 본 발명의 캐리어(200)는 특히 조립 라인, 컨베이어 및 트레드밀을 포함하는 산업 환경에서 시각에 의한 자동 제어 솔루션의 배치를 가능하게 해준다. AI 학습 기술을 활용한 이 캐리어(200)에 내장된 시스템(100)은 인체 공학적이며 사용이 쉽기 때문에 다른 최첨단 솔루션과 달리, 전문 조작자의 개입 없이도 30분 이내에 산업적 시각 분석을 생성하고 배포할 수 있다.

본 발명의 맥락에서 제안된 캐리어(200)은 사실상, 생산 라인의 자동화된 이미지 분석(선택적 어셈블리 감지 및/또는 분석(예: 분류, 결함 감지)) 시스템(100)을 쉽고 빠르게 설정하기 위해 필요한 모든 기술 및 컴퓨터 도구를 제공하며 .프로그래밍, 컴퓨터 코딩, 과학적 매개변수화 또는 산업 환경에 대한 사전 기술 지식이 필요하지 않다.

또한, 감지하기 어려운 이상을 식별하는 특정 적합성 테스트를 수행하기 위해 미리 준비된 적합성 테스트를 다운로드 할 수 있도록 제3자 서버와의 연결이 계속 유지된다는 점에도 주목해야 한다.

여기에서는 물론, 캐리어(200)의 시스템(100)은 재충전 할 수 있는 배터리 타입의 전원 공급 수단(여기에는 도시되지 않음)을 포함할 수 있다. 주 전원 공급 장치용 전원 케이블도 제공될 수 있다.

카메라(10)은 POE 타입 이더넷 케이블 또는 통신 인터페이스(70)로 시스템(100)에 연결된다.

이 상세 설명은 본 발명 실시에 대한 특정 예시이며, 어떠한 경우에도 본 발명의 목적에 제한적인 성격을 부여하지 않는다는 점에 주의해야 하다. 오히려, 이 설명은 뒤에 이어질 청구에 관해 가질 수 있는 온갖 모호함이나 잘못된 해석을 없애는 것에 그 목적을 두고 있다. 다음 청구범위에서 괄호 사이에 배치된 참조 기호는 어떤 식으로든 결코 제한적이지 않다는 점에 주의해야 하다. 이들 기호의 목적은 연구 보호를 비롯하여 다음의 청구 범위에 대한 명료성과 이해를 향상시키기 위한 것이 유일하다.

Claims (15)

1. 정보처리 수단을 통해 생산 라인(LP)에서 이동하는 요소의 시각 검사를 구현하는 방법으로서, 상기 방법은:
   1) 사전 학습 단계(P0)에서,
   - 시야에 생산 라인(LP)을 포함하기 위해 미리 결정한 검사 포인트(PC)에 따라 배치한 카메라(10)를 사용하여, 첫 번째 비디오 시퀀스(SV1)의 학습 순간에 이루어진 획득하는 단계(S0);
   - 첫 번째 비디오 시퀀스(SV1)로부터 적어도 하나 이상의 제1 이미지(I1)의 첫 번째 추출하는 단계(S1);
   - 적어도 하나의 제1 이미지((I1)에서 적어도 하나의 트리거 요소(TRI) 및 적어도 하나의 검사 요소(E)로부터 이루어지는 선택하는 단계(S2); 및
   - 적어도 하나의 참조 특징 벡터가 있는 검사 요소(E)를 포함하는, 적어도 한 개의 제1 이미지(I1)를 생성하여 적합성 테스트를 생성하는 단계(S3)를 포함하고, 상기 참조 특징 벡터(V_REF)는 참조 요소를 나타내는 특징 값 세트를 포함하며,
   2) 생산 단계(P1)에서,
   - 결정된 검사 포인트(PC)에 따라 배열된 카메라를 사용하여 두 번째 비디오 시퀀스(SV2)를 학습한 후 현시점에서의 두 번째 획득하는 단계(S4);
   - 트리거 신호(SD)를 생성하기 위해 두 번째 비디오 시퀀스(SV2)의 하나 이상의 트리거 요소(TRI)를 실시간으로 감지하는 단계(S5);
   - 트리거 신호(SD)를 수신한 후, 적어도 하나의 트리거 요소(TRI) 및 적어도 하나의 제2 이미지(I2)의 분석(S7)을 포함하는, 적어도 하나의 제 2 이미지(I2)의 두 번째 비디오 시퀀스로부터 하나 이상의 검사 요소(E)를 위해 이루어진 두 번째 추출하는 단계(S6);
   - 하나 이상의 검사 요소(E)를 위해 특징 벡터(V_E)를 선택하는 단계(S8); 및
   - 하나 이상의 검사 요소(E)의 특징 벡터(V_E)와 참조 특징 벡터(V_REF)의 비교하는 적합성 테스트를 통해 적합성 정도를 확인하는 단계(S9)를 포함하는 방법.
2. 제1항에 있어서,
   적합성 테스트를 생성하는 단계(S3)에서, 첫 번째 비디오 시퀀스(SV1)에서 적어도 하나의 검사 요소(E)를 추적하고 복수의 검사 요소(E)을 수집하기 위해, 적어도 하나의 검사 요소(E)의 특징점 추적이 포함되는 방법.
3. 제2항에 있어서,
   적합성 테스트를 생성하는 단계(S3)는 복수의 검사 요소(E)에 대한 학습에 의해 수행되는 방법.
4. 제3항에 있어서,
   제1 이미지의 정규화가 적합성 테스트 생성 프로세스의 일부인 방법.
5. 제3항 또는 제4항에 있어서,
   적합성 테스트를 생성하는 단계(S3)는 복수의 결정된 디스크립터에 따라, 검사될 적어도 하나의 요소(E)에 대한 의미론적 분석을 포함하는 방법.
6. 제3항 내지 제5항 중 어느 한 항에 있어서,
   적합성 테스트를 생성하는 단계(S3)는 적어도 하나의 클러스터를 결정하기 위해 각 특징 벡터(V_E)의 특성 값의 기계 클러스터링을 포함하는 방법.
7. 제3항 내지 제6항 중 어느 한 항에 있어서,
   적합성 테스트를 생성하는 단계(S3)는 특징 벡터(V_E)와 각 클러스터의 중심 사이의 거리의 함수로서 유사성 점수의 계산을 포함하는 방법.
8. 제1항 내지 제6항 중 어느 한 항에 있어서,
   첫 번째 추출(S1)에 터치 그래픽 인터페이스(30) 상에 첫 번째 비디오 시퀀스(SV1)를 디스플레이하는 것과 인터페이스(30)와 수동으로 상호 작용함으로써 적어도 하나의 제1 이미지(I1)를 선택하는 것을 포함하는 방법.
9. 제8항에 있어서,
   트리거 요소(TRI)를 선택하는 프로세스(S2) 는 제1 이미지(I1) 상의 첫 번째 관심 영역 선택(S2_1)이 포함되며 이는 적어도 하나의 제1 이미지를 수동으로 상기 인터페이스(40)에 통합하는 방법.
10. 제9항에 있어서,
    검사 요소를 선택하는 단계(S2)에서, 이 검사 요소는 트리거 요소(TRI)에 해당하는 관심 영역의 두 번째 선택(S2_2)을 포함하며, 상기 관심 영역은 상기 인터페이스(40)와 수동으로 통합되어 수행되는 방법.
11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    적합성 레벨을 확인하는 단계(S9)에서, 이상이 발견된 경우, 경고 신호(SA)를 발생하는 방법.
12. 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하도록 맞추어진 명령을 포함하는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은 적어도 하나의 프로세스에 의해 실행되는 컴퓨터 프로그램.
13. 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하는 명령어가 포함된 컴퓨터 프로그램이 저장된 컴퓨터에 의해 판독 가능한 기록 매체.
14. 생산 라인(LP)에서 이동하는 요소를 시각 검사하는 정보처리 시스템(100)으로서,
    상기 시스템(100)은 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하도록 설정된 정보처리 수단을 포함하는 시스템.
15. 제14항에 따른 정보처리 시스템(100)을 포함하는 캐리어(200).