KR20230009360A

KR20230009360A - 시야보다 긴 이동하는 물체의 3차원 스캔을 위한 시스템 및 방법

Info

Publication number: KR20230009360A
Application number: KR1020227032428A
Authority: KR
Inventors: 벤 알. 캐리; 앤드류 패럿; 유강 리우; 길버트 치앙
Original assignee: 코그넥스코오포레이션
Priority date: 2020-02-18
Filing date: 2021-02-18
Publication date: 2023-01-17
Also published as: JP7535590B2; US20240177260A1; WO2021168151A1; CN115362473A; JP2023514833A; EP4107700A1; US11748838B2; US20210350496A1

Abstract

본 발명은 센서의 단일 시야(FOV)보다 긴 물체의 정확한 측정을 캡쳐하기 위해 인코더 또는 모션의 다른 지식과 함께 비전 시스템의 영역 스캔 센서를 사용하는 시스템 및 방법을 제공한다. 이는 이미지로부터 이미지로 추적되는 물체의 특징/에지를 식별하여 치수 측정 목적을 위해 물체의 전체 범위를 처리하는 간단한 방법을 제공한다. 로직은 물체가 FOV보다 긴지 여부를 자동으로 결정하여 물체가 더 이상 FOV에 없을 때까지 움직이는/운반된 물체가 FOV 내에 남아 있는 동안 일련의 이미지 획득 스냅샷이 발생하도록 한다. 이 시점에서 획득이 중단되고 개별 이미지가 전체 이미지의 세그먼트로 결합된다. 이러한 이미지는 입력 애플리케이션 세부 정보를 기반으로 물체의 전체 치수를 도출하도록 처리될 수 있다.

Description

시야보다 긴 이동하는 물체의 3차원 스캔을 위한 시스템 및 방법

본 발명은 3차원 공간에서 물체를 분석하는 머신 비전 시스템에 관한 것으로, 더욱 상세하게는 컨베이어 상의 검사 영역을 통해 전달되는 물체를 분석하기 위한 시스템 및 방법에 관한 것이다.

물체의 측정, 검사, 정렬 및/또는 기호(예를 들어, 바코드 - “ID 코드”라고도 함)의 디코딩을 수행하는 머신 비전 시스템(본 명세서에서 “비전 시스템”이라고도 함)은 광범위한 응용 분야 및 산업에서 사용된다. 이러한 시스템은 이미지 센서의 사용을 기반으로 하며, 이는 대상 또는 물체의 이미지(일반적으로 그레이스케일 또는 컬러 및 1차원, 2차원 또는 3차원)를 획득하고 온보드 또는 상호 연결된 비전 시스템 프로세서를 사용하여 획득된 이미지를 처리한다. 프로세서는 일반적으로 이미지의 처리된 정보를 기반으로 원하는 출력을 생성하기 위해 하나 이상의 비전 시스템 프로세스를 수행하는 처리 하드웨어 및 비일시적 컴퓨터 판독 가능 프로그램 명령을 모두 포함한다. 이 이미지 정보는 일반적으로 각각이 다양한 색상 및/또는 강도를 갖는 이미지 픽셀 어레이 내에서 제공된다.

위에서 설명된 바와 같이, 하나 이상의 비전 시스템 카메라는 이미징된 장면에서 물체의 2차원(2D) 또는 3차원(3D) 이미지를 획득하도록 배열될 수 있다. 2D 이미지는 일반적으로 전체 N × M 이미지 어레이(종종 카메라 이미지 센서의 픽셀 어레이로 정의됨) 내의 x 및 y 구성요소를 갖는 픽셀로 특정지어진다. 이미지가 3D로 획득되는 경우 x 및 y 구성요소 외에 높이 또는 z축 구성요소가 있다. 3D 이미지 데이터는 입체 카메라의 삼각 측량, LiDAR, 비행 시간 센서 및 (예를 들어) 레이저 변위 프로파일링을 포함하는 다양한 메커니즘/기술을 사용하여 획득될 수 있다.

일반적으로 3D 카메라는 직교 z-차원의 카메라 센서로부터의 거리의 함수로 가로 x 및 y 차원을 따라 외측으로 부채질하는 볼륨 공간을 구성하는 시야(FOV) 내에 속하는 물체에 대한 3D 이미지 정보를 캡쳐하도록 배열된다. 전체 볼륨 공간의 이미지를 동시에 획득하는(즉, “스냅샷”에서) 센서는 “영역 스캔 센서”라고 한다. 이러한 영역 스캔 센서는 3D 정보를 조각별로 캡쳐하고 검사 영역/FOV를 통해 물체가 이동하도록 모션(예를 들어, 컨베이어 이동)과 이 모션의 측정(예를 들어, 모션 인코더 또는 스테퍼를 통해)을 사용하는 라인 스캔 센서(예를 들어, 프로파일러)와 구별된다.

라인 스캔 센서의 장점은 검사 대상 물체가 임의적으로 길어질 수 있다는 점이며, 물체 길이는 컨베이어 모션 방향을 따라 취한다. 반대로, 볼륨 공간의 이미지 스냅샷을 찍는 영역 스캔 센서는 3D 장면을 캡쳐하기 위해 인코더가 필요하지 않지만 물체가 시야보다 길면 전체 물체를 단일 스냅샷으로 촬영할 수 없다. 단일 스냅샷에서 물체의 일부만 획득한 경우, 물체의 후미 부분(아직 이미지화되지 않음)이 FOV로 전달될 때 나머지 길이의 추가 스냅샷(또는 복수의 스냅샷)을 획득해야 한다. 여러 스냅샷의 경우 문제는 전체 3D 이미지가 물체의 특징을 정확하게 나타내도록 복수의 3D 이미지를 효율적인 방식으로 등록(함께 연결)하는 것이다.

본 발명은 센서의 단일 시야(FOV)보다 큰 물체의 정확한 측정을 캡쳐하기 위해 인코더 또는 다른 모션 지식과 함께 비전 시스템의 영역 스캔 센서를 사용하는 시스템 및 방법을 제공함으로써 선행 기술의 단점을 극복한다. 시스템 및 방법은 특히 스냅샷 영역 스캔 비전 시스템이 제한된 시야를 정의하는 단점을 해결하며 이는 일반적으로 시스템이 복수의 스냅샷 및 스냅샵을 결합하는데 필요한 다른 데이터를 획득해야 한다. 이는 로우 이미지 데이터를 결합한 다음 계산 집약적일 수 있는 이러한 데이터를 사후 처리하는 작업을 피할 수 있다. 대신에 예시적인 실시예는 이미지에서 이미지로 추적되는 물체의 특징/에지(식별된 다각형 형상과 관련하여 “정점”이라고도 함)를 식별하여 치수 측정의 목적을 위해 물체의 전체 범위를 처리하는 간단한 방법을 제공한다. 시스템 및 방법은 물체가 FOV보다 (운반 방향에서) 더 긴지 여부를 자동으로 결정하는 논리를 채택할 수 있으며, 이에 따라 물체가 FOV 내에 더 이상 존재하지 않을 때까지 이동/전달된 물체가 FOV 내에 남아 있는 동안 일련의 이미지 획득 스냅샷이 발생하게 된다. 이 시점에서 수집이 중단되고 개별 이미지를 선택적으로 전체 이미지의 세그먼트로 결합할 수 있다. 전체 이미지 데이터는 다양한 다운스트림 프로세스에서 사용될 수 있다. 실제 전체 이미지를 생성하거나 생성하지 않고 파생된 개별 이미지 스냅샷의 집합적 특징 데이터를 처리하여 입력 애플리케이션 세부 정보를 기반으로 물체의 전체 치수를 도출할 수 있다. 이러한 집합적 특징 데이터는 왜곡(skew), 길이, 폭 및/또는 높이에 대한 과오차, 신뢰도 점수, 액체 부피, 분류, 물체의 실제로 이미지화된 데이터 대 물체의 이미지화된 예상 데이터의 수량(QTY), 물체 위치 특징 및/또는 물체에 대한 손상 검출을 포함하지만 이에 제한되지 않는 물체의 다른 특성 및 특징을 결정하기 위해 사용될 수 있다. 시스템 및 방법은 또한 그림자 등으로 인한 3D 데이터 손실로 인해 영역 스캔 센서를 사용한 기존 이미징으로 일반적으로 분리되는 복잡한/다중레벨 물체를 결합할 수 있다.

예시적인 실시예에서, 비전 시스템 및 그 사용 방법이 제공된다. 비전 시스템 및 방법은 영역 스캔 센서로 배열된 3D 카메라 어셈블리 및 3D 카메라 어셈블리의 시야(FOV) 내에서 획득된 물체의 이미지로부터 3D 데이터를 수신하는 비전 시스템 프로세서를 포함할 수 있다. 물체는 FOV를 통해 운반 방향으로 운반될 수 있으며 물체는 FOV보다 더 긴 운반 방향의 전체 길이를 정의할 수 있다. 치수 측정 프로세서는 물체의 복수의 3D 이미지와 결합하여 FOV를 통한 물체의 전달에서 파생된 모션 추적 정보에 기초하여 전체 길이를 측정한다. 이미지는 3D 이미지 사이에서 미리 결정된 양의 운반 모션으로 순서대로 3D 카메라 어셈블리에 의해 획득될 수 있다. FOV와 관련된 존재 검출기는 물체가 인접하여 위치함에 따라 존재 신호를 제공할 수 있다. 존재 신호에 응답하여 치수 측정 프로세서는 물체가 운반 방향으로 이동할 때 물체가 하나 이상의 이미지에 나타나는지 여부를 결정하도록 배열될 수 있다. 물체의 특징과 관련된 정보에 응답하여 치수 측정 프로세서는 물체가 운반 방향으로 이동할 때 물체가 FOV보다 긴지 여부를 결정하도록 배열될 수 있다. 이미지 프로세서는 집합적 특징 데이터를 생성하는 3D 카메라에 의한 연속적인 이미지 획득으로부터 물체의 특징과 관련된 정보를 결합하여 개별 이미지를 전체 이미지로 결합하지 않는 방식으로 물체의 전체 치수를 결정할 수 있다. 예시적으로, 물체의 전체 길이가 FOV보다 긴 것에 응답하여 물체가 FOV 내에 남아 있는 동안 그리고 물체가 FOV에서 떠날 때까지 이미지 획득 스냅샷의 시퀀스를 획득하도록 이미지 프로세서가 배열될 수 있다. 이미지 프로세서는 집합적 특징 데이터를 사용하고 입력 애플리케이션 데이터에 기초하여 물체의 전체 속성을 유도하도록 추가로 배열될 수 있으며, 전체 속성은 신뢰도 점수, 물체 분류, 물체 치수, 왜곡 및 물체 부피 중 적어도 하나를 포함한다. 전체 속성을 기반으로 하여 물체에 대한 작업을 수행할 수 있는 물체 처리 프로세스는 물체 리디렉션, 물체 제거, 경고 발행 및 물체의 왜곡 보정 중 적어도 하나를 포함한다. 예시적으로, 물체는 기계적 컨베이어 또는 수동 조작에 의해 운반될 수 있고/있거나 추적 정보는 컨베이어에 작동 가능하게 연결된 인코더에 의해 생성될 수 있다. 모션 감지 장치는 컨베이어, 외부 특징 감지 장치 및/또는 특징 기반 감지 장치에 작동 가능하게 연결될 수 있다. 존재 신호는 물체가 운반 방향으로 이동할 때 각각의 이미지 사이에서 물체의 연속성을 결정하기 위해 치수 측정 프로세서에 의해 사용될 수 있다. 복수의 이미지는 3D 카메라에 의해 미리 정해진 오버랩으로 획득될 수 있으며, 제거 프로세스는 전체 길이를 결정하기 위해 물체 치수에서 오버랩 섹션을 제거하기 위해 추적 정보를 사용할 수 있다. 이미지 제거 프로세스는 복수의 이미지 중 이전 이미지가 물체의 후방 에지를 포함한 후 존재 신호가 표명된 결과로 획득된 복수의 이미지 중 마지막 이미지를 제거할 수 있다. 치수 측정 프로세서는 물체가 전달 방향으로 이동할 때 각각의 이미지 사이에서 물체의 연속성을 결정하기 위해 물체의 특징과 관련된 정보를 사용하도록 추가로 배열될 수 있다. 치수 측정 시스템은 이미지에서 물체 사이의 최소 간격을 추가로 정의할 수 있으며, 그 아래에서 복수의 물체는 3D 이미지 데이터가 누락된 단일 물체로 간주된다. 예시적으로, 이미지 프로세서는 (a) 길이를 벗어난 한계 데이터, (b) 폭을 벗어난 한계 데이터, (c) 높이를 벗어난 한계 데이터, (d) 부피를 벗어난 한계 데이터, (e) 신뢰도 점수, (f) 액체 부피, (g) 분류, (h) 물체의 실제 이미지화된 데이터 대 물체의 이미지화된 예상 데이터의 양(QTY), (i) 물체의 위치 특징 및/또는 (j) 물체에 대한 손상의 검출과 관련된 물체에 대한 집합적 특징 데이터를 생성하도록 배열될 수 있다.

예시적인 실시예에서, 비전 시스템 및 관련 방법은 물체가 통과할 때 하나 이상의 물체의 이미지를 캡쳐하고 (a) 물체가 단일 이미지를 초과하여 차지할 것인지 결정하고, (b) 물체가 더 이상 다음 이미지를 차지하지 않을 때를 결정하고, (c) 하나 이상의 획득된 이미지로부터 물체의 크기와 상대 각도를 계산하는 획득 프로세스를 작동할 수 있는 시야(FOV)가 있는 영역 스캔 센서로 배열된 3D 카메라 어셈블리를 포함할 수 있다.

예시적인 실시예에서, 영역 스캔 센서로 배열된 3D 카메라 어셈블리를 갖는 비전 시스템을 사용하여 물체의 치수를 측정하는 방법이 제공될 수 있으며, 비전 시스템 프로세서는 3D 카메라 어셈블리의 시야(FOV) 내에서 획득된 물체의 이미지로부터 3D 데이터를 수신한다. 물체는 FOV를 통해 운반 방향으로 운반될 수 있으며, 물체는 FOV보다 긴 운반 방향의 전체 길이를 정의할 수 있다. 방법은 3D 카메라 어셈블리에 의해 순차적으로 획득된 물체의 복수의 3D 이미지와 결합하여 FOV를 통한 물체의 전달로부터 도출된 모션 추적 정보에 기초하여 전체 길이를 측정하는 단계를 더 포함할 수 있으며, 3D 이미지 사이에서 미리 결정된 양의 모션을 전달한다. 물체가 FOV에 인접하여 위치함에 따라 존재 신호가 생성될 수 있으며, 존재 신호에 응답하여 물체가 운반 방향으로 이동할 때 물체가 하나 초과의 이미지에 나타나는지 여부를 결정할 수 있다. 물체의 특징과 관련된 정보에 응답하여 물체가 운반 방향으로 이동함에 따라 물체가 FOV보다 긴지 여부를 결정할 수 있다. 3D 카메라에 의한 연속적인 이미지 획득으로부터 물체의 특징과 관련된 정보는 집합적 특징 데이터를 생성하기 위해 결합될 수 있어서 개별 이미지를 전체 이미지로 결합하지 않는 방식으로 물체의 전체 치수를 제공할 수 있다. 예시적으로, 물체의 전체 길이가 FOV보다 긴 것에 응답하여, 물체가 FOV 내에 남아있는 동안 그리고 물체가 FOV에서 벗어날 때까지 이미지 획득 스냅샷의 시퀀스가 획득될 수 있다. 물체의 전체 속성은 집합적 특징 데이터를 사용하고 입력 애플리케이션 데이터에 기반하여 도출될 수 있으며 전체 속성은 신뢰도 점수, 물체 분류, 물체 치수, 왜곡 및 물체 부피 중 적어도 하나를 포함할 수 있다. 예시적으로, 방법은 전체 속성에 기초하여 물체에 대한 작업을 수행할 수 있으며, 이는 물체를 리디렉션하는 것, 물체를 제거하는 것, 경고를 발행하는 것 및 객체에서 왜곡을 보정하는 것 중 적어도 하나를 포함한다. 예시적으로, 존재 신호는 물체가 운반 방향으로 이동할 때 각각의 이미지 사이에서 물체의 연속성을 결정하는데 사용될 수 있다. 정보를 결합할 때, 방법은 (a) 길이를 벗어난 한계 데이터, (b) 폭을 벗어난 한계 데이터, (c) 높이를 벗어난 한계 데이터, (d) 부피를 벗어난 한계 데이터, (e) 신뢰도 점수, (f) 액체 부피, (g) 분류, (h) 물체의 실제로 이미지화된 데이터 대 물체의 이미지화된 예상 데이터의 양(QTY), (i) 물체의 위치 특징 및/또는 (j)물체에 대한 손상의 검출을 추가로 생성할 수 있다. 이미지 내의 물체 사이의 최소 간격이 정의될 수 있으며, 최소 간격 미만에서는 복수의 이미지화된 물체가 누락된 3D 이미지 데이터가 있는 단일 물체로 간주된다.

아래의 발명의 설명은 첨부된 도면을 참조한다:
도 1은 영역 스캔 센서로 시야보다 긴 물체의 3D 이미지를 획득하고 처리하기 위한 시스템의 개요로서, 이는 물체가 시야를 통해 이동할 때 복수의 스냅샷으로부터 전체 이미지를 생성하기 위해 치수 측정 프로세스(프로세서)를 사용한다.
도 2는 예시적인 실시예에 따른 이미지 획득을 위한 물체 트리거 평면의 3D 이미징을 위한 사용 가능한 관심 영역인 FOV를 상세히 설명하는 도 1의 컨베이어 및 영역 스캔 센서 배열의 측면도에 도시된 다이어그램이다.
도 3은 도 1 및 2의 배열의 런타임 동작을 나타내는 도면이며, 예시적인 물체는 사용 가능한 ROI보다 긴 운반 방향의 길이를 가지며 초기 스냅샷을 트리거하기 위해 트리거 평면에 도달한다.
도 4는 도 3의 런타임 동작을 도시하는 도면이며, 예시적인 물체는 ROI를 부분적으로 벗어나고 인코더가 제2 스냅샷을 트리거하기에 충분한 모션의 정도를 나타낸다.
도 5는 도 1 및 2의 배열의 런타임 동작을 나타내는 도면이며, 예시적인 물체는 3D 이미지 데이터의 손실을 초래할 수 있고 FOV에서 2 개의 개별 객체를 나타내는 복잡합 상부 표면을 나타낸다.
도 6은 다수의 물체 및/또는 복잡한 물체가 이미지화되는 경우를 포함하는 예시적인 실시예에 따른 치수 측정 프로세스를 작동하기 위한 절차를 나타내는 흐름도이다.
도 7은 전체 이미지화된 물체를 나타내는 예시적인 중첩 이미지 세그먼트를 갖는 이미지화된 컨베이어 표면의 평면도를 나타내는 도면이다.
도 8은 도 1 및 2의 배열에 대한 일반화된 이미지 획득 절차의 흐름도이며, 이는 도 7에 도시된 바와 같이 중첩 이미지 세그먼트를 처리하도록 구성되어 물체의 전체 길이뿐만 아니라 운송 방향 또는 다른 좌표계에 대한 최대 폭 및 높이 및 상대 각도를 생성한다.

I. 시스템 개요

도 1은 비전 시스템 카메라 어셈블리(간단히 “카메라” 또는 “센서”라고도 함)(110)가 물체가 다운스트림 방향(화살표(132))으로 이동하는 이동 컨베이어(130)에 대해 시야(FOV) 아래를 통과할 때 예시적인 물체(120)의 3D 이미지 데이터를 획득하는 배열(100)의 개요를 도시한다. 로컬/상대 3D 좌표계(138)는 예로서 x, y 및 z 직교 좌표와 함께 도시된다. 극좌표와 같은 다른 좌표계를 사용하여 3D 공간을 나타낼 수 있다. 이 예에서 물체(120)는 아래에 추가로 설명되는 FOV의 업스트림 및 다운스트림 경계(BF 및 BR)보다 긴 업스트림에서 다운스트림으로의 길이(일반적으로 y축/모션의 방향을 따라) LO를 정의한다.

본 명세서에서 고려되는 3D 카메라/이미징 어셈블리(110)는 스테레오 카메라, ToF 카메라, LiDAR, 초음파 거리 측정 카메라, 구조화된 조명 시스템 및 레이저배치 센서(프로파일러)를 포함하지만 이에 제한되지 않는 물체의 3D 이미지를 획득하는 임의의 어셈블리일 수 있으며, 이에 따라 3D 카메라라는 용어는 이러한 시스템과 물체의 2D 이미지와 관련하여 높이 정보를 생성하는 임의의 다른 시스템을 포함하도록 광범위하게 사용되어야 한다. 또한, 단일 카메라 또는 복수의 카메라 어레이가 제공될 수 있으며, “카메라” 및/또는 “카메라 어셈블리”라는 용어는 장면에 대해 원하는 3D 이미지 데이터를 생성하는 방식으로 이미지를 획득하는 하나 이상의 카메라를 의미할 수 있다. 도시된 카메라 어셈블리(110)는 흐르는 물체가 지나갈 때 이를 이미지화하는 체크포인트 또는 검사 스테이션의 방식으로 컨베이어(130)의 표면 위에 놓이도록 장착된 것으로 도시된다. 이 실시예에서, 카메라 어셈블리(110)는 컨베이어(130)의 표면에 대해 (z-축을 따라) 대략 수직인 광학 축(OA)을 정의한다. 컨베이어 표면에 대한 축(OA)에 대한 다른 비수직 배향이 명시적으로 고려된다. 물체(120)는 컨베이어의 작동 속도와 카메라 이미지 센서(S) 및 관련 전자 장치(110)의 획득 시간(부분적으로 프레임 속도 및 조리개 설정에 따라 다름)에 따라 (일반적으로) 계속 움직이거나 이미징을 위해 일시적으로 멈출 수 있다. 카메라(110)는 광 검출기 또는 다른 트리거링 메커니즘(136)에 의해 트리거될 수 있는 FOV 내에 충분히 있는 물체(120)의 3D 이미지를 획득하고, 결과적으로 카메라(110) 및 관련 프로세서에 대한 트리거 신호를 초래한다. 따라서, 본 실시예의 카메라 어셈블리(110)는 영역 스캔 센서로 배열된다.

카메라 어셈블리(110)는 3D 이미지 데이터(134)를 생성하도록 구성된 이미지 센서(S)를 포함한다. 카메라 어셈블리는 (선택적인) 통합 조명 어셈블리(I), 예를 들어 축(OA)에 대해 예측 가능한 방향으로 광을 투사하는 LED의 링 조명기도 포함한다. 외부 조명(미도시)은 대안적인 배열에 제공될 수 있다. 적절한 광학 패키지(O)는 축(OA)를 따라 센서(S)와 광통신으로 도시된다. 센서(S)는 카메라(11)로부터 이미지 데이터(134)를 수신하는 내부 및/또는 외부 비전 시스템 프로세스(프로세서)(140)와 통신하고 본 명세서의 시스템 및 방법에 따라 데이터에 대해 다양한 비전 시스템 작업을 수행한다. 프로세스(프로세서)(140)는 에지 검출기, 블롭 도구(blob tool), 패턴 인식 도구, 딥 러닝 네트워크, ID(예를 들어, 바코드) 파인더 및 디코더 등을 포함하지만 이에 제한되지 않는 이미지 데이터의 특징을 식별하고 분석하는 다양한 표준 및 맞춤형 도구를 포함할 수 있는 비전 시스템 도구(142)의 세트를 포함하는 기본 프로세스/프로세서 또는 기능 모듈을 포함한다. 비전 시스템 프로세스(프로세서)(140)는 시스템 및 방법에 따라 치수 측정 프로세스(프로세서)(144)를 더 포함할 수 있다. 이 프로세스(프로세서)(144)는 추가 결과가 계산될 수 있는 특정 특징의 존재를 결정하기 위해 3D 이미지 데이터에서 식별된 특징에 대한 다양한 분석 및 측정 작업을 수행한다. 프로세스(프로세서)는 예시적인 실시예에 따른 다양한 종래의 그리고 맞춤형(예를 들어, 3D) 비전 시스템 도구(142)와 인터페이싱한다.

시스템 설정 및 결과 표시는 서버(예를 들어, 클라우드 기반 또는 로컬), PC, 랩톱, 태블릿 및/또는 스마트폰과 같은 별도의 컴퓨팅 장치(150)에 의해 처리될 수 있다. 컴퓨팅 장치(150)는 그래필 사용자 인터페이스(GUI) 긴으을 집합적으로 제공하는 종래의 디스플레이 또는 터치스크린(152), 키보드(154) 및 마우스(156)를 갖는 (비 제한적인 예로서) 도시된다. 다양한 인터페이스 장치 및/또는 폼 팩터가 장치(150)의 대안적인 구현으로 제공될 수 있다. GUI는 장치 운영 체제에 상주하고 본 명세서의 예시적인 배열에 따라 프로세스(프로세서)(140)로부터 제어 및 데이터 정보가 있는 웹 페이지를 표시하는 웹 브라우저 애플리케이션에 의해 부분적으로 구동될 수 있다.

프로세스(프로세서)(140)는 카메라 어셈블리(110)의 하우징에 완전히 또는 부분적으로 상주할 수 있고 다양한 프로세스 모듈/도구(142 및 144)는 온보드 프로세스(프로세서)(140) 또는 원격 컴퓨팅 장치(150)에서 적절하게 전체적으로 또는 부분적으로 인스턴스화될 수 있다는 것을 유의한다. 예시적인 실시예에서, 모든 비전 시스템 및 인터페이스 기능은 온보드 프로세서(프로세서)(140)에서 인스턴스화될 수 있고, 컴퓨팅 장치(150)는 온보드 프로세스(프로세서)(140)에 의해 생성되고 무선 또는 유선 네트워크 링크를 통하 컴퓨팅 장치에 전달되는 인터페이스 웹 페이지(예를 들어, HTML)와 관련된 작업, 모니터링 및 훈련을 위해 주로 사용될 수 있다. 대안적으로, 프로세스(프로세서)(140)의 전부 또는 일부가 컴퓨팅 장치(150)에 상주할 수 있다. 프로세서에 의한 분석의 결과는 다운스트림 활용 장치 또는 프로세스(160)로 전달될 수 있다. 이러한 장치/프로세스는 예를 들어 컨베이어(130)를 게이팅하여 분석된 특징에 기초하여 물체를 다른 목적지로 향하게 하고/하거나 결함이 있는 물체를 제거하는 물체/패키지를 처리하기 위한 결과(162)를 사용할 수 있다.

카메라 어셈블리는 공장 및/또는 필드 보정 절차에 의해 설정되고 이미징된 픽셀의 x, y 및 z 좌표를 카메라의 좌표 공간에 매핑하는 온보드 보정 데이터를 포함한다. 이 보정 데이터(170)는 이미지 데이터를 분석하는데 사용하기 위해 프로세서에 제공된다. 또한, 예시적인 실시예에서, 컨베이어 및/또는 그 구동 메커니즘(예를 들어, 스테퍼 모터)은 프로세서(140)에 상대 모션 데이터(182)를 보고하는 인코더 또는 다른 모션 추적 메커니즘(180)을 포함한다. 모션 데이터는 다양한 방법, 예를 들어 각각 컨베이어 이동의 미리 결정된 증분을 정의하는 거리 기반 펄스로 전달될 수 있다. 펄스를 합산하여 주어진 기간 내의 총 이동을 결정할 수 있다.

본 명세서에서 사용된 용어 “컨베이어”는 물체가 다른 기술, 예를 들어 수동 모션을 통해 FOV를 통과하는 배열을 포함하도록 광범위하게 취해져야 한다. 본 명세서에 정의된 “인코더”는 스테퍼, 마크 판독기 및/또는 이미지 스냅샷 사이의 모션의 정도를 결정하기 위해 기본 비전 시스템 애플리케이션의 지식(예를 들어 이미지의 특징 포함)을 사용하는 다양한 내부 기술을 포함하여 FOV를 통과할 때 컨베이어 또는 물체의 특징 또는 기준점을 추적하는 것을 포함하는 모든 허용 가능한 모션 측정/추적 장치일 수 있다.

II. 치수 측정 프로세스(프로세서)

A. 설정

도 2는 FOV보다 모션(132) 방향으로 더 긴 이미지 물체에 적응된 배열(200)의 설정을 도시한다. 카메라 어셈블리(110)는 컨베이어(130)의 일부 위에 놓이는 것으로 도시되며, 이는 그러한 물체에 대한 검사 스테이션을 포함한다. 컨베이어(130)는 인코더 카운트(210)를 전달하며, 이는 컨베이어(130)가 3D 카메라 어셈블리의 영역에 묘사되는 각각의 트리거 이벤트로 재설정될 수 있다. 물체가 위에서 설명한 존재 검출기(136)(도 1)과 정렬된 트리거 평면(230)을 통과할때마다 트리거가 발행된다(이 경우 트리거 상태(220)가 네거티브이고 적색 또는 다른 색상/음영 표시기가 점음영으로 표시됨). 3D FOV는 컨베이어(130)의 표면으로부터 카메라 축(OA)을 따라 위쪽으로 그리고 축(OA)의 양쪽에서 연장하는 사용 가능한 관심 영역(250)을 정의한다. 이 예에서, ROI는 예상되는 최대 물체 높이를 기반으로 사용자에 의해 정의될 수 있는 사용 가능한 높이(HR)를 정의한다. ROI(250)의 상부(254)가 FOV의 전방 경계(BF) 및 후방 경계(BR)와 각각 교차하는 지점(256 및 258)은 모션(132)의 방향(y 축)에서 사용 가능한 ROI의 길이(LR)를 효과적으로 정의한다. 따라서, ROI의 최대 높이(HR)가 높을수록 길이(LR)는 짧아진다.

B. 물체 크기 추론 및 트리거/인코더 로직

사용 가능한 ROI를 정의한 후 프로세서는 길이(LR)를 달성하기 위해 컨베이어가 이동하는 펄스 수를 결정한다. 도 3을 참조하면, 시스템은 트리거 평면(230)에 도달하는 전방 단부(310)로 묘사되는 물체(120)의 크기(길이)를 추론하기 위해 런타임 모드에서 동작하는 것으로 도시되며, 후방 단부(320)는 사용 가능한 ROI(250)의 후방 경계(340) 외부에 있다. 이 때, 3D 카메라 어셈블리는 물체의 제1 이미지(스냅샷)를 획득하도록 트리거되고 인코더 카운트(330)는 프로세서에 0으로 설정된다. 스냅샷은 물체의 후방 단부가 ROI 내에서 발생하는지 결정하기 위해 분석된다(비전 시스템 도구, 높이 변화 등을 사용). 물체(120)는 단일 ROI(250)에서 끝나는 경우 스냅샷은 그 물체에 대한 완전한 3D 이미지로 보고되며, 시스템은 다음 물체/트리거를 기다린다. 반대로, 물체(120)가 도 3의 경우인 사용 가능한 ROI 내에서 끝나지 않는 것으로 보이면(예를 들어, ROI(250)의 후방 경계(340) 내에서 물체 기하학적 형상의 실질적인 변화가 없음), 시스템은 제1 이미지를 저장하고 인코더 펄스(또는 이 길이(LR)의 알려진 비율)에서 하나의 ROI 길이(LR)를 카운트한다. 이 카운트는 물체 후방(320)이 이제 사용 가능한 ROI(250)로 전달되는 도 4에서 참조되며, 펄스의 하나의 ROI 길이(LR)가 카운트된다. 이 예에서, 펄스 카운트(430)는 300 mm이다. 이 길이는 길이(LR) 이하이다. 아래에 설명하는 바와 같이, 펄스 카운트는 스냅샷 이미지 사이의 중첩이 바람직한 길이(LR)보다 작을 수 있다. 이는 이미지의 에지에서 세부 정보가 손실되지 않게 한다. 도 4에 도시된 바와 같이, 트리거 상태(420)는 또한 이 단계에서 포지티브이며(녹색 또는 다른 색상/음영으로 표시되고 해치 음영으로 표시됨), 이는 물체가 트리거 평면(230)에 존재하기 때문이다. 이러한 이벤트의 논리적 조합(포지티브 트리거 상태 및 전체 인코더 카운트)은 카메라 어셈블리를 트리거하여 물체(120)의 제2 스냅샷을 획득한다. 이 제2 스냅샷은 또한 제1 스냅샷으로부터의 물체와 관련하여 저장된다.

시스템은 제2 스냅샷을 분석하여 물체(120)의 후방 단부(320)가 후방 ROI 경계(340)의 다운스트림에 현재 존재하는지 여부를 결정한다. 만약 그렇다면, 전체 물체 길이가 이미지화되고 2 개의 스냅샷이 결합되어 아래에 추가로 설명된 바와 같이 처리될 수 있다. 물체의 후방이 제2 스냅샷의 ROI에 없으면, 인코더 카운트가 재설정되고 물체의 지속적인 존재로 인해 트리거 상태(420)가 높에 유지되며 시스템은 다음 ROI 길이(LR)에 도달할 때까지 카운트한다. 또 다른 스냅샷이 촬영되고 위의 단계가 물체의 후방 단부가 ROI(250) 내에 마지막으로 검출되는 n번째 스냅샷까지 반복된다. 이 때 물체가 FOV를 완전히 벗어나고 이미지 결과가 전달되면 트리거가 낮아진다. 스냅샷 이미지 사이의 중첩으로 인해 개별 이미지 획득 간의 인코더 카운트를 평가하여 처리될 수 있는 특별한 경우가 가끔 존재한다. 이전 스냅샷이 물체의 에지를 이미지화하고 치수를 보고했지만, 여전히 트리거가 높고(포지티브) 새 스냅샷이 촬영된 경우, 이 경우 현재 스냅샷의 인코더 카운트가 ROI의 길이와 같으면 새 스냅샷이 삭제되고 치수가 보고되지 않을 것이다. 이는 스냅샷 이미지 사이의 중첩에 의해서만 초래되는 추가/미사용 스냅샷이기 때문에 발생한다. 일반적으로 모든 스냅샷은 아래에 설명된 바와 같이 단일 물체 이미지와 관련하여 처리를 위해 결합된다.

C. 복잡한 그리고/또는 다중 물체

런타임 작업의 일부 구현에서 물체는 복잡한 3D 형상을 나타낼 수 있다. 도 5를 참조하면, 상부 표면(522) 및/또는 돌출된(폐쇄된) 특징부(525)를 따라 다양한 높이를 갖는 물체(520)가 트리거 평면(230)에 도달하는 것으로 도시된다. 이 때, 트리거 상태(540)는 포지티브가 되며(녹색, 해치 음영으로 표시됨) 인코더 카운트(530)는 0으로부터 시작한다. 그러나 물체의 복잡한 형상은 3D 이미지 데이터의 누락을 초래하거나 이 예에서제1 스냅샷이 카메라 어셈블리(110)에 의해 획득될 때 여전히 사용 가능한 ROI(250) 외부에 위치되는 객체 후방 단부(526)의 실제 위치에 대해 비전 시스템 프로세서가 혼동될 수 있다. 또한 도 6의 절차(600)를 참조하면, 물체는 초기에 단계 610)에서 3D 스냅샷을 획득하기 위해 카메라 어셈블리를 트리거한다. 단일(단순하거나 복잡한 형상) 물체 또는 다중 물체 이 초기 이미지에 존재할 수 있다. 비전 시스템은 일반적으로 컨베이어 표면(기준선)까지 확장하는 경계와 분리된 경계 사이의 갭을 찾아 다중 물체가 검출되는지 결정하기 위해 이미지를 분석한다. 2 개의 항목이 검출되지 않으면, 비전 시스템은 물체를 단일 항목으로 처리한다(결정 단계(620)). 반대로, 2 개 이상의 물체가 검출되면, 절차(600)의 결정 단계(620)는 추가 결정 단계(630)로 분기되고, 여기서 갭이 최소 거리보다 작은지 결정하기 위해 갭이 분석된다(카메라의 보정 데이터 및 기존 측정 기술을 사용하여 결정됨). 갭이 사용자에 의해 설정되거나 자동으로 설정되는 최소 거리보다 큰 경우 시스템은 이미지의 다중 항목을 표시한다(단계 640). 최소 갭 거리보다 큰 2 개의 항목(단계 640) 또는 단일 항목(결정 단계 620)인 경우, 절차(600)는 비전 시스템이 모든 물체의 단부가 이미지에 있고 트리거 상태가 네거티브가 되는지 결정하는 결정 단계(650)로 분기된다. 만약 그렇다면, 절차(600)는 이 이미지의 결과가 출력되고 인코더가 재설정되어 다음 물체/트리거가 발생하기를 기다리는 단계 660으로 분기된다. 반대로, 트리거가 현재(초기) 이미지 이후에 네거티브가 되지 않고 물체의 후방 단부가 FOV 밖에 남이 있으면 결정 단계(650)는 카메라 어셈블리가 인코더 펄스를 카운트하고 FOV의 다른 스냅샷을 획득하는 단계 670으로 분기된다. 이는 인코더가 네거티브가 되고 물체의 후방이 검출될 때까지 계속된다.

갭이 존재하지만 최소 거리보다 작은 결정 단계(630)를 다시 참조하면, 절차(600)는 이미지화된 물체가 단일 물체를 포함하고 갭이 이미지화된 물체 내에 3D 데이터가 없거나 누락된 결과라고 가정한다. 따라서, 물체는 그것이 단일 항목인 것처럼 처리되며 결정 단계는 추가 결정 단계(650)(위에서 설명됨)로 분기되며, 여기서 이미지에서 물체 후방의 존재 여부가 다음 단계를 결정한다. 부재 또는 손실된 3D 이미지 데이터를 예측하고 제공하기 위한 한 기술은 2020년 2월 10일에 제출된 공통으로 양도된 동시 계류 중인 복합 3차원 블롭 도구 및 이를 작동하기 위한 방법을 제목으로 하는 미국 가출원 번호 제62/972,114에서 설명되며, 그 교시는 유용한 배경 정보로서 참조로 포함된다. 이러한 블롭 도구는 추가 활용 절차에 전달하기 위한 이미지 결과의 생성에 사용될 수 있다.

D. 이미지 데이터 추적 및 결과의 중첩

긴 물체의 존재 하에 (예를 들어) 3 개의 연속적인 이미지 획득의 결과로부터 구성된 컨베이어 벨트(720)의 연속적인 하향식(x-y 평면) 뷰(710)를 도시하는 도 7을 참조한다. 전체 물체의 3 개의 획득된 이미지(730, 732 및 734)가 순서대로 도시된다. 특히, 인코더 카운트는 제1 이미지 쌍(730 및 732) 사이에 미리 결정된 제1 중첩 거리(01)가 있고, 제2 이미지 쌍(732 및 734) 사이에 미리 결정된 제2 중첩 거리(02)가 있도록 설정되었다. 물체 이미지 사이의 중첩하는 거리를 사용하면 획득한 물체 특징이 3D ROI의 에지에서 실수로 생략되거나 가려지지 않도록 한다. 비전 시스템은 도 8을 참조하여 아래에 설명된 바와 같이 실제 물체 치수 및 특징을 계산하기 위해 중첩하는 영역을 적절하게 제거하거나 혼합할 수 있다. 본 명세서에서 사용된 용어 “특징”은 물체의 획득된 이미지가 일반적으로 형상의 경계를 유도하는데 사용되는 관련 꼭짓점이 있는 하나 이상의 다각형을 정의하므로 “꼭짓점”이라는 용어를 포함하거나 이와 상호 교환적으로 사용될 수 있다는 것을 유의한다.

작동 시, 도 8의 절차(800)는 단계 810에서 전술한 방식으로 3D 이미지의 획득으로 시작한다. 즉, 트리거가 생성되고 FOV를 통해 물체의 모션을 카운트하도록 인코더가 설정된다. 카운트가 후속 이미지와의 중첩을 허용하는 거리 값에 도달한 후 카운트는 단계 820에서 재설정되고 시스템은 그것이 ROI의 후방에 있는 물체가 있는 마지막 이미지인지 결정한다. 그렇지 않은 경우(결정 단계(830)를 통해), 절차(800)는 단계 810으로 다시 분기되고 다른 중첩 이미지가 획득된다. 이미지가 시퀀스의 마지막 이미지인 경우, 절차(800)는 (결정 단계(830)를 통해) 단계 840으로 분기되고, 여기서 일련의 3D 이미지(전체 물체의 세그먼트)가 치수 측정 프로세스(프로세서) 및 물체 치수를 결정하고 (선택적으로) 기능을 해결하기 위한 관련 도구에 전달된다. 인코더에 의해 설정된 거리 대 이미지 픽셀 위치를 사용하여, 각 물체 세그먼트에 대한 x-y 위치 및 경계 상자 높이가 단계 850에서 매핑된다. 그런 다음, 이 매핑을 기반으로 하여 실제 물체 길이를 계산하기 위해 중첩(세그먼트 간의 알려진 인코더 거리를 구성함)이 제거된다. 결과 데이터는 개별 형상으로부터의 데이터를 효과적으로 결합하여 결합된 물체의 실제 이미지 없이 물체의 전체 그림 또는 특성을 설정하는 집합적 특징 데이터로 정의될 수 있다. 이는 집합적 특징 데이터가 전체 물체의 최대 폭 및 높이뿐만 아니라 컨베이어 모션의 방향에 대한 상대 각도를 결정하는 데에도 사용될 수 있음을 초래한다. 이 정보는 물체(예를 들어, 패키지)의 적절한 처리를 보장하기 위한 로지스틱(logistic)와 같은 다양한 활용 프로세스에서 특히 유용하다.

개별 이미지 획득(스냅샷)으로부터 실제 전체(복잡한 또는 함께 결합됨) 이미지의 생성은 본 명세서의 시스템 및 방법에 따라 선택 사항이라는 것이 명시적으로 고려된다는 것에 유의한다. 집합적 특징 데이터는 N × M 픽셀 기반 전체 이미지의 생성과 독립적으로 사용되어 물체 치수 및/또는 아래에 설명된 다른 프로세스를 결정하는데 사용되는 적절한 결과를 제공할 수 있다. 전체 이미지가 생성되어 추가 프로세스에 사용될 수 있고/있거나 원하는 경우 이미지 물체의 전체 또는 일부에 대한 시각적 기록을 제공할 수 있다.

E. 결과의 적용

위에서 설명된 작업으로부터 생성된 집합적 특징 데이터 (및/또는 꼭짓점과 관련된 데이터)는 다양한 크기 및 형상 패키지의 스트림을 포함하지만 이에 제한되지 않는 이미지화된 물체와 관련된 다양한 작업 및 기능에 적용될 수 있다는 것을 고려한다. 주목할만한 것은, 본 명세서의 프로세스는 (예를 들어) 이동 방향 및/또는 주변 지지 표면의 경계에 대한 물체/패키지의 왜곡 각도(skew angle)를 결정하는데 사용될 수 있다. 본 명세서에서의 집합적 특징 데이터를 사용하여 식별되고 측정된 하나의 잠재적인 문제점은 컨베이어 이동 방향 (및 평행한 측면 에지) 또는 다른 지지 표면에 대한 물체의 왜곡 각도이다. 좁아진 슈트, 게이트 또는 다른 전환에서 잠재적으로 걸림을 유발할 수 있을 뿐만 아니라 왜곡된 데이터로 인해 물체가 일반 치수보다 길게 나타나며 시스템에서 잘못된 결함을 생성할 수 있다. 보정 작용(즉, 잘못된 결함 무시 또는 물체 교정)이 발생할 수 있도록 왜곡 각도 데이터가 고려되어야 한다. 특히, 왜곡 각도 정보 (및/또는 다른 측정된 특성)는 다양한 다운스트림 작업에 사용하기 위해 결과(집합적 특징 데이터)에 적용된 메타데이터 태그의 일부일 수 있다. 다른 관련된 특징 데이터 길이를 벗어난 한계, 폭을 벗어난 한계, 높이를 벗어난 한계 및/또는 부피를 벗어난 한계를 포함할 수 있으며, 이는 파라미터의 한계에 대해 물체가 너무 길고, 넓고, 높거나 방대한 경우를 나타낸다. 추가 관련 데이터는 다음과 관련될 수 있지만 이에 제한되지는 않는다:

(a) 물체의 형상이나 수신된 데이터의 품질을 알려줄 수 있는 신뢰도 점수;

(b) 물체의 형상이나 실제(최소 직육면체가 아닌) 부피를 알려줄 수 있는 액체 부피;

(c) 물체 표면의 형태가 평평한지 아닌지를 알려줄 수 있는 분류;

(d) 조회/이미지화되는 데이터 대 얼마나 조회/이미지화될 것으로 예상되는지의 양

(e) 위치 특징(예를 들어, 모서리, 중심, 컨베이어 벨트의 에지와 같은 기준으로부터의 거리); 및/또는

(f) 손상 감지(예를 들어, 실제 이미지화된 형상 대 예상된 형상을 기반으로 한 팽창/움푹 들어간 패키지의 존재).

일반적으로 결합된 물체에 대한 보다 상세한 픽셀 기반 이미지 데이터를 포함할 필요성을 피하는 집합적 특징 데이터의 사용은 물체에 대해 추가 프로세스가 수행되도록 허용한다. 이러한 집합적 특징 데이터를 처리하고 조작할 때 데이터의 전체 크기는 더 빠른 처리와 낮은 프로세서 오버헤드를 허용한다. 몇 가지 예시적인 작업은 창고(warehouse)의 프로세스 자동화, 예를 들어 크기 및/또는 형상이 일치하지 않는 물체를 제거 또는 리디렉션하는 것을 포함할 수 있다. 이러한 데이터를 사용하여 물체를 전환하면 서버에서 이러한 초대형 물체가 슈트 또는 컨베이어의 구부러진 부분에 걸리게 될 수 있다. 유사하게, 이 시스템 및 방법에 의해 도출된 집합적 특징 데이터는 물체의 위치가 정확한지 확인하는 자동화된 레이블 지정 프로세스를 지원할 수 있다. 또한, 전술한 바와 같이, 왜곡 정보는 잘못된 결함 조건을 피하고/피하거나 시스템 또는 사용자가 컨베이어 스트림 내에서 물체를 바로잡을 수 있게 하여 소프트 잼 조건을 피하는데 사용될 수 있다. 다른 데이터 종속 물체/패키지 처리 작업은 숙련된 사람에게 명확해야 하는 방식으로 데이터를 사용할 수 있다.

III. 결론

위에 설명된 시스템 및 방법은 컨베이어의 이동 방향을 따라 3D 영역 스캔 센서의 FOV 내에 완전히 맞지 않을 수 있는 초대형 물체의 길이를 결정하기 위한 효과적이고 신뢰할 수 있으며 강력한 기술을 제공한다는 것이 분명해야 한다. 이 시스템 및 방법은 기존 인코더 데이터 및 검출 트리거를 사용하여 정확한 물체 치수의 세트를 생성하고 복잡한 형상으로 인해 3D 데이터가 손실되거나 없는 경우 및/또는 컨베이어 스트림에 다중 물체가 있는 경우 작동할 수 있다.

전술한 내용은 본 발명의 예시적인 실시예에 대한 상세한 설명이다. 본 발명의 사상 및 범위를 벗어나지 않고 다양한 수정 및 추가가 이루어질 수 있다. 위에서 설명된 다양한 실시예 각각의 특징은 관련된 새로운 실시예에 다수의 조합된 특징을 제공하기 위해 적절하게 다른 설명된 실시예의 특징들과 결합될 수 있다. 또한, 전술한 내용은 본 발명의 장치 및 방법의 다수의 개별 실시예를 설명하지만, 본 명세서에 설명된 것은 단지 본 발명의 원리의 적용을 예시한 것이다. 예를 들어, 본 명세서에서 사용되는 용어 “프로세스” 및/또는 “프로세서"는 다양한 전자 하드웨어 및/또는 소프트웨어 기반 기능 및 구성 요소(대안적으로 기능적 “모듈” 또는 “요소”)를 포함하도록 광범위하게 취해져야 한다. 더욱이, 묘사된 프로세스 또는 프로세서는 다른 프로세스 및/또는 프로세서와 결합되거나 다양한 하위 프로세스 또는 프로세서로 분할될 수 있다. 이러한 하위 프로세스 및/또는 하위 프로세서는 본 명세서의 실시예에 따라 다양하게 결합될 수 있다. 마찬가지로, 본 명세서에서 임의의 기능, 프로세스 및/또는 프로세서는 전자 하드웨어, 프로그램 명령의 비 일시적 컴퓨터 판독 가능 매체로 구성된 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 사용하여 구현될 수 있음이 명시적으로 고려된다. 추가적으로, 본 명세서에서 사용된 바와 같이 “수직”, “수평”, “위”, “아래”, “바닥”, “상부”, “측면”, “앞”, “뒤”, “좌”, “우” 등과 같은 다양한 방향 및 배치 용어는 중력의 작용 방향과 같은 고정된 좌표 공간에 대한 절대적인 방향/배치가 아닌 상대적인 관습으로만 사용된다. 추가적으로, 주어진 측정, 값 또는 특성과 관련하여 “실질적으로” 또는 “대략적으로”라는 용어가 사용되는 경우, 원하는 결과를 얻기 위해 정상적인 작동 범위 내에 있는 양을 의미하지만 시스템의 허용 공차 이내의 고유한 부정확성과 오류로 인한 일부 변동성을 포함한다(예를 들어, 1-5 퍼센트). 따라서, 이 설명은 단지 예로서 취해지는 것을 의미하며, 본 발명의 범위를 달리 제한하지 않는다.

Claims

3D 카메라 어셈블리를 갖는 비전 시스템으로서,
영역 스캔 센서로 배열되며, 비전 시스템 프로세서가 3D 카메라 어셈블리의 시야(FOV) 내에 획득되는 물체의 이미지로부터 3D 데이터를 수신하며, 물체는 FOV를 통해 운반 방향으로 운반되며, 물체는 FOV보다 긴 운반 방향으로의 전체 길이를 정의하며,
비전 시스템은:
3D 이미지 사이의 미리 결정된 양의 운반 모션으로 순서대로 3D 카메라 어셈블리에 의해 획득된 물체의 복수의 3D 이미지와 결합하여 FOV를 통한 물체의 운반으로부터 도출되는 모션 추적 정보에 기초하여 전체 길이를 측정하는 치수 측정 프로세서;
물체가 FOV에 인접하여 위치함에 따라 존재 신호를 제공하는 FOV와 연관된 존재 검출기 ― 존재 신호에 응답하여 치수 측정 프로세서는 물체가 운반 방향으로 이동할 때 물체가 하나 초과의 이미지에 나타나는지를 결정하도록 배열되며,
물체에 대한 특징과 관련된 정보에 응답하여 치수 측정 프로세서는 물체가 운반 방향으로 이동할 때 물체가 FOV보다 긴지를 결정하도록 배열됨 ―;
별개의 개별 이미지를 전체 이미지로 결합하지 않는 방식으로 물체의 전체 치수를 결정하기 위해 집합적 특징 데이터를 생성하는 3D 카메라에 의한 연속적인 이미지 획득으로부터 물체의 특징과 관련된 정보를 결합하는 이미지 프로세서;를 포함하는,
비전 시스템.
제1항에 있어서,
상기 이미지 프로세서는 물체의 전체 길이가 FOV보다 긴 것에 응답하여 물체가 FOV 내에 남아 있는 동안 그리고 물체가 FOV에서 벗어날 때까지 일련의 이미지 획득 스냅샷을 획득하도록 배열되는,
비전 시스템.
제2항에 있어서,
상기 이미지 프로세서는 입력 애플리케이션 데이터에 기초하여 집합적 특징 데이터를 사용하여 물체의 전체 속성을 도출하도록 배열되며, 전체 속성은 신뢰도 점수, 물체 분류, 물체 치수, 왜곡 및 물체 부피 중 적어도 하나를 포함하는,
비전 시스템.
제3항에 있어서,
상기 전체 속성에 기초하여, 물체를 리디렉션하는 것, 물체를 제거하는 것, 경고를 발행하는 것 및 물체의 왜곡을 정정하는 것 중 적어도 하나를 포함하는 물체에 대한 작업을 수행하는 물체 처리 프로세스를 더 포함하는,
비전 시스템.
제1항에 있어서,
상기 물체는 기계적 컨베이어 또는 수동 조작에 의해 운반되는,
비전 시스템.
제5항에 있어서,
상기 추적 정보는 컨베이어에 작동 가능하게 연결된 인코더에 의해 생성되며, 모션 감지 장치는 컨베이어, 외부 특징 감지 장치 또는 특징 기반 감지 장치에 작동 가능하게 연결되는,
비전 시스템.
제1항에 있어서,
상기 존재 신호는 물체가 운반 방향으로 움직일 때 각각의 이미지 사이에 물체의 연속성을 결정하기 위해 치수 측정 프로세서에 의해 사용되는,
비전 시스템.
제7항에 있어서,
복수의 이미지는 그 사이에 미리 결정된 중첩을 갖는 3D 카메라에 의해 획득되며, 전체 길이를 결정하기 위해 물체 치수로부터 중첩 섹션을 제거하기 위해 추적 정보를 사용하는 제거 프로세스를 더 포함하는,
비전 시스템.
제8항에 있어서,
상기 복수의 이미지 중 이전 이미지가 물체의 후방 에지를 포함한 후 존재 신호가 표명된 결과로 획득된 복수의 이미지 중 마지막 이미지를 제거하는 이미지 제거 프로세스를 더 포함하는,
비전 시스템.
제1항에 있어서,
상기 치수 측정 프로세서는 물체가 운반 방향으로 이동할 때 각각의 이미지 사이에서 물체의 연속성을 결정하기 위해 물체의 특징과 관련된 정보를 사용하도록 배열되는,
비전 시스템.
제1항에 있어서,
상기 치수 측정 시스템은 이미지의 물체 사이의 최소 간격을 정의하며, 그 아래에서 복수의 물체는 3D 이미지 데이터가 누락된 단일 물체로 간주되는,
비전 시스템.
제1항에 있어서,
상기 이미지 프로세서는,
(a) 길이를 벗어난 한계 데이터,
(b) 폭을 벗어난 한계 데이터,
(c) 높이를 벗어난 한계 데이터,
(d) 부피를 벗어난 한계 데이터,
(e) 신뢰도 점수,
(f) 액체 부피,
(g) 분류
(h) 물체의 실제로 이미지화된 데이터 대 물체의 이미지화된 예상된 데이터의 양(QTY),
(i) 물체의 위치 특징, 또는
(j) 물체에 대한 손상의 검출을 포함하는, 물체에 대한 집합적 특징 데이터를 생성하도록 배열되는,
비전 시스템.
시야(FOV)를 갖는 영역 스캔 센서로 배열되는 3D 카메라 어셈블리를 갖는 비전 시스템으로서,
FOV를 통과할 때 물체의 하나 이상의 이미지를 캡쳐하고, 물체가 단일 이미지보다 더 차지할지를 결정하고, 물체가 더 이상 다음 이미지를 차지하지 않을 때를 결정하고, 그리고 획득된 하나 이상의 이미지로부터 물체의 크기 및 상대 각도를 계산하는 획득 프로세스를 포함하는,
비전 시스템.
영역 스캔 센서로 배열된 3D 카메라 어셈블리를 갖는 비전 시스템으로 물체의 치수를 측정하기 위한 방법으로서,
비전 시스템 프로세서는 3D 카메라 어셈블리의 시야(FOV) 내에서 획득된 물체의 이미지로부터 3D 데이터를 수신하며, 물체는 FOV를 통해 운반 방향으로 운반되며, 물체는 FOV보다 긴 운반 방향으로의 전체 길이를 정의하며,
상기 방법은:
3D 이미지 사이에 미리 결정된 양의 운반 모션으로 순서대로 3D 카메라 어셈블리에 의해 획득된 물체의 복수의 3D 이미지와 결합하여 FOV를 통한 물체의 전달로부터 도출된 모션 추적 정보에 기초하여 전체 길이를 측정하는 단계;
물체가 FOV에 인접하여 위치함에 따라 존재 신호를 생성하고, 존재 신호에 응답하여, 물체가 운반 방향으로 이동할 때 물체가 하나 초과의 이미지에 나타나는지 여부를 결정하는 단계;
물체의 특징과 관련된 정보에 응답하여, 물체가 운반 방향으로 이동할 때 물체가 FOV보다 긴지 여부를 결정하는 단계; 및
별개의 개별 이미지를 전체 이미지로 결합하지 않는 방식으로 물체의 전체 치수를 제공하기 위해 집합적 특징 데이터를 생성하도록 3D 카메라에 의한 연속적인 이미지 획득으로부터 물체의 특징과 관련된 정보를 결합하는 단계;를 포함하는,
비전 시스템으로 물체의 치수를 측정하기 위한 방법.
제14항에 있어서,
상기 물체의 전체 길이가 FOV보다 긴 것에 응답하여, 물체가 FOV 내에 남아 있는 동안 그리고 물체가 FOV에서 벗어날 때까지 이미지 획득 스냅샷의 시퀀스를 획득하는 단계를 더 포함하는,
비전 시스템으로 물체의 치수를 측정하기 위한 방법.
제15항에 있어서,
상기 집합적 특징 데이터를 사용하고 입력 애플리케이션 데이터에 기초하여 물체의 전체 속성을 유도하는 단계를 더 포함하며, 전체 속성은 신뢰도 점수, 물체 분류, 물체 치수, 왜곡 및 물체 부피 중 적어도 하나를 포함하는,
비전 시스템으로 물체의 치수를 측정하기 위한 방법.
제16항에 있어서,
상기 전체 속성에 기초하여 물체를 리디렉션하는 것, 물체를 제거하는 것, 경보를 발행하는 것 및 물체의 왜곡을 정정하는 것 중 적어도 하나를 포함하는 물체에 대한 작업을 수행하는 단계를 더 포함하는,
비전 시스템으로 물체의 치수를 측정하기 위한 방법.
제17항에 있어서,
물체가 운반 방향으로 이동할 때 각각의 이미지 사이에서 물체의 연속성을 결정하기 위해 존재 신호를 사용하는 단계를 더 포함하는,
비전 시스템으로 물체의 치수를 측정하기 위한 방법.
제14항에 있어서,
상기 정보를 결합하는 단계는:
(a) 길이를 벗어난 한계 데이터,
(b) 폭을 벗어난 한계 데이터,
(c) 높이를 벗어난 한계 데이터,
(d) 부피를 벗어난 한계 데이터,
(e) 신뢰도 점수,
(f) 액체 부피,
(g) 분류
(h) 물체의 실제로 이미지화된 데이터 대 물체의 이미지화된 예상된 데이터의 양(QTY),
(i) 물체의 위치 특징, 또는
(j) 물체에 대한 손상의 검출을 생성하는 단계를 포함하는,
비전 시스템으로 물체의 치수를 측정하기 위한 방법.
제14항에 있어서,
이미지에서 물체 사이의 최소 간격을 정의하는 단계 및 그 최소 간격 아래에서 복수의 물체를 누락된 3D 이미지 데이터가 있는 단일 물체로 간주하는 단계를 더 포함하는,
비전 시스템으로 물체의 치수를 측정하기 위한 방법.