KR20230155369A - 물체 피처들을 예측하기 위해 범위 데이터를 사용하기 위한 방법들 및 장치들 - Google Patents

물체 피처들을 예측하기 위해 범위 데이터를 사용하기 위한 방법들 및 장치들 Download PDF

Info

Publication number
KR20230155369A
KR20230155369A KR1020230062401A KR20230062401A KR20230155369A KR 20230155369 A KR20230155369 A KR 20230155369A KR 1020230062401 A KR1020230062401 A KR 1020230062401A KR 20230062401 A KR20230062401 A KR 20230062401A KR 20230155369 A KR20230155369 A KR 20230155369A
Authority
KR
South Korea
Prior art keywords
distance
view
field
machine vision
vision system
Prior art date
Application number
KR1020230062401A
Other languages
English (en)
Inventor
천 가오
이반 바첼더
Original Assignee
코그넥스코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코그넥스코오포레이션 filed Critical 코그넥스코오포레이션
Publication of KR20230155369A publication Critical patent/KR20230155369A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)

Abstract

실시예들은 물체에 대한 높이 정보를 예측하는 것에 관한 것이다. 제1 거리 데이터는 물체가 시야 내에 부분적으로만 있는 제1 위치에 있는 제1 시간에 결정된다. 제2 거리 데이터는 물체가 시야 내에 부분적으로만 있는 제2의 상이한 위치에 있는 제2의 후속 시간에 결정된다. 시야 내의 물체의 물리적 파라미터를 모델링하는 거리 측정 모델은 제1 및 제2 거리 데이터에 기초하여 물체에 대해 결정된다. 물체가 거리 감지 디바이스의 시야 내에 완전히 있기 전에 물체까지의 추정된 거리를 표시하는 제3 거리 데이터는 제1 거리 데이터, 제2 거리 데이터, 및 거리 측정 모델에 기초하여 결정된다. 물체의 높이를 표시하는 데이터는 제3 거리 데이터에 기초하여 결정된다.

Description

물체 피처들을 예측하기 위해 범위 데이터를 사용하기 위한 방법들 및 장치들{METHODS AND APPARATUS FOR USING RANGE DATA TO PREDICT OBJECT FEATURES}
본원에 설명된 기술들은 일반적으로 물체의 높이를 예측하는 것을 포함하는, 물체 피처들을 예측하기 위해 범위 데이터를 사용하기 위한 방법들 및 장치들에 관한 것이다.
비전 시스템들은 물체들을 측정하고, 물체들을 조사하고, 물체들을 정렬하고/하거나, 심볼로지(예를 들어, 바코드들)를 디코딩하는 것과 같은 작업들을 수행하기 위해 폭넓은 범위의 응용들에서 사용될 수 있다. 이러한 시스템들은 보통 피사체(subject) 또는 물체(object)의 이미지들을 취득하는 이미지 센서, 및 취득된 이미지들을 처리하는 하나 이상의 프로세서(예를 들어, 온-보드 및/또는 이미지 센서에 상호접속됨)를 포함한다. 이미지 정보는 다양한 색들 및/또는 세기들을 각각 갖는 이미지 화소들(image pixels)의 어레이로서 제공될 수 있다. 비전 시스템은 처리된 이미지들에 기초하여 원하는 출력을 발생하도록 구성될 수 있다. 예를 들어, 바코드 판독기의 경우, 이미징 디바이스는 하나 이상의 바코드를 포함할 수 있는 물체를 이미징할 수 있다. 시스템은 다음에 시스템이 다음에 바코드 디코딩 프로세스를 사용하여 디코딩할 수 있는, 바코드를 식별하기 위해 이미지를 처리할 수 있다.
본원에 설명된 기술들은 일부 실시예들에서, 비행 시간 센서와 같은 거리 감지 디바이스를 사용하여, 이동하는 물체의 피처들이 기존의 기술들을 사용하여 결정되기 전에 이러한 피처들을 예측하기 위해 범위 데이터를 측정하는 것에 관한 것이다. 일부 실시예들에서, 기술들은 (렌즈를 통해 장면을 보는) 이미징 디바이스가 물체의 피처들이 이미지들에 기초하여 처리되게 하는 충분한 초점에서 이동하는 물체를 이미징할 수 있도록 렌즈 어셈블리를 포커싱하기 위해 이동하는 물체의 높이를 예측하기 위해 거리 데이터를 사용한다. 예를 들어, 비행 시간 센서는 물체가 비행 시간 센서의 시야 내에 완전히 있을 때에만 물체까지의 거리를 정확하게 측정할 수 있지만, 이 기술은 물체가 비행 시간 센서의 시야 내에 완전히 있기 훨씬 전에 물체까지의 거리를 예측하기 위해 제공할 수 있다. 이 기술은 머신 비전 시스템이 물체의 물리적 특성들(예를 들어, 물체 크기, 물체 면적, 물체들 간의 간격 등)과 같은 피처들, 물체 상의 바코드들을 처리하고, 물체 검사를 수행하는 것 등을 하게 할 수 있다.
일부 실시예들은 컴퓨터화된 방법에 관한 것이다. 방법은 제1 시간에 거리 감지 디바이스에 의해 결정된 제1 거리 데이터에 액세스하는 단계를 포함하고, 거리 감지 디바이스는 거리 감지 디바이스의 시야 내의 제1 위치에서 물체와의 제1 거리 데이터를 결정하고, 물체는 제1 위치에서 시야 내에 부분적으로만 있다. 방법은 제1 시간 이후에 발생하는 제2 시간에 거리 감지 디바이스에 의해 결정된 제2 거리 데이터에 액세스하는 단계를 포함하고, 거리 감지 디바이스는 거리 감지 디바이스의 시야 내의 제2 위치에서 물체와의 제2 거리 데이터를 결정하고, 제1 위치는 제2 위치와 상이하고, 물체는 제2 위치에서 시야 내에 부분적으로만 있다. 방법은 제1 거리 데이터 및 제2 거리 데이터에 기초하여 물체에 대한 거리 측정 모델을 결정하는 단계를 포함하고, 거리 측정 모델은 시간이 지남에 따라 거리 감지 디바이스의 시야 내의 물체의 물리적 파라미터를 모델링하도록 구성된다. 방법은 제1 거리 데이터, 제2 거리 데이터, 및 거리 측정 모델에 기초하여, 물체가 거리 감지 디바이스의 시야 내에 완전히 있기 전에 물체까지의 추정된 거리를 표시하는 제3 거리 데이터를 결정하는 단계를 포함한다. 방법은 제3 거리 데이터에 기초하여, 물체의 높이를 표시하는 데이터를 결정하는 단계를 포함한다.
일부 실시예들은 장치에 관한 것이다. 장치는 메모리와 통신하는 프로세서를 포함한다. 프로세서는 프로세서로 하여금 제1 시간에 거리 감지 디바이스에 의해 결정된 제1 거리 데이터에 액세스하게 하는 메모리 내에 저장된 명령어들을 실행하도록 구성되고, 거리 감지 디바이스는 거리 감지 디바이스의 시야 내의 제1 위치에서 물체와의 제1 거리 데이터를 결정하고, 물체는 제1 위치에서 시야 내에 부분적으로만 있다. 프로세서는 프로세서로 하여금 제1 시간 이후에 발생하는 제2 시간에 거리 감지 디바이스에 의해 결정된 제2 거리 데이터에 액세스하게 하는 메모리 내에 저장된 명령어들을 실행하도록 구성되고, 거리 감지 디바이스는 거리 감지 디바이스의 시야 내의 제2 위치에서 물체와의 제2 거리 데이터를 결정하고, 제1 위치는 제2 위치와 상이하고, 물체는 제2 위치에서 시야 내에 부분적으로만 있다. 프로세서는 프로세서로 하여금 제1 거리 데이터 및 제2 거리 데이터에 기초하여 물체에 대한 거리 측정 모델을 결정하게 하는 메모리 내에 저장된 명령어들을 실행하도록 구성되고, 거리 측정 모델은 시간이 지남에 따라 거리 감지 디바이스의 시야 내의 물체의 물리적 파라미터를 모델링하도록 구성된다. 프로세서는 프로세서로 하여금 제1 거리 데이터, 제2 거리 데이터, 및 거리 측정 모델에 기초하여, 물체가 거리 감지 디바이스의 시야 내에 완전히 있기 전에 물체까지의 추정된 거리를 표시하는 제3 거리 데이터를 결정하게 하는 메모리 내에 저장된 명령어들을 실행하도록 구성된다. 프로세서는 프로세서로 하여금 제3 거리 데이터에 기초하여, 물체의 높이를 표시하는 데이터를 결정하게 하는 메모리 내에 저장된 명령어들을 실행하도록 구성된다.
일부 실시예들은 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체에 관한 것이다. 비일시적 컴퓨터 판독가능 저장 매체는 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금 제1 시간에 거리 감지 디바이스에 의해 결정된 제1 거리 데이터에 액세스하게 하는 프로세서 실행가능 명령어들을 저장하고, 거리 감지 디바이스는 거리 감지 디바이스의 시야 내의 제1 위치에서 물체와의 제1 거리 데이터를 결정하고, 물체는 제1 위치에서 시야 내에 부분적으로만 있다. 비일시적 컴퓨터 판독가능 저장 매체는 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금 제1 시간 이후에 발생하는 제2 시간에 거리 감지 디바이스에 의해 결정된 제2 거리 데이터에 액세스하게 하는 프로세서 실행가능 명령어들을 저장하고, 거리 감지 디바이스는 거리 감지 디바이스의 시야 내의 제2 위치에서 물체와의 제2 거리 데이터를 결정하고, 제1 위치는 제2 위치와 상이하고, 물체는 제2 위치에서 시야 내에 부분적으로만 있다. 비일시적 컴퓨터 판독가능 저장 매체는 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금 제1 거리 데이터 및 제2 거리 데이터에 기초하여 물체에 대한 거리 측정 모델을 결정하게 하는 프로세서 실행가능 명령어들을 저장하고, 거리 측정 모델은 시간이 지남에 따라 거리 감지 디바이스의 시야 내의 물체의 물리적 파라미터를 모델링하도록 구성된다. 비일시적 컴퓨터 판독가능 저장 매체는 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금 제1 거리 데이터, 제2 거리 데이터, 및 거리 측정 모델에 기초하여, 물체가 거리 감지 디바이스의 시야 내에 완전히 있기 전에 물체까지의 추정된 거리를 표시하는 제3 거리 데이터를 결정하게 하는 프로세서 실행가능 명령어들을 저장한다. 비일시적 컴퓨터 판독가능 저장 매체는 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금 제3 거리 데이터에 기초하여, 물체의 높이를 표시하는 데이터를 결정하게 하는 프로세서 실행가능 명령어들을 저장한다.
다음의 본 발명의 상세한 설명이 보다 잘 이해될 수 있고, 본 기술 분야에의 본 기여가 보다 잘 알게 되게 하기 위해 개시된 주제의 피처들이 상당히 폭넓게 개략되었다. 물론, 이후 설명되고 여기에 첨부된 청구범위의 주제를 형성하는 개시된 주제의 추가적인 피처들이 있다. 본원에 사용되는 전문어 및 용어는 설명의 목적을 위한 것이고 제한하는 것으로 간주되어서는 안되는다는 것을 이해할 것이다.
첨부 도면들은 축척에 맞게 그려지지 않았다. 도면들에서, 다양한 도면들에 도시된 각각의 동일한 또는 거의 동일한 컴포넌트는 유사한 번호에 의해 나타내진다. 명료성의 목적들을 위해, 모든 컴포넌트가 모든 도면에 라벨링되지 않을 수 있다. 도면들에서:
도 1은 본원에 설명된 기술의 일부 실시예에 따른, 이미지 감지 디바이스의 시야를 향한 컨베이어 벨트 상의 이동하는 물체를 갖는 예시적인 머신 비전 시스템 응용을 도시한 도면이고;
도 2는 본원에 설명된 기술의 일부 실시예에 따른, 물체가 이미지 감지 디바이스의 시야 내에 부분적으로 있도록 추가로 이동된 도 1로부터의 물체를 도시한 도면이고;
도 3은 본원에 설명된 기술의 일부 실시예에 따른, 물체가 도 2와 비교하여 이미지 감지 디바이스의 시야 내에 추가로 있도록 추가로 이동된 도 1로부터의 물체를 도시한 도면이고;
도 4a는 본원에 설명된 기술의 일부 실시예에 따른, 범위 측정들을 사용하여 거리 측정 모델을 결정하고 업데이트하는 예시적인 방법을 도시한 도면이고;
도 4b는 본원에 설명된 기술의 일부 실시예에 따른, 거리 감지 측정들을 사용하여 거리 측정 모델을 결정하고 업데이트하는 예시적인 상세한 방법을 도시한 도면이고;
도 5a는 본원에 설명된 기술의 일부 실시예에 따른, 거리 측정들 및 파라미터 추정을 사용하여 거리 측정 모델을 결정하고 업데이트하는 예시적인 방법을 도시한 도면이고;
도 5b는 본원에 설명된 기술의 일부 실시예에 따른, 거리 측정들 및 파라미터 추정을 사용하여 거리 측정 모델을 결정하고 업데이트하는 예시적인 상세한 방법을 도시한 도면이다.
위에 설명된 것과 같이, 본원에 설명된 기술들은 다양한 머신 비전 응용들을 위한 물체 피처들을 예측하기 위해 사용될 수 있다. 예를 들어, 기술들은 컨베이어-기반 응용들, 분류 응용 등을 포함하는 로지스틱 머신 비전 응용들을 위해 사용될 수 있다. 일부 로지스틱스 응용들은 깊은 피사계 심도(depth of field) 및 작은 개구를 갖는 고정된 초점 렌즈를 사용한다. 작은 개구의 결과로서, 이미지들은 제한된 광만이 렌즈를 통과할 수 있기 때문에 잘 조명되지 않을 수 있다. 대안적으로, 자동-초점 기술들이 고정된 초점들 렌즈들 대신에 사용될 수 있다. 자동-초점 기술이 더 얕은 피사계 심도를 갖는 렌즈를 사용할 수 있기 때문에, 보다 많은 광이 캡처될 수 있어서, 이미지 품질을 개선시킬 수 있다. 1-3ms 내에서 초점을 변경할 수 있는 액체 렌즈들과 같은, 패스트-포커싱(fast-focusing) 렌즈들이 가용하다. 비행 시간 센서들과 같은 거리 감지 디바이스들은 렌즈의 자동-초점을 구동시키기 위해 사용될 수 있는, 물체의 높이를 검출하기 위해 사용될 수 있다. 비행 시간 센서들은 예를 들어, 3-5KHz의 레이트들로 동작할 수 있다.
자동-초점 기술들이 이미지 품질을 개선시킬 수 있지만, 본 발명자들은 이러한 기술들이 이미징 디바이스가 물체의 충분한 수의 높은-품질 이미지들을 캡처하게 하기에 충분히 빠르게 포커싱할 수 없다는 것을 발견하고 알았다. 예를 들어, 높은 속도 로지스틱스 응용들은 분당 600-800피트(또는 초당 10-13.5피트)와 같은 매우 높은 레이트들로 물체들을 이동시키는 컨베이어 벨트들을 사용할 수 있다. 그러므로, 물체들은 1초 미만 동안, 아마도 100-500㎳ 미만 동안 이미징 디바이스의 시야 내에 단지 있을 수 있다. 이미징 센서들은 각각의 이미지에 대해 약 15-20㎳인, 50-60㎐에서 전형적으로 동작한다. 높은 속도 로지스틱스 응용들을 위해, 이미징 디바이스는 그것이 (예를 들어, 물체 상의 완전한 바코드의 단지 1-2개의 이미지와 같은) 이미징 센서의 시야 내에 있는 동안 물체의 몇개의 유용한 이미지를 단지 캡처할 수 있다. 이 문제는 물체의 충분한 이미지들을 캡처할 기회들을 추가로 제한할 수 있는, 이미징 센서에 더 가까운 높은 물체들에 대해 더 심각해질 수 있다(예를 들어, 시야가 보다 높은 물체들에 대해 보다 제한되기 때문에, 물체들은 더 짧은 물체들보다 적은 시간 동안 시야 내에 있다). 시스템은 거리 감지 디바이스에 의해 추가로 제한될 수 있다. 예를 들어, 비행 시간 센서들이 (예를 들어, 비행 시간 센서가 50-60㎐ 이미징 디바이스의 각각의 이미지 캡처 간의 10-20개의 비행 시간 판독을 획득할 수 있도록) 높은 레이트들로 동작할 수 있지만, 비행 시간 센서들은 전체 물체가 비행 시간 센서의 시야 내에 있을 때 정확한 높이 측정들을 단지 제공할 수 있다. 그러므로, 이미지 센서에 또는 그 가까이에 비행 시간 센서를 배치하는 시스템들과 같은, 많은 머신 비전 시스템들의 경우, 비행 시간 센서들은 전형적으로 자동-초점 응용들을 구동시키기 위해 빠르고-충분한 높이 측정을 제공하지 않는다.
그러므로 본 발명자들은 기존의 머신 비전 시스템들이 갖는 이들 및 다른 문제들을 해결하기 위해 빠른 물체 높이 검출을 제공하는 것이 바람직하다는 것을 인식하고 알았다. 예를 들어, 빠른 물체 높이 검출은 이미징 디바이스가 그것이 이미징 디바이스의 시야 내에 있는 동안 물체의 이미지들을 캡처하기 위해 최소량의 시간을 갖도록 물체(또는 물체의 관련 부분)가 이미징 디바이스의 시야 내로 이동하기 전에 및/또는 이동할 때 렌즈 어셈블리를 포커싱하기 위해 사용될 수 있다. 본 발명자들은 전체 물체가 거리 감지 디바이스의 시야 내에 있기 전에 이동하는 물체의 높이를 예측하기 위해 기술들을 발전시켰다. 이러한 기술들은 머신 비전 시스템이 단일 패키지 내에 이미징 디바이스와 거리 감지 디바이스 둘 다를 포함시키게 하고 머신 비전 시스템이 그렇지 않고 이전의 거리 감지 디바이스들로 가능한 것보다 더 빠르게 렌즈 어셈블리를 여전히 오토-포커싱하게 할 수 있다. 예를 들어, 거리 측정 디바이스가 물체가 완전히 시야에 들어갈 때까지 그것이 거리 측정 디바이스의 시야에 들어갈 때 물체의 N개의 취득을 취하면, 기술들은 물체 파라미터들을 더 빨리 50%(예를 들어, ½ × N개의 더 적은 수의 취득)로 추정할 수 있다. 이러한 기술들은 추가적으로 또는 대안적으로 그렇지 않고 불완전한 데이터로 달성될 수 있는 것보다 더 큰 정확도를 제공할 수 있다. 예를 들어, 기술들은 단지 몇개의 잡음있는 거리 측정들(예를 들어, 물체가 시스템의 시야 내에 완전히 있기 전에 만들어진 단지 몇개의 잡음있는 거리 측정)으로 자동-초점을 수행할 수 있어서, 이전에 가능한 것보다 훨씬 더 빠른 컨베이어 속도들로 자동-초점을 수행하기 위해 제공할 수 있다.
다음의 설명에서, 수많은 특정한 상세들이 개시된 주제의 철저한 이해를 제공하기 위해, 개시된 주제의 시스템들 및 방법들 및 이러한 시스템들 및 방법들이 동작할 수 있는 환경 등에 관해 제시된다. 또한, 아래에 제공된 예들은 예시적이고, 개시된 주제의 범위 내에 있는 다른 시스템들 및 방법들이 있다는 것이 고려될 수 있다는 것을 이해할 것이다.
도 1은 본원에 설명된 기술의 일부 실시예에 따른, 이미지 감지 디바이스(108)의 시야 S(106)를 향한 컨베이어 벨트(104) 상의 이동하는 물체(102)를 갖는 예시적인 머신 비전 시스템 응용을 도시한 도면(100)이다. 본 예에서, 물체(102)는 높이 H(110)를 갖고, 물체(102)는 방향(112)으로 컨베이어 벨트(104) 상에서 이동한다. 이미지 감지 디바이스(108)는 컨베이어 벨트(104)로부터 거리 D(114)에 있다. 도 2는 본원에 설명된 기술의 일부 실시예에 따른, 물체(102)가 이미지 감지 디바이스(108)의 시야 S(106) 내에 부분적으로 있도록 방향(112)을 따라 추가로 이동된 도 1로부터의 물체(102)를 도시한 도면이다. 도 2에 도시한 것과 같이, 물체(102)의 상부 표면의 부분 Sk1(200)은 시야 S(106) 내에 있다. 도 3은 본원에 설명된 기술의 일부 실시예에 따른, 물체(102)가 도 2와 비교하여 이미지 감지 디바이스(108)의 시야 S(106) 내에 추가로 있도록 방향(112)을 따라 추가로 이동된 도 1로부터의 물체(102)를 도시한 도면이다. 도 3에 도시한 것과 같이, 물체(102)의 상부 표면의 부분 Sk2(300)은 시야 S(106) 내에 있다. 부분 Sk2(300)은 도 2의 부분 Sk1(200)의 부분보다 크다.
도 1-3이 단지 하나의 물체(102)를 도시하지만, 많은 물체들이 컨베이어 벨트 상에서 이동할 수 있고, 이들 물체는 균일한 형상, 간격 등이 아닐 수 있다는 것을 알아야 한다. 그러므로, 로지스틱스 동작들(예를 들어, 패키지들이 컨베이어 라인 아래로 통과할 때 패키지들 상의 바코드들을 트랙킹함)에서의 심볼로지-디코딩과 같은 많은 비전 시스템 응용들에서, 물체들의 수, 높이, 전체 크기 및 물체들 간의 간격 갭은 상당히 가변적일 수 있다.
일부 실시예들에서, 거리 감지 디바이스는 거리 정보를 예측하는 통합된 단일-포인트 또는 멀티-포인트 비행 시간 센서와 같은, 비행 시간 센서이다. 비행 시간 센서는 레이저 빔 또는 광 펄스(예를 들어, IR-기반 광 펄스)와 같은 빔을 방출하도록 구성된 방출기, 및 반사된 빔을 수신하도록 구성된 수신기를 포함할 수 있다. 비행 시간 센서는 방출된 빔과 반사된 빔 사이에 위상 시프트가 있도록, 높은 주파수에서 빔의 세기를 변조할 수 있다. 비행 시간 센서는 방출기에서의 위상을 수신기에서의 위상과 비교함으로써 위상 시프트의 정도를 측정하는 회로를 포함할 수 있다. 측정된 위상 시프트는 다음에 센서 및/또는 외부 전자 장치들 내에 있는 검정 파라미터들에 기초하여 거리 측정으로 변환된다.
도시하지는 않았지만, 거리 감지 디바이스(108)는 이미징 디바이스와의 단일 패키지 내로 통합되는 것과 같이, 이미징 디바이스에 가깝게 배치될 수 있고/있거나 이미징 디바이스에 가깝게 장착될 수 있다(예를 들어, 이미징 디바이스의 렌즈 어셈블리에 장착될 수 있다). 예시적인 구성은 본원의 양수인인 Cognex Corporation에 의해 제공된 HPIT(High-Powered Integrated Torch)와 같은, ToF 센서 및/또는 조명 디바이스와 통합된 이미징 디바이스를 포함할 수 있다. 또 하나의 예시적인 구성은 이미징 디바이스 및 이미징 디바이스와 상이한 위치에 장착된 ToF 센서를 포함할 수 있다. 이러한 예들에서, 이미징 디바이스 및 ToF 센서는, 물체가 이미징 디바이스에 도달하기 전에 ToF 센서가 측정들을 수행할 수 있도록 이미징 디바이스로부터의 컨베이어 벨트의 ToF 센서 업스트림과 동일한 높이에서 컨베이어와 수직인 광학 축들과 같은 하나 이상의 구성 제한, 및/또는 다른 시스템 구성 제한들로 장착될 수 있다. 일부 실시예들에서, 이미징 디바이스는 하나 이상의 내부 프로세서(예를 들어, FPGA들, DSP들, ARM 프로세서들 등) 및 그것이 재고 트랙킹 컴퓨터 시스템 또는 로지스틱스 응용과 같은 다운스트림 프로세스에 원하는 출력 데이터(예를 들어, 디코딩된 심볼 정보)를 제공하는, 스탠드얼론 유닛으로서 동작하게 하는 다른 컴포넌트들을 포함할 수 있다. 일부 실시예들에서, 머신 비전 시스템은 머신 비전 시스템 처리 기능을 제공하도록 구성된 퍼스널 컴퓨터, 랩탑 등과 같은 외부 처리 기능을 포함할 수 있다.
일부 실시예들에서, 머신 비전 시스템은 이미지-기반 심볼로지 판독기일 수 있다. 판독기는 이미지 센서 및 광학계(optics)가 있는 이미징 디바이스와, 이미지 센서에 의해 취득된 이미지들 내의 심볼들(예를 들어, 바코드들)을 찾고 디코딩하도록 배열된 비전 시스템 프로세서를 포함할 수 있다. 거리 감지 디바이스(108)는 이미지 센서의 시야 내의 물체(102)에 대해 본원에 (예를 들어, 도 4a-5b와 함께) 설명되는 것과 같은 거리 정보를 예측하는 이미징 디바이스와 통합될 수 있다. 비행 시간 센서는 비전 시스템 프로세서 및/또는 이미저 컨트롤(imager control) 중 적어도 하나와 동작가능하게 접속될 수 있다.
일부 실시예들에서, 이미징 디바이스는 렌즈 어셈블리를 포함할 수 있고/있거나 그와 광학 통신할 수 있다. 렌즈 구성의 선택은 라이팅/조명, 시야, 초점 거리, 카메라 축의 상대적 각도 및 이미징된 표면, 및/또는 이미징된 표면 상의 상세들의 크기와 같은 다양한 팩터들에 의해 구동될 수 있다. 일부 예들에서, 렌즈의 비용 및/또는 비전 시스템을 장착하기 위한 가용한 공간은 또한 렌즈의 선택을 유도할 수 있다. 소정의 비전 시스템 응용들에서 바람직할 수 있는 예시적인 렌즈 구성은 자동 포커싱(자동-초점) 어셈블리이다. 예로서, 자동-초점 렌즈는 소위 액체 렌즈 어셈블리에 의해 용이하게 될 수 있다.
액체 렌즈의 사용은 렌즈를 수동으로 터치하거나 조정할 필요성을 제거함으로써 비전 시스템의 설치, 셋업 및 유지를 간단히 할 수 있다. 다른 자동-초점 메커니즘들에 비해, 액체 렌즈는 빠른 응답 시간들을 가질 수 있다. 액체 렌즈들은 또한 물체 간(표면 간)에 변화하는 판독 거리들로 또는 (예를 들어, 배송 박스들과 같은) 상이한 크기/높이 물체들을 포함하는 이동하는 컨베이어를 스캔하는 것과 같은, 하나의 물체로부터 다른 물체로의 판독의 전환 동안의 응용을 위해 사용될 수 있다. 도 1-3에 도시한 예가 컨베이어 벨트 머신 비전 응용을 도시하지만, 많은 상이한 비전 시스템 응용들에서 이미징하기 위해 빠르게 포커싱하는 것이 바람직할 수 있고, 그러므로 본원에 설명된 기술들은 이러한 예시적인 실시예들로 제한되지 않는다는 것을 알아야 한다.
액체 렌즈들은 상이한 방식들로 구현될 수 있다. 하나의 예시적인 액체 렌즈 실시예는 물과 오일을 사용하고, 오일을 인가된 전압을 사용하여 렌즈로 본질적으로 형상화할 수 있다. 주변 회로에 의해 렌즈를 통해 통과된 전압의 변동은 오일-물 계면의 곡률 변화에 이르게 하여, 결국 렌즈의 초점 길이의 변화에 이르게 한다. 또 하나의 예시적인 액체 렌즈 실시예는 그것의 초점 거리를 변경하기 위해 액체 저장소를 덮는 이동가능한 멤브레인을 사용한다. 보빈(bobbin)은 멤브레인의 형상을 변경함으로써 렌즈 초점을 변경하기 위해 압력을 가할 수 있다. 보빈은 프리셋 범위 내의 입력 전류를 변경함으로써 이동될 수 있다. 상이한 전류 레벨들은 액체 렌즈를 위해 상이한 초점 거리들을 제공할 수 있다.
본원에 설명되는 것과 같이, 거리 감지 디바이스로부터의 범위/거리 정보는 시야 내의 특정한 크기/형상 물체(들)에 기초하여 런타임 동작 동안 그리고 물체(들)가 비행 시간 센서의 시야 내에 완전히 있기 전에 가변(예를 들어, 액체) 렌즈를 오토-포커싱하도록 처리될 수 있다. 예를 들어, 예측된 거리 정보는 물체가 이미징 디바이스의 시야 내에 부분적으로 및/또는 완전히 있기 전에 이미징 디바이스의 렌즈의 초점 거리를 설정하기 위해 사용될 수 있다. 일부 실시예들에서, 시스템은 거리 측정 디바이스가 이미징 센서보다 더 높은 속도를 갖도록 구성된다. 예를 들어, 50Hz 이미징 센서는 4KHz 비행 시간 센서와 함께 사용될 수 있다.
도 4a는 본원에 설명된 기술의 일부 실시예에 따른, 범위 측정들을 사용하여 거리 측정 모델을 결정하고 업데이트하는 예시적인 방법(400)을 도시한 도면이다. 머신 비전 시스템은 물체들이 거리 감지 디바이스의 시야 내에 완전히 있기 전에 물체들의 피처들(예를 들어, 높이, 면적 등)을 예측하기 위해 방법(400)을 수행할 수 있다. 예를 들어, 도 2 및 도 3을 참조하면, 방법(400)은 물체(102)가 거리 감지 디바이스(108)의 시야 S 내에 완전히 있기 전에 물체(102)의 높이 H(110)를 예측하기 위해 사용될 수 있다. 단계 402에서, 머신 비전 시스템은 물체가 시야 내에 완전히 있기 전에 물체가 물체의 높이를 예측하기 위해 거리 감지 디바이스의 시야에 들어갈 때 시간이 지남에 따라 물체까지의 거리 감지 디바이스의 거리 측정들을 모델링하는 거리 측정 모델과 같은, 피처 측정 모델을 결정한다. 본원에 설명되는 것과 같이, 머신 비전 시스템은 물체가 시야에 들어가기 시작할 때 미리 결정된 파라미터들에 기초하여 및/또는 물체의 초기 거리 측정들에 기초하여 거리 측정 모델을 결정할 수 있다.
머신 비전 시스템은 시간이 지남에 따라 거리 데이터를 계속 취득하고, 그에 따라 거리 측정 모델을 업데이트한다. 단계 404에서, 머신 비전 시스템은 새로운 거리 측정 데이터를 취득 및/또는 처리한다. 단계 406에서, 머신 비전 시스템은 단계 404에서 취득된 거리 측정 데이터에 기초하여 거리 측정 모델 상태(406)를 업데이트한다. 방법은 단계 404로 다시 진행하고 새로운 거리 측정 데이터를 처리 및/또는 취득한다. 방법은 거리 측정 모델이 거리 측정 데이터로 충분히 수렴할 때까지 단계들 404 및 406을 수행한다. 예를 들어, 본원에 추가로 설명되는 것과 같이, 머신 비전 시스템은 단계 406에서 결정된 거리 측정 모델 및/또는 추정된 물체 높이의 변화들이 미리 결정된 임계치 아래일 때 거리 측정 모델이 비행 시간 측정 데이터로 수렴한다고 결정할 수 있다.
도 4b는 본원에 설명된 기술의 일부 실시예에 따른, 거리 감지 측정들을 사용하여 거리 측정 모델을 결정하고 업데이트하는 예시적인 상세한 방법(450)을 도시한 도면이다. 단계 452에서, 머신 비전 시스템은 제1 시간에 거리 감지 디바이스(예를 들어, 비행 시간 센서)에 의해 결정된 제1 거리 데이터에 액세스한다. 거리 감지 디바이스는 거리 감지 디바이스 시야 내에 부분적으로만 있는 제1 위치에서 물체와의 제1 거리 데이터를 캡처 및/또는 결정하였다. 예를 들어, 도 2를 참조하면, 거리 감지 디바이스(108)는 Sk1(200)에 의해 도시한 것과 같이, 시야 S(106) 내에 부분적으로만 있는 물체(102)로 제1 거리 데이터를 캡처하였다.
단계 454에서, 머신 비전 시스템은 제1 시간 이후의 제2의 후속하는 시간에 거리 감지 디바이스에 의해 결정된 제2 거리 데이터에 액세스한다. 거리 감지 디바이스는 거리 감지 디바이스의 시야 내에 여전히 부분적으로만 있는 제2 위치에서 물체와의 제2 거리 데이터를 캡처 및/또는 결정하였다. 거리 데이터는 물체가 이동할 때 시간이 지남에 따라 결정되기 때문에, 제1 거리 데이터와 연관된 제1 위치는 제2 거리 데이터와 연관된 제2 위치와 상이하다. 예를 들어, 도 3을 참조하면, 거리 감지 디바이스(108)는 Sk2(300)에 의해 도시한 것과 같이, 시야 S(106) 내에 부분적으로만 있는 물체(102)로 제2 거리 데이터를 캡처하였다. 도 2와 비교하여, 물체(102)가 도 2-3 둘 다에서 시야 S(106) 내에 부분적으로만 있는 반면, 물체(102)는 도 2에서 보다 도 3에서 시야 S(106) 내에 추가로 있다(그러므로 Sk2(300)는 Sk1(200)보다 크다).
본원에 설명되는 것과 같이, 거리 감지 디바이스는 머신 비전 작업들을 수행하기 위해 내부 및/또는 외부 처리 하드웨어 및 연관된 소프트웨어를 또한 포함하는 머신 비전 시스템의 부분인 비행 시간 센서일 수 있다. 단계들 452 및 454를 참조하면, 제1 및 제2 거리 데이터에 액세스하는 것은 (예를 들어, 이미징 디바이스의 부분인) 처리 하드웨어가 비행 시간 센서로부터 제1 및 제2 비행 시간 측정들을 수신하는 것을 포함할 수 있다. 또 하나의 예로서, 처리 하드웨어는 비행 시간 센서와 공유된 메모리로부터 비행 시간 측정들에 액세스할 수 있다.
단계 456에서, 머신 비전 시스템은 제1 거리 데이터 및 제2 거리 데이터에 기초하여 물체에 대한 거리 측정 모델을 결정한다. 거리 측정 모델은 물체의 높이, 물체의 표면적 등과 같은, 시간이 지남에 따른 거리 감지 디바이스의 시야 내의 물체의 물리적 파라미터를 모델링하도록 구성된다. 단계 458에서, 머신 비전 시스템은 이전의 거리 데이터(예를 들어, 제1 실행을 위한 제1 거리 데이터 및 제2 거리 데이터) 및 거리 측정 모델에 기초하여, 물체가 거리 감지 디바이스의 시야 내에 완전히 있기 전에 물체까지의 추정된 거리를 표시하는 거리 데이터를 결정한다.
단계 460에서, 머신 비전 시스템은 거리 측정 모델이 거리 측정 데이터로 수렴하는지를 결정한다. 일부 실시예들에서, 머신 비전 시스템은 거리 측정 모델의 변화들이 미리 결정된 임계치 아래라고 결정할 수 있다. 일부 실시예들에서, 머신 비전 시스템은 거리 측정 데이터와 추정된 물체 높이(예를 들어, 단계 458에서 결정된 데이터) 간의 변화들이 미리 결정된 임계치 아래라고 결정할 수 있다. 예를 들어, 식들 1-2와 함께 추가로 설명되는 것과 같이, 물체 높이는 관측 행렬의 부분인 파라미터로서 모델링될 수 있고 관측 행렬은 반복마다 업데이트될 수 있다. 다수의 반복 후에, 예측된 높이가 관측에 가까우면(예를 들어, 임계치 내이면), 시스템은 현재의 반복에서 사용된 모델이 충분하다고 결정할 수 있고 (예를 들어, 거리 측정 모델이 이 상태에서 안정하도록) 물체의 높이를 결정하기 위해 관측 행렬을 사용할 수 있다. 머신 비전 시스템이 거리 측정 모델이 거리 측정 데이터로 수렴하지 않는다고 결정하면, 방법(450)은 단계 462로 진행하고 하나 이상의 추가적인 거리 측정으로 거리 측정 모델을 업데이트하고, 단계 458로 다시 진행한다.
거리 측정 모델이 거리 측정 데이터로 수렴한다고 머신 비전 시스템이 결정하면, 방법(450)은 단계 464로 다시 진행하고 머신 비전 시스템은 단계 458에서 결정된 거리 데이터에 기초하여, 물체의 높이를 표시하는 데이터를 결정한다. 예를 들어, 머신 비전 시스템은 물체 높이를 표시하는 단계 458로부터의 최신 결정된 데이터를 사용할 수 있다.
본원에 설명되는 것과 같이, 머신 비전 시스템은 머신 비전 시스템의 다양한 작업들을 수행하기 위해 물체의 높이를 표시하는 데이터를 사용할 수 있다. 예를 들어, 머신 비전 시스템은 거리 데이터에 기초하여, 거리 감지 디바이스와 연관된 이미징 디바이스의 렌즈에 대한 초점 조정을 표시하는 데이터를 결정할 수 있다. 머신 비전 시스템은 초점 조정을 표시하는 데이터에 기초하여, 렌즈의 초점을 변경하기 위해 하나 이상의 신호를 송신할 수 있다. 일부 실시예들에서, 머신 비전 시스템은 액체 렌즈의 초점을 변경하기 위해 초점 조정을 사용한다. 머신 비전 시스템은 렌즈의 초점을 변경하기 위해 하나 이상의 신호를 송신한 후에 물체의 이미지를 캡처할 수 있다. 일부 실시예들에서, 머신 비전 시스템은 물체의 이미지를 캡처하기 전에 렌즈의 초점을 변경하기 위해 하나 이상의 신호를 송신한 후에 미리 결정된 양의 시간을 대기하도록 구성될 수 있다. 일부 실시예들에서, 시스템은 완료된 초점 조정을 표시하는 액체 렌즈 어셈블리로부터 피드백 데이터를 수신할 수 있고, 머신 비전 시스템은 피드백 데이터의 수신에 응답하여 이미지를 캡처할 수 있다.
일부 실시예들에서, 머신 비전 시스템은 추정된 거리 데이터에 기초하여, 이미징 디바이스의 조명 모듈을 위한 밝기 조정을 표시하는 데이터를 결정할 수 있다. 예를 들어, 거리 데이터가 짧은 물체를 표시하면, 머신 비전 시스템은 거리 데이터가 더 높은 물체를 표시할 때와 비교하여 조명 모듈을 위한 더 높은 밝기 설정을 사용하도록 구성될 수 있다. 그러므로, 머신 비전 시스템은 이미징 디바이스로부터 더 멀리 있는 물체들에 대해 더 밝은 조명을, 그리고 이미징 디바이스에 보다 가까운 물체들에 대해 더 약한 조명을 사용하도록 구성될 수 있다. 일부 실시예들에서, 물체들의 조명을 조정하기 위해 기술들은 (예를 들어, 조명 모듈을 조정하지 않고서) 이미지 밝기를 조정하기 위해 이미징 디바이스의 노출 시간을 조정할 수 있다. 예를 들어, 시스템은 카메라에 더 가까운 물체들에 대한 노출 시간을 감소시킬 수 있다.
일부 실시예들에서, 머신 비전 시스템은 머신 비전 응용의 적어도 하나의 제한을 표시하는 데이터에 액세스할 수 있다. 예를 들어, 머신 비전 시스템은 비행 시간 센서의 시야를 통해 박스의 움직임과 연관된 물체의 움직임 파라미터를 표시하는 데이터에 액세스할 수 있다. 머신 비전 시스템은 거리 데이터를 결정하기 위해 움직임 파라미터(들)를 표시하는 데이터를 사용할 수 있다. 예를 들어, 도 4b를 참조하면, 단계 458에서 머신 비전 시스템은 제1 거리 데이터, 제2 거리 데이터, 거리 측정 모델, 및 하나 이상의 움직임 파라미터에 기초하여 거리 데이터를 결정할 수 있다. 일부 실시예들에서, 움직임 파라미터는 물체가 거리 감지 디바이스의 시야를 통해 이동할 때의 물체의 속도 및/또는 물체의 가속도를 포함한다. 예를 들어, 머신 비전 시스템은 제1 거리 데이터, 제2 거리 데이터, 거리 측정 모델, 및 물체의 속도에 기초하여 거리 데이터를 결정할 수 있다.
일부 실시예들에서, 머신 비전 시스템은 물체가 거리 감지 디바이스의 시야에 들어갈 때 물체까지의 거리를 모델링하기 위해 칼만(Kalman) 필터를 사용할 수 있다. 예를 들어, 머신 비전 시스템은 시간이 지남에 따른 물체의 면적을 추정하기 위해 칼만 필터를 사용할 수 있다. 도 4b 내의 단계 458을 참조하면, 예를 들어, 머신 비전 시스템은 거리 측정 모델을 사용하여, 취득된 거리 데이터(예를 들어, 단계들 452, 454 및/또는 462에서 취득됨)에 기초하여 물체 면적의 추정치들을 결정할 수 있다. 예를 들어, 머신 비전 시스템은 제1 거리 데이터에 기초하여 (거리 감지 디바이스의 시야 내에 부분적으로만 있는) 물체의 제1 물체 면적 추정치를 결정할 수 있다. 머신 비전 시스템은 후속하는 물체 면적 추정치들을 결정하기 위해 칼만 필터를 사용할 수 있다. 예를 들어, 머신 비전 시스템은 거리 측정 모델을 사용하여, 제1 물체 면적 추정치 및 제2 거리 데이터에 기초하여 (거리 감지 디바이스의 시야 내에 여전히 단지 있는) 물체의 제2 물체 면적 추정치를 결정할 수 있다. 머신 비전 시스템은 제2 물체 면적 추정치에 기초하여, 물체의 높이 추정치를 결정할 수 있다.
머신 비전 시스템은 상태(예를 들어, 시야 내의 물체의 면적)을 측정하고/하거나 거리 감지 디바이스의 측정 업데이트를 수행하기 위해 (예를 들어, 물체까지의 추정된 거리를 업데이트하기 위해) 하나 이상의 식을 사용하도록 구성될 수 있다. 아래의 예시적인 식 1은 상태 업데이트를 수행하기 위해 사용될 수 있다:
Sk = Sk-l + SΔ + wk 식 1
여기서:
Sk는 현재 시간 k에서의 거리 감지 디바이스의 시야 내에 있는 물체의 상부 표면의 면적이고;
Sk-1은 이전 시간 k-1에서의 거리 감지 디바이스의 시야 내에 있는 물체의 상부 표면의 면적이고;
SΔ는 Sk와 Sk-1 간의 차이이고;
wk는 시스템 잡음, 무작위 변동, 및/또는 측정 잡음/부정확성에 대한 모델이다.
식 1에서 나타낸 것과 같이, 상태들은 거리 결정 디바이스의 시야 내의 물체 면적일 수 있다. 상태들은 머신 비전 시스템의 파라미터들에 기초하여 모델링될 수 있다. 예를 들어, 물체들이 (컨베이어 벨트 상에서와 같이) 거의 일정한 속도로 이동하고 TOF 센서의 프레임 레이트가 충분히 높으면, 상태 업데이트는 물체 면적의 변화가 단위 시간에서 일정한 선형 함수로 모델링될 수 있다. 일부 실시예들에서, 첫번째 2개의 물체 면적 측정은 박스 크기 범위, 컨베이어 벨트 폭, 물체 이동 속도 등과 같은, 머신 비전 응용 사양에 기초하여 결정된 초기 값들일 수 있다. 초기 물체 면적 측정들은 정확할 필요가 없다는 것을 알아야 한다. 예를 들어, wk는 컨베이어 벨트의 비일관적인 속도 등과 같은, 물리적 세계로부터의 잡음을 모델링하기 위해 사용될 수 있다. wk(예를 들어, 그리고 아래의 vk)에 대한 값들은 시스템 잡음 및 관측 공분산 행렬의 측면에서 모델링될 수 있다. 파라미터 wk에는 응용에 기초한(예를 들어, 컨베이어 속도의 예상된 변동들, TOF 판독의 정확도 등에 기초한) 초기 값이 할당될 수 있다. 초기 값(들)은 반드시 정확할 필요는 없지만, 칼만 필터를 사용하여 정확도를 개선시키기 위해 반복마다 업데이트될 수 있다. 제3 상태(및 그 이후)로부터, 물체 면적들 및/또는 높이가 실시간 거리 측정들을 사용하여 모델로부터 획득 및 결정되고, 모델은 새로운 거리 측정마다 업데이트될 수 있다.
식 2는 거리 측정을 수행하기 위한 예시적인 식을 제공한다:
TOFk = -(h/S)Sk + d + vk 식 2
여기서:
TOFk는 시간 k에서의 비행 시간 측정이고;
h는 물체의 높이이고;
S는 비행 시간 센서의 시야이고;
Sk는 현재 시간 k에서의 거리 감지 디바이스의 시야 내에 있는 물체의 상부 표면의 면적이고;
d는 비행 시간 센서와 컨베이어 벨트 간의 거리이고;
vk는 거리 측정에서의 관측 잡음(예를 들어, TOF 판독의 부정확성으로부터 오는 잡음)에 대한 모델이다.
식 2를 참조하면, TOF 센서 판독은 물체 높이 h 및 거리 d의 가중된 평균에 기초하여 결정될 수 있다.
식들 1 및 2는 단지 예시적 목적들을 위해 제공되고, 다른 모델들이 특정한 머신 비전 응용을 위해 사용될 수 있다는 것을 알아야 한다. 예를 들어, 칼만 필터 모델의 다른 포맷들이 물체 이동이 가속도(들)에 해당하는지, 물체 면적 변화들, 및/또는 다른 변수들인지에 따라 사용될 수 있다. 시간이 지남에 따라, 비행 시간 센서의 측정들은 물체가 비행 시간 센서의 시야 내로 들어갈 때 (예를 들어, 컨베이어 벨트까지의 거리를 측정하는 것으로부터 물체의 상부까지의 거리를 측정하는 것까지) 느리게 감소할 수 있다. 모델에 의해 결정될 수 있는 추정된 박스 면적은 비행 시간 측정들에 역비례하도록 시간이 지남에 따라 대응하여 느리게 증가할 수 있으므로, 추정된 박스 면적은 시간이 지남에 따라 증가한다.
일부 실시예들에서, 머신 비전 시스템은 모델의 파라미터들을 업데이트하기 위해 파라미터 추정 기술들(예를 들어, 기댓값 최대화(Expectation Maximization)(EM), 최대 사후(Maximum A Posteriori)(MAP) 등)을 사용할 수 있다. 예를 들어, 예시적인 식 2에서 나타낸 것과 같이, 물체 높이는 관측 행렬의 부분일 수 있다. 파라미터 추정 알고리즘은 박스 높이를 업데이트하기 위해 반복마다 사용될 수 있다. 도 5a는 본원에 설명된 기술의 일부 실시예에 따른, 거리 측정들 및 파라미터 추정을 사용하여 거리 측정 모델을 결정하고 업데이트하는 예시적인 방법(500)을 도시한 도면이다. 단계 502에서, 머신 비전 시스템은 본원에 설명된 기술들을 사용하여 거리 측정 모델을 결정한다. 시스템이 단계 504에서 새로운 거리 관측을 획득할 때마다, 단계 506에서 시스템은 거리 측정 모델의 상태를 업데이트하기 위해 모델(예를 들어, 칼만 필터)를 사용하고, 단계 508에서 머신 비전 시스템은 시스템 관측 행렬을 업데이트하기 위해 파라미터 추정을 사용한다.
도 5b는 본원에 설명된 기술의 일부 실시예에 따른, 거리 측정들 및 파라미터 추정을 사용하여 거리 측정 모델을 결정하고 업데이트하는 예시적인 상세한 방법(550)을 도시한 도면이다. 단계 552에서, 머신 비전 시스템은 (예를 들어, 도 2에 도시한 것과 같이) 거리 감지 디바이스의 시야 내에 부분적으로만 있는 제1 위치에서 물체와의 제1 시간에 결정된 제1 거리 데이터에 액세스한다. 단계 554에서, 머신 비전 시스템은 (예를 들어, 도 3에 도시한 것과 같이) 거리 감지 디바이스의 시야 내에 여전히 부분적으로만 있는 제2 위치에서 물체와의 제2의 후속하는 시간에 결정된 제2 거리 데이터에 액세스한다. 단계 556에서, 머신 비전 시스템은 제1 거리 데이터 및 제2 거리 데이터에 기초하여 물체에 대한 거리 측정 모델을 결정한다.
단계 558에서, 머신 비전 시스템은 이전의 거리 데이터(예를 들어, 제1 실행을 위한 제1 거리 데이터 및 제2 거리 데이터) 및 거리 측정 모델에 기초하여, 물체가 거리 감지 디바이스의 시야 내에 완전히 있기 전에 물체까지의 추정된 거리를 표시하는 거리 데이터를 결정한다. 단계 560에서, 머신 비전 시스템은 거리 측정 모델이 거리 측정 데이터로 수렴하는지를 결정한다. 머신 비전 시스템이 거리 측정 모델이 거리 측정 데이터로 수렴하지 않는다고 결정하면, 방법(550)은 단계 562로 진행하고 파라미터 추정을 사용하여 (예를 들어, EM, MAP, 및/또는 다른 파라미터 추정 기술을 사용하여) 파라미터들을 업데이트한다. 방법은 단계 564로 진행하고 하나 이상의 추가적인 거리 측정으로 거리 측정 모델을 업데이트하고, 단계 558로 다시 진행한다.
거리 측정 모델이 거리 측정 데이터로 수렴한다고 머신 비전 시스템이 결정하면, 방법(550)은 단계 560으로부터 단계 564로 진행하고 머신 비전 시스템은 단계 558에서 결정된 거리 데이터에 기초하여, 물체의 높이를 표시하는 데이터를 결정한다. 예를 들어, 머신 비전 시스템은 물체 높이를 표시하는 단계 558로부터의 최신 결정된 데이터를 사용할 수 있다.
본원에 설명되는 것과 같이, 비행 시간 센서의 측정들은 물체가 비행 시간 센서의 시야 내로 들어갈 때 (예를 들어, 컨베이어 벨트까지의 거리를 측정하는 것으로부터 물체의 상부까지의 거리를 측정하는 것까지) 느리게 감소할 수 있다. 거리 측정 모델을 사용하여 결정된 추정된 박스 면적은 비행 시간 측정들에 역비례하도록 시간이 지남에 따라 대응하여 느리게 증가할 수 있으므로, 추정된 박스 면적은 시간이 지남에 따라 증가한다. 일부 실시예들에서, 파라미터 추정을 사용하는 것은 비행 시간 측정들과 박스 면적 측정들 간의 관계를 미세 조정할 수 있다.
거리 감지 디바이스에 의해 발생된 예측된 거리 정보는 또한 머신 비전 시스템의 다른 양태들을 수행하기 위해 이용될 수 있다. 일부 실시예들에서, 머신 비전 시스템은 비전 시스템에 의해 물체의 이미지 취득을 자체 트리거하기 위해 예측된 거리 정보를 사용할 수 있다. 예를 들어, 시스템이 물체 거리의 변화(예를 들어, 지지 베이스/컨베이어 벨트로부터의 높이의 변화)를 결정할 때, 시스템은 이미지 캡처를 트리거할 수 있다. 일부 실시예들에서, 머신 비전 시스템은 물체(예를 들어, 박스) 크기 치수화(dimensioning)를 수행하기 위해 예측된 거리 정보를 사용할 수 있다. 검정 동안, 머신 비전 시스템은 컨베이어 벨트와 비전 시스템 간의 거리 D(114)를 측정하고 정보를 저장할 수 있다. 런타임 시에, 머신 비전 시스템은 이미지들을 캡처할 수 있고 물체가 이미지 내에 완전히 있기 전에 물체까지의 거리를 예측하고/하거나 이미지의 중심/시야 내의 물체까지의 거리를 측정할 수 있다. 시스템이 직사각형 형상을 검출하면, 그 직사각형의 치수들이 예측되고/되거나 측정된 거리에 기초하여 (예를 들어, 그리고 이미지 센서 크기, 렌즈 초점 길이 등과 같은 이미저의 알려진 광학 특성들에 기초하여) 결정될 수 있다. 도 1-3에 도시한 것과 같이, 물체(102)의 높이(110)는 컨베이어 벨트(104)로부터의 이미징 디바이스의 높이와, 이미징 디바이스와 물체(102) 간의 예측되고/되거나 측정된 가장 짧은 거리 간의 차이를 본질적으로 나타낼 수 있다. 일부 실시예들에서, 이미징 디바이스는 비행 시간 센서에 고정적으로 장착되기 때문에, 이미징 디바이스와 물체(102) 간의 높이는 거리 D(114)로 나타내질 수 있다.
일부 실시예들에서, 머신 비전 시스템은 물체 결함들을 검출 및 분석하기 위해 사용될 수 있다. 예를 들어, 머신 비전 시스템이 본원에 설명된 것과 같은 (예를 들어, 직사각형) 상부 표면을 검출한 후에, 머신 비전 시스템은 손상된 물체들(예를 들어, 손상된 박스들)을 검출하기 위해 상부 표면 형상으로부터의 편차들을 측정할 수 있다. 일부 실시예들에서, 시스템은 관심 영역(RoI) 검출을 수행할 수 있다. 예를 들어, 카메라-기반 심볼로지 판독기의 시야는 멀티-포인트(예를 들어, n×l 또는 n×m) 비행 시간 센서 어레이의 감지된 영역 상으로 이미징될 수 있다. 센서 어레이는 심볼로지 디코딩을 위한 관심 영역을 좁히기 위해 3D 높이 맵을 측정할 수 있다. 물체가 존재하는 이미지의 부분이 디코딩 시간을 감소시킬 수 있다고 결정하는데 왜냐하면 심볼 후보 피처들은 전체 취득된 이미지 내의 좁아진 관심 영역으로부터 찾아질 수 있기 때문이다.
일부 실시예들에서, 머신 비전 시스템은 시야 내의 물체들 간의 갭을 검출할 수 있고, 이는 적절한 이미징된 물체에 심볼 코드들을 링크하는 데 도움을 줄 수 있다. 예를 들어, 한 번에 시야에 들어가고/가거나 시야 내에 있는 하나보다 많은 물체가 있을 수 있는 로지스틱스 응용들에서, 비행 시간 측정들은 물체의 에지(들)를 배치하는 데 도움을 줄 수 있고 시야 내의 각각의 물체와 어떤 심볼이 연관되는지를 결정한다.
일부 실시예들에서, 머신 비전 시스템은 의도하지 않은 판독을 방지하도록 비전 시스템의 판독 범위를 제한하기 위해 비행 시간 센서에 의해 예측되고/되거나 측정된 거리를 사용할 수 있다. 예를 들어, 물체까지의 거리가 정해진 범위 내에 있으면, 머신 비전 시스템은 (a) 이미지를 캡처하고, (b) 심볼 디코딩 프로세스를 개시하고/하거나, (c) 추가의 처리를 위해 디코딩된 데이터를 송신한다.
본원에 설명된 원리들에 따라 동작하는 기술들은 임의의 적합한 방식으로 구현될 수 있다. 예를 들어, 실시예들은 하드웨어, 소프트웨어 또는 이들의 조합을 사용하여 구현될 수 있다. 소프트웨어에서 구현될 때, 소프트웨어 코드는 단일 컴퓨터에 제공되든지 또는 다수의 컴퓨터 간에 분산되든지 간에, 임의의 적합한 프로세서 또는 프로세서들의 집합 상에서 실행될 수 있다. 이러한 프로세서들은 CPU 칩들, GPU 칩들, FPGA 칩들, 마이크로프로세서, 마이크로컨트롤러, 또는 코-프로세서와 같은 이름들로 본 기술 분야에 공지된 상용화된 집적 회로 컴포넌트들을 포함하는, 집적 회로 컴포넌트 내의 하나 이상의 프로세서와 함께, 집적 회로들로서 구현될 수 있다. 대안적으로, 프로세서는 ASIC과 같은 커스텀 회로, 또는 프로그램가능한 논리 디바이스를 구성하는 것으로부터 결과된 세미커스텀 회로에서 구현될 수 있다. 추가적인 대안으로서, 프로세서는 상용화, 세미-커스컴 또는 커스텀이든지 간에, 더 큰 회로 또는 반도체 디바이스의 부분일 수 있다. 특정한 예로서, 일부 상용화된 마이크로프로세서들은 다수의 코어를 가지므로 그들 코어 중 하나 또는 서브셋은 프로세서를 구성할 수 있다. 그렇지만, 프로세서는 임의의 적합한 포맷으로 회로를 사용하여 구현될 수 있다.
또한, 컴퓨터는 랙-마운티드 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 또는 태블릿 컴퓨터와 같은, 다수의 형태 중 임의의 것으로 실시될 수 있다는 것을 알아야 한다. 추가적으로, 컴퓨터는 컴퓨터로서 일반적으로 간주되지 않지만 개인 휴대 단말기(PDA), 스마트폰 또는 기타 적합한 휴대용 또는 고정된 전자 디바이스를 포함하는 적합한 처리 능력들을 갖는 디바이스 내에 매립될 수 있다.
또한, 컴퓨터는 하나 이상의 입력 및 출력 디바이스를 가질 수 있다. 이들 디바이스는 사용자 인터페이스를 제시하기 위해 다른 것들 중에서 사용될 수 있다. 사용자 인터페이스를 제공하기 위해 사용될 수 있는 출력 디바이스들의 예들은 출력의 시각적 제시를 위한 프린터들 또는 디스플레이 화면들 및 출력의 청각적 제시를 위한 스피커들 또는 다른 사운드 발생 디바이스들을 포함한다. 사용자 인터페이스를 위해 사용될 수 있는 입력 디바이스들의 예들은 키보드들, 및 마우스들, 터치 패드들, 및 디지털화한 태블릿들과 같은 포인팅 디바이스들을 포함한다. 또 하나의 예로서, 컴퓨터는 음성 인식을 통해 또는 다른 청각적 포맷으로 입력 정보를 수신할 수 있다. 예시된 실시예에서, 입력/출력 디바이스들은 컴퓨팅 디바이스로부터 물리적으로 분리된 것으로서 예시된다. 그러나, 일부 실시예들에서, 입력 및/또는 출력 디바이스들은 컴퓨팅 디바이스의 프로세서 또는 다른 요소들과 동일한 유닛 내로 물리적으로 통합될 수 있다. 예를 들어, 키보드는 터치 화면 상의 소프트 키보드로서 구현될 수 있다. 대안적으로, 입력/출력 디바이스들은 컴퓨팅 디바이스로부터 완전히 분리되고, 무선 접속을 통해 기능적으로 통합될 수 있다.
이러한 컴퓨터들은 기업 네트워크 또는 인터넷과 같은, 근거리 네트워크 또는 광역 네트워크로서 포함하는 임의의 적합한 형태로 하나 이상의 네트워크에 의해 상호접속될 수 있다. 이러한 네크워크들은 임의의 적합한 기술에 기초할 수 있고 임의의 적합한 프로토콜에 따라 동작할 수 있고 무선 네트워크들, 유선 네트워크들 또는 광 섬유 네크워크들을 포함할 수 있다.
또한, 본원에 개략된 다양한 방법들 또는 프로세스들은 다양한 운영 체제들 또는 플랫폼들 중 임의의 하나를 이용하는 하나 이상의 프로세서 상에서 실행가능한 소프트웨어로서 코딩될 수 있다. 추가적으로, 이러한 소프트웨어는 다수의 적합한 프로그래밍 언어 및/또는 프로그래밍 또는 스크립팅 툴 중 임의의 것을 사용하여 작성될 수 있고, 또한 프레임워크 또는 가상 머신 상에서 실행되는 실행가능한 머신 언어 코드 또는 중간 코드로서 컴파일될 수 있다.
이와 관련하여, 본 발명은 하나 이상의 컴퓨터 또는 다른 프로세서들 상에서 실행될 때, 위에 논의된 본 발명의 다양한 실시예들을 구현하는 방법들을 수행하는 하나 이상의 프로그램으로 인코드되는 컴퓨터 판독가능 저장 매체(또는 다수의 컴퓨터 판독가능 매체)(예를 들어, 컴퓨터 메모리, 하나 이상의 플로피 디스크, 컴팩트 디스크(CD), 광학 디스크, 디지털 비디오 디스크(DVD), 자기 테이프, 플래시 메모리, 필드 프로그램가능한 게이트 어레이들 또는 다른 반도체 디바이스들 내의 회로 구성들, 또는 다른 유형의 컴퓨터 저장 매체)로서 실시될 수 있다. 전술한 예들로부터 분명한 것과 같이, 컴퓨터 판독가능 저장 매체는 비일시적인 형태로 컴퓨터 실행가능 명령어들을 제공하기에 충분한 시간 동안 정보를 유지할 수 있다. 이러한 컴퓨터 판독가능 저장 매체 또는 매체들은 이송가능할 수 있으므로, 그에 저장된 프로그램 또는 프로그램들은 위에 논의된 것과 같은 본원의 다양한 양태들을 구현하기 위해 하나 이상의 상이한 컴퓨터 또는 다른 프로세서들 상으로 로드될 수 있다. 본원에서 사용되는 것과 같이, 용어 "컴퓨터 판독가능 저장 매체"는 제조품(즉, 제조 물품) 또는 머신으로 고려될 수 있는 컴퓨터 판독가능 매체를 단지 포함한다. 대안적으로 또는 추가적으로, 본 발명은 전파 신호와 같은, 컴퓨터 판독가능 저장 매체 이외의 컴퓨터 판독가능 매체로서 실시될 수 있다.
용어들 "코드", "프로그램" 또는 "소프트웨어"는 위에 논의된 것과 같은 본원의 다양한 양태들을 구현하기 위해 컴퓨터 또는 다른 프로세서를 프로그램하기 위해 이용될 수 있는 임의 유형의 컴퓨터 코드 또는 컴퓨터 실행가능 명령어들의 세트를 참조하기 위해 포괄적인 의미로 본원에서 사용된다. 추가적으로, 본 실시예의 한 양태에 따라, 실행될 때 본원의 방법들을 수행하는 하나 이상의 컴퓨터 프로그램이 단일 컴퓨터 또는 프로세서 상에 상주할 필요는 없지만, 본원의 다양한 양태들을 구현하기 위해 다수의 상이한 컴퓨터 또는 프로세서 중에서 모듈러 방식으로 분산될 수 있음을 이해해야 한다.
컴퓨터 실행가능 명령어들은 하나 이상의 컴퓨터 또는 다른 디바이스들에 의해 실행되는 프로그램 모듈들과 같은, 많은 형태들로 될 수 있다. 일반적으로, 프로그램 모듈들은 특정한 작업들을 수행하거나 특정한 추상적인 데이터 유형들을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들 등을 포함한다. 전형적으로 프로그램 모듈들의 기능은 다양한 실시예들에서 원하는 대로 조합되거나 분산될 수 있다.
또한, 데이터 구조들은 임의의 적합한 형태로 컴퓨터 판독가능 매체들 내에 저장될 수 있다. 예시의 간단화를 위해, 데이터 구조들은 데이터 구조 내의 위치를 통해 관련되는 필드들을 갖는 것으로 도시될 수 있다. 이러한 관계들은 필드들 간의 관계를 전달하는 컴퓨터 판독가능 매체 내의 위치들을 갖는 필드들에 대한 스토리지를 할당함으로써 마찬가지로 달성될 수 있다. 그러나, 임의의 적합한 메커니즘이 포인터들의 사용을 통해, 데이터 요소들 간의 관계를 확립하는 태크들 또는 다른 메커니즘들을 포함하는, 데이터 구조의 필드들 내의 정보 간의 관계를 확립하기 위해 사용될 수 있다.
본원의 다양한 양태들은 단독으로, 조합하여, 또는 전술에서 설명된 실시예들에서 구체적으로 논의되지 않은 다양한 배열들에서 사용될 수 있고 그러므로 전술한 설명에서 제시되거나 도면들에 도시된 컴포넌트 세트의 상세들 및 배열로 그것의 응용에서 제한되지 않는다. 예를 들어, 한 실시예에서 설명된 양태들은 다른 실시예들에서 설명된 양태들과 임의의 방식으로 조합될 수 있다.
또한, 본 발명은 그 예가 제공된 방법으로서 실시될 수 있다. 방법의 부분으로서 수행된 동작들은 임의의 적합한 방식으로 순서화될 수 있다. 따라서, 예시적 실시예들에서 순차적인 동작으로서 도시하지만, 동작들이 예시된 것과 상이한 순서로 수행되고, 동시에 일부 동작들을 수행하는 것을 포함할 수 있는 실시예들이 구성될 수 있다.
명세서에서 및 청구범위에서 본원에 사용된 것과 같은 단수 표현은 분명히 달리 표시되지 않는다면, "적어도 하나"를 의미하는 것으로 이해되어야 한다.
명세서에서 및 청구범위에서 본원에 사용된 것과 같은 문구 "및/또는"은 그렇게 결합된 요소들, 즉, 일부 경우들에서 결합하여 존재하고 다른 경우들에서 분리하여 존재하는 요소들의 "어느 하나 또는 둘 다"를 의미하는 것으로 이해되어야 한다. "및/또는"으로 리스트된 다수의 요소는 동일한 방식, 즉, 그렇게 결합된 요소들 중 "하나 이상"으로 해석되어야 한다. 다른 요소들이 구체적으로 식별된 그들 요소와 관련되거나 관련되지 않든지 간에, "및/또는" 문구에 의해 구체적으로 식별된 요소 이외에 임의로 존재할 수 있다. 그러므로, 비제한적인 예로서, "포함하는" 것과 같은 개방형 언어와 함께 사용될 때, "A 및/또는 B"라고 하는 것은 한 실시예에서, 단지 A(B 이외의 요소들을 임의로 포함함)를 참조하고; 다른 실시예에서, 단지 B(A 이외의 요소들을 임의로 포함함)를 참조하고; 또 다른 실시예에서, A와 B 둘 다(다른 요소들을 임의로 포함함) 등을 참조할 수 있다.
명세서에서 및 청구범위에서 본원에 사용된 것과 같이, 하나 이상의 요소의 리스트를 참조하여 문구 "적어도 하나"는 요소들의 리스트 내의 요소들 중 임의의 하나 이상으로부터 선택되지만, 요소들의 리스트 내에 구체적으로 리스트된 각각 및 모든 요소 중 적어도 하나를 반드시 포함하지 않고 요소들의 리스트들 내의 요소들의 임의 조합들을 배제하지 않는 적어도 하나의 요소를 의미하는 것으로 이해되어야 한다. 이 정의는 요소들이 구체적으로 식별된 그들 요소와 관련되거나 관련되지 않든지 간에, 문구 "적어도 하나"가 참조하는 요소들의 리스트 내에 구체적으로 식별된 요소들 이외에 임의로 존재할 수 있는 것을 또한 가능하게 한다. 그러므로, 비제한적인 예로서, "A와 B 중 적어도 하나"(또는, 등가적으로 "A 또는 B 중 적어도 하나", 또는, 등가적으로 "A 및/또는 B 중 적어도 하나")는, 한 실시예에서 B가 존재하지 않는(임의로 B 이외의 요소를 포함함) 하나보다 많은 A를 임의로 포함하는 적어도 하나; 다른 실시예에서, A가 존재하지 않는(임의로 A 이외의 요소를 포함함) 하나 보다 많은 B를 임의로 포함하는 적어도 하나; 또 다른 실시예에서, 하나보다 많은 A를 임의로 포함하는 적어도 하나, 및 하나보다 많은 B(임의로 다른 요소들을 포함함)를 임의로 포함하는 적어도 하나 등을 참조한다.
청구항 요소를 수정하기 위해 청구범위에서의 "제1", "제2", "제3" 등과 같은 서수 용어들의 사용은 그것만으로 방법의 동작들이 수행되는 또 하나의 또는 일시적 순서에 걸쳐 하나의 청구항 요소의 어떤 우선순위, 선행, 또는 순서를 함축하지 않지만, 청구항 요소들을 구별하기 위해 소정의 이름을 갖는 하나의 청구항 요소를 동일한 이름(그러나 서수 용어를 사용함)을 갖는 다른 요소와 구별하기 위한 라벨들로서 단지 사용된다.
또한, 본원에 사용되는 전문어 및 용어는 설명의 목적을 위한 것이고 제한하는 것으로 간주되어서는 안된다. 본원에서의 "포함하는"("including", "comprising"), 또는 "갖는", "포함하는"("containing"), "수반하는"("involving") 및 이들의 변동들의 사용은 추가적인 아이템들뿐만 아니라 그 다음에 리스트되는 아이템들 및 그들의 등가물들을 포함하는 것으로 한다.

Claims (1)

  1. 컴퓨터화된 방법.
KR1020230062401A 2020-02-20 2023-05-15 물체 피처들을 예측하기 위해 범위 데이터를 사용하기 위한 방법들 및 장치들 KR20230155369A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/796,726 2020-02-20
US16/796,726 US11624606B2 (en) 2020-02-20 2020-02-20 Methods and apparatus for using range data to predict object features
KR1020210022423A KR102534108B1 (ko) 2020-02-20 2021-02-19 물체 피처들을 예측하기 위해 범위 데이터를 사용하기 위한 방법들 및 장치들

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210022423A Division KR102534108B1 (ko) 2020-02-20 2021-02-19 물체 피처들을 예측하기 위해 범위 데이터를 사용하기 위한 방법들 및 장치들

Publications (1)

Publication Number Publication Date
KR20230155369A true KR20230155369A (ko) 2023-11-10

Family

ID=74661232

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210022423A KR102534108B1 (ko) 2020-02-20 2021-02-19 물체 피처들을 예측하기 위해 범위 데이터를 사용하기 위한 방법들 및 장치들
KR1020230062401A KR20230155369A (ko) 2020-02-20 2023-05-15 물체 피처들을 예측하기 위해 범위 데이터를 사용하기 위한 방법들 및 장치들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210022423A KR102534108B1 (ko) 2020-02-20 2021-02-19 물체 피처들을 예측하기 위해 범위 데이터를 사용하기 위한 방법들 및 장치들

Country Status (5)

Country Link
US (2) US11624606B2 (ko)
EP (1) EP3869224A1 (ko)
JP (2) JP7200275B2 (ko)
KR (2) KR102534108B1 (ko)
CN (1) CN113281762A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112857219B (zh) * 2021-01-14 2021-11-16 青岛大学威海创新研究院 基于tof深度相机的体积测量方法及装置
CN114820604B (zh) * 2022-06-27 2022-09-09 四川大学 基于最邻近点距离损失的叶片型线数据拼接方法及设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4483067B2 (ja) 2000-10-24 2010-06-16 沖電気工業株式会社 対象物体抽出画像処理装置
US20050250094A1 (en) * 2003-05-30 2005-11-10 Nanosphere, Inc. Method for detecting analytes based on evanescent illumination and scatter-based detection of nanoparticle probe complexes
US7352446B2 (en) * 2004-09-30 2008-04-01 Faro Technologies, Inc. Absolute distance meter that measures a moving retroreflector
US7782470B2 (en) * 2006-12-27 2010-08-24 Cambridge Research Instrumentation, Inc. Surface measurement apparatus and method using depth of field
JP5597774B2 (ja) 2010-12-29 2014-10-01 コー・ヤング・テクノロジー・インコーポレーテッド 基板検査方法
US11002854B2 (en) * 2013-03-13 2021-05-11 Cognex Corporation Lens assembly with integrated feedback loop and time-of-flight sensor
US9600720B1 (en) * 2014-03-18 2017-03-21 Amazon Technologies, Inc. Using available data to assist in object recognition
US10768292B2 (en) * 2014-12-29 2020-09-08 Sony Corporation Surveillance apparatus having a radar sensor
US20180364045A1 (en) * 2015-01-06 2018-12-20 Discovery Robotics Robotic platform with mapping facility
US10116870B1 (en) * 2015-06-25 2018-10-30 Cognex Corporation Single camera vision system for logistics applications
US20180234617A1 (en) * 2017-02-15 2018-08-16 John Przyborski Motion camera autofocus systems
US20180278823A1 (en) * 2017-03-23 2018-09-27 Intel Corporation Auto-exposure technologies using odometry
US10688841B1 (en) * 2017-07-31 2020-06-23 Zoox, Inc. Expanding sensor domain coverage using differential active suspension
CN107547798A (zh) * 2017-08-09 2018-01-05 广东欧珀移动通信有限公司 拍摄对焦控制方法、装置和终端设备
US10768628B2 (en) * 2017-12-12 2020-09-08 Uatc, Llc Systems and methods for object detection at various ranges using multiple range imagery
EP3505961A1 (en) * 2017-12-29 2019-07-03 Cognex Corporation Lens assembly with integrated feedback loop and time-of-flight sensor
EP3572841B1 (en) * 2018-05-23 2024-02-14 Aptiv Technologies Limited Method of modelling a scanning distance sensor for prototyping parameters of such sensor and/or for prototyping software processing the output of such sensor
US10953873B2 (en) * 2019-03-29 2021-03-23 Intel Corporation Extension to safety protocols for autonomous vehicle operation
US20210335130A1 (en) * 2020-04-28 2021-10-28 Moj.Io, Inc. Vehicle system with a safety mechanism and method of operation thereof

Also Published As

Publication number Publication date
US20210262780A1 (en) 2021-08-26
EP3869224A1 (en) 2021-08-25
KR102534108B1 (ko) 2023-05-26
JP7200275B2 (ja) 2023-01-06
JP2023036793A (ja) 2023-03-14
KR20210106383A (ko) 2021-08-30
US20230400295A1 (en) 2023-12-14
US11624606B2 (en) 2023-04-11
JP2021131864A (ja) 2021-09-09
CN113281762A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
US10240914B2 (en) Dimensioning system with guided alignment
KR20230155369A (ko) 물체 피처들을 예측하기 위해 범위 데이터를 사용하기 위한 방법들 및 장치들
JP6951056B2 (ja) 加速度に基づく動き許容および予測符号化
US10402956B2 (en) Image-stitching for dimensioning
US10698308B2 (en) Ranging method, automatic focusing method and device
US20170243039A1 (en) Positioning an object with respect to a target location
JP2018077786A (ja) 画像処理装置、画像処理方法、プログラム、運転制御システム、および、車両
US9940721B2 (en) Scene change detection in a dimensioner
CN111274834A (zh) 光学代码的读取
US20210148694A1 (en) System and method for 3d profile determination using model-based peak selection
CN109862346A (zh) 调焦测试方法及设备
US11587260B2 (en) Method and apparatus for in-field stereo calibration
US11907803B2 (en) Installation support device and installation support method for stationary code reader
US20190277948A1 (en) Optical distance measuring sensor
US12026916B2 (en) Method and apparatus for in-field stereo calibration
US20220414916A1 (en) Systems and methods for assigning a symbol to an object
CN106033263A (zh) 用来侦测噪声的图像处理方法及其导航装置
JP5818281B2 (ja) 距離検出装置、距離検出装置を備えた読取装置、距離検出方法及び距離検出プログラム
JP5559393B1 (ja) 距離検出装置、距離検出装置を備えた読取装置、距離検出方法及び距離検出プログラム
JP2013113712A (ja) ステレオ３次元計測装置
JP2012063193A (ja) 高さ計測装置及び高さ計測方法
JP2019095964A (ja) 表面特性取得装置、表面特性取得システム及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right