KR20230063532A - 우편물 부피 측정 방법 - Google Patents

우편물 부피 측정 방법 Download PDF

Info

Publication number
KR20230063532A
KR20230063532A KR1020210148696A KR20210148696A KR20230063532A KR 20230063532 A KR20230063532 A KR 20230063532A KR 1020210148696 A KR1020210148696 A KR 1020210148696A KR 20210148696 A KR20210148696 A KR 20210148696A KR 20230063532 A KR20230063532 A KR 20230063532A
Authority
KR
South Korea
Prior art keywords
measurement
camera
image
postal
volume
Prior art date
Application number
KR1020210148696A
Other languages
English (en)
Other versions
KR102547130B1 (ko
Inventor
최승록
김동수
최윤탁
박은호
박지환
Original Assignee
주식회사 포스트큐브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스트큐브 filed Critical 주식회사 포스트큐브
Priority to KR1020210148696A priority Critical patent/KR102547130B1/ko
Publication of KR20230063532A publication Critical patent/KR20230063532A/ko
Application granted granted Critical
Publication of KR102547130B1 publication Critical patent/KR102547130B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045—Correction of measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 우편물 부피 측정 방법은 시판되는 1대의 스테레오 방식 3D 카메라를 설치한 측정장치를 이용하며, 우편물의 부피(장변 길이, 단변 길이, 높이)를 측정함에서, 3D 카메라와 측정베이스 면 상에 각각 가상적으로 설정되는 3차원 직교좌표계들 간의 기하학적 위치관계를 설정하는 캘리브레이션을 수행하는 단계, 캘리브레이션 종료 후 캘리브레이션 패턴을 측정베이스에서 내리고 측정대상 우편물을 올린 다음, 우편물이 측정베이스 상에 놓이고, 사용자의 손이 이미지상에 보이지 않는 측정개시 가능 상태를 사용자가 측정 타이밍으로 결정하거나 3D 카메라의 고속 동영상 스트리밍 과정 중에 자동으로 결정하는 측정 타이밍 결정 및 측정 개시 단계, 우편물에 대하여 이미지 중심점 부분의 픽셀들로부터 평균 depth를 계산하여 가 기설정된 값 미만이면, 낮은 높이의 서장류 우편물로 구분하고, 이상이면 소포류 우편물로 구분하는 우편물 구분 단계, 서장류 우편물에 대하여 제1 모드로 우편물의 부피를 측정하는 단계, 소포류 우편물에 대하여 제2 모드로 우편물의 부피를 측정하는 단계, 현재 우편물의 측정 결과를 로그파일로 누적 저장함으로써 현재 우편물의 측정을 완료하고, 다음의 우편물이 측정베이스에 올려지기를 대기하는 측정완료 단계를 포함한다.

Description

우편물 부피 측정 방법{Method for measuring volume of postal object}
본 개시는 우편물 부피 측정 방법에 관한 것으로, 구체적으로는, 1대의 시판되는 스테레오방식의 3D 카메라를 이용하여 작은 높이를 갖는 서장류 우편물부터 큰 높이를 갖는 소포류 박스 우편물을 대상으로 배송료 과금 등을 위하여 규정된 오차 이내로 부피 측정이 가능한 부피 측정 방법에 관한 것이다.
온라인 상거래의 확대 추세에 따라 급격히 증가하고 있는 다양한 우편물 배송에 대한 배송료 산정 등을 위해서는 배송 우편물의 무게 및 부피 (장변 길이, 단변 길이 및 높이)에 대한 요구되는 오차 이내의 측정이 필요하다.
종래에는 이러한 부피 측정은 사용자에 의한 수동 측정 작업으로, 또는, 2D 스테레오 카메라를 이용한 반자동 방식으로 이루어져 왔으며, 최근에는 IT 기술의 발전에 따라, 카메라로부터 컬러 이미지 스트림을 고속으로 출력할 뿐만 아니라 모든 이미지 픽셀에 대하여 카메라로부터 상기 픽셀들에 해당하는 실세계의 포인트들 까지의 거리(depth)를 하드웨어적으로 고속으로 계산하여 depth 이미지 스트림 형태로 출력해주는 3D 카메라를 이용하여 우편물의 부피를 측정하는 방법도 이용되고 있다.
본 발명은 시판되는 스테레오 방식의 3D 카메라 1대를 이용한 부피 측정 방법에 관한 것이다. 구체적으로는, Intel 사 등에서 시판되는 공지의 스테레오 방식의 3D 카메라 1대 (도 1 참조)를 측정 대상 우편물로부터 우편물의 상면 전체가 보이는 수직 상방의 떨어진 곳(보통 1미터 이상)에 설치하고, 해당 위치에서 컬러 이미지 스트림 및 depth 이미지 스트림을 취득한 다음, 본 발명의 부피 측정 방법에 의하여 해당 우편물의 부피를 측정한다.
상기 3D 카메라는 작동되고 있는 동안 현재 보이는 장면에 대하여 통상적인 컬러이미지 스트림을 실시간으로 출력함과 동시에 컬러이미지의 전체 픽셀들에 대하여 그에 해당하는 실 세계 포인트들까지의 거리 (depth)를 카메라에 내장된 전용 IC(ASIC)를 이용하여 예를 들면 초당 30프레임의 고속으로 계산하여 depth 이미지 스트림 형태로 출력해주는 장치이다. 상기 3D 카메라는 그 내부에서 복수의 스테레오 카메라를 이용하는 방식 및 1대의 time of flight (TOF)형 카메라를 이용하는 방식으로 대별된다.
본 발명에서 사용되는 스테레오 방식의 3D 카메라에서 픽셀별 depth에 대한 카메라 고유의 평균 제곱근 오차 (Root Mean Square (RMS) error)는 1m 거리에서 보통 2mm 정도이고, TOF 방식의 3D 카메라에서는 이보다 훨씬 큰 10mm 정도이다. 이때, 최대 오차는 픽셀에 따라서는 스테레오 방식에서도 10mm 정도까지 크게 발생할 수 있으므로, 특히 수 mm 정도의 작은 높이를 갖는 우편물(예를 들어, 엽서, 편지, 대봉투 등과 같은 서장류)의 경우 이러한 큰 오차로 인하여 측정베이스 면과 그 위에 놓여진 우편물을 구분할 수 없어지므로, 규정된 높이 오차 범위 내로 (세계적으로 우체국의 경우 통상 5mm 이내 오차 허용) 측정하기 어려웠다.
따라서, 기존의 3D 카메라 1대를 이용하는 측정 방식에서는 큰 높이 치수를 가지는 소포류 박스의 부피 측정은 가능하나, 카메라의 depth 오차보다 낮은 높이를 갖는 서장 우편물에 대한 부피 측정은 어려운 문제점이 있었다.
본 개시가 이루고자 하는 기술적 과제는 1대의 시판되는 스테레오 방식의 3D 카메라를 이용하여 수 mm 정도의 작은 높이를 갖는 서장류 우편물부터 수백mm 높이를 갖는 소포 박스류 우편물까지의 규정된 오차 이내의 부피 측정이 가능하며, 사용자에 의하여 측정 타이밍이 수동으로 결정되는 부피 측정 방법 및 카메라의 고속 스트리밍 중에 정확한 측정 타이밍이 자동으로 결정되는 실시간 연속 자동 측정이 가능한 부피 측정 방법을 제공하는 데 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 우편물 부피 측정 방법은 시판되는 1대의 스테레오 방식 3D 카메라를 설치한 측정장치를 이용하며, 상기 우편물의 부피(장변 길이, 단변 길이, 높이)를 측정함에 있어서, 소정의 캘리브레이션 패턴을 측정베이스에 올리고 상기 3D 카메라와 상기 측정베이스 면 상에 각각 가상적으로 설정되는 3차원 직교좌표계들 간의 기하학적 위치관계를 설정하는 캘리브레이션 단계; 캘리브레이션 종료 후 측정베이스에 측정대상 우편물을 올린 다음, 3D 카메라로부터 칼라 이미지 스트림 및 depth 이미지 스트림이 스트리밍되는 동안 상기 우편물이 측정베이스 상에서 측정가능 위치에 놓이고, 사용자의 손이 이미지상에 보이지 않는 상태가 되는 측정 타이밍을 사용자가 결정하거나 자동으로 결정하여 측정을 개시시키는 측정 타이밍 결정 및 측정 개시 단계; 상기 우편물에 대하여 이미지 중심점 부분의 픽셀들로부터 평균 depth를 계산하여 가 기설정된 값 미만이면, 낮은 높이의 서장류 우편물로 구분하고, 이상이면 소포류 우편물로 구분하는 우편물 구분 단계; 서장류 우편물의 부피를 측정하는 제1 모드 측정 단계; 소포류 우편물의 부피를 측정하는 제2 모드 측정 단계; 및 현재 우편물에 대한 측정 결과를 로그파일로 누적 저장하여 현재 우편물에 대한 측정을 완료하는 측정완료 단계를 포함하고, 상기 캘리브레이션 단계는 측정 작업 전에 한번만 실행하면 되고, 캘리브레이션 이후의 단계들은 측정 대상의 모든 우편물에 대하여 반복 수행한다.
상기 캘리브레이션 단계에서는 소정의 무늬가 인쇄된 종이 형태의 캘리브레이션 패턴을 측정베이스에 올려놓고 3D 카메라로부터 출력되는 depth 이미지에 사전에 설정된 캘리브레이션용 관심영역 내의 픽셀들에 대한 픽셀 좌표 및 해당 픽셀들의 depth 정보로부터 3D 카메라의 3차원 직교좌표계에서 해당 픽셀들에 해당하는 3D point cloud를 구한 후 그로부터 측정베이스 상부 평면의 방정식(ax+by+cz+d =0 …(1) 식)과 평면의 법선 벡터(a, b, c)를 구하며, 이 정보를 이용하여 3D 카메라 좌표계에서 임의의 포인트 좌표를 알 때, 해당 포인트로부터 상기 평면까지의 수직 거리(dist = abs(ax+by+cz+d)…(2) 식)를 구할 수 있다.
상기 측정 타이밍 결정 및 측정 개시 단계에서는, 사용자가 측정베이스로부터 캘리브레이션 패턴을 내리고 측정대상 우편물을 올리되, 우편물의 최소한 어느 한 부분이 3D 카메라 이미지의 중심에 위치하도록 올리고 사용자의 손이 이미지에 보이지 않는 순간인 측정 타이밍을 사용자가 결정하여 수동으로 측정을 개시시키거나, 상기 3D 카메라 고속 스트리밍 중의 depth 이미지 스트림 및 칼라 이미지 스트림에 대하여, 측정베이스 면의 이미지 상에 미리 설정해둔 변화감지 관심 영역 내에서 비교 대상 값들을 계산함으로써 물체가 올려지지 않은 상태, 사용자의 손에 의해 물체가 올려지는 도중 상태, 사용자의 손이 떨어지고 물체가 안착되어 움직임이 멈춘 측정 가능 상태의 이미지 프레임들로 구분함으로써 자동으로 측정 타이밍을 결정하고 측정을 개시시킬 수 있다.
상기 우편물 구분 단계에서는 상기 측정 타이밍 결정 및 측정 개시단계에서 수동 또는 자동으로 결정된 측정 타이밍에서 취득된 컬러이미지와 depth 이미지로부터 이미지 중심점 부분의 복수의 픽셀들로부터 평균 depth를 계산하여 평균 depth가 사전에 설정된 값 미만이면, 낮은 높이의 서장류 우편물로 구분하고, 이상이면 소포류 우편물로 구분하여, 각각 제1 측정모드 및 제2 측정모드로 부피 측정이 이루어지도록 할 수 있다.
상기 제1 모드 측정 단계에서는, 3D 카메라에서 출력되는 칼라 이미지를 우편물 부분과 나머지 부분으로 이치화하고, 이치화된 이미지를 이용하여 상기 우편물의 윤곽선을 추출하고, 상기 추출된 외곽 윤곽선을 포함하는 최소 크기의 회전된 직사각형과 그 중심점 및 4개의 꼭지점 좌표를 산출하고, 상기 산출된 4개의 꼭지점 좌표에서 상기 중심점 방향으로 스캔하면서 최초로 우편물 부분으로 이치화된 픽셀을 찾고 그 픽셀의 픽셀 좌표값과 depth로부터 3D 카메라 직교좌표계에서의 3차원 좌표를 구하고, 그로부터 상기 우편물의 장변의 길이 및 단변의 길이를 산출하며, 상기 추출된 사각형의 중심점을 기준으로 사전에 설정된 범위 내의 복수의 픽셀에 대하여 상기 (2)식으로부터 높이를 구하여 그 평균값으로 상기 우편물의 높이를 산출할 수 있다.
상기 제2 모드 측정 단계에서는, 상기 3D 카메라에서 출력되는 depth 이미지 스트림과 3D 카메라 펌웨어에서 제공하는 내부 파라미터(intrinsic parameter)로부터 3D 카메라 직교좌표계에서의 point cloud 를 구하고, 상기 캘리브레이션 단계에서 구한 3차원 직교좌표계 간의 기하학적 관계를 이용하여 상기 point cloud를 측정베이스에 설정된 3차원 직교좌표계에서의 point cloud로 변환하고, 그로부터 우편물 상면에 해당하는 point cloud를 구한 다음 구해진 point cloud를 모두 포함하는 최소 크기의 회전된 직사각형을 구하고, 해당 사각형의 장변과 단변 길이로 우편물의 장변 길이, 단변 길이를 구하고, 상기 depth 이미지에서 이미지 중심부분의 사전에 설정된 크기의 영역에서 상기 캘리브레이션 단계에서 구해진 수직 거리 계산식으로 우편물의 높이를 산출할 수 있다.
상기 측정 완료 단계에서는 현재 측정중인 우편물에 대하여 부피 측정 결과 데이터, 측정 일시, 우편물 칼라 이미지 등을 로그파일로 누적 저장하고, 현재 우편물의 측정을 종료할 수 있다.
상기 측정장치는 피측정 물체 또는 캘리브레이션 패턴을 올려 놓는 측정베이스면을 포함한 장치 프레임, 내부에 2대의 적외선 강조형 컬러 스테레오 카메라 및 스테레오 대응점 추출이 어려운 밋밋한 상면을 가지는 우편물에 대하여 도트 패턴을 투사하여 대응점 매칭을 가능하게 하는 적외선 프로젝터를 내장하고, 또한 이미지 픽셀별로 대응하는 depth 값들을 고속으로 계산하여 출력하는 전용 IC (ASIC)를 내장하고, 측정베이스면을 내려보도록 그 상방으로 설치되는 3D 카메라, 상기 측정베이스로부터 수직 상방으로 연장되며 상기 3D 카메라를 상기 측정베이스면에 대략 평행하고 측정베이스 중심부가 이미지 중심부에 보이도록 설치하기 위한 카메라 설치대, 및 상기 3D 카메라와 접속되며 상기 부피 측정 방법을 구현하도록 작동되는 측정 처리 장치로 구성될 수 있다.
상기 측정 타이밍 결정 및 측정개시 단계에서 측정 타이밍 결정은 3D 카메라의 고속 스트리밍 중에 depth 이미지 프레임들과 컬러 이미지 프레임들에 대해서 사전에 설정된 변화 감지 관심 영역 내에서 소정의 비교 값들을 계산함으로써, 고속으로 스트리밍 되고 있는 이미지 프레임들을 물체가 올려지지 않은 측정 베이스면 만에 대한 이미지 프레임들, 사용자의 손에 의해 물체가 올려지는 과정의 이미지 프레임들, 및 사용자의 손이 떨어지고 물체가 안착되어 움직임이 멈춘 상태의 이미지 프레임들로 구분하여 측정 타이밍을 결정할 수 있다.
상기 프레임들의 구분을 위한 비교 값으로서 상기 변화 감지 관심 영역 내에서 소정의 계산식으로 계산되는 색상 평균 에러와 depth 평균 에러가 이용될 수 있으며, 측정베이스 상에 아무것도 없는 상태에서의 비교 값과 현재 프레임 에서의 비교 값을 비교하여 그 차이를 소정의 문턱치와 비교함으로써 우편물이 올려졌는지 여부를 확인할 수 있고, 현재 프레임과 프레임 스트리밍 속도에 따라 요구되는 계산 속도에 따라 수 프레임 이전의 프레임으로 설정되는 이전 프레임의 비교 값들을 비교하여, 상술한 프레임들의 비교 값들을 비교하여 그 차이가 소정의 문턱치들 이하인 상태가 사전에 설정된 프레임 수 만큼 계속되면 사용자의 손이 이미지에서 보이지 않고 우편물이 안착되어 우편물 측정이 가능한 타이밍인 것으로 결정할 수 있다.
본 개시의 실시 예들에 따르면 수백 mm 높이를 갖는 박스형 소포류 우편물뿐만 아니라, 수 mm 정도의 높이를 갖는 서장류 우편물에 대해서도 1대의 스테레오 방식 3D 카메라를 이용하여 규정된 오차 이내의 부피 측정이 가능하다.
도 1은 본 개시의 실시 예들에 따른 부피 측정 장치의 구성을 설명하기 위한 도면,
도 2는 본 개시의 실시 예들에 따른 부피측정 방법의 구성을 설명하기 위한 흐름도,
도 3은 본 개시의 실시 예들에 따른 부피 측정 방법에서 입력 데이터 및 출력 데이터를 설명하기 위한 도면,
도 4는 본 개시의 실시 예들에서 사용되는 랜덤무늬형 캘리브레이션 패턴을 도시한 도면,
도 5 및 도 6은 본 개시의 실시 예들에 따른 제1 모드의 부피 측정 방법을 설명하기 위한 도면, 그리고,
도 7은 본 개시의 일 실시 예에 따른 부피 측정 방법에서 측정 타이밍을 자동으로 결정하는 방법을 설명하기 위한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 부피 측정 장치의 구성을 설명하기 위한 도면이다.
도 1을 참조하면, 부피 측정 장치(100)는 우편물이 올려지는 측정 베이스(101), 시판되는 3D 카메라(120), 카메라 설치대(102), 및 측정처리 장치(110)를 포함할 수 있다.
측정 베이스(101)는 최대 크기의 우편물이 안착될 수 있는 면적을 갖는 상부 평면을 가질 수 있다. 상부 평면은 장치 주변 조명의 정반사로 인한 영상처리 오류를 방지하기 위하여 흑색 계통으로 무반사 또는 난반사 도장 처리되어 있을 수 있다.
카메라 설치대(102)는 측정 베이스(101)의 상면으로부터 통상 1m 이상 수직 상방으로 연장되어 3D 카메라(120)의 중심 부분이 측정 베이스(101)의 중심 부분의 수직 상방에 위치하여 카메라에서 우편물 상면만이 보이도록 3D 카메라(120)를 설치하기 위한 기구물일 수 있다.
3D 카메라(120)는 예를 들면 Intel 등의 업체에서 시판하는 공지의 장치를 이용할 수 있다. 이러한 3D 카메라(120)는 측정 베이스 방향(즉, 수직 하방)으로 촬상을 수행하며, 스테레오 방식의 2대 카메라 또는 time of flight(TOF)를 이용한 1대의 카메라를 내장할 수 있다. 2대의 스테레오 카메라 각각은 적외선 대역이 강조된 컬러 이미지를 획득할 수 있고, 스테레오 방식으로 작동하므로 획득된 이미지의 픽셀들에 대하여 칼라 이미지 스트림 및 그 픽셀들에 해당되는 실 세계의 포인트들까지의 depth 정보를 계산하여 depth 이미지의 스트림 형태로 출력할 수 있으며, 이때 depth 산출을 위해서는 2대의 스테레오 카메라 이미지들 간에 대응점 매칭을 필요로 한다. 피사체의 면에 뚜렷한 특징이 없는 경우에는 좌우 스테레오 이미지에서 대응점 매칭이 불가능하여 depth 정보를 계산할 수 없으므로 3D 카메라는 피사체에 대하여 무수히 많은 작은 도트 패턴들로 구성된 패턴 광을 투사하여 피사체에 특징점들을 형성하는데 이러한 패턴 광을 투사하기 위한 적외선 레이저 프로젝터를 내장한다. 또한, 3D 카메라는 칼라 이미지 스트림의 전체 픽셀에 대하여 depth 이미지 스트림을 고속으로 계산하고 출력하기 위하여 전용 IC (ASIC)를 내장할 수 있다.
측정처리 장치(110)는 본 개시의 부피 측정 방법이 수행되는 플랫폼의 역할을 하는 장치로서, 예를 들면 PC 및 주변장치와 모니터로 구성되며, 3D 카메라(120)와 USB 인터페이스를 통하여 연결되는데, 예를 들면 본 발명의 실시 예들에서와 같이 1280*720 픽셀 해상도의 이미지를 초당 30프레임의 고속으로 스트리밍하는 경우라면 USB 3.0 규격 이상의 고속 인터페이스를 통하여 연결될 수 있다.
도 2는 본 개시의 실시 예들에 따른 부피측정 방법의 구성을 설명하기 위한 흐름도이며, 도 3은 본 개시의 실시 예들에 따른 부피 측정 방법에서 측정 처리 장치(110)의 입력 데이터 및 출력 데이터를 설명하기 위한 도면이다,
도 3에 도시한 바와 같이 측정처리 장치(110)는 3D 카메라(120)로부터 초당 30프레임의 고속으로 출력되는 컬러 1280*720 해상도의 칼라 이미지 스트림과 depth 이미지 스트림을 입력받을 수 있으며, 또한 사전에 이미지 내에 설정되어 저장되어 있는 후술하는 관심 사각형 영역들의 좌표 등의 측정 수행 관련 파라미터들을 입력받을 수 있다. 또한, 측정처리 장치(110)는 카메라-측정베이스 간의 기하학적 관계를 설정하는 캘리브레이션을 별도로 수행하여 저장한 캘리브레이션 결과 데이터, 상기 이미지 스트림들 및 측정수행 관련 파라미터들을 이용하여 본 개시의 부피 측정 방법을 실행시킴으로써 측정베이스(101)에 올려진 우편물에 대한 부피 측정을 수행할 수 있다. 구체적인 부피 측정 방법에 대해서는 도 2를 참조하여 설명한다.
도 2를 참조하면, 본 개시의 실시예들에 따른 우편물 부피 측정 방법은 시판되는 1대의 스테레오 방식 3D 카메라(120)를 설치한 도 1에서 보인 바와 같은 측정장치(100)를 이용할 수 있으며, 사용자가 우편물을 하나씩 측정베이스(101) 상의 측정 적합 위치에 올리면 우편물의 부피(장변 길이, 단변 길이, 높이)를 출력할 수 있다.
본 개시의 부피측정방법은, 상기 3D 카메라(120)와 상기 측정베이스 (101) 상부 평면 상에 각각 가상적으로 설정되는 3차원 직교좌표계들 간의 기하학적 위치관계를 설정하기 위하여, 소정의 캘리브레이션 패턴을 측정베이스(101)에 올려 놓고 상기 3D 카메라의 칼라 이미지 스트림 및 depth 이미지 스트림을 이용하여 수행되는 캘리브레이션 단계(S510); 캘리브레이션 종료 후 캘리브레이션 패턴을 측정베이스(101)에서 내리고 측정대상 우편물을 올리되, 우편물의 최소한 어느 한 부분이 3D 카메라 이미지의 중심에 위치하도록 올린 다음, 사용자가 수동으로 부피 측정을 개시시키거나, 3D 카메라에서 출력되는 칼라 이미지 스트림과 depth 이미지 스트림으로부터 우편물이 제대로 놓여진 순간을 측정개시 타이밍으로 결정하여 자동으로 부피 측정을 개시시키는 측정 타이밍 결정 및 측정개시 단계(S520); 상기 우편물에 대하여 이미지 중심점 부분의 픽셀들의 평균 depth를 계산하고, 평균 depth가 사전 설정된 값 미만이면, 낮은 높이의 서장류 우편물로 구분하고, 이상이면 소포류 우편물로 구분하는 우편물 구분 단계 (S530); 서장류 우편물에 대한 제1 모드 측정 단계 (S540); 소포류 우편물에 대한 제2 모드 부피 측정 단계 (S550); 측정 결과를 로그파일로 저장하고 원하는 우편물이 모두 측정되었다면 부피 측정을 종료시키고, 이어서 측정할 우편물이 더 있다면 상기 S520 단계부터 부피 측정 과정을 반복시키는 측정 완료 단계(S560)를 포함한다.
캘리브레이션 단계(S510)는 소정의 캘리브레이션 패턴을 측정베이스(101)에 올려 놓고 3D 카메라와 측정베이스에 각각 가상적으로 설정되는 3차원 직교 좌표계들 간의 기하학적 관계를 설정하는 것으로서, 사용자가 측정처리 장치(110)의 사용자 인터페이스 화면으로부터 캘리브레이션 메뉴를 선택함으로써 개시될 수 있다. 사용자는 3D 카메라에 내장된 2대의 스테레오 카메라의 이미지들 간에 대응점 매칭이 확실하게 이루어지도록 랜덤 무늬를 예를 들면 A4 종이에 인쇄하여 제작된 캘리브레이션 패턴(도 4 참조)을 특정베이스에 올려놓을 수 있다. 이때 사용자는 캘리브레이션 패턴의 중심부분이 카메라 이미지의 중심 부근에 대략 위치하도록 놓는다. 측정베이스 상부 평면에 가상적으로 설정되는 3차원 직교 좌표계는 이미지 중심점에 해당하는 위치에 원점을 가지고 측정베이스 상부 평면 상에 x 축 및 y 축을 가지고 상부 평면의 법선 상에 z 축을 가지도록 설정된다. 한편, 3D 카메라에 대해서는 카메라 내부의 광학 중심에 원점을 두고, 이미지 센서 면에 x 축, y 축을 가지고 광학 축이 z 축이 되도록 3차원 직교좌표계를 설정하여 측정베이스에 설정된 3차원 직교좌표계와의 기하학적 관계를 설정한다.
캘리브레이션 단계(S510)에서 측정처리 장치(110)는 3D 카메라의 스트리밍을 개시시켜 캘리브레이션 패턴에 대한 컬러이미지 스트림 및 depth 이미지 스트림이 출력되도록 하고, 캘리브레이션 패턴 이미지에 사전에 수동으로 설정된 사각 관심 영역에 대한 복수의 이미지 픽셀 좌표로부터 3D 카메라의 3차원 직교좌표계에서의 x, y 값을 산출할 수 있다. 이때, 3D 카메라의 2차원 이미지 좌표계와 3D 카메라의 3차원 직교좌표계 간의 관계를 표현하는 카메라 내부 파라미터(camera intrinsic)가 이용되는데 이것은 시판되는 3D 카메라의 펌웨어에 카메라 메이커에서 출하시 설정하여 저장되어 있으므로, 카메라 이미지에서 픽셀 좌표를 알면 그에 해당하는 실세계 포인트에 대한 카메라 3차원 직교좌표계에서의 좌표값 x, y 를 바로 계산할 수 있다.
그리고 상기 픽셀 좌표들에서의 depth 들을 이용하여 z 값을 구함으로써 카메라 3차원 직교 좌표계에서의 포인트 클라우드인 P(xi, yi, zi)i=1~n (n개 포인트로 구성될 경우)를 구성할 수 있다. 그리고 측정처리 장치(110)는 평면 보간을 위한 공지된 RANSAC(Random sample consensus) 최적화 알고리즘을 이용하여 상기 포인트 클라우드로 구성된 측정베이스 상부 평면의 방정식을 결정할 수 있다. 즉, 하단의 수학식 1에서의 계수 a, b, c, d를 계산할 수 있다)
[수학식 1]
ax + by+ cz +d = 0
상술한 수학식 1은 측정베이스 상부 평면의 카메라 3차원 직교좌표계에서의 평면 방정식으로서, a, b, c, d가 구해지면, (a, b, c) 벡터는 평면의 법선 벡터가 되며 이것이 측정베이스 3차원 직교좌표계의 z 축이 된다. 또한, 카메라의 3차원 직교좌표계에서 (x, y, z) 포인트가 결정되었다면 그 포인트부터 측정베이스 면까지의 수직 거리는 다음의 수학식 2를 통하여 계산할 수 있다.
[수학식 2]
dist = abs(ax + by, cz + d)
여기서, dist는 (x, y, z) 점에서 구해진 평면까지의 수직 거리.
상기 측정 타이밍 결정 및 측정 개시 단계 (S520)에서는, 사용자가 캘리브레이션 패턴을 측정베이스에서 내리고 측정대상 우편물을 올리되, 우편물의 최소한 어느 한 부분이 3D 카메라 이미지의 중심에 위치하도록 올리고 사용자의 손이 이미지에 보이지 않는 순간인 측정 타이밍을 사용자가 결정하여 수동으로 측정을 개시시키거나, 상기 3D 카메라 고속 스트리밍 중의 depth 이미지 스트림 및 color 이미지 스트림에 대하여, 측정베이스 면의 이미지 상에 미리 설정해둔 사각형 영역 내에서 비교 대상 값들을 계산함으로써 물체가 올려지지 않은 상태, 사용자의 손에 의해 물체가 올려지는 도중 상태, 사용자의 손이 떨어지고 물체가 안착되어 움직임이 멈춘 측정 가능 상태의 이미지 프레임들로 구분함으로써 자동으로 측정 타이밍을 결정하고 측정을 개시시킬 수 있다. 측정 타이밍 자동 결정에 대해서는 도7을 참조하여 상세히 설명한다.
상기 우편물 구분 단계(S530)에서는 상기 측정 타이밍 결정 및 측정 개시단계에서 수동 또는 자동으로 결정된 측정 타이밍에서 취득된 컬러이미지와 depth 이미지로부터 이미지 중심점 부분의 픽셀들(예를 들면 20x20 픽셀영역)로부터 평균 depth를 계산하여 가 사전에 설정된 값 (예를 들면 20mm) 미만이면, 낮은 높이의 서장류 우편물로 구분하고, 이상이면 소포류 우편물로 구분하고, 각각 제1 측정모드 및 제2 측정모드로 부피 측정이 이루어지도록 할 수 있다.
도 5 및 도 6은 본 개시의 실시 예들에 따른 서장류 우편물에 대한 제1 모드 측정 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 도시된 예와 같이 3D 카메라의 촬상 범위(즉, 이미지 경계선(300))는 측정 베이스 (101) 상부 평면의 면적보다 넓을 수 있다.
도 5에서 black_rect(301)는 카메라 이미지에서 흑색 무반사 도장된 측정베이스 상부 평면 내부에 사전 설정된 사각형 관심영역(region of interest (ROI))으로서, 측정 대상이 되는 서장류 우편물이 놓일 수 있는 최대 면적으로 설정될 수 있다.
3D 카메라의 이미지는 본 실시예에서 1280*720 픽셀의 고해상도의 컬러이미지로서 실시간 고속 계산을 위해서 전체 이미지 영역에 대하여 프로세싱하는 것을 피하고, 우편물 부분의 원활한 이치화를 위하여 흑색 무반사/난반사 처리된 훨씬 작은 크기의 black_rect(301)을 관심 영역으로 사전에 설정할 수 있다.
3D 카메라에 내장된 2대의 스테레오 카메라는 적외선 대역이 강조되는 컬러 카메라이므로 일반적인 가시광 대역 컬러카메라에 비하여 외부 조명 변화에 대하여 민감하지 않고 강인한 부피 측정을 수행할 수 있도록 한다. 본 개시에서는 이러한 특성을 이용하여 외부 조명이 변환하는 실내 환경에서도 카메라 이미지는 로버스트한 밝기 값을 갖게 되어 이미지 이치화 등을 적용시 정상적으로 물체와 배경을 구분할 수 있다.
도 6을 참조하면, black_rect(301) 영역 내에 놓여진 우편물의 이미지를 Otsu 알고리즘 등을 통하여 전역적인 자동 이치화를 수행하여 밝은 부분인 우편물과 어두운 부분인 배경으로 구분한다.
그리고 이치화를 수행한 이미지에서 밝은 부분을 이용하여 우편물의 외곽 윤곽선을 추출하고, 추출된 윤곽선을 포함하는 최소 크기의 회전된 직사각형(401)을 추출하고, 해당 회전된 직사각형에 대한 4개의 꼭지점(401-1~401-4)과 중심점(403)의 이미지 좌표를 계산할 수 있다.
이때, 구해진 4개의 회전된 직사각형의 꼭지점들은 우편물의 내부 포인트가 아니고 배경 상의 포인트일 수도 있으니, 각 꼭지점들로부터 중심점을 향하여 스캔하면서 우편물 내부에 위치한 최외각 포인트인 우편물의 꼭지점들을 찾을 수 있다.
구체적으로, 꼭지점에서 중심점을 향하는 방향으로 이미지 픽셀들을 스캔하면서 각각의 픽셀에서의 depth 값을 확인하고, depth 값이 0이 아닌 첫 번째의 우편물 내부에 해당하는 픽셀을 우편물의 코너 점으로 결정하고, 그 코너 점의 이미지 픽셀 좌표로부터 상기 카메라의 내부 파라미터를 이용하여 카메라 3차원 직교좌표계에서의 (x, y, z) 좌표값을 계산할 수 있다.
그리고 중심점을 중심으로 사전에 설정된 크기(예를 들어, 10*10 픽셀) 영역 내 픽셀들의 카메라 3차원 좌표계에서의 좌표 및 depth 값들로부터 수학식 2를 이용하여 수직 거리를 계산하고 그 평균값을 해당 우편물의 높이로 산출할 수 있다.
그리고 앞서 결정한 4개 코너 점들의 카메라 3차원 직교좌표계에서의 좌표값을 이용하여 코너 점들 간의 거리로부터 우편물의 장변과 단변의 길이를 계산할 수 있으며, 계산된 높이, 장변 및 단면의 길이를 이용하여 우편물의 부피를 산출할 수 있다.
제2 모드 측정 단계(S550)는 서장류보다 큰 높이를 가지는 소포류 우편물에 대하여 부피측정을 수행한다.
높이가 최소 20mm 이상이 되는 소포 우편물은 3D 카메라가 가지는 고유한 depth 오차보다 큰 높이를 가지므로 카메라에서 출력되는 depth 이미지 스트림으로부터 측정 베이스와 우편물의 상면을 구분할 수 있고, depth 이미지 스트림만을 이용하고 공지된 측정 알고리즘을 통하여 부피 측정을 수행할 수 있다. 본 개시의 실시예들에서 depth 이미지 스트림의 매 순간의 depth 이미지는 depth 값, 즉, 3D 카메라에 가상적으로 설정된 3차원 직교 좌표계에서의 z 좌표값을 나타낸다.
제2 모드 측정 단계(S550)에서도 고속 프로세싱을 위하여 이미지 전체 크기보다 작은 크기를 갖추는 관심 영역(depth_roi)을 사전에 설정할 수 있다. 즉, 최대 소포 박스 크기(예를 들어, 대한민국 우체국 표준 박스의 경우 520*480mm)보다 약간 크도록 이미지 중심점에 해당하는 측정베이스 면상의 포인트를 (0,0)로 하여 가로 및 세로 방향으로 mm 단위로 이미지 관심 영역을 설정할 수 있다.
이미지에서 소포류 우편물이 측정 베이스 상에서 depth_roi 영역 내에 들어오고 depth 값이 0이 아니면, 측정 베이스 면의 depth 값과 다른 depth 값을 갖는 우편물 상면의 보이는 포인트들로 구성된 카메라 3차원 직교좌표계에서 point cloud인 P(xi, yi, zi)i=1~n (n개 포인트로 구성됨)를 얻을 수 있다.
그리고 해당 point cloud를 모두 포함하는 최소한의 사각형을 카메라의 3차원 직교좌표계에서 구하고, 구해진 사각형의 꼭지점에 해당하는 포인트 클라우드(point cloud)의 (x, y, z) 좌표를 이용하여 소포류 우편물의 장변과 단변 길이를 산출할 수 있다.
그리고 사각형 영역의 중심점 부근의 사전에 설정된 영역(예를 들어, 20*20 픽셀) 영역 내의 depth 값이 0이 아닌 포인트(x, y, z)들에 대해서 수학식 2를 이용하여 dist 값을 계산하고, 그 평균 값을 높이로 계산할 수 있다.
도 7은 본 개시의 일 실시예에 따른 부피 측정 방법에서 측정타이밍을 자동으로 결정하는 방법을 설명하기 위한 흐름도이다.
구체적으로, 상기 측정 타이밍 결정 및 측정 개시 단계(S520) 에서 설명한 바와 같이 3D 카메라에서 칼라 이미지 스트림과 depth 이미지 스트림이 출력되는 동안에 우편물을 하나씩 측정베이스 (101) 면에 올리되, 우편물의 최소한 어느 한 부분이 3D 카메라 이미지의 중심에 위치하도록 올린 다음 사용자의 손이 이미지에 보이지 않는 상태가 최소한 사전에 설정된 프레임 수만큼 유지되는 타이밍을 부피측정 타이밍으로 자동으로 결정하는 과정을 설명한다.
이를 위하여, 3D 카메라로부터 고속으로 출력되는 depth와 컬러 이미지 프레임들에 대해서 변화 감지 사각형 영역(change_roi) 을 black_rect(301) 정도의 크기로 사전에 설정할 수 있다.
change_roi 영역 내에서 소정의 비교 대상 값들을 계산함으로써, 고속으로 스트리밍 되고 있는 이미지 프레임들을 물체가 올려지지 않은 측정 베이스(101)의 이미지 프레임들, 사용자의 손에 의해 우편물이 올려지는 도중의 이미지 프레임들, 사용자의 손이 떨어져 보이지 않고 우편물이 안착 되어 움직임이 멈춘 상태의 이미지 프레임들로 구분할 수 있고, 이로부터 상기한 바와 같은 측정 타이밍을 결정할 수 있다.
이러한 구분을 위한 비교 대상 값으로서 현재 이미지 프레임과 비교대상 이미 프레임에 대하여 가로 방향(또는 열)의 픽셀 개수, 세로 방향(또는 행)의 픽셀 개수로 설정된 관심 영역(또는 change_roi 영역) 내에서 수학식 3으로 계산되는 색상 평균 제곱 에러(red_mse)와 각각의 이미지 프레임에서 depth 평균값이 이용될 수 있다.
[수학식 3]
red_mse = ∑(rA - rB)2 /(cols*rows)
여기서, rA 및 rB 는 각각 현재 이미지 프레임 A 및 비교 이미지 프레임 B 의 컬러 이미지에서 change_roi 영역 내의 동일 위치 픽셀에 대한 red값들이고, change_roi 영역 내의 모든 픽셀에 대한 rA와 rB의 차이값을 제곱하여 관심 영역(change_roi) 영역 내의 전체 픽셀 수로 나눈 값이 red_mse이다. 도시된 예에서는 칼라 이미지의 red값을 이용하였지만, 다른 색상 값, 즉, blue 값이나 green 값을 이용할 수도 있다.
이하에서는 상술한 내용을 기초로 구체적인 측정 타이밍 결정 방법을 도 7을 참조하여 설명한다.
어떤 임의의 시간에서 측정이 개시되면 측정 베이스(101)는 우편물이 없는 상태이거나 먼저 측정 완료된 우편물이 남아 있는 상태일 수 있다. 이를 구분하기 위하여, 사전에 우편물이 없는 상태에서 취득하여 저장된 칼라 이미지와 현재 순간 3D 카메라로부터 출력되는 컬러 이미지에 대하여 수학식 3과 같이 비교 대상 값 (red_mse)을 산출할 수 있다(S605, S610).
그리고 비교 대상 값(red_mse)을 사전에 설정된 문턱치 값 (th_ret_mse)과 비교함으로써 현재 측정베이스에 물체가 올려가 있는지 없는지를 확인한다(S615). 만약, 측정베이스(101)에 물체가 있는 상태라면 이전에 측정 완료된 우편물이 남아있는 것이므로 사용자가 물체를 내려서(S620) 측정 베이스에 물체가 없는 상태가 되었는지를 반복하여 확인한다.
우편물이 측정 베이스에 없는 것이 확인되면, 이미지 프레임 카운트를 0으로 리셋하고(S625) 이미지 스트림의 다음 이미지 프레임(프레임카운트 1)으로 넘어가서 우편물 없는 상태의 depth 평균값(base_depth)을 계산하고 현재 칼라 이미지를 비교 기준 이미지(red_base_img)로 저장한다 (S630). 다시, 다음 프레임으로 (프레임카운트 2)로 넘어가서 프레임 카운트 1과 프레임카운트 2의 칼라 이미지에 대하여 수학식 3으로 초기 상태에 대한 비교 대상값 (base_mse) 을 산출한다(S640).
이상과 같이, 우편물 없는 상태의 초기 비교 대상값 들로서, depth 평균값(base_depth), 비교기준 이미지 (red_base_img)및 칼라 평균제곱에러값 (base_mse)가 계산되면, 이후의 단계는 고속 프로세싱을 위하여, 예를 들면, 5의 배수 프레임카운트에 대해서만 수행되고, 5의 배수가 아닌 프레임에서는 다음 프레임 카운트로 바로 넘어간다(S650).
이제부터는, 측정 베이스에 물체가 없는 상태에서 계산된 depth 평균값 및 칼라 평균 에러값과 5의 배수 프레임카운트인 현재 프레임에서의 뎁스 평균값 및 의 칼라 평균에러값을 계산하고 (S660) 그 차이값이 사전에 설정된 문턱치 미만이면 우편물이 없는 상태로 판단하고, 이상이면 우편물이 있는 것으로 판단함(S680) 으로써 측정이 완료된 우편물이 측정베이스에서 내려짐을 감지할 수 있다. 또한, 5의 배수 프레임 카운트를 기준으로 현재 프레임과 직전 프레임에서 계산된 depth 평균값들의 차이 값과 칼라 이미지들 간의 평균제곱에러 red_mse 값의 변화분을 계산하고 (S670) 그 값이 사전에 설정된 문턱치 미만이면 측정베이스의 이미지에 변화가 없는 상태로 판단하여 (S680)이 변화가 없는 상태가 소정의 횟수 이상 (예를 들면 5의 배수 프레임카운트 기준으로 3회 이상) 계속되면 우편물 측정 타이밍으로 결정할 수 있다. 변화분의 값이 문턱치 이상이면 이미지에 변화가 있는 것으로 판단하여 다음의 5의 배수 프레임카운트로 넘어가서 다시 상기 판단 과정을 측정 타이밍 상태 에 도달할 때까지 반복한다.
측정 타이밍이 결정되면 앞서 설명한 바와 같은 부피 측정 방식을 이용하여 측정 베이스에 올려진 우편물에 대한 부피 측정을 수행할 수 있다(S655).
이상과 같이 본 개시에 따른 부피 측정 방법은 1대의 스테레오 방식의 3D 카메라를 이용하여 일반적인 소포류 우편물뿐만 아니라, 얇은 두께를 갖는 서장류 우편물에 대해서도 수동 또는 실시간 연속 방식으로 부피를 측정하는 것이 가능하다. 부피 측정 방법은 컴퓨터에서 실행될 수 있는 실행 가능한 알고리즘을 포함하는 프로그램으로 구현될 수 있다.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상술한 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
10: 우편물 100: 부피 측정 장치
101: 측정베이스 102: 카메라 거치대
120: 3D 카메라

Claims (9)

  1. 시판되는 1대의 스테레오 방식 3D 카메라를 설치한 측정장치를 이용하며, 우편물의 부피(장변 길이, 단변 길이, 높이)를 측정하는 우편물 부피 측정 방법에 있어서,
    소정의 캘리브레이션 패턴을 측정베이스에 올리고 상기 3D 카메라와 상기 측정베이스에 각각 가상적으로 설정되는 3차원 직교좌표계들 간의 기하학적 위치관계를 설정하는 캘리브레이션 단계;
    캘리브레이션 종료 후 측정베이스에 측정대상 우편물을 올린 다음, 3D 카메라로부터 칼라 이미지 스트림 및 뎁스(depth) 이미지 스트림이 스트리밍 되는 동안 상기 우편물이 측정베이스 상에서 측정가능 위치에 놓이고, 사용자의 손이 이미지상에 보이지 않는 상태가 되는 측정 타이밍을 사용자가 결정하거나 자동으로 결정하여 측정을 개시시키는 측정 타이밍 결정 및 측정 개시 단계;
    상기 우편물에 대하여 이미지 중심점 부분의 픽셀들로부터 평균 뎁스를 계산하여 평균 뎁스가 사전에 설정된 값 미만이면 낮은 높이의 서장류 우편물로 구분하고, 이상이면 소포류 우편물로 구분하는 우편물 구분 단계;
    서장류 우편물의 부피를 측정하는 제1 모드 측정 단계;
    소포류 우편물의 부피를 측정하는 제2 모드 측정 단계; 및
    현재 우편물에 대한 측정 결과를 로그파일로 누적 저장하여 현재 우편물에 대한 측정을 완료하는 측정완료 단계를 포함하고,
    상기 캘리브레이션 단계는,
    측정 작업 전에 한번만 실행하면 되고, 캘리브레이션 이후의 단계들은 측정 대상의 모든 우편물에 대하여 반복 수행하는 우편물 부피 측정 방법.
  2. 제1항에 있어서,
    상기 캘리브레이션 단계는,
    소정의 무늬가 인쇄된 종이 형태의 캘리브레이션 패턴을 측정베이스에 올려놓고 3D 카메라로부터 출력되는 뎁스 이미지에 사전에 설정된 캘리브레이션용 관심영역 내의 픽셀들에 대한 픽셀 좌표 및 해당 픽셀들의 뎁스 정보로부터 3D 카메라의 3차원 직교좌표계에서 해당 픽셀들에 해당하는 3D 포인트 클라우드(point cloud)를 구하고, 상기 3D 포인트 클라우드를 이용하여 측정베이스 상부 평면의 방정식(ax+by+cz+d =0 …(1) 식)과 평면의 법선 벡터(a, b, c)를 구하며, 상기 법선 벡터를 이용하여 3D 카메라 좌표계에서 임의의 포인트 좌표를 알 때, 해당 포인트로부터 평면까지의 수직 거리(dist = abs(ax+by+cz+d)…(2) 식)를 구하는 우편물 부피 측정 방법.
  3. 제1항에 있어서,
    상기 측정 타이밍 결정 및 측정 개시 단계는,
    사용자가 측정베이스로부터 캘리브레이션 패턴을 내리고 측정대상 우편물을 올리되, 우편물의 최소한 어느 한 부분이 3D 카메라 이미지의 중심에 위치하도록 올리고 사용자의 손이 이미지에 보이지 않는 순간인 측정 타이밍을 사용자가 결정하여 수동으로 측정을 개시시키거나, 상기 3D 카메라 고속 스트리밍 중의 뎁스 이미지 스트림 및 칼라 이미지 스트림에 대하여, 측정베이스 면의 이미지 상에 미리 설정해둔 변화감지 관심 영역 내에서 비교 대상 값들을 계산함으로써 물체가 올려지지 않은 상태, 사용자의 손에 의해 물체가 올려지는 도중 상태, 사용자의 손이 떨어지고 물체가 안착되어 움직임이 멈춘 측정 가능 상태의 이미지 프레임들로 구분함으로써 자동으로 측정 타이밍을 결정하고 측정을 개시시키는 우편물 부피 측정 방법.
  4. 제1항에 있어서,
    상기 우편물 구분 단계는,
    상기 측정 타이밍 결정 및 측정 개시단계에서 수동 또는 자동으로 결정된 측정 타이밍에서 취득된 컬러이미지와 뎁스 이미지로부터 이미지 중심점 부분의 복수의 픽셀들로부터 평균 뎁스를 계산하여 평균 뎁스가 사전에 설정된 값 미만이면, 낮은 높이의 서장류 우편물로 구분하고, 이상이면 소포류 우편물로 구분하여, 각각 제1 측정모드 및 제2 측정모드로 부피 측정이 이루어지는 우편물 부피 측정 방법.
  5. 제2항에 있어서,
    상기 제1 모드 측정 단계는,
    3D 카메라에서 출력되는 칼라 이미지를 우편물 부분과 나머지 부분으로 이치화하고, 이치화된 이미지를 이용하여 상기 우편물의 윤곽선을 추출하고, 상기 추출된 외곽 윤곽선을 포함하는 최소 크기의 회전된 직사각형과 그 중심점 및 4개의 꼭지점 좌표를 산출하고, 상기 산출된 4개의 꼭지점 좌표에서 상기 중심점 방향으로 스캔하면서 최초로 우편물 부분으로 이치화된 픽셀을 찾고 그 픽셀의 픽셀 좌표값과 뎁스로부터 3D 카메라 직교좌표계에서의 3차원 좌표를 구하고, 그로부터 상기 우편물의 장변의 길이 및 단변의 길이를 산출하며, 상기 추출된 사각형의 중심점을 기준으로 사전에 설정된 범위 내의 복수의 픽셀에 대하여 상기 (2) 식으로부터 높이를 구하여 그 평균값으로 상기 우편물의 높이를 산출는 우편물 부피 측정 방법.
  6. 제1항에 있어서,
    상기 제2 모드 측정 단계는,
    상기 3D 카메라에서 출력되는 뎁스 이미지 스트림과 3D 카메라 펌웨어에서 제공하는 내부 파라미터(intrinsic parameter)로부터 3D 카메라 직교좌표계에서의 포인트 클라우드(point cloud)를 구하고, 상기 캘리브레이션 단계에서 구한 3차원 직교좌표계 간의 기하학적 관계를 이용하여 상기 포인트 클라우드를 측정베이스에 설정된 3차원 직교좌표계에서의 포인트 클라우드로 변환하고, 상기 3차원 직교좌표계에서의 포인트 클라우드를 이용하여 우편물 상면에 해당하는 포인트 클라우드를 구한 다음 구해진 포인트 클라우드를 모두 포함하는 최소 크기의 회전된 직사각형을 구하고, 상기 직사각형의 장변과 단변 길이로 우편물의 장변 길이, 단변 길이를 구하고, 상기 뎁스 이미지에서 이미지 중심부분의 사전에 설정된 크기의 영역에서 상기 캘리브레이션 단계에서 구해진 수직 거리 계산식으로 우편물의 높이를 산출하는 우편물 부피 측정 방법.
  7. 제1항에 있어서,
    상기 측정장치는,
    피측정 물체 또는 캘리브레이션 패턴을 올려 놓는 측정베이스 면을 포함한 장치 프레임;
    내부에 2대의 적외선 강조형 컬러 스테레오 카메라 및 스테레오 대응점 추출이 어려운 밋밋한 상면을 가지는 우편물에 대하여 도트 패턴을 투사하여 대응점 매칭을 가능하게 하는 적외선 프로젝터;
    이미지 픽셀별로 대응하는 뎁스 값들을 고속으로 계산하여 출력하는 전용 IC;
    측정베이스면을 내려보도록 그 상방으로 설치되는 3D 카메라;
    상기 측정베이스로부터 상방으로 연장되며 상기 3D 카메라를 상기 측정베이스면에 평행하고 측정베이스 중심부가 이미지 중심부에 보이도록 설치하기 위한 카메라 설치대; 및
    상기 3D 카메라와 접속되며 상기 부피 측정 방법을 구현하도록 플랫폼 역할을 하는 측정처리장치로 구성되는 우편물 부피 측정 방법.
  8. 제3항에 있어서,
    상기 측정 타이밍 결정 및 측정개시 단계는,
    측정 타이밍 결정은 3D 카메라의 고속 스트리밍 중에 뎁스 이미지 프레임들과 컬러 이미지 프레임들에 대해서 사전에 설정된 변화 감지 관심 영역 내에서 소정의 비교 값들을 계산함으로써, 고속으로 스트리밍 되고 있는 이미지 프레임들을 물체가 올려지지 않은 측정 베이스면 만에 대한 이미지 프레임들, 사용자의 손에 의해 물체가 올려지는 과정의 이미지 프레임들, 및 사용자의 손이 떨어지고 물체가 안착되어 움직임이 멈춘 상태의 이미지 프레임들로 구분하여 측정 타이밍을 결정하는 우편물 부피 측정 방법.
  9. 제8항에 있어서,
    상기 측정 타이밍 결정 및 측정개시 단계는,
    상기 프레임들의 구분을 위한 비교 값으로서 상기 변화 감지 관심 영역 내에서 소정의 계산식으로 계산되는 색상 평균 에러와 뎁스 평균 에러가 이용될 수 있으며, 측정베이스 상에 아무것도 없는 상태에서의 비교 값과 현재 프레임에서의 비교 값을 비교하여 그 차이를 소정의 문턱치와 비교함으로써 우편물이 올려졌는지 여부를 확인할 수 있고, 현재 프레임과 프레임 스트리밍 속도에 따라 요구되는 계산 속도에 따라 수 프레임 이전의 프레임으로 설정되는 이전 프레임의 비교 값들을 비교하여, 상술한 프레임들의 비교 값들의 차이가 소정의 문턱치들 이하인 상태가 사전에 설정된 프레임 수 만큼 계속되면 사용자의 손이 이미지에서 보이지 않고 우편물이 안착되어 우편물 측정이 가능한 타이밍인 것으로 결정하는 우편물 부피 측정 방법.
KR1020210148696A 2021-11-02 2021-11-02 우편물 부피 측정 방법 KR102547130B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210148696A KR102547130B1 (ko) 2021-11-02 2021-11-02 우편물 부피 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210148696A KR102547130B1 (ko) 2021-11-02 2021-11-02 우편물 부피 측정 방법

Publications (2)

Publication Number Publication Date
KR20230063532A true KR20230063532A (ko) 2023-05-09
KR102547130B1 KR102547130B1 (ko) 2023-06-26

Family

ID=86408389

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210148696A KR102547130B1 (ko) 2021-11-02 2021-11-02 우편물 부피 측정 방법

Country Status (1)

Country Link
KR (1) KR102547130B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118111354A (zh) * 2024-03-28 2024-05-31 深圳市利器精工科技有限公司 一种元件精密尺寸测量方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168800A (ja) * 2011-02-15 2012-09-06 Panasonic Corp 宅配ボックス装置
US20150042791A1 (en) * 2013-08-09 2015-02-12 Postea, Inc. Apparatus, systems and methods for enrollment of irregular shaped objects
CN113065810A (zh) * 2019-12-31 2021-07-02 杭州海康机器人技术有限公司 检测包裹的方法、装置、计算设备、物流系统及存储介质
KR20210001665U (ko) * 2020-01-09 2021-07-19 주식회사 지테크인터내셔날 부피 및 중량을 측정하는 스마트 전자 저울
US20210272309A1 (en) * 2020-02-28 2021-09-02 United States Postal Service System and methods for automatic determination of item dimensions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168800A (ja) * 2011-02-15 2012-09-06 Panasonic Corp 宅配ボックス装置
US20150042791A1 (en) * 2013-08-09 2015-02-12 Postea, Inc. Apparatus, systems and methods for enrollment of irregular shaped objects
CN113065810A (zh) * 2019-12-31 2021-07-02 杭州海康机器人技术有限公司 检测包裹的方法、装置、计算设备、物流系统及存储介质
KR20210001665U (ko) * 2020-01-09 2021-07-19 주식회사 지테크인터내셔날 부피 및 중량을 측정하는 스마트 전자 저울
US20210272309A1 (en) * 2020-02-28 2021-09-02 United States Postal Service System and methods for automatic determination of item dimensions

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118111354A (zh) * 2024-03-28 2024-05-31 深圳市利器精工科技有限公司 一种元件精密尺寸测量方法及装置

Also Published As

Publication number Publication date
KR102547130B1 (ko) 2023-06-26

Similar Documents

Publication Publication Date Title
US9787960B2 (en) Image processing apparatus, image processing system, image processing method, and computer program
CN107545592B (zh) 动态摄像机校准
CN111308448B (zh) 图像采集设备与雷达的外参确定方法及装置
CN106255938B (zh) 传感器和投影仪的校准
JP6125188B2 (ja) 映像処理方法及び装置
CN109724945B (zh) 显示装置、扫描器、显示系统以及计算机可读介质
TWI498580B (zh) 長度量測方法與長度量測裝置
CN114651506B (zh) 用于自动相机安装引导（cig）的系统和方法
CN109059770B (zh) 一种基于tof深度相机的包裹体积测量方法
JP2001320652A (ja) プロジェクタ装置
CN107079112B (zh) 一种分割图像数据的方法、系统及计算机可读存储介质
WO2022183685A1 (zh) 目标检测方法、电子介质和计算机存储介质
KR102547130B1 (ko) 우편물 부피 측정 방법
CN107687818A (zh) 三维量测方法及三维量测装置
US20150002662A1 (en) Information processing apparatus, measurement system, control system, light amount determination method and storage medium
Moller et al. An automatic evaluation procedure for 3-D scanners in robotics applications
CN117099020A (zh) 信息处理装置、信息处理方法和程序
CN115830131A (zh) 一种固定相位偏差的确定方法、装置和设备
JP4628910B2 (ja) 長さ測定装置および身長測定装置
CN116908185A (zh) 物品的外观缺陷检测方法、装置、电子设备及存储介质
CN109600598B (zh) 影像处理方法、影像处理装置及电脑可读取记录媒体
CN111536895B (zh) 外形识别装置、外形识别系统以及外形识别方法
WO2022149315A1 (ja) 寸法測定装置および寸法測定方法
JP2022191000A (ja) 寸法測定装置および寸法測定方法
JP2019016843A (ja) 原稿読取装置、原稿読取装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant