KR100439178B1

KR100439178B1 - 3차원 물체 치수 측정 시스템 및 방법

Info

Publication number: KR100439178B1
Application number: KR10-2002-0003159A
Authority: KR
Inventors: 정윤수; 박문성; 이용준; 김인수; 김진석; 김혜규; 원종운
Original assignee: 한국전자통신연구원
Priority date: 2002-01-19
Filing date: 2002-01-19
Publication date: 2004-07-05
Also published as: KR20030062774A

Abstract

본 발명은 물체를 둘러싸는 최소크기의 육면체 박스를 결정하기 위한 자동 치수 측정 시스템 및 방법에 관한 것이다. 즉, 본 발명에 의하면 영상 평면 위의 객체 영역에 대해 최소 외접 사각형을 획득하여 물체의 치수를 측정함으로써, 임의의 형상을 가지는 물체의 경우에도 효과적인 치수의 측정이 가능하며, 최소 외접 사각형에 의해 획득된 네 모서리 점들의 공간상의 기하학적인 특성을 이용하여 물체의 길이 및 폭의 정보를 계산함으로써 고속의 치수 계산이 가능한 이점이 있으며, 높이 센서 및 CCD 카메라를 이용함으로써 이송물체 뿐만 아니라 정지 물체에 대해서도 효과적인 적용이 가능한 이점이 있다.

또한 본 발명은 시스템의 활용 목적에 따라 치수 측정을 위한 단일 시스템인 경우에는 영역스캔카메라(area scan camera)를 채택하여 저 비용의 치수 측정 시스템의 구현이 가능하도록 하며, 바코드 해독 및 문자 인식 등의 기능을 탑재한 스캐닝 시스템과의 통합시에는 소프트웨어 모듈만의 효과적인 이식을 통한 통합 시스템으로의 구현이 용이한 이점이 있다.

Description

3차원 물체 치수 측정 시스템 및 방법{SYSTEM AND METHOD FOR TAKING THE DIMENSIONS OF 3D OBJECTS}

본 발명은 물체의 치수를 결정하기 위한 장치에 관한 것으로, 특히 패키지(Package)의 구분(Sorting) 및 취급(Handling)을 위해 물체를 둘러싸는 최소크기의 육면체 박스를 결정하기 위한 자동 치수 측정 시스템 및 방법에 관한 것이다.

현재 패키지(Package)의 취급 비용을 감소시키고 취급량을 늘리기 위하여 물류산업은 자동화된 패키지의 취급에 박차를 가하고 있는 것이 현실이다. 이러한 것들은 패키지의 자동식별 및 자동구분에 의하여 이루어져 왔으며, 특히, 패키지의 구분은 일반적으로 패키지의 크기에 의하여 이루어지고 있다. 또한, 물류산업에서 운송비용은 패키지의 크기, 무게 및 운송거리에 직접적인 관련이 있다. 따라서, 효과적인 방법으로 정확한 패키지의 크기를 결정하는 것은 운송효율 및 과금계산을 위해서 상당히 중요한 요소이다.

패키지의 치수를 자동으로 제공하기 위하여 많은 진전이 이루어져 왔지만, 종래 알려진 시스템들은 복잡하고 고비용인 단점이 있다. 이러한 치수 측정을 목적으로 한 기술은 크게 레이저 기반 기술과 카메라 기반의 기술로 나뉘어 진다. 레이저기반 기술로는 PILAR(Parallel Infrared Laser Rangefinder) 기술에 기반 한 치수 측정 기술이 있다. PILAR 기술에 기반 한 이 시스템에서는 컨베이어에 의해 이송중인 물체가 시스템의 아래를 통과할 때, 컨베이어위의 수직 아랫방향으로 적외선 병렬 레이저를 투사하는 장치에 의해 발생된 레이저 신호로부터 만들어진 일련의 높이 프로파일 들을 디지털 신호처리(Digital Signal Processing)하여 물체의 길이, 폭, 및 높이를 계산하는 방식을 취하고 있다. 하지만, 치수 측정에 사용되는 레이저 기반의 기술은 높은 정도(Precision)를 요구하며, 이에 따라 세밀한 레이저 신호를 발생시키기 위한 복잡한 하드웨어 구현을 필요로 한다. 이와 함께, 하드웨어 구현을 위한 비용 또한 증가되는 문제점이 있었다. 또한, PILAR 기술에 기반 한 이 방법은 높이 프로파일에만 의존함으로써 박스형의 물체에 대해서는 효과적이나, 임의의 형상을 가지는 물체의 치수 측정에는 효과적이지 못한 문제점이 있었다.

CCD카메라에 기반 한 치수 측정 방법으로는 2001년 6월 29일 발표된 International conference on Imaging Science, Systems, and Technology지 제1권 129∼132페이지에 개시된 "High speed dimensioning system based on single CCD camera" 등과 같은 단일 CCD 센서에 기반 한 치수 측정 시스템이 있다. 상기 시스템은 물체에 대하여 대각선 아래 방향의 비스듬한 각도의 카메라 뷰를 가지는 영역 스캔(area scan) CCD 카메라를 이용하여 물체의 치수를 측정하는 방법이다. 상기방법은 육면체형 물체의 꼭지점들을 영상처리를 통해 추출한 후, 꼭지점과 2차원 평면과의 기하학적인 관계로부터 물체의 치수를 측정하는 방법을 채택하고 있다. 상기 방법은 영역 스캔 CCD카메라를 이용함으로써, 치수측정을 위한 시스템 비용을 저렴하게 하였으며, 정지물체 및 이송물체 모두에 용이하게 적용할 수 있는 이점이 있으나, 육면체 물체의 기하학적인 특성에 의존하여 3D 물체의 치수를 측정함으로써 임의의 형상을 가지는 물체에는 효과적인 적용이 어려운 문제점이 있었다.

또한 상기의 지적한 문제점들과는 별도로, 상기의 시스템들은 패키지의 처리에서 상호 보완적으로 활용되는 스캐닝 시스템과의 통합에도 한계점을 가지고 있다. 최근, 치수측정, 바코드 인식, 주소 인식 등 패키지의 식별과 관련된 기술들이 CCD 카메라에 기반 한 영상캡쳐 기술을 활용함으로써 하드웨어를 단일하게 가져간 후에 각각의 기능을 소프트웨어로 구현함으로써 통합의 효율을 높여가고 있다는 점들을 고려할 때, 상기의 시스템들은 타 시스템과의 통합 효율이 떨어지는 한계를 가진다. 즉, 치수측정기술이 바코드 인식 및 주소인식기능들과 통합된 통합 시스템의 구현에 있어서는, 상기의 시스템들의 경우에는 상호 별도의 하드웨어를 채택해야하기 때문에, 시스템 최적화 및 시스템 비용 등에 있어서 통합의 효율을 높일 수 없는 한계가 있었다.

한편, 상기와 같은 3차원 물체의 치수 측정에 관해서는 미국특허 등록번호 5,719,678호에 개시된 "Volumetric Measurement of a Parcel Using a CCD Line Scanner and Height Sensor"와 미국특허 등록번호 5,991,014호에 개시된 "Method and apparatus for measuring dimensions of objects on a conveyor" 등과 같은 3차원 물체 치수 측정 기술이 개시되어 있다. 그러나 상기 "Volumetric Measurement of a Parcel Using a CCD Line Scanner and Height Sensor"는 단지 전용의 라인 스캔 카메라를 이용하여 육면체로 구성된 물체에 한해서 치수를 측정하는 것을 기술하고 있을 뿐이며, "Method and apparatus for measuring dimensions of objects on a conveyor"는 레이저를 이용한 치수 측정방법에 관한 것으로 육면체형 박스의 치수측정만을 기술하고 있을 뿐 임의의 형상을 가지는 3차원 물체의 측정에 있어서는 효과적인 적용이 어려운 문제점이 있었다.

따라서, 본 발명의 목적은 육면체형의 물체뿐만 아니라 임의의 형상을 가지는 물체의 치수를 동시에 측정할 수 있으며, 레이저 기반 시스템에 비해 저 비용이면서도 하드웨어 구현이 용이한 3D 물체의 치수측정 시스템 및 방법을 제공함에 있다.

본 발명의 다른 목적은 CCD카메라에 기반 한 시스템을 구현함으로써, 이송물체 환경 및 정지물체 환경에서도 효과적인 치수 측정 시스템 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은 치수측정의 활용 형태에 따라, 영역 스캔 CCD 카메라를 이용한 저 비용의 독립 시스템뿐만 아니라 라인 스캔 CCD 카메라를 이용하는 스캐닝 시스템과의 통합 시스템에도 용이하게 탑재가 가능한 치수 측정 시스템 및 방법을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명은, 3차원 물체 치수 측정 시스템 및방법에 있어서, 치수 측정이 요구된 3차원 물체의 영상을 획득하는 영상 획득부와; 상기 영상 획득부에서 획득된 영상을 신호 처리하여 물체의 관심 영역을 검출하는 관심 영역 검출부와; 상기 관심 영역 검출부로부터 검출된 결과 영상으로부터 상기 물체의 최소 외접 사각형을 탐색하는 최소 외접 사각형 검출부와; 상기 물체의 높이 정보를 획득하는 높이정보 획득부와; 상기 물체의 높이 정보와 상기 최소 외접 사각형 검출부로부터 획득된 외접 사각형을 이용하여 3차원 물체의 치수를 산출하는 치수 산출부;를 포함하는 3차원 물체 치수 측정 시스템을 구현하며, (a)치수 측정 요구된 대상 3차원 물체의 관심영역을 검출하는 단계와; (b)상기 관심영역으로 검출된 결과 영상으로부터 상기 물체의 최소 외접 사각형을 탐색하는 단계와; (c)상기 물체의 높이를 측정하는 단계와; (d)상기 물체의 최소 외접 사각형 정보와 높이 정보를 이용하여 해당 물체의 치수를 산출하는 단계;를 포함하여 진행하는 3차원 물체 치수 측정 방법을 구현하는 것을 특징으로 한다.

도 1은 본 발명의 실시 예에 따른 3차원 물체 치수 측정 시스템 구성도.

도 2는 본 발명의 실시 예에 따른 3차원 물체 치수 측정 시스템의 사시도.

도 3은 상기 도 1의 관심영역 검출부의 동작 제어 흐름도.

도 4는 상기 도 1의 최소 외접 사각형 검출부의 동작 제어 흐름도.

도 5는 상기 도 4의 외접 사각형 초기화 단계의 상세 동작 제어 흐름도.

도 6은 상기 도 4의 외접 사각형 탐색단계의 상세 동작 제어 흐름도.

도 7은 상기 도 1의 치수 산출부의 동작 제어 흐름도.

도 8은 물체의 윗면으로부터 수직 뷰(View)를 가지는 영역 스캔 타입의 카메라가 물체의 영상을 투시 투영하고 있는 예시도이다.

도 9는 본 발명의 다른 실시 예에 따른 치수 산출부의 동작 제어 흐름도.

도 10은 물체의 영상을 획득하고 있는 라인 스캔 카메라의 투시 투영 예시도이다.

<도면의 주요 부분에 대한 부호 설명>

100: 영상 획득부 102: 관심영역 검출부

104: 최소외접사각형 검출부 106: 높이정보 획득부

108: 치수산출부 11: 영역스캔 CCD카메라

12: 전용 조명 13:높이 센서

14: 컨베이어 15: 물체 감지센서

16: 패키지 17: 라인스캔 CCD 카메라

18:지지용 구조물 19: 컨베이어 가이드

20: 컨베이어 동작을 위한 모터

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예의 동작을 상세하게 설명한다.

도 1은 본 발명의 실시 예에 따른 3차원 물체의 치수 측정 시스템의 블록 구성을 도시한 것이다. 상기 도 1을 참조하면, 영상 획득부(100)는 치수를 측정하고자 하는 3D 물체의 영상을 획득한다. 관심영역 검출부(102)는 상기 영상 획득부(100)로부터 획득된 영상을 신호 처리하여 물체의 관심영역을 검출한다. 최소외접 사각형 검출부(104)는 상기 관심영역 검출부(102)로부터 검출되는 상기 물체의 관심영역으로부터 물체의 최소 외접 사각형을 탐색한다. 높이정보 획득부(106)는 물체의 높이를 획득한다. 치수 산출부(108)는 상기 높이정보 획득부(106)로부터 획득된 높이 정보와 상기 최소 외접 사각형 검출부(104)로부터 획득된 외접 사각형을 이용하여 3D 물체의 치수를 산출한다.

도 2는 본 발명의 실시 예에 따라 콘베이어위에 설치되는 3차원 치수 측정 시스템의 하드웨어를 도시한 것이다. 상기 도 2를 참조하면, 상기 치수 측정 시스템은 패키지와 같은 3D 물체를 이송하는 컨베이어벨트, 컨베이어벨트의 가이드, 컨베이어 벨트를 제어하는 컨베이어용 모터 및 영상캡쳐 환경을 지원하는 지지대로 구성된다.

이하 상기 도 2를 참조하여 동작을 설명하면, 먼저 동작 중인 컨베이어(14)를 따라서 3D 물체(16)가 좌로부터 우측으로 이송되는 경우 물체의 높이를 측정하는 높이센서(13)를 통과하게 되는데, 이에 따라 높이 센서(13)로부터 물체의 높이가 측정된다. 이어 높이 센서(13)를 통과한 물체는 물체감지 센서(15)에 의해 트리거된 영역스캔CCD 카메라(11) 또는 라인스캔CCD 카메라(17)에 의해 영상캡쳐 되어 치수 산출이 수행된다. 이때, 균일한 조명 환경에서의 영상 캡쳐를 위해 전용조명(12)이 사용된다.

도 3은 상기 도 1의 관심영역 검출부(102)에서 물체의 관심영역을 검출하기 위한 동작 제어 흐름도이다. 상기 도 3을 참조하면, 관심영역 검출부(102)는 (S31)∼(S32)단계에서 영상 획득부(100)로부터 획득되는 물체의 객체영상과 배경영상을 입력받고, (S33)단계에서 상기 두 영상의 차 영상을 획득한다. 이어 관심영역 검출부(102)는 (S34)∼(S35)단계에서 상기 획득된 차 영상에 대하여 수직방향 및 수평방향의 투사 히스토그램을 생성한 후, (S36)단계로 진행해서 상기 생성된 투사 히스토그램으로부터 가로, 세로측 각각에 대한 최대 면적 구간을 선택하여 물체의 관심영역을 획득한다. 이어 관심영역 검출부(102)는 (S37)단계로 진행해서 상기 (S36)단계에서 획득된 관심영역내 평균과 분산 값을 계산하여 물체가 있는지 여부를 최종 판별한다. 이때 물체가 있는 경우 상기 검출된 관심영역은 최소 외접 사각형 검출부(104)의 입력으로 사용된다.

도 4는 상기 도 1의 최소 외접 사각형 검출부(104)에서 물체의 외접 사각형을 검출하기 위한 동작 제어 흐름도 이다. 상기 도 4를 참조하면, 최소 외접 사각형 검출부(104)는 (S41)단계에서 상기 관심영역 검출부(102)로부터 인가되는 관심영역을 입력받고, (S42)∼(S43)단계로 진행해서 상기 관심영역에 대하여 이진화를 수행하고, 잡음 제거를 통해 흰색의 물체의 영역을 획득한다. 이어 최소 외접 사각형 검출부(104)는 (S44)단계로 진행해서 상기 물체 영역에 대한 외접 사각형 초기화를 수행한 후, (S45)∼(S47)단계를 수행하면서 상기 외접 사각형 초기화 수행된 물체의 관심영역에 대해 1차의 거친 탐색 및 2차의 세밀한 탐색을 통해 최소 외접 사각형을 획득하게 된다.

도 5는 상기 도 4의 외접 사각형 초기화 단계인 (S44)단계의 상세 동작 제어 흐름을 도시한 것이다. 이하 상기 도 5를 참조하여 외접 사각형 초기화 단계를 상세히 설명하기로 한다. 관심영역 검출부(102)는 (S441)단계에서 상기 이진화를 통해 획득된 관심 영역내의 객체 영상을 입력데이터로 받아들이고, (S442)단계에서객체의 중심 화소를 결정한 후, (S443)∼(S444)단계에서 상기 관심영역내 객체의 중심을 통과하는 수평선과 수직선을 각각 생성한다. 이어 관심영역 검출부(102)는 (S445)단계로 진행해서 상기 생성된 수평선은 상/하 수직방향으로 평행 이동시킨다. 이때 상기 평행 이동은 이동되는 라인이 물체의 영역과 겹치지 않을 때까지 반복 수행하게 된다. 그리고 관심영역 검출부(102)는 (S446)단계로 진행해서 상기 생성된 수직선에 대해서는 좌/우 수평방향으로 평행 이동시킨다. 이때 상기 좌/우 수평방향 평행 이동 또한 이동되는 라인이 물체의 영역과 겹치지 않을 때까지 반복 수행하게 된다. 이어 관심영역 검출부(102)는 상기 (S445)∼(S446)단계에서 수직선 및 수평선에 대한 탐색과정이 모두 완료되는 경우 (S447)단계에서 상기한 처리 결과를 종합하여 물체의 초기 외접 사각형을 최종 결정하게 되는 것이다.

도 6은 상기 도 4의 외접 사각형 탐색단계인 (S45)∼(S46)단계의 상세 동작 제어 흐름을 도시한 것이다. 이하 상기 도 6을 참조하여 외접 사각형 탐색단계를 상세히 설명하기로 한다. 최소외접 사각형 검출부(104)는 (S451)∼(S452)단계에서 먼저 외접 사각형 초기화 단계의 결과인 2쌍의 외접 직선들과 외접 사각형 초기화 단계에서 생성된 객체의 중심정보를 입력받은 후, 상기 두 개의 주요한 정보가 입력되는 경우 (S453)단계로 진행해서 카운터 I 및 회전각 Theta를 "0"으로 각각 초기화시킨다. 이어 최소외접 사각형 검출부(104)는 (S454)단계에서 현재 회전각에서의 외접 직선을 탐색하고 면적을 계산한 후, (S455)단계에서 현재 각에서의 계산된 면적값을 통해 현재의 루프를 계속 수행할 지, 종료할 지 여부를 판단하게 된다. 즉, I의 값이 "9"보다 작은 경우에는 계속적인 반복 루프를 수행하며, 그렇지 않은경우에는 반복 루프를 종료하게 된다. 상기 (S455)단계에서 I의 값이 조건을 만족하는 경우에는 (S456)단계로 진행해서 I를 "1" 증가시키고 회전각 Theta는 증가분 X 만큼 가산시킨 후, (S457)단계에서 중심점을 중심으로 X 만큼 수평선 및 수직선들을 회전시킨다. 이때 상기 X의 값은 1차 거친 탐색의 경우에는 10도, 2차 정밀 탐색의 경우에는 1도로 한다. 2쌍의 수평선 및 수직선의 쌍들에 대한 1번의 회전이 종료되는 경우 최소외접사각형 탐색단계(S45, S46)는 상기 (S454)단계로 돌아가서 현재의 과정을 반복 수행하게 된다.

이와 달리 상기 (S455)단계에서 I의 값이 조건을 만족하지 못하는 경우 최소외접 사각형 검출부(104)는 (S458)단계로 진행해서 획득된 9개의 값들 중 최소의 면적 값을 가지는 회전각 및 교차점을 결과로 출력하여 전체적인 프로세스를 종료하게 된다.

도 7은 상기 도 1의 치수 산출부(108)에서 물체의 치수를 산출하는 동작 제어 흐름을 도시한 것이다. 이하 상기 도 7을 참조하여 치수산출부(108)에서의 치수 획득 동작을 상세히 설명한다. 먼저 치수 산출부(108)는 (S61)∼(S62)단계에서 높이 정보 획득부(106)로부터 획득된 높이 정보와 최소 외접 사각형 검출부(104)로부터 획득된 최외접 사각형의 모서리 점 위치정보를 입력받는다. 이어 치수 산출부(108)는 (S63)단계에서 첫 번째 모서리를 선택하고, (S64)∼(S65)단계에서 컨베이어 위의 2차원 평면과 현재의 모서리를 통과하는 라인 상의 교차점을 획득하고, 현재의 모서리점과 컨베이어 위의 2차원 평면과의 직교점을 획득한다.

도 8은 물체의 윗면으로부터 수직 뷰(View)를 가지는 영역 스캔 타입의 카메라가 물체의 영상을 투시 투영하고 있는 예시도 이다. 이때, 도 8의 (a)는 영역스캔타입 카메라(11)로부터 4개의 레이(ray)가 육면체형 물체의 네 꼭지점을 지나 컨베이어위의 평면과 만나는 예를 나타내며, 도 8의 (b)는 한 개의 카메라 레이에 대한 투시 특성을 나타내고 있다. 일반적으로, 이러한 영역 스캔 타입의 카메라에서 레이의 수는 사용된 카메라의 해상도와 일치하게 되며, 본 발명에서는 758 x 582의 해상도를 가지는 순행주사(progressive scanning)방식의 카메라를 사용하였다. 이하 상기 도 8의 (b)를 참조하여 상기 도 7의 (S64)∼(S65)단계에서의 동작을 좀더 상세히 설명하기로 한다. 최소 외접 사각형 검출부(104)로부터 획득된 물체의 네 개 모서리 점들이 상기 도 8에서와 같이 a, b, c, d라 할 때, 각각의 점을 통과하는 카메라 레이(ray)는 2차원 평면 위의 한 점과 교차하고, 이러한 교차점은 영상 위에서는 동일한 위치의 화소에 대응되게 된다. 컨베이어 위의 2차원 평면과 영상의 평면(Image plane)이 Tsai의 켈리브레이션 방법에 의해 보정(calibration)되어 있고, 이러한 보정에 의해 영상 위의 한 점에 대응하는 컨베이어 벨트 위의 실제 평면상의 한 점의 실제 좌표값을 얻을 수 있게 된다.

이러한 가정하에 다시 상기 도 7의 동작을 계속해서 설명하기로 한다. 치수 산출부(108)는 상기 (S63)단계에서와 같이 첫 번째 모서리 점(a)을 선택하면, 상기 (S64)단계에서 상기 점을 통과하는 카메라 ray가 2차원 평면과 교차하는 교차점(a")이 영상 평면 위의 같은 위치의 화소이며, 상기 교차점(a")의 실세계 좌표값(real world coordinate)은 Tsai의 켈리브레이션 방법에 의해 획득된 보정 정보에 의하여 인식할 수 있다. 이어 치수 산출부(108)는 상기 (S65)단계에서 상기도 8(b)에서와 같이 한 모서리(a)를 통과하는 카메라 레이와 2차원 평면과의 교차점인 a"의 실세계 좌표 값이 인식되면, 선택된 모서리(a)와 컨베이이어 위의 2차원 평면이 직교하는 직교 점(a')의 실세계 좌표 값을 인식한다. 이때, 카메라 초점과 2차원 평면사이의 거리 H 및 물체의 높이 h는 사전에 알고 있으므로, 상기 직교 점(a')의 좌표와 실세계 좌표계(WCS: world coordinate system)의 중심 r'(0, 0 ,0) 사이의 거리 d는 유사삼각형의 원리에 의해 유도된 아래의 [수학식 1]에서와 같이 결정될 수 있다.

또한 이러한 거리 d를 알게 되면, a'의 실세계 좌표는 다음과 같은 방법에 의하여 결정된다. 먼저, r'의 좌표가 (0, 0, 0)이므로, 카메라 초점의 실세계 좌표는 (0, 0, H), a'의 좌표는 (a'_x, a'_y, 0), a"의 좌표는 (a"_x, a"_y, 0)가 된다. 이 때, a"의 좌표는 카메라 보정 정보에 의하여 결정되어져 있으므로, a'의 좌표는 r' 및 a"에 의해 만들어지는 직선 위의 한점이며, r'과 a'사이의 거리는 d라는 사실로부터 아래의 [수학식2] 및 [수학식3]와 같은 2개의 방정식을 유도할 수 있다.

그리고, 상기 [수학식 2] 와 [수학식 3]으로부터 방정식의 해는 아래의 [수학식4]와 [수학식5]에서와 같이 구해질 수 있다.

이때 a'의 좌표는 상기 [수학식 4]와 [수학식 5]에 의하여 결정되며, a'_x의 값이 r'과 a"의 좌표사이에 있는 값만을 취하여 a"_y의 값을 최종 결정한다.

치수 산출부(108)는 상기한 과정을 나머지 3개의 모서리 점들에 대해서 모두 수행하는 경우 현재의 루프를 종료하고, (S66)단계에서 이에 응답하여 (S68)단계로 진행해서 상기 인식된 2차원 평면 위의 좌표 값들을 이용하여 물체의 가로 및 폭의 길이를 최종 계산한다.

이때 상기 도 8에서와 같이 영역 스캔 타입 카메라의 투시 투영은 카메라 초점을 중심으로 원형으로 투시 투영되는 특성을 나타냄에 반해, 라인 스캔 타입의 경우에는 스캐닝되는 라인의 길이 방향의 한 라인에 대해서만 투시 투영의 특성을나타내며, 관련된 예가 도 10에 나타난다. 도 10과 같이 라인스캔카메라의 투시 투영특성은 시간에 의존하며, T(0)에 한 라인씩 영상을 획득하며, 본 발명의 예에서는 한 라인당 4096개의 화소, 즉 레이를 가지는 카메라를 사용할 수 있다. 따라서, 이러한 라인 스캔 카메라의 투시 투영의 특성을 고려한 치수 산출이 수행되어야 하며, 상기 도 7의 흐름도에 대한 변형이 뒤따라야 한다.

도 9는 본 발명의 다른 실시 예에 따른 라인 스캔형 카메라로부터 획득된 물체의 치수를 산출하는 동작 제어 흐름을 도시한 것이다. 이하 상기 도 9를 참조하면, 치수 산출부(108)는 상기 도 7에서와 마찬가지로 (S81)∼(S82)단계에서 높이 정보 획득부(106)로부터 획득된 높이 정보와 최소 외접 사각형 검출부(104)로부터 획득된 최외접 사각형의 모서리 점 위치정보를 입력받는다. 이 때, 고속 실시간 처리를 위하여 라인스캔 영상을 획득하는 과정에서 도 3의 관심영역 추출단계와 도 4의 이진화 단계(S42)를 동시에 처리할 수 있으며, 최소 외접 사각형 검출의 경우 고속 처리를 위하여 라인 스캔된 영상을 샘플링(Sampling)하여 사용할 수 있다. 앞서와 같이, 상기 최소 외접 사각형 검출부(104)로부터 획득된 물체의 네 개 모서리 점들이 상기 도 10에서와 같이 a, b, c, d라 할 때, 각각의 점을 통과하는 카메라 ray는 컨베이어(14)상의 1차원 라인 위의 한 점과 교차하고, 이러한 교차점들과 4개의 점은 라인 영상 위에서는 동일한 위치의 화소에 대응되게 된다. 컨베이어 위의 1차원 라인이 Tsai의 켈리브레이션 방법에 의해 보정되어 있으면, 이러한 보정에 의해 라인영상 위의 한 점에 대응하는 컨베이어상의 실제 라인 위의 한 점의 실제 좌표값을 알을 수 있게 된다.

이러한 가정하에 상기 도 9의 동작을 계속해서 설명하기로 한다. 치수 산출부(108)는 (S83)단계에서와 같이 첫 번째 모서리 점(a)을 선택하면, 도 10을 통하여 점 a는 시간 T(p)에서 스캔된 라인영상 위의 한 점이라는 것을 알 수 있다. 또한, 상기 점(a)을 통과하는 카메라 ray가 1차원 라인과 교차하는 교차점(a")이 라인 영상 위의 같은 위치의 화소이므로, (S84)단계에서 상기 교차점(a")은 이전의 보정(calibration) 정보에 의하여 쉽게 인식할 수 있다. 이어 치수 산출부(108)는 (S85)단계에서 한 모서리(a)를 통과하는 카메라 ray의 교차점(a")의 실세계 좌표값(real world coordinate)이 인식되면, 선택된 모서리(a)와 컨베이어 위의 1차원 라인이 직교하는 직교 점(a')의 실세계 좌표값을 인식한다. 이때 상기 직교 점(a')의 좌표와 실세계 좌표계의 중심 r'사이의 거리 d는 전술한 [수학식 1]에 의하여 결정된다.

이때 상기 (S85)단계를 통해 획득된 값 d는 하나의 스캔 라인이 형성되는 방향, 즉 컨베이어 벨트의 진행 방향과 직교하는 방향의 Y축의 실 좌표값을 나타내며, 스캔라인의 중심점으로부터 위쪽일 때는 양의 y값을, 그 반대일 때는 음의 y값을 나타낸다. 따라서 현재 모서리 점(a)를 포함하는 라인영상과 직교하는 컨베이어의 진행 방향, 즉 X 축의 실 좌표값은 컨베이어의 이송속도(v) 및 라인 스캔 카메라의 스캐닝 주파수(f) 및 단위 라인의 단축방향의 정도(precision)에 의해 결정되어지며, 치수산출부(108)는 (S86)단계에서 현재의 스캔라인으로부터 X축 방향의 실 좌표값을 계산한다. 이때 상기 라인스캔카메라의 스캐닝 주파수에 의해 결정되는 샘플링 주기를 T, 현재의 라인의 위치가 k번째라고 한다면, X축 방향의 실 좌표값은 아래의 [수학 식 6]에 의하여 결정된다.

이러한 [수학식 6]을 이용한 방법 외에도, 부가적으로 라인스캔카메라의 스캐닝 과정에서의 컨베이어의 이동거리를 측정할 수 있는 타코미터 등을 활용할 수 있으며, 이러한 경우에는 타코미터에 의해 획득된 컨베이어의 이동거리 S 및 전체 라인영상의 수 N을 이용하여 아래의 [수학식 7]에서와 같이 결정할 수 있다.

x = (k-1) S/(N-1)

이어 치수 산출부(108)는 상기한 과정을 나머지 3개의 모서리 점들에 대해서 모두 수행하는 경우 현재의 루프를 종료하고, (S87)단계에서 이에 응답하여 (S89)단계로 진행해서 상기 인식된 2차원 평면 위의 좌표 값들을 이용하여 물체의 가로 및 폭의 길이를 최종 계산한다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

이상에서 설명한 바와 같이, 본 발명에 의하면 영상 평면 위의 객체 영역에 대해 최소 외접 사각형을 획득하여 물체의 치수를 측정함으로써, 임의의 형상을 가지는 물체의 경우에도 효과적인 치수의 측정이 가능하며, 최소 외접 사각형에 의해 획득된 네 모서리 점들의 공간상의 기하학적인 특성을 이용하여 물체의 길이 및 폭의 정보를 계산함으로써 고속의 치수 계산이 가능한 이점이 있으며, 높이 센서 및 CCD 카메라를 이용함으로써 이송물체 뿐만 아니라 정지 물체에 대해서도 효과적인 적용이 가능한 이점이 있다.

또한 본 발명은 시스템의 활용 목적에 따라 치수 측정을 위한 단일 시스템인 경우에는 영역 스캔형 카메라를 채택하여 저 비용의 치수 측정 시스템의 구현이 가능하도록 하며, 바코드 해독 및 문자 인식 등의 기능을 탑재한 스캐닝 시스템과의 통합시에는 소프트웨어 모듈만의 효과적인 이식을 통한 통합 시스템으로의 구현이 용이한 이점이 있다.

Claims

3차원 물체 치수 측정 시스템에 있어서,

치수 측정이 요구된 3차원 물체의 영상을 획득하는 영상 획득부와;

상기 영상 획득부에서 획득된 영상을 신호 처리하여 물체의 관심 영역을 검출하는 관심 영역 검출부와;

상기 관심 영역 검출부로부터 검출된 결과 영상으로부터 상기 물체의 최소 외접 사각형을 탐색하는 최소 외접 사각형 검출부와;

상기 물체의 높이 정보를 획득하는 높이정보 획득부와;

상기 물체의 높이 정보와 상기 최소 외접 사각형 검출부로부터 획득된 외접 사각형을 이용하여 3차원 물체의 치수를 산출하는 치수 산출부;를 포함하는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.
제1항에 있어서,

상기 관심영역 검출부는, 상기 물체의 객체과 배경영상간 차영상으로부터 수직 및 수평방향 투사 히스토그램을 생성하고, 상기 투사 히스토그램으로부터 관심영역 후보를 획득하는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.
제1항에 있어서,

상기 최소 외접 사각형 검출부는, 상기 관심영역 검출부로부터 검출된 관심영역에 대한 이진화 및 잡음 제거를 통해 상기 관심영역내 이진화된 객체로부터 초기 외접 사각형을 획득한 후, 상기 초기 외접 사각형에 대한 다단의 탐색을 통해 해당 물체의 외형에 대한 최소 외접 사각형을 획득하는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.
제3항에 있어서,

상기 초기 외접 사각형은, 상기 이진화된 객체의 중심값을 수평, 수직으로 통과하는 수평선 및 수직선을 이용하여 해당 물체에 대한 상/하, 좌/우 방향으로의 탐색 결과로부터 획득되는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.
제1항 또는 제3항에 있어서,

상기 최소 외접 사각형은, 상기 물체를 포함하는 초기 외접 사각형에 대한 1차 거친 탐색 및 상기 1차 거친 탐색 결과에 대한 2차 정밀 탐색 결과로부터 획득되는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.
제1항에 있어서,

상기 치수 산출부는, 치수 측정 요구된 해당 물체의 높이 정보 및 외접 사각형의 네 모서리점 정보를 입력받아, 각 모서리점에 대하여 상기 물체가 놓인 2차원 바닥 평면과 각 모서리점을 통과하는 카메라 레이의 교차점을 획득하고, 각 모서리점과 상기 2차원 평면과의 직교점에 대한 실제 좌표값을 획득하여 해당 물체의 길이 및 폭을 산출하는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.
제6항에 있어서,

상기 카메라 레이는, 상기 물체의 수직 방향 위쪽에 설치된 영역스캔카메라의 초점을 중심으로 상기 물체를 향해 원형으로 투시 투영되는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.
제6항에 있어서,

상기 물체의 각 모서리점과 상기 2차원 평면과의 직교점에 대한 실제 좌표와 상기 물체의 중심 좌표간 거리(d)는, 유사 삼각형의 원리에 따른 아래의 [수학식]에 의해 계산되는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.

[수학식]

D : 물체의 중심점과 교차점간의 거리

H : 카메라와 물체 바닥면의 중심점간의 높이

h : 물체의 높이
제8항에 있어서,

상기 거리(d)는, 아래의 [수학식]에서와 같이 상기 2차원 평면과의 직교점에 대한 x축, y축의 실제 좌표값(a'_x,a'_y)으로부터 계산되는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.

[수학식]
제9항에 있어서,

상기 각 모서리점과 상기 2차원 평면과의 직교점에 대한 x축, y축의 실제 좌표값(a'_x,a'_y)은, 아래의 [수학식]에 의해 계산되는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.

[수학식]

a"_y: 2차원 바닥 평면과 각 모서리점을 통과하는 카메라 레이의 교차점의 y 축 실제 좌표값

a"_x: 2차원 바닥 평면과 각 모서리점을 통과하는 카메라 레이의 교차점의 x축 실제 좌표값
제1항에 있어서,

상기 치수 산출부는, 치수 측정 요구된 해당 물체의 높이 정보 및 외접 사각형의 네 모서리점 정보를 입력받아, 각 모서리점에 대하여 상기 물체가 놓인 바닥면위의 1차원 라인과 각 모서리점을 통과하는 카메라 레이의 교차점을 획득하고, 각 모서리점과 상기 1차원 라인과의 직교점에 대한 y축 방향 실제 좌표값과 상기 1차원 스캔라인으로부터 x축 방향 실제 좌표값을 획득하여 해당 물체의 길이 및 폭을 산출하는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.
제11항에 있어서,

상기 카메라 레이는, 상기 물체의 수직 방향 위쪽에 설치된 라인스캔카메라로부터 상기 물체를 향해 수직 라인 형태로 길이 투시 투영되는 것을 특징으로 하는 3차원 물체치수 측정 시스템.
제11항에 있어서,

상기 각 모서리점을 통과하는 카메라 레이가 1차원 라인과 교차하는 교차점(a")은, 라인 영상 위의 동일 위치의 화소인 것을 특징으로 3차원 물체 치수 측정 시스템.
제11항에 있어서,

상기 치수 산출부는, 상기 각 모서리점을 통과하는 카메라 레이의 교차점(a")의 실제 좌표값을 인식하여 각 모서리점과 상기 물체가 놓은 바닥면 위의 1차원 라인이 직교하는 직교점(a')의 실제 좌표값을 계산하는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.
제14항에 있어서,

상기 직교점(a')의 좌표와 실제 좌표계의 중심 점(r') 좌표상의 거리(d)는, 아래의 [수학식]에 의해 계산되는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.

[수학식]

D : 물체의 중심점과 교차점간의 거리

H : 카메라와 물체 바닥면의 중심점간의 높이

h : 물체의 높이
제15항에 있어서,

상기 거리(d)는, 상기 물체의 진행방향과 직교하도록 하나의 스캔 라인이 형성되는 방향의 y축 실제 좌표값(a'_y)을 나타내는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.
제11항에 있어서,

상기 스캔라인 영상과 직교하는 상기 물체의 진행방향의 x축 실제 좌표값(a'_x)은, 아래의 [수학식]에 의해 계산되는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.

[수학식]

k : 현재 라인의 위치

v : 물체의 이송속도

T : 라인스캔카메라의 스캐닝 주파수에 따른 샘플링 주기
제11항에 있어서,

상기 스캔라인 영상과 직교하는 상기 물체의 진행방향의 x축 실제 좌표값(a'_x)은, 아래의 [수학식]에 의해 계산되는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.

[수학식]

S : 타코미터에 의해 측정된 물체의 이동거리

N : 전체 라인영상의 수

k : 현재 라인의 위치
제1항에 있어서,

상기 높이 획득부는, 높이 센서를 이용하여 물체의 높이를 측정하는 것을 특징으로 하는 3차원 물체 치수 측정 시스템.
영상획득부, 관심영역 검출부, 최소 외접 사각형, 높이정보 획득부 및 치수 산출부를 포함하는 3차원 물체 치수 측정 시스템에서 물체의 치수를 측정하는 방법에 있어서,

(a)치수 측정 요구된 대상 3차원 물체의 관심영역을 검출하는 단계와;

(b)상기 관심영역으로 검출된 결과 영상으로부터 상기 물체의 최소 외접 사각형을 탐색하는 단계와;

(c)상기 물체의 높이를 측정하는 단계와;

(d)상기 물체의 최소 외접 사각형 정보와 높이 정보를 이용하여 해당 물체의치수를 산출하는 단계;를 포함하여 진행하는 것을 특징으로 하는 3차원 물체 치수 측정 방법.
제20항에 있어서,

상기 (a)단계는, (a1)상기 물체의 객체 및 배경영상으로부터 차영상을 획득하는 단계와;

(a2)상기 차영상으로부터 수직방향 및 수평방향 투사 히스토그램을 생성하는 단계와;

(a3)상기 생성된 수직 및 수평방향 투사 히스토그램으로부터 관심영역 후보를 획득하는 단계와;

(a4)상기 획득된 관심영역의 후보를 검증하는 단계;를 포함하여 진행하는 것을 특징으로 하는 3차원 물체 치수 측정 방법.
제20항에 있어서,

상기 (b)단계는, (b1)상기 관심영역의 내부를 이진화하는 단계와;

(b2)상기 이진화된 영상으로부터 잡음을 제거하는 단계와;

(b3)상기 관심영역내 이진화된 객체의 초기 외접 사각형을 획득하는 단계와;

(b4)상기 초기 외접 사각형에 대한 다단의 탐색을 통해 해당 물체의 외형에 대한 최소 외접 사각형을 획득하는 단계;를 포함하여 진행하는 것을 특징으로 하는 3차원 물체 치수 측정 방법.
제22항에 있어서,

상기 (b4)단계는, (b41)상기 초기 외접 사각형에 대해 1차 거친 탐색을 수행하는 단계와;

(b42)상기 1차 탐색된 결과에 대한 2차 정밀 탐색을 통해 상기 물체를 포함하는 최소면적의 외접 사각형을 획득하는 단계;를 포함하여 진행하는 것을 특징으로 하는 3차원 물체 치수 측정 방법.
제23항에 있어서,

상기 (b42)단계는, (b421)카운터 I 및 회전각 Theta를 각각 "0"으로 초기화하는 단계와;

(b422)상기 초기 외접 사각형 및 객체의 중심좌표를 이용하여 외접 직선을 탐색하고 면적을 계산하는 단계와;

(b423)상기 카운터 I 가 "9"미만인 경우 I를 "1"만큼 증가시키고 회전각을 증가분 "X"만큼 가산시킨 후, 상기 중심점을 X만큼 외접직선을 회전시키는 단계와;

(b424)상기 카운터 I 가 "9"인 경우 "9"개의 면적 중 최소값을 선택하여 그 때의 회전각 및 외접직선의 교차점을 생성하는 단계;를 포함하여 진행하는 것을 특징으로 하는 3차원 물체 치수 측정 방법.
제20항에 있어서,

상기 (d)단계는, (d1)상기 물체의 높이 정보와 외접사각형의 네 모서리점 정보를 입력받는 단계와;

(d2)상기 외접사각형의 각 모서리점에 대하여 상기 물체가 놓인 2차원 바닥 평면과 각 모서리점을 통과하는 카메라 레이의 교차점을 획득하는 단계와;

(d3)상기 각 모서리점과 상기 2차원 평면과의 직교점에 대한 실제 좌표값을 획득하여 해당 물체의 길이 및 폭을 산출하는 단계;를 포함하여 진행하는 것을 특징으로 하는 3차원 물체 치수 측정 방법.
제20항에 있어서,

상기 (d)단계는, (d'1)상기 물체의 높이 정보와 외접 사각형의 네 모서리점 정보를 입력받는 단계와;

(d'2)상기 측정 대상 물체가 놓인 바닥면 위의 1차원 라인과 각 모서리점을 통과하는 카메라 레이의 교차점을 획득하는 단계와;

(d'3)상기 각 모서리점과 상기 1차원 라인과의 직교점에 대한 실제 좌표값을 획득하여 해당 물체의 길이 및 폭을 산출하는 단계;를 포함하여 진행하는 것을 특징으로 하는 3차원 물체 치수 측정 방법.