KR102273758B1

KR102273758B1 - 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치 및 방법

Info

Publication number: KR102273758B1
Application number: KR1020200045098A
Authority: KR
Inventors: 박호민; 데 네브 마르셀 웨슬리
Original assignee: 겐트대학교코리아(분사무소)
Priority date: 2020-04-14
Filing date: 2020-04-14
Publication date: 2021-07-05

Abstract

라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치 및 방법이 개시된다. 본 발명은, 컨베이어 위에서 고속으로 움직이는 다양한 형상 및 종류의 물체들을 라이트 커튼 센서로 스캔하고 그 센서값을 사용하여 물체를 둘러싸는 최소 인접 직육면체의 크기를 자동으로 측정하여 경제성 문제를 해결할 수 있도록 하고, 물체의 종류를 자동으로 추정하도록 함으로써 물체의 투입 및 통과 과정에서 물체의 파손여부와 인적 실수로 인한 물체의 투입 오류를 예방하도록 한다. 본 발명에 따르면, 컨베이어의 정지 없이 물체의 실시간 스캔이 가능하고, 컨베이어 위에서 움직일 수 있는 물체라면 형태에 관계없이 물체를 둘러싸는 최소 인접 직육면체 크기를 파악할 수 있어, 다형다종 자동 포장에 활용될 수 있으며, 뿐만 아니라 물류 시스템에 활용되어 점유 공간 최적화에 활용될 수 있으며, 또한, 3차원 딥 러닝 모델을 이용하여 물체의 종류를 구분함으로써, 물체를 정확하게 구분할 수 있고, 물체를 둘러싸는 최소 인접 직육면체의 크기와 물체의 종류를 미리 저장된 데이터와 비교하여 투입된 물체의 파손 및 물체의 오투입 여부를 확인할 수 있다.

Description

라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치 및 방법{Apparatus and method for measuring size of high-speed object and classfying type of the object for conveyors using light curtain sensors}

본 발명은 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치 및 방법에 관한 것으로, 더욱 상세하게는 라이트 커튼 센서를 이용하여 컨베이어를 통해 이동되는 물체의 크기를 측정하고 물체의 종류를 분류하는 장치 및 방법에 관한 것이다.

물체 인식 시스템에 대한 수요가 다양한 산업에서, 그 중에서도 컨베이어를 기본으로 하는 여러 산업 분야에서 증가하고 있다. 특히 소비재 포장 산업과 택배 산업이 좋은 예가 된다. 이런 분야에서는 컨베이어 위에서 움직이는 다양한 물체를 빠르게 인식할 필요가 있기 때문이다. 그러나, 현재까지는 특허문헌 1과 비특허문헌 1과 같이 각종 센서 데이터를 조합하는, 유연성이 낮은 대신 적은 비용으로 구축할 수 있는 간단한 자동화 솔루션이 주로 사용되고 있다.

최근 3차원 데이터를 활용한 컴퓨터 비전 기술이 2015년 비특허문헌 2를 시작으로 현재까지 비약적으로 발전하고 있다. 비특허문헌 3에 의하면 이 비전 기술은 최근 40 종류의 다양한 3차원 물품을 92.5%의 정확도로 분류하였으며, 최근까지도 다양한 방법들이 시도되고 있는 중이다. 이를 잘 활용한다면 2차원 카메라나 센서를 통해 물체를 진단하는 현재의 물체 인식 기술을 상호 보완하여 더욱 정확하고 안정적인 시스템을 구축할 수 있을 것으로 예상된다. 이에 더하여 접촉 또는 광 센서로 위시되는 3차원 물체 스캔 기술의 발전은 이 기술을 실제 산업 현장에도 적용할 수 있는 길을 열어주고 있다.

그러나, 산업 현장에 이 지식을 적용하기 위해서는 두가지의 문제점을 극복할 필요가 있다. 첫 번째 문제는 실제 데이터의 부재로서, 3차원 인공지능 분야의 물체 인식 문제로 한정하자면, 아직 가상 데이터에만 3차원 물체인식 인공신경망 기술이 우수한 성능을 보이고 있다. 비특허문헌 4와 같은 가상 데이터는 충분히 복잡하고 다양한 3차원 물체로 이루어져 있지만, 실제 산업 현장에서 사용하기엔 제한점이 많다. 뿐만 아니라 실제 산업 현장에서 얻어지는 데이터를 인공신경망의 입력 데이터로 가공하는 방법은 아직까지 제시된 바가 없다. 두 번째 문제는 가격 효율성이다. 현재까지 다양한 3차원 측정 센서들이 제시되었지만 산업적으로 적용할만큼 세밀한 센서들은 비용 문제를 야기할 가능성 크며, 반대로 특허문헌 2 및 비특허문헌 5 및 6과 같이 가정용으로 제시된 센서는 외부 환경에 의한 노이즈가 많으므로 신뢰성을 보장하기 어렵다.

특허문헌 1 : KR 10-2016576 (원전해체 방폐물의 자동 형상취득 시스템) 특허문헌 2 : KR 10-2066862 (RGB-D 카메라를 이용한 컨베이어용 고속 박스 크기 측정 장치 및 방법) 특허문헌 3 : KR 10-1613699 (포장용 케이스)

비특허문헌 1 : TSAROUCHI, Panagiota, et al. A method for detection of randomly placed objects for robotic handling. CIRP Journal of Manufacturing Science and Technology, 2016, 14: 20-27. 비특허문헌 2 : SU, Hang, et al. Multi-view convolutional neural networks for 3d shape recognition. In: Proceedings of the IEEE international conference on computer vision. 2015. p. 945-953. 비특허문헌 3 : UY, Mikaela Angelina, et al. Revisiting point cloud classification: A new benchmark dataset and classification model on real-world data. In: Proceedings of the IEEE International Conference on Computer Vision. 2019. p. 1588-1597. 비특허문헌 4 : WU, Zhirong, et al. 3d shapenets: A deep representation for volumetric shapes. In: Proceedings of the IEEE conference on computer vision and pattern recognition. 2015. p. 1912-1920. 비특허문헌 5 : IZADI, Shahram, et al. KinectFusion: real-time 3D reconstruction and interaction using a moving depth camera. In: Proceedings of the 24th annual ACM symposium on User interface software and technology. 2011. p. 559-568. 비특허문헌 6 : PARK Ho-min et al. Box-Scan: An efficient and effective algorithm for box dimension measurement in conveyor systems using a single RGB-D camera. In: Proceedings of the 7th IIAE International Conference on Industrial Application Engineering, Kitakyushu, Japan. 2019. p. 26-30.

본 발명이 이루고자 하는 기술적 과제는, 컨베이어 위에서 고속으로 움직이는 다양한 형상 및 종류의 물체들을 라이트 커튼 센서로 스캔하고 그 센서값을 사용하여 물체를 둘러싸는 최소 인접 직육면체의 크기를 자동으로 측정하여 효율성과 경제성 문제를 해결할 수 있도록 하는 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치 및 방법을 제공하는 데 있다.

그리고, 컨베이어 위에서 고속으로 움직이는 다양한 형상 및 종류의 물체의 종류를 자동으로 추정하도록 함으로써 물체의 투입 및 통과 과정에서 물체의 파손여부와 인적 실수로 인한 물체의 투입 오류를 예방하도록 하는 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치 및 방법을 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한 본 발명에 따른 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치는, 물체가 이동되는 컨베이어 상에 설치된 라이트 커튼 센서를 이용하여 상기 컨베이어를 지나가는 물체를 측정하는 측정부로부터 제공받은 센서값을 기반으로 상기 컨베이어 위에 물체가 존재하는지 여부를 확인하고 상태를 변경하면서 센서값을 저장하는 측정 제어부; 및 저장된 센서값을 이용하여 물체의 최소 인접 직육면체의 크기를 계산하고 물체의 종류를 추론하는 3차원 추론부;를 포함한다.

상기 측정 제어부는, 센서값을 기록하는 저장부; 및 상기 측정부로부터 제공받은 센서값과 미리 설정된 내부 파라미터를 비교하여 물체의 통과 유무 및 물체의 오류 여부를 확인하며, 물체가 존재하면 상기 저장부에 센서값을 저장하는 상태 조정부;를 포함할 수 있다.

상기 상태 조정부는, 초기화 상태, 대기 상태, 측정 상태, 저장 상태 및 오류 상태 중 하나의 상태로 동작되며, 상기 대기 상태는, 상기 측정부를 통해 획득한 센서값과 미리 지정된 기준치를 비교하여 센서값이 기준치보다 같거나 작을 경우에 측정을 대기하는 상태이고, 상기 측정 상태는, 상기 측정부를 통해 획득된 센서값이 기준치를 초과하였을 경우 물체가 통과하는 것으로 판단하여 센서값을 디지털 데이터로 변환하여 임시로 저장하는 상태이며, 상기 저장 상태는, 상기 측정부를 통해 획득된 센서값이 기준치보다 작으면서 상기 상태 조정부의 상태가 상기 측정 상태일 때, 임시로 저장된 센서값을 상기 저장부에 저장하는 상태이고, 상기 오류 상태는, 상기 측정 상태에서 기준치외의 물품이 투입되었을 경우 사용자에게 알림을 주는 동작을 하는 상태일 수 있다.

상기 3차원 추론부는, 저장된 센서값을 3차원 형상 복원하여 3차원 점 구름을 추출하는 3차원 형상 복원부; 상기 3차원 형상 복원부에서 추출된 3차원 점 구름을 입력으로 하여 물체를 감싸는 최소 인접 직육면체의 크기를 계산하는 최소 인접 직육면체 계산부; 및 상기 3차원 형상 복원부에서 추출된 3차원 점 구름을 3차원 메쉬(3D mesh)로 변환하고, 변환된 3차원 메쉬로부터 3차원 점을 미리 정해진 수 만큼 비복원 무작위 추출하여 확장된 3차원 점 구름을 생성하며, 확장된 3차원 점 구름을 3차원 깊은 인공신경망에 입력으로 활용하여 상기 컨베이어를 통과한 물체의 종류를 분류하는 3차원 물체 분류부;를 포함할 수 있다.

상기 3차원 추론부는, 계산된 물체의 최소 인접 직육면체의 크기와 분류된 물체의 종류를 기반으로, 기존 물체와의 차이 및 오류를 분석할 수 있다.

상기 3차원 추론부는, 상기 3차원 물체 분류부와 상기 최소 인접 직육면체 계산부의 결과를 바탕으로 물체의 파손 여부와 물체의 오투입 여부를 진단하는 물체 진단 및 분석부;를 더 포함할 수 있다.

상기의 기술적 과제를 달성하기 위한 본 발명에 따른 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 방법은, 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치의 물체의 크기 측정 및 물체의 종류 분류 방법으로서, 물체가 이동되는 컨베이어 상에 설치된 라이트 커튼 센서를 이용하여 상기 컨베이어를 지나가는 물체를 측정하는 측정부로부터 센서값을 제공받는 단계; 제공받은 센서값을 기반으로 상기 컨베이어 위에 물체가 존재하는지 여부를 확인하고 상태를 변경하면서 센서값을 저장하는 단계; 및 저장된 센서값을 이용하여 물체의 최소 인접 직육면체의 크기를 계산하고 물체의 종류를 추론하는 단계;를 포함한다.

상기 센서값 저장 단계는, 상기 상태를 변경하면서, 상기 측정부로부터 제공받은 센서값과 미리 설정된 내부 파라미터를 비교하여 물체의 통과 유무 및 물체의 오류 여부를 확인하고, 물체가 존재하면 센서값을 저장하는 것으로 이루어질 수 있다.

상기 상태는, 초기화 상태, 대기 상태, 측정 상태, 저장 상태 및 오류 상태 중 하나이며, 상기 대기 상태는, 상기 측정부를 통해 획득한 센서값과 미리 지정된 기준치를 비교하여 센서값이 기준치보다 같거나 작을 경우에 측정을 대기하는 상태이고, 상기 측정 상태는, 상기 측정부를 통해 획득된 센서값이 기준치를 초과하였을 경우 물체가 통과하는 것으로 판단하여 센서값을 디지털 데이터로 변환하여 임시로 저장하는 상태이며, 상기 저장 상태는, 상기 측정부를 통해 획득된 센서값이 기준치보다 작으면서 상태가 상기 측정 상태일 때, 임시로 저장된 센서값을 저장하는 상태이고, 상기 오류 상태는, 상기 측정 상태에서 기준치외의 물품이 투입되었을 경우 사용자에게 알림을 주는 동작을 하는 상태일 수 있다.

상기 물체의 크기 계산 및 물체의 종류 추론 단계는, 저장된 센서값을 획득하는 단계; 획득한 센서값을 3차원 형상 복원하여 3차원 점 구름을 추출하는 단계; 3차원 점 구름으로부터 물체를 감싸는 최소 인접 직육면체의 크기를 계산하는 단계; 3차원 점 구름을 연결하여 3차원 메쉬를 획득하는 단계; 획득한 3차원 메쉬로부터 3차원 점을 미리 정해진 수 만큼 비복원 무작위 추출하여 확장된 3차원 점 구름을 획득하는 단계; 확장된 3차원 점 구름을 3차원 깊은 인공신경망에 입력으로 활용하여 상기 컨베이어를 통과한 물체의 종류를 분류하는 단계; 및 물체의 최소 인접 직육면체 크기와 물체의 분류 결과를 저장하는 단계;를 포함할 수 있다.

계산된 물체의 최소 인접 직육면체의 크기와 추론된 물체의 종류를 기반으로, 기존 물체와의 차이 및 오류를 분석하는 단계;를 더 포함할 수 있다.

상기 분석 단계는, 계산된 물체의 최소 인접 직육면체의 크기와 추론된 물체의 종류를 바탕으로 물체의 파손 여부와 물체의 오투입 여부를 진단하는 것으로 이루어질 수 있다.

상기의 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 저장되어 상기한 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 방법 중 어느 하나를 컴퓨터에서 실행시킨다.

본 발명에 따른 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치 및 방법에 의하면, 컨베이어의 정지 없이 물체의 실시간 스캔이 가능하다.

그리고, 종래의 특허문헌 1이 박스 형태의 물체만을 측정 가능했던 것에 반해, 본 발명은 컨베이어 위에서 움직일 수 있는 물체라면 형태에 관계없이 물체를 둘러싸는 최소 인접 직육면체 크기를 파악할 수 있다. 이는 특허문헌 3을 사용하는 자동 포장 시스템의 입력으로 사용되어, 다형다종 자동 포장에 활용될 수 있으며, 뿐만 아니라 물류 시스템에 활용되어 점유 공간 최적화에 활용될 수 있다.

또한, 특허문헌 2가 컨배이어 위에서 이동하는 물체를 룰 기반 분류방법을 이용해 물체의 종류를 파악하는 것인 반면, 본 발명은 3차원 딥 러닝 모델을 이용하여 물체의 종류를 구분한다. 3차원 물체 분류 모델은 스캔된 물체의 3차원 구조를 스스로 인지하고 모델 스스로 특징을 학습한다. 따라서 물체 파손 등 룰 기반으로 분류하기 어려운 경우라도 본 발명은 물체를 정확하게 구분할 수 있다.

아울러, 본 발명은 물체를 둘러싸는 최소 인접 직육면체의 크기와 물체의 종류를 미리 저장된 데이터와 비교하여 투입된 물체의 파손 및 물체의 오투입 여부를 확인할 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치를 설명하기 위한 블록도이다.
도 2는 도 1에 도시한 측정부에서 컨베이어와 라이트 커튼 센서의 위치 관계를 설명하기 위한 도면이다.
도 3은 도 2에 도시한 물체의 최소 인접 직육면체를 설명하기 위한 도면이ㄷ다.
도 4는 도 1에 도시한 상태 조정부를 상태 전이 다이어그램으로 설명하기 위한 도면이다.
도 5는 도 1에 도시한 3차원 형상 복원부에서 물체의 센서값을 변형해 3차원 공간의 점 구름과 그 연결선으로 표현한 도면이다.
도 6은 도 1에 도시한 3차원 추론부에서 3차원 물체 분류부의 입력으로 활용되는 점 구름의 생성 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 바람직한 실시예에 따른 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 방법을 설명하기 위한 흐름도이다.
도 8은 도 7에 도시한 물체 크기와 종류 추론 단계를 보다 자세히 나타낸 흐름도이다.

이하에서 첨부한 도면을 참조하여 본 발명에 따른 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.

먼저, 도 1 내지 도 6을 참조하여 본 발명의 바람직한 실시예에 따른 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치에 대하여 설명한다.

도 1은 본 발명의 바람직한 실시예에 따른 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치를 설명하기 위한 블록도이고, 도 2는 도 1에 도시한 측정부에서 컨베이어와 라이트 커튼 센서의 위치 관계를 설명하기 위한 도면이며, 도 3은 도 2에 도시한 물체의 최소 인접 직육면체를 설명하기 위한 도면이고, 도 4는 도 1에 도시한 상태 조정부를 상태 전이 다이어그램으로 설명하기 위한 도면이며, 도 5는 도 1에 도시한 3차원 형상 복원부에서 물체의 센서값을 변형해 3차원 공간의 점 구름과 그 연결선으로 표현한 도면이고, 도 6은 도 1에 도시한 3차원 추론부에서 3차원 물체 분류부의 입력으로 활용되는 점 구름의 생성 과정을 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치(이하 '측정 분류 장치'라 한다)(100)는 컨베이어(400) 위에서 이동하는 다형다종 물체가 존재하는지 여부를 확인하고, 물체가 존재하면 물체가 통과할 때 까지 센서값을 저장한 후, 저장된 센서값을 사용하여 물체를 둘러싸는 최소 인접 직육면체의 크기(500)(즉, 도 3에 도시된 바와 같이, 물체를 감싸는 최소 인접 직육면체의 너비, 깊이 및, 높이)와 물체의 종류를 추정한다.

그리고, 측정 분류 장치(100)은 측정부(200)와 연결되어 측정부(200)로부터 라이트 커튼 센서(210, 220)를 이용해 측정된 값인 센서값을 제공받는다.

보다 자세히 설명하면, 도 2에 도시된 라이트 커튼 센서(210, 220)의 송신부(210-a, 220-a)에서 투사한 빛이 라이트 커튼 센서(210, 220)의 수신부(210-b, 210-b)에 수신하지 못한 부분의 길이와 센서값 획득 시간까지 물체가 이동한 거리를 측정하여 센서값을 획득한다. 즉, 센서값은 라이트 커튼 센서(210, 220)를 통해 측정된 값과 로터리 인코더 등을 통해 측정된 거리값을 포함한다.

측정부(200)는 라이트 커튼 센서(210, 220)를 도 2에 도시된 바와 같이, 두 쌍을 구비하고 컨베이어(400)를 기준으로 상하로 위치한 한 쌍의 라이트 커튼 센서(220-a, 220-b)는 두 컨베이어(400) 사이에 컨베이어(400)의 이동 방향과 수직이 되도록 설치하며, 컨베이어(400)를 기준으로 좌우로 위치한 다른 한 쌍의 라이트 커튼 센서(210-a, 210-b)는 상하로 위치한 한 쌍의 라이트 커튼 센서(220-a, 220b)와 동일한 위치에서 컨베이어(400)의 평평한 면에 수직이 되도록 설치되고, 측정 분류 장치(100)의 제어에 따라 일정 시간 간격으로 두 컨베이어(400) 사이로 이동하는 물체를 스캔한다. 여기서, 라이트 커튼 센서(210, 220)가 서로 독립적인 두 개의 컨베이어(400)의 사이에 설치되는 것으로 도 2에 도시하였으나, 본 발명은 이에 한정되지 않고 실시예에 따라 하나의 컨베이어(400) 상의 특정 위치에 라이트 커튼 센서(210, 220)가 설치되어 컨베이어(400) 위를 지나가는 물체를 스캔할 수도 있다.

한편, 측정 분류 장치(100)와 측정부(200)가 서로 독립적인 별개의 디바이스인 것으로 도 1에 도시하였으나, 이에 한정되지 않고 실시예에 따라 측정 분류 장치(100)와 측정부(200)가 하나의 디바이스로 통합되어 구현될 수 있다. 또한, 측정 분류 장치(100)가 본 발명에 따른 물체 크기 측정 및 물체 종류 분류를 위한 별개의 디바이스인 것으로 도 1에 도시하였으나, 이에 한정되지 않고 실시예에 따라 측정 분류 장치(100)는 하드웨어 또는 소프트웨어 형태로 구현되어 데스크탑 PC, 노트북, 임베디드 시스템, 프로그래머블 로직 컨트롤러(PLC) 등의 시스템에 단독 혹은 분산되어 설치될 수도 있다.

이를 위해, 측정 분류 장치(100)은 측정 제어부(130), 3차원 추론부(120) 및 시각화부(110)를 포함할 수 있다.

측정 제어부(130)는 물체가 이동되는 컨베이어(400) 상에 설치된 라이트 커튼 센서(210, 220)를 이용하여 컨베이어(400)를 지나가는 물체를 측정하는 측정부(200)로부터 제공받은 센서값을 기반으로 컨베이어(400) 위에 물체가 존재하는지 여부를 확인하고 상태를 변경하면서 센서값을 저장한다. 이를 위해, 측정 제어부(130)는 상태 조정부(131) 및 저장부(132)를 포함할 수 있다.

상태 조정부(131)는 측정부(200)로부터 제공받은 센서값과 미리 설정된 내부 파라미터를 비교하여 물체의 통과 유무 및 물체의 오류 여부를 확인하며, 물체가 존재하면 저장부(132)에 센서값을 저장할 수 있다.

저장부(132)는 센서값을 기록할 수 있다.

즉, 측정 제어부(130)는 측정 분류 장치(100)의 물체가 평행이동되는 두 컨베이어 사이에 위치한 측정부(200)를 통과할 때 측정부(200)에 구비된 라이트 커튼 센서(210, 220)의 측정 범위에 대하여 "물체 없음", "통과중", "통과 완료" 등을 확인하고, 측정부(200)로부터 제공받은 센서값을 미리 설정된 설정값(즉, 내부 파라미터)과 비교한 후, 상태 조정부(131)의 결정에 따라 센서값을 버리거나 저장부(132)에 임시 저장한다.

보다 자세히 설명하면, 상태 조정부(131)는 도 4에 도시된 바와 같이, 초기화 상태(IS), 대기 상태(SS), 측정 상태(MS), 저장 상태(KS) 및 오류 상태(ES) 중 하나의 상태로 동작될 수 있다.

초기화 상태(IS)는 측정 분류 장치(100)를 처음 작동하였을 때, 측정부(200)에 구비된 라이트 커튼 센서 등을 초기화하고, 저장부(132)에 저장되어 있던 기준치를 메모리로 올리는 상태를 의미한다.

대기 상태(SS)는 측정부(200)를 통해 획득된 센서값과 미리 지정된 기준치와 비교하여 센서값이 기준치보다 같거나 작을 경우에 측정을 대기하는 상태로서, "물체 없음"임을 인식하고 획득한 센서값의 저장을 보류하는 상태이다.

측정 상태(MS)는 상태 조정부(131)가 대기 상태(SS)일 때, 측정부(200)를 통해 획득된 센서값이 미리 지정된 기준치를 초과하였을 경우 물체가 측정 범위를 통과하는 것으로 판단하여 센서값을 디지털 데이터로 변환하여 저장부(132)에 임시로 저장하는 상태이다.

저장 상태(KS)는 상태 조정부(131)가 측정 상태(MS)일 때, 측정부(200)를 통해 획득된 센서값이 미리 지정된 기준치보다 작으면 물체가 "통과 완료"임을 인식하여 임시로 저장된 센서값을 저장부(132)에 저장하고, 3차원 추론부(120)에 저장 완료를 통보하는 상태이다.

오류 상태(ES)는 상태 조정부(131)가 측정 상태(MS) 또는 저장 상태(KS)일 때, 사용자에게 알림을 주는 동작을 하는 상태로서, 측정부(200)를 통해 획득된 센서값이 미리 지정된 기준치보다 높은 경우에 물체가 "저장중 통과"임을 인식하고 오류 알람을 울리는 상태이다. 이에 더하여, 오류 상태(ES)는 상태 조정부(131)가 측정 상태(MS)일 때, 최대 측정 거리를 초과하였을 경우 "측정 길이 초과"임을 인식하고 오류 알람을 울릴 수 있다.

그러면 본 발명의 바람직한 실시예에 따른 라이트 커튼 센서를 이용한 컨베이어용 물체의 크기 측정과 종류 분류 동작의 데이터 획득 과정에 대하여 아래의 실시예를 통해 보다 자세하게 설명한다.

알고리즘 1은 도 4에 도시된 대기 상태(SS)와 측정 상태(MS)를 중심으로 하는 전이 과정을 설명하는 알고리즘이다. Input은 알고리즘에 필요한 입력으로써,

는 도 2에 도시된 컨베이어(400)를 기준으로 상하로 부착된 라이트 커튼 센서(220)의 음영이 시작된 값이며,

는 상하로 부착된 라이트 커튼 센서(220)의 음영이 종료되는 부분에 대한 값이다.

은 도 2에 도시된 컨베이어를 기준으로 좌우로 부착된 라이트 커튼 센서(210)의 센서값이며,

은 컨베이어(400)에 부착되어 회전량을 감지하는 로터리 인코더(Rotary encoder)의 값을 의미한다.

줄 1은 초기화 상태(IS)를 의미하여 각종 필요한 초기값들을 저장하고 있다.

(입실론)은 너비의 최소 기준값을,

(타우)는 인코더값을 길이로 변환하는 파라미터를,

는 시스템에서 허용할 수 있는 물체의 최대 길이를 의미한다.

줄 3-7은 대기 상태(SS)에서 측정 상태(MS)로 넘어가는 전이를 담당하는 부분으로써, 상태 조정부(131)의 상태가 대기 상태(SS)일 때 기준값인 입실론보다 입력값이 높으면 측정 상태로 전이한다. 이 과정에서 측정이 시작된 시점의 인코더값을 저장하고, 너비와 높이 최대값을 0으로 초기화한다.

줄 8-16은 측정 상태(MS)를 반복하는 전이를 담당하는 부분으로써 매 시간 t에 발생하는 센서값

을 저장부(132)에 저장한다. 추가적으로 매 시간 발생하는 센서값의 최대값을 자체 기록한다.

줄 17-19는 측정 상태(MS)에서 저장 상태(KS)로 넘어가는 전이를 담당하는 부분으로써, 상태 조정부(131)의 상태가 측정 상태(MS)일 때 센서값

이 기준값인

(입실론)보다 입력값이 낮아지면 저장 상태(KS)로 전이한다.

줄 20-23은 저장 상태(KS)에서 오류 상태(ES)로 넘어가는 전이를 담당하는 부분으로써, 상태 조정부(131)의 상태가 저장 상태(KS)일 때,

이 기준값 이상인 경우 저장 중 물체 투입 오류로 인지하고 오류 상태로 전이한다.

줄 24-27은 측정 상태(MS)에서 오류 상태(ES)로 넘어가는 전이를 담당하는 부분으로써, 상태 조정부(131)의 상태가 측정 상태(MS)일 때 인코더로 이동한 거리가

를 초과한 경우 최대 측정 제한 오류로 인지하고 오류 상태로 전이한다.

알고리즘 1은 측정 분류 장치(100)가 실행되면서 시작하며 종료될 때 까지 무한히 반복된다.

알고리즘 2는 도 4에 도시된 저장 상태(KS)와 오류 상태(ES)를 중심으로 하는 전이 과정을 설명하는 알고리즘이다.

줄 3-9는 저장 상태(KS)에서 대기 상태(SS)로 전이하는 부분을 설명한다. 저장 상태(KS)일 때 시스템은 알고리즘 1에서 계산한 값을 준비한 후 send_data_ready() 프로시저를 통해 3차원 추론부(120)로 전송한다. 프로시저가 종료되면 이후 상태를 대기 상태(SS)로 전이한다.

줄 10-14는 오류 상태(ES)에서 대기 상태(SS)로 전이하는 부분을 설명한다. 이 경우 오류를 해결하기 위한 error_handling() 프로시저가 시작되며 프로시저가 완료되면 대기 상태(SS)로 전이한다.

알고리즘 2는 측정 분류 장치(100)가 실행되면서 시작하며 종료될 때 까지 무한히 반복된다.

알고리즘 1과 알고리즘 2에 기재된 값들은 본 발명의 실시예 중의 하나로서 해당 값들로 그 보호범위가 제한되지 않는다.

또한, 로터리 인코더 입력은 본 발명의 실시예 중의 하나로써 길이 측정을 위해 로터리 인코더가 아닌 다른 센서가 부착되거나 물체의 상태에 따른 속도-시간연산을 통해 거리를 계산하는 등의 방법이 사용되더라도 그 보호범위가 제한되지 않는다.

추가적으로, 알고리즘 1과 알고리즘 2는 본 발명의 대표적인 실시예로써 구축 환경의 설계 용이성을 위해 구분되었으며, 동일하거나 유사한 내용이 포함된 알고리즘이 통합 구현되거나 또는 다른 형태로 내용이 분할되더라도 그 보호범위가 제한되지 않는다.

3차원 추론부(120)는 저장된 센서값을 이용하여 물체의 최소 인접 직육면체의 크기를 계산하고 물체의 종류를 추론한다.

즉, 3차원 추론부(120)는 상태 조정부(131)가 저장 상태(KS)시 저장부(132)로 부터 센서값을 가져온다. 또한, 3차원 추론부(120)는 가져온 정보를 가공하여 물체의 크기(500)를 계산하고, 물체의 종류를 분류한다. 그리고, 3차원 추론부(120)는 계산된 물체의 최소 인접 직육면체의 크기와 분류된 물체의 종류를 기반으로, 기존 물체와의 차이 및 오류를 분석하여 기존 물체 정보와 비교하여 물체의 투입오류 및 물체의 파손여부를 검사한다.

이를 위해, 3차원 추론부는(120) 3차원 형상 복원부(121), 최소 인접 직육면체 계산부(122), 3차원 물체 분류부(123) 및 물체 진단 및 분석부(124)를 포함할 수 있다.

3차원 형상 복원부(121)는 저장된 센서값을 3차원 형상 복원하여 3차원 점 구름을 추출한다. 즉, 3차원 형상 복원부(121)는 측정 제어부(200)가 저장 상태(KS)일 때 저장부(132)에 저장된 센서값(즉, 너비, 높이, 단위길이)을 읽어 3차원 점 구름으로 변환한다.

최소 인접 직육면체 계산부(122)는 3차원 형상 복원부(121)에서 추출된 3차원 점 구름을 입력으로 하여 물체를 감싸는 최소 인접 직육면체의 크기를 계산한다.

도 5를 참조하여 보다 자세하게 설명하면, 상기 실시예를 통해 설명된 저장부(132)에 저장된 제공되는 데이터는

가 된다. 여기서 t는

로서, n은 측정된 데이터 행의 수를 의미하고, t는 0을 포함하는 범자연수 집합에 속한다.

측정부(200)에 구비된 센서들과 컨베이어 벨트가 각각 서로 수직이기 때문에 각 데이터는 3차원의 한 축으로 볼 수 있다. 따라서, t 시점에서의 데이터 한 행을 4개의 3차원 공간의 점들로 변환한다.

보다 자세하게 설명하면, 상하 센서(220)를 x축, 컨베이어 방향을 y축, 좌우 센서(210)를 z축이라 할 때, 점

,

를 생성한다. 최종적으로는 점 구름

을 생성한다. 도 5는 측정 제어부(130)에 저장된 모든 데이터

에 대해서 각각 4개 씩 구한 점들을 3차원 공간에 표현한 후 시각적 효과를 위해

에 대해 선분들

를 추가하고 다시

에 대해

,

를 추가한 후 물체의 최소 인접 직육면체를 표기한 것이다.

측정 제어부(130)에서 3차원 추론부(120)를 호출하면서 너비(w_out) 및 길이(l_out)를 제공하지만, 물체의 가장 긴 면이 컨베이어(400)의 진행 방향과 평행하지 않은 채 회전한 상태로 측정 범위에 들어올 경우 심각한 오차가 발생하므로 사용하지 않는다.

대신, 최소 인접 직육면체 계산부(122)는 3차원 형상 복원부(121)에서 얻어진 점들 중 높이가 0인 점 집합

가 주어졌을 때, 볼록 다각형 계산, 점의 평행 이동 및 최대값 계산을 이용해 최소 인접 직육면체의 크기를 출력한다.

추가적으로, 보다 자세하게 설명하기 위해 알고리즘 3을 제안한다.

알고리즘 3은 2차원 평면 위에 있는 점 집합을 받아 점 집합을 감싸는 최소 크기의 인접 사각형을 계산하는 알고리즘이다.

알고리즘 3은 입력으로 3차원 형상 복원부(121)의 점들 중 높이가 0인 점 집합인

를 입력으로 받는다.

줄 1은 필요한 변수를 초기화하는 것으로서, area_min은 최소 넓이를, w_s는 사각형의 너비를, l_s는 사각형의 길이를 의미한다.

줄 2는 extract_convex_hull_points() 프로시저로써 보다 자세하게는 입력된 점 집합

에서 볼록 다각형을 이루는 부분집합인

를 추출하는것을 의미한다.

줄 3-14는

의 모든 원소에 대해서 같은 계산을 반복하는것을 의미한다.

줄 4는 원점

와 점

사이의 각도를 계산하는것을 의미한다.

줄 5는 계산된 각도를 활용해 축 정렬 행렬

을 계산하는것을 의미한다.

줄 6은

에 축 정렬 행렬

을 곱해 점들을

만큼 이동시켜

를 만드는 것을 의미한다.

줄 7-8은 이동된 점 집합

에서 점들 사이의 최대 x축 거리와 최대 y축 거리를 계산하는 것을 의미한다.

줄 9-13은 x축 거리와 y축 거리로 만든 넓이와 현재 최소 넓이를 비교하여 최소 넓이를 갱신하는 것을 의미한다.

최소 인접 직육면체 계산부(122)의 결과로 구해진 너비(

) 및 길이(

)는 측정 제어부(130)의 높이(

)와 함께 조합되어 도 3과 도 5에 도시된 물체 크기(500)를 구할 수 있다.

3차원 물체 분류부(123)는 3차원 형상 복원부(121)에서 추출된 3차원 점 구름을 3차원 메쉬(3D mesh)로 변환하고, 변환된 3차원 메쉬로부터 3차원 점을 미리 정해진 수 만큼 비복원 무작위 추출하여 확장된 3차원 점 구름을 생성하며, 확장된 3차원 점 구름을 3차원 깊은 인공신경망에 입력으로 활용하여 컨베이어(400)를 통과한 물체의 종류를 분류한다.

즉, 3차원 물체 분류부(123)는 3차원 형상 복원부(121)로부터 점 집합 P를 입력으로 받아 3차원 메쉬를 생성하고, 3차원 메쉬로부터 미리 정해진 수의 점 구름을 무작위 추출하고, 추출된 점들을 3차원 물체 분류기에 투입하여 물체의 종류를 분류한다.

3차원 메쉬는 3차원 형상 복원부(121)의 점들 사이에 선분을 추가하여 생성한다.

도 6과 알고리즘 4를 통해 보다 자세하게 설명하면,

알고리즘 4는 3차원 점 구름 집합 P와 원하는 점의 개수 T를 입력으로 받아 원하는 수의 무작위 점 집합을 생성하는 알고리즘이다.

줄 1은 필요한 변수를 초기화하는 명령으로서, S는 추출된 점 집합을, E는 선분 집합을 그리고 M은 삼각형 메쉬를 저장한다.

줄 2-5는 선분 집합 E에 인점 접들을 추가하는 명령이다. 보다 자세하게는 순서가 있는 점 집합 P의 점에 대해 선분들

를

의 순서에 추가하고, 다시

에 대해

,

를 추가한 후, 마지막으로 대각선인

와

를

에 대해 추가한다.

줄 5는 이렇게 생성된 선분과 점들을 조합하여 삼각형 메쉬를 생성하는 것을 나타낸다. 이렇게 생성된 M은 도 6의 가운데에 위치한 삼각형 메쉬 그림과 동일하다.

줄 6-9는 삼각형 메쉬에서 하나의 삼각형을 무작위로 선택하고 선택한 삼각형에서 무작위로 점 하나를 추출하는 과정을 의미한다. 이 과정은 원하는 점의 수인 T만큼 반복된다.

줄 10은 줄6-9에서 생성된 점 구름 S를 리턴하는 구문으로서 추출된 점 집합 S는 도 6에 도시된 고정된 수의 점 추출과 유사한 형태를 띄게 된다.

마지막으로 정해진 수로 추출된 점 구름을 3차원 물체 분류기에 투입한다.

3차원 물체 분류기는 정해진 수의 점 n개를 입력 데이터로 받고, 미리 상정된 m 종류의 물체로 분류하는 인공신경망 모델이다. 해당 분류기는 사전에 확보된 입력 데이터와 정답 쌍을 활용해 학습될 수 있다.

물체 진단 및 분석부(124)는 3차원 물체 분류부(123)와 최소 인접 직육면체 계산부(122)의 결과를 바탕으로 물체의 파손 여부와 물체의 오투입 여부를 진단한다.

즉, 물체 진단 및 분석부(124)는 최소 인접 직육면체 계산부(122)와 3차원 물체 분류부(123)로부터 측정 결과와 분류 결과를 받아온 후, 본래 투입 예정인 물체 종류와 크기를 비교하여, 물체의 오투입 여부 및 물체의 파손과 변형 여부를 진단한다.

시각화부(110)는 3차원 추론부(120)에서 생성한 물체 크기(500), 물체 종류 및 진단 결과를 사용자의 편리성에 맞추어 보여준다. 시각화부(110)는 사용자의 접근 편의성을 위해 웹 어플리케이션 또는 스마트폰 어플리케이션 형식으로 제작될 수 있으며 시스템 구성 환경에 따라 측정 제어부(130) 및 3차원 추론부(120)와 함께 또는 독립적으로 존재할 수 있다.

그러면, 도 7 및 도 8을 참조하여 본 발명의 바람직한 실시예에 따른 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 방법에 대하여 설명한다.

도 7은 본 발명의 바람직한 실시예에 따른 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 방법을 설명하기 위한 흐름도이다.

도 7을 참조하면, 측정 분류 장치(100)는 측정부(200)로부터 측정 범위에서 라이트 커튼 센서(210, 220)를 이용하여 측정된 센서값을 제공받는다(S110).

그런 다음, 측정 분류 장치(100)는 측정부(200)로부터 제공받은 센서값을 기반으로 컨베이어(400) 위를 지나가는 물체(500)가 존재하는지 여부를 확인하고, 상태를 변경하면서 센서값을 저장한다(S120).

즉, 측정 분류 장치(100)는 상태를 변경하면서, 측정부(200)로부터 제공받은 센서값과 미리 설정된 내부 파라미터를 비교하여 물체의 통과 유무 및 물체의 오류 여부를 확인하고, 물체가 존재하면 센서값을 저장할 수 있다.

여기서, 상태는 초기화 상태, 대기 상태, 측정 상태, 저장 상태 및 오류 상태 중 하나일 수 있다. 대기 상태는 측정부(200)를 통해 획득한 센서값과 미리 지정된 기준치를 비교하여 센서값이 기준치보다 같거나 작을 경우에 측정을 대기하는 상태이고, 측정 상태는 측정부(200)를 통해 획득된 센서값이 기준치를 초과하였을 경우 물체가 통과하는 것으로 판단하여 센서값을 디지털 데이터로 변환하여 임시로 저장하는 상태이며, 저장 상태는 측정부(200)를 통해 획득된 센서값이 기준치보다 작으면서 상태가 측정 상태일 때, 임시로 저장된 센서값을 저장하는 상태이고, 오류 상태는 측정 상태에서 기준치외의 물품이 투입되었을 경우 사용자에게 알림을 주는 동작을 하는 상태이다.

마지막으로, 측정 분류 장치(100)는 저장된 센서값을 이용하여 물체의 최소 인접 직육면체의 크기를 계산하고 물체의 종류를 추론한다(S130).

도 8은 도 7에 도시한 물체 크기와 종류 추론 단계를 보다 자세히 나타낸 흐름도이다.

도 8을 참조하면, 측정 분류 장치(100)는 측정 제어부(130)로부터 저장 완료 메시지를 수신한 후 저장된 센서값을 획득한다(S131).

그리고, 측정 분류 장치(100)는 획득한 센서값을 3차원 공간에 표기할 수 있도록 3차원 형상 복원하여 3차원 점 구름을 추출한다(S132).

그런 다음, 측정 분류 장치(100)는 추출된 3차원 점 구름으로부터 물체를 감싸는 최소 인접 직육면체의 크기를 계산한다(S133).

또한, 측정 분류 장치(100)는 3차원 점 구름을 연결하여 3차원 메쉬를 획득한다(S134).

그리고, 측정 분류 장치(100)는 획득한 3차원 메쉬로부터 3차원 점을 미리 정해진 수 만큼 비복원 무작위 추출하여 확장된 3차원 점 구름을 획득한다(S135).

그런 다음, 측정 분류 장치(100)는 확장된 3차원 점 구름을 3차원 깊은 인공 신경망에 입력으로 활용하여 컨베이어(400)를 통과한 물체의 종류를 분류한다(S136).

이후, 측정 분류 장치(100)는 물체의 최소 인접 직육면체의 크기와 물체의 분류 결과를 저장하고, 전송할 수 있다(S137).

아울러, 측정 분류 장치(100)는 계산된 물체의 최소 인접 직육면체의 크기와 추론된 물체의 종류를 기반으로, 기존 물체와의 차이 및 오류를 분석할 수 있다. 즉, 측정 분류 장치(100)는 계산된 물체의 최소 인접 직육면체의 크기와 추론된 물체의 종류를 바탕으로 물체의 파손 여부와 물체의 오투입 여부를 진단할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터로 읽을 수 있는 기록 매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 롬(ROM), 램(RAM), 씨디-롬(CD-ROM), 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 다음의 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

100 : 측정 분류 장치,
110 : 시각화부,
120 : 3차원 추론부,
121 : 3차원 형상 복원부, 122 : 최소 인접 직육면체 계산부,
123 : 3차원 물체 분류부, 124 : 물체 진단 및 분석부,
130 : 측정 제어부,
131 : 상태 조정부, 132 : 저장부
200 : 측정부,
210 : 좌우로 위치한 라이트 커튼 센서,
220 : 상하로 위치한 라이트 커튼 센서,
400 : 컨베이어,
500 : 물체를 둘러싸는 최소 인접 직육면체의 크기

Claims

물체가 이동되는 컨베이어 상에 설치된 라이트 커튼 센서를 이용하여 상기 컨베이어를 지나가는 물체를 측정하는 측정부로부터 제공받은 센서값을 기반으로 상기 컨베이어 위에 물체가 존재하는지 여부를 확인하고 상태를 변경하면서 센서값을 저장하는 측정 제어부; 및
저장된 센서값을 이용하여 물체의 최소 인접 직육면체의 크기를 계산하고 물체의 종류를 추론하는 3차원 추론부;
를 포함하는 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치.
제1항에서,
상기 측정 제어부는,
센서값을 기록하는 저장부; 및
상기 측정부로부터 제공받은 센서값과 미리 설정된 내부 파라미터를 비교하여 물체의 통과 유무 및 물체의 오류 여부를 확인하며, 물체가 존재하면 상기 저장부에 센서값을 저장하는 상태 조정부;
를 포함하는 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치.
제2항에서,
상기 상태 조정부는,
초기화 상태, 대기 상태, 측정 상태, 저장 상태 및 오류 상태 중 하나의 상태로 동작되며,
상기 대기 상태는, 상기 측정부를 통해 획득한 센서값과 미리 지정된 기준치를 비교하여 센서값이 기준치보다 같거나 작을 경우에 측정을 대기하는 상태이고,
상기 측정 상태는, 상기 측정부를 통해 획득된 센서값이 기준치를 초과하였을 경우 물체가 통과하는 것으로 판단하여 센서값을 디지털 데이터로 변환하여 임시로 저장하는 상태이며,
상기 저장 상태는, 상기 측정부를 통해 획득된 센서값이 기준치보다 작으면서 상기 상태 조정부의 상태가 상기 측정 상태일 때, 임시로 저장된 센서값을 상기 저장부에 저장하는 상태이고,
상기 오류 상태는, 상기 측정 상태에서 기준치외의 물품이 투입되었을 경우 사용자에게 알림을 주는 동작을 하는 상태인,
라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치.
제1항에서,
상기 3차원 추론부는,
저장된 센서값을 3차원 형상 복원하여 3차원 점 구름을 추출하는 3차원 형상 복원부;
상기 3차원 형상 복원부에서 추출된 3차원 점 구름을 입력으로 하여 물체를 감싸는 최소 인접 직육면체의 크기를 계산하는 최소 인접 직육면체 계산부; 및
상기 3차원 형상 복원부에서 추출된 3차원 점 구름을 3차원 메쉬(3D mesh)로 변환하고, 변환된 3차원 메쉬로부터 3차원 점을 미리 정해진 수 만큼 비복원 무작위 추출하여 확장된 3차원 점 구름을 생성하며, 확장된 3차원 점 구름을 3차원 깊은 인공신경망에 입력으로 활용하여 상기 컨베이어를 통과한 물체의 종류를 분류하는 3차원 물체 분류부;
를 포함하는 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치.
제4항에서,
상기 3차원 추론부는,
계산된 물체의 최소 인접 직육면체의 크기와 분류된 물체의 종류를 기반으로, 기존 물체와의 차이 및 오류를 분석하는,
라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치.
제5항에서,
상기 3차원 추론부는,
상기 3차원 물체 분류부와 상기 최소 인접 직육면체 계산부의 결과를 바탕으로 물체의 파손 여부와 물체의 오투입 여부를 진단하는 물체 진단 및 분석부;
를 더 포함하는 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치.
라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 장치의 물체의 크기 측정 및 물체의 종류 분류 방법으로서,
물체가 이동되는 컨베이어 상에 설치된 라이트 커튼 센서를 이용하여 상기 컨베이어를 지나가는 물체를 측정하는 측정부로부터 센서값을 제공받는 단계;
제공받은 센서값을 기반으로 상기 컨베이어 위에 물체가 존재하는지 여부를 확인하고 상태를 변경하면서 센서값을 저장하는 단계; 및
저장된 센서값을 이용하여 물체의 최소 인접 직육면체의 크기를 계산하고 물체의 종류를 추론하는 단계;
를 포함하는 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 방법.
제7항에서,
상기 센서값 저장 단계는,
상기 상태를 변경하면서, 상기 측정부로부터 제공받은 센서값과 미리 설정된 내부 파라미터를 비교하여 물체의 통과 유무 및 물체의 오류 여부를 확인하고, 물체가 존재하면 센서값을 저장하는 것으로 이루어지는,
라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 방법.
제8항에서,
상기 상태는, 초기화 상태, 대기 상태, 측정 상태, 저장 상태 및 오류 상태 중 하나이며,
상기 대기 상태는, 상기 측정부를 통해 획득한 센서값과 미리 지정된 기준치를 비교하여 센서값이 기준치보다 같거나 작을 경우에 측정을 대기하는 상태이고,
상기 측정 상태는, 상기 측정부를 통해 획득된 센서값이 기준치를 초과하였을 경우 물체가 통과하는 것으로 판단하여 센서값을 디지털 데이터로 변환하여 임시로 저장하는 상태이며,
상기 저장 상태는, 상기 측정부를 통해 획득된 센서값이 기준치보다 작으면서 상태가 상기 측정 상태일 때, 임시로 저장된 센서값을 저장하는 상태이고,
상기 오류 상태는, 상기 측정 상태에서 기준치외의 물품이 투입되었을 경우 사용자에게 알림을 주는 동작을 하는 상태인,
라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 방법.
제7항에서,
상기 물체의 크기 계산 및 물체의 종류 추론 단계는,
저장된 센서값을 획득하는 단계;
획득한 센서값을 3차원 형상 복원하여 3차원 점 구름을 추출하는 단계;
3차원 점 구름으로부터 물체를 감싸는 최소 인접 직육면체의 크기를 계산하는 단계;
3차원 점 구름을 연결하여 3차원 메쉬를 획득하는 단계;
획득한 3차원 메쉬로부터 3차원 점을 미리 정해진 수 만큼 비복원 무작위 추출하여 확장된 3차원 점 구름을 획득하는 단계;
확장된 3차원 점 구름을 3차원 깊은 인공신경망에 입력으로 활용하여 상기 컨베이어를 통과한 물체의 종류를 분류하는 단계; 및
물체의 최소 인접 직육면체 크기와 물체의 분류 결과를 저장하는 단계;
를 포함하는 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 방법.
제10항에서,
계산된 물체의 최소 인접 직육면체의 크기와 추론된 물체의 종류를 기반으로, 기존 물체와의 차이 및 오류를 분석하는 단계;
를 더 포함하는 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 방법.
제11항에서,
상기 분석 단계는,
계산된 물체의 최소 인접 직육면체의 크기와 추론된 물체의 종류를 바탕으로 물체의 파손 여부와 물체의 오투입 여부를 진단하는 것으로 이루어지는,
라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 방법.
제7항 내지 제12항 중 어느 한 항에 기재된 라이트 커튼 센서를 이용한 컨베이어용 고속 물체의 크기 측정과 종류 분류 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램.