KR102400986B1

KR102400986B1 - 공간 내의 복수의 지게차의 화물 적재정보를 판단하는 방법, 서비스서버, 및 컴퓨터-판독가능 매체

Info

Publication number: KR102400986B1
Application number: KR1020220007279A
Authority: KR
Inventors: 김병수; 김윤성
Original assignee: 주식회사 모션투에이아이코리아
Priority date: 2022-01-18
Filing date: 2022-01-18
Publication date: 2022-05-23

Abstract

본 발명은 공간 내의 복수의 지게차의 화물 적재정보를 판단하는 방법, 서비스서버 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게 서비스서버는 공간내에 배치된 복수의 지게차 각각으로부터 영상정보를 수신하고, 상기 영상정보를 기초하여 바운딩박스정보를 검출하고, 상기 바운딩박스정보를 검증하고, 검증한 바운딩박스정보에서 적재정보를 생성하고, 상기 적재정보를 검증하고 보정하는, 공간 내의 복수의 지게차의 화물 적재정보를 판단하는 방법, 서비스서버, 및 컴퓨터-판독가능 매체에 관한 것이다.

Description

공간 내의 복수의 지게차의 화물 적재정보를 판단하는 방법, 서비스서버, 및 컴퓨터-판독가능 매체 {Method, Service Server, and Computer-readable Medium for Determining Cargo Loading Information Of Multiple Forklifts In Space}

본 발명은 공간 내의 복수의 지게차의 화물 적재정보를 판단하는 방법, 서비스서버 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게 서비스서버는 공간 내에 배치된 복수의 지게차 각각으로부터 영상정보를 수신하고, 상기 영상정보를 기초하여 바운딩박스정보를 검출하고, 상기 바운딩박스정보를 검증하고, 검증한 바운딩박스정보에서 적재정보를 생성하고, 상기 적재정보를 검증하고 보정하는, 공간 내의 복수의 지게차의 화물 적재정보를 판단하는 방법, 서비스서버, 및 컴퓨터-판독가능 매체에 관한 것이다.

물류란 물적유통의 줄임말이었으나 그 의미가 확장되어 물품의 시간적 가치와 공간적 가치를 창출하는 제반 경제활동을 의미하게 됐다. 인터넷 거래 활성화 등 시장경제가 확대됨에 따라, 물류량은 이전보다 더욱 많아졌고 물류관리는 더욱 중요해지고 있다. 회사의 입장에서 물류 관리는 크게는 구매, 생산, 판매 등 많은 부서와 연결되어 있고, 곧 이는 회사의 이득으로 이어지기 때문에 얼마나 효율적인 물류 관리를 하느냐가 중요하다.

물류를 관리함에 있어서 가장 기본적인 것 중에는 보관, 하역이 있다. 보관되어 있는 물건을 지게차를 이용해 출하하거나, 보관하여야 하는 물건을 지게차를 이용해 입고한다. 지게차에 의해 입출고가 발생하면 정확한 값을 파악하여 입출고와 연관되어 있는 업무에 따라 재고 관리를 할 수 있어야 한다.

또한, 물류센터 내에 지게차의 수는 한정되어 있어, 효율적인 지게차 운행을 해야 하고, 작업자의 작업량 관리도 이루어져야 한다.

따라서, 지게차의 작업량을 분석하여, 물류관리를 위한 정확한 입출고 관리와 지게차의 스케쥴 관리 및 작업자의 작업량 관리를 통해 효율적으로 운영할 수 있는 시스템이 필요한 실정이다.

본 발명은 공간 내의 복수의 지게차의 화물 적재정보를 판단하는 방법, 서비스서버 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게 서비스서버는 공간내에 배치된 복수의 지게차 각각으로부터 영상정보를 수신하고, 상기 영상정보를 기초하여 바운딩박스정보를 검출하고, 상기 바운딩박스정보를 검증하고, 검증한 바운딩박스정보에서 적재정보를 생성하고, 상기 적재정보를 검증하고 보정하는, 공간 내의 복수의 지게차의 화물 적재정보를 판단하는 방법, 서비스서버, 및 컴퓨터-판독가능 매체를 제공하는 것이다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 복수의 지게차에 설치된 지게차단말과 통신을 수행하는 서비스서버에서 수행하는 지게차 화물 적재정보 판단방법으로서, 상기 지게차단말 각각으로부터 영상정보를 수신하는 정보수신단계; 각각의 지게차단말의 영상정보에 기초하여 기설정된 규칙에 따라 각각의 분석대상프레임을 추출하는 추출단계; 및 각각의 분석대상프레임에서 포크, 팔레트 및 물류를 포함하는 객체의 바운딩박스정보를 검출하는 검출단계;를 포함하는 객체검출단계; 상기 객체검출단계에서 검출된 2 이상의 객체의 바운딩박스정보의 상호관계에 대하여, 기설정된 제1규칙세트를 적용하여 각각의 객체의 바운딩박스정보에 대한 검증을 수행하는 제1검증단계; 상기 제1검증단계에서 모든 바운딩박스정보가 검증성공으로 판단되는 경우에는, 각각의 바운딩박스정보에 대하여 적재정보를 생성하는 적재정보생성단계; 2 이상의 분석대상프레임에서의 상기 적재정보생성단계에서 생성한 적재정보들의 상호관계에 대하여, 기설정된 제2규칙세트를 적용하여, 각각의 분석대상프레임의 적재정보를 검증하고, 상기 적재정보가 검증실패로 판단되는 경우에는, 해당 적재정보를 보정하는 제2검증단계; 및 상기 제2검증단계에서 검증성공으로 판단한 적재정보 및 보정한 적재정보를 저장하는 적재정보저장단계;를 포함하는, 지게차 화물 적재정보 판단방법을 제공한다.

본 발명의 일 실시예는, 상기 추출단계는, 지게차 영상정보의 전체 프레임 중에서 기설정된 규칙으로 시계열에 따라 상기 분석대상프레임을 추출할 수 있다.

본 발명의 일 실시예에서는, 상기 제1규칙세트는 복수의 검증실패기준을 포함하고, 상기 제1검증단계는, 해당 분석대상프레임의 상기 바운딩박스정보가 상기 복수의 검증실패기준에 모두 부합하지 않은 경우에는 검증성공으로 판단하고, 상기 바운딩박스정보가 기설정된 복수의 검증실패기준에 1 이상의 검증실패기준에 부합하면, 검증실패로 판단할 수 있다.

본 발명의 일 실시예는, 상기 제1검증단계는, 해당 분석대상프레임에서 포크의 바운딩박스가 도출되지 않은 것을 판단하는 제1단계; 해당 분석대상프레임에서 물류의 바운딩박스의 아랫변이 포크의 바운딩박스 내에 있지 않은 것을 판단하는 제2단계; 해당 분석대상프레임에서 팔레트의 바운딩박스의 아랫변이 포크의 바운딩박스 내에 있지 않은 것을 판단하는 제3단계; 해당 분석대상프레임에서 팔레트의 바운딩박스의 아랫변과 물류의 바운딩박스의 아랫변 사이의 거리가 기준치보다 크거나 작은 것을 판단하는 제4단계; 해당 분석대상프레임에서 포크의 바운딩박스 아랫변과 물류의 바운딩박스의 아랫변 사이 거리가 기준치보다 큰 것을 판단하는 제5단계; 및 해당 분석대상프레임에서 포크의 바운딩박스의 아랫변과 팔레트의 바운딩박스 아랫변 사이 거리가 기준치보다 큰 것을 판단하는 제6단계;를 포함하고, 해당 분석대상프레임이 상기 제1단계 내지 제6단계에서의 판단에 모두 부합하지 않는 경우에 검증성공으로 판단하는 검증성공판단단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 제1규칙세트는 복수의 검증실패기준을 포함하고, 상기 제1검증단계는, 해당 분석대상프레임의 모든 상기 바운딩박스정보가 상기 복수의 검증실패기준에 모두 부합하지 않은 경우에는 검증성공으로 판단하고, 상기 바운딩박스정보가 기설정된 복수의 검증실패기준에 1 이상의 검증실패기준에 부합하면 제1검증실패로 판단하는 검증판단단계; 상기 제1판단단계에서, 상기 바운딩박스정보가 기설정된 복수의 검증실패기준 중 1 이상의 검증실패 기준에 부합하는 경우에는, 해당 바운딩박스정보를 검출한 해당 분석대상프레임의 해상도가 원본 해상도 미만인 경우를 판단하는 해상도판단단계; 상기 해상도판단단계에서 해당 분석대상프레임의 해상도가 원본 해상도 미만이라고 판단되는 경우에는, 해당 분석대상프레임의 해상도를 높여 상기 객체검출단계, 상기 검증판단단계 및 상기 해상도판단단계를 다시 수행할 수 있다.

본 발명의 일 실시예에서는, 상기 적재정보생성단계는, 바운딩박스정보에 기초하여 적재정보인 물류의 적재유무, 적재량 및 적재율을 산출하고, 상기 적재유무는 물류의 바운딩박스가 검출되었을 때 적재 상태라 판단하고, 상기 적재량은 물류의 바운딩박스의 높이에 비례하여 산출하고, 상기 적재율은 포크 및 물류의 바운딩박스의 높이에 기초하여 산출할 수 있다.

본 발명의 일 실시예에서는, 상기 제2검증단계는, 복수의 분석대상프레임에 대해, 각각의 해당 적재정보의 변화 및 기설정된 규칙에 기초하여 제1비교대상프레임, 검증대상프레임 및 제2비교대상프레임 순서대로 도출하는 검증대상프레임도출단계; 상기 검증대상프레임의 분석대상프레임 개수에 기초하여, 상기 제2규칙세트를 적용하여, 상기 검증대상프레임의 적재정보를 검증하는 적재정보검증단계; 및 상기 적재정보가 검증실패로 판단되면, 상기 검증대상프레임의 적재정보를 제1비교대상프레임 및 제2비교대상프레임의 적재정보에 기초하여 보정하는, 적재정보보정단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 적재정보가 적재유무인 경우에는, 적재 및 비적재 상태의 변화에 기초하여 검증대상프레임을 도출하고, 제1비교대상프레임에 해당하는 분석대상프레임 각각의 적재유무 상태는 같고, 검증대상프레임에 해당하는 분석대상프레임 각각의 적재유무 상태는 같고, 제2비교대상프레임에 해당하는 분석대상프레임 각각의 적재유무 상태는 같고, 검증대상프레임의 적재유무 상태는 제1비교대상프레임 및 제2비교대상프레임의 적재유무 상태와 상이한 상태에 해당할 수 있다.

본 발명의 일 실시예에서는, 적재정보가 적재량 및 적재율인 경우에는, 적재량 및 적재율 값이 기설정된 기준치 이상 변화함에 기초하여 검증대상프레임을 도출하고, 제1비교대상프레임에 해당하는 분석대상프레임 각각의 적재량 및 적재율 차이는 기설정된 기준치 미만이고, 검증대상프레임에 해당하는 분석대상프레임 각각의 적재량 및 적재율 차이는 기설정된 기준치 미만이고, 제2비교대상프레임에 해당하는 분석대상프레임 각각의 적재량 및 적재율의 차이는 기준치 미만이고, 검증대상프레임의 적재량 및 적재율은 제1비교대상프레임 및 제2비교대상프레임의 적재량 및 적재율의 차이는 기준치 이상에 해당할 수 있다.

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예는, 복수의 지게차에 설치된 지게차단말과 통신을 수행하여 지게차 화물 적재정보 판단방법을 수행하는 서비스서버로서, 상기 지게차단말 각각으로부터 영상정보를 수신하는 정보수신단계; 각각의 지게차단말의 영상정보에 기초하여 기설정된 규칙에 따라 각각의 분석대상프레임을 추출하는 추출단계; 및 각각의 분석대상프레임에서 포크, 팔레트 및 물류를 포함하는 객체의 바운딩박스정보를 검출하는 검출단계;를 포함하는 객체검출단계; 상기 객체검출단계에서 검출된 2 이상의 객체의 바운딩박스정보의 상호관계에 대하여, 기설정된 제1규칙세트를 적용하여 각각의 객체의 바운딩박스정보에 대한 검증을 수행하는 제1검증단계; 상기 제1검증단계에서 모든 바운딩박스정보가 검증성공으로 판단되는 경우에는, 각각의 바운딩박스정보에 대하여 적재정보를 생성하는 적재정보생성단계; 2 이상의 분석대상프레임에서의 상기 적재정보생성단계에서 생성한 적재정보들의 상호관계에 대하여, 기설정된 제2규칙세트를 적용하여, 각각의 분석대상프레임의 적재정보를 검증하고, 상기 적재정보가 검증실패로 판단되는 경우에는, 해당 적재정보를 보정하는 제2검증단계; 및 상기 제2검증단계에서 검증성공으로 판단한 적재정보 및 보정한 적재정보를 저장하는 적재정보저장단계;를 포함하는, 지게차 화물 적재정보 판단방법을 수행하는, 서비스서버를 제공한다.

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예는, 복수의 지게차에 설치된 지게차단말과 통신을 수행하고, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅장치에서 수행되는 지게차 화물 적재정보 판단방법을 구현하기 위한, 컴퓨터-판독가능 매체로서, 상기 컴퓨터-판독가능 매체는, 컴퓨팅장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은: 상기 지게차단말 각각으로부터 영상정보를 수신하는 정보수신단계; 각각의 지게차단말의 영상정보에 기초하여 기설정된 규칙에 따라 각각의 분석대상프레임을 추출하는 추출단계; 및 각각의 분석대상프레임에서 포크, 팔레트 및 물류를 포함하는 객체의 바운딩박스정보를 검출하는 검출단계;를 포함하는 객체검출단계; 상기 객체검출단계에서 검출된 2 이상의 객체의 바운딩박스정보의 상호관계에 대하여, 기설정된 제1규칙세트를 적용하여 각각의 객체의 바운딩박스정보에 대한 검증을 수행하는 제1검증단계; 상기 제1검증단계에서 모든 바운딩박스정보가 검증성공으로 판단되는 경우에는, 각각의 바운딩박스정보에 대하여 적재정보를 생성하는 적재정보생성단계; 2 이상의 분석대상프레임에서의 상기 적재정보생성단계에서 생성한 적재정보들의 상호관계에 대하여, 기설정된 제2규칙세트를 적용하여, 각각의 분석대상프레임의 적재정보를 검증하고, 상기 적재정보가 검증실패로 판단되는 경우에는, 해당 적재정보를 보정하는 제2검증단계; 및 상기 제2검증단계에서 검증성공으로 판단한 적재정보 및 보정한 적재정보를 저장하는 적재정보저장단계;를 포함하는, 컴퓨터-판독가능 매체를 제공한다.

본 발명의 일 실시예에 따르면, 영상 정보는 카메라를 통해 생성하므로, 시스템 구축에 있어서 설비투자를 최소화할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 지게차 화물 적재정보를 판단하는 방법은 수집한 영상 정보를 프레임 단위로 시간의 흐름에 따라 검증 및 보정하므로, 연속적인 작업 상태를 고려하여 정확성을 향상할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 딥러닝 기반 추론 모델으로 적재정보를 생성하고, 기설정된 규칙에 의해 검증 및 보정하므로, 처리 속도와 정확도를 높이는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 지게차 화물 적재정보를 판단하는 방법은 하나의 영상정보를 통해 적재유무, 적재량 및 적재율을 산출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 적재정보생성단계는 지게차의 적재량을 자동으로 산출할 수 있으므로, 작업자가 따로 입출고량을 입력하지 않아 작업효율을 높이고, 물류의 입출고량을 정확하게 파악 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 적재정보생성단계는 지게차의 적재량 및 적재율을 산출할 수 있으므로, 지게차의 작업량 및 작업효율을 관리할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 적재정보생성단계는 지게차의 적재유무를 산출할 수 있으므로, 지게차의 운행 스케쥴 관리를 할 수 있는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 복수의 지게차와 지게차에 부착되어 서비스서버와 통신을 수행하는 지게차단말을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 서비스서버의 내부구성, 지게차단말의 내부구성, 지게차 단말이 영상을 수집하는 방법 및 지게차 적재정보 판단 방법의 세부단계를 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 객체검출단계의 세부단계를 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 제1검증단계의 세부단계를 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 복수의 추론모델 및 추론모델에 따른 세부단계를 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 제1검증단계에서 검증에 실패한 바운딩박스정보를 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 적재정보생성단계에 따른 관리자단말에서 출력되는 화면의 일 예를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 제2검증단계의 세부단계를 개략적으로 도시한다.
도 9은 본 발명의 일 실시예에 따른 제2검증단계를 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 제2검증단계에서 적재정보가 적재유무인 경우를 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 제2검증단계의 적재정보가 적재량인 경우를 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.

이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나 이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 일 실시예에 따른 복수의 지게차와 지게차에 부착되어 서비스서버와 통신을 수행하는 지게차단말을 개략적으로 도시한다.

도 1은 지게차의 화물 적재상태를 판단하는 시스템의 구성요소들이 배치된 도면에 해당할 수 있다. 전체 공간에는 복수의 지게차(2000.1 내지 2000.N)가 도시되어 있고, 각 지게차(2000.1 내지 2000.N)에는 1 이상의 지게차단말(2100.1 내지 2100.N)이 부착될 수 있다.

상기 지게차단말(2100.1 내지 2100.N)은 서비스서버(1000)에 해당 지게차(2000.1 내지 2000.N)의 영상정보를 송신한다.

상기 서비스서버(1000)는 상기 영상정보에 기초하여 객체검출정보를 검출하고, 적재정보를 생성하고, 적재정보를 검증하고, 검증에 실패한 적재정보를 보정한다.

상기 서비스서버(1000)에서 수행하는 객체검출정보 검출, 적재정보 생성, 적재정보 검증 및 보정의 방법에 대해서는 후술하도록 한다. 상기 적재정보는 물류의 적재여부, 적재량 및 적재율을 포함할 수 있다.

관리자단말(3000)은 상기 서비스서버(1000)와 통신을 수행하고, 복수의 지게차 각각의 실시간 영상정보 및 상기 복수의 지게차의 각각의 과거 영상정보에 대한 이력을 수신하여 디스플레이 할 수 있다.

또한, 관리자단말(3000)은 복수의 지게차 각각의 실시간 물류 적재여부, 적재량 및 적재율과 상기 복수의 지게차 각각의 과거 물류 적재여부, 적재량 및 적재율에 대한 이력을 수신하여 디스플레이 할 수 있다.

상기 관리자단말(3000)은 복수의 지게차 각각에서 수신한 영상정보에서 추출할 프레임에 대해 추출 기준을 설정할 수 있다.

예를 들어, 영상에서 1초에 1프레임을 추출하도록 할 수 있다. 또한, 상기 프레임의 화질을 설정할 수 있어, 추론 모델의 종류에 따라 데이터 처리 속도 및 정확도를 정할 수 있는 효과를 발휘할 수 있다.

이를 위하여, 상기 관리자단말(3000)에는 상기 서비스서버(1000)와 통신을 수행할 수 있는 웹페이지를 표시할 수 있는 웹브라우저 혹은 상기 서비스서버(1000)와 통신을 수행할 수 있는 별도의 어플리케이션이 설치되어 있고, 관리자 등의 사용자는 상기 웹브라우저를 통해 상기 웹페이지에 접속하여 상기 서비스서버(1000)와 통신을 수행하거나, 혹은 상기 별도의 어플리케이션을 실행하여 상기 서비스서버(1000)와 통신을 수행할 수도 있다.

도 2는 본 발명의 일 실시예에 따른 서비스서버(1000)의 내부구성, 지게차단말의 내부구성, 지게차 단말이 영상을 수집하는 방법 및 지게차 적재정보 판단 방법의 세부단계를 개략적으로 도시한다.

도 2 (A)에 도시된 바와 같이, 서비스서버(1000)는 정보수신부(1100), 객체검출부(1200), 제1검증부(1300), 적재정보생성부(1400), 제2검증부(1500), 적재정보저장부(1600)를 포함할 수 있고, 지게차단말(2100)은 카메라부(2110), 정보송신부(2120), 통신부(2130)를 포함할 수 있다.

상기 지게차(2000)는 상기 카메라부(2110)를 통해 지게차(2000)의 물류 적재에 대한 영상정보를 촬영할 수 있다. 상기 영상정보는 정보송신부(2120)에 의해 제어되고 통신부(2130)에 의해 서비스서버(1000)의 정보수신부(1100)로 송신된다.

상기 객체검출부(1200)는 상기 영상정보에서 기설정된 규칙에 따라 분석대상프레임을 추출하고 딥러닝 기반 추론 모델에 의해 검출정보인 바운딩박스정보를 도출한다. 상기 과정에 대해서는 후술하도록 한다.

상기 제1검증부(1300)는 상기 객체검출부(1200)가 도출한 객체정보인 바운딩박스정보를 검증한다. 상기 제1검증부(1300)의 검증에서는 딥러닝기반의 다양한 추론 모델이 활용될 수 있다. 상기 검증과정에 대해서는 후술하도록 한다.

상기 적재정보생성부(1400)는 상기 제1검증부(1300)가 검증한 바운딩박스정보에 대한 적재정보를 생성한다. 상기 적재정보는 물류 적재유무, 적재량 및 적재율에 해당할 수 있다. 상기 적재정보 생성 과정에 대해서는 후술하도록한다.

상기 제2검증부(1500)는 상기 적재정보생성부(1400)가 생성한 적재정보를 기설정된 규칙에 따라 검증하고 보정한다. 상기 검증 및 보정과정에 대해서는 후술하도록한다.

상기 적재정보저장부(1600)는 상기 제2검증부(1500)가 검증하고 보정한 적재정보를 저장한다.

도 2의 (B)는 지게차단말(2100)이 영상을 수집하는 방법에 대해 도시한 도면이다.

도 2의 (B)에 도시된 바와 같이, 지게차(2000)는 지게차단말(2100)을 부착하고 있다. 상기 지게차단말(2100)의 카메라부(2110)는 지게차(2100)의 적재정보를 알 수 있는 영상정보를 수집한다.

상기 카메라부(2110)는, 상기 영상정보가 지게차(2000)의 포크를 포함하고, 지게차(2000)가 운송하는 화물 및 물류 운송에 필요한 팔레트를 포함할 수 있는 방향으로 설치한 카메라를 포함할 수 있다.

또한, 카메라부(2110)는 상기 지게차(2000)의 포크, 화물 및 팔레트가 작업에 따라 움직이면 이를 추적하여 영상정보를 생성할 수 있다.

다른 실시예에 따르면, 상기 카메라부는 복수의 카메라에 의해 영상정보를 획득할 수 있다. 복수의 카메라의 위치 및 각도를 다르게 위치하도록 함으로써, 상기 포크, 상기 화물 및 상기 팔레트 등에 대한 이미지 정보를 하나의 방향에 편중되어 획득하지 않을 수 있다.

도 2의 (C)는 지게차(2000) 적재정보 판단 방법의 세부단계를 도시한 도면에 해당한다.

도 2의 (C)에 도시된 바와 같이, 복수의 지게차에 설치된 지게차단말과 통신을 수행하는 서비스서버에서 수행하는 지게차 화물 적재정보 판단방법으로서, 상기 지게차단말 각각으로부터 영상정보를 수신하는 정보수신단계(S100); 각각의 지게차단말의 영상정보에 기초하여 기설정된 규칙에 따라 각각의 분석대상프레임을 추출하는 추출단계; 및 각각의 분석대상프레임에서 포크, 팔레트 및 물류를 포함하는 객체의 바운딩박스정보를 검출하는 검출단계;를 포함하는 객체검출단계(S110); 상기 객체검출단계(S110)에서 검출된 2 이상의 객체의 바운딩박스정보의 상호관계에 대하여, 기설정된 제1규칙세트를 적용하여 각각의 객체의 바운딩박스정보에 대한 검증을 수행하는 제1검증단계(S120); 상기 제1검증단계(S120)에서 모든 바운딩박스정보가 검증성공으로 판단되는 경우에는, 각각의 바운딩박스정보에 대하여 적재정보를 생성하는 적재정보생성단계(S130); 2 이상의 분석대상프레임에서의 상기 적재정보생성단계에서 생성한 적재정보들의 상호관계에 대하여, 기설정된 제2규칙세트를 적용하여, 각각의 분석대상프레임의 적재정보를 검증하고, 상기 적재정보가 검증실패로 판단되는 경우에는, 해당 적재정보를 보정하는 제2검증단계(S140); 및 상기 제2검증단계(S140)에서 검증성공으로 판단한 적재정보 및 보정한 적재정보를 저장하는 적재정보저장단계(S150);를 포함할 수 있다.

구체적으로, 상기 정보수신단계(S100)에서 수신한 상기 영상정보는 해당 지게차의 실시간 영상정보를 포함할 수 있고, 상기 실시간 영상정보는 지게차단말(2100)에 의해 저장될 수 있고, 관리자단말(3000)에 의해 실시간으로 디스플레이 될 수 있다.

상기 객체검출단계(S110)는, 상기 정보수신단계(S100)에서 수신한 상기 영상정보에 기초하여 기설정된 규칙에 따라 복수의 분석대상프레임을 도출하고, 각각의 분석대상프레임에서 바운딩박스정보를 검출할 수 있다.

상기 바운딩박스정보는 포크, 화물 및 팔레트의 바운딩박스를 포함할 수 있고, 해당 지게차(2000)의 실시간 영상정보와 함께 관리자단말(3000)에 의해 실시간으로 디스플레이 될 수 있다.

상기 제1검증단계(S120)는 상기 바운딩박스정보에 대한 검증을 수행한다.

구체적으로, 상기 바운딩박스정보는 특정 추론 모델에 의해 제1규칙세트인 기설정된 검증실패기준에 따라 검증되고, 검증실패로 판단된 바운딩박스정보는 타 추론 모델에 의해 객체검출단계(S110)를 재수행할 수 있다. 상기 제1검증단계(S120)에 대해서는 후술하도록 한다.

상기 적재정보생성단계(S130)는 상기 제1검증단계(S120)에서 검증성공으로 판단된 바운딩박스정보에 대해서 적재정보를 생성한다. 상기 적재정보는 해당 분석대상프레임의 물류 적재유무, 물류 적재량 및 물류 적재율을 포함할 수 있다. 상기 적재정보생성단계(S130)에 대한 자세한 과정은 후술하도록 한다.

상기 제2검증단계(S140)는 적재정보생성단계(S130)에서 생성한 적재정보에 대한 검증하고 보정을 수행한다.

구체적으로, 상기 적재정보는 상기 분석대상프레임으로부터 생성된 정보이고, 상기 분석대상프레임은 프레임 단위로 시간의 흐름에 따라 도출되므로, 연속적인 작업 상태를 고려하여 적재정보에 대해 검증한다.

상기 적재정보는 적재유무, 적재량 및 적재율을 포함하고, 적재유무에 대한 검증과 보정 방법 및 적재량과 적재율에 대한 검증과 보정 방법은 상이할 수 있다. 상기 제2검증단계(S140)에 대한 자세한 과정은 후술하도록 한다.

상기 적재정보저장부(S150)는 상기 제2검증단계(S140)에서 검증성공에 해당하는 적재정보 및 상기 제2검증단계(S140)에서 보정한 적재정보를 저장한다.

도 3은 본 발명의 일 실시예에 따른 객체검출단계(S110)의 세부단계를 개략적으로 도시한다.

도 3의 (A)는 객체검출단계(S110)의 세부단계를 도시한 도면에 해당한다.

도 3의 (A)에 도시된 바와 같이, 객체검출단계(S110)는, 각각의 지게차단말의 영상정보에 기초하여 기설정된 규칙에 따라 각각의 분석대상프레임을 추출하는 추출단계(S111); 각각의 분석대상프레임을 딥러닝기반 추론모델에 입력하는 단계(S112); 및 포크, 팔레트 및 물류를 포함하는 객체의 바운딩박스정보를 검출하는 검출단계(S113);를 포함할 수 있다.

구체적으로, 상기 정보수신단계(S100)에서 수신한 영상정보에 대해 기설정된 규칙에 따라 분석대상프레임을 도출한다. 상기 분석대상프레임 도출에 대한 방법은 후술하도록한다.

상기 분석대상프레임을 시간순서 별로 추론 모델에 입력하여 객체정보인 바운딩박스정보를 검출한다.

상기 추론 모델은 컨볼루션신경망모델(CNN), 캡슐네트워크(CapsNet) 등의 인공신경망 모델, 및 규칙-기반 특징정보 추출 모델 중 1 이상을 포함하는 형태로 구현될 수 있다.

본 발명의 일 실시예에 따르면, 후술할 내용에 따라, 추론 모델으로 적재정보를 생성하고, 기설정된 규칙에 의해 검증 및 보정하므로, 처리 속도와 정확도를 높이는 효과를 발휘할 수 있다.

구체적으로, 상기 추론 모델은 각각의 분석대상프레임에서 특정 객체에 대해 유의미한 특징을 찾아내고 분류하여 각각의 바운딩박스정보를 검출한다.

더 구체적으로, 상기 바운딩박스정보는 특정 객체의 테두리를 포함하는 영역일수 있고, 바람직하게는 특정 객체를 포함하는 사각형태의 영역일 수 있다.

본 발명에서의 특정 객체는 포크, 팔레트 및 화물 등 적재정보 판단을 수행할 때 필요한 물체들을 포함하는 개념으로 이해될 수 있다.

도 3의 (B)는 분석대상프레임 추출 단계(S111)를 도시한 도면에 해당한다.

도 3의 (B)에 도시된 바와 같이, 상기 추출단계(S111)는, 지게차 영상정보의 전체 프레임 중에서 기설정된 규칙으로 시계열에 따라 상기 분석대상프레임을 추출할 수 있다.

상기 객체검출부(1200)는 지게차단말(2100)에서 수신한 영상정보에 기초하여 다량의 이미지 데이터를 얻기 위해 영상에서 프레임 단위로 이미지를 추출할 수 있다.

구체적으로, 상기 영상정보는 프레임 단위로 복수의 프레임으로 분해되고, 상기 복수의 프레임은 기설정된 규칙에 따라 분석대상프레임으로 추출된다.

상기 규칙은 관리자단말에서 관리자에 의해 추론 모델에 따라 상이하게 설정될 수 있고, 시간간격에 해당할 수 있다.

도 3의 (B)에 도시된 바와 같이, 관리자에 의해 영상정보에서 1초당 24프레임을 추출하고, 상기 프레임 6장당 하나의 프레임이 분석대상프레임으로 설정될 수 있다.

또한, 상기 규칙은 분석대상프레임의 해상도에 해당할 수 있다. 상기 해상도는 관리자에 의해 추론 모델에 따라 상이하게 설정될 수 있다. 바람직하게는 원본 해상도를 저장하고, 추론 모델에 따라 압축률을 상이하게 설정하여 해상도를 정할 수 있다.

예를 들어, 관리자 설정에서 상기 분석대상프레임이 원본 해상도 혹은 원본보다 낮은 해상도로 추출되도록 설정될 수 있다.

도 3의 (C)는 객체검출단계(S110)에서 검출한 바운딩박스정보 중 성공한 예를 도시한 도면에 해당한다.

본 발명의 실시예에 따르면, (C)-1 도면은 분석대상프레임에서 객체정보를 검출하였을 때, 포크 바운딩박스정보만 검출된 경우에 해당한다.

구체적으로, 해당 분석대상프레임에는 지게차(2000)에 화물 및 팔레트가 적재되지 않아 포크의 바운딩박스가 F로 가시화된 바운딩박스정보에 해당된다.

본 발명의 실시예에 따르면, (C)-2 도면은 분석대상프레임을 분석하였을 때, 포크 및 팔레트 바운딩박스정보가 검출된 경우에 해당한다.

구체적으로, 해당 분석대상프레임에는 지게차에 팔레트만 적재되어 있어 포크 및 팔레트의 바운딩박스가 F 및 P로 가시화된 바운딩박스정보에 해당된다.

본 발명의 실시예에 따르면, (C)-3 도면은 분석대상프레임을 분석하였을 때, 포크, 팔레트 및 물류 바운딩박스정보가 검출된 경우에 해당한다.

구체적으로, 해당 분석대상프레임에는 지게차(2000)에 팔레트 및 물류가 적재되어 있어 포크, 팔레트 및 물류의 바운딩박스가 F, P 및 B로 가시화된 바운딩박스정보에 해당된다.

본 발명의 실시예에 따르면, (C)-4 도면은 분석대상프레임을 분석하였을 때, 포크 및 물류 바운딩박스정보가 검출된 경우에 해당한다.

구체적으로, 해당 분석대상프레임에는 지게차(2000)에 물류만 적재되어 있어 포크 및 바운딩박스가 F 및 물류의 바운딩박스가 B로 가시화된 바운딩박스정보에 해당된다.

도 3의 (D)는 상술한 도 3의 (C)의 바운딩박스정보가 관리자단말(3000)에 디스플레이된 화면들을 도시한 도면에 해당한다.

도 4는 본 발명의 일 실시예에 따른 제1검증단계(S120)의 세부단계를 개략적으로 도시한다.

도 4에 도시된 바와 같이, 상기 제1규칙세트는 복수의 검증실패기준을 포함하고, 상기 제1검증단계는, 해당 분석대상프레임의 상기 바운딩박스정보가 상기 복수의 검증실패기준에 모두 부합하지 않은 경우에는 검증성공으로 판단하고, 상기 바운딩박스정보가 기설정된 복수의 검증실패기준에 1 이상의 검증실패기준에 부합하면, 검증실패로 판단할 수 있다.

상기 제1검증단계(S120)는 기설정된 검증실패기준에 따라 바운딩박스정보를 검증한다. 검증에 실패한 바운딩박스정보는 추론 모델의 종류에 따라 해당 바운딩박스정보에 대해 재검증을 실행할 수 있다.

도 4의 (A)는 제1검증단계(S120)의 객체검증 방법 중 객체검출을 재실행하지 않는 세부단계를 도시화한 도면에 해당한다.

도 4의 (A)에 도시된 바와 같이, 상기 제1검증단계는, 해당 분석대상프레임에서 포크의 바운딩박스가 도출되지 않은 것을 판단하는 제1단계; 해당 분석대상프레임에서 물류의 바운딩박스의 아랫변이 포크의 바운딩박스 내에 있지 않은 것을 판단하는 제2단계; 해당 분석대상프레임에서 팔레트의 바운딩박스의 아랫변이 포크의 바운딩박스 내에 있지 않은 것을 판단하는 제3단계; 해당 분석대상프레임에서 팔레트의 바운딩박스의 아랫변과 물류의 바운딩박스의 아랫변 사이의 거리가 기준치보다 크거나 작은 것을 판단하는 제4단계; 해당 분석대상프레임에서 포크의 바운딩박스 아랫변과 물류의 바운딩박스의 아랫변 사이 거리가 기준치보다 큰 것을 판단하는 제5단계; 및 해당 분석대상프레임에서 포크의 바운딩박스의 아랫변과 팔레트의 바운딩박스 아랫변 사이 거리가 기준치보다 큰 것을 판단하는 제6단계;를 포함하고, 해당 분석대상프레임이 상기 제1단계 내지 제6단계에서의 판단에 모두 부합하지 않는 경우에 검증성공으로 판단하는 검증성공판단단계;를 포함할 수 있다.

구체적으로, 검증실패기준에 해당하는 바운딩박스가 검출된 경우에는, 해당 검증실패기준에 부합하지 않으면 해당 바운딩박스정보에 대해 다음 검증단계를 실행하고, 단계별로 기설정된 검증실패기준에 부합하면 바운딩박스정보에 대해 검출실패로 판단한다.

본 발명의 실시예에 따르면, 상기 기설정된 검증실패기준은, 포크의 바운딩박스 F가 검출되지 않는 경우, 물류의 바운딩박스 B의 아랫변이 포크의 바운딩박스 F 내에 있지 않은 경우, 팔레트의 바운딩박스 P의 아랫변이 포크의 바운딩박스 F 내에 있지 않은 경우, 팔레트의 바운딩박스 P의 아랫변과 물류의 바운딩박스 B의 아랫변 사이 거리가 기준치보다 크거나 작은 경우, 포크의 바운딩박스 F의 아랫변과 물류의 바운딩박스 B의 아랫변 사이 거리가 기준치보다 큰 경우 및 포크의 바운딩박스 F의 아랫변과 팔레트의 바운딩박스 P의 아랫변 사이 거리가 기준치보다 큰 경우를 포함할 수 있다.

도 4의 (B)는 제1검증단계(S120)의 객체검증 방법 중 객체 검출을 재실행하는 세부단계를 도시화한 도면에 해당한다.

도 4의 (B)에 도시된 바와 같이, 상기 제1규칙세트는 복수의 검증실패기준을 포함하고, 상기 제1검증단계(S120)는, 해당 분석대상프레임의 모든 상기 바운딩박스정보가 상기 복수의 검증실패기준에 모두 부합하지 않은 경우에는 검증성공으로 판단하고, 상기 바운딩박스정보가 기설정된 복수의 검증실패기준에 1 이상의 검증실패기준에 부합하면 제1검증실패로 판단하는 검증판단단계; 상기 제1판단단계에서, 상기 바운딩박스정보가 기설정된 복수의 검증실패기준 중 1 이상의 검증실패 기준에 부합하는 경우에는, 해당 바운딩박스정보를 검출한 해당 분석대상프레임의 해상도가 원본 해상도 미만인 경우를 판단하는 해상도판단단계; 상기 해상도판단단계에서 해당 분석대상프레임의 해상도가 원본 해상도 미만이라고 판단되는 경우에는, 해당 분석대상프레임의 해상도를 높여 상기 객체검출단계, 상기 검증판단단계 및 상기 해상도판단단계를 다시 수행할 수 있다.

상기 검출실패로 판단한 바운딩박스정보에 대해서는, 해당 바운딩박스정보 검출에 사용했던 분석대상프레임의 해상도를 높여 분석대상프레임을 재추출하고, 상기 분석대상프레임에서 바운딩박스정보를 검출하여, 단계별로 바운딩박스정보를 검증한다.

본 발명의 실시예에 따르면, 상기 해상도를 단계적으로 원본 해상도까지 높여 제1검증단계(S120)를 여러 번 수행할 수 있으나, 바람직하게는 제1검증단계(S120)를 재실행하는 경우에는, 검출실패에 대한 분석대상프레임의 해상도를 바로 원본 해상도로 높힐 수 있다.

도 5는 본 발명의 일 실시예에 따른 복수의 추론모델 및 추론모델에 따른 세부단계를 개략적으로 도시한다.

도 5의 (A)는 객체검출부(1200)에 포함된 제1추론모델(1210) 및 제2추론모델(1220)을 도시한 도면에 해당한다.

도 5의 (A)에 도시된 바와 같이, 객체검출부(1200)는 제1추론모델(1210) 및 제2추론모델(1220)을 포함할 수 있다.

상기 제1추론모델(1210)와 제2추론모델(1220)을 비교하였을 때, 제1추론모델(1210)의 분석대상프레임은 해상도가 제2추론모델(1220)의 분석대상프레임의 해상도보다 낮다. 따라서, 제1추론모델(1210)의 처리 속도는 제2추론모델(1220)의 처리 속도보다 빠르지만, 정확도는 제1추론모델(1210)이 제2추론모델(1220)보다 낮다.

본 발명에서는 설정에 따라 제1추론모델(1210)과 제2추론모델(1220) 이외에도 다양한 추론 모델을 활용하여, 관리자에 의해 처리 속도 및 정확도를 설정할 수 있는 효과를 발휘할 수 있다.

도 5의 (B)는 제1추론모델(1210) 및 제2추론모델(1220)의 제1검증단계(S120)의 세부단계를 도시한 도면에 해당한다.

도 5의 (B)에 도시된 바와 같이, 제1추론모델(1210)으로 객체검출단계(S110)를 수행하고, 검출한 바운딩박스정보를 활용하여 제1검증단계(S120)를 수행하고, 상기 제1검증단계(S120)에서 검출실패로 판단한 바운딩박스정보에 대해서는 제2추론모델(1210)으로 객체검출단계(S110) 및 제1검증단계(S120)를 재수행 할 수 있다.

구체적으로, 상기 제1추론모델(1210)은 영상정보에서 분석대상프레임을 추출한다. 해당 분석대상프레임은 제2추론모델(1220)의 분석대상프레임의 해상도보다 낮은 해상도에 해당할 수 있다.

상기 제1추론모델(1210)은 단계별로 바운딩박스정보를 검증한다. 구체적으로, 검출실패기준에 부합하지 않으면 해당 바운딩박스정보에 대해 다음 검증단계를 실행하고, 단계별로 기설정된 검증실패기준에 부합하면 바운딩박스정보에 대해 검출실패로 판단한다.

상기 검출실패로 판단한 바운딩박스정보에 대해서는, 상기 제2추론모델(1220)에 의해 객체검출단계(S110) 및 제1검증단계(S120)를 수행한다.

상기 제2추론모델(1220)은 제1추론모델(1210)에서 검출실패로 판단한 바운딩박스정보의 분석대상프레임을 재추출하고, 상기 분석대상프레임에서 바운딩박스정보를 검출하여, 단계별로 바운딩박스정보를 검증한다.

구체적으로, 기준에 부합하지 않으면 해당 바운딩박스정보에 대해 다음 검증단계를 실행하고, 단계별로 기설정된 검증실패기준에 부합하면 바운딩박스정보에 대해 검출실패로 판단한다. 재추출한 분석대상프레임의 해상도는 제1추론모델(1210)에서 도출한 해당 분석대상프레임의 해상도보다 높은 해상도에 해당할 수 있다.

도 6은 본 발명의 일 실시예에 따른 제1검증단계(S120)에서 검증에 실패한 바운딩박스정보를 개략적으로 도시한다.

도 6의 (A)는 포크의 바운딩박스 F가 검출되지 않는 경우를 도시한 도면에 해당한다.

도 6의(A)-1은 물류의 바운딩박스 B만 검출되어, 포크의 바운딩박스 F가 검출되지 않는 경우에 해당한다.

도 6의 (A)-2는 팔레트의 바운딩박스 P만 검출되어, 포크의 바운딩박스 F가 검출되지 않는 경우에 해당한다.

도 6의 (A)-3은 물류의 바운딩박스 B 및 팔레트의 바운딩박스 P만 검출되어, 포크의 바운딩박스 F가 검출되지 않는 경우에 해당한다.

도 6의 (B)는 물류의 바운딩박스 B의 아랫변이 포크의 바운딩박스 F 내에 있지 않은 경우를 도시한 도면에 해당한다.

도 6의 (B)-1은 물류의 바운딩박스 B가 포크의 바운딩박스 F외에 검출되어, 물류의 바운딩박스 B의 아랫변이 포크의 바운딩박스 F 내에 있지 않은 경우에 해당한다.

도 6의 (B)-2는 물류의 바운딩박스 B내에 포크의 바운딩박스 F가 검출되어, 물류의 바운딩박스 B의 아랫변이 포크의 바운딩박스 F 내에 있지 않은 경우에 해당한다.

도 6의 (B)-3, (B)-4 및 (B)-5는 물류의 바운딩박스 B의 일부분만 포크의 바운딩박스 F 내에 검출되어, 물류의 바운딩박스 B의 아랫변이 포크의 바운딩박스 F 내에 있지 않은 경우에 해당한다.

도 6의 (C)는 팔레트의 바운딩박스 P의 아랫변이 포크의 바운딩박스 F 내에 있지 않은 경우를 도시한 도면에 해당한다.

도 6의 (C)-1은 팔레트의 바운딩박스 P가 포크의 바운딩박스 F외에 검출되어, 물류의 바운딩박스 B의 아랫변이 포크의 바운딩박스 F 내에 있지 않은 경우에 해당한다.

도 6의 (C)-2는 팔레트의 바운딩박스 P내에 포크의 바운딩박스 F가 검출되어, 물류의 바운딩박스 B의 아랫변이 포크의 바운딩박스 F 내에 있지 않은 경우에 해당한다.

도 6의 (C)-3, (C)-4 및 (C)-5는 팔레트의 바운딩박스 P의 일부분만 포크의 바운딩박스 F 내에 검출되어, 물류의 바운딩박스 B의 아랫변이 포크의 바운딩박스 F 내에 있지 않은 경우에 해당한다.

도 6의 (D)는 팔레트의 바운딩박스 P의 아랫변과 물류의 바운딩박스 B의 아랫변 사이 거리가 기준치보다 크거나 작은 경우를 도시한 도면에 해당한다.

도 6의 (D)-1은 팔레트의 바운딩박스 P의 아랫변과 물류의 바운딩박스 B의 아랫변 사이의 거리가 d1로 기설정된 기준치보다 크게 검출되어, 팔레트의 바운딩박스 P의 아랫변과 물류의 바운딩박스 B의 아랫변 사이 거리가 기준치보다 크거나 작은 경우에 해당한다.

도 6의 (D)-2은 팔레트의 바운딩박스 P의 아랫변과 물류의 바운딩박스 B의 아랫변 사이의 거리가 d2로 기설정된 기준치보다 작게 검출되어, 팔레트의 바운딩박스 P의 아랫변과 물류의 바운딩박스 B의 아랫변 사이 거리가 기준치보다 크거나 작은 경우에 해당한다.

본 발명의 실시예들에 따른 상기 기설정된 기준치는, 팔레트의 바운딩박스 P의 높이에 해당할 수 있어, 팔레트의 바운딩박스 P와 물류의 바운딩박스 B가 겹치지 않는 효과를 발휘할 수 있다. 또한, 상기 기설정된 기준치는 관리자단말에 의해 다양하게 설정될 수 있어, 바운딩박스정보의 정확도 수준을 선택할 수 있는 효과를 발휘할 수 있다.

도 6의 (E)는 포크의 바운딩박스 F의 아랫변과 물류의 바운딩박스 B의 아랫변 사이 거리가 기준치보다 큰 경우를 도시한 도면에 해당한다.

도 6의 (E)는 포크의 바운딩박스 F의 아랫변과 물류의 바운딩박스 B의 아랫변 사이의 거리가 d3으로 기설정된 기준치보다 크게 검출되어, 포크의 바운딩박스 F의 아랫변과 물류의 바운딩박스 B의 아랫변 사이 거리가 기준치보다 큰 경우에 해당한다.

포크의 바운딩박스, 물류의 바운딩박스 B 및 팔레트의 바운딩박스 P가 검출되었을 경우에는, 상기 기설정된 기준치는 팔레트의 바운딩박스 P의 높이에 해당할 수 있어, 물류가 팔레트 바로 위에 있는 상황을 정확하게 검출할 수 있는 효과를 발휘할 수 있다.

또한, 본 발명의 실시예들에 따르면, 포크의 바운딩박스 F와 물류의 바운딩박스 B만 검출되었을 경우에는, 상기 기설정된 기준치가 0에 해당할 수 있어, 물류가 포크 바로 위에 있는 상황을 정확하게 검출할 수 있는 효과를 발휘할 수 있다.

도 6의 (F)는 포크의 바운딩박스 F의 아랫변과 팔레트의 바운딩박스 P의 아랫변 사이 거리가 기준치보다 큰 경우를 도시한 도면에 해당한다.

도 6의 (F)는 포크의 바운딩박스 F의 아랫변과 팔레트의 바운딩박스 P의 아랫변 사이의 거리가 d4로 기설정된 기준치보다 크게 검출되어, 포크의 바운딩박스 F의 아랫변과 팔레트의 바운딩박스 P의 아랫변 사이 거리가 기준치보다 큰 경우에 해당한다.

본 발명의 실시예들에 따르면, 상기 기설정된 기준치는 0에 해당할 수 있어, 팔레트가 포크 바로 위에 있는 상황을 정확하게 검출할 수 있는 효과를 발휘할 수 있다.

도 7은 본 발명의 일 실시예에 따른 적재정보생성단계(S130)에 따른 관리자단말(3000)에서 출력되는 화면의 일 예를 개략적으로 도시한다.

도 7에 도시된 바와 같이, 상기 적재정보생성단계는, 바운딩박스정보에 기초하여 적재정보인 물류의 적재유무, 적재량 및 적재율을 산출하고, 상기 적재유무는 물류의 바운딩박스가 검출되었을 때 적재 상태라 판단하고, 상기 적재량은 물류의 바운딩박스의 높이에 비례하여 산출하고, 상기 적재율은 포크 및 물류의 바운딩박스의 높이에 기초하여 산출할 수 있다.

도 7의 (A)에 도시된 바와 같이, 본 발명의 실시예들에 따른, 분석대상프레임 #N의 바운딩박스정보의 적재정보는 적재유무는 적재상태, 적재량은 X1 및 적재율은

%로 도시되어있다.

구체적으로, 상기 적재정보생성단계(S130)에서는 바운딩박스정보를 분석하여 적재정보를 생성한다. 상기 적재정보는 해당 분석대상프레임의 물류 적재유뮤, 물류 적재량 및 물류 적재율을 포함할 수 있다.

상기 물류 적재유무는 해당 분석대상프레임에서 검출한 바운딩박스정보를 분석하여 판단한다. 구체적으로, 상기 바운딩박스정보에서 물류의 바운딩박스 B가 포함되면 물류가 적재되었다 판단되고, 상기 바운딩박스정보에서 물류의 바운딩박스 B가 포함되지 않는다면 물류가 적재되지 않았다 판단한다.

상기 물류 적재량은 해당 분석대상프레임에서 검출한 바운딩박스정보를 분석하여 판단한다. 구체적으로, 물류가 적재되었다 판단되는 바운딩박스정보에 대해서 물류 적재량을 판단하고, 물류 적재량은 물류의 바운딩박스 B의 높이에 비례하여 산출될 수 있다.

상기 물류 적재율은 해당 분석대상프레임에서 검출한 바운딩박스정보를 분석하여 판단한다. 구체적으로, 물류가 적재되었다 판단되는 바운딩박스정보에 대해서 물류 적재율을 판단하고, 물류 적재율은 물류의 바운딩박스 B의 높이와 포크의 바운딩박스 F의 높이에 기초하여 산출될 수 있다.

도 7의 (A)에 도시된 바와 같이, 분석대상프레임 #N에 검출된 바운딩박스정보는 제1검증단계(S120)에서 검증이 완료된 바운딩박스정보이다.

구체적으로, 상기 분석대상프레임 #N의 바운딩박스정보에는 포크의 바운딩박스 F, 물류의 바운딩박스 B, 팔레트의 바운딩박스 P가 검출되어 있다.

상기 물류의 바운딩박스 B의 아랫변 및 상기 팔레트의 바운딩박스 P의 아랫변이 포크의 바운딩박스 F내에 있어, 검증실패기준인 물류의 바운딩박스 B의 아랫변이 포크의 바운딩박스 F 내에 있지 않은 경우 및 팔레트의 바운딩박스 P의 아랫변이 포크의 바운딩박스 F 내에 있지 않은 경우에 해당하지 않는다.

또한, 팔레트의 바운딩박스 P의 아랫변과 물류의 바운딩박스 B의 아랫변 사이 거리가 기준치에 부합하여, 검증실패의 규칙인 팔레트의 바운딩박스 P의 아랫변과 물류의 바운딩박스 B의 아랫변 사이 거리가 기준치보다 크거나 작은 경우에 해당하지 않아 상기 분석대상프레임 #N의 바운딩박스정보는 검증이 완료된 바운딩박스정보이다.

상기 분석대상프레임 #N의 바운딩박스정보는 검증이 완료되어 제1검증단계(S120)의 다음 단계인 적재정보생성단계(S130)에서 적재 상태라고 판단하고, 적재량은 X1, 적재율은

으로 산출될 수 있다.

구체적으로, 상기 분석대상프레임 #N의 바운딩박스정보에는 물류의 바운딩박스 B가 검출되어있고, 물류의 바운딩박스 B의 높이는 X1이고, 포크의 바운딩박스 F의 높이는 X2으로 도시되어있다.

적재유무의 판단 기준인 물류의 바운딩박스 B가 검출되어 적재가 되었다고 판단할 수 있고, 물류의 바운딩박스 B의 높이가 X1으로 물류의 바운딩박스 B의 높이에 비례한 값인 X1으로 산출할 수 있고, 물류의 바운딩박스 B의 높이 X1과 포크의 바운딩박스 F의 높이 X2에 기초하여 상기 X1과 상기 X2의 비율로 적재율을

%로 산출할 수 있다.

도 7의 (B)는 본 발명의 일 실시예에 따른 관리자단말(3000)에서 적재율을 출력하여 도시한 도면에 해당한다.

도 7의 (B)에 도시된 바와 같이, 서비스서버(1000)에서 포크의 바운딩박스정보의 높이와 물류의 바운딩박스정보의 높이에 기초하여 적재율을 80%로 산출하고, 관리자단말(3000)에 디스플레이된 도면에 해당할 수 있다.

도 8은 본 발명의 일 실시예에 따른 제2검증단계(S140)의 세부단계를 개략적으로 도시한다.

도8에 도시된 바와 같이, 상기 제2검증단계(S140)는, 복수의 분석대상프레임에 대해, 각각의 해당 적재정보의 변화 및 기설정된 규칙에 기초하여 제1비교대상프레임, 검증대상프레임 및 제2비교대상프레임 순서대로 도출하는 검증대상프레임도출단계(S141); 상기 검증대상프레임의 분석대상프레임 개수에 기초하여, 상기 제2규칙세트를 적용하여, 상기 검증대상프레임의 적재정보를 검증하는 적재정보검증단계(S142); 및 상기 적재정보가 검증실패로 판단되면, 상기 검증대상프레임의 적재정보를 제1비교대상프레임 및 제2비교대상프레임의 적재정보에 기초하여 보정하는, 적재정보보정단계(S143);를 포함할 수 있다.

상기 제2검증단계(S140)에서는 상기 적재정보생성단계(S130)에서 생성한 적재정보를 검증 및 보정한다.

구체적으로, 상기 제2검증단계(S140)에서는 적재정보를 검증하기 위해 시간의 흐름에 따라 연속적으로 배치된 분석대상프레임으로부터 해당 적재정보의 변화에 따라, 제1비교대상프레임, 검증대상프레임 및 제2비교대상프레임을 도출한다.

본 발명의 실시예에 따른 적재정보의 변화는, 분석대상프레임 #N과 분석대상프레임 #N+1의 적재정보에 기초하여 도출한다. 예를 들어, 적재정보가 적재유무일 경우에서 적재정보의 변화는, 적재에서 비적재 및 비적재에서 적재 상태로 변화함을 의미하고, 적재량 및 적재율일 경우에서 적재정보의 변화는, 분석대상프레임 #N과 분석대상프레임 #N+1의 적재량 및 적재율의 차이인 변화량을 의미할 수 있다.

상기 검증대상프레임의 분석대상프레임 개수에 기초하여, 제2규칙세트를 적용하여, 해당 검증대상프레임의 적재정보를 검증할 수 있다. 상기 제2규칙세트는 적재정보인 적재유무, 적재량 및 적재율에 대한 규칙이다.

상기 검증대상프레임의 적재정보의 검증 결과에 따라 검증실패로 판단되면, 해당 검증대상프레임의 적재정보를 제1비교대상프레임 및 제2비교대상프레임의 적재정보에 기초하여 보정한다.

상기 적재정보는 적재유무, 적재량 및 적재율을 포함할 수 있다. 자세한 과정은 후술하도록 한다.

시간의 흐름에 따라 연속적으로 입력되는 분석대상프레임으로부터 적재정보를 생성하고 검증함에 있어서, 실제 지게차의 화물 적재정보를 고려하여 정확도를 높이는 효과를 발휘할 수 있다.

도 9은 본 발명의 일 실시예에 따른 제2검증단계(S140)를 개략적으로 도시한다.

도 9의 (A)는 제2검증단계(S140)의 비교대상프레임 및 검증대상프레임 도출을 도시화한 도면에 해당한다.

도 9의 (A)에 도시된 바와 같이, 적재정보가 적재유무인 경우에는,

적재 및 비적재 상태의 변화에 기초하여 검증대상프레임을 도출하고, 제1비교대상프레임에 해당하는 분석대상프레임 각각의 적재유무 상태는 같고, 검증대상프레임에 해당하는 분석대상프레임 각각의 적재유무 상태는 같고, 제2비교대상프레임에 해당하는 분석대상프레임 각각의 적재유무 상태는 같고, 검증대상프레임의 적재유무 상태는 제1비교대상프레임 및 제2비교대상프레임의 적재유무 상태와 상이한 상태에 해당할 수 있다.

도 9의 (A)에 도시된 바와 같이, 적재정보가 적재량 및 적재율인 경우에는, 적재량 및 적재율 값이 기설정된 기준치 이상 변화함에 기초하여 검증대상프레임을 도출하고, 제1비교대상프레임에 해당하는 분석대상프레임 각각의 적재량 및 적재율 차이는 기설정된 기준치 미만이고, 검증대상프레임에 해당하는 분석대상프레임 각각의 적재량 및 적재율 차이는 기설정된 기준치 미만이고, 제2비교대상프레임에 해당하는 분석대상프레임 각각의 적재량 및 적재율의 차이는 기준치 미만이고, 검증대상프레임의 적재량 및 적재율은 제1비교대상프레임 및 제2비교대상프레임의 적재량 및 적재율의 차이는 기준치 이상에 해당할 수 있다.

도 9의 (A)에 도시된 바와 같이, 제1비교대상프레임, 검증대상프레임 및 제2비교대상프레임은 분석대상프레임을 시계열 순으로 배열했을 때, 각각의 해당 적재정보 값의 변화에 기초하여 도출한다.

구체적으로, 적재정보가 적재유무일 경우에는, 검증대상프레임의 적재정보는 제1비교대상프레임의 적재정보 및 제2비교대상프레임의 적재정보와 상이한 값이다.

예를 들어, 제1비교대상프레임 및 제2비교대상프레임이 적재상태이면, 검증대상프레임은 비적재 상태가 될 수 있고, 제1비교대상프레임 및 제2비교대상프레임이 비적재 상태이면, 검증대상프레임은 적재상태가 될 수 있다.

한편, 적재정보가 적재량 및 적재율일 경우에는, 검증대상프레임의 적재정보 값과 제1비교대상프레임 및 제2비교대상프레임의 적재정보 값의 차이는 기설정된 기준치보다 크다.

예를 들어, 제1비교대상프레임의 적재량이 50이면, 검증대상프레임의 적재정보는 (50+기준치)이상의 값을 갖을 수 있다. 즉, 검증대상프레임의 적재정보는 해당 분석대상프레임 이전의 분석대상프레임의 적재정보 값에서 기준치 이상의 변화량을 갖는다. 따라서, 제2비교대상프레임의 적재량은 (50+기준치)보다 작은 값인 51이 될 수 있다.

더 구체적으로, 분석대상프레임을 시계열 순으로 배열했을 때, 제1비교대상프레임, 검증대상프레임 및 제2비교대상프레임은 순서대로 도출되고, 상기 검증대상프레임은 적재정보 값의 변화에 기초하여 도출하기 때문에 1 이상의 분석대상프레임을 포함할 수 있다. 또한, 제1비교대상프레임 및 제2비교대상프레임도 1 이상의 분석대상프레임을 포함할 수 있다.

도 9의 (A)에서 적재정보가 적재유무일 경우에는, 분석대상프레임의 적재유무가 시계열 순으로 적재(#1), 비적재(#2), 비적재(#3) 및 적재(#4)로 배치되어있다면, 적재에서 비적재로 변화에 기초하여, 제1비교대상프레임 및 제2비교대상프레임은 차례대로 각각의 적재 상태인 해당 분석대상프레임(#1 및 #4)으로 도출되고, 검증대상프레임은 비적재 상태인 1 이상의 분석대상프레임(#2 내지 #3)으로 도출될 수 있다.

한편, 적재정보가 적재량 및 적재율일 경우에는, 분석대상프레임의 적재량이 시계열 순으로 50(#1), 150(#2), 148(#3) 및 51(#4)로 배치되어있고, 150(#2)이 50(#1)보다 기설정된 기준값보다 크고, 148(#3)이 51(#4)보다 기설정된 기준값보다 크다고 한다면, 적재량의 변화에 기초하여, 제1비교대상프레임 및 제2비교대상프레임은 차례대로 각각 50(#1) 및 51(#2)로 해당 분석대상프레임(#1 및 #4)으로 도출되고, 검증대상프레임은 150(#2) 및 148(#3)로 1 이상의 분석대상프레임(#2 내지 #3)으로 도출될 수 있다.

도 9의 (B)는 제2검증단계(S140)의 적재정보를 검증하는 단계에 해당하는 도면에 해당한다.

도 9의 (B)에 도시된 바와 같이, 상기 검증대상프레임의 분석대상프레임 개수에 기초하여 해당 검증대상프레임의 적재정보를 검증하는 단계에서, 검증대상프레임으로 도출된 1 이상의 분석대상프레임의 개수가 기설정된 개수 미만일 경우 검증실패로 판단된다.

한편, 분석대상프레임은 기설정된 프레임 추출 기준에 따라 추출되고, 분석대상프레임 사이에는 시간구간이 존재한다. 예를 들어, 영상에서 1초에 1 분석대상프레임을 추출하도록 설정하면, 프레임 #N의 시간구간은 1초이다. 따라서, 검증대상프레임의 시간구간은 기설정된 프레임 추출 기준과 검증대상프레임에 포함된 1 이상의 분석대상프레임의 개수에 기초하여 결정될 수 있다.

한편, 제2검증단계(S140)에서 검증대상프레임의 분석대상프레임 개수가 기설정된 개수 미만일 경우는, 1 이상의 분석대상프레임의 적재정보가 각각 해당 분석대상프레임의 실제 적재정보와 다르다고 판단하여 검증실패로 판단한다.

예를 들어, 도 9의 (B)-1에서, 적재정보가 적재유무일 경우에는, 영상에서 1초에 1 분석대상프레임을 추출하고, 각각의 분석대상프레임의 적재유무가 시계열 순으로 적재(#1), 비적재(#2), 비적재(#3) 및 적재(#4)로 배치되어있다면, 검증대상프레임은 2개의 비적재 분석대상프레임(#2 내지 #3)에 기초하여 2초의 시간구간을 갖는다.

상기 검증대상프레임의 분석대상프레임 개수가 기설정된 개수보다 적다고 하면, 비적재로 판단된 검증대상프레임에 대해 검증실패로 판단한다.

구체적으로, 지게차에서 실제 물류 적재를 생각했을 때, 적재상태였다가 상기 검증대상프레임 시간구간 2초의 짧은 시간 동안만 비적재상태로 존재할 수 없으므로 상기 검증대상프레임의 객체상태는 검출 오류로 제2검증부에 의해 검증실패로 판단할 수 있다.

한편, 도 9의 (B)-2에서, 적재정보가 적재량 및 적재율일 경우에는, 영상에서 1초에 1 분석대상프레임을 추출하고, 각각의 분석대상프레임의 적재량이 시계열 순으로 50(#1), 150(#2), 148(#3) 및 51(#4)로 배치되어있다면, 검증대상프레임은 150(#2) 및 148(#3)의 적재량을 포함하는 분석대상프레임에 기초하여 2초의 시간구간을 갖는다.

상기 검증대상프레임의 분석대상프레임 개수가 기설정된 개수보다 적다고 하면, 적재량이 150(#2) 및 148(#3)로 판단된 검증대상프레임에 대해 검증실패로 판단한다.

구체적으로, 지게차에서 실제 물류 적재량을 생각했을 때, 적재량이 상기 검증대상프레임

2초의 짧은 시간 동안 150(#2) 및 148(#3)로 존재할 수 없으므로 상기 검증대상프레임의 객체상태는 검출 오류로 제2검증부에 의해 검증실패로 판단할 수 있다.

도 9의 (C)는 제2검증단계의 적재정보를 보정하는 단계에 해당하는 도면에 해당한다.

도 9의 (C)에 도시된 바와 같이, 검증대상프레임이 검증실패로 판단되면, 해당 검증대상프레임의 적재정보를 제1비교대상프레임 및 제2비교대상프레임의 적재정보에 기초하여 보정한다.

구체적으로, 검증실패로 판단된 검증대상프레임의 1 이상의 분석대상프레임의 적재정보는 실제 지게차 물류의 정보와 일치하지 않으므로, 실제 지게차 물류의 정보와 일치하고, 이미 검증된 제1비교대상프레임 및 제2비교대상프레임의 적재정보에 기초하여 보정한다.

예를 들어, 도 9의 (B)-1에서, 적재정보가 적재유무일 경우에는, 분석대상프레임의 적재유무가 시계열 순으로 적재(#1), 비적재(#2), 비적재(#3) 및 적재(#4)로 배치되어있다면, 검증대상프레임으로 도출된 비적재(#2 내지 #3) 상태에 대해, 제1비교대상프레임(#1) 및 제2비교대상프레임(#4)의 적재 상태로 보정하여, 도 9의 (C)-1에서 분석대상프레임의 적재유무가 시계열 순으로 적재(#1), 적재(#2), 적재(#3) 및 적재(#4)로 보정될 수 있다.

한편, 도 9의 (B)-2에서, 적재정보가 적재량 및 적재율일 경우에는, 분석대상프레임의 적재량이 시계열 순으로 50(#1), 150(#2), 148(#3) 및 51(#4) 로 배치되어있다면, 검증대상프레임으로 도출된 150(#2) 및 148(#3)의 적재량에 대해, 제1비교대상프레임(#1) 및 제2비교대상프레임(#4)의 50(#1) 및 51(#4) 적재량의 평균에 기초하여, 도 9의 (C)-2에서 분석대상프레임의 적재량이 시계열 순으로 50(#1), 50.5(#2), 50.5(#3) 및 51(#4)로 보정될 수 있다.

본 발명의 다른 실시예에서는, 검증대상프레임으로 도출된 150(#2) 및 148(#3)의 적재량에 대해, 제1비교대상프레임(#1)의 50(#1) 적재량에 기초하여, 분석대상프레임의 적재량이 시계열 순으로 50(#1), 50(#2), 50(#3) 및 51(#4)로 보정될 수 있다.

본 발명의 다른 실시예에서는, 검증대상프레임으로 도출된 150(#2) 및 148(#3)의 적재량에 대해, 제2비교대상프레임(#4)의 51(#1) 적재량에 기초하여, 분석대상프레임의 적재량이 시계열 순으로 50(#1), 51(#2), 51(#3) 및 51(#4)로 보정될 수 있다.

본 발명의 다른 실시예에서는, 검증대상프레임으로 도출된 150(#2) 및 148(#3)의 적재량에 대해, 제1비교대상프레임(#1) 및 제2비교대상프레임(#4)의 50(#1) 및 51(#4) 적재량의 평균에 기초하여, 분석대상프레임의 적재량이 시계열 순으로 50(#1), 50.5(#2), 50.5(#3) 및 51(#4)로 보정될 수 있다.

본 발명에서의 적재량 및 적재율의 보정은 제1비교대상프레임 및 제2비교대상프레임에 기초하여 관리자에 의해 다양하게 설정될 수 있다.

도 10은 본 발명의 일 실시예에 따른 제2검증단계(S140)에서 적재정보가 적재유무인 경우를 개략적으로 도시한다.

도 10의 (A)는 적재정보가 적재유무인 경우에 비교대상프레임 및 검증대상프레임을 도시한 도면에 해당한다.

도 10의 (A)-1에 도시된 바와 같이, 프레임 #1 및 프레임 #2는 제1비교대상프레임 및 제2비교대상프레임으로 도출되고, 프레임 #2는 검증대상프레임으로 도출된다.

구체적으로, 프레임 #1의 적재유무는 적재 상태이고, 프레임 #2의 적재유무는 비적재 상태이므로, 적재정보가 변화한 구간이다. 또한, 프레임 #2의 적재유무는 비적재 상태이고, 프레임 #3의 적재유무는 적재 상태이므로, 적재정보가 변화한 구간이다.

비교대상프레임 및 검증대상프레임은 분석대상프레임을 시계열 순으로 배열했을 때, 각각의 해당 적재정보 값의 변화에 기초하여 도출한다.

적재(#1)에서 비적재(#2)로 변화한 적재정보 값 및 비적재(#2)에서 적재(#3)로 변화한 적재정보 값에 기초하여, 검증대상프레임은 프레임 #2로 도출되고, 프레임 #1은 제1비교대상프레임 및 프레임 #3은 제2비교대상프레임으로 도출된다.

도 10의 (A)-2에 도시된 바와 같이, 제1비교대상프레임 및 제2비교대상프레임은 관리자 설정에 따라 1 이상의 분석대상프레임을 포함할 수 있다.

프레임 #1 내지 프레임 #3 및 프레임 #7 내지 프레임 #9는 제1비교대상프레임 및 제2비교대상프레임으로 도출되고, 프레임 #4 내지 프레임 #6은 검증대상프레임으로 도출된다.

구체적으로, 프레임 #3의 적재유무는 적재 상태이고, 프레임 #4의 적재유무는 비적재 상태이므로, 적재정보가 변화한 구간이다. 또한, 프레임 #6의 적재유무는 비적재 상태이고, 프레임 #7의 적재유무는 적재 상태이므로, 적재정보가 변화한 구간이다.

적재(#3)에서 비적재(#4)로 변화한 적재정보 값 및 비적재(#6)에서 적재(#7)로 변화한 적재정보 값에 기초하여, 검증대상프레임은 프레임 #4 내지 프레임 #6으로 도출되고, 변화한 적재정보 값이 없는 구간인 프레임 #1 내지 프레임 #3은 제1비교대상프레임으로 도출되고, 변화한 적재정보 값이 없는 구간인 프레임 #7 내지 프레임 #9는 제2비교대상프레임으로 도출된다.

도 10의 (A)-3에 도시된 바와 같이, 제1비교대상프레임 및 제2비교대상프레임은 관리자 설정에 따라 1 이상의 분석대상프레임을 포함할 수 있다.

프레임 #1 내지 프레임 #3 및 프레임 #19 내지 프레임 #21은 제1비교대상프레임 및 제2비교대상프레임으로 도출되고, 프레임 #4 내지 프레임 #18은 검증대상프레임으로 도출된다.

구체적으로, 프레임 #3의 적재유무는 적재 상태이고, 프레임 #4의 적재유무는 비적재 상태이므로, 적재정보가 변화한 구간이다. 또한, 프레임 #18의 적재유무는 비적재 상태이고, 프레임 #19의 적재유무는 적재 상태이므로, 적재정보가 변화한 구간이다.

적재(#3)에서 비적재(#4)로 변화한 적재정보 값 및 비적재(#18)에서 적재(#19)로 변화한 적재정보 값에 기초하여, 검증대상프레임은 프레임 #4 내지 프레임 #18으로 도출되고, 변화한 적재정보 값이 없는 구간인 프레임 #1 내지 프레임 #3은 제1비교대상프레임으로 도출되고, 변화한 적재정보 값이 없는 구간인 프레임 #19 내지 프레임 #21은 제2비교대상프레임으로 도출된다.

도 10의 (B)는 적재정보가 적재유무인 경우에 검증 및 보정의 결과를 도시한 도면에 해당한다.

도 10의(B)-1에 도시된 바와 같이, 검증대상프레임 #2의 적재정보 값은 비적재 상태에서 적재 상태로 보정되었다.

분석대상프레임은 기설정된 프레임 추출 기준에 따라 추출되고, 분석대상프레임 사이에는 기설정된 시간구간이 존재한다. 도 10의 (B)-1의 프레임 추출 기준은 1초에 1 분석대상프레임을 추출한다 가정하면, 프레임 #1 내지 프레임 #3의 시간구간은 각각 1초이다.

한편, 검증대상프레임의 분석대상프레임 개수가 #2로 1개이고, 기설정된 개수 미만일 경우는, 검증대상프레임 #2의 해당 적재정보인 비적재 상태가 실제 적재정보와 다르다고 판단하여 검증실패로 판단한다.

구체적으로, 제1비교대상프레임 #1의 1초 후 상황이 검증대상프레임 #2이고, 검증대상프레임에 #2의 1초 후 상황이 제2비교대상프레임 #3의 상황이다. 지게차에서 실제 물류 적재를 생각했을 때, 적재 상태인 물류가 1초만에 비적재 상태로, 1초만에 비적재 상태에서 적재 상태로 변화할 수 없으므로, 상기 제2검출부에서 검증실패로 판단한다.

상기 검증실패로 판단된 상기 검증대상프레임 #2는 기설정된 규칙에 따라 보정된다.

본 발명의 실시예들에 따른 상기 기설정된 규칙은, 이미 검증된 제1비교대상프레임 및 제2비교대상프레임의 적재정보에 기초하여 보정한다.

구체적으로, 검증대상프레임으로 도출된 #2의 적재정보인 비적재 상태에 대해, 제1비교대상프레임(#1) 및 제2비교대상프레임(#3)의 적재정보인 적재 상태에 기초하여 검증대상프레임(#2)의 적재정보를 적재 상태로 보정할 수 있다.

도 10의(B)-2에 도시된 바와 같이, 검증대상프레임 #4 내지 #6의 적재정보 값은 비적재 상태에서 적재 상태로 보정되었다.

분석대상프레임은 기설정된 프레임 추출 기준에 따라 추출되고, 분석대상프레임 사이에는 기설정된 시간구간이 존재한다. 도 9의 (B)-2의 프레임 추출 기준은 1초에 1 분석대상프레임을 추출한다 가정하면, 프레임 #1 내지 프레임 #9의 시간구간은 각각 1초이다.

한편, 검증대상프레임 #4 내지 #6로 분석대상프레임의 개수가 3개이고, 기설정된 개수 미만일 경우는, 검증대상프레임 #4 내지 #6의 해당 적재정보인 비적재 상태가 실제 적재정보와 다르다고 판단하여 검증실패로 판단한다.

구체적으로, 제1비교대상프레임 #3의 1초 후 상황이 검증대상프레임 #4이고, 검증대상프레임 #6의 1초 후 상황이 제2비교대상프레임 #7의 상황이고, 검증대상프레임 #4 내지 #6은 3초 동안의 상황이다. 지게차에서 실제 물류 적재를 생각했을 때, 물류가 적재 상태였다가 3초 동안 비적재 상태로 변하고 적재 상태로 다시 변화할 수 없으므로, 상기 제2검출부에서 검증실패로 판단한다.

상기 검증실패로 판단된 상기 검증대상프레임 #4 내지 #6은 기설정된 규칙에 따라 보정된다.

구체적으로, 검증대상프레임으로 도출된 #4 내지 #6의 적재정보인 비적재 상태에 대해, 제1비교대상프레임(#1 내지 #3) 및 제2비교대상프레임(#7 내지 #9)의 적재정보인 적재 상태에 기초하여 검증대상프레임(#4 내지 #6)의 적재정보를 적재 상태로 보정할 수 있다.

도 10의(B)-3에 도시된 바와 같이, 프레임 #4 내지 프레임 #6의 적재정보 값은 비적재 상태에서 적재 상태로 보정되지 않았다.

구체적으로, 분석대상프레임은 기설정된 프레임 추출 기준에 따라 추출되고, 분석대상프레임 사이에는 기설정된 시간구간이 존재한다. 도 9의 (B)-3의 프레임 추출 기준은 1초에 1 분석대상프레임을 추출한다 가정하면, 프레임 #1 내지 프레임 #21의 시간구간은 각각 1초이다.

한편, 검증대상프레임의 분석대상프레임의 개수가 #4 내지 #18로 15개이고, 기설정된 개수 이상일 경우는, 검증대상프레임 #4 내지 #18의 해당 적재정보인 비적재 상태가 실제 적재정보와 같다고 판단하여 검증성공으로 판단한다.

구체적으로, 제1비교대상프레임 #3의 1초 후 상황이 검증대상프레임 #4이고, 검증대상프레임 #18의 1초 후 상황이 제2비교대상프레임 #19의 상황이고, 검증대상프레임 #4 내지 #18은 15초 동안의 상황이다. 지게차에서 실제 물류 적재를 생각했을 때, 적재 상태인 물류가 적재 상태였다가 15초 동안 비적재 상태로 변하고 적재 상태로 다시 변화할 수 있으므로, 상기 제2검출부에서 검증성공으로 판단한다. 예를 들어, 적재한 물류를 하역하고, 15초 후에 다시 적재하는 상황일 수 있다.

상기 검증대상프레임 #4 내지 #18은 검증성공으로 판단되고, 프레임 #4 내지 프레임 #18의 적재정보는 적재정보저장부에 저장된다.

도 11은 본 발명의 일 실시예에 따른 제2검증단계(S140)의 적재정보가 적재량 및 적재율인 경우를 개략적으로 도시한다.

도 11의 (A)는 적재정보가 적재량 및 적재율인 경우에 비교대상프레임 및 검증대상프레임을 도시한 도면에 해당한다.

도 11의 (A)-1에 도시된 바와 같이, 프레임 #1 및 프레임 #2는 제1비교대상프레임 및 제2비교대상프레임으로 도출되고, 프레임 #2는 검증대상프레임으로 도출된다.

구체적으로, 프레임 #1의 적재량은 30이고, 프레임 #2의 적재량은 130으로, 프레임 #1에서 프레임 #2의 적재량 변화량은 100이다. 또한, 프레임 #2의 적재량은 130이고, 프레임 #3의 적재량은 31으로, 프레임 #2에서 프레임 #3의 적재량 변화량은 99이다.

프레임 #1에서 프레임 #2로 변화한 적재량 값 및 프레임 #2에서 프레임 #3으로 변화한 적재량 값에 기초하여, 해당 변화량이 기설정된 기준값보다 크게 변화한 구간이므로, 검증대상프레임은 프레임 #2로 도출되고, 프레임 #1은 제1비교대상프레임 및 프레임 #3은 제2비교대상프레임으로 도출된다.

도 11의 (A)-2에 도시된 바와 같이, 제1비교대상프레임 및 제2비교대상프레임은 관리자 설정에 따라 1 이상의 분석대상프레임을 포함할 수 있다.

구체적으로, 프레임 #3의 적재량은 30이고, 프레임 #4의 적재량은 130으로, 프레임 #3에서 프레임 #4의 적재량 변화량은 100이다. 또한, 프레임 #6의 적재량은 130이고, 프레임 #7의 적재량은 31으로, 프레임 #6에서 프레임 #7의 적재량 변화량은 99이다.

프레임 #3에서 프레임 #4로 변화한 적재량 값 및 프레임 #6에서 프레임 #7로 변화한 적재량 값에 기초하여, 해당 변화량이 각각 기설정된 기준값보다 크게 변화한 구간이므로, 검증대상프레임은 프레임 #4 내지 프레임 #6으로 도출되고, 프레임 #1 내지 프레임 #3은 제1비교대상프레임 및 프레임 #7 내지 프레임 #9는 제2비교대상프레임으로 도출된다.

프레임 #1 내지 프레임 #3의 각각의 적재량 변화량, 프레임 #4 내지 프레임 #6 각각의 적재량 변화량 및 프레임 #7 내지 프레임 #9의 각각의 적재량 변화량은 기설정된 기준값보다 작게 변화한 구간이므로 검증대상프레임 및 비교대상프레임의 도출 구간에 해당하지 않는다.

도 11의 (A)-3에 도시된 바와 같이, 제1비교대상프레임 및 제2비교대상프레임은 관리자 설정에 따라 1 이상의 분석대상프레임을 포함할 수 있다.

구체적으로, 프레임 #3의 적재량은 30이고, 프레임 #4의 적재량은 130으로, 프레임 #3에서 프레임 #4의 적재량 변화량은 100이다. 또한, 프레임 #18의 적재량은 131이고, 프레임 #19의 적재량은 31으로, 프레임 #18에서 프레임 #19의 적재량 변화량은 100이다.

프레임 #3에서 프레임 #4로 변화한 적재량 값 및 프레임 #18에서 프레임 #19로 변화한 적재량 값에 기초하여, 해당 변화량이 각각 기설정된 기준값보다 크게 변화한 구간이므로, 검증대상프레임은 프레임 #4 내지 프레임 #18으로 도출되고, 프레임 #1 내지 프레임 #3은 제1비교대상프레임 및 프레임 #19 내지 프레임 #21은 제2비교대상프레임으로 도출된다.

프레임 #1 내지 프레임 #3의 각각의 적재량 변화량, 프레임 #4 내지 프레임 #18 각각의 적재량 변화량 및 프레임 #19 내지 프레임 #21의 각각의 적재량 변화량은 기설정된 기준값보다 작게 변화한 구간이므로 검증대상프레임 및 비교대상프레임의 도출 구간에 해당하지 않는다.

도 11의 (B)는 적재정보가 적재량 및 적재율인 경우에 검증 및 보정의 결과를 도시한 도면에 해당한다.

도 11의(B)-1에 도시된 바와 같이, 검증대상프레임 #2의 적재정보 값은 30.5로 보정되었다.

구체적으로, 분석대상프레임은 기설정된 추출 기준에 따라 추출되고, 분석대상프레임에는 시간구간이 존재한다. 도 10의 (B)-1의 프레임 추출 기준을 1초에 1 분석대상프레임을 추출한다 가정하면, 프레임 #1 내지 프레임 #3의 시간구간은 각각 1초이다.

한편, 검증대상프레임의 분석대상프레임 개수가 #2로 1개이고, 기설정된 개수 미만일 경우는, 검증대상프레임 #2의 해당 적재정보인 적재량 130이 실제 적재정보와 다르다고 판단하여 검증실패로 판단한다.

구체적으로, 제1비교대상프레임 #1의 1초 후 상황이 검증대상프레임 #2이고, 검증대상프레임에 #2의 1초 후 상황이 제2비교대상프레임 #3의 상황이다. 지게차에서 실제 물류 적재를 생각했을 때, 적재량이 30인 물류가 1초만에 적재량이 130으로, 1초만에 적재량이 130에서 31으로 변화할 수 없으므로, 상기 제2검출부에서 검증실패로 판단한다.

구체적으로, 검증대상프레임으로 도출된 #2의 적재량 130에 대해, 제1비교대상프레임(#1) 및 제2비교대상프레임(#3)의 적재량인 30 및 31의 평균값 30.5에 기초하여 검증대상프레임(#2)의 적재정보를 적재량 30.5로 보정할 수 있다.

본 발명의 다른 실시예에서는, 상기 기설정된 규칙은, 제1비교대상프레임 및 제2비교대상프레임의 적재정보에 기초한 다양한 값으로 활용할 수 있다. 예를 들어, 제1비교대상프레임의 값으로 활용할 수 있고, 제2비교대상프레임의 값으로 활용할 수 있다.

도 11의(B)-2에 도시된 바와 같이, 검증대상프레임 #4 내지 #6의 적재정보 값은 각각 30으로 보정되었다.

구체적으로, 분석대상프레임은 기설정된 추출 기준에 따라 추출되고, 분석대상프레임에는 시간구간이 존재한다. 도 9의 (B)-2의 프레임 추출 기준을 1초에 1 분석대상프레임을 추출한다 가정하면, 프레임 #1 내지 프레임 #9의 시간구간은 각각 1초이다.

한편, 검증대상프레임 분석대상프레임 개수가 #4 내지 #6로 3개이고, 기설정된 개수 미만일 경우는, 검증대상프레임 #4 내지 #6의 해당 적재정보인 적재량 130, 135 및 130이 실제 적재정보와 다르다고 판단하여 검증실패로 판단한다.

구체적으로, 제1비교대상프레임 #3의 1초 후 상황이 검증대상프레임 #4이고, 검증대상프레임에 #18의 1초 후 상황이 제2비교대상프레임 #19의 상황이다. 지게차에서 실제 물류 적재를 생각했을 때, 적재량이 30인 물류가 3초 동안 적재량의 변화량이 기설정된 기준치보다 커지고, 다시 기설정된 기준치보다 작아져 31로 변화할 수 없으므로, 상기 제2검출부에서 검증실패로 판단한다.

구체적으로, 검증대상프레임으로 도출된 #4 내지 #6의 적재량 130, 135 및 130에 대해, 제1비교대상프레임(#1 내지 #3)의 평균값인 30 및 제2비교대상프레임(#7 내지 #9)의 평균값인 32에 기초하여 상기 두 평균값의 평균값으로 검증대상프레임 #4 내지 #6의 적재정보를 적재량 31으로 보정할 수 있다.

본 발명의 다른 실시예에서는, 상기 기설정된 규칙은, 제1비교대상프레임 및 제2비교대상프레임의 적재정보에 기초한 다양한 값으로 활용할 수 있다. 예를 들어, 제1비교대상프레임 및 제2비교대상프레임의 평균값을 각각을 활용할 수 있다.

도 11의(B)-3에 도시된 바와 같이, 프레임 #4 내지 프레임 #6의 적재정보 값은 보정되지 않았다.

구체적으로, 분석대상프레임은 기설정된 추출 기준에 따라 추출되고, 분석대상프레임에는 시간구간이 존재한다. 도 9의 (B)-3의 프레임 추출 기준을 1초에 1 분석대상프레임을 추출한다 가정하면, 프레임 #1 내지 프레임 #21의 시간구간은 각각 1초이다.

검증대상프레임의 분석대상프레임 개수가 #4 내지 #18로 15개이고, 기설정된 개수 이상일 경우는, 검증대상프레임 #4 내지 #6의 해당 적재정보인 적재량 각각이 실제 적재정보와 같다고 판단하여 검증성공으로 판단한다.

구체적으로, 제1비교대상프레임 #3의 1초 후 상황이 검증대상프레임 #4이고, 검증대상프레임 #18의 1초 후 상황이 제2비교대상프레임 #19의 상황이고, 검증대상프레임 #4 내지 #18은 15초 동안의 상황이다. 지게차에서 실제 물류 적재를 생각했을 때, 적재량이 30인 물류가 15초 동안 적재량의 변화량이 기설정된 기준치보다 커지고, 다시 기설정된 기준치보다 작아져 31로 변화할 수 있으므로, 상기 제2검출부에서 검증성공으로 판단한다. 예를 들어, 적재한 물류에 변화량만큼 더 적재하고 15초 후에 다시 하역하는 상황일 수 있다.

도 12은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.

상술한 도 2에 도시된 서비스서버(1000)는 상기 도 12에 도시된 컴퓨팅장치(11000)의 구성요소들을 포함할 수 있다.

도 12에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)는 도 2에 도시된 서비스서버(1000)에 해당될 수 있다.

메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.

주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.

이러한 도 12의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 12에 도시된 일부 컴포넌트가 생략되거나, 도 12에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 12에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 서비스서버(1000) 혹은 관리자단말(3000)에 설치될 수 있다. 일 예로, 파일 배포 시스템은 서비스서버(1000) 혹은 관리자단말(3000)의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명의 일 실시예에 따르면, 지게차 화물 적재정보를 판단하는 방법은 수집한 영상 정보를 시간의 흐름에 따라 프레임 단위로 분석하고 검증하므로, 연속적인 작업 상태를 고려하여 정확성을 향상할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 추론모델으로 적재정보를 산출하고, 기설정된 규칙에 의해 검증 및 보정하므로, 처리 속도와 정확도를 높이는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 적재정보생성단계는 지게차의 적재량을 자동으로 산출할 수 있으므로, 물류의 입출고량을 정확하게 파악 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 적재정보생성단계는 지게차의 적재량을 자동으로 입력할 수 있으므로, 작업자가 따로 입출고량을 입력하지 않아 작업효율을 높이는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 적재정보생성단계는 지게차의 적재량 및 적재율을 산출할 수 있으므로, 지게차의 작업효율을 관리할 수 있는 효과를 발휘할 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

복수의 지게차에 설치된 지게차단말과 통신을 수행하는 서비스서버에서 수행하는 지게차 화물 적재정보 판단방법으로서,
상기 지게차단말 각각으로부터 영상정보를 수신하는 정보수신단계;
각각의 지게차단말의 영상정보에 기초하여 기설정된 규칙에 따라 각각의 분석대상프레임을 추출하는 추출단계; 및 각각의 분석대상프레임에서 포크, 팔레트 및 물류를 포함하는 객체의 바운딩박스정보를 검출하는 검출단계;를 포함하는 객체검출단계;
상기 객체검출단계에서 검출된 2 이상의 객체의 바운딩박스정보의 상호관계에 대하여, 기설정된 제1규칙세트를 적용하여 각각의 객체의 바운딩박스정보에 대한 검증을 수행하는 제1검증단계;
상기 제1검증단계에서 모든 바운딩박스정보가 검증성공으로 판단되는 경우에는, 각각의 바운딩박스정보에 대하여 적재정보를 생성하는 적재정보생성단계;
2 이상의 분석대상프레임에서의 상기 적재정보생성단계에서 생성한 적재정보들의 상호관계에 대하여, 기설정된 제2규칙세트를 적용하여, 각각의 분석대상프레임의 적재정보를 검증하고, 상기 적재정보가 검증실패로 판단되는 경우에는, 해당 적재정보를 보정하는 제2검증단계; 및
상기 제2검증단계에서 검증성공으로 판단한 적재정보 및 보정한 적재정보를 저장하는 적재정보저장단계;를 포함하는, 지게차 화물 적재정보 판단방법.
청구항 1에 있어서,
상기 추출단계는,
지게차 영상정보의 전체 프레임 중에서 기설정된 규칙으로 시계열에 따라 상기 분석대상프레임을 추출하는, 지게차 화물 적재정보 판단방법.
청구항 1에 있어서,
상기 제1규칙세트는 복수의 검증실패기준을 포함하고,
상기 제1검증단계는,
해당 분석대상프레임의 상기 바운딩박스정보가 상기 복수의 검증실패기준에 모두 부합하지 않은 경우에는 검증성공으로 판단하고, 상기 바운딩박스정보가 기설정된 복수의 검증실패기준에 1 이상의 검증실패기준에 부합하면, 검증실패로 판단하는, 지게차 화물 적재정보 판단방법.
청구항 1에 있어서,
상기 제1검증단계는,
해당 분석대상프레임에서 포크의 바운딩박스가 도출되지 않은 것을 판단하는 제1단계;
해당 분석대상프레임에서 물류의 바운딩박스의 아랫변이 포크의 바운딩박스 내에 있지 않은 것을 판단하는 제2단계;
해당 분석대상프레임에서 팔레트의 바운딩박스의 아랫변이 포크의 바운딩박스 내에 있지 않은 것을 판단하는 제3단계;
해당 분석대상프레임에서 팔레트의 바운딩박스의 아랫변과 물류의 바운딩박스의 아랫변 사이의 거리가 기준치보다 크거나 작은 것을 판단하는 제4단계;
해당 분석대상프레임에서 포크의 바운딩박스 아랫변과 물류의 바운딩박스의 아랫변 사이 거리가 기준치보다 큰 것을 판단하는 제5단계; 및
해당 분석대상프레임에서 포크의 바운딩박스의 아랫변과 팔레트의 바운딩박스 아랫변 사이 거리가 기준치보다 큰 것을 판단하는 제6단계;를 포함하고,
해당 분석대상프레임이 상기 제1단계 내지 제6단계에서의 판단에 모두 부합하지 않는 경우에 검증성공으로 판단하는 검증성공판단단계;를 포함하는, 지게차 화물 적재정보 판단방법.
청구항 1에 있어서,
상기 제1규칙세트는 복수의 검증실패기준을 포함하고,
상기 제1검증단계는,
해당 분석대상프레임의 모든 상기 바운딩박스정보가 상기 복수의 검증실패기준에 모두 부합하지 않은 경우에는 검증성공으로 판단하고, 상기 바운딩박스정보가 기설정된 복수의 검증실패기준에 1 이상의 검증실패기준에 부합하면 제1검증실패로 판단하는 검증판단단계; 및
상기 바운딩박스정보가 기설정된 복수의 검증실패기준 중 1 이상의 검증실패 기준에 부합하는 경우에는, 해당 바운딩박스정보를 검출한 해당 분석대상프레임의 해상도가 원본 해상도 미만인 경우를 판단하는 해상도판단단계;를 포함하고,
상기 해상도판단단계에서 해당 분석대상프레임의 해상도가 원본 해상도 미만이라고 판단되는 경우에는, 해당 분석대상프레임의 해상도를 높여 상기 객체검출단계, 상기 검증판단단계 및 상기 해상도판단단계를 다시 수행하는, 지게차 화물 적재정보 판단방법.
청구항 1에 있어서,
상기 적재정보생성단계는,
바운딩박스정보에 기초하여 적재정보인 물류의 적재유무, 적재량 및 적재율을 산출하고,
상기 적재유무는 물류의 바운딩박스가 검출되었을 때 적재 상태라 판단하고,
상기 적재량은 물류의 바운딩박스의 높이에 비례하여 산출하고,
상기 적재율은 포크 및 물류의 바운딩박스의 높이에 기초하여 산출하는, 지게차 화물 적재정보 판단방법.
청구항 1에 있어서,
상기 제2검증단계는,
복수의 분석대상프레임에 대해, 각각의 해당 적재정보의 변화 및 기설정된 규칙에 기초하여 제1비교대상프레임, 검증대상프레임 및 제2비교대상프레임 순서대로 도출하는 검증대상프레임도출단계;
상기 검증대상프레임의 분석대상프레임 개수에 기초하여, 상기 제2규칙세트를 적용하여, 상기 검증대상프레임의 적재정보를 검증하는 적재정보검증단계; 및
상기 적재정보가 검증실패로 판단되면, 상기 검증대상프레임의 적재정보를 제1비교대상프레임 및 제2비교대상프레임의 적재정보에 기초하여 보정하는 적재정보보정단계;를 포함하는, 지게차 화물 적재정보 판단방법.
청구항 7에 있어서,
적재정보가 적재유무인 경우에는,
적재 및 비적재 상태의 변화에 기초하여 검증대상프레임을 도출하고, 제1비교대상프레임에 해당하는 분석대상프레임 각각의 적재유무 상태는 같고, 검증대상프레임에 해당하는 분석대상프레임 각각의 적재유무 상태는 같고, 제2비교대상프레임에 해당하는 분석대상프레임 각각의 적재유무 상태는 같고, 검증대상프레임의 적재유무 상태는 제1비교대상프레임 및 제2비교대상프레임의 적재유무 상태와 상이한 상태에 해당하는, 지게차 화물 적재정보 판단방법.
청구항 7에 있어서,
적재정보가 적재량 및 적재율인 경우에는,
적재량 및 적재율 값이 기설정된 기준치 이상 변화함에 기초하여 검증대상프레임을 도출하고, 제1비교대상프레임에 해당하는 분석대상프레임 각각의 적재량 및 적재율 차이는 기설정된 기준치 미만이고, 검증대상프레임에 해당하는 분석대상프레임 각각의 적재량 및 적재율 차이는 기설정된 기준치 미만이고, 제2비교대상프레임에 해당하는 분석대상프레임 각각의 적재량 및 적재율의 차이는 기준치 미만이고, 검증대상프레임의 적재량 및 적재율은 제1비교대상프레임 및 제2비교대상프레임의 적재량 및 적재율의 차이는 기준치 이상에 해당하는, 지게차 화물 적재정보 판단방법.
복수의 지게차에 설치된 지게차단말과 통신을 수행하여 지게차 화물 적재정보 판단방법을 수행하는 서비스서버로서,
상기 지게차단말 각각으로부터 영상정보를 수신하는 정보수신단계;
각각의 지게차단말의 영상정보에 기초하여 기설정된 규칙에 따라 각각의 분석대상프레임을 추출하는 추출단계; 및 각각의 분석대상프레임에서 포크, 팔레트 및 물류를 포함하는 객체의 바운딩박스정보를 검출하는 검출단계;를 포함하는 객체검출단계;
상기 객체검출단계에서 검출된 2 이상의 객체의 바운딩박스정보의 상호관계에 대하여, 기설정된 제1규칙세트를 적용하여 각각의 객체의 바운딩박스정보에 대한 검증을 수행하는 제1검증단계;
상기 제1검증단계에서 모든 바운딩박스정보가 검증성공으로 판단되는 경우에는, 각각의 바운딩박스정보에 대하여 적재정보를 생성하는 적재정보생성단계;
2 이상의 분석대상프레임에서의 상기 적재정보생성단계에서 생성한 적재정보들의 상호관계에 대하여, 기설정된 제2규칙세트를 적용하여, 각각의 분석대상프레임의 적재정보를 검증하고, 상기 적재정보가 검증실패로 판단되는 경우에는, 해당 적재정보를 보정하는 제2검증단계; 및
상기 제2검증단계에서 검증성공으로 판단한 적재정보 및 보정한 적재정보를 저장하는 적재정보저장단계;를 포함하는 지게차 화물 적재정보 판단방법을 수행하는, 서비스서버.
복수의 지게차에 설치된 지게차단말과 통신을 수행하고, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅장치에서 수행되는 지게차 화물 적재정보 판단방법을 구현하기 위한, 컴퓨터-판독가능 매체로서, 상기 컴퓨터-판독가능 매체는, 컴퓨팅장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은:
상기 지게차단말 각각으로부터 영상정보를 수신하는 정보수신단계;
각각의 지게차단말의 영상정보에 기초하여 기설정된 규칙에 따라 각각의 분석대상프레임을 추출하는 추출단계; 및 각각의 분석대상프레임에서 포크, 팔레트 및 물류를 포함하는 객체의 바운딩박스정보를 검출하는 검출단계;를 포함하는 객체검출단계;
상기 객체검출단계에서 검출된 2 이상의 객체의 바운딩박스정보의 상호관계에 대하여, 기설정된 제1규칙세트를 적용하여 각각의 객체의 바운딩박스정보에 대한 검증을 수행하는 제1검증단계;
상기 제1검증단계에서 모든 바운딩박스정보가 검증성공으로 판단되는 경우에는, 각각의 바운딩박스정보에 대하여 적재정보를 생성하는 적재정보생성단계;
2 이상의 분석대상프레임에서의 상기 적재정보생성단계에서 생성한 적재정보들의 상호관계에 대하여, 기설정된 제2규칙세트를 적용하여, 각각의 분석대상프레임의 적재정보를 검증하고, 상기 적재정보가 검증실패로 판단되는 경우에는, 해당 적재정보를 보정하는 제2검증단계; 및
상기 제2검증단계에서 검증성공으로 판단한 적재정보 및 보정한 적재정보를 저장하는 적재정보저장단계;를 포함하는, 컴퓨터-판독가능 매체.