KR102578727B1 - Method for tracking management and processing of logistics based on artificial intelligence - Google Patents

Method for tracking management and processing of logistics based on artificial intelligence Download PDF

Info

Publication number
KR102578727B1
KR102578727B1 KR1020200177326A KR20200177326A KR102578727B1 KR 102578727 B1 KR102578727 B1 KR 102578727B1 KR 1020200177326 A KR1020200177326 A KR 1020200177326A KR 20200177326 A KR20200177326 A KR 20200177326A KR 102578727 B1 KR102578727 B1 KR 102578727B1
Authority
KR
South Korea
Prior art keywords
logistics
recognition information
information
artificial intelligence
relationship
Prior art date
Application number
KR1020200177326A
Other languages
Korean (ko)
Other versions
KR20220087019A (en
Inventor
송민구
Original Assignee
(주)스톤랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)스톤랩 filed Critical (주)스톤랩
Priority to KR1020200177326A priority Critical patent/KR102578727B1/en
Publication of KR20220087019A publication Critical patent/KR20220087019A/en
Application granted granted Critical
Publication of KR102578727B1 publication Critical patent/KR102578727B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/15Correlation function computation including computation of convolution operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Development Economics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Algebra (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)

Abstract

본 발명은 인공지능 기반 물류 추적 관리 및 처리 방법에 관한 것으로, 고정 장비 및 이동 장비에 부착된 카메라 모듈 및 마이크 모듈을 포함하는 기기를 이용하여 영상 및 음성 정보를 수집하여 취득하는 제1단계; 취득된 영상 및 음성 정보를 독립적으로 구분하여 노이즈 신호를 제거하고, 인공지능 연산과정에 의해 식별 가능한 패턴 형태로 자동 판별하는 제2단계; 판별된 패턴 정보를 토대로 물류 및 작업자 형상을 분석하여 형상 인식 정보를 특정하는 제3단계; 상기 제3단계의 결과로 구분된 단위 형상 간의 관계를 분석하여 관계 인식 정보를 특정하는 제4단계; 상기 제3단계 및 제4단계의 결과에 대해 가중치 합산하여 최종 인식 정보를 교정하고 식별 정보를 결합하는 제5단계; 및 상기 제5단계의 결과를 이용하여 물류 처리작업 현장 내부 및 외부에서 물류 추적 관리 및 처리하는 제6단계;를 포함하는 것을 특징으로 한다.The present invention relates to an artificial intelligence-based logistics tracking management and processing method, comprising: a first step of collecting and acquiring video and audio information using a device including a camera module and a microphone module attached to fixed equipment and mobile equipment; A second step of independently separating the acquired video and audio information to remove noise signals and automatically determining them into identifiable patterns through an artificial intelligence calculation process; A third step of specifying shape recognition information by analyzing logistics and worker shapes based on the determined pattern information; A fourth step of specifying relationship recognition information by analyzing the relationship between unit shapes classified as a result of the third step; A fifth step of correcting the final recognition information and combining the identification information by adding weights to the results of the third and fourth steps; And a sixth step of tracking and managing and processing logistics inside and outside the logistics processing site using the results of the fifth step.

Description

인공지능 기반 물류 추적 관리 및 처리 방법{Method for tracking management and processing of logistics based on artificial intelligence}{Method for tracking management and processing of logistics based on artificial intelligence}

본 발명은 인공지능 기반 물류 추적 관리 및 처리 방법에 관한 것으로, 더욱 상세하게는 시청각 및 텍스트 정보를 인식하고 설정된 목적에 맞게 작동하는 인공지능을 활용하는 물류 추적 관리 및 처리 방법에 관한 것이다. The present invention relates to an artificial intelligence-based logistics tracking management and processing method, and more specifically, to a logistics tracking management and processing method utilizing artificial intelligence that recognizes audio-visual and text information and operates for a set purpose.

특정 목적에 따라 다양한 정보를 해석할 수 있는 인공지능 기술과 복잡한 기계공정을 정교하게 처리할 수 있는 로보틱스 기술이 발달함에 따라, 각종 산업 분야에서 인공지능 기반 스마트 자동화 개념이 상세하게 정립되고 있다. 근래의 상용 인공지능 기술은 주로 딥러닝 알고리즘을 활용하여 영상, 음성, 텍스트 등 정보를 인식하고 목적에 따라 적합한 형태로 변환해주는 형태로 발전해왔는데, 이 기술로 창출되는 부가가치가 큰 자율주행 자동차, 스마트 공장, 스마트 비서 등의 상용 제품을 우리 주변에서도 접할 수 있다. 반면, 로보틱스 기술은 2족 또는 4족 보행 로봇 형태 등의 기계로서 상당한 노동력이 요구되거나 위험성이 있는 작업을 효과적으로 수행할 수 있도록 발전해왔으며, 부분적으로 근로자의 생산성, 작업효율성 향상 또는 안전 보호를 위한 웨어러블 형태의 기계 제조에도 활용되어 왔다.With the development of artificial intelligence technology that can interpret various information according to specific purposes and robotics technology that can precisely process complex mechanical processes, the concept of artificial intelligence-based smart automation is being established in detail in various industrial fields. Recently, commercial artificial intelligence technology has mainly developed into a form that uses deep learning algorithms to recognize information such as video, voice, and text and convert it into an appropriate form according to the purpose. The added value created by this technology is self-driving cars, smart cars, etc. Commercial products such as factories and smart assistants can be found all around us. On the other hand, robotics technology has been developed to effectively perform tasks that require significant labor or are risky through machines such as two- or four-legged robots, and wearables to improve worker productivity, work efficiency, or protect safety. It has also been used in the manufacture of various types of machinery.

한편, 현재의 물류 산업에서 물체를 인식하고 물류를 적절하게 분류하여 포장하고 이동하는 작업이 대체적으로 인간의 노동력에 의존하고 있다. 많은 양의 운반이 어려운 물체부터 세밀한 소체적 물체를 단시간에 분류하는 경우, 투입 인력의 한계 및 인적 오류(human error)로 인해 재물 파손, 재화 손실 등이 발생하며 해마다 증가하는 인력 대비 물동량으로 인해 막대한 경제적, 산업적 손실이 야기되고 있다. Meanwhile, in the current logistics industry, the work of recognizing objects, appropriately classifying, packaging, and moving logistics largely relies on human labor. When sorting objects that are difficult to transport in large quantities or small, detailed objects in a short period of time, damage to property and loss of goods occur due to limitations in manpower and human error, and the volume of goods transported relative to manpower increases every year, resulting in enormous volume. Economic and industrial losses are being caused.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 영상, 음성, 텍스트 정보의 데이터를 인식하여 설정된 목적에 맞게 인공지능을 활용하여 전반적인 제반 작업 효율성 및 물류 처리 유연성을 개선하고 취급 물류의 포괄성을 증진하는 인공지능 기반 물류 추적 관리 및 처리 방법을 제공하는 데 있다.The purpose of the present invention to solve the above problems is to recognize data of video, voice, and text information and utilize artificial intelligence for the set purpose to improve overall work efficiency and logistics processing flexibility and to improve comprehensiveness of handling logistics. The goal is to provide improved artificial intelligence-based logistics tracking management and processing methods.

상기와 같은 목적을 달성하기 위한 본 발명의 인공지능 기반 물류 추적 관리 및 처리 방법은 고정 장비 및 이동 장비에 부착된 카메라 모듈 및 마이크 모듈을 포함하는 기기를 이용하여 영상 및 음성 정보를 수집하여 취득하는 제1단계; 취득된 영상 및 음성 정보를 독립적으로 구분하여 노이즈 신호를 제거하고, 인공지능 연산과정에 의해 식별 가능한 패턴 형태로 자동 판별하는 제2단계; 판별된 패턴 정보를 토대로 물류 및 작업자 형상을 분석하여 형상 인식 정보를 특정하는 제3단계; 상기 제3단계의 결과로 구분된 단위 형상 간의 관계를 분석하여 관계 인식 정보를 특정하는 제4단계; 상기 제3단계 및 제4단계의 결과에 대해 가중치 합산하여 최종 인식 정보를 교정하고 식별 정보를 결합하는 제5단계; 및 상기 제5단계의 결과를 이용하여 물류 처리작업 현장 내부 및 외부에서 물류 추적 관리 및 처리하는 제6단계;를 포함하는 것을 특징으로 한다. The artificial intelligence-based logistics tracking management and processing method of the present invention to achieve the above objectives collects and acquires video and audio information using devices including camera modules and microphone modules attached to fixed equipment and mobile equipment. Step 1; A second step of independently separating the acquired video and audio information to remove noise signals and automatically determining them into identifiable patterns through an artificial intelligence calculation process; A third step of specifying shape recognition information by analyzing logistics and worker shapes based on the determined pattern information; A fourth step of specifying relationship recognition information by analyzing the relationship between unit shapes classified as a result of the third step; A fifth step of correcting the final recognition information and combining the identification information by adding weights to the results of the third and fourth steps; And a sixth step of tracking and managing and processing logistics inside and outside the logistics processing site using the results of the fifth step.

상기 인식 정보는 영상 또는 음성 형태이며, 인공지능 연산과정은 컨벌루셔널(convolutional) 연산이 수반되는 필터를 이용하거나 입력 시점별로 구분된 N개의 단위 정보를 한 개의 순차적인 입력 단위로 설정하여 이에 대해 비선형(non-linear) 함수에 의한 변환을 거치는 학습 구조를 수반하며 분류 또는 판별 태스크를 수행하여 식별 가능한 패턴을 추정하는 것을 특징으로 한다.The recognition information is in the form of video or audio, and the artificial intelligence calculation process uses a filter involving convolutional operation or sets N unit information divided by input time into one sequential input unit. It involves a learning structure that undergoes transformation by a non-linear function and is characterized by estimating identifiable patterns by performing a classification or discrimination task.

상기 인식 정보는 고정 장비 및 이동 장비에 부착된 기기 내부의 어플리케이션 프로세서에서 처리하거나 네트워크를 통해 전송하여 원격 서버에서 처리하는 것을 특징으로 한다. The recognition information is processed by an application processor inside a device attached to fixed equipment or mobile equipment, or transmitted through a network and processed by a remote server.

상기 제2단계에서 취득된 영상 및 음성 정보는 독립적으로 구분되어 노이즈 신호가 제거되고 정규화를 거친 후 인공지능 연산과정에 의해 식별 가능한 패턴 형태로 변환되며, 한 개의 영상 및 음성 내에서 여러 개의 객체 형상이 검출되는 것을 특징으로 한다.The video and audio information acquired in the second step are independently divided, noise signals are removed, normalized, and converted into identifiable patterns through an artificial intelligence calculation process, and multiple object shapes are formed within one video and audio. It is characterized by being detected.

상기 제3단계에서 판별된 패턴 정보를 영상의 경우 P개의 픽셀 좌표로 특정된 영역을 한 개의 형상으로 지정하여 R차원 임베딩(embedding)으로 변환할 수 있으며, 사전 정의된 식별 라벨(label)와 매칭하거나 임의의 식별 라벨을 부여하여 인 있는 한편, 음성의 경우 사전을 토대로 텍스트로 변환하여 그 정보의 단어(word), 문구(phrase) 또는 문장(sentence)를 라벨로 활용하는 것을 특징으로 한다.In the case of an image, the pattern information determined in the third step can be converted into R-dimensional embedding by designating an area specified by P pixel coordinates as one shape and matching it with a predefined identification label. On the other hand, in the case of voice, it is characterized by converting it into text based on a dictionary and using the word, phrase, or sentence of the information as a label.

상기 제4단계에서 단위 형상 간의 관계를 식별 라벨 및 형상의 임베딩 간 유사도를 기반으로 분석해 주는 것을 특징으로 한다.In the fourth step, the relationship between unit shapes is analyzed based on the similarity between the identification label and the embedding of the shape.

상기 제5단계에서 제1단계에서 M개의 고정 장비로 취득되는 인식 정보에 대한 제3단계의 형상 인식 정보 및 제4단계의 관계 인식 정보와 제1단계에서 L개의 이동 장비로 취득되는 인식 정보에 대한 제3단계의 형상 인식 정보 및 제4단계의 관계 인식 정보에 대해 사전 설정되거나 변경 가능한 신뢰도 가중치(가중치 범위: 0~1, 가중치 총합)를 부여한 후 선형 합산하여 제3단계의 형상 인식 정보 및 제4단계의 관계 인식 정보를 교정하여 최종 형상 인식 정보 및 최종 관계 인식 정보를 도출하여 데이터베이스를 구성하거나 외부의 물류 관리 DB 등에 기록된 텍스트의 식별 정보와 결합하여 신규 데이터베이스로 확장하는 것을 특징으로 한다.In the fifth step, the shape recognition information in the third step and the relationship recognition information in the fourth step are related to the recognition information acquired by M fixed devices in the first step, and the recognition information acquired by L mobile devices in the first step. A preset or changeable reliability weight (weight range: 0 to 1, total weight) is given to the third stage shape recognition information and the fourth stage relationship recognition information, and then linearly added to the third stage shape recognition information and It is characterized by correcting the relationship recognition information in the fourth step to derive the final shape recognition information and final relationship recognition information to form a database, or by combining it with identification information of text recorded in an external logistics management DB, etc. to expand into a new database. .

상기 제6단계에서 제5단계의 최종 형상 인식 정보 및 최종 관계 인식 정보를 활용하여 작업현장 내부 및 외부에서의 물류 추적 관리 및 처리를 위해 입출고 되는 물류의 외형검사 및 물류 패턴 분석, 사물 위치 특정 및 수량 관리와 이상 물류 감지, 소체적 사물 식별 및 다품종 물류 분별을 해주는 기능을 제공하는 것을 특징으로 한다.Using the final shape recognition information and final relationship recognition information from the 6th to 5th steps, external inspection and logistics pattern analysis of incoming and outgoing logistics for logistics tracking management and processing inside and outside the work site, object location specification, and It is characterized by providing functions for quantity management, abnormal logistics detection, small object identification, and multi-product logistics classification.

상기와 같이, 본 발명의 인공지능 기반 물류 추적 관리 및 처리 방법에 따르면 물류 추적 관리 및 처리에 있어 작업 프로세스에서 획득되는 각종 정보를 결합하여 목적에 따라 분석된 재생산 정보를 이용하여, 보다 폭넓은 종류의 물류에 대한 유연한 취급 및 처리를 가능하게 하며 작업자의 편의성을 개선하고 더 나아가 일부 작업을 기계로 대체할 수 있게 되므로 자동화 효율을 높이면서 전체적으로 물류 파손 등을 줄이고 단위 시간당 처리량을 늘려 경제적 이익을 창출할 수 있는 산업적 효과를 기대할 수 있다.As described above, according to the artificial intelligence-based logistics tracking management and processing method of the present invention, various types of information obtained in the work process are combined in logistics tracking management and processing, and the reproduction information analyzed according to the purpose is used to provide a wider range of types. It enables flexible handling and processing of logistics, improves operator convenience, and further allows some tasks to be replaced by machines, thereby increasing automation efficiency, reducing overall logistics damage, and increasing processing volume per unit time, creating economic benefits. Industrial effects can be expected.

도 1은 본 발명에 따른 인공지능 기반 물류 추적 관리 및 처리 시스템의 구성도이다.
도 2는 본 발명에 따른 인공지능 기반 물류 추적 관리 및 처리 방법의 흐름도이다.
Figure 1 is a configuration diagram of an artificial intelligence-based logistics tracking management and processing system according to the present invention.
Figure 2 is a flowchart of an artificial intelligence-based logistics tracking management and processing method according to the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.Below, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein.

그러면 본 발명에 따른 인공지능 기반 물류 추적 관리 및 처리 시스템 및 방법의 바람직한 실시예를 자세히 설명하기로 한다.Next, a preferred embodiment of the artificial intelligence-based logistics tracking management and processing system and method according to the present invention will be described in detail.

도 1은 본 발명에 따른 인공지능 기반 물류 추적 관리 및 처리 시스템의 구성도이다.Figure 1 is a configuration diagram of an artificial intelligence-based logistics tracking management and processing system according to the present invention.

도 1을 참조하면, 본 발명에 따른 인공지능 기반 물류 추적 관리 및 처리 시스템은 수집부(100), 전처리부(200), 판별부(300), 분석부(400), 교정부(500), 관리 및 처리부(600)를 포함하여 구성된다.Referring to Figure 1, the artificial intelligence-based logistics tracking management and processing system according to the present invention includes a collection unit 100, a preprocessing unit 200, a determination unit 300, an analysis unit 400, a correction unit 500, It is comprised of a management and processing unit 600.

상기 수집부(100)는 고정 장비 및 이동 장비에 부착된 카메라 모듈(110) 및 마이크 모듈(120)을 포함하는 기기를 이용하여 영상 및 음성 정보를 인식 정보로 수집하여 취득한다. The collection unit 100 collects and acquires video and audio information as recognition information using devices including a camera module 110 and a microphone module 120 attached to fixed equipment and mobile equipment.

상기 인식 정보는 영상 또는 음성 형태이며, 상기 인공지능 연산과정은 컨벌루셔널(convolutional) 연산이 수반되는 필터를 이용하거나 입력 시점별로 구분된 N개의 단위 정보를 한 개의 순차적인 입력 단위로 설정하여 이에 대해 비선형(non-linear) 함수에 의한 변환을 거치는 학습 구조를 수반하며 분류 또는 판별 태스크를 수행하여 식별 가능한 패턴을 추정할 수 있다.The recognition information is in the form of video or audio, and the artificial intelligence calculation process uses a filter involving convolutional calculation or sets N unit information divided by input time into one sequential input unit. It involves a learning structure that undergoes transformation by a non-linear function, and identifiable patterns can be estimated by performing classification or discrimination tasks.

한편, 상기 인식 정보는 M개의 고정 장비 또는 L개의 이동 장비에 부착된 기기 내부의 어플리케이션 프로세서에서 처리하거나 네트워크를 통해 전송하여 원격 서버에서 처리할 수 있다.Meanwhile, the recognition information can be processed by an application processor inside a device attached to M fixed devices or L mobile devices, or transmitted through a network and processed by a remote server.

상기 전처리부(200)는 취득된 영상 및 음성 정보를 독립적으로 구분하여 노이즈 신호를 제거하는 등 전처리한다. 즉, 상기 전처리부(200)는 취득된 영상 및 음성 정보는 독립적으로 구분되어 노이즈 신호가 제거되고 정규화를 거친 후 인공지능 연산과정에 의해 식별 가능한 패턴 형태로 변환되며, 한 개의 영상 및 음성 내에서 여러 개의 객체 형상이 검출될 수 있다.The preprocessing unit 200 independently separates the acquired video and audio information and preprocesses them, such as removing noise signals. That is, the pre-processing unit 200 independently separates the acquired video and audio information, removes noise signals, normalizes them, and converts them into identifiable patterns through an artificial intelligence calculation process, within one video and audio. Multiple object shapes can be detected.

상기 판별부(300)는 인공지능 연산과정에 의해 식별 가능한 패턴 형태로 자동 판별한다.The determination unit 300 automatically determines the pattern into an identifiable pattern through an artificial intelligence calculation process.

상기 분석부(400)는 판별된 패턴 정보를 토대로 물류 및 작업자 형상을 분석하여 형상 인식 정보를 특정하고, 특정한 형상 인식 정보로 구분된 단위 형상 간의 관계를 분석하여 관계 인식 정보를 특정한다. 여기서, 판별된 패턴 정보를 영상의 경우 P개의 픽셀 좌표로 특정된 영역을 한 개의 형상으로 지정하여 R차원 임베딩(embedding)으로 변환할 수 있으며, 사전 정의된 식별 라벨(label)과 매칭하거나 임의의 식별 라벨을 부여하는 한편, 음성의 경우 사전을 토대로 텍스트로 변환하여 그 정보의 단어(word), 문구(phrase) 또는 문장(sentence)을 라벨로 활용할 수 있다. 한편, 단위 형상 간의 관계는 식별 라벨 및 형상의 임베딩 간 유사도를 기반으로 분석해 준다.The analysis unit 400 analyzes the shape of logistics and workers based on the determined pattern information to specify shape recognition information, and specifies relationship recognition information by analyzing the relationship between unit shapes divided by specific shape recognition information. Here, the determined pattern information can be converted into R-dimensional embedding by designating an area specified by P pixel coordinates as one shape in the case of an image, and matching it with a predefined identification label or using an arbitrary While an identification label is assigned, voice can be converted to text based on a dictionary and the word, phrase, or sentence of that information can be used as a label. Meanwhile, relationships between unit shapes are analyzed based on the similarity between identification labels and shape embeddings.

상기 교정부(500)는 형상 인식 정보와 관계 인식 정보에 대해 가중치 합산하여 최종 인식 정보와 최종 관계 인식 정보를 교정하고 식별 정보를 결합한다. 여기서, 최종 형상 인식 정보 및 최종 관계 인식 정보를 활용하여 작업현장 내부 및 외부에서의 물류 추적 관리 및 처리를 위해 입출고 되는 물류의 외형검사 및 물류 패턴 분석, 사물 위치 특정 및 수량 관리와 이상 물류 감지, 소체적 사물 식별 및 다품종 물류 분별을 해 줄 수 있다.The correction unit 500 corrects the final recognition information and the final relationship recognition information by summing the weights of the shape recognition information and the relationship recognition information and combines the identification information. Here, the final shape recognition information and final relationship recognition information are used to inspect the appearance of incoming and outgoing logistics and analyze logistics patterns for logistics tracking management and processing inside and outside the work site, specifying object location and quantity management, and detecting abnormal logistics. It can identify small objects and differentiate logistics of various types.

상기 관리 및 처리부(600)는 최종 인식 정보와 최종 관계 인식 정보를 교정하고 식별 정보를 이용하여 물류 처리작업 현장 내부 및 외부에서 물류 추적 관리 및 처리하며, 물류 처리작업 현장 외부에서 물류 추적 관리 및 처리할 수 있다.The management and processing unit 600 corrects the final recognition information and the final relationship recognition information, uses the identification information to manage and process logistics tracking inside and outside the logistics processing site, and manages and processes logistics tracking outside the logistics processing site. can do.

도 2는 본 발명에 따른 인공지능 기반 물류 추적 관리 및 처리 방법의 흐름도이다.Figure 2 is a flowchart of an artificial intelligence-based logistics tracking management and processing method according to the present invention.

도 2를 참조하면, 본 발명에 따른 인공지능 기반 물류 추적 관리 및 처리 방법은 먼저, 고정 장비 및 이동 장비에 부착된 카메라 모듈 및 마이크 모듈을 포함하는 기기를 이용하여 영상 및 음성 정보를 수집하여 취득한다(S110). Referring to Figure 2, the artificial intelligence-based logistics tracking management and processing method according to the present invention first collects and acquires video and audio information using a device including a camera module and microphone module attached to fixed equipment and mobile equipment. Do it (S110).

여기서, 상기 인식 정보는 영상 또는 음성 형태이며, 상기 인공지능 연산과정은 컨벌루셔널(convolutional) 연산이 수반되는 필터를 이용하거나 입력 시점별로 구분된 N개의 단위 정보를 한 개의 순차적인 입력 단위로 설정하여 이에 대해 비선형(non-linear) 함수에 의한 변환을 거치는 학습 구조를 수반하며 분류 또는 판별 태스크를 수행하여 식별 가능한 패턴을 추정할 수 있다.Here, the recognition information is in the form of video or audio, and the artificial intelligence calculation process uses a filter involving convolutional operation or sets N unit information divided by input time into one sequential input unit. Therefore, it involves a learning structure that undergoes transformation by a non-linear function, and an identifiable pattern can be estimated by performing a classification or discrimination task.

한편, 상기 인식 정보는 M개의 고정 장비 또는 L개의 이동 장비에 부착된 기기 내부의 어플리케이션 프로세서에서 처리하거나 네트워크를 통해 전송하여 원격 서버에서 처리할 수 있다. Meanwhile, the recognition information can be processed by an application processor inside a device attached to M fixed devices or L mobile devices, or transmitted through a network and processed by a remote server.

이어서, 취득된 영상 및 음성 정보를 독립적으로 구분하여 노이즈 신호를 제거하는 등 전처리하고, 인공지능 연산과정에 의해 식별 가능한 패턴 형태로 자동 판별한다(S120). Next, the acquired video and audio information are independently classified and pre-processed to remove noise signals, and are automatically determined into identifiable patterns through an artificial intelligence calculation process (S120).

상기 S120 단계에서 취득된 영상 및 음성 정보는 독립적으로 구분되어 노이즈 신호가 제거되고, 정규화를 거친 후 인공지능 연산과정에 의해 식별 가능한 패턴 형태로 변환되며, 한 개의 영상 및 음성 내에서 여러 개의 객체 형상이 검출될 수 있다.The video and audio information acquired in step S120 are independently divided, noise signals are removed, normalized, and converted into identifiable patterns through an artificial intelligence calculation process, and multiple object shapes are formed within one video and audio. This can be detected.

다음에, 상기 판별된 패턴 정보를 토대로 물류 및 작업자 형상을 분석하여 형상 인식 정보를 특정한다(S130). Next, the shape of the logistics and worker is analyzed based on the determined pattern information to specify shape recognition information (S130).

상기 S130 단계에서 판별된 패턴 정보를 영상의 경우 P개의 픽셀 좌표로 특정된 영역을 한 개의 형상으로 지정하여 R차원 임베딩(embedding)으로 변환할 수 있으며, 사전 정의된 식별 라벨(label)와 매칭하거나 임의의 식별 라벨을 부여하여 인 있는 한편, 음성의 경우 사전을 토대로 텍스트로 변환하여 그 정보의 단어(word), 문구(phrase) 또는 문장(sentence)를 라벨로 활용할 수 있다.In the case of an image, the pattern information determined in step S130 can be converted into R-dimensional embedding by designating an area specified by P pixel coordinates as one shape, and matching it with a predefined identification label. While an arbitrary identification label can be assigned, voice can be converted to text based on a dictionary and the word, phrase, or sentence of that information can be used as a label.

다음으로, 상기 S130 단계의 결과로 구분된 단위 형상 간의 관계를 분석하여 관계 인식 정보를 특정한다(S140). Next, the relationship between the unit shapes classified as a result of step S130 is analyzed to specify relationship recognition information (S140).

상기 제4단계에서 단위 형상 간의 관계를 식별 라벨 및 형상의 임베딩 간 유사도를 기반으로 분석해 줄 수 있다.In the fourth step, the relationship between unit shapes can be analyzed based on the similarity between the identification label and shape embedding.

다음에, 상기 S130 단계 및 S140 단계의 결과에 대해 가중치 합산하여 최종 인식 정보를 교정하고 식별 정보를 결합한다(S150). Next, the results of steps S130 and S140 are weighted to correct the final recognition information and the identification information is combined (S150).

여기서, 상기 S150 단계에서 S110 단계에서 M개의 고정 장비로 취득되는 인식 정보에 대한 S130 단계의 형상 인식 정보 및 S140 단계의 관계 인식 정보와 S110 단계에서 L개의 이동 장비로 취득되는 인식 정보에 대한 S130 단계의 형상 인식 정보 및 S140 단계의 관계 인식 정보에 대해 사전 설정되거나 변경 가능한 신뢰도 가중치(가중치 범위: 0~1, 가중치 총합)를 부여한 후 선형 합산하여 S130 단계의 형상 인식 정보 및 S140 단계의 관계 인식 정보를 교정하여 최종 형상 인식 정보 및 최종 관계 인식 정보를 도출하여 데이터베이스를 구성하거나 외부의 물류 관리 DB 등에 기록된 텍스트의 식별 정보와 결합하여 신규 데이터베이스로 확장할 수 있다.Here, the shape recognition information in step S130 and the relationship recognition information in step S140 for the recognition information acquired by M fixed devices in steps S150 to S110, and the step S130 for recognition information acquired by L mobile devices in step S110. A preset or changeable reliability weight (weight range: 0 to 1, total weight) is given to the shape recognition information and the relationship recognition information of step S140, and then linearly added to obtain the shape recognition information of step S130 and the relationship recognition information of step S140. can be corrected to derive the final shape recognition information and final relationship recognition information to form a database, or it can be expanded into a new database by combining it with the identification information of text recorded in an external logistics management DB, etc.

다음으로, 상기 S150 단계의 결과를 이용하여 물류 처리작업 현장 내부 및 외부에서 물류 추적 관리 및 처리한다(S160). Next, the results of step S150 are used to track and manage logistics inside and outside the logistics processing site (S160).

상기 S160 단계에서 S150 단계의 최종 형상 인식 정보 및 최종 관계 인식 정보를 활용하여 작업현장 내부 및 외부에서의 물류 추적 관리 및 처리를 위해 입출고 되는 물류의 외형검사 및 물류 패턴 분석, 사물 위치 특정 및 수량 관리와 이상 물류 감지, 소체적 사물 식별 및 다품종 물류 분별을 해주는 기능을 제공할 수 있다.Using the final shape recognition information and final relationship recognition information from steps S160 to S150, external appearance inspection and logistics pattern analysis of incoming and outgoing logistics, specification of object location, and quantity management for logistics tracking management and processing inside and outside the work site. It can provide functions for detecting abnormal logistics, identifying small objects, and distinguishing between various types of logistics.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements made by those skilled in the art using the basic concept of the present invention defined in the following claims are also possible. It falls within the scope of rights.

100: 수집부 110: 카메라 모듈
120: 마이크 모듈 200: 전처리부
300: 판별부 400: 분석부
500: 교정부 600: 관리 및 처리부
100: collection unit 110: camera module
120: microphone module 200: preprocessing unit
300: Determination unit 400: Analysis unit
500: Correction Department 600: Management and Processing Department

Claims (8)

고정 장비 및 이동 장비에 부착된 카메라 모듈 및 마이크 모듈을 포함하는 기기를 이용하여 영상 및 음성 정보를 수집하여 취득하는 제1단계;
취득된 영상 및 음성 정보를 독립적으로 구분하여 노이즈 신호를 제거하고, 인공지능 연산과정에 의해 식별 가능한 패턴 형태로 자동 판별하는 제2단계;
판별된 패턴 정보를 토대로 물류 및 작업자 형상을 분석하여 형상 인식 정보를 특정하는 제3단계;
상기 제3단계의 결과로 구분된 단위 형상 간의 관계를 분석하여 관계 인식 정보를 특정하는 제4단계;
상기 제3단계 및 제4단계의 결과에 대해 가중치 합산하여 최종 인식 정보를 교정하고 식별 정보를 결합하는 제5단계; 및
상기 제5단계의 결과를 이용하여 물류 처리작업 현장 내부 및 외부에서 물류 추적 관리 및 처리하는 제6단계;를 포함하되,
상기 제5단계에서 제1단계에서 M개의 고정 장비로 취득되는 인식 정보에 대한 제3단계의 형상 인식 정보 및 제4단계의 관계 인식 정보와 제1단계에서 L개의 이동 장비로 취득되는 인식 정보에 대한 제3단계의 형상 인식 정보 및 제4단계의 관계 인식 정보에 대해 사전 설정되거나 변경 가능한 신뢰도 가중치(가중치 범위: 0~1, 가중치 총합)를 부여한 후 선형 합산하여 제3단계의 형상 인식 정보 및 제4단계의 관계 인식 정보를 교정하여 최종 형상 인식 정보 및 최종 관계 인식 정보를 도출하여 데이터베이스를 구성하거나 외부의 물류 관리 DB 등에 기록된 텍스트의 식별 정보와 결합하여 신규 데이터베이스로 확장하는 것을 특징으로 하는 인공지능 기반 물류 추적 관리 및 처리 방법.
A first step of collecting and acquiring video and audio information using devices including camera modules and microphone modules attached to fixed equipment and mobile equipment;
A second step of independently separating the acquired video and audio information to remove noise signals and automatically determining them into identifiable patterns through an artificial intelligence calculation process;
A third step of specifying shape recognition information by analyzing logistics and worker shapes based on the determined pattern information;
A fourth step of specifying relationship recognition information by analyzing the relationship between unit shapes classified as a result of the third step;
A fifth step of correcting the final recognition information and combining the identification information by adding weights to the results of the third and fourth steps; and
A sixth step of tracking and managing logistics inside and outside the logistics processing site using the results of the fifth step,
In the fifth step, the shape recognition information in the third step and the relationship recognition information in the fourth step are related to the recognition information acquired by M fixed devices in the first step, and the recognition information acquired by L mobile devices in the first step. A preset or changeable reliability weight (weight range: 0 to 1, total weight) is given to the third stage shape recognition information and the fourth stage relationship recognition information, and then linearly added to the third stage shape recognition information and Characterized by correcting the relationship recognition information in the fourth step to derive the final shape recognition information and final relationship recognition information to form a database or combining it with identification information of text recorded in an external logistics management DB, etc. to expand into a new database. Artificial intelligence-based logistics tracking management and processing method.
제1항에 있어서,
상기 인식 정보는 영상 또는 음성 형태이며, 인공지능 연산과정은 컨벌루셔널(convolutional) 연산이 수반되는 필터를 이용하거나 입력 시점별로 구분된 N개의 단위 정보를 한 개의 순차적인 입력 단위로 설정하여 이에 대해 비선형(non-linear) 함수에 의한 변환을 거치는 학습 구조를 수반하며 분류 또는 판별 태스크를 수행하여 식별 가능한 패턴을 추정하는 것을 특징으로 하는 인공지능 기반 물류 추적 관리 및 처리 방법.
According to paragraph 1,
The recognition information is in the form of video or audio, and the artificial intelligence calculation process uses a filter involving convolutional operation or sets N unit information divided by input time into one sequential input unit. An artificial intelligence-based logistics tracking management and processing method that involves a learning structure that undergoes transformation by a non-linear function and performs a classification or discrimination task to estimate identifiable patterns.
제1항에 있어서,
상기 인식 정보는 고정 장비 및 이동 장비에 부착된 기기 내부의 어플리케이션 프로세서에서 처리하거나 네트워크를 통해 전송하여 원격 서버에서 처리하는 것을 특징으로 하는 인공지능 기반 물류 추적 관리 및 처리 방법.
According to paragraph 1,
An artificial intelligence-based logistics tracking management and processing method, characterized in that the recognition information is processed by an application processor inside a device attached to fixed equipment and mobile equipment, or transmitted through a network and processed by a remote server.
제1항에 있어서,
상기 제2단계에서 취득된 영상 및 음성 정보는 독립적으로 구분되어 노이즈 신호가 제거되고 정규화를 거친 후 인공지능 연산과정에 의해 식별 가능한 패턴 형태로 변환되며, 한 개의 영상 및 음성 내에서 여러 개의 객체 형상이 검출되는 것을 특징으로 하는 인공지능 기반 물류 추적 관리 및 처리 방법.
According to paragraph 1,
The video and audio information acquired in the second step are independently divided, noise signals are removed, normalized, and converted into identifiable patterns through an artificial intelligence calculation process, and multiple object shapes are formed within one video and audio. An artificial intelligence-based logistics tracking management and processing method characterized by detection.
제1항에 있어서,
상기 제3단계에서 판별된 패턴 정보를 영상의 경우 P개의 픽셀 좌표로 특정된 영역을 한 개의 형상으로 지정하여 R차원 임베딩(embedding)으로 변환할 수 있으며, 사전 정의된 식별 라벨(label)와 매칭하거나 임의의 식별 라벨을 부여하여 인 있는 한편, 음성의 경우 사전을 토대로 텍스트로 변환하여 그 정보의 단어(word), 문구(phrase) 또는 문장(sentence)를 라벨로 활용하는 것을 특징으로 하는 인공지능 기반 물류 추적 관리 및 처리 방법.
According to paragraph 1,
In the case of an image, the pattern information determined in the third step can be converted into R-dimensional embedding by designating an area specified by P pixel coordinates as one shape and matching it with a predefined identification label. Artificial intelligence is characterized by converting voice into text based on a dictionary and using the word, phrase, or sentence of that information as a label. Based logistics tracking management and processing methods.
제1항에 있어서,
상기 제4단계에서 단위 형상 간의 관계를 식별 라벨 및 형상의 임베딩 간 유사도를 기반으로 분석해 주는 것을 특징으로 하는 인공지능 기반 물류 추적 관리 및 처리 방법.
According to paragraph 1,
An artificial intelligence-based logistics tracking management and processing method, characterized in that in the fourth step, the relationship between unit shapes is analyzed based on the similarity between the identification label and the embedding of the shape.
삭제delete 제1항에 있어서,
상기 제6단계에서 제5단계의 최종 형상 인식 정보 및 최종 관계 인식 정보를 활용하여 작업현장 내부 및 외부에서의 물류 추적 관리 및 처리를 위해 입출고 되는 물류의 외형검사 및 물류 패턴 분석, 사물 위치 특정 및 수량 관리와 이상 물류 감지, 소체적 사물 식별 및 다품종 물류 분별을 해주는 기능을 제공하는 것을 특징으로 하는 인공지능 기반 물류 추적 관리 및 처리 방법.
According to paragraph 1,
Using the final shape recognition information and final relationship recognition information from the 6th to 5th steps, external inspection and logistics pattern analysis of incoming and outgoing logistics for logistics tracking management and processing inside and outside the work site, object location specification, and An artificial intelligence-based logistics tracking management and processing method that provides functions for quantity management, abnormal logistics detection, small object identification, and multi-product logistics classification.
KR1020200177326A 2020-12-17 2020-12-17 Method for tracking management and processing of logistics based on artificial intelligence KR102578727B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200177326A KR102578727B1 (en) 2020-12-17 2020-12-17 Method for tracking management and processing of logistics based on artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200177326A KR102578727B1 (en) 2020-12-17 2020-12-17 Method for tracking management and processing of logistics based on artificial intelligence

Publications (2)

Publication Number Publication Date
KR20220087019A KR20220087019A (en) 2022-06-24
KR102578727B1 true KR102578727B1 (en) 2023-09-14

Family

ID=82216101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200177326A KR102578727B1 (en) 2020-12-17 2020-12-17 Method for tracking management and processing of logistics based on artificial intelligence

Country Status (1)

Country Link
KR (1) KR102578727B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101059801B1 (en) * 2008-10-13 2011-08-29 조성윤 Automatic logistics system and control method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101059801B1 (en) * 2008-10-13 2011-08-29 조성윤 Automatic logistics system and control method

Also Published As

Publication number Publication date
KR20220087019A (en) 2022-06-24

Similar Documents

Publication Publication Date Title
CN111310645B (en) Method, device, equipment and storage medium for warning overflow bin of goods accumulation
Lestari et al. Fire hotspots detection system on CCTV videos using you only look once (YOLO) method and tiny YOLO model for high buildings evacuation
CN111325137B (en) Violent sorting detection method, device, equipment and storage medium
CN109685075A (en) A kind of power equipment recognition methods based on image, apparatus and system
CN113962274B (en) Abnormity identification method and device, electronic equipment and storage medium
CN111507261A (en) Process operation quality monitoring method based on visual target positioning
CN110780965B (en) Vision-based process automation method, equipment and readable storage medium
CN114898466B (en) Intelligent factory-oriented video action recognition method and system
CN110852222A (en) Campus corridor scene intelligent monitoring method based on target detection
CN109857784A (en) A kind of big data statistical analysis system
KR20210122429A (en) Method and System for Artificial Intelligence based Quality Inspection in Manufacturing Process using Machine Vision Deep Learning
KR102578727B1 (en) Method for tracking management and processing of logistics based on artificial intelligence
CN117114420B (en) Image recognition-based industrial and trade safety accident risk management and control system and method
CN117876922A (en) Method and device for identifying power field operation risk based on video
CN113469137A (en) Abnormal behavior recognition method and device, storage medium and electronic device
CN118097534A (en) Park security video monitoring method, device, equipment and storage medium
CN116883880A (en) Crane identification method and device based on AR technology and electronic equipment
CN111340885A (en) Parcel tracking method and device and storage medium
KR20220087018A (en) System for tracking management and processing of logistics based on artificial intelligence
CN110689005A (en) Commodity identification method based on deep learning fusion position and shape information
CN116597501A (en) Video analysis algorithm and edge device
Skilton et al. Combining object detection with generative adversarial networks for in-component anomaly detection
CN114140879A (en) Behavior identification method and device based on multi-head cascade attention network and time convolution network
CN113935466A (en) Multitask learning method for intelligent inspection robot of data center
RA et al. Dynamic Inventory Object Detection Using YOLOv8 Deep Learning Model

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant