KR101834336B1 - Material location recognition system using storage image monitoring and forklift truck - Google Patents

Material location recognition system using storage image monitoring and forklift truck Download PDF

Info

Publication number
KR101834336B1
KR101834336B1 KR1020160123733A KR20160123733A KR101834336B1 KR 101834336 B1 KR101834336 B1 KR 101834336B1 KR 1020160123733 A KR1020160123733 A KR 1020160123733A KR 20160123733 A KR20160123733 A KR 20160123733A KR 101834336 B1 KR101834336 B1 KR 101834336B1
Authority
KR
South Korea
Prior art keywords
forklift
image
unit
forklift truck
stockyard
Prior art date
Application number
KR1020160123733A
Other languages
Korean (ko)
Inventor
최윤규
양진혁
이근영
최영수
Original Assignee
삼성중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성중공업 주식회사 filed Critical 삼성중공업 주식회사
Priority to KR1020160123733A priority Critical patent/KR101834336B1/en
Application granted granted Critical
Publication of KR101834336B1 publication Critical patent/KR101834336B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/02—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using radio waves
    • G01S1/68—Marker, boundary, call-sign, or like beacons transmitting signals not carrying directional information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/08—Methods or arrangements for sensing record carriers, e.g. for reading patterns by means detecting the change of an electrostatic or magnetic field, e.g. by detecting change of capacitance between electrodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Development Economics (AREA)
  • Civil Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

Disclosed are a material location recognition system through a material storage site image monitoring and a forklift truck. The material location recognition system according to an embodiment of the present invention, which can recognize the location of materials transferred by the forklift truck in a material storage site, includes: an image monitoring unit which obtains and analyzes an image about the material storage site and detects and tracks a forklift truck image about the forklift truck moving in the material storage site; a loading and unloading determining unit which determines the loading and unloading of the materials from the forklift truck when a loading and unloading alarming signal is extracted from the forklift truck image; a target recognizing unit which recognizes a direction target from the forklift truck image and determines the direction of the forklift truck; a material position calculating unit which calculates the position of loaded and unloaded materials based on the direction of the forklift truck and the position of the forklift truck corresponding to the forklift truck image; and a material information updating unit which updates material information in response to the material position calculated by corresponding to loading and unloading from material information about the materials. The present invention is able to arrange materials in a right place without wasting time.

Description

자재적치장 영상모니터링을 통한 자재위치 인식시스템 및 지게차{Material location recognition system using storage image monitoring and forklift truck}[0001] The present invention relates to a material location recognition system and a forklift,

본 발명은 자재적치장 영상모니터링을 통한 자재위치 인식시스템 및 지게차에 관한 것이다. The present invention relates to a material location recognition system and a forklift using material stock monitoring.

선박의 선행 의장 공정은 대조 혹은 P.E 단위의 블록에 내부 배관 스풀 혹은 의장품을 미리 설치하여, 후행 공정에서의 작업 로드를 줄이는데 목적이 있다. The ship's preliminary design process is aimed at reducing the workload in the trailing process by pre-installing internal piping spools or fittings in the block or block of P.E.

선행 의장 공정에서 작업되는 블록에 설치될 자재들은 다양한 종류로 설치 시점에 맞춰 매일 입고되고 있다. 현재 대부분의 자재는 입고된 이후 일정 장소에 적치된 이후 필요 시점에 다시 이동하여 작업장에 배치되고 있다. 하지만, 입고 자재에 대한 관리가 어려워 불필요한 작업이 많이 이루어지고 있다. The materials to be installed in the block to be worked on in the preliminary design process are various kinds and are being worn every day according to the installation time. At present, most of the material is placed in a certain place after being received, and then moved back to the required time and placed in the workplace. However, there is a lot of unnecessary work because it is difficult to manage the goods to be received.

자재 관리 과정은 다음과 같다. The process of material management is as follows.

자재 입고 --> 자재 이동 --> 적치장 적치 --> 자재 찾기(필요시점) --> 정보 전달(찾는 사람으로부터 지게차 운전자에게) --> 자재 이송(작업장)-> Material transfer (from the person looking to the forklift driver) -> Material transfer (workplace) ->

이 경우 자재적치장에 보관한 자재 중 원하는 자재를 빠른 시간 내에 찾는 것이 매우 어려우며, 찾은 자재에 대한 정보를 전달하는 방법도 구두로 진행하고 있어 정보의 오전달이 발생될 가능성이 많다. 따라서, 자재의 적치에서부터 필요 시점에 용이하게 자재를 찾아 다시 작업장으로 이동하기 위한 시스템이 필요한 실정이다. In this case, it is very difficult to find a desired material among the materials stored in the material stockyard in a short period of time, and the method of conveying information about the material that is found is also being verbalized. Therefore, there is a need for a system for easily searching for materials from a fixed position of a material to a work site at a required time, and then moving to a work site.

한국공개특허 10-2010-0110450호 (2010.10.13 공개) - 강재 관리 시스템 및 방법Korean Patent Publication No. 10-2010-0110450 (Published Oct. 13, 2010) - Steel management system and method

본 발명은 입고된 자재의 흐름을 모니터링 및 추적하여 사람 간 정보 전달에 있어서의 오류 및 시간 낭비 없이 필요 자재를 적재적소에 배치 가능하게 하는 자재적치장 영상모니터링을 통한 자재위치 인식시스템 및 지게차를 제공하기 위한 것이다. The present invention provides a material location recognition system and a forklift by monitoring the material flow through the material repository, which monitors and tracks the flow of incoming materials and enables the necessary materials to be placed in the proper place without waste of time and errors .

본 발명은 야외환경으로 통신이 불가능한 상황에 있는 자재적치장에 대해서 영상을 통해 자재적치장 내의 모든 상황을 모니터링하여 자재의 위치를 판단할 수 있는 자재적치장 영상모니터링을 통한 자재위치 인식시스템 및 지게차를 제공하기 위한 것이다. The present invention provides a material location recognition system and a forklift that can determine the location of a material by monitoring all the situations in the material stockyard through video images of the material stockyard in a situation where communication is impossible in an outdoor environment .

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Other objects of the present invention will become readily apparent from the following description.

본 발명의 일 측면에 따르면, 자재적치장 내에서 지게차에 의해 이송되는 자재의 위치를 인식하는 시스템으로서, 상기 자재적치장에 대한 영상을 획득하고 분석하여 상기 자재적치장 내에 이동하는 상기 지게차에 대한 지게차 영상을 검출하여 추적하는 영상 모니터링부; 상기 지게차 영상으로부터 상하차 알림신호가 추출되는 경우 상기 지게차에서 상기 자재가 상하차되는 것으로 판단하는 상하차 판단부; 상기 지게차 영상으로부터 방향 타겟을 인식하여 상기 지게차의 방향을 판단하는 타겟 인식부; 상기 지게차 영상에 상응하는 상기 지게차 위치와 상기 지게차의 방향에 기초하여 상하차되는 자재의 위치를 계산하는 자재위치 계산부; 및 상기 자재에 대한 자재 정보 중 상하차에 상응하여 계산된 자재 위치에 상응하여 자재 정보를 업데이트하는 자재정보 업데이트부를 포함하는 자재위치 인식시스템이 제공된다. According to an aspect of the present invention, there is provided a system for recognizing a position of a material transported by a forklift in a material stockyard, the system comprising: obtaining and analyzing an image of the material stockyard and analyzing the forklift image for the forklift moving in the material stockyard; An image monitoring unit for detecting and tracking the image; A top and bottom determination unit for determining that the material is moved up and down in the forklift when the up and down notification signal is extracted from the forklift image; A target recognition unit for recognizing a direction target from the forklift image and determining the direction of the forklift; A material position calculation unit for calculating a position of a material to be lifted or lowered based on the forklift position corresponding to the fork lift image and the direction of the forklift; And a material information updating unit for updating the material information corresponding to the calculated material position corresponding to the up and down direction among the material information for the material.

상기 영상 모니터링부는 상기 자재적치장의 전체 구역에 대한 영상 확보가 가능하도록 미리 지정된 높이 이상의 지점에 설치되는 카메라일 수 있다.The image monitoring unit may be a camera installed at a predetermined height or higher in order to secure an image for the entire area of the material stockyard.

상기 자재정보 업데이트부는 상기 상하차 알림신호가 상차 알림신호인 경우 계산된 제1 자재 위치에 놓여진 자재가 상기 지게차에 상차되어 상기 제1 자재 위치에서 제거되고, 상기 지게차에서 하차 알림신호가 추출되는 시점에 계산된 제2 자재 위치로 상기 자재가 이송된 것으로 보아 상기 자재에 상응하는 상기 자재 정보 중 위치좌표를 상기 제1 자재 위치에서 상기 제2 자재 위치로 업데이트할 수 있다.The material information update unit may update the material information at a time when the material placed at the calculated first material position is removed from the first material position by being picked up by the forklift when the up / The location coordinates of the material information corresponding to the material may be updated from the first material location to the second material location as the material is transferred to the calculated second material location.

상기 상하차 알림신호는 상기 지게차에 구비된 램프의 점멸 신호이고, 점멸 횟수에 따라 상차와 하차가 구분될 수 있다.The up-and-down notice signal is a flicker signal of the lamp provided on the forklift, and the up-and-down notice can be divided according to the number of blinks.

상기 방향 타겟은 상기 지게차의 상부에 설치되고, 소정의 패턴이 표시된 표지판을 포함하는 방향 알림부이며, 알려주는 방향에 따라 전방, 후방, 좌측, 우측의 4개로 구분될 수 있다.The direction target is a direction informing part provided at the upper part of the forklift and including a sign plate marked with a predetermined pattern, and can be divided into four parts, that is, forward, backward, left, and right depending on a direction to be informed.

상기 자재위치 계산부는 상기 지게차 위치를 기준으로 하여 상기 지게차의 방향에 상응하는 방향으로 상기 지게차의 전면부 캐리지와 상기 방향 타겟 간의 실제 거리 차를 반영한 만큼 거리를 보정하여 상기 자재 위치를 계산할 수 있다.The material position calculation unit may calculate the position of the material by correcting the distance based on the difference in actual distance between the front side carriage of the forklift and the direction target in the direction corresponding to the direction of the forklift with reference to the forklift position.

한편 본 발명의 다른 측면에 따르면, 자재적치장을 이동하면서 자재를 이송하는 지게차로서, 전면부 캐리지에 상기 자재가 상차되거나 하차되는 것을 탐지하는 상하차 탐지부; 상기 자재의 상차 혹은 하차가 탐지되면, 미리 지정된 상하차 알림신호를 출력하는 상하차 알림부; 및 상기 지게차의 방향에 상응하는 방향 타겟을 미리 지정된 상태로 배치시켜 상기 지게차의 방향을 알려주는 방향 알림부를 포함하는 지게차가 제공된다. According to another aspect of the present invention, there is provided a forklift for transporting a material while moving a material stockyard, comprising: a top and bottom detecting unit for detecting that the material is loaded on or unloaded from a front side carriage; A top and bottom notification unit for outputting a predefined up / down notice signal when the up / down of the material is detected; And a direction informing unit for informing the direction of the forklift by arranging a direction target corresponding to the direction of the forklift in a predetermined state.

상기 상하차 탐지부는 상기 자재와의 거리를 측정하여 상하차를 탐지하는 거리 센서, 상기 자재에 상응하는 무게의 증감을 측정하여 상하차를 탐지하는 무게 센서, 상기 자재에 부착된 RFID 태그를 센싱하여 상하차를 탐지하는 RFID 리더 중 하나일 수 있다.The upper and lower detection unit includes a distance sensor for detecting a distance between the material and the material, a weight sensor for detecting a difference between the weight and the material, a sensor for sensing the RFID tag attached to the material, The RFID reader may be one of the RFID readers.

상기 상하차 알림부는 상기 지게차의 상부에 설치되어, 상차 혹은 하차에 따라 구분되는 점멸 횟수를 가지도록 설정된 램프일 수 있다.The up-and-down notification unit may be a lamp installed on the forklift and set to have a number of blinking times classified according to a load or unloading.

상기 방향 타겟은 전방, 후방, 좌측, 우측의 4개로 구분되는 방향에 따라 미리 지정된 패턴이 표시된 표지판이 상기 지게차의 상부면에 힌지 결합되어, 상기 지게차의 방향에 상응하는 표지판만이 수직 상태에 놓여지고 나머지는 수평 상태에 놓여지도록 회동이 제어될 수 있다.The directional target is hinged to the upper surface of the forklift with a sign indicating a predetermined pattern according to the directions of the front, rear, left, and right sides so that only the sign corresponding to the direction of the forklift is in a vertical state And the rotation can be controlled such that the rest is placed in a horizontal state.

상기 방향 타겟은 수직 상태에 놓여진 표지판을 수직축을 중심으로 360도 회전하도록 제어될 수 있다. The direction target may be controlled to rotate the sign placed in the vertical position 360 degrees around the vertical axis.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 실시예에 따르면, 입고된 자재의 흐름을 모니터링 및 추적하여 사람 간 정보 전달에 있어서의 오류 및 시간 낭비 없이 필요 자재를 적재적소에 배치 가능하게 하는 효과가 있다.According to the embodiment of the present invention, there is an effect that it is possible to arrange and trace the flow of the received material, and to place the necessary materials in the right place without wasting errors and time in the communication of information between people.

또한, 야외환경으로 통신이 불가능한 상황에 있는 자재적치장에 대해서 영상을 통해 자재적치장 내의 모든 상황을 모니터링하여 자재의 위치를 판단할 수 있는 효과가 있다. Also, there is an effect that the position of the material can be judged by monitoring all the situations in the material stocking place through the image of the material stocking place where communication is impossible in the outdoor environment.

도 1은 본 발명의 일 실시예에 따른 자재적치장 영상모니터링을 통한 자재위치 인식시스템의 개략적인 모습을 나타낸 도면,
도 2는 지게차의 구성 블록도,
도 3은 지게차의 상하차 탐지 과정을 설명하기 위한 도면,
도 4는 지게차의 방향을 알려주는 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른 자재위치 인식시스템의 구성 블록도,
도 6은 지게차와 자재위치 인식시스템에서 수행되는 자재위치 인식방법의 순서도,
도 7은 자재위치 인식을 위한 자재적치장에 대한 좌표화를 설명하기 위한 도면. BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic view of a material location recognition system through monitoring of a stockyard image according to an embodiment of the present invention; FIG.
2 is a block diagram of a forklift,
3 is a view for explaining a process of detecting the uphill and downhill of a forklift,
4 is a view for explaining a method of indicating the direction of the forklift,
FIG. 5 is a block diagram of a material position recognition system according to an embodiment of the present invention. FIG.
6 is a flowchart of a material position recognition method performed in a forklift and a material position recognition system,
Fig. 7 is a diagram for explaining coordinates for a material stockyard for material position recognition; Fig.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 그리고 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof. And the terms first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

도 1은 본 발명의 일 실시예에 따른 자재적치장 영상모니터링을 통한 자재위치 인식시스템의 개략적인 모습을 나타낸 도면이고, 도 2는 지게차의 구성 블록도이며, 도 3은 지게차의 상하차 탐지 과정을 설명하기 위한 도면이고, 도 4는 지게차의 방향을 알려주는 방법을 설명하기 위한 도면이다. FIG. 1 is a schematic view of a material position recognition system for monitoring a warehouse image according to an embodiment of the present invention. FIG. 2 is a block diagram of a forklift, FIG. And Fig. 4 is a view for explaining a method of indicating the direction of the forklift.

도 1을 참조하면, 본 발명의 일 실시예에 따른 자재적치장 영상모니터링을 통한 자재위치 인식시스템(200)은 자재적치장(1)에 대한 영상을 모니터링하면서 영상 내에서 지게차 영상을 추출하고 분석하여 자재(10)를 상차하여 지정된 위치로 이송한 후 하차하는 지게차(100)에서 자재(10)의 상하차에 대해서 구분하고 지게차(100)의 위치 및 방향에 근거하여 자재(10)의 위치 변동을 인식하고 추적하여 업데이트는 것을 특징으로 한다. Referring to FIG. 1, a material position recognition system 200 for monitoring a material stockyard image according to an embodiment of the present invention extracts and analyzes a forklift image in an image while monitoring an image for the material stockyard 1, The control unit 10 recognizes the positional change of the material 10 on the basis of the position and the direction of the forklift 100, Tracking and updating.

본 실시예에서 자재위치 인식이 이루어지는 공간인 자재적치장(1)은 야외환경으로 일반적인 통신이 불가능한 상황에 놓여진 것을 가정한다. 이 경우 자재적치장(1) 내에 놓여진 자재(10) 및 지게차(100) 등에는 통신 모듈이 장착되어 있다 할지라도 외부와 통신이 불가능하게 되며, 본 실시예에 따른 자재위치 인식시스템(200)은 이러한 상황 하에서도 영상 모니터링을 통해 자재(10)의 위치 파악이 가능하게 할 수 있다. In the present embodiment, it is assumed that the material stockyard 1, which is the space where the material location is recognized, is placed in a situation where general communication is impossible in an outdoor environment. In this case, even if the communication module is installed in the material 10 and the forklift 100 placed in the material stockyard 1, communication with the outside becomes impossible, and the material position recognition system 200 according to the present embodiment can It is possible to make the position of the material 10 possible through image monitoring even under the circumstances.

또한, 본 실시예에서 자재(10)는 패킹(packing) 단위인 팔레트(pallet) 단위로 모니터링되는 것을 가정하여 설명하기로 한다. In the present embodiment, it is assumed that the material 10 is monitored on a pallet basis, which is a packing unit.

자재적치장(1) 내에서 임의의 위치로 이동 가능하며, 자재(10)의 상하차가 가능한 지게차(100)의 구성이 도 2에 도시되어 있다. 본 실시예에 따른 지게차(100)는 운전자에 의해 유인 운전되거나 자동 운전 프로그램에 의해 무인 운전될 수 있으며, 이동을 위한 구성요소(모터, 바퀴, 운전대)와 상하차를 위한 구성요소(차대의 전방에 장착된 마스트와, 마스트를 따라 승강되는 캐리지와, 캐리지에 장착되는 포크 등) 및 그 기능은 본 발명에 속하는 기술분야에서 통상의 기술자에게 자명한 바 상세한 설명은 생략하기로 한다. The structure of the forklift 100 capable of being moved to any position within the material stocking area 1 and capable of moving the material 10 up and down is shown in Fig. The forklift 100 according to the present embodiment can be operated by a driver or can be operated unattended by an automatic operation program. The forklift 100 according to the present embodiment can be operated by a component (motor, wheel, steering wheel) A carriage that is lifted and lowered along the mast, a fork mounted on the carriage, and the like) and functions thereof are obvious to those skilled in the art, and detailed description thereof will be omitted.

또한, 본 명세서에서는 발명의 이해와 설명의 편의를 위해 자재(10)를 이송하는 수단이 지게차(100)인 경우를 가정하여 설명하였지만, 이외에도 자재(10)를 이송하기 위한 다양한 이송수단이 적용될 수도 있음은 물론이다. Although the present invention has been described on the assumption that the means for transporting the material 10 is the forklift 100 for the sake of understanding and explanations of the invention, various transporting means for transporting the material 10 may be applied Of course it is.

도 2를 참조하면, 지게차(100)는 상하차 탐지부(110), 상하차 알림부(120), 방향 알림부(130)를 포함한다. Referring to FIG. 2, the forklift 100 includes a top and bottom detection unit 110, a top and bottom notification unit 120, and a direction notification unit 130.

상하차 탐지부(110)는 지게차(100)의 캐리지에 자재(10)가 상차 혹은 하차했는지 여부에 대해 탐지한다. The upper and lower detection unit 110 detects whether the material 10 is loaded or unloaded on the carriage of the forklift 100. [

상하차 탐지부(110)는 지게차(100)의 전면부에 부착되는 거리 센서(112)를 포함할 수 있다. 거리 센서(112)는 소정의 신호(초음파, 적외선, 레이저 등)를 쏜 후 반사되어 수신되는 신호까지의 시간차로 거리를 계산할 수 있다. The top and bottom detection unit 110 may include a distance sensor 112 attached to the front portion of the forklift 100. The distance sensor 112 can calculate the distance by time difference from a predetermined signal (ultrasonic wave, infrared ray, laser, etc.) to a signal that is reflected and received.

거리 센서(112)를 포함할 경우, 상하차 탐지부(110)는 자재(10)에 대한 탐지 거리가 미리 지정된 기준값 이하로 줄어들다가 일정 시간 동안 일정한 거리가 탐지될 경우 자재(10)가 상차된 것으로 볼 수 있다. 상차 이후 다시 자재(10)에 대한 탐지 거리가 증가하여 미리 지정된 기준값을 초과하거나 일정 범위 내에서 거리 탐지가 불가능한 경우 자재(10)가 하차된 것으로 볼 수 있다. When the distance detecting unit 110 includes the distance detecting unit 110, the detection distance of the material 10 is reduced to a predetermined value or less, and when a predetermined distance is detected for a predetermined time, the material 10 is picked up can see. If the detection distance for the material (10) increases after the carriage, the material (10) can be considered to have been taken off when the distance exceeds the preset reference value or within a certain range.

또한, 상하차 탐지부(110)는 지게차(100)의 캐리지에 부착되어, 캐리지 상에 상차된 자재(10)의 무게를 센싱하여 상차 혹은 하차를 판단할 수 있게 하는 무게 센서를 포함할 수 있다. The top and bottom detecting unit 110 may include a weight sensor attached to the carriage of the forklift 100 to sense the weight of the material 10 placed on the carriage to determine whether the car 10 is up or down.

또한, 자재(10)에 RFID 태그가 부착되어 있는 경우, 상하차 탐지부(110)는 지게차(100)의 전면부에 RFID 리더가 설치되어 있어 RFID 태그의 독출 여부에 따라 자재(10)의 상차 혹은 하차를 판단할 수도 있다. When the RFID tag is attached to the material 10, the RFID tag reader is installed on the front portion of the forklift 100, so that the RFID tags are read from the RFID tag, You can also decide to get off.

상하차 알림부(120)는 상하차 탐지부(110)에 의해 자재(10)의 상차 혹은 하차가 탐지된 경우 이를 자재위치 인식시스템(200)에서 확인 가능하도록 알려준다. 자재위치 인식시스템(200)에서 정보를 획득하는 방법은 영상 모니터링이므로, 영상을 통해 상하차에 대한 정보 확인이 가능하도록 하는 신호(상하차 알림신호)를 출력한다. The upper and lower notification unit 120 notifies the material position recognition system 200 that the upper and lower parts detection unit 110 can detect the arrival or departure of the material 10. [ Since the method of acquiring information in the material position recognition system 200 is video monitoring, it outputs a signal (top and bottom notification signal) that enables information on the up and down direction to be confirmed through the video.

상하차 알림부(120)는 지게차(100)의 상부에 설치된 램프(122)를 포함할 수 있다. 램프(122)는 야외환경에서 영상 처리 시에 온/오프 여부에 대한 구분이 용이하도록 적외선을 출력하는 LED 적외선 램프일 수 있다. The upper and lower notification unit 120 may include a lamp 122 installed on the forklift 100. The lamp 122 may be an LED infrared lamp for outputting infrared rays so that it is easy to distinguish whether the lamp 122 is on or off during image processing in an outdoor environment.

램프(122)가 점멸되는 횟수를 조절함으로써 자재(10)의 상차 혹은 하차를 표시할 수 있다. 예컨대, 자재(10)를 상차한 경우에는 일정 시간 동안 3번 점멸하고, 자재(10)를 하차한 경우에는 일정 시간 동안 5번 점멸할 수 있다. By controlling the number of times the lamp 122 is blinking, it is possible to display the stand-by or stand-off of the material 10. For example, when the material 10 is removed, it is flashed three times for a predetermined time, and when the material 10 is removed, it can be flashed five times for a predetermined time.

자재위치 인식시스템(200)은 자재적치장(1)을 촬영한 영상 중에서 지게차(100)에서 램프(122)가 점멸되는 횟수를 확인함으로써, 해당 지게차(100)에서 자재(10)를 상차했는지 혹은 하차했는지 여부를 확인할 수 있게 된다. The material position recognition system 200 determines whether the material 10 is picked up or unloaded from the forklift 100 by checking the number of times the lamp 122 flickers in the forklift 100 among the images of the material stockyard 1, Or not.

방향 알림부(130)는 지게차(100)가 향하고 있는 방향(Heading)을 알려준다. 지게차(100)의 방향은 운전대 혹은 바퀴의 회전을 추적함으로써 확인할 수 있다. The direction notification unit 130 indicates a heading of the forklift 100. The direction of the forklift 100 can be confirmed by tracking the rotation of the steering wheel or the wheel.

방향 알림부(130)는 지게차(100)의 상부에 설치된 방향 타겟(132a~132d, 이하 '132'로 통칭하기도 함)을 포함할 수 있다. 방향 타겟(132)은 표지판이 지게차(100)의 상부면에 힌지 결합되어, 힌지축을 중심으로 수평 상태와 수직 상태를 왕복 회동하는 구조를 가지고 있을 수 있다. 표지판의 회동을 위한 동력을 제공하는 제1 구동부(미도시)가 더 포함될 수 있다. The direction notification unit 130 may include direction targets 132a to 132d (also referred to as '132' hereinafter) installed on the upper portion of the forklift 100. The directional target 132 may have a structure in which a sign is hinged to the upper surface of the fork lift truck 100 and reciprocates in a horizontal state and a vertical state around the hinge axis. And a first driving unit (not shown) for providing power for rotating the sign.

방향 타겟(132)은 알려주는 방향에 따라 전방, 후방, 좌측, 우측의 4개로 구분될 수 있다. 4개의 방향에 따라 미리 지정된 패턴이 표지판에 표시되어 있어, 원거리에서도 그 표지판을 용이하게 구분하도록 할 수 있다. The direction target 132 may be divided into four directions, that is, forward, backward, left, and right depending on the direction in which the direction is indicated. A predetermined pattern is displayed on the signboard according to the four directions, so that the signboard can be easily distinguished even at a long distance.

지게차(100)가 향하고 있는 방향에 따라 4개의 방향 타겟(132a~132d) 중 어느 하나가 수직 상태로 세워짐으로써, 수직 상태에 있는 방향 타겟(132a~132d 중 하나)을 식별하여 현재 지게차(100)가 향하고 있는 방향을 구분할 수 있게 된다. 다만, 지게차(100)가 향하고 있는 방향에 따라서는 자재위치 인식시스템(200)에 구비된 카메라의 촬영 방향과의 차이에 의해 영상 분석을 수행하더라도 수직 상태로 세워진 방향 타겟(132)의 표지판을 확인하기 어려울 수 있다. 따라서, 방향 타겟(132)은 수직 상태에서 수직축(미도시)을 따라 360도 회전하도록 구성될 수도 있다. 이를 위해 수직축을 따른 회전을 위한 제2 구동부(미도시)가 추가적으로 포함될 수 있다. 방향 타겟(132)이 360도 회전함에 따라 지게차(100)가 어느 방향을 향하고 있던지 자재위치 인식시스템(200)의 카메라는 해당 표지판을 촬영할 수 있어, 영상 분석을 통해 표지판의 패턴 인식이 가능하고, 인식된 패턴을 식별하여 지게차(100)의 방향을 확인할 수 있게 된다. Any one of the four direction targets 132a to 132d is vertically erected in accordance with the direction in which the forklift 100 is oriented so that the current direction of the forklift 100 is identified by identifying the direction targets 132a to 132d in the vertical state, It is possible to distinguish the direction in which the heading is directed. However, depending on the direction in which the forklift 100 is heading, even if image analysis is performed due to a difference from the photographing direction of the camera provided in the material position recognition system 200, the sign of the direction target 132, It can be difficult. Accordingly, the directional target 132 may be configured to rotate 360 degrees along a vertical axis (not shown) in a vertical state. To this end, a second driving unit (not shown) for rotating along the vertical axis may be additionally included. As the direction target 132 rotates 360 degrees, the camera of the material position recognition system 200 can take a corresponding sign regardless of the direction of the forklift 100, so that the pattern recognition of the sign can be performed through the image analysis, The recognized pattern can be identified and the direction of the forklift 100 can be confirmed.

본 실시예에서 표지판에 표시되는 패턴은 흑백 패턴일 수 있다. 이는 후술할 카메라에 의해 촬영될 때 영상 내에서 패턴 모양의 용이한 식별을 가능하게 할 수 있다. In this embodiment, the pattern displayed on the sign may be a black and white pattern. This makes it possible to easily identify the pattern shape in the image when it is photographed by a camera to be described later.

이상에서는 자재적치장(1) 내에 이동하는 지게차(100)의 구성에 대해 설명하였으며, 이하에서는 자재위치 인식시스템(200)의 구성에 대해 관련 도면을 참조하여 설명하기로 한다. The structure of the forklift 100 moving in the material stockyard 1 has been described. In the following, the structure of the material position recognition system 200 will be described with reference to the related drawings.

도 5는 본 발명의 일 실시예에 따른 자재위치 인식시스템의 구성 블록도이고, 도 6은 지게차와 자재위치 인식시스템에서 수행되는 자재위치 인식방법의 순서도이며, 도 7은 자재위치 인식을 위한 자재적치장에 대한 좌표화를 설명하기 위한 도면이다. FIG. 5 is a block diagram of a material position recognition system according to an embodiment of the present invention, FIG. 6 is a flowchart of a material position recognition method performed in a forklift and a material position recognition system, Fig. 8 is a view for explaining coordinates for a stockyard; Fig.

도 5를 참조하면, 본 실시예에 따른 자재위치 인식시스템(200)은 영상 모니터링부(210), 상하차 판단부(220), 타겟 인식부(230), 자재위치 계산부(240), 자재정보 업데이트부(250)를 포함한다. 5, the material position recognition system 200 according to the present embodiment includes an image monitoring unit 210, a vertical determination unit 220, a target recognition unit 230, a material position calculation unit 240, And an update unit 250.

영상 모니터링부(210)는 자재적치장(1)에 대한 영상을 획득하고 분석하며, 영상 중에서 지게차를 검출하여 지게차의 움직임을 지속적으로 모니터링한다. The image monitoring unit 210 acquires and analyzes an image of the material stockyard 1, and detects a forklift in the image to continuously monitor the movement of the forklift.

영상 모니터링부(210)는 영상 획득부(212) 및 영상 분석부(214)를 포함한다. The image monitoring unit 210 includes an image obtaining unit 212 and an image analyzing unit 214.

영상 획득부(212)는 자재적치장(1)에 대한 영상을 획득한다. 영상 획득부(212)는 자재적치장(1)에 대한 영상 획득이 가능한 지점에 설치된 카메라일 수 있다. The image acquisition unit 212 acquires an image for the material stockyard 1. The image acquisition unit 212 may be a camera installed at a position where image acquisition for the material stockyard 1 is possible.

자재적치장(1)의 위치, 크기, 사양 등의 속성을 고려하여 자재적치장(1)의 전체 구역에 대한 영상 확보가 가능하도록 소정 높이 이상의 지점에 카메라가 설치될 수 있다. 예컨대, 자재적치장(1)의 주변에 있는 고층 건물에 카메라를 설치하여 일정 높이를 확보할 수 있다. The camera may be installed at a position higher than a predetermined height so as to secure the image of the entire area of the material stockyard 1 in consideration of the attributes such as the location, size, and specifications of the material stockyard 1. For example, a camera can be installed in a high-rise building in the vicinity of the material stockyard 1 to ensure a certain height.

카메라의 관심영역(ROI, Region Of Interest)은 카메라 해상도와 자재적치장(1)의 크기에 기초하여 적절하게 설정될 수 있다. 예컨대, 자재(10)가 0.5m X 0.5m의 크기를 가질 때, 카메라의 픽셀당 해상도는 0.2m 이상이 되도록 할 수 있다. The region of interest (ROI) of the camera can be appropriately set based on the camera resolution and the size of the material stock 1. For example, when the material 10 has a size of 0.5 m X 0.5 m, the resolution per pixel of the camera may be at least 0.2 m.

영상 획득부(212)에 포함되는 카메라는 복수 개일 수 있다. 이는 위치 인식의 정확도 향상을 위한 것으로, 자재적치장(1)의 전체 구역에 대해 사각지대가 없으면서도 서로의 관심영역이 최대한 중첩되도록 하는 지점에 설치될 수 있다. 복수의 카메라는 서로 상이한 높이에 설치되어, 특정 높이에서 유발되는 인식 오류의 발생을 최소화시킬 수도 있다. The number of cameras included in the image acquisition unit 212 may be plural. This is for the purpose of improving the accuracy of position recognition, and can be installed at a point where there is no blind spot for the entire area of the material stocking area 1, and the area of interest of each other is maximally overlapped. The plurality of cameras may be installed at different heights to minimize the occurrence of recognition errors caused at specific heights.

영상 분석부(214)는 영상 획득부(212)에서 획득한 자재적치장 영상을 분석한다. 영상 분석은 통상의 기술자에게 자명한 영상 처리 기술(예. 에지 검출, 노이즈 필터링, 영상 보정 등)이 적용됨으로써 수행될 수 있다. The image analysis unit 214 analyzes the material stock image acquired by the image acquisition unit 212. Image analysis can be performed by applying an image processing technique (eg, edge detection, noise filtering, image correction, etc.), which is obvious to an ordinary technician.

영상 분석부(214)는 영상 획득부(212)에서 획득한 자재적치장 영상에서 자재적치장 구역을 검출한다. 자재적치장 구역은 미리 좌표화되어 구분되어 있을 수 있다. 예컨대, 자재적치장(1)이 직사각형 형상의 구역으로 이루어진 경우, 각 꼭지점의 좌표를 (0,0), (0,1080), (1920,0), (1920,1080)으로 설정하고, 자재적치장(1) 내의 각 지점을 선형 보간 방식으로 (0,0)에서 (1920,1080) 내의 좌표로 변환시킬 수 있다. The image analysis unit 214 detects a material stockyard area in the material stockyard image acquired by the image acquisition unit 212. The material stockyard area may be pre-coordinateed and separated. For example, when the material stockyard 1 is formed of a rectangular section, the coordinates of each vertex are set to (0,0), (0,1080), (1920,0), (1920,1080) (0,0) to (1920,1080) in a linear interpolation manner.

또한, 영상 분석부(214)는 검출된 자재적치장 구역 영상에서 지게차를 인식한다. 지게차의 인식은 미리 지정된 지게차(100)의 크기에 상응하는 크기를 가지고 자재적치장(1) 내에서 이동하는 물체를 검출하는 방식으로 이루어질 수 있다. 영상 내에서의 이동 물체 검출은 영상 처리 및 분석에 관한 기술분야에서 통상의 기술자에게 자명한 사항으로 본 명세서에서는 상세한 설명을 생략하기로 한다. Also, the image analysis unit 214 recognizes the forklift in the detected material stocking area image. The recognition of the forklift can be performed in such a manner as to detect an object moving within the stockyard 1 with a size corresponding to the size of a predetermined forklift 100 in advance. Detection of a moving object in an image is a matter of obviousness to a person skilled in the art in the field of image processing and analysis, and a detailed description thereof will be omitted herein.

상하차 판단부(220)는 영상 모니터링부(210)에서 인식한 지게차에 대한 영상(지게차 영상)에서 상하차 알림신호를 추출한다. 상하차 알림신호는 지게차(100)의 상하차 알림부(120)에서 알려주는 자재(10)의 상하차에 대한 확인이 가능하게 하는 신호로서, 예컨대 램프(122)의 점멸일 수 있다. The up / down determination unit 220 extracts the up / down notification signal from the forklift image (forklift image) recognized by the image monitoring unit 210. The up / down notice signal is a signal for confirming whether the material 10 informed by the up / down notification unit 120 of the fork lift truck 100 can be flickered, for example, the flicker of the lamp 122.

상하차 판단부(220)는 지게차 영상에서 소정 횟수의 램프 점멸이 감지되면, 자재의 상차 혹은 하차가 이루어진 것으로 판단할 수 있다. 이 경우 상차를 알려주는 점멸 횟수와 하차를 알려주는 점멸 횟수가 지게차(100)와 자재위치 인식시스템(200) 사이에 미리 약속되어 있을 수 있다. When the predetermined number of lamp blinks are detected in the forklift image, the upper / lower determination unit 220 can determine that the material has been loaded or unloaded. In this case, the number of blinks indicating the number of blinks and the number of blinks indicating the number of blinks may be predetermined between the forklift 100 and the material position recognition system 200. [

타겟 인식부(230)는 상하차 판단부(220)에서의 판단 결과 자재가 상차 혹은 하차된 것으로 판단된 경우 지게차의 방향 타겟(132)을 인식하여 지게차(100)가 향하고 있는 방향을 인식한다. The target recognizing unit 230 recognizes the direction target 132 of the forklift and recognizes the direction that the forklift 100 is heading when it is determined that the material is moved up or down as a result of the determination by the uplift determination unit 220. [

방향 타겟(132)은 소정의 패턴을 가지고 있는 바, 영상 분석을 통해 해당 패턴을 식별함으로써 타겟 인식을 수행할 수 있다. 여기서, 식별된 패턴의 종류에 따라 해당 지게차가 향하고 있는 방향을 알아낼 수 있다. Since the direction target 132 has a predetermined pattern, the target recognition can be performed by identifying the pattern through image analysis. Here, the direction in which the forklift is headed can be determined according to the type of the identified pattern.

자재위치 계산부(240)는 영상 내에서 산출된 지게차의 위치에 상응하여 자재의 위치를 계산한다. 상하차 판단부(220)에서 자재 상차로 판단한 경우에는 해당 위치의 자재가 상차된 것으로 보고, 자재 하차로 판단한 경우에는 해당 위치에 자재가 하차된 것으로 볼 수 있다. The material position calculation unit 240 calculates the position of the material corresponding to the position of the forklift calculated in the image. If the upper / lower determination unit 220 determines that the material has been removed, it is determined that the material at the corresponding position has been removed. If it is determined that the material is to be removed, the material may be removed.

이때 지게차 위치와 방향을 이용하여 자재의 위치를 정확하게 계산할 수 있다. 지게차(100)는 자재가 놓여질 공간 사이의 통로를 이동하게 된다. 이 때 지게차(100)가 동일한 위치에 정차하고 있는 경우라 할지라도 지게차(100)의 방향에 따라 자재(10)가 놓여지는 위치는 전후좌우 중 어느 하나로 변화될 수 있다. 따라서, 지게차 방향이 자재(10)의 정확한 위치 파악에 중요한 인자로 작용하게 된다. At this time, the position of the material can be accurately calculated by using the forklift position and direction. The forklift 100 moves through the passage between the spaces in which the material is to be placed. At this time, even when the forklift 100 stops at the same position, the position where the material 10 is placed according to the direction of the forklift 100 can be changed to any one of forward, backward, and leftward. Accordingly, the direction of the forklift serves as an important factor in accurately grasping the position of the material 10.

이 경우 정확한 위치 계산을 위해 지게차의 타겟이 이용될 수 있다. 타겟 인식부(230)에서 인식된 타겟의 위치를 기준으로 하여 지게차의 전면부 캐리지와 방향 타겟 간의 실제 거리 차를 반영하여 지게차(100)의 방향에 상응하는 방향으로 거리를 보정함으로써, 자재의 위치를 정확하게 산출할 수 있다. 이 경우 미리 계산된 실제 거리와 영상 내에서의 거리 간의 척도를 이용할 수 있다. In this case, the target of the forklift can be used for accurate position calculation. The distance is corrected in the direction corresponding to the direction of the forklift 100 by reflecting the actual distance difference between the front side carriage and the direction target of the forklift based on the position of the target recognized by the target recognition unit 230, Can be accurately calculated. In this case, a scale between the actual distance calculated in advance and the distance in the image can be used.

자재정보 업데이트부(250)는 자재적치장(1)에 상응하는 적치장 맵을 구성하고, 적치장 맵 상에 이동하는 자재 정보를 업데이트한다. 적치장 맵은 도 7에 도시된 것과 같이 시각적으로 용이한 파악이 가능하게 2차원으로 표현될 수 있다. 또는 적치장 맵은 주요 지점에 대한 좌표값들을 통해 텍스트 방식으로 표현될 수도 있다. 자재 정보에는 자재의 위치를 나타내는 위치좌표가 포함될 수 있다. The material information update unit 250 forms a stockyard map corresponding to the material stockyard 1 and updates the material information moving on the stockyard map. The stockyard map can be expressed in two dimensions so as to be visually easily grasped as shown in Fig. Or the stockyard map may be expressed in a textual manner through coordinate values for key points. The material information may include position coordinates indicating the location of the material.

또한 자재 정보가 표시된 적치장 맵은 별도의 출력부(미도시)를 통해 사용자가 확인 가능하게 PC 혹은 스마트폰의 화면에 표시될 수 있다. Also, the stockyard map in which the material information is displayed can be displayed on the screen of the PC or the smartphone so that the user can confirm it through a separate output unit (not shown).

자재정보 업데이트부(250)에서 적치장 맵은 앞서 영상 분석부(214)에서 검출한 자재적치장 구역에 상응하여 구현될 수 있다. The stockyard map in the material information updating unit 250 may be implemented corresponding to the material stockyard area detected by the image analyzing unit 214 in advance.

자재적치장(1) 내에 놓여지는 자재(10)는 적치장 맵 상에서 상응하는 위치좌표를 가지게 되며, 상하차에 따라 그 위치좌표가 변경될 수 있다. 제1 위치에 있던 자재가 상차된 경우 적치장 맵 상에서는 해당 자재 정보 중 위치좌표에 대한 값(제1 위치)을 삭제한다. 그리고 지게차가 이동하여 임의의 제2 위치좌표에서 해당 자재를 하차시킨 경우 적치장 맵 상에서 해당 자재 정보 중 위치좌표를 제2 위치로 변경한다. 이를 통해 자재적치장(1) 내에 놓여지는 자재(10)는 그 위치가 지속적으로 추적될 수 있게 된다. The material 10 placed in the stockyard 1 has corresponding position coordinates on the stockyard map, and the position coordinates thereof can be changed according to the up and down directions. When the material in the first position is removed, the value (first position) for the position coordinates in the material information is deleted on the stockyard map. When the forklift moves and the corresponding material is taken off at an arbitrary second position coordinate, the position coordinate of the corresponding material information on the stockyard map is changed to the second position. This allows the material 10 placed in the stockyard 1 to be continuously tracked.

도 6을 참조하면, 자재 입고에서부터 자재 하차에 이르기까지의 자재위치 인식방법이 흐름 순서대로 도시되어 있다. Referring to FIG. 6, the method of recognizing the position of the material from the material receipt to the material withdrawal is shown in the flow order.

기본적으로 자재(10)가 입고되면, 팔레트 바코드를 스캔하여 해당 자재(10)에 대한 자재 정보를 생성한다(단계 S305). 그리고 입고된 자재(10)는 지게차(100)에 상차된 것으로 가정한다. Basically, when the material 10 is received, the pallet barcode is scanned to generate material information for the material 10 (step S305). It is assumed that the loaded material 10 has been loaded on the forklift 100.

자재 정보가 생성된 자재(10)에 대해서, 자재(10)가 상차된 경우(단계 S310)는 다음과 같은 프로세스에 따라 진행된다. When the material 10 is removed from the material 10 on which the material information is generated (step S310), the process proceeds according to the following process.

자재(10)가 상차된 경우(단계 S310), 상하차 탐지부(110)에 의해 자재(10)의 상차가 탐지되고(단계 S315), 상하차 알림부(120)는 자재(10)의 상차를 자재위치 인식시스템(200)에서 확인 가능하게 알려준다(단계 S320). When the material 10 is removed (step S310), the top-and-bottom detection unit 110 detects the top-bottom difference of the material 10 (step S315) And notifies the location recognition system 200 of the location information (step S320).

자재위치 인식시스템(200)은 영상 모니터링 중(단계 S300)에 상하차 알림부(120)에서 알려주는 상차 알림신호를 확인하면(단계 S325), 해당 지게차(100)의 방향 타겟(132)에 대한 인식을 수행하여 지게차 방향을 파악한다(단계 S330). The material position recognition system 200 recognizes the turnover notification signal informed by the turnover notification unit 120 during image monitoring (step S300) (step S325), recognizes the direction target 132 of the forklift 100 So as to grasp the direction of the forklift (step S330).

영상 모니터링을 통해 확보하고 있는 지게차 위치 및 단계 S330에서 파악된 지게차 방향에 기초하여 상차된 자재(10)의 정확한 위치를 계산하고(단계 S335), 계산된 위치에 상응하여 놓여진 자재에 대해 위치 업데이트를 준비한다(단계 S340). The accurate position of the removed material 10 is calculated based on the position of the forklift secured by image monitoring and the direction of the forklift obtained in step S330 (step S335), and a position update is performed on the material placed corresponding to the calculated position (Step S340).

해당 자재를 싣고 가는 지게차(100)가 이동한 후 자재를 하차하는 경우(단계 S345), 상하차 탐지부(110)에 의해 자재(10)의 하차가 탐지된다(단계 S350). 그리고 상하차 알림부(120)는 자재(10)의 하차를 자재위치 인식시스템(200)에서 확인 가능하게 알려준다(단계 S355). When the forklift 100 carrying the relevant material moves, the material is lowered (step S345), and the up / down detecting unit 110 detects the downward movement of the material 10 (step S350). Then, the upper and lower notification unit 120 notifies the material position recognition system 200 of the arrival of the material 10 so that it can be checked (step S355).

자재위치 인식시스템(200)은 영상 모니터링 중에 상하차 알림부(120)에서 알려주는 하차 알림신호를 확인하면(단계 S360), 해당 지게차(100)의 방향 타겟(132)에 대한 인식을 수행하여 지게차 방향을 파악한다(단계 S365). The material position recognition system 200 recognizes a departure notification signal informed by the upper and lower notification unit 120 during image monitoring in step S360 and recognizes the direction target 132 of the forklift 100, (Step S365).

영상 모니터링을 통해 확보하고 있는 지게차 위치 및 단계 S365에서 파악된 지게차 방향에 기초하여 상차된 자재(10)의 정확한 위치를 계산하고(단계 S370), 계산된 위치에 자재가 놓여진 것으로 보고 해당 자재에 대해 위치 업데이트를 수행한다(단계 S375). 즉, 해당 자재에 대해서는 상차 위치에서 하차 위치로 그 위치가 변경된 것으로 자재 정보를 업데이트하여, 자재의 정확한 위치 추적이 가능하게 한다. The accurate position of the removed material 10 is calculated based on the position of the forklift secured through image monitoring and the direction of the forklift obtained in step S365 (step S370), and it is determined that the material is placed at the calculated position, Location update is performed (step S375). That is, with respect to the corresponding material, the material information is updated as the position is changed from the standing position to the getting-off position, thereby enabling accurate position tracking of the material.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the following claims And changes may be made without departing from the spirit and scope of the invention.

1: 자재적치장 10: 자재
100: 지게차 110: 상하차 탐지부
120: 상하차 알림부 130: 방향 알림부
200: 자재위치 인식시스템 210: 영상 모니터링부
212: 영상 획득부 214: 영상 분석부
220: 상하차 판단부 230: 타겟 인식부
240: 자재위치 계산부 250: 자재정보 업데이트부1: Material stockyard 10: Material
100: Forklift 110: Top and bottom detection unit
120: Up and down notification unit 130: Direction notification unit
200: Material location recognition system 210:
212: image acquisition unit 214: image analysis unit
220: upper / lower determination unit 230: target recognition unit
240: Material position calculation unit 250: Material information update unit

Claims (11)

자재적치장 내에서 지게차에 의해 이송되는 자재의 위치를 인식하는 시스템으로서,
상기 자재적치장에 대한 영상을 획득하고 분석하여 상기 자재적치장 내에 이동하는 상기 지게차에 대한 지게차 영상을 검출하여 추적하는 영상 모니터링부;
상기 지게차 영상으로부터 상하차 알림신호가 추출되는 경우 상기 지게차에서 상기 자재가 상하차되는 것으로 판단하는 상하차 판단부;
상기 지게차 영상으로부터 방향 타겟을 인식하여 상기 지게차의 방향을 판단하는 타겟 인식부;
상기 지게차 영상에 상응하는 상기 지게차 위치와 상기 지게차의 방향에 기초하여 상하차되는 자재의 위치를 계산하는 자재위치 계산부; 및
상기 자재에 대한 자재 정보 중 상하차에 상응하여 계산된 자재 위치에 상응하여 자재 정보를 업데이트하는 자재정보 업데이트부를 포함하되,
상기 방향 타겟은 전방, 후방, 좌측, 우측의 4개로 구분되는 방향에 따라 미리 지정된 패턴이 표시된 4개의 표지판을 포함하며,
상기 4개의 표지판은 상기 지게차의 상부면에 힌지 결합되어, 상기 지게차의 방향에 상응하는 표지판만이 수직 상태에 놓여지고 나머지는 수평 상태에 놓여지도록 회동이 제어되어,
상기 타겟 인식부는 상기 방향 타겟 중 수직 상태에 있는 표지판을 식별하여 상기 지게차의 방향을 판단하고,
상기 자재위치 계산부는 상기 타겟 인식부에서 알려주는 방향에 따라 상기 지게차의 위치를 중심으로 전방, 후방, 좌측, 우측의 4개로 구분되어 상하차되는 자재의 위치를 정밀 보정하는 자재위치 인식시스템. A system for recognizing the location of a material transported by a forklift within a material stockyard,
An image monitoring unit for acquiring and analyzing an image of the material stockyard and detecting and tracking a forklift image for the forklift that moves within the material stockyard;
A top and bottom determination unit for determining that the material is moved up and down in the forklift when the up and down notification signal is extracted from the forklift image;
A target recognition unit for recognizing a direction target from the forklift image and determining the direction of the forklift;
A material position calculation unit for calculating a position of a material to be lifted or lowered based on the forklift position corresponding to the fork lift image and the direction of the forklift; And
And a material information updating unit for updating the material information corresponding to the calculated material position corresponding to the top and bottom of the material information for the material,
The direction target includes four signs which are indicated by a predetermined pattern according to four directions, i.e., front, rear, left, and right,
The four signs are hinged to the upper surface of the forklift so that only the sign corresponding to the direction of the forklift is vertically placed and the rest is horizontal,
Wherein the target recognition unit identifies a sign in a vertical state among the direction targets to determine a direction of the forklift,
The material position calculation unit precisely corrects the positions of the up and down materials divided into four parts, that is, forward, backward, left, and right, centering on the position of the forklift according to the direction indicated by the target recognition unit. 제1항에 있어서,
상기 영상 모니터링부는 상기 자재적치장의 전체 구역에 대한 영상 확보가 가능하도록 미리 지정된 높이 이상의 지점에 설치되는 카메라를 포함하되,
상기 카메라가 복수 개인 경우 서로 상이한 높이에 설치되는 카메라인 자재위치 인식시스템. The method according to claim 1,
Wherein the image monitoring unit includes a camera installed at a predetermined height or higher in order to secure an image for the entire area of the material stockyard,
Wherein the cameras are installed at different heights when the plurality of cameras are installed. 제1항에 있어서,
상기 자재정보 업데이트부는 상기 상하차 알림신호가 상차 알림신호인 경우 계산된 제1 자재 위치에 놓여진 자재가 상기 지게차에 상차되어 상기 제1 자재 위치에서 제거되고, 상기 지게차에서 하차 알림신호가 추출되는 시점에 계산된 제2 자재 위치로 상기 자재가 이송된 것으로 보아 상기 자재에 상응하는 상기 자재 정보 중 위치좌표를 상기 제1 자재 위치에서 상기 제2 자재 위치로 업데이트하는 자재위치 인식시스템. The method according to claim 1,
The material information update unit may update the material information at a time when the material placed at the calculated first material position is removed from the first material position by being picked up by the forklift when the up / And updates the position coordinates of the material information corresponding to the material from the first material position to the second material position because the material is transferred to the calculated second material position. 제1항에 있어서,
상기 상하차 알림신호는 상기 지게차에 구비된 램프의 점멸 신호이고,
점멸 횟수에 따라 상차와 하차가 구분되는 자재위치 인식시스템. The method according to claim 1,
The up / down notice signal is a flicker signal of a lamp provided on the forklift,
A system for locating a material location that distinguishes between a landing and a landing according to the number of blinks. 삭제delete 제1항에 있어서,
상기 자재위치 계산부는 상기 지게차 위치를 기준으로 하여 상기 지게차의 방향에 상응하는 방향으로 상기 지게차의 전면부 캐리지와 상기 방향 타겟 간의 실제 거리 차를 반영한 만큼 거리를 보정하여 상기 자재 위치를 계산하는 자재위치 인식시스템. The method according to claim 1,
Wherein the material position calculation unit calculates a position of the material to calculate the position of the material by correcting the distance by reflecting the actual distance difference between the front side carriage of the forklift and the direction target in the direction corresponding to the direction of the forklift, Recognition system. 자재적치장을 이동하면서 자재를 이송하는 지게차로서,
전면부 캐리지에 상기 자재가 상차되거나 하차되는 것을 탐지하는 상하차 탐지부;
상기 자재의 상차 혹은 하차가 탐지되면, 미리 지정된 상하차 알림신호를 출력하는 상하차 알림부; 및
상기 지게차의 방향에 상응하는 방향 타겟을 미리 지정된 상태로 배치시켜 상기 지게차의 방향을 알려주는 방향 알림부를 포함하되,
상기 방향 타겟은 전방, 후방, 좌측, 우측의 4개로 구분되는 방향에 따라 미리 지정된 패턴이 표시된 4개의 표지판을 포함하며,
상기 4개의 표지판은 상기 지게차의 상부면에 힌지 결합되어, 상기 지게차의 방향에 상응하는 표지판만이 수직 상태에 놓여지고 나머지는 수평 상태에 놓여지도록 회동이 제어되는, 지게차. As a forklift that transports material while moving the material stockyard,
A top and bottom detection unit for detecting that the material is loaded or unloaded on the front part carriage;
A top and bottom notification unit for outputting a predefined up / down notice signal when the up / down of the material is detected; And
And a direction informing unit for informing the direction of the forklift by arranging a direction target corresponding to the direction of the forklift in a predetermined state,
The direction target includes four signs which are indicated by a predetermined pattern according to four directions, i.e., front, rear, left, and right,
Wherein the four signs are hinged to the upper surface of the forklift so that rotation is controlled so that only the sign corresponding to the direction of the forklift is placed in a vertical position and the rest is placed in a horizontal position. 제7항에 있어서,
상기 상하차 탐지부는 상기 자재와의 거리를 측정하여 상하차를 탐지하는 거리 센서, 상기 자재에 상응하는 무게의 증감을 측정하여 상하차를 탐지하는 무게 센서, 상기 자재에 부착된 RFID 태그를 센싱하여 상하차를 탐지하는 RFID 리더 중 하나인 지게차. 8. The method of claim 7,
The upper and lower detection unit includes a distance sensor for detecting a distance between the material and the material, a weight sensor for detecting a difference between the weight and the material, a sensor for sensing the RFID tag attached to the material, One of the RFID readers is a forklift. 제7항에 있어서,
상기 상하차 알림부는 상기 지게차의 상부에 설치되어, 상차 혹은 하차에 따라 구분되는 점멸 횟수를 가지도록 설정된 램프인 지게차. 8. The method of claim 7,
Wherein the upper and lower notification unit is installed on an upper portion of the forklift and is set to have a number of blinking times classified according to a standing or getting off. 삭제delete 제7항에 있어서,
상기 방향 타겟은 수직 상태에 놓여진 표지판이 수직축을 중심으로 360도 회전하도록 제어되는 지게차.8. The method of claim 7,
Wherein the direction target is controlled such that a sign placed in a vertical state is rotated 360 degrees about a vertical axis.
KR1020160123733A 2016-09-27 2016-09-27 Material location recognition system using storage image monitoring and forklift truck KR101834336B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160123733A KR101834336B1 (en) 2016-09-27 2016-09-27 Material location recognition system using storage image monitoring and forklift truck

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160123733A KR101834336B1 (en) 2016-09-27 2016-09-27 Material location recognition system using storage image monitoring and forklift truck

Publications (1)

Publication Number Publication Date
KR101834336B1 true KR101834336B1 (en) 2018-03-06

Family

ID=61727483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160123733A KR101834336B1 (en) 2016-09-27 2016-09-27 Material location recognition system using storage image monitoring and forklift truck

Country Status (1)

Country Link
KR (1) KR101834336B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215772A1 (en) * 2019-04-25 2020-10-29 北京极智嘉科技有限公司 Intelligent forklift and container position and posture deviation detection method
KR20220090648A (en) * 2020-12-22 2022-06-30 (주)다울 Smart safety administration system for forklift truck and mehtod thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006017634A (en) * 2004-07-02 2006-01-19 Kubota Corp Position detector for mobile working machine
JP2008265909A (en) * 2007-04-18 2008-11-06 Hitachi-Ge Nuclear Energy Ltd Material storage position management system, and its method
JP2015228184A (en) * 2014-06-02 2015-12-17 富士通株式会社 Monitoring program, monitoring system, and monitoring method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006017634A (en) * 2004-07-02 2006-01-19 Kubota Corp Position detector for mobile working machine
JP2008265909A (en) * 2007-04-18 2008-11-06 Hitachi-Ge Nuclear Energy Ltd Material storage position management system, and its method
JP2015228184A (en) * 2014-06-02 2015-12-17 富士通株式会社 Monitoring program, monitoring system, and monitoring method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215772A1 (en) * 2019-04-25 2020-10-29 北京极智嘉科技有限公司 Intelligent forklift and container position and posture deviation detection method
KR20210145802A (en) * 2019-04-25 2021-12-02 베이징 긱플러스 테크놀러지 씨오. 엘티디 Intelligent Forklift and Container Position and Posture Deviation Detection Method
KR102461759B1 (en) 2019-04-25 2022-11-01 베이징 긱플러스 테크놀러지 씨오. 엘티디 Intelligent Forklift and Container Position and Posture Deviation Detection Method
US11625854B2 (en) 2019-04-25 2023-04-11 Beijing Geekplus Technology Co. Ltd. Intelligent forklift and method for detecting pose deviation of container
KR20220090648A (en) * 2020-12-22 2022-06-30 (주)다울 Smart safety administration system for forklift truck and mehtod thereof
KR102575009B1 (en) * 2020-12-22 2023-09-07 (주)다울 Smart safety administration system for forklift truck and mehtod thereof

Similar Documents

Publication Publication Date Title
KR102347015B1 (en) Vehicle tracking in a warehouse environment
US9880269B2 (en) Apparatus and methods for dimensioning an object carried by a vehicle moving in a field of measurement
KR101095579B1 (en) A method for positioning and orienting of a pallet based on monocular vision
US11449059B2 (en) Obstacle detection for a mobile automation apparatus
KR101970747B1 (en) A crane coil loading and unloading control system
KR101834336B1 (en) Material location recognition system using storage image monitoring and forklift truck
US20200380317A1 (en) Method, System and Apparatus for Gap Detection in Support Structures with Peg Regions
KR20100108776A (en) System and method for positioning palette of unmanned autonomous guided vehicle
US11543249B2 (en) Method, system and apparatus for navigational assistance
US20220180559A1 (en) On-Site Calibration for Mobile Automation Apparatus
WO2020247271A1 (en) Method, system and apparatus for detecting support structure obstructions
JP2013532451A (en) Method and apparatus for locating an object in a warehouse
US20240127471A1 (en) Information processing apparatus, information processing system, information processing method, and recording medium
EP3647236B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
US11847832B2 (en) Object classification for autonomous navigation systems
US11158075B2 (en) Method, system and apparatus for depth sensor artifact removal
US11151743B2 (en) Method, system and apparatus for end of aisle detection
CN117555308B (en) Tray recycling method, system and storage medium based on unmanned forklift
CN116783622A (en) Information processing apparatus, information processing system, information processing method, and recording medium
JP2022130187A (en) Information processor and information processing system

Legal Events

Date Code Title Description
GRNT Written decision to grant