WO2023033550A1 - 영상 분석 기반 지게차 인터페이스 제공 장치 및 그 동작 방법 - Google Patents

영상 분석 기반 지게차 인터페이스 제공 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023033550A1
WO2023033550A1 PCT/KR2022/013057 KR2022013057W WO2023033550A1 WO 2023033550 A1 WO2023033550 A1 WO 2023033550A1 KR 2022013057 W KR2022013057 W KR 2022013057W WO 2023033550 A1 WO2023033550 A1 WO 2023033550A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
forklift
interface
fork
distance information
Prior art date
Application number
PCT/KR2022/013057
Other languages
English (en)
French (fr)
Inventor
채희성
Original Assignee
주식회사 파인에스엔에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210115497A external-priority patent/KR20230032539A/ko
Priority claimed from KR1020210130941A external-priority patent/KR20230047738A/ko
Application filed by 주식회사 파인에스엔에스 filed Critical 주식회사 파인에스엔에스
Priority to CN202280057597.6A priority Critical patent/CN117858842A/zh
Publication of WO2023033550A1 publication Critical patent/WO2023033550A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present invention relates to a fork control device of a forklift and a method of operating the same. More specifically, the present invention relates to an apparatus for providing a forklift interface based on image analysis and an operation method thereof.
  • vehicles performing special-purpose tasks are equipped with a system for detecting whether there is an object in the vicinity using a device such as a sensor or a camera in order to prevent accidents during operation.
  • a device such as a sensor or a camera
  • a warning sound may be generated so that the driver of the vehicle may stop working or the person in the vicinity may evade themselves.
  • Korean Registered Patent No. 10-2063957 has proposed a technique of mounting a plurality of cameras on a forklift, combining images, and monitoring blind spots through image combinations such as around view.
  • each fork structure of the forklift has different specifications or shapes depending on the manufacturer.
  • the shape and location of the fork and fork lift may be different in detail. Accordingly, when a plurality of cameras are arranged at a specific position of a forklift, different images may be output for each forklift, and significantly unnatural images may be output in the specific forklift.
  • each forklift truck may be different, it is difficult to accurately determine the distance to the target pallet or the like using only an image of a video camera attached to the fork.
  • the present invention has been made to solve the above problems, and performs image prediction and correction based on forklift standard database information on the image of a fork camera provided in a forklift, and analyzes it to display a forklift guide interface based on accurate distance information
  • the purpose is to provide an image analysis-based forklift control device and its operation method that prevent errors due to distortion of images or differences in forklift specifications and enable convenient and accurate control using a forklift guide interface. there is.
  • An apparatus for providing a forklift interface comprising: a fork camera installed on a fork of a forklift; a guide interface generating unit configuring fork image information of the fork camera as a guide interface; a distance information calculation unit that calculates distance information to a target object from pixel information of the fork image information; and an output unit outputting the guide interface including the distance information.
  • a method according to an embodiment of the present invention for solving the above problems is a method of operating a forklift interface providing device, comprising the steps of configuring fork image information of a fork camera installed on a fork of a forklift as a guide interface ; calculating distance information to a target object from pixel information of the fork image information; and outputting the guide interface including the distance information.
  • the method according to the embodiment of the present invention for solving the above problems may be composed of a program for executing the method on a computer and a computer readable recording medium on which the program is recorded.
  • an image of a fork camera provided in a forklift is subjected to image prediction and correction based on forklift standard database information, and by analyzing and displaying a forklift guide interface based on accurate distance information, distortion of the image or It is possible to provide a forklift control device based on image analysis and an operation method thereof, which prevent errors due to differences in forklift discrimination specifications in advance and enable convenient and accurate control using a forklift guide interface.
  • FIG. 1 is a diagram illustrating a forklift to which an apparatus for providing a forklift interface based on image analysis according to an embodiment of the present invention is attached.
  • FIG. 2 is a block diagram for explaining in detail an apparatus for providing a forklift interface based on image analysis according to an embodiment of the present invention.
  • FIG. 3 is a flowchart for explaining in detail the operation of the apparatus for providing a forklift interface based on image analysis according to an embodiment of the present invention.
  • 4 to 5 are diagrams for explaining a process of calculating a distance of an apparatus for providing a forklift interface based on image analysis according to an embodiment of the present invention.
  • 6 and 7 are exemplary diagrams of a forklift guide interface screen based on image analysis according to an embodiment of the present invention.
  • FIGS. 9 to 12 are exemplary diagrams of corresponding forklift guide interface screens for each step.
  • 13 to 14 are diagrams for explaining a process of calculating a distance of an apparatus for providing a forklift interface based on image analysis according to another embodiment of the present invention.
  • FIG. 1 is a view showing a forklift to which a forklift interface providing device based on image analysis according to an embodiment of the present invention is attached
  • FIG. 2 is a view for explaining the image analysis based forklift interface providing device according to an embodiment of the present invention in more detail. It is a block diagram.
  • the forklift interface providing device 100 may be formed by being coupled to a general forklift 200 system, and in particular, the fork 210 or the fork connection part 220 of the forklift A fork camera 120 attached to is included to collect fork image information, and an output unit 190 is provided on the front of the driver's seat to output image information including a guide interface according to an embodiment of the present invention. there is.
  • the fork camera 120 may be attached to the end of the fork 210 or the fork connection part 220 where the fork 210 is connected to the carriage of the forklift 200, and to calculate accurate standardized height information It is preferable to attach to a position defined on the standard database, such as the hook part of the fork connection part 220.
  • the forklift interface providing apparatus 100 is coupled with the driving control system of the forklift 200, identifies standard information and driving information of the forklift, and outputs the control mode and control state information of the forklift 200 to an output unit ( 190) can be output.
  • the output unit 190 can output guide information for guiding the operation of the forklift to the driver through a screen or voice, and the forklift driver can refer to this to load or unload pallets in front or to obtain surrounding conditions or distance information. can be checked accurately.
  • the forklift interface providing device 100 can accurately calculate distance information from the front through image analysis of the fork camera 120, and uses the standard information index corresponding to the forklift 200 Accordingly, it is possible to accurately correct errors in image information and output an image aligned in the center, and specific configurations for realizing this will be described later in more detail.
  • the apparatus 100 for providing an interface includes a control unit 110, an input unit 115, a fork camera 120, an auxiliary camera 130, and a standard information database unit 140. , an image alignment correction unit 150, a distance information calculation unit 160, a guide interface generation unit 170, a storage unit 180, and a forklift drive linkage unit 195.
  • the control unit 110 may include one or more microprocessors for controlling overall driving of the interface providing device 100 .
  • the fork camera 120 may include one or more camera modules that collect fork image information for constructing a guide interface and transmit it to the controller 110 .
  • the fork camera 120 can be attached to the end of the fork 210 or the fork connection 220 where the fork 210 is connected to the carriage of the forklift 200, and provides accurate standardized height information. It is preferable to be attached to a position defined on the standard database, such as the hook part of the fork connection part 220 in order to calculate.
  • the auxiliary camera 130 may be a normal camera that collects surrounding images other than the fork image, and the surrounding image information may be output to a partial region of the guide interface according to an embodiment of the present invention.
  • the auxiliary camera 130 may include a plurality of cameras, and surrounding image information output from the auxiliary camera 130 may include an around view image, a rear camera image, and the like.
  • the input unit 115 generates input data for the driver to control the operation of the interface providing device 100 and input information.
  • the input unit 115 may include a key pad, a dome switch, a touch pad (static pressure/capacity), a jog wheel, a jog switch, and the like.
  • the standard information database unit 140 may store and manage preset standard information of a forklift. Then, the standard information database unit 140 acquires the standard database information indexed in the standard information database unit 140 according to the forklift information set through the input unit 115, and configures it as standard information for configuring the guide interface It can be stored and managed in the storage unit 180.
  • the standard information may include standard information of the fork of the forklift.
  • the forklift fork may be mapped to any one of the standard lists corresponding to the industry association standard database, and may include the length, type, protruding length, width, etc. of the fork, and in particular, dimension information for each subdivided fork position. there is.
  • the driver or product installer sets one of the standardized standards indexed in the standard information database unit 140 or inputs forklift product information to obtain the standard information database unit 140. ) can be processed to be indexed.
  • location information of the fork camera 120 may be preset in correspondence to the standard information of the standard information database unit 140 .
  • the fork camera 120 may be installed in the upper hook connection part of the right fork, and height information corresponding to the upper hook connection part is selectively input or by a value previously indexed in the standard information database unit 140. can be determined automatically.
  • the image alignment correction unit 150 aligns and corrects the center line of the fork image information collected from the fork camera 120 using the set standard information.
  • fork image information must be configured at a viewpoint located at the center of both forks, such as a front camera.
  • the image alignment correction unit 150 identifies the location information (right fork or left fork) of the fork camera 120 mapped to the forklift standard information, checks the fork width information of the forklift standard information corresponding to the location information, and identifies the fork width and Using the location information of the camera 120, alignment processing is performed around the fork image screen.
  • the standard information database unit 140 may further store focal length information of the fork camera. Focal distance information may be used to calculate distance information.
  • the distance information calculation unit 160 identifies object information from the center-aligned fork image information, and uses the standard information of the standard information database unit 140 and the object information to provide information corresponding to the identified object information. Calculate distance information.
  • the method of identifying object information from image information may use a well-known deep learning image learning and analysis technology such as CNN (Convolutional Neaural Network), and pixel size information corresponding to the identified object information may be calculated. .
  • CNN Convolutional Neaural Network
  • the distance information calculation unit 160 uses the pixel size information, the actual size information of the fork of the fork obtained from the standard information of the actual standard information database unit 140, and the focal length information of the fork camera 120, Pixel size information, which is the width on the currently aligned image plane, can be predicted as an actual size, and the fork protrusion length information, height information, and height information of the fork camera 120 obtained from standard information are used to predict the forward distance by a trigonometric function. Actual distance information can be calculated.
  • the distance information calculation unit 160 can accurately calculate from image information for providing a front fork image to actual distance information, so that the fork camera 120 can be measured without a separate distance measuring sensor. It is possible to construct a distance information guide interface using only
  • the guide interface generator 170 creates a guide interface for driving a forklift using the distance information and aligned fork image information.
  • the guide interface may include a first alignment interface for aligning the fork and a second alignment interface for aligning the pallet, and the first and second alignment interfaces may be aligned to facilitate insertion of the forklift pallet.
  • the guide interface calculates and displays the remaining distance according to the distance information, so that the driver can numerically check how far he or she is from the target palette in advance.
  • the guide interface generating unit 170 configures a notification message based on the distance information, and the audio output unit or display of the output unit 190 The notification message may be output through the sub.
  • the guide interface generating unit 170 outputs, through the output unit 190, a beep sound that changes at regular intervals according to the remaining distance calculated from the distance information, or gradually increases according to the remaining distance calculated from the distance information.
  • a danger icon or the like that increases to may be output through the output unit 190 .
  • the forklift drive interlocking unit 195 collects driving state information of the forklift 200 system and transmits the information to the control unit 110, and provides driving command information of the forklift according to the processing of the control unit 110 by driving each module unit. can be obtained and delivered to the forklift 200.
  • control unit 110 generates a loading or unloading control command of the forklift or a setting command such as an automatic mode according to the user's input unit 115 corresponding to the guide interface, so that the forklift drive linkage unit 195 ), and the system state information of the forklift drive linkage unit 195 is collected and transmitted to the guide interface generator 170, so that surrounding information such as an auxiliary camera image can be output together on the guide interface. there is.
  • the storage unit 180 may store programs for operation of the control unit 110 and may temporarily store input/output data.
  • the storage unit 180 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, It may include a storage medium of at least one type of a magnetic disk and an optical disk.
  • FIG. 3 is a flowchart for explaining in detail the operation of the apparatus for providing a forklift interface based on image analysis according to an embodiment of the present invention.
  • the interface providing device 100 sets location information and focal length information of the fork camera 120 installed in the fork connection unit 220 and stores them in the standard information database unit 140 (S101).
  • the interface providing device 100 searches and indexes the database of the standard information database unit 140 for standard information corresponding to the forklift-specific information, and stores the indexed standard information (S103).
  • the interface providing device 100 obtains fork image information from the fork camera 120 (S105), corrects the obtained fork image information according to the standard information of the standard information database unit 140, and outputs the obtained fork image information after center alignment processing. It is displayed through the unit 190 (S107).
  • the interface providing device 100 identifies the pixel width of the front target object from the image information (S109), and the fork length, height, and thickness information obtained from the standard information of the standard information database unit 140 and the fork camera 120 Using the focal distance information of ), actual distance information with the target object is calculated (S111).
  • the interface providing device 100 varies the interface screen output according to the calculated distance information through the guide interface generating unit 170 (S113).
  • 4 to 5 are diagrams for explaining a process of calculating a distance of an apparatus for providing a forklift interface based on image analysis according to an embodiment of the present invention.
  • height information H1 at which the fork camera 120 is installed may be stored in the standard information database unit 140, which may correspond to the standardized height information of the fork connection unit 220. .
  • the standard information database unit 140 may further include fork protruding length information L1, fork thickness information H2, and thickness information L2 of the fork connection unit 220, each of which length information is forklift It can be used to calculate distance information D2 from the fork of to the palette 310, which is a target object.
  • the standardized width information W of the actual palette 310 may be previously stored in the standard information database unit 140, and may be matched and obtained according to image object identification.
  • the initial length D1 may be calculated by calculating the Pythagorean theorem considering the height information H1 or a trigonometric function based on a predefined standard angle. And, if the fork protruding length L1 is subtracted from D1, the actual length D2 from the fork end to the pallet 310 can be calculated.
  • the distance information calculation unit 160 can perform accurate distance calculation, and can also be corrected by additionally using values such as H2 and L2, which are thicknesses for each location, for more accurate location calculation.
  • 6 and 7 are exemplary diagrams of a forklift guide interface screen based on image analysis according to an embodiment of the present invention.
  • the guide interface generation unit 170 may align and provide forward fork images, accurately calculate actual distance information on the aligned fork image information, and output the remaining distance message as a message.
  • the guide interface generating unit 170 generates a guide interface for driving a forklift using the distance information and aligned fork image information.
  • the guide interface has a cross shape formed on the fork for aligning the forks. It may include a first alignment interface and a cross-shaped second alignment interface formed on the hole of the pallet for pallet alignment, and guides the two cross-shaped first and second alignment interfaces to match, thereby inserting the pallet of the forklift. can be done easily
  • the guide interface generating unit 170 can output fork insertion and lift guide messages when the center lines coincide, thereby improving driver's convenience.
  • FIGS. 9 to 12 are exemplary diagrams of corresponding forklift guide interface screens for each step.
  • the forklift 200 system may have an automatic loading mode and an unloading mode. This may be driven by an image analysis module and a sensor module provided on the forklift 200 system, and automatic loading and unloading functions may be processed according to shelf location information obtained through image analysis.
  • the interface providing device 100 configures and provides the interface of the guide interface generating unit 170 described above in conjunction with the automatic loading and unloading function processing to perform a guide for smooth function operation.
  • the interface providing device 100 provides a loading status notification interface based on fork image information (S203).
  • the guide interface generating unit 170 may collect loading mode information and loading state information from the driving interlocking unit 195 and may calculate distance information and provide it through the guide interface.
  • examples of interface screens are described in FIGS. 9 to 10 .
  • the guide interface generating unit 170 may check the shelf area to be loaded from the auxiliary camera image information and output the same on the guide interface (S205).
  • a screen example is described in FIG. 11 .
  • the interface providing device 100 checks whether or not the fork is unloaded and the distance based on the fork image information, and provides an unloading status notification interface (S209).
  • the unloading status notification interface may be varied according to the calculated distance information (S211). An example of such a screen may be described through FIGS. 11 and 12 .
  • FIGS. 13 and 14 are diagrams for explaining a process of calculating a distance of an apparatus for providing a forklift interface based on image analysis according to another embodiment of the present invention.
  • the distance information calculating unit 160 identifies a pallet hole area from fork image information of a preset first distance (S301).
  • a preset first distance may be 1 meter.
  • the palette hole area may be identified as a rectangular or circular area in which a set of black areas in which color or contrast information is identified as less than a threshold value is formed.
  • the distance information calculation unit 160 calculates the number of horizontal pixels and vertical pixels of the palette hole area in the image, and calculates the total number of pixels corresponding to the palette hole area (S303).
  • the distance information calculation unit 160 may repeatedly perform a process of calculating the number of pixels corresponding to the palette hole area until the fork image information of the Nth distance.
  • the N distance may be, for example, a value that increases in units of 1 meter.
  • the first distance is 1 meter
  • the second distance is 2 meters
  • the third distance is 3 meters
  • the fourth distance is 4 meters
  • the fifth distance is 5 meters.
  • N distances may be sequentially increased by N meters or the like.
  • Such an iterative process may be referred to as a learning process, and a relational expression to be described later may be calculated according to learning.
  • the distance information calculation unit 160 matches the calculated number of pixels with the distance information to calculate a distance relational expression between the fork camera 120 and the palette (S307).
  • the distance information calculating unit 160 calculates a relational expression of the distance from the fork camera 120 to the pallet with respect to the number of pixels in the form of a relational expression such as a linear function equation.
  • a relational expression such as a linear function equation.
  • the distance information calculation unit 160 may apply the pixel information of the palette hole area identified in the real-time fork image information to the relational expression to calculate the distance information to the palette, which is the target object (S309). ).
  • This distance information calculation method can be configured by replacing the above-described steps S109 to S111, and in this case, since the relationship between the pre-calibrated distance information and the number of pixels is processed, distance information can be calculated without standard database information, , accuracy can be guaranteed regardless of product specifications.
  • various embodiments described herein may be implemented in a computer-readable recording medium using, for example, software, hardware, or a combination thereof.
  • the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and field programmable gate arrays (FPGAs).
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors, controllers, micro-controllers, microprocessors, and electrical units for performing functions In some cases, such embodiments may be implemented by a control unit.
  • the embodiments described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components.
  • the devices, methods and components described in the embodiments may include, for example, a processor, a controller, a central processing unit (CPU), a graphics processing unit (GPU), an ALU ( arithmetic logic unit), digital signal processor, microcomputer, field programmable gate array (FPGA), programmable logic unit (PLU), microprocessor, Application Specific Integrated Circuits (ASICS), or instructions ( may be implemented using one or more general purpose or special purpose computers, like any other device capable of executing and responding to instructions.
  • CPU central processing unit
  • GPU graphics processing unit
  • ALU arithmetic logic unit
  • digital signal processor microcomputer
  • FPGA field programmable gate array
  • PLU programmable logic unit
  • ASICS Application Specific Integrated Circuits
  • the method according to the present invention described above may be produced as a program to be executed on a computer and stored in a computer-readable recording medium.
  • the computer-readable recording medium include ROM, RAM, CD-ROM, There are magnetic tapes, floppy disks, and optical data storage devices.
  • the computer-readable recording medium is distributed to computer systems connected through a network, so that computer-readable codes can be stored and executed in a distributed manner.
  • functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the technical field to which the present invention belongs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Civil Engineering (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

본 발명의 실시 예에 따른 지게차 인터페이스 제공 장치는, 지게차의 포크에 설치되는 포크 카메라; 상기 포크 카메라의 포크 영상 정보를 가이드 인터페이스로 구성하는 가이드 인터페이스 생성부; 상기 포크 영상 정보의 픽셀 정보로부터 대상 객체와의 거리 정보를 산출하는 거리 정보 산출부; 및 상기 거리 정보를 이용하여, 상기 가이드 인터페이스를 출력하는 출력부를 포함한다.

Description

영상 분석 기반 지게차 인터페이스 제공 장치 및 그 동작 방법
본 발명은 지게차의 포크 제어 장치 및 그 동작 방법에 관한 것이다. 보다 구체적으로, 본 발명은 영상 분석 기반 지게차 인터페이스 제공 장치 및 그 동작 방법에 관한 것이다.
일반적으로 지게차, 청소차와 같은 특수목적의 작업을 수행하는 차량에는 작업 시 사고발생을 방지하기 위해서 센서나 카메라와 같은 장치를 이용하여 주변에 대상이 존재하는지 감지하는 시스템이 탑재된다. 예컨대, 시스템이 적외선센서를 이용하여 일정 영역 안에 사람을 감지하면 경고음을 발생하여 차량의 운전자가 작업을 중단하게 하거거나 주변의 사람이 스스로 피하도록 할 수 있다.
그러나 지게차의 경우 팔레트에 물체를 올린 상태에서 움직이는 경우 물체의 부피로 인해 전방 시야에 사각지대가 발생하는 경우가 많아서 작업자가 직접 전방시야를 확인할 수 없는 문제가 있다. 이를 방지하고자 지게차 주변에서 상황을 통제하는 파트너와 지게차 운전자가 의사를 교환하면서 천천히 작업을 수행하는데 이 경우에는 작업속도가 다소 더디게 진행되는 단점이 있었다.
이를 해결하기 위해, 한국등록특허 10-2063957 등은, 복수의 카메라를 지게차에 장착시키고, 영상을 조합하여 어라운드뷰 등과 같은 영상조합을 통해 사각지대 등에 대하여도 모니터링하는 기술 등을 제안한 바 있다.
그러나, 지게차의 각 포크 구조는 제조사마다 그 세부 규격이나 형태가 상이하다. 특히, 포크 및 포크 리프트의 형상 및 위치가 세부적으로 모두 차이가 있을 수 있다. 따라서, 복수의 카메라를 지게차의 특정 위치에 배치시키는 경우, 지게차마다 서로 다른 영상이 출력될 수 있으며, 특정 지게차에서는 상당히 부자연스러운 영상이 출력될 수 있다.
이를 보정하기 위해서는 각각의 카메라에 대한 상대적 위치 및 높이 등을 모두 측정하고 그 관계를 파악하고 정렬하는 과정 등을 진행하여야 하며, 지게차마다 모두 다른 방식으로 반영해 주어야 하는 불편함이 필연적으로 발생한다.
또한, 지게차마다의 포크 형식, 포크 간격, 리프트 설계, 프레임 구조 등이 모두 상이할 수 있는 바, 포크 등에 부착된 영상 카메라의 영상만으로는 대상 팔레트 등과의 거리를 정확히 알 수는 없는 문제점이 있다.
이에 따라, 현재 기술로서는 지게차마다 상이한 규격 차이 등으로 인해, 실제의 거리인식과는 전혀 다른 영상을 보면서 지게차를 운용하여야 하는 바, 안전 문제, 조작 미숙 등의 다양한 문제점들이 발생될 수 있다.
본 발명은 상기한 바와 같은 문제점들을 해결하고자 안출된 것으로, 지게차에 구비되는 포크 카메라의 영상을 지게차 규격 데이터베이스 정보 기반의 영상 예측 보정을 수행하고, 이를 분석하여 정확한 거리 정보 기반의 지게차 가이드 인터페이스를 디스플레이하도록 함으로써, 영상의 틀어짐이나 지게차별 규격 차이로 인한 오차를 사전에 방지하고, 지게차 가이드 인터페이스를 이용한 편리하면서도 정확한 제어가 가능하게 되는 영상 분석 기반 지게차 제어 장치 및 그 동작 방법을 제공하는 데 그 목적이 있다.
상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 지게차 인터페이스 제공 장치에 있어서, 지게차의 포크에 설치되는 포크 카메라; 상기 포크 카메라의 포크 영상 정보를 가이드 인터페이스로 구성하는 가이드 인터페이스 생성부; 상기 포크 영상 정보의 픽셀 정보로부터 대상 객체와의 거리 정보를 산출하는 거리 정보 산출부; 및 상기 거리 정보를 포함하는 상기 가이드 인터페이스를 출력하는 출력부를 포함한다.
또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 지게차 인터페이스 제공 장치의 동작 방법에 있어서, 지게차의 포크에 설치되는 포크 카메라의 포크 영상 정보를 가이드 인터페이스로 구성하는 단계; 상기 포크 영상 정보의 픽셀 정보로부터 대상 객체와의 거리 정보를 산출하는 단계; 및 상기 거리 정보를 포함하는 상기 가이드 인터페이스를 출력하는 단계를 포함한다.
또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램 및 상기 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로 구성될 수 있다.
본 발명의 실시 예에 따르면, 지게차에 구비되는 포크 카메라의 영상을 지게차 규격 데이터베이스 정보 기반의 영상 예측 보정을 수행하고, 이를 분석하여 정확한 거리 정보 기반의 지게차 가이드 인터페이스를 디스플레이하도록 함으로써, 영상의 틀어짐이나 지게차별 규격 차이로 인한 오차를 사전에 방지하고, 지게차 가이드 인터페이스를 이용한 편리하면서도 정확한 제어가 가능하게 되는 영상 분석 기반 지게차 제어 장치 및 그 동작 방법을 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 영상 분석 기반 지게차 인터페이스 제공 장치가 부착된 지게차를 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 영상 분석 기반 지게차 인터페이스 제공 장치를 보다 구체적으로 설명하기 위한 블록도이다.
도 3은 본 발명의 실시 예에 따른 영상 분석 기반 지게차 인터페이스 제공 장치의 동작을 보다 구체적으로 설명하기 위한 흐름도이다.
도 4 내지 도 5는 본 발명의 실시 예에 따른 영상 분석 기반 지게차 인터페이스 제공 장치의 거리 산출 과정을 설명하기 위한 도면이다.
도 6 내지 도 7은 본 발명의 실시 예에 따른 영상 분석 기반 지게차 가이드 인터페이스 화면의 예시도이다.
도 8은 본 발명의 다른 실시 예에 따른 영상 분석 기반 지게차 인터페이스 제공 장치의 동작을 설명하기 위한 흐름도이며, 도 9 내지 도 12는 이에 대응하는 각 단계별 지게차 가이드 인터페이스 화면의 예시도이다.
도 13 내지 도 14는 본 발명의 다른 실시 예에 따른 영상 분석 기반 지게차 인터페이스 제공 장치의 거리 산출 과정을 설명하기 위한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 영상 분석 기반 지게차 인터페이스 제공 장치가 부착된 지게차를 나타내는 도면이며, 도 2는 본 발명의 실시 예에 따른 영상 분석 기반 지게차 인터페이스 제공 장치를 보다 구체적으로 설명하기 위한 블록도이다.
먼저 도 1을 참조하면, 본 발명의 실시 예에 따른 지게차 인터페이스 제공 장치(100)는 통상의 지게차(200) 시스템에 결합되어 형성될 수 있으며, 특히 지게차의 포크(210) 또는 포크 연결부(220)에 부착되는 포크 카메라(120)가 포함되어 포크 영상 정보를 수집할 수 있으며, 운전석의 전면에는 출력부(190)가 구비되어 본 발명의 실시 예에 따른 가이드 인터페이스를 포함하는 영상 정보를 출력할 수 있다.
여기서, 포크 카메라(120)는 포크(210)의 종단부 또는 포크(210)가 지게차(200)의 캐리지와 연결되는 포크 연결부(220) 등에 부착될 수 있으며, 정확한 규격화된 높이 정보를 산출하기 위하여 포크 연결부(220)의 후크부 등 규격 데이터베이스상에 정의된 위치에 부착되는 것이 바람직하다.
그리고, 지게차 인터페이스 제공 장치(100)는, 지게차(200)의 구동 제어 시스템과 결합되어, 지게차의 규격 정보 및 구동 정보를 식별하고, 지게차(200)의 제어 모드, 제어 상태 정보 등을 출력부(190)를 통해 출력할 수 있다. 출력부(190)는 화면 또는 음성을 통해 운전자에게 지게차의 운용을 가이드하기 위한 가이드 정보를 출력할 수 있는 바, 지게차 운전자는 이를 참고하여 전방의 팔레트를 적재 또는 하역하거나 주변 상태 또는 거리 정보 등을 정확히 확인할 수 있다.
이러한 가이드 정보를 구성하기 위하여, 지게차 인터페이스 제공 장치(100)는 포크 카메라(120)의 영상 분석을 통하여 전방과의 거리 정보를 정확하게 산출할 수 있으며, 지게차(200)에 대응하는 규격 정보 색인을 이용하여 영상 정보의 오차를 정확히 보정하여 중앙에 정렬된 영상을 출력할 수 있는 바, 이를 구현하기 위한 구체적인 구성들에 대하여 보다 구체적으로 후술하도록 한다.
도 2를 참조하면, 본 발명의 실시 예에 따른 인터페이스 제공 장치(100)는, 제어부(110), 입력부(115), 포크 카메라(120), 보조 카메라(130), 규격 정보 데이터베이스부(140), 영상 정렬 보정부(150), 거리 정보 산출부(160), 가이드 인터페이스 생성부(170), 저장부(180) 및 지게차 구동 연동부(195)를 포함한다.
제어부(110)는 인터페이스 제공 장치(100)의 전반적인 구동을 제어하기 위한 하나 이상의 마이크로프로세서를 포함할 수 있다.
그리고, 포크 카메라(120)는, 가이드 인터페이스 구성을 위한 포크 영상 정보를 수집하여 제어부(110)로 전달하는 하나 이상의 카메라 모듈을 포함할 수 있다. 앞서 설명한 바와 같이, 포크 카메라(120)는, 포크(210)의 종단부 또는 포크(210)가 지게차(200)의 캐리지와 연결되는 포크 연결부(220) 등에 부착될 수 있으며, 정확한 규격화된 높이 정보를 산출하기 위하여 포크 연결부(220)의 후크부 등 규격 데이터베이스상에 정의된 위치에 부착되는 것이 바람직하다.
그리고, 보조 카메라(130)는 포크 영상 이외의 주변 영상을 수집하는 통상의 카메라일 수 있으며, 본 발명의 실시 예에 따른 가이드 인터페이스의 일부 영역에 상기 주변 영상 정보가 출력될 수 있다. 또한, 보조 카메라(130)는 복수의 카메라를 구비할 수 있으며, 보조 카메라(130)에서 출력되는 주변 영상 정보는, 어라운드 뷰, 후방 카메라 영상 등이 포함될 수 있다.
입력부(115)는 운전자가 인터페이스 제공 장치(100)의 동작 제어 및 정보 입력을 위한 입력 데이터를 발생시킨다. 입력부(115)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
규격 정보 데이터베이스부(140)는, 사전 설정된 지게차의 규격 정보를 저장 및 관리할 수 있다. 그리고, 규격 정보 데이터베이스부(140)는 입력부(115)를 통해 설정된 지게차 정보에 따라, 상기 규격 정보 데이터베이스부(140)에서 색인된 규격 데이터베이스 정보를 획득하고, 이를 가이드 인터페이스 구성을 위한 규격 정보로서 구성하여 저장부(180)에 저장 및 관리할 수 있다.
여기서, 규격 정보는, 지게차 포크의 규격 정보를 포함할 수 있다. 지게차 포크는 산업협회 표준 데이터베이스에 대응하는 규격 리스트 중 어느 하나에 매핑될 수 있으며, 포크의 길이, 형식, 돌출 길이, 너비 등을 포함할 수 있고, 특히 세분화된 포크 위치별 치수 정보를 포함할 수 있다.
이에 따라, 운전자 또는 제품 설치자는 상기 인터페이스 제공 장치(100)를 설치하면서, 규격 정보 데이터베이스부(140)에서 색인된 표준화된 규격 중 어느 하나로 설정하거나, 지게차 제품 정보를 입력하여 규격 정보 데이터베이스부(140)에서 색인되도록 처리할 수 있다.
또한, 규격 정보 데이터베이스부(140)의 규격 정보에 대응하여, 포크 카메라(120)의 위치 정보가 사전 설정될 수 있다. 예를 들어, 포크 카메라(120)는 우측 포크의 상단 후크 연결부에 설치될 수 있으며, 상단 후크 연결부에 대응하는 높이 정보가 선택적으로 입력되거나, 규격 정보 데이터베이스부(140)에서 미리 색인된 값에 의해 자동적으로 결정될 수 있다.
그리고, 영상 정렬 보정부(150)는, 설정된 규격 정보를 이용하여, 포크 카메라(120)로부터 수집된 포크 영상 정보의 중심선을 정렬 보정한다. 통상적으로 포크 영상 정보는 전방 카메라와 같이 양쪽 포크의 중심에 위치한 시점에서 구성되어야 한다.
하지만 본 발명의 실시 예에 따른 포크 카메라(120)는 어느 하나의 포크(210) 또는 포크 연결부(220)에 치우쳐 구비될 수 있으므로, 영상 화면을 중심으로 정렬하기 위하여, 영상 정렬 보정부(150)는, 지게차의 규격 정보에 매핑된 포크 카메라(120)의 위치 정보(우측 포크 또는 좌측 포크)를 식별하고, 위치 정보에 대응하는 지게차의 규격 정보의 포크 폭 정보를 확인하며, 확인된 포크 폭과 카메라(120)의 위치 정보를 이용하여, 포크 영상 화면을 중심으로 정렬 처리한다.
또한, 규격 정보 데이터베이스부(140)는, 포크 카메라의 초점 거리 정보를 더 저장할 수 있다. 초점 거리 정보는 거리 정보의 산출에 이용될 수 있다.
그리고, 거리 정보 산출부(160)는, 중심 정렬된 포크 영상 정보로부터 객체 정보를 식별하고, 규격 정보 데이터베이스부(140)의 규격 정보와, 상기 객체 정보를 이용하여, 식별된 객체 정보에 대응하는 거리 정보를 산출한다.
여기서, 영상 정보로부터 객체 정보를 식별하는 방식은, CNN(Convolutional Neaural Network) 등의 잘 알려진 딥러닝 영상 학습 및 분석 기술을 이용할 수 있으며, 식별된 객체 정보에 대응하는 픽셀 크기 정보가 산출될 수 있다.
이에 따라, 거리 정보 산출부(160)는 픽셀 크기 정보와, 실제 규격 정보 데이터베이스부(140)의 규격 정보로부터 획득되는 지게차 포크의 실제 크기 정보 및 포크 카메라(120)의 초점 거리 정보를 이용하여, 현재 정렬된 영상 평면상의 너비인 픽셀 크기 정보를 실제 크기로 예측할 수 있으며, 규격 정보에서 획득되는 포크의 돌출 길이정보, 높이정보 및 포크 카메라(120)의 높이정보에 따라 삼각함수에 의해 전방까지의 실제 거리 정보가 산출될 수 있다.
즉, 본 발명의 실시 예에 따른 거리 정보 산출부(160)는, 전방 포크 영상을 제공하기 위한 영상 정보로부터 실제 거리 정보까지 정확히 산출할 수 있는 바, 별도의 거리 측정 센서 없이도 포크 카메라(120)만을 이용한 거리 정보 가이드 인터페이스 구성을 가능하게 한다.
그리고, 가이드 인터페이스 생성부(170)는, 상기 거리 정보 및 정렬된 포크 영상 정보를 이용하여, 지게차 구동을 위한 가이드 인터페이스를 생성한다. 가이드 인터페이스는, 포크 정렬을 위한 제1 정렬 인터페이스 및 팔레트 정렬을 위한 제2 정렬 인터페이스를 포함할 수 있으며, 제1 및 제2 정렬 인터페이스가 일치되도록 유도하여 지게차의 팔레트 삽입을 용이하게 할 수 있다.
또한, 가이드 인터페이스는 상기 거리 정보에 따라 남은 거리를 산출하여 표시함으로써, 운전자가 자신이 얼마나 대상 팔레트와 멀리 떨어져 있는지를 미리 수치적으로 확인할 수 있게 한다.
나아가, 이러한 거리 정보는 전방의 물체 센싱 및 알림 출력에 이용될 수 있는 바, 가이드 인터페이스 생성부(170)는 상기 거리 정보 기반의 알림 메시지를 구성하여, 출력부(190)의 음성 출력부 또는 디스플레이부를 통해 상기 알림 메시지를 출력할 수도 있다.
예를 들어, 가이드 인터페이스 생성부(170)는 거리 정보로부터 산출되는 남은 거리에 따라 일정 간격으로 변화하는 비프음 등을 출력부(190)를 통해 출력하거나, 거리 정보로부터 산출되는 남은 거리에 따라 점진적으로 커지는 위험 아이콘 등을 출력부(190)를 통해 출력할 수 있다.
한편, 지게차 구동 연동부(195)는, 지게차(200) 시스템의 구동 상태 정보를 수집하여 제어부(110)로 전달하며, 각 모듈부의 구동에 의한 제어부(110)의 처리에 따른 지게차의 구동 명령 정보를 획득하여, 지게차(200)으로 전달할 수 있다.
예를 들어, 제어부(110)는 가이드 인터페이스에 대응하는 사용자의 입력부(115) 입력에 따라, 지게차의 선적 또는 하역 제어 명령을 생성하거나, 자동 모드 등의 설정 명령을 생성하여 지게차 구동 연동부(195)로 전달할 수 있으며, 지게차 구동 연동부(195)의 시스템 상태 정보를 수집하여 가이드 인터페이스 생성부(170)로 전달함으로써, 보조 카메라 영상 등의 주변 정보 등이 가이드 인터페이스상에 함께 출력되도록 처리할 수 있다.
한편, 저장부(180)는 제어부(110)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다.
저장부(180)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른 영상 분석 기반 지게차 인터페이스 제공 장치의 동작을 보다 구체적으로 설명하기 위한 흐름도이다.
도 3을 참조하면, 먼저 인터페이스 제공 장치(100)는 포크 연결부(220)에 설치된 포크 카메라(120)의 위치 정보 및 초점 거리 정보를 설정하여 규격 정보 데이터베이스부(140)에 저장한다(S101).
그리고, 인터페이스 제공 장치(100)는 지게차 고유 정보에 대응하는 규격 정보를 규격 정보 데이터베이스부(140)의 데이터베이스를 탐색하여 색인하고, 색인된 규격 정보를 저장한다(S103).
이후, 인터페이스 제공 장치(100)는 포크 카메라(120)로부터 포크 영상 정보를 획득하며(S105), 획득된 포크 영상 정보를 규격 정보 데이터베이스부(140)의 규격 정보에 따라 보정하여 중심 정렬 처리 후 출력부(190)를 통해 디스플레이한다(S107).
그리고, 인터페이스 제공 장치(100)는 영상 정보로부터 전방 대상 객체의 픽셀 너비를 식별하고(S109), 규격 정보 데이터베이스부(140)의 규격 정보로부터 획득되는 포크 길이, 높이, 두께 정보와 포크 카메라(120)의 초점 거리 정보를 이용하여, 대상 객체와의 실제 거리 정보를 산출한다(S111).
그리고, 인터페이스 제공 장치(100)는 가이드 인터페이스 생성부(170)를 통해 상기 산출된 거리 정보에 따른 인터페이스 화면 출력을 가변한다(S113).
도 4 내지 도 5는 본 발명의 실시 예에 따른 영상 분석 기반 지게차 인터페이스 제공 장치의 거리 산출 과정을 설명하기 위한 도면이다.
도 4 내지 도 5를 참조하면, 규격 정보 데이터베이스부(140)에는 포크 카메라(120)가 설치된 높이 정보(H1)가 저장될 수 있으며 이는 포크 연결부(220)의 규격화된 높이 정보에 대응될 수 있다.
또한 규격 정보 데이터베이스부(140)에는 포크 돌출 길이 정보(L1)와, 포크 두께 정보(H2)와, 포크 연결부(220)의 두께 정보(L2)가 더 포함될 수 있는 바, 이러한 각 길이 정보는 지게차의 포크로부터 대상 객체인 팔레트(310)까지의 거리 정보 D2를 산출하는 데 이용될 수 있다.
보다 구체적으로, 포크 카메라(120)에서 촬영된 영상과 초점 거리 정보로부터, 대상 팔레트(310)까지의 직선 거리인 제1 거리 정보 D0를 산출할 수 있다. 이는, 도 5에 도시된 바와 같이 포크 카메라(120)의 초점 거리 f에 의한 영상 평면이 형성되기 때문이며, 실제 팔레트(310)의 폭이 W라고 하고, 영상에서의 팔레트(310)의 픽셀 폭을 w라고 하면, W : D0 = w : f 이므로 실제 카메라로부터 팔레트(310)와의 거리 D0는 D0 = ( f x W )/w 와 같은 연산식에 의하여 산출될 수 있다.
이를 위해, 실제 팔레트(310)의 규격화된 폭 정보 W는 규격 정보 데이터베이스부(140)에 사전 저장되어 있을 수 있으며, 영상 객체 식별에 따라 매칭되어 획득될 수도 있다.
이에 따라, D0가 산출되면, 높이 정보 H1을 고려한 피타고라스 정리 연산 또는 사전 정의된 규격 각도에 의한 삼각함수 등의 연산에 의해, 초기 길이 D1이 산출될 수 있다. 그리고, 포크 돌출 길이 L1을 D1에서 차감하면, 포크 단부로부터 팔레트(310)까지의 실제 길이 D2가 산출될 수 있게 된다.
이와 같은 방식에 따라, 거리 정보 산출부(160)는 정확한 거리 연산을 수행할 수 있으며, 보다 정확한 위치 연산 등을 위하여 각 위치별 두께인 H2, L2 등의 값을 추가적으로 이용하여 보정할 수도 있다.
도 6 내지 도 7은 본 발명의 실시 예에 따른 영상 분석 기반 지게차 가이드 인터페이스 화면의 예시도이다.
도 6 내지 도 7에 도시된 바와 같이, 가이드 인터페이스 생성부(170)는, 전방 포크 영상을 정렬하여 제공할 수 있으며, 정렬된 포크 영상 정보상에 실제 거리 정보까지 정확히 산출하여 남은 거리 메시지로 출력할 수 있다.
또한, 가이드 인터페이스 생성부(170)는, 상기 거리 정보 및 정렬된 포크 영상 정보를 이용하여, 지게차 구동을 위한 가이드 인터페이스를 생성하는 바, 가이드 인터페이스는, 포크 정렬을 위한 포크상에 형성된 십자 형태의 제1 정렬 인터페이스 및 팔레트 정렬을 위해 팔레트의 구멍상에 형성된 십자 형태의 제2 정렬 인터페이스를 포함할 수 있으며, 두개의 십자 형태인 제1 및 제2 정렬 인터페이스가 일치되도록 유도하여 지게차의 팔레트 삽입을 용이하게 할 수 있다.
또한, 가이드 인터페이스 생성부(170)는 중심선이 일치되는 경우 포크 삽입 및 리프트 가이드 메시지를 출력할 수 있는 바, 운전자의 편의성을 향상시킬 수 있다.
도 8은 본 발명의 다른 실시 예에 따른 영상 분석 기반 지게차 인터페이스 제공 장치의 동작을 설명하기 위한 흐름도이며, 도 9 내지 도 12는 이에 대응하는 각 단계별 지게차 가이드 인터페이스 화면의 예시도이다.
도 8 내지 도 12를 참조하면, 지게차(200) 시스템은 자동 적재 모드 및 하역 모드를 구비할 수 있다. 이는 지게차(200) 시스템상 구비된 영상 분석 모듈 및 센서 모듈 등에 의해 구동될 수 있으며, 영상 분석에 따라 획득되는 선반 위치 정보에 따른 자동 적재 및 하역 기능이 처리될 수 있다. 본 발명의 실시 예에 따른 인터페이스 제공 장치(100)는 상기 자동 적재 및 하역 기능 처리와 연동하여, 전술한 가이드 인터페이스 생성부(170)의 인터페이스를 구성 및 제공하여, 원활한 기능 동작의 가이드를 수행할 수 있다.
보다 구체적으로, 먼저 지게차(200) 시스템에서 자동 적재 모드가 설정되면(S201), 인터페이스 제공 장치(100)는 포크 영상 정보에 기초한 적재 상태 알림 인터페이스를 제공한다(S203).
이를 위해, 가이드 인터페이스 생성부(170)는 구동 연동부(195)로부터 적재 모드 정보 및 적재 상태 정보를 수집할 수 있으며, 거리 정보를 연산하여 상기 가이드 인터페이스를 통해 제공할 수 있다. 이에 대하여 도 9 내지 도 10에서 인터페이스 화면 예시가 설명되어 있다.
또한, 가이드 인터페이스 생성부(170)는 보조 카메라 영상 정보로부터, 적재 대상 선반 영역을 확인하여 상기 가이드 인터페이스상에 함께 출력할 수도 있다(S205). 이에 대하여 도 11에서 화면 예시가 설명되어 있다.
또한, 지게차(200) 시스템에서 자동 하역 모드가 설정되면(S207), 인터페이스 제공 장치(100)는 포크 영상 정보에 기초한 하역 여부 및 거리를 확인하여, 하역 상태 알림 인터페이스를 제공한다(S209). 또한, 산출된 거리 정보에 따라 하역 상태 알림 인터페이스를 가변시킬 수 있다(S211). 이러한 화면 예시는 도 11 및 도 12를 통해 설명될 수 있다.
한편, 도 13 내지 도 14는 본 발명의 다른 실시 예에 따른 영상 분석 기반 지게차 인터페이스 제공 장치의 거리 산출 과정을 설명하기 위한 도면이다.
도 13 내지 도 14를 참조하면, 먼저 거리 정보 산출부(160)는, 사전 설정된 제1 거리의 포크 영상 정보로부터 팔레트 구멍 영역을 식별한다(S301).
여기서, 사전 설정된 제1 거리는 1미터가 예시될 수 있다. 또한, 팔레트 구멍 영역은, 색상 또는 명암 정보가 임계치 이하로 식별되는 검은색 영역이 집합을 이루는 사각형 또는 원형 영역으로 식별될 수 있다.
그리고, 거리 정보 산출부(160)는, 영상 내 팔레트 구멍 영역의 가로 픽셀 및 세로 픽셀 개수를 산출하여, 상기 팔레트 구멍 영역에 대응하는 전체 픽셀 개수를 산출한다(S303).
그리고, 거리 정보 산출부(160)는, 제N 거리의 포크 영상 정보까지 상기 팔레트 구멍 영역에 대응하는 픽셀 개수의 산출과정을 반복 수행할 수 있다. 여기서, N 거리는 예를 들어, 1미터 단위로 증가되는 값일 수 있으며, 제1 거리가 1미터인 경우, 제2 거리는 2미터, 제3 거리는 3미터 제4 거리는 4미터, 제5 거리는 5미터 제N 거리는 N 미터 등으로 순차적으로 증가될 수 있다. 이러한 반복 수행과정을 학습 과정이라고 할 수 있으며, 학습에 따른 후술할 관계식이 산출될 수 있다.
이후, 거리 정보 산출부(160)는, 산출된 픽셀 개수와 거리 정보를 매칭하여, 포크 카메라(120)와 팔레트 간의 거리 관계식을 산출한다(S307).
여기서, 도 14를 참조하면, 본 발명의 실시 예에 따른 거리 정보 산출부(160)는, 1차 함수 방정식과 같은 관계식 형태의 픽셀 수 대비 포크 카메라(120)로부터 팔레트까지의 거리 관계식을 산출할 수 있다. 각 미터 단위로 증가되는 거리 값과, 거리가 멀어짐에 따라 줄어드는 픽셀 개수간의 기울기를 연산하면, 해당 기울기에 대응하는 거리 관계식이 산출될 수 있다. 산출된 관계식은 저장부(180)에 저장된다.
이후, 다시 도 13을 참조하면 거리 정보 산출부(160)는, 실시간 포크 영상 정보에서 식별된 팔레트 구멍 영역 픽셀 정보를 관계식에 적용하여, 대상 객체인 팔레트와의 거리 정보를 산출할 수 있다(S309).
이와 같은 거리 정보 산출 방식은, 전술한 S109 내지 S111 단계를 대체하여 구성될 수 있으며, 이 경우 사전 캘리브레이션된 거리 정보 대비 픽셀 개수 간 관계식에 의해 처리되므로, 규격 데이터베이스 정보 없이도 거리 정보가 산출될 수 있으며, 제품의 규격과 관계 없이 정확도가 보장될 수 있다.
한편, 여기에 설명되는 다양한 실시예는 예를 들어 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여, 컴퓨터로 읽을 수 있는 기록매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시 예들이 제어부에 의해 구현될 수 있다.
또한, 이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, 중앙 처리 장치(Central Processing Unit; CPU), 그래픽 프로세싱 유닛(Graphics Processing Unit; GPU), ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 주문형 집적 회로(Application Specific Integrated Circuits; ASICS), 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
그리고, 상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (19)

  1. 지게차 인터페이스 제공 장치에 있어서,
    지게차의 포크에 설치되는 포크 카메라;
    상기 포크 카메라의 포크 영상 정보를 가이드 인터페이스로 구성하는 가이드 인터페이스 생성부;
    상기 포크 영상 정보의 픽셀 정보로부터 대상 객체와의 거리 정보를 산출하는 거리 정보 산출부; 및
    상기 거리 정보를 이용하여, 상기 가이드 인터페이스를 출력하는 출력부를 포함하는
    지게차 인터페이스 제공 장치.
  2. 제1항에 있어서,
    상기 가이드 인터페이스 생성부는, 상기 거리 정보에 따라 상기 가이드 인터페이스를 가변시키는
    지게차 인터페이스 제공 장치.
  3. 제2항에 있어서,
    상기 가이드 인터페이스 생성부는, 상기 거리 정보에 대응하는 알림 메시지를 출력하는
    지게차 인터페이스 제공 장치.
  4. 제1항에 있어서,
    상기 거리 정보 산출부는,
    상기 포크 영상 정보에서 식별된 팔레트 구멍 영역 픽셀 정보를 사전 학습된 관계식에 적용하여, 상기 대상 객체와의 거리 정보를 산출하는
    지게차 인터페이스 제공 장치.
  5. 제4항에 있어서,
    상기 거리 정보 산출부는
    상기 포크 영상 정보의 팔레트 구멍 영역의 픽셀 개수를, 거리 정보와 픽셀 개수가 상기 사전 매칭된 1차 함수 관계식에 적용하여 상기 거리 정보를 산출하는
    지게차 인터페이스 제공 장치.
  6. 제1항에 있어서,
    상기 가이드 인터페이스 생성부는, 포크 정렬을 위한 제1 정렬 인터페이스 및 팔레트 정렬을 위한 제2 정렬 인터페이스를 포함하는 가이드 인터페이스를 생성하고,
    상기 가이드 인터페이스는 상기 제1 및 제2 정렬 인터페이스가 일치되도록 유도하여 지게차의 팔레트 삽입을 유도하는
    지게차 인터페이스 제공 장치.
  7. 제1항에 있어서,
    상기 가이드 인터페이스 생성부는, 상기 지게차의 자동 적재 또는 자동 하역 모드에 대응하는 상태 알림 인터페이스를 제공하는
    지게차 인터페이스 제공 장치.
  8. 제1항에 있어서,
    지게차의 규격 정보를 관리하는 규격 정보 데이터베이스부를 더 포함하고,
    상기 가이드 인터페이스 생성부는, 상기 포크 카메라의 포크 영상 정보를 상기 규격 정보에 따라 정렬하는
    지게차 인터페이스 제공 장치.
  9. 제8항에 있어서,
    상기 대상 객체는 팔레트이며,
    상기 거리 정보 산출부는,
    상기 포크 카메라의 초점 거리 정보에 따른 영상 평면상의 상기 팔레트의 영상 픽셀 너비 및 규격화된 실제 너비를 이용하여 제1 거리 정보를 산출하고, 상기 규격 정보 데이터베이스부로부터 획득되는 포크 길이 정보를 상기 제1 거리 정보에서 차감시켜 상기 거리 정보를 산출하는
    지게차 인터페이스 제공 장치.
  10. 지게차 인터페이스 제공 장치의 동작 방법에 있어서,
    지게차의 포크에 설치되는 포크 카메라의 포크 영상 정보를 가이드 인터페이스로 구성하는 단계;
    상기 포크 영상 정보의 픽셀 정보로부터 대상 객체와의 거리 정보를 산출하는 단계; 및
    상기 거리 정보를 이용하여, 상기 가이드 인터페이스를 출력하는 단계를 포함하는
    지게차 인터페이스 제공 장치의 동작 방법.
  11. 제10항에 있어서,
    상기 가이드 인터페이스 생성 단계는, 상기 거리 정보에 따라 상기 가이드 인터페이스를 가변시키는 단계를 포함하는
    지게차 인터페이스 제공 장치의 동작 방법.
  12. 제11항에 있어서,
    상기 가이드 인터페이스 생성 단계는, 상기 거리 정보에 대응하는 알림 메시지를 출력하는 단계를 포함하는
    지게차 인터페이스 제공 장치의 동작 방법.
  13. 제10항에 있어서,
    상기 거리 정보를 산출하는 단계는,
    상기 포크 영상 정보에서 식별된 팔레트 구멍 영역 픽셀 정보를 사전 학습된 관계식에 적용하여, 상기 대상 객체와의 거리 정보를 산출하는 단계를 포함하는
    지게차 인터페이스 제공 장치의 동작 방법.
  14. 제13항에 있어서,
    상기 거리 정보를 산출하는 단계는,
    상기 포크 영상 정보의 팔레트 구멍 영역의 픽셀 개수를, 거리 정보와 픽셀 개수가 상기 사전 매칭된 1차 함수 관계식에 적용하여 상기 거리 정보를 산출하는 단계를 포함하는
    지게차 인터페이스 제공 장치의 동작 방법.
  15. 제10항에 있어서,
    상기 가이드 인터페이스 생성 단계는, 포크 정렬을 위한 제1 정렬 인터페이스 및 팔레트 정렬을 위한 제2 정렬 인터페이스를 포함하는 가이드 인터페이스를 생성하는 단계를 포함하고,
    상기 가이드 인터페이스는 상기 제1 및 제2 정렬 인터페이스가 일치되도록 유도하여 지게차의 팔레트 삽입을 유도하는
    지게차 인터페이스 제공 장치의 동작 방법.
  16. 제10항에 있어서,
    상기 가이드 인터페이스 생성 단계는, 상기 지게차의 자동 적재 또는 자동 하역 모드에 대응하는 상태 알림 인터페이스를 제공하는 단계를 포함하는
    지게차 인터페이스 제공 장치의 동작 방법.
  17. 제10항에 있어서,
    지게차의 규격 정보를 관리하는 단계를 더 포함하고,
    상기 가이드 인터페이스 생성 단계는, 상기 포크 카메라의 포크 영상 정보를 상기 규격 정보에 따라 정렬하는 단계를 포함하는
    지게차 인터페이스 제공 장치의 동작 방법.
  18. 제17항에 있어서,
    상기 대상 객체는 팔레트이며,
    상기 거리 정보를 산출하는 단계는,
    상기 포크 카메라의 초점 거리 정보에 따른 영상 평면상의 상기 팔레트의 영상 픽셀 너비 및 규격화된 실제 너비를 이용하여 제1 거리 정보를 산출하고, 상기 규격 정보 데이터베이스부로부터 획득되는 포크 길이 정보를 상기 제1 거리 정보에서 차감시켜 상기 거리 정보를 산출하는 단계를 포함하는
    지게차 인터페이스 제공 장치의 동작 방법.
  19. 제10항 내지 제18항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 판독 가능한 기록매체에 저장되는 컴퓨터프로그램.
PCT/KR2022/013057 2021-08-31 2022-08-31 영상 분석 기반 지게차 인터페이스 제공 장치 및 그 동작 방법 WO2023033550A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280057597.6A CN117858842A (zh) 2021-08-31 2022-08-31 基于影像分析的叉车界面提供装置及其运行方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020210115497A KR20230032539A (ko) 2021-08-31 2021-08-31 영상 분석 기반 지게차 인터페이스 제공 장치 및 그 동작 방법
KR10-2021-0115497 2021-08-31
KR10-2021-0130941 2021-10-01
KR1020210130941A KR20230047738A (ko) 2021-10-01 2021-10-01 영상 분석 기반 지게차 인터페이스 제공 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2023033550A1 true WO2023033550A1 (ko) 2023-03-09

Family

ID=85411424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/013057 WO2023033550A1 (ko) 2021-08-31 2022-08-31 영상 분석 기반 지게차 인터페이스 제공 장치 및 그 동작 방법

Country Status (1)

Country Link
WO (1) WO2023033550A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100108776A (ko) * 2009-03-30 2010-10-08 부산대학교 산학협력단 무인 이송장치의 팔레트 위치 인식 장치 및 방법
KR20130099596A (ko) * 2012-02-29 2013-09-06 부산대학교 산학협력단 무인지게차의 팔레트 자율하역 장치 및 방법
JP2018162122A (ja) * 2017-03-24 2018-10-18 ソフトバンク株式会社 搬送装置、プログラム及び搬送システム
KR20200012298A (ko) * 2018-07-26 2020-02-05 (주)가하 오토 포지셔닝 기술을 이용한 무인이송대차
JP2020023397A (ja) * 2018-08-07 2020-02-13 住友ナコ フォ−クリフト株式会社 搬送装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100108776A (ko) * 2009-03-30 2010-10-08 부산대학교 산학협력단 무인 이송장치의 팔레트 위치 인식 장치 및 방법
KR20130099596A (ko) * 2012-02-29 2013-09-06 부산대학교 산학협력단 무인지게차의 팔레트 자율하역 장치 및 방법
JP2018162122A (ja) * 2017-03-24 2018-10-18 ソフトバンク株式会社 搬送装置、プログラム及び搬送システム
KR20200012298A (ko) * 2018-07-26 2020-02-05 (주)가하 오토 포지셔닝 기술을 이용한 무인이송대차
JP2020023397A (ja) * 2018-08-07 2020-02-13 住友ナコ フォ−クリフト株式会社 搬送装置

Similar Documents

Publication Publication Date Title
CN102975719A (zh) 使用红外线传感器检测驾驶者状况的装置和方法
CN110824611B (zh) 均匀性补偿方法、光波导系统及增强现实设备
KR20140108035A (ko) 주차관리 시스템 및 주차관리 방법
WO2022220560A1 (ko) 열화상 및 일반 카메라를 이용한 fod 및 lod 검출 방법 및 장치
WO2023033550A1 (ko) 영상 분석 기반 지게차 인터페이스 제공 장치 및 그 동작 방법
WO2013180450A1 (ko) 카메라를 이용한 승객 안전하차 감지시스템 및 그 방법
US20180298756A1 (en) System and method for measuring and aligning roof bolts
CN111812545A (zh) 线路缺陷检测方法、装置、设备及介质
CN102494629B (zh) 流水线传动链检测方法及其装置
JP2001291194A (ja) 駐車場混雑度判定システム
CN113630594B (zh) 一种显示面板坏点检测系统
WO2019164318A1 (en) Electronic device for calculating deterioration of pixel
JP2001039641A (ja) エレベータ用ロープ保守装置
KR20230047738A (ko) 영상 분석 기반 지게차 인터페이스 제공 장치 및 그 동작 방법
KR20230032539A (ko) 영상 분석 기반 지게차 인터페이스 제공 장치 및 그 동작 방법
CN114141206B (zh) 背光校正方法、相关装置及存储介质
WO2014129825A1 (ko) 차동 터치 센싱 시스템의 좌표 선택 회로 및 방법
WO2018097356A1 (ko) 차량 주차보조 장치 및 그 방법
WO2020159153A2 (ko) 잠금 장치가 구비된 공유 자전거의 반납 방법 및 그 장치
CN115223266A (zh) 基于电力枢纽的移动巡检终端
WO2018147627A1 (ko) 모니터를 이용한 엘리베이터의 동작제어장치 및 방법
WO2019231119A1 (ko) 혼잡도 시각화 장치 및 방법
JP2007008401A (ja) 撮像装置の位置検出装置及び撮像装置の位置検出方法
KR20180028267A (ko) 디지털 피킹 시스템 및 그 방법
CN105607620A (zh) 一种电动助力车智能诊断方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22865052

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280057597.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE