JP6676198B1 - Determination device, determination method and program - Google Patents

Determination device, determination method and program Download PDF

Info

Publication number
JP6676198B1
JP6676198B1 JP2019000213A JP2019000213A JP6676198B1 JP 6676198 B1 JP6676198 B1 JP 6676198B1 JP 2019000213 A JP2019000213 A JP 2019000213A JP 2019000213 A JP2019000213 A JP 2019000213A JP 6676198 B1 JP6676198 B1 JP 6676198B1
Authority
JP
Japan
Prior art keywords
pallet
fork
forklift
determination
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019000213A
Other languages
Japanese (ja)
Other versions
JP2020109030A (en
Inventor
昭伍 南
昭伍 南
柳原　尚史
尚史 柳原
平佳 小松
平佳 小松
ジュンファン ソン
ジュンファン ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Logisnext Co Ltd
Original Assignee
Mitsubishi Logisnext Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Logisnext Co Ltd filed Critical Mitsubishi Logisnext Co Ltd
Priority to JP2019000213A priority Critical patent/JP6676198B1/en
Application granted granted Critical
Publication of JP6676198B1 publication Critical patent/JP6676198B1/en
Publication of JP2020109030A publication Critical patent/JP2020109030A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Forklifts And Lifting Vehicles (AREA)

Abstract

【課題】パレットの種別の判定結果に基づいて、フォークリフトのフォークがパレットの穴に挿入できる位置にあるか否かを容易に判定することのできる判定装置を提供する。【解決手段】判定装置は、フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得する画像取得部と、前記撮像画像に基づいて、画像内のパレットの種別を判定する種別判定部と、前記種別判定部が判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定する挿入判定部と、を備える。【選択図】図４PROBLEM TO BE SOLVED: To provide a judging device capable of easily judging whether or not a fork of a forklift is in a position where it can be inserted into a hole of a pallet, based on a judgment result of a pallet type. A determination device includes an image acquisition unit that acquires a captured image captured by an imaging device provided on a mast of a forklift, and a type determination unit that determines the type of a pallet in the image based on the captured image. An insertion determination unit that determines whether or not the fork of the forklift can be inserted into the hole of the pallet based on the determination result determined by the type determination unit. [Selection diagram] FIG.

Description

本発明は、判定装置、判定方法及びプログラムに関する。   The present invention relates to a determination device, a determination method, and a program.

フォークリフトは、車両本体の前方に荷役対象物（以下、荷物と呼ぶ）を支持して昇降するフォークを備えており、例えば、一般的な乗用車に比べて、運転者が前方の状況を確認し難い車両の構成となっている。特に、荷物を支持してフォークリフトを前方に走行させる場合には、フォークリフトの前方に死角ができ易くなり、運転者は、フォークリフトから降りて前方を確認したり、運転者とは別にフォークリフトを誘導する誘導員を必要としたりすることもある。
そこで、フォークの先端部にカメラを設け、そのカメラが撮像した撮像画像を表示装置に表示させることによって、運転者が運転席に座ったままフォークリフトの前方を確認することのできる技術が考案されている（例えば、特許文献１、２）。 A forklift is provided with a fork that lifts and lowers a cargo object (hereinafter, referred to as luggage) in front of a vehicle body. For example, it is more difficult for a driver to confirm the situation in front than a general passenger car. It has a vehicle configuration. In particular, when the forklift travels forward while supporting the luggage, it is easy for blind spots to form in front of the forklift, and the driver gets off the forklift and checks the front, or guides the forklift separately from the driver. In some cases, a guide is required.
Therefore, a technology has been devised in which a camera is provided at the tip of a fork and a captured image captured by the camera is displayed on a display device so that the driver can confirm the front of the forklift while sitting in the driver's seat. (For example, Patent Documents 1 and 2).

特開２００３−２４６５９７号公報JP 2003-246597 A 特開２００６−０６２７８４号公報JP-A-2006-062784

フォークリフトの荷役作業の対象となる荷物は、一般的に、パレットと呼ばれる台に乗せられている。フォークリフトは、そのパレットが有する穴にフォークを挿入して荷物を持ち上げて荷役作業を行う。
ところで、フォークリフトが荷役作業を行う際に用いられるパレットは、材質や形状など様々なものが存在し、パレットの種別に応じてフォークを挿入する穴の位置や穴の大きさが異なる。そのため、パレットの種別を適切に把握できていない場合には、フォークをパレットの穴に挿入することが困難な場合がある。 Luggage to be loaded and unloaded by a forklift is generally placed on a platform called a pallet. The forklift performs a cargo handling operation by inserting a fork into a hole of the pallet and lifting a load.
By the way, there are various types of pallets used when a forklift carries out cargo handling work, such as materials and shapes, and the positions and sizes of holes into which forks are inserted differ depending on the type of pallets. Therefore, when the type of the pallet is not properly grasped, it may be difficult to insert the fork into the hole of the pallet.

本発明は、上記の課題を解決することのできる判定装置、判定方法及びプログラムを提供することを目的としている。   An object of the present invention is to provide a determination device, a determination method, and a program that can solve the above-described problems.

本発明の第１の態様によれば、判定装置は、フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得する画像取得部と、前記撮像画像に基づいて、画像内のパレットの形状についての種別を判定する種別判定部と、前記種別判定部が判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定する挿入判定部と、を備える。 According to the first aspect of the present invention, a determination device includes: an image acquisition unit configured to acquire a captured image captured by an imaging device provided on a mast of a forklift; and a shape of a pallet in the image based on the captured image. A type determination unit that determines the type of the, and an insertion determination unit that determines whether a fork of the forklift can be inserted into a hole of the pallet based on a determination result determined by the type determination unit, Prepare .

本発明の第２の態様によれば、第１の態様における判定装置は、前記フォークリフトが前記パレットに正対しているか否かを判定する正対判定部と、前記正対判定部が判定した判定結果を、前記フォークリフトの運転者に報知する正対判定結果報知部と、を備えるものであってもよい。   According to a second aspect of the present invention, a determination device according to the first aspect includes a facing determination unit configured to determine whether the forklift is facing the pallet, and a determination performed by the facing determination unit. And a head-on determination result notification unit that notifies the driver of the forklift of the result.

本発明の第３の態様によれば、第１の態様または第２の態様における判定装置は、前記フォークの存在する高さが前記穴に前記フォークを挿入可能な高さであるか否かを判定する高さ判定部と、前記高さ判定部が判定した判定結果を、前記フォークリフトの運転者に報知する高さ判定結果報知部と、を備えるものであってもよい。   According to the third aspect of the present invention, the determination device according to the first aspect or the second aspect determines whether or not the height at which the fork exists is a height at which the fork can be inserted into the hole. The forklift may include a height determination unit to be determined and a height determination result notification unit that notifies a determination result determined by the height determination unit to a driver of the forklift.

本発明の第４の態様によれば、第１の態様から第３の態様の何れか１つの判定装置は、前記フォークの移動を制御する制御部であって、前記穴に挿入可能な位置で前記フォークを停止させる制御部、を備えるものであってもよい。   According to a fourth aspect of the present invention, the determination device according to any one of the first aspect to the third aspect is a control unit that controls the movement of the fork, and is provided at a position where the fork can be inserted into the hole. A control unit for stopping the fork may be provided.

本発明の第５の態様によれば、第４の態様における判定装置において、前記制御部は、前記フォークから前記穴までの距離が短くなるにつれて、前記フォークの移動速度が低速になるように制御し、前記フォークから前記穴までの距離が長くなるにつれて、前記フォークの移動速度が高速になるように制御するものであってもよい。   According to a fifth aspect of the present invention, in the determination device according to the fourth aspect, the control unit controls the moving speed of the fork to decrease as the distance from the fork to the hole decreases. However, the moving speed of the fork may be controlled to increase as the distance from the fork to the hole increases.

本発明の第６の態様によれば、第１の態様から第５の態様の何れか１つの判定装置において、前記種別判定部は、前記撮像画像と、前記撮像画像において前記パレットが写っているであろう領域と、当該パレットのラベルとの組み合わせを教師データとして、前記パレットが写っている領域を含む矩形の範囲の画像を出力するように学習された第１のニューラルネットワークであってもよい。   According to a sixth aspect of the present invention, in the determination device according to any one of the first aspect to the fifth aspect, the type determination unit includes the captured image and the pallet in the captured image. May be a first neural network that has been trained to output an image of a rectangular range including the area where the palette is captured, using a combination of the area that will be and the label of the palette as teacher data. .

本発明の第７の態様によれば、第１の態様から第６の態様の何れか１つの判定装置において、前記挿入判定部は、前記撮像画像において矩形の範囲を示す座標で切り取られた前記パレットが写っている画像と、当該パレットのラベルとの組み合わせを教師データとして、当該パレットの四隅の座標を出力するように学習された第２のニューラルネットワークであってもよい。   According to a seventh aspect of the present invention, in the determination device according to any one of the first to sixth aspects, the insertion determination unit may be configured to cut out the captured image at coordinates indicating a rectangular range. It may be a second neural network that has been learned to output the coordinates of the four corners of the pallet using the combination of the image on which the pallet is captured and the label of the pallet as teacher data.

本発明の第８の態様によれば、判定方法は、フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得することと、前記撮像画像に基づいて、画像内のパレットの形状についての種別を判定することと、判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定することと、を含む。 According to an eighth aspect of the present invention, a determination method includes obtaining an image captured by an imaging device provided on a mast of a forklift , and determining a shape of a pallet in the image based on the captured image. Determining the type; and determining whether or not a fork of the forklift can be inserted into a hole of the pallet based on the determination result .

本発明の第９の態様によれば、プログラムは、コンピュータに、フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得することと、前記撮像画像に基づいて、画像内のパレットの形状についての種別を判定することと、判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定することと、を実行させる。


According to a ninth aspect of the present invention, the program causes the computer to acquire a captured image captured by an imaging device provided on a mast of a forklift, and form a shape of a pallet in the image based on the captured image. And determining whether or not the fork of the forklift can be inserted into the hole of the pallet based on the determined result .


本発明の実施形態による判定装置、判定方法及びプログラムによれば、パレットの種別の判定結果に基づいて、フォークリフトのフォークがパレットの穴に挿入できる位置にあるか否かを容易に判定することができる。   According to the determination device, the determination method, and the program according to the embodiment of the present invention, it is possible to easily determine whether the fork of the forklift is at a position where the fork of the forklift can be inserted into the hole of the pallet based on the determination result of the type of the pallet. it can.

本発明の一実施形態によるフォークリフトの構成を示す第１の図である。It is a 1st figure showing the composition of the forklift by one embodiment of the present invention. 本発明の一実施形態によるフォークリフトの構成を示す第２の図である。It is a 2nd figure showing the composition of the forklift by one embodiment of the present invention. 本発明の一実施形態による判定装置が対象とするパレットの一例を示す図である。FIG. 4 is a diagram illustrating an example of a pallet targeted by the determination device according to the embodiment of the present invention. 本発明の一実施形態による判定装置の構成を示す図である。FIG. 1 is a diagram illustrating a configuration of a determination device according to an embodiment of the present invention. 本発明の一実施形態による判定装置の処理フローを示す図である。FIG. 3 is a diagram illustrating a processing flow of a determination device according to an embodiment of the present invention. 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。FIG. 2 is a schematic block diagram illustrating a configuration of a computer according to at least one embodiment.

＜実施形態＞
以下、本発明の一実施形態によるフォークリフト１に備えられる判定装置８０について説明する。
フォークリフト１は、図１に示すように、第１のフォーク１０、第２のフォーク２０を備える。また、フォークリフト１は、図２に示すように、撮像装置３０、傾斜センサ４０、荷重センサ５０、操作装置６０、表示装置７０、判定装置８０を備える。 <Embodiment>
Hereinafter, the determination device 80 provided in the forklift 1 according to one embodiment of the present invention will be described.
The forklift 1 includes a first fork 10 and a second fork 20, as shown in FIG. Further, as shown in FIG. 2, the forklift 1 includes an imaging device 30, an inclination sensor 40, a load sensor 50, an operation device 60, a display device 70, and a determination device 80.

第１のフォーク１０及び第２のフォーク２０は、荷役対象物（以下、荷物と呼ぶ）を支持して昇降することができるフォークである。   The first fork 10 and the second fork 20 are forks that can lift and lower while supporting a cargo object (hereinafter, referred to as luggage).

撮像装置３０は、フォークリフト１のマストに設けられ、フォークリフト１の前方を撮像する装置である。撮像装置３０は、第１のフォーク１０の先端部及び第２のフォーク２０の先端部などの第１のフォーク１０及び第２のフォーク２０の周辺を撮像する。したがって、撮像装置３０は、パレットの穴を撮像することが可能である。なお、パレットとは、例えば、図３に示すような形状をしており、フォークリフト１の荷役対象となる荷物が置かれている台状のものである。なお、図３は、フォークを挿入するパレットの穴の面を示す正面図であり、符号Ａによって示される２つの部分がパレットの穴を表している。
ここでは、撮像装置３０は、１つのレンズを備える単眼カメラであるものとする。撮像装置３０は、所定の撮像タイミングごとに撮像画像を生成する。 The imaging device 30 is a device that is provided on a mast of the forklift 1 and captures an image of the front of the forklift 1. The imaging device 30 captures an image of the periphery of the first fork 10 and the second fork 20 such as the tip of the first fork 10 and the tip of the second fork 20. Therefore, the imaging device 30 can image the holes of the pallet. Note that the pallet has, for example, a shape as shown in FIG. 3 and is a trapezoidal shape on which luggage to be unloaded by the forklift 1 is placed. FIG. 3 is a front view showing a surface of a hole of the pallet into which a fork is inserted, and two portions indicated by reference numeral A represent holes of the pallet.
Here, it is assumed that the imaging device 30 is a monocular camera including one lens. The imaging device 30 generates a captured image at each predetermined imaging timing.

傾斜センサ４０は、第１のフォーク１０及び第２のフォーク２０の傾きを検出するセンサである。傾きの基準（すなわち、傾き０度）は、例えば、第１のフォーク１０及び第２のフォーク２０が荷物を支持せず、チルト操作も行われていないときの傾きであり、このときの傾きを水平とする。   The tilt sensor 40 is a sensor that detects the tilt of the first fork 10 and the second fork 20. The reference of the inclination (that is, the inclination of 0 degree) is, for example, the inclination when the first fork 10 and the second fork 20 do not support the load and the tilt operation is not performed. Be horizontal.

荷重センサ５０は、第１のフォーク１０及び第２のフォーク２０の負荷、すなわち第１のフォーク１０及び第２のフォーク２０によって持ち上げられる荷物の重量を検出するセンサである。   The load sensor 50 is a sensor that detects the load on the first fork 10 and the second fork 20, that is, the weight of the load lifted by the first fork 10 and the second fork 20.

操作装置６０は、運転者がフォークリフト１の荷役作業を行うために操作する装置である。運転者が操作装置６０を操作することによって、フォークリフト１が走行したり、第１のフォーク１０とともに第２のフォーク２０を昇降させるリフト制御を行ったり、第１のフォーク１０及び第２のフォーク２０の基部を回動させて第１のフォーク１０及び第２のフォーク２０の先端部を上下方向に傾けるチルト制御が行われる。   The operating device 60 is a device operated by the driver to perform the cargo handling work of the forklift 1. When the driver operates the operation device 60, the forklift 1 travels, lift control for raising and lowering the second fork 20 together with the first fork 10 is performed, and the first fork 10 and the second fork 20 Of the first fork 10 and the second fork 20 in the vertical direction by rotating the base of the first fork 10 and the second fork 20.

表示装置７０は、判定装置８０による制御に基づいて画像を表示する装置である。表示装置７０は、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離と、第１のフォーク１０の先端部の位置とに応じた画像を、撮像装置３０が撮像した撮像画像とともに表示する。表示装置７０は、例えば、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）、モニター、スクリーンなどである。   The display device 70 is a device that displays an image based on control by the determination device 80. The display device 70 captures an image corresponding to the distance from the distal end of the first fork 10 to an obstacle in the captured image captured by the imaging device 30 and the position of the distal end of the first fork 10. The image is displayed together with the image captured by the device 30. The display device 70 is, for example, a HUD (Head Up Display), a monitor, a screen, or the like.

判定装置８０は、撮像画像に基づいて、画像内のパレットの種別を判定し、その判定結果に基づいて、フォークリフト１の有するフォークをパレットが有する穴に挿入できるか否かを判定する装置である。   The determination device 80 is a device that determines the type of the pallet in the image based on the captured image, and determines whether the fork of the forklift 1 can be inserted into the hole of the pallet based on the determination result. .

判定装置８０は、図４に示すように、画像取得部８０１、種別判定部８０２、座標特定部８０３、正対判定部８０４、高さ判定部８０５、挿入判定部８０６、制御部８０７、報知部８０８（正対判定結果報知部の一例、高さ判定結果報知部の一例）、記憶部８０９を備える。
画像取得部８０１は、フォークリフト１のマストに設けられた撮像装置３０が撮像した撮像画像を取得する。 As illustrated in FIG. 4, the determination device 80 includes an image acquisition unit 801, a type determination unit 802, a coordinate identification unit 803, a facing determination unit 804, a height determination unit 805, an insertion determination unit 806, a control unit 807, and a notification unit. 808 (an example of a head-on determination result notification unit, an example of a height determination result notification unit), and a storage unit 809.
The image acquisition unit 801 acquires an image captured by the imaging device 30 provided on the mast of the forklift 1.

種別判定部８０２は、撮像装置３０が撮像した撮像画像に基づいて、その撮像画像内のパレットの種別を判定する。
例えば、種別判定部８０２は、撮像画像と、撮像画像においてパレットが写っているであろう領域と、当該パレットのラベルとの組み合わせを教師データとして、パレットが写っている領域を含む矩形の範囲の画像を出力するように学習された第１のニューラルネットワークである。種別判定部８０２がニューラルネットワークである場合、種別判定部８０２は、フォークリフト１が顧客に引き渡される前に、学習データを第１のニューラルネットワークに入力し、教師データと比較することによって学習される。ここでの学習データとは、学習モデルの訓練時に第１のニューラルネットワークの入力層に入力されるデータのことである。また、ここでの教師データとは、第１のニューラルネットワークの出力層の値と比較するための正解となるデータのことである。この学習によって、顧客に引き渡されるフォークリフト１において、種別判定部８０２として、パレットの種別を判別可能な（すなわち、材質や形状などの違いに基づいてパレットの種別を特定可能な）学習済みモデルが適用されることになる。学習済みモデルが適用された種別判定部８０２に撮像画像が入力されると、学習済みモデルによって、パレットの種別に応じた矩形の範囲を示す座標で切り取られた画像がラベルとともに種別判定部８０２から座標特定部８０３に出力される。 The type determination unit 802 determines the type of the pallet in the captured image based on the captured image captured by the imaging device 30.
For example, the type determination unit 802 sets a combination of a captured image, a region where a pallet is likely to be captured in the captured image, and a label of the pallet as teacher data, and sets a range of a rectangular range including the region where the pallet is captured as teacher data. 4 is a first neural network that has been learned to output an image. When the type determination unit 802 is a neural network, the type determination unit 802 learns by inputting the learning data to the first neural network and comparing it with the teacher data before the forklift 1 is delivered to the customer. Here, the learning data is data input to the input layer of the first neural network during training of the learning model. The teacher data here is data that is a correct answer for comparison with the value of the output layer of the first neural network. By this learning, in the forklift 1 delivered to the customer, a learned model that can determine the type of the pallet (that is, can specify the type of the pallet based on a difference in material, shape, and the like) is applied as the type determination unit 802. Will be done. When the captured image is input to the type determination unit 802 to which the learned model has been applied, an image cut out by the learned model at coordinates indicating a rectangular range corresponding to the type of the pallet together with a label is output from the type determination unit 802. The coordinates are output to the coordinate specifying unit 803.

座標特定部８０３は、種別判定部８０２が判定した判定結果に基づいて、フォークリフト１の有するフォークをパレットの外形の四隅の座標を特定する。
例えば、座標特定部８０３は、撮像画像において矩形の範囲を示す座標で切り取られたパレットが写っている画像と、当該パレットのラベルとの組み合わせを教師データとして、当該パレットの四隅の座標を出力するように学習された第２のニューラルネットワークである。座標特定部８０３がニューラルネットワークである場合、座標特定部８０３は、フォークリフト１が顧客に引き渡される前に、学習データを第２のニューラルネットワークに入力し、教師データと比較することによって学習される。ここでの学習データとは、学習モデルの訓練時に第２のニューラルネットワークの入力層に入力されるデータのことである。また、ここでの教師データとは、第２のニューラルネットワークの出力層の値と比較するための正解となるデータのことである。この学習によって、顧客に引き渡されるフォークリフト１において、座標特定部８０３として、パレットの四隅の座標を特定可能な学習済みモデルが適用されることになる。学習済みモデルが適用された座標特定部８０３に種別判定部８０２の判定結果が入力されると、学習済みモデルによって、パレットの外形の四隅を示す座標が座標特定部８０３から高さ判定部８０５に出力される。 The coordinate specifying unit 803 specifies the coordinates of the four corners of the outer shape of the pallet of the fork of the forklift 1 based on the determination result determined by the type determination unit 802.
For example, the coordinate specifying unit 803 outputs the coordinates of the four corners of the pallet using, as teacher data, a combination of an image in which a pallet cut out at coordinates indicating a rectangular range in the captured image and a label of the pallet as teacher data. Is a second neural network learned as follows. When the coordinate specifying unit 803 is a neural network, the coordinate specifying unit 803 learns by inputting the learning data to the second neural network and comparing it with the teacher data before the forklift 1 is delivered to the customer. Here, the learning data is data input to the input layer of the second neural network during training of the learning model. The teacher data here is data that is a correct answer for comparison with the value of the output layer of the second neural network. By this learning, a learned model capable of specifying the coordinates of the four corners of the pallet is applied as the coordinate specifying unit 803 in the forklift 1 delivered to the customer. When the determination result of the type determination unit 802 is input to the coordinate identification unit 803 to which the learned model is applied, the coordinates indicating the four corners of the outer shape of the pallet are transmitted from the coordinate identification unit 803 to the height determination unit 805 by the learned model. Is output.

正対判定部８０４は、フォークリフト１がパレットに正対しているか否かを判定する。
例えば、正対判定部８０４は、撮像画像におけるパレットの形状に基づいてフォークリフト１がパレットに正対しているか否かを判定する。具体的には、例えば、撮像装置３０がマストの中心部に設けられている場合、正対判定部８０４は、撮像画像におけるパレットの形状が左右対称である場合に、フォークリフト１がパレットに正対していると判定する。また、撮像装置３０がマストの中心部に設けられている場合、正対判定部８０４は、撮像画像におけるパレットの形状が左右対称でない場合に、フォークリフト１がパレットに正対していないと判定する。 The facing determination unit 804 determines whether the forklift 1 faces the pallet.
For example, the facing determination unit 804 determines whether or not the forklift 1 faces the pallet based on the shape of the pallet in the captured image. Specifically, for example, when the imaging device 30 is provided at the center of the mast, the facing determination unit 804 determines that the forklift 1 faces the pallet when the shape of the pallet in the captured image is symmetric. It is determined that there is. When the imaging device 30 is provided at the center of the mast, the facing determination unit 804 determines that the forklift 1 is not directly facing the pallet when the shape of the pallet in the captured image is not symmetric.

高さ判定部８０５は、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであるか否かを判定する。
例えば、高さ判定部８０５は、座標特定部８０３が特定したパレットの四隅の座標から、パレットの四隅の対角の２点を結ぶ２本の対角線の交点の座標を算出する。高さ判定部８０５は、パレットの実際の大きさと撮像画像における画素数との関係、及び、撮像画像を映している角度から、フォークとパレットとの位置関係を算出する。高さ判定部８０５は、フォークの位置がパレットの位置に対して所定の高さの範囲内にあると判定した場合、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであると判定する。また、高さ判定部８０５は、フォークの位置がパレットの位置に対して所定の高さの範囲外にあると判定した場合、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さではないと判定する。 The height determination unit 805 determines whether the height at which the fork exists is a height at which the fork can be inserted into the hole of the pallet.
For example, from the coordinates of the four corners of the pallet specified by the coordinate specifying unit 803, the height determining unit 805 calculates the coordinates of the intersection of two diagonal lines connecting the two diagonal points of the four corners of the pallet. The height determination unit 805 calculates the positional relationship between the fork and the pallet from the relationship between the actual size of the pallet and the number of pixels in the captured image, and the angle at which the captured image is projected. When the height determination unit 805 determines that the position of the fork is within a predetermined height range with respect to the position of the pallet, the height at which the fork exists is set to a height at which the fork can be inserted into the hole of the pallet. It is determined that there is. When the height determination unit 805 determines that the position of the fork is out of the predetermined height range with respect to the position of the pallet, the height at which the fork exists is set to a height at which the fork can be inserted into the hole of the pallet. It is determined that this is not the case.

挿入判定部８０６は、種別判定部８０２が判定した判定結果に基づいて、フォークリフト１の有するフォークをパレットが有する穴に挿入できるか否かを判定する。
例えば、種別判定部８０２が判定した種別のパレットについて、フォークリフト１がそのパレットに正対していると正対判定部８０４が判定し、かつ、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであると高さ判定部８０５が判定した場合に、挿入判定部８０６は、フォークをパレットが有する穴に挿入できると判定する。また、種別判定部８０２が判定した種別のパレットについて、フォークリフト１がそのパレットに正対していないと正対判定部８０４が判定した場合、または、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さでないと高さ判定部８０５が判定した場合には、挿入判定部８０６は、フォークをパレットが有する穴に挿入できないと判定する。 The insertion determination unit 806 determines whether the fork of the forklift 1 can be inserted into the hole of the pallet based on the determination result determined by the type determination unit 802.
For example, for a pallet of the type determined by the type determination unit 802, the facing determination unit 804 determines that the forklift 1 is directly facing the pallet, and the height at which the fork exists is inserted into the hole of the pallet. When the height determination unit 805 determines that the height is a possible height, the insertion determination unit 806 determines that the fork can be inserted into the hole of the pallet. Also, for the pallet of the type determined by the type determination unit 802, when the facing determination unit 804 determines that the forklift 1 is not directly facing the pallet, If the height determination unit 805 determines that the height is not an insertable height, the insertion determination unit 806 determines that the fork cannot be inserted into the hole of the pallet.

制御部８０７は、フォークの移動を制御する。例えば、制御部８０７は、フォークからパレットの穴までの距離が短くなるにつれて、フォークの移動速度が低速になるように制御する。また、制御部８０７は、フォークからパレットの穴までの距離が長くなるにつれて、フォークの移動速度が高速になるように制御する。また、制御部８０７は、パレットの穴に挿入可能な位置でフォークを停止させる。   The control unit 807 controls the movement of the fork. For example, the control unit 807 controls so that the moving speed of the fork decreases as the distance from the fork to the hole of the pallet decreases. Further, the control unit 807 controls the moving speed of the fork to increase as the distance from the fork to the hole of the pallet increases. The control unit 807 stops the fork at a position where it can be inserted into the hole of the pallet.

報知部８０８は、正対判定部８０４が判定した判定結果を、フォークリフト１の運転者に報知する。また、報知部８０８は、高さ判定部８０５が判定した判定結果を、フォークリフト１の運転者に報知する。
記憶部８０９は、判定装置８０が行う処理に必要な種々の情報を記憶する。 The notification unit 808 notifies the driver of the forklift 1 of the determination result determined by the facing determination unit 804. The notification unit 808 notifies the driver of the forklift 1 of the determination result determined by the height determination unit 805.
The storage unit 809 stores various information necessary for the processing performed by the determination device 80.

次に、判定装置８０が行う処理について説明する。
ここでは、図５に示す判定装置８０の処理フローについて説明する。
なお、判定装置８０の種別判定部８０２及び座標特定部８０３は、フォークリフト１が顧客に引き渡される前に学習された、学習済みモデルによるニューラルネットワークであるものとする。 Next, a process performed by the determination device 80 will be described.
Here, the processing flow of the determination device 80 shown in FIG. 5 will be described.
It is assumed that the type determination unit 802 and the coordinate identification unit 803 of the determination device 80 are a neural network based on a learned model learned before the forklift 1 is delivered to the customer.

画像取得部８０１は、撮像装置３０から撮像画像を取得する（ステップＳ１）。
種別判定部８０２は、撮像装置３０が撮像した撮像画像に基づいて、その撮像画像内のパレットの種別を判定する（ステップＳ２）。
具体的には、学習済みモデルが適用された種別判定部８０２に撮像画像が入力されると、学習済みモデルによって、パレットの種別に応じた矩形の範囲を示す座標で切り取られた画像（すなわち、クロップした画像）がラベルとともに種別判定部８０２から座標特定部８０３に出力される。 The image acquisition unit 801 acquires a captured image from the imaging device 30 (Step S1).
The type determination unit 802 determines the type of the pallet in the captured image based on the captured image captured by the imaging device 30 (Step S2).
Specifically, when a captured image is input to the type determination unit 802 to which the learned model has been applied, an image cut out by the learned model at coordinates indicating a rectangular range corresponding to the type of pallet (that is, The cropped image) is output from the type determination unit 802 to the coordinate identification unit 803 together with the label.

座標特定部８０３は、種別判定部８０２が判定した判定結果に基づいて、フォークリフト１の有するフォークをパレットの外形の四隅の座標を特定する（ステップＳ３）。
具体的には、学習済みモデルが適用された座標特定部８０３に種別判定部８０２の判定結果が入力されると、学習済みモデルによって、パレットの外形の四隅を示す座標が座標特定部８０３から高さ判定部８０５に出力される。 The coordinate identifying unit 803 identifies the coordinates of the four corners of the outer shape of the pallet of the fork of the forklift 1 based on the determination result determined by the type determining unit 802 (step S3).
Specifically, when the determination result of the type determination unit 802 is input to the coordinate identification unit 803 to which the learned model has been applied, the coordinates indicating the four corners of the outer shape of the pallet are higher than the coordinate identification unit 803 by the learned model. Is output to the determination unit 805.

正対判定部８０４は、フォークリフト１がパレットに正対しているか否かを判定する（ステップＳ４）。
例えば、正対判定部８０４は、撮像画像におけるパレットの形状に基づいてフォークリフト１がパレットに正対しているか否かを判定する。具体的には、例えば、撮像装置３０がマストの中心部に設けられている場合、正対判定部８０４は、撮像画像におけるパレットの形状が左右対称である場合に、フォークリフト１がパレットに正対していると判定する。また、撮像装置３０がマストの中心部に設けられている場合、正対判定部８０４は、撮像画像におけるパレットの形状が左右対称でない場合に、フォークリフト１がパレットに正対していないと判定する。 The facing determination unit 804 determines whether the forklift 1 faces the pallet (step S4).
For example, the facing determination unit 804 determines whether or not the forklift 1 faces the pallet based on the shape of the pallet in the captured image. Specifically, for example, when the imaging device 30 is provided at the center of the mast, the facing determination unit 804 determines that the forklift 1 faces the pallet when the shape of the pallet in the captured image is symmetric. It is determined that there is. When the imaging device 30 is provided at the center of the mast, the facing determination unit 804 determines that the forklift 1 is not directly facing the pallet when the shape of the pallet in the captured image is not symmetric.

フォークリフト１がパレットに正対していないと正対判定部８０４が判定した場合（ステップＳ４においてＮＯ）、報知部８０８は、正対判定部８０４が判定した判定結果（すなわち、フォークリフト１がパレットに正対していないこと）を、フォークリフト１の運転者に報知する（ステップＳ５）。報知部８０８は、ステップＳ４の処理に戻す。この場合、運転者は、フォークリフト１がパレットに正対していないという報知に応じて、フォークリフト１がパレットに正対するようにフォークリフト１を操作する。   When the facing determination unit 804 determines that the forklift 1 is not directly facing the pallet (NO in step S4), the notification unit 808 determines the determination result determined by the facing determination unit 804 (that is, the forklift 1 faces the pallet). Is not notified to the driver of the forklift 1 (step S5). The notification unit 808 returns to the process of step S4. In this case, the driver operates the forklift 1 so as to face the pallet in response to the notification that the forklift 1 is not facing the pallet.

また、フォークリフト１がパレットに正対していると正対判定部８０４が判定した場合（ステップＳ４においてＹＥＳ）、報知部８０８は、正対判定部８０４が判定した判定結果（すなわち、フォークリフト１がパレットに正対していること）を、フォークリフト１の運転者に報知する（ステップＳ６）。この場合、運転者は、フォークリフト１がパレットに正対しているという報知に応じて、フォークリフト１の位置が固定されるようにフォークリフト１を操作する。   When the facing determination unit 804 determines that the forklift 1 is directly facing the pallet (YES in step S4), the notification unit 808 determines the determination result determined by the facing determination unit 804 (that is, the forklift 1 is palletized). Is notified to the driver of the forklift 1 (step S6). In this case, the driver operates the forklift 1 so that the position of the forklift 1 is fixed in response to the notification that the forklift 1 is facing the pallet.

ステップＳ６の処理によってフォークリフト１がパレットに正対していることを報知部８０８がフォークリフト１の運転者に報知した場合、高さ判定部８０５は、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであるか否かを判定する（ステップＳ７）。
例えば、高さ判定部８０５は、座標特定部８０３が特定したパレットの四隅の座標から、パレットの四隅の対角の２点を結ぶ２本の対角線の交点の座標を算出する。高さ判定部８０５は、パレットの実際の大きさと撮像画像における画素数との関係、及び、撮像画像を映している角度から、フォークとパレットとの位置関係を算出する。そして、高さ判定部８０５は、フォークの位置がパレットの位置に対して所定の高さの範囲内にあると判定した場合、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであると判定する。また、高さ判定部８０５は、フォークの位置がパレットの位置に対して所定の高さの範囲外にあると判定した場合、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さではないと判定する。 When the notifying unit 808 notifies the driver of the forklift 1 that the forklift 1 is directly facing the pallet by the processing in step S6, the height determining unit 805 determines whether the height at which the fork is present is inserted into the hole of the pallet. It is determined whether or not the height is such that it can be inserted (step S7).
For example, from the coordinates of the four corners of the pallet specified by the coordinate specifying unit 803, the height determining unit 805 calculates the coordinates of the intersection of two diagonal lines connecting the two diagonal points of the four corners of the pallet. The height determination unit 805 calculates the positional relationship between the fork and the pallet from the relationship between the actual size of the pallet and the number of pixels in the captured image, and the angle at which the captured image is projected. Then, when the height determination unit 805 determines that the position of the fork is within a predetermined height range with respect to the position of the pallet, the height at which the fork exists is a height at which the fork can be inserted into the hole of the pallet. Is determined. When the height determination unit 805 determines that the position of the fork is out of the predetermined height range with respect to the position of the pallet, the height at which the fork exists is set to a height at which the fork can be inserted into the hole of the pallet. It is determined that this is not the case.

フォークの存在する高さがパレットの穴にフォークを挿入可能な高さでないと高さ判定部８０５が判定した場合（ステップＳ７においてＮＯ）、報知部８０８は、高さ判定部８０５が判定した判定結果（すなわち、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さでないこと）を、フォークリフト１の運転者に報知する（ステップＳ８）。   When the height determination unit 805 determines that the height of the fork is not the height at which the fork can be inserted into the hole of the pallet (NO in step S7), the notification unit 808 determines the determination determined by the height determination unit 805. The result (that is, the height at which the fork is present is not the height at which the fork can be inserted into the hole of the pallet) is notified to the driver of the forklift 1 (step S8).

制御部８０７は、フォークの移動を制御する（ステップＳ９）。具体的には、制御部８０７は、フォークの高さをパレットの穴の高さまで、すなわち、フォークからパレットの穴までの距離が短くなるように、フォークを移動させる。このとき、制御部８０７は、フォークからパレットの穴までの距離が短くなるにつれて、フォークの移動速度が低速になるように制御するものであってもよい。そして、制御部８０７は、パレットの穴に挿入可能な位置でフォークを停止させる。制御部８０７は、ステップＳ７の処理に戻す。   The control unit 807 controls the movement of the fork (Step S9). Specifically, the control unit 807 moves the fork so that the height of the fork is equal to the height of the hole of the pallet, that is, the distance from the fork to the hole of the pallet is reduced. At this time, the control unit 807 may control the moving speed of the fork to decrease as the distance from the fork to the hole of the pallet decreases. Then, the control unit 807 stops the fork at a position where it can be inserted into the hole of the pallet. The control unit 807 returns to the process of step S7.

また、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであると高さ判定部８０５が判定した場合（ステップＳ７においてＹＥＳ）、報知部８０８は、高さ判定部８０５が判定した判定結果（すなわち、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであること）を、フォークリフト１の運転者に報知する（ステップＳ１０）。   When the height determination unit 805 determines that the fork is present at a height at which the fork can be inserted into the hole of the pallet (YES in step S7), the notification unit 808 determines that the height determination unit 805 has The result of the determination (that is, the height at which the fork exists is a height at which the fork can be inserted into the hole of the pallet) is notified to the driver of the forklift 1 (step S10).

挿入判定部８０６は、種別判定部８０２が判定した判定結果に基づいて、フォークリフト１の有するフォークをパレットが有する穴に挿入できるか否かを常時判定している。
挿入判定部８０６は、種別判定部８０２が判定した種別のパレットについて、フォークリフト１がそのパレットに正対していると正対判定部８０４が判定し、かつ、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであると高さ判定部８０５が判定した場合に、初めて、フォークをパレットが有する穴に挿入できると判定する（ステップＳ１１）。すなわち、ステップＳ７の処理において、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであると高さ判定部８０５が判定した場合に、初めて、挿入判定部８０６は、フォークをパレットが有する穴に挿入できると判定する。
それ以外の場合には、挿入判定部８０６は、フォークをパレットが有する穴に挿入できないと判定する。 The insertion determination unit 806 constantly determines whether the fork of the forklift 1 can be inserted into the hole of the pallet based on the determination result determined by the type determination unit 802.
For the pallet of the type determined by the type determination unit 802, the insertion determination unit 806 determines that the forklift 1 is directly facing the pallet, and the facing determination unit 804 determines that the forklift 1 is facing the pallet. When the height determination unit 805 determines that the fork can be inserted into the pallet, it is determined that the fork can be inserted into the hole of the pallet for the first time (step S11). That is, in the process of step S7, when the height determination unit 805 determines that the height at which the fork is present is a height at which the fork can be inserted into the hole of the pallet, the insertion determination unit 806 determines the fork for the first time. It is determined that it can be inserted into the hole of the pallet.
In other cases, the insertion determination unit 806 determines that the fork cannot be inserted into the hole of the pallet.

なお、本発明の一実施形態によるフォークリフト１は、最も近い位置にあるパレットを荷役の対象とするものである。   In the forklift 1 according to the embodiment of the present invention, a pallet located closest to the pallet is to be loaded.

以上、本発明の一実施形態によるフォークリフト１について説明した。
本発明の一実施形態によるフォークリフト１の判定装置８０において、種別判定部８０２は、撮像装置３０が撮像した撮像画像に基づいて、その撮像画像内のパレットの種別を判定する。挿入判定部８０６は、種別判定部８０２が判定した判定結果に基づいて、フォークリフト１の有するフォークをパレットが有する穴に挿入できるか否かを判定する。
こうすることで、判定装置８０は、パレットの種別の判定結果に基づいて、パレットの外形の四隅の座標を特定し、パレットの四隅の対角の２点を結ぶ２本の対角線の交点の座標を算出する。そして、判定装置８０は、交点の位置が所定の範囲に入っているか否かに基づいて、フォークリフト１のフォークがパレットの穴に挿入できる位置にあるか否かを判定するため、容易にその判定を行うことができる。 The forklift 1 according to one embodiment of the present invention has been described above.
In the determination device 80 of the forklift 1 according to one embodiment of the present invention, the type determination unit 802 determines the type of the pallet in the captured image based on the captured image captured by the imaging device 30. The insertion determination unit 806 determines whether the fork of the forklift 1 can be inserted into the hole of the pallet based on the determination result determined by the type determination unit 802.
In this way, the determination device 80 specifies the coordinates of the four corners of the outer shape of the pallet based on the determination result of the pallet type, and the coordinates of the intersection of two diagonal lines connecting the two diagonal points of the four corners of the pallet. Is calculated. Then, the determination device 80 determines whether or not the fork of the forklift 1 is at a position where the fork of the forklift 1 can be inserted into the hole of the pallet based on whether or not the position of the intersection is within a predetermined range. It can be performed.

また、本発明の一実施形態では、高さ判定部８０５は、パレットの実際の大きさと撮像画像における画素数との関係、及び、撮像画像を映している角度から、フォークとパレットとの位置関係を算出する。このときの撮像画像は、単眼の撮像装置３０によって撮像された画像であるため、高さ判定部８０５が行うフォークとパレットとの位置関係の算出は、簡単な演算で済む。その結果、判定装置８０の制御部８０７による、フォークのパレットの穴の位置までの移動の追従性が、複眼の撮像装置３０によって撮像された画像の場合に比べて向上する。   In one embodiment of the present invention, the height determination unit 805 determines the positional relationship between the fork and the pallet based on the relationship between the actual size of the pallet and the number of pixels in the captured image, and the angle at which the captured image is projected. Is calculated. Since the captured image at this time is an image captured by the monocular imaging device 30, the calculation of the positional relationship between the fork and the pallet performed by the height determination unit 805 can be a simple operation. As a result, the ability of the control unit 807 of the determination device 80 to follow the movement of the fork to the position of the hole of the pallet is improved as compared with the case of an image captured by the compound-eye imaging device 30.

また、本発明の一実施形態では、報知部８０８は、正対判定部８０４と高さ判定部８０５のそれぞれの判定結果を、フォークリフト１の運転者に報知する。そのため、運転者は、フォークをパレットが有する穴に挿入できない場合に、フォークリフト１がパレットに正対していないことが原因であるか、フォークの高さがパレットの穴の高さに合っていないことが原因であるかを、容易に知ることができる。   Further, in one embodiment of the present invention, the notification unit 808 notifies the driver of the forklift 1 of the determination results of the facing determination unit 804 and the height determination unit 805. Therefore, when the driver cannot insert the fork into the hole of the pallet, the cause is that the forklift 1 is not directly facing the pallet, or the height of the fork does not match the height of the hole of the pallet. It can be easily known whether the cause is.

なお、本発明の別の実施形態では、種別判定部８０２、座標特定部８０３のそれぞれは、ニューラルネットワークである場合、学習済みモデルでなくてもよい。   In another embodiment of the present invention, when each of the type determination unit 802 and the coordinate identification unit 803 is a neural network, it may not be a learned model.

なお、本発明の別の実施形態では、正対判定部８０４は、正対しているか否かを、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサやステレオカメラを用いて判定するものであってもよい。   Note that, in another embodiment of the present invention, the facing determination unit 804 may determine whether or not the user is facing the location using a TOF (Time of Flight) sensor or a stereo camera.

なお、本発明の別の実施形態では、撮像装置３０は複眼であり、判定装置８０は、複眼の視差を用いて、フォークリフト１からパレットまでの距離を算出するものであってもよい。   In another embodiment of the present invention, the imaging device 30 may be a compound eye, and the determination device 80 may calculate the distance from the forklift 1 to the pallet using the compound eye parallax.

なお、本発明の別の実施形態では、判定装置８０は、正対判定部８０４を備えなくてもよい。この場合、運転者がフォークリフト１をパレットに正対させた後に、判定装置８０に処理させればよい。   Note that in another embodiment of the present invention, the determination device 80 may not include the facing determination unit 804. In this case, the determination device 80 may process the forklift 1 after the driver directly faces the pallet.

なお、本発明の別の実施形態では、フォークリフト１への操作に基づいて、荷役の対象とするパレットを選択するものであってもよい。例えば、本発明の別の実施形態では、次に近いパレットの位置に移動させるためのボタンの押下に応じて、判定装置８０は、最も近いパレットの位置に停止したフォークを移動させるものであってもよい。
また、本発明の別の実施形態では、例えば、タッチパネル上に表示されるパレットをタップすることで、荷役の対象とするパレットを選択するものであってもよい。この場合、例えば、制御部８０７は、フォークからパレットの穴までの距離が短くなるにつれて、フォークの移動速度が低速になるように制御し、フォークからパレットの穴までの距離が長くなるにつれて、フォークの移動速度が高速になるように制御するものであってもよい。 In another embodiment of the present invention, a pallet to be unloaded may be selected based on an operation on the forklift 1. For example, in another embodiment of the present invention, in response to pressing of a button for moving to the next closest pallet position, the determination device 80 moves the stopped fork to the closest pallet position. Is also good.
In another embodiment of the present invention, for example, a pallet to be unloaded may be selected by tapping a pallet displayed on a touch panel. In this case, for example, the control unit 807 controls the moving speed of the fork to decrease as the distance from the fork to the hole of the pallet decreases, and the control unit 807 controls the fork as the distance from the fork to the hole of the pallet increases. May be controlled so that the moving speed of the camera becomes high.

なお、本発明の実施形態における処理は、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。   Note that, in the processing according to the embodiment of the present invention, the order of the processing may be changed within a range in which appropriate processing is performed.

本発明の実施形態における記憶部８０９、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部８０９、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。   Each of the storage unit 809 and the other storage devices in the embodiment of the present invention may be provided anywhere as long as appropriate information is transmitted and received. Further, each of the storage unit 809 and the other storage devices may exist in a plural number within a range where appropriate information is transmitted and received, and may store data in a distributed manner.

本発明の実施形態について説明したが、上述の撮像装置３０、操作装置６０、表示装置７０、判定装置８０、その他の制御装置は内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。
図６は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ５は、図６に示すように、ＣＰＵ６、メインメモリ７、ストレージ８、インターフェース９を備える。
例えば、上述の撮像装置３０、操作装置６０、表示装置７０、判定装置８０、その他の制御装置のそれぞれは、コンピュータ５に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ８に記憶されている。ＣＰＵ６は、プログラムをストレージ８から読み出してメインメモリ７に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ６は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ７に確保する。 Although the embodiment of the present invention has been described, the above-described imaging device 30, operation device 60, display device 70, determination device 80, and other control devices may have a computer system therein. The process of the above-described processing is stored in a computer-readable recording medium in the form of a program, and the computer reads and executes the program to perform the above-described processing. Specific examples of the computer are shown below.
FIG. 6 is a schematic block diagram illustrating a configuration of a computer according to at least one embodiment.
As shown in FIG. 6, the computer 5 includes a CPU 6, a main memory 7, a storage 8, and an interface 9.
For example, each of the above-described imaging device 30, operation device 60, display device 70, determination device 80, and other control devices is implemented in the computer 5. The operation of each processing unit described above is stored in the storage 8 in the form of a program. The CPU 6 reads the program from the storage 8 and expands the program in the main memory 7, and executes the above-described processing according to the program. Further, the CPU 6 secures a storage area corresponding to each of the above-described storage units in the main memory 7 according to a program.

ストレージ８の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。ストレージ８は、コンピュータ５のバスに直接接続された内部メディアであってもよいし、インターフェース９または通信回線を介してコンピュータ５に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ５に配信される場合、配信を受けたコンピュータ５が当該プログラムをメインメモリ７に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ８は、一時的でない有形の記憶媒体である。   Examples of the storage 8 include a hard disk drive (HDD), a solid state drive (SSD), a magnetic disk, a magneto-optical disk, a compact disc read only memory (CD-ROM), and a digital versatile discriminator (DVD-ROM). And a semiconductor memory. The storage 8 may be an internal medium directly connected to the bus of the computer 5 or an external medium connected to the computer 5 via the interface 9 or a communication line. When the program is distributed to the computer 5 via a communication line, the computer 5 that has received the program may load the program into the main memory 7 and execute the above processing. In at least one embodiment, storage 8 is a non-transitory tangible storage medium.

また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル（差分プログラム）であってもよい。   In addition, the program may realize a part of the above-described functions. Further, the program may be a file that can realize the above-described functions in combination with a program already recorded in the computer system, that is, a so-called difference file (difference program).

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。   Although several embodiments of the present invention have been described, these embodiments are examples and do not limit the scope of the invention. In these embodiments, various additions, omissions, replacements, and changes may be made without departing from the spirit of the invention.

１・・・フォークリフト
５・・・コンピュータ
６・・・ＣＰＵ
７・・・メインメモリ
８・・・ストレージ
９・・・インターフェース
１０・・・第１のフォーク
２０・・・第２のフォーク
３０・・・撮像装置
４０・・・傾斜センサ
５０・・・荷重センサ
６０・・・操作装置
７０・・・表示装置
８０・・・判定装置
８０１・・・画像取得部
８０２・・・種別判定部
８０３・・・座標特定部
８０４・・・正対判定部
８０５・・・高さ判定部
８０６・・・挿入判定部
８０７・・・制御部
８０８・・・報知部
８０９・・・記憶部 DESCRIPTION OF SYMBOLS 1 ... Forklift 5 ... Computer 6 ... CPU
7 Main memory 8 Storage 9 Interface 10 First fork 20 Second fork 30 Imaging device 40 Tilt sensor 50 Load sensor 60 operating device 70 display device 80 determining device 801 image obtaining unit 802 type determining unit 803 coordinate specifying unit 804 facing-facing determining unit 805 A height determination unit 806 an insertion determination unit 807 a control unit 808 a notification unit 809 a storage unit

Claims (9)

フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得する画像取得部と、
前記撮像画像に基づいて、画像内のパレットの形状についての種別を判定する種別判定部と、
前記種別判定部が判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定する挿入判定部と、
を備える判定装置。 An image acquisition unit that acquires a captured image captured by an imaging device provided on a mast of a forklift,
Based on the captured image, a type determination unit that determines the type of the shape of the pallet in the image,
An insertion determination unit that determines whether a fork of the forklift can be inserted into a hole of the pallet based on a determination result determined by the type determination unit;
A determination device comprising: 前記フォークリフトが前記パレットに正対しているか否かを判定する正対判定部と、
前記正対判定部が判定した判定結果を、前記フォークリフトの運転者に報知する正対判定結果報知部と、
を備える請求項１に記載の判定装置。 A facing determination unit that determines whether the forklift is facing the pallet,
A facing determination result reporting unit that reports the determination result determined by the facing determining unit to a driver of the forklift,
The determination device according to claim 1, further comprising: 前記フォークの存在する高さが前記穴に前記フォークを挿入可能な高さであるか否かを判定する高さ判定部と、
前記高さ判定部が判定した判定結果を、前記フォークリフトの運転者に報知する高さ判定結果報知部と、
を備える請求項１または請求項２に記載の判定装置。 A height determination unit that determines whether the height at which the fork is present is a height at which the fork can be inserted into the hole,
A height determination result notification unit that notifies the determination result determined by the height determination unit to a driver of the forklift,
The determination device according to claim 1 or 2, further comprising: 前記フォークの移動を制御する制御部であって、前記穴に挿入可能な位置で前記フォークを停止させる制御部、
を備える請求項１から請求項３の何れか一項に記載の判定装置。 A control unit that controls the movement of the fork, the control unit stopping the fork at a position that can be inserted into the hole,
The determination device according to any one of claims 1 to 3, further comprising: 前記制御部は、
前記フォークから前記穴までの距離が短くなるにつれて、前記フォークの移動速度が低速になるように制御し、前記フォークから前記穴までの距離が長くなるにつれて、前記フォークの移動速度が高速になるように制御する、
請求項４に記載の判定装置。 The control unit includes:
The moving speed of the fork is controlled to decrease as the distance from the fork to the hole decreases, and the moving speed of the fork increases as the distance from the fork to the hole increases. To control,
The determination device according to claim 4. 前記種別判定部は、
前記撮像画像と、前記撮像画像において前記パレットが写っているであろう領域と、当該パレットのラベルとの組み合わせを教師データとして、前記パレットが写っている領域を含む矩形の範囲の画像を出力するように学習された第１のニューラルネットワークである、
請求項１から請求項５の何れか一項に記載の判定装置。 The type determination unit,
Outputting an image of a rectangular range including the area in which the pallet is captured, using teacher data as a combination of the captured image, the area in which the pallet is likely to be captured in the captured image, and the label of the pallet as teacher data Is the first neural network trained as
The determination device according to claim 1. 前記挿入判定部は、
前記撮像画像において矩形の範囲を示す座標で切り取られた前記パレットが写っている画像と、当該パレットのラベルとの組み合わせを教師データとして、当該パレットの四隅の座標を出力するように学習された第２のニューラルネットワークである、
請求項１から請求項６の何れか一項に記載の判定装置。 The insertion determination unit,
In the captured image, a combination of an image of the pallet cut out at coordinates indicating a rectangular range and a label of the pallet is used as teacher data, and learning is performed to output the coordinates of the four corners of the pallet. Two neural networks,
The determination device according to claim 1. フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得することと、
前記撮像画像に基づいて、画像内のパレットの形状についての種別を判定することと、
判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定することと、
を含む判定方法。 Acquiring a captured image captured by an imaging device provided on a mast of a forklift,
Based on the captured image, determine the type of the shape of the pallet in the image,
Determining whether or not a fork of the forklift can be inserted into a hole of the pallet based on the determined result;
A judgment method including: コンピュータに、
フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得することと、
前記撮像画像に基づいて、画像内のパレットの形状についての種別を判定することと、
判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定することと、
を実行させるプログラム。 On the computer,
Acquiring a captured image captured by an imaging device provided on a mast of a forklift,
Based on the captured image, determine the type of the shape of the pallet in the image,
Determining whether or not a fork of the forklift can be inserted into a hole of the pallet based on the determined result;
A program that executes
JP2019000213A 2019-01-04 2019-01-04 Determination device, determination method and program Active JP6676198B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019000213A JP6676198B1 (en) 2019-01-04 2019-01-04 Determination device, determination method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019000213A JP6676198B1 (en) 2019-01-04 2019-01-04 Determination device, determination method and program

Publications (2)

Publication Number Publication Date
JP6676198B1 true JP6676198B1 (en) 2020-04-08
JP2020109030A JP2020109030A (en) 2020-07-16

Family

ID=70058023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019000213A Active JP6676198B1 (en) 2019-01-04 2019-01-04 Determination device, determination method and program

Country Status (1)

Country Link
JP (1) JP6676198B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102409821B1 (en) * 2020-10-19 2022-06-20 시그널시스템 주식회사 Pallet hole detection device and detection method
KR102507973B1 (en) * 2021-04-28 2023-03-08 주식회사 한화 Automated guided vehicle and operation method of the same
WO2024105855A1 (en) * 2022-11-17 2024-05-23 日本電気株式会社 System for identifying object to be moved, device for identifying object to be moved, object identification method, and computer readable medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5926899A (en) * 1982-08-05 1984-02-13 株式会社豊田自動織機製作所 Travelling stopping and pallet hole searching method in unmanned forklift
JPH11278799A (en) * 1998-03-24 1999-10-12 Mitsubishi Electric Corp Loading control device for unmanned fork lift, and loading control method for unmanned fork lift
JP3900942B2 (en) * 2002-01-23 2007-04-04 株式会社豊田自動織機 Automatic position control device for cargo handling equipment in industrial vehicles, industrial vehicle and automatic position control method for cargo handling equipment
JP2005008367A (en) * 2003-06-19 2005-01-13 Toyota Industries Corp Fork posture control device for forklift truck, and forklift truck
JP6880884B2 (en) * 2017-03-22 2021-06-02 日本電気株式会社 In-vehicle devices, cargo handling machines, control circuits, control methods, and programs

Also Published As

Publication number Publication date
JP2020109030A (en) 2020-07-16

Similar Documents

Publication Publication Date Title
JP6676198B1 (en) Determination device, determination method and program
JP4666154B2 (en) Cargo handling support device for forklift
KR102326097B1 (en) Pallet detection using units of physical length
US7559841B2 (en) Pose detection method, video game apparatus, pose detection program, and computer-readable medium containing computer program
US10981764B2 (en) Industrial truck having a fork and a fork arm camera and method for operating such an industrial truck
WO2016199366A1 (en) Dimension measurement device and dimension measurement method
CN104062832A (en) Projection Apparatus And Projection Method
JP2019048696A (en) Information processing device and information processing method
JP6613343B1 (en) Determination apparatus and determination method
US9354801B2 (en) Image processing apparatus, image processing method, and storage medium storing program
WO2020039817A1 (en) Loading operation assistance device for forklift
JP6586497B1 (en) Plug-in control device and plug-in control method
WO2023024561A1 (en) Shelf shifting deviation correction method and apparatus, automated guided vehicle, and storage medium
US20140043658A1 (en) Input apparatus and control method thereof
JP6674515B2 (en) Judgment device and judgment method
KR20120050830A (en) Apparatus and method for controlling crane
US20160026882A1 (en) Method for the Operation of an Assistance System of a Motor Vehicle, as well as Assistance System
JP6650498B1 (en) Display control device, display control method and program
JP6722733B2 (en) Judgment device and judgment method
JP2020142903A (en) Image processing apparatus and control program
JP6512852B2 (en) Information processing apparatus, information processing method
JP7436878B2 (en) Information processing system, information processing method, program
JP7348548B2 (en) Information processing system, information processing method, program
FI127684B (en) Heavy-duty lift truck
WO2022130896A1 (en) Forklift

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200311

R150 Certificate of patent or registration of utility model

Ref document number: 6676198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250