JP7084099B1

JP7084099B1 - Forklift and cargo handling system

Info

Publication number: JP7084099B1
Application number: JP2021039914A
Authority: JP
Inventors: 良平寺尾
Original assignee: Mitsubishi Logisnext Co Ltd
Current assignee: Mitsubishi Logisnext Co Ltd
Priority date: 2021-03-12
Filing date: 2021-03-12
Publication date: 2022-06-14
Anticipated expiration: 2041-03-12
Also published as: JP2022139496A

Abstract

【課題】別の作業車の存在に応じてメロディーの出力状態を調整可能なフォークリフトを提供する。【解決手段】画像データ生成部２０３と、機械学習アルゴリズムを用いて安全性スコアを生成する学習モデル部２０４と、学習モデル部２０４から安全性スコアを取得する処理部２０５と、メロディーを出力する音声出力部２０１と、メロディーの出力状態を調整する音声制御部２０８と、自己位置の推定を行う位置推定部２０６と、作業車３００Ａの他車位置を取得する情報取得部２０７とを備え、処理部２０５は、自己位置と他車位置との距離に応じて、安全性スコアの安全性の程度を変更して音声制御部２０８に出力し、音声制御部２０８は、処理部２０５から取得した安全性スコアに基づいて、メロディーの出力状態を調整することを特徴とする。【選択図】図１PROBLEM TO BE SOLVED: To provide a forklift capable of adjusting an output state of a melody according to the existence of another work vehicle. An image data generation unit 203, a learning model unit 204 that generates a safety score using a machine learning algorithm, a processing unit 205 that acquires a safety score from a learning model unit 204, and a voice that outputs a melody. It includes an output unit 201, a voice control unit 208 that adjusts the output state of the melody, a position estimation unit 206 that estimates its own position, and an information acquisition unit 207 that acquires the position of another vehicle of the work vehicle 300A, and is a processing unit. The 205 changes the degree of safety of the safety score according to the distance between the self position and the position of another vehicle and outputs it to the voice control unit 208, and the voice control unit 208 outputs the safety obtained from the processing unit 205. It is characterized by adjusting the output state of the melody based on the score. [Selection diagram] Fig. 1

Description

本発明は、フォークリフトおよび荷役システムに関する。 The present invention relates to forklifts and cargo handling systems.

従来から、作業場にいる作業者に注意を促す目的で、メロディーを出力しながら走行するフォークリフトが知られている（例えば、特許文献１参照）。特許文献１に記載のフォークリフトは、車体の前方を撮影して画像データを生成する画像データ生成部と、画像データに基づいて走行ルートの安全性の程度を示す安全性スコアを生成する学習モデル部とを備え、安全性スコアに応じてメロディーの出力状態を調整する。 Conventionally, forklifts that run while outputting a melody have been known for the purpose of calling attention to workers in the workplace (see, for example, Patent Document 1). The forklift described in Patent Document 1 has an image data generation unit that captures the front of the vehicle body and generates image data, and a learning model unit that generates a safety score indicating the degree of safety of the traveling route based on the image data. And adjust the output state of the melody according to the safety score.

上記フォークリフトは、例えば、画像データにおいて走行ルート上に作業者がいる場合、安全性が低いと判断して小さい数値パラメータの安全性スコアを生成する。しかしながら、画像データ生成部の撮影手段が撮影しているタイミングで作業者が死角領域（例えば、ラックや荷物に隠れて撮影手段から見えない領域）にいる場合、上記フォークリフトは、作業者がいないのと同様の安全性スコアを生成してしまう。その結果、作業者への注意を促すことができないという問題が生じる。 For example, when there is an operator on the traveling route in the image data, the forklift determines that the safety is low and generates a safety score of a small numerical parameter. However, when the worker is in the blind spot area (for example, the area hidden by the rack or luggage and cannot be seen from the shooting means) at the timing when the shooting means of the image data generation unit is shooting, the forklift has no worker. Will generate a safety score similar to. As a result, there arises a problem that it is not possible to call attention to the worker.

特に、作業者の近くを別の作業車が走行している場合、作業者は、自分と作業と別の作業車の存在に気を取られ、上記フォークリフトの存在に気が付かないおそれがある。 In particular, when another work vehicle is traveling near the worker, the worker may be distracted by the existence of the work vehicle other than himself / herself and may not be aware of the existence of the forklift.

特願２０１９－２１９５２３号Japanese Patent Application No. 2019-219523

本発明は上記事情に鑑みてなされたものであって、その課題とするところは、別の作業車の存在に応じてメロディーの出力状態を調整可能なフォークリフトおよび荷役システムを提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a forklift and a cargo handling system capable of adjusting the output state of a melody according to the presence of another work vehicle.

上記課題を解決するために、本発明に係るフォークリフトは、
作業場において荷役作業を行うフォークリフトであって、
車体と、
前記車体の前方を含む画像を撮影して画像データを生成する画像データ生成部と、
前記画像データが入力されると、所定のパラメータを有する機械学習アルゴリズムを用いて、前記車体の走行ルートの安全性の程度を示す安全性スコアを生成するように機械学習された学習モデル部と、
前記画像データを前記学習モデル部に入力することで前記学習モデル部から前記安全性スコアを取得する処理部と、
走行中に所定のメロディーを出力する音声出力部と、
前記メロディーの出力状態を調整する音声制御部と、
自己位置の推定を行う位置推定部と、
前記作業場で走行中の作業車の位置に関する他車位置を取得する情報取得部と、
を備え、
前記処理部は、
前記自己位置と前記他車位置との距離に応じて、前記学習モデル部から取得した前記安全性スコアの前記安全性の程度を変更して前記音声制御部に出力し、
前記音声制御部は、
前記処理部から取得した前記安全性スコアに基づいて、前記メロディーの前記出力状態を調整することを特徴とする。 In order to solve the above problems, the forklift according to the present invention
A forklift that performs cargo handling work in the workplace.
With the car body
An image data generation unit that captures an image including the front of the vehicle body and generates image data,
When the image data is input, a learning model unit machine-learned to generate a safety score indicating the degree of safety of the traveling route of the vehicle body by using a machine learning algorithm having predetermined parameters, and a learning model unit.
A processing unit that acquires the safety score from the learning model unit by inputting the image data into the learning model unit, and a processing unit.
An audio output unit that outputs a predetermined melody while driving,
A voice control unit that adjusts the output state of the melody,
The position estimation unit that estimates the self-position and the position estimation unit
An information acquisition unit that acquires the position of another vehicle related to the position of the work vehicle running in the workplace, and
Equipped with
The processing unit
The degree of safety of the safety score acquired from the learning model unit is changed according to the distance between the self-position and the position of the other vehicle, and output to the voice control unit.
The voice control unit
It is characterized in that the output state of the melody is adjusted based on the safety score obtained from the processing unit.

この構成では、処理部は、自己位置と他車位置との距離に応じて、学習モデル部から取得した安全性スコアの安全性の程度を変更して音声制御部に出力し、音声制御部は、処理部から取得した安全性スコアに基づいて、メロディーの出力状態を調整する。これにより、例えば、死角領域にいる作業者の近くを別の作業車が走行している場合、作業者に対して適切に注意を促すことが可能となる。 In this configuration, the processing unit changes the degree of safety of the safety score acquired from the learning model unit according to the distance between the self position and the position of another vehicle and outputs it to the voice control unit, and the voice control unit outputs it to the voice control unit. , Adjust the output state of the melody based on the safety score obtained from the processing unit. As a result, for example, when another work vehicle is traveling near the worker in the blind spot area, it is possible to appropriately call the worker's attention.

上記フォークリフトにおいて、
前記処理部は、
前記学習モデル部から取得した前記安全性スコアが示す前記安全性の程度が所定の第１閾値以上で、かつ前記距離が所定の第２閾値以下の場合に、前記安全性スコアの前記安全性の程度を変更して前記音声制御部に出力するよう構成できる。 In the above forklift
The processing unit
When the degree of safety indicated by the safety score obtained from the learning model unit is equal to or greater than a predetermined first threshold value and the distance is equal to or less than a predetermined second threshold value, the safety of the safety score is determined. It can be configured to output to the voice control unit by changing the degree.

上記課題を解決するために、本発明に係る荷役システムは、
管理装置と、前記管理装置の管理下で作業場において荷役作業を行うフォークリフトと、前記管理装置の管理下で前記作業場において走行する作業車と、を備える荷役システムであって、
前記フォークリフトは、
車体と、
前記車体の前方を含む画像を撮影して画像データを生成する画像データ生成部と、
前記画像データが入力されると、所定のパラメータを有する機械学習アルゴリズムを用いて、前記車体の走行ルートの安全性の程度を示す安全性スコアを生成するように機械学習された学習モデル部と、
前記画像データを前記学習モデル部に入力することで前記学習モデル部から前記安全性スコアを取得する処理部と、
走行中に所定のメロディーを出力する音声出力部と、
前記メロディーの出力状態を調整する音声制御部と、
自己位置の推定を行う位置推定部と、
を備え、
前記管理装置は、
前記フォークリフトの前記自己位置と前記作業車の位置に関する他車位置とを取得する情報取得部と、
前記自己位置と前記他車位置との距離を算出する演算部と、
を備え、
前記処理部は、
前記演算部から取得した前記距離に応じて、前記学習モデル部から取得した前記安全性スコアの前記安全性の程度を変更して前記音声制御部に出力し、
前記音声制御部は、
前記処理部から取得した前記安全性スコアに基づいて、前記メロディーの前記出力状態を調整することを特徴とする。 In order to solve the above problems, the cargo handling system according to the present invention is
A cargo handling system including a management device, a forklift that performs cargo handling work in the workplace under the control of the management device, and a work vehicle that travels in the workplace under the control of the management device.
The forklift is
With the car body
An image data generation unit that captures an image including the front of the vehicle body and generates image data,
When the image data is input, a learning model unit machine-learned to generate a safety score indicating the degree of safety of the traveling route of the vehicle body by using a machine learning algorithm having predetermined parameters, and a learning model unit.
A processing unit that acquires the safety score from the learning model unit by inputting the image data into the learning model unit, and a processing unit.
An audio output unit that outputs a predetermined melody while driving,
A voice control unit that adjusts the output state of the melody,
The position estimation unit that estimates the self-position and the position estimation unit
Equipped with
The management device is
An information acquisition unit that acquires the self-position of the forklift and the position of another vehicle related to the position of the work vehicle.
An arithmetic unit that calculates the distance between the self-position and the other vehicle position,
Equipped with
The processing unit
According to the distance acquired from the calculation unit, the degree of safety of the safety score acquired from the learning model unit is changed and output to the voice control unit.
The voice control unit
It is characterized in that the output state of the melody is adjusted based on the safety score obtained from the processing unit.

上記荷役システムにおいて、
前記処理部は、
前記学習モデル部から取得した前記安全性スコアが示す前記安全性の程度が所定の第１閾値以上で、かつ前記演算部から取得した前記距離が所定の第２閾値以下の場合に、前記安全性スコアの前記安全性の程度を変更して前記音声制御部に出力するよう構成できる。 In the above cargo handling system
The processing unit
The safety when the degree of safety indicated by the safety score acquired from the learning model unit is equal to or greater than a predetermined first threshold value and the distance acquired from the calculation unit is equal to or less than a predetermined second threshold value. The degree of safety of the score can be changed and output to the voice control unit.

上記荷役システムにおいて、
前記処理部は、前記学習モデル部に入力した前記画像データに前記学習モデル部から取得した前記安全性スコアを関連付けた、安全性スコア付きの画像データを前記管理装置に送信し、
前記管理装置は、
前記安全性スコア付きの画像データを収集して学習用データを生成する収集部と、
前記学習用データに基づく機械学習を行い、前記学習モデル部に含まれる前記パラメータを更新するための更新データを生成し、前記更新データを前記学習モデル部に送信するパラメータ更新部と、
を備え、
前記学習モデル部は、前記更新データに基づいて前記パラメータを更新するよう構成できる。 In the above cargo handling system
The processing unit transmits image data with a safety score in which the image data input to the learning model unit is associated with the safety score acquired from the learning model unit to the management device.
The management device is
A collection unit that collects image data with a safety score and generates learning data,
A parameter update unit that performs machine learning based on the learning data, generates update data for updating the parameters included in the learning model unit, and transmits the update data to the learning model unit.
Equipped with
The learning model unit can be configured to update the parameters based on the update data.

本発明によれば、別の作業車の存在に応じてメロディーの出力状態を調整可能なフォークリフトおよび荷役システムを提供することができる。 According to the present invention, it is possible to provide a forklift and a cargo handling system capable of adjusting the output state of a melody according to the presence of another work vehicle.

第１実施形態に係る荷役システムのブロック図である。It is a block diagram of the cargo handling system which concerns on 1st Embodiment. 第１実施形態に係るフォークリフトの側面図である。It is a side view of the forklift which concerns on 1st Embodiment. 第１実施形態に係る荷役システムの平面図である。It is a top view of the cargo handling system which concerns on 1st Embodiment. 第１実施形態に係る荷役システムにおいて、フォークリフトと別の作業車との位置関係を示す平面図である。It is a top view which shows the positional relationship between a forklift and another work vehicle in the cargo handling system which concerns on 1st Embodiment. 第２実施形態に係る荷役システムのブロック図である。It is a block diagram of the cargo handling system which concerns on 2nd Embodiment.

以下、添付図面を参照して、本発明に係るフォークリフトおよび荷役システムの実施形態について説明する。 Hereinafter, embodiments of the forklift and cargo handling system according to the present invention will be described with reference to the accompanying drawings.

［第１実施形態］
図１に、本発明の第１実施形態に係る荷役システム１Ａのブロック図を示す。荷役システム１Ａは、管理装置１００Ａと、レーザー誘導方式の無人フォークリフト２００Ａ（本発明の「フォークリフト」に相当）と、少なくとも１台の作業車３００Ａとを備える。 [First Embodiment]
FIG. 1 shows a block diagram of a cargo handling system 1A according to the first embodiment of the present invention. The cargo handling system 1A includes a management device 100A, a laser-guided unmanned forklift 200A (corresponding to the "forklift" of the present invention), and at least one work vehicle 300A.

作業車３００Ａは、本実施形態では、レーザー誘導方式の無人フォークリフトであるが、管理装置１００Ａの管理下で走行し、かつ自己位置（本発明の「他車位置」に相当）の推定を行うことができるのであれば、任意のフォークリフトまたは無人搬送車であってもよい。 In the present embodiment, the work vehicle 300A is a laser-guided unmanned forklift truck, but it travels under the control of the management device 100A and estimates its own position (corresponding to the "other vehicle position" of the present invention). Any forklift or automated guided vehicle may be used as long as it can be used.

管理装置１００Ａは、通信部１０１と、統括制御部１０２とを備える。管理装置１００Ａは、図３に示すように、無人フォークリフト２００Ａおよび作業車３００Ａが走行する作業場２（本実施形態では、複数のラック３を有する倉庫）の外に設けてもよいし、作業場２の中に設けてもよい。 The management device 100A includes a communication unit 101 and a control unit 102. As shown in FIG. 3, the management device 100A may be provided outside the work place 2 (in this embodiment, a warehouse having a plurality of racks 3) on which the unmanned forklift 200A and the work vehicle 300A travel, or may be provided in the work place 2. It may be provided inside.

通信部１０１は、管理装置１００Ａに予め登録された無人フォークリフト２００Ａおよび作業車３００Ａと無線通信を行うよう構成されている。 The communication unit 101 is configured to perform wireless communication with the unmanned forklift 200A and the work vehicle 300A registered in advance in the management device 100A.

統括制御部１０２は、無人フォークリフト２００Ａおよび作業車３００Ａの走行および荷役作業を管理するよう構成されている。例えば、統括制御部１０２は、無人フォークリフト２００Ａおよび作業車３００Ａの荷役作業のスケジュールを作成するとともに荷役作業を円滑に行うための走行ルートを決定する。統括制御部１０２は、通信部１０１を介して走行ルートを無人フォークリフト２００Ａおよび作業車３００Ａに通知する。 The integrated control unit 102 is configured to manage the traveling and cargo handling work of the unmanned forklift 200A and the work vehicle 300A. For example, the overall control unit 102 creates a schedule for cargo handling work of the unmanned forklift 200A and the work vehicle 300A, and determines a traveling route for smoothly performing the cargo handling work. The integrated control unit 102 notifies the unmanned forklift 200A and the work vehicle 300A of the traveling route via the communication unit 101.

無人フォークリフト２００Ａは、管理装置１００Ａの管理下で走行および荷役作業を行うよう構成されている。図２に示すように、無人フォークリフト２００Ａは、車体２１０と、荷役装置２１１と、車体２１０の上部に設けられたレーザースキャナ２１２とを備える。荷役装置２１１は、車体２１０の前後に水平移動可能に設けられたマストと、マストに昇降可能に設けられたフォークとを含む。 The unmanned forklift 200A is configured to perform traveling and cargo handling work under the control of the management device 100A. As shown in FIG. 2, the unmanned forklift 200A includes a vehicle body 210, a cargo handling device 211, and a laser scanner 212 provided on the upper portion of the vehicle body 210. The cargo handling device 211 includes a mast provided on the front and rear of the vehicle body 210 so as to be horizontally movable, and a fork provided on the mast so as to be able to move up and down.

図３に示すように、レーザースキャナ２１２は、レーザー光源を回転させながら周囲にレーザーＬを投光し、作業場２内に配置された複数の反射板４からの反射光Ｌ’を検出する。レーザースキャナ２１２の演算部は、反射板４の位置を所定のマップ上で記憶しており、三角測量の原理に基づいて車体２１０の現在地（自己位置）を算出する。このようにして、無人フォークリフト２００Ａは、車体２１０の現在地に関する現在地情報を取得しながら、通知された走行ルートに従って走行する。 As shown in FIG. 3, the laser scanner 212 projects the laser L around while rotating the laser light source, and detects the reflected light L'from a plurality of reflectors 4 arranged in the work place 2. The calculation unit of the laser scanner 212 stores the position of the reflector 4 on a predetermined map, and calculates the current location (self-position) of the vehicle body 210 based on the principle of triangulation. In this way, the unmanned forklift 200A travels according to the notified travel route while acquiring the current location information regarding the current location of the vehicle body 210.

再び図１を参照して、無人フォークリフト２００Ａは、音声出力部２０１と、警報音出力部２０２と、画像データ生成部２０３と、学習モデル部２０４と、処理部２０５と、位置推定部２０６と、情報取得部２０７と、音声制御部２０８とを備える。 With reference to FIG. 1 again, the unmanned forklift 200A includes an audio output unit 201, an alarm sound output unit 202, an image data generation unit 203, a learning model unit 204, a processing unit 205, and a position estimation unit 206. It includes an information acquisition unit 207 and a voice control unit 208.

音声出力部２０１は、例えば、少なくとも１つのスピーカーで構成され、音声制御部２０８の制御下で車体２１０の走行中に所定のメロディーを出力する。なお、出力するメロディーは音声制御部２０８に記憶されている。 The voice output unit 201 is composed of, for example, at least one speaker, and outputs a predetermined melody while the vehicle body 210 is traveling under the control of the voice control unit 208. The output melody is stored in the voice control unit 208.

警報音出力部２０２は、例えば、少なくとも１つのスピーカーで構成され、音声制御部２０８の制御下でメロディーよりも音量の大きい警報音を出力する。また、車体２１０の前部に障害物センサが設けられている場合、障害物センサが車体２１０の前方に存在する障害物（例えば、走行ルート上に置かれた荷物）を検出した際に、警報音出力部２０２が警報音を出力してもよい。 The alarm sound output unit 202 is composed of, for example, at least one speaker, and outputs an alarm sound having a volume higher than that of the melody under the control of the voice control unit 208. Further, when the obstacle sensor is provided in the front part of the vehicle body 210, an alarm is given when the obstacle sensor detects an obstacle existing in front of the vehicle body 210 (for example, a luggage placed on a traveling route). The sound output unit 202 may output an alarm sound.

画像データ生成部２０３は、撮影手段および画像処理手段を含むよう構成されている。撮影手段は、車体２１０の前方を含む画像（静止画および／または動画）を撮影し、画像処理手段に出力する。画像処理手段は、当該画像に基づいて、学習モデル部２０４に入力可能な画像データを生成する。 The image data generation unit 203 is configured to include an photographing means and an image processing means. The photographing means captures an image (still image and / or moving image) including the front of the vehicle body 210 and outputs the image to the image processing means. The image processing means generates image data that can be input to the learning model unit 204 based on the image.

学習モデル部２０４は、画像データ生成部２０３で生成された画像データが入力されると、所定のパラメータを有するニューラルネットワーク等の機械学習アルゴリズムを用いて、走行ルートの安全性の程度を示す安全性スコアを生成するように機械学習された学習済みモデルである。 When the image data generated by the image data generation unit 203 is input, the learning model unit 204 uses a machine learning algorithm such as a neural network having predetermined parameters to indicate the degree of safety of the travel route. A trained model machine-learned to generate scores.

学習済みモデルの機械学習では、上記のとおりニューラルネットワーク等の機械学習アルゴリズムを用いて、教師データを大量に入力する。教師データは、作業場２内の走行ルートを撮影した画像データに所定の安全性スコアを紐付けしたデータを含む。安全性スコアとしては、数値パラメータ（本実施形態では、１～５の数値パラメータ）を用いる。数値パラメータの設定は、人またはコンピュータが行う。 In machine learning of a trained model, a large amount of teacher data is input by using a machine learning algorithm such as a neural network as described above. The teacher data includes data in which a predetermined safety score is associated with image data obtained by photographing a traveling route in the workplace 2. As the safety score, a numerical parameter (numerical parameter of 1 to 5 in this embodiment) is used. Numerical parameters are set by a person or a computer.

例えば、ラック３の近くを走行し、かつ走行ルート上に人がいる場合は、安全性が低いと判断して数値パラメータを１に設定する。人はいないが別の作業車３００Ａがいる場合は、数値パラメータを２に設定する。人も別の作業車３００Ａもいない場合は、安全性が高いと判断して数値パラメータを３以上に設定する。画像データが示す走行ルートの状況と安全性の程度との間には、相関関係等の一定の関係が存在することを推認できる。 For example, when traveling near the rack 3 and there is a person on the traveling route, it is judged that the safety is low and the numerical parameter is set to 1. If there are no people but another work vehicle 300A, set the numerical parameter to 2. If there is neither a person nor another work vehicle 300A, it is judged that the safety is high and the numerical parameter is set to 3 or more. It can be inferred that there is a certain relationship such as a correlation between the condition of the traveling route shown by the image data and the degree of safety.

処理部２０５は、画像データ生成部２０３から取得した画像データを学習モデル部２０４に入力することで、学習モデル部２０４から安全性スコアを取得するよう構成されている。処理部２０５は、学習モデル部２０４に入力した画像データに学習モデル部２０４から取得した安全性スコアを関連付けて、安全性スコア付きの画像データを生成し、当該安全性スコア付きの画像データを管理装置１００Ａに送信してもよい。 The processing unit 205 is configured to acquire a safety score from the learning model unit 204 by inputting the image data acquired from the image data generation unit 203 into the learning model unit 204. The processing unit 205 associates the image data input to the learning model unit 204 with the safety score acquired from the learning model unit 204, generates image data with a safety score, and manages the image data with the safety score. It may be transmitted to the device 100A.

位置推定部２０６は、車体２１０の現在地（自己位置）を認識し、車体２１０の現在地に関する現在地情報を取得するよう構成されている。本実施形態では、位置推定部２０６は、レーザースキャナ２１２およびその演算部に相当する。位置推定部２０６は、取得した現在地情報を処理部２０５に出力する。 The position estimation unit 206 is configured to recognize the current location (self-position) of the vehicle body 210 and acquire the current location information regarding the current location of the vehicle body 210. In the present embodiment, the position estimation unit 206 corresponds to the laser scanner 212 and its calculation unit. The position estimation unit 206 outputs the acquired current location information to the processing unit 205.

情報取得部２０７は、作業車３００Ａの現在地（他車位置）に関する位置情報を取得するよう構成されている。情報取得部２０７は、位置情報を作業車３００Ａから直接または管理装置１００Ａを介して間接的に取得し、処理部２０５に出力する。 The information acquisition unit 207 is configured to acquire position information regarding the current location (position of another vehicle) of the work vehicle 300A. The information acquisition unit 207 acquires the position information directly from the work vehicle 300A or indirectly via the management device 100A, and outputs the position information to the processing unit 205.

処理部２０５は、自己位置と他車位置との距離に応じて、学習モデル部２０４から取得した安全性スコアの安全性の程度（本実施形態では、１～５の数値パラメータ）を変更して音声制御部２０８に出力するよう構成されている。 The processing unit 205 changes the degree of safety of the safety score acquired from the learning model unit 204 (numerical parameters of 1 to 5 in this embodiment) according to the distance between the self position and the position of another vehicle. It is configured to output to the voice control unit 208.

本実施形態では、処理部２０５は、学習モデル部２０４から取得した安全性スコアが示す安全性の程度（数値パラメータ）が所定の第１閾値以上で、かつ自己位置と他車位置との距離が所定の第２閾値以下の場合に、安全性スコアの安全性の程度を変更して音声制御部２０８に出力する。 In the present embodiment, in the processing unit 205, the degree of safety (numerical parameter) indicated by the safety score acquired from the learning model unit 204 is equal to or higher than a predetermined first threshold value, and the distance between the self position and the position of another vehicle is When it is equal to or less than a predetermined second threshold value, the degree of safety of the safety score is changed and output to the voice control unit 208.

第１閾値は、例えば、撮影手段が撮影した画像に作業車３００Ａが映っていないときの安全性スコアのうち、最も小さい数値パラメータに設定される。本実施形態では、第１閾値は、数値パラメータ３に設定される。第２閾値は、例えば、図４に示すように、Ｌ１［ｍ］に設定される。すなわち、処理部２０５は、安全性スコアの数値パラメータが３以上で、かつ自己位置と他車位置との距離がＬ１［ｍ］以下の場合に、安全性スコアの数値パラメータを減少させて（例えば、１だけ小さくして）音声制御部２０８に出力する。 The first threshold value is set to, for example, the smallest numerical parameter among the safety scores when the work vehicle 300A is not shown in the image taken by the photographing means. In the present embodiment, the first threshold value is set to the numerical parameter 3. The second threshold is set to L1 [m], for example, as shown in FIG. That is, when the numerical parameter of the safety score is 3 or more and the distance between the self position and the position of another vehicle is L1 [m] or less, the processing unit 205 reduces the numerical parameter of the safety score (for example). Output to the voice control unit 208 (decreased by 1).

図４の場合、ラック３の存在により撮影手段が撮影した画像に作業車３００Ａが映らないため、安全性スコアの数値パラメータが３以上となり、自己位置と他車位置との距離Ｌ２［ｍ］はＬ１［ｍ］以下であるため、安全性スコアの数値パラメータを減少させるための条件を満たす。 In the case of FIG. 4, since the work vehicle 300A does not appear in the image taken by the photographing means due to the presence of the rack 3, the numerical parameter of the safety score is 3 or more, and the distance L2 [m] between the self position and the position of the other vehicle is Since it is L1 [m] or less, the condition for reducing the numerical parameter of the safety score is satisfied.

処理部２０５および音声制御部２０８は、例えば、少なくとも１つのマイコンで構成され、マイコンのＣＰＵが所定のプログラムを実行すること等によって処理部２０５および音声制御部２０８の各種機能が実現される。 The processing unit 205 and the voice control unit 208 are configured by, for example, at least one microcomputer, and various functions of the processing unit 205 and the voice control unit 208 are realized by the CPU of the microcomputer executing a predetermined program or the like.

音声制御部２０８は、処理部２０５から取得した安全性スコアに応じて、メロディーおよび警報音の出力状態を調整するよう構成されている。音声制御部２０８は、表１に示すような、安全性スコアとメロディーおよび警報音の出力状態との関係が規定されたデータを記憶している。 The voice control unit 208 is configured to adjust the output state of the melody and the alarm sound according to the safety score acquired from the processing unit 205. The voice control unit 208 stores data in which the relationship between the safety score and the output state of the melody and the alarm sound is defined as shown in Table 1.

安全性スコアの数値パラメータが５～２の範囲では、音声制御部２０８は、安全性スコアの数値パラメータが小さくなる（安全性が低くなる）につれて、メロディーの音量が大きくなるように、メロディーの出力状態を調整する。 When the numerical parameter of the safety score is in the range of 5 to 2, the voice control unit 208 outputs the melody so that the volume of the melody becomes louder as the numerical parameter of the safety score becomes smaller (the safety becomes lower). Adjust the condition.

安全性スコアの数値パラメータが１の場合、音声制御部２０８は、音声出力部２０１にメロディーの出力を停止させる一方、警報音出力部２０２に警報音を出力させる。なお、音声制御部２０８は、メロディーの出力を停止させるかわりに、メロディーの音量を音量４よりも減少させた状態で警報音出力部２０２に警報音を出力させてもよい。 When the numerical parameter of the safety score is 1, the voice control unit 208 causes the voice output unit 201 to stop the output of the melody, while the alarm sound output unit 202 outputs the alarm sound. Instead of stopping the output of the melody, the voice control unit 208 may output the alarm sound to the alarm sound output unit 202 in a state where the volume of the melody is lower than the volume 4.

音声制御部２０８は、安全性スコアの数値パラメータが大きくなる（安全性が高くなる）方向にメロディーを変化させる場合、頻繁にメロディーの出力状態が変化するのを防ぐために、前回の出力状態の調整から所定時間（例えば、数秒間）経過した後に変化させてもよい。 When the melody is changed in the direction in which the numerical parameter of the safety score becomes larger (safer becomes higher), the voice control unit 208 adjusts the previous output state in order to prevent the melody output state from changing frequently. It may be changed after a predetermined time (for example, several seconds) has elapsed from.

上記のとおり、本実施形態に係る無人フォークリフト２００Ａでは、処理部２０５は、自己位置と他車位置との距離（図４では、Ｌ２）に応じて、学習モデル部２０４から取得した安全性スコアの数値パラメータを変更して音声制御部２０８に出力し、音声制御部２０８は、処理部２０５から取得した安全性スコアに基づいて、メロディーの出力状態を調整する。これにより、例えば、撮影手段の死角領域にいる作業者（図４では、作業者Ｘ）の近くを作業車３００Ａが走行している場合、作業者に対して適切に注意を促すことが可能となる。 As described above, in the unmanned forklift 200A according to the present embodiment, the processing unit 205 has a safety score obtained from the learning model unit 204 according to the distance between the self position and the position of another vehicle (L2 in FIG. 4). The numerical parameters are changed and output to the voice control unit 208, and the voice control unit 208 adjusts the output state of the melody based on the safety score acquired from the processing unit 205. As a result, for example, when the work vehicle 300A is traveling near a worker (worker X in FIG. 4) in the blind spot area of the photographing means, it is possible to appropriately alert the worker. Become.

［第２実施形態］
図５に、本発明の第２実施形態に係る荷役システム１Ｂのブロック図を示す。荷役システム１Ｂは、管理装置１００Ｂと、レーザー誘導方式の無人フォークリフト２００Ｂ（本発明の「フォークリフト」に相当）と、少なくとも１台の作業車３００Ｂとを備える。 [Second Embodiment]
FIG. 5 shows a block diagram of the cargo handling system 1B according to the second embodiment of the present invention. The cargo handling system 1B includes a management device 100B, a laser-guided unmanned forklift 200B (corresponding to the "forklift" of the present invention), and at least one work vehicle 300B.

無人フォークリフト２００Ｂは、情報取得部２０７を備えていないことを除いて第１実施形態の無人フォークリフト２００Ａと共通する。 The unmanned forklift 200B is common to the unmanned forklift 200A of the first embodiment except that the information acquisition unit 207 is not provided.

作業車３００Ｂは、任意のフォークリフトまたは無人搬送車であってもよいが、本実施形態では、作業車３００Ｂの少なくとも１台は、無人フォークリフト２００Ｂと同様の構成を備えるフォークリフトとする。 The work vehicle 300B may be an arbitrary forklift or an automatic guided vehicle, but in the present embodiment, at least one of the work vehicles 300B is a forklift having the same configuration as the unmanned forklift 200B.

管理装置１００Ｂは、情報取得部１０３、演算部１０４、収集部１０５、およびパラメータ更新部１０６を備えることを除いて第１実施形態の管理装置１００Ａと共通する。 The management device 100B is common to the management device 100A of the first embodiment except that it includes an information acquisition unit 103, a calculation unit 104, a collection unit 105, and a parameter update unit 106.

情報取得部１０３は、通信部１０１を介して、無人フォークリフト２００Ｂの現在地（自己位置）に関するに関する現在地情報と、作業車３００Ｂの現在地（他車位置）に関する位置情報を取得するよう構成されている。 The information acquisition unit 103 is configured to acquire the current location information regarding the current location (self-position) of the unmanned forklift 200B and the position information regarding the current location (other vehicle position) of the work vehicle 300B via the communication unit 101.

演算部１０４は、情報取得部１０３が取得した現在地情報および位置情報に基づいて、自己位置と他車位置との距離（例えば、図４のＬ２）を算出するよう構成されている。図５では、演算部１０４と統括制御部１０２とを別々に示しているが、統括制御部１０２が演算部１０４の機能を備えていてもよい。 The calculation unit 104 is configured to calculate the distance between the self-position and the position of another vehicle (for example, L2 in FIG. 4) based on the current location information and the position information acquired by the information acquisition unit 103. Although the arithmetic unit 104 and the integrated control unit 102 are shown separately in FIG. 5, the integrated control unit 102 may have the function of the arithmetic unit 104.

演算部１０４は、算出した距離を、通信部１０１を介して無人フォークリフト２００Ｂの処理部２０５に送信する。処理部２０５は、管理装置１００Ｂから取得した自己位置と他車位置との距離に応じて、第１実施形態と同様に、学習モデル部２０４から取得した安全性スコアの安全性の程度（本実施形態では、１～５の数値パラメータ）を変更して音声制御部２０８に出力する。 The calculation unit 104 transmits the calculated distance to the processing unit 205 of the unmanned forklift 200B via the communication unit 101. The processing unit 205 has a degree of safety of the safety score acquired from the learning model unit 204 according to the distance between the self-position acquired from the management device 100B and the position of another vehicle (this implementation). In the embodiment, the numerical parameters (1 to 5) are changed and output to the voice control unit 208.

収集部１０５は、無人フォークリフト２００Ｂおよび作業車３００Ｂから安全性スコア付きの画像データを収集し、当該安全性スコア付きの画像データに基づいてパラメータ更新部１０６に入力可能な学習用データを生成するよう構成されている。 The collecting unit 105 collects image data with a safety score from the unmanned forklift 200B and the work vehicle 300B, and generates learning data that can be input to the parameter updating unit 106 based on the image data with the safety score. It is configured.

また、収集部１０５は、無人フォークリフト２００Ｂおよび作業車３００Ｂから画像データ（画像データ生成部２０３で生成された安全性スコアが付いていない画像データ）を収集し、当該画像データに安全性スコアを紐付けした学習用データを生成してもよい。この場合、学習用データは、第１実施形態の教師データと同様にして生成することができる。すなわち、収集部１０５は、安全性スコアとして数値パラメータ（本実施形態では、１～５の数値パラメータ）を用いるとともに、個々の画像データに対して安全性スコアを設定する。画像データが示す走行ルートの状況と安全性の程度との間には、相関関係等の一定の関係が存在することを推認できる。 Further, the collecting unit 105 collects image data (image data without a safety score generated by the image data generation unit 203) from the unmanned forklift 200B and the work vehicle 300B, and associates the safety score with the image data. The attached training data may be generated. In this case, the learning data can be generated in the same manner as the teacher data of the first embodiment. That is, the collecting unit 105 uses numerical parameters (numerical parameters 1 to 5 in this embodiment) as the safety score, and sets the safety score for each image data. It can be inferred that there is a certain relationship such as a correlation between the condition of the traveling route shown by the image data and the degree of safety.

パラメータ更新部１０６は、無人フォークリフト２００Ｂおよび作業車３００Ｂの学習モデル部２０４に含まれる機械学習アルゴリズムのパラメータ（例えば、ニューラルネットワークの重み付けのパラメータ）を更新するための更新データを生成する。パラメータ更新部１０６は、更新データを生成するために、ニューラルネットワーク等の機械学習アルゴリズムを用いて、学習用データに基づく機械学習を行う。パラメータ更新部１０６は、生成した更新データを、通信部１０１を介して無人フォークリフト２００Ｂおよび作業車３００Ｂに送信する。 The parameter update unit 106 generates update data for updating the parameters of the machine learning algorithm (for example, the weighting parameters of the neural network) included in the learning model unit 204 of the unmanned forklift 200B and the work vehicle 300B. The parameter update unit 106 performs machine learning based on the learning data by using a machine learning algorithm such as a neural network in order to generate the update data. The parameter update unit 106 transmits the generated update data to the unmanned forklift 200B and the work vehicle 300B via the communication unit 101.

無人フォークリフト２００Ｂおよび作業車３００Ｂの学習モデル部２０４は、受信した更新データに基づいて機械学習アルゴリズムのパラメータを更新する。これにより、学習モデル部２０４は、更新されたパラメータを有する機械学習アルゴリズムに基づいて、安全性スコアを生成することができる。 The learning model unit 204 of the unmanned forklift 200B and the work vehicle 300B updates the parameters of the machine learning algorithm based on the received update data. This allows the learning model unit 204 to generate a safety score based on a machine learning algorithm with updated parameters.

［変形例］
以上、本発明に係るフォークリフトおよび荷役システムの実施形態について説明したが、本発明は上記実施形態に限定されるものではない。 [Modification example]
Although the embodiment of the forklift and the cargo handling system according to the present invention has been described above, the present invention is not limited to the above embodiment.

本発明のフォークリフトは、車体と、車体の前方を含む画像を撮影して画像データを生成する画像データ生成部と、画像データが入力されると、所定のパラメータを有する機械学習アルゴリズムを用いて、車体の走行ルートの安全性の程度を示す安全性スコアを生成するように機械学習された学習モデル部と、画像データを学習モデル部に入力することで学習モデル部から安全性スコアを取得する処理部と、走行中に所定のメロディーを出力する音声出力部と、メロディーの出力状態を調整する音声制御部と、自己位置の推定を行う位置推定部と、作業場で走行中の作業車の位置に関する他車位置を取得する情報取得部と、を備え、処理部は、自己位置と他車位置との距離に応じて、学習モデル部から取得した安全性スコアの安全性の程度を変更して音声制御部に出力し、音声制御部は、処理部から取得した安全性スコアに基づいて、メロディーの出力状態を調整するのであれば適宜構成を変更できる。 The forklift of the present invention uses a vehicle body, an image data generation unit that captures an image including the front of the vehicle body to generate image data, and a machine learning algorithm having predetermined parameters when the image data is input. A learning model unit that has been machine-learned to generate a safety score that indicates the degree of safety of the vehicle's travel route, and a process that acquires a safety score from the learning model unit by inputting image data into the learning model unit. A unit, a voice output unit that outputs a predetermined melody while driving, a voice control unit that adjusts the output state of the melody, a position estimation unit that estimates its own position, and a position of a work vehicle that is traveling in the workplace. It is equipped with an information acquisition unit that acquires the position of another vehicle, and the processing unit changes the degree of safety of the safety score acquired from the learning model unit according to the distance between the self position and the position of the other vehicle and makes a voice voice. It is output to the control unit, and the voice control unit can appropriately change the configuration if the output state of the melody is adjusted based on the safety score acquired from the processing unit.

本発明のフォークリフトは、レーザー誘導方式の無人フォークリフトに限定されるものではなく、別の方式の無人フォークリフトでもよいし、有人運転と無人運転とを切り替え可能な有人無人フォークリフトでもよい。 The forklift of the present invention is not limited to the laser-guided unmanned forklift, and may be an unmanned forklift of another type or a manned unmanned forklift capable of switching between manned operation and unmanned operation.

本発明のフォークリフトは、自律走行機構を備えることが好ましい。自律走行機構は、例えば、レーザー誘導機構またはＳＬＡＭ誘導機構を含む。レーザー誘導機構は、上記実施形態で示したように、レーザースキャナと壁等に設けられた反射体とを用いて特定した自己位置および姿勢（姿勢角）に基づいて自律走行するための機構である。ＳＬＡＭ誘導機構は、自己位置の推定および環境地図の作成を行うＳＬＡＭにより特定した自己位置および姿勢に基づいて自律走行するための機構である。 The forklift of the present invention preferably includes an autonomous traveling mechanism. Autonomous traveling mechanisms include, for example, a laser guidance mechanism or a SLAM guidance mechanism. As shown in the above embodiment, the laser guidance mechanism is a mechanism for autonomously traveling based on a self-position and a posture (posture angle) specified by using a laser scanner and a reflector provided on a wall or the like. .. The SLAM guidance mechanism is a mechanism for autonomously traveling based on the self-position and posture specified by SLAM, which estimates the self-position and creates an environmental map.

第１実施形態では、安全性スコアの数値パラメータを１～５の範囲で設定しているが、当該範囲は適宜変更できる。また、音声制御部２０８は、安全性スコアの数値パラメータが小さくなるにつれてメロディーの音量が大きくなるようにメロディーの出力状態を調整しているが、音量に加えて、または音量の代わりに、メロディーの再生速度等を変更してもよい。 In the first embodiment, the numerical parameter of the safety score is set in the range of 1 to 5, but the range can be changed as appropriate. Further, the voice control unit 208 adjusts the output state of the melody so that the volume of the melody becomes louder as the numerical parameter of the safety score becomes smaller. The playback speed and the like may be changed.

第２実施形態に係る収集部１０５およびパラメータ更新部１０６は、管理装置１００Ｂではなく、無人フォークリフト２００Ｂに備えられていてもよい。しかしながら、大量のデータを取得できるという観点からは、管理装置１００Ｂが収集部１０５およびパラメータ更新部１０６を備えることが好ましい。 The collecting unit 105 and the parameter updating unit 106 according to the second embodiment may be provided in the unmanned forklift 200B instead of the management device 100B. However, from the viewpoint of being able to acquire a large amount of data, it is preferable that the management device 100B includes a collecting unit 105 and a parameter updating unit 106.

１Ａ、１Ｂ荷役システム
２作業場
３ラック
４反射板
１００Ａ、１００Ｂ管理装置
１０１通信部
１０２統括制御部
１０３情報取得部
１０４演算部
１０５収集部
１０６パラメータ更新部
２００Ａ、２００Ｂ無人フォークリフト
２０１音声出力部
２０２警報音出力部
２０３画像データ生成部
２０４学習モデル部
２０５処理部
２０６位置推定部
２０７情報取得部
２０８音声制御部
２１０車体
２１１荷役装置
２１２レーザースキャナ
３００Ａ、３００Ｂ作業車 1A, 1B Cargo handling system 2 Workplace 3 Rack 4 Reflector 100A, 100B Management device 101 Communication unit 102 General control unit 103 Information acquisition unit 104 Calculation unit 105 Collection unit 106 Parameter update unit 200A, 200B Unmanned forklift 201 Voice output unit 202 Alarm sound Output unit 203 Image data generation unit 204 Learning model unit 205 Processing unit 206 Position estimation unit 207 Information acquisition unit 208 Voice control unit 210 Body 211 Cargo handling device 212 Laser scanner 300A, 300B Work vehicle

Claims

A forklift that performs cargo handling work in the workplace.
With the car body
An image data generation unit that captures an image including the front of the vehicle body and generates image data,
When the image data is input, a learning model unit machine-learned to generate a safety score indicating the degree of safety of the traveling route of the vehicle body by using a machine learning algorithm having predetermined parameters, and a learning model unit.
A processing unit that acquires the safety score from the learning model unit by inputting the image data into the learning model unit, and a processing unit.
An audio output unit that outputs a predetermined melody while driving,
A voice control unit that adjusts the output state of the melody,
The position estimation unit that estimates the self-position and the position estimation unit
An information acquisition unit that acquires the position of another vehicle related to the position of the work vehicle running in the workplace, and
Equipped with
The processing unit
The degree of safety of the safety score acquired from the learning model unit is changed according to the distance between the self-position and the position of the other vehicle, and output to the voice control unit.
The voice control unit
A forklift characterized by adjusting the output state of the melody based on the safety score obtained from the processing unit.

The processing unit
When the degree of safety indicated by the safety score obtained from the learning model unit is equal to or greater than a predetermined first threshold value and the distance is equal to or less than a predetermined second threshold value, the safety of the safety score is determined. The forklift according to claim 1, wherein the forklift is output to the voice control unit by changing the degree.

A cargo handling system including a management device, a forklift that performs cargo handling work in the workplace under the control of the management device, and a work vehicle that travels in the workplace under the control of the management device.
The forklift is
With the car body
An image data generation unit that captures an image including the front of the vehicle body and generates image data,
When the image data is input, a learning model unit machine-learned to generate a safety score indicating the degree of safety of the traveling route of the vehicle body by using a machine learning algorithm having predetermined parameters, and a learning model unit.
A processing unit that acquires the safety score from the learning model unit by inputting the image data into the learning model unit, and a processing unit.
An audio output unit that outputs a predetermined melody while driving,
A voice control unit that adjusts the output state of the melody,
The position estimation unit that estimates the self-position and the position estimation unit
Equipped with
The management device is
An information acquisition unit that acquires the self-position of the forklift and the position of another vehicle related to the position of the work vehicle.
An arithmetic unit that calculates the distance between the self-position and the other vehicle position,
Equipped with
The processing unit
According to the distance acquired from the calculation unit, the degree of safety of the safety score acquired from the learning model unit is changed and output to the voice control unit.
The voice control unit
A cargo handling system characterized in that the output state of the melody is adjusted based on the safety score obtained from the processing unit.

The processing unit
The safety when the degree of safety indicated by the safety score acquired from the learning model unit is equal to or greater than a predetermined first threshold value and the distance acquired from the calculation unit is equal to or less than a predetermined second threshold value. The cargo handling system according to claim 3, wherein the degree of safety of the score is changed and output to the voice control unit.

The processing unit transmits image data with a safety score in which the image data input to the learning model unit is associated with the safety score acquired from the learning model unit to the management device.
The management device is
A collection unit that collects image data with a safety score and generates learning data,
A parameter update unit that performs machine learning based on the learning data, generates update data for updating the parameters included in the learning model unit, and transmits the update data to the learning model unit.
Equipped with
The cargo handling system according to claim 3 or 4, wherein the learning model unit updates the parameters based on the update data.