JP7501414B2 - 監視装置 - Google Patents

Description

本開示は、監視装置に関する。

特許文献１には、自動運転産業車両が開示されている。自動運転産業車両を運用する際には、自動運転産業車両と手動運転産業車両とが混在する状況での作業を禁止する場合がある。例えば、自動運転産業車両を運用する区域を予め設定しておき、当該区域への手動運転産業車両の進入を禁止する場合がある。

特開２０２０－１９０６号公報

自動運転産業車両と手動運転産業車両とを同一の区域で運用したい場合がある。この場合、自動運転産業車両と手動運転産業車両とが接触すると、作業効率の低下を招くおそれがある。

上記課題を解決する監視装置は、自動運転産業車両の周囲を監視する監視装置であって、カメラから画像データを取得する取得部と、前記画像データが入力されることにより前記画像データに含まれる物体が手動運転産業車両か否かを示す指標を出力する学習済みモデルを記憶した記憶装置と、前記学習済みモデルの出力結果から前記自動運転産業車両の周囲に存在する前記手動運転産業車両を認識する認識部と、前記認識部により認識された前記手動運転産業車両に基づき、前記自動運転産業車両の速度制限、及び警報の少なくともいずれかを行う制御部と、を備える。

自動運転産業車両の周囲に手動運転産業車両が存在すると、自動運転産業車両の速度制限、及び警報の少なくともいずれかが行われる。自動運転産業車両の速度制限が行われると、自動運転産業車両の速度が制限されることで、自動運転産業車両と手動運転産業車両との接触が抑制される。警報が行われると、手動運転産業車両の搭乗者に、自動運転産業車両が存在していることを認識させることができる。これにより、自動運転産業車両と手動運転産業車両との接触が抑制される。

上記監視装置について、前記制御部は、少なくとも前記自動運転産業車両の速度制限を行い、前記制御部は、前記手動運転産業車両の数が多いほど、前記自動運転産業車両の速度上限値を低く設定してもよい。

上記監視装置について、前記学習済みモデルは、前記画像データに含まれる前記物体が人か否かを示す指標を出力し、前記認識部は、前記学習済みモデルの出力結果から前記自動運転産業車両の周囲に存在する前記手動運転産業車両及び前記人を認識し、前記制御部は、前記認識部により認識された前記手動運転産業車両、及び前記認識部により認識された前記人に基づき、前記自動運転産業車両の速度制限、及び警報の少なくともいずれかを行ってもよい。

本発明によれば、自動運転産業車両と手動運転産業車両との接触を抑制することができる。

第１実施形態の自動運転フォークリフトが運用される区域を示す模式図。 第１実施形態の自動運転フォークリフトを示す側面図。 第１実施形態の自動運転フォークリフトの構成を示す図。 周囲監視処理を示すフローチャート。 画像データの一例を示す図。 学習済みモデルの概要を示す図。 第２実施形態の監視装置を示す図。

（第１実施形態）
以下、監視装置の第１実施形態について説明する。
図１に示すように、区域Ａ１には、自動運転フォークリフト１０と、手動運転フォークリフトＦと、人Ｍと、が存在している。区域Ａ１は、例えば、工場、港湾、空港、商業施設及び公共施設などの場所の全体、あるいは、一部である。自動運転フォークリフト１０は、自動での走行、及び自動での荷役を行うことが可能なフォークリフトである。手動運転フォークリフトＦは、搭乗者の操作による走行、及び搭乗者の操作による荷役を行うことが可能なフォークリフトである。人Ｍは、例えば、区域Ａ１で作業を行う作業者である。区域Ａ１は、自動運転フォークリフト１０、手動運転フォークリフトＦ、及び人Ｍが混在した状況で作業が行われる場所である。本実施形態において、自動運転フォークリフト１０、手動運転フォークリフトＦ、及び人Ｍは、それぞれ複数存在している。自動運転フォークリフト１０は、自動運転産業車両である。手動運転フォークリフトＦは、手動運転産業車両である。

図２に示すように、自動運転フォークリフト１０は、車体１１と、駆動輪１２と、操舵輪１３と、荷役装置１４と、を備える。荷役装置１４は、車体１１の前部に設けられている。荷役装置１４は、マスト１５と、リフトブラケット１８と、フォーク１９と、リフトシリンダ２０と、ティルトシリンダ２１と、を備える。

マスト１５は、アウタマスト１６と、インナマスト１７と、を備える。アウタマスト１６は、車体１１に対して前後に傾動可能に支持されている。インナマスト１７は、アウタマスト１６に対して昇降可能に設けられている。リフトブラケット１８は、インナマスト１７に固定されている。フォーク１９は、リフトブラケット１８に固定されている。リフトブラケット１８及びフォーク１９は、インナマスト１７とともに昇降する。リフトシリンダ２０は、インナマスト１７を昇降動作させる。ティルトシリンダ２１は、マスト１５を傾動動作させる。リフトシリンダ２０及びティルトシリンダ２１は、油圧シリンダである。

図３に示すように、自動運転フォークリフト１０は、駆動機構３１と、油圧機構４１と、カメラ５１と、外界センサ５２と、荷役用カメラ５３と、警報装置５４と、監視装置６０と、を備える。監視装置６０は、制御装置６１と、補助記憶装置７１と、を備える。

駆動機構３１は、自動運転フォークリフト１０を走行させるための部材である。駆動機構３１は、走行モータ３２と、走行モータドライバ３３と、回転数センサ３４と、を備える。走行モータ３２は、駆動輪１２を駆動させるためのモータである。走行モータドライバ３３は、走行モータ３２を制御する。回転数センサ３４は、走行モータ３２の回転数を検出する。走行モータドライバ３３は、回転数センサ３４により走行モータ３２の回転数を把握しながら、目標回転数に走行モータ３２の回転数が追従するように走行モータ３２を制御する。駆動機構３１は、操舵輪１３を操舵させるための操舵機構を含む。

油圧機構４１は、自動運転フォークリフト１０に荷役を行わせるための部材である。油圧機構４１は、ポンプを駆動させるための荷役モータ４２と、コントロールバルブ４３と、を備える。コントロールバルブ４３は、リフトシリンダ２０及びティルトシリンダ２１への作動油の給排を制御する。リフトシリンダ２０への作動油の給排によってインナマスト１７は昇降する。ティルトシリンダ２１への作動油の給排によってマスト１５は車体１１の前後方向に対して傾動する。

カメラ５１は、デジタルカメラである。カメラ５１は、撮像素子を備える。撮像素子としては、例えば、ＣＣＤイメージセンサ(Charge Coupled Device image sensor)、及びＣＭＯＳイメージセンサ(Complementary Metal Oxide Semiconductor image sensor)を挙げることができる。カメラ５１としては、例えば、RGBカメラ、赤外線カメラ、グレースケールカメラ、及び可視光カメラを挙げることができる。

カメラ５１は、所定のフレームレートで撮像を行って画像データを生成する。この画像データは、カメラ５１で撮像した画像のデジタルデータである。カメラ５１は、自動運転フォークリフト１０の周囲を撮像するように配置されている。カメラ５１は、自動運転フォークリフト１０に積載された荷が画像データに写り込まないように配置することが好ましい。カメラ５１は、例えば、車体１１の上部に設けられている。カメラ５１は、単数であってもよいし、複数であってもよい。

外界センサ５２は、自動運転フォークリフト１０の周囲に存在する物体の３次元座標を制御装置６１に認識させることができるセンサである。外界センサ５２としては、例えば、ミリ波レーダー、ステレオカメラ、ToF（Time of Flight）カメラ、及びLIDAR（Laser Imaging Detection and Ranging）を挙げることができる。

荷役用カメラ５３は、例えば、カメラ５１と同一構成である。荷役用カメラ５３は、自動運転フォークリフト１０の前方を撮像するように配置される。荷役用カメラ５３は、フォーク１９とともに上下動するように設けられている。

警報装置５４は、手動運転フォークリフトＦの搭乗者、及び自動運転フォークリフト１０の周囲の人Ｍに警報を行うための装置である。警報装置５４は、音による警報を行う装置であってもよいし、光による警報を行う装置であってもよい。音による警報を行う装置としては、例えば、ブザー及び拡声器を挙げることができる。光による警報を行う装置としては、例えば、ランプを挙げることができる。

制御装置６１は、プロセッサ６２と、記憶部６３と、を備える。プロセッサ６２としては、例えば、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、及びDSP（Digital Signal Processor）を挙げることができる。記憶部６３は、RAM（Random Access Memory）及びROM（Read Only Memory）を含む。記憶部６３は、処理をプロセッサ６２に実行させるように構成されたプログラムコードまたは指令を格納している。記憶部６３、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。制御装置６１は、ASIC（Application Specific Integrated Circuit）やFPGA（Field Programmable Gate Array）等のハードウェア回路によって構成されていてもよい。処理回路である制御装置６１は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。

制御装置６１は、取得部６４と、認識部６５と、制御部６６と、を備える。取得部６４、認識部６５及び制御部６６は、制御装置６１がプログラムを実行することで機能する機能要素である。

補助記憶装置７１は、制御装置６１が読み取り可能な情報を記憶している。補助記憶装置７１としては、例えば、ハードディスクドライブ、及びソリッドステートドライブを挙げることができる。

補助記憶装置７１は、区域Ａ１の環境を示す環境地図Ｍ１を記憶している。環境地図Ｍ１とは、区域Ａ１に存在する物体の形状、区域Ａ１の広さ等、区域Ａ１の物理的構造に関する情報である。本実施形態において環境地図Ｍ１は、区域Ａ１の構造を地図座標系の座標で表したデータである。地図座標系は、例えば、２軸直交座標系である。地図座標系は、区域Ａ１の任意の一点を原点とする座標系である。地図座標系は、区域Ａ１の絶対位置を表す座標系である。

補助記憶装置７１は、学習済みモデルＭ２を記憶している記憶装置である。学習済みモデルＭ２は、画像データが入力されることにより、画像データに含まれる物体が手動運転フォークリフトＦか否かを示す指標を出力する対応関係を規定している。本実施形態の学習済みモデルＭ２は、画像データが入力されることにより、画像データに含まれる物体が人Ｍか否かを示す指標を出力する。また、本実施形態の学習済みモデルＭ２は、画像データが入力されることにより、画像データに含まれる物体が自動運転フォークリフト１０か否かを示す指標を出力する。

制御装置６１は、外界センサ５２の検出結果から自己位置を推定する。自己位置とは、自動運転フォークリフト１０の地図座標系での座標である。例えば、制御装置６１は、外界センサ５２の検出結果からランドマークを検出し、ランドマークと環境地図Ｍ１とのマッチングにより自己位置を推定する。自己位置の推定は、外界センサ５２を用いた自己位置の推定に、内界センサを用いたデッドレコニングを組み合わせて行われてもよい。自己位置の推定は、外界センサ５２を用いた自己位置の推定に、GNSS（Global Navigation Satellite System）衛星から送信される衛星信号を用いた自己位置推定を組み合わせて行われてもよい。制御装置６１は、自己位置を推定しながら駆動機構３１を制御することで、自動運転フォークリフト１０を目標位置まで走行させる。目標位置は、例えば、フォーク１９に積載された荷を置く場所である荷置き位置、及びフォーク１９に積載する荷が置かれた場所である荷取り位置を挙げることができる。

制御装置６１は、荷役用カメラ５３の検出結果から荷とフォーク１９との相対距離を把握する。制御装置６１は、荷とフォーク１９との相対距離を把握しながら、フォーク１９に荷を積載する荷取りを行う。また、制御装置６１は、荷役用カメラ５３の検出結果から荷置き位置を把握し、フォーク１９に積載された荷を荷置き位置に置く。

上記したように、自動運転フォークリフト１０は、自動で走行するための外界センサ５２、及び自動で荷役を行うための荷役用カメラ５３を備える。一例として、外界センサ５２及び荷役用カメラ５３を挙げたが、自動運転フォークリフト１０は、フォーク１９の位置決めを行うためのレーザー距離計、障害物を検出するための超音波センサ等、自動運転のための種々のセンサを備えている場合がある。これらのセンサ、及びセンサを取り付けるためのブラケットによって自動運転フォークリフト１０と、手動運転フォークリフトＦには外観の差が生じる。

制御装置６１が行う周囲監視処理について説明する。周囲監視処理は、自動運転フォークリフト１０が起動している間、周期的に行われるルーチンである。
図４に示すように、ステップＳ１において、制御装置６１は、カメラ５１から画像データを取得する。制御装置６１は、ステップＳ１の処理を行うことで、取得部６４を備えているといえる。本実施形態では、一例として、制御装置６１は、図５に示す画像データＩＭを取得したとする。図５に示す画像データＩＭには、自動運転フォークリフト１０、手動運転フォークリフトＦ、及び人Ｍが含まれている。

図４に示すように、次に、ステップＳ２において、制御装置６１は、物体検出を行う。物体検出とは、画像データＩＭから、物体が含まれる領域と、領域に存在する物体のクラスと、を特定することである。物体が含まれる領域とは、画像データＩＭ中の物体の位置を表している。

制御装置６１は、学習済みモデルＭ２を用いて物体検出を行う。学習済みモデルＭ２は、入力された画像データＩＭから物体が含まれる領域を特定し、当該領域に存在する物体が予め定められたクラスに該当するか否かの指標を出力する。クラスとしては、「自動運転フォークリフト」、「手動運転フォークリフト」及び「人」が設定されている。

本実施形態では、物体が各クラスに該当するか否かを示す指標として、蓋然性を用いている。蓋然性とは、物体がクラスに該当する信頼度ともいえる。蓋然性としては、例えば、クラス確率、及びスコアを用いることができる。クラス確率とは、物体がクラスに該当する確率である。クラス確率は、０以上１以下の値である。スコアは、物体がクラスに該当する確率が高いほど大きくなる値である。本実施形態では、物体が各クラスに該当するか否かを示す指標として、クラス確率を用いている。「手動運転フォークリフト」のクラス確率は、画像データＩＭに含まれる物体が手動運転フォークリフトＦか否かを示す指標である。「人」のクラス確率は、画像データＩＭに含まれる物体が人Ｍか否かを示す指標である。「自動運転フォークリフト」のクラス確率は、画像データＩＭに含まれる物体が自動運転フォークリフト１０か否かを示す指標である。

学習済みモデルＭ２は、DNN（Deep Neural Network）を用いた機械学習によって生成されている。本実施形態では、領域単位で物体のクラスを判定することができるアルゴリズムを用いている。機械学習のアルゴリズムとしては、例えば、SSD(Single Shot Multibox Detector)、R-CNN(Regional Convolutional Neural Network)、fast R-CNN、faster R-CNN、及びYOLO(You Only Look Once)を挙げることができる。これらのアルゴリズムは、CNN（Convolution Neural Network）をベースとしたアルゴリズムである。本実施形態においては、SSDにより生成された学習済みモデルＭ２を用いている。学習済みモデルＭ２は、教師データを用いた教師有り学習、あるいは、半教師有り学習によって生成される。教師データとしては、クラスに該当する物体が含まれる画像データＩＭと、画像データＩＭ中の物体の位置と、ラベルと、を含むデータが用いられる。教師データは、画像データＩＭ中の物体を枠で囲み、画像データＩＭに物体に対応するクラスのラベルを付すことで生成することができる。教師データとしては、「自動運転フォークリフト」が写る画像データＩＭに自動運転フォークリフト１０を囲む枠及びラベルを付したデータ、「手動運転フォークリフト」が写る画像データＩＭに手動運転フォークリフトＦを囲む枠及びラベルを付したデータ、「人」が写る画像データＩＭに人Ｍを囲む枠及びラベルを付したデータを用いればよい。

学習済みモデルＭ２の概要について説明する。
図６に示すように、学習済みモデルＭ２は、特徴マップ生成部８１と、物体領域候補抽出部８２と、検出枠抽出部８３と、を備える。

特徴マップ生成部８１は、画像データＩＭから特徴マップを生成する。SSDでは、６つの特徴マップが生成される。詳細にいえば、特徴マップ生成部８１は、ベースネットワークと、複数の畳み込み層と、を備える。ベースネットワークとしては、一般物体認識データセットで学習を行ったCNNを用いることができる。ベースネットワークとしては、例えば、VGG16、及びResNet(Residual Network)を挙げることができる。ベースネットワークの中間層から１つの特徴マップを得ることができる。そして、ベースネットワーク、及び畳み込み層で上記した特徴マップを更に畳み込んでいく。これにより、特徴マップ生成部８１は、６つの特徴マップを生成する。特徴マップを畳み込んでいくことで、ピクセルのサイズが異なる複数の特徴マップを得ることができる。

物体領域候補抽出部８２は、特徴マップの各ピクセルに対してアスペクト比の異なる複数のデフォルトボックスを付与する。物体領域候補抽出部８２は、デフォルトボックス毎に、物体位置とのオフセットと、クラス確率と、を求める。物体領域候補抽出部８２は、デフォルトボックスのうち、クラス確率が予め定められたクラス判定用閾値以上のデフォルトボックスを抽出する。これにより抽出されるデフォルトボックスは、クラスに該当する物体が存在する領域の候補といえる。

検出枠抽出部８３は、NMS(Non-Maximum Suppression)により、互いに重なり合うデフォルトボックスの削除を行う。検出枠抽出部８３は、NMSを行った後に残ったデフォルトボックスを検出枠として抽出する。検出枠は、バウンディングボックスとも呼ばれる。検出枠は、物体が存在している領域である。詳細にいえば、検出枠は、クラスに該当する物体が存在している確率がクラス判定用閾値以上の領域である。検出枠抽出部８３は、検出枠の位置と、検出枠に対応するクラス確率とを出力する。検出枠の位置は、画像座標系での基準座標、画像座標系での縦寸法、及び画像座標系での横寸法で表すことができる。画像座標系とは、画像データＩＭ上での位置を表す２軸直交座標系である。適宜、画像座標系での座標を画像座標と称する。検出枠が矩形の場合、画像座標系での基準座標としては、矩形における４隅の画像座標のうちいずれかの画像座標、あるいは、矩形における中心の画像座標を用いることができる。

図５には、ステップＳ２の物体検出を行うことで得られた検出結果を示している。図５に示すように、ステップＳ２の物体検出を行うことで、検出枠Ｂ１，Ｂ２，Ｂ３を得ることができる。図５に示す例では、自動運転フォークリフト１０を囲む検出枠Ｂ１と、手動運転フォークリフトＦを囲む検出枠Ｂ２と、人Ｍを囲む検出枠Ｂ３と、が得られている。また、検出枠Ｂ１，Ｂ２，Ｂ３毎に、「自動運転フォークリフト」のクラス確率、「手動運転フォークリフト」のクラス確率、及び「人」のクラス確率が得られている。

図４に示すように、次に、ステップＳ３において、制御装置６１は、検出枠Ｂ１，Ｂ２，Ｂ３がいずれのクラスに該当するかを判定する。検出枠Ｂ１，Ｂ２，Ｂ３は、例えば、クラス確率が最も高いクラスに該当すると判定される。図５に示す例では、検出枠Ｂ１は「自動運転フォークリフト」、検出枠Ｂ２は「手動運転フォークリフト」、検出枠Ｂ３は「人」に該当すると、それぞれ判定される。これにより、制御装置６１は、学習済みモデルＭ２の出力結果から自動運転フォークリフト１０の周囲に存在する手動運転フォークリフトＦを認識することができる。制御装置６１は、学習済みモデルＭ２の出力結果から自動運転フォークリフト１０の周囲に存在する人Ｍを認識することができる。本実施形態において、画像データＩＭに存在している物体は、自動運転フォークリフト１０の周囲に存在しているとみなしている。ステップＳ３の処理を行うことで、制御装置６１は、認識部６５を備えているといえる。

次に、ステップＳ４において、制御装置６１は、自動運転フォークリフト１０に速度制限が必要か否かを判定する。本実施形態において、自動運転フォークリフト１０の速度制限とは、自動運転フォークリフト１０の走行速度に制限を課すことである。制御装置６１は、画像データＩＭに手動運転フォークリフトＦ及び人Ｍの少なくともいずれかが含まれている場合、速度制限が必要であると判定する。ステップＳ４の判定結果が肯定の場合、制御装置６１は、ステップＳ５の処理を行う。ステップＳ４の判定結果が否定の場合、制御装置６１は、ステップＳ９の処理を行う。

ステップＳ５において、制御装置６１は、速度上限値を設定する。制御装置６１は、以下の（１）式から速度上限値を決定し、決定した速度上限値を設定する。

Ａ，Ｂ，Ｃは、それぞれ、予め定められた定数である。定数Ａ，Ｂ，Ｃは、それぞれ、正の数である。（１）式から把握できるように、速度上限値は、手動運転フォークリフトＦの数が多いほど低い値になる。速度上限値は、人Ｍの数が多いほど低い値になる。定数Ｃは、定数Ｂよりも大きな値であってもよい。速度上限値は、０を含む。即ち、制御装置６１は、自動運転フォークリフト１０を停止させるように速度上限値を設定してもよい。

次に、ステップＳ６において、制御装置６１は、自動運転フォークリフト１０の走行速度が速度上限値以上か否かを判定する。自動運転フォークリフト１０の走行速度は、例えば、回転数センサ３４の検出結果やギヤ比などを用いて演算可能である。ステップＳ６の判定結果が否定の場合、制御装置６１は、周囲監視処理を終了する。ステップＳ６の判定結果が肯定の場合、制御装置６１は、ステップＳ７の処理を行う。

ステップＳ７において、制御装置６１は、自動運転フォークリフト１０の走行速度が速度上限値未満になるように減速を行う。例えば、制御装置６１は、自動運転フォークリフト１０の走行速度が速度上限値を上回らないように目標回転数を演算し、この目標回転数を駆動機構３１に出力する。走行モータドライバ３３が、目標回転数を上回らないように制御を行うことで、減速が行われる。

次に、ステップＳ８において、制御装置６１は、警報装置５４によって警報を行う。この警報は、自動運転フォークリフト１０が減速中であることを手動運転フォークリフトＦの搭乗者や人Ｍに通知するための警報である。ステップＳ８の処理を終えると、制御装置６１は、周囲監視処理を終了する。ステップＳ７及びステップＳ８の処理を行うことで、制御装置６１は、制御部６６を備えているといえる。制御装置６１は、自動運転フォークリフト１０の周囲に存在する手動運転フォークリフトＦ及び人Ｍに基づき、速度制限及び警報を行っている。

ステップＳ９において、制御装置６１は、速度制限を解除する。詳細にいえば、速度制限が行われていない状態であれば、制御装置６１は、速度制限が行われていない状態を維持する。過去の制御周期で速度上限値が設定されており、速度制限が行われている状態であれば、制御装置６１は、速度制限を解除する。ステップＳ９の処理を終えると、制御装置６１は、周囲監視処理を終了する。

第１実施形態の作用について説明する。
制御装置６１は、自動運転フォークリフト１０の周囲に手動運転フォークリフトＦが存在している場合、速度上限値を設定することで、自動運転フォークリフト１０の速度制限を行う。自動運転フォークリフト１０の走行速度が速度上限値以上の場合、制御装置６１は警報装置５４による警報を行う。更に、本実施形態では、自動運転フォークリフト１０の周囲に人Ｍが存在する場合であっても、同様の制御が行われる。

第１実施形態の効果について説明する。
（１－１）自動運転フォークリフト１０の走行速度が制限されることで、自動運転フォークリフト１０と手動運転フォークリフトＦとの接触が抑制される。警報装置５４による警報を行うことで、手動運転フォークリフトＦの搭乗者に、自動運転フォークリフト１０が存在していることを認識させることができる。これにより、自動運転フォークリフト１０と手動運転フォークリフトＦとの接触が抑制される。

（１－２）制御装置６１は、手動運転フォークリフトＦの数が多いほど、自動運転フォークリフト１０の速度上限値を低く設定する。手動運転フォークリフトＦの数が多いほど、自動運転フォークリフト１０と手動運転フォークリフトＦとが接触するおそれがある。手動運転フォークリフトＦの数が多いほど自動運転フォークリフト１０の速度上限値を低くすることで、手動運転フォークリフトＦの数が多い場合であっても、自動運転フォークリフト１０と手動運転フォークリフトＦとの接触を抑制できる。

（１－３）制御装置６１は、自動運転フォークリフト１０の周囲に人Ｍが存在している場合も速度制限を行う。これにより、自動運転フォークリフト１０により人Ｍの進行が阻害されることを抑制できる。

（第２実施形態）
以下、監視装置の第２実施形態について説明する。
図７に示すように、監視装置９０は、区域Ａ１に設けられている。この場合、カメラ９４は区域Ａ１を撮像するように配置される。カメラ９４は、１箇所に配置されていてもよいし、２箇所以上に配置されていてもよい。監視装置９０は、例えば、制御装置９１と、補助記憶装置９２と、通信装置９３と、を備える。制御装置９１は、制御装置６１と同一のものである。補助記憶装置９２は、補助記憶装置７１と同一のものであって学習済みモデルＭ２を記憶している。通信装置９３は、無線信号により自動運転フォークリフト１０に指令を送信可能である。通信装置９３から送信される指令は、直接、自動運転フォークリフト１０に受信されてもよい。通信装置９３から送信される指令は、監視装置９０よりも上位の上位制御装置に受信され、この上位制御装置から自動運転フォークリフト１０に指令が送信されるようにしてもよい。

制御装置９１は、画像データＩＭから、自動運転フォークリフト１０、手動運転フォークリフトＦ、及び人Ｍを抽出する。即ち、制御装置９１は、第１実施形態と同様に、検出枠Ｂ１，Ｂ２，Ｂ３の抽出と、当該検出枠Ｂ１，Ｂ２，Ｂ３が該当するクラスの判定を行う。

制御装置９１は、同一の画像データＩＭに、自動運転フォークリフト１０と手動運転フォークリフトＦとが存在している場合、自動運転フォークリフト１０の周囲に手動運転フォークリフトＦが存在していると判定する。制御装置９１は、同一の画像データＩＭに、自動運転フォークリフト１０と人Ｍとが存在している場合、自動運転フォークリフト１０の周囲に人Ｍが存在していると判定する。これにより、制御装置９１は、第１実施形態と同様の手法により速度上限値を決定することができる。即ち、制御装置９１は、（１）式から速度上限値を決定することができる。制御装置９１は、通信装置９３によって、速度上限値を設定するように自動運転フォークリフト１０に指令を送信する。この際、区域Ａ１に複数の自動運転フォークリフト１０が存在する場合、カメラ９４に写っている自動運転フォークリフト１０を特定した上で、この自動運転フォークリフト１０に指令を送信する必要がある。画像データＩＭに写っている自動運転フォークリフト１０の特定は、種々の手法で行うことができる。区域Ａ１で用いられる複数の自動運転フォークリフト１０毎に異なるマーカーを設けて、マーカーによって画像データＩＭに写る自動運転フォークリフト１０を特定してもよい。自動運転フォークリフト１０が自己位置を監視装置９０に送信している場合など、制御装置９１が自動運転フォークリフト１０の位置を認識していれば、この位置から画像データＩＭに写る自動運転フォークリフト１０を特定してもよい。自動運転フォークリフト１０では、速度上限値の設定が行われる。そして、自動運転フォークリフト１０の走行速度が速度上限値以上の場合には、警報装置５４による警報が行われる。制御装置９１は、通信装置９３により指令を送信することで、自動運転フォークリフト１０の速度制限及び警報を行っているといえる。

第２実施形態の効果について説明する。第１実施形態の効果に加えて、以下の効果を得ることができる。
（２－１）監視装置９０は、区域Ａ１に設けられたカメラ９４から画像データＩＭを取得する。監視装置９０は、この画像データＩＭから、自動運転フォークリフト１０の速度制限及び警報を行う。区域Ａ１に設けられたカメラ９４から速度制限及び警報を行えるようにすることで、自動運転フォークリフト１０の死角となりやすい箇所に手動運転フォークリフトＦや人Ｍが存在している場合であっても速度制限及び警報を行うことができる。

各実施形態は、以下のように変更して実施することができる。各実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
○第１実施形態において、制御装置６１は、自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離を算出してもよい。自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離は、種々の手法で算出することができる。制御装置６１は、画像データＩＭにおける検出枠Ｂ２の位置、及び検出枠Ｂ２のサイズから自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離を算出してもよい。制御装置６１は、検出枠Ｂ２の位置、及び検出枠Ｂ２のサイズから、カメラ５１を原点とする座標系での手動運転フォークリフトＦの座標を算出できる。制御装置６１は、この座標系での手動運転フォークリフトＦの座標から、自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離を把握できる。また、制御装置６１は、外界センサ５２の検出結果を用いて自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離を算出してもよい。同様に、制御装置６１は、自動運転フォークリフト１０と人Ｍとの相対距離を算出してもよい。

制御装置６１は、自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離、及び自動運転フォークリフト１０と人Ｍとの相対距離に基づき、速度上限値を設定してもよい。制御装置６１は、例えば、以下の（２）式から速度上限値を決定し、決定された速度上限値を設定する。

Ｄは予め定められた定数である。相対距離は、自動運転フォークリフト１０に最も近い手動運転フォークリフトＦ、及び自動運転フォークリフト１０に最も近い人Ｍのうち、自動運転フォークリフト１０に近い方と、自動運転フォークリフト１０との距離である。（２）式から把握できるように、速度上限値は、手動運転フォークリフトＦ又は人Ｍが自動運転フォークリフト１０に近いほど低い値になる。相対距離は、自動運転フォークリフト１０に最も近い手動運転フォークリフトＦと、自動運転フォークリフト１０との距離であってもよい。この場合、制御装置６１は、自動運転フォークリフト１０と人Ｍとの相対距離を算出しなくてもよい。

また、速度上限値は、手動運転フォークリフトＦの数、及び自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離に基づき決定されてもよい。この場合、速度上限値は、自動運転フォークリフト１０の周囲に存在する手動運転フォークリフトＦの数が多いほど低く、かつ、自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離が短いほど低くなる。速度上限値は、手動運転フォークリフトＦの数、自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離、人Ｍの数、及び人Ｍと自動運転フォークリフト１０との相対距離に基づき決定されてもよい。この場合、速度上限値は、自動運転フォークリフト１０の周囲に存在する手動運転フォークリフトＦの数が多いほど低く、かつ、自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離が短いほど低くなる。更に、速度上限値は、自動運転フォークリフト１０の周囲に存在する人Ｍの数が多いほど低く、かつ、自動運転フォークリフト１０と人Ｍとの相対距離が短いほど低くなる。

第２実施形態において、制御装置９１は、画像データＩＭから自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離を算出してもよい。制御装置９１は、検出枠Ｂ１，Ｂ２の位置、及び検出枠Ｂ１，Ｂ２のサイズから、カメラ９４を原点とする座標系での自動運転フォークリフト１０の座標、及び手動運転フォークリフトＦの座標を算出できる。制御装置９１は、この座標系での自動運転フォークリフト１０の座標及び手動運転フォークリフトＦの座標から、自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離を把握できる。同様に、制御装置９１は、画像データＩＭから自動運転フォークリフト１０と人Ｍとの相対距離を算出してもよい。この場合、制御装置９１は、（２）式から速度上限値を決定してもよい。また、制御装置９１は、手動運転フォークリフトＦの数、自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離、人Ｍの数、及び人Ｍと自動運転フォークリフト１０との相対距離に基づき速度上限値を決定してもよい。

○各実施形態において、速度上限値は、手動運転フォークリフトＦの数や手動運転フォークリフトＦと自動運転フォークリフト１０との相対距離によって変動しなくてもよい。例えば、制御装置６１，９１は、自動運転フォークリフト１０の周囲に手動運転フォークリフトＦが存在する場合、予め定められた値を速度上限値としてもよい。同様に、制御装置６１，９１は、自動運転フォークリフト１０の周囲に人Ｍが存在する場合、予め定められた値を速度上限値としてもよい。

○各実施形態において、制御装置６１，９１が自動運転フォークリフト１０と手動運転フォークリフトＦとの相対距離を算出できる場合、相対距離が閾値未満の手動運転フォークリフトＦが自動運転フォークリフト１０の周囲に存在しているとみなしてもよい。同様に、制御装置６１，９１が自動運転フォークリフト１０と人Ｍとの相対距離を算出できる場合、相対距離が閾値未満の人Ｍが自動運転フォークリフト１０の周囲に存在しているとみなしてもよい。この場合、制御装置６１，９１は、自動運転フォークリフト１０との相対距離が閾値未満の手動運転フォークリフトＦの数、及び人Ｍの数に応じて速度上限値を決定する。

○各実施形態において、制御装置６１，９１は、速度制限を行う際に、自動運転フォークリフト１０の荷役速度の制限を行ってもよい。自動運転フォークリフト１０の荷役速度の制限は、荷役速度に速度上限値を設定することで行われる。荷役速度は、フォーク１９の昇降速度、及びフォーク１９の傾動速度を含む。フォーク１９の昇降速度は、リフトシリンダ２０への作動油の給排を制御することで調整可能である。フォーク１９の傾動速度は、ティルトシリンダ２１への作動油の給排を制御することで調整可能である。制御装置６１，９１は、自動運転フォークリフト１０の荷役速度が速度上限値を上回らないように、油圧機構４１を制御する。これにより、自動運転フォークリフト１０の荷役装置１４と手動運転フォークリフトＦとが接触することを抑制できる。制御装置６１，９１は、速度制限を行う際に、自動運転フォークリフト１０の走行速度、及び自動運転フォークリフト１０の荷役速度の制限を行ってもよい。即ち、制御装置６１，９１は、自動運転フォークリフト１０の走行速度及び、自動運転フォークリフト１０の荷役速度の少なくともいずれかの速度制限を行えばよい。

○第１実施形態において、制御装置６１は、画像データＩＭに手動運転フォークリフトＦが含まれている場合に、警報装置５４による警報を行ってもよい。即ち、制御装置６１は、自動運転フォークリフト１０の周囲に手動運転フォークリフトＦが存在している場合、自動運転フォークリフト１０の走行速度が速度上限値以上か否かに関わらず、警報装置５４による警報を行ってもよい。

第２実施形態において、監視装置９０が警報装置を備えていてもよい。この場合、制御装置９１は、画像データＩＭに手動運転フォークリフトＦが含まれている場合に、警報装置による警報を行ってもよい。

○各実施形態において、速度上限値は、少なくとも、手動運転フォークリフトＦに基づき設定されていればよい。例えば、（１）式から、「Ｃ×人Ｍの数」を除外してもよい。この場合、定数Ａ，Ｂの値を変更してもよい。（１）式から、「Ｃ×人Ｍの数」を除外する場合、学習済みモデルＭ２には、「人」のクラスが設定されていなくてもよい。

○各実施形態において、速度上限値は、（１）式に加えて、自動運転フォークリフト１０の周囲に存在する自動運転フォークリフト１０の数に応じて決定されてもよい。例えば、（１）式の分母に、「Ｅ×自動運転フォークリフト１０の数」を加えてもよい。Ｅは、定数である。

○各実施形態において、制御装置６１，９１は、自動運転フォークリフト１０の周囲に手動運転フォークリフトＦが存在している場合に、速度制限及び警報のうち速度制限のみを行ってもよい。

○第１実施形態において、制御装置６１は、自動運転フォークリフト１０の周囲に手動運転フォークリフトＦ及び人Ｍの少なくともいずれかが存在している場合に、速度制限及び警報のうち警報のみを行ってもよい。即ち、ステップＳ３で画像データＩＭに手動運転フォークリフトＦ及び人Ｍの少なくともいずれかが存在していると判定された場合に、制御装置６１は、警報装置５４による警報を行ってもよい。制御装置６１は、手動運転フォークリフトＦの数が多いほど、警報装置５４による警報を強くしてもよい。例えば、警報装置５４が音による警報を行う装置の場合、制御装置６１は、手動運転フォークリフトＦの数が多いほど、音を大きくしてもよい。警報装置５４が光による警報を行う装置の場合、制御装置６１は、手動運転フォークリフトＦの数が多いほど、光を強くしてもよいし、点滅速度を速くしてもよい。同様に、制御装置６１は、人Ｍの数が多いほど、警報装置５４による警報を強くしてもよい。警報は、少なくとも、自動運転フォークリフト１０の周囲に手動運転フォークリフトＦが存在している場合に行われればよい。

第２実施形態において、制御装置９１は、自動運転フォークリフト１０の周囲に手動運転フォークリフトＦ及び人Ｍの少なくともいずれかが存在している場合に、速度制限及び警報のうち警報のみを行ってもよい。例えば、制御装置９１は、通信装置９３によって自動運転フォークリフト１０に指令を送信することで、警報装置５４による警報を行わせてもよい。また、監視装置９０に警報装置を設けて、この警報装置により警報を行ってもよい。

○第１実施形態において、学習済みモデルＭ２は、少なくとも、物体が「手動運転フォークリフト」か否かを判定できればよい。
○各実施形態において、自動運転産業車両は、自動運転トーイングトラクタを含む。手動運転産業車両は、手動運転トーイングトラクタを含む。区域Ａ１は、自動運転トーイングトラクタと手動運転トーイングトラクタとが混在した状況で作業が行われる場所であってもよい。この場合、第１実施形態の監視装置６０は、自動運転トーイングトラクタに設けられていてもよい。第１実施形態の学習済みモデルＭ２のクラスとしては「手動運転トーイングトラクタ」を設定し、画像データＩＭから手動運転トーイングトラクタを抽出するようにしてもよい。第２実施形態の学習済みモデルＭ２のクラスとしては「自動運転トーイングトラクタ」及び「手動運転トーイングトラクタ」を設定し、画像データＩＭから自動運転トーイングトラクタ及び手動運転トーイングトラクタを抽出するようにしてもよい。そして、制御装置６１，９１は、自動運転トーイングトラクタの速度制限、及び警報を行うようにしてもよい。

区域Ａ１は、自動運転フォークリフト１０、手動運転フォークリフトＦ、自動運転トーイングトラクタ、及び手動運転トーイングトラクタが混在した状況で作業が行われる場所であってもよい。この場合、学習済みモデルＭ２のクラスとして「自動運転フォークリフト」、「手動運転フォークリフト」、「自動運転トーイングトラクタ」、及び「手動運転トーイングトラクタ」を設定すればよい。

○各実施形態において、学習済みモデルＭ２は、DNN以外のアルゴリズムで生成されていてもよい。例えば、学習済みモデルＭ２は、SVM(Support Vector Machine)を用いて生成されていてもよい。この場合、制御装置６１，９１は、特徴量抽出を行う。学習済みモデルＭ２は、特徴量抽出により得られた特徴量から物体の該当するクラスの指標を出力する。特徴量抽出の手法としては、例えば、HOG(Histograms of Oriented Gradients)、及びSIFT(Scale-Invariant Feature Transform)を挙げることができる。

○各実施形態において、学習済みモデルＭ２は、インスタンスセグメンテーション又はセマンティックセグメンテーションを用いたものであってもよい。インスタンスセグメンテーションは、ピクセル単位でクラスを判定する。インスタンスセグメンテーションを用いる場合、機械学習のアルゴリズムとしては、例えば、FCN(Fully Convolutional Network)、及びSegNetを用いることができる。セマンティックセグメンテーションは、ピクセル単位でクラスを判定し、かつ、物体が存在する領域を分割する。セマンティックセグメンテーションを用いる場合、機械学習のアルゴリズムとしては、例えば、Mask R-CNNを用いることができる。

○各実施形態において、物体が各クラスに該当するか否かを示す指標は、物体が該当するクラスを示す値であってもよい。例えば「手動運転フォークリフト」が０、「人」が１に対応する場合、学習済みモデルＭ２は、検出枠毎に１か０かを出力してもよい。

○第１実施形態と第２実施形態とを組み合わせてもよい。この場合、監視装置６０と、監視装置９０とで、同一の自動運転フォークリフト１０に対して異なる速度上限値が決定される場合がある。この場合、予め優先度を決定しておき、優先度の高いほうの速度上限値を採用してもよいし、優先度に応じた係数を速度上限値に乗算して、これに基づき算出された値を速度上限値として採用してもよい。また、監視装置６０で決定された速度上限値と、監視装置９０で決定された速度上限値との平均値を速度上限値として採用してもよい。

○各実施形態において、手動運転フォークリフトＦは、遠隔地にいる操作者によって操作されるフォークリフトであってもよい。
○各実施形態において、学習済みモデルＭ２を記憶する記憶装置は、記憶部６３であってもよい。

○各実施形態において、取得部６４、認識部６５及び制御部６６は、それぞれ、別の装置であってもよい。また、自己位置推定や駆動機構３１の制御など、自動運転フォークリフト１０の走行及び荷役に関する制御を行う制御装置６１，９１と、取得部６４、認識部６５及び制御部６６として機能する装置とは別の装置であってもよい。

Ｆ…手動運転産業車両としての手動運転フォークリフト、ＩＭ…画像データ、Ｍ…人、Ｍ２…学習済みモデル、１０…自動運転産業車両としての自動運転フォークリフト、５１，９４…カメラ、６０，９０…監視装置、６４…取得部、６５…認識部、６６…制御部、７１，９２…記憶装置としての補助記憶装置。

Claims (3)

1. 自動運転産業車両の周囲を監視する監視装置であって、
   カメラから画像データを取得する取得部と、
   前記画像データが入力されることにより前記画像データに含まれる物体が手動運転産業車両か否かを示す指標を出力する学習済みモデルを記憶した記憶装置と、
   前記学習済みモデルの出力結果から前記自動運転産業車両の周囲に存在する前記手動運転産業車両を認識する認識部と、
   前記認識部により認識された前記手動運転産業車両に基づき、前記自動運転産業車両の速度制限、及び警報の少なくともいずれかを行う制御部と、を備える監視装置。
2. 前記制御部は、少なくとも前記自動運転産業車両の速度制限を行い、
   前記制御部は、前記手動運転産業車両の数が多いほど、前記自動運転産業車両の速度上限値を低く設定する請求項１に記載の監視装置。
3. 前記学習済みモデルは、前記画像データに含まれる前記物体が人か否かを示す指標を出力し、
   前記認識部は、前記学習済みモデルの出力結果から前記自動運転産業車両の周囲に存在する前記手動運転産業車両及び前記人を認識し、
   前記制御部は、前記認識部により認識された前記手動運転産業車両、及び前記認識部により認識された前記人に基づき、前記自動運転産業車両の速度制限、及び警報の少なくともいずれかを行う請求項１又は請求項２に記載の監視装置。