JP7036329B1 - 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム - Google Patents

Abstract

【課題】作業現場において作業者と作業車両との接触リスクをより適切に低減することができる作業現場管理システム等を提供すること。【解決手段】作業現場管理システム１は、深度情報を含む画像情報を取得可能な天井カメラ１１と、フォークリフトＦの運転者Ｄの視線情報を取得する天井カメラ１１と、天井カメラ１１により取得した画像情報からフォークリフトＦ及び作業者Ｗの位置情報を生成する物体認識部１２と、運転者を撮像して運転者の視線情報を取得する視線カメラ２１と、視線カメラ２１により取得した視線情報から運転者の視線方向を認識する視線認識部２２と、フォークリフトＦ及び作業者Ｗの位置情報から相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定部３３と、を備え、危険判定部３３は、運転者の視線方向に応じて所定の警報閾値を調整する。【選択図】図２

Description

本開示は、作業現場管理システム、作業現場管理方法、及び作業現場管理プログラムに関する。

物流倉庫や工場等の作業現場では、作業者やフォークリフト等の作業車両が行き来をしており、作業者と作業車両との接触による事故が発生する場合がある。

このような事故を未然に防ぐための技術が種々開発されている。例えば、特許文献１では、電子鍵を用いて作業車両（フォークリフト）の車両識別情報等と当該作業車両を運転する作業者の情報とを対応付けて記憶する等して、作業車両の稼働をリアルタイムに管理する車両運行システムが開示されている。

国際公開２０１８／２３００２５号

特許文献１（特に実施の形態２）では、作業車両の位置を検出するために、工場内の各所に固有の色配置からなるカラーラベルが貼付されたバーを立設したり、作業者の上腕にもカラーラベルを含む腕章を装着したり、工場内の各所に電波を発するビーコンを立設したり、している。作業車両はビーコンからの電波を受信することで、予め記憶してあるビーコンの識別情報と位置を示す情報及び電波受信強度から作業車両の位置を検出している。また。作業車両に搭載されたカメラにより、立設されたバーのカラーラベルを認識し、カラーラベルの色の配置や画像中の大きさ等から作業車両の位置を検出している。さらに、作業車両のカメラにより作業者が装着しているカラーラベルを認識することで、作業車両に対する作業者の接近を検出している。

しかしながら、特許文献１の技術では、作業車両の位置を検出するために、カラーラベルが貼付されたバーや、ビーコンを作業現場に配置したり、作業者にカラーラベルを含む腕章を装着させたりする必要があり、車両運行システムを実現させるために多くの設備投資や労力を必要とする。また、このような多くの装置の設置や人への装着等が必要な手法では人による運用上の介入が生じる。そのために、人為的ミスが発生して安全な運行が実現できなくなる場合も生じていた。

さらに、作業現場には、管理下にある自社の車両や人だけでなく、他社の車両や人が入ってくる場合もあるが、従来の手法では他社の車両や人まで管理することは困難である。

また、作業車両のカメラにより作業者が装着しているカラーラベルを認識する場合、作業現場には様々な障害物があり、作業車両と作業者との間を障害物により遮られたり、作業者の姿勢によってカラーラベルが隠れたりすると、接近している作業者を正確に認識することができないおそれがある。一方で、作業車両の運転者が作業者を目視で認識しているにも関わらずアラート等が行われると運転者に煩わしさを与えたり、運転者がアラートを信用しなくなったりするおそれがある。

本開示は、このような問題点を解決するためになされたもので、作業現場において作業者と作業車両との接触リスクをより適切に低減することができる作業現場管理システム、作業現場管理方法、及び作業現場管理プログラムを提供することを目的とする。

上記した目的を達成するために、本開示に係る作業現場管理システムは、作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得可能な作業現場撮像部と、前記画像情報撮像部により取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識部と、前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像部と、前記視線情報取得部により取得した視線情報から、前記運転者の視線方向を認識する視線認識部と、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定部と、を備え、前記危険判定部は、前記視線方向認識部により認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する。

上記作業現場管理システムにおいて、さらに、前記作業車両の運転者を認識し、運転者認識情報を生成する運転者認識部と、前記運転者の運転履歴を含む運転者情報を記憶する運転者情報記憶部と、前記運転者認識情報と対応する運転者情報を前記運転者情報記憶部から抽出して、抽出した運転者情報に基づき前記運転者の運転傾向を解析する運転傾向解析部と、を備え、前記危険判定部は、前記運転傾向解析部により解析された前記運転者の運転傾向に応じて前記警報閾値を調整してもよい。

上記作業現場管理システムにおいて、前記作業現場撮像部は前記作業車両の高さよりも高い位置から前記作業現場を撮像してもよい。

上記作業現場管理システムにおいて、前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から、前記作業車両と前記作業者との相対距離に応じた第１安全度を算出し、当該第１安全度が第１警報閾値を下回ると第１警報を行わせる警報情報を生成してもよい。

上記作業現場管理システムにおいて、前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者の移動方向に応じた第２安全度を算出し、当該第２安全度が第２警報閾値を下回ると第２警報を行わせる警報情報を生成してもよい。

上記作業現場管理システムにおいて、前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者とが接触するまでにかかる時間に応じた第３安全度を算出し、当該第３安全度が第３警報閾値を下回ると第３警報を行わせる警報情報を生成してもよい。

上記した目的を達成するために、本開示に係る作業現場管理方法は、コンピュータが、作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得する作業現場撮像ステップと、前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップを実行する。

上記した目的を達成するために、本開示に係る作業現場管理プログラムは、作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得する作業現場撮像ステップと、前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、を備え、前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップと、をコンピュータに実行させるためのプログラムである。

上記手段を用いる本開示によれば、作業現場において作業者と作業車両との接触リスクをより適切に低減することができる。

本開示の一実施形態に係る作業現場管理システムの概要を示す概略構成図である。 本開示の一実施形態に係る作業現場管理システムのシステム構成図である。 本実施形態の危険判定部が算出する安全度についての説明図である。 第１警報閾値の調整に関する説明図である。 本開示の一実施形態に係る作業現場管理装置において実行される危険判定ルーチンを示すフローチャートである。

以下、本開示の実施形態を図面に基づき説明する。

＜構成＞
図１は本開示の一実施形態に係る作業現場管理システム１の概要を示す概略構成図であり、図２は作業現場管理システム１のシステム構成図である。なお、本実施形態は、作業現場として物流倉庫を例として説明を行うが、本実施形態は工場等の他の作業現場にも適用可能である。

図１に示すように、作業現場管理システム１は、倉庫建物内の天井部分に設けられた倉庫監視装置１０とフォークリフトＦに設けられた運転監視装置２０が、例えば倉庫建物内の管理室に設けられた作業現場管理装置３０に、インターネット、ＬＡＮ、ＶＰＮ（Virtual Private Network）等のネットワークを介して通信可能に接続されている。なお、本実施形態の物流倉庫では、倉庫建物内に作業車両としてフォークリフトＦが走行し、作業者Ｗが歩行しているものとして説明するが、作業車両はフォークリフトに限定されるものではなく、他の作業車両にも適用可能である。また説明の簡略化のため、図１ではフォークリフトＦ及び当該フォークリフトＦの運転者Ｄ、作業者Ｗ、倉庫監視装置１０、運転監視装置２０、作業現場管理装置３０をそれぞれ１つのみ示しているが、これらの数は複数であってもよい。

図２には、作業現場管理システム１における倉庫監視装置１０、運転監視装置２０、作業現場管理装置３０の詳しい構成が示されている。倉庫監視装置１０、運転監視装置２０、作業現場管理装置３０は、図示しないがそれぞれプログラムに基づき各種処理を実行可能なコンピュータを備えており、当該コンピュータにより後述する各部の機能を実現させている。具体的には、倉庫監視装置１０、運転監視装置２０、作業現場管理装置３０は、少なくとも演算処理部、各種情報を記憶可能な記憶部、各種情報を入力可能な入力部、各種情報を出力可能な出力部、外部と相互に通信可能な通信部を備えている。

図２に示すように、倉庫監視装置１０は、天井カメラ１１（画像情報取得部）と、物体認識部１２を有している。

天井カメラ１１は、例えば距離センサを搭載したＲＧＢ－Ｄカメラであり、カラー画像（ＲＧＢ）に加えて深度情報を含む奥行き画像（Ｄｅｐｔｈ）を含む画像情報を取得可能である。天井カメラ１１は、少なくともフォークリフトＦよりも高い位置である、物流倉庫内の天井に設けられており、下方に向けて画像を撮像可能である。つまり、当該天井カメラ１１により取得される深度情報は、倉庫建物の高さ方向に沿った深度となる。また、画像情報には撮像時間や撮像場所等の情報も含まれる。

物体認識部１２は、天井カメラ１１により取得した画像情報から画像内に写るフォークリフトＦ及び作業者Ｗを認識し、作業車両及び前記作業者の位置情報を生成する機能を有する。

具体的には、物体認識部１２は、様々な配置及び姿勢でフォークリフト及び作業者が写っている複数の画像を学習用データとして機械学習（例えばディープラーニング）した物体認識学習済みモデルを用いてフォークリフトＦ及び作業者Ｗの認識を行う。なお、学習用データとしての画像には深度情報が含まれてもよく、深度情報も含めて機械学習を行った物体認識学習済みモデルを生成してもよい。

そして物体認識部１２は、画像情報から倉庫建物の水平方向に相当するＸＹ平面上におけるフォークリフトＦ及び作業者Ｗの位置情報を生成する。また物体認識部１２は、例えば前回撮像した画像情報に基づくフォークリフトＦ及び作業者Ｗの位置情報から今回撮像した画像情報に基づく位置情報への変位からフォークリフトＦ及び作業者Ｗの移動方向を推定し、当該移動方向を含めた位置情報を生成する。なお、物体認識部１２は、例えば複数の天井カメラの撮像範囲に跨ってフォークリフトや作業者が移動する場合は、位置情報だけでなくそれぞれの画像から取得できる外見上の特徴量（見た目等）から同一のフォークリフト、同一の作業者であることを同定した上で、移動方向を推定することも可能である。また、フォークリフトの向きに関しては、フォークリフトに貼り付けられたマーカを画像情報から読み取ることによって認識しても良い。

さらに、物体認識部１２は、前回と今回の画像情報の撮像時間の変位からフォークリフトＦ及び作業者Ｗの移動速度や加速度を推定し、移動速度や加速度を含めた位置情報を生成する。なお、物体認識部１２は、画像情報に含まれる深度情報からフォークリフトＦ及び作業者Ｗの高さ情報を含めた位置情報を生成してもよい。

運転監視装置２０は、視線カメラ２１、視線認識部２２、運転者認識部２３、警報器２４を有している。

視線カメラ２１は、運転者Ｄの眼部分を含む頭部を撮像するカメラである。具体的には、図２に示すように視線カメラ２１は、フォークリフトＦの運転席のハンドルＨ奥に設けられており、運転席に着座した運転者Ｄの眼部分を含む画角で指向している。視線カメラ２１は、運転者Ｄの眼部分を含む頭部画像を撮像し、撮像時間等も含む頭部画像情報を生成する。なお、頭部画像には必ずしも眼部分が含まれていなくてもよい。例えば、運転者Ｄが上半身又は首を捩じって車両後方を確認している場合でも、頭部画像情報から運転者Ｄの頭部の向きを認識し、そこから視線認識部２２により視線方向を推定してもよい。さらに、頭部画像情報が取得できない場合でも、例えば運転者Ｄが被るヘルメット等にマーカを取付け、この頭部に取付けられたマーカより、頭部の向きを認識し、そこから視線認識部２２により視線方向を推定してもよい。

視線認識部２２は、視線カメラ２１により生成された頭部画像情報から運転者の視線を認識して、運転者Ｄの視線方向を含む視線情報を生成する。視線認識部２２は、例えば様々な人の頭部を写した複数の画像と当該画像に対応する視線方向を学習用データとして機械学習（例えばディープラーニング）した視線認識学習済みモデルを用いて運転者Ｄの視線情報を生成する。説明を簡略化するため本実施形態における視線方向はＸＹ平面上における視線方向で説明するが、視線認識部２２はＸＹ平面(水平面)での視線方向だけでなく、Ｚ方向（上下どちらを向いているか）を認識することも可能である。Ｚ方向の視線も認識することで、例えば運転者が下方向を向いている場合は視線方向に含められる範囲（例えば奥行き方向）を限定してもよい。さらに、下記説明では視線方向を一つの方向として説明するが、視線方向は人間の標準的な視野角を考慮して幅を持たせた視線範囲として認識してもよい。

運転者認識部２３は、視線カメラ２１により生成された頭部画像情報から運転者Ｄの顔を認識して、運転者Ｄの運転者情報を生成する。運転者認識部２３は、例えば様々な人の頭部を写した複数の画像と当該画像に対応する顔部分を学習用データとして機械学習（例えばディープラーニング）した運転者認識学習済みモデルを用いて運転者Ｄの顔情報を含む運転者情報を生成する。

警報器２４は、例えば運転者Ｄに向けて警告灯を点灯又は点滅させたり、音声により警報音や音声を発する装置である。また警報器２４は、フォークリフトＦの外部の作業者Ｗに向けての警報を行うことも可能である。なお、警報器２４は一つに限られず、例えば運転者Ｄ向け用と、外部向け用、それぞれ別の警報器を設けてもよい。警報器２４は、作業現場管理装置３０からの警報情報に応じた警報を実施可能である。例えば、本実施形態の警報器２４は、第１警報、第２警報、第３警報の３種類の警報を実施可能であり、第２警報は第１警報よりも運転者に対して強い警報を、第３警報は第２警報よりも運転者に対してさらに強い警報を発するよう設定されている。なお、この第１警報から第３警報の警報の数、種類、警報強度は一例であり、これに限られるものではない。

作業現場管理装置３０は、運転者データベース３１（以下運転者ＤＢ３１と記す）、運転傾向解析部３２、危険判定部３３を有している。

運転者ＤＢ３１には、運転者に関する各種情報が記憶されている。例えば、運転者ＤＢ３１には、運転者の識別情報（ＩＤ番号等）、氏名、顔写真、年齢、性別等の個人情報の他、フォークリフトの運転履歴情報が記憶されている。運転履歴情報には、例えばフォークリフトの運転日時、総運転時間、運転したフォークリフト情報、危険運転情報が含まれている。危険運転情報は、例えば警報器２４による警報回数、フォークリフトの進行方向と視線との非合致回数や非合致時間、急操作（急加速、急減速、急旋回、等）の回数、危険運転の動画、等が含まれている。

運転傾向解析部３２は、運転監視装置２０の運転者認識部２３で生成された運転者認識情報を取得して、取得した運転者認識情報に対応する運転者情報を運転者ＤＢ３１から抽出して、運転者Ｄの運転傾向を解析する機能を有する。本実施形態では、運転傾向解析部３２は、運転者認識情報に含まれる運転者Ｄの顔情報と一致又は類似する顔写真を含む運転者情報を運転者ＤＢ３１から抽出して、抽出された運転者情報の運転履歴から運転傾向の解析を行う。具体的には運転傾向解析部３２は、運転者Ｄの危険運転情報に基づく運転傾向の解析結果として、累積運転時間に対する危険運転の割合（例えば危険運転を行った回数／総運転時間）である危険運転率を算出する。

危険判定部３３は、倉庫監視装置１０の物体認識部１２からフォークリフトＦ及び作業者Ｗの位置情報を、運転監視装置２０の視線認識部２２から運転者Ｄの視線情報を、運転傾向解析部３２から運転者Ｄの運転傾向の解析結果（危険運転率）を、それぞれ取得する。

危険判定部３３は、取得したフォークリフトＦの位置情報及び作業者Ｗの位置情報からフォークリフトＦと作業者Ｗとの相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成して、運転監視装置２０の警報器２４による警報を行わせる。本実施形態の危険判定部３３は、第１安全度Ｓｅ１、第２安全度Ｓｅ２、第３安全度Ｓｅ３の３種類の安全度を算出する。また、危険判定部３３は、第１安全度Ｓｅ１に対応する第１警報閾値Ｔｈ１、第２安全度Ｓｅ２に対応する第２警報閾値Ｔｈ２、第３安全度Ｓｅ３に対応する第３警報閾値Ｔｈ３を有している。

詳しくは図３に、本実施形態の危険判定部が算出する安全度についての説明図が示されている。

第１安全度Ｓｅ１は、図３に示すフォークリフトＦと作業者Ｗとの相対距離Ｒｄに基づく安全度である。相対距離Ｒｄが短くなるほど第１安全度Ｓｅ１の値は低下する。これに対して第１警報閾値Ｔｈ１は、予め設定されたフォークリフトＦからの所定の半径ｒとなる。危険判定部３３は、第１安全度Ｓｅ１が第１警報閾値Ｔｈ１未満になると、即ち相対距離Ｒｄが所定の半径ｒ未満となると、第１警報を実施させるための警報情報を生成する。

第２安全度Ｓｅ２は、フォークリフトＦと作業者Ｗとの相対的な移動方向に基づく安全度である。具体的には第２安全度Ｓｅ２は、フォークリフトＦの進路上に作業者Ｗが入ってくる可能性の度合いであり、例えば作業者Ｗの位置から作業者Ｗの進行方向とフォークリフトＦの進行方向Ｆｄとの交点Ｐまでの距離Ｃｄである。この作業者Ｗの位置から交点Ｐまでの距離Ｃｄが短くなるほど第２安全度Ｓｅ２の値は低下する。例えば、フォークリフトＦの進行方向Ｆｄと作業者Ｗの進行方向Ｗｄが交差しない場合は第２安全度Ｓｅ２の数値は上限値となり、フォークリフトＦの進路上に作業者Ｗが存在する場合は第２安全度Ｓｅ２の数値は下限値となる。これに対して第２警報閾値Ｔｈ２は、予め設定された所定の距離である。危険判定部３３は、第２安全度Ｓｅ２が第２警報閾値Ｔｈ２以下になると、即ち作業者Ｗの位置から交点Ｐまでの距離Ｃｄが所定の距離Ｄｘ以下となると第２警報を実施させるための警報情報を生成する。

第３安全度Ｓｅ３は、フォークリフトＦと作業者Ｗとの接触までの時間であるＴＴＣ（Time To Collision）に基づく安全度である。ＴＴＣは従来から知られた計算を用いればよく、例えばフォークリフトＦと作業者Ｗとの相対距離Ｒｄをフォークリフト速度Ｖｆと作業者の移動速度Ｖｗの差（相対速度）で割ることで算出する（ＴＴＣ＝Ｒｄ／Ｖｗ－Ｖｆ）。つまり、ＴＴＣの値が小さくなるほど第３安全度Ｓｅ３の値は低下する。これに対して第３警報閾値Ｔｈ３は、予め設定された所定時間ｔｘとなる。危険判定部３３は、第３安全度Ｓｅ３が第３警報閾値Ｔｈ３以下になると、即ちＴＴＣが所定時間ｔｘ以下となると第３警報を実施させるための警報情報を生成する。

また、危険判定部３３は、取得した運転者Ｄの視線情報から当該運転者Ｄの視線方向に応じて第１警報閾値Ｔｈ１、第２警報閾値Ｔｈ２、第３警報閾値Ｔｈ３の調整を行う。例えば図４には、第１警報閾値の調整に関する説明図が示されている。

図４では、時間ｔが経つほどフォークリフトＦと作業者Ｗとの相対距離Ｒｄが短くなり第１安全度Ｓｅ１が下がる傾向にある状態を示している。閾値調整前の第１閾値Ｔｈでは、ｔ１時点で第１安全度Ｓｅ１が第１警報閾値Ｔｈ１を下回り、このｔ１時点で危険判定部３３は警報器２４により第１警報を実施させる。

一方、危険判定部３３は、運転者Ｄの視線方向Ｅｄが作業者Ｗの方向から遠ざかるほど、即ち運転者Ｄから作業者Ｗへの方向に対する視線方向Ｅｄの角度が大きくなるほど、第１警報閾値Ｔｈ１を上昇させる。即ち、運転者Ｄの視線方向が作業者Ｗから遠ざかるほど警報が実施されやすくなる。また、逆に運転者Ｄの視線方向Ｅｄが作業者Ｗの方向に近づくほど、即ち運転者Ｄから作業者Ｗへの方向に対する視線方向Ｅｄの角度が小さくなるほど、第１警報閾値Ｔｈ１を減少させてもよい。

図４では、このように閾値を上昇させた第１閾値Ｔｈでは、ｔ１時点よりも早いｔ２時点で第１安全度Ｓｅ１が第１警報閾値Ｔｈ１を下回る。従って、危険判定部３３は閾値調整前よりも相対距離Ｒｄが離れている時点で第１警報を実施させ、より早めに運転者Ｄに警告を行う。第２警報閾値Ｔｈ２及び第３警報閾値Ｔｈ３についても同様であり、運転者Ｄの視線方向が作業者Ｗから遠ざかるほど第２警報閾値Ｔｈ２及び第３警報閾値Ｔｈ３を大きく上昇させる。

さらに、危険判定部３３は、取得した運転者Ｄの運転傾向の解析結果（危険運転率）に応じて第１警報閾値Ｔｈ１、第２警報閾値Ｔｈ２、第３警報閾値Ｔｈ３の調整を行う。具体的には、危険運転率が高いほど、各警報閾値Ｔｈ１、Ｔｈ２、Ｔｈ３の値を高くする。即ち、危険運転率が高いほど警報が実施されやすくなる。また、危険運転率が低いほど、各警報閾値Ｔｈ１、Ｔｈ２、Ｔｈ３の値を低くしてもよい。

＜処理の流れ＞
図５には、本開示の一実施形態に係る作業現場管理装置３０において実行される危険判定ルーチンを示すフローチャートが示されており、以下、同フローチャートを沿って作業現場管理方法について説明する。なお、当該フローチャートは一例であり、危険判定ルーチンは当該フローチャートの処理に限られるものではなく、例えば各処理の順序を変更してもよい。当該危険判定ルーチンは、例えば作業現場管理装置３０の動作開始後に開始する。

図５のステップＳ１において、危険判定部３３は、倉庫監視装置１０の天井カメラ１１により撮像した画像情報から物体認識部１２により認識されたフォークリフトＦ及び作業者Ｗの位置情報を取得する。

ステップＳ２において、危険判定部３３は、取得したフォークリフトＦ及び作業者Ｗの位置情報から上述した第１安全度Ｓｅ１、第２安全度Ｓｅ２、第３安全度Ｓｅ３を算出する。

ステップＳ３において、危険判定部３３は、運転監視装置２０の視線カメラ２１により撮像した運転者の頭部画像情報に基づき認識した視線情報を視線認識部２２から取得する。

また、ステップＳ４において、運転傾向解析部３２は、運転監視装置２０の視線カメラ２１により撮像した運転者の頭部画像情報に基づき生成された運転者認識情報を運転者認識部２３から取得する。

ステップＳ５において、運転傾向解析部３２は、ステップＳ６で取得した運転者認識情報と対応する運転者情報を運転者ＤＢ３１から抽出して、当該運転者Ｄの運転傾向を解析する。具体的には運転傾向解析部３２は、運転者Ｄの危険運転率を算出する。

ステップＳ６において、危険判定部３３は、ステップＳ３にて取得した視線情報と、ステップＳ５にて運転傾向解析部３２により解析された運転者Ｄの運転傾向の解析結果（危険運転率）に基づき、各警報閾値Ｔｈ１～Ｔｈ３の調整を行う。

ステップＳ７において、危険判定部３３は、フォークリフトＦと作業者ＷのＴＴＣに応じた第３安全度Ｓｅ３が第３警報閾値Ｔｈ３以上であるか否かを判定する。当該判定結果が偽（Ｎｏ）である場合、即ち第３安全度Ｓｅ３が第３警報閾値Ｔｈ３未満の場合、例えば具体的にはＴＴＣが所定時間ｔｘ未満ある場合は、ステップＳ８に処理を進める。

ステップＳ８において、危険判定部３３は第３警報を行うための警報情報を生成し、運転監視装置２０の警報器２４により第３警報を実施させ、当該ルーチンをリターンする。

一方、ステップＳ７の判定結果が真（Ｙｅｓ）である場合、即ち第３安全度Ｓｅ３が第３警報閾値Ｔｈ３以上の場合、例えばＴＴＣが所定時間ｔｘ以上ある場合は、ステップＳ９に処理を進める。

ステップＳ９において、危険判定部３３は、フォークリフトＦと作業者Ｗの相対的な移動方向に応じた第２安全度Ｓｅ２が第２警報閾値Ｔｈ２以上であるか否かを判定する。当該判定結果が偽（Ｎｏ）である場合、即ち第２安全度Ｓｅ２が第２警報閾値Ｔｈ２未満である場合、例えば作業者Ｗの位置からフォークリフトＦの進行方向Ｆｄとの交点Ｐまでの距離Ｃｄが短く、フォークリフトＦの進路上に作業者Ｗが入ってくる可能性が高い場合は、ステップＳ１０に処理を進める。

ステップＳ１０において、危険判定部３３は第２警報を行うための警報情報を生成し、運転監視装置２０の警報器２４により第２警報を実施させ、当該ルーチンをリターンし、再度ステップＳ１からの処理を繰り返す。

一方、ステップＳ９の判定結果が真（Ｙｅｓ）である場合、即ち第２安全度Ｓｅ２が第２警報閾値Ｔｈ２以上である場合、例えば作業者Ｗの位置からフォークリフトＦの進行方向Ｆｄとの交点Ｐまでの距離Ｃｄが十分にあり、フォークリフトＦの進路上に作業者Ｗが入ってくる可能性が低い場合は、ステップＳ１１に処理を進める。

ステップＳ１１において、危険判定部３３は、フォークリフトＦと作業者Ｗの相対距離Ｒｄに応じた第１安全度Ｓｅ１が第１警報閾値Ｔｈ１以上であるか否かを判定する。当該判定結果が偽（Ｎｏ）である場合、即ち第１安全度Ｓｅ１が第１警報閾値Ｔｈ１未満である場合、例えば作業者ＷがフォークリフトＦからの所定の半径ｒの範囲内にいる場合は、ステップＳ１２に処理を進める。

ステップＳ１２において、危険判定部３３は警報情報を生成し、運転監視装置２０の警報器２４により第１警報を実施させ、当該ルーチンをリターンする。

一方、ステップＳ１１の判定結果が真（Ｙｅｓ）である場合、即ち第１安全度Ｓｅ１が第１警報閾値Ｔｈ１以上である場合、例えば作業者ＷがフォークリフトＦからの所定の半径ｒの範囲外にいる場合は、警報を行わずに当該ルーチンをリターンする。

以上のように、作業現場管理システム１では、倉庫建物の天井部分から天井カメラ１１により物流倉庫内を撮像して深度情報も含めた画像情報を取得し、物体認識部１２により当該画像情報からフォークリフトＦ及び作業者Ｗの位置情報を認識している。このように深度情報を含む画像情報からフォークリフトＦ及び作業者Ｗの位置情報を認識することで、例え画像上においてフォークリフトＦや作業者Ｗの一部分が障害物等や姿勢の関係で隠れていても、より正確にフォークリフトＦや作業者Ｗの位置を認識することができる。位置情報を正確に認識できることで安全度の精度が向上し、より正確な警報を行うことができる。また、天井カメラ１１によりフォークリフトＦ及び作業者Ｗを認識できることで、従来のようなカラーラベルが貼付されたバーやビーコンを設置したり、作業者にカラーラベルを装着したりする必要がなくなり、設備コストや運用コストを低減でき、且つ人為的ミスも削減することができる。

さらに作業現場管理システム１では、フォークリフトＦの運転者Ｄの視線方向を認識して、当該視線方向に応じて安全度に対応する警報閾値を調整している。具体的には、視線方向が作業者Ｗから離れるほど警報閾値を上昇させて警報を発しやすくする。また、視線方向が作業者Ｗに近づくほど警報閾値を減少させて警報を発しにくくする。これにより、運転者Ｄが作業者Ｗを目視していない可能性が高い場合には早めに警報することとなり、接触の可能性を抑えることができる。また、運転者Ｄが作業者Ｗを目視しているような場合には、遅めに警報することとなり、余計な警報を抑えることができる。

また、危険判定部３３は運転傾向解析部３２により解析した運転者Ｄの運転傾向に応じても警報閾値を調整する。具体的には、運転傾向解析部３２により算出した危険運転率が高いほど各警報閾値Ｔｈ１、Ｔｈ２、Ｔｈ３を高く調整して早めに警報を発するようにすることで、危険運転の多い運転者Ｄに対しては早めに警報を発することで安全性を高めることができる。一方、危険運転率が低いほど各警報閾値Ｔｈ１、Ｔｈ２、Ｔｈ３を低く調整して遅めに警報を発するようにすることで、危険運転の少ない運転者Ｄに対しては遅めに警報を発することで余計な警報を抑えることができる。

また天井カメラ１１はフォークリフトＦの高さよりも高い位置から作業現場を撮像することで、少ない設備投資と労力で作業現場管理システム１を実現することができる。

また、危険判定部３３は安全度として、フォークリフトＦと作業者Ｗとの相対距離Ｒｄに応じた第１安全度Ｓｅ１を算出して、第１安全度Ｓｅ１が第１警報閾値Ｔｈ１を下回ると第１警報を行わせる警報情報を生成する。これにより、容易に安全度を算出することができる。

また、危険判定部３３は安全度として、フォークリフトＦと作業者Ｗとの移動方向に応じた第２安全度Ｓｅ２を算出して、第２安全度Ｓｅ２が第２警報閾値Ｔｈ２を下回ると第２警報を行わせる警報情報を生成する。このように、フォークリフトＦと作業者Ｗとの移動方向を考慮した第２安全度Ｓｅ２を用いて警報の要否を判定することで、より正確な警報を行うことができる。

また、危険判定部３３は安全度として、フォークリフトＦと作業者Ｗとが接触するまでにかかる時間（ＴＴＣ）に応じた第３安全度Ｓｅ３を算出して、第３安全度Ｓｅ３が第３警報閾値Ｔｈ３を下回ると第３警報を行わせる警報情報を生成する。このようにＴＴＣに応じた第３安全度Ｓｅ３を用いて警報の要否を判定することで、さらに正確な警報を行うことができる。

また、このように複数の安全度を算出して、それぞれの安全度に基づく警報の要否を判定することで、状況に応じた適切な警報を行うことができる。

このようにして本実施形態の作業現場管理システム１（作業現場管理方法、作業現場管理システム）では、作業現場において作業者と作業車両との接触リスクをより適切に低減することができる。

以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

上記実施形態では、作業現場管理装置３０の危険判定部３３が安全度に応じた警報指示を行っているが、例えば倉庫監視装置又は運転監視装置に危険判定部を備えてよい。また作業現場管理装置３０の運転者ＤＢや運転傾向解析部も倉庫監視装置又は運転監視装置が備えた構成としてもよい。

また、上記実施形態では、危険判定部３３は、運転者Ｄの視線方向Ｅｄと運転者Ｄに対する作業者Ｗの方向の角度に応じて第１警報閾値Ｔｈ１を調整しているが、運転者の視線方向に応じた閾値の調整方法はこれに限られるものではない。例えば、より簡易に、運転者からの一定の視線範囲に作業者が含まれているか否かで、第１警報閾値を調整してもよい。つまり、運転者の視線範囲に作業者が含まれている、即ち運転者が作業者を見ている場合は第１警報閾値を低い所定値に設定し、運転者の視線範囲に作業者が含まれていない、即ち運転者が作業者を見ていない場合は第１警報閾値を高い所定値に設定する。

また、上記実施形態では、天井カメラ１１をＲＧＢ－Ｄカメラとして説明しているが、深度情報を取得可能なカメラであればよく、例えばＴｏＦ（Time of Flight）センサを備えていたり、２つのカメラを用いるステレオカメラであったりしてもよい。

また、倉庫監視装置１０の撮像部としては天井に設けられているものに限られず、少なくとも作業車両の高さよりも高い位置に設けられていればよい。つまり、例えば倉庫建物の壁部や、倉庫建物内に立設された柱や設備の高い位置に設けてもよい。

また、上記実施形態では、運転者Ｄの運転者情報の生成を視線カメラ２１により撮像した頭部画像に基づき生成しているが、運転者情報所得部はこれに限られるものではない。例えば、運転者情報所得部は、運転者Ｄの識別情報が記録されたＩＣカードやキー等から情報を読み取る情報読取機であってもよい。

また、上記実施形態では、視線カメラ２１は、フォークリフトＦの運転席のハンドルＨ奥に設けられているが、視線カメラの設置位置はこれに限られるものではない。例えば、フォークリフトのバックミラーやライトが取り付けられている外枠部分に取り付けられていてもよい。

また、上記実施形態では、運転傾向解析部３２が運転傾向の解析として、総運転時間に対する危険運転の割合である危険運転率を算出しているが、運転傾向の解析はこれに限られるものではない。

また、上記実施形態において、危険判定部３３は第１安全度Ｓｅ１から第３安全度Ｓｅ３を算出して警報の要否を判定しているが、第１安全度Ｓｅ１から第３安全度Ｓｅ３のうちの１つ又は２つのみを用いて警報の要否を判定してもよい。

１ ：作業現場管理システム
１０ ：倉庫監視装置
１１ ：天井カメラ
１２ ：物体認識部
２０ ：運転監視装置
２１ ：視線カメラ
２２ ：視線認識部
２３ ：運転者認識部
２４ ：警報器
３０ ：作業現場管理装置
３１ ：運転者データベース
３２ ：運転傾向解析部
３３ ：危険判定部

Claims (8)

1. 作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得可能な作業現場撮像部と、
   前記作業現場撮像部により取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識部と、
   前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像部と、
   前記運転者撮像部により取得した視線情報から、前記運転者の視線方向を認識する視線認識部と、
   前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定部と、
   を備え、
   前記作業現場撮像部は前記作業車両の高さよりも高い位置から前記作業現場を撮像し、
   前記危険判定部は、前記視線認識部により認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する、
   作業現場管理システム。
   
2. さらに、
   前記作業車両の運転者を認識し、運転者認識情報を生成する運転者認識部と、
   前記運転者の運転履歴を含む運転者情報を記憶する運転者情報記憶部と、
   前記運転者認識情報と対応する運転者情報を前記運転者情報記憶部から抽出して、抽出した運転者情報に基づき前記運転者の運転傾向を解析する運転傾向解析部と、
   を備え、
   前記危険判定部は、前記運転傾向解析部により解析された前記運転者の運転傾向に応じて前記警報閾値を調整する
   請求項１に記載の作業現場管理システム。
   
3. 前記作業現場撮像部は、前記作業現場の建物、又は建物内の立設物、に設けられる、
   請求項１又は２に記載の作業現場管理システム。
   
4. 前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から、前記作業車両と前記作業者との相対距離に応じた第１安全度を算出し、当該第１安全度が第１警報閾値を下回ると第１警報を行わせる警報情報を生成する、
   請求項１から３のいずれか一項に記載の作業現場管理システム。
   
5. 前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者の移動方向に応じた第２安全度を算出し、当該第２安全度が第２警報閾値を下回ると第２警報を行わせる警報情報を生成する、
   請求項１から４のいずれか一項に記載の作業現場管理システム。
   
6. 前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者とが接触するまでにかかる時間に応じた第３安全度を算出し、当該第３安全度が第３警報閾値を下回ると第３警報を行わせる警報情報を生成する、
   請求項１から５のいずれか一項に記載の作業現場管理システム。
   
7. コンピュータが、
   作業車両の高さよりも高い位置から作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得する作業現場撮像ステップと、
   前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、
   前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、
   前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、
   前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、
   前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップと、
   を実行する作業現場管理方法。
   
8. 作業車両の高さよりも高い位置から作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得する作業現場撮像ステップと、
   前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、
   前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、
   前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、
   前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、
   を備え、
   前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップと、
   をコンピュータに実行させるための作業現場管理プログラム。

Images