JP6613343B1 - 判定装置および判定方法 - Google Patents

Abstract

【課題】不適切な操作が行われたシーンを検出する。【解決手段】判定装置（１）は、フォークリフト（３）の作業の様子を撮影した動画像から所定の操作のシーンを検出するシーン検出部（１０３）と、所定の操作が適切に行われたシーンを撮影した動画像を教師データとした機械学習により生成された学習済みモデルに上記シーンを入力して得た結果に基づいて、所定の操作が適切か判定する操作適否判定部（１０４）とを備えている。【選択図】図１

Description

本発明は、搬送対象物を搬送する搬送車両に対して作業者が行う操作の適否を判定する判定装置等に関する。

フォークリフトなどの搬送車両を操作して行う作業においては、作業の適否が作業者の操作に依存するため、作業者の操作が適切に行われなかったことを検出する技術が求められており、そのような技術の開発も進められている。例えば、下記特許文献１には、作業者が誤った載置部からピッキングを行ったことを検出する技術が記載されている。

特開２０１１−７３８７６号公報

上述の従来技術はピッキング対象の取り違えを防ぐ技術であり、従来、作業の様子を撮影した動画像から不適切な操作が行われたシーンを検出する技術は存在しなかった。しかし、近時、作業現場における人的負担を軽減しつつ、新人などの未熟作業者の作業のチェックや、指導、育成等を行いたいというニーズが高まっている。そのため、作業の様子を撮影した動画像から不適切な操作が行われたシーンを検出する技術が求められている。

本発明の一態様は、作業の様子を撮影した動画像から不適切な操作が行われたシーンを検出することができる判定装置等を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る判定装置は、搬送対象物を搬送する搬送車両を操作して行う作業の様子を撮影した動画像から上記搬送車両に対して所定の操作が行われているシーンを検出するシーン検出部と、上記所定の操作が適切に行われたシーンを撮影した動画像を教師データとした機械学習により生成された学習済みモデルに対して、上記シーン検出部が検出した上記シーンを入力して得られる結果に基づいて、当該シーンにおいて行われた上記所定の操作が適切か否かを判定する操作適否判定部と、を備えている。

また、上記の課題を解決するために、本発明の一態様に係る判定方法は、判定装置による判定方法であって、搬送対象物を搬送する搬送車両を操作して行う作業の様子を撮影した動画像から上記搬送車両に対して所定の操作が行われているシーンを検出するシーン検出ステップと、上記所定の操作が適切に行われたシーンを撮影した動画像を教師データとした機械学習により生成された学習済みモデルに対して、上記シーン検出ステップで検出した上記シーンを入力して得られる結果に基づいて、当該シーンにおいて行われた上記所定の操作が適切か否かを判定する操作適否判定ステップと、を含む。

本発明の一態様によれば、作業の様子を撮影した動画像から不適切な操作が行われたシーンを検出することができる。

本発明の実施形態１に係る判定装置の要部構成の一例を示すブロック図である。 上記判定装置を含む判定システムの概要を示す図である。 フォークリフトを作業者が操作して前進させている様子を示す図である。 ドライブレコーダのカメラにより作業者およびフォークリフトを撮影して得た画像の例を示す図である。 作業者の目線で撮影された画像の例を示す図である。 上記判定装置が実行する処理の一例を示すフローチャートである。 本発明の実施形態２に係る判定システムの概要を示す図である。

〔実施形態１〕
（システム概要）
本実施形態の判定システムの概要を図２に基づいて説明する。図２は、判定システム１００の概要を示す図である。判定システム１００は、搬送対象物を搬送する搬送車両を作業者が操作して行う作業において、搬送車両に対する操作が適切に行われたか否かを判定するシステムである。

図２に示す判定システム１００は、上記の判定を行う判定装置１と、作業の様子を撮影する撮影装置２と、搬送車両の一例であるフォークリフト３とを含む。なお、図２では、搬送車両の例としてフォークリフト３を記載しているが、判定システム１００に含まれる搬送車両は、作業者の操作に従って搬送対象物を搬送する車両であればよく、フォークリフト３に限られない。

図２の例では、作業者Ａがフォークリフト３を操作しており、その様子を撮影装置２が動画像で撮影している。撮影装置２は、フォークリフト３による一連の作業を定点で撮影できるような位置に配置しておけばよい。撮影装置２が撮影した動画像は判定装置１に送信され、判定装置１はこの動画像から、所定の操作が行われているシーンを検出する。そして、判定装置１は、検出した上記シーンにおいて、フォークリフト３に対する上記所定の操作が適切に行われたか否かを判定する。

そして、判定装置１は、操作が適切に行われなかったと判定した場合には、作業者Ａにその旨を通知する。図２の例では、フォークリフト３を介して通知を行っている。つまり、フォークリフト３は、判定装置１と通信する機能と、作業者Ａに情報を通知する機能とを備えている。情報の通知態様は表示による通知であってもよいし、音声による通知であってもよいし、それらの併用であってもよい。

このように、判定システム１００によれば、判定装置１が不適切な操作が行われたシーンを検出することができる。そして、作業者Ａに通知することによって、操作が適切に行われなかったシーンを作業者Ａに認識させることができるので、作業者Ａに当該シーンにおける操作を改善させることができる。

（判定装置の要部構成）
判定装置１の要部構成について図１に基づいて説明する。図１は、判定装置１の要部構成の一例を示すブロック図である。図示のように、判定装置１は、判定装置１の各部を統括して制御する制御部１０と、判定装置１が使用する各種データを記憶する記憶部２０を備えている。さらに、判定装置１は、判定装置１に対する入力操作を受け付ける入力部３０と、判定装置１が情報を出力するための出力部４０と、判定装置１が他の装置と通信するための通信部５０とを備えている。

また、制御部１０には、動画像取得部１０１、学習済みモデル１０２、シーン検出部１０３、操作適否判定部１０４、および通知部１０５が含まれている。そして、記憶部２０には、動画像２０１が記憶されている。動画像２０１は、図２に基づいて説明したように、撮影装置２によりフォークリフト３の作業の様子を撮影することにより生成されたものである。判定装置１は、有線または無線の通信により撮影装置２から取得した動画像を動画像２０１として記憶部２０に記憶しておく。

動画像取得部１０１は、動画像を取得して学習済みモデル１０２に対する入力データを生成する。本実施形態の動画像取得部１０１は、記憶部２０に記憶されている動画像２０１を取得する。入力データに用いる動画像は、学習済みモデル１０２の機械学習用の教師データに用いた動画像と同様の撮影条件で、フォークリフト３とその作業者Ａを撮影したものであることが好ましい。上記撮影条件には、例えば、撮影装置２と、フォークリフト３および作業者Ａとの位置関係、フォークリフト３と作業者Ａの背景、および周囲の明るさ等が含まれる。撮影条件を揃えるため、例えば一連の作業が行われる様子が画角に入る位置に固定された撮影装置２によって撮影した動画像から教師データを生成し、同じ撮影装置２によって撮影した動画像を入力データとすることが好ましい。なお、入力データの生成については後述する。

学習済みモデル１０２は、所定の操作が適切に行われたシーンを撮影した動画像を教師データとした機械学習により生成された学習済みモデルである。動画像取得部１０１が生成した入力データを学習済みモデル１０２に入力すると、学習済みモデル１０２は、入力された動画像を複数のシーンに分類すると共に、該分類の確度を示す情報（本実施形態では確率値）を出力する。学習済みモデル１０２としては、例えば、ＣＮＮ（Convolutional Neural Network）とＲＮＮ（Recurrent Neural Network）、あるいはＣＮＮとＬＳＴＭ（Long Short-Term Memory）を組み合わせた学習済みモデルを用いることが好ましい。ＲＮＮやＬＳＴＭのような時系列データの扱いに適したモデルと、画像認識性能の高いＣＮＮとを組み合わせることにより、動画像の分類を高精度に行うことができる。

シーン検出部１０３は、フォークリフト３を操作して行う作業の様子を撮影した動画像からフォークリフト３に対して所定の操作が行われているシーンを検出する。詳細は後述するが、シーン検出部１０３は、学習済みモデル１０２が出力する確率値に基づいて、学習済みモデル１０２に入力された入力データに係るシーンが、機械学習済みのシーンの何れに該当するかを検出する。

操作適否判定部１０４は、学習済みモデル１０２に対して、シーン検出部１０３が検出したシーンを入力して得られる結果に基づいて、当該シーンにおいて行われた作業者Ａの所定の操作が適切か否かを判定する。具体的には、操作適否判定部１０４は、学習済みモデル１０２の出力データから、作業者Ａの操作手順の適否と、操作内容の適否とを判定する。なお、「操作内容」には、フォークリフト３が受け付けた操作内容（前進、後退、リフトの昇降等）のみならず、操作における作業者Ａの任意の所作および姿勢が含まれる。また、本実施形態の操作適否判定部１０４は、操作手順の適否と、操作内容の適否とを判定するが、これらの判定をそれぞれ別のブロックで行うようにしてもよい。また、操作適否判定部１０４は、操作手順の適否と、操作内容の適否の何れか一方のみを判定してもよい。

通知部１０５は、作業者Ａの操作が適切に行われなかったことを通知する。具体的には、通知部１０５は、通信部５０を介してフォークリフト３と通信し、作業者Ａの操作が適切に行われなかったことをフォークリフト３に通知させる。なお、通知先はフォークリフト３に限られない。例えば、通知部１０５は、作業者Ａの所持する端末装置に通知してもよいし、作業者Ａの作業を管理する管理者の端末装置に通知してもよい。

（学習済みモデルの生成）
本実施形態の学習済みモデル１０２は、所定の操作が適切に行われたか否かの判定を行うことができるように、教師ありの機械学習により生成された学習済みモデルである。以下では、学習済みモデル１０２の生成について説明する。

学習済みモデル１０２の生成には、教師データとして、所定の操作が適切に行われたシーンを撮影した動画像を用いることができる。また、本実施形態の学習済みモデル１０２は、動画像からのシーン検出にも利用される。このため、教師データとして、フォークリフト３による一連の作業を複数のシーンに分けて、各シーンに固有のラベルを付した動画像を用いる。

例えば、フォークリフト３による荷物の荷役作業を判定装置１の判定対象とする場合、荷役作業が適切に行われた様子を撮影した動画像を用いて教師データを生成することができる。具体的には、まず、動画像を複数のシーンに分けて、各シーンに固有のラベルを付与する。各シーンには、作業者Ａが所定の操作を行う様子が写っていればよい。例えば、「フォークリフト３を荷物に接近させる」シーン、「フォーク（爪）の高さを調整する」シーン、「フォークをフォークポケットに差し込む」シーン等のそれぞれにラベルを付与してもよい。ラベル付与の対象とするシーンは任意であるが、特に、フォークリフト３を適切に操作できる作業者（例えばベテラン作業者）と、不適切な操作を行いがちな作業者（例えば新人作業者）とで操作内容に差が生じやすいシーンはラベル付与しておくことが好ましい。

ラベルが付与された動画像は、荷役作業が適切に行われた様子を撮影したものであるから、ラベル付与された各シーンは、そのシーンにおける適切な操作を示すものとなる。複数の動画像を用いてこのような教師データをそれぞれ生成し、生成した教師データを用いて機械学習を行うことにより学習済みモデル１０２を生成することができる。

（シーン検出について）
学習済みモデル１０２の出力を用いたシーン検出について説明する。上記のような機械学習により生成した学習済みモデル１０２に動画像を入力することにより、入力された動画像に写るシーンが、ラベル付与された各シーンに該当する確率がそれぞれ出力される。シーン検出部１０３は、この確率の値に基づいて撮影された動画像から所定のシーンを検出する。

具体的には、記憶部２０に記憶されている動画像２０１は、撮影が進むにつれて更新されてより長時間の動画像となるので、動画像取得部１０１は、学習済みモデル１０２に入力する動画像２０１の範囲を撮影の進行に合わせて変更する。例えば、動画像取得部１０１は、撮影開始時刻ｔ_０から時刻ｔ_１までの範囲の動画像２０１を学習済みモデル１０２に入力した後、撮影時間が所定時間Δｔだけ進行したときに時刻ｔ_０から時刻ｔ_０＋Δｔまでの動画像２０１を学習済みモデル１０２に入力してもよい。このように、所定時間ずつ範囲を増やすことにより、各範囲における各ラベルの確率の値が学習済みモデル１０２から出力される。

そして、シーン検出部１０３は、学習済みモデル１０２から出力される各シーンの確率のうち値が最大のシーンが、学習済みモデル１０２に入力された動画像２０１に写るシーンであると判定する。また、シーン検出部１０３は、そのシーンに該当する確率が最大となる動画像２０１の範囲を、そのシーンが写る範囲であると検出する。

例えば、一連の作業を撮影した動画像２０１のうち、時刻ｔ_０からｔ_１に撮影された範囲に、フォークリフト３を荷物に接近させる操作が撮影されていたとする。この場合、学習済みモデル１０２に入力する動画像２０１の範囲が時刻ｔ_０からｔ_１に近付くにつれて、「フォークリフトを荷物に接近させる」シーンである確率は大きくなり、その確率は、全シーン中で最大の値となる。そして、学習済みモデル１０２に入力する動画像２０１の範囲の末尾がｔ_１を超えると、「フォークリフトを荷物に接近させる」シーンである確率は下がり始める。

よって、シーン検出部１０３は、動画像２０１のうち開始時刻が何れもｔ_０であり、終了時刻が所定時間ずつ長くなる範囲をそれぞれ学習済みモデル１０２に入力して得られる出力に基づいて、「フォークリフトを荷物に接近させる」シーンを検出することができる。また、シーン検出部１０３は、同様にして他のシーンも検出することができる。

（操作適否判定について）
フォークリフト３を用いた作業においては操作手順が決まっているから、正しい手順で作業が行われた場合、所定の順序で所定のシーンが検出される。このため、操作適否判定部１０４は、シーン検出部１０３の検出結果から、正しい手順で作業が行われているか判定する。なお、正しい手順（シーンの正しい検出順）は、例えば学習済みモデル１０２の教師データを生成する際に特定することができる。

例えば、正しい手順が「荷物をフォークで引き出し」、「フォークを手前側に傾け」、「搬送する」という手順であったとする。この場合に、「荷物をフォークで引き出す」シーンが検出された直後に「搬送する」シーンが検出されたときには、操作適否判定部１０４は、誤った手順である（フォークを傾ける操作が抜けている）と判定する。

また、操作適否判定部１０４は、手順が正しいと判定した場合、操作内容が適切か否かについても判定する。これについて図３に基づいて説明する。図３は、フォークリフト３を作業者Ａが操作して前進させている様子を示す図である。図３のような画像は、例えばフォークリフト３による作業が行われる位置（積み降ろしの対象となる荷物の付近など）が画角に入るように位置固定された撮影装置２によって撮影することができる。

一般的な立ち乗りのフォークリフト３を前進させる操作を行う場合、図３の（ａ）に示すように、作業者Ａはフォークリフト３の正面方向（フォークが延びている方向）に対して、身体を斜めに向けることが好ましい。図３の（ｂ）に示すような、作業者Ａの身体がフォークリフト３の正面方向を向き、作業者Ａが操作レバーに正対した状態での操作は、図３の（ａ）の状態での操作と比べて方向転換や後進が行いにくく、作業者Ａを疲労させやすいためである。このため、上述の教師データには、図３の（ａ）のような姿勢で作業が行われた動画像を用いる。

ここで、図３の（ａ）のような姿勢で作業が行われた動画像を教師データとして機械学習した学習済みモデル１０２に対し、正しい姿勢でフォークリフト３を前進させる操作を行った様子を撮影した動画像を入力した場合、学習済みモデル１０２の出力する確率の値は高くなる。一方、図３の（ｂ）のような姿勢でフォークリフト３を前進させる操作を行った様子を撮影した動画像を入力した場合、学習済みモデル１０２の出力する確率の値はより低い値となる。

このように、学習済みモデル１０２の出力する確率の値の高低は、操作内容の適否を反映したものとなる。よって、操作適否判定部１０４は、学習済みモデル１０２の出力する確率に基づいて操作内容が適切な否かを判定することができる。具体的には、操作適否判定部１０４は、シーン検出部１０３が検出したシーンの確率の値が閾値以上であれば操作内容が適切であると判定し、閾値未満であれば操作内容は不適であると判定する。

（画像の他の例）
図３には、フォークリフト３を側方から見た様子を示したが、教師データおよび学習済みモデル１０２への入力に用いる動画像は、作業の様子が認識できるようなものであればよく、フォークリフト３の側方から撮影したものに限られない。例えば、図４や図５に示すような画像を教師データおよび学習済みモデル１０２への入力に用いてもよい。

図４は、ドライブレコーダのカメラにより作業者Ａおよびフォークリフト３を撮影して得た動画像から切り出したフレーム画像の例を示している。この画像は、フォークリフト３に搭載されたドライブレコーダのカメラにより作業者Ａおよびフォークリフト３を直上から撮影したものであるから、作業者Ａの手元の動きや顔の向き等が認識しやすい。また、ドライブレコーダの画像を流用しているため、判定装置１が必要な動画像を取得するための撮影装置（例えば図２の撮影装置２のようなもの）を設ける必要がなく、フォークリフト３がどこに移動しても撮影が継続できるという利点もある。

図５は、作業者Ａの目線で撮影された動画像から切り出したフレーム画像の例を示している。図５の（ａ）では、フォークリフト３のフォークが下降位置にあり、フォークの先端が画像中央よりもやや下方に位置している。また、図５の（ｂ）では、フォークリフト３のフォークが上昇位置にあり、フォークの先端は図５の（ａ）と同様に画像中央よりもやや下方に位置している。

そして、図５の（ｃ）は、パレットＰのフォークポケットにフォークを差し込む様子を撮影した画像である。なお、パレットＰは、荷物を格納・運搬するための荷台である。また、フォークポケットは、フォークの挿入孔である。図５の（ｃ）では、フォークの位置合わせのためにフォークリフト３が照射したレーザ光がパレットＰに投影された線Ｌが現れている。そして、線Ｌは、画像中央よりもやや下方に位置している。また、図５の（ｃ）では、フォークを真後ろからではなく、斜め後方から見ている。

以上のように、作業者Ａの目線で撮影された動画像からは、作業者Ａがどこを注視しているかを認識することができる。よって、作業者Ａの目線で撮影された動画像を用いる場合、操作時に正しい位置を注視しているか否かを判定することができる。図５のような作業者目線の画像は、例えば作業者Ａの頭部にカメラを固定することによって撮影することができる。また、眼鏡型のウェアラブル機器を作業者Ａに装着させて撮影することもできる。

（処理の流れ）
判定装置１が実行する処理の流れを図６に基づいて説明する。図６は、判定装置１が実行する処理（判定方法）の一例を示すフローチャートである。なお、図２の例のように、撮影装置２が撮影した、作業者Ａがフォークリフト３を操作する様子を撮影した動画像は判定装置１に送信され、記憶部２０に動画像２０１として記録される。

Ｓ１では、動画像取得部１０１が、上記のようにして記憶部２０に記録された動画像２０１の取得を開始する。そして、Ｓ２では、動画像取得部１０１が、Ｓ１で取得開始した動画像２０１を学習済みモデル１０２に入力し、学習済みモデル１０２は入力された動画像２０１が各シーンに該当する確率を出力する。

Ｓ３（シーン検出ステップ）では、シーン検出部１０３が、学習済みモデル１０２の出力値に基づいてシーン検出を行う。なお、シーン検出の方法については上記「シーン検出について」で説明したとおりであるからここでは説明を繰り返さない。また、以下のＳ４、Ｓ５の詳細についても上記「操作適否判定について」で説明したとおりであるからここでは説明を繰り返さない。

Ｓ４（操作適否判定ステップ）では、操作適否判定部１０４は、作業者Ａの操作手順が適切であるか否かを判定する。ここで、操作適否判定部１０４が、操作手順が適切であると判定した場合（Ｓ４でＹＥＳ）、処理はＳ５に進む。一方、操作適否判定部１０４が、操作手順が適切ではないと判定した場合（Ｓ４でＮＯ）、処理はＳ６に進む。

Ｓ５（操作適否判定ステップ）では、操作適否判定部１０４は、作業者Ａの操作内容が適切であるか否かを判定する。ここで、操作適否判定部１０４が、操作内容が適切であると判定した場合（Ｓ５でＹＥＳ）、処理はＳ７に進む。一方、操作適否判定部１０４が、操作内容が適切ではないと判定した場合（Ｓ５でＮＯ）、処理はＳ６に進む。

Ｓ６では、通知部１０５が、作業者Ａへの通知を行う。具体的には、通知部１０５は、通信部５０を介してフォークリフト３に命令を送信し、操作手順または操作内容が適切ではなかったことを作業者Ａに通知させる。なお、通知部１０５は、Ｓ４でＮＯと判定されていた場合には操作手順が誤りであったことを作業者Ａに通知させ、Ｓ５でＮＯと判定されていた場合には操作内容が誤りであったことを作業者Ａに通知させる。フォークリフト３による報知の態様は特に限定されず、例えばフォークリフト３がスピーカ等の出力装置を備えている場合にはその出力装置により報知してもよい。また、例えば、例えばフォークリフト３が表示装置を備えている場合にはその表示装置により報知してもよい。

また、通知部１０５は、フォークリフト３が表示装置を備えている場合には、Ｓ３で検出されたシーンについて、正しい操作が行われたときの動画像（例えば教師データに用いた動画像）をフォークリフト３に送信して、上記表示装置に表示させてもよい。さらに、通知部１０５は、作業者Ａの操作の様子を撮影した動画像を、正しい操作が行われたときの上記動画像と共に表示させてもよい。これにより、作業者Ａは、自身の操作内容と、正しい操作内容とを一目で対比することができるので、改善すべきポイントを容易に認識することができる。また、この場合、作業者Ａが改善すべきポイントである、作業者Ａの操作内容と正しい操作内容との相違点を、画像上で強調表示してもよい。

Ｓ７では、シーン検出部１０３が、作業者Ａの操作が終了したか否かを判定する。具体的には、シーン検出部１０３は、１つの作業を構成する一連のシーンの全てを検出していれば操作が終了したと判定し、未検出のシーンがあれば操作は終了していないと判定する。ここで、シーン検出部１０３が操作は終了したと判定した場合（Ｓ７でＹＥＳ）には、図示の処理は終了する。一方、シーン検出部１０３が操作は終了していないと判定した場合（Ｓ７でＮＯ）には処理はＳ２に戻る。

なお、図６の例では、不適切な操作があったときに通知を行っているが、適切な操作が行われている期間に通知を行ってもよい。例えば、フォークリフト３が表示装置を備えている場合には、通知部１０５は、適切な操作が行われている期間には、その旨を示す情報を上記表示装置に表示させてもよい。例えば、通知部１０５は、適切な操作が行われている期間には、表示装置に青や緑色の文字や図形、記号等を表示させ、不適切な操作が行われたときにその文字や図形、記号等を変更させると共に、その表示色を黄色や赤に変更させてもよい。また、上記文字は、学習済みモデル１０２が出力した確率値としてもよい。この場合、作業者Ａは確率値が下がらないように意識しながら作業することになるので、注意力を維持した状態で作業を進めさせることができる。

また、図６の例では、作業者Ａを撮影しつつ不適切な操作の有無を判定しているが、作業の終了後に不適切な操作の有無を判定してもよい。この場合、作業者Ａには作業終了後に各シーンの操作内容の適否をフィードバックすればよい。

（実施形態１のまとめ）
以上のように、本実施形態のシーン検出部１０３は、フォークリフト３を操作して行う作業の様子を撮影した動画像から所定の操作が行われているシーンを検出する。そして、操作適否判定部１０４は、学習済みモデル１０２に対して、シーン検出部１０３が検出した上記シーンを入力して得られる結果に基づいて、当該シーンにおいて行われた上記所定の操作が適切か否かを判定する。なお、学習済みモデル１０２は、上記所定の操作が適切に行われたシーンを撮影した動画像を教師データとした機械学習により生成された学習済みモデルである。よって、本実施形態の判定装置１によれば、作業の様子を撮影した動画像から不適切な操作が行われたシーンを検出することができる。

また、本実施形態の学習済みモデル１０２は、所定の操作が適切に行われた作業の様子を撮影した動画像であって、各シーンが分類済みの動画像を教師データとした機械学習により生成されたものである。そして、上記学習済みモデル１０２は、上記学習済みモデルに入力された動画像を複数のシーンに分類すると共に、該分類の確度を示す確率値を出力する。また、シーン検出部１０３は、上記確率値に基づいて学習済みモデル１０２に入力されたシーンが学習済みの複数のシーンの何れに該当するかを検出する。さらに、操作適否判定部１０４は、上記確率値が所定の閾値未満であった場合に、所定の操作は適切ではないと判定する。よって、作業の様子を撮影した動画像２０１と、１つの学習済みモデル１０２とを用いてシーン検出と操作適否の判定の両方を行うことができる。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。本実施形態の判定システム１００は、シーン検出の方法が実施形態１と異なっている。これについて、図７に基づいて説明する。図７は、本発明の実施形態２に係る判定システム１００の概要を示す図である。

図７に示すように、本実施形態の判定システム１００では、フォークリフト３の動作状況を示すセンシングデータが判定装置１に入力される。そして、判定装置１のシーン検出部１０３は、上記センシングデータを用いてシーン検出を行う。

使用するセンシングデータは、シーンを特定するために必要な情報を含むものであればよい。例えば、上記センシングデータは、フォークリフト３に設けた加速度センサで検知した加速度データであってもよい。この場合、シーン検出部１０３は、加速度センサから取得した加速度データから、各シーンに特有の加速度の変動パターンを検出する。例えば、「フォークリフトを荷物に接近させる」シーンの場合、フォークリフト３は荷物に向かって加速した後、荷物付近で減速して停止する。このため、シーン検出部１０３は、加速、減速、停止という加速度の変動パターンから、「フォークリフトを荷物に接近させる」シーンを検出することができる。

また、シーン検出部１０３は、複数種類のデータを用いてシーン検出を行ってもよい。例えば、フォークリフト３に荷物との距離を計測する距離センサを設ければ、「フォークリフトを荷物に接近させる」シーンをより確実に検出することができる。この他にも、例えばフォークリフト３が受け付けた操作内容（前進、後退、リフトの昇降等の操作の内容）を示す情報を、例えばフォークリフト３から受信する等によって取得し、そのような情報を用いてシーン検出を行うこともできる。

なお、本実施形態の判定システム１００では、シーン検出部１０３によるシーン検出後、そのシーンの動画像２０１を動画像取得部１０１が学習済みモデル１０２に入力し、出力データを得る。そして、操作適否判定部１０４は、上記出力データにおいて最も高い確率値となったシーンが何れのシーンであるかによって、操作手順の適否を判定する。また、操作適否判定部１０４は、操作手順が正しい場合、上記確率値が閾値以上であるか否かを判定し、閾値以上であれば操作内容が適切、閾値未満であれば操作内容が不適切と判定する。

（実施形態２のまとめ）
以上のように、本実施形態のシーン検出部１０３は、フォークリフト３が操作されたときの当該フォークリフト３の動作状況を示すデータを用いてシーンを検出する。このように、動作状況を示すデータを用いたシーン検出と、学習済みモデルを用いた適否判定という異なる技術要素を組み合わせたことによって、より信頼性の高い判定を行うことが可能になる。例えば、入力された動画像２０１の一部にノイズが含まれており、動画像２０１に基づく判定の精度が落ちている期間についても、センシングデータ等を用いたシーン検出は問題なく行うことができる。よって、そのシーンについては適否判定をスキップする等の処理を採用して、信頼性の低い判定結果を出力しないようにすることもできる。

〔分散処理について〕
上記各実施形態で説明した判定装置１の実行する処理の一部は、判定装置１と通信接続された１または複数の装置に実行させてもよい。例えば、学習済みモデル１０２の実行する処理を、判定装置１と通信接続されたＡＩサーバに実行させてもよい。この場合、判定装置１は、動画像２０１から入力データを生成してＡＩサーバに送信し、該ＡＩサーバから出力データを受信してシーン検出や操作適否の判定を行う。

〔入力データについて〕
学習済みモデル１０２に対する入力データとしては、動画像２０１をそのまま用いてもよいし、動画像２０１に対して所定の処理を施したものを用いてもよい。上記所定の処理は、各シーンの特徴点を失わせることなく、特徴点と関係のない情報を減らすことができるものであればよい。例えば、動画像２０１がカラー画像であれば、グレースケール化して入力データとしてもよい。また、動画像２０１において、動きのある領域のみを抽出して入力データとしてもよい。

さらに、例えば動画像２０１に写る対象物の中からフォークリフト３とその作業者Ａを検出し、検出したフォークリフト３とその作業者Ａが写る領域のみを入力データとしてもよい。これにより、フォークリフト３とその作業者Ａの背景の影響を排除することができるので、判定精度を高めることができる。なお、フォークリフト３とその作業者Ａの検出には、例えばＣＮＮ等の学習済みモデルを用いることができる。

〔変形例〕
上記各実施形態では、適切に行われた作業の様子を撮影した動画像を教師データとした機械学習で学習済みモデルを生成する例を説明したが、教師データは、操作内容が不適切であったときの作業の様子を撮影した動画像としてもよい。この場合、操作内容の適否の判定においては、不適切な操作内容に該当する確率が所定の閾値以上であれば、操作内容が不適切であると判定する。

例えば、荷物の積み下ろし時に荷崩れを発生させてしまったときの作業の様子を撮影した動画像を教師データとして学習済みモデルを生成したとする。この場合、荷物の積み下ろしシーンにおいて、上記学習済みモデルの出力する確率、すなわち当該シーンが荷崩れを発生させたときの操作内容と同様の操作内容である確率が閾値以上であれば、荷崩れの発生可能性が高い操作が行われたと判定することができる。

この他にも、例えば荷物の搬送時に人や物に衝突したときの様子を撮影した動画像や、フォークをフォークポケットに挿入しようとして、誤って荷物やパレットにフォークが衝突したときの動画像などを用いてもよい。これにより、荷物の搬送シーンやフォークをフォークポケットに挿入するシーンにおいて、事故などの発生可能性が高い不適切な操作が行われたか否かを判定することができる。

〔ソフトウェアによる実現例〕
判定装置１の制御ブロック（特に制御部１０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、判定装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 判定装置
１０２ 学習済みモデル
１０３ シーン検出部
１０４ 操作適否判定部

Claims (4)

1. 搬送対象物を搬送する搬送車両を操作して行う作業の様子を撮影した動画像における、上記搬送車両に対して所定の操作が行われているシーンを検出するシーン検出部と、
   上記所定の操作が適切に行われたシーンを撮影した動画像を教師データとした機械学習により生成された学習済みモデルに対して、上記シーン検出部が検出した上記シーンの動画像を入力して得られる結果に基づいて、当該シーンにおいて行われた上記所定の操作が適切か否かを判定する操作適否判定部と、を備え、
   上記学習済みモデルは、上記所定の操作が適切に行われた上記作業の様子を撮影した動画像であって、各シーンが分類済みの動画像を教師データとした機械学習により生成されたものであって、当該学習済みモデルに入力された動画像を複数のシーンに分類すると共に、該分類の確度を示す情報を出力するものであり、
   上記操作適否判定部は、複数の上記シーンのそれぞれについて出力された上記分類の確度のうち、上記シーン検出部が検出したシーンの上記分類の確度が所定の閾値未満であった場合に、上記所定の操作は適切ではないと判定することを特徴とする判定装置。
2. 搬送対象物を搬送する搬送車両を操作して行う作業の様子を撮影した動画像から上記搬送車両に対して所定の操作が行われているシーンを検出するシーン検出部と、
   上記所定の操作が適切に行われたシーンを撮影した動画像を教師データとした機械学習により生成された学習済みモデルに対して、上記シーン検出部が検出した上記シーンを入力して得られる結果に基づいて、当該シーンにおいて行われた上記所定の操作が適切か否かを判定する操作適否判定部と、を備え、
   上記学習済みモデルは、上記所定の操作が適切に行われた上記作業の様子を撮影した動画像であって、各シーンが分類済みの動画像を教師データとした機械学習により生成されたものであって、当該学習済みモデルに入力された動画像を複数のシーンに分類すると共に、該分類の確度を示す情報を出力するものであり、
   上記シーン検出部は、上記分類の確度に基づいて上記学習済みモデルに入力されたシーンが上記複数のシーンの何れに該当するかを検出し、
   上記操作適否判定部は、複数の上記シーンのそれぞれについて出力された上記分類の確度のうち、上記シーン検出部が検出したシーンの上記分類の確度が所定の閾値未満であった場合に、上記所定の操作は適切ではないと判定することを特徴とする判定装置。
3. 上記シーン検出部は、上記搬送車両が操作されたときの当該搬送車両の動作状況を示すデータを用いて上記シーンを検出する、
   ことを特徴とする請求項１に記載の判定装置。
4. 判定装置による判定方法であって、
   搬送対象物を搬送する搬送車両を操作して行う作業の様子を撮影した動画像における、上記搬送車両に対して所定の操作が行われているシーンを検出するシーン検出ステップと、
   上記所定の操作が適切に行われたシーンを撮影した動画像を教師データとした機械学習により生成された学習済みモデルに対して、上記シーン検出ステップで検出した上記シーンの動画像を入力して得られる結果に基づいて、当該シーンにおいて行われた上記所定の操作が適切か否かを判定する操作適否判定ステップと、を含み、
   上記学習済みモデルは、上記所定の操作が適切に行われた上記作業の様子を撮影した動画像であって、各シーンが分類済みの動画像を教師データとした機械学習により生成されたものであって、当該学習済みモデルに入力された動画像を複数のシーンに分類すると共に、該分類の確度を示す情報を出力するものであり、
   上記操作適否判定ステップでは、複数の上記シーンのそれぞれについて出力された上記分類の確度のうち、上記シーン検出ステップにて検出したシーンの上記分類の確度が所定の閾値未満であった場合に、上記所定の操作は適切ではないと判定することを特徴とする判定方法。