JP6912513B2 - 表示システム、機械学習装置、及び表示装置 - Google Patents

Description

本発明は、表示システム、機械学習装置、及び表示装置に関し、特に作業を支援する表示システム、機械学習装置、及び表示装置に関する。

人による作業（例えば組立作業、検査作業、洗浄作業、梱包作業、事務作業等）の際に作業者の見落とし等によって、組立不良、検査ミス、洗浄不足、梱包忘れ、誤字等の作業ミスが発生することがある。そこで、作業手順を表示することによって作業ミスを軽減する技術が公知である。

特許文献１には、外景画像を画像認識することによって現在の手順を推定し、指示内容を表す文字列や使用者が実施すべき内容を表す画像を表示する頭部装着型表示装置が開示されている。

特許文献２には、作業を登録した標準データと、取得した作業データとの差異が閾値以上である場合に、作業の修正に関する指示画像を現実空間に重畳して表示する情報処理システムが開示されている。

特許文献３には、速度センサの出力及び撮像部の出力を用いてユーザの作業を同定する作業認識装置が開示されている。

特許文献４には、作業者のスキルレベルに応じて提供する作業手順情報を決定する内視鏡洗浄管理システムが開示されている。

特開２０１４−１５５２０７号公報 特許第６２２４８７３号公報 国際公開第２０１０／１４３３６１号 特開２０１７−１３１３３５号公報

作業手順、作業結果等の正常作業を作業前に表示することによって、特に未熟な作業者の作業ミスは低減する。しかし、正常作業の表示は、熟練した作業者にとって煩わしく、邪魔であり、作業効率を低下させる。一方、熟練した作業者であっても、複雑な作業、作業時間が長い作業、勤務時間又は勤務日数の度合い等に依存して作業ミスが発生することもある。

そこで、正常作業の表示タイミングを制御する技術が求められている。

本開示の一態様は、少なくとも作業内容を含む状態データを取得する状態取得部と、状態データを取得したときの作業が異常であるか否かを表すラベルデータを取得するラベル取得部と、状態データ及びラベルデータに基づいて、行うべき作業が異常になり易いか否かを判定するための閾値を算出する閾値算出部と、閾値に基づいて正常作業の表示タイミングを制御する表示制御部と、表示タイミングに従って正常作業を表示する１つ又は複数の表示部と、を備える、表示システムを提供する。
本開示の他の態様は、少なくとも作業内容を含む状態データを取得する状態取得部と、状態データを取得したときの作業が異常であるか否かを表すラベルデータを取得するラベル取得部と、状態データ及びラベルデータに基づいて、行うべき作業が異常になり易いか否かを判定するための閾値を算出する閾値算出部と、を備え、閾値は、状態データ及びラベルデータを教師データとして学習モデルに基づき更新され、正常作業の表示タイミングの制御に用いられる、機械学習装置を提供する。
本開示の別の態様は、少なくとも作業内容を含む状態データを取得する状態取得部と、状態データを取得したときの作業が異常であるか否かを表すラベルデータを取得するラベル取得部と、状態データ及びラベルデータに基づいて、行うべき作業が異常になり易いか否かを判定するための閾値を算出する閾値算出部と、閾値に基づいて正常作業の表示タイミングを制御する表示制御部と、表示タイミングに従って正常作業を表示する表示部と、を備える、表示装置を提供する。

本開示によれば、状態データ及びラベルデータを取得する度に、閾値が更新されるため、行うべき作業が異常になり易いか否かの予測精度が経時的に向上していく。斯かる閾値により、正常作業の表示タイミングが制御されるため、正常作業の表示が作業者にとって邪魔になることなく作業ミスを低減できる。

一実施形態における表示システムのブロック図である。 他の実施形態における表示装置のブロック図である。 別の実施形態における表示システムのブロック図である。 表示システム又は表示装置の動作の一例を示すフローチャートである。

以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。

図１は、本実施形態における表示システム１のブロック図である。図１には、作業を行う環境１０と、環境１０に配置される作業対象１１と、作業対象１１に対して既定の作業を行う作業者１２と、が示されている。作業は、例えば組立作業、検査作業、洗浄作業、梱包作業、事務作業等を含む。表示システム１は、斯かる作業を支援する情報を表示する機能を有している。

表示システム１は、機械学習装置２０及び表示装置３０を備えている。機械学習装置２０及び表示装置３０は、有線又は無線のネットワーク等を介して通信可能に接続される。機械学習装置２０は、ＰＣ（personal computer）、サーバ等として構成される。一方、表示装置３０は、環境１０の中に配置されるラップトップ、ＰＤＡ（personal digital assistant）、スマートフォン、ウェアラブルデバイス等として構成される。表示システム１は、複数の表示装置３０を備えてもよく、この場合、表示装置３０の各々が同一環境又は別環境に配置される。

表示システム１は、第１プロセッサ２１、第２プロセッサ３１、及び表示部３３を備えていてもよい。第１プロセッサ２１及び第２プロセッサ３１は、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field programmable gate array）、ＣＰＵ（central processing unit）等の公知のプロセッサとして構成される。第１プロセッサ２１は、環境１０から取得した種々のデータに基づいて作業が異常になり易いか否かを判定するための閾値を算出する機能を有する。第２プロセッサ３１は、閾値に基づいて正常作業の表示タイミングを制御する機能を有する。また、第２プロセッサ３１は、作業対象１１が正常品であるか否かを判定する機能、作業対象１１の不良箇所を表示して交換を指示する機能、及び、作業が正常であったか否かを判定する機能を有していてもよい。

機械学習装置２０は、第１プロセッサ２１を備えていてもよい。第１プロセッサ２１は、状態取得部２２、ラベル取得部２３、及び閾値算出部２４を備えていてもよい。状態取得部２２、ラベル取得部２３、及び閾値算出部２４は、ＣＰＵによって実行可能なプログラムとして構成することも可能である。状態取得部２２は、状態データを環境１０から取得する。状態データは、作業状態を表すデータであり、少なくとも作業内容を含む。また、状態データは、作業者情報、作業時間の長さ、及び作業日時の少なくとも１つを含んでいてもよい。以下では、各情報の定義及び取得方法を説明する。

「作業内容」は、どのような作業を行っているかを表す情報として定義される。例えば作業内容は、作業種別コード、作業難易度等を含む。作業内容は、例えばカメラ、バーコードリーダ等のデバイスを用いて特定される。デバイスは、表示装置３０に設けたものでもよいし、又は別個に設けたものでもよい（後述する「デバイス」についても同様。）。作業内容は、例えば作業対象１１のＩＤ又は画像に基づき特定してもよい。例えば部品Ａ及び部品Ｂを部品Ｃに組付ける組立作業の場合、部品Ａ、部品Ｂ、及び部品Ｃの３つのＩＤを基準データと照合することによって作業内容が特定される。また、作業内容は、作業が正常であったか否かの判定に用いてもよい。

「作業者情報」は、作業を行う作業者１２の熟練度を表す情報として定義される。例えば作業者情報は、作業者ＩＤ、年齢、勤務年数、作業年数等を含む。作業者情報は、例えば環境１０への入退室権限、表示装置３０へのアクセス権限を検証する際に入力される作業者１２のＩＤに基づき特定される。

「作業時間の長さ」は、作業開始から作業終了までに掛かった時間間隔を表す情報として定義される。作業時間の長さは、例えばカメラ、バーコードリーダ、内部時計等のデバイスを用いて特定される。作業開始時刻は、作業対象１１のＩＤを取得した時刻でもよいし、表示装置３０の電源を投入した時刻でもよいし、又は作業者１２が表示装置３０に作業開始を入力した時刻でもよい。作業終了時刻は、作業対象１１に付与される作業終了印の画像を取得した時刻でもよいし、表示装置３０の電源を切った時刻でもよいし、又は作業者１２が表示装置３０に作業終了を入力した時刻でもよい。

「作業日時」は、作業を行った日付、時刻、及び曜日を表す情報として定義される。例えば作業日時は、作業開始日時でもよいし、作業終了日時でもよいし、又は作業開始日時と作業終了日時との間の中間の日時でもよい。作業日時は、例えばカメラ、バーコードリーダ、内部時計等のデバイスを用いて特定される。一定以上の勤務時間、一定以上の勤務日数等になると、作業の正確性が損なわれることがあるため、作業日時を状態データとして取得することが望ましい。

ラベル取得部２３は、ラベルデータを環境１０から取得する。ラベルデータは、状態データを取得したときの作業が異常であるか否かを表すデータである。ラベルデータは正解を示すデータであり、ラベルデータが正常作業を表す場合、作業が正常であったことが真であり、ラベルデータが異常作業を表す場合、作業が異常であったことが真である。ラベルデータは、例えばカメラ、バーコードリーダ等のデバイスを用いて特定される。ラベルデータは、例えば作業対象１１のＩＤ、画像等に基づき特定される。例えば部品Ａ及び部品Ｂを配線Ｄで接続する組立作業の場合、部品Ａ、部品Ｂ、及び配線Ｄの３つのＩＤ及び組立後の作業対象１１の画像を、基準データと照合することによってラベルデータが特定される。

閾値算出部２４は、状態データ及びラベルデータに基づいて作業が異常になり易いか否かを判定するための閾値を算出する。閾値は、機械学習、特に教師あり学習を用いて学習される。即ち、閾値は、状態データ及びラベルデータを教師データとして学習モデル２５に基づき更新される。学習モデル２５は複数の表示部３３の間で共有されてもよい。状態データ及びラベルデータを取得する度に、閾値が増減されるため、行うべき作業が異常になり易いか否かの予測精度が経時的に向上していく。但し、他の実施形態では、回帰分析等の公知の手法を用いて学習せずに閾値を算出してもよい。

表示装置３０は、第２プロセッサ３１及び表示部３３を備えていてもよい。第２プロセッサ３１は表示制御部３２を備えていてもよい。表示制御部３２はＣＰＵによって実行可能なプログラムとして構成されてもよい。表示制御部３２は、前述の閾値に基づいて正常作業の表示タイミングを制御する機能を有する。「正常作業」は、正常な作業手順でもよいし又は正常な作業結果でもよい。表示部３３は、液晶ディスプレイ、タッチパネルディスプレイ等の公知の表示ディスプレイとして構成される。表示部３３は、表示制御部３２の指令に従って作業を支援する情報を表示し、特に表示制御部３２の表示タイミングに従って正常作業を表示する。表示部３３は、拡張現実機器として構成されてもよく、この場合、正常作業を現実空間の画像に重畳して表示する。

図２は、他の実施形態における表示装置４０のブロック図である。表示装置４０は、前述の機械学習装置２０の機能を兼ね備えており、スタンドアロンとして動作する。表示装置４０は、プロセッサ４１及び表示部３３を備えている。プロセッサ４１は、ＡＳＩＣ、ＦＰＧＡ、ＣＰＵ等の公知のプロセッサとして構成される。プロセッサ４１は、環境１０から取得した種々のデータに基づいて作業が異常になり易いか否かを判定するための閾値を算出する機能と、閾値に基づいて正常作業の表示タイミングを制御する機能と、を兼ね備えている。プロセッサ４１は、前述の状態取得部２２、ラベル取得部２３、閾値算出部２４、及び表示制御部３２を備えている。状態取得部２２、ラベル取得部２３、閾値算出部２４、及び表示制御部３２は、ＣＰＵによって実行可能なプログラムとして構成されてもよい。

図３は、別の実施形態における表示システム１の構成図である。例えば環境１０ａ−１０ｃのように、環境は１つだけでなく複数あってもよい。また、前述の機械学習装置は、環境１０ａ−１０ｃ毎に個別に存在してもよいし、又はネットワーク上に１つ存在してもよい。即ち、機械学習装置は、環境１０ａ−１０ｃの中に又はその近傍に配置されるローカルサーバ２０ａ−２０ｃとして構成してもよいし、或いは環境１０ａ−１０ｃから離れた遠隔地に配置されるクラウドサーバ２０ｄとして構成してもよい。さらに、前述の状態取得部、ラベル取得部、及び閾値算出部は、ローカルサーバ２０ａ−２０ｃ上に配置されてもよいし、又はネットワーク上のクラウドサーバ２０ｄ上に配置されてもよい。加えて、前述の学習モデルは、作業毎にモデル化してネットワーク上で共有されてもよい。

ここで学習モデル２５の一例について説明する。式１は、異常作業フラグＦと状態データＡ、Ｂ、Ｃ、Ｄとの関係をモデル化した関数の一例である。異常作業フラグＦは、行うべき作業が異常になり易いか否かを表す。状態データＡ、Ｂ、Ｃ、Ｄは夫々、前述の作業内容、作業者情報、作業時間の長さ、及び作業日時を表す。ａ０、ｂ０、ｃ０、ｄ０は夫々、作業内容の重み、作業者情報の重み、作業時間の長さの重み、作業日時の重みを表す。これら重みの初期値は、状態データ等が一定以上蓄積された後に回帰分析等によって求められる。式１は、状態データから異常作業フラグを予測する線形関数であるが、非線形関数としてモデル化してもよい。また、式１の右辺に定数ｅ０を追加してもよい。

式２は、ラベルデータの重みｌ１、ｌ２と、状態データの重みａ０、ｂ０、ｃ０、ｄ０との関係をモデル化した関数の一例である。ラベルデータの重みｌ１は正常作業ラベルデータＬ１の重みを表し、ラベルデータの重みｌ２は異常作業ラベルデータＬ２の重みを表す。ａ１、ｂ１、ｃ１、ｄ１は夫々、Ｌ１取得時の状態データの重みを表し、ａ２、ｂ２、ｃ２、ｄ２は夫々、Ｌ２取得時の状態データの重みを表す。

式３は、Ｌ１取得時及びＬ２取得時の異常作業フラグＦと閾値Ｘとの関係をモデル化した関数である。Ｙは前回ラベルデータを取得したときの閾値を表し、Ｙの初期値は０でよい。式３に示す通り、Ｌ１取得時には閾値Ｘが増加され、Ｌ２取得時には閾値Ｘが減少されることとなる。これにより、状態データ及びラベルデータを取得する度に、閾値Ｘが更新されていくこととなる。式１から式３は、前述の閾値算出部２４において実装される。

式４は、行うべき作業が異常になり易いか否かを判定する関数である。式４に示す通り、異常作業フラグＦが閾値Ｘ以上の場合には、作業が異常になり易いため、作業前に正常作業が表示される。一方、異常作業フラグＦが閾値Ｘ未満の場合には、作業が異常になり難いため、行った作業が正常でなかった場合にのみ正常作業が表示される。式４は、前述の表示制御部３２において実装される。

図４は、表示システム１又は表示装置４０の動作の一例を示すフローチャートである。ステップＳ１０では、状態データを取得する。状態データは、作業内容に加えて、作業者情報、作業時間の長さ、及び作業日時を含む。状態データを取得したときに、前述の閾値も更新される。

ステップＳ１１では、作業対象１１が正常品であるか否かが判定される。作業対象１１が正常品であるか否かは、画像認識等によって特定される。例えば部品Ａ及び部品Ｂを部品Ｃに組付ける組立作業の場合、部品Ａ、部品Ｂ、及び部品Ｃの３つの画像を夫々、基準データと照合することによって部品Ａ、Ｂ、Ｃが正常品であるか否かが特定される。ステップＳ１１において作業対象１１が正常品でない場合には（ステップＳ１１のＮＯ）、ステップＳ１２において不良箇所を表示すると共に、交換を指示する。次いで、作業開始へ戻る。ステップＳ１１において作業対象１１が正常品である場合には（ステップＳ１１のＹＥＳ）、ステップＳ１３に進む。

ステップＳ１３では、行うべき作業が異常になり易いか否かが判定される。即ち、異常作業フラグが閾値以上であるかが判定される。ステップＳ１３において作業が異常になり難い場合には（ステップＳ１３のＮＯ）、ステップＳ１４において作業が正常であったか否かを判定し、作業が正常でなかった場合にのみ（ステップＳ１４のＮＯ）、ステップＳ１５において正常作業を表示し、不良箇所を表示すると共に、交換を指示する。これにより、熟練した作業者であっても煩わしさを感じることなく正常作業を確認できる。次いで、ステップＳ１６において異常作業フラグを増加し、作業開始へ戻る。ステップＳ１４において作業が正常であった場合には（ステップＳ１４のＹＥＳ）、ステップＳ１７において異常作業フラグを減少し、ステップＳ１８において作業終了か否かを判定する。

ステップＳ１３において、行うべき作業が異常になり易い場合には（ステップＳ１３のＹＥＳ）、ステップＳ１９において作業前に正常作業を表示する。これにより、未熟な作業者、複雑な作業、作業時間が長い作業、又は勤務時間若しくは勤務日数の多い場合であっても作業ミスを低減できる。ステップＳ２０において作業が正常であったか否かを判定し、作業が正常でなかった場合にのみ（ステップＳ２０のＮＯ）、ステップＳ２１において作業後に正常作業を再表示し、不良箇所を表示すると共に、交換を指示する。これにより、作業前に正常作業を表示したにも拘わらず作業が異常であった場合でも作業ミスを低減できる。次いで、ステップＳ２２において異常作業フラグを増加し、作業開始へ戻る。ステップＳ２０において作業が正常であった場合には（ステップＳ２０のＹＥＳ）、ステップＳ２３において異常作業フラグを減少し、ステップＳ１８において作業終了か否かを判定する。

ステップＳ１８において、作業が終了していない場合には（ステップＳ１８のＮＯ）、作業開始に戻り、作業が終了した場合には（ステップＳ１８のＹＥＳ）、作業終了となる。

以上の実施形態によれば、状態データ及びラベルデータを取得する度に、閾値が更新されるため、行うべき作業が異常になり易いか否かの予測精度が経時的に向上していく。斯かる閾値により、正常作業の表示タイミングが制御されるため、正常作業の表示が作業者にとって邪魔になることなく作業ミスを低減できる。

前述のフローチャートを実行するプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ−ＲＯＭ等に記録して提供してもよい。

本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

１ 表示システム
１０ 環境
１０ａ−１０ｃ 環境
１１ 作業対象
１２ 作業者
２０ 機械学習装置
２０ａ−２０ｃ ローカルサーバ
２０ｄ クラウドサーバ
２１ 第１プロセッサ
２２ 状態取得部
２３ ラベル取得部
２４ 閾値算出部
２５ 学習モデル
３０ 表示装置
３１ 第２プロセッサ
３２ 表示制御部
３３ 表示部
４０ 表示装置
４１ プロセッサ

Claims (11)

1. 少なくとも作業内容を含む状態データを取得する状態取得部と、
   前記状態データを取得したときの作業が異常であるか否かを表すラベルデータを取得するラベル取得部と、
   前記状態データ及び前記ラベルデータに基づいて、行うべき作業が異常になり易いか否かを判定するための閾値を算出する閾値算出部と、
   前記閾値に基づいて正常作業の表示タイミングを制御する表示制御部と、
   前記表示タイミングに従って前記正常作業を表示する１つ又は複数の表示部と、
   を備えることを特徴とする表示システム。
2. 前記閾値は、前記状態データ及び前記ラベルデータを教師データとして学習モデルに基づき更新される、請求項１に記載の表示システム。
3. 前記状態データは、作業者情報、作業時間の長さ、及び作業日時のうち少なくとも１つをさらに含む、請求項１又は２に記載の表示システム。
4. 前記学習モデルが前記複数の表示部の間で共有される、請求項２に記載の表示システム。
5. 前記表示部が拡張現実機器として構成される、請求項１から４のいずれか一項に記載の表示システム。
6. 前記表示部が組立作業を支援する情報を表示する、請求項１から５のいずれか一項に記載の表示システム。
7. 前記状態取得部、前記ラベル取得部、及び前記閾値算出部がローカルサーバ又はクラウドサーバ上に配置される、請求項１から６のいずれか一項に記載の表示システム。
8. 前記学習モデルは前記作業毎にモデル化してネットワーク上で共有される、請求項２に記載の表示システム。
9. 少なくとも作業内容を含む状態データを取得する状態取得部と、
   前記状態データを取得したときの作業が異常であるか否かを表すラベルデータを取得するラベル取得部と、
   前記状態データ及び前記ラベルデータに基づいて、行うべき作業が異常になり易いか否かを判定するための閾値を算出する閾値算出部と、
   を備え、
   前記閾値は、前記状態データ及び前記ラベルデータを教師データとして学習モデルに基づき更新され、正常作業の表示タイミングの制御に用いられることを特徴とする機械学習装置。
10. 前記学習モデルは前記作業毎にモデル化してネットワーク上で共有される、請求項９に記載の機械学習装置。
11. 少なくとも作業内容を含む状態データを取得する状態取得部と、
    前記状態データを取得したときの作業が異常であるか否かを表すラベルデータを取得するラベル取得部と、
    前記状態データ及び前記ラベルデータに基づいて、行うべき作業が異常になり易いか否かを判定するための閾値を算出する閾値算出部と、
    前記閾値に基づいて正常作業の表示タイミングを制御する表示制御部と、
    前記表示タイミングに従って前記正常作業を表示する表示部と、
    を備えることを特徴とする表示装置。

Images