JPWO2016157484A1 - 作業指示システム - Google Patents

Abstract

作業指示システムは、加工台の上に載置された加工対象の距離画像を撮像する撮像装置（１０３）と、作業工程ごとの作業指示データを記憶するデータ記憶部（１７）と、撮像装置（１０３）が撮像した距離画像を基に、加工対象の形状及び位置を算出する映像データ処理部（１６）と、作業指示データと加工対象の形状及び位置とに基づいて、投影内容を生成するデータ処理部（１５）と、データ処理部（１５）が生成した投影内容を画像化して作業内容指示画像を生成する表示生成部（２０）とを有する情報処理装置（１００）と、作業内容指示画像を、加工対象を中心にして加工台に投影する投影装置（１０４）とを有する。

Description

本発明は、作業者に対して作業内容を指示する作業指示システムに関する。

従来、作業員に作業内容を指示する際には、作業内容を印刷した紙媒体を配布する方法か、デジタル屋台のモニタに作業内容を表示する方法が用いられていた。デジタル屋台とは、作業台にモニタを敷設し、動画又は静止画で作業内容を教えるｅラーニングと、電動ドライバ及び可動式の部品棚といった生産設備とを融合したシステムである。

特許文献１には、検知順序とは異なる順序で検知対象が検知されると異常と判定して報知命令を出力する作業検知システムが開示されている。

特開２０１３−０２５４７８号公報

しかしながら、紙媒体又はデジタル屋台を用いる方法では、紙媒体又はモニタを確認するために、加工対象から顔を背ける必要があるため、効率的に作業を行いにくい。また、従来の作業検知システムは、単色光を順次投影するだけであり、作業指示の情報量が不足している。

本発明は、上記に鑑みてなされたものであって、作業内容の確認ために加工対象から顔を背ける必要のない作業指示システムを得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、載置手段の上に載置された加工対象の距離画像を撮像する撮像装置を備える。また、本発明は、作業工程ごとの作業指示データを記憶するデータ記憶部と、撮像装置が撮像した距離画像を基に、加工対象の形状及び位置を算出する映像データ処理部と、作業指示データと加工対象の形状及び位置とに基づいて、投影内容を生成するデータ処理部と、データ処理部が決定した投影内容を画像化して作業内容指示画像を生成する表示生成部とを有する情報処理装置を備える。また、本発明は、作業内容指示画像を、加工対象を中心にして載置手段に投影する投影装置を備える。

本発明にかかる作業指示システムは、作業内容の確認のために加工対象から顔を背ける必要がないという効果を奏する。

本発明の実施の形態１にかかる作業指示システムの構成を示す図 実施の形態１にかかる作業指示システムの情報処理装置の構成を示す図 実施の形態１にかかる作業指示システムの情報処理装置のハードウェア構成を示す図 実施の形態１にかかる作業指示システムの動作の流れを示すフローチャート 実施の形態１にかかる作業指示システムによる作業内容指示画像の表示の一例を示す図 本発明の実施の形態２にかかる作業指示システムの構成を示す図 実施の形態２にかかる作業指示システムの情報処理装置の構成を示す図 本発明の実施の形態３にかかる作業指示システムの情報処理装置の構成を示す図 実施の形態３にかかる作業指示システムの作業内容指示画像の切替処理の流れを示すフローチャート 本発明の実施の形態４にかかる作業指示システムの情報処理装置の構成を示す図 実施の形態４にかかる作業指示システムの動作の流れを示すフローチャート 実施の形態４にかかる作業指示システムによる作業内容指示画像の一例を示す図

以下に、本発明の実施の形態にかかる作業指示システムを図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、本発明の実施の形態１にかかる作業指示システムの構成を示す図である。作業指示システム２００は、加工対象１０５を載置する載置手段である加工台１０１に載置された加工対象１０５の距離画像を撮像する撮像装置１０３と、撮像装置１０３が撮像した距離画像に基づいて、作業内容指示画像を生成する情報処理装置１００と、情報処理装置１００が生成した作業内容指示画像を、加工対象１０５を中心にして加工台１０１に投影する投影装置１０４とを有する。撮像装置１０３には、距離画像センサを適用できる。投影装置１０４には、プロジェクタを適用できる。なお、以下の説明では、載置手段が加工台１０１である構成を例にするが、加工対象１０５を載置しつつ搬送する装置が載置手段であってもよい。加工対象１０５を載置しつつ搬送する装置の具体例には、コンベアを挙げることができる。

図２は、実施の形態１にかかる作業指示システムの情報処理装置の構成を示す図である。情報処理装置１００は、撮像装置１０３から距離画像を受信する撮像装置接続インタフェース１４と、撮像装置接続インタフェース１４が撮像装置１０３から受信した距離画像から加工対象１０５の形状及び位置を算出する映像データ処理部１６と、作業指示内容のデータを記憶するデータ記憶部１７と、映像データ処理部１６が算出した加工対象１０５の形状及び位置と、データ記憶部１７に記憶された情報とを基に投影内容を生成するデータ処理部１５と、データ処理部１５が生成した投影内容を基に作業内容指示画像を生成する表示生成部２０と、作業内容指示画像を投影装置１０４に出力する投影装置接続インタフェース１２とを有する。

図３は、実施の形態１にかかる作業指示システムの情報処理装置のハードウェア構成を示す図である。情報処理装置１００は、プログラムを実行する演算装置２１と、演算装置２１がワークエリアに用いるメモリ２２と、撮像装置１０３及び投影装置１０４との通信用の通信装置２３と、ソフトウェア及びデータを記憶する記憶装置２４とを備える。情報処理装置１００には、汎用のコンピュータ端末のみならず、モニタレスのプログラマブル表示器を適用することも可能である。演算装置２１には、中央演算装置（Central Processing Unit, CPU）を適用できる。メモリ２２には、ＲＡＭ（Random Access Memory）を適用できる。記憶装置２４には、フラッシュメモリを適用できる。

図２に示した映像データ処理部１６、データ処理部１５及び表示生成部２０は、記憶装置２４に記憶されたソフトウェアを演算装置２１がメモリ２２をワークエリアにして実行することによって実現される。データ記憶部１７は、記憶装置２４によって実現される。投影装置接続インタフェース１２及び撮像装置接続インタフェース１４は、メモリ２２をワークエリアにして記憶装置２４に記憶されたソフトウェアを実行した演算装置２１が通信装置２３を用いることによって実現される。また、複数の演算装置及び複数のメモリが連携して上記機能を実行してもよい。

図４は、実施の形態１にかかる作業指示システムの動作の流れを示すフローチャートである。ステップＳ１０１で、映像データ処理部１６は、撮像装置接続インタフェース１４を通じて撮像装置１０３から加工対象１０５の距離画像を取得する。

ステップＳ１０２で、映像データ処理部１６は、ステップＳ１０１で取得した距離画像から加工対象１０５の形状及び位置を算出する。

ステップＳ１０３で、データ処理部１５は、データ記憶部１７から作業指示内容のデータを読み出し、加工対象の形状及び位置に応じて投影内容を生成する。ここでの投影内容とは、加工対象１０５を中心とする加工台１０１上の領域のどの部分にどのような作業指示を表示するかである。

ステップＳ１０４で、表示生成部２０は、ステップＳ１０３でデータ処理部１５が生成した投影内容を画像化して作業内容指示画像を生成する。

ステップＳ１０５で、表示生成部２０は、投影装置接続インタフェース１２経由で作業内容指示画像を投影装置１０４に出力し、投影装置１０４から作業対象１０５を中心にして加工台１０１に作業内容指示画像を投影する。

図５は、実施の形態１にかかる作業指示システムによる作業内容指示画像の表示の一例を示す図である。加工対象１０５のねじ孔に配置されたねじ５１に隣接して、ねじ５１の位置を示すリング５２と、「工具Ａでねじを締める」という作業内容を表す文章５３と、ねじを締める方向を表す矢印５４とが表示されている。また、加工対象１０５のコネクタ５５に隣接して、「矢印の方向からケーブルを差し込む」という作業内容を表す文章５６と、ケーブルを差し込む方向を表す矢印５７とが表示されている。

上記の処理を定期的に行うことにより、作業中に加工対象１０５の位置又は姿勢に変化が生じた場合でも、加工対象１０５の位置又は姿勢の変化に追随して作業指示を行うことができる。

実施の形態１において、作業内容指示画像は、加工対象１０５を中心にして加工台１０１の上に表示される。したがって、作業員は、加工対象１０５から視線を外すことなく、現在行うべき作業の内容を把握することができ、効率的に作業を行うことができる。よって、作業員が作業指示を確認することなく作業を行うことは発生しにくくなり、ヒューマンエラーは生じにくくなる。

なお、実施の形態１にかかる作業指示システムは、撮像装置接続インタフェース１４を通じて撮像装置１０３から入力される画像データを、データ記憶部１７に記憶させることもできる。撮像装置１０３から入力される画像データを蓄積することにより、作業の所要時間を蓄積した画像データを基に算出できる。したがって、撮像装置１０３から入力される画像データを蓄積することにより、作業工程の順序を変えたりして作業の効率化を図ることができる。作業工程ごとに作業時間を取得するにあたって、作業員とは別に計測員を配置する必要がないため、作業時間を取得するコストを抑えることができる。また、加工対象１０５を中心にして作業内容指示画像を投影することにより、搬送手段にコンベアを用いる場合でも、加工対象１０５の動きに追従して、作業内容の指示が必要な箇所に指示内容を表示することができる。

実施の形態２．
図６は、本発明の実施の形態２にかかる作業指示システムの構成を示す図である。実施の形態２にかかる作業指示システム２１０は、加工対象１０５に対する作業に用いられる電動工具１０６と、電動工具１０６の動作時間を監視し、監視結果を情報処理装置１１０へ出力する制御装置１０２を有する。

図７は、実施の形態２にかかる作業指示システムの情報処理装置の構成を示す図である。情報処理装置１１０は、制御装置１０２から電動工具１０６の動作時間の監視結果を受信する制御装置接続インタフェース１３を有する点で実施の形態１の情報処理装置１００と相違する。なお、情報処理装置１１０は、作業工程ごとの電動工具１０６の動作時間の基準値をデータ記憶部１７に記憶している。また、データ処理部１５は、映像データ処理部１６が算出した加工対象１０５の形状及び位置と、制御装置接続インタフェース１３が取得した情報と、データ記憶部１７に記憶された情報とを基に投影内容を生成する。すなわち、データ処理部１５は、制御装置１０２から取得した電動工具１０６の動作時間が基準値を下回る場合には、作業が不完全であることを警告するメッセージを含む投影内容を生成する。

図７に示した制御装置接続インタフェース１３は、ソフトウェアを実行した演算装置２１が通信装置２３を用いることによって実現される。また、複数の演算装置及び複数のメモリが連携して上記機能を実行してもよい。

実施の形態２にかかる作業指示システムによれば、電動工具１０６の動作時間を反映した作業指示画面を加工台１０１に加工対象１０５を中心にして投影できる。したがって、電動工具１０６の動作時間がデータ記憶部１７に記憶されている基準値を下回り、作業が不完全となっている懸念がある場合に、作業を完全に行うように作業員に警告を発することができる。具体例を挙げると、電動工具１０６が電動ドライバである場合に、ねじの締め付け不足が懸念される時には、締め付け不足を警告するメッセージを表示することで、増し締めを促して、組立不良の発生を低減できる。

実施の形態３．
図８は、本発明の実施の形態３にかかる作業指示システムの情報処理装置の構成を示す図である。実施の形態３にかかる作業指示システムの情報処理装置１２０は、作業パス解析部１８を有する点で、実施の形態１の作業指示システム２００の情報処理装置１００と相違している。また、データ記憶部１７には、作業工程ごとに固有作業パスのデータが格納されている。ここでの作業パスには、作業者の手の位置及び動線を例に挙げることができる。固有作業パスは、現在の作業工程が完了したか否かを判断するための条件となる作業パスである。

また、実施の形態３にかかる作業指示システムの情報処理装置１２０では、映像データ処理部１６は、加工対象１０５の位置及び形状に加え、作業員の手の位置を取得する。

実施の形態３にかかる作業指示システムの情報処理装置１２０のハードウェア構成は、実施の形態１の情報処理装置１００と同様である。したがって、作業パス解析部１８は、記憶装置２４に記憶されたソフトウェアを、メモリ２２をワークエリアにして演算装置２１が実行することによって実現される。

実施の形態３にかかる作業指示システムでは、作業パス解析部１８は、映像データ処理部１６が取得した距離画像を時系列的に並べることで、作業員の手の位置及び動線を算出する。

図９は、実施の形態３にかかる作業指示システムの作業内容指示画像の切替処理の流れを示すフローチャートである。ステップＳ２０１で、作業パス解析部１８は、撮像装置接続インタフェース１４を通じて取得した距離画像の画像データから作業パスを取得する。

ステップＳ２０２で、作業パス解析部１８は、ステップＳ２０１で取得した作業パスが固有作業パスに該当するかを判断する。ステップＳ２０１で取得した作業パスが固有作業パスに該当しなければ、ステップＳ２０２でＮｏとなり、作業内容指示画像の切替処理を終了する。ステップＳ２０１で取得した作業パスが固有作業パスに該当するならば、ステップＳ２０２でＹｅｓとなり、ステップＳ２０３に進む。

ステップＳ２０３で、データ処理部１５は、次の作業工程に移行する。すなわち、投影内容を生成する際にデータ記憶部１７から読み出す作業指示内容を、次の作業工程のものに変更する。次の作業工程へ移行したのち、作業内容指示画像の切替処理を終了する。

作業内容指示画像の切替処理の終了後には、図４に示した処理が行われて作業内容指示画像が作成及び投影される。

実施の形態３にかかる作業指示システムは、撮像装置１０３が撮像した画像を基づいて、作業パスが固有作業パスに該当する場合には、作業指示内容を次の作業工程のものに変更できる。従って、作業員は、作業指示内容を切り替えるために紙媒体をめくったり、スイッチを操作したりする必要がなくなり、作業効率を向上させることができる。また、作業工程ごとに作業パスを取得するにあたって、作業員とは別に計測員を配置する必要がないため、作業パスを取得するコストを抑えることができる。

実施の形態４．
図１０は、本発明の実施の形態４にかかる作業指示システムの情報処理装置の構成を示す図である。本発明の実施の形態４にかかる作業指示システムの情報処理装置１３０は、画像を非表示とするマスクのマスクデータを作成するマスクデータ作成部１９を有する点で実施の形態１の情報処理装置１００と相違する。また、映像データ処理部１６は、加工対象１０５の位置及び形状に加え、作業員の手の位置及び形状を取得する。また、表示生成部２０は、マスクデータと重なる部分が黒色になるように作業内容指示画像を生成する。この他については、実施の形態１と同様である。

図１１は、実施の形態４にかかる作業指示システムの動作の流れを示すフローチャートである。ステップＳ３０１で、映像データ処理部１６は、撮像装置接続インタフェース１４を通じて撮像装置１０３から加工対象１０５の距離画像を取得する。

ステップＳ３０２で、映像データ処理部１６は、ステップＳ３０１で取得した距離画像から加工対象１０５の形状及び位置及び作業員の手の形状及び位置を算出する。

ステップＳ３０３で、マスクデータ作成部１９は、作業員の手の形状に合わせたマスクデータを作成する。

ステップＳ３０４で、データ処理部１５は、データ記憶部１７から作業指示内容のデータを読み出し、作業者の形状及び位置に応じて投影内容を生成する。なお、ステップＳ３０３とステップＳ３０４とは、逆の順序で行っても良いし、並列に処理を行っても良い。

ステップＳ３０５で、表示生成部２０は、ステップＳ３０４でデータ処理部１５が生成した投影内容を画像化して作業内容指示画像を生成する。この際表示生成部２０は、マスクデータ作成部１９が作成したマスクデータに基づき、作業員の手がある部分を黒色にして作業内容指示画像を生成する。

ステップＳ３０６で、表示生成部２０は、作業内容指示画像を投影装置接続インタフェース１２を通じて投影装置１０４に出力し、作業内容指示画像を投影する。

図１２は、実施の形態４にかかる作業指示システムによる作業内容指示画像の一例を示す図である。マスクデータ作成部１９によって作成されたマスク６１と、マスク処理前の作業内容指示画像６２とを重ね合わせ、マスク６１とマスク処理前の作業内容指示画像６２とが重なる部分を黒色にすることで、作業内容指示画像６３が生成される。したがって、作業内容指示画像６３は、作業者の手と重なる部分がマスクされて黒色になっている。よって、投影装置１０４から作業内容指示画像６３を投影しても、作業者の手の上には画像光が当たらない。これにより、作業員の手の上に作業内容指示画像が重畳表示されることがないため、視認性を向上させることができる。

実施の形態５．
本発明の実施の形態５にかかる作業指示システムの情報処理装置は、データ記憶部１７に加工対象１０５の型データが記憶されている点で実施の形態１と相違する。この他については、実施の形態１と同様である。

実施の形態５にかかる作業指示システムのデータ処理部１５は、型データに基づいて、加工対象１０５の切断位置を示す投影内容を生成する。実施の形態５にかかる作業指示システムは、加工対象１０５がシート状、例えば布類である場合の切断作業の工程において、切断する位置を加工対象１０５に重畳表示できる。したがって、加工対象１０５に形状を転写する工程を削減し、作業工数を減らすことができる。

以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１２ 投影装置接続インタフェース、１３ 制御装置接続インタフェース、１４ 撮像装置接続インタフェース、１５ データ処理部、１６ 映像データ処理部、１７ データ記憶部、１８ 作業パス解析部、１９ マスクデータ作成部、２０ 表示生成部、２１ 演算装置、２２ メモリ、２３ 通信装置、２４ 記憶装置、１００，１１０，１２０，１３０ 情報処理装置、１０１ 加工台、１０２ 制御装置、１０３ 撮像装置、１０４ 投影装置、１０５ 加工対象、１０６ 電動工具、２００，２１０ 作業指示システム。

Claims (6)

1. 載置手段の上に載置された加工対象の距離画像を撮像する撮像装置と、
   作業工程ごとの作業指示データを記憶するデータ記憶部と、前記撮像装置が撮像した距離画像を基に、前記加工対象の形状及び位置を算出する映像データ処理部と、前記作業指示データと前記加工対象の形状及び位置とに基づいて、投影内容を生成するデータ処理部と、前記データ処理部が生成した投影内容を画像化して作業内容指示画像を生成する表示生成部とを有する情報処理装置と、
   前記作業内容指示画像を、前記加工対象を中心にして前記載置手段に投影する投影装置とを有することを特徴とする作業指示システム。
2. 前記データ記憶部は、前記距離画像を蓄積することを特徴とする請求項１に記載の作業指示システム。
3. 前記情報処理装置は、作業員の手の位置及び動線によって示される作業パスを算出する作業パス解析部を有し、
   前記データ記憶部には、現在の作業工程が完了したか否かの判断の条件である固有作業パスが記憶されており、
   前記映像データ処理部は、前記距離画像から作業員の手の位置を取得し、
   前記作業パス解析部は、前記距離画像を時系列的に並べることによって前記作業員の手の位置及び動線を算出することを特徴とする請求項１に記載の作業指示システム。
4. 前記情報処理装置は、作業員の手の形状及び位置に基づいて画像を非表示とするマスクのマスクデータを作成するマスクデータ作成部を有し、
   前記表示生成部は、前記マスクと重なる部分を黒色にして前記作業内容指示画像を生成することを特徴とする請求項１に記載の作業指示システム。
5. 前記データ記憶部は、前記加工対象の型データを記憶しており、
   前記データ処理部は、前記型データに基づいて、前記加工対象の切断位置を示す投影内容を生成することを特徴とする請求項１に記載の作業指示システム。
6. 前記加工対象の加工作業に用いられる電動工具と、
   前記電動工具を制御する制御装置とを有し、
   前記情報処理装置は、
   前記電動工具の動作時間の基準値を前記データ記憶部に記憶し、前記制御装置から取得した前記電動工具の動作時間が前記基準値を下回る場合には、前記データ処理部は、作業が不完全であることを警告するメッセージを含む前記投影内容を生成することを特徴とする請求項１から５のいずれか１項に記載の作業指示システム。

Images