JPWO2019106987A1 - 作業支援システム、作業支援方法及びプログラム - Google Patents

Abstract

本発明の課題は、作業プロセスを容易に生成することが可能な作業支援システム、作業支援方法及びプログラムを提供することである。作業支援システム（１）は、センサ（２）と、生成部（３）と、を備える。センサ（２）は、作業領域内に設定された自動検知領域内に存在する物体を検知する。生成部（３）は、センサ（２）の出力に基づいて、作業領域内の複数の作業イベントの順序を含む作業プロセスを生成する。

Description

本発明は、一般に作業支援システム、作業支援方法及びプログラムに関し、より詳細には、作業プロセスを生成する作業支援システム、作業支援方法及びプログラムに関する。

従来、作業領域に適用される作業検知システムが提案されている（特許文献１）。

特許文献１に記載された作業検知システムは、距離画像センサと、検知装置と、報知装置と、設定装置と、を備えている。距離画像センサは、作業領域の距離画像を出力する。検知装置は、距離画像に現れる作業主体又は作業主体が扱うワークを検知対象とし、距離画像をもとに作業内容の異常を検知すると報知命令を出力する。報知装置は、報知命令が入力されると報知動作を行う。設定装置は、距離画像内で検知装置が検知対象の存否を検知する複数の検知領域及びその検知順序を設定する。

検知装置は、設定装置の機能を有する設定部を備えている。設定部は、例えば作業者が入力装置を用いて入力した内容をもとに、距離画像内で検知対象の存否を検知する検知領域と、その検知順序を設定する。

特許文献１に記載された作業検知システムでは、設定作業者が、入力装置を操作し、作業工程に基づいて各工程で作業者が検知される検知領域とその検知順序とを設定する必要があり、作業プロセスの生成に手間がかかっていた。

特開２０１３−２５４７８号公報

本発明の目的は、作業プロセスを容易に生成することが可能な作業支援システム、作業支援方法及びプログラムを提供することにある。

本発明に係る一態様の作業支援システムは、センサと、生成部と、を備える。前記センサは、作業領域内に設定された自動検知領域内に存在する物体を検知する。前記生成部は、前記センサの出力に基づいて、前記作業領域内の複数の作業イベントの順序を含む作業プロセスを生成する。

本発明に係る一態様の作業支援方法は、作業領域内に設定された自動検知領域内に存在する物体を検知するセンサの出力に基づいて、前記作業領域内の複数の作業イベントの順序を含む作業プロセスを生成する。

本発明に係る一態様のプログラムは、コンピュータシステムに、作業領域内に設定された自動検知領域内に存在する物体を検知するセンサの出力に基づいて、前記作業領域内の複数の作業イベントの順序を含む作業プロセスを生成する処理を実行させる。

図１は、本発明の一実施形態に係る作業支援システムのブロック図である。 図２は、同上の作業支援システムの生成部で生成された作業プロセスに基づいて作業者が作業する様子を説明するための斜視図である。 図３は、同上の作業支援システムで用いる距離画像の一例を示す図である。 図４は、同上の作業支援システムで用いるカラー画像の一例を示す図である。 図５は、同上の作業支援システムにおいて検知領域の設定方法を説明する概念図である。

（実施形態）
（１）概要
本実施形態に係る作業支援システム１は、作業領域１１で作業を行う作業者１００（図２参照）を支援するためのシステムである。

作業支援システム１は、センサ２と、生成部３と、を備える。作業支援システム１では、作業者１００が予め決められた作業順序で作業領域１１内での作業を行い、センサ２により、作業領域１１内に設定された３次元検知領域１２（図２参照）内に存在する物体（作業者１００の手、部品等）を検知する。ここにおいて、物体を検知するとは、物体の動きを検知すること、物体の存否を検知すること、等である。生成部３は、センサ２の出力に基づいて、作業領域１１内の複数の作業イベントの順序を含む作業プロセスを生成する。

（２）構成
（２．１）作業支援システムの全体構成
本実施形態に係る作業支援システム１は、例えば、図２に示すように、セル生産方式で作業する作業者１００を支援するために用いられるシステムである。セル生産方式では、作業者１００は、作業台１５上の複数（４つ）のパーツボックス１３から予め決められた作業順序で部品を取り出し、製品を組み立てる。以下では、説明の便宜上、４つのパーツボックス１３を、図の左側から順に、パーツボックス１３１、パーツボックス１３２、パーツボックス１３３、パーツボックス１３４と称することもある。４つのパーツボックス１３１〜１３４には互いに異なる部品が入っている。セル生産方式では、一例として、互いに異なる４つの部品を組み立てることによって製品が完成するようになっている。

本実施形態に係る作業支援システム１は、図１に示すように、センサ２と、生成部３と、を備える。また、作業支援システム１は、提示部４と、編集部５と、ユーザインタフェース６と、設定部７と、ガイド情報提示部８と、を更に備える。作業支援システム１は、制御部９と、記憶部１０と、を更に備える。制御部９は、生成部３、提示部４、編集部５、ユーザインタフェース６、設定部７及びガイド情報提示部８を制御する。記憶部１０は、設定部７にて設定された３次元検知領域１２（図２参照）、生成部３にて生成された作業プロセス、ガイド情報提示部８で提示する作業ガイド情報等に関する情報を記憶する。

作業支援システム１は、生成部３において作業プロセスを生成する第１モードと、生成部３において生成された作業プロセスを使用する第２モードと、がある。ここにおいて、作業支援システム１では、第１モードのときは制御部９によって生成部３が制御されて作業プロセスが生成される。作業支援システム１では、第２モードのときは制御部９によってガイド情報提示部８が制御されて、ガイド情報提示部８が、作業プロセスに従って作業者１００のための作業ガイド情報を作業領域１１に提示する（作業ガイド情報を作業台１５の上面１５１上に表示する）。

センサ２は、作業領域１１内に設定された３次元検知領域１２内に存在する物体を検知する。生成部３は、センサ２の出力に基づいて、作業領域１１内の複数の作業イベントの順序を含む作業プロセスを生成する。提示部４は、作業プロセスを提示する。編集部５は、ユーザインタフェース６からの入力情報に基づいて作業プロセスを編集する。設定部７は、自動検知領域１４（図４参照）をユーザインタフェース６からの入力情報に従って設定する。ここにおいて、自動検知領域１４は、作業領域１１内に設定される。自動検知領域１４は、距離画像又はイメージ画像の動画から所定の検知条件を満たす作業イベントが自動検知される領域である。また、設定部７は、センサ２の出力に基づいて、３次元検知領域１２を設定する。ガイド情報提示部８は、作業プロセスに従って複数の作業ガイド情報を順次提示する。

作業領域１１は、作業者１００が作業を行う作業台１５上の領域（３次元領域）を含む。作業領域１１は、作業台１５の上面１５１、作業台１５上の複数のパーツボックス１３等を含む。複数の３次元検知領域１２は、例えば、複数のパーツボックス１３に一対一に対応する。以下では、説明の便宜上、４つの３次元検知領域１２を、図２の左側から順に、３次元検知領域１２１、３次元検知領域１２２、３次元検知領域１２３、３次元検知領域１２４と称することもある。４つの３次元検知領域１２１、１２２、１２３及び１２４は、４つのパーツボックス１３１、１３２、１３３及び１３４にそれぞれ対応している。作業者１００から見て、４つの３次元検知領域１２１、１２２、１２３及び１２４は、４つのパーツボックス１３１、１３２、１３３及び１３４それぞれの手前側に設定された領域である。４つの３次元検知領域１２１、１２２、１２３及び１２４は、４つのパーツボックス１３１、１３２、１３３及び１３４それぞれの一部に重なって設定されているが、これに限らず、４つのパーツボックス１３１、１３２、１３３及び１３４それぞれに重なっていなくてもよい。

センサ２は、例えば、作業領域１１の上方に配置される。センサ２は、例えば、作業台１５に設けられた支持部１６に支持されることで、作業領域１１の上方に配置される。センサ２は、距離画像センサ２１（図１参照）を含んでいる。距離画像センサ２１は、作業領域１１を上方から撮影して作業領域１１の距離画像を出力する。ここにおいて、距離画像センサ２１は、センサ２から作業領域１１内に存在する物体までの距離値を画素値とする距離画像（距離画像の各画素の画素値は、距離値である）を連続的に生成する。これにより、センサ２は、物体の動き、物体の有無等を検知することができる。距離画像センサ２１は、赤外光源と、赤外線カメラと、を含んでいる。距離画像センサ２１は、例えば、ＴＯＦ（Time Of Flight）方式の距離画像センサである。距離画像センサ２１では、距離画像センサ２１から作業領域１１内に存在する物体までの距離は、赤外光源から作業領域１１に赤外光が照射されてから物体で反射された赤外光が赤外線カメラに入射する（到達する）までの時間（飛行時間）によって求める。物体の高さ情報は、作業台１５の上面１５１と距離画像センサ２１との距離から、物体と距離画像センサ２１との距離を引くことで算出される。距離画像センサ２１は、ＴＯＦ方式の距離画像センサに限らず、例えば、ステレオカメラ方式の距離画像センサ等であってもよい。

センサ２は、イメージセンサ２２（図１参照）を含んでいる。イメージセンサ２２は、例えば、ＣＭＯＳ（Complementary MOS）カラーイメージセンサである。イメージセンサ２２は、作業領域１１を上方から撮影して作業領域１１のカラーのイメージ画像を出力する。ここにおいて、イメージセンサ２２は、カラーのイメージ画像を連続的に生成する。センサ２では、略同時刻に距離画像センサ２１とイメージセンサ２２とでそれぞれ撮影された作業領域１１の距離画像とカラーのイメージ画像とが一対一に対応している。なお、イメージセンサ２２は、モノクロのイメージ画像を出力するセンサであってもよい。

生成部３、提示部４、編集部５、ユーザインタフェース６、設定部７及び制御部９は、例えば、プロセッサ及びメモリを主構成とするコンピュータシステムにて構成されている。言い換えれば、生成部３、提示部４、編集部５、設定部７及び制御部９は、プロセッサ及びメモリを有するコンピュータシステム（例えば、ノート型のパーソナルコンピュータ）にて実現されており、プロセッサがメモリに格納されているプログラムを実行することにより、コンピュータシステムが生成部３、提示部４、編集部５、ユーザインタフェース６、設定部７、制御部９及び記憶部１０として機能する。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ（磁気ディスク）等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１乃至複数の電子回路で構成される。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。

ユーザインタフェース６は、上述のパーソナルコンピュータの入力装置（キーボード、マウス等）により構成されている。提示部４は、上述のパーソナルコンピュータのディスプレイにより構成されており、自動検知領域１４を設定するための設定画面、生成部３で生成された作業プロセス等を提示する。提示部４の提示内容（表示内容）は、制御部９によって制御される。編集部５については、生成部３について説明した後で、説明する。

設定部７は、センサ２の出力に基づいて、作業領域１１内の３次元検知領域１２を設定する。例えば、予め設定された自動検知領域１４が、特定の高さ情報を有していない場合に、設定部７は、物体が自動検知領域１４を通過したときの物体の高さ情報を自動検知領域１４の情報に含めることで、３次元検知領域１２を自動で設定する。また、自動検知領域１４が特定の高さ情報を有している場合、設定部７は、センサ２の出力に基づいて、３次元検知領域１２の３次元情報を自動で更新することにより、３次元検知領域１２をより適切な範囲として設定することができる。

生成部３は、センサ２の出力に基づいて、作業領域１１内の複数の作業イベントの順序を含む作業プロセスを生成する。生成部３では、第１モードにおいて、予め作業プロセスを生成するために作業プロセスの対象となる一連の作業（模範となる一連の作業）を特定の作業者が作業台１５上で行ったときのセンサ２の出力に基づいて作業プロセスを生成する。作業支援システム１に作業プロセスを生成させるユーザは、一連の作業を特定の作業者が作業台１５上で行ったときのセンサ２の出力（距離画像及びイメージ画像それぞれの動画）を予め記録媒体に録画し、作業支援システム１に、記録媒体に録画された動画を利用して作業プロセスを生成させる。特定の作業者は、第２モードのときに作業を行う作業者１００と同じ人であってもよい。

以下、作業支援システム１において作業プロセスを生成させるためのフローについて説明する。

ユーザは、ユーザインタフェース６を利用して上述のコンピュータシステムの提示部４に動画を提示させる。そして、ユーザは、ユーザインタフェース６を利用して、距離画像の動画を構成する複数の距離画像のうちの１つの距離画像を基準距離画像Ｐ０（図３参照）として選択する。言い換えれば、距離画像の動画から基準距離画像Ｐ０をキャプチャーする。基準距離画像Ｐ０は、例えば、特定の作業者の手が映っていない画像である。基準距離画像Ｐ０内には、作業台１５の上面１５１及び複数のパーツボックス１３１〜１３４が映っている。

次に、ユーザは、ユーザインタフェース６を利用して、複数のイメージ画像のうち提示部４に提示されている基準距離画像Ｐ０に一対一に対応する１つのイメージ画像を基準画像Ｐ１０（図４参照）として提示部４に提示させ、基準画像Ｐ１０に対して自動検知領域１４の設定を行う。ユーザは、複数のパーツボックス１３に一対一に対応する複数の自動検知領域１４を、ユーザインタフェース６を利用して設定する。例えば、ユーザは、マウスによって基準画像Ｐ１０上の範囲を指定することにより、自動検知領域１４を設定することができる。４つの自動検知領域１４を、図４の左側から順に、自動検知領域１４１、自動検知領域１４２、自動検知領域１４３、自動検知領域１４４と称することもある。自動検知領域１４は、２次元領域でも、３次元領域でもよい。自動検知領域１４は、自動検知における検知条件として、例えば、高さ、面積又は体積等の情報を含む。また、自動検知におけるその他の検知条件としては、例えば、色、時間範囲、滞在時間、動作方向、複数の検知領域の同時又は順不同のグループ設定等である。ここで、時間範囲は、作業プロセスが実行されている作業時間中において検知条件として使用する指定範囲の時間である。作業時間は、例えば、作業プロセスの開始時点から終了時点までの時間である。時間範囲は、例えば、作業プロセスの開始時点から３秒後の時点と１２秒後の時点との間の範囲である。また、複数の検知領域の同時グループ設定では、例えば、複数の検知領域が第１検知領域と第２検知領域とを含むとき、第１検知領域の作業イベントと第２検知領域の作業イベントとが同時に行われた場合のみ検知するという条件である。また、複数の検知領域の順不同グループ設定では、例えば、複数の検知領域が第１検知領域と第２検知領域とを含むとき、第１検知領域の作業イベントと第２検知領域の作業イベントとのどちらが先に行われた場合にも検知するという条件である。なお、自動検知領域１４の設定は、イメージ画像ではなく、距離画像を用いて設定してもよい。

次に、ユーザは、ユーザインタフェース６を利用して距離画像の動画の再生、３次元検知領域１２の設定及び自動検知領域１４で実行される作業イベントのフレームの生成を指示する。これにより、設定部７は、距離画像の動画から３次元検知領域１２を自動で設定する。フレームは、特定の作業を行う内容が記録された処理枠である。３次元検知領域１２は、距離画像において、実空間の自動検知領域１４に対応する領域である。ここにおいて、設定部７は、距離画像において自動検知領域１４に対応する領域と、当該領域に入った物体（特定の作業者の手）に関する情報に基づいて高さ方向の距離情報と、を含む３次元検知領域１２を設定する。

制御部９は、フロー生成（作業プロセス生成）の指示を受け付けると、生成部３に作業プロセスを生成させる。

生成部３は、距離画像又はイメージ画像の動画から自動検知領域１４で検知される作業イベントのフレームを自動で生成する。

図５の横軸は、録画された動画の時間軸である。図５に示した例では、作業プロセスは、複数（４つ）の作業イベント（工程）を含む。４つの作業イベントは、例えば、パーツボックス１３１から部品を取り出す作業イベント（以下、作業Ａともいう）、パーツボックス１３２から部品を取り出す作業イベント（以下、作業Ｂともいう）、パーツボックス１３３から部品を取り出す作業イベント（以下、作業Ｃともいう）、及びパーツボックス１３４から部品を取り出す作業イベント（以下、作業Ｄともいう）である。生成部３は、それぞれの作業イベントが実行される順に、作業イベントのフレームを自動で生成する。

図５に示す例では、作業プロセスは、例えば、作業イベントを行う順序を示すフローであり、「パーツボックス１３１から部品を取る」→「パーツボックス１３２から部品を取る」→「パーツボックス１３４から部品を取る」→「パーツボックス１３３から部品を取る」の順序のフローである。作業プロセスは、例えば、「パーツボックス１３１」→「パーツボックス１３２」→「パーツボックス１３４」→「パーツボックス１３３」の順序のフローであってもよい。各作業イベントの内容（「パーツボックス１３１から部品を取る」等）は、ユーザインタフェース６を利用してあらかじめ生成部３に設定しておいてもよい。自動検知領域１４に対応する作業イベントが予め生成部３に設定されている場合、作業支援システム１は、生成部３において、対応する作業イベントのフレームに作業イベントの内容を自動で紐付けることができる。

生成部３は、図５に示すように、自動検知領域１４１、自動検知領域１４２、自動検知領域１４４、自動検知領域１４３の順に、それぞれに対応する作業イベントのフレームを自動で生成する。自動検知領域１４１に対応するフレームは、３次元検知領域１２１に対応する。自動検知領域１４２に対応するフレームは、３次元検知領域１２２に対応する。自動検知領域１４４に対応するフレームは、３次元検知領域１２４に対応する。自動検知領域１４３に対応するフレームは、３次元検知領域１２３に対応する。

このように、生成部３は、作業領域１１内の複数の作業イベントの順序を含む作業プロセスを、センサ２の出力に基づいて検知対象の物体（作業者１００の手）が検知された３次元検知領域１２の順序に従って生成する。より詳細には、生成部３は、複数の３次元検知領域１２に一対一で対応する複数の自動検知領域１４に関して検知対象の物体が検知された順序に従って作業イベントの順序を決めた作業プロセスを生成する。

設定部７は、基準距離画像Ｐ０（図３参照）の各画素の画素値から距離画像の各画素の画素値を減算した差分値に基づいて物体を検知でき、かつ、物体に関する情報の１つとして物体の高さを求めることができる。設定部７は、例えば、上記の差分値が閾値以上の画素数が所定数以上あれば、検知対象の物体があると判断し、上記の差分値が閾値以上の画素数が所定数未満であれば検知対象の物体がないと判断する。つまり、設定部７は、距離画像センサ２１から出力される距離画像に基づいて検知対象の物体（作業者１００の手、部品等）を検知する機能を有している。設定部７は、上下方向における３次元検知領域１２の範囲を、検知対象の物体の高さの情報に基づいて設定する。設定部７は、距離画像、又は基準距離画像Ｐ０と当該基準距離画像Ｐ０以外の距離画像との差分画像にパターンマッチング等の処理を施して検知対象の物体を検知するように構成されていてもよい。

次に、ユーザは、ユーザインタフェース６を利用して、提示部４に提示されている３次元検知領域編集用の画面において３次元検知領域１２の編集を行うことができる。３次元検知領域１２の編集は、例えば、自動で設定した３次元検知領域１２の高さ情報を手動で修正する。また、設定部７において３次元検知領域１２の高さ情報を自動で設定しない場合は、ユーザは、ユーザインタフェース６を利用して、高さ情報を手動で、設定することができる。ユーザは、例えば、ユーザインタフェース６のマウス、キーボード等を利用して３次元検知領域１２の変更、追加、削除を指示することができる。また、ユーザは、３次元検知領域１２の範囲の変更、追加又は削除を行うこともできる。

なお、生成部３では、３次元検知領域１２の設定と自動検知領域１４で実行される作業イベントのフレームの生成は、同時に実行しても、別で実行してもよい。

作業支援システム１のユーザは、ユーザインタフェース６及び編集部５を利用することにより、生成部３が自動で生成したフレームに作業イベントの内容を入力することができる。作業イベントの内容は、例えば、「パーツボックスから部品を取る」等の作業内容である。また、ユーザは、生成部３が自動で生成したフレームからなる作業プロセスに、作業イベントを追加することができる。また、ユーザは、生成部３が自動で生成したフレームからなる作業プロセスから、フレームを削除することができる。また、ユーザは、３次元検知領域１２における物体の検知条件を、対応する作業イベントのフレームに設定することができる。３次元検知領域１２の検知条件とは、例えば、色、時間範囲、滞在時間、動作方向、複数の検知領域の同時又は順不同のグループ設定等である。ここで、時間範囲は、作業プロセスが実行されている作業時間中において検知条件として使用する指定範囲の時間である。作業時間は、例えば、作業プロセスの開始時点から終了時点までの時間である。時間範囲は、例えば、作業プロセスの開始時点から３秒後の時点と１２秒後の時点との間の範囲である。また、複数の検知領域の同時グループ設定では、例えば、複数の検知領域が第１検知領域と第２検知領域とを含むとき、第１検知領域の作業イベントと第２検知領域の作業イベントとが同時に行われた場合のみ検知するという条件である。また、複数の検知領域の順不同グループ設定では、例えば、複数の検知領域が第１検知領域と第２検知領域とを含むとき、第１検知領域の作業イベントと第２検知領域の作業イベントとのどちらが先に行われた場合にも検知するという条件である。

なお、３次元検知領域１２の検知条件としての滞在時間は、作業プロセス生成時において自動検知領域１４に物体が存在していた時間（滞在時間）であってもよい。このとき、設定部７は、自動検知領域１４における物体の滞在時間を、３次元検知領域１２における物体の検知条件として自動で設定してもよい。このとき、滞在時間を計時する計時部は、上述のパーソナルコンピュータの備えているタイマにより構成されている。また、設定部７は、滞在時間を、動画のフレームレートを用いて計算してもよい。ユーザは、提示部４に提示された作業プロセスを、例えば、文章、描画、画像、動画、記号等を使って編集することができる。

なお、複数の作業イベントに対応するフレームは、時間軸に対して並列に設定してもよい。例えば、パーツボックス１３１から部品を取る作業とパーツボックス１３２から部品を取る作業を同時に行う場合、又は、順不同で行う場合、パーツボックス１３１、１３２に対応する自動検知領域１４１、１４２から抽出されるフレームは、時間軸に対して並列に設定することができる。

作業支援システム１のガイド情報提示部８は、作業領域１１の上方において上下方向においてセンサ２と重ならないように配置されている。ガイド情報提示部８は、上述の第２モードにおいて作業プロセスに従って作業ガイド情報を作業領域１１に順次提示する。ガイド情報提示部８は、作業台１５の上面１５１を含む投影面（表示面）に映像を投影するように構成されている。

ガイド情報提示部８は、例えば、プロジェクタである。ガイド情報提示部８は、作業領域１１に向かって作業ガイド情報（映像）を投影するように配置されている。作業ガイド情報は、作業台１５の上面１５１のうち複数のパーツボックス１３のうち部品を取り出す１つのパーツボックス１３の３次元検知領域１２に対応する領域に、例えば色付の矢印等の図形１７（図２参照）で提示される。したがって、作業支援システム１では、作業者１００が作業中と同様の姿勢のまま作業ガイド情報を見ることができる。作業ガイド情報は、図形１７に限らず、文章（例えば、「部品を取って」等）でもよいし、図形１７と文章との両方であってもよい。図形１７は、矢印に限らず、例えば、長方形でもよい。また、作業ガイド情報は、矢印又は長方形以外の図形であってもよいし、動画、写真等であってもよい。ガイド情報提示部８の動作は、制御部９によって制御される。作業支援システム１では、制御部９が、ガイド情報提示部８による作業ガイド情報の提示、非提示のタイミングを制御する。ここにおいて、制御部９は、例えば、第１モードで作成した作業プロセスにより予め決められた順序で複数の作業ガイド情報を１つずつ提示させる。複数の作業ガイド情報の１つ１つは、複数の作業イベントの１つ１つに対応している。１つの作業ガイド情報を所定時間だけ提示させてから非提示とした後に、次の１つの作業ガイド情報を提示させるまでの間隔は、適宜設定すればよい。また、作業者１００の動作の完了を３次元検知領域１２及び検知条件で検知した後で、作業ガイド情報の提示を切り換えてもよい。作業支援システム１では、センサ２は、ガイド情報提示部８による作業領域１１への作業ガイド情報の提示（投影）を妨げないように配置されている。ガイド情報提示部８は、投影光がセンサ２に照射されないように配置されている。

作業支援システム１は、第２モードのとき、センサ２の出力を作業支援に利用する。作業支援システム１では、第２モードで動作しているときに、制御部９が、センサ２の出力に基づいて、作業の異常の有無を判断し、異常が有る場合にその旨を作業者に通知するようにしてもよい。

作業の異常としては、例えば、作業ガイド情報によって提示された作業ガイド情報による作業とは異なった作業が行われた場合、作業ガイド情報が提示されてから当該作業ガイド情報に従った作業が行われるまでの時間が上記の規定時間を超えている場合等である。作業ガイド情報による作業とは異なった作業が行われた場合としては、例えば、図２における左端のパーツボックス１３１から部品を取るように指示されたのに対して、作業者１００が図２における左から２番目のパーツボックス１３２から部品を取った場合がある。

作業者１００への通知は、制御部９がガイド情報提示部８を制御することによって行ってもよいし、制御部９が音声発生装置、表示装置等を制御することによって行ってもよい。また、作業支援システム１では、第２モードで動作しているときに、制御部９は、センサ２の出力に基づいて、作業ガイド情報に従った作業が行われたことを検知するまで、作業ガイド情報を提示させたままにしてもよい。また、作業支援システム１は、例えば、第２モードで動作させるときに計測器と連係動作させてもよく、計測器からの信号をトリガとして作業ガイド情報を提示させてもよい。

作業支援システム１では、作業者１００が、作業領域１１で作業を行うときに作業領域１１に提示された作業ガイド情報を見ることができる。作業支援システム１を第２モードで動作させているときには、作業者１００は、ガイド情報提示部８によって提示された作業ガイド情報に従って作業を行えばよい。これにより、作業者１００は、作業プロセスに容易に適応することが可能となる。複数の作業者１００間の生産量の差を小さくすることが可能となる。また、作業者１００が、多品種の製品ごとに異なる作業プロセスに容易に適応することが可能となる。また、作業支援システム１を利用することにより、複数の作業者１００の作業内容の標準化を図れる。

以上説明した実施形態は、本発明の様々な実施形態の一つに過ぎない。実施形態は、本発明の目的を達成できれば、設計等に応じて種々の変更が可能である。また、作業支援システム１と同様の機能は、作業支援方法又はプログラム（コンピュータプログラム）で具現化されてもよい。

一態様に係る作業支援方法は、作業領域１１内に設定された自動検知領域１４内に存在する物体を検知するセンサ２の出力に基づいて、作業領域１１内の複数の作業イベントの順序を含む作業プロセスを生成する。

また、一態様に係るプログラムは、コンピュータシステムに、作業領域１１内に設定された自動検知領域１４内に存在する物体を検知するセンサ２の出力に基づいて、作業領域１１内の複数の作業イベントの順序を含む作業プロセスを生成する処理を実行させる。

以下、上記の実施形態の変形例を列挙する。

センサ２の検知対象は、作業者１００の手に限らず、例えば、部品、製品等であってもよい。

また、センサ２は、距離画像センサ２１とイメージセンサ２２との両方を備えた構成に限らず、距離画像センサ２１とイメージセンサ２２とのうち一方だけを備えた構成でもよい。また、センサ２は、距離画像センサ２１とイメージセンサ２２との少なくとも一方を備えた構成に限らず、例えば、複数の３次元検知領域１２ごとに設けられた複数のピッキングセンサであってもよい。

また、作業領域１１では、複数のパーツボックス１３のうちの少なくとも２つのパーツボックス１３が上下方向において重なって配置されていてもよい。

また、ガイド情報提示部８は、プロジェクタに限らず、例えば、作業台１５の上面１５１を含む天板に埋め込まれたディスプレイでもよい。

また、作業支援システム１は、センサ２及び生成部３の他に、提示部４、編集部５、ユーザインタフェース６、設定部７、ガイド情報提示部８、制御部９及び記憶部１０を備え得いるが、センサ２及び生成部３以外は必須の構成ではなく、適宜、省略可能である。また、提示部４、編集部５、ユーザインタフェース６、設定部７、ガイド情報提示部８、制御部９及び記憶部１０は、それぞれが互いの機能を分担して実行していてもよい。

また、作業支援システム１は、生成部３で生成された作業プロセスをスマートフォン等の端末に送信してもよいし、記録媒体に記録させるようにしてもよい。

作業支援システム１で想定する作業は、製造ラインでの手組に限らない。例えば、作業は、製造ラインでの製品又は部品の良品、不良品の選別作業、梱包作業、調理、掃除等であってもよい。

また、作業支援システム１が備える生成部３の少なくとも一部の機能は、例えば、クラウドコンピューティング（Cloud Computing）におけるサーバ装置によって実現されてもよい。

（まとめ）
以上説明した実施形態等から以下の態様が開示されている。

第１の態様に係る作業支援システム（１）は、センサ（２）と、生成部（３）と、を備える。センサ（２）は、作業領域（１１）内に設定された自動検知領域（１４）内に存在する物体を検知する。生成部（３）は、センサ（２）の出力に基づいて、作業領域（１１）内の複数の作業イベントの順序を含む作業プロセスを生成する。

第１の態様に係る作業支援システム（１）では、作業プロセスを容易に生成することが可能となる。

第２の態様に係る作業支援システム（１）は、第１の態様において、作業プロセスを提示する提示部（４）を更に備える。

第２の態様に係る作業支援システム（１）では、作業プロセスを提示することができるので、ユーザが作業プロセスを確認することができる。

第３の態様に係る作業支援システム（１）は、第１又は２の態様において、センサ（２）は、センサ（２）から自動検知領域（１４）に存在する物体までの距離値を画素値とする距離画像を連続的に生成する距離画像センサ（２１）を含む。

第３の態様に係る作業支援システム（１）では、センサ（２）としてピッキングセンサを用いる場合に比べて作業者の作業性を向上させることが可能となる。

第４の態様に係る作業支援システム（１）は、第１〜３の態様のいずれか一つにおいて、センサ（２）は、イメージセンサ（２２）を含む。

第４の態様に係る作業支援システム（１）では、ユーザがイメージセンサ（２２）から出力される画像を見ながら自動検知領域（１４）を設定することが可能となる。

第５の態様に係る作業支援システム（１）は、第１〜４の態様のいずれか一つにおいて、ユーザインタフェース（６）からの入力情報に基づいて作業プロセスを編集する編集部（５）を更に備える。

第５の態様に係る作業支援システム（１）では、ユーザがユーザインタフェースを利用して作業プロセスの編集を行うことが可能となる。

第６の態様に係る作業支援システム（１）は、第１〜５の態様のいずれか一つにおいて、３次元検知領域（１２）をユーザインタフェース（６）からの入力情報に従って設定する設定部（７）を更に備える。

第６の態様に係る作業支援システム（１）では、３次元検知領域（１２）をカスタマイズすることが可能となる。

第７の態様に係る作業支援システム（１）は、第１〜６の態様のいずれか一つにおいて、生成部（３）において作業プロセスを生成する第１モードと、生成部（３）において生成された作業プロセスを使用する第２モードと、があり、第２モードにおいてセンサ（２）の出力を作業支援に利用する。

第７の態様に係る作業支援システム（１）では、第１モードと第２モードとの両方で同じセンサ（２）を利用することができる。

第８の態様に係る作業支援システム（１）は、第７の態様において、第２モードにおいて作業プロセスに従って複数の作業ガイド情報を順次提示するガイド情報提示部（８）を更に備える。

第８の態様に係る作業支援システム（１）では、第２モードにおいて作業プロセスに従って複数の作業ガイド情報を順次提示することにより、作業支援することが可能となる。

第９の態様に係る作業支援方法は、作業領域（１１）内に設定された自動検知領域（１４）内に存在する物体を検知するセンサ（２）の出力に基づいて、作業領域（１１）内の複数の作業イベントの順序を含む作業プロセスを生成する。

第９の態様に係る作業支援方法では、作業プロセスを容易に生成することが可能となる。

第１０の態様に係るプログラムは、コンピュータシステムに、作業領域（１１）内に設定された自動検知領域（１４）内に存在する物体を検知するセンサ（２）の出力に基づいて、作業領域（１１）内の複数の作業イベントの順序を含む作業プロセスを生成する処理を実行させる。

第１０の態様に係るプログラムでは、作業プロセスを容易に生成することが可能となる。

１ 作業支援システム
２ センサ
３ 生成部
４ 提示部
５ 編集部
６ ユーザインタフェース
７ 設定部
８ ガイド情報提示部
９ 制御部
１１ 作業領域
１２ ３次元検知領域
１４ 自動検知領域
１００ 作業者

Claims (10)

1. 作業領域内に設定された自動検知領域内に存在する物体を検知するセンサと、
   前記センサの出力に基づいて、前記作業領域内の複数の作業イベントの順序を含む作業プロセスを生成する生成部と、を備える、
   作業支援システム。
2. 前記作業プロセスを提示する提示部を更に備える、
   請求項１に記載の作業支援システム。
3. 前記センサは、前記センサから前記自動検知領域に存在する物体までの距離値を画素値とする距離画像を連続的に生成する距離画像センサを含む、
   請求項１又は２に記載の作業支援システム。
4. 前記センサは、イメージセンサを含む、
   請求項１〜３のいずれか一項に記載の作業支援システム。
5. ユーザインタフェースからの入力情報に基づいて前記作業プロセスを編集する編集部を更に備える、
   請求項１〜４のいずれか一項に記載の作業支援システム。
6. ３次元検知領域をユーザインタフェースからの入力情報に従って設定する設定部を更に備える、
   請求項１〜５のいずれか一項に記載の作業支援システム。
7. 前記生成部において前記作業プロセスを生成する第１モードと、前記生成部において生成された前記作業プロセスを使用する第２モードと、があり、前記第２モードにおいて前記センサの出力を作業支援に利用する、
   請求項１〜６のいずれか一項に記載の作業支援システム。
8. 前記第２モードにおいて前記作業プロセスに従って複数の作業ガイド情報を順次提示するガイド情報提示部を更に備える、
   請求項７に記載の作業支援システム。
9. 作業領域内に設定された自動検知領域内に存在する物体を検知するセンサの出力に基づいて、前記作業領域内の複数の作業イベントの順序を含む作業プロセスを生成する、
   作業支援方法。
10. コンピュータシステムに、
    作業領域内に設定された自動検知領域内に存在する物体を検知するセンサの出力に基づいて、前記作業領域内の複数の作業イベントの順序を含む作業プロセスを生成する処理を実行させるための
    プログラム。

Images