JP7275983B2 - Work analysis device and work analysis program - Google Patents
Work analysis device and work analysis program Download PDFInfo
- Publication number
- JP7275983B2 JP7275983B2 JP2019147092A JP2019147092A JP7275983B2 JP 7275983 B2 JP7275983 B2 JP 7275983B2 JP 2019147092 A JP2019147092 A JP 2019147092A JP 2019147092 A JP2019147092 A JP 2019147092A JP 7275983 B2 JP7275983 B2 JP 7275983B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- unit
- parts box
- predetermined
- box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- General Factory Administration (AREA)
Description
本発明は、正しい作業が行われているか否かを判定するための判定用データを生成する作業分析装置及び作業分析プログラムに関するものである。 TECHNICAL FIELD The present invention relates to a work analysis device and a work analysis program that generate determination data for determining whether correct work is being performed.
従来、基板等の被組付部材に対して複数の部品を組み付ける作業などの所定の作業を行う作業者の動画を大量に撮像してその動画を解析することで、正しい作業が行われているか否かを判定するための判定用データ(アノテーションデータ)を生成し、このように生成したデータを利用して作業を支援するシステムが採用されている。 Conventionally, by capturing a large number of videos of a worker performing a predetermined task such as the task of assembling a plurality of parts to a member to be assembled such as a substrate, and analyzing the video, it is possible to determine whether the task is being performed correctly. A system is employed that generates judgment data (annotation data) for judging whether or not, and uses the data thus generated to support work.
このようなアノテーションデータの生成に関する技術として、例えば、下記特許文献1に開示される作業分析装置が知られている。この作業分析装置にてなされる作業分析処理では、読み込んだ分析対象の作業動画が、計測状態表示領域等とともに作業分析画面に再生表示される。そして、動画再生中に再生画面の一部をマウスでクリックする区切操作が作業者により行われると、その再生画面の一部の上に選択画面が表示される。この表示状態で、その選択画面に表示されるいずれかの属性情報をマウスでクリックする選択操作が作業者により行われると、区切操作により区切られる動画範囲について、選択操作により選択される属性情報を含む分析データが関連付けられて記録される。
As a technique for generating such annotation data, for example, a work analysis device disclosed in
ところで、上述した特許文献1に開示される作業分析装置では、複数の単位作業が所定の順番で行われる所定の作業の繰り返しを動画で撮像した後に、その再生動画を見ている作業者等が再生画面の一部をマウスでクリックするような操作が必要になる。このため、動画を全て見なければ、単位作業ごとに動画範囲を区切ることができず、作業者等にとって負担が大きな作業になるという問題がある。特に、単位作業の種類が多くなり、その所定の作業の繰り返し回数が多くなると、上記問題は顕著になる。また、所定の作業の繰り返しを動画で撮像した後に、その再生動画を見ながら操作を行う必要があるため、所定の作業の動画を撮像しながらアノテーションデータを生成することができないという問題がある。
By the way, in the work analysis device disclosed in the above-mentioned
本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、正しい作業が行われているか否かを判定するための判定用データを、繰り返し行われる所定の作業を撮像した作業動画に基づいてリアルタイムに生成し得る構成を提供することにある。 SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and an object of the present invention is to provide judgment data for judging whether or not the correct work is being performed, to perform a predetermined work repeatedly. To provide a configuration capable of generating in real time based on a work moving image in which a is taken.
上記目的を達成するため、特許請求の範囲の請求項1に記載の発明は、
正しい作業が行われているか否かを判定するための判定用データを生成する作業分析装置(10)であって、
作業者により複数の単位作業が所定の順番で行われる所定の作業の繰り返しを撮像する撮像部(13)と、
前記単位作業ごとに予め設定される所定の動作に基づいて、前記撮像部により撮像された作業動画を前記所定の動作の検出タイミングで前記単位作業ごとに区切るための区切情報を設定する設定部(11)と、
前記撮像部により撮像された作業動画と前記設定部により設定された前記区切情報とを含めるように前記判定用データを生成する生成部(11)と、
を備え、
前記生成部は、前記設定部により設定された前記区切情報に基づいて、前記所定の順番と異なる順番で行われた前記単位作業の1つ前の単位作業を除外するように前記判定用データを生成することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示
すものである。
In order to achieve the above object, the invention described in
A work analysis device (10) for generating determination data for determining whether correct work is being performed,
an imaging unit (13) for imaging repetition of a predetermined work in which a plurality of unit tasks are performed by a worker in a predetermined order;
A setting unit ( 11) and
a generation unit (11) for generating the determination data so as to include the work moving image captured by the imaging unit and the delimiter information set by the setting unit;
with
The generation unit generates the determination data so as to exclude a unit work immediately preceding the unit work performed in an order different from the predetermined order, based on the delimiter information set by the setting unit. characterized by generating
It should be noted that the symbols in parentheses above indicate the corresponding relationship with specific means described in the embodiments to be described later.
請求項1の発明では、単位作業ごとに予め設定される所定の動作に基づいて、撮像部により撮像された作業動画を所定の動作の検出タイミングで単位作業ごとに区切るための区切情報が設定部により設定され、撮像部により撮像された作業動画と設定部により設定された区切情報とを含めるように判定用データが生成部により生成される。 In the first aspect of the present invention, the setting unit includes delimiter information for delimiting the work moving image captured by the imaging unit into units of work at detection timings of predetermined motions based on predetermined motions set in advance for each unit of work. The generation unit generates determination data so as to include the work moving image captured by the imaging unit and the delimiter information set by the setting unit.
これにより、作業者が単位作業ごとに行う所定の動作が撮像されるだけで、単位作業ごとに作業動画を自動的に区切ることができる。したがって、正しい作業が行われているか否かを判定するための判定用データを、繰り返し行われる所定の作業を撮像した作業動画に基づいてリアルタイムに生成することができる。
特に、生成部により、設定部により設定された区切情報に基づいて、所定の順番と異なる順番で行われた単位作業の1つ前の単位作業が除外されるように判定用データが生成される。例えば、単位作業A、単位作業B、単位作業Cの順で所定の作業がなされる場合に、単位作業Aに対応する所定の動作が検出された後に単位作業Cに対応する所定の動作が検出された場合を想定する。この場合、単位作業Aの後に実際に行われた単位作業Bの所定の動作が何らかの理由で検出できないために、単位作業Aとして区切られた作業動画に単位作業Bの作業動画も含まれてしまっている可能性があるため、所定の順番と異なる順番で行われた単位作業Cの1つ前の単位作業Aが除外される。このように、正常な作業とみなされない単位作業の動画が自動的に判定用データから除外されるため、判定用データの信頼性を向上させることができる。
As a result, the work video can be automatically segmented for each unit work only by capturing the predetermined motions performed by the worker for each unit work. Therefore, the determination data for determining whether or not the correct work is being performed can be generated in real time based on the work video imaged of the predetermined work that is repeatedly performed.
In particular, the generation unit generates the determination data based on the delimiter information set by the setting unit so as to exclude the unit work immediately preceding the unit work performed in an order different from the predetermined order. . For example, when predetermined work is performed in the order of unit work A, unit work B, and unit work C, a predetermined action corresponding to unit work A is detected and then a predetermined action corresponding to unit work C is detected. Assume that the In this case, since the predetermined movement of unit work B that was actually performed after unit work A cannot be detected for some reason, the work video segmented as unit work A also includes the work video of unit work B. Therefore, unit work A immediately preceding unit work C, which was performed in an order different from the predetermined order, is excluded. In this way, since a moving image of a unit work that is not regarded as normal work is automatically excluded from the determination data, the reliability of the determination data can be improved.
請求項2の発明では、単位作業は、当該単位作業に関連付けられる部品箱から取り出した部品を被組付部材に組み付ける作業であり、上記所定の動作は、部品箱から部品を取り出す動作である。このように、その単位作業として必須の作業動作の検出タイミングで作業動画を区切ることができ、本来の単位作業と無関係の動作を強いることもないので、判定用データの生成に関して作業者等の作業負担を軽減することができる。
In the invention of
請求項3の発明では、単位作業は、当該単位作業に関連付けられる部品を被組付部材に組み付ける作業であり、上記所定の動作は、部品を被組付部材の組付予定位置に移動させた動作である。このように、その単位作業として必須の作業動作の検出タイミングで作業動画を区切ることができ、本来の単位作業と無関係の動作を強いることもないので、判定用データの生成に関して作業者等の作業負担を軽減することができる。
In the invention of
請求項4の発明では、生成部により、設定部により設定された区切情報に基づいて、単位作業ごとに正常な作業とみなされる正常作業時間範囲が算出され、作業時間が正常作業時間範囲の単位作業が判定用データとして生成される。これにより、作業時間を考慮して正常な作業とみなされる単位作業の動画を自動的に判定用データとすることができ、判定用データの信頼性を向上させることができる。 In the fourth aspect of the invention, the generation unit calculates a normal work time range for each unit work based on the delimiter information set by the setting unit. Work is generated as data for judgment. As a result, it is possible to automatically use a moving image of a unit work that is considered to be normal work in consideration of the work time as determination data, thereby improving the reliability of the determination data.
請求項5の発明では、生成部により、作業時間が正常作業時間範囲から外れる単位作業を除外するように判定用データが生成される。これにより、正常な作業とみなされない単位作業の動画を自動的に判定用データから除外することができ、判定用データの信頼性を向上させることができる。 In the fifth aspect of the present invention, the generation unit generates determination data so as to exclude unit work whose work time is out of the normal work time range. As a result, it is possible to automatically exclude moving images of unit work that are not regarded as normal work from the determination data, and improve the reliability of the determination data.
請求項6の発明によれば、請求項1と同様の効果を奏する作業分析プログラムを実現できる。
According to the invention of claim 6 , it is possible to realize a work analysis program having the same effect as that of
[第1実施形態]
以下、本発明に係る作業分析装置及び作業分析プログラムを具現化した第1実施形態について、図面を参照して説明する。
本実施形態に係る作業分析装置10は、図1に例示するように、作業台1等に設けられており、複数の単位作業が所定の順番で行われる所定の作業が作業者Mにより繰り返しなされる作業動画を撮像し、正しい作業が行われているか否かを単位作業ごとに判定するための判定用データ(アノテーションデータ)を、作業動画に基づいて生成する装置として構成されている。すなわち、所定の作業が繰り返される作業動画を単位作業ごとに区切るための区切情報を設定するようにして判定用データを生成する。このため、判定用データから各単位作業を撮像した動画範囲をそれぞれ多数抽出することができる。
[First embodiment]
Hereinafter, a first embodiment embodying a work analysis device and a work analysis program according to the present invention will be described with reference to the drawings.
As illustrated in FIG. 1, the
組み付け作業が行われる作業台1には、プリント基板などの被組付部材(以下、単に、ワークWともいう)が搬送されて配置される。この作業台1の棚2には、複数の部品箱30が作業者Mから見て左右に並ぶように配置されており、各部品箱30には、ワークWに組み付けるための複数種類の部品20がそれぞれ個別に貯留されている。本実施形態では、図2からわかるように、棚2上に4つの部品箱30a~30dが並んで配置され、部品箱30aに部品20aが収容され、部品箱30bに部品20bが収容され、部品箱30cに部品20cが収容され、部品箱30dに部品20dが収容されている。なお、図2では、後述する撮像部13により撮像される画像のうち部品箱30a~30dの近傍を拡大して示している。
A member to be assembled such as a printed circuit board (hereinafter also simply referred to as a work W) is transported and placed on the
作業分析装置10は、図1及び図3に示すように、制御部11、記憶部12、撮像部13、表示部14、発光部15、スピーカ16、操作部17、通信部18などを備えている。制御部11は、マイコンを主体として構成されて、作業分析装置10の全体的制御や各種演算を行うものであり、例えば後述する作業分析処理を実行するように機能する。記憶部12は、ROM、RAM、HDD、不揮発性メモリなどの公知の記憶媒体によって構成されており、作業分析処理を実行するためのアプリケーションプログラム(以下、作業分析プログラムともいう)や所定のデータベース等が、制御部11により利用可能に予め格納されている。
As shown in FIGS. 1 and 3, the
撮像部13は、受光センサ(例えば、C-MOSエリアセンサ、CCDエリアセンサ等)を備えたカメラとして構成されている。本実施形態では、撮像部13は、制御部11や表示部14等を備えた装置本体10aとは別体として構成されており、作業者Mの作業状態に加えて各部品箱30a~30d及びワークWの状態を動画で撮像するように、作業台1の上部に配置されている。本実施形態では、撮像部13は、例えば、30フレーム/秒で動画(連続静止画)を撮像し、撮像した動画が制御部11によって分析可能に記憶部12に記憶されるように構成されている。
The
表示部14は、例えば、液晶ディスプレイであって、制御部11により制御されて、撮像部13により撮像された撮像画像や所定の情報等が表示されるように構成されている。この表示部14の表示画面が作業者Mによって視認されるように、装置本体10aが作業台1の背板等に取り付けられている。
The
発光部15は、例えば、LEDであって、制御部11により制御されて、発光色や点灯・点滅状態が制御されるように構成され、作業者Mによって視認容易な位置に配置されている。スピーカ16は、公知のスピーカ等によって構成されており、制御部11により制御されて、予め設定された音声やアラーム音等の各種通知音を放音するように構成されている。
The
操作部17は、入力操作に応じた操作信号を制御部11に対して出力する構成をなしており、制御部11は、この操作信号を受けて入力操作に応じた処理を行うようになっている。通信部18は、上位機器等の外部装置との間でデータ通信を行うための通信インタフェースとして構成されており、制御部11と協働して通信処理を行うように構成されている。
The
次に、作業者Mにより、所定の作業手順に従って、複数の部品箱に収容された部品を個々にワークWに組み付ける所定の作業が行われる際に、制御部11にてよって実行される作業分析プログラムに基づいてなされる作業分析処理について説明する。
Next, a work analysis performed by the
本実施形態では、分析対象の所定の作業として、ワークWに対して、1番目に部品箱30aの部品20aを組み付ける単位作業A、2番目に部品箱30bの部品20bを組み付ける単位作業B、3番目に部品箱30cの部品20cを組み付ける単位作業C、4番目に部品箱30dの部品20dを組み付ける単位作業Dの順番で行う作業が採用されている。
In this embodiment, as the predetermined work to be analyzed, the unit work A that first assembles the
そして、作業分析処理では、単位作業ごとに予め設定される所定の動作(以下、区切動作ともいう)に基づいて、撮像部13により撮像された作業動画を区切動作の検出タイミングで単位作業ごとに区切るための区切情報が設定されるように上記判定用データが生成される。本実施形態では、撮像部13による撮像範囲のうち部品箱30aに相当する範囲が監視領域P1aとして予め設定されており、図4(A)に示すように、監視領域P1aに作業者Mの手が入り込む動作が単位作業Aに関して上記区切動作として設定されている。同様に、撮像部13による撮像範囲のうち部品箱30b~30dに相当する範囲がそれぞれ監視領域P1b~P1dとして予め設定されている。そして、図4(B)に示すように、監視領域P1bに作業者Mの手が入り込む動作が単位作業Bに関して上記区切動作として設定されている。また、図5(A)に示すように、監視領域P1cに作業者Mの手が入り込む動作が単位作業Cに関して上記区切動作として設定されている。また、図5(B)に示すように、監視領域P1dに作業者Mの手が入り込む動作が単位作業Dに関して上記区切動作として設定されている。なお、図4及び図5では、撮像部13による撮像範囲のうち各部品箱30a~30dに相当する範囲を拡大して図示している。
In the work analysis process, based on a predetermined action (hereinafter also referred to as a break action) set in advance for each unit work, the work moving image captured by the
なお、各監視領域P1a~P1dは、例えば、各部品箱30a~30dが決められた位置に配置されることで規定範囲として設定されてもよいし、各部品箱30a~30dを個々に搖動等させた状態を連続撮像することで生じる画像差分に基づいて設定されてもよい。
Note that each of the monitoring areas P1a to P1d may be set as a specified range by, for example, arranging each of the
以下、制御部11にてよってなされる作業分析処理について、図6のフローチャートを参照して具体的に詳述する。
操作部17に対して所定の開始操作がなされることで、制御部11により作業分析処理が開始されると、図6のステップS101に示す撮像処理がなされ、作業者Mによる作業動画が撮像部13により撮像される状態になる。そして、この作業動画の撮影中に、上述のように設定されたいずれかの区切動作が検出されると、ステップS103の判定処理にてYesと判定される。続いて、ステップS105の区切情報設定処理にて、上記検出タイミングで作業動画を区切るための区切情報が設定される。この区切情報には、区切動作から特定される単位作業名や検出時刻に関する情報等を含めることができる。そして、所定の終了操作等がなされていない場合には(S107でNo)、再び、上記ステップS103からの処理が繰り返される。なお、上記区切情報設定処理を行う制御部11は、「設定部」の一例に相当し得る。
The work analysis process performed by the
When the work analysis process is started by the
このような、上記ステップS103からの繰り返し処理により、単位作業ごとに区切情報が設定されて、図7に示すような作業区切の検出結果を得ることができる。例えば、図7のkサイクル目だと、時刻t1にて監視領域P1aに作業者Mの手が入り込む動作が検出されることで、この時刻t1が単位作業Aの開始タイミングに設定され、その後、時刻t2にて監視領域P1bに作業者Mの手が入り込む動作が検出されることで、この時刻t2が単位作業Bの開始タイミングであって単位作業Aの終了タイミングに設定される。同様にして、時刻t3にて監視領域P1cに作業者Mの手が入り込む動作が検出されることで、この時刻t3が単位作業Cの開始タイミングであって単位作業Bの終了タイミングに設定される。また、時刻t4にて監視領域P1dに作業者Mの手が入り込む動作が検出されることで、この時刻t4が単位作業Dの開始タイミングであって単位作業Cの終了タイミングに設定される。また、時刻t5にて監視領域P1aに作業者Mの手が入り込む動作が検出されることで、この時刻t5がk+1サイクル目の単位作業Aの開始タイミングであってkサイクル目の単位作業Dの終了タイミングに設定される。 By repeating the process from step S103, the division information is set for each unit work, and the work division detection result as shown in FIG. 7 can be obtained. For example, in the k-th cycle in FIG. 7, the operator M's hand entering the monitoring area P1a is detected at time t1, and this time t1 is set as the start timing of the unit work A. At time t2, the movement of the worker M's hand entering the monitoring area P1b is detected, and this time t2 is set as the start timing of the unit work B and the end timing of the unit work A. FIG. Similarly, when the operator M's hand is detected to enter the monitoring area P1c at time t3, this time t3 is set as the start timing of the unit work C and the end timing of the unit work B. . Further, when the movement of the operator M's hand entering the monitoring area P1d is detected at time t4, this time t4 is set as the start timing of the unit work D and the end timing of the unit work C. FIG. At time t5, the movement of the operator M's hand entering the monitoring area P1a is detected, and this time t5 is the start timing of the unit work A in the k+1 cycle and the start of the unit work D in the kth cycle. Set to end timing.
このようにして、必要な作業動画が区切情報を設定した状態で得られることで終了操作等がなされると(S107でYes)、ステップS109に示す異常作業除外処理がなされる。この処理では、上述のように設定された区切情報に基づいて、異常作業と推定される単位作業を判定用データから除外するための処理がなされる。 In this way, when the required work moving image is obtained with the delimiter information set and an end operation or the like is performed (Yes in S107), abnormal work exclusion processing shown in step S109 is performed. In this process, based on the delimiter information set as described above, a process for excluding unit work presumed to be abnormal work from the determination data is performed.
具体的には、例えば、単位作業ごとに、設定された区切情報に基づいて算出された平均作業時間を基準に、正常な作業とみなされる正常作業時間範囲を算出し、作業時間が正常作業時間範囲から外れる単位作業を自動的に除外する。図7の例では、n1サイクル目の単位作業Bの作業時間が正常作業時間範囲から外れているため、このn1サイクル目の単位作業Bを判定用データからの除外対象とする。 Specifically, for example, for each unit work, based on the average work time calculated based on the set delimiter information, a normal work time range that is regarded as normal work is calculated, and the work time is calculated as normal work time. Automatically exclude out-of-range unit operations. In the example of FIG. 7, the working time of the unit work B of the n1th cycle is out of the normal work time range, so the unit work B of the n1th cycle is excluded from the determination data.
また、例えば、設定された区切情報に基づいて、所定の順番と異なる順番で行われた単位作業の1つ前の単位作業を自動的に除外する。図7の例では、n2サイクル目の単位作業Cが単位作業Aの後になされており所定の順番と異なる順番であるため、n2サイクル目の単位作業Cの1つ前のn2サイクル目の単位作業Aを判定用データからの除外対象とする。この場合、単位作業Aの後に実際に行われた単位作業Bの区切動作が何らかの理由で検出できないために、単位作業Aとして区切られた作業動画に単位作業Bの作業動画も含まれてしまっている可能性があるため、所定の順番と異なる順番で行われた単位作業Cの1つ前の単位作業Aを判定用データからの除外対象とする。 Also, for example, based on the set delimiter information, the unit work immediately preceding the unit work performed in an order different from the predetermined order is automatically excluded. In the example of FIG. 7, the unit work C of the n2th cycle is performed after the unit work A and is in an order different from the predetermined order. Let A be excluded from the determination data. In this case, for some reason, the dividing motion of unit work B, which was actually performed after unit work A, cannot be detected. Therefore, unit work A immediately preceding unit work C, which was performed in an order different from the predetermined order, is excluded from the determination data.
上述のように異常作業と推定される単位作業が除外されると、ステップS111の判定用データ生成処理がなされ、残りの正常な作業とみなされる単位作業の動画と対応する区切情報とを含めるように上記判定用データ(アノテーションデータ)が生成される。このように生成された判定用データは、記憶部12に記憶され、必要に応じて通信部18を介して上位機器等に送信される。なお、異常作業と推定される単位作業に関するデータを、異常時の行動等に関して学習するためのデータとするために、異常データとして、別途、記憶部12に記憶するようにしてもよい。また、上記異常作業除外処理及び上記判定用データ生成処理を行う制御部11は、「生成部」の一例に相当し得る。
After the unit work that is presumed to be abnormal work is excluded as described above, determination data generation processing is performed in step S111 to include the moving images of the remaining unit work that are considered to be normal work and the corresponding delimiter information. , the determination data (annotation data) is generated. The determination data generated in this manner is stored in the
以上説明したように、本実施形態に係る作業分析装置10では、単位作業ごとに予め設定される区切動作(所定の動作)に基づいて、撮像部13により撮像された作業動画を区切動作の検出タイミングで単位作業ごとに区切るための区切情報が設定され、撮像部13により撮像された作業動画と設定された区切情報とを含めるように判定用データが生成される。
As described above, in the
これにより、作業者Mが単位作業ごとに行う区切動作が撮像されるだけで、単位作業ごとに作業動画を自動的に区切ることができる。したがって、正しい作業が行われているか否かを判定するための判定用データを、繰り返し行われる所定の作業を撮像した作業動画に基づいてリアルタイムに生成することができる。 As a result, it is possible to automatically segment the work video for each unit work only by imaging the segmenting operation performed by the worker M for each unit work. Therefore, the determination data for determining whether or not the correct work is being performed can be generated in real time based on the work video imaged of the predetermined work that is repeatedly performed.
特に、本実施形態では、単位作業は、当該単位作業に関連付けられる部品箱30から取り出した部品20をワーク(被組付部材)Wに組み付ける作業であり、上記区切動作は、部品箱30から部品20を取り出す動作である。このように、その単位作業として必須の作業動作の検出タイミングで作業動画を区切ることができ、本来の単位作業と無関係の動作を強いることもないので、判定用データの生成に関して作業者M等の作業負担を軽減することができる。
In particular, in this embodiment, the unit work is the work of assembling the
また、上記異常作業除外処理及び判定用データ生成処理では、設定された区切情報に基づいて、単位作業ごとに正常な作業とみなされる正常作業時間範囲が算出され、作業時間が正常作業時間範囲の単位作業が判定用データとして生成される。これにより、作業時間を考慮して正常な作業とみなされる単位作業の動画を自動的に判定用データとすることができ、判定用データの信頼性を向上させることができる。その一方で、上記異常作業除外処理及び判定用データ生成処理では、作業時間が正常作業時間範囲から外れる単位作業を除外するように判定用データが生成される。これにより、正常な作業とみなされない単位作業の動画を自動的に判定用データから除外することができ、判定用データの信頼性を向上させることができる。 In the abnormal work exclusion process and determination data generation process, a normal work time range that is regarded as normal work is calculated for each unit work based on the set delimiter information. A unit work is generated as determination data. As a result, it is possible to automatically use a moving image of a unit work that is considered to be normal work in consideration of the work time as determination data, thereby improving the reliability of the determination data. On the other hand, in the abnormal work exclusion process and determination data generation process, the determination data is generated so as to exclude the unit work whose work time is out of the normal work time range. As a result, it is possible to automatically exclude moving images of unit work that are not regarded as normal work from the determination data, and improve the reliability of the determination data.
さらに、上記異常作業除外処理及び判定用データ生成処理では、設定された区切情報に基づいて、所定の順番と異なる順番で行われた単位作業の1つ前の単位作業が除外されるように判定用データが生成される。このようにしても、正常な作業とみなされない単位作業の動画が自動的に判定用データから除外されるため、判定用データの信頼性を向上させることができる。 Furthermore, in the abnormal work exclusion process and determination data generation process, based on the set delimiter information, it is determined that the unit work immediately preceding the unit work performed in an order different from the predetermined order is excluded. data is generated. Even in this way, videos of unit work that are not regarded as normal work are automatically excluded from the judgment data, so that the reliability of the judgment data can be improved.
[第2実施形態]
次に、第2実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第2実施形態では、上記区切動作として、部品を被組付部材の組付予定位置に移動させる動作が採用されている点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Second embodiment]
Next, a work analysis device and work analysis program according to the second embodiment will be described with reference to the drawings.
The second embodiment mainly differs from the first embodiment in that an operation of moving the component to the planned assembly position of the member to be assembled is adopted as the separating operation. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.
本実施形態では、分析対象の所定の作業として、上記第1実施形態と同様に、ワークWに対して、1番目に部品箱30aの部品20aを組み付ける単位作業A、2番目に部品箱30bの部品20bを組み付ける単位作業B、3番目に部品箱30cの部品20cを組み付ける単位作業C、4番目に部品箱30dの部品20dを組み付ける単位作業Dの順番で行う作業が採用されている。
In this embodiment, as the predetermined work to be analyzed, as in the first embodiment, the unit work A for assembling the
その一方で、上記第1実施形態と異なり、図8に示すように、撮像部13による撮像範囲のうちワークWに対して、部品20aを組み付ける組付予定位置に相当する範囲が監視領域P2aとして設定され、部品20bを組み付ける組付予定位置に相当する範囲が監視領域P2bとして設定され、部品20cを組み付ける組付予定位置に相当する範囲が監視領域P2cとして設定され、部品20dを組み付ける組付予定位置に相当する範囲が監視領域P2dとして設定されている。
On the other hand, unlike the first embodiment, as shown in FIG. 8, a monitoring area P2a is a range corresponding to the planned assembly position where the
そして、図9(A)に示すように、監視領域P2aに部品20aを移動させた動作が単位作業Aに関して上記区切動作として設定されている。また、図9(B)に示すように、監視領域P2bに部品20bを移動させた動作が単位作業Bに関して上記区切動作として設定されている。また、図10(A)に示すように、監視領域P2cに部品20cを移動させた動作が単位作業Cに関して上記区切動作として設定されている。また、図10(B)に示すように、監視領域P2dに部品20dを移動させた動作が単位作業Dに関して上記区切動作として設定されている。なお、図8~図10では、撮像部13による撮像範囲のうちワークWに相当する範囲を拡大して図示し、図9及び図10では、便宜上、部品20をつかむ作業者Mの手の図示を省略している。
Then, as shown in FIG. 9A, an action of moving the
そして、本実施形態において制御部11にてなされる作業分析処理では、作業動画の撮影中に、上述のように設定されたいずれかの区切動作が検出されると(S103でYes)、この検出タイミングで作業動画を区切るための区切情報が設定され(S105)、終了操作等がなされるまで、上記ステップS103からの処理が繰り返される。このような繰り返し処理中に終了操作等がなされると(S107でYes)、異常作業と推定される単位作業が除外されるように判定用データが生成される(S109,S111)。
In the work analysis process performed by the
以上説明したように、本実施形態に係る作業分析装置10では、単位作業は、当該単位作業に関連付けられる部品20をワーク(被組付部材)Wに組み付ける作業であり、上記区切動作(所定の動作)は、部品20をワークWの組付予定位置に移動させる動作である。このようにしても、その単位作業として必須の作業動作の検出タイミングで作業動画を区切ることができ、本来の単位作業と無関係の動作を強いることもないので、判定用データの生成に関して作業者M等の作業負担を軽減することができる。
As described above, in the
[第3実施形態]
次に、第3実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第3実施形態では、上記区切動作を検出するための処理が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Third Embodiment]
Next, a work analysis device and work analysis program according to the third embodiment will be described with reference to the drawings.
The third embodiment is mainly different from the first embodiment in the process for detecting the break motion. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.
本実施形態に係る作業分析装置10は、部品箱30から部品20を取り出す際の動作を上記区切動作として検出するための監視装置40を備えている。この監視装置40は、静電容量の変化を監視することで上記区切動作を検出するための装置であって、図11に示すように、センサ回路41と、6つの帯状の導体42x1~42x6及び6つの帯状の導体42y1~42y6と、作業台43とを備えるように構成されている。なお、図11及び後述する図12では、便宜上、作業台43を一点鎖線にて図示している。
The
センサ回路41は、各導体42x1~42x6及び各導体42y1~42y6のそれぞれの静電容量(単位:F)の変化を監視するための回路であって、制御部11により制御されてその監視結果を制御部11に出力するように構成されている。
The
各導体42x1~42x6及び各導体42y1~42y6は、図11に示すように、格子模様状に配置されており、例えば、導体42x3と導体42y3とが重なるエリアに手を近づけると、導体42x3と導体42y3との静電容量が変化し、この変化がセンサ回路41により検出される。すなわち、各導体42x1~42x6及び各導体42y1~42y6によって36か所の静電容量の変化を検出可能なエリア(以下、作業エリアともいう)が構成され、マトリックス状に配置される各作業エリアの静電容量の変化を監視することで、どの作業エリアに手が近づけられているかを検知することができる。なお、各導体には、重なる他の導体の静電容量の変化の影響が小さくなるように絶縁処理等が施されている。
As shown in FIG. 11, the conductors 42x1 to 42x6 and the conductors 42y1 to 42y6 are arranged in a grid pattern. 42y3 changes, and this change is detected by the
このため、本実施形態では、各作業エリアを覆うように設けられた作業台43上に各部品箱30を配置した状態で、センサ回路41にて所定の閾値を超える静電容量の変化が検出された作業エリアに基づいて、部品箱30から部品20を取り出す動作(区切動作)やその部品箱30の位置を検出することができる。すなわち、特別な動作等を行うことなく、通常の作業動作を行うだけで、区切動作等を検出することができる。また、静電容量が変化する作業エリアの変化順等に応じて作業に使用する部品箱30の個数も検出することができる。
Therefore, in the present embodiment, when each
特に、各作業エリアと配置される部品箱30の種別等とを関連付けることで、上記区切動作を検出できるだけでなく、取り出した部品等を特定することができる。例えば、図12に示すように、作業台43上に各部品箱30a~30dが配置されていることが関連付けられた状態で、導体42x3、42x4,42y2,42y3において他の導体よりも大きな静電容量の変化がセンサ回路41により検出されると、上記区切動作を検出できるだけでなく、部品箱30bからの部品20bの取り出しを検出することができる。
In particular, by associating each work area with the type of the
このように、本実施形態では、各導体42x1~42x6及び各導体42y1~42y6の静電容量の変化を監視する特徴的構成を採用することで、上記区切動作及び取り出した部品20の種別等を検出することができ、この特徴的構成は、他の実施形態等にも適用することができる。なお、上記各作業エリアは、各導体42x1~42x6及び各導体42y1~42y6によって構成されることに限らず、他の静電容量の変化を監視可能な部材によって構成されてもよい。例えば、各作業エリアごとに1つ静電容量の変化を監視可能な導体を配置する構成であってもよい。また、作業エリアの個数は、36個(6×6)に設定されることに限らず、部品箱30の配置状況等に応じて異なる個数に設定してもよい。また、各導体の静電容量の変化を監視することで上記区切動作等を検出する構成は、上述したように部品箱30から部品20を取り出す区切動作の検出に適用されることに限らず、例えば、部品20を被組付部材の組付予定位置に移動させる区切動作の検出に適用してもよい。
As described above, in this embodiment, by adopting a characteristic configuration for monitoring changes in the capacitance of each of the conductors 42x1 to 42x6 and each of the conductors 42y1 to 42y6, the division operation and the type of the extracted
[第4実施形態]
次に、第4実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第4実施形態では、上記監視領域を設定するための処理が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Fourth Embodiment]
Next, a work analysis device and work analysis program according to the fourth embodiment will be described with reference to the drawings.
The fourth embodiment is mainly different from the first embodiment in the process for setting the monitoring area. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.
本実施形態に係る作業分析装置10は、上記監視領域、すなわち、部品箱30が配置された場所を検出するための監視装置40aを備えている。この監視装置40aは、図13(A)に示すように、部品箱30が配置される予定の棚2の面に対して一列にてほぼ隙間なく等間隔で配列される複数の圧電スイッチ44を備えるように構成されている。各圧電スイッチ44は、押圧に応じた信号をそれぞれ制御部11に出力するように構成されており、制御部11は、どの圧電スイッチ44が押圧状態であるか検出することができる。
The
すなわち、図13(B)に示すように、各圧電スイッチ44の押圧面側によって構成される監視エリアの一部に部品箱30が配置されると、その配置された部分の圧電スイッチ44(図13(B)の符号44a参照)のみから信号が出力される。このため、制御部11により各圧電スイッチ44の押圧状態を監視することで、上記監視エリア内において部品箱30が配置された場所(監視領域)を検出することができる。なお、図13(B)では、便宜上、部品箱30を破線にて図示している。
That is, as shown in FIG. 13B, when the
なお、圧電スイッチ44に代えて、検知面上に部品箱の一部が接触したことを検知可能な接触スイッチなどの物理スイッチを利用することで、上記監視エリア内において部品箱が配置された場所(監視領域)を検出してもよい。
In place of the
なお、不使用環境でなく使用頻度が高い環境等であれば、上述した監視装置40aに代えて、本実施形態の変形例として、図14(A)に示す監視装置40bを採用してもよい。この変形例では、各部品箱30は少なくとも裏面側が導電性を有するように構成されており、監視装置40bは、監視エリア内での導電状態の変化を検出することで、その部品箱30の配置場所(監視領域)を検出するように構成されている。このため、監視装置40bは、各部品箱30が配置される予定の面において、互いに平行に配列される複数の第1導体45と同数の第2導体46とを備えており、図14(B)に示すように、導通状態となった第1導体45及び第2導体46を検出することで、その検出された導体45,46(図14(B)の符号45a,46a参照)が占める範囲を部品箱30が配置された場所として検出することができる。なお、図14(B)では、便宜上、部品箱30を破線にて図示している。
In addition, as long as it is not a non-use environment but a frequently used environment, instead of the above-described
特に、部品箱30の裏側に設けられる導電体の抵抗値を部品箱30の種別ごとに変えることで、第1導体45及び第2導体46を介した導通時に検出される抵抗値に基づいて、配置される部品箱30の種別を判別することができる。
In particular, by changing the resistance value of the conductor provided on the back side of the
上述した圧電スイッチ44等を利用した各監視領域を検出する本実施形態の特徴的構成や上述した第1導体45及び第2導体46等を利用した各監視領域を検出する本実施形態における変形例の特徴的構成は、他の実施形態等にも適用することができる。
A characteristic configuration of this embodiment that detects each monitoring area using the
[第5実施形態]
次に、第5実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第5実施形態では、上記監視領域の設定及び手の高さを考慮した区切動作の検出のための処理が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Fifth embodiment]
Next, a work analysis device and work analysis program according to the fifth embodiment will be described with reference to the drawings.
The fifth embodiment is different from the first embodiment mainly in the setting of the monitoring region and the detection of the break motion in consideration of the height of the hand. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.
本実施形態では、上記作業分析処理が開始される前に、各監視領域を設定するため、制御部11により監視領域設定処理が実施される。この監視領域設定処理では、部品箱30の周壁の上端31をなぞった指の軌跡を撮像部13にて撮像することで、その部品箱に対応する監視領域が設定される。例えば、図15に例示するように、部品箱30cの周壁の上端31をなぞった指の軌跡を撮像部13にて撮像することで、その部品箱30cに対応する監視領域P1cが設定される。
In this embodiment, the
そして、上記作業分析処理では、作業者Mの手の高さを考慮して、監視領域に作業者Mの手が入り込む区切動作を検出する。例えば、部品箱30bに収容された部品を取ろうとしている手が隣の部品箱30aの上を通過する際に、この通過中の手が部品箱30aに対応する監視領域に入り込んでいると誤認されると、区切動作が誤検出されてしまうからである。
In the above work analysis process, the height of the hand of the worker M is taken into account to detect a break motion in which the hand of the worker M enters the monitoring area. For example, when a hand trying to pick up a part stored in the
このため、本実施形態では、撮像部13として撮像対象までの距離を測定可能なTOF(Time of Flight)カメラを採用し、図16に示すように、各部品箱30が載置される棚2の載置面2aを基準に、監視領域に入り込む手の載置面2aからの高さを測定する。そして、監視領域に入り込む手の載置面2aからの高さが所定の閾値h1を超える場合には、検出無効として区切動作と判断せず、監視領域に入り込む手の載置面2aからの高さが所定の閾値h1以下となる場合に、検出有効として区切動作の検出対象とする。なお、撮像部13と別にTOFカメラを用意して、このカメラを利用して監視領域に入り込む手の載置面2aからの高さを測定してもよい。
For this reason, in the present embodiment, a TOF (Time of Flight) camera capable of measuring the distance to the object to be imaged is employed as the
これにより、例えば、部品箱30bに収容された部品を取ろうとしている手が部品箱30aに対応する監視領域に入り込んでいても、その手の載置面2aからの高さが所定の閾値h1を超える場合には、検出無効となるので、区切動作の誤検出を抑制することができる。
As a result, for example, even if a hand trying to pick up a component stored in the
なお、上述したように、載置面2aからの手の高さを基準に検出無効であるか否かを判断することに限らず、部品箱30の周壁の上端31からの手の高さを基準に検出無効であるか否かを判断してもよい(図16の閾値h2参照)。また、なぞった指の軌跡を利用した監視領域の設定や手の高さを基準に検出無効の可否を判断する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
As described above, it is not limited to determining whether or not the detection is invalid based on the height of the hand from the
[第6実施形態]
次に、第6実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第6実施形態では、重量の変化を利用して上記区切動作を検出する点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Sixth Embodiment]
Next, a work analysis device and work analysis program according to the sixth embodiment will be described with reference to the drawings.
The sixth embodiment is mainly different from the first embodiment in that the break motion is detected using a change in weight. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.
本実施形態に係る作業分析装置10は、部品箱30から部品20を取り出す際の動作や部品20を被組付部材に組み付ける動作を上記区切動作として検出するための監視装置40cを備えている。この監視装置40cは、各部品箱30及び被組付部材の重量の変化を監視することで上記区切動作を検出するための装置であって、各部品箱30及び被組付部材の重量を測定可能な重量センサ47を備えるように構成されている。重量センサ47は、その重量測定面が各部品箱30と被組付部材とを同時に載置可能に平面状に形成されて、棚2に組み付けられている。
The
以下、本実施形態にてなされる作業分析処理について、図面を参照して説明する。なお、以下の説明では、図17(A)(B)に示すように、重量センサ47の重量測定面上に4つの部品箱30a~30dと部品20a~20dが組み付けられるワークWとが載置されて作業される場合について詳述する。なお、本実施形態では、分析対象の所定の作業として、ワークWに対して、1番目に部品箱30aの部品20aを組み付ける単位作業A、2番目に部品箱30bの部品20bを組み付ける単位作業B、3番目に部品箱30cの部品20cを組み付ける単位作業C、4番目に部品箱30dの部品20dを組み付ける単位作業Dの順番で行う作業が採用されているものとする。
The work analysis process performed in this embodiment will be described below with reference to the drawings. In the following description, as shown in FIGS. 17A and 17B, four
部品20a~20dを組み付けていないワークWが重量測定面上に載置された直後となる組み付け作業開始時に、重量センサ47にて測定される測定値FをFoとするとき、図17(A)に示すように、単位作業Aを開始するために部品箱30aから部品20aを取り出すと、重量センサ47での測定値がFoからFaに減少する。測定値Faは、測定値Foから部品20aの重量を除いた値になる。このため、重量センサ47にて測定される測定値がFoからFaに減少することで(図18の時刻t1参照)、部品箱30aから部品20aを取り出す区切動作を検出することができる。その後、図17(B)に示すように、部品20aをワークWに組み付けることで、重量センサ47での測定値がFaからFoに増加する。このため、重量センサ47にて測定される測定値がFaからFoに戻る(増加)することで(図18の時刻t2参照)、部品20aをワークWに組み付ける区切動作を検出することができる。その後、重量センサ47の測定値がFoからFb(測定値Foから部品20bの重量を除いた値)に減少することで(図18の時刻t3参照)、部品箱30bから部品20bを取り出す区切動作が検出され、さらに、重量センサ47の測定値がFbからFoに戻ることで(図18の時刻t4参照)、部品20bをワークWに組み付ける区切動作が検出される。その後、重量センサ47の測定値がFoからFc(測定値Foから部品20cの重量を除いた値)に減少することで(図18の時刻t5参照)、部品箱30cから部品20cを取り出す区切動作が検出され、さらに、重量センサ47の測定値がFcからFoに戻ることで(図18の時刻t6参照)、部品20cをワークWに組み付ける区切動作が検出される。その後、重量センサ47の測定値がFoからFd(測定値Foから部品20dの重量を除いた値)に減少することで(図18の時刻t7参照)、部品箱30dから部品20dを取り出す区切動作が検出され、さらに、重量センサ47の測定値がFdからFoに戻ることで(図18の時刻t8参照)、部品20dをワークWに組み付ける区切動作が検出される。
When the work W to which the
このように、本実施形態では、重量センサ47にて測定される重量の変化を利用して上記区切動作を正確に検出することができる。このため、例えば、異なる部品箱から誤って意図しない部品を取ってしまった場合でも、その部品箱に部品を戻すことで、組み付け時のような大きな重量変化も検出されないので、部品の取り間違いに起因する区切動作の誤検出を抑制することができる。さらに、組み付け途中に部品が被組付部材上に落下しても、その重量変化は組み付け時と異なるため、検出される重量変化に応じて、部品の組み付け完了と単なる部品の落下とを確実に区別することができる。
As described above, in this embodiment, the change in weight measured by the
なお、重量センサ47としては、非接触型の静電容量センサや静電容量重量センサ、薄膜式圧力センサ等を採用することができる。また、監視装置40cは、1つの重量センサ47にて各部品箱30及び被組付部材の重量を測定することに限らず、2以上の重量センサ等を利用して各部品箱30及び被組付部材の重量を測定してもよい。また、重量センサにて測定される重量の変化を利用して上記区切動作を検出する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
As the
[第7実施形態]
次に、第7実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第7実施形態では、上記監視領域を設定するための処理が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Seventh embodiment]
Next, a work analysis device and work analysis program according to a seventh embodiment will be described with reference to the drawings.
The seventh embodiment is mainly different from the first embodiment in the process for setting the monitoring area. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and descriptions thereof are omitted.
本実施形態に係る作業分析装置10では、部品箱30から部品20を取り出す際の作業者Mの手の軌跡や部品20を被組付部材に組み付ける際の作業者Mの手の軌跡を監視し、その監視結果に基づいて、上記監視領域を設定する。
The
具体的には、撮像部13により撮像された動画から作業者Mの手を認識して、所定の時間間隔(例えば、フレーム間隔)ごとに、撮像される手の移動方向と移動量を検出する。そして、移動量が所定値以下となる状態が所定期間以上継続すると、手が滞留している状態(以下、滞留状態ともいう)であるとして、この滞留状態時に撮像されている手を基準に仮監視領域が設定される。部品箱30から部品20を取り出す際の手の動きや部品20を被組付部材に組み付ける際の手の動きは上記滞留状態になりやすいからである。
Specifically, the hand of the worker M is recognized from the moving image captured by the
例えば、図19に例示するように、部品20aをワークWに組み付け終えた手が部品箱30bの部品20bを取りに行く場合、部品箱30bから部品20bを取り出す際に手が上記滞留状態となるため、この滞留状態の手を基準に部品箱30b用の仮監視領域(図19の符号Po1b参照)が設定される。その後、図20に例示するように、部品20bを取り出した手がワークWの組付予定位置に向かう場合、部品20bをワークWの組付予定位置に組み付ける際に手が上記滞留状態となるため、この滞留状態の手を基準に部品20bの組付予定位置用の仮監視領域(図20の符号Po2b参照)が設定される。
For example, as illustrated in FIG. 19, when the hand that has finished assembling the
なお、本実施形態では、仮監視領域は、図19の仮監視領域Po1b及び図20の仮監視領域Po2bのように、滞留状態の手が占める撮像範囲を内方する長方形領域に応じて設定されるが、これに限らず、例えば、滞留状態の手が占める撮像範囲に外接する円領域又は楕円領域や、滞留状態の手が占める撮像範囲に内接する円領域又は楕円領域に応じて設定されてもよい。 Note that in the present embodiment, the temporary monitoring area is set according to a rectangular area inside the imaging range occupied by the hand in the staying state, such as the temporary monitoring area Po1b in FIG. 19 and the temporary monitoring area Po2b in FIG. However, it is not limited to this. good too.
そして、各単位作業を繰り返すことで、各部品箱30用の仮監視領域及び各組付予定位置用の仮監視領域が順次蓄積されるようにして記憶部12に記憶される。その後、監視領域の推定精度の向上と監視領域の最適化を図るため、仮監視領域ごとに重複する範囲を求めて重み付けをすることで、その重み付けに応じて監視領域を設定することができる。
Then, by repeating each unit work, the temporary monitoring area for each
例えば、1つの監視領域に対して仮監視領域が100回設定された場合に、50回以上重複した領域の重みを「3」、20回以上重複した領域の重みを「2」、10回以上重複した領域の重みを「1」に設定する。そして、重みが「3」となる仮監視領域を全て含むように監視領域を設定する場合には、図21(A)に示すように監視領域(ハッチング領域参照)を設定することができる。また、重みが「2」以上となる仮監視領域を全て含むように監視領域を設定する場合には、図21(B)に示すように監視領域(ハッチング領域参照)を設定することができる。 For example, if the temporary monitoring area is set 100 times for one monitoring area, the weight of the area that overlaps 50 times or more is "3", the weight of the area that overlaps 20 times or more is "2", and the weight of the area that overlaps 20 times or more is "2". Set the weight of the overlapped region to '1'. When the monitor area is set so as to include all temporary monitor areas with a weight of "3", the monitor area (see hatched area) can be set as shown in FIG. 21(A). Also, when setting the monitoring area so as to include all the temporary monitoring areas whose weight is "2" or more, the monitoring area (see the hatched area) can be set as shown in FIG. 21(B).
なお、仮監視領域は、1つの監視領域に対して、前回の滞留状態の手の中心位置と今回の滞留状態の手の中心位置との中間位置を中心とする矩形状等の所定の形状の領域に基づいて設定されてもよい。また、上述した複数の仮監視領域を利用して1つの監視領域を設定する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。 Note that the temporary monitoring area has a predetermined shape, such as a rectangular shape, centered on an intermediate position between the center position of the hand in the previous retained state and the center position of the hand in the current retained state for one monitoring region. It may be set based on the area. Further, the characteristic configuration of this embodiment in which one monitoring area is set using a plurality of temporary monitoring areas described above can also be applied to other embodiments.
[第8実施形態]
次に、第8実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第8実施形態では、各部品箱にそれぞれ付されている情報コードを利用して部品箱に対応する監視領域をそれぞれ設定する処理を行うが、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Eighth Embodiment]
Next, a work analysis device and work analysis program according to an eighth embodiment will be described with reference to the drawings.
In the eighth embodiment, the information code attached to each parts box is used to set the monitoring area corresponding to each parts box, but this is mainly different from the first embodiment. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.
本実施形態では、図22に示すように、各部品箱30に位置検出用の情報コード(以下、部品箱コードCaともいう)がそれぞれ付されており、作業分析装置10には、部品箱コードCaを撮像するための第2撮像部13aが新たに設けられている。第2撮像部13aは、監視領域設定用のカメラとして機能するもので、撮像部13と同等の機能を有し、撮像した画像が制御部11によって分析可能に記憶部12に記憶されるように構成されている。この第2撮像部13aは、撮像部13による撮像範囲内であって棚2上に配置された各部品箱30のそれぞれの部品箱コードCaを作業者Mから見て前側から撮像可能な位置に配置されている。第2撮像部13aの撮像部13側となる外面(上面)には、第2撮像部13aと撮像部13との相対位置関係を算出するための情報コード(以下、カメラコードCbともいう)が付されている。なお、本実施形態では、部品箱コードCa及びカメラコードCbは、QRコード(登録商標)として構成されているが、これに限らず、例えば、バーコード等の一次元コードや他の種別の二次元コードとして構成されてもよい。
In this embodiment, as shown in FIG. 22, each
そして、本実施形態では、上記作業分析処理が開始される前に、各監視領域を設定するため、制御部11により監視領域設定処理が実施される。この監視領域設定処理では、第2撮像部13aにて部品箱コードCaを撮像した撮像画像から第2撮像部13aを基準とする部品箱30の相対座標が算出される。そして、撮像部13にてカメラコードCbを撮像した撮像画像から撮像部13を基準とする第2撮像部13aの相対座標が算出されることで、撮像部13を基準とする部品箱30の相対座標が推定され、この推定結果に基づいて、各部品箱30の監視領域が設定される。
In this embodiment, before the work analysis process is started, a monitoring area setting process is performed by the
このため、部品箱コードCaには、付された部品箱30に収容される部品20の情報に加えて、部品箱30の高さ、横幅、奥行き等を示すサイズ(以下、箱サイズともいう)や当該部品箱コードCaの大きさや形状、セル数等を示すサイズ(以下、コードサイズともいう)、部品箱30に対する部品箱コードCaの貼り付け位置(以下、コード位置ともいう)に関する情報等が記録されている。
For this reason, in addition to the information of the
また、カメラコードCbには、第2撮像部13aに対するカメラコードCbの貼り付け位置やコードサイズ等、当該カメラコードCbを撮像した撮像画像から撮像部13と第2撮像部13aとの相対位置関係を算出するための情報等が記録されている。
In addition, the camera code Cb includes information such as the pasting position of the camera code Cb with respect to the
以下、本実施形態における監視領域設定処理について、図面を参照して具体的に説明する。なお、以下の説明では、部品箱コードCaが付された部品箱30が1つ棚2上に配置される場合について詳述する。
The monitor area setting process in this embodiment will be specifically described below with reference to the drawings. In the following description, the case where one
作業分析処理を開始する前に、所定の操作に応じて制御部11により監視領域設定処理が開始されると、図23のステップS201に示す部品箱相対座標推定処理にて、第2撮像部13aを基準とする部品箱30の相対座標を推定するための処理がなされる。この処理のサブルーチンでは、まず、第2撮像部13aにより部品箱コードCaを撮像可能な状態になり(図24のS211)、撮像した部品箱コードCaを読み取るためのデコード処理がなされる(S213)。
Before starting the work analysis process, when the monitoring area setting process is started by the
棚2上に配置された部品箱30が配置されていることで、部品箱コードCaの読み取りに成功して(S215でYes)、箱サイズやコードサイズ、コード位置等が取得されると、ステップS217に示す読取角度算出処理がなされる。この処理では、第2撮像部13aの撮像画像に占める部品箱コードCaの範囲に基づいて、第2撮像部13aに対する部品箱コードCaの角度が読取角度αとして算出される。
Since the
例えば、図26(A)に示すように部品箱30が第2撮像部13aに対して傾いて配置されていることから、図26(B)に示す撮像画像のように部品箱コードCaが撮像されている場合には、部品箱コードCaの四隅の位置から求められる四辺の長さ比に基づいて、第2撮像部13aに対する部品箱コードCaの読取角度α(図25(A)参照)が算出される。
For example, as shown in FIG. 26(A), since the
続いて、ステップS219に示す読取距離算出処理がなされる。この処理では、第2撮像部13aの撮像画像に占める部品箱コードCaの画素数に基づいて、第2撮像部13aから部品箱コードCaまでの距離が読取距離yとして算出される。なお、上述のように算出された読取角度αを利用して部品箱コードCaの四隅の角度が90°になるように補正した画像に基づいて、読取距離yを算出することができる。
Subsequently, reading distance calculation processing shown in step S219 is performed. In this process, the distance from the
例えば、図27に示すように撮像されている部品箱コードCaに対しては、撮像画像全体のx方向(図27の左右方向)の画素数をx1、部品箱コードCaのx方向の画素数をx2、部品箱コードCaの位置での撮像画像全体に相当するx方向の実サイズをx3、実際の部品箱コードCaのx方向の実サイズをx4、とするとき、式(1)の関係が成立する。また、部品箱コードCaの位置での撮像画像全体に相当するx方向のサイズx3と第2撮像部13aの画角及び分解能等から求められる角度θとにより、読取距離yに関して、式(2)の関係が成立する。
x1:x2=x3:x4 ・・・(1)
y=x3/2×tanθ ・・・(2)
For example, for the parts box code Ca imaged as shown in FIG. is x2, the actual size in the x direction corresponding to the entire captured image at the position of the parts box code Ca is x3, and the actual size in the x direction of the actual parts box code Ca is x4, the relationship of formula (1) holds. Also, with respect to the reading distance y, the formula (2) is obtained from the x-direction size x3 corresponding to the entire captured image at the position of the parts box code Ca and the angle θ obtained from the angle of view and resolution of the
x1:x2=x3:x4 (1)
y=x3/2×tan θ (2)
x1,x4,θは既知であるため、式(1)(2)から求められる以下の式(3)により、部品箱コードCaのx方向の画素数x2に基づいて、読取距離yを算出することができる。
y=(x1×x4/x2)/2×tanθ ・・・(3)
Since x1, x4, and θ are known, the reading distance y is calculated based on the number of pixels x2 in the x direction of the parts box code Ca by the following equation (3) obtained from equations (1) and (2). be able to.
y=(x1×x4/x2)/2×tan θ (3)
上述のように読取角度α及び読取距離yが算出されると、ステップS221に示す相対座標推定処理がなされる。この処理では、まず、上述のように算出された読取角度α及び読取距離yに基づいて、第2撮像部13aを基準とする部品箱コードCaの相対座標が算出されると、この算出された部品箱コードCaの相対座標と部品箱コードCaから読み取ったコード位置、コードサイズ、箱サイズ等とに基づいて、第2撮像部13aを基準とする部品箱30の相対座標が推定される。これにより、第2撮像部13aに対して部品箱30がどのような状態で配置されているかを推定することができる。
After the reading angle α and the reading distance y are calculated as described above, relative coordinate estimation processing shown in step S221 is performed. In this process, first, based on the reading angle α and the reading distance y calculated as described above, the relative coordinates of the parts box code Ca with respect to the
上述のように第2撮像部13aを基準とする部品箱30の相対座標が推定されることで、ステップS201の部品箱相対座標推定処理が終了すると、ステップS203に示すカメラ相対座標推定処理にて、撮像部13を基準とする第2撮像部13aの相対座標を推定するための処理がなされる。この処理のサブルーチンでは、まず、撮像部13によりカメラコードCbを撮像可能な状態になり(図25のS231)、撮像したカメラコードCbを読み取るためのデコード処理がなされる(S233)。
By estimating the relative coordinates of the
そして、カメラコードCbの読み取りに成功すると(S235でYes)、ステップS237に示す読取角度算出処理がなされ、上記ステップS217の読取角度算出処理と同様の算出方法により、撮像部13に対するカメラコードCbの角度が読取角度として算出される。続いて、ステップS239に示す読取距離算出処理がなされ、上記ステップS219の読取距離算出処理と同様の算出方法により、撮像部13の撮像画像に占めるカメラコードCbの画素数に基づいて、撮像部13からカメラコードCbまでの距離が読取距離として算出される。
When the camera code Cb is successfully read (Yes in S235), the reading angle calculation process shown in step S237 is performed, and the camera code Cb for the
上述のように読取角度及び読取距離が算出されると、ステップS241に示す相対座標推定処理がなされ、上記ステップS221の相対座標推定処理と同様の算出方法により、撮像部13を基準とするカメラコードCbの相対座標が算出されると、この算出されたカメラコードCbの相対座標とカメラコードCbから読み取った読取結果とに基づいて、撮像部13を基準とする第2撮像部13aの相対座標が推定される。これにより、撮像部13に対して第2撮像部13aがどのような状態で配置されているかを推定することができる。なお、第2撮像部13aが撮像部13に対して既定の位置に配置される場合には、撮像部13を基準とする第2撮像部13aの相対座標が特定されるので、上記カメラ相対座標推定処理をなくしてもよい。
When the reading angle and the reading distance are calculated as described above, the relative coordinate estimation process shown in step S241 is performed, and the camera code based on the
上述のように撮像部13を基準とする第2撮像部13aの相対座標が推定されることで、ステップS203のカメラ相対座標推定処理が終了すると、ステップS205に示す部品箱位置算出処理がなされる。この処理では、上述のように推定された第2撮像部13aを基準とする部品箱30の相対座標と撮像部13を基準とする第2撮像部13aの相対座標とに基づいて、撮像部13を基準とする部品箱30の位置(相対座標)が算出される。
By estimating the relative coordinates of the
これにより、撮像部13による撮像画像において部品箱30が占める領域を推定できるので、ステップS207に示す設定処理にて、上述のように部品箱30として推定された撮像画像の領域が監視領域として設定されて、本監視領域設定処理が終了する。なお、第2撮像部13aにて複数の部品箱コードCaがデコード可能に撮像されている場合には、部品箱コードCaごとに上述した流れで監視領域をそれぞれ設定することができる。特に、部品箱コードCaには部品20の情報も記録されているため、監視領域に対応する部品20の種別等も特定することができる。
As a result, the area occupied by the
なお、本実施形態では、部品箱コードCaは、部品箱30の第2撮像部13a側となる側面に対して、図28(A)に示すように、一方の縁近傍にてできるだけ大きなサイズとなるように付されているが、これに限らず、記録されるコード位置に一致する位置であれば、他の部位に付されてもよい。例えば、部品箱コードCaは、図28(B)に示すように、部品箱30の第2撮像部13a側となる側面の中央に付されてもよいし、図28(C)に示すように、一方の縁近傍にて比較的小さなサイズで付されてもよい。
In this embodiment, the parts box code Ca has a size as large as possible near one edge of the side surface of the
また、部品箱コードCaが部品箱30のどの位置に付されるか特定できない場合を想定して、第2撮像部13aの撮像画像から部品箱コードCaとこの部品箱コードCaが付された部品箱30の面との相対座標を算出し、この算出結果と箱サイズ及びコードサイズとを利用して、第2撮像部13aを基準とする部品箱30の相対座標を推定してもよい。この場合、部品箱コードCaにはコード位置が記録されなくなる。
In addition, assuming that it is not possible to specify the position of the
例えば、図29(A)に示すように部品箱コードCaが部品箱30に付されていることから、図29(B)に示すように部品箱コードCa及び部品箱30が撮像されている場合には、エッジサーチ等の画像処理を利用して、部品箱30の面のどの位置にてどのような傾斜状態にて部品箱コードCaが付されているかを検出するようにして、上記相対座標を算出することができる。例えば、図29(B)の太線部分を利用して示すように、部品箱30の上縁の長さ(既知)及び角度と部品箱コードCaの一辺の長さ(既知)及びその一辺の角度とを比較することで、部品箱30の面のどの位置にてどのような傾斜状態にて部品箱コードCaが付されているかを検出することができる。
For example, since the parts box code Ca is attached to the
また、第2撮像部13aは、棚2上に配置された各部品箱30のそれぞれの部品箱コードCaを作業者Mから見て前側から撮像可能な位置に配置されることに限らず、例えば、作業者Mから見て後側から撮像可能な位置に配置されてもよい。
Further, the
また、例えば、本実施形態の第1変形例として、第2撮像部13aは、図30に示すように、それぞれの底面に部品箱コードCaを付した各部品箱30が透明な棚2上に載置されることを前提に、棚2の透明部分を介して部品箱コードCaを下側から撮像可能な位置に配置されてもよい。この場合には、例えば、第2撮像部13aの撮像範囲内にて棚2の透明部分を囲う所定の位置に情報コードCcを付し、この情報コードCcが付された棚2の位置に関する情報等を当該情報コードCcに記録することで、第2撮像部13aの撮像画像から第2撮像部13aを基準とする棚2の相対座標を推定できる。このため、他の情報コード等を利用して撮像部13を基準とする棚2の相対座標を推定することで、撮像部13を基準とする第2撮像部13aの相対座標を推定することができる。これにより、第2撮像部13aを基準とする部品箱30の相対座標と撮像部13を基準とする第2撮像部13aの相対座標とに基づいて、撮像部13を基準とする部品箱30の位置が算出されることで、撮像部13による撮像画像において部品箱30が占める領域を監視領域として設定することができる。
Further, for example, as a first modified example of the present embodiment, the
特に、部品箱30の底面に部品箱コードCaを付すため、部品箱30の側面等に部品箱コードCaを付す場合と比較して、部品箱コードCaを大きくできるため、部品箱コードCaの読み取りによる座標推定精度を向上させることができる。また、第2撮像部13aにて部品箱コードCaと情報コードCcとが同時に撮像されるため、部品箱コードCaと情報コードCcとの位置関係も精度良く算出することができる。また、第2撮像部13aを棚2の下側に配置できるので、第2撮像部13aを設ける場合でも作業分析装置10の省スペース化を実現することができる。また、パレットのような側面や上面に情報コードを付すスペースがない部品箱に対しても、部品箱コードCaを付すことができる。また、第2撮像部13aにて作業者Mの前側からや後側から撮像する構成では、一列に部品箱30が配置された場合にそれぞれの部品箱コードCaを撮像できるが、第2撮像部13aにて下側から撮像することで、二列以上で部品箱30が配置される場合でもそれぞれの部品箱コードCaを撮像でき、利便性を向上させることができる。また、棚2の透明部分は矩形状に形成されることに限らず、例えば、図31に示す第2変形例のように、円形状に形成されてもよい。また、図31に示すように、情報コードCcに代えて特定の位置に付されるマーカCm等を採用してもよい。なお、第2撮像部13aが棚2に対して既定の位置に配置される場合には、第2撮像部13aを基準とする棚2の相対座標が特定されるので、情報コードCcをなくしてもよい。
In particular, since the parts box code Ca is attached to the bottom surface of the
また、部品箱コードCaは、部品箱30の側面や底面に付されることに限らず、例えば、図32(A)に示すように、部品箱30の周壁が厚い場合には周壁の上端の四隅等に付されてもよい。また、周壁の上端に付される部品箱コードCaは、読み取り性を考慮して、一次元コードとして構成されてもよい。また、例えば、部品箱コードCaは、図32(B)に示すように上蓋部32を有する部品箱30に対して、その上蓋部32に付されてもよい。
In addition, the parts box code Ca is not limited to being attached to the side or bottom surface of the
なお、各部品箱30にそれぞれ付されている部品箱コードCa等を利用して部品箱30に対応する監視領域をそれぞれ設定する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
Note that the characteristic configuration of this embodiment, in which the monitoring areas corresponding to the
[第9実施形態]
次に、第9実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第9実施形態では、上記監視領域を設定するための処理が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Ninth Embodiment]
Next, a work analysis device and work analysis program according to a ninth embodiment will be described with reference to the drawings.
The ninth embodiment mainly differs from the first embodiment in the process for setting the monitoring area. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.
本実施形態では、上記作業分析処理が開始される前に、各監視領域を設定するため、制御部11により監視領域設定処理が実施される。この監視領域設定処理では、部品箱30を棚2に載置する際の部品箱30の動きを検知することで、その部品箱30に対応する監視領域が設定される。具体的には、図33に示すように、部品箱30を撮像部13に近づけた後に、徐々に撮像部13から遠ざけるようにして棚2に載置することで、撮像部13の撮像画像内にて徐々に距離が変化する範囲が部品箱30に対応する監視領域として設定される。
In this embodiment, the
このため、本実施形態では、撮像部13として撮像対象までの距離を測定可能なTOFカメラが採用されている。これにより、例えば、近くなるほど白く撮像され遠くなるほど黒く撮像されるTOFカメラが撮像部13として採用されていると、撮像部13に対して比較的近い位置で部品箱30を撮像している場合には、図34(A)に示す距離画像のように、部品箱30が白系の色にて撮像される。そして、この部品箱30を撮像部13から遠ざけることで、図34(B)に示す距離画像のように、部品箱30が棚2に相当する色に近くなるように黒系に変化して撮像される。なお、撮像部13と別にTOFカメラを用意して、このTOFカメラの撮像結果を利用して部品箱30に対応する監視領域を設定してもよい。
For this reason, in this embodiment, a TOF camera capable of measuring the distance to the imaging target is employed as the
以下、本実施形態において制御部11にてなされる監視領域設定処理について、図面を参照して具体的に説明する。
作業分析処理を開始する前に、所定の操作に応じて制御部11により監視領域設定処理が開始されると、図35のステップS301に示す撮像処理がなされ、棚2に載置する際の部品箱30を撮像可能な状態になる。続いて、ステップS303に示す距離監視処理がなされ、部品箱30が載置される予定の棚2の部分の撮像範囲において、撮像部13からの距離が撮像画像に応じて測定可能な状態になる。
The monitoring area setting process performed by the
Before starting the work analysis process, when the monitoring area setting process is started by the
続いて、ステップS305の判定処理にて、撮像部13の撮像範囲において物体が移動するために距離差分が生じる領域(以下、距離差分領域ともいう)があるか否かについて判定される。ここで、部品箱30が棚2に近づけられておらず、撮像部13の撮像範囲において動きが無い場合には、ステップS305にてNoとの判定が繰り返される。
Subsequently, in the determination processing in step S305, it is determined whether or not there is an area (hereinafter also referred to as a distance difference area) in which a distance difference occurs due to movement of the object in the imaging range of the
そして、作業者Mが部品箱30を撮像部13に近づける際に撮像部13の撮像範囲に入ることで、距離差分領域が生じると、ステップS305にてYesと判定されて、ステップS307の判定処理にて、距離差分領域が遠方への移動に起因するものか否かについて判定される。ここで、作業者Mが撮像部13の撮像範囲に入れた部品箱30を棚2に配置することで、撮像部13と部品箱30との距離が遠くなっている場合には、距離差分領域が黒系に変化しつつ小さくなるので、距離差分領域が遠方への移動に起因するものと判定される(S307でYes)。
Then, when the operator M moves the
この場合には、ステップS309に示す追従領域監視処理がなされ、上記距離差分領域が、部品箱30に相当するものとして動きを追従すべき追従領域として設定されて、その追従領域の変化が監視される。続いて、ステップS311の判定処理にて、上述のように設定された追従領域の変化が無くなったか否かについて判定される。ここで、作業者Mが部品箱30を棚2に載置する途中であり、部品箱30が撮像部13から離れている状態では、追従領域の変化が継続するため、ステップS311にてNoとの判定が繰り返される。
In this case, a follow-up area monitoring process shown in step S309 is performed, the distance difference area is set as a follow-up area corresponding to the
そして、作業者Mにより部品箱30が棚2に載置されると、撮像部13に対する部品箱30の距離が変わらなくなり、追従領域の変化が無くなるため、ステップS311にてYesと判定される。この場合には、ステップS313に示す設定にて、変化が無くなった追従領域が上記監視領域として設定されて、本監視領域設定処理が終了する。なお、複数の部品箱30を用いて作業を行う場合には、1つの部品箱30を棚2に載置するごとに上記監視領域設定処理を実施することで、それぞれの部品箱30に対応する監視領域を設定することができる。
Then, when the
このように、本実施形態では、作業者Mが部品箱30を上方から棚2に載置するという一般的な動作によって監視領域を設定できるので、監視領域設定用の装置等を用意する必要もなく、事前の設定作業や複雑な端末操作等も不要となり、監視領域を設定するために必要な作業者Mの動作を軽減することができる。そして、部品箱30を棚2に載置するタイミングで監視領域を設定することができる。特に、作業者Mが監視領域を指定することもないので、監視領域の設定ずれを抑制することができる。また、上記監視領域設定処理では、部品箱30の異なる物体が撮像部13の撮像領域内にあったとしても、その物体が遠方に移動した後に停止しない限り監視領域として設定されることもないので、監視領域の設定精度を高めることができる。また、部品箱30が画像的な変化や形状的な変化をする場合でも、追従領域設定後にその追従領域が変化しなくなることで、上記監視領域が設定されるため、様々な種別の部品箱30に対して監視領域を設定することができる。
As described above, in this embodiment, since the operator M can set the monitoring area by the general operation of placing the
なお、撮像部13としてTOFカメラを採用することに限らず、一般的なRGBカメラ等を採用して、この撮像画像から部品箱30が遠ざかっている状態を検出することで、上記追従領域を設定してもよい。この構成では、撮像部13から離れるほど撮像画像にて占める部品箱30の領域が小さくなることを利用して、疑似的に部品箱30が撮像部13から遠ざかる事を認識することができる。
It should be noted that not only the TOF camera is employed as the
また、上記監視領域処理は、作業者Mによる所定の操作に応じて開始されることに限らず、例えば、所定の情報コードを撮像部13にて撮像させたり、撮像部13の撮像範囲内にて作業者Mが所定のジェスチャーを行うことで、開始されてもよい。 Further, the monitoring area process is not limited to being started in response to a predetermined operation by the worker M. It may be started by the operator M performing a predetermined gesture.
なお、部品箱30を棚2に載置する際の部品箱30の動きを検知することで、その部品箱30に対応する監視領域を設定する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
Note that the characteristic configuration of this embodiment, in which the movement of the
[第10実施形態]
次に、第10実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第10実施形態では、上記監視領域を設定するための処理が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Tenth embodiment]
Next, a work analysis device and work analysis program according to a tenth embodiment will be described with reference to the drawings.
The tenth embodiment is mainly different from the first embodiment in the process for setting the monitoring area. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.
部品箱30における各部品20の収容状態として、各部品20がきれいに整頓されて並べられている場合や各部品20が乱雑に置かれている場合等、様々な収容状態が考えられるが、基本的には同種類の部品20がまとめて入れられている。つまり、似たような集合体が部品箱30の中には各々収容されていると考えられる。
As for the storage state of each
そこで、本実施形態では、部品箱30を撮像した撮像画像をブロックに分割して、それぞれのブロックの特徴量を計算し、似たような特徴量を持つブロックが集まっている部分に部品20があると判定する。ここで、上記特徴量としては、例えば、色のヒストグラムやHoG(Histgram Of Gradient)といったエッジ特徴量、周波数など様々なものを採用することができる。
Therefore, in the present embodiment, the picked-up image of the
例えば、図36(A)に示すように、棚2上に2つの部品箱30e,30fが配置されている場合に、これら部品箱30e,30fを撮像した撮像画像を、図36(B)に示すように、各ブロックに分割して、ブロックごとに所定の特徴量を抽出する。本実施形態では、周波数に基づく特徴量を抽出しており、例えば、図36(B)のブロックB1~B4では、図37に示すような周波数特徴量が抽出される。
For example, when two
各ブロックの特徴量が抽出されると、似た特徴量を持つブロック同士にグループ分けする。このグループ分けの手法としては、例えば、k-meansやx-meansといった類似パラメータ同士をクラスタにまとめて分割する手法等を採用することができる。 After the feature amount of each block is extracted, the blocks are grouped into blocks having similar feature amounts. As this grouping method, for example, a method of grouping similar parameters such as k-means and x-means into clusters and dividing them can be adopted.
そして、グルーピングされた中で、部品箱30のように矩形領域に集合しているグループがあれば、そのグルーピングされたブロックからなる範囲を部品箱30に対応する監視領域として設定することができる。
If there is a group gathered in a rectangular area like the
なお、ブロックごとに抽出される特徴量を利用して部品箱30に対応する監視領域をそれぞれ設定する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
It should be noted that the characteristic configuration of this embodiment, in which the monitoring regions corresponding to the
[第11実施形態]
次に、第11実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第11実施形態では、上記監視領域を設定するための処理が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Eleventh embodiment]
Next, a work analysis device and work analysis program according to an eleventh embodiment will be described with reference to the drawings.
The eleventh embodiment is mainly different from the first embodiment in the process for setting the monitoring area. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.
通常、部品箱30は、上方が矩形状に開口する箱形状になっており、この箱形状の特徴として、周壁の上端が同じ高さとなる。そこで、本実施形態では、撮像部13としてTOFカメラを採用し、部品箱30が配置される予定のエリアに対して距離を測定する。そして、同じ高さにある領域を抽出し、その形状に応じて部品箱30に対応する監視領域を設定する。すなわち、同じ高さにある領域が四角環状として抽出されると、その四角環状となる領域が周壁となるように部品箱30が検出されて、この領域を含むように監視領域が設定される。なお、本実施形態では、各部品箱30が載置される棚2の載置面は撮像部13に対して水平に位置しているものとする。
Normally, the
具体的には、例えば、図38(A)に示すように2つの部品箱30e、30fが棚2上に配置されている場合、距離画像では、図38(B)に示すように、部品箱30の周壁の上端が同じ高さの四角環状領域として抽出される。
Specifically, for example, when two
このように、距離画像での同じ高さにある領域に基づいて部品箱30に対応する監視領域を設定できるので、監視領域設定用の装置等を用意する必要もなく、事前の設定作業や複雑な端末操作等も不要となり、監視領域を設定するために必要な作業者Mの動作を軽減することができる。
In this manner, since the monitoring area corresponding to the
なお、撮像部13と別にTOFカメラを用意して、このカメラを利用して同じ高さにある領域を抽出するようにしてもよい。また、各部品箱30が載置される棚2の載置面が撮像部13に対して傾斜している場合には、その傾斜角度を事前に計測してその傾斜角度を考慮して距離画像での高さを補正してもよい。また、距離画像での同じ高さにある領域に基づいて部品箱30に対応する監視領域を設定する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
It should be noted that a TOF camera may be prepared separately from the
[第12実施形態]
次に、第12実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第12実施形態では、上記監視領域を設定するための処理が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Twelfth Embodiment]
Next, a work analysis device and work analysis program according to a twelfth embodiment will be described with reference to the drawings.
The twelfth embodiment is mainly different from the first embodiment in the process for setting the monitoring area. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.
本実施形態では、各部品箱30の色に特徴を持たせることで、監視領域として撮像画像から各部品箱30が占める領域を抽出しやすくする。各部品箱30の色としては、それぞれ個別であって、棚2等の周囲の色や作業者Mの手の色等と区別容易な色を採用することができる。
In the present embodiment, the color of each
例えば、部品箱30eを第1色(例えば、緑色)、部品箱30fを第2色(例えば、青色)にし、図39(A)に示すように部品箱30e,30fが撮像されている撮像画像を利用して、部品箱30fの監視領域を設定する場合には、図39(B)に示すように、撮像画像から第2色の領域を抽出する。その後、第2色の領域を抽出した画像に対して、ノイズ除去等も含め、膨張・収縮等のフィルタリング処理を行うことで、図39(C)に示すように、四角環状の領域を抽出する。これにより、抽出した四角環状の領域を含めた領域を上記監視領域として設定することができる。なお、図39では、第2色のものにのみハッチングを付して図示している。
For example, the
特に、部品箱30ごとに色を区別することで、抽出された監視領域に対応する部品箱30の種別を容易に把握することができる。このように、色と部品箱30の種別とを関連付けることで、どの順番にどの部品箱30が置かれているかも検出でき、部品20に似たような色があった場合でも、置かれるべき部品箱30の順番等と比較することで、除外することも可能となる。また、作業分析装置10が配置される環境によっては外部照明等の影響を受けることも考えられるため、明度変化に頑健なHSVなどの色空間で見ることで、誤認識を抑制することもできる。
In particular, by distinguishing the color for each
[第13実施形態]
次に、第13実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第13実施形態では、上記監視領域を設定するための処理が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Thirteenth Embodiment]
Next, a work analysis device and work analysis program according to a thirteenth embodiment will be described with reference to the drawings.
The thirteenth embodiment is mainly different from the first embodiment in the process for setting the monitoring area. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.
本実施形態では、上記作業分析処理が開始される前に、各監視領域を設定するため、制御部11により監視領域設定処理が実施される。この監視領域設定処理では、撮像部13にて撮像された撮像画像において部品20と想定され得るものが撮像されている領域を部品領域Pnとして設定して、この部品領域Pnに基づいて部品箱30の領域、すなわち、監視領域が設定される。
In this embodiment, the
具体的には、対象となる部品20を撮像した1つの部品画像又は角度を変えて撮像した2以上の部品画像(テンプレート)を予め用意し、図40に例示するように、撮像部13の撮像画像から部品箱30を載置する可能性のある範囲を抽出した抽出画像において、上記部品画像に対して類似度が高くなる範囲を探索する(テンプレートマッチング)。本実施形態では、撮像される部品20のサイズ等に基づいて設定される検出用のウィンドウSwを上記抽出画像中にてスライドさせるようにして、類似度が高くなる範囲を探索する。
Specifically, one component image of the
以下、本実施形態において制御部11にてなされる監視領域設定処理について、図面を参照して具体的に説明する。
作業分析処理を開始する前に、部品箱30が棚2に載置された状態にて所定の操作に応じて制御部11により監視領域設定処理が開始されると、図41のステップS401に示す初期設定処理がなされ、監視領域を設定すべき部品箱30の種別等が特定されるとともにその部品箱30に収容される部品20の上記部品画像が取得される。なお、部品画像は、例えば、予め記憶されている記憶部12から取得されてもよいし、監視領域設定処理がなされるごとに外部から取得されてもよい。
The monitoring area setting process performed by the
Before starting the work analysis process, when the
そして、全ての監視領域が設定されていない場合には(S403でNo)、撮像部13により撮像可能な状態になった後(S405)、ステップS407に示す部品領域設定処理がなされる。この処理のサブルーチンでは、まず、図42のステップS501に示す類似範囲探索処理がなされる。この処理では、上述したように、検出用のウィンドウSwを上記抽出画像中にて所定間隔(例えば、1又は数ピクセル単位)でスライドさせるようにして、類似度が高くなる範囲を探索するための処理がなされる(図40参照)。
If all the monitoring areas have not been set (No in S403), after the
そして、上記抽出画像中の全てにおいて探索が終了すると、ステップS503の判定処理にて、類似度が確定閾値以上となる範囲が探索されているか否かについて判定される。本実施形態では、例えば、上記確定閾値は0.8に設定されており、探索結果において類似度が確定閾値以上となる範囲が1つでも探索されている場合には、ステップS503にてYesと判定される。また、探索結果において類似度が確定閾値以上となる範囲が探索されていない場合であっても(S503でNo)、類似度が部分閾値(例えば、0.2)以上となる範囲が所定数(例えば、10個)探索されている場合には、ステップS505の判定処理にてYesと判定される。 Then, when the search is completed for all of the extracted images, it is determined in the determination processing in step S503 whether or not a range in which the degree of similarity is equal to or greater than the fixed threshold has been searched. In the present embodiment, for example, the fixed threshold is set to 0.8, and if even one range in which the similarity is equal to or higher than the fixed threshold is found in the search results, the answer is Yes in step S503. be judged. In addition, even if the range in which the similarity is equal to or higher than the fixed threshold value is not searched in the search result (No in S503), the range in which the similarity is equal to or higher than the partial threshold value (for example, 0.2) is a predetermined number ( For example, if 10 items have been searched, the decision processing in step S505 is determined to be Yes.
上述のように、ステップS503にてYesと判定されるか、ステップS505にてYesと判定されると、ステップS507に示す設定処理がなされ、探索された範囲に基づいて部品領域Pnが設定される。具体的には、図43に示すように、類似度が上記部分閾値以上となる全ての範囲を含む矩形状の領域が上記部品領域Pnとして設定されて、部品領域設定処理のサブルーチンが終了する。なお、図43では、類似度が上記部分閾値以上となる範囲の一部を矩形状の破線にて図示している。 As described above, if it is determined Yes in step S503 or if it is determined Yes in step S505, the setting process shown in step S507 is performed, and the component region Pn is set based on the searched range. . Specifically, as shown in FIG. 43, a rectangular area including all ranges whose similarities are greater than or equal to the partial threshold value is set as the component area Pn, and the subroutine of the component area setting process ends. In addition, in FIG. 43, part of the range in which the degree of similarity is equal to or higher than the partial threshold value is indicated by a rectangular dashed line.
一方、探索結果において、類似度が上記確定閾値以上となる範囲が探索されておらず(S503でNo)、類似度が上記部分閾値以上となる範囲が所定数探索されない場合には(S505でNo)、部品領域Pnが設定されることなく、部品領域設定処理のサブルーチンが終了する。 On the other hand, in the search result, if the range in which the similarity is equal to or higher than the fixed threshold has not been searched (No in S503), and the predetermined number of ranges in which the similarity is equal to or higher than the partial threshold has not been searched (No in S505). ), the subroutine of the part area setting process ends without setting the part area Pn.
上述のように部品領域設定処理のサブルーチンが終了すると、ステップS409の判定処理にて、部品領域Pnが設定されているか否かについて判定される。ここで、部品領域Pnが設定されていない場合には、ステップS409にてNoと判定されて、ステップS411に示す報知処理がなされる。この処理では、探索対象の部品20が撮像画像から見つけられない旨が表示部14による表示等を利用して報知されて、本監視領域設定処理が終了する。
When the subroutine of the component area setting process ends as described above, it is determined whether or not the component area Pn is set in the determination process of step S409. Here, if the component area Pn is not set, it is determined as No in step S409, and the notification process shown in step S411 is performed. In this process, the fact that the
一方、部品領域Pnが設定されている場合には(S409でYes)、ステップS413に示す直線サーチ処理がなされる。この処理では、抽出画像において部品領域Pnの縁の一点から外側に向けて直線をサーチするための処理がなされる。本実施形態では、図43に示すように、部品領域Pnのうち最小のX座標及びY座標からX方向の負側に向けて直線をサーチするための処理がなされる(図43の符号L1参照)。部品箱30に相当する領域内に部品領域Pnが設定されているので、上記直線サーチ処理により、部品箱30の周壁の内面に相当する直線がサーチされることになる。なお、部品領域Pnのうち最小のX座標及びY座標からX方向の負側に向けて直線をサーチすることに限らず、部品領域Pnの縁の任意の点から外側に向けて直線をサーチするようにしてもよい。
On the other hand, if the component area Pn is set (Yes in S409), the straight line search process shown in step S413 is performed. In this process, a straight line is searched outward from a point on the edge of the component region Pn in the extracted image. In this embodiment, as shown in FIG. 43, processing is performed to search for a straight line from the minimum X and Y coordinates in the component region Pn toward the negative side in the X direction (see symbol L1 in FIG. 43). ). Since the parts area Pn is set within the area corresponding to the
上述のように直線がサーチされると、ステップS415の交点サーチ処理がなされ、抽出画像において、サーチされた上記直線の先端であって他の直線と交わる交点をサーチするための処理がなされる。直線上を時計回りまたは反時計回りでサーチするようにして交点がサーチされると、まず、サーチされた交点の数kが0に初期化され(S417)、その交点が部品領域Pn外であれば(S419でYes)、サーチされた交点の数kがインクリメントされる(S421)。上述のように交点の数kが0に設定された直後であれば、交点の数kが1に設定されることとなる。 After the straight line is searched as described above, an intersection point search process is performed in step S415 to search the extracted image for an intersection that is the tip of the searched straight line and intersects with another straight line. When intersections are searched by searching the straight line clockwise or counterclockwise, first, the number k of intersections searched is initialized to 0 (S417), and if the intersection is outside the part area Pn, If so (Yes in S419), the number k of intersection points searched is incremented (S421). Immediately after the number k of intersections is set to 0 as described above, the number k of intersections is set to 1.
そして、交点の数kが4でない場合には(S423でNo)、上記交点に連なる他の直線の先端となる次の交点をサーチするための処理がなされる(S425)。そして、サーチされた交点が部品領域Pn外であり(S419でYes)、インクリメントされた交点の数kが4でない場合には(S423でNo)、再度、上記ステップS425以降の処理がなされる。なお、サーチされた交点が部品領域Pn内であると(S419でNo)、誤った交点がサーチされているとして、上記直線について交点をサーチするための処理が継続される(S427)。 Then, if the number of intersections k is not 4 (No in S423), processing is performed to search for the next intersection that will be the tip of another straight line connected to the intersection (S425). If the searched intersection point is outside the component area Pn (Yes at S419) and the incremented number k of intersection points is not 4 (No at S423), the processing from step S425 onward is performed again. If the searched intersection point is within the component area Pn (No in S419), it is determined that an incorrect intersection point has been searched, and the process for searching for the intersection point of the straight line is continued (S427).
そして、次の交点がサーチされて(S425)、インクリメントされた交点の数kが4になると(S423でYes)、ステップS429に示す設定処理がなされる。この処理では、サーチされた4つの交点を四隅とする矩形状の領域が部品箱30の周壁に囲まれた矩形状の領域に相当するため、この矩形状の領域を上記監視領域として設定するための処理がなされる。その後、次の部品箱30の監視領域を設定するため、上記ステップS403以降の処理がなされる。そして、全ての部品箱30の監視領域が設定されると、ステップS403の判定処理にてYesと判定されて、本監視領域設定処理が終了する。
Then, when the next intersection point is searched (S425) and the incremented number k of intersection points becomes 4 (Yes in S423), the setting process shown in step S429 is performed. In this process, since the rectangular area having the four corners of the searched four intersections corresponds to the rectangular area surrounded by the peripheral wall of the
このように、本実施形態における監視領域設定処理では、部品20と想定され得るものが撮像されている領域を部品領域Pnとして設定して、この部品領域Pnに基づいて部品箱30の領域、すなわち、監視領域が設定される。これにより、監視領域設定用の装置等を用意する必要もなく、事前の設定作業や複雑な端末操作等も不要となり、監視領域を設定するために必要な作業者Mの動作を軽減することができる。
As described above, in the monitoring area setting process in the present embodiment, an area in which an image that can be assumed to be the
なお、部品領域Pnは、部品画像に対する類似度を利用して設定されることに限らず、他の手法を用いて設定されてもよい。例えば、本実施形態の第1変形例として、エッジ検出アルゴリズム(例えば、Canny法)を用いた検出結果に基づいて部品領域Pnが設定されてもよい。 Note that the component region Pn is not limited to being set using the degree of similarity to the component image, and may be set using another method. For example, as a first modified example of the present embodiment, the component region Pn may be set based on the detection result using an edge detection algorithm (for example, the Canny method).
具体的には、上記抽出画像のグレースケールに対してX座標方向に輝度値をラインスキャンし(図44参照)、一定区間内(例えば10画素内)の振幅数が所定の閾値(例えば4回)以上連続して検出された区間のスタートとエンドのY座標を保存する。また、同様に、Y座標方向に輝度値をラインスキャンし(図44参照)、検出された区間のスタートとエンドのX座標を保存する。なお、図45は、所定のY座標に関してX座標方向に輝度値をラインスキャンした検出結果を概念的に例示している。そして、保存したX座標及びY座標において最も原点に近い座標を、部品領域Pnの外縁を構成する4つの直線のうちの2つが通る点とし、最も原点から遠い座標を、残る2つの直線が通る点とすることで、部品領域Pnが設定される。このように設定された部品領域Pnに基づいて監視領域を設定する場合でも上記効果を奏する。 Specifically, the luminance value is line-scanned in the X-coordinate direction with respect to the grayscale of the extracted image (see FIG. 44), and the number of amplitudes within a certain interval (for example, within 10 pixels) is a predetermined threshold value (for example, 4 times). ) Store the Y coordinates of the start and end of the continuously detected section. Similarly, the luminance values are line-scanned in the Y coordinate direction (see FIG. 44), and the X coordinates of the start and end of the detected section are stored. Note that FIG. 45 conceptually exemplifies detection results obtained by line-scanning luminance values in the X-coordinate direction with respect to a predetermined Y-coordinate. Then, the coordinates closest to the origin in the stored X and Y coordinates are defined as the points through which two of the four straight lines forming the outer edge of the component area Pn pass, and the coordinates farthest from the origin are the points through which the remaining two straight lines pass. A part area Pn is set by making a point. The above effect can be obtained even when the monitoring area is set based on the component area Pn set in this way.
また、本実施形態の第2変形例として、コーナー検出アルゴリズム(例えば、ハリスコーナー検出)を用いた検出結果に基づいて部品領域Pnが設定されてもよい。 Further, as a second modified example of the present embodiment, the component region Pn may be set based on the detection result using a corner detection algorithm (for example, Harris corner detection).
具体的には、上記抽出画像において、各物体のコーナーをそれぞれ検出し、検出されたコーナーにおいて交差する2直線から成る小さい方の角(180度未満)の角度とそれらコーナーの座標を求め(図46のハッチング領域参照)、概略のコーナー角度ごとのヒストグラムを算出する(図47参照)。そして、ヒストグラムの出現頻度が上位所定数個(部品の形状に依存し、例えば三角形であれば上位3個)の角度の中で、最も原点に近いX座標およびY座標と最も原点から遠いX座標及びY座標とで囲まれた領域に一致するように部品領域Pnが設定される。このように設定された部品領域Pnに基づいて監視領域を設定する場合でも上記効果を奏する。 Specifically, in the extracted image, the corners of each object are detected, and the angle of the smaller angle (less than 180 degrees) consisting of two straight lines that intersect at the detected corner and the coordinates of those corners are obtained (Fig. 46 hatched area), and a histogram for each rough corner angle is calculated (see FIG. 47). Then, the X coordinate and Y coordinate that are closest to the origin and the X coordinate that is farthest from the origin are selected from among the predetermined number of angles (depending on the shape of the part, for example, the top three angles for a triangle) in which the appearance frequency of the histogram is the highest. and the Y coordinate are set so as to coincide with the area surrounded by the parts area Pn. The above effect can be obtained even when the monitoring area is set based on the component area Pn set in this way.
なお、部品領域Pnを設定して、この部品領域Pnから監視領域を設定する本実施形態等の特徴的構成は、他の実施形態等にも適用することができる。 It should be noted that the characteristic configuration of this embodiment, in which a component area Pn is set and a monitoring area is set from this component area Pn, can also be applied to other embodiments.
なお、本発明は上記各実施形態及びその変形例等に限定されるものではなく、例えば、以下のように具体化してもよい。
(1)本発明における分析対象の所定の作業として、4つの単位作業A~Dからなる組み付け作業が採用されることに限らず、例えば、1つ~3つの単位作業からなる組み付け作業が採用されてもよいし、5つ以上の単位作業からなる組み付け作業が採用されてもよい。
It should be noted that the present invention is not limited to the above-described embodiments and modifications thereof, and may be embodied as follows, for example.
(1) The predetermined work to be analyzed in the present invention is not limited to adopting an assembly work consisting of four unit works A to D. For example, an assembly work consisting of one to three unit works is adopted. Alternatively, an assembly operation consisting of five or more unit operations may be adopted.
(2)上述した区切動作(所定の動作)は、部品箱30から部品20を取り出す動作(第1実施形態)や、部品20をワークWの組付予定位置に移動させた動作(第2実施形態)に設定されることに限らず、その単位作業において必須となる他の作業動作に設定されてもよいし、単位作業とは無関係の画像認識しやすい動作に設定されてもよい。
(2) The delimiting operation (predetermined operation) described above includes the operation of taking out the
(3)本発明は、プリント基板等のワークWに対して所定の作業手順に従って部品を組み付ける際の作業分析に採用されることに限らず、例えば、多品種少量生産品の組み付けラインにおいて半完成品に対して所定の作業手順に従って部品を組み付ける際の作業分析に採用されてもよい。 (3) The present invention is not limited to being employed for work analysis when assembling parts to a work W such as a printed circuit board according to a predetermined work procedure. It may be employed for work analysis when assembling parts according to a predetermined work procedure for a product.
(4)作業分析処理において異常作業と判定された単位作業に関する情報や区切情報などを表示部14等に表示することで、必要に応じて区切情報を手動で修正等する機会を設けてもよい。
(4) By displaying information about the unit work determined to be abnormal work in the work analysis process, division information, etc., on the
10…作業分析装置
11…制御部(設定部,生成部)
13…撮像部
20,20a~20d…部品
30,30a~30d…部品箱
P1a~P1d,P2a~P2d…監視領域
W…ワーク(被組付部材)
10
13...
Claims (6)
作業者により複数の単位作業が所定の順番で行われる所定の作業の繰り返しを撮像する撮像部と、
前記単位作業ごとに予め設定される所定の動作に基づいて、前記撮像部により撮像された作業動画を前記所定の動作の検出タイミングで前記単位作業ごとに区切るための区切情報を設定する設定部と、
前記撮像部により撮像された作業動画と前記設定部により設定された前記区切情報とを含めるように前記判定用データを生成する生成部と、
を備え、
前記生成部は、前記設定部により設定された前記区切情報に基づいて、前記所定の順番と異なる順番で行われた前記単位作業の1つ前の単位作業を除外するように前記判定用データを生成することを特徴とする作業分析装置。 A work analysis device that generates determination data for determining whether correct work is being performed,
an imaging unit that captures repetition of a predetermined work in which a plurality of unit tasks are performed by a worker in a predetermined order;
a setting unit that sets delimiter information for delimiting the work moving image captured by the imaging unit into each unit work based on a predetermined motion set in advance for each unit work, at the detection timing of the predetermined motion; ,
a generation unit that generates the determination data so as to include the work moving image captured by the imaging unit and the delimiter information set by the setting unit;
with
The generation unit generates the determination data so as to exclude a unit work immediately preceding the unit work performed in an order different from the predetermined order, based on the delimiter information set by the setting unit. A work analysis device characterized by generating
前記所定の動作は、前記部品箱から前記部品を取り出す動作であることを特徴とする請求項1に記載の作業分析装置。 The unit work is a work of assembling a part taken out from a parts box associated with the unit work into a member to be assembled,
2. The work analysis apparatus according to claim 1, wherein the predetermined action is an action of taking out the part from the parts box.
前記所定の動作は、前記部品を前記被組付部材の組付予定位置に移動させた動作であることを特徴とする請求項1に記載の作業分析装置。 the unit work is a work of assembling a part associated with the unit work to a member to be assembled;
2. The work analysis apparatus according to claim 1, wherein the predetermined motion is a motion of moving the part to a predetermined assembly position of the member to be assembled.
作業者により複数の単位作業が所定の順番で行われる所定の作業の繰り返しを撮像部により撮像する撮像処理と、
前記単位作業ごとに予め設定される所定の動作に基づいて、前記撮像処理により撮像された作業動画を前記所定の動作の検出タイミングで前記単位作業ごとに区切るための区切情報を設定する設定処理と、
前記撮像処理により撮像された作業動画と前記設定処理により設定された前記区切情報とを含めるように前記判定用データを生成する生成処理と、
を実行させ、
前記生成処理では、前記設定処理により設定された前記区切情報に基づいて、前記所定の順番と異なる順番で行われた前記単位作業の1つ前の単位作業を除外するように前記判定用データを生成することを特徴とする作業分析プログラム。 In the control unit of the work analysis device that generates judgment data for judging whether or not the correct work is being done,
an imaging process of capturing an image of repetition of a predetermined work in which a plurality of unit tasks are performed by a worker in a predetermined order, using an imaging unit;
a setting process for setting delimiter information for delimiting the work moving image captured by the image capturing process for each unit work based on a predetermined motion set in advance for each unit work, at the detection timing of the predetermined motion; ,
a generation process for generating the determination data so as to include the work moving image captured by the imaging process and the delimiter information set by the setting process;
and
In the generating process, based on the delimiter information set in the setting process, the determination data is generated so as to exclude a unit work immediately preceding the unit work performed in an order different from the predetermined order. A work analysis program characterized by generating
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20156857.3A EP3696772A3 (en) | 2019-02-14 | 2020-02-12 | Device and method for analyzing state of manual work by worker, and work analysis program |
CN202010090625.7A CN111565293B (en) | 2019-02-14 | 2020-02-13 | Apparatus and method for analyzing state of manual work of worker, and medium |
US16/791,143 US11170244B2 (en) | 2019-02-14 | 2020-02-14 | Device and method for analyzing state of manual work by worker, and work analysis program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019035209 | 2019-02-28 | ||
JP2019035209 | 2019-02-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020144830A JP2020144830A (en) | 2020-09-10 |
JP7275983B2 true JP7275983B2 (en) | 2023-05-18 |
Family
ID=72353694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019147092A Active JP7275983B2 (en) | 2019-02-14 | 2019-08-09 | Work analysis device and work analysis program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7275983B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7354182B2 (en) | 2021-05-31 | 2023-10-02 | 株式会社ブロードリーフ | Mobile work analysis device and work analysis method |
JP2023048309A (en) * | 2021-09-28 | 2023-04-07 | オムロン株式会社 | Setting device, setting method and setting program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006302096A (en) | 2005-04-22 | 2006-11-02 | Omron Corp | Process abnormality detection system |
JP2007243846A (en) | 2006-03-10 | 2007-09-20 | Matsushita Electric Ind Co Ltd | Image extraction analyzer, image extraction analyzing system, and image extraction analysis method |
JP2007323222A (en) | 2006-05-31 | 2007-12-13 | Hitachi Ltd | Working motion analysis method, working motion analysis apparatus and working motion analysis program |
JP2018156279A (en) | 2017-03-16 | 2018-10-04 | 株式会社デンソーウェーブ | Work support device, and work support program |
-
2019
- 2019-08-09 JP JP2019147092A patent/JP7275983B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006302096A (en) | 2005-04-22 | 2006-11-02 | Omron Corp | Process abnormality detection system |
JP2007243846A (en) | 2006-03-10 | 2007-09-20 | Matsushita Electric Ind Co Ltd | Image extraction analyzer, image extraction analyzing system, and image extraction analysis method |
JP2007323222A (en) | 2006-05-31 | 2007-12-13 | Hitachi Ltd | Working motion analysis method, working motion analysis apparatus and working motion analysis program |
JP2018156279A (en) | 2017-03-16 | 2018-10-04 | 株式会社デンソーウェーブ | Work support device, and work support program |
Also Published As
Publication number | Publication date |
---|---|
JP2020144830A (en) | 2020-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11170244B2 (en) | Device and method for analyzing state of manual work by worker, and work analysis program | |
US10445887B2 (en) | Tracking processing device and tracking processing system provided with same, and tracking processing method | |
CN110443210B (en) | Pedestrian tracking method and device and terminal | |
EP2608536B1 (en) | Method for counting objects and apparatus using a plurality of sensors | |
EP1969993B1 (en) | Eyelid detection apparatus | |
JP6723814B2 (en) | Information processing apparatus, control method thereof, program, and storage medium | |
CN104035555A (en) | System, Information Processing Apparatus, And Information Processing Method | |
JP7275983B2 (en) | Work analysis device and work analysis program | |
EP2793172B1 (en) | Image processing apparatus, image processing method and program | |
US10515459B2 (en) | Image processing apparatus for processing images captured by a plurality of imaging units, image processing method, and storage medium storing program therefor | |
EP2544148A1 (en) | Foreign object assessment device, foreign object assessment method, and foreign object assessment program | |
CN108876848B (en) | Tracking system and tracking method thereof | |
JP5799817B2 (en) | Finger position detection device, finger position detection method, and computer program for finger position detection | |
US12026328B2 (en) | Arrangement for recognition by a touch-sensitive sensor matrix | |
CN102446034A (en) | Optical touch control system and object sensing method thereof | |
Chen et al. | An integrated color and hand gesture recognition approach for an autonomous mobile robot | |
EP2924610A2 (en) | Flesh color detection condition determining apparatus, and flesh color detection condition determining method | |
JP2021163293A (en) | Work analyzer and work analysis program | |
CN116385527A (en) | Object positioning method, device and medium based on multi-source sensor | |
JP2008242512A (en) | Setting device for detection area and setting method therefor | |
KR101669850B1 (en) | Sensor Calibration Method and Electronic Device and Marker Board for the same | |
KR101385263B1 (en) | System and method for a virtual keyboard | |
JP5601279B2 (en) | Number template, number recognition device and number recognition method | |
JP2010091525A (en) | Pattern matching method of electronic component | |
CN115194751A (en) | Robot system, control method, image processing apparatus and method, and product manufacturing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7275983 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |