JP6608778B2 - 作業動作指示装置 - Google Patents

Description

本発明は、作業動作指示装置に関する。

本技術分野の背景技術として、特開２０１５−５６１６０号公報(特許文献1)がある。この公報には、複数の作業工程に対する作業結果に基づき、作業工程を変更する手段を備える生産管理システムが記載されている。

特開２０１５−５６１６０号公報

上記特許文献１に記載された技術では、不良等による不足分の作業工程のやり直しによる復旧に着目しており、不良等の原因となる作業者の動作の異常に関しては、何らの対策は考慮されていない。

本発明の目的は、作業者の動作の異常を復旧することができる技術を提供することにある。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る動作指示装置は、作業者の標準動作に係る所定のセンサーの出力情報を作業手順ごとに格納する標準作業手順記憶部と、上記作業者の実施中の作業に係る上記センサーの出力情報を取得し、上記標準作業手順記憶部の上記標準動作と比較して実施中の作業手順を特定する作業手順特定部と、上記作業者の上記実施中の作業手順の後続の作業に係る上記センサーの出力情報を取得し、上記実施中の作業手順の後続の作業手順における上記出力情報と相違する場合に、作業異常を検知する作業異常検知部と、上記作業異常が検知されると、復旧のための作業指示内容を生成する復旧作業指示生成部と、を備え、上記復旧作業指示生成部は、上記復旧のための作業指示内容を、上記作業手順における作業指示のテキストを所定のルールで置換して生成する。

本発明によれば、作業者の動作の異常を復旧することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第一の実施形態に係る動作指示装置の構成を示す図である。 標準作業手順記憶部に格納されるデータ構造を示す図である。 作業内容取得モデル記憶部に格納されるデータ構造を示す図である。 部品・工具探索モデル記憶部に格納されるデータ構造を示す図である。 復旧動作指示生成モデル記憶部に格納されるデータ構造を示す図である。 復旧動作指示記憶部に格納されるデータ構造を示す図である。 作業対象物記憶部に格納されるデータ構造を示す図である。 動作指示装置のハードウェア構成を示す図である。 動作支援処理の動作フローを示す図である。 部品・工具探索処理の動作フローを示す図である。 復旧動作指示生成処理の動作フローを示す図である。 動作支援処理の出力画面例を示す図である。 復旧動作指示の出力画面例を示す図である。

以下、本発明に係る一つの実施の形態を図面に基づいて説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

一般に、組立作業現場では、作業抜け漏れや部品取り間違いといった作業異常に起因した製品不良が発生する。そのため、作業異常が発生した際に、作業異常を検知し、修正作業をすぐに指示することが製品不良の発生防止に有効である。とくに、本実施形態に係る動作指示装置によれば、組立作業現場における、作業抜け漏れ、部品取り間違いといった作業異常に起因した製品不良、及び顧客クレームを削減出来る。

図１は、本発明の実施形態に係る動作指示装置１の構成を示す図である。動作指示装置１は、一般的な計算機（ＰＣ等）で構成でき、例えばソフトウェアプログラムの実行処理により本実施形態の特徴的な処理を実現する。動作指示装置１は、入出力部１０、表示部２０、制御部３０、記憶部４０、およびバス等を含んで構成される。

入出力部１０は、作業の管理者等のユーザの操作により、標準作業手順書や修正作業指示生成モデル、各種モデルの設定項目の入力を受け付ける入力装置や、作業映像や作業内容指示、作業に用いる部品や工具の指示、修正作業内容指示などの出力を行う出力装置を含む。例えば、入出力部１０は、キーボード、マウスなどのハードウェアを介した入力を受け付け、あるいはプリンタに対して出力を行う。

また、入出力部１０には、少なくともカメラ装置を含み、その他作業者の動作を検出するのに適した温度センサー等、各種センサー装置を含む。カメラ装置は、レンズにより集光して内部に備えられたＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）あるいはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の受光素子の受光面に結像して画像を取得するイメージセンサーと、複数のレンズから得られた視差画像から物体までの距離計算などの画像処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）回路などの処理部品が配置されている。また、カメラ装置は、作業者であるユーザの作業に関連する映像を適切に取得できる視野角を有するよう配置され、本実施形態では例えば作業者であるユーザの頭上から作用者であるユーザの使用する作業台の上を視野角に収めるように配置される。

表示部２０は、ディスプレイ等に表示される画面をグラフィカルユーザインタフェース（ＧＵＩ）により構成し、各種の情報を表示する。表示部２０には、作業映像表示部２１と、作業指示表示部２２と、部品工具表示部２３と、復旧動作指示表示部２４と、が含まれる。作業映像表示部２１は、カメラなどのセンサーから取得された、作業者の作業映像を表示する。作業指示表示部２２は、後述する作業指示処理部３１の制御に応じて、作業内容を指示する文章を表示する。部品工具表示部２３は、後述する部品工具特定部３３が特定した部品や工具を、作業映像上の位置に重畳させて表示する。復旧動作指示表示部２４は、後述する作業異常検知部３４が作業異常を検知した場合、復旧動作を指示する文章を表示する。表示部２０を見ることで、作業者であるユーザは、表示部２０での出力をもとに、組立作業現場における作業抜け漏れ、部品取り間違いといった作業異常に対して対策が打てるようになる。これによって、作業異常に起因した製品不良、及び顧客クレームを削減出来る。

制御部３０は、作業指示処理部３１と、作業手順特定部３２と、部品工具特定部３３と、作業異常検知部３４と、復旧動作指示生成部３５と、作業完了検証部３６と、グラフ生成部３７と、を含む。

作業指示処理部３１は、後述する作業手順特定部３２が特定した作業手順に続けて行うべき作業手順を標準作業手順記憶部４１から取得して、作業指示表示部２２に表示させる。

作業手順特定部３２は、カメラなどのセンサーで取得されたデータを用いて、作業者の現在の動作を特定し、標準作業手順記憶部４１に記憶されている標準作業手順と照合することで、実施中の作業手順を特定する。例えば、作業手順特定部３２は、カメラで撮影した映像データのフレームごとに明るさ、角の数（エッジ数）等の画像特徴量を取得し、標準作業手順で定められた特徴量との類似が認められた動作を現在の動作として特定する。なお、画像特徴量は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量等が望ましいが、これに限定されるものではなく、その他の特徴量であってもよい。

部品工具特定部３３は、カメラなどのセンサーで取得されたデータを用いて、データに含まれる部品および工具の判別を行って特定し、標準作業手順記憶部４１に記憶されている標準作業手順に基づき現状の作業に用いる部品や工具を特定する。部品工具特定部３３は、工具の判別においては、画像特徴量に加えて色や形状を用いるのが望ましい。工具は、取り違いを防ぐために色で識別可能となっているものが多いためである。また、部品工具特定部３３は、特定した部品と工具を、部品工具表示部２３に表示させる。

作業異常検知部３４は、カメラなどのセンサーで取得されたデータを用いて、作業者の現在の作業内容を取得し、取得した作業内容が標準作業手順記憶部４１に記憶されている標準作業手順通りに実施されていない場合、異常と判定する。具体的には、作業異常検知部３４は、カメラで撮影した映像データのフレームごとに画像特徴量を取得し、作業手順特定部３２によって特定された実施中の作業手順の動作の画像特徴量と乖離が所定以上ある場合に、作業異常が発生したと判定する。

復旧動作指示生成部３５は、作業異常検知部３４が作業を異常と判定した場合、復旧動作指示生成モデル記憶部４５に登録されている復旧動作指示生成モデルに、異常と判定された作業内容を表す文章の一部を置換させ、復旧動作指示内容の文章を生成させる。そして、復旧動作指示生成部３５は、復旧動作指示内容の文章を復旧動作指示表示部２４に表示させる。

作業完了検証部３６は、標準作業手順の作業手順それぞれについて、完了しているか否かを検証する。具体的には、作業完了検証部３６は、作業手順特定部３２が特定した実施中の作業手順よりも先行する作業について、完了したか否かを判定する。

作業が完了したか否かの判定においては、作業完了検証部３６は、各作業手順完了時の製品の組み上がり状態を示す画像の作業対象の部品の特徴量と、カメラで撮影した映像データの所定のフレームに含まれる部品の画像特徴量とを比較して所定以上類似すれば、その作業は完了していると判定する。また、作業が完了したか否かの判定においては、作業完了検証部３６は、各作業手順の動作と、カメラで撮影した映像データに含まれる作業者の動作とを比較して、所定以上類似すれば、その作業は完了していると判定する。このようにすることで、作業完了検証部３６は、所定の作業動作がなされたか、作業完了状態に組み上がっている作業については、完了したものとして扱うことができる。

グラフ生成部３７は、作業者ごとの作業異常に係る情報を集計して、複数の作業者に係る所定のグラフを生成する。具体的には、グラフ生成部３７は、作業異常の発生の都度、作業異常が発生した日時、作業手順、作業者、作業異常の種類等の情報を記憶部４０に格納しておき、多くの作業者が作業異常を発生させる作業手順を特定するために、作業異常の発生件数の多い作業手順を表示させるグラフを生成する。

なお、制御部３０は、図示しないが、ＯＳ、ミドルウェア、アプリケーションなどの公知の要素により、特にディスプレイやスマートウォッチ、ヘッドマウントディスプレイ、ＶＲゴーグルなどの表示部２０にＧＵＩ画面をＷｅｂページ形式などで表示するための既存の処理機能を備える。

記憶部４０は、標準作業手順書や各種モデル（各種の画像判定アルゴリズム）、対応するデータ（例えばデータベースやテーブル）を記憶する。なお、これらの各データおよびプログラム等は、通信ネットワークを介して外部から取得・参照される形式としてもよい。

記憶部４０には、標準作業手順記憶部４１と、作業内容取得モデル記憶部４２と、部品工具探索モデル記憶部４３と、作業異常検知モデル記憶部４４と、復旧動作指示生成モデル記憶部４５と、復旧動作指示記憶部４６と、作業対象物記憶部４７と、が格納される。

図２は、標準作業手順記憶部４１に格納されるデータ構造を示す図である。標準作業手順記憶部４１には、作業手順を特定する作業ＩＤ４１Ａと、作業内容を示す文章である作業内容４１Ｂと、作業内容４１Ｂの作業に係る要素作業である動作４１Ｃと、作業に用いる部品・工具４１Ｄと、作業を行う場所である作業エリア４１Ｅと、が対応付けて格納される。なお、要素作業である動作４１Ｃには、予め定められた種類の動作のうち、いずれかの動作を特定する情報が格納されている。例えば、「（部品を）取る」、「（ネジを）締める」、「（部品を）溶接する」等の動作を特定する情報が格納されている。

図３は、作業内容取得モデル記憶部４２に格納されるデータ構造を示す図である。作業内容取得モデル記憶部４２には、カメラ等のセンサーから取得した画像とその深度等のデータを用いて生成した時系列の画像特徴量から、一般的な機械学習手法を用いて作業内容を取得するモデルと取得したデータが格納される。作業内容取得モデル記憶部４２には、画像のフレームを特定するフレーム４２Ａと、第一のカメラで取得したカメラ１の明るさ４２Ｂと、カメラ１の角の数４２Ｃと、第一の温度センサーで取得した温度センサー１の最高温度４２Ｄ等の所定の特徴量が格納される。

図４は、部品工具探索モデル記憶部４３に格納されるデータ構造を示す図である。部品工具探索モデル記憶部４３には、図１０に示す部品・工具探索処理の処理フローを実行する部品・工具探索モデルが記憶されている。部品工具探索モデル記憶部４３には、部品及び工具を特定するアイテムＩＤ４３Ａと、工具の色を特定する色４３Ｂと、明るさを特定する明るさ４３Ｃと、識別用アルゴリズム４３Ｄと、が対応付けて格納される。識別用アルゴリズム４３Ｄは、画像内部に含まれる部品および工具の識別を行うための画像処理を行うアルゴリズムである。

作業異常検知モデル記憶部４４には、動作に異常があるか否かを判定し、異常がある場合に作業異常として検知する作業異常検知モデル（アルゴリズムを実装する関数等）が格納されている。なお、本実施形態においては、作業異常は、所定の動作と異なる動作を行うと、異常と判断される。待機等による動作の中断、あるいは動作の速度の多寡、は異常とは判定しないものとする。

図５は、復旧動作指示生成モデル記憶部４５に格納されるデータ構造を示す図である。復旧動作指示生成モデル記憶部４５には、作業の動作ごとに、復旧指示文章の生成ルールが対応付けて格納される。より具体的には、復旧動作指示生成モデル記憶部４５には、生成ルールと動作との組み合わせを特定する復旧ＩＤ４５Ａと、動作４５Ｂと、復旧指示文章生成ルール４５Ｃと、が対応付けられて格納されている。なお、復旧指示文章生成ルール４５Ｃには、例えば、「「取る」を「戻す」に、「から」を「に」に置換」等のルールや、「「ネジを締める」を「ネジを外す」に、「につける」を「から外す」に置換」等の文字列置換のルールが格納される。

図６は、復旧動作指示記憶部４６に格納されるデータ構造を示す図である。復旧動作指示記憶部４６には、復旧動作指示が表示順とともに格納される。より具体的には、復旧動作指示記憶部４６には、表示順４６Ａと、動作指示４６Ｂと、動作実施確認アルゴリズム４６Ｃと、が格納される。

表示順４６Ａは、復旧動作指示が表示される順を特定する情報である。なお、復旧動作指示は、複数の作業異常が重複して発生した場合には、最後に起きた作業異常に対する復旧動作から順に指示する方が効率が良いことが多いため、いわゆる後入れ先出し（ＬＩＦＯ）による表示順制御が行われるのが望ましい。動作指示４６Ｂには、動作を指示する文章が格納される。望ましくは、復旧動作指示生成部３５が生成した動作指示の文章が格納される。動作実施確認アルゴリズム４６Ｃには、動作指示４６Ｂに応じた動作がなされたか否かを判定するためのアルゴリズムを特定する情報が格納される。

図７は、作業対象物記憶部４７に格納されるデータ構造を示す図である。作業対象物記憶部４７には、作業ごとに、作業の対象物の作業完了状態の画像上の特徴量が格納される。より具体的には、作業対象物記憶部４７には、作業ＩＤ４７Ａと、対象物４７Ｂと、作業完了状態特徴量４７Ｃと、が格納される。なお、作業完了状態特徴量４７Ｃには、「明るさ：ＸＸ 角の数：ＹＹ」等の画像特徴量が格納される。

図８は、動作指示装置１のハードウェア構成を示す図である。動作指示装置１は、カメラ装置１０１と、メモリ等の主記憶装置１０２と、入力装置１０３と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置１０４と、ハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の外部記憶装置１０５と、表示装置１０６と、これらをつなぐバス１０７と、を含んで構成される。

カメラ装置１０１は、撮像素子とレンズとを有するカメラである。

主記憶装置１０２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリである。

入力装置１０３は、例えば所定の配列のキーボード、あるいはタッチペン、その他種々のポインティングデバイス、あるいは表示装置１０６である液晶画面や有機ＥＬ液晶ディスプレイ上に設けられた圧力感知式のタッチセンサーや静電誘導式のタッチセンサー、等の入力を受け付ける装置である。

演算装置１０４は、ＣＰＵ等の演算を行う装置である。

外部記憶装置１０５は、デジタル情報を記憶可能な、いわゆるハードディスクやＳＳＤ、あるいはフラッシュメモリなどの不揮発性記憶装置である。

表示装置１０６は、例えば液晶ディスプレイや有機ＥＬ液晶ディスプレイなどの、表示を行う装置である。

上記した作業指示処理部３１と、作業手順特定部３２と、部品工具特定部３３と、作業異常検知部３４と、復旧動作指示生成部３５と、作業完了検証部３６と、グラフ生成部３７とは、演算装置１０４に処理を行わせるプログラムによって実現される。このプログラムは、主記憶装置１０２、または外部記憶装置１０５内に記憶され、実行にあたって主記憶装置１０２上にロードされ、演算装置１０４により実行される。

また、標準作業手順記憶部４１と、作業内容取得モデル記憶部４２と、部品工具探索モデル記憶部４３と、作業異常検知モデル記憶部４４と、復旧動作指示生成モデル記憶部４５と、復旧動作指示記憶部４６と、作業対象物記憶部４７とは、主記憶装置１０２及び外部記憶装置１０５により実現される。

また、表示部２０は、表示装置１０６により実現され、入出力部１０は、カメラ装置１０１と、入力装置１０３と、表示装置１０６により実現される。

以上が、本実施形態における動作指示装置１のハードウェア構成例である。しかし、これに限らず、その他のハードウェアを用いて構成されるものであってもよい。

なお、動作指示装置１は、図示しないが、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、ミドルウェア、アプリケーションなどの公知の要素を有するものであってもよい。

[動作の説明]図９は、動作支援処理の動作フローを示す図である。動作支援処理は、動作指示装置１が起動すると、開始される。

まず、作業手順特定部３２は、カメラ等のセンサー装置から、画像や深度等のデータを取得する（ステップＳ３０００）。

そして、作業手順特定部３２は、取得したデータをもとに、特徴量を生成する（ステップＳ３００１）。ここで生成する特徴量とは、輝度分布や角の数量、ＨＯＧ特徴量などが考えられるが、これらに限られるものではなく、所定の特徴量であれば良い。

そして、作業手順特定部３２は、生成した特徴量と機械学習等の既知の手法を用いて、作業者の動作を取得する（ステップＳ３００２）。具体的には、作業手順特定部３２は、生成したフレーム別の特徴量について、作業内容取得モデル記憶部４２に格納するとともに、標準作業手順記憶部４１の動作４１Ｃ等を用いて、標準作業手順のいずれかと類似する作業内容であるか否かを判定し、類似する作業内容を作業者の動作として取得する。

そして、作業異常検知部３４は、作業異常検知モデル記憶部４４から作業異常検知に用いる所定のアルゴリズムを読み出し、作業異常を検知する（ステップＳ３００３）。具体的には、作業異常検知部３４は、ステップＳ３００２で作業者の動作を取得的なかった場合には、作業異常検知部３４は、作業内容無しと特定し、後述するステップＳ３００５に制御を移す。また、取得した動作が標準作業手順のいずれかと一致あるいは時間軸の相違を除き類似する場合、例えば用いる工具および部品は全て一致するが、工具等の移動位置あるいは移動にかかる時間の長短が異なる場合には、作業異常検知部３４は、制御を後述するステップＳ３００４に移す。また、取得した動作が標準作業手順のいずれかと類似する場合であって、時間軸以外に類似でない要素がある場合、例えば用いる工具あるいは部品が相違する等の場合には、作業異常検知部３４は、制御を後述するステップＳ３００７に移す。

取得した動作が標準作業手順のいずれかと一致あるいは時間軸の相違を除き類似する場合（ステップＳ３００３にて「作業内容が標準作業手順と一致する」場合）には、作業指示処理部３１は、作業指示の更新を行う（ステップＳ３００４）。具体的には、作業指示処理部３１は、標準作業手順記憶部４１に記憶されている標準作業手順に基づき、作業者が次に行うべき作業指示を表示するよう作業指示表示部２２に命令する。

そして、部品工具特定部３３は、部品・工具探索処理を行う（ステップＳ３００５）。具体的には、部品工具特定部３３は、カメラ等のセンサー装置から取得した画像や深度等のデータを用いて、実施中の作業に用いる部品・工具について部品工具探索モデル記憶部４３の部品および工具の情報を用いて特定する。

そして、作業映像表示部２１と、作業指示表示部２２と、部品工具表示部２３とは、表示部２０の表示を更新する（ステップＳ３００６）。

そして、作業指示処理部３１は、制御をステップＳ３０００に戻す。

取得した動作が標準作業手順のいずれかと類似する場合であって、時間軸以外に類似でない要素がある場合（ステップＳ３００３にて「作業内容が標準作業手順と一致しない」場合）には、復旧動作指示生成部３５は、復旧動作指示を生成する（ステップＳ３００７）。具体的には、復旧動作指示生成部３５は、後述する復旧動作指示生成処理を実施して復旧動作指示を生成するとともに、生成された復旧動作指示を表示するよう復旧動作指示表示部２４に命令する。

そして、作業手順特定部３２は、復旧動作が完了したか否かを判定する（ステップＳ３００８）。具体的には、作業手順特定部３２は、復旧動作指示記憶部４６を参照して、動作実施確認アルゴリズム４６Ｃに格納された情報を用いて動作実施確認アルゴリズムを特定し、カメラ等のセンサー装置から取得した画像や深度等の情報を用いて、当該アルゴリズムにより復旧動作が完了したか否かを判定する。復旧動作が完了していない場合には、作業手順特定部３２は、ステップＳ３００５へ制御を進める。

復旧動作が完了した場合（ステップＳ３００８において「Ｙｅｓ」の場合）には、作業手順特定部３２は、他の全ての復旧動作が完了したか否かを判定する（ステップＳ３００９）。他の全ての復旧動作が完了していない場合には、作業手順特定部３２は、ステップＳ３００５へ制御を進める。

他の全ての復旧動作が完了した場合（ステップＳ３００９において「Ｙｅｓ」の場合）には、作業手順特定部３２は、ステップＳ３００４へ制御を進める。

以上が、動作支援処理の動作フローである。動作支援処理によれば、作業者の動作に異常（部品や工具の取り違え）が見られた場合にこれを検知し、所定の復旧動作指示をすぐに表示させることができる。また、復旧動作がなされた場合には、正常時の作業指示を表示することができる。したがって、作業者にすぐに作業異常を自覚させて修正させることができる。

なお、動作支援処理では、一つの作業異常に対する復旧動作指示の生成だけでなく、重ねて発生した作業異常に対する復旧動作指示を生成することもできる。例えば、復旧動作で用いるべき工具の取り違えが発生した場合にも、作業異常検知処理により復旧動作と異なる動作を作業異常と検知することで、正しい工具に持ち替えるよう復旧動作を指示することができる。

また、動作支援処理とは別に並行して、作業完了検証部３６は、カメラ等のセンサー装置から取得した画像や深度等のデータを用いて、作業対象物記憶部４７に格納される作業完了状態特徴量４７Ｃを満たすか否かを判定し、作業手順の完了を後続の作業手順を実施中に確認するようにしても良い。このようにすることで、カメラの死角になって作業完了が確認できない動作等を、その後の作業実施中に確認することのできる映像が得られた時点で確認することができる。

図１０は、部品・工具探索処理の動作フローの例を示す図である。部品・工具探索処理は、動作支援処理のステップＳ３００５において実施される。

まず、部品工具特定部３３は、標準作業手順記憶部４１に格納されている標準作業手順に基づき、ステップＳ３００４で指示している動作から、現在の作業に用いる部品と工具を特定する（ステップＳ３２０１）。

そして、部品工具特定部３３は、特定物体探索手法を用いて撮影画像の中にある全ての部品・工具を探索する（ステップＳ３２０２）。その際、部品工具特定部３３は、部品工具探索モデル記憶部４３に格納された識別用アルゴリズム４３Ｄを用いて、色４３Ｂおよび明るさ４３Ｃ等のＨＯＧ特徴量を有する映像を部品あるいは工具として特定する。

そして、部品工具特定部３３は、撮影画像の中にある全ての部品・工具の中から、現在の作業に用いる部品・工具を絞り込み、強調表示する（ステップＳ３２０３）。具体的には、部品工具特定部３３は、ステップＳ３２０１で特定した現在の作業に用いる部品・工具と、これらの部品・工具における取り違え防止（ポカヨケ）の工夫（例：ドライバの色や形状を他と区別するために分ける等）を特徴量として用い、現在の作業に用いる部品・工具に絞り込む。そして、絞り込んだ部品と工具について、部品工具特定部３３は、部品工具表示部２３に表示させる命令を行う。

以上が、部品・工具探索処理の動作フローである。部品・工具探索処理によれば、現在の作業に用いる部品と工具を、映像上で強調表示することができる。作業者は、映像上に示された部品と工具を用いることで、取り違えを防止することができる。

図１１は、復旧動作指示生成処理の動作フローを示す図である。復旧動作指示生成処理は、動作支援処理のステップＳ３００７において開始される。

まず、復旧動作指示生成部３５は、異常が発生した作業内容を取得する（ステップＳ３４０１）。具体的には、復旧動作指示生成部３５は、動作支援処理のステップＳ３００２において取得した作業内容を取得する。

そして、復旧動作指示生成部３５は、取得した作業内容における動作を取得する（ステップＳ３４０２）。具体的には、復旧動作指示生成部３５は、取得した作業内容における標準作業手順記憶部４１の動作４１Ｃを取得する。

そして、復旧動作指示生成部３５は、取得した動作に紐付く復旧動作指示生成ルールを取得する（ステップＳ３４０３）。具体的には、復旧動作指示生成部３５は、復旧動作指示生成モデル記憶部４５の動作４５Ｂを、ステップＳ３４０２において取得した動作により検索し、一致する動作について復旧指示文章生成ルール４５Ｃを読み出して取得する。

そして、復旧動作指示生成部３５は、取得した復旧動作指示生成ルールに基づき、異常と判定された作業内容を表す文章の一部を置換し、復旧動作指示内容を生成する（ステップＳ３４０４）。なお、異常が発生した動作が不可逆の動作である場合、例えばはんだ付けや切断、削り、接着等の動作である場合には、単純に元に戻す動作は適切でない場合が多い。そのような動作については、復旧動作指示生成ルールにおいて、作業対象物を破棄、あるいは取り替えを指示する文章に差し替えるようにしてもよい。このようにすることで、可逆の動作と不可逆の動作等の動作の質の相違をふまえた適切な復旧動作を指示することができる。

以上が、復旧動作指示生成処理の動作フローである。復旧動作指示生成処理によれば、異常のあった作業内容について、復旧のための所定のルールに従った文字列置換を行うことで復旧動作の指示文章を得ることができる。

図１２は、動作支援処理の出力画面例を示す図である。具体的には、動作支援処理のステップＳ３００６による表示部２０の更新がなされた状態を示す。図１２においては、表示部２０には、作業者の作業台の所定範囲を撮像した作業映像表示領域２０１と、作業指示文章を表示する作業指示表示領域２０２と、作業対象の部品に重畳させて強調表示する部品表示領域２０３と、作業対象の工具に重畳させて強調表示する工具表示領域２０４と、が含まれる。この出力画面によれば、作業者は、作業指示を確認し、必要な部品や工具を容易に見つけて作業することができる。

図１３は、復旧動作指示の出力画面例を示す図である。具体的には、動作支援処理のステップＳ３００７による表示部２０の更新がなされた状態を示す。図１３においては、表示部２０には、作業者の作業台の所定範囲を撮像した作業映像表示領域２５１と、復旧動作指示文章を表示する復旧動作指示表示領域２５２と、復旧動作対象の部品に重畳させて強調表示する復旧部品表示領域２５３と、が含まれる。この出力画面によれば、作業者は、復旧動作指示を確認し、必要な部品や工具を容易に見つけて復旧動作を行うことができる。

以上、実施形態に係る動作指示装置１について具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

例えば、別の実施形態として、カメラと、温度センサーとを含めて、はんだごての適切な温度を作業動作に含めるものとするようにしてもよい。この場合には、不適切なはんだ温度によるはんだ付けがなされる場合に、復旧動作として適切な温度に調整する動作を指示することで、はんだ作業に基づく各種の不備を回避することが容易となる。

また例えば、一つの作業動作に対して、複数のカメラで異なる視点から撮影して動作を特定するようにしてもよい。つまり、複数のカメラで撮影した画像特徴量がすべて類似となるか否かにより作業異常を検出するようにしてもよい。このようにすると、より精緻な作業異常を検出することができるため、例えばより効率の良い体の動かし方等、きめ細やかな生産性向上につなげることが可能となる。

また例えば、複数の作業者の動作を一つのカメラで撮影して、作業者ごとに画像上の領域を分割してそれぞれの作業異常を検出するようにしてもよい。このようにすることで、カメラの設置台数を抑えることができるため、低コストでシステムを構築できる。

また例えば、製造作業に用いるものに限られず、各種の動作指示に用いることができる。具体的には、車、列車、ホバークラフト、船舶、航空機、スペースシャトル等、運転操作を伴う乗り物の運転動作支援として適用することができる。その場合には、乗り物の位置や向き、速度等から動作を行うタイミングの指示を併せて行うようにしてもよい。

なお、上記した実施形態では本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

また、上記した各構成、機能、処理部等は、それらの一部又は全部を、例えば別の装置で実行してネットワークを介して統合処理する等により分散システムで実現してもよい。

また、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。

以上、本発明について、実施形態を中心に説明した。

１・・・動作指示装置、１０・・・入出力部、２０・・・表示部、２１・・・作業映像表示部、２２・・・作業指示表示部、２３・・・部品工具表示部、２４・・・復旧動作指示表示部、３０・・・制御部、３１・・・作業指示処理部、３２・・・作業手順特定部、３３・・・部品工具特定部、３４・・・作業異常検知部、３５・・・復旧動作指示生成部、３６・・・作業完了検証部、３７・・・グラフ生成部、４０・・・記憶部、４１・・・標準作業手順記憶部、４２・・・作業内容取得モデル記憶部、４３・・・部品工具探索モデル記憶部、４４・・・作業異常検知モデル記憶部、４５・・・復旧動作指示生成モデル記憶部、４６・・・復旧動作指示記憶部、４７・・・作業対象物記憶部

Claims (7)

1. 作業者の標準動作に係る所定のセンサーの出力情報を作業手順ごとに格納する標準作業手順記憶部と、
   前記作業者の実施中の作業に係る前記センサーの出力情報を取得し、前記標準作業手順記憶部の前記標準動作と比較して実施中の作業手順を特定する作業手順特定部と、
   前記作業者の前記実施中の作業手順の後続の作業に係る前記センサーの出力情報を取得し、前記実施中の作業手順の後続の作業手順における前記出力情報と相違する場合に、作業異常を検知する作業異常検知部と、
   前記作業異常が検知されると、復旧のための作業指示内容を生成する復旧作業指示生成部と、
   を備え、
   前記復旧作業指示生成部は、前記復旧のための作業指示内容を、前記作業手順における作業指示のテキストを所定のルールで置換して生成する、
   ことを特徴とする動作指示装置。
2. 請求項１に記載の動作指示装置であって、
   所定の部品および工具に関する前記所定のセンサーの出力情報の特徴量を特定する情報を格納する部品工具探索モデル記憶部と、
   前記作業者の実施中の作業に係る前記センサーの出力情報を取得し、前記部品工具探索モデル記憶部の前記特徴量と比較して実施中の作業手順に係る部品および工具を特定する部品工具特定部と、を備え、
   前記部品工具特定部は、前記実施中の作業手順に係る部品および工具を色または形状に応じて特定する、
   ことを特徴とする動作指示装置。
3. 請求項１に記載の動作指示装置であって、
   前記作業異常検知部は、前記作業者の前記実施中の作業に係る前記センサーの出力情報を取得し、前記復旧のための作業指示内容に係る作業手順における前記センサーの出力情報と相違する場合に、作業異常を検知する、
   ことを特徴とする動作指示装置。
4. 請求項１に記載の動作指示装置であって、
   前記作業異常検知部は、前記作業者の前記実施中の作業に係る前記センサーの出力情報を取得し、前記復旧のための作業指示内容に係る作業手順における前記出力情報と相違する場合に作業異常を検知し、
   前記復旧作業指示生成部が生成した前記復旧のための作業指示内容が未実施のまま複数存在する場合に、直近に発生した前記復旧のための作業指示内容を優先して表示する作業指示表示部を備える、
   ことを特徴とする動作指示装置。
5. 請求項１に記載の動作指示装置であって、
   前記作業者ごとの前記作業異常に係る情報を集計して、複数の前記作業者に係る所定のグラフを生成するグラフ生成部、
   を備えることを特徴とする動作指示装置。
6. 請求項１に記載の動作指示装置であって、
   前記作業に係る作業対象物の前記所定のセンサーの出力情報を前記作業手順ごとに格納する作業対象物記憶部を備え、
   前記作業者の実施中の作業に係る前記センサーの出力情報を取得し、前記作業対象物記憶部の前記出力情報と比較して前記実施中の作業以前の作業の完了を検証する作業完了検証部と、
   を備えることを特徴とする動作指示装置。
7. 動作指示装置を用いた動作指示方法であって、
   前記動作指示装置は、
   作業者の標準動作に係る所定のセンサーの出力情報を作業手順ごとに格納する標準作業手順記憶部と、制御部と、を備え、
   前記制御部は、
   前記作業者の実施中の作業に係る前記センサーの出力情報を取得し、前記標準作業手順記憶部の前記標準動作と比較して実施中の作業手順を特定する作業手順特定ステップと、
   前記作業者の前記実施中の作業手順の後続の作業に係る前記センサーの出力情報を取得し、前記実施中の作業手順の後続の作業手順における前記出力情報と相違する場合に、作業異常を検知する作業異常検知ステップと、
   前記作業異常が検知されると、復旧のための作業指示内容を生成する復旧作業指示生成ステップと、
   を実施し、
   前記復旧作業指示生成ステップでは、前記復旧のための作業指示内容を、前記作業手順における作業指示のテキストを所定のルールで置換して生成する、
   ことを特徴とする動作指示方法。

Images