JP6397226B2 - 装置、装置の制御方法およびプログラム - Google Patents

Description

本発明は、情報処理装置の制御方法およびプログラムに関する。

ロボットと作業者が共同で作業するロボットシステムでは、作業者の安全を図ることが必須である。そのため、特許文献１では、ライトカーテンなどによりロボットの動作範囲と作業者の作業範囲を分離し、ロボットの動作範囲に作業者が侵入した場合にロボットを停止したり、ロボットの駆動を所定速度以下に減速させたりしている。

特開２００７−２８３４４８号公報

しかしながら、共同作業する作業者はロボットがどのように動くかを知っているにもかかわらず、ロボットに近づいただけでロボットが停止したり動作が遅くなったりしてロボットシステムによる作業全体の稼働率が低下してしまうという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、ロボットと作業者が共同で作業することが可能なロボットシステムの安全性を保ちつつ、作業効率を向上させることを目的とする。

上記の目的を達成する本発明に係る装置は、
作業者を識別する識別情報と、前記作業者の身体的特徴と、前記作業者が行った作業の動作軌跡とを保持する保持手段と、
前記作業者を認識するための計測データを取得する取得手段と、
前記識別情報と、前記計測データとに基づいて、前記作業者を認識する認識手段と、
前記認識された作業者について前記保持手段に保持された身体的特徴及び作業の動作軌跡に基づいて、前記認識された作業者とロボットとが対象物体に対して協調して作業を行う際の前記作業者の位置および姿勢を予測し、当該作業者の姿勢の変化が少なくなるように、前記ロボットを制御する制御手段と、
を備えることを特徴とする。

本発明によれば、ロボットと作業者が共同で作業することが可能なロボットシステムの安全性を保ちつつ、作業効率を向上させることができる。

実施形態１乃至４に係る情報処理装置１の構成を示す図。 実施形態１乃至４に係る個人情報を説明する図。 実施形態１乃至４に係る作業工程情報を説明する図。 実施形態１乃至４に係る処理の概略を示す図。 実施形態５に係る情報処理装置２の構成を示す図。 実施形態６に係る情報処理装置３の構成を示す図。

以下、添付図面を参照しながら、本発明の実施形態について詳細に説明する。

（実施形態１）
＜１．概要＞
実施形態１では、作業を行う人物を認識し、認識した人物の属性や身体特徴などに応じて、作業者に適した速度でロボットを駆動させることで時間効率良く作業することが可能なロボットシステムについて述べる。本実施形態では、作業者の熟練度や過去に実施した作業工程情報やタクトタイムなどの作業履歴、身体特徴などに応じて、ロボットの駆動速度を変更する。例えば、作業に慣れていない作業者に対してはゆっくり駆動させて心理的負担を軽減し、熟練者には速い速度で駆動し、作業効率を向上させる。

＜２．構成＞
図１を参照して、本実施形態における情報処理装置１の構成について説明する。情報処理装置１は、個人情報保持部１１０と、作業工程情報保持部１２０と、計測部１３０と、人物認識部１４０と、作業情報管理部１５０と、制御部１６０を備えている。不図示のＣＰＵがＲＡＭやＲＯＭ等のメモリからプログラムを呼び出して実行することにより、各処理部の動作が制御される。

情報処理装置１は、ロボットコントローラ１７０、コントローラ１８０と接続されている。ロボットコントローラ１７０はロボット１７１を制御する。コントローラ１８０は、ロボットコントローラ１８２、１８４と無線で接続されており、ロボットコントローラ１８２、１８４はそれぞれ作業ロボット１８１、搬送ロボット１８３を制御する。作業者１９０がロボット１７１の側で作業を行っている。

個人情報保持部１１０は、図２に示すように個人を識別する識別情報１１２及び、作業に関係する該個人の身体特徴や作業履歴などの属性情報１１３を含む個人情報１１１を１つ以上保持する。

識別情報１１２は、各個人のＩＤや名前など個人を特定するための情報や、人物認識部１４０が計測部１３０により計測された情報と照合するための情報を含む。本実施形態では、識別情報１１２として、該個人のＩＤと名前及び１つ以上の顔画像を保持する。属性情報１１３は、該個人の身体特徴や作業履歴、該個人が保持する技術や資格などの作業動作に関係する属性を含む。これらの情報は、作業情報管理部１５０や制御部１６０により利用される。本実施形態では、属性情報１１３として、作業毎の該個人のタクトタイムを保持する。

作業工程情報保持部１２０は、図３に示すような作業工程情報１２１を１つ以上保持する。作業工程情報１２１は、作業を行う作業者の作業者条件情報１２２と作業内容情報１２３とを保持する。作業者条件情報１２２は、作業を行う個人のＩＤや名前など個人を特定する情報や、作業内容を実施する作業者の条件を含む。作業内容情報１２３は、作業手順や作業に必要な道具、協調作業するロボットやその動作プログラム、作業場所や領域など作業の内容に関する情報の少なくなくとも一つを含む。本実施形態における作業工程情報１２１は、作業者条件情報１２２として作業を行う個人のＩＤを、作業内容情報１２３としてロボットの動作プログラムを保持する。

計測部１３０は、個人情報保持部１１０で保持する個人の識別情報と照合するための情報を取得する。本実施形態ではカメラを用いて環境の画像を取得する。

人物認識部１４０は、個人情報保持部１１０で保持する個人の識別情報と、計測部１３０で取得した情報とを照合して人物を認識する。具体的には計測部１３０で取得した画像から、公知の技術（Paul Viola and Michael Jones. "Rapid object detection using a boosted cascade of simple features." Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. Vol. 1. IEEE, 2001.など）を用いて顔を検出する。次に検出した顔と、個人情報保持部１１０で保持する個人の顔の画像を公知の技術（Matthew Turk and Alex Pentland. "Eigenfaces for recognition." Journal of cognitive neuroscience 3.1 (1991): 71-86.など）を用いて照合する。照合の結果、合致する人物が見つかればその人物を認識し、当該認識した個人のＩＤを作業情報管理部１５０に伝達する。また検出した人物が照合できなかった場合、未確認人物として認識し、作業情報管理部１５０に伝達する。

作業情報管理部１５０は、人物認識部１４０により認識された人物に基づいて、個人情報保持部１１０で保持する個人情報１１１及び、作業工程情報保持部１２０で保持する作業工程情報１２１を取得してロボット及び作業者が行う作業を管理する。具体的には、人物認識部１４０により認識された個人のＩＤと一致する個人情報１１１と作業工程情報１２１とを取得し、その組を作業情報として保持する。

制御部１６０は、作業情報管理部１５０が管理する作業情報に基づいて１つ以上のロボットを制御する。作業情報は、個人情報１１１と作業工程情報１２１の組である。作業情報管理部１５０から作業情報を取得し、ロボットの動作プログラムを当該作業情報が保持する作業内容情報１２３から取得する。そしてロボットの駆動速度を個人情報１１１が保持するタクトタイムに基づいて設定し、当該動作プログラムを用いてロボットを制御・駆動する。具体的には、タクトタイムに反比例して駆動速度が速くなるように、タクトタイムを引数にして駆動速度を戻り値とする単調減少関数を用いて、駆動速度を設定する。これによりタクトタイムの長い作業者に対してはゆっくり駆動させて心理的負担を軽減し、タクトタイムの短い熟練者には速い速度で駆動することができ、作業効率が向上する。なお、本実施形態ではロボットは図１に示す把持動作が可能なロボット１７１を用いる。ロボット１７１はロボットコントローラ１７０を介して制御部１６０により制御される。

＜３．処理の流れ＞
図４のフローチャートを参照して、本実施形態に係る情報処理装置１が実施する処理の手順を説明する。なお、個人情報１１１及び作業工程情報１２１は事前に個人情報保持部１１０及び作業工程情報保持部１２０にそれぞれ登録されているものとする。

（ステップＳ１０１０）
ステップＳ１０１０において、計測部は、人物認識部１４０が照合に使用するための計測データを取得する。ここでは計測データとして環境の画像を取得する。

（ステップＳ１０２０、Ｓ１０２５）
ステップＳ１０２０において、人物認識部１４０は、計測部１３０により取得された計測データ（画像）から人物を検出し、個人情報保持部１１０が保持する個人の識別情報１１２（顔画像）と照合し、個人を認識する。そもそも人物を検出できなければ（Ｓ１０２５；Ｎｏ）、ステップＳ１０１０に遷移して再度計測を行う。一方、個人または未確認人物が認識されれば（Ｓ１０２５；Ｙｅｓ）、ステップＳ１０３０に遷移する。

（ステップＳ１０３０）
ステップＳ１０３０において、作業情報管理部１５０は、ステップＳ１０２０で認識された人物のＩＤに一致する個人情報１１１を個人情報保持部１１０から取得する。

（ステップＳ１０４０）
ステップＳ１０４０において、作業情報管理部１５０は、ステップＳ１０２０で認識した人物のＩＤに一致する作業工程情報１２１を作業工程情報保持部１２０から取得する。

（ステップＳ１０５０）
ステップＳ１０５０において、作業情報管理部１５０は、ステップＳ１０２０で認識された人物が担当する作業工程情報１２１が取得できない場合（すなわち、認識した個人のＩＤに一致する作業工程情報が作業工程情報保持部１２０で保持する作業工程情報１２１に存在しない場合）、未確認人物が認識されたと判断して、ステップＳ１０７０に遷移する。一方、認識した個人のＩＤに一致する作業工程情報が取得できる場合、ステップＳ１０６０に遷移する。

（ステップＳ１０６０）
ステップＳ１０６０において、作業情報管理部１５０は、ステップＳ１０３０で取得された個人情報１１１とステップＳ１０４０で取得された作業工程情報との組を作業情報として保持する。

（ステップＳ１０７０）
ステップＳ１０７０において、制御部１６０は、作業情報管理部１５０により保持されている作業情報に基づいてロボット１７１を制御し、作業者１９０とロボット１７１との共同作業を実施する。作業者１９０が未確認人物でなければ、作業情報が保持する個人のタクトタイムに反比例してロボット１７１の駆動速度を設定する。またロボット１７１の制御をしつつ、バックグラウンドで計測及び人物認識を行っても良い。

（ステップＳ１０８０）
ステップＳ１０８０において、制御部１６０は、情報処理装置１の電源のＯＦＦや、作業停止指示の入力等のイベントの有無に基づいて、処理を終了するか否かを判定する。処理を終了すると判定された場合、図４のフローチャートの一連の処理を終了する。一方、処理を終了しないと判定された場合、ステップＳ１０１０に遷移して、一連の処理を繰り返す。

＜４．変形例＞
本実施形態では、個人情報保持部１１０が、個人のＩＤと名前及び１つ以上の顔画像を保持する識別情報１１２及び、個人の作業毎のタクトタイムを保持する属性情報１１３を含む個人情報１１１を１つ以上保持する例を説明した。しかしながら、識別情報１１２や属性情報１１３はこれらのものに限定されない。

識別情報１１２は個人を特定できる情報であればよい。顔や身体の２次元画像や距離画像、３次元モデルであっても良いし、ＳＩＦＴやＳｐｉｎＩｍａｇｅｓ（Ａ．Ｅ． Ｊｏｈｎｓｏｎ ａｎｄ Ｍ． Ｈｅｂｅｒｔ， "Ｕｓｉｎｇ Ｓｐｉｎ Ｉｍａｇｅｓ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｃｌｕｔｔｅｒｅｄ ３Ｄ Ｓｃｅｎｅｓ，" ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＰＡＭＩ，ｖｏｌ．２１，ｎｏ．５，ｐｐ．４３３−４４９，１９９９．）などの特徴量の集合であっても良い。また身長、体重、胸囲などのパラメータや、指紋、静脈、虹彩、声、筆跡、歩き方などの身体特徴を表す画像や動画像等の特徴量であっても良い。署名やパスワード、ジェスチャなどの所定のパターンやＩＤカードなどの個人を識別できるものであっても良い。さらに識別情報の組み合わせであっても良い。

属性情報１１３は、作業に関連する属性の少なくとも一つを有していればよい。個人の身長や体重、利き手や癖（作業の動作モーションなど）などの身体特徴であっても良いし、該個人が過去に行った作業やその作業を経験した時間などの作業履歴、該個人が保有する技術や知識、熟練度、資格のリストなどであっても良い。

また、本実施形態では、作業工程情報保持部１２０が、作業におけるロボットの動作プログラムを保持する作業内容情報１２３と、その作業を実施する個人のＩＤを保持する作業者条件情報１２２との組を含む作業工程情報１２１を１つ以上保持する例を説明した。しかしながら、作業工程情報１２１は当該例に限らず、作業を行う作業者の作業者条件と、作業内容とを保持していればよい。

作業者条件情報１２２は、作業を行う個人のＩＤや名前など作業者を特定する情報、あるいは作業内容を実施する作業者の条件を有していれば良い。作業者条件情報１２２は、個人情報保持部１１０が保持する個人情報１１１の属性情報１１３に対応し、属性情報１１３と照合して条件を満たす作業者を探索する場合に使用される。

また、作業内容情報１２３は、作業手順や作業に必要な道具、協調作業するロボットやその動作プログラム、作業場所や領域、作業時刻など作業の内容に関する情報の少なくなくとも一つを有していればよい。作業手順は作業者の作業工程表であっても良いし、ロボットの動作プログラムや作業の過程におけるロボットや作業者の軌跡や位置・姿勢のリストであっても良い。作業道具の情報は道具の名前や形状、置いてある位置や姿勢、使い方やロボットがその道具を使うためのプログラムであっても良い。作業場所や領域は、作業者やロボットが作業する位置及び、作業範囲や侵入すると危険な領域を示す地図や２次元領域、３次元領域であっても良い。

また、本実施形態では、計測部１３０が環境の画像を取得するカメラである例を説明した。しかしながら、計測部１３０は、個人情報保持部１１０が保持する各個人の識別情報１１２と照合する情報を取得できればよい。レンジセンサやＲＧＢ−Ｄカメラなどの計測装置で２次元画像や距離画像を取得しても良いし、それらの情報から３次元モデルや特徴量を取得しても良い。計測装置はサーモセンサや赤外線カメラであっても良いし、計測装置が複数あっても良い。また重量計やマイクであっても良いし、指紋、静脈、虹彩などを計測するセンサであっても良い。タッチパネルやスキャナ、キーボード、ＩＤカードリーダーなどの入力装置であっても良い。さらに各計測部の組み合わせであっても良く、個人を特定できる情報を取得できれば良い。

また、本実施形態では、人物認識部１４０が、計測部１３０で取得した画像から、公知の技術で人物を検出し、公知の技術で個人情報保持部１１０が保持する人物の顔画像と照合して人物を認識する例を説明した。しかしながら、人物認識部１４０の構成は画像を用いた手法に限らない。個人情報保持部１１０が保持する人物の識別情報１１２と計測部１３０が取得した計測データとを照合し、計測された人物を認識できればよい。例えば、計測部１３０がレンジセンサやＲＧＢ−Ｄカメラであっても、公知の技術（Abate, Andrea F., et al. "2D and 3D face recognition: A survey." Pattern Recognition Letters 28.14 (2007): 1885-1906.など）を用いて照合することができる。各種センサで計測したデータと指紋、静脈、虹彩、筆跡、声、歩き方などを照合しても良い。指紋や静脈、虹彩、筆跡などの照合は、識別情報１１２として登録したそれらの画像と、計測部１３０で計測した画像とのパターンマッチングをすることで照合できる。声の場合は、識別情報１１２として登録した声紋と、計測部１３０で計測した声紋とのパターンマッチングを行うことで照合できる。また歩き方の場合は、計測部１３０で取得した動画像から公知技術（Y. Makihara, R. Sagawa, Y. Mukaigawa, T. Echigo, and Y. Yagi, "Which Reference View is Effective for Gait Identification Using a View Transformation Model?", Proc. of the IEEE Computer Society Workshop on Biometrics 2006, New York, USA, Jun. 2006.など）を用いて照合できる。タッチパネルやキーボードなどの入力装置でパスワードやジェスチャを入力し、事前に登録したパスワードやパターンなどの識別情報と照合しても良い。ＩＤカードリーダーから読み取った個人のＩＤに合致する人物を認識しても良い。また人物が検出できても個人情報に合致する情報が見つからなければ、未確認人物として認識してもよい。さらに計測データに複数人の情報が含まれていれば、複数人を認識しても良い。

また、本実施形態では、作業情報管理部１５０が、人物認識部１４０で認識した個人について個人情報保持部１１０が保持する個人情報１１１と、該個人が担当する作業工程情報保持部１２０で保持する作業工程情報１２１とを取得し、その組を作業情報として保持する例を説明した。しかしながら、作業情報管理部１５０は、人物認識部１４０で認識した個人に応じて、個人情報保持部１１０が保持する個人情報１１１及び、作業工程情報保持部１２０が保持する作業工程情報１２１を取得して、ロボット及び作業者が行う作業を管理できればよい。事前に作業者が行う作業が作業工程情報１２１に登録されているのであれば、認識した個人の個人情報１１１とその個人が担当する作業工程情報１２１とを取得し、その組を作業情報として保持してもよい。認識した個人が行う作業が作業工程情報１２１に登録されていないのであれば、作業工程情報１２１が保持する作業者条件情報１２２と、認識した個人の属性情報１１３とを照合し、作業者条件情報１２２を満たす個人をその作業工程情報１２１に割り当てても良い。また、人物認識部１４０で該個人の位置や姿勢、動作などを計測しているのであれば、該個人の動作情報を該個人が実施している作業の時間や、タクトタイム、回数などの情報に変換し、作業情報としてさらに保持しても良い。

また、本実施形態では、制御部１６０が、作業情報管理部１５０が管理する個人情報１１１が保持する作業工程情報からロボットの動作プログラムを、個人情報１１１から実施する作業のタクトタイムを取得し、タクトタイムに応じた駆動速度でロボットを制御し、作業者との共同作業を行う例を説明した。しかしながら、制御部１６０は、作業情報管理部１５０が管理する作業情報に基づいて１つ以上のロボットを制御できればよい。タクトタイムとほぼ同じ時間で動作するようにロボットの駆動速度を設定しても良い。個人情報１１１にその作業を経験した時間を保持していれば、作業経験時間が長いほど熟練しているとして、ロボットの駆動速度を設定しても良い。作業者が熟練しているほど大きな値になる熟練度を個人情報に保持していれば、熟練度が高いほど駆動速度が速くなるようにロボットの駆動速度を設定しても良い。また作業者の身体特徴や過去の動作軌跡などを用いて作業動作のシミュレーションを行い算出したタクトタイムに基づいて、ロボットの駆動速度を設定しても良い。

また本実施形態で制御するロボットは図１のロボット１７１に示すようなロボットアームに限らない。作業者と共に作業する自動機械であればどのような形態、構成であっても良い。双腕のロボットアームであっても良いし、歩行ロボットや車輪のついたロボットなど移動部をもった作業ロボット１８１であっても良い。搬送用の自動走行車（搬送ロボット１８３）であっても良いし、ロボットが複数あっても良い。ここで作業ロボット１８１はコントローラ１８０からの指示を受けたロボットコントローラ１８２による制御に基づいて動作し、同様に搬送ロボット１８３はコントローラ１８０からの指示を受けたロボットコントローラ１８４による制御に基づいて動作する。

以上説明したように、作業を行う人物を認識し、認識した人物の属性や身体特徴などに応じて、作業者に適した速度でロボットを駆動させることができる。その結果、作業効率を向上させることができる。

（実施形態２；作業者の身体特徴に合わせて軌道を変更）
実施形態２では、作業者の属性や身体特徴などに応じてロボットの位置・姿勢や軌道を設定し、作業者の負担を減らし、時間効率良く作業することが可能なロボットシステムについて述べる。より具体的には、作業者の身長や利き手、癖などの身体的特徴や過去に行った作業の動作モーションなどに基づいて、ロボットの位置・姿勢や軌道を設定する。例えば共同して作業する作業者の身長に合わせてロボットが部品を供給する位置を設定する。

装置の構成及び処理の流れは実施形態１と同様であり、ここではその差分を説明する。

本実施形態では個人情報保持部１１０は、各個人ごとに保持する属性情報１１３として、該個人が行った作業の作業動作軌跡を保持する。

制御部１６０は、作業情報管理部１５０が管理する作業者の属性情報１１３（作業者の作業動作軌跡）と作業工程情報１２１とに基づき、ロボットアームの軌跡を制御する。本実施形態ではロボットアームと作業者とが部品や道具などの物体の受け渡しを行って作業する。そこで、属性情報１１３が保持する作業者の過去の作業動作軌跡に基づき、作業者の手の位置付近にロボットアームのエンドエフェクタ（把持装置）を移動し、物体を受け取る、または渡す動作を行う。これにより作業者の移動が少なくなり、より短い時間で作業を実施することが可能となる。

＜バリエーション＞
個人情報保持部１１０が保持する属性情報１１３は作業動作軌跡に限らない。個人の身長や体重、利き手などの身体特徴であっても良い。その場合、制御部１６０が該個人の身長に比例した位置にロボットアームのエンドエフェクタ（把持装置）を移動し、物体を受け取る、または渡す動作を行っても良い。また該個人の身体特徴に基づき作業者の動作を公知技術（Reed, Matthew P., et al. "The HUMOSIM Ergonomics Framework: A new approach to digital human simulation for ergonomic analysis." SAE Technical Paper (2006): 01-2365.など）を用いてシミュレーションし、該個人の位置・姿勢、該個人の手の位置・姿勢などを予測し、予測した位置付近にロボットのエンドエフェクタを移動できるように、ロボットの位置・姿勢やアームなどの軌道を設定しても良い。さらにロボットはロボットアームでなくても良い。ロボットが搬送用の自動走行車（搬送ロボット）であっても良い。搬送ロボットから作業者が部品を取り出したり、置いたりする場合に、該個人の身体特徴や癖（作業者の作業動作軌跡）に基づき、該個人の姿勢変化が少なくなるような位置に搬送ロボットや搬送用の容器を移動させても良い。該個人の姿勢変化が少なくなるような位置は、該個人の身体特徴に基づき公知技術を用いてシミュレーションして決定しても良い。公知技術（Jamie Shotton, Toby Sharp, Alex Kipman, Andrew Fitzgibbon, Mark Finocchio, Andrew Blake, Mat Cook, and Richard Moore. 2013. Real-time human pose recognition in parts from single depth images. Commun. ACM 56, 1 (January 2013), 116-124. など）を用いて、該個人の姿勢を計測し、該個人の姿勢の変化が少なくなるように、搬送ロボットや搬送用の容器の位置を決定しても良い。該個人の姿勢の変化が少なくなる位置は、該個人の姿勢の変化量をコスト関数とし、コスト関数が最小となるように、非線型最適化や遺伝的アルゴリズムを用いて算出することができる。またロボットは複数あっても良い。

以上説明したように、本実施形態によれば、作業を行う人物を認識し、認識した人物の属性や身体特徴などに応じてロボットの位置姿勢や軌道を設定することにより、作業者の負担を減らすことができる。その結果、作業効率を向上させることができる。

（実施形態３；登録外の人物が近づいたら停止）
実施形態３では、人物認識部１４０が認識した個人の個人情報１１１と該個人の行う作業の作業工程情報１２１とに基づいて、作業者でない人物が作業領域に侵入した場合の危険を回避することが可能なロボットシステムについて述べる。

装置の構成及び処理の流れは実施形態１と同様であり、ここではその差分を説明する。

作業工程情報保持部120において、作業工程情報として作業者条件情報と作業者が行う作業内容情報を保持する。作業内容情報は作業者が作業を行う時刻と作業領域の範囲を保持する。

人物認識部１４０は、計測部１３０で計測した計測データと個人情報保持部１１０が保持する個人情報１１１とを照合して人物の認識を行う。さらに、その人物の位置を公知技術（Jamie Shotton, Toby Sharp, Alex Kipman, Andrew Fitzgibbon, Mark Finocchio, Andrew Blake, Mat Cook, and Richard Moore. 2013. Real-time human pose recognition in parts from single depth images. Commun. ACM 56, 1 (January 2013), 116-124. など）を用いて認識する。人物が検出されたが個人情報と合致する個人が見つからない場合は未確認人物として認識する。

作業情報管理部１５０は、人物認識部１４０が認識した個人の個人情報１１１および位置、該個人が実施する作業工程情報１２１を取得し、その組を作業情報として保持する。さらに該個人の位置（作業者位置）及び計測部１３０で計測した計測データを取得した時刻（計測データ取得時刻）と、作業工程情報１２１で保持する作業範囲及び作業時刻とを比較する。作業者位置が作業範囲内であり、かつ計測データ取得時刻が作業時刻の範囲外である場合、つまり認識した該個人が作業工程情報１２１で保持する作業時刻でない時刻に作業範囲内に入った場合、その作業者を未確認人物と判定する。

制御部１６０は、未確認人物が認識されない場合には、実施形態１乃至２と同様にロボットを制御する。一方、未確認人物が認識された場合には、危険を回避するために、ロボットの駆動速度を減速または停止する。

＜バリエーション＞
本実施形態では、制御部１６０が、未確認人物が検出された場合にロボットを減速または停止させる例について述べた。しかし、作業情報に基づいて注意喚起や危険回避できればどのような方法であっても良い。検出した人物の位置や姿勢を認識しているのであれば、その人物の位置からロボットが遠ざかる方向に移動しても良いし、未確認人物がロボットの稼働範囲などの危険な領域に侵入しないように、ロボットが未確認人物を遮るように移動しても良いし、未確認人物を安全な場所へ誘導しても良い。

以上説明したように、本実施形態によれば、作業者を認識し、作業者でない人物が作業領域に侵入した場合にロボットが回避行動をとることにより、予定された作業者の場合は通常通りに作業できる。その結果、効率を落とすことなく作業ができる。

（実施形態４；作業者への情報提示）
実施形態４では、上述の各実施形態に加えて、システムの状態を提示する機能をさらに有するロボットシステムについて述べる。

本実施形態では、人物の認識状態を提示する例について述べる。実施形態３では認識した人物が作業を実施する人物でない場合にロボットを減速、停止することで安全を確保していた。本実施形態では認識した人物が作業を実施する人物でない場合に、周囲に警告情報を提示することにより安全を図る。

本実施形態では、情報処理装置２の構成を図５に示す。情報処理装置２は、図１に示す情報処理装置１の構成に加えて、提示部２７０をさらに有する。個人情報保持部２１０乃至制御部２６０は実施形態３の個人情報保持部１１０乃至制御部１６０と同様である。また、その他のシステム構成の参照符号は上述の実施形態で既に説明した構成と同様である。

提示部２７０は、人物認識部２４０または作業情報管理部２５０において未確認人物が認識された場合に、スピーカから音声による警告音声を出力する。これにより未確認人物や作業者、作業を管理する者などの人物に対して注意を喚起し、安全性を維持しつつ作業をすることができる。

＜バリエーション＞
提示部２７０は、人物認識部２４０、作業情報管理部２５０及び制御部２６０の少なくとも１つの状態、より具体的には、人物認識部２４０による個人の認識状態を示す情報、作業情報管理部により管理される個人が実施する作業工程情報、および制御部２６０により制御されるロボットの制御状態を示す情報の少なくとも１つを提示できれば良い。提示するのに用いる装置はスピーカやブザーなど音声を発生する装置であっても良いし、ディスプレイやランプ、ＬＥＤなどの光源、旗、ゲート、遮断機であっても良い。周囲にシステムの状態を伝える部であればどのような装置を用いても良い。提示する状態情報は、人物の認識状態をスピーカを通して提示しても良いし、環境やロボットに設置した光源やディスプレイを発光させたりメッセージを表示させたりしても良いし、未確認人物に対して障害物や警告の旗などを提示しても良い。また、人物認識の状態を提示するためにディスプレイなどを用いて人物認識部２４０で認識した個人の名前や顔画像などの個人情報１１１を提示しても良い。作業状態を提示するために、認識した個人が実施する作業の作業工程情報１２１を作業情報管理部２５０から取得し、作業工程やマニュアルを提示しても良い。ロボットの制御状態を提示するために、ロボットの駆動速度やロボットの作業内容、ロボットの動作プログラムや軌道、温度や稼働時間などの内部状態を提示しても良い。

以上説明したように、本実施形態によれば、作業者や周囲の人物がシステムの状況をさらに把握することができ、安全性を維持しつつ、作業をすることができる。

（実施形態５；人物認識に基づいてロボットが部品や道具を用意）
実施形態５では、認識した個人の作業工程情報に基づいて、自動で作業の準備をすることが可能なロボットシステムについて述べる。

装置の構成及び処理の流れは実施形態１と同様であり、ここではその差分を説明する。

作業工程情報保持部１２０は、作業工程情報１２１として作業者条件情報１２２とその作業者が行う作業内容情報１２３とを保持する。本実施形態において、作業者条件情報１２２はその作業を行う個人のＩＤを保持する。作業内容情報１２３は作業者が作業を行うのに必要な道具類の情報及び作業対象の部品類の情報の少なくとも一方を保持する。道具類または部品類の情報は、道具類または部品類の保管場所及び作業時の配置場所を保持する。

制御部１６０は、作業情報管理部１５０が管理する作業情報に基づき、ロボットを制御し、作業の準備を行う。図１に示す作業ロボット１８１または搬送ロボット１８３などの少なくとも１つを制御し、作業工程情報１２１に記述されている道具類または部品類の少なくとも一方を保管場所から公知技術（森岡. "人間・ロボット協調型セル生産組立システムの開発." 日本ロボット学会誌 27.10 (2009): 1088-1091.など）を用いて搬送・運搬し、作業工程情報１２１に記述されている所定の位置に配置する。

これにより作業者が作業場所に来たらすぐに作業を取り掛かることができ、時間効率良く作業することが可能となる。

＜バリエーション＞
作業工程情報１２１が保持する道具類または部品類の情報は、道具類または部品類を搬送するのに必要な情報であれば良い。道具類または部品類の保管場所や、道具類または部品類の認識や把持のための画像や、特徴量、形状情報であっても良いし、それらの組み合わせであっても良い。また作業工程情報１２１はロボットの動作プログラムをさらに保持していても良い。また、道具類の情報には保有者や右手用や左手用、大きさや重さなどの属性情報があってもよい。これらの情報を用いて、道具類を作業者の個人情報に基づいて選択し、配置しても良い。例えば作業者個人専用の道具類や、作業者の利き手などの属性情報に合わせた道具類を選択しても良い。さらにその中から作業工程で必要な道具類を選択してもよい。

制御部１６０は、作業情報管理部１５０が管理する作業情報に基づき、ロボットを制御し、作業に必要なものを準備できればよい。公知技術（立野, 小竹, 内山. "ビンピッキングのための距離・濃淡画像を最ゆうに統合する高精度高安定なモデルフィッティング手法 (インタラクション, VR, ロボットビジョン,＜特集＞ 画像の認識・理解論文)." 電子情報通信学会論文誌. D, 情報・システム 94.8 (2011): 1410-1422.など）を用いて道具類や部品類の位置姿勢を認識し、ロボットで道具類や部品類をピッキングし、搬送ロボットへの積み込みや、所定の位置への配置を行っても良い。ベルトコンベアなどを用いて部品類や道具類を供給する機構を用いて搬送しても良い。

以上説明したように、本実施形態によれば、認識した作業者と予定されている作業工程情報に基づいて自動で作業の準備を行うことにより、作業者自身が準備する手間を減らすことができる。その結果、作業効率を向上させることができる。

（実施形態６；作業工程情報の更新）
実施形態６では、上述の各実施形態に加えて、個人情報または作業工程情報または作業情報の少なくとも一つを更新する機能をさらに有するロボットシステムについて述べる。

本実施形態における情報処理装置３の構成を図６に示す。情報処理装置３は、図１に示す情報処理装置１の構成に加え、更新部３７０をさらに有する。個人情報保持部３１０乃至制御部３６０は実施形態１の個人情報保持部１１０乃至制御部１６０と同様である。

本実施形態における個人情報保持部３１０が保持する個人情報の属性情報は、各作業を実施した回数を保持する。

本実施形態における更新部３７０は、作業情報管理部３５０で管理する作業情報に基づいて、個人情報を更新する。作業情報は人物認識部３４０で認識した個人の個人情報と、該個人が行う作業工程情報とを含む。そこで、作業工程情報が有する作業内容情報の中から、個人情報の属性情報に対応する項目を抽出し、属性情報を更新する。具体的には、人物が行っている作業工程情報に対応する作業について、属性情報が保持する回数を増加させる。

＜バリエーション＞
更新部３７０は、個人情報または作業工程情報または作業情報の少なくとも一つを更新または追加できれば良い。作業情報管理部３５０が、作業者の実施している作業の作業時間やタクトタイム、回数などを作業情報として保持しているのであれば、それらの情報を作業履歴として作業者の個人情報の属性情報に追加、または更新しても良い。また、マウスやキーボード、タッチセンサなどの入力装置を用いて、個人情報や作業工程情報を手動で更新、追加しても良い。作業者が実施した作業の作業工程情報や作業時間、回数などを作業履歴として作業者の個人情報の属性情報に自動または手動で付加しても良い。認識できなかった人物の計測データを識別情報として、入力装置などを用いて個人情報に追加、更新しても良い。また作業者の動作や姿勢を計測部で計測または入力装置で入力し、作業者の動作や姿勢を学習し、学習データを作業工程情報保持部３２０で保持する作業工程情報に追加、更新しても良いし、個人情報保持部３１０で保持する作業者自身の個人情報の属性情報に追加、更新しても良い。また更新部３７０は、実施形態４に示す提示部２７０と併用しても構わない。

以上説明したように、本実施形態によれば、個人情報や作業工程情報、作業情報などを更新することにより、作業の改善を行うことができる。その結果、作業効率を向上させることができる。

＜定義＞
個人情報保持部１１０は、個人を識別する識別情報及び、該個人の作業に関係する身体特徴や作業履歴などの属性情報の組からなる個人情報を保持できればよい。個人情報保持部は１人以上の個人情報を保持し、識別情報及び属性情報は作業者と紐付けられる。

識別情報は該人物のＩＤや名前など個人を特定する情報及び計測部１３０で計測した情報と人物認識部１４０で照合する情報である。よって人物認識部に応じて、顔や身体の２次元画像や距離画像、３次元モデルであっても良いし、ＳＩＦＴやＳｐｉｎＩｍａｇｅｓ（Ａ．Ｅ． Ｊｏｈｎｓｏｎ ａｎｄ Ｍ． Ｈｅｂｅｒｔ， "Ｕｓｉｎｇ Ｓｐｉｎ Ｉｍａｇｅｓ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｃｌｕｔｔｅｒｅｄ ３Ｄ Ｓｃｅｎｅｓ，" ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＰＡＭＩ，ｖｏｌ．２１，ｎｏ．５，ｐｐ．４３３−４４９，１９９９．）などの特徴量の集合であっても良い。また身長、体重、胸囲などのパラメータや、指紋、静脈、虹彩、声、筆跡、歩き方などの身体特徴であっても良い。署名やパスワード、ジェスチャなどの所定のパターンやＩＤカードなどの個人を識別できるものであっても良い。さらに識別情報の組み合わせであっても良く、個人を特定できる情報であれば良い。

属性情報は、該人物の身体特徴や作業履歴、該人物が保有する技術や資格などの作業に関係する属性からなる。これらの情報は作業情報管理部１５０や制御部１６０で利用される。具体的には該人物の身長や体重、利き手や癖（作業の動作モーションなど）などの身体特徴や過去に行った作業やその作業を経験した時間などの作業履歴、作業者が有する技術や知識、熟練度、資格などの少なくとも一つを有する。

個人情報を保持する方法はコンピュータのメモリやＨＤＤ、ＳＳＤなどの記憶装置に保持しても良いし、ネットワークを介してデータベースや記憶装置に保持しても良い。個人情報が保持できればどのような装置を用いても構わない。

作業工程情報保持部１２０は、作業工程情報を１つ以上保持できればよい。作業工程情報は作業を行う人物の作業者条件情報と、作業内容情報とを含む。作業者条件情報は作業を行う個人のＩＤや名前など個人を特定する情報、または作業内容情報が示す作業を行う作業者の条件を有する。作業者条件情報は作業を行う個人のＩＤや名前など作業者を特定する情報、または作業内容情報を実施する作業者の条件を有していれば良い。作業者の条件は、個人情報保持部１１０で保持する個人情報の属性情報に対応し、属性情報と照合して条件を満たす作業者を探索する場合に用いる。作業内容情報は、作業手順や作業に必要な道具、協調作業するロボットやその動作プログラム、作業場所や領域、作業時刻など作業の内容に関する情報の少なくなくとも一つを有していればよい。作業手順は作業者の作業手順であっても良いし、ロボットの動作プログラムや作業の過程におけるロボットや作業者の軌跡や位置・姿勢のリストであっても良い。作業道具の情報は道具の名前や形状、置いてある位置や姿勢、使い方やロボットがその道具を使うためのプログラムであっても良い。作業場所や領域は、作業者やロボットが作業する位置及び、作業範囲や侵入すると危険な領域を示す地図や２次元領域、３次元領域であっても良い。

作業工程情報を保持する方法はコンピュータのメモリやＨＤＤ、ＳＳＤなどの記憶装置に保持しても良いし、ネットワークを介してデータベースや記憶装置に保持しても良い。作業工程情報が保持できればどのような装置を用いても構わない。

計測部１３０は、個人情報保持部１１０で保持する個人の識別情報と照合する情報を取得できればよい。カメラやレンジセンサ、ＲＧＢ−Ｄカメラなどの計測装置で人物の顔や身体を撮影し、２次元画像や距離画像を取得しても良いし、それらの情報から３次元モデルや特徴量を取得しても良い。計測装置はサーモセンサや赤外線カメラであっても良いし、計測装置が複数あっても良い。また、このような非接触センサだけでなく、重量計やマイクであっても良いし、指紋、静脈、虹彩などを計測するセンサであっても良いし、タッチパネルやスキャナ、キーボード、ＩＤカードリーダーなどの入力装置であっても良い。さらに複数の計測部１３０の組み合わせであっても良く、個人を特定できる情報を取得できれば良い。また計測部１３０で用いる計測装置はロボットに設置しても良いし、作業をする環境に設置しても良いし、複数設置しても良い。作業領域から離れた場所、たとえば工場（作業を行う敷地）の入り口などであっても良く、対象とする人物を計測できる位置に設置できれば良い。

人物認識部１４０は、個人情報保持部１１０で保持する個人の識別情報と計測部１３０で取得した計測データを照合し、計測データで計測された人物を認識できればよい。計測データに合致する情報が識別情報に見つかれば、その識別情報に紐付けられている人物として認識する。合致する情報が見つからなければ、未確認人物として認識する。計測データに複数人の情報が含まれていれば、複数人を認識しても良い。照合は計測部１３０に応じて行う。計測部１３０がカメラやレンジセンサであれば、公知の技術（岩井,勞,山口,平山,"画像処理による顔検出と顔認識",情報処理学会研究報告.CVIM, 2005(38), 343-368, 2005-05-12.など）を用いて識別情報に登録されている顔情報などと照合しても良い。また各種センサで計測したデータと指紋、静脈、虹彩、声、筆跡、歩き方などを公知技術を用いて照合しても良い。指紋や静脈、虹彩、筆跡などの照合は、識別情報として登録したそれらの画像と、計測部１３０で計測した画像とのパターンマッチングをすることで照合できる。声の場合は、識別情報として登録した声紋と、計測部１３０で計測した声紋のパターンマッチングを行うことで照合できる。また歩き方の場合は、計測部１３０で取得した動画像から公知技術（Y. Makihara, R. Sagawa, Y. Mukaigawa, T. Echigo, and Y. Yagi, "Which Reference View is Effective for Gait Identification Using a View Transformation Model?", Proc. of the IEEE Computer Society Workshop on Biometrics 2006, New York, USA, Jun. 2006.など）を用いて照合できる。タッチパネルやキーボードなどの入力装置でパスワードやジェスチャを入力し、事前に登録したパスワードやパターンなどの識別情報と照合しても良い。ＩＤカードリーダーから読み取った個人のＩＤに合致する人物を認識しても良い。さらにその人物の位置や姿勢も公知技術（Jamie Shotton, Toby Sharp, Alex Kipman, Andrew Fitzgibbon, Mark Finocchio, Andrew Blake, Mat Cook, and Richard Moore. 2013. Real-time human pose recognition in parts from single depth images. Commun. ACM 56, 1 (January 2013), 116-124. など）を用いて認識しても良い。

作業情報管理部１５０は、人物認識部１４０で認識した個人に応じて、個人情報保持部１１０で保持する個人情報及び、作業工程情報保持部１２０で保持する作業工程情報を取得してロボット及び作業者が行う作業を管理できればよい。事前に各作業者が行う作業が作業工程情報に登録されているのであれば、認識した個人の個人情報と該個人が担当する作業工程情報を取得し、その組を作業情報として保持する。作業者が行う作業が作業工程情報に登録されていないのであれば、作業工程情報が保持する作業者条件情報と、認識した人物の属性情報を照合し、作業者条件情報を満たす人物をその作業工程情報に割り当てても良い。

作業情報を保持する方法はコンピュータのメモリやＨＤＤ、ＳＳＤなどの記憶装置に保持しても良いし、ネットワークを介してデータベースや記憶装置に保持しても良い。作業情報が保持できればどのような装置を用いても構わない。

制御部１６０は、作業情報管理部１５０が管理する作業情報に基づいて１つ以上のロボットを制御できればよい。作業情報は個人情報と作業工程情報の組を含んでおり、それらに基づいてロボットを制御する。例えば個人情報が保持する認識した個人の身長や利き手などの身体特徴に基づいてロボットの配置やロボットやロボットアームの動作パスを設定しても良いし、認識した個人の作業履歴やタクトタイム、熟練度などに基づいてロボットの駆動速度を設定しても良い。さらに作業工程情報に基づいて、作業道具の準備や材料や部品の搬入をロボットにより自動で行っても良い。また認識した人物が未確認人物であったり、作業情報が保持する所定の作業場所や領域に、その作業を担当する作業者でない者が侵入したりした場合に、ロボットの駆動速度を低下、または停止したりして事故の危険を抑制しても良い。

制御するロボットは作業者と共に作業する自動機械であればどのような形態、構成であっても良い。単腕や双腕のロボットアームであっても良いし、歩行ロボットや車輪のついたロボットなど移動部をもったロボットであっても良い。搬送用の自動走行車（搬送ロボット）であっても良いし、ロボットが複数あっても良いし、ネットワークを通して遠隔から制御可能なロボットであっても良い。

提示部２７０は、人物認識部２４０及び作業情報管理部２５０及び制御部２６０の少なくとも１つの状態を提示できれば良い。提示するのに用いる装置はディスプレイであっても良いし、スピーカであっても良い。ランプ、ＬＥＤなどの光源や、旗、ゲート、遮断機など周囲にシステムの状態を伝える部であればどのような装置を用いても良いし、それらの組み合わせであっても良い。提示する状態情報は、人物認識部２４０で認識した個人の個人情報であっても良い。認識した個人に割あたっている作業の作業工程情報を作業情報管理部２５０から取得し、作業工程情報やマニュアルを提示しても良い。ロボットの駆動速度やロボットの作業内容情報や内部状態を提示しても良い。個人情報及び作業工程情報に基づき、所定の領域で作業する予定のない人物が所定の領域に侵入した場合に警告情報を提示しても良い。

更新部３７０は、個人情報または作業工程情報または作業情報の少なくとも一つを更新または追加できれば良い。マウスやキーボード、タッチセンサなどの入力装置を用いて、個人情報や作業工程情報を手動で更新、追加しても良い。作業者が実施した作業の作業工程情報や作業時間、回数などを作業履歴として作業者の属性情報に自動または手動で付加しても良い。認識できなかった人物の計測データを識別情報として、入力装置などを用いて個人情報に追加、更新しても良い。また作業者の動作や姿勢を計測部３３０で計測または入力装置で入力し、作業者の動作や姿勢を学習し、学習データを作業工程情報保持部３２０で保持する作業工程情報に追加、更新しても良いし、個人情報保持部３１０で保持する作業者自身の個人情報の属性情報に追加、更新しても良い。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１０：個人情報保持部、１２０：作業工程情報保持部、１３０：計測部、１４０：人物認識部、１５０：作業情報管理部、１６０：制御部、２７０：提示部、３７０：更新部

Claims (6)

1. 作業者を識別する識別情報と、前記作業者の身体的特徴と、前記作業者が行った作業の動作軌跡とを保持する保持手段と、
   前記作業者を認識するための計測データを取得する取得手段と、
   前記識別情報と、前記計測データとに基づいて、前記作業者を認識する認識手段と、
   前記認識された作業者について前記保持手段に保持された身体的特徴及び作業の動作軌跡に基づいて、前記認識された作業者とロボットとが対象物体に対して協調して作業を行う際の前記作業者の位置および姿勢を予測し、当該作業者の姿勢の変化が少なくなるように、前記ロボットを制御する制御手段と、
   を備えることを特徴とする装置。
2. 前記制御手段は、前記予測に基づいて、前記ロボットの位置、姿勢、または軌道の少なくとも１つを制御することを特徴とする請求項１に記載の装置。
3. 前記作業は、前記作業者と前記ロボットとの間で、前記対象物体を受け渡す作業であることを特徴とする請求項１または２に記載の装置。
4. 前記認識された作業者の前記身体的特徴は、身長及び利き手に関する情報のうちの少なくともいずれかであることを特徴とする請求項１から３のいずれか１項に記載の装置。
5. 作業者を識別する識別情報と、前記作業者の身体的特徴と、前記作業者が行った作業の動作軌跡とを保持する保持手段を備える装置の制御方法であって、
   前記作業者を認識するための計測データを取得する取得工程と、
   前記識別情報と、前記計測データとに基づいて、前記作業者を認識する認識工程と、
   前記認識された作業者について前記保持手段に保持された身体的特徴及び作業の動作軌跡に基づいて、前記認識された作業者とロボットとが対象物体に対して協調して作業を行う際の前記作業者の位置および姿勢を予測し、当該作業者の姿勢の変化が少なくなるように、前記ロボットを制御する制御工程と、
   を有することを特徴とする装置の制御方法。
6. コンピュータを、
   作業者を識別する識別情報と、前記作業者の身体的特徴と、前記作業者が行った作業の動作軌跡とを保持する保持手段、
   前記作業者を認識するための計測データを取得する取得手段、
   前記識別情報と、前記計測データとに基づいて、前記作業者を認識する認識手段、及び、
   前記認識された作業者について前記保持手段に保持された身体的特徴及び作業の動作軌跡に基づいて、前記認識された作業者とロボットとが対象物体に対して協調して作業を行う際の前記作業者の位置および姿勢を予測し、当該作業者の姿勢の変化が少なくなるように、前記ロボットを制御する制御手段、
   として機能させるためのプログラム。

Images