JP7332465B2 - 動作認識システム、動作認識装置、および領域設定方法 - Google Patents

Description

本発明は、動作認識システム、動作認識装置、および領域設定方法に関し、例えば、動作体の動作を認識するための動作認識システムおよび動作認識装置、並びに、対象物に係る動作体の動作を認識するための領域を設定する領域設定方法に適用して好適なものである。

製品の製造現場においては、品質管理、作業者の安全確保等を目的として作業者の動作を認識することにより作業者が正しい作業手順に従って作業しているか否かを監視する仕組みの導入が進められている。映像解析を利用した技術が注目されており、カメラを用いた動作認識技術について研究開発が活発に行われている。

また、動作認識技術では、作業が行われる領域を事前に定義しておき、当該領域で作業者が所定の姿勢を取ったときに、その姿勢と位置に紐づく動作を、その映像で実施している動作と認識する方式がある。

ところで、作業者が行う作業は、現場毎に異なるため、動作認識技術を利用した作業監視の仕組みを現場に導入する際は、作業の様子に死角が発生しないようにカメラを設置して制御する必要がある。

また、作業場所が１か所に留まらず複数の場所で実施するような現場では、作業中の作業者または作業対象となる製品（ワーク）がカメラの画角から外れないように撮影する必要がある。さらに、作業者の動作を認識するために用いる領域を定義または推定しなければならない。

特許文献１には、広角カメラと望遠カメラとを用いて、カメラを制御し、被写体を追跡する監視カメラシステムについて記載されている。上記監視カメラシステムでは、パン、チルト、およびズームの方向に制御できる望遠カメラを使用する。また、上記監視カメラシステムでは、広角カメラから得た画像信号を評価して、広角カメラの撮影画像内から動体画像を識別する。また、上記監視カメラシステムでは、画面中心との相対位置に基づいて動体の位置に対応する指向情報を算出する。上記方法では、この指向情報を用いて望遠カメラを制御する。以後、上記監視カメラシステムは、望遠カメラで制御して動体を追尾する。

特開２００７－１１６６６６号公報

特許文献１に記載の技術は、広角カメラで被写体および被写体の周辺を撮影して被写体の位置を評価し、パンチおよびチルトできる望遠カメラを制御して被写体を追跡するものである。しかしながら、追跡した後に被写体の動作を認識するための領域の定義または推定が必要となり、動作を正確に認識することができない。

本発明は、以上の点を考慮してなされたもので、対象物に係る動作体の動作を適切に認識し得る動作認識システム等を提案しようとするものである。

かかる課題を解決するため本発明においては、対象物に係る動作体の動作を認識するための動作認識システムであって、前記対象物の位置情報を取得する位置取得部と、位置情報とカメラを制御するためのパラメータとが対応付けられた第１の情報をもとに、前記対象物の位置情報に対応するパラメータを取得するパラメータ取得部と、前記パラメータ取得部により取得されたパラメータを前記カメラに送信するカメラ制御部と、前記カメラにより撮像された前記対象物の画像を取得する画像取得部と、位置情報と前記対象物の動作を認識するための領域を示す領域情報とが対応付けられた第２の情報をもとに、前記対象物の位置情報に対応する領域情報を取得する領域情報取得部と、前記画像取得部により取得された画像と、前記領域情報取得部により取得された領域情報とを出力する出力部と、を設けるようにした。

上記構成では、例えば、広範囲に渡って存在し得る対象物の位置に応じてカメラが制御されるとともに対象物の動作を認識するための領域が出力されるので、対象物に係る動作体の動作を認識することができるようになる。

その他、本願が開示する課題およびその解決方法は、発明を実施するための形態に記載の内容、および図面により明らかにされる。

本発明によれば、信頼性の高い動作認識システムを実現することができる。

第１の実施の形態による動作認識システムに係る構成の一例を示す図である。 第１の実施の形態による動作認識装置のハードウェアに係る構成の一例を示す図である。 第１の実施の形態による動作認識装置が備える機能の一例を示す図である。 第１の実施の形態によるパラメータＤＢの一例を示す図である。 第１の実施の形態による領域ＤＢの一例を示す図である。 第１の実施の形態による作業ＤＢの一例を示す図である。 第１の実施の形態による作業ＤＢの一例を示す図である。 第１の実施の形態によるパラメータ取得処理の一例を示す図である。 第１の実施の形態による領域取得処理の一例を示す図である。 第１の実施の形態によるカメラ制御部に関する説明図である。 第１の実施の形態による領域情報取得部に関する説明図である。 第２の実施の形態による動作認識装置が備える機能の一例を示す図である。 第２の実施の形態による領域変更部に関する説明図である。 第２の実施の形態による領域変更部に関する説明図である。

以下図面について、本発明の一実施の形態を詳述する。本実施の形態では、広範囲に渡って存在し得る対象物について、死角を減らすようにカメラを制御し、制御されたカメラからの画像をもとに動作体の動作を認識する技術に関して説明する。対象物とは、動作体の動作を認識するための領域を設定する対象の物体であり、製品、製品に係る作業を行う作業者、製品に係る作業を行うロボット装置、製品を吊り上げて運ぶクレーン等である。動作体とは、対象物に係る動作を行う物体であり、作業者、ロボット装置、クレーン等である。

例えば、本実施の形態に示す動作認識装置は、広範囲に撮影できる広角画像取得装置を使用し、広角画像取得装置から動作体が動作を行っている様子を映した画像データを取得し、画像データに映っている対象物となる作業者または製品の位置を特定する。また、動作認識装置は、対象物の位置と任意の方向に制御できる望遠画像取得装置を制御するパラメータとが対応付けられた情報を備えるＤＢと照合して、パラメータを取得し、取得したパラメータで望遠画像取得装置を制御する。そして、動作認識装置は、対象物の位置と事前に定義した作業領域とが対応付けられた情報を備えるＤＢと照合して、作業領域を取得し、取得した作業領域と望遠画像取得装置の画像データとを用いて動作体の動作を認識する。

以下では、主に、対象物として製品を例に挙げ、動作体として作業者を例に挙げて説明する。また、同一のまたは類似する構成に同一の符号を付して重複した説明を省略することがある。

また、以下の説明では、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、カメラを特に区別しないで説明する場合には、「カメラ１１０」と記載し、個々のカメラを区別して説明する場合には、「カメラ１１０－１」、「カメラ１１０－２」のように記載することがある。

（１）第１の実施の形態
図１において、１００は全体として第１の実施の形態による動作認識システムを示す。

図１は、動作認識システム１００に係る構成の一例を示す図である。

動作認識システム１００は、１以上のカメラ１１０、各種センサ１２０、および動作認識装置１３０を含んで構成される。カメラ１１０、各種センサ１２０、および動作認識装置１３０は、有線または無線の通信手段１４０を介して通信可能に接続されている。通信手段１４０の構成は、必ずしも限定されないが、例えば、ＵＳＢ（Universal Serial Bus）、ＲＳ－２３２Ｃ等の各種の通信規格に準拠した通信手段、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、専用線等である。

カメラ１１０は、対象物（製品、作業者１５０等）および対象物の周囲を映した画像データを取得する装置である。例えば、カメラ１１０は、対象物および対象物の周囲の画像を撮像する撮像装置である。カメラ１１０は、動画、静止画等の画像データを取得（撮影）するカメラ（デジタルカメラ（ＲＧＢカメラ）、赤外線カメラ、サーモグラフィカメラ、タイムオブフライト（ＴＯＦ：Time Of Flight）カメラ、ステレオカメラ等である。

各種センサ１２０は、作業者１５０が作業を行う作業現場（作業環境）に設けられ、対象物および作業現場についての物理的な情報を出力する。各種センサ１２０は、動体検知センサ、人感センサ、温度センサ、湿度センサ、加速度センサ、速度センサ、音響センサ（マイクロホン）、超音波センサ、振動センサ、ミリ波レーダ、赤外線深度センサ、レーザレーダ（ＬＩＤＡＲ： Laser Imaging Detection and Ranging）等である。

動作認識システム１００では、動作認識装置１３０は、カメラ１１０によって取得される画像データに基づいて作業者１５０の動作の認識に係る処理を行うものとして説明する。なお、この構成に限るものではなく、動作認識装置１３０は、カメラ１１０によって取得される画像データと各種センサ１２０によって取得されるセンサデータとに基づいて作業者１５０の動作の認識に係る処理を行うものであってもよい。

図２は、動作認識装置１３０のハードウェアに係る構成の一例を示す図である。

動作認識装置１３０は、情報処理装置（コンピュータ）であり、プロセッサ２０１、主記憶装置２０２、補助記憶装置２０３、入力装置２０４、出力装置２０５、および通信装置２０６を備える。

プロセッサ２０１は、演算処理を行う装置である。プロセッサ２０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＩ（Artificial Intelligence）チップ等である。

主記憶装置２０２は、プログラム、データ等を記憶する装置である。主記憶装置２０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等である。ＲＯＭは、ＳＲＡＭ（Static Random Access Memory）、ＮＶＲＡＭ（Non Volatile RAM）、マスクＲＯＭ（Mask Read Only Memory）、ＰＲＯＭ（Programmable ROM）等である。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）等である。

補助記憶装置２０３は、ハードディスクドライブ（Hard Disk Drive）、フラッシュメモリ（Flash Memory）、ＳＳＤ（Solid State Drive）、光学式記憶装置等である。光学式記憶装置は、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)等である。補助記憶装置２０３に格納されているプログラム、データ等は、主記憶装置２０２に随時読み込まれる。

入力装置２０４は、ユーザから情報を受付けるユーザインターフェースである。入力装置２０４は、例えば、キーボード、マウス、カードリーダ、タッチパネル等である。

出力装置２０５は、各種の情報を出力（表示出力、音声出力、印字出力等）するユーザインターフェースである。出力装置２０５は、例えば、各種情報を可視化する表示装置、音声出力装置（スピーカ）、印字装置等である。表示装置は、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等である。

通信装置２０６は、通信手段１４０を介して他の装置と通信する通信インターフェースである。通信装置２０６は、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Interface）モジュール、シリアル通信モジュール等である。通信装置２０６は、通信可能に接続する他の装置から情報を受信する入力装置として機能することもできる。また、通信装置２０６は、通信可能に接続する他の装置に情報を送信する出力装置として機能することもできる。

動作認識装置１３０は、通信装置２０６により通信手段１４０を介してカメラ１１０および各種センサ１２０と通信する。

動作認識装置１３０が備える各種の機能は、プロセッサ２０１が、主記憶装置２０２に格納されているプログラムを読み出して実行することにより、または、動作認識装置１３０を構成しているハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）により実現される。

図３は、動作認識装置１３０が備える機能の一例を示す図である。

動作認識装置１３０は、データ入力部３０１、検出部３０２、パラメータ取得部３０３、カメラ制御部３０４、領域情報取得部３０５、動作認識部３０６、および出力部３０７を備える。動作認識装置１３０は、上記の機能に加えて、例えば、オペレーティングシステム、デバイスドライバ、ファイルシステム、ＤＢＭＳ（DataBase Management System）等の機能を更に備えていてもよい。また、動作認識装置１３０は、各種の情報として、パラメータ情報３１１、領域情報３１２、および作業情報３１３を備える。

データ入力部３０１－１は、フレームのデータを入力する。フレームのデータは、カメラ１１０－１から取得されるデータであり、例えば、カメラ１１０－１から送られてくる、静止画データ、動画データ等を構成するデータである。データ入力部３０１－１は、作業現場の全体を俯瞰できるような広角カメラ等から得られたデータを入力する。

なお、データ入力部３０１－１が入力するデータは、カメラ１１０－１から取得されるデータだけでなく、各種センサ１２０から取得される対象物の位置を特定可能なデータでもよい。すなわち、データ入力部３０１－１は、対象物の位置を特定可能なデータを入力する。

データ入力部３０１－２は、フレームのデータを入力する。フレームのデータは、カメラ１１０－２から取得されるデータであり、例えば、カメラ１１０－２から送られてくる、静止画データ、動画データ等を構成するデータである。

検出部３０２は、データ入力部３０１－１で取得したデータを用いて、作業現場の対象物および動作体を検出する。例えば、検出部３０２は、検出したデータから、対象物の位置情報（製品の位置情報、作業現場における作業者１５０の位置情報等）を取得する。また、例えば、検出部３０２は、検出したデータから、動作体の位置情報（作業現場における作業者１５０の位置情報、ロボット装置の位置情報等）を取得する。なお、対象物および動作体を検出する方法については、公知の技術を適宜に採用することができる。

パラメータ取得部３０３は、検出部３０２で得られた対象物の位置情報を用いて、パラメータ情報３１１からカメラ１１０－２を制御するためのパラメータを取得する。パラメータ情報３１１の詳細については、図４にて後述する。

カメラ制御部３０４は、取得したパラメータを用いてカメラ１１０－２を制御（以下、「カメラ制御」と記す）する。カメラ制御部３０４は、例えば、パン、チルト、ズーム等のパラメータによりカメラ方向の制御を行う。

領域情報取得部３０５は、検出部３０２で得られた対象物の位置情報を用いて、領域情報３１２から作業者１５０の作業（動作の一例）を認識するための領域（以下、「作業領域」と記す）を取得する。領域情報３１２の詳細については、図５にて後述する。

動作認識部３０６は、領域情報取得部３０５で得られた作業領域とデータ入力部３０１－２の画像データとを用いて、作業情報３１３から作業領域に紐づく作業内容を取得し、作業者１５０の作業を認識する。作業情報３１３の詳細については、図６および図７にて後述する。

出力部３０７は、出力装置２０５、動作認識装置１３０と通信可能な他のコンピュータ等に各種の情報を出力する。例えば、出力部３０７は、データ入力部３０１－２により取得された画像と、領域情報取得部３０５により取得された領域情報とを出力する。出力部３０７は、画像に領域情報を設定（例えば、重畳）して出力装置２０５に表示してもよいし。画像と領域情報（領域を示す座標）とを紐づけて出力装置２０５で印刷してもよいし、領域情報に対応する画像を抜き出して動作認識を行う他のコンピュータに送信してもよいし、その他の出力を行ってもよい。

また、例えば、出力部３０７は、動作認識部３０６で得られた結果を出力装置２０５に出力する。

なお、出力部３０７は、その他に表示するコンテンツとして、カメラ１１０で得られたデータ、動作認識部３０６の処理途中の可視化されたデータ等を表示してもよい。

図４～図７は、動作認識装置１３０が備えるデータを格納するデータベース（ＤＢ）の内容を示している。ＤＢとしては、パラメータＤＢ４００、領域ＤＢ５００、作業ＤＢ６００、および作業ＤＢ７００が設けられている。なお、図４～図７に示す座標および領域に関する値は、説明の便宜上、ピクセル値とする。

図４は、パラメータＤＢ４００の一例を示す図である。

パラメータＤＢ４００は、テーブルの項目として、画像領域４０１、制御装置ＩＤ４０２、およびパラメータ４０３を備える。

画像領域４０１は、位置を特定可能な情報の一例であり、カメラ１１０－１により取得された画像における領域（Ｘ，Ｙ，Ｗ，Ｈ）を示す。制御装置ＩＤ４０２は、画像領域４０１に対応して設けられ、制御するカメラ１１０を識別可能であり、当該カメラ１１０との通信に係る情報（例えば、パラメータ４０３の送信先）を示す。制御装置ＩＤ４０２は、例えば、ＩＰアドレスである。パラメータ４０３は、カメラ１１０のパン、チルト、およびズームを制御する値（Ｐ，Ｔ，Ｚ）を示す。

テーブルの横一行の項目は、紐づいている。例えば、検出部３０２より得られた対象物の位置が、カメラ１１０－１の画像領域の１行目の範囲に収まる場合は、ＩＰアドレスが「１９２．１６９．１０．１０」のカメラ１１０に対して、パラメータのパン値が「１２０」、チルト値が「３０」、ズーム値が「２４００」が得られる。

図５は、領域ＤＢ５００の一例を示す図である。

領域ＤＢ５００は、テーブルの項目として、画像領域５０１、制御装置ＩＤ５０２、作業エリアＩＤ５０３、および作業領域５０４を備える。

画像領域５０１は、位置を特定可能な情報の一例であり、カメラ１１０－１により取得された画像における領域（Ｘ，Ｙ，Ｗ，Ｈ）を示す。制御装置ＩＤ５０２は、画像領域５０１に対応して設けられ、制御するカメラ１１０を識別可能であり、当該カメラ１１０との通信に係る情報（例えば、パラメータ４０３の送信先）を示す。制御装置ＩＤ５０２は、例えば、ＩＰアドレスである。作業エリアＩＤ５０３は、画像領域５０１に含まれる１つ以上の作業領域（以下、「作業エリア」と記す）を識別可能な識別情報である。作業領域５０４は、作業者１５０の作業を認識するための領域（Ｘ，Ｙ，Ｗ，Ｈ）を示す。なお、画像領域５０１には、１つ以上の作業領域が含まれる。

テーブルの横一行の項目は、紐づいている。例えば、検出部３０２より得られた対象物の位置が、カメラ１１０－１の画像領域の１行目の範囲に収まる場合は、ＩＰアドレスが「１９２．１６９．１０．１０」のカメラ１１０－２に対して、作業エリアが「Ａ００１」というＩＤで割り振られ、当該カメラ１１０で用いる第１の作業領域、第２の作業領域、および第３の作業領域が得られる。

第１の作業領域は、左頂点のＸ座標が「Ｘ１１」、左頂点のＹ座標が「Ｙ１１」、領域の横幅が「Ｗ１１」、領域の縦幅が「Ｈ１１」である。第２の作業領域は、左頂点のＸ座標が「Ｘ１２」、左頂点のＹ座標が「Ｙ１２」、領域の横幅が「Ｗ１２」、領域の縦幅が「Ｈ１２」である。第３の作業領域は、左頂点のＸ座標が「Ｘ１３」、左頂点のＹ座標が「Ｙ１３」、領域の横幅が「Ｗ１３」、領域の縦幅が「Ｈ１３」である。

図６は、作業ＤＢ６００の一例を示す図である。

作業ＤＢ６００は、テーブルの項目として、作業エリアＩＤ６０１および作業内容６０２を備える。

作業エリアＩＤ６０１は、作業エリアを識別可能な識別情報である。作業内容６０２は、作業エリアＩＤ６０１により識別される作業エリア（１つ以上の作業領域）における作業（作業Ｘ、作業Ｙ、作業Ｚ、作業Ｏ等）を特定（認識）可能な情報である。

テーブルの値は、作業エリアの状態を示し、「Ｔｒｕｅ」または「Ｆａｌｓｅ」で表現される。例えば、動作認識部３０６で得られた対象物（対象物の一部であってもよいし、全体であってもよい。以下では、「対象物のオブジェクト」と記すことがある。）の位置が作業エリアＩＤ６０１の作業エリアの範囲内に収まる場合は「Ｔｒｕｅ」となる。一方、動作認識部３０６で得られた対象物の位置が対象物の位置が作業エリアＩＤ６０１の作業エリアの範囲外になる場合は「Ｆａｌｓｅ」となる。

なお、作業エリアにおける作業に係る対象物については、同じであってもよいし、異なっていてもよい。例えば、作業エリアＩＤ６０１「Ａ００１」の作業エリアでは、第１の作業領域、第２の作業領域、および第３の作業領域を含んで構成される。第１の作業領域では、対象物が作業者１５０の右手であり、第２の作業領域では、対象物が作業者１５０の左手であり、第３の作業領域では、対象物が製品であってもよい。

作業エリアの状態に紐づいて、対象物の作業内容が決定される。例えば、作業エリアＩＤ６０１「Ａ００１」の作業内容６０２－１が「Ｔｒｕｅ」、作業エリアＩＤ６０１「Ａ００２」の作業内容６０２－２が「Ｆａｌｓｅ」であり、作業エリアＩＤ６０１「Ｂ００１」の作業内容６０２－３が「Ｆａｌｓｅ」であり、作業エリアＩＤ６０１「Ｃ００１」の作業内容６０２－４が「Ｆａｌｓｅ」である場合、作業Ｘを実施していることを示す。ただし、動作認識部３０６で得られた対象物が複数ある場合は、ブーリアンの表現でなく数値で表現してもよい。

図７は、作業ＤＢ７００の一例を示す図である。

作業ＤＢ７００では、各作業エリアにおける対象物の時間的な変化が加味されて作業が特定される。本実施の形態では、作業の特定において、作業ＤＢ６００および作業ＤＢ７００のうち少なくとも１つが用いられる。

作業ＤＢ７００は、従来技術の作業エリアと対象物のオブジェクトとの関係による動作認識の２次元データを格納する。作業ＤＢ７００では、時刻ｔから時刻ｔ＋２までの変化が登録されており、変化するパターンに応じて作業を特定することができる。なお、作業ＤＢ７００には、時刻ｔから時刻ｔ＋ｎまで任意の長さで登録することができる。

作業ＤＢ７００は、作業エリアごとに、時刻ｔのテーブル７１０－１、時刻ｔ＋１のテーブル７１０－２、および時刻ｔ＋２のテーブル７１０－３を備える。テーブル７１０の項目として、オブジェクト７０１と作業内容７０２とを備える。

オブジェクト７０１は、対象物の全部または一部を示す。例えば、オブジェクト７０１－１「Ｏｂｊｅｃｔ００１」は、対象物「作業者Ａ」を示す。例えば、オブジェクト７０１－２「Ｏｂｊｅｃｔ００２」は、対象物「作業者Ｂ」を示す。例えば、オブジェクト７０１－３「Ｏｂｊｅｃｔ００３」は、対象物「クレーン」を示す。例えば、オブジェクト７０１－４「Ｏｂｊｅｃｔ００４」は、対象物「製品」を示す。

テーブル７１０－１、テーブル７１０－２、およびテーブル７１０－３では、一連の作業内容が規定され、例えば、１人以上の作業者１５０がクレーンに製品をセットする作業「Ａ作業」が特定される。

このように、テーブル７１０によれば、広範囲に対象物が存在して一連の作業が行われる場合に、一連の作業を適切に特定することができる。

図８は、パラメータ取得部３０３が行う処理（パラメータ取得処理）の一例を示す図である。

なお、パラメータ取得処理は、例えば、検出部３０２により検出された対象物毎に行われる。

ステップＳ８０１では、パラメータ取得部３０３は、検出部３０２により検出された対象物の位置情報を入力する。

ステップＳ８０２では、パラメータ取得部３０３は、パラメータＤＢ４００から画像領域を取得（例えば、主記憶装置２０２に記憶）する。

ステップＳ８０３では、パラメータ取得部３０３は、対象物の位置情報が画像領域内であるか否かを判定する。パラメータ取得部３０３は、対象物の位置情報が画像領域内であると判定した場合、ステップＳ８０４に処理を移し、対象物の位置情報が画像領域内でないと判定した場合、ステップＳ８０６に処理を移す。

ステップＳ８０４では、パラメータ取得部３０３は、対象物の位置情報が含まれると判定した画像領域に紐づくカメラ１１０のＩＰアドレスおよびパラメータをパラメータＤＢ４００から取得する。

ステップＳ８０５では、パラメータ取得部３０３は、取得したＩＰアドレスおよびパラメータをカメラ制御部３０４に出力する。

ステップＳ８０６では、パラメータ取得部３０３は、ステップＳ８０２で取得した画像領域がパラメータＤＢ４００の最後の画像領域であるか否か（処理を終了するか否か）を判定する。パラメータ取得部３０３は、処理を終了すると判定した場合、パラメータ取得を終了し、処理を終了しないと判定した場合、ステップＳ８０２に処理を移す。

このように、パラメータ取得部３０３は、パラメータＤＢ４００をもとに、対象物の位置情報に対応するパラメータを取得する。

図９は、領域情報取得部３０５が行う処理（領域取得処理）の一例を示す図である。

なお、領域取得処理は、例えば、検出部３０２により検出された対象物毎に行われる。

ステップＳ９０１では、領域情報取得部３０５は、検出部３０２により検出された対象物の位置情報を入力する。

ステップＳ９０２では、領域情報取得部３０５は、領域ＤＢ５００から画像領域を取得（例えば、主記憶装置２０２に記憶）する。

ステップＳ９０３では、領域情報取得部３０５は、対象物の位置情報が画像領域内であるか否かを判定する。領域情報取得部３０５は、対象物の位置情報が画像領域内であると判定した場合、ステップＳ９０４に処理を移し、対象物の位置情報が画像領域内でないと判定した場合、ステップＳ９０６に処理を移す。

ステップＳ９０４では、領域情報取得部３０５は、対象物の位置情報が含まれると判定した画像領域に紐づくカメラ１１０のＩＰアドレス、作業エリアＩＤおよび作業領域を領域ＤＢ５００から取得する。

ステップＳ９０５では、領域情報取得部３０５は、取得したＩＰアドレス、作業エリアＩＤおよび作業領域を動作認識部３０６に出力する。

ステップＳ９０６では、領域情報取得部３０５は、ステップＳ９０２で取得した画像領域が領域ＤＢ５００の最後の画像領域であるか否か（領域取得の処理を終了するか否か）を判定する。領域情報取得部３０５は、領域取得の処理を終了すると判定した場合、ステップＳ９０７に処理を移し、領域取得の処理を終了しないと判定した場合、ステップＳ９０２に処理を移す。

ステップＳ９０７では、領域情報取得部３０５は、制御するカメラ１１０の画像データ（センサデータでもよい。）を取得する。

ステップＳ９０８では、領域情報取得部３０５は、対象物が動いたか否か（例えば、対象物が画像領域外に移動したか否か）を判定する。領域情報取得部３０５は、対象物が動いたと判定した場合、ステップＳ９０１に処理を移し、対象物が動いていないと判定した場合、領域取得処理を終了する。

このように、領域情報取得部３０５は、領域ＤＢ５００をもとに、対象物の位置情報に対応する作業領域を取得する。

図１０は、動作認識装置１３０のカメラ制御部３０４に関する説明図である。

図１０では、カメラ１１０－１で撮影している映像１０１０とカメラ１１０－２で撮影している映像１０２０とを示している。カメラ制御前（上側）とカメラ制御後（下側）に映像の見え方を示している。

例えば、カメラ制御前では、カメラ１１０－１の映像１０１０－１は、製品を真上から撮影している内容を示し、カメラ１１０－２の映像１０２０－１は、製品がない作業台１００１を撮影している内容を示している。

これに対し、カメラ制御後では、カメラ１１０－１の映像１０１０－２は、製品を真上から撮影している内容を示し、カメラ１１０－２の映像１０２０－２は、製品がある作業台１００２を撮影している内容を示している。

カメラ１１０－１の画像データを用いて検出部３０２が対象物となる製品を検出したことで、カメラ１１０－２が制御され、カメラ制御後の映像１０２０－２のように製品がある作業台１００２を捉える。

なお、検出部３０２が検出する対象物は、製品以外に、作業者１５０、認識できるマーカ等でもよい。

図１１は、動作認識装置１３０の領域情報取得部３０５に関する説明図である。

図１１は、カメラ制御部３０４のカメラ制御後にカメラ１１０－２で取得した画像データ１１１０に対して、領域情報３１２から得られた作業領域１１２０を画像データ１１１０の空間上に設定した図を示している。

図１１の例では、製品に係る作業を認識するための作業領域１１２０が設定されている。例えば、画像データ１１１０では、作業者１５０の手元に対応する作業領域１１２０－１、作業者１５０の頭部に対応する作業領域１１２０－２、および作業者１５０の足元に対応する作業領域１１２０－３が製品の位置に応じて設定されている。

なお、作業者１５０の手元、頭部、足元、全身、製品、製品の周辺機器等が作業領域の候補となる。

本実施の形態によれば、対象物の位置に応じて作業領域が設定されるので、動作体が広範囲に渡って実施する動作を認識する仕組みを実現することができる。

（２）第２の実施の形態
第２の実施の形態の動作認識装置１２００は、第１の実施の形態における作業者１５０の動作認識（作業監視）の仕組みを用いて、対象物の配置が変更されたり、対象物が取り替えられたりした場合に、作業領域を変更（推定）する処理を行い、作業者１５０の作業を認識する。以下、第１の実施の形態と異なる部分を中心として説明する。

図１２は、動作認識装置１２００が備える機能の一例を示す図である。

動作認識装置１３０より追加される機能は、領域変更部１２０１である。追加される情報は、対象物情報１２１１である。

領域変更部１２０１は、対象物の位置および大きさを検出した情報と、領域情報取得部３０５で得られた作業領域および対象物情報１２１１とを用いて、対象物の変化量を算出し、領域情報取得部３０５で得られた作業領域に対して、算出した変化量に基づいて変更（例えば、変形）することで、新たな作業領域を推定する。推定された作業領域は、動作認識部３０６で使用される。

対象物情報１２１１は、領域情報３１２に記載される作業領域と対象物の位置および大きさ（例えば、矩形）との情報が紐づいたＤＢである。対象物情報１２１１に記載される対象物の位置および大きさが、変化前の値として用いられる。

図１３は、領域変更部１２０１に関する説明図である。

図１３では、製品の大きさが変化したときの、作業領域を変更する前後を示している。例えば、製品Ａから製品Ｂに変わった場合において、領域変更部１２０１は、製品の大きさが変わったとき、大きさの変化量を求め、製品Ａを基準に設定していた作業領域１３０１に対して、算出した変化量だけ拡大縮小して作業領域１３０１の大きさを変更した作業領域１３０２を設定する。なお、変更の方式としては、拡大縮小だけでなく、平行移動、回転、スキュー等の組合せで幾何学変換が行われる。

図１４は、領域変更部１２０１に関する説明図である。

図１４では、製品の配置が変化したときの、作業領域を変更する前後を示している。例えば、製品Ａの位置から製品Ａ’の位置に配置が変わった場合において、領域変更部１２０１は、製品の配置が変わったとき、位置の変化量を求め、製品Ａを基準に設定していた作業領域１４０１に対して、算出した変化量だけ平行移動、回転、拡大縮小して作業領域１４０１の位置を変更した作業領域１４０２を設定する。なお、変更の方式としては、拡大縮小だけでなく、平行移動、回転、スキュー等の組合せで幾何学変換が行われる。

本実施の形態によれば、対象物に変更が生じたとしても、当該変更に応じて作業領域が変更されるので、動作体が実施する動作を認識する仕組みを実現することができる。

（３）付記
上述の実施の形態には、例えば、以下のような内容が含まれる。

上述の実施の形態においては、本発明を動作認識システムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。

また、上述の実施の形態においては、動作認識システム１００が１つ以上のカメラ１１０の情報と各種センサ１２０の情報とをもとに作業者１５０の動作を認識する構成と、動作認識システム１００が複数のカメラ１１０の情報をもとに作業者１５０の動作を認識する構成とについて述べたが、本発明はこれに限らず、動作認識システム１００が、広域と望遠とを切り替え可能な１つのカメラ１１０の情報をもとに作業者１５０の動作を認識するようにしてもよい。この場合、例えば、動作認識システムは、所定のタイミングで（定期的に、予め指定された時間毎に等）、広域を撮影するように当該カメラを制御する。

また、上述の実施の形態において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。

また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

上述した実施の形態は、例えば、以下の特徴的な構成を有する。

対象物（製品、作業者、ロボット装置、クレーン等）に係る動作体（作業者、ロボット装置、クレーン等）の動作を認識するための動作認識システム（例えば、動作認識システム１００）であって、前記対象物の位置情報（例えば、カメラ１１０－１により撮像された画像、各種センサ１２０により取得されたセンサデータ等）を取得（例えば、入力）する位置取得部（例えば、データ入力部３０１－１）と、位置情報（例えば、画像領域）とカメラ（例えば、カメラ１１０－２）を制御するためのパラメータとが対応付けられた第１の情報（例えば、パラメータ情報３１１）をもとに、前記対象物の位置情報に対応するパラメータを取得するパラメータ取得部（パラメータ取得部３０３）と、前記パラメータ取得部により取得されたパラメータを前記カメラに送信するカメラ制御部（例えば、カメラ制御部３０４）と、前記カメラにより撮像された前記対象物の画像を取得（例えば、入力）する画像取得部（例えば、データ入力部３０１－２）と、位置情報と前記対象物の動作を認識するための領域を示す領域情報とが対応付けられた第２の情報（例えば、領域情報３１２）をもとに、前記対象物の位置情報に対応する領域情報を取得する領域情報取得部（領域情報取得部３０５）と、前記画像取得部により取得された画像と、前記領域情報取得部により取得された領域情報とを出力する出力部（例えば、出力部３０７）と、を備える。

上記出力部は、上記画像取得部により取得された画像と、上記領域情報取得部により取得された領域情報とを表示装置に表示してもよいし、印刷装置で印刷してもよいし、他のコンピュータに送信してもよい。

上記構成では、例えば、広範囲に渡って存在し得る対象物の位置に応じてカメラが制御されるとともに対象物の動作を認識するための領域が出力されるので、対象物に係る動作体の動作を認識することができるようになる。

領域情報と前記領域情報に係る前記動作体の動作を特定可能な情報とが対応付けられた第３の情報（例えば、作業情報３１３）をもとに、前記動作体の動作を認識する動作認識部（例えば、動作認識部３０６）を備える。

上記構成によれば、領域情報に対応付けられている対象物の動作を特定可能な情報をもとに、動作体の動作を認識することができる。上記構成によれば、例えば、動作体が動作を行ったこと等を示すエビデンスを残すことができる。また、上記構成によれば、例えば、動作体の動作が不適切（規定外、不正等）であった場合に管理者端末等に通知を行うことができる。

前記第３の情報は、動作毎かつ時間毎に設けられ（例えば、図７参照）、前記動作認識部は、時間毎に、前記領域情報取得部により取得された領域情報の領域に対して、前記第３の情報で規定されている前記動作体の動作が行われているか否かを判定し、前記動作体の動作を認識する。

上記構成によれば、例えば、動作体により一連の動作が行われる場合に、当該一連の動作を適切に特定することができる。

前記位置取得部は、前記対象物の存在範囲（例えば、動作体による動作が行われる動作現場、作業現場）全体を所定のカメラ（例えば、カメラ１１０－１）が撮像した画像をもとに、前記対象物の位置情報を取得する。

上記構成によれば、所定のカメラが撮像した画像より対象物の位置情報を取得することができる。

前記対象物の位置が変更されたことに応じて、前記領域情報の領域の位置を変更する領域変更部（例えば、領域変更部１２０１）を備える。

上記構成によれば、対象物の位置の変化に合わせて領域の位置が変更されるので、例えば、対象物の配置が変更されたとしても、動作体の動作を認識することができる。

前記対象物の大きさが変更されたことに応じて、前記領域情報の領域の大きさを変更する領域変更部（例えば、領域変更部１２０１）を備える。

上記構成によれば、対象物の大きさの変化に合わせて領域の大きさが変更されるので、例えば、対象物が他の対象物に変更されたとしても、動作体の動作を認識することができる。

前記第１の情報には、パラメータの送信先を示す送信先情報（例えば、ＩＰアドレス）が更に対応付けられ、前記カメラ制御部は、前記対象物の位置情報に対応する送信先情報のカメラに前記パラメータ取得部により取得されたパラメータを送信する。

上記構成では、例えば、複数のカメラが設置され、対象物の位置に応じてカメラが切り替えられるので、死角をより減らすようにカメラを制御することができる。

また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。

「Ａ、Ｂ、およびＣのうちの少なくとも１つ」という形式におけるリストに含まれる項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができると理解されたい。同様に、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の形式においてリストされた項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができる。

１００……動作認識システム、１３０……動作認識装置。

Claims (9)

1. 対象物に係る動作体の動作を認識するための動作認識システムであって、
   前記対象物の位置情報を取得する位置取得部と、
   位置情報とカメラを制御するためのパラメータとが対応付けられた第１の情報をもとに、前記対象物の位置情報に対応するパラメータを取得するパラメータ取得部と、
   前記パラメータ取得部により取得されたパラメータを前記カメラに送信するカメラ制御部と、
   前記カメラにより撮像された前記対象物の画像を取得する画像取得部と、
   位置情報と前記対象物の動作を認識するための領域を示す領域情報とが対応付けられた第２の情報をもとに、前記対象物の位置情報に対応する領域情報を取得する領域情報取得部と、
   前記パラメータ取得部により取得されたパラメータを用いて前記カメラ制御部が前記カメラを制御した後に前記画像取得部により取得された画像と、前記領域情報取得部により取得された領域情報とを出力する出力部と、
   を備える動作認識システム。
2. 領域情報と前記領域情報に係る前記動作体の動作を特定可能な情報とが対応付けられた第３の情報をもとに、前記動作体の動作を認識する動作認識部を備える、
   請求項１に記載の動作認識システム。
3. 前記第３の情報は、動作毎かつ時間毎に設けられ、
   前記動作認識部は、時間毎に、前記領域情報取得部により取得された領域情報の領域に対して、前記第３の情報で規定されている前記動作体の動作が行われているか否かを判定し、前記動作体の動作を認識する、
   請求項２に記載の動作認識システム。
4. 前記位置取得部は、前記対象物の存在範囲全体を所定のカメラが撮像した画像をもとに、前記対象物の位置情報を取得する、
   請求項１に記載の動作認識システム。
5. 前記対象物の位置が変更されたことに応じて、前記領域情報の領域の位置を変更する領域変更部を備える、
   請求項１に記載の動作認識システム。
6. 前記対象物の大きさが変更されたことに応じて、前記領域情報の領域の大きさを変更する領域変更部を備える、
   請求項１に記載の動作認識システム。
7. 前記第１の情報には、パラメータの送信先を示す送信先情報が更に対応付けられ、
   前記カメラ制御部は、前記対象物の位置情報に対応する送信先情報のカメラに前記パラメータ取得部により取得されたパラメータを送信する、
   請求項１に記載の動作認識システム。
8. 対象物に係る動作体の動作を認識するための動作認識装置であって、
   前記対象物の位置情報を取得する位置取得部と、
   位置情報とカメラを制御するためのパラメータとが対応付けられた第１の情報をもとに、前記対象物の位置情報に対応するパラメータを取得するパラメータ取得部と、
   前記パラメータ取得部により取得されたパラメータを前記カメラに送信するカメラ制御部と、
   前記カメラにより撮像された前記対象物の画像を取得する画像取得部と、
   位置情報と前記対象物の動作を認識するための領域を示す領域情報とが対応付けられた第２の情報をもとに、前記対象物の位置情報に対応する領域情報を取得する領域情報取得部と、
   前記パラメータ取得部により取得されたパラメータを用いて前記カメラ制御部が前記カメラを制御した後に前記画像取得部により取得された画像と、前記領域情報取得部により取得された領域情報とを出力する出力部と、
   を備える動作認識装置。
9. 対象物に係る動作体の動作を認識するための領域を設定する領域設定方法であって、
   位置取得部が、前記対象物の位置情報を取得することと、
   パラメータ取得部が、位置情報とカメラを制御するためのパラメータとが対応付けられた第１の情報をもとに、前記対象物の位置情報に対応するパラメータを取得することと、
   カメラ制御部が、前記パラメータ取得部により取得されたパラメータを前記カメラに送信することと、
   画像取得部が、前記カメラにより撮像された前記対象物の画像を取得することと、
   領域情報取得部が、位置情報と前記対象物の動作を認識するための領域を示す領域情報とが対応付けられた第２の情報をもとに、前記対象物の位置情報に対応する領域情報を取得することと、
   出力部が、前記パラメータ取得部により取得されたパラメータを用いて前記カメラ制御部が前記カメラを制御した後に前記画像取得部により取得された画像と、前記領域情報取得部により取得された領域情報とを出力することと、
   を備える領域設定方法。

Images