JP6987537B2 - 画像処理装置、撮像装置、作業支援システム、制御方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、作業支援システム、制御方法およびプログラムに関する。

遠隔地にいる支援者が、プリンタの修理や工事などの現場で作業する経験の浅い作業者に対して、ネットワークを経由してリモートサポートする遠隔作業支援システムが提案されている。特許文献１は、以下のようなリモートサポートシステムを開示している。作業者は撮影機能と表示機能を有するカメラ端末を持ちながら、作業状況を撮影したライブビュー画像を支援者が持つ作業支援端末に送信し、作業支援端末で表示されるライブビュー画像を支援者が確認する。そして、作業支援端末は、支援者がライブビュー画像内の所定位置に指示した指示データを受付け、指示データと指示位置を関連づけたデータをカメラ端末へ送信する。作業者の持つカメラ端末が、受信した指示データを表示することで、作業者は支援者の指示内容を確認する。

特開２０１１−３４３１５号公報 特開２００７−０６５３３０号公報 特開２０１０−７４３１５号公報

特許文献１が開示するリモートサポートシステムでは、作業者側のカメラ端末に支援者からの指示内容を表示する表示デバイスが必要となる。また、作業支援端末には支援者の指示内容を処理する機能が必要となり、遠隔作業支援システムを構築するコストが高くなる。また、作業者は、カメラ端末を持ちながら支援者から送信される指示データを確認しなければならないので、カメラ端末が作業の妨げになる。本発明は、作業者側に表示デバイスがなくても、作業支援者が作業者の作業を効果的に支援できるようにする画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、情報処理装置と通信する画像処理装置であって、前記情報処理装置に対して撮像画像を送信する送信手段と、前記情報処理装置によって指定された作業対象物の位置情報を前記情報処理装置から取得する取得手段と、第１の記憶部に記憶された撮像画像と、前記取得された位置情報とに基づいて、前記位置情報に対応する作業対象物を認識する第１の認識手段と、前記第１の記憶部に記憶された撮像画像に基づいて、前記作業対象物の指定に用いられる被写体を認識する第２の認識手段と、前記認識された作業対象物と前記被写体とを追尾する追尾手段と、前記追尾されている作業対象物と前記被写体との距離に基づいて、通知を行う通知手段とを備え、前記情報処理装置によって複数の作業対象物が指定された場合に、前記通知手段は、前記複数の作業対象物と前記被写体との距離に基づいて、前記通知を行い、前記画像処理装置は、さらに、前記複数の作業対象物の指定順を記憶する第２の記憶部を備え、前記追尾手段は、前記第２の記憶部に記憶された指定順にしたがって、前記作業対象物と前記被写体とを追尾し、前記通知手段は、前記第２の記憶部に記憶された指定順に応じて、通知内容を変更する。

本発明によれば、作業者側に表示デバイスがなくても、作業支援者が作業者の作業を効果的に支援することが可能になる。

実施例１のシステム構成を示す図である。 作業対象物と指定被写体とを一致させる動作を説明する図である。 作業対象物と指定被写体とを一致させる動作を説明するフローチャートである。 作業対象物と指定被写体とを一致させる動作を説明するフローチャートである。 作業支援端末の処理を説明するフローチャートである。 実施例２のシステム構成を示す図である。 複数の作業対象物と指定被写体とを一致させる動作を説明する図である。 複数の作業対象物と指定被写体とを一致させる動作を説明するフローチャートである。 複数の作業対象物と指定被写体とを一致させる動作を説明するフローチャートである。

（実施例１）
図１は、実施例１のシステム構成を示す図である。
図１に示す作業支援処理システムは、カメラ端末１００と、作業支援端末１２０とを有する。カメラ端末１００は、撮像装置であって、作業者側に設けられている。カメラ端末１００は、例えば、プリンタ等の作業対象物に対して作業を行う作業者が装着するヘルメット等に設置されている。作業支援端末１２０は、作業者の作業を支援する作業支援者が操作する情報処理装置である。

カメラ端末１００は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、システム制御部１０４、メモリ部１０５、マイク・スピーカ部１０６、画像処理部１０７、作業対象物認識部１０８、指定被写体認識部１０９を有する。また、カメラ端末１００は、追尾部１１０、距離画像生成部１１１、距離算出部１１２、通知制御部１１３、通知部１１４、通信部１１５、バス１１６を有する。本発明は、システム制御部１０４乃至バス１１６を有する画像処理装置にも適用可能である。

システム制御部１０４は、カメラ端末１００全体を制御する。カメラ端末１００は、例えばプログラマブルプロセッサ（以下、ＣＰＵ）と、ＲＯＭと、ＲＡＭを有する。ＣＰＵが、ＲＯＭに記憶されたプログラムを実行し、各部を制御してカメラ端末１００の機能を実現する。メモリ部１０５は、揮発性の記憶部（第１の記憶部）である。メモリ部１０５は、各ブロックからの要求に基づき、一時的に画像データや距離情報などを保存するバッファメモリとして機能する。

撮像光学系１０１は、レンズ、シャッタ、絞りを有し、システム制御部１０４の指示に基づき、合焦距離、絞りの開口量、およびシャッタの開閉を制御する。撮像素子１０２は、システム制御部１０４の制御に基づき、撮像光学系１０１を通過した被写体光を光電変換して被写体像（撮像画像）のアナログ信号を生成する。また、撮像素子１０２は、測距機能を有する素子を備える。例えば、特許文献２に記載された技術を用いて、撮像光学系１０１のレンズの瞳上の異なる領域を通過した光束が、測距機能を有する画素を配置した撮像素子１０２に露光される。システム制御部１０４が、露光された光像の像ズレ量を取得し、距離画像生成部１１１を制御してデフォーカス量を算出する。

Ａ／Ｄ変換部１０３は、システム制御部１０４の制御に基づき、撮像素子１０２から出力されたアナログ信号に対してＡ／Ｄ変換を行って、デジタル信号（以下、「ＲＡＷデータ」と記述）を生成し、メモリ部１０５に格納する。

マイク・スピーカ部１０６は、一般に普及しているマイクデバイスとスピーカデバイスを有する音響入出力部である。マイク・スピーカ部１０６は、作業者が話した内容や周囲の音声を収音する機能と、作業支援端末１２０のマイク・スピーカ部１２３で収音した音声を出力する機能を備えている。

画像処理部１０７は、システム制御部１０４の制御に基づき、メモリ部１０５に格納されたＲＡＷデータに対して、ノイズ除去、ガンマ補正処理、ホワイトバランス調整処理などを施すことにより画像データを生成する。また、画像処理部１０７は、符号化処理や復号処理を行い、得られた画像データをメモリ部１０５に格納する。画像データは、システム制御部１０４の制御に基づき、所定のフレームレートで更新される。そして、画像データは、ネットワーク１３０を介して作業支援端末１２０に送信され、ライブビュー画像として表示部１２６に表示される。

作業対象物認識部１０８は、システム制御部１０４の制御により以下の処理を実行する第１の認識手段として機能する。作業対象物認識部１０８は、メモリ部１０５に格納された画像データと、通信部１１５が受信した位置情報の座標（以下、「指定座標」と記述）に基づき、作業支援者が指定した作業対象物の認識処理を行う。具体的には、作業対象物認識部１０８は、指定座標の周辺の領域を切り出し、認識した作業対象物を作業対象物テンプレート画像としてメモリ部１０５に格納する。そして、作業対象物認識部１０８は、作業対象物テンプレート画像の解析によって、作業対象物の特徴量と位置を含む情報（以下、「作業対象物追尾情報」と記述）を追尾部１１０に供給する。

指定被写体認識部１０９は、システム制御部１０４の制御に基づき、以下の処理を実行する第２の認識手段として機能する。指定被写体認識部１０９は、メモリ部１０５に格納された画像データに対し、後述する指定被写体のテンプレート画像を用いて、作業者の指などの、作業者が作業対象物を指定するために用いる被写体（以下、「指定被写体」と記述）の認識処理を行う。指定被写体のテンプレート画像は、予めカメラ端末１００等で撮影された指定被写体の画像データである。指定被写体認識部１０９は、指定被写体のテンプレート画像に基づいて、画像データ内の被写体を解析するマッチング処理を実施する。指定被写体認識部１０９は、マッチング処理の際に、指定被写体のテンプレート画像の特徴量と解析により、特定した画像データ内の被写体の特徴量を比較して、類似度を算出する。指定被写体認識部１０９は、類似度に基づいて、指定被写体を特定する。そして、指定被写体認識部１０９は、指定被写体の類似度と位置を含む情報（以下、「指定被写体追尾情報」と記述）を追尾部１１０に供給する。

追尾部１１０は、システム制御部１０４の制御に基づき、以下の処理を実行する。追尾部１１０は、作業対象物追尾情報と指定被写体追尾情報とに基づいて、画像データ内に存在する作業対象物と指定被写体の追尾処理を行う。追尾部１１０は、例えば、特許文献３に開示された方法を用いて、画像フレーム間の追尾のための情報によって特定される被写体領域における相関度を算出する。その後に、前フレームの被写体領域と追従関係にある被写体領域を現在のフレームより検出し、その動きベクトルを算出する。そして、動きベクトル量分だけ被写体領域を移動した座標を算出し、作業対象物と指定被写体の位置情報を更新する。追尾部１１０は、前記作業対象物と指定被写体の更新した位置情報を距離算出部１１２に供給する。

距離画像生成部１１１は、システム制御部１０４の制御に基づき、撮像素子１０２で得られた像ズレ量から被写体領域毎のデフォーカス量を算出する。距離画像生成部１１１は、算出したデフォーカス量に基づいて、領域毎の奥行き方向の距離を示す距離画像を生成して、メモリ部１０５に格納する。距離算出部１１２は、システム制御部１０４の制御に基づき、以下の処理を実行する。距離算出部１１２は、追尾部１１０から得られた作業対象物と指定被写体の位置情報と、距離画像生成部１１１が生成した領域毎の距離画像とに基づいて、作業対象物の距離と指定被写体の距離とを算出する。本実施形態では、距離算出部１１２は、奥行き方向について、作業対象物の距離と指定被写体の距離とを算出する。距離算出部１１２は、作業対象物と指定被写体の位置情報に基づいて、作業対象物と指定被写体間の水平方向の距離情報を算出する。そして、距離算出部１１２は、水平方向の距離情報と、奥行き方向についての作業対象物の距離と指定被写体の距離とに基づいて、作業対象物と指定被写体間の３次元の距離情報（以下、評価距離）を算出する。なお、距離算出部１１２が、作業対象物と指定被写体の位置情報から算出される水平方向の距離を評価距離として算出するようにしてもよい。

通知部１１４は、作業対象物と指定被写体との距離に応じて音を出力する。本実施形態では、通知部１１４は、スピーカである。通知部１１４は、振動を伝達する振動モータ、光を出力する発光ダイオード等であってもよい。通知制御部１１３は、システム制御部１０４の制御に基づき、距離算出部１１２で得られた評価距離をもとに通知部１１４の制御を行う。本実施例では、通知制御部１１３は、評価距離に応じて、通知部１１４の音量を制御する。通知制御部１１３は、例えば、評価距離が近くなるほど、通知部１１４が発する音量を大きくする。通信部１１５は、システム制御部１０４の制御に基づいて、ネットワーク１３０を介して、作業支援端末１２０とデータの送受信を行う。バス１１６は、各モジュールを接続する。

作業支援端末１２０は、システム制御部１２１、メモリ部１２２、マイク・スピーカ部１２３、作業対象物位置取得部１２４、通信部１２５、表示部１２６、操作部１２７、バス１２８を有する。

システム制御部１２１は、作業支援端末１２０全体を制御する。システム制御部１２１は、例えば、プログラマブルプロセッサ（以下、ＣＰＵ）と、ＲＯＭと、ＲＡＭを有する。ＣＰＵが、ＲＯＭに記憶されたプログラムを実行し、各部を制御して作業支援端末１２０の機能を実現する。メモリ部１２２は、揮発性の記憶部である。メモリ部１０５は、各ブロックからの要求に基づき、一時的に画像データなどを保存するバッファメモリとして機能する。

マイク・スピーカ部１２３は、音響入出力部である。マイク・スピーカ部１２３は、一般に普及しているマイクデバイスとスピーカデバイスを有し、支援者が話した内容や周囲の音声を収音する機能と、カメラ端末１００のマイク・スピーカ部１０６で収音した音声を出力する機能を備えている。操作部１２７は、支援者からの操作指示を受け付けるキーボード、マウス等の入力機器デバイスである。

作業対象物位置取得部１２４は、システム制御部１２１の制御に基づき、操作部１２７から指定された座標を指定座標として取得し、メモリ部１２２に格納する。通信部１２５は、システム制御部１２１の制御に基づき、ネットワーク１３０を介して、カメラ端末１００と音声・指定座標・画像データの送受信を行う。表示部１２６は、ディスプレイと表示コントローラを有し、システム制御部１２１の制御に基づき、メモリ部１２２に格納された画像データの内容を読み出して、ディスプレイに表示する。バス１２８は、各モジュールを接続するバスである。ネットワーク１３０は、複数の端末を接続して、相互に通信できるようにする広域通信網（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。なお、図１に示して説明したシステム構成は一例であり、以下に説明する動作を実行できるのであれば、本発明に係るシステム構成は、図１に示す構成に限定されるものではない。

図２は、作業対象物と指定被写体とを一致させる動作を説明する図である。
図２（Ａ）は、作業支援端末１２０の表示部１２６に表示されるカメラ端末１００で撮影されたライブビュー画像２００を示す。作業支援者は、ライブビュー画像２００を観察しながら作業者とマイク・スピーカ部１２３を通じてコミュニケーションする。図２（Ｂ）は、作業支援者が指定座標２１１を指定した際のライブビュー画像２１０を示す。作業支援端末１２０は、作業支援者が作業対象として指定した指定座標２１１の指定座標を取得し、カメラ端末１００へ送信する。

図２（Ｃ）は、距離画像生成部１１１によって生成される距離画像２２０を示す。距離画像２２０は、カメラ端末１００からの距離で色分けがされており、カメラ端末１００からの距離が近いと色が濃くなり、遠いと色が薄くなる。距離算出部１１２は、指定被写体追尾情報により特定された指定被写体２２１の座標と指定座標２２１との間の画像上での距離情報、および、距離画像２２０に基づいて、指定座標２２１と指定被写体２２２間の評価距離２２３を算出する。

図２（Ｄ）は、距離算出部１１２が算出した評価距離２２３と通知部１１４が通知する音量の対応関係を示す。通知部１１４は、評価距離２２３が近くなるほど、通知する音量を大きくする。図２（Ｄ）に示す状態では、通知部１１４が通知する音量は小さい。図２（Ｅ）は、作業支援者が作業対象として指定した指定座標２１１を作業者が探し当てた状態を示す。ライブビュー画像２３０の状態では、指定被写体２３２と指定座標２１１間の評価距離２２３が０になっている。図２（Ｆ）は、距離算出部１１２が算出した評価距離２２３と通知部１１４が通知する音量の対応関係を示す。評価距離２２３が０になったため、通知部１１４が通知を停止する。

図３および図４は、作業対象物と指定被写体とを一致させる動作を説明するフローチャートである。
Ｓ３０１において、カメラ端末１００が、作業対象物を指定するための指定被写体として作業者の指を撮影し、指定被写体のテンプレート画像として記憶する。続いて、Ｓ３０２において、システム制御部１０４が、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０７を制御し、所定のフレームレートで撮像画像に係る画像データを生成し、メモリ部１０５に格納する。

次に、Ｓ３０３において、距離画像生成部１１１が、像ズレ量に基づいて、被写体領域毎のデフォーカス量を算出し、領域毎の距離画像を生成する。距離画像生成部１１１は、生成した領域毎の距離画像をメモリ部１０５に格納する。Ｓ３０４において、通信部１１５が、メモリ部１０５に格納された画像データを作業支援端末１２０に送信する。

次に、Ｓ３０５において、作業支援端末１２０が、カメラ端末１００から送信された画像データに基づいて処理を行う。Ｓ３０５における処理については後述する。続いて、Ｓ３０６において、通信部１１５が、作業支援端末１２０から指定座標を受信したかを判定する。指定座標を受信した場合は、処理がＳ３０７に進む。指定座標を受信していない場合は、処理が図４のＳ３０９に進む。

Ｓ３０７において、通信部１１５は、作業支援端末１２０から受信した指定座標を取得する。取得した指定座標をメモリ部１０５に格納する。続いて、図４のＳ３０８において、作業対象物認識部１０８が、メモリ部１０５に格納されている指定座標と画像データとに基づいて、作業対象物の認識処理を行い、作業対象物追尾情報を算出する。作業対象物認識部１０８は、算出した作業対象物追尾情報をメモリ部１０５に格納する。

次に、Ｓ３０９において、システム制御部１０４は、作業対象物が認識されたかを判定する。具体的には、システム制御部１０４は、作業対象物が過去に１回でも認識されたかを判定する。作業対象物が認識された場合は、処理がＳ３１０に進む。作業対象物が認識されていない場合は、処理が図３のＳ３０２に戻る。Ｓ３１０において、指定被写体認識部１０９が、指定被写体のテンプレート画像に基づいて、Ｓ３０２で生成した画像データに対してマッチング処理を行って指定被写体を認識し、指定被写体追尾情報を生成する。指定被写体認識部１０９は、生成した指定被写体追尾情報をメモリ部１０５に格納する。

Ｓ３１１において、追尾部１１０が、メモリ部１０５に格納されている指定被写体追尾情報と作業対象物追尾情報とに基づいて、指定被写体と作業対象物の追尾処理を行う。追尾部１１０は、追尾処理結果に基づいて、メモリ部１０５に格納されている指定被写体と作業対象物の位置情報を更新する。

次に、Ｓ３１２において、距離算出部１１２が、Ｓ３１１において更新された指定被写体と作業対象物の位置情報と、領域毎の距離画像とに基づいて、指定被写体と作業対象物の位置に相当する距離情報を取得する。距離算出部１１２は、作業対象物の距離と指定被写体の距離に基づいて、評価距離を算出する。

次に、Ｓ３１３において、通知制御部１１３が、距離算出部１１２が算出した評価距離が所定の範囲内であるか（閾値以下であるか）を判定する。評価距離が閾値以下である場合は、処理がＳ３１４に進む。評価距離が閾値以下でない場合は、処理が図３のＳ３０２に戻る。

Ｓ３１４において、通知制御部１１３が、評価距離に応じて通知部１１４が発する音を制御する。例えば、通知制御部１１３は、評価距離が小さくなるほど、通知部１１４が発する音量を大きくし、評価距離が大きくなるほど、通知部１１４が発する音量を小さくする。

続いて、Ｓ３１５において、システム制御部１０４が、評価距離に基づいて、作業対象物と指定被写体とが一致したかを判定する。作業対象物と指定被写体とが一致していない場合は処理が図３のＳ３０２に戻る。作業対象物と指定被写体とが一致した場合は、処理を終了する。

図５は、図３のＳ３０５における作業支援端末の処理を説明するフローチャートである。
Ｓ４０１において、通信部１２５が、ネットワーク１３０を介して、通信部１１５から送信された画像データを受信する。通信部１２５は、受信した画像データをメモリ部１２２に格納する。続いて、Ｓ４０２において、表示部１２６が、メモリ部１２２に格納された画像データを表示する。

次に、Ｓ４０３において、システム制御部１２１が、操作部１２７を通して指定座標の指定があったかを判定する。指定座標の指定がない場合は、処理を終了する。指定座標の指定があった場合は、処理がＳ４０４に進む。

Ｓ４０４において、作業対象物位置取得部１２４が、指定座標を取得し、メモリ部１２２に格納する。そして、Ｓ４０５において、通信部１２５が、メモリ部１２２に格納されている指定座標を、ネットワーク１３０を介して通信部１１５に送信する。

本実施例の作業支援システムによれば、指定被写体と作業対象物の距離が所定の範囲内になると作業者に通知することができる。これにより、作業者側に表示デバイスがなくても、作業支援者が指定した作業対象物を作業者に正確に通知することができ、作業者の作業を効果的に支援することができる。

（実施例２）
図６は、実施例２のシステム構成を示す図である。
なお、図６において、実施例１の作業支援システムと同じ構成要素に関しては、同じ番号を付しており、説明を省略する。実施例２では、作業支援者が、複数の作業対象物を順番に指定する。

カメラ端末５００は、撮像素子１０２、Ａ／Ｄ変換部１０３、システム制御部１０４、メモリ部１０５、マイク・スピーカ部１０６、画像処理部１０７、作業対象物認識部５０８、指定被写体認識部１０９を有する。また、カメラ端末５００は、追尾部５１０、距離画像生成部１１１、距離算出部１１２、通知制御部５１３、通知部１１４、通信部１１５、バス１１６、作業対象物指定順記憶部５１７を有する。

作業対象物認識部５０８は、メモリ部１０５に格納された画像データに対し、通信部１１５で受信した指定座標に基づいて、作業支援者が指定した作業対象物の認識処理を行う。作業対象物認識部５０８は、受信された指定座標の数だけ作業対象物を認識する。作業対象物指定順記憶部５１７は、通信部１１５で受信した指定座標の指定順を記憶する第２の記憶部として機能する。

追尾部５１０は、作業対象物認識部５０８から作業対象物追尾情報を取得する。また、追尾部５１０は、指定被写体認識部１０９から指定被写体追尾情報を取得する。追尾部５１０は、作業対象物追尾情報と指定被写体追尾情報とに基づいて、画像データ内に存在する作業対象物と指定被写体の追尾処理を行う。追尾部５１０は、作業対象物指定順記憶部５１７に記憶されている指定順のうち、先頭つまり最先の指定順に対応する作業対象物追尾情報を用いて追尾処理を行う。

通知制御部５１３は、距離算出部１１２で得られた評価距離と作業対象物指定順記憶部５１７が記憶している指定座標の指定順に基づいて、通知部１１４を制御する。通知制御部５１３は、評価距離に応じて、通知部１１４による通知内容を変更する。通知制御部５１３は、作業対象物指定順記憶部５１７が記憶している指定順に応じて、通知内容を変更してもよい。例えば、通知制御部５１３は、指定順に応じて、音を鳴らす周期を変更する。

図７は、複数の作業対象物と指定被写体とを指定順にしたがって順番に一致させる動作を説明する図である。
本実施例で実施例１と同じ内容に関しては、説明を省略する。図７（Ａ）は、図２（Ａ）と同様に、作業支援端末１２０の表示部１２６に表示されるカメラ端末５００で撮影されたライブビュー画像２００を示す。図７（Ｂ）は、作業支援者が、指定座標６０１を指定し、次に指定座標６０２を指定した状態におけるライブビュー画像６００を示す。作業支援端末１２０は、作業支援者が作業対象として指定した指定座標６０１と指定座標６０２の指定座標を取得し、カメラ端末１００に送信する。通知制御部５１３は、指定座標の指定順に、評価距離に応じた通知部１１４の制御を実行する。

図７（Ｃ）は、図２（Ｃ）と同様に、距離画像生成部１１１によって生成される距離画像２２０を示す。図７（Ｄ）は、図２（Ｄ）と同様に、距離算出部１１２が算出した評価距離２２３と通知部１１４が通知する音量の対応関係を示す。また、図７（Ｅ）は、図２（Ｅ）と同様に、作業者が最初の作業対象物を捜し当てた状態での、指定被写体２３２と指定座標２１１間の評価距離２２３を示す。図７（Ｆ）は、図２（Ｆ）と同様に、距離算出部１１２が算出した評価距離２２３と通知部１１４が通知する音量との対応関係を示す。

図６（Ｇ）は、作業支援者が作業対象として指定した指定座標６０１と指定被写体２３２とが一致した後の状態を示す。システム制御部１０４が、指定座標６０１と指定被写体２３２とが一致したと判定した場合、指定座標６０１の次の指定順である指定座標６０２が追尾対象となる。そして、指定被写体２３２が検出され、通知部１１４が指定座標６０２と指定被写体２３２間の評価距離６１２に対応した音で通知を行う。図６（Ｈ）は、距離算出部１１２が算出した評価距離６１２と通知部１１４が通知する音量の対応関係を示す図である。図７（Ｈ）に示す例では、評価距離６１２が大きいので、通知部１１４からの通知は行われていない。

図８および図９は、実施例２における、複数の作業対象物と指定被写体とを順番に一致させる動作を説明するフローチャートである。
作業支援端末側の処理に関しては、図５を参照して説明した処理と同様である。また、本フローチャートにおける処理で図３および図４のフローチャートにおける処理と同じ処理については、同じ番号を付しており、説明を省略する。

Ｓ７０１において、システム制御部１０４が、作業支援端末１２０からの指定座標の送信が全て完了したか判定する。例えば、作業支援者が全ての作業対象物を選択した後に完了コマンドを送信する。システム制御部１０４は、通信部１１５が完了コマンドを受信した場合は、作業支援端末１２０からの指定座標の送信が全て完了したと判定する。

作業支援端末１２０からの指定座標の送信が全て完了した場合は、処理がＳ７０３に進む。作業支援端末１２０からの指定座標の送信が完了していない場合は、処理がＳ３０６に進む。

Ｓ７０２において、システム制御部１０４が、Ｓ３０８で認識された作業対象物が何番目に指定された作業対象物であるかを示す指定順を作業対象物指定順記憶部５１７に記憶する。そして、処理がＳ３０２に戻る。Ｓ７０３において、システム制御部１０４が、作業対象物指定順記憶部５１７に記憶されている指定順のうち、先頭の指定順に対応する作業対象物の作業対象物追尾情報を追尾対象として設定する。

図９のＳ７０４において、通知制御部５１３が、評価距離が所定の距離範囲内であるかを判定する。評価距離が所定の距離範囲内でない場合は、処理がＳ３０２に戻る。評価距離が所定の距離範囲内である場合は、処理がＳ３１４に進む。そして、Ｓ３１４において、通知制御部５１３が、通知部１１４を制御して、評価距離に応じた音量で通知を行う。通知制御部５１３が、作業対象物指定順記憶部５１７が記憶している指定順に応じて、音を鳴らす周期を変更してもよい。

Ｓ７０５において、システム制御部１０４が、全ての作業対象物に対して処理が完了したかを判定する。処理が完了していない作業対象物がある場合は、処理がＳ７０６に進む。全ての作業対象物に対して処理が完了した場合は、処理を終了する。Ｓ７０６において、システム制御部１０４が、次の指定順の作業対象物を指定順の先頭に指定する。そして、処理が図８のＳ３０２に戻る。実施例２の作業支援システムによれば、作業支援者が複数指定した作業対象物を指定した順番で作業者に通知することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ カメラ端末
１２０ 作業支援端末

Claims (10)

1. 情報処理装置と通信する画像処理装置であって、
   前記情報処理装置に対して撮像画像を送信する送信手段と、
   前記情報処理装置によって指定された作業対象物の位置情報を前記情報処理装置から取得する取得手段と、
   第１の記憶部に記憶された撮像画像と、前記取得された位置情報とに基づいて、前記位置情報に対応する作業対象物を認識する第１の認識手段と、
   前記第１の記憶部に記憶された撮像画像に基づいて、前記作業対象物の指定に用いられる被写体を認識する第２の認識手段と、
   前記認識された作業対象物と前記被写体とを追尾する追尾手段と、
   前記追尾されている作業対象物と前記被写体との距離に基づいて、通知を行う通知手段とを備え、
   前記情報処理装置によって複数の作業対象物が指定された場合に、前記通知手段は、前記複数の作業対象物と前記被写体との距離に基づいて、前記通知を行い、
   前記画像処理装置は、さらに、前記複数の作業対象物の指定順を記憶する第２の記憶部を備え、
   前記追尾手段は、前記第２の記憶部に記憶された指定順にしたがって、前記作業対象物と前記被写体とを追尾し、
   前記通知手段は、前記第２の記憶部に記憶された指定順に応じて、通知内容を変更する
   ことを特徴とする画像処理装置。
2. 前記通知手段は、前記作業対象物と前記被写体との距離が閾値以下になった場合に、前記通知を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記通知手段は、前記作業対象物と前記被写体との距離に応じて、通知内容を変更する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記通知手段は、音の出力によって前記通知を行う
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記通知手段は、振動によって前記通知を行う
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記通知手段は、光の出力によって前記通知を行う
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 被写体光を光電変換して前記撮像画像を撮像する撮像素子と、請求項１乃至６のいずれか１項に記載の画像処理装置とを備えることを特徴とする撮像装置。
8. 画像処理装置と、前記画像処理装置と通信する情報処理装置とを有するシステムであって、
   前記画像処理装置は、
   前記情報処理装置に対して撮像画像を送信する送信手段と、
   前記情報処理装置から作業対象物の位置情報を取得する取得手段と、
   第１の記憶部に記憶された撮像画像と、前記取得された位置情報とに基づいて、前記位置情報に対応する作業対象物を認識する第１の認識手段と、
   前記第１の記憶部に記憶された撮像画像に基づいて、前記作業対象物の指定に用いられる被写体を認識する第２の認識手段と、
   前記認識された作業対象物と前記被写体とを追尾する追尾手段と、
   前記追尾されている作業対象物と前記被写体との距離に基づいて、通知を行う通知手段と、を備え、
   前記情報処理装置によって複数の作業対象物が指定された場合に、前記通知手段は、前記複数の作業対象物と前記被写体との距離に基づいて、前記通知を行い、
   前記画像処理装置は、さらに、前記複数の作業対象物の指定順を記憶する第２の記憶部を備え、
   前記追尾手段は、前記第２の記憶部に記憶された指定順にしたがって、前記作業対象物と前記被写体とを追尾し、
   前記通知手段は、前記第２の記憶部に記憶された指定順に応じて、通知内容を変更し、
   前記情報処理装置は、
   前記画像処理装置から送信された撮像画像を表示する表示手段と、
   前記作業対象物の位置情報を指定する指定手段と、
   前記指定された位置情報を前記画像処理装置に送信する送信手段と、を備える
   ことを特徴とする作業支援システム。
9. 情報処理装置と通信する画像処理装置の制御方法であって、
   前記情報処理装置に対して撮像画像を送信する工程と、
   前記情報処理装置によって指定された作業対象物の位置情報を前記情報処理装置から取得する工程と、
   第１の記憶部に記憶された撮像画像と、前記取得された位置情報とに基づいて、前記位置情報に対応する作業対象物を認識する工程と、
   前記第１の記憶部に記憶された撮像画像に基づいて、前記作業対象物の指定に用いられる被写体を認識する工程と、
   前記認識された作業対象物と前記被写体とを追尾する工程と、
   前記追尾されている作業対象物と前記被写体との距離に基づいて、通知を行う工程とを有し、
   前記情報処理装置によって複数の作業対象物が指定された場合に、前記通知を行う工程は、前記複数の作業対象物と前記被写体との距離に基づいて、前記通知を行い、
   前記画像処理装置は、さらに、前記複数の作業対象物の指定順を記憶する第２の記憶部を備え、
   前記追尾する工程は、前記第２の記憶部に記憶された指定順にしたがって、前記作業対象物と前記被写体とを追尾し、
   前記通知を行う工程は、前記第２の記憶部に記憶された指定順に応じて、通知内容を変更する
   ことを特徴とする制御方法。
10. コンピュータを請求項１乃至６のいずれか１項に記載の画像処理装置が備える各手段と
    して機能させることを特徴とするプログラム。

Images