JP6075110B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、例えば、認識対象物に対応するユーザの作業支援情報となる付加情報画像の表示に用いる画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、情報通信技術の発展に伴い、現実空間（外界）を撮像した画像にコンピュータを用いて視覚情報を付加して表示する、拡張現実に関する技術の開発が行われている。視覚情報の表示には、主に、外界の画像を取得するカメラを装着したＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等のウェアラブル装置が利用されており、ユーザの視野方向に存在する認識対象物に関する詳細な情報（以下、付加情報画像と称する）を、外界の画像に重畳して表示することが行われている。

拡張現実技術を利用し、電子機器等の障害発生時における障害箇所の特定、及び、ユーザの障害修復作業を支援する機能が実現されている。例えば、コピー機の紙詰まり障害の修復作業支援において、付加情報画像となる予め紙詰まり発生位置に対応付けて用意されたコピー機の内部映像及び操作手順を、認識対象物となるコピー機に重畳表示する技術が開示されている。当該技術においては、付加情報画像が認識対象物を隠蔽することになる為、付加情報画像の重畳表示による隠蔽を防止する技術も開示されている。例えば、付加情報画像の重畳表示の有無を物理的な機構（スイッチ）操作で切替える技術が開示されている。また、ユーザの頭部に装着するカメラの撮影画像から算出される頭部の振れ幅に基づいてユーザの作業状態を推定し、付加情報画像の重畳表示の有無を切替える技術が開示されている。

特開２００８−２０１１０１号公報 特開２００６−１２０４２号公報 特開２００９−２５１１５４号公報

認識対象物に対応するユーザの作業支援情報となる付加情報画像の表示に用いる画像処理装置においては、付加情報画像の視認性とユーザの作業性の双方を向上させることが好ましいが、この様な画像処理装置は提唱されていない状況にある。

本発明は、付加情報画像の視認性とユーザの作業性の双方を向上させることが可能となる画像処理装置を提供することを目的とする。

本発明が開示する画像処理装置は、認識対象物とユーザの動作部位を含む画像を取得する取得部と、画像から認識対象物と動作部位を認識する認識部と、複数の画像から動作部位の動きベクトルを算出する算出部を備える。更に当該画像処理装置は、認識対象物の位置と動きベクトルに基づいて、認識対象物に対応する付加情報画像の表示位置を、認識対象物と動作部位以外の位置に制御する制御部を備える。

なお、本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示される画像処理装置では、付加情報画像の視認性とユーザの作業性の双方を向上させることが可能となる。

一つの実施形態による画像処理装置の機能ブロック図である。 認識部５の認識対象物の認識処理のフローチャートである。 算出部６が算出する認識対象物の移動量のデータ構造を含むテーブルの一例を示す図である。 算出部６が算出する動作部位の動きベクトルのデータ構造を含むテーブルの一例を示す図である。 付加情報画像の表示候補方向の概念図である。 （ａ）は、認識対象物の作業位置と近似矩形領域における各辺の線分の関係図である。（ｂ）は、近似矩形領域における各辺の線分のデータ構造の一例を示す図である。（ｃ）は、付加情報画像の表示候補位置の概念図である。 画像処理装置１における画像処理のフローチャートである。 （ａ）は、付加情報画像の表示領域探索の第１の概念図である。（ｂ）は、付加情報画像の表示領域探索の第２の概念図である。（ｃ）は、付加情報画像の表示領域探索の第３の概念図である。 一つの実施形態による画像処理装置の第１のハードウェア構成図である。 一つの実施形態による画像処理装置の第２のハードウェア構成図である。

本発明者らの検証により、認識対象物に対応するユーザの作業支援情報となる付加情報画像の表示に用いる画像処理装置において、付加情報画像の視認性とユーザの作業性の双方を向上させる為には以下の課題が存在することが新たに見出された。

付加情報画像の重畳表示による認識対象物の隠蔽を、付加情報画像の表示の有無によって回避する場合、付加情報画像を表示しない時間においては、ユーザは付加情報画像から作業支援情報を得ることが出来ずに、作業性が著しく低下することになる。例えば、コネクタへの配線作業等、類似形状の部品が密集することにより、作業箇所を誤りやすい作業を想定する。この場合、付加情報画像の重畳表示の有無の切替えよりも、付加情報画像と認識対象物を対比可能な位置で並べて表示することで、ユーザは、作業支援情報を含む付加情報画像を参照しつつ、認識対象物に対して作業を実行出来ることになり作業効率が高められる。また、本発明者らの検証により、ユーザの作業に影響を与えない領域に付加情報画像を表示させることが作業性の向上に重要なことが見出された。なお、付加情報画像の画素値を調整することにより、付加情報画像を半透明にして認識対象物上に常に重畳表示させる手法について本発明者らが検証したが、この手法は、付加情報画像の視認性が低下する為、必ずしも好ましくはない。換言すると、認識対象物に対応するユーザの作業支援情報となる付加情報画像の表示に用いる画像処理装置においては、付加情報画像の視認性を確保した上で、ユーザの作業領域を隠蔽せず、かつ、ユーザの作業中においても参照しやすい位置に重畳表示位置を表示する技術が必要となる。

以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。

（実施例１）
図１は、一つの実施形態による画像処置装置１の機能ブロック図である。画像処理装置１は、撮像部２、記憶部４、表示部８、ならびに処理部９を有する。処理部９は、取得部３、認識部５、算出部６ならびに制御部７を有する。

撮像部２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。撮像部２は、例えば、ユーザの頸部に拘持または、装着されてユーザの視野方向の画像データを取得する。なお、撮像部２は、説明の便宜上、画像処理装置１の内部に配置しているが、ネットワークを介してアクセス可能となる様に、画像処理装置１の外部に配置することも可能である。撮像部２は、ユーザの作業対象となる認識対象物とユーザの動作部位を含む画像を撮像する。撮像部２は、認識対象物とユーザの動作部位を含む画像を取得部３に出力する。

取得部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部３は、認識対象物とユーザの動作部位を含む画像を撮像部２から受け取る。また、取得部３に、撮像部２の機能を併合させることも可能である。取得部３は、認識対象物とユーザの動作部位を含む複数の画像を認識部５と表示部８に出力する。

記憶部４は、例えば、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。なお、記憶部４は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよい。記憶部４には、外界に存在し、認識部５の認識処理の対象となる複数の認識対象物（電子回路基板、製造機械等）の特徴点（第１特徴点または第１特徴点群と称しても良い）が、予め認識対象物を撮像した画像から予め抽出されて記憶されている。また、記憶部４は、認識対象物に対応する付加情報画像が記憶されていても良い。更に、記憶部４に記憶される付加情報画像は、一つの認識対象物に対して一つである必要はなく、複数の付加情報画像が記憶されていても良い。

なお、記憶部４は、説明の便宜上、画像処理装置１の内部に配置しているが、ネットワークを介してアクセス可能となる様に、画像処理装置１の外部に配置することも可能である。また、記憶部４には、後述する画像処理装置１で実行される各種プログラム、例えばＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などの基本ソフトや画像処理の動作が規定されたプログラムが記憶される。更に、記憶部４には、当該プログラムの実行に必要な各種データ等も必要に応じて記憶される。また、記憶部４に記憶される各種データを、例えば、認識部５、算出部６、制御部７の図示しないメモリまたはキャッシュに適宜格納し、画像処理装置１は、記憶部４を使用しない構成としても良い。

認識部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、認識部５は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。認識部５は、取得部３から複数の画像を受け取る。認識部５は、複数の画像から特徴点を抽出して、抽出した特徴点（第２特徴点または第２特徴点群と称しても良い）と記憶部４に記憶されている認識対象物の特徴点を対応付けることにより、取得部３が取得する複数の画像に含まれている少なくとも一つの認識対象物を認識する。

図２は、認識部５の認識対象物の認識処理のフローチャートである。先ず、認識部５は、取得部３から取得時間が異なる複数の画像を受信し、複数の画像のそれぞれ（フレーム毎）から特徴点を抽出する（ステップＳ２０１）。なお、抽出される特徴点は通常複数である為、複数の特徴点の集合を特徴点群と定義しても良い。

ステップＳ２０１において抽出する特徴点は、記述子（ｄｅｓｃｒｉｐｔｏｒ）と呼ばれる特徴点ごとの特徴量ベクトルが計算される特徴点であれば良い。例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴点や、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）特徴点を使用することが可能である。なお、ＳＩＦＴ特徴点の抽出方法については、例えば、米国特許第６７１１２９３号に開示されている。ＳＵＲＦの抽出方法については、例えば、Ｈ．Ｂａｙ、ｅｔ．ａｌ．「ＳＵＲＦ：Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、 Ｖｏｌ．１１０、 Ｎｏ．３、 ｐｐ．３４６−３５９、２００８に開示されている。

次に、認識部５は、ステップＳ２０１で認識部５が抽出した特徴点群（第２特徴点群と称しても良い）と、記憶部４に記憶されている全て認識対象物の候補の特徴点群との照合が完了しているか否かを判断する（ステップＳ２０２）。なお、記憶部４に記憶されている認識対象物の特徴点群は、予め上述のＳＩＦＴ特徴点やＳＵＲＦ特徴点が記憶されているものとする。認識部５は、ステップＳ２０２において、照合が完了していない場合（ステップＳ２０２−Ｎｏ）は、記憶部４に予め記憶されている任意の一つの認識対象物を選択する（ステップＳ２０３）。次に、認識部５は、ステップＳ２０３おいて選択した認識対象物の特徴点群を記憶部４から読み出す（ステップＳ２０４）。認識部５は、ステップＳ２０４で抽出した特徴点群から、任意の一つの特徴点を選択する（ステップＳ２０５）。

認識部５は、ステップＳ２０５で選択した一つの特徴点と、ステップＳ２０４で読み出して選択した認識対象物の特徴点の対応付けを探索する。探索方法としては、一般的な対応点探索によるマッチング処理を用いれば良い。具体的には、認識部５は、ステップＳ２０５で選択した一つの特徴点と、ステップＳ２０４で読み出した選択した認識対象物の特徴点群それぞれの距離ｄを計算する（ステップＳ２０６）。

次に、認識部５は、特徴点の対応付けの妥当性の判定を行う為に閾値判定を行う。具体的には、認識部５は、ステップＳ２０６において、算出した距離ｄの最小値ｄ１と、２番目に最小となる値ｄ２を算出する。そして、認識部５は、閾値判定となるｄ１とｄ２の距離が所定の距離以上（例えばｄ１がｄ２に０．６を乗算した値よりも小さい値）かつｄ１が所定の値以下（例えば０．３未満）の条件を満たしているか否かを判定する（ステップＳ２０７）。認識部５は、ステップＳ２０７で閾値判定の条件を満たしている場合（ステップＳ２０７−Ｙｅｓ）は、特徴点の対応付けを行う（ステップＳ２０８）。条件を満たしていない場合（ステップＳ２０７−Ｎｏ）は、特徴点の対応付けを行わず、ステップＳ２０９に処理を進める。

認識部５は、ステップＳ２０４で読み出した特徴点群と、ステップＳ２０１で抽出した特徴点群を全て照合したかを判定する（ステップＳ２０９）。照合処理が完了した場合（ステップＳ２０９−Ｙｅｓ）、認識部４は、ステップＳ２０２において、全ての照合が終了した場合（ステップＳ２０２−Ｙｅｓ）は、ステップＳ２１０に処理を進める。照合処理が完了していない場合（ステップＳ２０９−Ｎｏ）、認識部５は、ステップＳ２０５に処理を進める。そして、認識部５は、ステップＳ２０８で対応付けた特徴点の個数に基づいて取得部３が取得した画像に含まれる認識対象物を認識する（ステップＳ２１０）。なお、ステップＳ２１０で対応づけた、記憶部４に記憶される特徴点群を、第１特徴点または第１特徴点群と称しても良い。

この様にして、認識部５は、取得部３から取得した画像から、当該画像に含まれる認識対象物を認識する。なお、認識部５は、取得部３から受け取る複数の画像の全てにおいて上述の認識処理を行わずに、所定時間毎に認識処理を行うキーフレームを定めることで処理コストを削減させることが可能となる。

図１の認識部５は、更に、取得部３から受け取った画像から、ユーザの動作部位を認識する。ユーザの動作部位は、例えば、手指である。認識部５は、手指を認識する方法として、例えば、特許第３８６３８０９号に開示される、画像処理による手指位置を推定する手法を用いることが出来る。実施例１においては、説明の便宜上、認識部５は、上述の特許第３８６３８０９号に開示されている方法を用いるものとして以降の説明を行う。当該方法では、認識部５は、取得部３から受け取った画像から、例えば肌色の色成分部分を抜き出す（抽出する）ことで、手領域輪郭を抽出する。その後、認識部５は、手の本数を認識した上で手領域輪郭から手指の認識処理を行う。なお、認識部５は、肌色の色成分の抽出は、ＲＧＢ空間やＨＳＶ空間の適切な閾値調整を用いることが出来る。認識部５は、認識対象物と動作部位に関する認識結果を算出部６に出力する。

算出部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、算出部６は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。算出部６は、認識対象物と動作部位に関する認識結果を認識部５から受け取る。算出部６は、認識部５が認識した認識対象物の移動量、ならびに、ユーザの動作部位の移動量と移動方向の情報を含む動きベクトルを、取得部３が取得する取得時間が異なる複数の画像から算出する。算出部６は、認識対象物の移動量を、オプティカルフローを用いた一般的な手法を用いて算出することが出来る。また、算出部６は、ユーザの動作部位となる手指の動きベクトルを算出する方法として、例えば、「山下ら、“３次元Active Appearance Modelを用いた手形状認識”、画像の認識・理解シンポジウム、MIRU2012, IS3-70, 2012-08」に開示される、予め手の形状に関する学習データを保持しておき、現時刻で取得した画像と学習データの間の類似度を計算して手指形状を推定する方法を利用することが出来る。算出部６は、推定した手指に対し任意の基準点を定めて、当該基準点の移動量と移動方向を動きベクトルとして算出することが出来る。

図３は、算出部６が算出する認識対象物の移動量のデータ構造を含むテーブルの一例を示す図である。なお、算出部６は、図３のテーブル３０を、算出部６の図示しないキャッシュまたはメモリに格納、或いは記憶部４に記憶することが出来る。図３のテーブル３０においては、例えば、取得部３が取得する画像の左上端を原点とすることが出来る。なお、図３のテーブル３０における画像上の認識対象物位置となるＴ_ＸとＴ_Ｙは、画像の原点に対する認識対象物の任意の基準点の横方向と縦方向の座標であり、単位は画素（ピクセル）である。認識対象物の任意の基準点は、例えば、認識対象物の中心に設定することが出来る。また、図３のテーブル３０は、撮像部２の撮影画像解像度が、幅６４０画素、高さ４８０画素であり、動画像撮影において、撮像部２の約３０ｃｍ前方に認識対象物が存在する状況を想定した場合のデータ構造の一例となる。更に、図３のテーブル３０は、第１００（画像）フレームにて、撮影画像中に、認識部５が、認識対象物を認識し、以降のフレームにおいても継続して認識対象物を認識している状態を示している。

図３のテーブル３０において、算出部６は、第Ｎフレームでの認識対象物の座標値をＴ_ＸＮ、Ｔ_ＹＮとした場合、例えば、１０１フレームにおけるＴ_Ｘ変化量とＴ_Ｙ変化量を、次式を用いて算出することが出来る。
（数１）
Ｔ_Ｘ変化量_１０１＝Ｔ_Ｘ１０１−Ｔ_Ｘ１００
Ｔ_Ｙ変化量_１０１＝Ｔ_Ｙ１０１−Ｔ_Ｙ１００

算出部６は、図３のテーブル３０から、所定のフレーム間における認識対象物の移動量の絶対値平均を算出する。例えば、所定のフレーム数を５とした場合、１０１フレームから１０５フレームにおける認識対象物の移動量の絶対値平均は（１３．２、２３．２）となる。なお、認識対象物の移動量の絶対値平均を、説明の便宜上、認識対象物の平均移動量と称することとする。実施例１においては、認識対象物の平均移動量が、所定の閾値未満であれば、ユーザが作業の対象となる認識対象物を注視し、作業を開始する前の状態である「確認状態」として判断するものとする。また、認識対象物の平均移動量が、所定の閾値以上であれば、算出部６は、認識部５に認識対象物の認識処理の実行を指示しても良いし、継続的に認識対象物の平均移動量の算出処理を実行しても良い。

上述の所定の閾値は、撮像部２と認識対象物との距離や、撮像部２の撮影画角や画像解像度に応じて適宜規定することが出来るが、実施例１に示す例においては、閾値を、例えば、５０画素と規定することが出来る。図３のテーブル３０に示す例においては、認識対象物の平均移動量は、（１３．２、２３．２）であり、閾値未満であることから、算出部６は、ユーザが確認状態であるものと判定する。この場合は、算出部６は、記憶部４から、認識対象物に対応する付加情報画像を読み出し、図１の表示部８に対して当該付加情報画像を認識対象物に重畳表示させても良い。これにより、ユーザは、作業対象となる認識対象物を正確に把握することが可能となる。

算出部６は、ユーザが確認状態であると判定した場合、ユーザの動作部位の移動量と移動方向の情報を含む動きベクトルを算出する。なお、実施例１においては、上述の通り、動作部位の一例として手指を例として説明する。図４は、算出部６が算出する動作部位の動きベクトルのデータ構造を含むテーブルの一例を示す図である。なお、算出部６は、図４のテーブル４０を、算出部６の図示しないキャッシュまたはメモリに格納、或いは記憶部４に記憶することが出来る。図４に示すテーブル４０においては、例えば、取得部３が取得する画像の左上端を原点とすることが出来る。なお、図４のテーブル４０の認識対象物位置となるＴ_ＸとＴ_Ｙならびに、手指位置となるＨ_ＸとＨ_Ｙは、それぞれ画像の原点に対する認識対象物または手指の任意の基準点の横方向と縦方向の座標であり、単位は画素（ピクセル）である。

認識対象物の任意の基準点は、図３のテーブル３０と同様に、例えば、認識対象物の中心に設定することが出来る。手指の任意の基準点は、例えば、手指の形状を楕円近似した場合の楕円中心に設定することが出来る。また、図４のテーブル４０は、図３のテーブル３０と同様に、撮像部２の撮影画像解像度が、幅６４０画素、高さ４８０画素であり、動画像撮影において、撮像部２の約３０ｃｍ前方に認識対象物が存在する状況を想定した場合のデータ構造の一例となる。更に、図４のテーブル４０は、第２００（画像）フレームにて、撮影画像中に、認識部５が、認識対象物の他に手指を認識し、以降のフレームにおいても継続して認識対象物と手指を認識している状態を示している。

図４のテーブル４０において、算出部６は、第Ｎフレームにおける手指の座標値をＨ_ＸＮ、Ｈ_ＹＮとした場合、第ＮフレームにおけるＨ_Ｘ変化量とＨ_Ｙ変化量を、次式を用いて算出することが出来る。なお、次式においては、第Ｎフレームと、その直前のフレームとなる第Ｎ−１フレームの相対位置の差分からＨ_Ｘ変化量とＨ_Ｙ変化量を算出している。
（数２）
Ｈ_Ｘ変化量_Ｎ＝（Ｈ_ＸＮ−Ｔ_ＸＮ）−（Ｈ_ＸＮ−１−Ｔ_ＸＮ−１）
Ｈ_Ｙ変化量_Ｎ＝（Ｈ_ＹＮ−Ｔ_ＹＮ）−（Ｈ_ＹＮ−１−Ｔ_ＹＮ−１）

また、算出部６は、第Ｎフレームにおける手指の移動方向（角度）と、手指の位置に対する認識対象物の位置方向（角度）を、次式を用いて算出することが出来る。なお、次式においては、第Ｎフレームと、その直前のフレームとなる第Ｎ−１フレームの手指の位置や認識対象物の位置から、手指の移動方向_Ｎと、手指の位置を基点とする認識対象物の位置方向_Ｎを算出している。
（数３）
手指の移動方向_Ｎ＝ａｒｃｔａｎ（Ｈ_Ｘ変化量_Ｎ／Ｈ_Ｙ変化量_Ｎ）
認識対象物の位置方向_Ｎ＝ａｒｃｔａｎ（（Ｔ_ＸＮ−Ｈ_ＸＮ）／（Ｔ_ＹＮ−Ｈ_ＹＮ））

算出部６は、図４のテーブル４０の第Ｎフレームにおける方向差を、次式を用いて算出することが出来る。なお、次式においては、手指の移動方向_Ｎと認識対象物の位置方向_Ｎの差分の絶対値から方向差を算出している。
（数４）
方向差＝｜手指の移動方向_Ｎ−認識対象物の位置方向_Ｎ｜

算出部６は、方向差を所定のフレームに渡って、図４のテーブル４０に蓄積し、フレーム毎に所定の閾値と比較する。方向差が所定のフレームに渡って所定の閾値未満の状態が継続する場合は、算出部６は、ユーザが作業を開始する為にユーザの手指が認識対象物に向かって移動していると判定することが出来る。なお、所定の閾値は、撮像部２と認識対象物との距離や、撮像部２の撮影画角や画像解像度に応じて適宜規定することが出来るが、実施例１においては、例えば閾値を１０度と規定することが出来る。また、当該閾値を第４閾値と称しても良い。図４のテーブル４０において、例えば、所定のフレーム数を５とした場合、２０１フレームから２０５フレームにおける方向差は最大で９．６度となる。この場合、所定のフレーム数に渡って方向差が閾値未満の為、手指が認識対象物に向かって移動していると判定する。

算出部６は、図４のテーブル４０のＨ_Ｘ変化量ならびにＨ_Ｙ変化量の絶対値を、単位時間当たりの手指の移動量（移動速度）として看做すことが出来る。算出部６は、手指の移動量が所定の閾値以上の場合は、作業を開始する為に手指が移動していると判定することが出来る。所定の閾値は、撮像部２と認識対象物との距離や、撮像部２の撮影画角や画像解像度に応じて適宜規定することが出来るが、実施例１では、例えば、閾値を２０画素と規定することが出来る。図４のテーブル４０において、Ｈ_Ｘ変化量ならびにＨ_Ｙ変化量の絶対値の最小値は２２画素であり、所定の閾値以上の為、算出部６は、手指が作業を開始する為に移動していると判定する。なお、当該閾値を第３閾値と称しても良い。更に、第３閾値と第４閾値を適宜組み合わせた閾値を第１閾値と称しても良い。

実施例１においては、ユーザの動作部位の一例となる手指の方向差（移動方向）が所定の閾値未満、または、移動量が所定の閾値以上の場合は、ユーザが認識対象物に対して作業を実施する「操作状態」として判断するものとする。算出部６は、上述の操作状態の判定処理にあたり、手指の方向差または移動量（移動方向）の何れか一方のみを用いても良いし、双方を用いても良い。また、手指の方向差（移動方向）と移動量の情報を動きベクトルと称しても良い。なお、算出部６は、操作状態として判断しない場合は、認識部５に対して認識対象物の認識処理の実行を指示しても良いし、継続的に図４のテーブル４０に示す各データの算出処理を実行しても良い。また、算出部６は、認識部５が一つ以上の手指、即ち両手を認識した場合は、認識部５が最初に認識した手指のみについて処理対象とすることが出来る。算出部６は、例えば、図４のテーブル４０に示す、認識対象物と動作部位に関する算出結果を制御部７に出力する。

図１の制御部７は、例えば、ワイヤードロジックによるハードウェア回路である。また、制御部７は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。制御部７は、例えば、認識部５が認識した認識対象物に対応する付加情報画像を記憶部４から受け取る。更に、制御部７は、認識対象物と動作部位に関する算出結果を算出部６から受け取る。制御部７は、認識対象物に対応する付加情報画像の表示位置を、認識対象物とユーザの動作部位以外の位置に制御し、制御した付加情報画像を表示部８に表示させる。換言すると、制御部７は、付加情報画像の表示位置を、認識対象物が動きベクトルと付加情報画像に介在される位置、かつ、認識対象物の基準位置（例えば、ユーザの作業対象の位置となる作業位置）と付加情報画像の基準位置（例えば、作業位置）の距離が最小となる位置に制御する。

制御部７は、認識対象物を例えば矩形近似して、近似矩形領域の各辺の法線方向について、手指の移動方向に対する角度を算出する。制御部７は、例えば、手指の移動方向と各辺の法線方向を比較し、内角差が所定の角度（例えば９０°）未満となる方向を、付加情報画像の表示候補方向とする。制御部７は、当該表示候補方向に付加情報画像の表示位置に制御した場合における、認識対象物の作業位置と、付加情報画像が示す認識対象物の仮想的な作業位置との距離を算出し、当該距離が最小となる領域を選択することで付加情報画像の表示位置を制御する。

図５は、付加情報画像の表示候補方向の概念図である。図５においては、ユーザの手指の基準点が斜め左上方向を移動方向として進行しているものとする。また、図５において、制御部７は、上述の通り、認識対象物を矩形近似して、近似矩形領域の各辺の法線方向について手指の移動方向に対する角度を算出する。図５においては、θ_１とθ_２が、内角差が９０°未満となる為、認識対象物の作業位置に対して、上方向と左方向が付加情報画像の表示候補方向となる。

図６（ａ）は、認識対象物の作業位置と近似矩形領域における各辺の線分の関係図である。図６（ｂ）は、近似矩形領域における各辺の線分のデータ構造の一例を示す図である。図６（ｃ）は、付加情報画像の表示候補位置の概念図である。図６（ａ）の認識対象物と近似矩形領域の大きさは、撮像部２の撮像条件に依存した大きさとなる。また、作業位置座標（Ｗ_Ｘ、Ｗ_Ｙ）は、例えば、予め認識対象物に対応付られて記憶部４に記憶されているものとする。なお、作業位置座標（Ｗ_Ｘ、Ｗ_Ｙ））の原点は、例えば、取得部３が取得する画像の左上端とすることが出来る。図６（ｂ）のテーブル６０は、記憶部４に記憶される認識対象物の作業位置を基点とした近似矩形領域の各辺までの基本距離を示している。換言すると、図６（ｂ）のテーブル６０は、撮像部２の撮像条件に依存しない、認識対象物の作業位置を基点と近似矩形領域の各辺までの相対的な距離を示している。なお、制御部７は、取得部３が取得した認識対象物の姿勢に対応する付加情報画像を記憶部４から選択することが可能であり、かつ、認識対象物と同一のサイズに付加情報画像を拡大縮小処理することが可能である。この為、制御部７は、認識対象物と付加情報画像を重畳表示させる場合においても、認識対象物の画像上の大きさ（面積）に合わせて、付加情報画像を拡大縮小処理することが出来る。ここで、拡大縮小の比率をα（例えばα＝５）とすると、図６（ｂ）に示す各種データを用いて、図６（ａ）に示す各辺の線分の距離を、次式を用いて算出することが出来る。
（数５）
Ｓ_Ｔ＝α×Ｓ_ＯＴ
Ｓ_Ｌ＝α×Ｓ_ＯＬ
Ｓ_Ｂ＝α×Ｓ_ＯＢ
Ｓ_Ｒ＝α×Ｓ_ＯＲ

図６（ｃ）において、付加情報画像を認識対象物の上方向に表示した場合の、付加情報画像の仮想的な作業位置と認識対象物の作業位置間の距離をＬＴ、左方向に表示した場合の作業位置間の距離をＬＬとすると、距離ＬＴと距離ＬＬは次式と通り算出される。
（数６）
ＬＴ＝Ｓ_Ｔ＋Ｓ_Ｂ＝９５
ＬＬ＝Ｓ_Ｒ＋Ｓ_Ｌ＝２０
なお、上述の（数６）において、単位は画素となる。制御部７は、距離ＬＬが最小距離となる為、距離ＬＬの条件を満たす領域位置を、付加情報画像の表示位置として制御する。なお、制御部７は、付加情報画像を、認識対象物に隙間を設けずに表示させる様に制御しても良い。制御部７は、表示位置を制御した付加情報画像を表示部８へ出力する。

制御部７は、撮像部２の撮像条件によって変化し得る認識対象物の画像上の位置、姿勢、面積等から、作業位置座標（Ｗ_Ｘ、Ｗ_Ｙ）や、近似矩形領域の各辺の傾きを算出することも出来る。制御部７は、近似矩形領域の各辺の傾きと作業位置の座標値を用いることで、図６（ａ）に示すに、近似矩形領域の各辺の線分の距離を算出しても良い。近似矩形領域の各辺の線分の距離は、例えば、Ｓ_Ｔ＝４０、Ｓ_Ｌ＝８、Ｓ_Ｂ＝５５、Ｓ_Ｒ＝１２となる。

図１の表示部８は、例えば、ディスプレイなどの表示デバイスである。表示部８は、表示位置が制御された付加情報画像を制御部７から受け取り、取得部３が取得した画像を取得部３から受け取る。表示部８は、表示位置を制御した付加情報画像を、取得部３が取得した画像に重畳させて表示する。

処理部９は、例えば、ワイヤードロジックによるハードウェア回路である。また、処理部９は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。処理部９は、取得部３、認識部５、算出部６、制御部７の機能を、必要に応じて処理部９が保持し、各機能を実施しても良い。なお、処理部９は、必ずしも画像処理装置１に保持される必要はない。

なお、画像処理装置１は、画像処理装置１が有する各機能部を、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路で構成しても良い。なお、付加情報画像の重畳表示後に、取得部３が取得する画像において、任意の所定フレーム数に渡ってユーザの動作部位が認識されない場合は、画像処理装置１は、ユーザの作業状態が操作状態から確認状態に移行したと判断して、認識対象物の位置に付加情報画像を重畳表示しても良い。

図７は、画像処理装置１における画像処理のフローチャートである。認識部５は、撮像部２が撮像する画像を取得部３から受け取り、当該画像に対して認識対象物の認識処理を実施する（ステップＳ７０１）。認識部５は、認識対象物を認識しない場合（ステップＳ７０１−Ｎｏ）は、画像処理を終了する。認識部５は、認識対象物を認識した場合（ステップＳ７０１−Ｙｅｓ）は、算出部６は、認識対象物の移動量を算出する（ステップＳ７０２）。なお、算出部６が算出する認識対象物の移動量のデータ構造は、例えば、図３のテーブル３０に示すデータ構造であれば良い。

算出部６が算出する認識対象物の移動量が所定の閾値未満の場合（ステップＳ７０２−Ｙｅｓ）は、算出部６は、記憶部４から認識対象物に対応する付加情報画像を読み出し、表示部８に対して当該付加情報画像を認識対象物に重畳表示させる（ステップＳ７０９）。算出部６が算出する認識対象物の移動量が所定の閾値以上の場合（ステップＳ７０２−Ｎｏ）は、認識部５は、画像からユーザの動作部位の認識処理を実施する（ステップＳ７０３）。

認識部５は、画像からユーザの動作部位を認識しない場合（ステップＳ７０３−Ｎｏ）は、ステップＳ７０１の画像処理を実行する。認識部５は、画像からユーザの動作部位を認識した場合（ステップＳ７０３−Ｙｅｓ）は、算出部６は、ユーザの動作部位の移動量と移動方向の情報を含む動きベクトルを算出する（ステップＳ７０４）。なお、算出部６が算出する動作部位の動きベクトルのデータ構造は、例えば、図４のテーブル４０に示すデータ構造であれば良い。

制御部７は、動きベクトルと所定の閾値に応じて、付加情報画像の表示位置を制御する（ステップＳ７０５）。ステップＳ７０５において、制御部７は、例えば、付加情報画像の表示位置を、認識対象物が動きベクトルと付加情報画像に介在される位置、かつ、認識対象物の基準位置（例えば、ユーザの作業対象の位置となる作業位置）と付加情報画像の基準位置（例えば、作業位置）の距離が最小となる位置に制御する。次に，例えば、制御部７が、記憶部４から認識対象物に対応する付加情報画像を読み出し、表示部８に対して当該付加情報画像を認識対象物に重畳表示させる（ステップＳ７０６）．

認識部５は、取得部３から受け取る、異なる時刻の画像に対して、動作部位と認識対象物の認識処理を実施する（ステップＳ７０７）。認識部５が、動作部位と認識対象物を認識した場合（ステップＳ７０７−Ｙｅｓ）は、ステップＳ７０４の画像処理を実行する。認識部５が、動作部位と認識対象物を認識しない場合（ステップＳ７０７−Ｎｏ）は、認識部５の処理対象となっている画像に対して認識対象物の認識処理を実施する（ステップＳ７０８）。ステップＳ７０８において、認識部５が認識対象物を認識しない場合（ステップＳ７０８−Ｎｏ）は、画像処理を終了する。

認識部５が認識対象物を認識した場合（ステップＳ７０８−Ｙｅｓ）は、例えば、算出部６が、記憶部４から認識対象物に対応する付加情報画像を読み出し、表示部８に対して当該付加情報画像を認識対象物に重畳表示させ（ステップＳ７０９）、画像処理を終了する。なお、画像処理装置１は取得部３が画像を取得し続ける間は、ステップＳ７０１〜Ｓ７０９の処理を繰り返し実行しても良い。

実施例１における画像処理装置１においては、画像処理装置１は、「確認状態」においては、認識対象物と同じ位置に付加情報画像を重畳表示し、「操作状態」においては、付加情報画像を認識対象物隣接し、作業位置が対比し易い領域かつ、ユーザの動作部位に干渉しない領域に表示する為、付加情報画像の視認性とユーザの作業性の双方を向上させることが可能となる。

（実施例２）
実施例１においては、画像処理装置１は、ユーザの動作部位を１箇所として画像処理を実施するが、実施例２においては、複数の動作部位を対象とした画像処理について説明する。実施例２においては、例えば、図５や図６（ｃ）に例示した右手指の移動方向に応じた位置に付加情報画像を表示した後に、認識対象物に対するユーザの作業に応じて、左手指が撮像部２の撮像する画像に含まれる場合を想定する。

画像処理装置１は、左手指の移動方向を実施例１と同様に算出し、右手指の移動方向と左手指の移動方向に干渉しない方向に付加情報画像を表示する。図６（ｃ）においては、画像処理装置１は、認識対象物の上方向に付加情報画像を表示する。更に、実施例２における画像処理装置１は、左手指または右手指の何れかが、付加情報画像に干渉する位置に存在する場合は、付加情報画像の表示位置を更に制御する。なお、実施例２においては、左手指が付加情報画像に干渉する位置に存在する場合を例として説明する。

算出部６は、ユーザの動作部位の一つとなる左手指の位置を実施例１に示す方法を用いて同様に算出し、制御部７が制御した付加情報画像の表示位置と比較し、左手指の位置が付加情報画像の位置と干渉しているか否かを判定することが出来る。左手指が付加情報画像と干渉している場合は、制御部７は、付加情報画像が認識対象物と重畳せず、かつ、付加情報画像が左手指と右手指に干渉しない領域を探索する。

図８（ａ）は、付加情報画像の表示領域探索の第１の概念図である。図８（ａ）においては、制御部７は、付加情報画像が認識対象物と重畳せず、かつ、付加情報画像が左手指と右手指に干渉しない領域となる、付加情報画像の複数の第１表示候補位置を探索する。図８（ａ）においては、第１表示候補位置を３つ例示しているが、第１表示候補位置の数は特に限定されるものではない。

制御部７は、認識対象物の作業位置を原点とした場合の、第１表示候補位置における付加情報画像の作業位置の角度変化が所定の閾値未満となる領域を、第２表示候補領域として絞りこみ処理を行う。次に、制御部７は、複数の第２表示候補領域において、作業位置間の距離の変化が最小となる第３表示候補領域を最終的に選択する。制御部７は、最終的に選択した第３表示候補領域を付加情報画像の表示位置として制御する。

図８（ｂ）は、付加情報画像の表示領域探索の第２の概念図である。図８（ｃ）は、付加情報画像の表示領域探索の第３の概念図である。図８（ｂ）において、制御部７は、認識対象物の作業箇所と第２表示候補領域の付加情報画像の作業箇所を結ぶ直線のなす角度を算出する。図８（ｂ）において、制御部７は、認識対象物の左上の２つの第１表示候補領域は角度が所定の角度より小さい為、第２表示領域候補とするが、左下の第１表示候補領域は角度変化が大きいため、第２表示候補領域から除外する。図８（ｃ）に示す通り、制御部３は、作業位置間の距離の変化が最小となる第３表示候補領域を最終的に選択する。

実施例２に開示する画像処理装置１においては、ユーザの複数の動作部位が画像上で認識される場合においても、付加情報画像の視認性とユーザの作業性の双方を向上させることが可能となる。

（実施例３）
実施例２において、ユーザの手指と付加情報画像の表示位置が干渉する場合においては、付加情報画像の表示位置を制御した際に、認識対象物からの距離が大きくなり、付加情報画像と認識対象物を対比観察が難しくなる場合も想定され得る。実施例３における画像処理装置の制御部７は、図８（ｂ）における複数の第２表示候補位置における付加情報画像と認識対象物の作業位置間の距離を算出し、任意の所定の閾値と比較する。画像処理装置１の制御部７は、作業位置間の距離が閾値よりも大きい場合は、認識対象物に対応する付加情報画像の中で、閾値未満の条件を満たす表示サイズが小さい付加情報画像を記憶部４から選択する。但し、いずれの付加情報画像も作業位置を含んでおり、作業位置以外の領域を切り取られていることによって表示サイズが小さくなっているものとする。なお、記憶部４には予め複数の異なる表示サイズの付加情報画像が記憶されているものとする。

画像処理装置１の制御部７は、閾値未満の条件を満たす表示サイズの付加情報画像が記憶部４に記憶されていない場合は、最も作業位置間の距離が小さくなる付加情報画像を選択する。なお、上述の閾値は、撮像部２が撮像する条件に応じて適宜規定することが出来るが、撮影画像の解像度が幅６４０画素、高さ４８０画素の場合は、（画面サイズの長辺の約３分の１となる）２００画素を閾値とすることができる。なお、当該閾値を第２閾値と称しても良い。

実施例３における、画像処理装置１は、付加情報画像のサイズを表示位置に応じて変更することが可能となる為、付加情報画像の視認性とユーザの作業性の双方を向上させることが可能となる。

（実施例４）
実施例１または実施例２においては、認識対象物の位置が、取得部３が取得した画像の縁辺周辺にある場合も想定され得る。この場合、付加情報画像の表示位置の一部が、画像の外にはみ出してしまい、認識対象物と付加情報画像を対比観察することが難しくなる場合も想定される。換言すると、付加情報画像が表示部８の表示領域対象外となる場合、認識対象物と付加情報画像を対比観察することが難しくなる場合も想定される。実施例４における画像処理装置１の制御部７は、制御した付加情報画像の各辺の点の座標値を算出する。なお、座標値の原点は、例えば、取得部３が取得する画像の左上端とすることが出来る。画像処理装置１の制御部７は、いずれかの点の座標値が負値をとる場合は、付加情報画像の一部が画像の外にはみ出しているため、画像の中に表示可能な表示サイズが小さい付加情報画像を記憶部４から選択する。但し、いずれの付加情報画像も作業位置を含んでおり、作業位置以外の領域を切り取られていることによって表示サイズが小さくなっているものとする。なお、記憶部４には予め複数の異なる表示サイズの付加情報画像が記憶されているものとする。画像処理装置１の制御部７は、条件を満たす表示サイズの付加情報画像が記憶部４に記憶されていない場合は、座標値の負値の絶対値が最小となる付加情報画像を選択する。なお、画像処理装置１の制御部７は、付加情報画像の作業位置付近のみを切り出した画像を、サイズを変更した付加情報画像として使用しても良い。

実施例４における画像処理装置１は、制御した付加情報画像が画像の外にはみ出す場合においては、付加情報画像のサイズを表示位置に応じて変更することが可能となる為（表示部８の表示領域部内に収まる様に、付加情報画像から作業位置を含む所定領域を選択して、当該所定領域を表示する為）、付加情報画像の視認性とユーザの作業性の双方を向上させることが可能となる。

図９は、一つの実施形態による画像処理装置の第１のハードウェア構成図である。図９において、ユーザが外界において注視している認識対象物を特定し易い様に、眼鏡型の筐体を用いて撮像部２を両目の中心に位置する様に配設しても良い。また、図示はしないが、撮像部２を２つ以上配設してステレオ画像を用いても良い。表示部８は、外界を認識できる様に、シースルー型ディスプレイを用いても良い。

（実施例５）
図１０は、一つの実施形態による画像処理装置の第２のハードウェア構成図である。図１０に示すように、画像処理装置１は、制御部１０、主記憶部１１、補助記憶部１２、ドライブ装置１３、ネットワークＩ／Ｆ部１５、入力部１６、提示部１７を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部１０は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部１０は、主記憶部１１や補助記憶部１２に記憶されたプログラムを実行する演算装置であり、入力部１６や外部の記憶装置からデータを受け取り、演算、加工した上で、提示部１７や記憶装置などに出力する。

主記憶部１１は、ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)やＲＡＭ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)などであり、制御部１０が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶または一時保存する記憶装置である。

補助記憶部１２は、ＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置１３は、記録媒体１４、例えばフレキシブルディスクからプログラムを読み出し、補助記憶部１２にインストールする。

また、記録媒体１４に、所定のプログラムを格納し、この記録媒体１４に格納されたプログラムはドライブ装置１３を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１により実行可能となる。

ネットワークＩ／Ｆ部１５は、有線及び/又は無線回線などのデータ伝送路により構築されたＬＡＮ(Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ)、ＷＡＮ(Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ)などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置１とのインターフェースである。

入力部１６は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、提示部１７の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部１６は、ユーザが制御部１０に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

提示部１７は、ＣＲＴ(Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ)やＬＣＤ(Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ)等により構成され、制御部１０から入力される表示データに応じた表示が行われる。

なお、上述した画像処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、上述した画像処理を実現することができる。また、このプログラムを記録媒体１４に記録し、このプログラムが記録された記録媒体１４をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体１４は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。

以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
認識対象物とユーザの動作部位を含む画像を取得する取得部と、
前記画像から前記認識対象物と前記動作部位を認識する認識部と、
前記画像における、前記認識対象物に対応する付加情報画像の表示位置を、前記認識対象物と前記動作部位以外の位置に制御する制御部
を備えることを特徴とする画像処理装置。
（付記２）
前記認識部は、前記認識対象物に対応し、予め抽出される第１特徴点を記憶する記憶部にアクセス可能であり、
前記画像から第２特徴点を抽出し、前記第１特徴点と前記第２特徴点を対応付けることによって、前記画像に含まれる前記認識対象物を認識することを特徴とする付記１記載の画像処理装置。
（付記３）
複数の前記画像から前記動作部位の動きベクトルを算出する算出部を更に備え、
前記制御部は、前記認識対象物の位置と前記動きベクトルに基づいて、前記付加情報画像の表示位置を制御することを特徴とする付記１または付記２記載の画像処理装置。
（付記４）
前記制御部は、前記動きベクトルが所定の第１閾値未満の場合は、前記付加情報画像の前記表示位置を、前記認識対象物に重畳する位置に制御することを特徴とする付記３記載の画像処理装置。
（付記５）
前記制御部は、前記動きベクトルが前記第１閾値以上の場合は、前記付加情報画像の前記表示位置を、
前記認識対象物が前記動きベクトルと前記付加情報画像に介在する位置、かつ
前記認識対象物の基準位置と前記付加情報画像の基準位置の距離が最小距離となる位置に制御することを特徴とする付記３記載の画像処理装置。
（付記６）
前記制御部は、前記最小距離が所定の第２閾値以上の場合、前記最小距離が前記第２閾値未満となる様に前記付加情報画像から所定領域を選択し、前記所定領域を表示させること特徴とする付記５記載の画像処理装置。
（付記７）
前記付加情報画像を表示する表示部を更に備え、
前記制御部は、前記付加情報画像の一部が、前記表示部の表示領域外となる場合、前記付加情報画像から、前記表示部の表示領域部内となる所定領域を選択し、前記所定領域を表示させること特徴とする付記５記載の画像処理装置。
（付記８）
前記所定領域は、前記認識対象物に対応付けられる作業位置を含むことを特徴とする付記６または付記７記載の画像処理装置。
（付記９）
前記制御部は、前記付加情報画像の前記表示位置を、前記動きベクトルの方向と、前記認識対象物を矩形近似した矩形近似領域の各辺の法線方向の内角差が所定の角度未満の方向に制御することを特徴とする付記４記載の画像処理装置。
（付記１０）
前記動きベクトルは前記動作部位の移動量と移動方向の成分を有し、前記第１閾値は、前記移動量に対する所定の第３閾値と、前記移動方向に対する所定の第４閾値を有することを特徴とする付記４記載の画像処理装置。
（付記１１）
前記認識対象物とユーザの動作部位を含む画像を撮像する撮像部を更に備え、
前記取得部は、前記撮像部から前記画像を取得することを特徴とする付記１記載の画像処理装置。
（付記１２）
認識対象物とユーザの動作部位を含む画像を取得し、
前記画像から前記認識対象物と前記動作部位を認識し、
前記画像における、前記認識対象物に対応する付加情報画像の表示位置を、前記認識対象物と前記動作部位以外の位置に制御する
ことを含むことを特徴とする画像処理方法。
（付記１３）
前記認識することは、前記認識対象物に対応し、予め抽出される第１特徴点を記憶する記憶部にアクセスし、
前記画像から第２特徴点を抽出し、前記第１特徴点と前記第２特徴点を対応付けることによって、前記画像に含まれる前記認識対象物を認識することを特徴とする付記１２記載の画像処理方法。
（付記１４）
複数の前記画像から前記動作部位の動きベクトルを算出することを更に含み、
前記制御することは、前記認識対象物の位置と前記動きベクトルに基づいて、前記付加情報画像の表示位置を制御することを特徴とする付記１２または付記１３記載の画像処理方法。
（付記１５）
前記制御することは、前記動きベクトルが所定の第１閾値未満の場合は、前記付加情報画像の前記表示位置を、前記認識対象物に重畳する位置に制御することを特徴とする付記１４記載の画像処理方法。
（付記１６）
前記制御することは、前記動きベクトルが前記第１閾値以上の場合は、前記付加情報画像の前記表示位置を、
前記認識対象物が前記動きベクトルと前記付加情報画像に介在する位置、かつ
前記認識対象物の基準位置と前記付加情報画像の基準位置の距離が最小距離となる位置に制御することを特徴とする付記１４記載の画像処理方法。
（付記１７）
前記制御することは、前記最小距離が所定の第２閾値以上の場合、前記最小距離が前記第２閾値未満となる様に前記付加情報画像から所定領域を選択し、前記所定領域を表示させること特徴とする付記１６記載の画像処理方法。
（付記１８）
前記所定領域は、前記認識対象物に対応付けられる作業位置を含むことを特徴とする付記１７記載の画像処理方法。
（付記１９）
前記動きベクトルは前記動作部位の移動量と移動方向の成分を有し、前記第１閾値は、前記移動量に対する所定の第３閾値と、前記移動方向に対する所定の第４閾値を有することを特徴とする付記１５記載の画像処理方法。
（付記２０）
コンピュータに、
認識対象物とユーザの動作部位を含む画像を取得し、
前記画像から前記認識対象物と前記動作部位を認識し、
前記画像における、前記認識対象物に対応する付加情報画像の表示位置を、前記認識対象物と前記動作部位以外の位置に制御する
ことを実行させることを特徴とする画像処理プログラム。

１ 画像処理装置
２ 撮像部
３ 取得部
４ 記憶部
５ 認識部
６ 算出部
７ 制御部
８ 表示部
９ 処理部

Claims (8)

1. 認識対象物とユーザの動作部位を含む画像を取得する取得部と、
   前記画像から前記認識対象物と前記動作部位を認識する認識部と、
   複数の前記画像から前記動作部位の動きベクトルを算出する算出部と、
   前記認識対象物の位置と前記動きベクトルに基づいて、前記認識対象物に対応する付加情報画像の表示位置を、前記認識対象物と前記動作部位以外の位置に制御する制御部
   を備えることを特徴とする画像処理装置。
2. 前記認識部は、前記認識対象物に対応し、予め抽出される第１特徴点を記憶する記憶部にアクセス可能であり、
   前記画像から第２特徴点を抽出し、前記第１特徴点と前記第２特徴点を対応付けることによって、前記画像に含まれる前記認識対象物を認識することを特徴とする請求項１記載の画像処理装置。
3. 前記制御部は、前記動きベクトルが所定の第１閾値未満の場合は、前記付加情報画像の前記表示位置を、前記認識対象物に重畳する位置に制御することを特徴とする請求項１記載の画像処理装置。
4. 前記制御部は、前記動きベクトルが前記第１閾値以上の場合は、前記付加情報画像の前記表示位置を、
   前記認識対象物が前記動きベクトルと前記付加情報画像に介在する位置、かつ
   前記認識対象物の基準位置と前記付加情報画像の基準位置の距離が最小距離となる位置に制御することを特徴とする請求項１記載の画像処理装置。
5. 前記制御部は、前記最小距離が所定の第２閾値以上の場合、前記最小距離が前記第２閾値未満となる様に前記付加情報画像から所定領域を選択し、前記所定領域を表示させること特徴とする請求項４記載の画像処理装置。
6. 前記付加情報画像を表示する表示部を更に備え、
   前記制御部は、前記付加情報画像の一部が、前記表示部の表示領域外となる場合、前記付加情報画像から、前記表示部の表示領域部内となる所定領域を選択し、前記所定領域を表示させること特徴とする請求項４記載の画像処理装置。
7. 認識対象物とユーザの動作部位を含む画像を取得し、
   前記画像から前記認識対象物と前記動作部位を認識し、
   複数の前記画像から前記動作部位の動きベクトルを算出し、
   前記認識対象物の位置と前記動きベクトルに基づいて、前記認識対象物に対応する付加情報画像の表示位置を、前記認識対象物と前記動作部位以外の位置に制御する
   ことを含むことを特徴とする画像処理方法。
8. コンピュータに、
   認識対象物とユーザの動作部位を含む画像を取得し、
   前記画像から前記認識対象物と前記動作部位を認識し、
   複数の前記画像から前記動作部位の動きベクトルを算出し、
   前記認識対象物の位置と前記動きベクトルに基づいて、前記認識対象物に対応する付加情報画像の表示位置を、前記認識対象物と前記動作部位以外の位置に制御する
   ことを実行させることを特徴とする画像処理プログラム。

Images