JP6390260B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP6390260B2
JP6390260B2 JP2014165506A JP2014165506A JP6390260B2 JP 6390260 B2 JP6390260 B2 JP 6390260B2 JP 2014165506 A JP2014165506 A JP 2014165506A JP 2014165506 A JP2014165506 A JP 2014165506A JP 6390260 B2 JP6390260 B2 JP 6390260B2
Authority
JP
Japan
Prior art keywords
image
recognition
user
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014165506A
Other languages
English (en)
Other versions
JP2016042261A (ja
Inventor
伸之 原
伸之 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014165506A priority Critical patent/JP6390260B2/ja
Priority to US14/750,738 priority patent/US9741171B2/en
Publication of JP2016042261A publication Critical patent/JP2016042261A/ja
Application granted granted Critical
Publication of JP6390260B2 publication Critical patent/JP6390260B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Description

本発明は、例えば、認識対象物に対応するユーザの作業支援情報となる付加情報画像の表示に用いる画像処理装置、画像処理方法および画像処理プログラムに関する。
近年、情報通信技術の発展に伴い、現実空間（実世界）を撮像した画像にコンピュータを用いて視覚情報を付加して表示する、拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）に関する画像処理技術の開発が行われている。視覚情報の表示には、主に、実世界の画像を取得するカメラを装着したＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等のウェアラブル装置または、カメラを備えたタブレット端末等が利用されており、ユーザの視野方向に存在する認識対象物に関する詳細な情報（以下、付加情報画像（仮想世界画像と称しても良い）と称する）を、実世界の物体に重畳して表示することが行われている。
現在、拡張現実感技術を利用し、電子機器等の障害発生時における障害箇所の特定、及び、ユーザの障害修復作業を支援する技術が実現されている。例えば、コピー機の紙詰まり障害の修復作業支援において、付加情報画像となる予め紙詰まり発生位置に対応付けて用意されたコピー機の内部映像及び操作手順の画像を、認識対象物となるコピー機に重畳表示する技術が提案されている。また、工場における保守点検、機器設置・解体等の現場作業でも拡張現実感を用いた作業支援が提案されている。
ユーザの作業支援においては、ユーザが両手を用いて作業する場合が多い為、タブレット端末よりも、頭部に装着可能でハンズフリーとなるＨＭＤの活用に対する要望が高い。ＨＭＤは、カメラの撮像画像に付加情報画像をディスプレイ等の表示部に表示するビデオシースルー型ＨＭＤと、ハーフミラーを用いてユーザが視認する実世界の物体の位置に対応付けて付加情報画像を表示部に表示する光学シースルー型ＨＭＤの２つに大別される。ビデオシースルー型ＨＭＤは、カメラの画角による視野制限や、撮像から表示までのタイムラグの発生を考慮すると、現場作業の利用は必ずしも適切ではない場合も存在する。一方、光学シースルー型ＨＭＤは、ユーザが実際に実世界の認識対象物を目視する為、画角による視野制限やタイムラグの発生は存在しない利点を有している。この為、光学シースルー型ＨＭＤを用いた拡張現実感による作業支援が要望されている。
「拡張現実感を利用した原子力発電プラントの解体支援手法の提案と評価」、日本バーチャルリアリティ学会論文誌、Ｖｏｌ.１３、Ｎｏ．２、ｐｐ.２８９−３００、２００８
光学シースルー型ＨＭＤを用いた画像処理装置は、実世界の認識対象物と、当該認識対象物に対応するユーザの作業支援情報となる付加情報画像の双方の視認性を確保することが重要となるが、この様な画像処理装置は提唱されていない状況にある。
本発明は、実世界の認識対象物と付加情報画像の双方の視認性を向上させることが可能となる画像処理装置を提供することを目的とする。
本発明が開示する画像処理装置は、実世界の認識対象物を含む第１画像を取得する取得部と、当該第１画像から当該認識対象物を認識する認識部を備える。更に、当該画像処理装置は、当該第１画像における当該認識対象物に対応する情報を含む第２画像と、当該第２画像の外縁よりも外側に形成されて前記外縁と接する境界を有し、かつ、当該第２画像に対するユーザの中心視野を覆う第３画像の表示を制御する制御部を備える。更に、当該画像処理装置は、当該実世界の当該認識対象物を当該ユーザが光の透過により直接視認する状態で、当該第２画像と当該第３画像を当該光の反射により当該実世界の当該認識対象物の位置に対応させて当該ユーザに対して表示する表示部を備える。
なお、本発明の目的及び利点は、例えば、請求項におけるエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項の様に本発明を制限するものではないことを理解されたい。
本明細書に開示される画像処理装置では、実世界の認識対象物と付加情報画像の双方の視認性を向上させることが可能となる。
一つの実施形態による画像処理装置の機能ブロック図である。 画像処理装置１における画像処理のフローチャートである。 一つの実施形態による画像処理装置の第１のハードウェア構成図である。 （ａ）は、ユーザの第１焦点における認識対象物と付加情報画像の視認状態の概念図である。（ｂ）は、ユーザの第２焦点における認識対象物と付加情報画像の視認状態の概念図である。 認識部５の認識対象物の認識処理のフローチャートである。 算出部６が算出する認識対象物の移動量のデータ構造を含むテーブルの一例を示す図である。 算出部６が算出する動作部位の動きベクトルのデータ構造を含むテーブルの一例を示す図である。 （ａ）は、ユーザの中心視野と認識対象物と付加情報画像の関係図である。（ｂ）は、拡張画像の概念図である。 ユーザの中心視野の概念図である。 付加情報画像と拡張画像の表示候補方向の概念図である。 （ａ）は、認識対象物の作業位置と近似矩形領域における各辺の線分の関係図である。（ｂ）は、近似矩形領域における各辺の線分のデータ構造の一例を示す図である。（ｃ）は、付加情報画像と拡張画像の表示候補位置の概念図である。 （ａ）は、付加情報画像と拡張画像の表示領域探索の第１の概念図である。（ｂ）は、付加情報画像と拡張画像の表示領域探索の第２の概念図である。（ｃ）は、付加情報画像と拡張画像の表示領域探索の第３の概念図である。 一つの実施形態による画像処理装置として機能するコンピュータのハードウェア構成図である。
まず、従来技術における課題の所在について説明する。なお、当該課題の所在は、本発明者らが従来技術を仔細に検討した結果として新たに見出したものであり、従来は知られていなかったものである。本発明者らの検証により、光学シースルー型ＨＭＤを用いた画像処理装置において、実世界の認識対象物と、当該認識対象物に対応するユーザの作業支援情報となる付加情報画像の双方の視認性を確保する為には、以下の課題が存在することが新たに見出された。
光学シースルー型ＨＭＤを利用した実世界の認識対象物に対する付加情報画像の重畳表示においては、付加情報画像の表示位置（ユーザの眼の中心窩に対する奥行きと称しても良い）と認識対象物までの距離が異なる場合は、付加情報画像と実世界の認識対象物の焦点距離が異なり、ユーザが無意識に焦点距離を頻繁に調整する必要が生じる。この場合、ユーザの非常に強い眼精疲労を引き起こす為、実世界の認識対象物と付加情報画像の視認性が低下する。
例えば、光学シースルー型ＨＭＤにおける実世界の認識対象物に対する付加情報画像の重畳表示においては、付加情報画像の距離（ユーザの眼の中心窩に対する奥行きと称しても良い）は、表示部の構造により所定の距離（表示部の構造により異なるが、例えば、１ｍ程度）に固定される。一方、作業対象物となる認識対象物までの距離は、作業内容等に応じて遂次変動する。この為、ユーザの眼の被写体深度の制約により、一方を注視すると他方がぼやけるため、実世界の認識対象物と付加情報画像の両方を同時に視認することが出来ない為、拡張現実感による重畳表示の効果が得られない。
被写体深度の範囲は、眼球内の水晶体（カメラのレンズに相当）の屈折率を変更せずに網膜上に鮮明な像を得ることができる視認可能な範囲に相当し、被写体深度外の物体は網膜上の像がぼやける。被写体深度を決定する要素として、瞳孔径ならびに認識対象物の視認距離が挙げられる。瞳孔径は個人差もあるが、一般的には作業環境の明るさに依存し（例えば、屋内（暗所）では１．２ｍｍ、晴天時の屋外（明所）では８ｍｍ）、想定される作業環境では３〜５ｍｍ程度となり、瞳孔径が大きい場合（明所）は、小さい場合（暗所）に比較して被写体深度が狭まる。一方、認識対象物の視認距離と被写体深度の関係について考慮した場合、認識対象物の視認距離が遠くなるほど被写体深度は広がり、認識対象物の視認距離が近くなるほど被写体深度は狭くなる。
ここで、光学シースルー型ＨＭＤの使用が想定される作業環境において、作業対象物に相当する認識対象物に対する被写体深度について検討する。例えば、「Ｄｅｐｔｈ ｏｆ ｆｏｃｕｓ ｏｆ ｔｈｅ ｈｕｍａｎ ｅｙｅ、Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ、４９、２７３−２８０．（１９５９）」を参照すると、瞳孔径が４．８ｍｍの場合での焦点深度を±０．４５（Ｄ）（単位Ｄ：ｄｉｏｐｔｅｒ）と規定している。例えば、認識対象物までの距離を０．５ｍ（＝２Ｄ）と規定すると、認識対象物に焦点距離を合わせた場合における被写体深度は、０．４１〜０．６５ｃｍ（＝２±０．４５Ｄ）となる。この為、例えば、作業対象物から５０ｃｍの距離で作業対象物を注視する状態で、付加情報画像を焦点距離１ｍで重畳表示した場合は、付加情報画像の焦点距離が、実世界の認識対象物の焦点距離（５０ｃｍ）の被写体深度の範囲外となる為、付加情報画像は、ぼやけてしまいユーザは鮮明に付加情報画像を視認することができない。
被写体深度の範囲外にある物体または画像を注視する場合には、水晶体の屈折率の変更による焦点距離の調整が必要となり、加えて人間の眼は無意識の内に注視する箇所に焦点を合わせようとする。この為、付加情報画像の表示位置（奥行）が、作業対象物の視認距離の被写体深度の範囲外となる場合は、注視対象を付加情報画像と実世界の作業対象物に対応する認識対象物に切替える毎に焦点距離を切替える調整が必要となりユーザの眼の負担となる。なお、詳細は後述するが、この焦点距離の切替えはユーザが意図せず繰り返し行う為、眼精疲労を引き起こす原因となる。
本発明者らは、上述の新たに見出された課題を鑑み、ユーザの意図しない焦点の切替えを抑制することで、実世界の認識対象物と付加情報画像の視認性を向上させる画像処理装置を提供することが可能となることを新たに見出した。
上述の本発明者らの鋭意検証によって、新たに見出された技術的事項または課題を考慮しつつ、以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。
（実施例１）
図１は、一つの実施形態による画像処理装置１の機能ブロック図である。画像処理装置１は、撮像部２、記憶部４、表示部８、ならびに処理部９を有する。処理部９は、取得部３、認識部５、算出部６ならびに制御部７を有する。
図２は、画像処理装置１の画像処理のフローチャートである。実施例１においては、図２に示す画像処理装置１による符号化処理のフローを、図１に示す画像処理装置１の機能ブロック図の各機能の説明に対応付けて説明する。
図３は、一つの実施形態による画像処理装置１の第１のハードウェア構成図である。図３に示す通り、画像処理装置１の撮像部２、記憶部４、表示部８、処理部９は、例えば、メガネフレーム型の支持体に固設される。なお、ユーザが実世界（外界と称しても良い）において注視している認識対象物を特定し易い様に、撮像部２を両目の中心に位置する様に配設しても良い。また、図示はしないが、撮像部２を２つ以上配設してステレオ画像を用いても良い。表示部８の詳細は後述するが、ユーザが実世界を視認できる様に、ハーフミラー等の一定の反射率と透過率を有する光学シースルー型ディスプレイを用いることが出来る。
図４（ａ）は、ユーザの第１焦点における認識対象物と付加情報画像の視認状態の概念図である。図４（ｂ）は、ユーザの第２焦点における認識対象物と付加情報画像の視認状態の概念図である。図４（ａ）においては、ユーザは、焦点が第１焦点となる付加情報画像を注視する為に、焦点が第２焦点となる実世界の認識対象物がぼやけた視認状態となる。一方、図４（ｂ）においては、焦点が第２焦点となる実世界の認識対象物を注視する為に、焦点が第１焦点となる付加情報画像がぼやけた視認状態となる。なお、図４（ａ）、図４（ｂ）においては、ぼけやた視認状態を、認識対象物または付加情報画像を若干ずらして描写していることで表現している。図４（ａ）と図４（ｂ）のいずれにおいても、ユーザの視野範囲内（具体的には後述する中心視野内）に異なる焦点距離の物体または画像が存在する場合、ユーザの眼は無意識の内に、当該物体または当該画像の双方に焦点を合わせようとして、焦点距離を頻繁に変化させる為に、眼精疲労を招くことになる。
図１または図３において、撮像部２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。撮像部２は、例えば、ユーザの頸部に拘持または、装着されてユーザの視野方向の画像（当該画像を第１画像と称しても良い）を取得する。なお、当該処理は、図２に示すフローチャートのステップＳ２０１に対応する。撮像部２は、説明の便宜上、画像処理装置１の内部に配置しているが、ネットワークを介してアクセス可能となる様に、画像処理装置１の外部に配置することも可能である。撮像部２は、ユーザの作業対象となる認識対象物とユーザの動作部位を含む画像を撮像する。撮像部２は、認識対象物とユーザの動作部位を含む画像（第１画像）を取得部３に出力する。
取得部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部３は、認識対象物とユーザの動作部位を含む画像（第１画像）を撮像部２から受け取る。なお、当該処理は、図２に示すフローチャートのステップＳ２０２に対応する。また、取得部３に、撮像部２の機能を併合させることも可能である。取得部３は、認識対象物とユーザの動作部位を含む複数の画像を認識部５と制御部７に出力する。
記憶部４は、例えば、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。なお、記憶部４は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよい。記憶部４には、外界に存在し、認識部５の認識処理の対象となる複数の認識対象物（電子回路基板、製造機械等）の特徴点（第１特徴点または第１特徴点群と称しても良い）が、予め認識対象物を撮像した画像から予め抽出されて記憶されている。また、記憶部４は、認識対象物に対応する付加情報画像（当該付加情報画像を第２画像と称しても良い）が記憶されていても良い。更に、記憶部４に記憶される付加情報画像は、一つの認識対象物に対して一つである必要はなく、複数の付加情報画像が記憶されていても良い。
なお、記憶部４は、説明の便宜上、画像処理装置１の内部に配置しているが、ネットワークを介してアクセス可能となる様に、画像処理装置１の外部に配置することも可能である。また、記憶部４には、後述する画像処理装置１で実行される各種プログラム、例えばＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などの基本ソフトや画像処理の動作が規定されたプログラムが記憶される。更に、記憶部４には、当該プログラムの実行に必要な各種データ等も必要に応じて記憶される。また、記憶部４に記憶される各種データを、例えば、認識部５、算出部６、制御部７の図示しないメモリまたはキャッシュに適宜格納し、画像処理装置１は、記憶部４を使用しない構成としても良い。
認識部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、認識部５は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。認識部５は、取得部３から複数の画像を受け取る。認識部５は、複数の画像から特徴点を抽出して、抽出した特徴点（第２特徴点または第２特徴点群と称しても良い）と記憶部４に記憶されている認識対象物の特徴点を対応付けることにより、取得部３が取得する複数の画像に含まれている少なくとも一つの認識対象物を認識する。なお、当該処理は、図２に示すフローチャートのステップＳ２０３に対応する。
図５は、認識部５の認識対象物の認識処理のフローチャートである。なお、図５に示すフローチャートは、図２のステップＳ２０３の詳細フローチャートに該当する。先ず、認識部５は、取得部３から取得時間が異なる複数の画像を受信し、複数の画像のそれぞれ（フレーム毎）から特徴点を抽出する（ステップＳ５０１）。なお、抽出される特徴点は通常複数である為、複数の特徴点の集合を特徴点群と定義しても良い。
ステップＳ５０１において抽出する特徴点は、記述子（ｄｅｓｃｒｉｐｔｏｒ）と呼ばれる特徴点ごとの特徴量ベクトルが計算される特徴点であれば良い。例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴点や、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）特徴点を使用することが可能である。なお、ＳＩＦＴ特徴点の抽出方法については、例えば、米国特許第６７１１２９３号に開示されている。ＳＵＲＦの抽出方法については、例えば、Ｈ．Ｂａｙ ｅｔ．ａｌ．「ＳＵＲＦ：Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、Ｖｏｌ．１１０、 Ｎｏ．３、 ｐｐ．３４６−３５９、２００８に開示されている。
次に、認識部５は、ステップＳ５０１で認識部５が抽出した特徴点群（第２特徴点群と称しても良い）と、記憶部４に記憶されている全て認識対象物の候補の特徴点群との照合が完了しているか否かを判断する（ステップＳ５０２）。なお、記憶部４に記憶されている認識対象物の特徴点群は、予め上述のＳＩＦＴ特徴点やＳＵＲＦ特徴点が記憶されているものとする。認識部５は、ステップＳ５０２において、照合が完了していない場合（ステップＳ５０２−Ｎｏ）は、記憶部４に予め記憶されている任意の一つの認識対象物を選択する（ステップＳ５０３）。次に、認識部５は、ステップＳ５０３おいて選択した認識対象物の特徴点群を記憶部４から読み出す（ステップＳ５０４）。認識部５は、ステップＳ５０４で抽出した特徴点群から、任意の一つの特徴点を選択する（ステップＳ５０５）。
認識部５は、ステップＳ５０５で選択した一つの特徴点と、ステップＳ５０４で読み出して選択した認識対象物の特徴点の対応付けを探索する。探索方法としては、一般的な対応点探索によるマッチング処理を用いれば良い。具体的には、認識部５は、ステップＳ５０５で選択した一つの特徴点と、ステップＳ５０４で読み出した選択した認識対象物の特徴点群それぞれの距離ｄを計算する（ステップＳ５０６）。
次に、認識部５は、特徴点の対応付けの妥当性の判定を行う為に閾値判定を行う。具体的には、認識部５は、ステップＳ５０６において、算出した距離ｄの最小値ｄ１と、２番目に最小となる値ｄ２を算出する。そして、認識部５は、閾値判定となるｄ１とｄ２の距離が所定の距離以上（例えばｄ１がｄ２に０．６を乗算した値よりも小さい値）かつｄ１が所定の値以下（例えば０．３未満）の条件を満たしているか否かを判定する（ステップＳ５０７）。認識部５は、ステップＳ５０７で閾値判定の条件を満たしている場合（ステップＳ５０７−Ｙｅｓ）は、特徴点の対応付けを行う（ステップＳ５０８）。条件を満たしていない場合（ステップＳ５０７−Ｎｏ）は、特徴点の対応付けを行わず、ステップＳ５０９に処理を進める。
認識部５は、ステップＳ５０４で読み出した特徴点群と、ステップＳ５０１で抽出した特徴点群を全て照合したかを判定する（ステップＳ５０９）。照合処理が完了した場合（ステップＳ５０９−Ｙｅｓ）、認識部４は、ステップＳ５０２において、全ての照合が終了した場合（ステップＳ５０２−Ｙｅｓ）は、ステップＳ５１０に処理を進める。照合処理が完了していない場合（ステップＳ５０９−Ｎｏ）、認識部５は、ステップＳ５０５に処理を進める。そして、認識部５は、ステップＳ５０８で対応付けた特徴点の個数に基づいて取得部３が取得した画像に含まれる認識対象物を認識する（ステップＳ５１０）。なお、ステップＳ５１０で対応付けた、記憶部４に記憶される特徴点群を、第１特徴点または第１特徴点群と称しても良い。
この様にして、認識部５は、取得部３から取得した画像から、当該画像に含まれる認識対象物を認識する。なお、認識部５は、取得部３から受け取る複数の画像の全てにおいて上述の認識処理を行わずに、所定時間毎に認識処理を行うキーフレームを定めることで処理コストを削減させることが可能となる。
図１の認識部５は、更に、取得部３から受け取った画像（第１画像）から、ユーザの動作部位を認識する。なお、当該処理は、図２に示すフローチャートのステップＳ２０４に対応する。ユーザの動作部位は、例えば、手指である。認識部５は、手指を認識する方法として、例えば、特許第３８６３８０９号に開示される、画像処理による手指位置を推定する手法を用いることが出来る。実施例１においては、説明の便宜上、認識部５は、上述の特許第３８６３８０９号に開示されている方法を用いるものとして以降の説明を行う。当該方法では、認識部５は、取得部３から受け取った画像から、例えば肌色の色成分部分を抜き出す（抽出する）ことで、手領域輪郭を抽出する。その後、認識部５は、手の本数を認識した上で手領域輪郭から手指の認識処理を行う。なお、認識部５は、肌色の色成分の抽出は、ＲＧＢ空間やＨＳＶ空間の適切な閾値調整を用いることが出来る。認識部５は、認識対象物と動作部位に関する認識結果を算出部６に出力する。
算出部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、算出部６は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。算出部６は、認識対象物と動作部位に関する認識結果を認識部５から受け取る。算出部６は、認識部５が認識した認識対象物の移動量、ならびに、ユーザの動作部位の移動量と移動方向の情報を含む動きベクトルを、取得部３が取得する取得時間が異なる複数の画像から算出する。なお、当該処理は、図２に示すフローチャートのステップＳ２０５に対応する。算出部６は、認識対象物の移動量を、オプティカルフローを用いた一般的な手法を用いて算出することが出来る。また、算出部６は、ユーザの動作部位となる手指の動きベクトルを算出する方法として、例えば、「山下ら、“３次元Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌを用いた手形状認識”、画像の認識・理解シンポジウム、ＭＩＲＵ２０１２、ＩＳ３−７０、２０１２−０８」に開示される、予め手の形状に関する学習データを保持しておき、現時刻で取得した画像と学習データの間の類似度を計算して手指形状を推定する方法を利用することが出来る。算出部６は、推定した手指に対し任意の基準点を定めて、当該基準点の移動量と移動方向を動きベクトルとして算出することが出来る。
図６は、算出部６が算出する認識対象物の移動量のデータ構造を含むテーブルの一例を示す図である。なお、算出部６は、図６のテーブル６０を、算出部６の図示しないキャッシュまたはメモリに格納、或いは記憶部４に記憶することが出来る。図６のテーブル６０においては、例えば、取得部３が取得する画像の左上端を原点とすることが出来る。なお、図６のテーブル６０における画像上の認識対象物位置となるＴＸとＴＹは、画像の原点に対する認識対象物の任意の基準点の横方向と縦方向の座標であり、単位は画素（ピクセル）である。認識対象物の任意の基準点は、例えば、認識対象物の中心に設定することが出来る。また、図６のテーブル６０は、撮像部２の撮影画像解像度が、幅６４０画素、高さ４８０画素であり、動画像撮影において、撮像部２の約３０ｃｍ前方に認識対象物が存在する状況を想定した場合のデータ構造の一例となる。更に、図６のテーブル６０は、第１００（画像）フレームにて、撮影画像中に、認識部５が、認識対象物を認識し、以降のフレームにおいても継続して認識対象物を認識している状態を示している。
図６のテーブル６０において、算出部６は、第Ｎフレームでの認識対象物の座標値をＴＸＮ、ＴＹＮとした場合、例えば、１０１フレームにおけるＴＸ変化量とＴＹ変化量を、次式を用いて算出することが出来る。
（数１）
ＴＸ変化量１０１＝ＴＸ１０１−ＴＸ１００
ＴＹ変化量１０１＝ＴＹ１０１−ＴＹ１００
算出部６は、図６のテーブル６０から、所定のフレーム間における認識対象物の移動量の絶対値平均を算出する。例えば、所定のフレーム数を５とした場合、１０１フレームから１０５フレームにおける認識対象物の移動量の絶対値平均は（１３．２、２３．２）となる。なお、認識対象物の移動量の絶対値平均を、説明の便宜上、認識対象物の平均移動量と称することとする。実施例１においては、認識対象物の平均移動量が、所定の閾値未満であれば、ユーザが作業の対象となる認識対象物を注視し、作業を開始する前の状態である「確認状態」として判断するものとする。また、認識対象物の平均移動量が、所定の閾値以上であれば、算出部６は、認識部５に認識対象物の認識処理の実行を指示しても良いし、継続的に認識対象物の平均移動量の算出処理を実行しても良い。
上述の所定の閾値は、撮像部２と認識対象物との距離や、撮像部２の撮影画角や画像解像度に応じて適宜規定することが出来るが、実施例１に示す例においては、閾値を、例えば、５０画素と規定することが出来る。図６のテーブル６０に示す例においては、認識対象物の平均移動量は、（１３．２、２３．２）であり、閾値未満であることから、算出部６は、ユーザが確認状態であるものと判定する。この場合は、算出部６は、記憶部４から、認識対象物に対応する付加情報画像を読み出し、図１の表示部８に対して当該付加情報画像を認識対象物に重畳表示させても良い。これにより、ユーザは、作業対象となる認識対象物を正確に把握することが可能となる。また、この場合、後述する拡張画像を付加情報画像とともに表示部８に表示させる。
算出部６は、ユーザが確認状態であると判定した場合、ユーザの動作部位の移動量と移動方向の情報を含む動きベクトルを算出する。なお、実施例１においては、上述の通り、動作部位の一例として手指を例として説明する。図７は、算出部６が算出する動作部位の動きベクトルのデータ構造を含むテーブルの一例を示す図である。なお、算出部６は、図７のテーブル７０を、算出部６の図示しないキャッシュまたはメモリに格納、或いは記憶部４に記憶することが出来る。図７に示すテーブル７０においては、例えば、取得部３が取得する画像の左上端を原点とすることが出来る。なお、図７のテーブル７０の認識対象物位置となるＴＸとＴＹならびに、手指位置となるＨＸとＨＹは、それぞれ画像の原点に対する認識対象物または手指の任意の基準点の横方向と縦方向の座標であり、単位は画素（ピクセル）である。
認識対象物の任意の基準点は、図６のテーブル６０と同様に、例えば、認識対象物の中心に設定することが出来る。手指の任意の基準点は、例えば、手指の形状を楕円近似した場合の楕円中心に設定することが出来る。また、図７のテーブル７０は、図６のテーブル６０と同様に、撮像部２の撮影画像解像度が、幅６４０画素、高さ４８０画素であり、動画像撮影において、撮像部２の約３０ｃｍ前方に認識対象物が存在する状況を想定した場合のデータ構造の一例となる。更に、図７のテーブル７０は、第２００（画像）フレームにて、撮影画像中に、認識部５が、認識対象物の他に手指を認識し、以降のフレームにおいても継続して認識対象物と手指を認識している状態を示している。
図７のテーブル７０において、算出部６は、第Ｎフレームにおける手指の座標値をＨＸＮ、ＨＹＮとした場合、第ＮフレームにおけるＨＸ変化量とＨＹ変化量を、次式を用いて算出することが出来る。なお、次式においては、第Ｎフレームと、その直前のフレームとなる第Ｎ−１フレームの相対位置の差分からＨＸ変化量とＨＹ変化量を算出している。
（数２）
ＨＸ変化量Ｎ＝（ＨＸＮ−ＴＸＮ）−（ＨＸＮ−１−ＴＸＮ−１）
ＨＹ変化量Ｎ＝（ＨＹＮ−ＴＹＮ）−（ＨＹＮ−１−ＴＹＮ−１）
また、算出部６は、第Ｎフレームにおける手指の移動方向（角度）と、手指の位置に対する認識対象物の位置方向（角度）を、次式を用いて算出することが出来る。なお、次式においては、第Ｎフレームと、その直前のフレームとなる第Ｎ−１フレームの手指の位置や認識対象物の位置から、手指の移動方向Ｎと、手指の位置を基点とする認識対象物の位置方向Ｎを算出している。
（数３）
手指の移動方向Ｎ＝ａｒｃｔａｎ（ＨＸ変化量Ｎ／ＨＹ変化量Ｎ）
認識対象物の位置方向Ｎ＝ａｒｃｔａｎ（（ＴＸＮ−ＨＸＮ）／（ＴＹＮ−ＨＹＮ））
算出部６は、図７のテーブル７０の第Ｎフレームにおける方向差を、次式を用いて算出することが出来る。なお、次式においては、手指の移動方向Ｎと認識対象物の位置方向Ｎの差分の絶対値から方向差を算出している。
（数４）
方向差＝｜手指の移動方向Ｎ−認識対象物の位置方向Ｎ｜
算出部６は、方向差を所定のフレームに渡って、図７のテーブル７０に蓄積し、フレーム毎に所定の閾値と比較する。方向差が所定のフレームに渡って所定の閾値未満の状態が継続する場合は、算出部６は、ユーザが作業を開始する為にユーザの手指が認識対象物に向かって移動していると判定することが出来る。なお、所定の閾値は、撮像部２と認識対象物との距離や、撮像部２の撮影画角や画像解像度に応じて適宜規定することが出来るが、実施例１においては、例えば閾値を１０度と規定することが出来る。また、当該閾値を第４閾値と称しても良い。図７のテーブル７０において、例えば、所定のフレーム数を５とした場合、２０１フレームから２０５フレームにおける方向差は最大で９．６度となる。この場合、所定のフレーム数に渡って方向差が閾値未満の為、手指が認識対象物に向かって移動していると判定する。
算出部６は、図７のテーブル７０のＨＸ変化量ならびにＨＹ変化量の絶対値を、単位時間当たりの手指の移動量（移動速度）として看做すことが出来る。算出部６は、手指の移動量が所定の閾値以上の場合は、作業を開始する為に手指が移動していると判定することが出来る。所定の閾値は、撮像部２と認識対象物との距離や、撮像部２の撮影画角や画像解像度に応じて適宜規定することが出来るが、実施例１では、例えば、閾値を２０画素と規定することが出来る。図７のテーブル７０において、ＨＸ変化量ならびにＨＹ変化量の絶対値の最小値は２２画素であり、所定の閾値以上の為、算出部６は、手指が作業を開始する為に移動していると判定する。なお、当該閾値を第３閾値と称しても良い。更に、第３閾値と第４閾値を適宜組み合わせた閾値を第１閾値と称しても良い。
実施例１においては、ユーザの動作部位の一例となる手指の方向差（移動方向）が所定の閾値未満、または、移動量が所定の閾値以上の場合は、ユーザが認識対象物に対して作業を実施する「操作状態」として判断するものとする。算出部６は、上述の操作状態の判定処理にあたり、手指の方向差または移動量（移動方向）の何れか一方のみを用いても良いし、双方を用いても良い。また、手指の方向差（移動方向）と移動量の情報を動きベクトルと称しても良い。なお、算出部６は、操作状態として判断しない場合は、認識部５に対して認識対象物の認識処理の実行を指示しても良いし、継続的に図７のテーブル７０に示す各データの算出処理を実行しても良い。また、算出部６は、認識部５が一つ以上の手指、即ち両手を認識した場合は、認識部５が最初に認識した手指のみについて処理対象とすることが出来る。算出部６は、例えば、図７のテーブル７０に示す、認識対象物と動作部位に関する算出結果を制御部７に出力する。
図１の制御部７は、例えば、ワイヤードロジックによるハードウェア回路である。また、制御部７は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。制御部７は、例えば、認識部５が認識した認識対象物に対応する付加情報画像を記憶部４から受け取る。また、制御部７は、ユーザの作業対象となる認識対象物とユーザの動作部位を含む画像（第１画像）を取得部３から受け取る。更に、制御部７は、認識対象物と動作部位に関する算出結果を算出部６から受け取る。
制御部７は、ユーザの作業対象となる認識対象物とユーザの動作部位を含む画像（第１画像）における当該認識対象物に対応する情報を含む付加情報画像（第２画像）と、付加情報画像の外縁に内接して形成され、かつ、付加情報画像に対するユーザの中心視野の全体を覆う拡張画像（当該拡張画像を第３画像と称しても良い）の表示を制御する。なお、当該処理は、図２に示すフローチャートのステップＳ２０６に対応する。また、制御部７は、付加情報画像に対するユーザの焦点距離（換言すると、ユーザの焦点距離に対応する第２画像の表示位置）と、ユーザの中心視野に基づいて規定される、ユーザの眼を構成する中心窩の垂線に対する角度に基づいて、拡張画像の外縁を制御する。また、制御部７は、拡張画像の輝度が実世界の認識対象物の輝度以上、または、テクスチャ特徴量を有さない様に制御する。更に、制御部７は、第１画像における認識対象物の外縁の長さに基づいて、付加情報画像の外縁を規定し、焦点距離と角度の正接に基づいた長さを、付加情報画像の外縁から付加情報画像を内包する方向に延伸させることにより拡張画像の外縁を規定する。なお、制御部７の制御方法の詳細は後述する。
ここで本発明の技術的意義の一つの側面について説明する。図８（ａ）は、ユーザの中心視野と認識対象物と付加情報画像の関係図である。図８（ｂ）は、拡張画像の概念図である。図８（ａ）に示す様に、ユーザの中心視野に異なる焦点距離の物体または画像が存在する場合、ユーザの眼は無意識の内に、当該物体または当該画像の双方に焦点を合わせようとして、焦点距離を頻繁に変化させることになる。一方、中心視野内にある外観に特徴が存在する物体の焦点距離がすべて同じ場合、焦点距離は外観に特徴が存在する物体（換言すると、テクスチャ特徴量が存在する物体）に固定され頻繁な変更は発生しない。この為、図８（ｂ）に示す様に、焦点距離が異なりかつ外観に特徴が存在する物体同士の境界（換言すると、付加情報画像と実世界の認識対象物の境界）に、中心視野角（例えば、中心視野角＝５〜１０°）に相当する、焦点を合わせ難い拡張領域（当該拡張領域を第３画像と称しても良い）を設けることで、焦点距離が異なる２つの物体または画像が中心視野に混在することを回避することが出来る。なお、拡張領域は、テクスチャ特徴量を有さない様にすることにより、ユーザが拡張領域に焦点を合わせるトリガーを消失させることが出来る。これにより、ユーザは、例えば、中心視野の付加情報画像（または中心視野の実画像の認識対象物）の視認性を向上させることが可能となる。なお、視覚目標のないテクスチャ特徴量を有さない領域（調節すべき視対象が無い）、所謂ｅｍｐｔｙ ｆｉｅｌｄにおいては、焦点位置は調節安静位と称される遠点より近方約１．５Ｄ（＝約６６ｃｍ）の位置に存在するとされる（例えば、「伊比、「テクノストレス眼症と眼調節」、日職災医師、５１、ｐ．１２１−１２５、２００３」参照）。また、拡張領域は、実世界の認識対象物を隠蔽する必要がある為、実世界の認識対象物の輝度よりも高く設定する必要がある。
（拡張画像の第１の制御方法）
制御部７は、認識部５が認識した認識対象物の画像上の外縁の長さに基づいて、付加情報画像の外縁を規定する。制御部７は、例えば、付加情報画像の外縁の長さを、画像上の認識対象物の外縁の長さに一致させれば良い。これにより、ユーザが視認する実世界の認識対象物に付加情報画像を重畳表示させることが出来る。制御部７は、付加情報画像に対する焦点距離と、ユーザの中心視野に基づいて規定される、ユーザの中心窩の垂線（視線と称しても良い）に対する角度の正接に基づいた長さを、付加情報画像の外縁から付加情報画像を内包する方向に延伸させることにより拡張画像の外縁を規定する。図９は、ユーザの中心視野の概念図である。図９には、例えば、付加情報画像が表示される焦点距離（例えば、１．０（ｍ））の平面上に規定される中心視野と、ユーザの眼を構成する中心窩に対する垂線が示されている。なお、当該垂線をユーザの視線方向と見做しても良い。一般的に、中心視野の範囲は、当該垂線に対する角度が５〜１０°であるとされている為、付加情報画像に対する焦点距離に応じて規定される半径の円として取扱うことが出来る。中心窩に対する垂線に対する角度をａ°（例えば、ａ＝５°）とし、付加情報画像の焦点距離をＬｓ（例えば、Ｌｓ＝１．０（ｍ））とした場合、付加情報画像を表示する平面上における中心視野の半径Ｃｓは次式で表現することが出来る。
（数５）
Ｃｓ＝ｔａｎ（ａ°）×Ｌｓ
上述の（数５）において、Ｃｓを２倍した値が中心視野となる為、制御部７は、Ｃｓを２倍した値を、付加情報画像の外縁から付加情報画像を内包する方向に延伸させることにより拡張画像の外縁を規定することが出来る。なお、制御部７は、Ｃｓを２倍した値よりも大きい値を付加情報画像の外縁から付加情報画像を内包する方向に延伸させることにより拡張画像の外縁を規定しても良い。
（拡張画像の第２の制御方法）
制御部７は、ユーザの中心窩から実世界の認識対象物までの距離Ｌｏを取得する。なお、距離Ｌｏは、例えば、実世界における認識対象物の大きさを、予め記憶部４に記憶させておき、第１画像上の認識対象物の大きさと、撮像部２の撮像の焦点距離を用いることで算出することが出来る。また、撮像部２を複数個用いる場合は、所謂ステレオ法を用いて距離Ｌｏを算出することが出来る。また、当該距離Ｌｏは、実世界の認識対象物に対する焦点距離と見做すことが出来る。ここで、実世界の認識対象物の上面を正方形の平面と仮定し、当該平面の１辺の長さをＰｏとする場合、実世界の認識対象物に重畳表示させる付加情報画像の１辺の長さＰｓは、次式の通り表現することが出来る。
（数６）
Ｐｓ＝Ｐｏ×Ｌｓ／Ｌｏ
なお、上述の（数６）において、Ｐｏは例えば記憶部４に予め記憶されているものとする。また、Ｌｓは、付加情報画像に対する焦点距離である。
図１の表示部８の表示画角と表示解像度をそれぞれ、表示画角（水平方向±ｄｈ、垂直方向±ｄｖ）、表示解像度（水平方向ｒｈ、垂直方向ｒｖ）とし、付加情報画像を表示する平面上の原点を視野中心とした場合、当該原点から水平方向にＰｓ／２、垂直方向にＰｓ／２だけ離れた位置にある点の座標（ｐｈ、ｐｖ）は、次式を用いて表現することが出来る。
（数７）
ｐｈ＝（Ｐｓ／２）×ｒｈ／（２×ｔａｎ（ｄｈ）×Ｌｓ）
ｐｖ＝（Ｐｓ／２）×ｒｖ／（２×ｔａｎ（ｄｖ）×Ｌｓ）
制御部７は、上述の（数７）に基づいて、ユーザが視認する実世界の認識対象物に対する付加情報画像を表示させる平面の座標値を規定することが出来る。なお、中心視野を、付加情報画像を表示させる平面の座標値で表現すると、次式で表現される座標（Ｃｘ、Ｃｙ）で表現される円となる。
（数８）
Ｃｘ＝（Ｃｓ×ｒｈ／（２×ｔａｎ（ｄｈ）×Ｌｓ））×ｃｏｓθ＋ｘｏ
Ｃｙ＝（Ｃｓ×ｒｖ／（２×ｔａｎ（ｄｖ）×Ｌｓ））×ｓｉｎθ＋ｙｏ
なお、上述の（数８）において、ｘｏとｙｏは、付加情報画像を表示する平面上の原点（中心座標）であり、θは０〜２πである。なお、Ｃｓは上述の（数５）に基づいて、規定することが出来る。
制御部７は、上述の（数８）に基づいて、中心視野と同じ画角の円を、付加情報画像を表示する平面上に描画することができる。制御部７は、当該円を付加情報画像の外縁に沿って描画することができる。例えば、実世界の認識対象物に対する焦点距離Ｌｏ＝０．５０（ｍ）、付加情報画像に対する焦点距離Ｌｓ＝１．００（ｍ）、実世界の認識対象物の上面（正方形と仮定）の１辺の長さＰｏ＝０．１０（ｍ）と仮定した場合、上述の（数６）によりＰｓ＝０．２０（ｍ）となる。また、ユーザの中心窩に対する垂線に対する角度をａ＝５°と規定すると、上述の（数５）によりＣｓ＝０.０８７（ｍ）となる。ここで、表示画角（水平方向±ｄｈ、垂直方向±ｄｖ）を（±ｄｈ＝±１８．９°、±ｄｖ＝±１５．３°）、表示解像度（水平方向ｒｈ、垂直方向ｒｖ）を（１２８０（画素）、１０２４（画素））として、上述の（数７）と（数８）に基づいて、（ｐｈ、ｐｖ）と（Ｃｘ、Ｃｙ）を算出すると、（ｐｈ、ｐｖ）＝（１８６、１８７）、（Ｃｘ、Ｃｙ）＝（１６２×ｃｏｓθ＋ｘｏ、１６２×ｓｉｎθ＋ｙｏ）と表すことができる。この様に、制御部７は、上述の（数７）と（数８）を用いて拡張画像の外縁を規定すること出来る。
上述の（拡張画像の第１の制御方法）または、（拡張画像の第２の制御方法）において、制御部７は、拡張画像の輝度が実世界の認識対象物の輝度よりも大きくになる様に制御する。なお、実世界の認識対象物の輝度は、画像処理装置１が使用される環境の照度と考えることも出来る。例えば、照度２７０ｌｘの環境において、表示輝度が最大３００ｃｄ／ｍ２となる表示部８を用いて、テクスチャ特徴量を有さない一様な白色の拡張画像（ＲＧＢ値、（Ｒ：２００、Ｇ：２００、Ｂ：２００）を表示すると、拡張画像は、実世界の認識対象物を隠蔽することが出来る。この為、制御部７は、撮像部２が撮像した画像（第１画像）に含まれる作業対象画像を平均ＲＢＧ画像に変換し、次式に基づいて輝度値Ｙ１を算出する。
（数９）
Ｙ１（Ｙ２）＝（０．２９８９１２×Ｒ＋０．５８６６１１×Ｇ＋０．１１４４７８×Ｂ）
制御部７は、上述の（数９）で算出したＹ１の値よりも、大きい任意の輝度値Ｙ２を拡張画像の輝度値とすれば良い。なお、拡張画像の色相は、例えば、白色であれば良いが、白色に限られない。また、拡張画像の色相と、認証対象物の色相は同一でも良い。例えば、認識対象物のＲＧＢ値が暗い黄色（ＲＧＢ値、（Ｒ：１２８、Ｇ：１２８、Ｂ：０）であり、拡張画像のＲＧＢ値が明るい黄色（ＲＧＢ値、（Ｒ：２５５、Ｇ：２５５、Ｂ：０））の場合、上述の（数９）により、Ｙ１＝１１３．３、Ｙ２＝２２５．８となり、拡張画像は、実世界の認識対象物を隠蔽することが出来る。
制御部７は、付加情報画像と拡張画像を表示部８に表示させる制御を行う。制御部７は、例えば、実世界の認識対象物の位置に対応させて（重畳させて）付加情報画像を表示部８に表示させる。また、拡張画像は付加情報画像の表示位置に応じて適宜表示されれば良い。
制御部７は、付加情報画像を実世界の認識対象物の位置に重畳表示させるとともに、付加情報画像の表示位置に基づいて拡張画像を表示する。なお、当該処理は、図２に示すフローチャートのステップＳ２０７ないしＳ２０９に対応する。制御部７は、ユーザの動作部位の動きベクトルが所定量以上（例えば、上述の第１閾値以上）の場合は、ユーザが実世界の認識対象物に対して作業を開始したとして付加情報画像と拡張画像の表示を表示部８に停止させることが出来る。しかしながら、ユーザが実際に作業を行う場合、実世界の認識対象物を直視出来る方が好ましい場合もある為、ユーザの作業に影響を与えない領域に付加情報画像と拡張画像を表示させる。なお、拡張画像の表示位置は、付加情報画像に応じて一意に決定することができる為、実施例１では、付加情報画像の表示位置の制御を中心として説明する。また、制御部７は、例えば、上述の確認状態の場合（図２のステップＳ２０７−Ｙｅｓに対応）に、付加情報画像を実世界の認識対象物の位置に重畳表示させるとともに、付加情報画像の表示位置に基づいて拡張画像を表示すれば良い（図２のステップＳ２０８に対応）。更に、制御部７は、例えば、上述の操作状態の場合（図２のステップＳ２０７−Ｎｏに対応）に、ユーザの作業に影響を与えない領域に付加情報画像と拡張画像を表示させる制御を行えば良い（図２のステップＳ２０９に対応）。制御部７は、認識対象物に対応する付加情報画像の表示位置を、認識対象物とユーザの動作部位以外の位置に制御し、制御した付加情報画像を表示部８に表示させる。換言すると、制御部７は、付加情報画像の表示位置を、認識対象物が動きベクトルと付加情報画像に介在される位置、かつ、認識対象物の基準位置（例えば、ユーザの作業対象の位置となる作業位置）と付加情報画像の基準位置（例えば、作業位置）の距離が最小となる位置に制御する。
制御部７は、認識対象物を例えば矩形近似して、近似矩形領域の各辺の法線方向について、手指の移動方向に対する角度を算出する。制御部７は、例えば、手指の移動方向と各辺の法線方向を比較し、内角差が所定の角度（例えば９０°）未満となる方向を、付加情報画像の表示候補方向とする。制御部７は、当該表示候補方向に付加情報画像の表示位置に制御した場合における、認識対象物の作業位置と、付加情報画像が示す認識対象物の仮想的な作業位置との距離を算出し、当該距離が最小となる領域を選択することで付加情報画像と拡張画像の表示位置を制御する。
図１０は、付加情報画像と拡張画像の表示候補方向の概念図である。図１０においては、ユーザの手指の基準点が斜め左上方向を移動方向として進行しているものとする。また、図１０において、制御部７は、上述の通り、認識対象物を矩形近似して、近似矩形領域の各辺の法線方向について手指の移動方向に対する角度を算出する。図１０においては、θ１とθ２が、内角差が９０°未満となる為、認識対象物の作業位置に対して、上方向と左方向が付加情報画像と拡張画像の表示候補方向となる。
図１１（ａ）は、認識対象物の作業位置と近似矩形領域における各辺の線分の関係図である。図１１（ｂ）は、近似矩形領域における各辺の線分のデータ構造の一例を示す図である。図１１（ｃ）は、付加情報画像と拡張画像の表示候補位置の概念図である。図１１（ａ）の認識対象物と近似矩形領域の大きさは、撮像部２の撮像条件に依存した大きさとなる。また、作業位置座標（ＷＸ、ＷＹ）は、例えば、予め認識対象物に対応付けられて記憶部４に記憶されているものとする。なお、作業位置座標（ＷＸ、ＷＹ）の原点は、例えば、取得部３が取得する画像の左上端とすることが出来る。図１１（ｂ）のテーブル１１は、記憶部４に記憶される認識対象物の作業位置を基点とした近似矩形領域の各辺までの基本距離を示している。換言すると、図１１（ｂ）のテーブル１１は、撮像部２の撮像条件に依存しない、認識対象物の作業位置を基点と近似矩形領域の各辺までの相対的な距離を示している。なお、制御部７は、取得部３が取得した認識対象物の姿勢に対応する付加情報画像を記憶部４から選択することが可能であり、かつ、認識対象物と同一のサイズに付加情報画像を拡大縮小処理することが可能である。この為、制御部７は、認識対象物と付加情報画像を重畳表示させる場合においても、認識対象物の画像上の大きさ（面積）に合わせて、付加情報画像を拡大縮小処理することが出来る。ここで、拡大縮小の比率をα（例えばα＝５）とすると、図１１（ｂ）に示す各種データを用いて、図１１（ａ）に示す各辺の線分の距離を、次式を用いて算出することが出来る。
（数１０）
ＳＴ＝α×ＳＯＴ
ＳＬ＝α×ＳＯＬ
ＳＢ＝α×ＳＯＢ
ＳＲ＝α×ＳＯＲ
図１１（ｃ）において、付加情報画像と拡張画像を認識対象物の上方向に表示した場合の、付加情報画像の仮想的な作業位置と認識対象物の作業位置間の距離をＬＴ、左方向に表示した場合の作業位置間の距離をＬＬとすると、距離ＬＴと距離ＬＬは次式の通り算出される。
（数１１）
ＬＴ＝ＳＴ＋ＳＢ＝９５
ＬＬ＝ＳＲ＋ＳＬ＝２０
なお、上述の（数１１）において、単位は画素となる。制御部７は、距離ＬＬが最小距離となる為、距離ＬＬの条件を満たす領域位置を、付加情報画像と拡張画像の表示位置として制御する。制御部７は、表示位置を制御した付加情報画像を表示部８へ出力する。
制御部７は、撮像部２の撮像条件によって変化し得る認識対象物の画像上の位置、姿勢、面積等から、作業位置座標（ＷＸ、ＷＹ）や、近似矩形領域の各辺の傾きを算出することも出来る。制御部７は、近似矩形領域の各辺の傾きと作業位置の座標値を用いることで、図１１（ａ）に示す近似矩形領域の各辺の線分の距離を算出しても良い。近似矩形領域の各辺の線分の距離は、例えば、ＳＴ＝４０、ＳＬ＝８、ＳＢ＝５５、ＳＲ＝１２となる。
図１または図３の表示部８は、例えば、ユーザが実世界を視認できる様に、ハーフミラー等の一定の反射率と透過率を有する光学シースルー型ディスプレイなどの表示デバイスである。表示部８は、実世界の認識対象物をユーザが光の透過により直接視認する状態で、付加情報画像（第２画像）と拡張画像（第３画像）を光の反射により実世界の認識対象物の位置に対応させてユーザに対して表示する。例えば、表示部８は、表示位置が制御された付加情報画像と拡張画像を制御部７から受け取り、当該付加情報画像と拡張画像を表示する。
処理部９は、例えば、ワイヤードロジックによるハードウェア回路である。また、処理部９は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。処理部９は、取得部３、認識部５、算出部６、制御部７の機能を、必要に応じて処理部９が保持し、各機能を実施しても良い。なお、処理部９は、必ずしも画像処理装置１に保持される必要はない。
なお、画像処理装置１は、画像処理装置１が有する各機能部を、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路で構成しても良い。なお、付加情報画像の重畳表示後に、取得部３が取得する画像において、任意の所定フレーム数に渡ってユーザの動作部位が認識されない場合は、画像処理装置１は、ユーザの作業状態が操作状態から確認状態に移行したと判断して、認識対象物の位置に付加情報画像を重畳表示しても良い。
実施例１における画像処理装置１においては、ユーザの意図しない焦点の切替えを抑制することで、眼精疲労を防止し、実世界の認識対象物と付加情報画像の視認性を向上させることが可能となる。更に、実施例１における画像処理装置１においては、画像処理装置１は、「確認状態」においては、認識対象物と同じ位置に付加情報画像を重畳表示し、「操作状態」においては、付加情報画像を認識対象物に隣接し、作業位置が対比し易い領域かつ、ユーザの動作部位に干渉しない領域に表示する為、付加情報画像の視認性とユーザの作業性の双方を向上させることが可能となる。
（実施例２）
実施例１においては、画像処理装置１は、ユーザの動作部位を１箇所として画像処理を実施するが、実施例２においては、複数の動作部位を対象とした画像処理について説明する。実施例２においては、例えば、図１０や図１１（ｃ）に例示した右手指の移動方向に応じた位置に付加情報画像と拡張画像を表示した後に、認識対象物に対するユーザの作業に応じて、左手指が撮像部２の撮像する画像に含まれる場合を想定する。
画像処理装置１は、左手指の移動方向を実施例１と同様に算出し、右手指の移動方向と左手指の移動方向に干渉しない方向に付加情報画像と拡張画像を表示する。図１１（ｃ）においては、画像処理装置１は、認識対象物の上方向に付加情報画像と拡張画像を表示する。更に、実施例２における画像処理装置１は、左手指または右手指の何れかが、付加情報画像に干渉する位置に存在する場合は、付加情報画像と拡張画像の表示位置を更に制御する。なお、実施例２においては、左手指が付加情報画像に干渉する位置に存在する場合を例として説明する。
算出部６は、ユーザの動作部位の一つとなる左手指の位置を実施例１に示す方法を用いて同様に算出し、制御部７が制御した付加情報画像と拡張画像の表示位置と比較し、左手指の位置が付加情報画像と拡張画像の位置と干渉しているか否かを判定することが出来る。左手指が付加情報画像と拡張画像と干渉している場合は、制御部７は、付加情報画像と拡張画像が認識対象物と重畳せず、かつ、付加情報画像と拡張画像が左手指と右手指に干渉しない領域を探索する。
図１２（ａ）は、付加情報画像と拡張画像の表示領域探索の第１の概念図である。図１２（ａ）においては、制御部７は、付加情報画像と拡張画像が認識対象物と重畳せず、かつ、付加情報画像が左手指と右手指に干渉しない領域となる、付加情報画像と拡張画像の複数の第１表示候補位置を探索する。図１２（ａ）においては、第１表示候補位置を３つ例示しているが、第１表示候補位置の数は特に限定されるものではない。
制御部７は、認識対象物の作業位置を原点とした場合の、第１表示候補位置における付加情報画像の作業位置の角度変化が所定の閾値未満となる領域を、第２表示候補領域として絞りこみ処理を行う。次に、制御部７は、複数の第２表示候補領域において、作業位置間の距離の変化が最小となる第３表示候補領域を最終的に選択する。制御部７は、最終的に選択した第３表示候補領域を付加情報画像の表示位置として制御する。
図１２（ｂ）は、付加情報画像と拡張画像の表示領域探索の第２の概念図である。図１２（ｃ）は、付加情報画像と拡張画像の表示領域探索の第３の概念図である。図１２（ｂ）において、制御部７は、認識対象物の作業箇所と第２表示候補領域の付加情報画像の作業箇所を結ぶ直線のなす角度を算出する。図１２（ｂ）において、制御部７は、認識対象物の左上の２つの第１表示候補領域は角度が所定の角度より小さい為、第２表示領域候補とするが、左下の第１表示候補領域は角度変化が大きいため、第２表示候補領域から除外する。図１２（ｃ）に示す通り、制御部３は、作業位置間の距離の変化が最小となる第３表示候補領域を最終的に選択する。
実施例２に開示する画像処理装置１においては、ユーザの複数の動作部位が画像上で認識される場合においても、実世界の認識対象物と付加情報画像の視認性を向上させることが可能となる。
（実施例３）
図１３は、一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。図１３に示す通り、画像処理装置１は、コンピュータ１００、およびコンピュータ１００に接続する入出力装置（周辺機器）を含んで構成される。
コンピュータ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２と複数の周辺機器が接続されている。なお、プロセッサ１０１は、マルチプロセッサであってもよい。また、プロセッサ１０１は、例えば、ＣＰＵ、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）である。更に、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。なお、例えば、プロセッサ１０１は、図１または図３に記載の取得部３、認識部５、算出部６、制御部７、処理部９等の機能ブロックの処理を実行することが出来る。
ＲＡＭ１０２は、コンピュータ１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。バス１０９に接続されている周辺機器としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０３、グラフィック処理装置１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。
ＨＤＤ１０３は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ１０３は、例えば、コンピュータ１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することも出来る。なお、ＨＤＤ１０３は、図１または図３に記載の記憶部４の機能ブロックの処理を実行することが出来る。
グラフィック処理装置１０４には、モニタ１１０が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令にしたがって、各種画像をモニタ１１０の画面に表示させる。モニタ１１０としては、ハーフミラー等の一定の反射率と透過率を有する光学シースルー型ディスプレイを用いることが出来る。なお、モニタ１１０は、ユーザに装着できる様に、フレームで保持されていても良い。また、モニタ１１０は、図１または図３に記載の表示部８の機能ブロックの処理を実行することが出来る。
入力インタフェース１０５には、キーボード１１１とマウス１１２とが接続されている。入力インタフェース１０５は、キーボード１１１やマウス１１２から送られてくる信号をプロセッサ１０１に送信する。なお、マウス１１２は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク１１３に記録されたデータの読み取りを行う。光ディスク１１３は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク１１３には、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。可搬型の記録媒体となる光ディスク１１３に格納されたプログラムは光学ドライブ装置１０６を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１より実行可能となる。
機器接続インタフェース１０７は、コンピュータ１００に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１０７には、メモリ装置１１４やメモリリーダライタ１１５を接続することが出来る。メモリ装置１１４は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ１１５は、メモリカード１１６へのデータの書き込み、またはメモリカード１１６からのデータの読み出しを行う装置である。メモリカード１１６は、カード型の記録媒体である。また、機器接続インタフェース１０７には、カメラ１１８を接続することができる。なお、カメラ１１８は、図１または図３に記載の撮像部２の機能ブロックの処理を実行することが出来る。
ネットワークインタフェース１０８は、ネットワーク１１７に接続されている。ネットワークインタフェース１０８は、ネットワーク１１７を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
コンピュータ１００は、たとえば、コンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、上述した画像処理機能を実現する。コンピュータ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことが出来る。上記プログラムは、１つのまたは複数の機能モジュールから構成することが出来る。例えば、図１または図３に記載の取得部３、認識部５、算出部６、制御部７等の処理を実現させた機能モジュールからプログラムを構成することが出来る。なお、コンピュータ１００に実行させるプログラムをＨＤＤ１０３に格納しておくことができる。プロセッサ１０１は、ＨＤＤ１０３内のプログラムの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。また、コンピュータ１００に実行させるプログラムを、光ディスク１１３、メモリ装置１１４、メモリカード１１６などの可搬型記録媒体に記録しておくことも出来る。可搬型記録媒体に格納されたプログラムは、例えば、プロセッサ１０１からの制御により、ＨＤＤ１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することも出来る。
以上に図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。
以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
実世界の認識対象物を含む第１画像を取得する取得部と、
前記第１画像から前記認識対象物を認識する認識部と、
前記第１画像における前記認識対象物に対応する情報を含む第２画像と、
前記第２画像の外縁に内接して形成され、かつ、前記第２画像に対する前記ユーザの中心視野の全体を覆う第３画像
の表示を制御する制御部と、
前記実世界の前記認識対象物を前記ユーザが光の透過により直接視認する状態で、前記第２画像と前記第３画像を前記光の反射により前記実世界の前記認識対象物の位置に対応させて前記ユーザに対して表示する表示部
を備えることを特徴とする画像処理装置。
（付記２）
前記制御部は、前記第２画像に対するユーザの焦点距離と、前記ユーザの中心視野に基づいて規定される、前記ユーザの中心窩の垂線に対する角度に基づいて、前記第３画像の外縁を制御することを特徴とする付記１記載の画像処理装置。
（付記３）
前記制御部は、前記第３画像の輝度が前記実世界の前記認識対象物の輝度より大きくなる様に、または、テクスチャ特徴量を有さない様に制御することを特徴とする付記１または付記２記載の画像処理装置。
（付記４）
前記制御部は、
前記第１画像における前記認識対象物の外縁の長さに基づいて、前記第２画像の前記外縁を規定し、
前記焦点距離と前記角度の正接に基づいた長さを、前記第２画像の前記外縁から前記第２画像を内包する方向に延伸させることにより前記第３画像の外縁を規定することを特徴とする付記１ないし付記３の何れか一つに記載の画像処理装置。
（付記５）
前記認識部は、前記認識対象物に対応し、予め抽出される第１特徴点を記憶する記憶部にアクセス可能であり、
前記画像から第２特徴点を抽出し、前記第１特徴点と前記第２特徴点を対応付けることによって、前記第１画像に含まれる前記認識対象物を認識することを特徴とする付記１ないし付記４記載の何れか一つに画像処理装置。
（付記６）
前記画像は、前記ユーザの動作部位を更に含み、
前記認識部は、前記第１画像から前記動作部位を更に認識し、
前記画像処理装置は、複数の前記画像から前記動作部位の動きベクトルを算出する算出部を更に備え、
前記制御部は、前記認識対象物の位置と前記動きベクトルに基づいて、前記第２画像と前記第３画像の表示位置を制御することを特徴とする付記１ないし付記４記載の何れか一つに記載の画像処理装置。
（付記７）
前記制御部は、前記動きベクトルが第１閾値未満の場合は、前記第２画像の前記表示位置を、前記認識対象物に重畳する位置に制御することを特徴とする付記６記載の画像処理装置。
（付記８）
前記制御部は、前記動きベクトルが前記第１閾値以上の場合は、前記第２画像と前記第３画像の前記表示位置を、
前記認識対象物が前記動きベクトルと前記第２画像と前記第３画像に介在する位置、かつ、前記認識対象物の基準位置と前記第２画像の基準位置の距離が最小距離となる位置に制御することを特徴とする付記６記載の画像処理装置。
（付記９）
前記制御部は、前記動きベクトルが前記第１閾値以上の場合は、前記第２画像と前記第３画像の表示を停止させることを特徴とする付記６記載の画像処理装置。
（付記１０）
実世界の認識対象物を含む第１画像を取得し、
前記第１画像から前記認識対象物を認識し、
前記第１画像における前記認識対象物に対応する情報を含む第２画像と、
前記第２画像の外縁に内接して形成され、かつ、前記第２画像に対する前記ユーザの中心視野の全体を覆う第３画像
の表示を制御し、
前記実世界の前記認識対象物を前記ユーザが光の透過により直接視認する状態で、前記第２画像と前記第３画像を前記光の反射により前記実世界の前記認識対象物の位置に対応させて前記ユーザに対して表示すること
を含むことを特徴とする画像処理方法。
（付記１１）
前記制御することは、前記第２画像に対するユーザの焦点距離と、前記ユーザの中心視野に基づいて規定される、前記ユーザの中心窩の垂線に対する角度に基づいて、前記第３画像の外縁を制御することを特徴とする付記１０記載の画像処理方法。
（付記１２）
前記制御することは、前記第３画像の輝度が前記実世界の前記認識対象物の輝度より大きくなる様に、または、テクスチャ特徴量を有さない様に制御することを特徴とする付記１０または付記１１記載の画像処理方法。
（付記１３）
前記制御することは、
前記第１画像における前記認識対象物の外縁の長さに基づいて、前記第２画像の前記外縁を規定し、
前記焦点距離と前記角度の正接に基づいた長さを、前記第２画像の前記外縁から前記第２画像を内包する方向に延伸させることにより前記第３画像の外縁を規定することを特徴とする付記１０ないし付記１２の何れか一つに記載の画像処理方法。
（付記１４）
前記認識することは、前記認識対象物に対応し、予め抽出される第１特徴点を記憶する記憶部にアクセス可能であり、
前記画像から第２特徴点を抽出し、前記第１特徴点と前記第２特徴点を対応付けることによって、前記第１画像に含まれる前記認識対象物を認識することを特徴とする付記１０ないし付記１３記載の何れか一つに記載の画像処理方法。
（付記１５）
前記画像は、前記ユーザの動作部位を更に含み、
前記認識することは、前記第１画像から前記動作部位を更に認識し、
前記画像処理装置は、複数の前記画像から前記動作部位の動きベクトルを算出することを更に含み、
前記制御することは、前記認識対象物の位置と前記動きベクトルに基づいて、前記第２画像と前記第３画像の表示位置を制御することを特徴とする付記１０ないし付記１３記載の何れか一つに記載の画像処理方法。
（付記１６）
前記制御することは、前記動きベクトルが第１閾値未満の場合は、前記第２画像の前記表示位置を、前記認識対象物に重畳する位置に制御することを特徴とする付記１５記載の画像処理方法。
（付記１７）
前記制御することは、前記動きベクトルが前記第１閾値以上の場合は、前記第２画像と前記第３画像の前記表示位置を、
前記認識対象物が前記動きベクトルと前記第２画像と前記第３画像に介在する位置、かつ、前記認識対象物の基準位置と前記第２画像の基準位置の距離が最小距離となる位置に制御することを特徴とする付記１５記載の画像処理方法。
（付記１８）
前記制御することは、前記動きベクトルが前記第１閾値以上の場合は、前記第２画像と前記第３画像の表示を停止させることを特徴とする付記１５記載の画像処理方法。
（付記１９）
コンピュータに、
実世界の認識対象物を含む第１画像を取得し、
前記第１画像から前記認識対象物を認識し、
前記第１画像における前記認識対象物に対応する情報を含む第２画像と、
前記第２画像の外縁に内接して形成され、かつ、前記第２画像に対する前記ユーザの中心視野の全体を覆う第３画像
の表示を制御し、
前記実世界の前記認識対象物を前記ユーザが光の透過により直接視認する状態で、前記第２画像と前記第３画像を前記光の反射により前記実世界の前記認識対象物の位置に対応させて前記ユーザに対して表示すること
を実行させることを特徴とする画像処理プログラム。
１ 画像処理装置
２ 撮像部
３ 取得部
４ 記憶部
５ 認識部
６ 算出部
７ 制御部
８ 表示部
９ 処理部

Claims (11)

  1. 実世界の認識対象物を含む第１画像を取得する取得部と、
    前記第１画像から前記認識対象物を認識する認識部と、
    前記第１画像における前記認識対象物に対応する情報を含む第２画像と、
    前記第２画像の外縁よりも外側に形成されて前記外縁と接する境界を有し、かつ、前記第２画像に対するユーザの中心視野を覆う第３画像
    の表示を制御する制御部と、
    前記実世界の前記認識対象物を前記ユーザが光の透過により直接視認する状態で、前記第２画像と前記第３画像を前記光の反射により前記実世界の前記認識対象物の位置に対応させて前記ユーザに対して表示する表示部
    を備えることを特徴とする画像処理装置。
  2. 前記制御部は、前記第２画像に対する前記ユーザの焦点距離と、前記ユーザの中心視野に基づいて規定される、前記ユーザの中心窩の垂線に対する角度に基づいて、前記第３画像の外縁を制御することを特徴とする請求項１記載の画像処理装置。
  3. 前記制御部は、前記第３画像の輝度が前記実世界の前記認識対象物の輝度より大きくなる様に、または、テクスチャ特徴量を有さない様に制御することを特徴とする請求項１または請求項２記載の画像処理装置。
  4. 前記制御部は、
    前記第１画像における前記認識対象物の外縁の長さに基づいて、前記第２画像の前記外縁を規定し、
    前記焦点距離と前記角度の正接に基づいた長さを、前記第２画像の前記外縁から前記第２画像を内包する方向に延伸させることにより前記第３画像の外縁を規定することを特徴とする請求項１ないし請求項３の何れか一項に記載の画像処理装置。
  5. 前記認識部は、前記認識対象物に対応し、予め抽出される第１特徴点を記憶する記憶部にアクセス可能であり、
    前記第１画像から第２特徴点を抽出し、前記第１特徴点と前記第２特徴点を対応付けることによって、前記第１画像に含まれる前記認識対象物を認識することを特徴とする請求項１ないし請求項４の何れか一項に画像処理装置。
  6. 前記第１画像は、前記ユーザの動作部位を更に含み、
    前記認識部は、前記第１画像から前記動作部位を更に認識し、
    前記画像処理装置は、複数の前記第１画像から前記動作部位の動きベクトルを算出する算出部を更に備え、
    前記制御部は、前記認識対象物の位置と前記動きベクトルに基づいて、前記第２画像と前記第３画像の表示位置を制御することを特徴とする請求項１ないし請求項４の何れか一項に記載の画像処理装置。
  7. 前記制御部は、前記動きベクトルが第１閾値未満の場合は、前記第２画像の前記表示位置を、前記認識対象物に重畳する位置に制御することを特徴とする請求項６記載の画像処理装置。
  8. 前記制御部は、前記動きベクトルが前記第１閾値以上の場合は、前記第２画像と前記第３画像の前記表示位置を、
    前記認識対象物が前記動きベクトルと前記第２画像と前記第３画像に介在する位置、かつ、前記認識対象物の基準位置と前記第２画像の基準位置の距離が最小距離となる位置に制御することを特徴とする請求項６記載の画像処理装置。
  9. 前記制御部は、前記動きベクトルが前記第１閾値以上の場合は、前記第２画像と前記第３画像の表示を停止させることを特徴とする請求項６記載の画像処理装置。
  10. 実世界の認識対象物を含む第１画像を取得し、
    前記第１画像から前記認識対象物を認識し、
    前記第１画像における前記認識対象物に対応する情報を含む第２画像と、
    前記第２画像の外縁よりも外側に形成されて前記外縁と接する境界を有し、かつ、前記第２画像に対するユーザの中心視野を覆う第３画像
    の表示を制御し、
    前記実世界の前記認識対象物を前記ユーザが光の透過により直接視認する状態で、前記第２画像と前記第３画像を前記光の反射により前記実世界の前記認識対象物の位置に対応させて前記ユーザに対して表示すること
    を含むことを特徴とする画像処理方法。
  11. コンピュータに、
    実世界の認識対象物を含む第１画像を取得し、
    前記第１画像から前記認識対象物を認識し、
    前記第１画像における前記認識対象物に対応する情報を含む第２画像と、
    前記第２画像の外縁よりも外側に形成されて前記外縁と接する境界を有し、かつ、前記第２画像に対するユーザの中心視野を覆う第３画像
    の表示を制御し、
    前記実世界の前記認識対象物を前記ユーザが光の透過により直接視認する状態で、前記第２画像と前記第３画像を前記光の反射により前記実世界の前記認識対象物の位置に対応させて前記ユーザに対して表示すること
    を実行させることを特徴とする画像処理プログラム。
JP2014165506A 2014-08-15 2014-08-15 画像処理装置、画像処理方法および画像処理プログラム Expired - Fee Related JP6390260B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014165506A JP6390260B2 (ja) 2014-08-15 2014-08-15 画像処理装置、画像処理方法および画像処理プログラム
US14/750,738 US9741171B2 (en) 2014-08-15 2015-06-25 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014165506A JP6390260B2 (ja) 2014-08-15 2014-08-15 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2016042261A JP2016042261A (ja) 2016-03-31
JP6390260B2 true JP6390260B2 (ja) 2018-09-19

Family

ID=55302564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014165506A Expired - Fee Related JP6390260B2 (ja) 2014-08-15 2014-08-15 画像処理装置、画像処理方法および画像処理プログラム

Country Status (2)

Country Link
US (1) US9741171B2 (ja)
JP (1) JP6390260B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807383B2 (en) * 2016-03-30 2017-10-31 Daqri, Llc Wearable video headset and method for calibration
JP2019159389A (ja) * 2018-03-07 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP2001197400A (ja) 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc 表示装置、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置のための画像生成方法、コンピュータおよびプログラム記憶媒体
JP2005339266A (ja) 2004-05-27 2005-12-08 Canon Inc 情報処理方法、情報処理装置、撮像装置
JP2006267887A (ja) 2005-03-25 2006-10-05 Konica Minolta Photo Imaging Inc 映像認識手段を備えたヘッドマウントディスプレイ
US8280115B2 (en) * 2007-10-30 2012-10-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP5104679B2 (ja) * 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
EP2372431A3 (en) * 2010-03-24 2011-12-28 Olympus Corporation Head-mounted type display device
JP2011203380A (ja) * 2010-03-24 2011-10-13 Olympus Corp 頭部装着型画像表示装置
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
JP2012173772A (ja) 2011-02-17 2012-09-10 Panasonic Corp ユーザインタラクション装置、ユーザインタラクション方法、ユーザインタラクションプログラム、及び集積回路
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
JP5780142B2 (ja) * 2011-12-07 2015-09-16 富士通株式会社 画像処理装置、画像処理方法
JP6186689B2 (ja) * 2012-09-26 2017-08-30 セイコーエプソン株式会社 映像表示システム
US10223859B2 (en) * 2012-10-30 2019-03-05 Bally Gaming, Inc. Augmented reality gaming eyewear

Also Published As

Publication number Publication date
US20160049009A1 (en) 2016-02-18
JP2016042261A (ja) 2016-03-31
US9741171B2 (en) 2017-08-22

Similar Documents

Publication Publication Date Title
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
JP6075110B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5728009B2 (ja) 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路
US11715231B2 (en) Head pose estimation from local eye region
US9911214B2 (en) Display control method and display control apparatus
US10319104B2 (en) Method and system for determining datum plane
CN107111863B (zh) 角膜成像的设备和方法
WO2016129156A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20150370321A1 (en) Shape recognition device, shape recognition program, and shape recognition method
JP6256165B2 (ja) 視線検出装置、視線検出プログラム及び視線検出方法
US20180005424A1 (en) Display control method and device
US11080888B2 (en) Information processing device and information processing method
TWI489326B (zh) 操作區的決定方法與系統
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
JPWO2017057106A1 (ja) 入力装置、入力方法、及びプログラム
JP6390260B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20160140762A1 (en) Image processing device and image processing method
JP6971788B2 (ja) 画面表示制御方法および画面表示制御システム
US10083675B2 (en) Display control method and display control apparatus
JP6762544B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN113703161B (zh) 扩增实境系统与其锚定显示方法
JP6721169B1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
KR102605451B1 (ko) 이미지 내에 포함된 복수의 외부 객체들 각각에 대응하는 복수의 서비스들을 제공하는 전자 장치 및 방법
CN117372475A (zh) 眼球追踪方法和电子设备

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180522

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20180528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180806

R150 Certificate of patent or registration of utility model

Ref document number: 6390260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees