JP6464889B2

JP6464889B2 - 画像処理装置、画像処理プログラム、及び画像処理方法

Info

Publication number: JP6464889B2
Application number: JP2015073837A
Authority: JP
Inventors: 厚一郎新沼; 厚憲茂木; 伸之原; 吉武　敏幸; 敏幸吉武; 村瀬　太一; 太一村瀬; 昌史多田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2015-03-31
Filing date: 2015-03-31
Publication date: 2019-02-06
Anticipated expiration: 2035-03-31
Also published as: US20160291698A1; JP2016194763A; US10185399B2

Description

本発明は、画像処理装置、画像処理プログラム、及び画像処理方法に関する。

撮影装置で撮影して得られた撮影画像からユーザの操作を認識し、認識した操作に応じた制御や処理を行う技術が知られている。このような技術として、ユーザの頭部に装着されて眼部の前方に配置される表示装置を使用する場合の入力インターフェースとして、ユーザがジェスチャにより行った各種操作を、撮影装置で撮影して得られた画像からユーザの操作を認識する技術が知られている。

また、ユーザの操作が失敗したか否かや、ユーザの操作の認識を失敗したりしたか否かを判断する技術が知られている。さらに、ユーザの操作が失敗したと判断した場合等に、正しい操作を提示する技術が知られている。

特開２０１１−２１５８５６号公報特開２０１１−２０９７８７号公報特開２００１−２１６０６９号公報特開２０００−２５９３０７号公報

しかしながら、ユーザの頭部に装着された表示装置を使用する場合の入力インターフェースとしてユーザがジェスチャにより操作を行う場合、ユーザが操作に不慣れなために適切な操作が行われない場合がある。そのため、ユーザの操作を適切に認識できない場合がある。

本発明は一つの側面として、ユーザが操作に不慣れな場合にも、ユーザの操作を適切に認識することができることを目的とする。

１つの態様では、特定部及び制御部を備える。特定部は、撮影装置によって撮影された撮影画像上で、領域を指定する指定操作に対応する第１特定形状の手領域を検出した場合に、前記手領域が静止している時間の計測を開始する。そして特定部は、前記指定領域が静止している時間が予め設定された時間に達した場合に、前記指定操作による指定領域を特定する。制御部は、前記特定部によって前記指定領域が特定された後に継続して、以下の検出を行った場合に、前記指定領域に対して前記所定の画像処理を行った画像を、装着された状態で頭部の前方に配置される表示装置に表示させる。上記検出は、前記撮影装置によって撮影された撮影画像上で前記指定領域に対する所定の画像処理の実行を指示する指示操作に対応する、第２特定形状の手領域及び手領域の特定の動きの少なくとも一方を検出した場合である。

一つの側面として、ユーザが操作に不慣れな場合にも、ユーザの操作を適切に認識することができる、という効果を有する。

第１実施形態に係る画像処理システムの概略構成を示す図である。第１実施形態に係るＨＭＤ及び撮影装置の具体例を示す図である。第１実施形態に係る画像処理装置の一例の概略構成を示す機能ブロック図である。第１実施形態に係る画像処理装置として機能するコンピュータの概略構成を示すブロック図である。第１実施形態の具体例としてユーザが現場作業において離れた位置に設けられたメータの読取を行う場合を説明する図である。第１実施形態に係る撮影装置により撮影され、ＨＭＤに表示される撮影画像の具体例を示す図である。第１実施形態に係る画像処理装置で行われる画像処理の一例のフローチャートである。第１実施形態に係る画像処理システムにおけるユーザの操作及びＨＭＤに表示される画像を説明するための図である。第１実施形態に係る指定領域特定部で実行される領域特定処理の一例のフローチャートである。第１実施形態に係る描画拡大部で実行される拡大率特定処理の一例のフローチャートである。第２実施形態に係る画像処理装置の一例の概略構成を示す機能ブロック図である。第２実施形態に係る画像処理装置として機能するコンピュータの概略構成を示すブロック図である。第２実施形態に係る画像処理装置で行われる画像処理の一例のフローチャートである。第２実施形態に係る失敗操作検出部で行われる失敗操作検出処理の一例のフローチャートである。失敗操作１に対応する失敗パターンとの照合を行うための失敗パターン照合処理の一例のフローチャートである。失敗操作２に対応する失敗パターンとの照合を行うための失敗パターン照合処理の一例のフローチャートである。失敗操作３に対応する失敗パターンとの照合を行うための失敗パターン照合処理の一例のフローチャートである。失敗操作１に対応する操作意図判断処理の一例のフローチャートである。失敗操作２に対応する操作意図判断処理の一例のフローチャートである。失敗操作３に対応する操作意図判断処理の一例のフローチャートである。ユーザの意図する操作が、指定領域を指定する指定操作であったと判断した場合に提示する操作方法の具体例を示す図である。ユーザの意図する操作が、拡大したい指定領域を固定する指定操作であったと判断した場合に提示する操作方法の具体例を示す図である。ユーザの意図する操作が、指定領域の拡大率を指示する指示操作であったと判断した場合に提示する操作方法の具体例を示す図である。第４実施形態の具体例として、ユーザが現場作業において道路下に埋設された配管の位置を確認する場合を説明する図である。第４実施形態に係る画像処理装置の一例の概略構成を示す機能ブロック図である。第４実施形態に係る画像処理装置として機能するコンピュータの概略構成を示すブロック図である。第４実施形態に係る画像処理装置で行われる画像処理の一例のフローチャートである。第５実施形態の具体例として、ユーザが現場作業において道路下に埋設された配管の位置を確認する場合を説明する図である。第５実施形態に係る画像処理装置の一例の概略構成を示す機能ブロック図である。第５実施形態に係る画像処理装置として機能するコンピュータの概略構成を示すブロック図である。第５実施形態に係る画像処理装置で行われる画像処理の一例のフローチャートである。第６実施形態に係る画像処理装置の一例の概略構成を示す機能ブロック図である。第６実施形態に係る画像処理装置として機能するコンピュータの概略構成を示すブロック図である。第５実施形態に係る画像処理装置で行われる画像処理の一例のフローチャートである。第５実施形態に係る画像処理システムにおけるユーザの操作及びＨＭＤに表示される画像を説明するための図である。第６実施形態に係る指定領域特定部で実行される領域特定処理の一例のフローチャートである。ユーザの他の操作について説明する説明図である。ユーザの他の操作について説明する説明図である。ユーザの他の操作について説明する説明図である。

以下、図面を参照して開示の技術の一例を詳細に説明する。
［第１実施形態］
図１には、本実施形態に係る画像処理システム１０の概略構成図を示す。図１に示すように、本実施形態の画像処理システム１０は、ＨＭＤ（Head Mounted Display）１２、撮影装置１４、及び画像処理装置１６を備える。本実施形態の画像処理システム１０では、撮影装置１４がＨＭＤ１２と一体化されている。本実施形態の画像処理システム１０では、ＨＭＤ１２及び撮影装置１４と、画像処理装置１６と、がネットワーク１８を介して接続されている。

本実施形態の画像処理システム１０は、図１に示すようにユーザ８の頭部８Ａに装着可能で、頭部８Ａに装着された状態でユーザ８の眼部の前方に配置される表示装置、いわゆるＨＭＤ１２を用いている。画像処理システム１０は、撮影装置１４で撮影された現実空間の撮影画像に、画像処理装置１６で画像処理を行った画像を重畳して表示する、いわゆるＡＲ（拡張現実：Augmented Reality）と呼ばれる表示を行う機能を有する。

ところで、例えば、表示装置としてＨＭＤではなくて、タブレット端末を用いて、工場等の現場作業における作業指示を、タブレット端末を介して行うことを可能とするシステムがある。この種のシステムでは、タブレット端末等で撮影した撮影映像に支援情報が重畳されて、タブレットの画面上に表示されることでユーザの作業が支援される。しかしながら、上記システムでは、支援情報を確認する際にタブレット端末をユーザが手に把持する必要があるので、実作業時には支援情報が見られないことがある。また、タブレット端末をユーザが手で持つ場合は少なくともユーザの片手が占有される。さらには、ユーザは、タブレット端末に提示された支援情報を確認するために作業対象から目を離さなければならない等、実作業上効率が良くないことがある。

これに対して、表示装置としてＨＭＤを用いた場合、ユーザはＨＭＤに表示された情報を常に手ぶらの状態で閲覧することが可能となる。そのため、ＨＭＤを用いることで、場所や状況に関わらずに情報の閲覧が可能となり、例えば、何らかの作業を行う場合には作業の業務効率を大きく向上させることができる。

しかしながら、ＨＭＤは、ユーザが手ぶらの状態で情報閲覧が可能である一方で、一般に入力インターフェースが貧弱である。上述した例に挙げた現場作業の支援を例に、ＨＭＤにおける入力インターフェースについて説明する。現場作業において、現場でユーザが確認したい情報は、その場での実作業の対象物に関連付いたものである場合が多い。

例えば、保守点検業務において、天井や容易に近づけない装置等に取付けられたメータ等、近付くのが困難な位置に設けられた小さなメータを拡大表示させて読取りを行う場合が挙げられる。また例えば、道路工事において、道路を掘り起こす際に、水道管・ガス管などの破損事故を防ぐため地下に埋設された配管の位置を可視表示させて確認を行う場合が挙げられる。

現場作業へのＨＭＤの適用を実現するには、現実世界上で例えば、拡大表示させたいメータや、配管を可視表示させたい道路の領域を指定する操作をユーザが行う。また、指定した領域に対する支援情報の提示を指示する操作をユーザが行う。この例では、メータの拡大表示画像や、配管の可視表示画像が支援情報として提示される。

しかしながら、ＨＭＤ付属の専用コントローラを用いた操作では、煩雑な操作が必要となり、これらの操作をユーザが直感的に行うことが困難な場合がある。

そこで、直感的な操作としてユーザがジェスチャにより操作を行い、撮影装置で撮影した撮影画像から当該ジェスチャを認識する場合がある。しかしながら、適切なユーザインターフェースを実現することが困難である。既存のジェスチャを用いた方法として、タッチパネルデバイスでの領域選択や拡大操作をＨＭＤに適用する方法が考えられる。タッチパネルデバイスでは、通常、ピンチイン・ピンチアウト（親指と人差し指の距離を広げたり縮めたりすること）によって領域を拡大する。しかしながら、ＨＭＤの場合、タッチパネルデバイスとは異なり、空中で（物体に触れることなく）ジェスチャを実施する必要がある。そのため、ユーザがピンチイン・ピンチアウトのような指の動きをする際に、指が震えるように細かく動いてしまい、指を固定することが困難であり、操作を正確に行うことは容易ではない。

このように、タッチパネルデバイス等の場合は、固定された物に触れた状態で操作を行うためユーザは操作を行い易いが、空中で操作を行う場合は、ユーザが操作を行い難い場合がある。

また、ユーザのジェスチャによる操作を認識する側にとっても、ピンチイン・ピンチアウトのような細かな指の動きを頑健に検出するのが困難な場合がある。例えば、ユーザの手や指の形状が全く変化していない場合でも、ユーザの手とカメラの角度が若干変化するだけで、カメラからは、指間の距離は異なって見え、ピンチイン・ピンチアウトを実施したと誤って判定してしまうことがある。また例えば、ユーザのジェスチャを撮影する撮影装置をユーザに装着させる場合、ユーザがジェスチャを適切に行ったとしても、撮影装置が動いてしまうことにより誤認識することがある。

さらには、ユーザインターフェースに不慣れなユーザにおいては、操作を正確に行うことが容易ではない場合がある。例えば、新規なユーザインターフェースを用いる場合、当該ユーザインターフェースが操作し易いものであっても、ユーザが不慣れな場合は、操作を正確に行うことは容易ではない。

これに対して、本実施形態の画像処理システム１０の画像処理装置１６は、ＨＭＤ１２を使用した場合に、空間におけるユーザの直感的な操作を、ユーザが操作に不慣れな場合でも適切に認識することができる。

本実施形態の画像処理システム１０では、ＨＭＤ１２として、撮影装置１４で撮影された画像を表示するビデオシースルー型のＨＭＤを用いている。撮影装置１４は、いわゆるカメラであり、ユーザ８の前方を撮影する機能を有する。撮影装置１４は、動画像を撮影して順次、画像処理装置１６に送信し、画像処理装置１６から撮影装置１４に出力された動画像がＨＭＤ１２に表示される。なお、以下では、「動画像」及び「静止画像」のいずれかに限定されない場合は、総称して「画像」という。

図２には、本実施形態のＨＭＤ１２及び撮影装置１４の具体例を表す。本実施形態のＨＭＤ１２は、頭部８Ａに倣って円弧状に湾曲された基部１３Ａの一端部に取り付けられ、基部１３Ａの内周面には接触部１３Ｂが間隔を空けて複数個設けられている。ＨＭＤ１２は、基部１３Ａがユーザ８の頭部８Ａに装着された状態で、接触部１３Ｂが、頭部８Ａと接触することで、ユーザ８の眼部と間隔を空けて対向する位置に配置される。

撮影装置１４は、ＨＭＤ１２の中央部付近、ユーザの両目の間に対応する位置に設けられている。なお、撮影装置１４の配置は、図２に示した位置に限らない。例えば、ユーザ８の頭部の左右何れか側に偏倚した位置に配置してもよいし、ユーザ８の頭頂部付近に配置してもよい。また、撮影装置１４は、ＨＭＤ１２と別体であってもよいが、撮影装置１４の位置としては、ユーザの視野と同様の画像を撮影することができる位置が好ましい。

一方、画像処理装置１６は、撮影装置１４が撮影した撮影画像からユーザの操作を認識し、ユーザの操作に応じた画像処理を行った画像（コンテンツ）をＨＭＤ１２に表示させる。

図３には、本実施形態の画像処理装置１６の一例の概略構成を示す機能ブロック図を示す。

図３に示すように本実施形態の画像処理装置１６は、画像取得部２０、手形状分析部２２、カメラ位置推定部２４、指定領域特定部２６、描画拡大部２８、描画領域固定部３０、及び画像出力部３２を備える。

画像取得部２０は、撮影装置１４が撮影した撮影画像を取得する機能を有する。また、本実施形態の画像取得部２０は、取得した撮影画像（動画像）をフレーム毎の画像（静止画像）に変換する。

手形状分析部２２は、画像取得部２０が変換した静止画像である撮影画像に、ユーザ８の手に相当する画像が含まれているか否かを分析する。なお、本実施形態では、ユーザの操作の種類に応じた特定形状の手形状が予め定められており、当該特定形状の手画像（手領域）が撮影画像に含まれているか否かを分析する。撮像画像に特定形状の手領域が含まれているか否かを分析する技術は特に限定されず、例えば、以下の非特許文献１に記載の技術を適用することができる。

非特許文献１：Raheja, J.L., Das, K., Chaudhary, a. “An Efficient Real Time Method of Fingertip Detection”。 Proceedings of 7th International Conference on Trends in Industrial Measurements and Automation (TIMA 2011), CSIR Complex, Chennai, India, 6-8 Jan, 2011, pp. 447-450.
カメラ位置推定部２４は、撮影装置１４の位置を推定する。一般的に、ＨＭＤを用いたＡＲでは、撮影装置１４の位置を推定し、生成したコンテンツの表示位置について、ユーザ８の位置及び姿勢に合わせて現実空間の特定の場所に正確かつリアルタイムに位置合わせを行う。カメラ位置推定部２４が撮影装置１４の位置を推定する機能は特に限定されず、例えば、マーカ（ＡＲマーカ等）を読み取って、読み取った情報に基づいて位置合わせを行ってもよい。具体例としては、以下の非特許文献２に記載の技術を適用することができる。

非特許文献２：加藤ら、マーカー追跡に基づく拡張現実感システムとそのキャリブレーション、日本バーチャルリアリティ学会論文誌、4(4)、pp.607-616、1999年12月。

指定領域特定部２６は、手形状分析部２２の分析結果に基づいて、ユーザ８が指定した領域を特定する。

描画拡大部２８は、指定領域特定部２６が特定した指定領域の画像を拡大する。具体的には、描画拡大部２８は、撮像画像中の指定領域の画像を拡大した拡大画像をコンテンツとして生成する。なお、描画拡大部２８は、指定領域を、カメラ位置推定部２４が推定したカメラ位置に基づいて、現実世界座標系に変換することで、撮影装置１４の視野にあった形でコンテンツを生成する。生成されたコンテンツは、撮影装置１４が撮影した撮影画像に重畳されてＨＭＤ１２に表示される。

なお、本実施形態では、縮小を拡大率が１未満の拡大を行うものとみなし、実際には縮小する場合も「拡大」と称する。

描画領域固定部３０は、指定領域特定部２６が特定した指定領域や、描画拡大部２８が生成したコンテンツを現実空間上の座標に紐付けて固定する。

画像出力部３２は、指定領域特定部２６、描画拡大部２８、及び描画領域固定部３０により生成されたコンテンツを含む画像をＨＭＤ１２に出力する。

なお、画像処理装置１６は、例えば図４に示すコンピュータ４０で実現することができる。より具体的には、画像処理装置１６はサーバとして機能するコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４２、メモリ４４、不揮発性の記憶部４６、及びネットワークＩ／Ｆ４８を備える。ＣＰＵ４２、メモリ４４、記憶部４６、及びネットワークＩ／Ｆ４８は、バス４９を介して互いに接続されている。ネットワークＩ／Ｆ４８は、ネットワーク１８に接続される。

記憶部４６はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現できる。記憶媒体としての記憶部４６には、コンピュータ４０を画像処理装置１６として機能させるための画像処理プログラム５０が記憶されている。ＣＰＵ４２は、画像処理プログラム５０を記憶部４６から読み出してメモリ４４に展開し、画像処理プログラム５０が有する各プロセスを順次実行する。

画像処理プログラム５０は、画像取得プロセス５２、手形状分析プロセス５４、カメラ位置推定プロセス５６、指定領域特定プロセス５８、描画拡大プロセス６０、描画領域固定プロセス６２、画像出力プロセス６４及び通信プロセス９０を有する。

ＣＰＵ４２は、画像取得プロセス５２を実行することで、画像取得部２０として動作する。また、ＣＰＵ４２は、手形状分析プロセス５４を実行することで、手形状分析部２２として動作する。また、ＣＰＵ４２は、カメラ位置推定プロセス５６を実行することで、カメラ位置推定部２４として動作する。また、ＣＰＵ４２は、指定領域特定プロセス５８を実行することで、指定領域特定部２６として動作する。また、ＣＰＵ４２は、描画拡大プロセス６０を実行することで、描画拡大部２８として動作する。また、ＣＰＵ４２は、描画領域固定プロセス６２を実行することで描画領域固定部３０として動作する。さらに、ＣＰＵ４２は、画像出力プロセス６４を実行することで、画像出力部３２として動作する。

これにより、画像処理プログラム５０を実行したコンピュータ４０が、画像処理装置１６として機能する。

なお、コンピュータ４０は、いわゆるデスクトップ型のパーソナルコンピュータに限定されない。コンピュータ４０は、ラップトップ型のパーソナルコンピュータであってもよいし、タブレット端末やスマートフォンに代表されるＰＤＡ（Personal Digital Assistants：携帯情報端末装置）等であってもよい。

なお、画像処理装置１６は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に、本実施形態に係る画像処理システム１０の作用について説明する。以下では、具体例として、図５に示すように、ユーザ８が現場作業において離れた位置に設けられたメータ６８の読取を行う場合について説明する。図６には、撮影装置１４により撮影され、ＨＭＤ１２に表示される撮影画像の具体例を示す。

図７には、画像処理装置１６で行われる画像処理の一例のフローチャートを示す。図７に示した画像処理は、例えば、ＨＭＤ１２の電源（図示省略）が投入された場合は、撮影装置１４から撮影画像が送信されてきた場合等に実行される。

本実施形態の画像処理装置１６で行われる画像処理には、ユーザ８の操作に応じて複数のモードが設けられており、具体例として、予め４つのモードが設けられている。

モード１は、ユーザ８が指定した指定領域の特定を行うモードである。本実施形態の画像処理システム１０では、モード１の場合は、ユーザ８が両手の一本指（より具体的には、人差し指）だけを伸ばして他の指を握った形状を特定形状とする。特定形状の両手の手の画像（手領域）を検出した場合は、領域の特定を開始する。所定の時間Ｔ１以上、手領域が同じ位置に有る場合は、領域の特定を完了して、両手の一本指の先端により指定された位置を直径とした円の内部を指定領域として特定する。

また、モード２は、ユーザ８が指定領域の画像の拡大を指示する操作を行う場合に、特定した指定領域を拡大した拡大画像をコンテンツとして生成するモードである。モード２の場合、ユーザ８が上記モード１と同様の特定形状の片手（より具体的には、右手）を指示された方向に動かした距離に応じて拡大率を指示する。

なお、拡大率を指示するにあたって、両手の一本指を用いて指示する方法が適さないことを本発明者らは実験により得た。具体的には、複数人での実験の結果、両手一本指で拡大率を指示する場合、ユーザの手が高速かつ大きく広がってしまう傾向が強くある。広角カメラ（１３０度程度）を使用した場合でも、指がカメラの画角から外れてしまう（拡大率を決定できない）ことを本発明者らは確認している。そのため、本実施形態の画像処理システム１０では、拡大率の指示には、片手一本指を用いている。これにより、ユーザは快適に拡大率を指示でき、また、画像処理装置１６は、頑健に（指が画角から外れること等なく）拡大率を検出することができる。

また、モード３は、ユーザ８が指定した指定領域の画像や、ＨＭＤ１２に表示されたコンテンツの位置を、現実空間上の位置に固定したままとするモードである。

また、モード４は、ユーザ８がＨＭＤ１２に表示されているコンテンツの削除を指示する操作を行う場合のモードである。モード４の場合は、掌を広げた状態に類する形状を特定形状とする。さらに、特定形状の手領域が動いている（より具体的には振っている）ことを検出した場合は、表示されているコンテンツの削除を行う。

なお、画像処理装置１６は、画像処理の実行を開始した初期状態では、図示を省略した設定部にモード１が設定されている。

ステップＳ１００で画像取得部２０は、撮影装置１４が送信した動画像である撮像画像をフレーム毎の画像（静止画像）に変換した１フレームの画像を取得する。

次のステップＳ１０２で手形状分析部２２は、現在のモードがモード３か否かを判断する。上述したように、初期状態の場合は、モード１が設定されているため、否定判定となりステップＳ１０４へ移行する。

ステップＳ１０４で手形状分析部２２は、撮影画像７０に特定形状として一本指形状（一本指を伸ばした手形状）の手領域を検出したか否かを判断する。手形状分析部２２は、撮影画像７０から両手か片手かに限らず、一本指形状の手領域を検出したか否かを判断する。

図８（１）には、領域の指定を行うためにユーザ８が両手の一本指で領域の指定を行っている場合のＨＭＤ１２に表示される撮影画像７０の具体例を示している。撮影画像７０には、ユーザ８の右手の一本指形状の手領域７６Ｒ及び左手の一本指形状の手領域７６Ｌが写っている。そのため、手形状分析部２２は、撮影画像７０から両手の一本指形状を検出する。

手形状分析部２２が一本指形状を検出しなかった場合は否定判定となり、ステップＳ１４０へ移行する。この場合、ステップＳ１４０で画像出力部３２は、撮影画像７０をそのままＨＭＤ１２に出力する。そのため、ＨＭＤ１２には図６に示したように、撮影画像７０のみがそのまま表示された状態となる。

一方、一本指形状を検出した場合は、ステップＳ１１０で肯定判定となり、ステップＳ１０６へ移行する。ステップＳ１０６でカメラ位置推定部２４は、撮影装置１４の位置を上述したように推定する。

次のステップＳ１０８でカメラ位置推定部２４は、現在のモードがモード１か否かを判断する。上述したように、初期状態の場合は、モード１が設定されているため、肯定判定となりステップＳ１１０へ移行する。

次のステップＳ１１０で指定領域特定部２６は、手形状分析部２２が検出して一本指形状が両手の一本指であったか否かを判断する。両手ではなかった場合は、否定判定となり、ステップＳ１４０へ移行する。一方、両手であった場合は、肯定判定となり、ステップＳ１１２へ移行する。

現在のモードがモード１で、両手の一本指形状が検出されている場合は、モード１に応じた画像処理を行うため、ステップＳ１１２で指定領域特定部２６は、領域特定処理を行う。

図９には、本実施形態の指定領域特定部２６で実行される領域特定処理の一例のフローチャートを示す。

ステップＳ２００で指定領域特定部２６は、両手一本指形状の指先の位置（ｘ１，ｙ１）及び（ｘ２，ｙ２）を算出する。

次のステップＳ２０２で指定領域特定部２６は、（（ｘ１＋ｘ２）／２，（ｙ１＋ｙ２）／２）を中心として（ｘ１，ｙ１）及び（ｘ２，ｙ２）を結ぶ直線を直径とする円の内部を指定領域として特定した後、本処理を終了する。

なお、上述した指定領域の位置、形状、大きさは単なる一例で有り、上記に限定されるものではない。

図８（１）に示した具体例では、指定領域を表す円画像７４がコンテンツとして生成されて、撮影画像７０に重畳された状態を示している。また、指定領域の画像７２は、撮影画像７０と同等の画像である。

また、図８（２）に示した具体例では、さらに、指先の位置の座標が同じ位置にある時間の計測時間を表すインジケータ画像７３が撮影画像７０に重畳された状態を示している。なお、本明細書では、空中で指を静止させようとした場合の指先の位置の揺らぎを考慮して設定した誤差範囲にあることを「同じ位置」と称する。本実施形態の指定領域特定部２６は、下記のステップにおいて後述するように、指先の位置の座標が同じである時間が所定の時間Ｔ１に達した場合に、ユーザ８が拡大表示を行いたい指定領域の特定が完了する。そのため、指先の位置の座標が同じである時間の計測を行うので、計測した時間に応じたインジケータ画像７３をこのように撮影画像７０に重畳させる。これにより、ユーザ８は、指先を同じ位置に固定し始めてからの経過時間、及び指先を動かしてはいけない時間（同じ位置とする残り時間）を認識することができる。

次のステップＳ１１４で指定領域特定部２６は、指定された領域に応じたコンテンツを生成し、撮影画像７０に重畳させる。

次のステップＳ１１６で指定領域特定部２６は、上記ステップで上述したように、両手の一本指形状の指先の位置が所定の時間Ｔ１の間、同じであるか否かを判断する。具体的には、指定領域特定部２６は、指先の位置の座標が同じである時間を計測する。計測方法は特に限定されず、例えば、図示を省略したカウンタを用いて計測を行ってもよいし、指先の位置の座標が同じである撮影画像７０のフレーム数により計測を行ってもよい。

所定の時間Ｔ１が経過する前に指先が動いた（前述の誤差範囲から外れた）場合は、否定判定となりステップＳ１４０へ移行する。この場合、ステップＳ１４０で画像出力部３２は、図８（１）及び（２）で示した具体例のように、撮影画像７０に、ユーザ８が指定する指定領域を表す円画像７４やインジケータ画像７３が重畳された画像をＨＭＤ１２に出力する。

一方、所定の時間Ｔ１の間、同じ位置にある場合は、肯定判定となりステップＳ１１８へ移行する。

この場合、ユーザ８が拡大表示を行いたい指定領域の特定が完了し、モード１に対応する画像処理が終了したため、ステップＳ１１８で描画領域固定部３０は、画像処理のモードをモード２に切り替えた後、ステップＳ１４０へ移行する。なお、モード２に切り替わる際には、特定した指定領域の位置（具体例として中心位置）が固定される。そのため、この後、ユーザにより継続して処理が行われるまで、ユーザ８が両手を動かしても、指定領域は、指定領域特定部２６が特定した位置に固定されたままとなる。

この場合、ステップＳ１４０で画像出力部３２は、所定時間Ｔ１に達したことを表すインジケータ画像７３を撮影画像７０に重畳した画像をＨＭＤ１２に出力する。

一方、ステップＳ１０８で現在のモードがモード１でないと判断した場合は、ステップＳ１２０へ移行する。本実施形態では、ステップＳ１１８の処理によりモード２に設定が切り替えられた後は、ステップＳ１２０へ移行する。

ステップＳ１２０で描画拡大部２８は、拡大率特定処理を行う。

図１０には、本実施形態の描画拡大部２８で実行される拡大率特定処理の一例のフローチャートを示す。

ステップＳ２５０で描画拡大部２８は、片手一本指形状の指先の位置（ｘ１，ｙ１）を算出する。なお、本実施形態の画像処理装置１６では、具体例として予め左右いずれかのうち、右手で拡大率を指示することが予め定められている。そのため、ユーザ８は、指定領域の指定が終わった後、継続して、右手をそのままの形状（一本指を伸ばした形状）のまま所定の方向に移動させることにより拡大率の指示を行うことができる。

次のステップＳ２５２で描画拡大部２８は、指定領域の中心座標を（ｘｃ，ｙｃ）とし、また、指定領域固定時の手領域の指先の位置を（ｘ０，ｙ０）とした場合の拡大率Ｒを下記（１）式から算出した後、本処理を終了する。

Ｒ＝（ｘ１−ｘｃ）／（ｘ０−ｘｃ）・・・（１）
このようにして描画拡大部２８により拡大率が算出されると、次のステップＳ１２２で描画拡大部２８は、拡大率に応じたコンテンツを生成し、撮影画像７０に重畳させる。本実施形態の描画拡大部２８は、拡大率を指示する際に指（手）を動かす所定の方向を表す情報をユーザに提示するために、拡大方向を表すコンテンツを生成して、撮影画像７０に重畳させる。また、指定領域に対応する画像は、撮影画像７０そのままではなく、上記ステップで算出された拡大率に応じて拡大した画像をコンテンツとして生成する。

図８（３）に示した具体例では、モード２に切り替わった直後に、実行されたステップＳ１２２で生成され、ＨＭＤ１２に表示された画像を表している。図８（３）に示すように、上記所定の方向を表す情報７５が撮影画像７０にさらに重畳された状態を示している。

また、図８（４）に示した具体例では、ユーザ８により指示された拡大率に応じて拡大した拡大画像７７が撮影画像７０に重畳された状態を示している。

また、図８（５）に示した具体例では、さらに、指先の位置の座標が同じ位置にある時間の計測時間を表すインジケータ画像７３が撮影画像７０に重畳された状態を示している。下記のステップにおいて後述するように、本実施形態の描画拡大部２８は、指先の位置の座標が同じである時間が所定の時間Ｔ２に達した場合に、ユーザ８による拡大率の指示が完了する。そのため、指先の位置の座標が同じである時間の計測を行うので、上記インジケータ画像７３を計測した時間に合わせて表示させる。例えば、ユーザ８が指定領域を指定する際と異なる色でインジケータ画像７３を表示させてもよい。これにより、ユーザ８は、指先を同じ位置に固定し始めてからの経過時間、及び指先を動かしてはいけない時間（同じ位置とする残り時間）を認識することができる。

次のステップＳ１２４で描画拡大部２８は、片手の一本指形状の指先の位置が所定の時間Ｔ２の間、同じであるか否かを判断する。具体的には、描画拡大部２８は、右手の指先の位置の座標が同じである時間を上記ステップＳ１１６で説明したように計測する。なお、所定の時間Ｔ２は、上記所定の時間Ｔ１と同じであってもよいし、異なっていてもよい。

所定の時間Ｔ２の間、同じ位置に無い場合は、否定判定となりステップＳ１４０へ移行する。

一方、所定の時間Ｔ２の間、同じ位置にある場合は、肯定判定となりステップＳ１２６へ移行する。

この場合、ユーザ８による拡大率の指示が完了し、モード２に対応する画像処理が終了したため、ステップＳ１２６で描画領域固定部３０は、画像処理のモードをモード３に切り替えた後、ステップＳ１４０へ移行する。なお、モード３に切り替わる際には、拡大画像７７の位置（現実世界上の位置）が固定される。そのため、この後、ユーザにより継続して処理が行われるまで、ユーザ８が片手または両手を動かしても、拡大画像７７は、現実世界上の位置に固定されたままとなる。

図８（６）には、モード３に切り替わった後に、ＨＭＤ１２に表示される画像の具体例を示している。図８（６）に示すようにユーザ８が手を動かした場合でも、現実世界上の固定された位置に拡大画像７７が固定された状態で表示される。

なお、本実施形態の画像処理装置１６では、モード１が終了し、モード２に切り替わった後、ユーザ８が右手の指（手）をそのまま動かさない場合は、拡大率が１の拡大画像７７が生成される。すなわち、撮影画像７０と同様の拡大画像７７が撮影画像７０の固定された位置に重畳される。

一方、ステップＳ１０２で肯定判定となった場合は、ステップＳ１２８へ移行する。上述のようにモード３に切り替わった後では、肯定判定となるため、ステップＳ１２８へ移行する。

ステップＳ１２８で手形状分析部２２は、撮影画像７０に特定形状として掌（指を広げた）形状の手領域が動いている（振っている）状態を検出したか否かを判断する。手形状分析部２２は、撮影画像から左右何れかに限らず、掌を振っている状態を検出したか否かを判断する。なお、本実施形態の手形状分析部２２は。動いているか否かは、連続する数フレームにおける手領域の位置の変化により判断している。

図８（７）には、拡大画像７７の削除の指示を行うためにユーザ８が掌が動いている場合のＨＭＤ１２に表示される撮影画像７０の具体例を示している。撮影画像７０には、ユーザ８の右掌の手領域７６Ｒ及び拡大画像７７が写っている。そのため、手形状分析部２２は、撮影画像７０から掌が動いている状態を検出する。

掌が動いていない場合は否定判定となり、ステップＳ１３０へ移行する。ステップＳ１３０でカメラ位置推定部２４は、撮影装置１４の位置を上述したように推定する。

次のステップＳ１３２で描画領域固定部３０は、上記ステップＳ１２６で固定した撮影画像７０の現実空間に対応した位置に拡大画像７７を重畳させた後、ステップＳ１４０へ移行する。ステップＳ１４０で画像出力部３２は、撮影画像７０の現実空間に対応した位置に拡大画像７７を重畳させた画像をＨＭＤ１２に出力する。

なお、この状態でユーザ８が顔を動かす等、ユーザ８の視野（撮影装置１４の撮影範囲）から拡大画像７７を固定した現実空間上の位置が外れた場合、ＨＭＤ１２に表示される撮影画像７０からは拡大画像７７が一端、見えなくなる。その後、ユーザ８の視野に拡大画像７７を固定した現実空間上の位置が含まれると再び、当該位置に拡大画像７７が表示される。

一方、ステップＳ１２８で肯定判定となった場合は、ステップＳ１３４へ移行する。

ステップＳ１３４で描画領域固定部３０は、ユーザ８が掌を動かしている状態が所定の時間Ｔ３の間、続いているかを判断する。具体的には、描画領域固定部３０は、掌形状の位置の座標が連続して変化する時間を上記ステップＳ１１６で説明したように計測する。なお、所定の時間Ｔ３は、上記所定の時間Ｔ１及び時間Ｔ２と同じであってもよいし、異なっていてもよい。

所定の時間Ｔ３の間、掌が動き続けていない場合は、否定判定となりステップＳ１４０へ移行する。

一方、所定の時間Ｔ３の間、掌が動き続けている場合は、肯定判定となりステップＳ１３６へ移行する。

この場合、ユーザ８による拡大画像７７の削除の指示が行われたため、ステップＳ１３６で描画領域固定部３０は、拡大画像７７を含む生成して撮影画像７０に重畳させた全てのコンテンツの表示を削除する。

図８（８）に示した具体例では、拡大画像７７を含むコンテンツの表示が全て削除された状態を示している。この場合、ＨＭＤ１２には、撮影画像７０そのままが表示される。

次のステップＳ１３８で描画領域固定部３０は、画像処理のモードをモード１に切り替えた後、ステップＳ１４０へ移行する。

ステップＳ１４０で画像出力部３２は、上述したように撮影画像７０そのものや、生成したコンテンツが重畳された撮影画像７０をＨＭＤ１２に出力する。

次のステップＳ１４２で画像取得部２０は、本画像処理を終了するか否かを判断する。終了しない場合は、ステップＳ１００に戻り、次のフレームの画像に対して本画像処理を繰り返す。

このように、本実施形態の画像処理装置１６によれば、画像処理装置１６が認識する操作は、ユーザ８が空間中で領域を指定し指定した領域に対して所定の画像処理の実行を指示するための操作として直感的に理解できる操作である。そのため、操作に不慣れなユーザであっても画像処理装置１６は、容易に正しく操作することができ、操作の認識率が向上する。
［第２実施形態］
図１１には、本実施形態の画像処理装置の一例の概略構成を示す機能ブロック図を示す。

第１実施形態の画像処理装置１６では、ユーザ８の直感的なジャスチャにより行った操作を撮影装置１４で撮影した撮影画像７０から検出することにより、ユーザ８が行った操作を認識していた。上述したように、ユーザ８は、空中でジェスチャを行わねばならない。また、画像処理装置１６は、撮影装置１４で撮影された撮影画像７０から操作を認識する。そのため、不慣れなユーザ８による操作（ジェスチャ）では、ユーザ８の意図した操作と異なるジェスチャ（動き）を画像処理装置１６が検出してしまう場合がある。

そこで、本実施形態の画像処理システム１０Ａ（画像処理装置１６Ａ）は、意図した操作と異なるジェスチャをユーザ８がしてしまった場合でも、ユーザ８の意図した操作を判断し、判断した操作に応じた処理を行う。

そのため、本実施形態の画像処理装置１６Ａは、さらに、失敗操作検出部３３、失敗パターンＤＢ（データベース）３４、及び操作意図判断部３５を備えている点で、第１実施形態の画像処理装置１６と異なっている。なお、失敗パターンＤＢ３４は、画像処理装置１６Ａが備えているものに限らず、画像処理装置１６Ａの外部の装置に設けられているものを使用してもよい。

失敗操作検出部３３は、失敗パターンＤＢ３４に格納されている失敗パターンに基づいて、撮影画像７０から検出したユーザ８の動きが所定の操作を失敗したものであるか否かを検出する。

本実施形態の失敗パターンＤＢ３４には、第１実施形態で上述した各種のユーザ８の所定の操作の各々について、想定される失敗操作を情報化した失敗パターンが格納されている。

ユーザが所定の操作を失敗する例として、本実施形態では３つの具体例を挙げて説明する。なお、以下では、ユーザ８が所定の操作を行おうとしたにもかかわらず、画像処理装置１６は通常の処理（第１実施形態で説明した画像処理）では認識できなかった操作を「失敗操作」という。以下では、具体例として３つの失敗操作（失敗操作１〜３）について説明する。なお失敗操作は、所定の操作が相違すれば想定される失敗操作も相違するので、失敗操作１〜３に限定されないことはいうまでもない。

失敗操作１は、ユーザ８が指定領域を指定する指定操作に対して想定される失敗操作の一例である。失敗操作１は、指定操作を行う際に、特定形状が一本指形状であるが、ユーザ８が指を倒しすぎており、かつ小刻みに動いている場合である。この場合、撮影画像７０に指先が撮影画像７０に写っていたり写っていなかったりすることになり、指先の検出が不安定になる。

失敗操作２は、ユーザ８が拡大したい指定領域を固定する指定操作に対して想定される失敗操作の一例である。失敗操作２は、指定操作を行う際に、ユーザ８が所定時間Ｔ１に達する前に指先を動かすので、拡大表示を行う指定領域の特定が完了せず、モード２に切り替えられない場合である。

失敗操作３は、ユーザ８が指定領域の拡大率を指示する指示操作に対して想定される失敗操作の一例である。失敗操作３は、指示操作を行う際に、ユーザ８の手が下に下がってしまい、操作が途中で止まる場合である。第１実施形態で上述したように、拡大率を指示するためには、右手の指をユーザ８の右方向に横（許容範囲を含み水平とみなせる方向）に移動させるが、ユーザ８の手が下に下がるために正しく認識できない。さらに操作が途中で止まるので拡大率が低いまま固定される。

本実施形態の画像処理装置１６Ａの失敗パターンＤＢ３４には、失敗操作１〜３のそれぞれを情報化した失敗パターンが格納されている。具体的には、失敗パターンは、ユーザ８の失敗操作（動き）を、手領域の指先の位置、及び手領域の重心の位置の軌跡を用いて表している。

操作意図判断部３５は、失敗操作検出部３３が検出した失敗パターンに応じてユーザ８の意図した操作を判断する。また、本実施形態の操作意図判断部３５は、判断した操作について、正しい操作方法を提示する。

また、画像処理装置１６Ａは、例えば図１２に示すコンピュータ４０Ａで実現することができる。より具体的には、画像処理装置１６Ａはサーバとして機能するコンピュータ４０Ａで実現することができる。コンピュータ４０Ａは、第１実施形態のコンピュータ４０の記憶部４６に代わり記憶部４６Ａを備えている。

記憶部４６Ａには、コンピュータ４０Ａを画像処理装置１６Ａとして機能させるための画像処理プログラム５０Ａが記憶されている。画像処理プログラム５０Ａは、第１実施形態の画像処理プログラム５０が有する各プロセスに加えて失敗操作検出プロセス５７及び操作意図判断プロセス５９を有する。

ＣＰＵ４２は、失敗操作検出プロセス５７を実行することで、失敗操作検出部３３として動作する。また、ＣＰＵ４２は、操作意図判断プロセス５９を実行することで、操作意図判断部３５として動作する。

また、記憶部４６Ａの失敗パターンＤＢ記憶領域６５は、失敗パターンＤＢ３４が記憶される記憶領域として機能する。

これにより、画像処理プログラム５０Ａを実行したコンピュータ４０Ａが、画像処理装置１６Ａとして機能する。

次に、本実施形態に係る画像処理システム１０Ａの作用について説明する。図１３には、画像処理装置１６Ａで行われる画像処理の一例のフローチャートを示す。なお、本実施形態の画像処理装置１６Ａで行われる画像処理は、第１実施形態の画像処理装置１６で行われる画像処理（図７参照）と同様の処理を含むため、同様の処理についてはその旨を記し、詳細な説明を省略する。

次のステップＳ３００で失敗操作検出部３３は、現在のモードが通常モードか否かを判断する。本実施形態の画像処理装置１６Ａは、初期状態では通常モードが設定されている。また、画像処理装置１６Ａでは、失敗操作検出部３３が失敗操作を検出した場合は、ユーザ８に対して操作の補助を行うための補助モードに設定が切り替えられる。

通常モードが設定されている場合は、ステップＳ３００が肯定判定となりステップＳ３０２へ移行する。

ステップＳ２０４で失敗操作検出部３３は、失敗操作検出処理を行う。図１４には、失敗操作検出部３３で行われる失敗操作検出処理の一例のフローチャートを示す。

本実施形態の失敗操作検出部３３は、直近の過去の所定のフレーム数の撮影画像７０に基づいて失敗操作の検出を行う。なお、所定のフレーム数は特に限定されないが、複数のユーザの操作結果等により予め実験的に得られた値を用いることが好ましい。

ステップＳ３５０で失敗操作検出部３３は、失敗パターン照合処理を行う。失敗操作検出部３３は、失敗パターンＤＢ３４に格納されている失敗パターンを１つ取り出し、当該失敗パターンと、撮影画像７０から検出したユーザ８の動きや手領域とを照合する。

失敗パターン照合処理における具体的処理を説明する。図１５には、失敗操作１に対応する失敗パターンとの照合を行うための失敗パターン照合処理の一例のフローチャートを示す。

ステップＳ４００で失敗操作検出部３３は、時間Ｔ４以上の間、両手について、手領域の重心が固定位置にあり、かつ、その間に手領域の指先位置の検出、未検出の状態変化が所定の回数であるＮ１回以上繰り返されたか否かを確認する。具体的には、失敗操作検出部３３は、連続する所定のフレーム数の撮影画像７０において手形状分析部２２が検出した手領域の検出結果に基づいて、状態変化がＮ１回以上繰り返されたか否かを確認する。なお、時間Ｔ４及び所定の回数Ｎ１は、複数のユーザの操作結果等により予め実験的に得られた値を用いている。

次のステップＳ４０２で失敗操作検出部３３は、失敗パターンを満たすか否かを判断する。上記ステップＳ４００で状態変化がＮ１回以上繰り返されたことを確認した場合は、肯定判定となりステップＳ４０４へ移行する。ステップＳ４０４で失敗操作検出部３３は、失敗操作１と判定した後、失敗パターン１との照合処理を終了する。一方、ステップＳ４０２で否定判定となった場合は、失敗パターン１との照合処理を終了する。

また、失敗パターン照合処理におけるその他の具体的処理として、図１６には、失敗操作２に対応する失敗パターンとの照合を行うための失敗パターン照合処理の一例のフローチャートを示す。

ステップＳ４２０で失敗操作検出部３３は、時間Ｔ５以上かつ時間Ｔ１未満の間、右手の指先の位置が同じであった後、時間Ｔ６が経過するまでの間に、指先の位置が距離Ｄ１以上、右方向（所定の方向）に移動したか否かを確認する。

なお、時間Ｔ１は、第１実施形態の画像処理のモード１（固定）で、拡大表示したい指定領域を固定するまでに要する時間である。また、時間Ｔ５及び距離Ｄ１は、複数のユーザの操作結果等により予め実験的に得られた値を用いている。

次のステップＳ４２２で失敗操作検出部３３は、失敗パターンを満たすか否かを判断する。上記ステップＳ４２０で上述したように右手の指先の位置が同じ位置であった後、移動したことを確認した場合は、肯定判定となりステップＳ４０４へ移行する。ステップＳ４２４で失敗操作検出部３３は失敗操作２と判定した後、失敗パターン２との照合処理を終了する。一方、ステップＳ４２２で否定判定となった場合は、失敗パターン２との照合処理を終了する。

さらに、失敗パターン照合処理におけるその他の具体的処理として、図１７には、失敗操作３に対応する失敗パターンとの照合を行うための失敗パターン照合処理の一例のフローチャートを示す。

ステップＳ４４０で失敗操作検出部３３は、指定領域が固定された後、時間Ｔ７以内の間に、右手の指先の位置が所定の閾値以上の角度で所定方向（右下方向及び右上方向）に移動したか否かを確認する。

なお、時間Ｔ７及び所定の閾値距離は、複数のユーザの操作結果等により予め実験的に得られた値を用いている。

次のステップＳ４４４で失敗操作検出部３３は、失敗パターンを満たすか否かを判断する。上記ステップＳ４４０で上述したように右手の指先の位置が移動したことを確認した場合は、肯定判定となりステップＳ４４４へ移行する。ステップＳ４４４では、失敗操作検出部３３は失敗操作３と判定した後、失敗パターン３との照合処理を終了する。一方、ステップＳ４４２で否定判定となった場合は、失敗パターン４との照合処理を終了する。

このようにして、失敗パターン照合処理が終了すると、次のステップＳ３５２で、失敗操作検出部３３は、照合処理の結果が失敗パターンを満たすと判定されたか否かを判断する。肯定判定となった場合は、ステップＳ３５４へ移行する。

ステップＳ３５４で失敗操作検出部３３は、照合処理の結果に基づいて、失敗操作であると判定した後、本失敗操作検出処理を終了する。

一方、ステップＳ３５２で否定判定となった場合は、ステップＳ３５６へ移行する。ステップＳ３５６で失敗操作検出部３３は、失敗パターンＤＢ３４に格納されている全失敗パターンと照合したか否かを判断する。

否定判定となった場合はステップＳ３５０に戻り、失敗パターン照合処理を繰り返す。例えば、失敗操作１との照合処理（図１５参照）が終わった後は、失敗操作２との照合処理（図１６参照）等、未だ照合処理を行っていない他の失敗パターンについて照合処理を行う。

一方、ステップＳ３５６で肯定判定となった場合は、ステップＳ３５８へ移行する。ステップＳ３５８で失敗操作検出部３３は、失敗操作ではないと判定した後、本処理を終了する。ユーザ８が、指定操作または指示操作を正確に行った場合や、ユーザ８が何らかの操作以外の動作を行っている場合は、失敗操作ではないと判定される。

このようにして失敗操作検出部３３による失敗操作検出処理が終了すると画像処理のステップＳ３０４へ移行する。

ステップＳ３０４で失敗操作検出部３３は、上記失敗操作検出処理において失敗操作が検出されたか否かを判断する。検出されなかった場合は、ステップＳ３０６へ移行する。

ステップＳ３０６では、通常操作処理を行った後、ステップＳ３１８へ移行する。本実施形態において通常操作処理とは、第１実施形態において上述した画像処理（図７参照）のステップＳ１４０、及びＳ１４２を除いた処理である。そのため、通常操作処理については、詳細な説明を省略する。

一方、ステップＳ３０４で否定判定となった場合は、ステップＳ３０８へ移行する。ステップＳ３０８で失敗操作検出部３３は、設定されているモードを通常モードから補助モードに切り替えた後、ステップＳ３１８へ移行する。

このようにして補助モードに設定が切り替えられると、上記ステップＳ３００では、否定判定となりステップＳ３１０へ移行する。

ステップＳ３１０で操作意図判断部３５は、ユーザ８の意図した操作を判断する。具体的には、操作意図判断部３５は、検出した失敗操作に応じた操作意図判断処理を行う。

操作意図判断処理における具体的処理について説明する。図１８には、失敗操作１に対応する操作意図判断処理の一例のフローチャートを示す。

ステップＳ５００で操作意図判断部３５は、両手について、手領域の重心位置が大きく移動したか否かを判断する。操作意図判断部３５は、手形状分析部２２が検出した手領域の検出結果に基づいて、重心位置の移動量を算出し、算出した移動量に基づいて判定を行う。なお、重心位置の移動量については、予め定めた左右何れかの手領域の重心位置の移動量であってもよいし、左右の手領域の距離の変化を移動量としてもよい。

否定判定となった場合は、ステップＳ５０２へ移行する。ステップＳ５０２で操作意図判断部３５は、手形状分析部２２が検出した手領域の検出結果に基づいて、両手の指先を検出したか否かを判断する。肯定判定となった場合は、ステップＳ５０４へ移行する。

ステップＳ５０４で操作意図判断部３５は、両手の指先の位置から算出される領域を指定領域として特定した後、本操作意図判断処理を終了する。指定領域の特定方法は、第１実施形態の画像処理装置１６で行われる領域特定処理（図９参照）と同様に行えばよい。

一方、ステップＳ５０２で否定判定となった場合は、ステップＳ５０６へ移行する。ステップＳ５０４で操作意図判断部３５は、手形状分析部２２が両手の指先を検出した検出結果のうち、最後（直近）の検出結果に基づいて両手の指先の位置から指定領域を算出して特定した後、本操作意図判断処理を終了する。

また、ステップＳ５００で肯定判定となった場合は、ステップＳ５０８へ移行する。ステップＳ５０８で操作意図判断部３５は、操作が完了したと判断して本操作意図判断処理を終了する。

なお、操作意図判断部３５は、このように失敗操作１に対応する操作意図判断処理を行った場合は、ユーザ８の意図する操作が、指定領域を指定する指定操作であったと判断している。

また、操作意図判断処理のその他の具体的処理として、図１９には、失敗操作２に対応する操作意図判断処理の一例のフローチャートを示す。

ステップＳ５２０で操作意図判断部３５は、手形状分析部２２の分析結果に基づいて、右手の指先が所定のフレーム数以上検出されたか否かを判断する。所定のフレーム数以上検出された場合は否定判定となり、ステップＳ５２２へ移行する。ステップＳ５２２で操作意図判断部３５は、所定の時間Ｔ１を短くして、拡大率の指示操作を認識した後、本操作意図判断処理を終了する。どの程度短くするかは、複数のユーザの操作結果等により予め実験的に得られた値を用いればよいが、上記所定のフレーム数よりも長くすることが好ましい。

一方、ステップＳ５２０で否定判定となった場合は、ステップＳ５２４へ移行する。ステップＳ５２４で操作意図判断部３５は、操作が完了したと判断して本操作意図判断処理を終了する。

なお、操作意図判断部３５は、このように失敗操作２に対応する操作意図判断処理を行った場合は、ユーザ８の意図する操作が、拡大したい指定領域を固定する指定操作であったと判断している。

さらに、操作意図判断処理のその他の具体的処理として、図２０には、失敗操作３に対応する操作意図判断処理の一例のフローチャートを示す。

ステップＳ５４０で操作意図判断部３５は、手形状分析部２２の分析結果に基づいて、右手の指先が所定のフレーム数以上検出されたか否かを判断する。所定のフレーム数以上検出された場合は否定判定となり、ステップＳ５４２へ移行する。

ステップＳ５４２で操作意図判断部３５は、手形状分析部２２の分析結果に基づいて、右手の指先が検出されたか否かを判断した後、本操作意図判断処理を終了する。肯定判定となった場合は、ステップＳ５４４へ移行する。ステップＳ５４４で操作意図判断部３５は、検出された指先位置から拡大率を算出する。拡大率の算出方法は、第１実施形態の画像処理装置１６で行われる拡大率特定処理（図１０参照）と同様に行えばよい。

一方、ステップＳ５４２で否定判定となった場合は、ステップＳ５４６へ移行する。ステップＳ５４６で操作意図判断部３５は、手形状分析部２２が右手の指先を検出した検出結果のうち、最後（直近）の検出結果に基づいて右手の指先の位置から拡大率を算出した後、本操作意図判断処理を終了する。

また、ステップＳ５４０で肯定判定となった場合は、ステップＳ５４８へ移行する。ステップＳ５４８で３５は、操作が完了したと判断して本操作意図判断処理を終了する。

なお、操作意図判断部３５は、このように失敗操作３に対応する操作意図判断処理を行った場合は、ユーザ８の意図する操作が、指定領域の拡大率を指示する指示操作であったと判断している。

本実施形態の画像処理では、このようにして失敗操作に応じた操作意図判断処理が終了すると、ステップＳ３１２へ移行する。

ステップＳ３１２で操作意図判断部３５は、操作意図判断処理の判断結果に応じたコンテンツを生成して撮影画像７０に重畳する。また、正しい操作方法を支援する情報を撮影画像７０上に提示する。

判断結果に応じたコンテンツの生成方法は、第１実施形態の画像処理（図７参照）と同様の方法（例えば、ステップＳ１１４やステップＳ１２２等において上述した方法）を用いればよい。

本実施形態の画像処理装置１６Ａにおける正しい操作方法を支援する情報の提示は、ステップＳ３１０で判断したユーザ８の意図する操作に対応する正しい操作方法（ジェスチャ）を表す画像、及びメッセージを撮影画像７０上に表示することで行う。なお、正しい操作方法を支援する情報の提示がこれらに限定されるものではないことはいうまでもない。

操作方法の提示の具体例を説明する。図２１には、ユーザ８の意図する操作が、指定領域を指定する指定操作であったと判断した場合（失敗操作１に対応する操作意図判断処理を行った場合）に提示する操作方法の具体例を示す。図２１に示すように、撮影画像７０に正しい操作方法を表す画像８０及びメッセージ８２が表示される。

図２２には、ユーザ８の意図する操作が、拡大したい指定領域を固定する指定操作であったと判断した場合（失敗操作２に対応する操作意図判断処理を行った場合）に提示する操作方法の具体例を示す。図２２に示すように、撮影画像７０に正しい操作方法を表す画像８４及びメッセージ８６が表示される。

図２３には、ユーザ８の意図する操作が、指定領域の拡大率を指示する指示操作であったと判断した場合（失敗操作３に対応する操作意図判断処理を行った場合）に提示する操作方法の具体例を示す。図２３に示すように、撮影画像７０に正しい操作方法を表す画像８８及びメッセージ９０が表示される。

なお、図２１〜２３では、操作意図判断部３５により生成されるコンテンツの表示は省略している。

図２１〜２３に示したように、画像処理装置１６Ａによれば、正しい操作方法や正しい操作方法を示唆するメッセージが、ユーザ８が認識しやすいようにＨＭＤ１２に表示される。そのため、ユーザ８は、正しい操作を行い易くなり、特に次回以降の操作において正しい操作を行えるようになる。

次のステップＳ３１４で操作意図判断部３５は、操作が完了したか否かを判断する。上記ステップＡ３１０の操作意図判断処理で操作が完了したと判断されるまで否定判定となり、ステップＳ３１８へ移行する。すなわち、操作が完了したと判断されるまで、補助モードを繰り返す。

一方、操作が完了したと判断した場合はステップＳ３１４で肯定判定となり、ステップＳ３１６へ移行する。ステップＳ３１６で操作意図判断部３５は、設定されているモードを通常モードに切り替えた後、ステップＳ３１８へ移行する。

ステップＳ３１８及びＳ３２０の各処理は、第１実施形態の画像処理（図７参照）のステップＳ１４０及びＳ４２とそれぞれ同様であるため説明を省略する。

このように本実施形態の画像処理装置１６Ａでは、ユーザ８が意図する操作に失敗した場合でも、操作の失敗を失敗操作検出部３３により検出することができる。また、ユーザ８が意図する操作に失敗した場合は、補助モードに移行する。補助モードに移行することにより、操作意図判断部３５が検出した失敗操作に応じてユーザ８の意図する操作を判断し、判断した操作に応じたコンテンツの表示、及び正しい操作を支援する情報をＨＭＤ１２に表示する。

これにより、画像処理装置１６によれば、ユーザ８は、実際には意図する操作に失敗した場合でも、継続して操作を行えるようになる。

［第３実施形態］
上記実施形態では、具体例として、画像処理システム１０、１０Ａが撮影画像７０の指定領域を固定表示したり、拡大表示させたりする場合について説明した。本実施形態ではその他の具体例について説明する。

本実施形態では具体例として、図２４に示すように、ユーザ８が現場作業において道路下に埋設された配管の位置を確認する場合について説明する。図２４は、道路上で指定された指定領域内に、道路下に埋設された配管の画像７９が表示された状態のＨＭＤ１２の表示の具体例を示している。

図２５には、本実施形態の画像処理装置の一例の概略構成を示す機能ブロック図を示す。

図２５に示すように、本実施形態の画像処理システム１０Ｂの画像処理装置１６Ｂは、配管ＤＢ３６及び現在位置取得部３６をさらに備えている点で、第１実施形態の画像処理装置１６と異なっている。

配管ＤＢ３６には、配管の画像７９を生成するための情報が格納されている。具体例としては、ガスの配管図や水道管の配管図等の画像データ等が挙げられる。なお、配管ＤＢ３６は、画像処理装置１６Ｂが備えているものに限らず、画像処理装置１６Ｂの外部の装置に設けられているものを使用してもよい。

現在位置取得部３６は、画像処理装置１６Ｂの現在位置を取得するための機能を有している。現在位置取得部３７は、ＨＭＤ１２の現在位置を取得する。なお、本実施形態の画像処理装置１６Ｂは、ＨＭＤ１２近辺に配置された状態でユーザ８により利用されることを想定しているため画像処理装置１６Ｂ自身の位置をＨＭＤ１２の位置としてみなしている。現在位置取得部３７の具体例としては、ＧＰＳ（Global Positioning System）や、ＡＲのマーカを読み取って現在位置を取得するもの等があげられる。

また、画像処理装置１６Ｂは、例えば図２６に示すコンピュータ４０Ｂで実現することができる。より具体的には、画像処理装置１６Ｂはサーバとして機能するコンピュータ４０Ｂで実現することができる。コンピュータ４０Ｂは、第１実施形態のコンピュータ４０の記憶部４６に代わり記憶部４６Ｂを備えている。

記憶部４６Ｂには、コンピュータ４０Ｂを画像処理装置１６Ｂとして機能させるための画像処理プログラム５０Ｂが記憶されている。画像処理プログラム５０Ｂは、第１実施形態の画像処理プログラム５０が有する各プロセスに加えて現在位置取得プロセス９０を有する。

ＣＰＵ４２は、失敗操作検出プロセス５７を実行することで、失敗操作検出部３３として動作する。

また、記憶部４６Ｂの配管ＤＢ記憶領域９２は、配管ＤＢ３６が記憶される記憶領域として機能する。

これにより、画像処理プログラム５０Ｂを実行したコンピュータ４０Ｂが、画像処理装置１６Ｂとして機能する。

次に、本実施形態に係る画像処理システム１０Ｂの作用について説明する。図２７には、画像処理装置１６Ｂで行われる画像処理の一例のフローチャートを示す。なお、本実施形態の画像処理装置１６Ｂで行われる画像処理は、第１実施形態の画像処理装置１６で行われる画像処理（図７参照）と同様の処理を含むため、同様の処理についてはその旨を記し、詳細な説明を省略する。

図２７に示すように、本実施形態の画像処理装置１６Ｂで行われる画像処理は、第１実施形態の画像処理装置１６（図７参照）のステップＳ１０６に代わりステップＳ１０６Ｂが設けられている。また、ステップＳ１１４、Ｓ１２２、及びＳ１３２に代わり、ステップＳ１１４Ｂ、Ｓ１２２Ｂ、及びＳ１３２Ｂがそれぞれ設けられている。

本実施形態の画像処理のステップＳ１０６Ｂでは、第１実施形態の画像処理のステップＳ１０６で行われるカメラ位置推定部２４による撮影装置１４の位置の推定に加えて、現在位置取得部３７が現実世界上の現在位置を取得する。

また、本実施形態の画像処理のステップＳ１１４Ｂで指定領域特定部２６は、コンテンツとして現在位置取得部３７が取得した現在位置に対応する配管の画像７９を配管ＤＢ３６に格納されている情報に基づいて生成する。指定領域特定部２６は、生成した配管の画像７９を撮影画像７０に重畳させる。また、ステップＳ１２２Ｂ及びＳ１３２ＢについてもステップＳ１１４Ｂと同様にコンテンツを生成して撮影画像７０に重畳させる。

このように本実施形態の画像処理装置１６Ｂにおいても、ＨＭＤ１２に、配管の画像７９を表示させることによりユーザ８の現場作業を支援することができる。

［第４実施形態］
第３実施形態に続き、本実施形態ではさらにその他の具体例について説明する。

本実施形態では具体例として、図２８に示すように、ユーザ８が現場作業において隣室等の様子を、隣室に設置されたカメラの映像により確認する場合について説明する。図２８は、ユーザ８により指定された指定領域内に、壁の向こう側（隣室）に設置された撮影装置１５の撮影画像９９が表示された状態のＨＭＤ１２の表示の具体例を示している。

図２９には、本実施形態の画像処理装置の一例の概略構成を示す機能ブロック図を示す。

図２９に示すように、本実施形態の画像処理システム１０Ｃの画像処理装置１６Ｃは、通信部３９をさらに備えている点で、第１実施形態の画像処理装置１６と異なっている。

通信部３９は、隣室に設置された撮影装置１５が撮影した撮影画像９９を受信する。なお、画像処理装置１６は、撮影装置１５と現実世界との位置関係を予めキャリブレーションしておく。なお、通信部３９と撮影装置１５とは、ネットワーク１８（図１参照）を介して接続されていてもよいし、その他の回線等を介して接続されていてもよい。また、通信部３９と撮影装置１５との接続は、有線接続及び無線接続のいずれであってもよい。

また、画像処理装置１６Ｃは、例えば図３０に示すコンピュータ４０Ｃで実現することができる。より具体的には、画像処理装置１６Ｃはサーバとして機能するコンピュータ４０Ｃで実現することができる。コンピュータ４０Ｃは、第１実施形態のコンピュータ４０の記憶部４６に代わり記憶部４６Ｃを備えている。

記憶部４６Ｃには、コンピュータ４０Ｃを画像処理装置１６Ｃとして機能させるための画像処理プログラム５０Ｃが記憶されている。画像処理プログラム５０Ｃは、第１実施形態の画像処理プログラム５０が有する各プロセスに加えて通信プロセス９４を有する。

ＣＰＵ４２は、通信プロセス９４を実行することで、通信部３９として動作する。

これにより、画像処理プログラム５０Ｃを実行したコンピュータ４０Ｃが、画像処理装置１６Ｃとして機能する。

次に、本実施形態に係る画像処理システム１０Ｃの作用について説明する。図３１には、画像処理装置１６Ｃで行われる画像処理の一例のフローチャートを示す。なお、本実施形態の画像処理装置１６Ｃで行われる画像処理は、第１実施形態の画像処理装置１６で行われる画像処理（図７参照）と同様の処理を含むため、同様の処理についてはその旨を記し、詳細な説明を省略する。

図３１に示すように、本実施形態の画像処理装置１６Ｃで行われる画像処理は、第１実施形態の画像処理装置１６（図７参照）のステップＳ１１４、Ｓ１２２、及びＳ１３２に代わり、ステップＳ１１４Ｃ、Ｓ１２２Ｃ、及びＳ１３２Ｃがそれぞれ設けられている。

また、本実施形態の画像処理のステップＳ１１４Ｃで指定領域特定部２６は、通信部３９を介して撮影装置１５の撮影画像９９を取得してコンテンツを生成する。指定領域特定部２６は、撮影画像７９を含む生成したコンテンツを撮影装置１４が撮影した撮影画像７０に重畳させる。また、ステップＳ１２２Ｂ及びＳ１３２ＢについてもステップＳ１１４Ｃと同様にコンテンツを生成して撮影画像７０に重畳させる。

このように本実施形態の画像処理装置１６Ｃにおいても、ＨＭＤ１２に、撮影装置１５の撮影画像９９を表示させることによりユーザ８の現場作業を支援することができる。

なお、本実施形態では、撮影装置１５が一つの場合について説明したが通信部３９と接続される撮影装置１５の数は一つに限定されない。例えば、第３実施形態で説明したように、ＨＭＤ１２に配管の画像を表示させる場合、複数の撮影装置１５で撮影した配管の撮影画像９９を表示させてもよい。この場合、道路下に複数の撮影装置１５を配置し、ユーザ８の指定領域に応じた現実位置に対応する配管を撮影する撮影装置１５の撮影画像９９を画像処理装置１６Ｃが通信部３９を介して取得し、ＨＭＤ１２に表示させればよい。

［第５実施形態］
上記実施形態では、具体例として、指定領域を指定する指定操作として、両手を使用したジェスチャについて説明したが、本実施形態では、片手を使用したジェスチャにより指定操作を行う場合について説明する。

本実施形態の画像処理システム１０Ｄ（図３２参照）においてユーザ８は、片手の一本指を用いた操作（ジェスチャ）により、まず、指定領域の中心位置の指定操作を行った後、継続して指定領域の大きさを指定する指定操作を行う。そのため、本実施形態の画像処理システム１０Ｄでは、第１実施形態で説明したモード１〜モード４に加えて、中心位置を指定するモード０が設けられている。また、画像処理装置１６の初期状態では、モード０が設定されている。

図３２には、本実施形態の画像処理装置の一例の概略構成を示す機能ブロック図を示す。

図３２に示すように、本実施形態の画像処理システム１０Ｄの画像処理装置１６Ｄは、第１実施形態の画像処理装置１６が備えていた指定領域特定部２６に代えて指定領域特定部２６Ｄが備えられている点で異なっている。

指定領域特定部２６Ｄは、手形状分析部２２の分析結果に基づいて、まず、指定領域の中心位置を特定し、その後、指定領域の大きさを特定する。

また、画像処理装置１６Ｄは、例えば図３３に示すコンピュータ４０Ｄで実現することができる。より具体的には、画像処理装置１６Ｄはサーバとして機能するコンピュータ４０Ｄで実現することができる。コンピュータ４０Ｄは、第１実施形態のコンピュータ４０の記憶部４６Ｄに代わり記憶部４６Ｄを備えている。

記憶部４６Ｄには、コンピュータ４０Ｄを画像処理装置１６Ｄとして機能させるための画像処理プログラム５０Ｄが記憶されている。画像処理プログラム５０Ｄは、第１実施形態の画像処理プログラム５０が有する描画領域特定プロセス５８に代えて描画領域特定プロセス５８Ｄを有する。

ＣＰＵ４２は、描画領域特定プロセス５８Ｄを実行することで、指定領域特定部２６Ｄとして動作する。

これにより、画像処理プログラム５０Ｄを実行したコンピュータ４０Ｄが、画像処理装置１６Ｄとして機能する。

次に、本実施形態に係る画像処理システム１０Ｄの作用について説明する。図３４には、画像処理装置１６Ｄで行われる画像処理の一例のフローチャートを示す。なお、本実施形態の画像処理装置１６Ｄで行われる画像処理は、第１実施形態の画像処理装置１６で行われる画像処理（図７参照）と同様の処理を含むため、同様の処理についてはその旨を記し、詳細な説明を省略する。

本実施形態の画像処理は、
図３４に示すように、本実施形態の画像処理装置１６Ｄで行われる画像処理は、第１実施形態の画像処理装置１６（図７参照）のステップＳ１０６の後に、Ｓ１０７Ａ〜１０７Ｅが設けられている。また、ステップＳ１１２に代わりステップＳ１１３が設けられ、ステップＳ１３８に代わりステップＳ１３９が設けられている。

本実施形態の画像処理では、ステップＳ１０６の後に、ステップＳ１０７Ａへ移行する。

ステップＳ１０７Ａでカメラ位置推定部２４は、現在のモードがモード０か否かを判断する。肯定判定となった場合はステップＳ１０７Ｂへ移行する。

ステップＳ１０７Ｂで指定領域特定部２６Ｄは、中心位置を特定する。具体的には、指定領域特定部２６Ｄは、手形状分析部２２の分析結果に基づいて、手領域（図３５（１）の手領域７６Ｒ参照）の右手一本指形状の指先の位置（ｘ０，ｙ０）を中心位置として特定する。

次のステップＳ１０７Ｃで指定領域特定部２６Ｄは、指定された中心に応じたコンテンツを生成し、撮影画像７０に重畳させる。図３５（１）に示した具体例では、指定領域の中心を表す中心画像１００がコンテンツとして生成されて、撮影画像７０に重畳された状態を示している。

次のステップＳ１０７Ｄで指定領域特定部２６Ｄは、右手の一本指形状の指先の位置が所定の時間Ｔ０の間、同じであるか否かを判断する。具体的には、指定領域特定部２６Ｄは、指先の位置の座標が同じである時間を計測する。計測方法は特に限定されず、第１実施形態の画像処理における時間の計測と同様に行えばよい。なお、モード０が設定されている場合は、中心画像１００の色を計測時間に応じて異ならせることにより、インジケータ画像７３と同等の機能をもたせることが好ましい。

所定の時間Ｔ０が経過する前に指先が動いた場合は、否定判定となりステップＳ１４０へ移行する。

一方、所定の時間Ｔ０の間、同じ位置にある場合は、肯定判定となりステップＳ１０７Ｅへ移行する。

この場合、ユーザ８が指定したい指定領域の中心の特定が完了し、モード０に対応する画像処理が終了したため、ステップＳ１０７Ｅで指定領域特定部２６Ｄは、画像処理のモードをモード１に切り替えた後、ステップＳ１４０へ移行する。

このように本実施形態の画像処理装置１６Ｄでは、現在のモードがモード０の場合は、ユーザ８の指定操作により指定された指定領域の中心位置を特定した後、設定をモード１に切り替える。

モード１において行われる画像処理のステップＳ１１３で指定領域特定部２６Ｄにより行われる領域特定処理について説明する。図３６には、本実施形態の指定領域特定部２６Ｄで実行される領域特定処理の一例のフローチャートを示す。

ステップＳ６００で指定領域特定部２６Ｄは、右手一本指形状の指先の位置（ｘ１，ｙ１）を算出する。

次のステップＳ６０２で指定領域特定部２６Ｄは、中心位置を（ｘ０，ｙ０）、半径をｘ１とする円の内部を指定領域として特定した後、本処理を終了する。

図３５（２）に示した具体例では、指定領域を表す円画像７４がコンテンツとして生成されて、撮影画像７０に重畳された状態を示している。また、指定領域の画像７２は、撮影画像７０と同等の画像である。

このようにして領域特定処理が行われた後のステップＳ１１４〜Ｓ１１８は、第１実施形態の画像処理（図７参照）と同様である。なお、本実施形態の画像処理のステップＳ１１６では、右手の手領域の指先について同じ位置に有るか否かを判断することはいうまでもない。

また、モード４において行われる画像処理のステップＳ１３９では、描画領域固定部３０が画像処理のモードをモード０に切り替えた後、ステップＳ１４０へ移行する。

このように本実施形態の画像処理システム１０Ｄの画像処理装置１６Ｄによれば、ユーザ８は、右手のみで指定操作及び指示操作の全てを行うことができる。そのため、本実施形態の画像処理システム１０Ｄ（画像処理装置１６Ｄ）によれば、より直感的な操作を行うことができる。

以上説明したように、上記各実施形態では、手形状分析部２２が、撮影装置１４によって撮影された撮影画像７０上で、領域を指定する指定操作に対応する第１特定形状の一例として、両手または右手の一本指形状の手領域を検出する。

そして、指定領域特定部２６、２６Ｄは、手領域が静止している時間の計測を開始し、手領域が静止している時間が予め設定された時間に達した場合に、指定操作による指定領域を特定する。

また、手形状分析部２２が、指定領域が特定された後に継続して、撮影装置１４によって撮影された撮影画像７０上で第２特定形状の一例として右手の一本指、または右掌の手領域及び手領域の特定の動きの少なくとも一方を検出する。

描画拡大部２８は、手形状分析部２２が右手の一本指を検出した場合は、指定領域に対する所定の画像処理の一例として拡大処理の実行を指示する指示操作であるため、前記指定領域を拡大した拡大画像７７を、ＨＭＤ１２に表示させる。
また、描画拡大部２８は、手形状分析部２２が掌が動いていることを検出した場合は、指定領域の表示の削除を指示する指示操作であるため、ＨＭＤ１２に表示される画像から拡大画像７７または指定領域の画像７２を削除する。

このように、上記各実施形態の画像処理装置１６、１６Ａ〜Ｄが認識する操作は、ユーザ８が空間中で行う指定操作及び指示操作は、直感的に理解できる操作である。また、これらの指定操作及び指示操作のジェスチャは、撮影装置１４で撮影した撮影画像７０から画像処理装置１６、１６Ａ〜Ｄが認識しやすいものである。

従って、上記各実施形態の画像処理装置１６、１６Ａ〜Ｄによれば、ユーザが操作に不慣れな場合にも、ユーザの操作を適切に認識することができる。

なお、上記各実施形態のでは、片手で操作（ジェスチャ）を行う場合、右手を使用するものとして説明したがこれに限らず、左手であってもよいし、左右何れを用いるかについては任意としてもよい。

また、上記各実施形態で説明したユーザ８の操作（ジェスチャ）は一例であり、ユーザ８が空中で直感的に行える動作であれば特に限定されない。なお、継続する画像処理を指示する場合は、継続しやすい動作であることはいうまでもない。図３７〜図３９を用いてその他の操作の一例について説明する。

図３７（１）は、両手の２本指で指定領域を指定する操作を説明する説明図である。両手の親指及び人差し指を開いた形状を特定形状とし、これら手領域７６Ｒ、７６Ｌの指で指定される矩形状の領域を指定領域１０４として特定する場合を示している。また、図３７（２）は、右手の１本指で指定領域を指定するその他の操作を説明する説明図である。右手の一本指を伸ばした形状を特定形状とし、手領域７６Ｒの指先の上の一定領域を指定領域１０６として特定する場合を示している。

また、図３８は、拡大率を指示する指示操作を説明する説明図である。まず、拡大範囲を右手一本指で指示する。そして、右手の親指を開く操作が行われたことを認識すると指定領域の画像７２を所定の倍率に拡大した拡大画像７７をＨＭＤ１２に表示する場合を示している。

さらに、図３９はその他の操作として、画像処理装置１６、１６Ａ〜Ｄが、ユーザ８が操作するための操作ボタンの画像をコンテンツとして生成してＨＭＤ１２に表示させる場合を示している。図３９（１）は、ＨＭＤ１２に表示された操作ボタン１１０の上で所定の時間以上指を静止させた場合、もしくは操作ボタン１１０の上で指を奥に押す動作が行われた場合に、操作ボタン１１０が操作されたと認識する場合を示している。また、図３９（２）は、操作ボタン１１２の上で指がスライド（横方向への移動）した場合に、操作ボタン１１２が操作されたと認識する場合を示している。

また、上記各実施形態を組み合わせて用いてもよいことはいうまでもない。特に、第２実施形態とその他の実施形態の少なくとも１つを組み合わせることが好ましい。また、第１または第２実施形態と、第３及び第４実施形態の少なくとも一方を組み合わせる場合、画像処理装置をいずれの実施形態の態様とするかは、態様を指示するユーザ８の指示操作を認識して判断すればよい。

また、上記各実施形態で説明した画像処理は一例であることはいうまでもない。

また、上記各実施形態では、指定領域の形状を円形で示したが、指定領域の形状は円形以外であってもよく、特に限定されない。

また、画像処理装置１６は、ＨＭＤ１２に内蔵されていてもよい。また画像処理装置１６の機能を複数の装置に振り分けてもよく、例えば一部の機能をＨＭＤ１２に内蔵し、残りの機能を別個の装置としてもよい。

また、ＨＭＤ１２と画像処理装置１６との間の通信は、有線通信であってお無線通信であってもよい。現場等、ユーザ８がＨＭＤ１２を使用する状況に応じて通信方法を切り替えてもよい。

また、ＨＭＤ１２に複数の撮影装置１４を設け、何れかの撮影装置１４で拡大画像７７に対応する撮影画像７０を撮影して、背景画像に重畳してもよい。

また、上記各実施形態では、ＨＭＤ１２がビデオシースルー型（非透過型）である場合について説明したが、ＨＭＤ１２は、光学シースルー型（光学透過型）であってもよい。但し、ＨＭＤ１２を非透過型とした場合、少なくともユーザ８の手を撮影した画像を背景画像に重畳することが好ましい。

なお、第２実施形態では、失敗パターンＤＢ３４に登録された全ての失敗パターンと照合する態様を説明したがこれに限定されるものではない。

例えば、ユーザ８によって第１の操作が行われた後に行われる可能性のある正規の操作が第２の操作又は第３の操作であるとする。この場合、第２の操作で想定される失敗操作に対応する失敗パターンと、第３の操作で想定される失敗操作に対応する失敗パターンについてのみ照合を行ってもよい。このように、照合する失敗パターンを、一連の所定の操作のうちのどの段階にあるかに応じて、絞り込むようにしてもよい。

なお、上記では、画像処理プログラム５０、５０Ａ〜Ｄがコンピュータ４０、４０Ａ〜Ｄの記憶部４６、４６Ａ〜Ｄに予め記憶（インストール）されている状態を説明した。しかしながら、画像処理プログラム５０、５０Ａ〜Ｄを記憶媒体に記録された形態で提供することも可能である。記憶媒体としては、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）等が挙げられる。

以上の上記実施形態に関し、更に以下の付記を開示する。

（付記１）
撮影装置によって撮影された撮影画像上で、領域を指定する指定操作に対応する第１特定形状の手領域を検出した場合に、前記手領域が静止している時間の計測を開始し、前記手領域が静止している時間が予め設定された時間に達した場合に、前記指定操作による指定領域を特定する特定部と、
前記特定部によって前記指定領域が特定された後に継続して、前記撮影装置によって撮影された撮影画像上で前記指定領域に対する所定の画像処理の実行を指示する指示操作に対応する、第２特定形状の手領域及び手領域の特定の動きの少なくとも一方を検出した場合に、前記指定領域に対して前記所定の画像処理を行った画像を、装着された状態で頭部の前方に配置される表示装置に表示させる制御部と、
を備えた画像処理装置。

（付記２）
前記撮影装置は、前記頭部の前方の空間を撮影し、
前記制御部は、前記撮影装置で撮影された前記撮影画像に前記所定の画像処理を行った画像を重畳させて前記表示装置に表示させる、
付記１に記載の画像処理装置。

（付記３）
前記撮影画像から意図された操作を判断する判断部をさらに備え、
判断された操作が前記指定操作の場合は、前記特定部が前記指定領域の特定を行い、判断された操作が前記指示操作の場合は、前記制御部が前記所定の画像処理を行った画像を前記表示装置に表示させる、
付記１または付記２に記載の画像処理装置。

（付記４）
前記判断部は、前記指定操作又は前記指示操作に失敗した場合の操作の情報を記憶する記憶部に情報が記憶された操作を検出した場合に、意図された操作は前記指定操作又は前記指示操作であると判断する、
付記３に記載の画像処理装置。

（付記５）
前記記憶部に記憶される情報は、前記失敗した場合の操作を、手領域の指先の位置、及び手領域の重心の位置の軌跡で表した情報である、
付記４に記載の画像処理装置。

（付記６）
前記指定操作又は前記指示操作が失敗したか否かを検出する検出部をさらに備え、
前記判断部は、前記検出部によって前記指定操作又は前記指示操作の失敗が検出された場合に、判断した操作された意図の正しい操作を表す操作画像を前記表示装置に表示させる、
付記３から付記５のいずれか１つに記載の画像処理装置。

（付記７）
前記検出部は、前記指定操作又は前記指示操作に失敗した場合の操作の情報を記憶する記憶部に記憶された情報に基づいて、前記指定操作又は前記指示操作が失敗したか否かを検出する、
付記６に記載の画像処理装置。

（付記８）
前記制御部は、さらに、前記手領域の静止が継続している時間を視覚的に前記表示に表示させる、
付記１から付記７のいずれか１つに記載の画像処理装置。

（付記９）
コンピュータに、
撮影装置によって撮影された撮影画像上で、領域を指定する指定操作に対応する第１特定形状の手領域を検出した場合に、前記手領域が静止している時間の計測を開始し、前記手領域が静止している時間が予め設定された時間に達した場合に、前記指定操作による指定領域を特定し、
前記指定領域が特定された後に継続して、前記撮影装置によって撮影された撮影画像上で前記指定領域に対する所定の画像処理の実行を指示する指示操作に対応する、第２特定形状の手領域及び手領域の特定の動きの少なくとも一方を検出した場合に、前記指定領域に対して前記所定の画像処理を行った画像を、装着された状態で頭部の前方に配置される表示装置に表示させる、
ことを含む処理を実行させる画像処理プログラム。

（付記１０）
前記撮影装置は、前記頭部の前方の空間を撮影し、
前記撮影装置で撮影された前記撮影画像に前記所定の画像処理を行った画像を重畳させて前記表示装置に表示させる、
付記１１に記載の画像処理プログラム。

（付記１１）
前記撮影画像から意図された操作を判断し、
判断された操作が前記指定操作の場合は、前記指定領域の特定を行い、判断された操作が前記指示操作の場合は、前記所定の画像処理を行った画像の画像を前記表示装置に表示させる、
付記９または付記１０に記載の画像処理プログラム。

（付記１２）
前記指定操作又は前記指示操作に失敗した場合の操作の情報を記憶する記憶部に情報が記憶された操作を検出した場合に、意図された操作は前記指定操作又は前記指示操作であると判断する、
付記１１に記載の画像処理プログラム。

（付記１３）
前記記憶部に記憶される情報は、前記失敗した場合の操作を、手領域の指先の位置、及び手領域の重心の位置の軌跡で表した情報である、
付記１２に記載の画像処理プログラム。

（付記１４）
前記指定操作又は前記指示操作が失敗したか否かを検出し、
前記指定操作又は前記指示操作の失敗が検出された場合に、判断した操作された意図の正しい操作を表す操作画像を前記表示装置に表示させる、
付記１１から付記１３のいずれか１つに記載の画像処理プログラム。

（付記１５）
前記指定操作又は前記指示操作に失敗した場合の操作の情報を記憶する記憶部に記憶された情報に基づいて、前記指定操作又は前記指示操作が失敗したか否かを検出する、
付記１４に記載の画像処理プログラム。

（付記１６）
さらに、前記手領域の静止が継続している時間を視覚的に前記表示に表示させる、
付記９から付記１５のいずれか１つに記載の画像処理プログラム５０。

（付記１７）
コンピュータにより、
撮影装置によって撮影された撮影画像上で、領域を指定する指定操作に対応する第１特定形状の手領域を検出した場合に、前記手領域が静止している時間の計測を開始し、前記手領域が静止している時間が予め設定された時間に達した場合に、前記指定操作による指定領域を特定し、
前記指定領域が特定された後に継続して、前記撮影装置によって撮影された撮影画像上で前記指定領域に対する所定の画像処理の実行を指示する指示操作に対応する、第２特定形状の手領域及び手領域の特定の動きの少なくとも一方を検出した場合に、前記指定領域に対して前記所定の画像処理を行った画像を、装着された状態で頭部の前方に配置される表示装置に表示させる、
ことを含む処理を実行させる画像処理方法。

（付記１８）
前記撮影装置は、前記頭部の前方の空間を撮影し、
前記撮影装置で撮影された前記撮影画像に前記所定の画像処理を行った画像を重畳させて前記表示装置に表示させる、
付記１７に記載の画像処理方法。

（付記１９）
前記撮影画像から意図された操作を判断し、
判断された操作が前記指定操作の場合は、前記指定領域の特定を行い、判断された操作が前記指示操作の場合は、前記所定の画像処理を行った画像を前記表示装置に表示させる、
付記１７または付記１８に記載の画像処理方法。

（付記２０）
前記指定操作又は前記指示操作に失敗した場合の操作の情報を記憶する記憶部に情報が記憶された操作を検出した場合に、意図された操作は前記指定操作又は前記指示操作であると判断する、
付記１９に記載の画像処理方法。

（付記２１）
前記記憶部に記憶される情報は、前記失敗した場合の操作を、手領域の指先の位置、及び手領域の重心の位置の軌跡で表した情報である、
付記２０に記載の画像処理方法。

（付記２２）
前記指定操作又は前記指示操作が失敗したか否かを検出し、
前記指定操作又は前記指示操作の失敗が検出された場合に、判断した操作された意図の正しい操作を表す操作画像を前記表示装置に表示させる、
付記１９から付記２０のいずれか１つに記載の画像処理方法。

（付記２３）
前記指定操作又は前記指示操作に失敗した場合の操作の情報を記憶する記憶部に記憶された情報に基づいて、前記指定操作又は前記指示操作が失敗したか否かを検出する、
付記２２に記載の画像処理方法。

（付記２４）
さらに、前記手領域の静止が継続している時間を視覚的に前記表示に表示させる、
付記１７から付記２３のいずれか１つに記載の画像処理方法。

１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ画像処理システム
１２ＨＭＤ
１４撮影装置
１６画像処理装置
２０画像取得部
２２手形状分析部
２４カメラ位置推定部
２６、２６Ｄ指定領域特定部
２８描画拡大部
３０描画領域固定部
３２画像出力部
３３失敗操作検出部
３４失敗パターンＤＢ
３５操作意図判断部
４０、４０Ａ、４０Ｂ、４０Ｃ、４０Ｄコンピュータ
４２ＣＰＵ
４４メモリ
４６、４６Ａ、４６Ｂ、４６Ｃ、４６Ｄ記憶部
５０、５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ画像処理プログラム

Claims

撮影装置によって撮影された撮影画像上で、領域を指定する指定操作に対応する第１特定形状の手領域を検出した場合に、前記手領域が静止している時間の計測を開始し、前記手領域が静止している時間が予め設定された時間に達した場合に、前記指定操作による指定領域を特定する特定部と、
前記特定部によって前記指定領域が特定された後に継続して、前記撮影装置によって撮影された撮影画像上で前記指定領域に対する所定の画像処理の実行を指示する指示操作に対応する、第２特定形状の手領域及び手領域の特定の動きの少なくとも一方を検出した場合に、前記指定領域に対して前記所定の画像処理を行った画像を、装着された状態で頭部の前方に配置される表示装置に表示させる制御部と、
前記撮影画像から意図された操作を判断し、前記指定操作又は前記指示操作に失敗した場合の操作の情報を記憶する記憶部に情報が記憶された操作を検出した場合に、意図された操作は前記指定操作又は前記指示操作であると判断する判断部とを備え、
判断された操作が前記指定操作の場合は、前記特定部が前記指定領域の特定を行い、判断された操作が前記指示操作の場合は、前記制御部が前記所定の画像処理を行った画像を前記表示装置に表示させる、
を備えた画像処理装置。
前記撮影装置は、前記頭部の前方の空間を撮影し、
前記制御部は、前記撮影装置で撮影された前記撮影画像に前記所定の画像処理を行った画像を重畳させて前記表示装置に表示させる、
請求項１に記載の画像処理装置。
前記指定操作又は前記指示操作が失敗したか否かを検出する検出部をさらに備え、
前記判断部は、前記検出部によって前記指定操作又は前記指示操作の失敗が検出された場合に、判断した操作された意図の正しい操作を表す操作画像を前記表示装置に表示させる、
請求項１または請求項２に記載の画像処理装置。
前記検出部は、前記指定操作又は前記指示操作に失敗した場合の操作の情報を記憶する記憶部に記憶された情報に基づいて、前記指定操作又は前記指示操作が失敗したか否かを検出する、
請求項３に記載の画像処理装置。
前記制御部は、さらに、前記手領域の静止が継続している時間を視覚的に前記表示に表示させる、
請求項１から請求項４のいずれか１項に記載の画像処理装置。
コンピュータに、
撮影装置によって撮影された撮影画像上で、領域を指定する指定操作に対応する第１特定形状の手領域を検出した場合に、前記手領域が静止している時間の計測を開始し、前記手領域が静止している時間が予め設定された時間に達した場合に、前記指定操作による指定領域を特定し、
前記指定領域が特定された後に継続して、前記撮影装置によって撮影された撮影画像上で前記指定領域に対する所定の画像処理の実行を指示する指示操作に対応する、第２特定形状の手領域及び手領域の特定の動きの少なくとも一方を検出した場合に、前記指定領域に対して前記所定の画像処理を行った画像を、装着された状態で頭部の前方に配置される表示装置に表示させ、
前記撮影画像から意図された操作を判断し、前記指定操作又は前記指示操作に失敗した場合の操作の情報を記憶する記憶部に情報が記憶された操作を検出した場合に、意図された操作は前記指定操作又は前記指示操作であると判断し、
判断された操作が前記指定操作の場合は、前記指定領域の特定を行い、判断された操作が前記指示操作の場合は、前記所定の画像処理を行った画像を前記表示装置に表示させる、
ことを含む処理を実行させる画像処理プログラム。
コンピュータにより、
撮影装置によって撮影された撮影画像上で、領域を指定する指定操作に対応する第１特定形状の手領域を検出した場合に、前記手領域が静止している時間の計測を開始し、前記手領域が静止している時間が予め設定された時間に達した場合に、前記指定操作による指定領域を特定し、
前記指定領域が特定された後に継続して、前記撮影装置によって撮影された撮影画像上で前記指定領域に対する所定の画像処理の実行を指示する指示操作に対応する、第２特定形状の手領域及び手領域の特定の動きの少なくとも一方を検出した場合に、前記指定領域に対して前記所定の画像処理を行った画像を、装着された状態で頭部の前方に配置される表示装置に表示させ、
前記撮影画像から意図された操作を判断し、前記指定操作又は前記指示操作に失敗した場合の操作の情報を記憶する記憶部に情報が記憶された操作を検出した場合に、意図された操作は前記指定操作又は前記指示操作であると判断し、
判断された操作が前記指定操作の場合は、前記指定領域の特定を行い、判断された操作が前記指示操作の場合は、前記所定の画像処理を行った画像を前記表示装置に表示させる、
ことを含む処理を実行させる画像処理方法。