JP3819096B2 - ユーザインタフェース装置及び操作範囲呈示方法 - Google Patents
ユーザインタフェース装置及び操作範囲呈示方法 Download PDFInfo
- Publication number
- JP3819096B2 JP3819096B2 JP00977397A JP977397A JP3819096B2 JP 3819096 B2 JP3819096 B2 JP 3819096B2 JP 00977397 A JP00977397 A JP 00977397A JP 977397 A JP977397 A JP 977397A JP 3819096 B2 JP3819096 B2 JP 3819096B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processed
- appropriate range
- range
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理により入力を行なうユーザインタフェース装置及び画像処理の対象物体に対する操作範囲呈示方法に関する。
【０００２】
【従来の技術】
コンピュータの入力デバイスとして、マウスが圧倒的に使われている。しかし、マウスで操作できることは、カーソルの移動と、メニューの選択などであり、あくまでも２次元のポインティングデバイスとしての役目に過ぎない。マウスで扱えるのは、２次元の情報であり、３次元空間の中の物体など奥行きがあるものを選択することは難しい。また、アニメーションを作成する場合、キャラクタの動きをつけるのに、マウスのような入力デバイスでは、自然な動きをつけることが難しい。
【０００３】
３次元空間でのポインティングの難点を補うために、ボールを所望の方向に押したり回したりして６軸方向の情報を入力する装置や、いわゆるデータグローブやデータスーツ、サイバーグローブといった手などにはめて使用する装置が開発されている。しかし、これら装置は操作性の悪さ等のために、当初の期待程、普及していないのが現実である。
【０００４】
これに対し、最近、ユーザは特殊な装置を扱うことなく、手振りや身振りでユーザの意図する情報を入力できる直接指示型の入力装置が開発されている。
例えば、光を照射し、ユーザの手による反射光を受光し、これを画像化して特徴量抽出や形状認識処理を行ない、手の形状に応じた制御を実行したり、手の移動量に応じた分のカーソル移動や３次元モデルにおける視点の変更を行なったりするものがある。
【０００５】
あるいは、ユーザの手の動きをビデオ撮影し、ビデオ映像を解析することにより、上記と同様の処理を行なうものがある。
このような装置によって、ユーザは特殊な装置を装着などすることなく、簡易にジェスチャで入力を行なうことができる。
【０００６】
【発明が解決しようとする課題】
しかし、この種の装置では、物体検出のための受光装置は固定的に設置されるため、ユーザの手などを正常に検出可能な範囲が限定される。したがって、ユーザの手などの位置によっては、その形状や動きを正確に検出することができず、ユーザが所望する制御等を実現できない問題があった。また、ユーザは３次元空間中での上記検出可能範囲を直ちに認識することは困難であることから、経験によって上記検出可能範囲内での操作を体得せざるを得ず、ユーザに操作上の負担を強いる問題があった。
【０００７】
本発明は、上記事情を考慮してなされたもので、画像処理により入力を行なうユーザインタフェース装置において、ユーザの操作上の負担を軽減したより使い易いユーザインタフェース装置及び操作範囲呈示方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置において、少なくとも前記画像入力装置を基準とした遠近方向について、画像処理対象の物体が適正範囲にあるか否かを、前記距離に関する情報に基づき判定する手段と、適正範囲にないと判定された場合、その旨を通知するための所定の視覚的情報および聴覚的情報の少なくとも一方を呈示する手段とを備えたことを特徴とする。
【０００９】
本発明によれば、ユーザの手などの対象物体が適正範囲からはずれた場合、例えば表示装置や音声再生装置を用いてその旨を通知するので、ユーザは容易に３次元空間中での適正範囲を認識することができ、容易に適正範囲でジェスチャ等を行なって所望の指示等を入力することができる。
【００１０】
また、本発明は、所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報及び該画像処理対象の物体の形状に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置において、少なくとも前記画像入力装置を基準とした遠近方向及び左右方向について、画像処理対象の物体が適正範囲にあるか否かおよび適正範囲にない場合に画像処理対象の物体が適正範囲からどの方向にはずれているかを、前記距離に関する情報及び前記形状に関する情報に基づき判定する手段と、適正範囲にないと判定された場合、表示画面に表示するカーソルの表示状態を、適正範囲からどの方向にはずれているかに応じて定まる所定の状態に変化させて、画像処理対象の物体が適正範囲からどの方向にはずれているかを通知する手段とを備えたことを特徴とする。
【００１１】
本発明によれば、ユーザの手などの対象物体が適正範囲からはずれた場合、表示画面に表示するカーソルの表示状態を所定の状態に変化させて、画像処理対象の物体が適正範囲からどの方向にはずれているかを通知するので、ユーザは視覚的に適正範囲から対象物体がはずれている方向を認識し、容易かつ即座に対象物体の位置を修正することができ、この結果、容易に３次元空間中での適正範囲を認識することができ、容易に適正範囲でジェスチャ等を行なって所望の指示等を入力することができる。
【００１２】
好ましくは、画像処理対象の物体が適正範囲から遠方にはずれていると判定された場合、カーソルを小さくおよび／または薄く表示することを特徴とする。
好ましくは、画像処理対象の物体が適正範囲から近傍にずれていると判定された場合、カーソルを大きく表示することを特徴とする。
【００１３】
好ましくは、画像処理対象の物体が適正範囲から左方にはずれていると判定された場合、カーソルの左方の端を歪ませて表示することを特徴とする。
好ましくは、画像処理対象の物体が適正範囲から右方にはずれていると判定された場合、カーソルの右方の端を歪ませて表示することを特徴とする。
【００１４】
好ましくは、適正範囲にないと判定された場合、音声を用いて画像処理対象の物体が適正範囲からどの方向にはずれているかを通知する手段をさらに備えたことを特徴とする。
【００１５】
また、本発明は、所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報及び該画像処理対象の物体の形状に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置において、少なくとも前記画像入力装置を基準とした遠近方向及び左右方向について、画像処理対象の物体が適正範囲にあるか否かおよび適正範囲にない場合に画像処理対象の物体が適正範囲からどの方向にはずれているかを、前記距離に関する情報及び前記形状に関する情報に基づき判定する手段と、適正範囲にないと判定された場合、音声により画像処理対象の物体が適正範囲からどの方向にはずれているかを通知する手段とを備えたことを特徴とする。
【００１６】
本発明によれば、ユーザの手などの対象物体が適正範囲からはずれた場合、音声を用いて画像処理対象の物体が適正範囲からどの方向にはずれているかを通知するので、ユーザは聴覚的に適正範囲から対象物体がはずれている方向を認識し、容易かつ即座に対象物体の位置を修正することができ、この結果、容易に３次元空間中での適正範囲を認識することができ、容易に適正範囲でジェスチャ等を行なって所望の指示等を入力することができる。
【００１７】
また、本発明は、所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置における対象物体の操作範囲呈示方法であって、少なくとも前記画像入力装置を基準とした遠近方向について、画像処理対象の物体が適正範囲にあるか否かを、前記距離に関する情報に基づき判定し、適正範囲にないと判定された場合、その旨を通知するための所定の視覚的情報および聴覚的情報の少なくとも一方を呈示することを特徴とする。
【００１８】
また、本発明は、所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報及び該画像処理対象の物体の形状に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置における対象物体の操作範囲呈示方法であって、少なくとも前記画像入力装置を基準とした遠近方向及び左右方向について、画像処理対象の物体が適正範囲にあるか否かおよび適正範囲にない場合に画像処理対象の物体が適正範囲からどの方向にはずれているかを、前記距離に関する情報及び前記形状に関する情報に基づき判定し、適正範囲にないと判定された場合、表示画面に表示するカーソルの表示状態を、適正範囲からどの方向にはずれているかに応じて定まる所定の状態に変化させて、画像処理対象の物体が適正範囲からどの方向にはずれているかを通知することを特徴とする。
【００１９】
また、本発明は、所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報及び該画像処理対象の物体の形状に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置における対象物体の操作範囲呈示方法であって、少なくとも前記画像入力装置を基準とした遠近方向及び左右方向について、画像処理対象の物体が適正範囲にあるか否かおよび適正範囲にない場合に画像処理対象の物体が適正範囲からどの方向にはずれているかを、前記距離に関する情報及び前記形状に関する情報に基づき判定し、適正範囲にないと判定された場合、音声により画像処理対象の物体が適正範囲からどの方向にはずれているかを通知することを特徴とする。
【００２０】
なお、以上の各装置に係る発明は、方法に係る説明としても成立する。
また、上記の発明は、相当する手順あるいは手段をコンピュータに実行させるためのプログラムを記録した機械読取り可能な媒体としても成立する。
【００２１】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
図１は、本発明の一実施形態に係るユーザインタフェース装置の構成例を示す図である。また、図２に、本実施形態のユーザインタフェース装置の動作手順例を示す。
【００２２】
本ユーザインタフェース装置は、例えば、グラフィックユーザインタフェースを持つ計算機に適用すると好適なものである。すなわち、表示画面上にカーソル、スライダーバー、スクロールバー、プルダウンメニュー、ボックス、リンク、アプリケーションなどのアイコンが表示され、ユーザが入力デバイスによりカーソルの移動、アイコンの選択、アプリケーションの起動などの指示を入力するようなシステムであって、入力デバイスがマウスのような専用器具を必要とせずユーザの手などの物体を画像処理することにより入力を受けるものであるシステムに適用するものである。
【００２３】
本ユーザインタフェース装置は、入力機能部分と、フィードバック機能部分とに大別される。
入力機能部分は、公知のものを利用することが可能で、光を発光し、ユーザの手などの対象物体による反射光を画像として捉えることにより（あるいは背景の光の対象物体による反射光を画像として捉えることにより）、その形状、動き、距離情報などを検出し、その形状等に応じた所定の制御（例えば入出力装置に関する制御あるいはアプリケーションソフトの起動など）を行なうもので、ユーザは手のモーションなどにより意図する入力を行なうことができる機能を提供するものである。本実施形態では、画像記憶部１１、形状解釈部１２、解釈規則記憶部１３、呈示部１４からなるものとする。
【００２４】
フィードバック機能部分は、本発明に係る部分で、ユーザの手などの画像検出対象物体が適正な検出範囲にあるか否かを評価し、評価結果をユーザに呈示するものである。本実施形態では、画像記憶部１１、適性範囲評価部１５、評価結果反映部１６からなるものとする。
【００２５】
まず、両機能部分に共通の画像記憶部１１と図示しない画像入力装置について説明する。
画像記憶部１１は、図示しない画像入力装置から所定時間毎（例えば１／３０秒毎、１／６０秒毎、１／１００秒毎など）に出力される画像検出対象物体の２次元画像を逐次記憶する（ステップＳ１）。
【００２６】
図示しない画像入力装置は、例えば、ＬＥＤなどの発光素子により近赤外線などの光を対象物体に照射する発光部と、対象物体からの反射光を２次元アレイ状に配列された受光素子で受光する受光部とを有するものである。なお、通常、発光部が発光しているときに受光した光の量と、発光部が発光していないときに受光した光の量の差をとることによって、バックグラウンドの補正を行ない、発光部からの光の対象物体による反射光の成分だけを取り出す。なお、画像入力装置は、発光部を持たず、ＣＣＤカメラなどの受光部のみ持つものであっても良い。
【００２７】
例えば、画像入力装置の前にユーザの手を持ってきた場合、その手からの反射光画像が得られる。このとき、反射光画像の各画素値は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体面の向き、物体の距離、などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などはこのような性質を持つため、手を差し出した場合の反射光画面は、手の距離、手の傾き（部分的に距離が異なる）、などを反映する。したがって、これらの情報を抽出することによって、様々な情報の入力・生成が可能になる。
【００２８】
次に、入力機能部分について説明する。
形状解釈部１２は、画像記憶部１１に記憶された２次元画像を、Ｎ×Ｎ（例えば６４×６４）のドットマトリクスとして逐次取込む（ステップＳ２）。各画素は階調（例えば８ビット＝２５６階調）を持つものとする。図３（ａ）に、対象物体を手としたドットマトリクスの一例を示す。
【００２９】
次に、形状解釈部１２は、ドットマトリクスから所定の特徴量を抽出し、解釈規則記憶部１３に記憶された解釈規則をもとに、形状解釈する（ステップＳ３）。そして、適合する解釈規則に応じた指示を解釈結果として出力する（ステップＳ４，Ｓ５）。もし適合する解釈規則がなければ、必要に応じてドットマトリクスからの所定の特徴量の抽出の仕方を変更して（例えばドットマトリクスのしきい値処理を行なう場合、そのしきい値を変更する）、再度マッチング処理をやり直すようにしても良い。最終的に適合する解釈規則がなければ（ステップＳ４）、入力はなかったものとする。
【００３０】
解釈規則記憶部１３は、形状解釈のための解釈規則を記憶する。例えば、ユーザの手の形状などの特徴量に応じた指示内容が解釈規則として記憶されている。指示内容には、アイコンの選択、アプリケーションの起動、カーソル移動等がある。カーソル移動の場合には、手の移動方向・距離に応じたカーソルの移動量も指示される。例えば、人差し指のみを立てた状態をカーソル移動に対応させ（この場合、例えば人差し指の先端の移動距離・方向がカーソルの移動距離・方向に対応づけられる）、人差し指のみを立てた状態で、親指を動かした動作を、カーソルの位置するアイコンの選択に対応させ、人差し指のみを立てた状態で、手のひらを反転させる動作を、カーソルの位置するアイコンに対応するアプリケーションの起動に対応させるなどの規則が考えられる。
【００３１】
形状解釈部１２による形状解釈におけるドットマトリクスから特徴量の抽出の代表例は、距離情報の抽出と、領域抽出である。物体が一様で均質な散乱面を持つ物体であれば、反射光画像は距離画像とみなすことができる。したがって、受光部から見込んだ物体の立体形状を抽出することができる。物体が手であれば、手のひらの傾きなどが検出できる。手のひらの傾きは部分的な距離の違いとして現れる。また、手を移動させたときに画素値が変われば、距離が移動したと見ることができる。また、背景のように遠い物体からの反射光はほとんどないため、反射光画像からあるしきい値以上の領域を切り出すという処理で、物体の形状を簡単に切り出すことができる。例えば、物体が手であれば、そのシルエット像を切り出すのは極めて容易である。距離画像を用いる場合でも、一度しきい値によって領域抽出をしておいてから、その領域内の距離情報を用いる、という場合が多い。
【００３２】
ドットマトリクスから抽出した特徴量と解釈規則とのマッチングの手法には種々のものがある。例えば、画像からベクトルを抽出するベクトル化、形状モデルにもとづいた形状の変形状態の抽出、走査線上の距離値にもとづいたスペクトル解析などである。
【００３３】
もし適合する形状がなければ、例えばしきい値を変更するなどして、再度マッチング処理をやり直すようにしても良い。最終的に適合する形状がなければ、入力はなかったものと見なす。
【００３４】
呈示部１４は、形状解釈部１２による解釈結果がユーザに視覚的な情報の呈示を指示するものである場合、表示装置にて形状解釈部１２による解釈結果を反映した呈示を行なう。例えば、カーソルを移動させ、カーソルの形状を変更させ、あるいは必要に応じてメッセージを呈示する。なお、メッセージの呈示には、音声再生装置が使用または併用されることもある。
【００３５】
次に、フィードバック機能部分について説明する。
適性範囲評価部１５は、画像記憶部１１に記憶された２次元画像を、図３（ａ）のようなドットマトリックスとして取込み（ステップＳ２）、対象物体が適性範囲にあるか否かを評価し、評価結果に応じたフィードバック情報を生成する（ステップＳ６〜Ｓ１６）。
【００３６】
評価結果反映部１６は、フィードバック情報をもとに、評価結果を反映した呈示を表示装置および／または音声再生装置にて行なうよう指示を出す（ステップＳ１７）。
【００３７】
まず、適性範囲評価部１５について詳しく説明する。
対象物体が適性範囲にある場合には、例えば図３（ａ）のような適当なドットマトリックスが得られ、ユーザの手などによる所望の入力が可能である。しかし、対象物体が適性範囲にある場合、より具体的には、対象物体が受光部に対して近すぎる場合、遠すぎる場合、左からはみ出している場合、右からはみ出している場合には、ユーザが所望する指示等は入力できない。
【００３８】
そこで、適性範囲評価部１５は、ドットマトリックスを解析して、対象物体が適性範囲にあるか（ステップＳ６）、あるいは近すぎるか（ステップＳ８）、遠すぎるか（ステップＳ１０）、左からはみ出しているか（ステップＳ１２）、右からはみ出しているか（ステップＳ１４）を評価する。そして、対象物体が適性範囲にある場合、ユーザフィードバック情報＝ＮＵＬＬ（またはＮＵＬＬを示すコード；例えば０）とし（ステップＳ７）、近すぎる場合、ユーザフィードバック情報＝近（または近を示すコード；例えば１）とし（ステップＳ９）、遠すぎる場合、ユーザフィードバック情報＝遠（または遠を示すコード；例えば２）とし（ステップＳ１１）、左からはみ出している場合、ユーザフィードバック情報＝左（または左を示すコード；例えば３）とし（ステップＳ１３）、右からはみ出している場合、ユーザフィードバック情報＝右（または右を示すコード；例えば４）とし（ステップＳ１５）、それ以外の場合、ユーザフィードバック情報＝不適とする（ステップＳ１６）。
【００３９】
図４に、この評価手順の一例を示す。また、図３（ａ）、図７（ａ）、図８（ａ）、図９（ａ）、図１０（ａ）にそれぞれ、対象物体が適性範囲にある場合のドットマトリックス例、近すぎる場合のドットマトリックス例、遠すぎる場合のドットマトリックス例、左からはみ出している場合のドットマトリックス例、右からはみ出している場合のドットマトリックス例を示す。
【００４０】
対象物体が適性範囲にあるか否かの判定には、種々の方法が考えられるが、この例では、対象物体の画像の面積ｓ、対象物体の画像中の至近点の距離ｄ、対象物体の画像形状における垂直線の長さｌを使用するものとする。対象物体の画像の面積ｓは、ドットマトリックスにおける対象物体に対応する画素の個数またはその全画素に占める割合により表すことができる。また、対象物体の画像中の至近点の距離ｄは、ドットマトリックスにおける対象物体に対応する画素の濃度の最大値の逆数または画素の取り得る最高濃度−該濃度の最大値で表すことができる。対象物体の画像形状のにおける垂直線の長さｌは、図５に示すようにドットマトリックスにおける対象物体の画像の外形において画素が垂直に連続する最大個数により表すことができる。
【００４１】
そして、面積ｓの下限値ｒと上限値α、画像中の至近点の距離ｄの下限値βと上限値δ、画像形状における垂直線の長さｌの上限値εを設定しておく。
もし、ｒ≦面積ｓ≦α かつ β≦至近点の距離ｄ≦δ かつ 垂直線の長さｌ≦εならば（ステップＳ２１）、範囲は適正とする（ステップＳ２２）。
【００４２】
もし、面積ｓ＞α かつ 至近点の距離ｄ＜βならば（ステップＳ２３）、近すぎるとする（ステップＳ２４）。
もし、面積ｓ＜ｒ かつ至近点の距離ｄ＞δならば（ステップＳ２５）、遠すぎるとする（ステップＳ２６）。
【００４３】
もし、垂直線の長さｌ＞ε かつ垂直線位置は右ならば（ステップＳ２７）、右からはみ出しているとする（ステップＳ２８）。
もし、垂直線の長さｌ＞ε かつ 垂直線位置は左ならば（ステップＳ２９）、左からはみ出しているとする（ステップＳ３０）。
【００４４】
それ以外の場合には、範囲が不適とする（ステップＳ３１）。
次に、評価結果反映部１６について詳しく説明する。
図６に、この処理手順の一例を示す。この処理では、評価結果反映部１６は、適性範囲評価部１５から評価結果として与えられるユーザフィードバック情報にもとづいて、表示画面上に表示されているカーソルの形状を変形させることにより、評価結果を通知する。
【００４５】
もし、ユーザフィードバック情報＝ＮＵＬＬならば（ステップＳ４１）、カーソルの形状は変更しない（ステップＳ４２）。この状態の一例を図３（ｂ）に示す。
【００４６】
もし、ユーザフィードバック情報＝近ならば（ステップＳ４３）、例えば図７（ａ）に示すようにカーソルを大きくさせる（ステップＳ４４）。
もし、ユーザフィードバック情報＝遠ならば（ステップＳ４５）、例えば図８（ａ）に示すようにカーソルを小さく薄くさせる（ステップＳ４６）。
【００４７】
もし、ユーザフィードバック情報＝左ならば（ステップＳ４７）、例えば図９（ａ）に示すようにカーソルの左端を変形させる（ステップＳ４８）。
もし、ユーザフィードバック情報＝右ならば（ステップＳ４９）、例えば図１０（ａ）に示すようにカーソルの左端を変形させる（ステップＳ５０）。
【００４８】
もし、ユーザフィードバック情報＝不適ならば、エラーメッセージを表示する（ステップＳ５１）。
図１１に、この処理手順の他の例を示す。この処理では、評価結果反映部１６は、適性範囲評価部１５から評価結果として与えられるユーザフィードバック情報にもとづいて、音声再生装置にて評価結果を音声で通知する。
【００４９】
もし、ユーザフィードバック情報＝ＮＵＬＬならば（ステップＳ６１）、なにも呈示しない、あるいはカーソルが移動する音を呈示する（ステップＳ６２）。
もし、ユーザフィードバック情報＝近ならば（ステップＳ６３）、例えば「近すぎるよ」などの音声を出力させる（ステップＳ６４）。
【００５０】
もし、ユーザフィードバック情報＝遠ならば（ステップＳ６５）、例えば「遠すぎるよ」などの音声を出力させる（ステップＳ６６）。
もし、ユーザフィードバック情報＝左ならば（ステップＳ６７）、例えば「左にはみ出しているよ」などの音声を出力させる（ステップＳ６８）。
【００５１】
もし、ユーザフィードバック情報＝右ならば（ステップＳ６９）、例えば「右にはみ出しているよ」などの音声を出力させる（ステップＳ７０）。
もし、ユーザフィードバック情報＝不適ならば、エラーメッセージを音声で呈示する（ステップＳ７１）。
【００５２】
なお、図６の処理と図１１の処理を併用し、画像と音声で通知するようにしても良い。あるいは、画像で通知する機能と音声で通知する機能を容易しておき、ユーザーが個別に機能のオン／オフを設定できるようにしても良い。
【００５３】
以上のように、本実施形態によれば、ユーザの手などの対象物体が適正範囲からはずれた場合、その旨を通知するので、ユーザは容易に３次元空間中での適正範囲を認識することができ、容易に適正範囲でジェスチャ等を行なって所望の指示等を入力することができる。
【００５４】
なお、図２の手順では、入力機能部分の処理とフィードバック機能部分の処理は独立的に実行するものであったが、手順を修正して、入力機能部分の処理に先だってフィードバック機能部分の処理を行ない、対象物体が適正範囲にあると判定された場合にのみ入力機能部分の処理を実行するようにしても良い。
【００５５】
また、以上の各機能は、ソフトウェアとしても実現可能である。また、上記した各手順あるいは手段をコンピュータに実行させるためのプログラムを記録した機械読取り可能な媒体として実施することもできる。
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【００５６】
【発明の効果】
本発明によれば、ユーザの手などの対象物体が適正範囲からはずれた場合、その旨を通知するので、ユーザは容易に３次元空間中での適正範囲を認識することができ、容易に適正範囲でジェスチャ等を行なって所望の指示等を入力することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るユーザインタフェース装置の構成例を示す図
【図２】本実施形態の処理手順の一例を示すフローチャート
【図３】対象物体が適性範囲にある場合のドットマトリクスの一例とその場合の画面表示例を示す図
【図４】対象物体が適性範囲にあるかどうかの評価手順の一例を示すフローチャート
【図５】対象物体の画像形状における垂直線の長さｌを説明するための図
【図６】評価結果反映手順の一例を示すフローチャート
【図７】対象物体が近すぎる場合のドットマトリクスの一例とその場合の画面表示例を示す図
【図８】対象物体が遠すぎる場合の適性範囲にあるドットマトリクスの一例とその場合の画面表示例を示す図
【図９】対象物体が左からはみ出している場合のドットマトリクスの一例とその場合の画面表示例を示す図
【図１０】対象物体が右からはみ出している場合のドットマトリクスの一例とその場合の画面表示例を示す図
【図１１】評価結果反映手順の他の例を示すフローチャート
【符号の説明】
１１…画像記憶部
１２…形状解釈部
１３…解釈規則記憶部
１４…呈示部
１５…適性範囲評価部
１６…評価結果反映部
【発明の属する技術分野】
本発明は、画像処理により入力を行なうユーザインタフェース装置及び画像処理の対象物体に対する操作範囲呈示方法に関する。
【０００２】
【従来の技術】
コンピュータの入力デバイスとして、マウスが圧倒的に使われている。しかし、マウスで操作できることは、カーソルの移動と、メニューの選択などであり、あくまでも２次元のポインティングデバイスとしての役目に過ぎない。マウスで扱えるのは、２次元の情報であり、３次元空間の中の物体など奥行きがあるものを選択することは難しい。また、アニメーションを作成する場合、キャラクタの動きをつけるのに、マウスのような入力デバイスでは、自然な動きをつけることが難しい。
【０００３】
３次元空間でのポインティングの難点を補うために、ボールを所望の方向に押したり回したりして６軸方向の情報を入力する装置や、いわゆるデータグローブやデータスーツ、サイバーグローブといった手などにはめて使用する装置が開発されている。しかし、これら装置は操作性の悪さ等のために、当初の期待程、普及していないのが現実である。
【０００４】
これに対し、最近、ユーザは特殊な装置を扱うことなく、手振りや身振りでユーザの意図する情報を入力できる直接指示型の入力装置が開発されている。
例えば、光を照射し、ユーザの手による反射光を受光し、これを画像化して特徴量抽出や形状認識処理を行ない、手の形状に応じた制御を実行したり、手の移動量に応じた分のカーソル移動や３次元モデルにおける視点の変更を行なったりするものがある。
【０００５】
あるいは、ユーザの手の動きをビデオ撮影し、ビデオ映像を解析することにより、上記と同様の処理を行なうものがある。
このような装置によって、ユーザは特殊な装置を装着などすることなく、簡易にジェスチャで入力を行なうことができる。
【０００６】
【発明が解決しようとする課題】
しかし、この種の装置では、物体検出のための受光装置は固定的に設置されるため、ユーザの手などを正常に検出可能な範囲が限定される。したがって、ユーザの手などの位置によっては、その形状や動きを正確に検出することができず、ユーザが所望する制御等を実現できない問題があった。また、ユーザは３次元空間中での上記検出可能範囲を直ちに認識することは困難であることから、経験によって上記検出可能範囲内での操作を体得せざるを得ず、ユーザに操作上の負担を強いる問題があった。
【０００７】
本発明は、上記事情を考慮してなされたもので、画像処理により入力を行なうユーザインタフェース装置において、ユーザの操作上の負担を軽減したより使い易いユーザインタフェース装置及び操作範囲呈示方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置において、少なくとも前記画像入力装置を基準とした遠近方向について、画像処理対象の物体が適正範囲にあるか否かを、前記距離に関する情報に基づき判定する手段と、適正範囲にないと判定された場合、その旨を通知するための所定の視覚的情報および聴覚的情報の少なくとも一方を呈示する手段とを備えたことを特徴とする。
【０００９】
本発明によれば、ユーザの手などの対象物体が適正範囲からはずれた場合、例えば表示装置や音声再生装置を用いてその旨を通知するので、ユーザは容易に３次元空間中での適正範囲を認識することができ、容易に適正範囲でジェスチャ等を行なって所望の指示等を入力することができる。
【００１０】
また、本発明は、所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報及び該画像処理対象の物体の形状に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置において、少なくとも前記画像入力装置を基準とした遠近方向及び左右方向について、画像処理対象の物体が適正範囲にあるか否かおよび適正範囲にない場合に画像処理対象の物体が適正範囲からどの方向にはずれているかを、前記距離に関する情報及び前記形状に関する情報に基づき判定する手段と、適正範囲にないと判定された場合、表示画面に表示するカーソルの表示状態を、適正範囲からどの方向にはずれているかに応じて定まる所定の状態に変化させて、画像処理対象の物体が適正範囲からどの方向にはずれているかを通知する手段とを備えたことを特徴とする。
【００１１】
本発明によれば、ユーザの手などの対象物体が適正範囲からはずれた場合、表示画面に表示するカーソルの表示状態を所定の状態に変化させて、画像処理対象の物体が適正範囲からどの方向にはずれているかを通知するので、ユーザは視覚的に適正範囲から対象物体がはずれている方向を認識し、容易かつ即座に対象物体の位置を修正することができ、この結果、容易に３次元空間中での適正範囲を認識することができ、容易に適正範囲でジェスチャ等を行なって所望の指示等を入力することができる。
【００１２】
好ましくは、画像処理対象の物体が適正範囲から遠方にはずれていると判定された場合、カーソルを小さくおよび／または薄く表示することを特徴とする。
好ましくは、画像処理対象の物体が適正範囲から近傍にずれていると判定された場合、カーソルを大きく表示することを特徴とする。
【００１３】
好ましくは、画像処理対象の物体が適正範囲から左方にはずれていると判定された場合、カーソルの左方の端を歪ませて表示することを特徴とする。
好ましくは、画像処理対象の物体が適正範囲から右方にはずれていると判定された場合、カーソルの右方の端を歪ませて表示することを特徴とする。
【００１４】
好ましくは、適正範囲にないと判定された場合、音声を用いて画像処理対象の物体が適正範囲からどの方向にはずれているかを通知する手段をさらに備えたことを特徴とする。
【００１５】
また、本発明は、所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報及び該画像処理対象の物体の形状に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置において、少なくとも前記画像入力装置を基準とした遠近方向及び左右方向について、画像処理対象の物体が適正範囲にあるか否かおよび適正範囲にない場合に画像処理対象の物体が適正範囲からどの方向にはずれているかを、前記距離に関する情報及び前記形状に関する情報に基づき判定する手段と、適正範囲にないと判定された場合、音声により画像処理対象の物体が適正範囲からどの方向にはずれているかを通知する手段とを備えたことを特徴とする。
【００１６】
本発明によれば、ユーザの手などの対象物体が適正範囲からはずれた場合、音声を用いて画像処理対象の物体が適正範囲からどの方向にはずれているかを通知するので、ユーザは聴覚的に適正範囲から対象物体がはずれている方向を認識し、容易かつ即座に対象物体の位置を修正することができ、この結果、容易に３次元空間中での適正範囲を認識することができ、容易に適正範囲でジェスチャ等を行なって所望の指示等を入力することができる。
【００１７】
また、本発明は、所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置における対象物体の操作範囲呈示方法であって、少なくとも前記画像入力装置を基準とした遠近方向について、画像処理対象の物体が適正範囲にあるか否かを、前記距離に関する情報に基づき判定し、適正範囲にないと判定された場合、その旨を通知するための所定の視覚的情報および聴覚的情報の少なくとも一方を呈示することを特徴とする。
【００１８】
また、本発明は、所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報及び該画像処理対象の物体の形状に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置における対象物体の操作範囲呈示方法であって、少なくとも前記画像入力装置を基準とした遠近方向及び左右方向について、画像処理対象の物体が適正範囲にあるか否かおよび適正範囲にない場合に画像処理対象の物体が適正範囲からどの方向にはずれているかを、前記距離に関する情報及び前記形状に関する情報に基づき判定し、適正範囲にないと判定された場合、表示画面に表示するカーソルの表示状態を、適正範囲からどの方向にはずれているかに応じて定まる所定の状態に変化させて、画像処理対象の物体が適正範囲からどの方向にはずれているかを通知することを特徴とする。
【００１９】
また、本発明は、所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報及び該画像処理対象の物体の形状に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置における対象物体の操作範囲呈示方法であって、少なくとも前記画像入力装置を基準とした遠近方向及び左右方向について、画像処理対象の物体が適正範囲にあるか否かおよび適正範囲にない場合に画像処理対象の物体が適正範囲からどの方向にはずれているかを、前記距離に関する情報及び前記形状に関する情報に基づき判定し、適正範囲にないと判定された場合、音声により画像処理対象の物体が適正範囲からどの方向にはずれているかを通知することを特徴とする。
【００２０】
なお、以上の各装置に係る発明は、方法に係る説明としても成立する。
また、上記の発明は、相当する手順あるいは手段をコンピュータに実行させるためのプログラムを記録した機械読取り可能な媒体としても成立する。
【００２１】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
図１は、本発明の一実施形態に係るユーザインタフェース装置の構成例を示す図である。また、図２に、本実施形態のユーザインタフェース装置の動作手順例を示す。
【００２２】
本ユーザインタフェース装置は、例えば、グラフィックユーザインタフェースを持つ計算機に適用すると好適なものである。すなわち、表示画面上にカーソル、スライダーバー、スクロールバー、プルダウンメニュー、ボックス、リンク、アプリケーションなどのアイコンが表示され、ユーザが入力デバイスによりカーソルの移動、アイコンの選択、アプリケーションの起動などの指示を入力するようなシステムであって、入力デバイスがマウスのような専用器具を必要とせずユーザの手などの物体を画像処理することにより入力を受けるものであるシステムに適用するものである。
【００２３】
本ユーザインタフェース装置は、入力機能部分と、フィードバック機能部分とに大別される。
入力機能部分は、公知のものを利用することが可能で、光を発光し、ユーザの手などの対象物体による反射光を画像として捉えることにより（あるいは背景の光の対象物体による反射光を画像として捉えることにより）、その形状、動き、距離情報などを検出し、その形状等に応じた所定の制御（例えば入出力装置に関する制御あるいはアプリケーションソフトの起動など）を行なうもので、ユーザは手のモーションなどにより意図する入力を行なうことができる機能を提供するものである。本実施形態では、画像記憶部１１、形状解釈部１２、解釈規則記憶部１３、呈示部１４からなるものとする。
【００２４】
フィードバック機能部分は、本発明に係る部分で、ユーザの手などの画像検出対象物体が適正な検出範囲にあるか否かを評価し、評価結果をユーザに呈示するものである。本実施形態では、画像記憶部１１、適性範囲評価部１５、評価結果反映部１６からなるものとする。
【００２５】
まず、両機能部分に共通の画像記憶部１１と図示しない画像入力装置について説明する。
画像記憶部１１は、図示しない画像入力装置から所定時間毎（例えば１／３０秒毎、１／６０秒毎、１／１００秒毎など）に出力される画像検出対象物体の２次元画像を逐次記憶する（ステップＳ１）。
【００２６】
図示しない画像入力装置は、例えば、ＬＥＤなどの発光素子により近赤外線などの光を対象物体に照射する発光部と、対象物体からの反射光を２次元アレイ状に配列された受光素子で受光する受光部とを有するものである。なお、通常、発光部が発光しているときに受光した光の量と、発光部が発光していないときに受光した光の量の差をとることによって、バックグラウンドの補正を行ない、発光部からの光の対象物体による反射光の成分だけを取り出す。なお、画像入力装置は、発光部を持たず、ＣＣＤカメラなどの受光部のみ持つものであっても良い。
【００２７】
例えば、画像入力装置の前にユーザの手を持ってきた場合、その手からの反射光画像が得られる。このとき、反射光画像の各画素値は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体面の向き、物体の距離、などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などはこのような性質を持つため、手を差し出した場合の反射光画面は、手の距離、手の傾き（部分的に距離が異なる）、などを反映する。したがって、これらの情報を抽出することによって、様々な情報の入力・生成が可能になる。
【００２８】
次に、入力機能部分について説明する。
形状解釈部１２は、画像記憶部１１に記憶された２次元画像を、Ｎ×Ｎ（例えば６４×６４）のドットマトリクスとして逐次取込む（ステップＳ２）。各画素は階調（例えば８ビット＝２５６階調）を持つものとする。図３（ａ）に、対象物体を手としたドットマトリクスの一例を示す。
【００２９】
次に、形状解釈部１２は、ドットマトリクスから所定の特徴量を抽出し、解釈規則記憶部１３に記憶された解釈規則をもとに、形状解釈する（ステップＳ３）。そして、適合する解釈規則に応じた指示を解釈結果として出力する（ステップＳ４，Ｓ５）。もし適合する解釈規則がなければ、必要に応じてドットマトリクスからの所定の特徴量の抽出の仕方を変更して（例えばドットマトリクスのしきい値処理を行なう場合、そのしきい値を変更する）、再度マッチング処理をやり直すようにしても良い。最終的に適合する解釈規則がなければ（ステップＳ４）、入力はなかったものとする。
【００３０】
解釈規則記憶部１３は、形状解釈のための解釈規則を記憶する。例えば、ユーザの手の形状などの特徴量に応じた指示内容が解釈規則として記憶されている。指示内容には、アイコンの選択、アプリケーションの起動、カーソル移動等がある。カーソル移動の場合には、手の移動方向・距離に応じたカーソルの移動量も指示される。例えば、人差し指のみを立てた状態をカーソル移動に対応させ（この場合、例えば人差し指の先端の移動距離・方向がカーソルの移動距離・方向に対応づけられる）、人差し指のみを立てた状態で、親指を動かした動作を、カーソルの位置するアイコンの選択に対応させ、人差し指のみを立てた状態で、手のひらを反転させる動作を、カーソルの位置するアイコンに対応するアプリケーションの起動に対応させるなどの規則が考えられる。
【００３１】
形状解釈部１２による形状解釈におけるドットマトリクスから特徴量の抽出の代表例は、距離情報の抽出と、領域抽出である。物体が一様で均質な散乱面を持つ物体であれば、反射光画像は距離画像とみなすことができる。したがって、受光部から見込んだ物体の立体形状を抽出することができる。物体が手であれば、手のひらの傾きなどが検出できる。手のひらの傾きは部分的な距離の違いとして現れる。また、手を移動させたときに画素値が変われば、距離が移動したと見ることができる。また、背景のように遠い物体からの反射光はほとんどないため、反射光画像からあるしきい値以上の領域を切り出すという処理で、物体の形状を簡単に切り出すことができる。例えば、物体が手であれば、そのシルエット像を切り出すのは極めて容易である。距離画像を用いる場合でも、一度しきい値によって領域抽出をしておいてから、その領域内の距離情報を用いる、という場合が多い。
【００３２】
ドットマトリクスから抽出した特徴量と解釈規則とのマッチングの手法には種々のものがある。例えば、画像からベクトルを抽出するベクトル化、形状モデルにもとづいた形状の変形状態の抽出、走査線上の距離値にもとづいたスペクトル解析などである。
【００３３】
もし適合する形状がなければ、例えばしきい値を変更するなどして、再度マッチング処理をやり直すようにしても良い。最終的に適合する形状がなければ、入力はなかったものと見なす。
【００３４】
呈示部１４は、形状解釈部１２による解釈結果がユーザに視覚的な情報の呈示を指示するものである場合、表示装置にて形状解釈部１２による解釈結果を反映した呈示を行なう。例えば、カーソルを移動させ、カーソルの形状を変更させ、あるいは必要に応じてメッセージを呈示する。なお、メッセージの呈示には、音声再生装置が使用または併用されることもある。
【００３５】
次に、フィードバック機能部分について説明する。
適性範囲評価部１５は、画像記憶部１１に記憶された２次元画像を、図３（ａ）のようなドットマトリックスとして取込み（ステップＳ２）、対象物体が適性範囲にあるか否かを評価し、評価結果に応じたフィードバック情報を生成する（ステップＳ６〜Ｓ１６）。
【００３６】
評価結果反映部１６は、フィードバック情報をもとに、評価結果を反映した呈示を表示装置および／または音声再生装置にて行なうよう指示を出す（ステップＳ１７）。
【００３７】
まず、適性範囲評価部１５について詳しく説明する。
対象物体が適性範囲にある場合には、例えば図３（ａ）のような適当なドットマトリックスが得られ、ユーザの手などによる所望の入力が可能である。しかし、対象物体が適性範囲にある場合、より具体的には、対象物体が受光部に対して近すぎる場合、遠すぎる場合、左からはみ出している場合、右からはみ出している場合には、ユーザが所望する指示等は入力できない。
【００３８】
そこで、適性範囲評価部１５は、ドットマトリックスを解析して、対象物体が適性範囲にあるか（ステップＳ６）、あるいは近すぎるか（ステップＳ８）、遠すぎるか（ステップＳ１０）、左からはみ出しているか（ステップＳ１２）、右からはみ出しているか（ステップＳ１４）を評価する。そして、対象物体が適性範囲にある場合、ユーザフィードバック情報＝ＮＵＬＬ（またはＮＵＬＬを示すコード；例えば０）とし（ステップＳ７）、近すぎる場合、ユーザフィードバック情報＝近（または近を示すコード；例えば１）とし（ステップＳ９）、遠すぎる場合、ユーザフィードバック情報＝遠（または遠を示すコード；例えば２）とし（ステップＳ１１）、左からはみ出している場合、ユーザフィードバック情報＝左（または左を示すコード；例えば３）とし（ステップＳ１３）、右からはみ出している場合、ユーザフィードバック情報＝右（または右を示すコード；例えば４）とし（ステップＳ１５）、それ以外の場合、ユーザフィードバック情報＝不適とする（ステップＳ１６）。
【００３９】
図４に、この評価手順の一例を示す。また、図３（ａ）、図７（ａ）、図８（ａ）、図９（ａ）、図１０（ａ）にそれぞれ、対象物体が適性範囲にある場合のドットマトリックス例、近すぎる場合のドットマトリックス例、遠すぎる場合のドットマトリックス例、左からはみ出している場合のドットマトリックス例、右からはみ出している場合のドットマトリックス例を示す。
【００４０】
対象物体が適性範囲にあるか否かの判定には、種々の方法が考えられるが、この例では、対象物体の画像の面積ｓ、対象物体の画像中の至近点の距離ｄ、対象物体の画像形状における垂直線の長さｌを使用するものとする。対象物体の画像の面積ｓは、ドットマトリックスにおける対象物体に対応する画素の個数またはその全画素に占める割合により表すことができる。また、対象物体の画像中の至近点の距離ｄは、ドットマトリックスにおける対象物体に対応する画素の濃度の最大値の逆数または画素の取り得る最高濃度−該濃度の最大値で表すことができる。対象物体の画像形状のにおける垂直線の長さｌは、図５に示すようにドットマトリックスにおける対象物体の画像の外形において画素が垂直に連続する最大個数により表すことができる。
【００４１】
そして、面積ｓの下限値ｒと上限値α、画像中の至近点の距離ｄの下限値βと上限値δ、画像形状における垂直線の長さｌの上限値εを設定しておく。
もし、ｒ≦面積ｓ≦α かつ β≦至近点の距離ｄ≦δ かつ 垂直線の長さｌ≦εならば（ステップＳ２１）、範囲は適正とする（ステップＳ２２）。
【００４２】
もし、面積ｓ＞α かつ 至近点の距離ｄ＜βならば（ステップＳ２３）、近すぎるとする（ステップＳ２４）。
もし、面積ｓ＜ｒ かつ至近点の距離ｄ＞δならば（ステップＳ２５）、遠すぎるとする（ステップＳ２６）。
【００４３】
もし、垂直線の長さｌ＞ε かつ垂直線位置は右ならば（ステップＳ２７）、右からはみ出しているとする（ステップＳ２８）。
もし、垂直線の長さｌ＞ε かつ 垂直線位置は左ならば（ステップＳ２９）、左からはみ出しているとする（ステップＳ３０）。
【００４４】
それ以外の場合には、範囲が不適とする（ステップＳ３１）。
次に、評価結果反映部１６について詳しく説明する。
図６に、この処理手順の一例を示す。この処理では、評価結果反映部１６は、適性範囲評価部１５から評価結果として与えられるユーザフィードバック情報にもとづいて、表示画面上に表示されているカーソルの形状を変形させることにより、評価結果を通知する。
【００４５】
もし、ユーザフィードバック情報＝ＮＵＬＬならば（ステップＳ４１）、カーソルの形状は変更しない（ステップＳ４２）。この状態の一例を図３（ｂ）に示す。
【００４６】
もし、ユーザフィードバック情報＝近ならば（ステップＳ４３）、例えば図７（ａ）に示すようにカーソルを大きくさせる（ステップＳ４４）。
もし、ユーザフィードバック情報＝遠ならば（ステップＳ４５）、例えば図８（ａ）に示すようにカーソルを小さく薄くさせる（ステップＳ４６）。
【００４７】
もし、ユーザフィードバック情報＝左ならば（ステップＳ４７）、例えば図９（ａ）に示すようにカーソルの左端を変形させる（ステップＳ４８）。
もし、ユーザフィードバック情報＝右ならば（ステップＳ４９）、例えば図１０（ａ）に示すようにカーソルの左端を変形させる（ステップＳ５０）。
【００４８】
もし、ユーザフィードバック情報＝不適ならば、エラーメッセージを表示する（ステップＳ５１）。
図１１に、この処理手順の他の例を示す。この処理では、評価結果反映部１６は、適性範囲評価部１５から評価結果として与えられるユーザフィードバック情報にもとづいて、音声再生装置にて評価結果を音声で通知する。
【００４９】
もし、ユーザフィードバック情報＝ＮＵＬＬならば（ステップＳ６１）、なにも呈示しない、あるいはカーソルが移動する音を呈示する（ステップＳ６２）。
もし、ユーザフィードバック情報＝近ならば（ステップＳ６３）、例えば「近すぎるよ」などの音声を出力させる（ステップＳ６４）。
【００５０】
もし、ユーザフィードバック情報＝遠ならば（ステップＳ６５）、例えば「遠すぎるよ」などの音声を出力させる（ステップＳ６６）。
もし、ユーザフィードバック情報＝左ならば（ステップＳ６７）、例えば「左にはみ出しているよ」などの音声を出力させる（ステップＳ６８）。
【００５１】
もし、ユーザフィードバック情報＝右ならば（ステップＳ６９）、例えば「右にはみ出しているよ」などの音声を出力させる（ステップＳ７０）。
もし、ユーザフィードバック情報＝不適ならば、エラーメッセージを音声で呈示する（ステップＳ７１）。
【００５２】
なお、図６の処理と図１１の処理を併用し、画像と音声で通知するようにしても良い。あるいは、画像で通知する機能と音声で通知する機能を容易しておき、ユーザーが個別に機能のオン／オフを設定できるようにしても良い。
【００５３】
以上のように、本実施形態によれば、ユーザの手などの対象物体が適正範囲からはずれた場合、その旨を通知するので、ユーザは容易に３次元空間中での適正範囲を認識することができ、容易に適正範囲でジェスチャ等を行なって所望の指示等を入力することができる。
【００５４】
なお、図２の手順では、入力機能部分の処理とフィードバック機能部分の処理は独立的に実行するものであったが、手順を修正して、入力機能部分の処理に先だってフィードバック機能部分の処理を行ない、対象物体が適正範囲にあると判定された場合にのみ入力機能部分の処理を実行するようにしても良い。
【００５５】
また、以上の各機能は、ソフトウェアとしても実現可能である。また、上記した各手順あるいは手段をコンピュータに実行させるためのプログラムを記録した機械読取り可能な媒体として実施することもできる。
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【００５６】
【発明の効果】
本発明によれば、ユーザの手などの対象物体が適正範囲からはずれた場合、その旨を通知するので、ユーザは容易に３次元空間中での適正範囲を認識することができ、容易に適正範囲でジェスチャ等を行なって所望の指示等を入力することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るユーザインタフェース装置の構成例を示す図
【図２】本実施形態の処理手順の一例を示すフローチャート
【図３】対象物体が適性範囲にある場合のドットマトリクスの一例とその場合の画面表示例を示す図
【図４】対象物体が適性範囲にあるかどうかの評価手順の一例を示すフローチャート
【図５】対象物体の画像形状における垂直線の長さｌを説明するための図
【図６】評価結果反映手順の一例を示すフローチャート
【図７】対象物体が近すぎる場合のドットマトリクスの一例とその場合の画面表示例を示す図
【図８】対象物体が遠すぎる場合の適性範囲にあるドットマトリクスの一例とその場合の画面表示例を示す図
【図９】対象物体が左からはみ出している場合のドットマトリクスの一例とその場合の画面表示例を示す図
【図１０】対象物体が右からはみ出している場合のドットマトリクスの一例とその場合の画面表示例を示す図
【図１１】評価結果反映手順の他の例を示すフローチャート
【符号の説明】
１１…画像記憶部
１２…形状解釈部
１３…解釈規則記憶部
１４…呈示部
１５…適性範囲評価部
１６…評価結果反映部
Claims (9)
- 所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報及び該画像処理対象の物体の形状に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置において、
少なくとも前記画像入力装置を基準とした遠近方向及び左右方向について、画像処理対象の物体が適正範囲にあるか否かおよび適正範囲にない場合に画像処理対象の物体が適正範囲からどの方向にはずれているかを、前記距離に関する情報及び前記形状に関する情報に基づき判定する手段と、
適正範囲にないと判定された場合、表示画面に表示するカーソルの表示状態を、適正範囲からどの方向にはずれているかに応じて定まる所定の状態に変化させて、画像処理対象の物体が適正範囲からどの方向にはずれているかを通知する手段とを備えたことを特徴とするユーザインタフェース装置。 - 画像処理対象の物体が適正範囲から遠方にはずれていると判定された場合、カーソルを小さくおよび／または薄く表示することを特徴とする請求項１に記載のユーザインタフェース装置。
- 画像処理対象の物体が適正範囲から近傍にずれていると判定された場合、カーソルを大きく表示することを特徴とする請求項１に記載のユーザインタフェース装置。
- 画像処理対象の物体が適正範囲から左方にはずれていると判定された場合、カーソルの左方の端を歪ませて表示することを特徴とする請求項１に記載のユーザインタフェース装置。
- 画像処理対象の物体が適正範囲から右方にはずれていると判定された場合、カーソルの右方の端を歪ませて表示することを特徴とする請求項１に記載のユーザインタフェース装置。
- 画像処理対象の物体が適正範囲にないと判定された場合、音声を用いて画像処理対象の物体が適正範囲からどの方向にはずれているかを通知する手段をさらに備えたことを特徴とする請求項１ないし５のいずれか１項に記載のユーザインタフェース装置。
- 所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報及び該画像処理対象の物体の形状に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置において、
少なくとも前記画像入力装置を基準とした遠近方向及び左右方向について、画像処理対象の物体が適正範囲にあるか否かおよび適正範囲にない場合に画像処理対象の物体が適正範囲からどの方向にはずれているかを、前記距離に関する情報及び前記形状に関する情報に基づき判定する手段と、
適正範囲にないと判定された場合、音声により画像処理対象の物体が適正範囲からどの方向にはずれているかを通知する手段とを備えたことを特徴とするユーザインタフェース装置。 - 所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報及び該画像処理対象の物体の形状に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置における対象物体の操作範囲呈示方法であって、
少なくとも前記画像入力装置を基準とした遠近方向及び左右方向について、画像処理対象の物体が適正範囲にあるか否かおよび適正範囲にない場合に画像処理対象の物体が適正範囲からどの方向にはずれているかを、前記距離に関する情報及び前記形状に関する情報に基づき判定し、
適正範囲にないと判定された場合、表示画面に表示するカーソルの表示状態を、適正範囲からどの方向にはずれているかに応じて定まる所定の状態に変化させて、画像処理対象の物体が適正範囲からどの方向にはずれているかを通知することを特徴とする操作範囲呈示方法。 - 所定の画像入力装置を基準とした三次元空間に画像入力のための適正範囲が存在し、該画像入力装置により該適正範囲にある画像処理対象の物体に光を照射しその反射光を受光することによって画像入力し、該入力画像をもとに該画像入力装置から該画像処理対象の物体までの距離に関する情報及び該画像処理対象の物体の形状に関する情報の取得を含む画像処理を行ない、該画像処理の結果に基づいて特定される所定の入力がなされたものと認識するユーザインタフェース装置における対象物体の操作範囲呈示方法であって、
少なくとも前記画像入力装置を基準とした遠近方向及び左右方向について、画像処理対象の物体が適正範囲にあるか否かおよび適正範囲にない場合に画像処理対象の物体が適正範囲からどの方向にはずれているかを、前記距離に関する情報及び前記形状に関する情報に基づき判定し、
適正範囲にないと判定された場合、音声により画像処理対象の物体が適正範囲からどの方向にはずれているかを通知することを特徴とする操作範囲呈示方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00977397A JP3819096B2 (ja) | 1997-01-22 | 1997-01-22 | ユーザインタフェース装置及び操作範囲呈示方法 |
| US09/009,696 US6266061B1 (en) | 1997-01-22 | 1998-01-20 | User interface apparatus and operation range presenting method |
| US09/860,496 US20010024213A1 (en) | 1997-01-22 | 2001-05-21 | User interface apparatus and operation range presenting method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00977397A JP3819096B2 (ja) | 1997-01-22 | 1997-01-22 | ユーザインタフェース装置及び操作範囲呈示方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005268978A Division JP2006018856A (ja) | 2005-09-15 | 2005-09-15 | ユーザインタフェース装置及び操作範囲呈示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10207619A JPH10207619A (ja) | 1998-08-07 |
| JP3819096B2 true JP3819096B2 (ja) | 2006-09-06 |
Family
ID=11729580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00977397A Expired - Fee Related JP3819096B2 (ja) | 1997-01-22 | 1997-01-22 | ユーザインタフェース装置及び操作範囲呈示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3819096B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8464160B2 (en) | 2008-09-29 | 2013-06-11 | Panasonic Corporation | User interface device, user interface method, and recording medium |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003070768A (ja) * | 2001-08-31 | 2003-03-11 | Itoki Crebio Corp | Ｖｄｔ作業者の姿勢検出システム |
| US9128519B1 (en) | 2005-04-15 | 2015-09-08 | Intellectual Ventures Holding 67 Llc | Method and system for state-based control of objects |
| JP2008040576A (ja) * | 2006-08-02 | 2008-02-21 | Sharp Corp | 画像処理システム及び該システムを備えた映像表示装置 |
| JP4789885B2 (ja) * | 2007-07-26 | 2011-10-12 | 三菱電機株式会社 | インタフェース装置、インタフェース方法及びインタフェースプログラム |
| AU2008299883B2 (en) | 2007-09-14 | 2012-03-15 | Facebook, Inc. | Processing of gesture-based user interactions |
| US8159682B2 (en) | 2007-11-12 | 2012-04-17 | Intellectual Ventures Holding 67 Llc | Lens system |
| US8259163B2 (en) | 2008-03-07 | 2012-09-04 | Intellectual Ventures Holding 67 Llc | Display with built in 3D sensing |
| JP4605243B2 (ja) * | 2008-04-18 | 2011-01-05 | ソニー株式会社 | 画像表示装置および画像表示装置の駆動方法 |
| JP5028676B2 (ja) * | 2008-09-12 | 2012-09-19 | ブリテッシュ ヴァージン アイランズ シューウィー グループ リミテッド | グラフィカルユーザーインターフェースの操作／制御装置 |
| US9898675B2 (en) * | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
| JP5491217B2 (ja) | 2010-01-27 | 2014-05-14 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体、ゲームシステム |
| JP5148660B2 (ja) * | 2010-06-11 | 2013-02-20 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
| JP5213913B2 (ja) * | 2010-06-11 | 2013-06-19 | 株式会社バンダイナムコゲームス | プログラム及び画像生成システム |
| US8520901B2 (en) | 2010-06-11 | 2013-08-27 | Namco Bandai Games Inc. | Image generation system, image generation method, and information storage medium |
| JP5779923B2 (ja) * | 2011-03-17 | 2015-09-16 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
| JP5900161B2 (ja) * | 2012-05-29 | 2016-04-06 | ソニー株式会社 | 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体 |
| JP6237000B2 (ja) * | 2013-08-29 | 2017-11-29 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
| JP2017102598A (ja) * | 2015-11-30 | 2017-06-08 | 富士通株式会社 | 認識装置、認識方法および認識プログラム |
| JP6730552B2 (ja) * | 2018-05-14 | 2020-07-29 | 株式会社ユピテル | 電子情報システム及びそのプログラム |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5724592B2 (ja) * | 1974-07-31 | 1982-05-25 | ||
| JPS56130608A (en) * | 1980-03-19 | 1981-10-13 | Ricoh Co Ltd | Range finding system |
| JP2500808Y2 (ja) * | 1985-10-19 | 1996-06-12 | 富士写真フイルム株式会社 | 電子スチルカメラ |
| JPS62190235U (ja) * | 1986-05-26 | 1987-12-03 | ||
| JPH03177918A (ja) * | 1989-12-07 | 1991-08-01 | Mitsubishi Electric Corp | カーソル制御方式 |
| JPH0757103A (ja) * | 1993-08-23 | 1995-03-03 | Toshiba Corp | 情報処理装置 |
| JPH07160412A (ja) * | 1993-12-10 | 1995-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 指示位置検出方法 |
| JP3544739B2 (ja) * | 1994-04-13 | 2004-07-21 | 株式会社東芝 | 情報入力装置 |
| JPH0844490A (ja) * | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
| JPH08240407A (ja) * | 1995-03-02 | 1996-09-17 | Matsushita Electric Ind Co Ltd | 位置検出入力装置 |
| JPH08328735A (ja) * | 1995-06-02 | 1996-12-13 | Takenaka Komuten Co Ltd | ハンドポインティング入力装置 |
-
1997
- 1997-01-22 JP JP00977397A patent/JP3819096B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8464160B2 (en) | 2008-09-29 | 2013-06-11 | Panasonic Corporation | User interface device, user interface method, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10207619A (ja) | 1998-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3819096B2 (ja) | ユーザインタフェース装置及び操作範囲呈示方法 | |
| US6266061B1 (en) | User interface apparatus and operation range presenting method | |
| US12118683B2 (en) | Content creation in augmented reality environment | |
| JP3857328B2 (ja) | ディスプレイ編集システム | |
| CN102812420B (zh) | 立体显示装置和立体成像装置、用于上述装置的优势眼判定方法 | |
| US20090153468A1 (en) | Virtual Interface System | |
| US20070018966A1 (en) | Predicted object location | |
| JP4688739B2 (ja) | 情報表示装置 | |
| US10372229B2 (en) | Information processing system, information processing apparatus, control method, and program | |
| US20010030668A1 (en) | Method and system for interacting with a display | |
| EP3271838B1 (en) | Image management device, image management method, image management program, and presentation system | |
| CN108139813A (zh) | 视线输入装置、视线输入方法以及视线输入程序 | |
| US8113953B2 (en) | Image-linked sound output method and device | |
| EP0576644A1 (en) | Apparatus and methods for automerging images | |
| JP5595655B2 (ja) | 画像処理装置および画像処理方法 | |
| KR101483054B1 (ko) | 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템 및 방법 | |
| CN110502117B (zh) | 电子终端中的截图方法以及电子终端 | |
| Laielli et al. | Labelar: a spatial guidance interface for fast computer vision image collection | |
| JP6325659B2 (ja) | 操作画面表示装置、操作画面表示方法およびプログラム | |
| KR100412932B1 (ko) | 모션 게임 장치의 모션 데이터 디스플레이 방법 및 평가방법 | |
| US10402068B1 (en) | Film strip interface for interactive content | |
| CN111258410A (zh) | 一种人机交互设备 | |
| JP4979895B2 (ja) | ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ | |
| JP6892498B2 (ja) | 多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラム | |
| JP2006018856A (ja) | ユーザインタフェース装置及び操作範囲呈示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040524 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050915 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060614 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |