JPH10207619A - ユーザインタフェース装置及び操作範囲呈示方法 - Google Patents
ユーザインタフェース装置及び操作範囲呈示方法Info
- Publication number
- JPH10207619A JPH10207619A JP9009773A JP977397A JPH10207619A JP H10207619 A JPH10207619 A JP H10207619A JP 9009773 A JP9009773 A JP 9009773A JP 977397 A JP977397 A JP 977397A JP H10207619 A JPH10207619 A JP H10207619A
- Authority
- JP
- Japan
- Prior art keywords
- image
- range
- processed
- appropriate range
- user interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 画像処理により入力を行なうユーザインタフ
ェース装置において、ユーザの操作上の負担を軽減した
より使い易いユーザインタフェース装置及び操作範囲呈
示方法を提供すること。 【解決手段】 画像処理により入力を行なうユーザイン
タフェース装置において、画像処理対象の物体が画像処
理可能な適正範囲にあるか否かを判定する手段と、適正
範囲にないと判定された場合、所定の視覚的情報および
聴覚的情報の少なくとも一方を呈示する手段とを備えた
ことを特徴とする。例えば、適正範囲から遠方にはずれ
ている場合、カーソルを小さくおよび／または薄く表示
し、近傍にずれている場合、カーソルを大きく表示し、
左方にはずれている場合、カーソルの左方の端を歪ませ
て表示し、右方にはずれていると判定された場合、カー
ソルの右方の端を歪ませて表示する。
ェース装置において、ユーザの操作上の負担を軽減した
より使い易いユーザインタフェース装置及び操作範囲呈
示方法を提供すること。 【解決手段】 画像処理により入力を行なうユーザイン
タフェース装置において、画像処理対象の物体が画像処
理可能な適正範囲にあるか否かを判定する手段と、適正
範囲にないと判定された場合、所定の視覚的情報および
聴覚的情報の少なくとも一方を呈示する手段とを備えた
ことを特徴とする。例えば、適正範囲から遠方にはずれ
ている場合、カーソルを小さくおよび／または薄く表示
し、近傍にずれている場合、カーソルを大きく表示し、
左方にはずれている場合、カーソルの左方の端を歪ませ
て表示し、右方にはずれていると判定された場合、カー
ソルの右方の端を歪ませて表示する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理により入
力を行なうユーザインタフェース装置及び画像処理の対
象物体に対する操作範囲呈示方法に関する。
力を行なうユーザインタフェース装置及び画像処理の対
象物体に対する操作範囲呈示方法に関する。
【０００２】
【従来の技術】コンピュータの入力デバイスとして、マ
ウスが圧倒的に使われている。しかし、マウスで操作で
きることは、カーソルの移動と、メニューの選択などで
あり、あくまでも２次元のポインティングデバイスとし
ての役目に過ぎない。マウスで扱えるのは、２次元の情
報であり、３次元空間の中の物体など奥行きがあるもの
を選択することは難しい。また、アニメーションを作成
する場合、キャラクタの動きをつけるのに、マウスのよ
うな入力デバイスでは、自然な動きをつけることが難し
い。
ウスが圧倒的に使われている。しかし、マウスで操作で
きることは、カーソルの移動と、メニューの選択などで
あり、あくまでも２次元のポインティングデバイスとし
ての役目に過ぎない。マウスで扱えるのは、２次元の情
報であり、３次元空間の中の物体など奥行きがあるもの
を選択することは難しい。また、アニメーションを作成
する場合、キャラクタの動きをつけるのに、マウスのよ
うな入力デバイスでは、自然な動きをつけることが難し
い。
【０００３】３次元空間でのポインティングの難点を補
うために、ボールを所望の方向に押したり回したりして
６軸方向の情報を入力する装置や、いわゆるデータグロ
ーブやデータスーツ、サイバーグローブといった手など
にはめて使用する装置が開発されている。しかし、これ
ら装置は操作性の悪さ等のために、当初の期待程、普及
していないのが現実である。
うために、ボールを所望の方向に押したり回したりして
６軸方向の情報を入力する装置や、いわゆるデータグロ
ーブやデータスーツ、サイバーグローブといった手など
にはめて使用する装置が開発されている。しかし、これ
ら装置は操作性の悪さ等のために、当初の期待程、普及
していないのが現実である。
【０００４】これに対し、最近、ユーザは特殊な装置を
扱うことなく、手振りや身振りでユーザの意図する情報
を入力できる直接指示型の入力装置が開発されている。
例えば、光を照射し、ユーザの手による反射光を受光
し、これを画像化して特徴量抽出や形状認識処理を行な
い、手の形状に応じた制御を実行したり、手の移動量に
応じた分のカーソル移動や３次元モデルにおける視点の
変更を行なったりするものがある。
扱うことなく、手振りや身振りでユーザの意図する情報
を入力できる直接指示型の入力装置が開発されている。
例えば、光を照射し、ユーザの手による反射光を受光
し、これを画像化して特徴量抽出や形状認識処理を行な
い、手の形状に応じた制御を実行したり、手の移動量に
応じた分のカーソル移動や３次元モデルにおける視点の
変更を行なったりするものがある。
【０００５】あるいは、ユーザの手の動きをビデオ撮影
し、ビデオ映像を解析することにより、上記と同様の処
理を行なうものがある。このような装置によって、ユー
ザは特殊な装置を装着などすることなく、簡易にジェス
チャで入力を行なうことができる。
し、ビデオ映像を解析することにより、上記と同様の処
理を行なうものがある。このような装置によって、ユー
ザは特殊な装置を装着などすることなく、簡易にジェス
チャで入力を行なうことができる。
【０００６】
【発明が解決しようとする課題】しかし、この種の装置
では、物体検出のための受光装置は固定的に設置される
ため、ユーザの手などを正常に検出可能な範囲が限定さ
れる。したがって、ユーザの手などの位置によっては、
その形状や動きを正確に検出することができず、ユーザ
が所望する制御等を実現できない問題があった。また、
ユーザは３次元空間中での上記検出可能範囲を直ちに認
識することは困難であることから、経験によって上記検
出可能範囲内での操作を体得せざるを得ず、ユーザに操
作上の負担を強いる問題があった。
では、物体検出のための受光装置は固定的に設置される
ため、ユーザの手などを正常に検出可能な範囲が限定さ
れる。したがって、ユーザの手などの位置によっては、
その形状や動きを正確に検出することができず、ユーザ
が所望する制御等を実現できない問題があった。また、
ユーザは３次元空間中での上記検出可能範囲を直ちに認
識することは困難であることから、経験によって上記検
出可能範囲内での操作を体得せざるを得ず、ユーザに操
作上の負担を強いる問題があった。
【０００７】本発明は、上記事情を考慮してなされたも
ので、画像処理により入力を行なうユーザインタフェー
ス装置において、ユーザの操作上の負担を軽減したより
使い易いユーザインタフェース装置及び操作範囲呈示方
法を提供することを目的とする。
ので、画像処理により入力を行なうユーザインタフェー
ス装置において、ユーザの操作上の負担を軽減したより
使い易いユーザインタフェース装置及び操作範囲呈示方
法を提供することを目的とする。
【０００８】
【課題を解決するための手段】本発明は、画像処理によ
り入力を行なうユーザインタフェース装置において、画
像処理対象の物体が画像処理可能な適正範囲にあるか否
かを判定する手段と、適正範囲にないと判定された場
合、所定の視覚的情報および聴覚的情報の少なくとも一
方を呈示する手段とを備えたことを特徴とする。
り入力を行なうユーザインタフェース装置において、画
像処理対象の物体が画像処理可能な適正範囲にあるか否
かを判定する手段と、適正範囲にないと判定された場
合、所定の視覚的情報および聴覚的情報の少なくとも一
方を呈示する手段とを備えたことを特徴とする。
【０００９】本発明によれば、ユーザの手などの対象物
体が適正範囲からはずれた場合、例えば表示装置や音声
再生装置を用いてその旨を通知するので、ユーザは容易
に３次元空間中での適正範囲を認識することができ、容
易に適正範囲でジェスチャ等を行なって所望の指示等を
入力することができる。
体が適正範囲からはずれた場合、例えば表示装置や音声
再生装置を用いてその旨を通知するので、ユーザは容易
に３次元空間中での適正範囲を認識することができ、容
易に適正範囲でジェスチャ等を行なって所望の指示等を
入力することができる。
【００１０】また、本発明は、画像処理により入力を行
なうユーザインタフェース装置において、画像処理対象
の物体が画像処理可能な適正範囲にあるか否かおよび適
正範囲にない場合に画像処理対象の物体が適正範囲から
どの方向にはずれているかを判定する手段と、適正範囲
にないと判定された場合、表示画面に表示するカーソル
の表示状態を所定の状態に変化させて、画像処理対象の
物体が適正範囲からどの方向にはずれているかを通知す
る手段とを備えたことを特徴とする。
なうユーザインタフェース装置において、画像処理対象
の物体が画像処理可能な適正範囲にあるか否かおよび適
正範囲にない場合に画像処理対象の物体が適正範囲から
どの方向にはずれているかを判定する手段と、適正範囲
にないと判定された場合、表示画面に表示するカーソル
の表示状態を所定の状態に変化させて、画像処理対象の
物体が適正範囲からどの方向にはずれているかを通知す
る手段とを備えたことを特徴とする。
【００１１】本発明によれば、ユーザの手などの対象物
体が適正範囲からはずれた場合、表示画面に表示するカ
ーソルの表示状態を所定の状態に変化させて、画像処理
対象の物体が適正範囲からどの方向にはずれているかを
通知するので、ユーザは視覚的に適正範囲から対象物体
がはずれている方向を認識し、容易かつ即座に対象物体
の位置を修正することができ、この結果、容易に３次元
空間中での適正範囲を認識することができ、容易に適正
範囲でジェスチャ等を行なって所望の指示等を入力する
ことができる。
体が適正範囲からはずれた場合、表示画面に表示するカ
ーソルの表示状態を所定の状態に変化させて、画像処理
対象の物体が適正範囲からどの方向にはずれているかを
通知するので、ユーザは視覚的に適正範囲から対象物体
がはずれている方向を認識し、容易かつ即座に対象物体
の位置を修正することができ、この結果、容易に３次元
空間中での適正範囲を認識することができ、容易に適正
範囲でジェスチャ等を行なって所望の指示等を入力する
ことができる。
【００１２】好ましくは、画像処理対象の物体が適正範
囲から遠方にはずれていると判定された場合、カーソル
を小さくおよび／または薄く表示することを特徴とす
る。好ましくは、画像処理対象の物体が適正範囲から近
傍にずれていると判定された場合、カーソルを大きく表
示することを特徴とする。
囲から遠方にはずれていると判定された場合、カーソル
を小さくおよび／または薄く表示することを特徴とす
る。好ましくは、画像処理対象の物体が適正範囲から近
傍にずれていると判定された場合、カーソルを大きく表
示することを特徴とする。
【００１３】好ましくは、画像処理対象の物体が適正範
囲から左方にはずれていると判定された場合、カーソル
の左方の端を歪ませて表示することを特徴とする。好ま
しくは、画像処理対象の物体が適正範囲から右方にはず
れていると判定された場合、カーソルの右方の端を歪ま
せて表示することを特徴とする。
囲から左方にはずれていると判定された場合、カーソル
の左方の端を歪ませて表示することを特徴とする。好ま
しくは、画像処理対象の物体が適正範囲から右方にはず
れていると判定された場合、カーソルの右方の端を歪ま
せて表示することを特徴とする。
【００１４】好ましくは、適正範囲にないと判定された
場合、音声を用いて画像処理対象の物体が適正範囲から
どの方向にはずれているかを通知する手段をさらに備え
たことを特徴とする。
場合、音声を用いて画像処理対象の物体が適正範囲から
どの方向にはずれているかを通知する手段をさらに備え
たことを特徴とする。
【００１５】また、本発明は、画像処理により入力を行
なうユーザインタフェース装置において、画像処理対象
の物体が画像処理可能な適正範囲にあるか否かおよび適
正範囲にない場合に画像処理対象の物体が適正範囲から
どの方向にはずれているかを判定する手段と、適正範囲
にないと判定された場合、音声により画像処理対象の物
体が適正範囲からどの方向にはずれているかを通知する
手段とを備えたことを特徴とする。
なうユーザインタフェース装置において、画像処理対象
の物体が画像処理可能な適正範囲にあるか否かおよび適
正範囲にない場合に画像処理対象の物体が適正範囲から
どの方向にはずれているかを判定する手段と、適正範囲
にないと判定された場合、音声により画像処理対象の物
体が適正範囲からどの方向にはずれているかを通知する
手段とを備えたことを特徴とする。
【００１６】本発明によれば、ユーザの手などの対象物
体が適正範囲からはずれた場合、音声を用いて画像処理
対象の物体が適正範囲からどの方向にはずれているかを
通知するので、ユーザは聴覚的に適正範囲から対象物体
がはずれている方向を認識し、容易かつ即座に対象物体
の位置を修正することができ、この結果、容易に３次元
空間中での適正範囲を認識することができ、容易に適正
範囲でジェスチャ等を行なって所望の指示等を入力する
ことができる。
体が適正範囲からはずれた場合、音声を用いて画像処理
対象の物体が適正範囲からどの方向にはずれているかを
通知するので、ユーザは聴覚的に適正範囲から対象物体
がはずれている方向を認識し、容易かつ即座に対象物体
の位置を修正することができ、この結果、容易に３次元
空間中での適正範囲を認識することができ、容易に適正
範囲でジェスチャ等を行なって所望の指示等を入力する
ことができる。
【００１７】また、本発明は、対象物体の画像処理によ
り入力を行なうユーザインタフェース装置における対象
物体の操作範囲呈示方法であって、画像処理対象の物体
が画像処理可能な適正範囲にあるか否かを判定し、適正
範囲にないと判定された場合、所定の視覚的情報および
聴覚的情報の少なくとも一方を呈示することを特徴とす
る。
り入力を行なうユーザインタフェース装置における対象
物体の操作範囲呈示方法であって、画像処理対象の物体
が画像処理可能な適正範囲にあるか否かを判定し、適正
範囲にないと判定された場合、所定の視覚的情報および
聴覚的情報の少なくとも一方を呈示することを特徴とす
る。
【００１８】また、本発明は、対象物体の画像処理によ
り入力を行なうユーザインタフェース装置における対象
物体の操作範囲呈示方法であって、画像処理対象の物体
が画像処理可能な適正範囲にあるか否かおよび適正範囲
にない場合に画像処理対象の物体が適正範囲からどの方
向にはずれているかを判定し、適正範囲にないと判定さ
れた場合、表示画面に表示するカーソルの表示状態を所
定の状態に変化させて、画像処理対象の物体が適正範囲
からどの方向にはずれているかを通知することを特徴と
する。
り入力を行なうユーザインタフェース装置における対象
物体の操作範囲呈示方法であって、画像処理対象の物体
が画像処理可能な適正範囲にあるか否かおよび適正範囲
にない場合に画像処理対象の物体が適正範囲からどの方
向にはずれているかを判定し、適正範囲にないと判定さ
れた場合、表示画面に表示するカーソルの表示状態を所
定の状態に変化させて、画像処理対象の物体が適正範囲
からどの方向にはずれているかを通知することを特徴と
する。
【００１９】また、本発明は、対象物体の画像処理によ
り入力を行なうユーザインタフェース装置における対象
物体の操作範囲呈示方法であって、画像処理対象の物体
が画像処理可能な適正範囲にあるか否かおよび適正範囲
にない場合に画像処理対象の物体が適正範囲からどの方
向にはずれているかを判定し、適正範囲にないと判定さ
れた場合、音声により画像処理対象の物体が適正範囲か
らどの方向にはずれているかを通知することを特徴とす
る。
り入力を行なうユーザインタフェース装置における対象
物体の操作範囲呈示方法であって、画像処理対象の物体
が画像処理可能な適正範囲にあるか否かおよび適正範囲
にない場合に画像処理対象の物体が適正範囲からどの方
向にはずれているかを判定し、適正範囲にないと判定さ
れた場合、音声により画像処理対象の物体が適正範囲か
らどの方向にはずれているかを通知することを特徴とす
る。
【００２０】なお、以上の各装置に係る発明は、方法に
係る説明としても成立する。また、上記の発明は、相当
する手順あるいは手段をコンピュータに実行させるため
のプログラムを記録した機械読取り可能な媒体としても
成立する。
係る説明としても成立する。また、上記の発明は、相当
する手順あるいは手段をコンピュータに実行させるため
のプログラムを記録した機械読取り可能な媒体としても
成立する。
【００２１】
【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。図１は、本発明の一実施形態に
係るユーザインタフェース装置の構成例を示す図であ
る。また、図２に、本実施形態のユーザインタフェース
装置の動作手順例を示す。
実施の形態を説明する。図１は、本発明の一実施形態に
係るユーザインタフェース装置の構成例を示す図であ
る。また、図２に、本実施形態のユーザインタフェース
装置の動作手順例を示す。
【００２２】本ユーザインタフェース装置は、例えば、
グラフィックユーザインタフェースを持つ計算機に適用
すると好適なものである。すなわち、表示画面上にカー
ソル、スライダーバー、スクロールバー、プルダウンメ
ニュー、ボックス、リンク、アプリケーションなどのア
イコンが表示され、ユーザが入力デバイスによりカーソ
ルの移動、アイコンの選択、アプリケーションの起動な
どの指示を入力するようなシステムであって、入力デバ
イスがマウスのような専用器具を必要とせずユーザの手
などの物体を画像処理することにより入力を受けるもの
であるシステムに適用するものである。
グラフィックユーザインタフェースを持つ計算機に適用
すると好適なものである。すなわち、表示画面上にカー
ソル、スライダーバー、スクロールバー、プルダウンメ
ニュー、ボックス、リンク、アプリケーションなどのア
イコンが表示され、ユーザが入力デバイスによりカーソ
ルの移動、アイコンの選択、アプリケーションの起動な
どの指示を入力するようなシステムであって、入力デバ
イスがマウスのような専用器具を必要とせずユーザの手
などの物体を画像処理することにより入力を受けるもの
であるシステムに適用するものである。
【００２３】本ユーザインタフェース装置は、入力機能
部分と、フィードバック機能部分とに大別される。入力
機能部分は、公知のものを利用することが可能で、光を
発光し、ユーザの手などの対象物体による反射光を画像
として捉えることにより（あるいは背景の光の対象物体
による反射光を画像として捉えることにより）、その形
状、動き、距離情報などを検出し、その形状等に応じた
所定の制御（例えば入出力装置に関する制御あるいはア
プリケーションソフトの起動など）を行なうもので、ユ
ーザは手のモーションなどにより意図する入力を行なう
ことができる機能を提供するものである。本実施形態で
は、画像記憶部１１、形状解釈部１２、解釈規則記憶部
１３、呈示部１４からなるものとする。
部分と、フィードバック機能部分とに大別される。入力
機能部分は、公知のものを利用することが可能で、光を
発光し、ユーザの手などの対象物体による反射光を画像
として捉えることにより（あるいは背景の光の対象物体
による反射光を画像として捉えることにより）、その形
状、動き、距離情報などを検出し、その形状等に応じた
所定の制御（例えば入出力装置に関する制御あるいはア
プリケーションソフトの起動など）を行なうもので、ユ
ーザは手のモーションなどにより意図する入力を行なう
ことができる機能を提供するものである。本実施形態で
は、画像記憶部１１、形状解釈部１２、解釈規則記憶部
１３、呈示部１４からなるものとする。
【００２４】フィードバック機能部分は、本発明に係る
部分で、ユーザの手などの画像検出対象物体が適正な検
出範囲にあるか否かを評価し、評価結果をユーザに呈示
するものである。本実施形態では、画像記憶部１１、適
性範囲評価部１５、評価結果反映部１６からなるものと
する。
部分で、ユーザの手などの画像検出対象物体が適正な検
出範囲にあるか否かを評価し、評価結果をユーザに呈示
するものである。本実施形態では、画像記憶部１１、適
性範囲評価部１５、評価結果反映部１６からなるものと
する。
【００２５】まず、両機能部分に共通の画像記憶部１１
と図示しない画像入力装置について説明する。画像記憶
部１１は、図示しない画像入力装置から所定時間毎（例
えば１／３０秒毎、１／６０秒毎、１／１００秒毎な
ど）に出力される画像検出対象物体の２次元画像を逐次
記憶する（ステップＳ１）。
と図示しない画像入力装置について説明する。画像記憶
部１１は、図示しない画像入力装置から所定時間毎（例
えば１／３０秒毎、１／６０秒毎、１／１００秒毎な
ど）に出力される画像検出対象物体の２次元画像を逐次
記憶する（ステップＳ１）。
【００２６】図示しない画像入力装置は、例えば、ＬＥ
Ｄなどの発光素子により近赤外線などの光を対象物体に
照射する発光部と、対象物体からの反射光を２次元アレ
イ状に配列された受光素子で受光する受光部とを有する
ものである。なお、通常、発光部が発光しているときに
受光した光の量と、発光部が発光していないときに受光
した光の量の差をとることによって、バックグラウンド
の補正を行ない、発光部からの光の対象物体による反射
光の成分だけを取り出す。なお、画像入力装置は、発光
部を持たず、ＣＣＤカメラなどの受光部のみ持つもので
あっても良い。
Ｄなどの発光素子により近赤外線などの光を対象物体に
照射する発光部と、対象物体からの反射光を２次元アレ
イ状に配列された受光素子で受光する受光部とを有する
ものである。なお、通常、発光部が発光しているときに
受光した光の量と、発光部が発光していないときに受光
した光の量の差をとることによって、バックグラウンド
の補正を行ない、発光部からの光の対象物体による反射
光の成分だけを取り出す。なお、画像入力装置は、発光
部を持たず、ＣＣＤカメラなどの受光部のみ持つもので
あっても良い。
【００２７】例えば、画像入力装置の前にユーザの手を
持ってきた場合、その手からの反射光画像が得られる。
このとき、反射光画像の各画素値は、物体の性質（光を
鏡面反射する、散乱する、吸収する、など）、物体面の
向き、物体の距離、などに影響されるが、物体全体が一
様に光を散乱する物体である場合、その反射光量は物体
までの距離と密接な関係を持つ。手などはこのような性
質を持つため、手を差し出した場合の反射光画面は、手
の距離、手の傾き（部分的に距離が異なる）、などを反
映する。したがって、これらの情報を抽出することによ
って、様々な情報の入力・生成が可能になる。
持ってきた場合、その手からの反射光画像が得られる。
このとき、反射光画像の各画素値は、物体の性質（光を
鏡面反射する、散乱する、吸収する、など）、物体面の
向き、物体の距離、などに影響されるが、物体全体が一
様に光を散乱する物体である場合、その反射光量は物体
までの距離と密接な関係を持つ。手などはこのような性
質を持つため、手を差し出した場合の反射光画面は、手
の距離、手の傾き（部分的に距離が異なる）、などを反
映する。したがって、これらの情報を抽出することによ
って、様々な情報の入力・生成が可能になる。
【００２８】次に、入力機能部分について説明する。形
状解釈部１２は、画像記憶部１１に記憶された２次元画
像を、Ｎ×Ｎ（例えば６４×６４）のドットマトリクス
として逐次取込む（ステップＳ２）。各画素は階調（例
えば８ビット＝２５６階調）を持つものとする。図３
（ａ）に、対象物体を手としたドットマトリクスの一例
を示す。
状解釈部１２は、画像記憶部１１に記憶された２次元画
像を、Ｎ×Ｎ（例えば６４×６４）のドットマトリクス
として逐次取込む（ステップＳ２）。各画素は階調（例
えば８ビット＝２５６階調）を持つものとする。図３
（ａ）に、対象物体を手としたドットマトリクスの一例
を示す。
【００２９】次に、形状解釈部１２は、ドットマトリク
スから所定の特徴量を抽出し、解釈規則記憶部１３に記
憶された解釈規則をもとに、形状解釈する（ステップＳ
３）。そして、適合する解釈規則に応じた指示を解釈結
果として出力する（ステップＳ４，Ｓ５）。もし適合す
る解釈規則がなければ、必要に応じてドットマトリクス
からの所定の特徴量の抽出の仕方を変更して（例えばド
ットマトリクスのしきい値処理を行なう場合、そのしき
い値を変更する）、再度マッチング処理をやり直すよう
にしても良い。最終的に適合する解釈規則がなければ
（ステップＳ４）、入力はなかったものとする。
スから所定の特徴量を抽出し、解釈規則記憶部１３に記
憶された解釈規則をもとに、形状解釈する（ステップＳ
３）。そして、適合する解釈規則に応じた指示を解釈結
果として出力する（ステップＳ４，Ｓ５）。もし適合す
る解釈規則がなければ、必要に応じてドットマトリクス
からの所定の特徴量の抽出の仕方を変更して（例えばド
ットマトリクスのしきい値処理を行なう場合、そのしき
い値を変更する）、再度マッチング処理をやり直すよう
にしても良い。最終的に適合する解釈規則がなければ
（ステップＳ４）、入力はなかったものとする。
【００３０】解釈規則記憶部１３は、形状解釈のための
解釈規則を記憶する。例えば、ユーザの手の形状などの
特徴量に応じた指示内容が解釈規則として記憶されてい
る。指示内容には、アイコンの選択、アプリケーション
の起動、カーソル移動等がある。カーソル移動の場合に
は、手の移動方向・距離に応じたカーソルの移動量も指
示される。例えば、人差し指のみを立てた状態をカーソ
ル移動に対応させ（この場合、例えば人差し指の先端の
移動距離・方向がカーソルの移動距離・方向に対応づけ
られる）、人差し指のみを立てた状態で、親指を動かし
た動作を、カーソルの位置するアイコンの選択に対応さ
せ、人差し指のみを立てた状態で、手のひらを反転させ
る動作を、カーソルの位置するアイコンに対応するアプ
リケーションの起動に対応させるなどの規則が考えられ
る。
解釈規則を記憶する。例えば、ユーザの手の形状などの
特徴量に応じた指示内容が解釈規則として記憶されてい
る。指示内容には、アイコンの選択、アプリケーション
の起動、カーソル移動等がある。カーソル移動の場合に
は、手の移動方向・距離に応じたカーソルの移動量も指
示される。例えば、人差し指のみを立てた状態をカーソ
ル移動に対応させ（この場合、例えば人差し指の先端の
移動距離・方向がカーソルの移動距離・方向に対応づけ
られる）、人差し指のみを立てた状態で、親指を動かし
た動作を、カーソルの位置するアイコンの選択に対応さ
せ、人差し指のみを立てた状態で、手のひらを反転させ
る動作を、カーソルの位置するアイコンに対応するアプ
リケーションの起動に対応させるなどの規則が考えられ
る。
【００３１】形状解釈部１２による形状解釈におけるド
ットマトリクスから特徴量の抽出の代表例は、距離情報
の抽出と、領域抽出である。物体が一様で均質な散乱面
を持つ物体であれば、反射光画像は距離画像とみなすこ
とができる。したがって、受光部から見込んだ物体の立
体形状を抽出することができる。物体が手であれば、手
のひらの傾きなどが検出できる。手のひらの傾きは部分
的な距離の違いとして現れる。また、手を移動させたと
きに画素値が変われば、距離が移動したと見ることがで
きる。また、背景のように遠い物体からの反射光はほと
んどないため、反射光画像からあるしきい値以上の領域
を切り出すという処理で、物体の形状を簡単に切り出す
ことができる。例えば、物体が手であれば、そのシルエ
ット像を切り出すのは極めて容易である。距離画像を用
いる場合でも、一度しきい値によって領域抽出をしてお
いてから、その領域内の距離情報を用いる、という場合
が多い。
ットマトリクスから特徴量の抽出の代表例は、距離情報
の抽出と、領域抽出である。物体が一様で均質な散乱面
を持つ物体であれば、反射光画像は距離画像とみなすこ
とができる。したがって、受光部から見込んだ物体の立
体形状を抽出することができる。物体が手であれば、手
のひらの傾きなどが検出できる。手のひらの傾きは部分
的な距離の違いとして現れる。また、手を移動させたと
きに画素値が変われば、距離が移動したと見ることがで
きる。また、背景のように遠い物体からの反射光はほと
んどないため、反射光画像からあるしきい値以上の領域
を切り出すという処理で、物体の形状を簡単に切り出す
ことができる。例えば、物体が手であれば、そのシルエ
ット像を切り出すのは極めて容易である。距離画像を用
いる場合でも、一度しきい値によって領域抽出をしてお
いてから、その領域内の距離情報を用いる、という場合
が多い。
【００３２】ドットマトリクスから抽出した特徴量と解
釈規則とのマッチングの手法には種々のものがある。例
えば、画像からベクトルを抽出するベクトル化、形状モ
デルにもとづいた形状の変形状態の抽出、走査線上の距
離値にもとづいたスペクトル解析などである。
釈規則とのマッチングの手法には種々のものがある。例
えば、画像からベクトルを抽出するベクトル化、形状モ
デルにもとづいた形状の変形状態の抽出、走査線上の距
離値にもとづいたスペクトル解析などである。
【００３３】もし適合する形状がなければ、例えばしき
い値を変更するなどして、再度マッチング処理をやり直
すようにしても良い。最終的に適合する形状がなけれ
ば、入力はなかったものと見なす。
い値を変更するなどして、再度マッチング処理をやり直
すようにしても良い。最終的に適合する形状がなけれ
ば、入力はなかったものと見なす。
【００３４】呈示部１４は、形状解釈部１２による解釈
結果がユーザに視覚的な情報の呈示を指示するものであ
る場合、表示装置にて形状解釈部１２による解釈結果を
反映した呈示を行なう。例えば、カーソルを移動させ、
カーソルの形状を変更させ、あるいは必要に応じてメッ
セージを呈示する。なお、メッセージの呈示には、音声
再生装置が使用または併用されることもある。
結果がユーザに視覚的な情報の呈示を指示するものであ
る場合、表示装置にて形状解釈部１２による解釈結果を
反映した呈示を行なう。例えば、カーソルを移動させ、
カーソルの形状を変更させ、あるいは必要に応じてメッ
セージを呈示する。なお、メッセージの呈示には、音声
再生装置が使用または併用されることもある。
【００３５】次に、フィードバック機能部分について説
明する。適性範囲評価部１５は、画像記憶部１１に記憶
された２次元画像を、図３（ａ）のようなドットマトリ
ックスとして取込み（ステップＳ２）、対象物体が適性
範囲にあるか否かを評価し、評価結果に応じたフィード
バック情報を生成する（ステップＳ６〜Ｓ１６）。
明する。適性範囲評価部１５は、画像記憶部１１に記憶
された２次元画像を、図３（ａ）のようなドットマトリ
ックスとして取込み（ステップＳ２）、対象物体が適性
範囲にあるか否かを評価し、評価結果に応じたフィード
バック情報を生成する（ステップＳ６〜Ｓ１６）。
【００３６】評価結果反映部１６は、フィードバック情
報をもとに、評価結果を反映した呈示を表示装置および
／または音声再生装置にて行なうよう指示を出す（ステ
ップＳ１７）。
報をもとに、評価結果を反映した呈示を表示装置および
／または音声再生装置にて行なうよう指示を出す（ステ
ップＳ１７）。
【００３７】まず、適性範囲評価部１５について詳しく
説明する。対象物体が適性範囲にある場合には、例えば
図３（ａ）のような適当なドットマトリックスが得ら
れ、ユーザの手などによる所望の入力が可能である。し
かし、対象物体が適性範囲にある場合、より具体的に
は、対象物体が受光部に対して近すぎる場合、遠すぎる
場合、左からはみ出している場合、右からはみ出してい
る場合には、ユーザが所望する指示等は入力できない。
説明する。対象物体が適性範囲にある場合には、例えば
図３（ａ）のような適当なドットマトリックスが得ら
れ、ユーザの手などによる所望の入力が可能である。し
かし、対象物体が適性範囲にある場合、より具体的に
は、対象物体が受光部に対して近すぎる場合、遠すぎる
場合、左からはみ出している場合、右からはみ出してい
る場合には、ユーザが所望する指示等は入力できない。
【００３８】そこで、適性範囲評価部１５は、ドットマ
トリックスを解析して、対象物体が適性範囲にあるか
（ステップＳ６）、あるいは近すぎるか（ステップＳ
８）、遠すぎるか（ステップＳ１０）、左からはみ出し
ているか（ステップＳ１２）、右からはみ出しているか
（ステップＳ１４）を評価する。そして、対象物体が適
性範囲にある場合、ユーザフィードバック情報＝ＮＵＬ
Ｌ（またはＮＵＬＬを示すコード；例えば０）とし（ス
テップＳ７）、近すぎる場合、ユーザフィードバック情
報＝近（または近を示すコード；例えば１）とし（ステ
ップＳ９）、遠すぎる場合、ユーザフィードバック情報
＝遠（または遠を示すコード；例えば２）とし（ステッ
プＳ１１）、左からはみ出している場合、ユーザフィー
ドバック情報＝左（または左を示すコード；例えば３）
とし（ステップＳ１３）、右からはみ出している場合、
ユーザフィードバック情報＝右（または右を示すコー
ド；例えば４）とし（ステップＳ１５）、それ以外の場
合、ユーザフィードバック情報＝不適とする（ステップ
Ｓ１６）。
トリックスを解析して、対象物体が適性範囲にあるか
（ステップＳ６）、あるいは近すぎるか（ステップＳ
８）、遠すぎるか（ステップＳ１０）、左からはみ出し
ているか（ステップＳ１２）、右からはみ出しているか
（ステップＳ１４）を評価する。そして、対象物体が適
性範囲にある場合、ユーザフィードバック情報＝ＮＵＬ
Ｌ（またはＮＵＬＬを示すコード；例えば０）とし（ス
テップＳ７）、近すぎる場合、ユーザフィードバック情
報＝近（または近を示すコード；例えば１）とし（ステ
ップＳ９）、遠すぎる場合、ユーザフィードバック情報
＝遠（または遠を示すコード；例えば２）とし（ステッ
プＳ１１）、左からはみ出している場合、ユーザフィー
ドバック情報＝左（または左を示すコード；例えば３）
とし（ステップＳ１３）、右からはみ出している場合、
ユーザフィードバック情報＝右（または右を示すコー
ド；例えば４）とし（ステップＳ１５）、それ以外の場
合、ユーザフィードバック情報＝不適とする（ステップ
Ｓ１６）。
【００３９】図４に、この評価手順の一例を示す。ま
た、図３（ａ）、図７（ａ）、図８（ａ）、図９
（ａ）、図１０（ａ）にそれぞれ、対象物体が適性範囲
にある場合のドットマトリックス例、近すぎる場合のド
ットマトリックス例、遠すぎる場合のドットマトリック
ス例、左からはみ出している場合のドットマトリックス
例、右からはみ出している場合のドットマトリックス例
を示す。
た、図３（ａ）、図７（ａ）、図８（ａ）、図９
（ａ）、図１０（ａ）にそれぞれ、対象物体が適性範囲
にある場合のドットマトリックス例、近すぎる場合のド
ットマトリックス例、遠すぎる場合のドットマトリック
ス例、左からはみ出している場合のドットマトリックス
例、右からはみ出している場合のドットマトリックス例
を示す。
【００４０】対象物体が適性範囲にあるか否かの判定に
は、種々の方法が考えられるが、この例では、対象物体
の画像の面積ｓ、対象物体の画像中の至近点の距離ｄ、
対象物体の画像形状における垂直線の長さｌを使用する
ものとする。対象物体の画像の面積ｓは、ドットマトリ
ックスにおける対象物体に対応する画素の個数またはそ
の全画素に占める割合により表すことができる。また、
対象物体の画像中の至近点の距離ｄは、ドットマトリッ
クスにおける対象物体に対応する画素の濃度の最大値の
逆数または画素の取り得る最高濃度−該濃度の最大値で
表すことができる。対象物体の画像形状のにおける垂直
線の長さｌは、図５に示すようにドットマトリックスに
おける対象物体の画像の外形において画素が垂直に連続
する最大個数により表すことができる。
は、種々の方法が考えられるが、この例では、対象物体
の画像の面積ｓ、対象物体の画像中の至近点の距離ｄ、
対象物体の画像形状における垂直線の長さｌを使用する
ものとする。対象物体の画像の面積ｓは、ドットマトリ
ックスにおける対象物体に対応する画素の個数またはそ
の全画素に占める割合により表すことができる。また、
対象物体の画像中の至近点の距離ｄは、ドットマトリッ
クスにおける対象物体に対応する画素の濃度の最大値の
逆数または画素の取り得る最高濃度−該濃度の最大値で
表すことができる。対象物体の画像形状のにおける垂直
線の長さｌは、図５に示すようにドットマトリックスに
おける対象物体の画像の外形において画素が垂直に連続
する最大個数により表すことができる。
【００４１】そして、面積ｓの下限値ｒと上限値α、画
像中の至近点の距離ｄの下限値βと上限値δ、画像形状
における垂直線の長さｌの上限値εを設定しておく。も
し、ｒ≦面積ｓ≦α かつ β≦至近点の距離ｄ≦δ
かつ 垂直線の長さｌ≦εならば（ステップＳ２１）、
範囲は適正とする（ステップＳ２２）。
像中の至近点の距離ｄの下限値βと上限値δ、画像形状
における垂直線の長さｌの上限値εを設定しておく。も
し、ｒ≦面積ｓ≦α かつ β≦至近点の距離ｄ≦δ
かつ 垂直線の長さｌ≦εならば（ステップＳ２１）、
範囲は適正とする（ステップＳ２２）。
【００４２】もし、面積ｓ＞α かつ 至近点の距離ｄ
＜βならば（ステップＳ２３）、近すぎるとする（ステ
ップＳ２４）。もし、面積ｓ＜ｒ かつ至近点の距離ｄ
＞δならば（ステップＳ２５）、遠すぎるとする（ステ
ップＳ２６）。
＜βならば（ステップＳ２３）、近すぎるとする（ステ
ップＳ２４）。もし、面積ｓ＜ｒ かつ至近点の距離ｄ
＞δならば（ステップＳ２５）、遠すぎるとする（ステ
ップＳ２６）。
【００４３】もし、垂直線の長さｌ＞ε かつ垂直線位
置は右ならば（ステップＳ２７）、右からはみ出してい
るとする（ステップＳ２８）。もし、垂直線の長さｌ＞
ε かつ 垂直線位置は左ならば（ステップＳ２９）、
左からはみ出しているとする（ステップＳ３０）。
置は右ならば（ステップＳ２７）、右からはみ出してい
るとする（ステップＳ２８）。もし、垂直線の長さｌ＞
ε かつ 垂直線位置は左ならば（ステップＳ２９）、
左からはみ出しているとする（ステップＳ３０）。
【００４４】それ以外の場合には、範囲が不適とする
（ステップＳ３１）。次に、評価結果反映部１６につい
て詳しく説明する。図６に、この処理手順の一例を示
す。この処理では、評価結果反映部１６は、適性範囲評
価部１５から評価結果として与えられるユーザフィード
バック情報にもとづいて、表示画面上に表示されている
カーソルの形状を変形させることにより、評価結果を通
知する。
（ステップＳ３１）。次に、評価結果反映部１６につい
て詳しく説明する。図６に、この処理手順の一例を示
す。この処理では、評価結果反映部１６は、適性範囲評
価部１５から評価結果として与えられるユーザフィード
バック情報にもとづいて、表示画面上に表示されている
カーソルの形状を変形させることにより、評価結果を通
知する。
【００４５】もし、ユーザフィードバック情報＝ＮＵＬ
Ｌならば（ステップＳ４１）、カーソルの形状は変更し
ない（ステップＳ４２）。この状態の一例を図３（ｂ）
に示す。
Ｌならば（ステップＳ４１）、カーソルの形状は変更し
ない（ステップＳ４２）。この状態の一例を図３（ｂ）
に示す。
【００４６】もし、ユーザフィードバック情報＝近なら
ば（ステップＳ４３）、例えば図７（ａ）に示すように
カーソルを大きくさせる（ステップＳ４４）。もし、ユ
ーザフィードバック情報＝遠ならば（ステップＳ４
５）、例えば図８（ａ）に示すようにカーソルを小さく
薄くさせる（ステップＳ４６）。
ば（ステップＳ４３）、例えば図７（ａ）に示すように
カーソルを大きくさせる（ステップＳ４４）。もし、ユ
ーザフィードバック情報＝遠ならば（ステップＳ４
５）、例えば図８（ａ）に示すようにカーソルを小さく
薄くさせる（ステップＳ４６）。
【００４７】もし、ユーザフィードバック情報＝左なら
ば（ステップＳ４７）、例えば図９（ａ）に示すように
カーソルの左端を変形させる（ステップＳ４８）。も
し、ユーザフィードバック情報＝右ならば（ステップＳ
４９）、例えば図１０（ａ）に示すようにカーソルの左
端を変形させる（ステップＳ５０）。
ば（ステップＳ４７）、例えば図９（ａ）に示すように
カーソルの左端を変形させる（ステップＳ４８）。も
し、ユーザフィードバック情報＝右ならば（ステップＳ
４９）、例えば図１０（ａ）に示すようにカーソルの左
端を変形させる（ステップＳ５０）。
【００４８】もし、ユーザフィードバック情報＝不適な
らば、エラーメッセージを表示する（ステップＳ５
１）。図１１に、この処理手順の他の例を示す。この処
理では、評価結果反映部１６は、適性範囲評価部１５か
ら評価結果として与えられるユーザフィードバック情報
にもとづいて、音声再生装置にて評価結果を音声で通知
する。
らば、エラーメッセージを表示する（ステップＳ５
１）。図１１に、この処理手順の他の例を示す。この処
理では、評価結果反映部１６は、適性範囲評価部１５か
ら評価結果として与えられるユーザフィードバック情報
にもとづいて、音声再生装置にて評価結果を音声で通知
する。
【００４９】もし、ユーザフィードバック情報＝ＮＵＬ
Ｌならば（ステップＳ６１）、なにも呈示しない、ある
いはカーソルが移動する音を呈示する（ステップＳ６
２）。もし、ユーザフィードバック情報＝近ならば（ス
テップＳ６３）、例えば「近すぎるよ」などの音声を出
力させる（ステップＳ６４）。
Ｌならば（ステップＳ６１）、なにも呈示しない、ある
いはカーソルが移動する音を呈示する（ステップＳ６
２）。もし、ユーザフィードバック情報＝近ならば（ス
テップＳ６３）、例えば「近すぎるよ」などの音声を出
力させる（ステップＳ６４）。
【００５０】もし、ユーザフィードバック情報＝遠なら
ば（ステップＳ６５）、例えば「遠すぎるよ」などの音
声を出力させる（ステップＳ６６）。もし、ユーザフィ
ードバック情報＝左ならば（ステップＳ６７）、例えば
「左にはみ出しているよ」などの音声を出力させる（ス
テップＳ６８）。
ば（ステップＳ６５）、例えば「遠すぎるよ」などの音
声を出力させる（ステップＳ６６）。もし、ユーザフィ
ードバック情報＝左ならば（ステップＳ６７）、例えば
「左にはみ出しているよ」などの音声を出力させる（ス
テップＳ６８）。
【００５１】もし、ユーザフィードバック情報＝右なら
ば（ステップＳ６９）、例えば「右にはみ出している
よ」などの音声を出力させる（ステップＳ７０）。も
し、ユーザフィードバック情報＝不適ならば、エラーメ
ッセージを音声で呈示する（ステップＳ７１）。
ば（ステップＳ６９）、例えば「右にはみ出している
よ」などの音声を出力させる（ステップＳ７０）。も
し、ユーザフィードバック情報＝不適ならば、エラーメ
ッセージを音声で呈示する（ステップＳ７１）。
【００５２】なお、図６の処理と図１１の処理を併用
し、画像と音声で通知するようにしても良い。あるい
は、画像で通知する機能と音声で通知する機能を容易し
ておき、ユーザーが個別に機能のオン／オフを設定でき
るようにしても良い。
し、画像と音声で通知するようにしても良い。あるい
は、画像で通知する機能と音声で通知する機能を容易し
ておき、ユーザーが個別に機能のオン／オフを設定でき
るようにしても良い。
【００５３】以上のように、本実施形態によれば、ユー
ザの手などの対象物体が適正範囲からはずれた場合、そ
の旨を通知するので、ユーザは容易に３次元空間中での
適正範囲を認識することができ、容易に適正範囲でジェ
スチャ等を行なって所望の指示等を入力することができ
る。
ザの手などの対象物体が適正範囲からはずれた場合、そ
の旨を通知するので、ユーザは容易に３次元空間中での
適正範囲を認識することができ、容易に適正範囲でジェ
スチャ等を行なって所望の指示等を入力することができ
る。
【００５４】なお、図２の手順では、入力機能部分の処
理とフィードバック機能部分の処理は独立的に実行する
ものであったが、手順を修正して、入力機能部分の処理
に先だってフィードバック機能部分の処理を行ない、対
象物体が適正範囲にあると判定された場合にのみ入力機
能部分の処理を実行するようにしても良い。
理とフィードバック機能部分の処理は独立的に実行する
ものであったが、手順を修正して、入力機能部分の処理
に先だってフィードバック機能部分の処理を行ない、対
象物体が適正範囲にあると判定された場合にのみ入力機
能部分の処理を実行するようにしても良い。
【００５５】また、以上の各機能は、ソフトウェアとし
ても実現可能である。また、上記した各手順あるいは手
段をコンピュータに実行させるためのプログラムを記録
した機械読取り可能な媒体として実施することもでき
る。本発明は、上述した実施の形態に限定されるもので
はなく、その技術的範囲において種々変形して実施する
ことができる。
ても実現可能である。また、上記した各手順あるいは手
段をコンピュータに実行させるためのプログラムを記録
した機械読取り可能な媒体として実施することもでき
る。本発明は、上述した実施の形態に限定されるもので
はなく、その技術的範囲において種々変形して実施する
ことができる。
【００５６】
【発明の効果】本発明によれば、ユーザの手などの対象
物体が適正範囲からはずれた場合、その旨を通知するの
で、ユーザは容易に３次元空間中での適正範囲を認識す
ることができ、容易に適正範囲でジェスチャ等を行なっ
て所望の指示等を入力することができる。
物体が適正範囲からはずれた場合、その旨を通知するの
で、ユーザは容易に３次元空間中での適正範囲を認識す
ることができ、容易に適正範囲でジェスチャ等を行なっ
て所望の指示等を入力することができる。
【図１】本発明の実施の形態に係るユーザインタフェー
ス装置の構成例を示す図
ス装置の構成例を示す図
【図２】本実施形態の処理手順の一例を示すフローチャ
ート
ート
【図３】対象物体が適性範囲にある場合のドットマトリ
クスの一例とその場合の画面表示例を示す図
クスの一例とその場合の画面表示例を示す図
【図４】対象物体が適性範囲にあるかどうかの評価手順
の一例を示すフローチャート
の一例を示すフローチャート
【図５】対象物体の画像形状における垂直線の長さｌを
説明するための図
説明するための図
【図６】評価結果反映手順の一例を示すフローチャート
【図７】対象物体が近すぎる場合のドットマトリクスの
一例とその場合の画面表示例を示す図
一例とその場合の画面表示例を示す図
【図８】対象物体が遠すぎる場合の適性範囲にあるドッ
トマトリクスの一例とその場合の画面表示例を示す図
トマトリクスの一例とその場合の画面表示例を示す図
【図９】対象物体が左からはみ出している場合のドット
マトリクスの一例とその場合の画面表示例を示す図
マトリクスの一例とその場合の画面表示例を示す図
【図１０】対象物体が右からはみ出している場合のドッ
トマトリクスの一例とその場合の画面表示例を示す図
トマトリクスの一例とその場合の画面表示例を示す図
【図１１】評価結果反映手順の他の例を示すフローチャ
ート
ート
１１…画像記憶部 １２…形状解釈部 １３…解釈規則記憶部 １４…呈示部 １５…適性範囲評価部 １６…評価結果反映部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 沼崎 俊一 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内
Claims (11)
- 【請求項１】画像処理により入力を行なうユーザインタ
フェース装置において、 画像処理対象の物体が画像処理可能な適正範囲にあるか
否かを判定する手段と、 適正範囲にないと判定された場合、所定の視覚的情報お
よび聴覚的情報の少なくとも一方を呈示する手段とを備
えたことを特徴とするユーザインタフェース装置。 - 【請求項２】画像処理により入力を行なうユーザインタ
フェース装置において、 画像処理対象の物体が画像処理可能な適正範囲にあるか
否かおよび適正範囲にない場合に画像処理対象の物体が
適正範囲からどの方向にはずれているかを判定する手段
と、 適正範囲にないと判定された場合、表示画面に表示する
カーソルの表示状態を所定の状態に変化させて、画像処
理対象の物体が適正範囲からどの方向にはずれているか
を通知する手段とを備えたことを特徴とするユーザイン
タフェース装置。 - 【請求項３】画像処理対象の物体が適正範囲から遠方に
はずれていると判定された場合、カーソルを小さくおよ
び／または薄く表示することを特徴とする請求項２に記
載のユーザインタフェース装置。 - 【請求項４】画像処理対象の物体が適正範囲から近傍に
ずれていると判定された場合、カーソルを大きく表示す
ることを特徴とする請求項２に記載のユーザインタフェ
ース装置。 - 【請求項５】画像処理対象の物体が適正範囲から左方に
はずれていると判定された場合、、カーソルの左方の端
を歪ませて表示することを特徴とする請求項２に記載の
ユーザインタフェース装置。 - 【請求項６】画像処理対象の物体が適正範囲から右方に
はずれていると判定された場合、カーソルの右方の端を
歪ませて表示することを特徴とする請求項２に記載のユ
ーザインタフェース装置。 - 【請求項７】適正範囲にないと判定された場合、音声を
用いて画像処理対象の物体が適正範囲からどの方向には
ずれているかを通知する手段をさらに備えたことを特徴
とする請求項２ないし６のいずれか１項に記載のユーザ
インタフェース装置。 - 【請求項８】画像処理により入力を行なうユーザインタ
フェース装置において、 画像処理対象の物体が画像処理可能な適正範囲にあるか
否かおよび適正範囲にない場合に画像処理対象の物体が
適正範囲からどの方向にはずれているかを判定する手段
と、 適正範囲にないと判定された場合、音声により画像処理
対象の物体が適正範囲からどの方向にはずれているかを
通知する手段とを備えたことを特徴とするユーザインタ
フェース装置。 - 【請求項９】対象物体の画像処理により入力を行なうユ
ーザインタフェース装置における対象物体の操作範囲呈
示方法であって、 画像処理対象の物体が画像処理可能な適正範囲にあるか
否かを判定し、 適正範囲にないと判定された場合、所定の視覚的情報お
よび聴覚的情報の少なくとも一方を呈示することを特徴
とする操作範囲呈示方法。 - 【請求項１０】対象物体の画像処理により入力を行なう
ユーザインタフェース装置における対象物体の操作範囲
呈示方法であって、 画像処理対象の物体が画像処理可能な適正範囲にあるか
否かおよび適正範囲にない場合に画像処理対象の物体が
適正範囲からどの方向にはずれているかを判定し、 適正範囲にないと判定された場合、表示画面に表示する
カーソルの表示状態を所定の状態に変化させて、画像処
理対象の物体が適正範囲からどの方向にはずれているか
を通知することを特徴とする操作範囲呈示方法。 - 【請求項１１】対象物体の画像処理により入力を行なう
ユーザインタフェース装置における対象物体の操作範囲
呈示方法であって、 画像処理対象の物体が画像処理可能な適正範囲にあるか
否かおよび適正範囲にない場合に画像処理対象の物体が
適正範囲からどの方向にはずれているかを判定し、 適正範囲にないと判定された場合、音声により画像処理
対象の物体が適正範囲からどの方向にはずれているかを
通知することを特徴とする操作範囲呈示方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00977397A JP3819096B2 (ja) | 1997-01-22 | 1997-01-22 | ユーザインタフェース装置及び操作範囲呈示方法 |
| US09/009,696 US6266061B1 (en) | 1997-01-22 | 1998-01-20 | User interface apparatus and operation range presenting method |
| US09/860,496 US20010024213A1 (en) | 1997-01-22 | 2001-05-21 | User interface apparatus and operation range presenting method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00977397A JP3819096B2 (ja) | 1997-01-22 | 1997-01-22 | ユーザインタフェース装置及び操作範囲呈示方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005268978A Division JP2006018856A (ja) | 2005-09-15 | 2005-09-15 | ユーザインタフェース装置及び操作範囲呈示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10207619A true JPH10207619A (ja) | 1998-08-07 |
| JP3819096B2 JP3819096B2 (ja) | 2006-09-06 |
Family
ID=11729580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00977397A Expired - Fee Related JP3819096B2 (ja) | 1997-01-22 | 1997-01-22 | ユーザインタフェース装置及び操作範囲呈示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3819096B2 (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003070768A (ja) * | 2001-08-31 | 2003-03-11 | Itoki Crebio Corp | Ｖｄｔ作業者の姿勢検出システム |
| JP2008040576A (ja) * | 2006-08-02 | 2008-02-21 | Sharp Corp | 画像処理システム及び該システムを備えた映像表示装置 |
| JP2008262569A (ja) * | 2008-04-18 | 2008-10-30 | Sony Corp | 画像表示装置および画像表示装置の駆動方法 |
| JP2009031981A (ja) * | 2007-07-26 | 2009-02-12 | Mitsubishi Electric Corp | インタフェース装置、インタフェース方法及びインタフェースプログラム |
| US20090077504A1 (en) * | 2007-09-14 | 2009-03-19 | Matthew Bell | Processing of Gesture-Based User Interactions |
| JP2010067143A (ja) * | 2008-09-12 | 2010-03-25 | British Virgin Islands CyWee Group Ltd | グラフィカルユーザーインターフェースの操作／制御装置 |
| EP2359916A1 (en) | 2010-01-27 | 2011-08-24 | NAMCO BANDAI Games Inc. | Display image generation device and display image generation method |
| JP2011258157A (ja) * | 2010-06-11 | 2011-12-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| JP2011258161A (ja) * | 2010-06-11 | 2011-12-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| JP2012194883A (ja) * | 2011-03-17 | 2012-10-11 | Sony Corp | 情報処理装置、情報処理方法およびコンピュータプログラム |
| US8464160B2 (en) | 2008-09-29 | 2013-06-11 | Panasonic Corporation | User interface device, user interface method, and recording medium |
| US8520901B2 (en) | 2010-06-11 | 2013-08-27 | Namco Bandai Games Inc. | Image generation system, image generation method, and information storage medium |
| JP2013539565A (ja) * | 2010-06-22 | 2013-10-24 | マイクロソフト コーポレーション | ユーザー追跡フィードバック |
| JP2013246743A (ja) * | 2012-05-29 | 2013-12-09 | Sony Corp | 画像処理装置、およびプログラム |
| JP2015045805A (ja) * | 2013-08-29 | 2015-03-12 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
| US9128519B1 (en) | 2005-04-15 | 2015-09-08 | Intellectual Ventures Holding 67 Llc | Method and system for state-based control of objects |
| US9229107B2 (en) | 2007-11-12 | 2016-01-05 | Intellectual Ventures Holding 81 Llc | Lens system |
| US9247236B2 (en) | 2008-03-07 | 2016-01-26 | Intellectual Ventures Holdings 81 Llc | Display with built in 3D sensing capability and gesture control of TV |
| JP2017102598A (ja) * | 2015-11-30 | 2017-06-08 | 富士通株式会社 | 認識装置、認識方法および認識プログラム |
| JP2018163668A (ja) * | 2018-05-14 | 2018-10-18 | 株式会社ユピテル | 電子情報システム及びそのプログラム |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5116822A (ja) * | 1974-07-31 | 1976-02-10 | Matsushita Electric Ind Co Ltd | |
| JPS56130608A (en) * | 1980-03-19 | 1981-10-13 | Ricoh Co Ltd | Range finding system |
| JPS6268357U (ja) * | 1985-10-19 | 1987-04-28 | ||
| JPS62190235U (ja) * | 1986-05-26 | 1987-12-03 | ||
| JPH03177918A (ja) * | 1989-12-07 | 1991-08-01 | Mitsubishi Electric Corp | カーソル制御方式 |
| JPH0757103A (ja) * | 1993-08-23 | 1995-03-03 | Toshiba Corp | 情報処理装置 |
| JPH07160412A (ja) * | 1993-12-10 | 1995-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 指示位置検出方法 |
| JPH07334299A (ja) * | 1994-04-13 | 1995-12-22 | Toshiba Corp | 情報入力装置 |
| JPH0844490A (ja) * | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
| JPH08240407A (ja) * | 1995-03-02 | 1996-09-17 | Matsushita Electric Ind Co Ltd | 位置検出入力装置 |
| JPH08328735A (ja) * | 1995-06-02 | 1996-12-13 | Takenaka Komuten Co Ltd | ハンドポインティング入力装置 |
-
1997
- 1997-01-22 JP JP00977397A patent/JP3819096B2/ja not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5116822A (ja) * | 1974-07-31 | 1976-02-10 | Matsushita Electric Ind Co Ltd | |
| JPS56130608A (en) * | 1980-03-19 | 1981-10-13 | Ricoh Co Ltd | Range finding system |
| JPS6268357U (ja) * | 1985-10-19 | 1987-04-28 | ||
| JPS62190235U (ja) * | 1986-05-26 | 1987-12-03 | ||
| JPH03177918A (ja) * | 1989-12-07 | 1991-08-01 | Mitsubishi Electric Corp | カーソル制御方式 |
| JPH0757103A (ja) * | 1993-08-23 | 1995-03-03 | Toshiba Corp | 情報処理装置 |
| JPH07160412A (ja) * | 1993-12-10 | 1995-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 指示位置検出方法 |
| JPH07334299A (ja) * | 1994-04-13 | 1995-12-22 | Toshiba Corp | 情報入力装置 |
| JPH0844490A (ja) * | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
| JPH08240407A (ja) * | 1995-03-02 | 1996-09-17 | Matsushita Electric Ind Co Ltd | 位置検出入力装置 |
| JPH08328735A (ja) * | 1995-06-02 | 1996-12-13 | Takenaka Komuten Co Ltd | ハンドポインティング入力装置 |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003070768A (ja) * | 2001-08-31 | 2003-03-11 | Itoki Crebio Corp | Ｖｄｔ作業者の姿勢検出システム |
| US9128519B1 (en) | 2005-04-15 | 2015-09-08 | Intellectual Ventures Holding 67 Llc | Method and system for state-based control of objects |
| JP2008040576A (ja) * | 2006-08-02 | 2008-02-21 | Sharp Corp | 画像処理システム及び該システムを備えた映像表示装置 |
| JP2009031981A (ja) * | 2007-07-26 | 2009-02-12 | Mitsubishi Electric Corp | インタフェース装置、インタフェース方法及びインタフェースプログラム |
| US10990189B2 (en) | 2007-09-14 | 2021-04-27 | Facebook, Inc. | Processing of gesture-based user interaction using volumetric zones |
| US10564731B2 (en) | 2007-09-14 | 2020-02-18 | Facebook, Inc. | Processing of gesture-based user interactions using volumetric zones |
| JP2010539590A (ja) * | 2007-09-14 | 2010-12-16 | インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー | ジェスチャベースのユーザインタラクションの処理 |
| US20090077504A1 (en) * | 2007-09-14 | 2009-03-19 | Matthew Bell | Processing of Gesture-Based User Interactions |
| US9058058B2 (en) | 2007-09-14 | 2015-06-16 | Intellectual Ventures Holding 67 Llc | Processing of gesture-based user interactions activation levels |
| US9811166B2 (en) | 2007-09-14 | 2017-11-07 | Intellectual Ventures Holding 81 Llc | Processing of gesture-based user interactions using volumetric zones |
| US8230367B2 (en) * | 2007-09-14 | 2012-07-24 | Intellectual Ventures Holding 67 Llc | Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones |
| US9229107B2 (en) | 2007-11-12 | 2016-01-05 | Intellectual Ventures Holding 81 Llc | Lens system |
| US10831278B2 (en) | 2008-03-07 | 2020-11-10 | Facebook, Inc. | Display with built in 3D sensing capability and gesture control of tv |
| US9247236B2 (en) | 2008-03-07 | 2016-01-26 | Intellectual Ventures Holdings 81 Llc | Display with built in 3D sensing capability and gesture control of TV |
| JP2008262569A (ja) * | 2008-04-18 | 2008-10-30 | Sony Corp | 画像表示装置および画像表示装置の駆動方法 |
| JP2010067143A (ja) * | 2008-09-12 | 2010-03-25 | British Virgin Islands CyWee Group Ltd | グラフィカルユーザーインターフェースの操作／制御装置 |
| US8464160B2 (en) | 2008-09-29 | 2013-06-11 | Panasonic Corporation | User interface device, user interface method, and recording medium |
| US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
| EP2359916A1 (en) | 2010-01-27 | 2011-08-24 | NAMCO BANDAI Games Inc. | Display image generation device and display image generation method |
| US8854304B2 (en) | 2010-06-11 | 2014-10-07 | Namco Bandai Games Inc. | Image generation system, image generation method, and information storage medium |
| US8520901B2 (en) | 2010-06-11 | 2013-08-27 | Namco Bandai Games Inc. | Image generation system, image generation method, and information storage medium |
| JP2011258161A (ja) * | 2010-06-11 | 2011-12-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| JP2011258157A (ja) * | 2010-06-11 | 2011-12-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| JP2013539565A (ja) * | 2010-06-22 | 2013-10-24 | マイクロソフト コーポレーション | ユーザー追跡フィードバック |
| JP2012194883A (ja) * | 2011-03-17 | 2012-10-11 | Sony Corp | 情報処理装置、情報処理方法およびコンピュータプログラム |
| JP2013246743A (ja) * | 2012-05-29 | 2013-12-09 | Sony Corp | 画像処理装置、およびプログラム |
| US9704028B2 (en) | 2012-05-29 | 2017-07-11 | Sony Corporation | Image processing apparatus and program |
| JP2015045805A (ja) * | 2013-08-29 | 2015-03-12 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
| JP2017102598A (ja) * | 2015-11-30 | 2017-06-08 | 富士通株式会社 | 認識装置、認識方法および認識プログラム |
| JP2018163668A (ja) * | 2018-05-14 | 2018-10-18 | 株式会社ユピテル | 電子情報システム及びそのプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3819096B2 (ja) | 2006-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH10207619A (ja) | ユーザインタフェース装置及び操作範囲呈示方法 | |
| US6266061B1 (en) | User interface apparatus and operation range presenting method | |
| US20090153468A1 (en) | Virtual Interface System | |
| US8115732B2 (en) | Virtual controller for visual displays | |
| US10268339B2 (en) | Enhanced camera-based input | |
| US7454717B2 (en) | Delimiters for selection-action pen gesture phrases | |
| US7342572B2 (en) | System and method for transforming an ordinary computer monitor into a touch screen | |
| US7898522B2 (en) | Video-based image control system | |
| US20170228138A1 (en) | System and method for spatial interaction for viewing and manipulating off-screen content | |
| US20020126090A1 (en) | Navigating and selecting a portion of a screen by utilizing a state of an object as viewed by a camera | |
| JP4688739B2 (ja) | 情報表示装置 | |
| US20030071858A1 (en) | Information input and output system, method, storage medium, and carrier wave | |
| US20070216642A1 (en) | System For 3D Rendering Applications Using Hands | |
| CN108369630A (zh) | 用于智能家居的手势控制系统和方法 | |
| JP2008052590A (ja) | インターフェース装置及びその方法 | |
| US8166417B2 (en) | Display control apparatus and control method thereof | |
| EP3136203B1 (en) | System and method of real-time interactive operation of user interface | |
| US20070071319A1 (en) | Method, apparatus, and program for dividing images | |
| Kjeldsen et al. | Design issues for vision-based computer interaction systems | |
| Kjeldsen | Head gestures for computer control | |
| Robinson et al. | The LivePaper system: augmenting paper on an enhanced tabletop | |
| JP2006331119A (ja) | プレゼンテーションに用いられる情報処理装置およびプログラム | |
| US20020051009A1 (en) | Method and apparatus for extracting object from video image | |
| JP3588527B2 (ja) | ユーザインタフェース装置及び指示入力方法 | |
| JP4979895B2 (ja) | ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040524 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050915 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060614 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |