JPH10326148A - ハンドポインティング装置 - Google Patents
ハンドポインティング装置Info
- Publication number
- JPH10326148A JPH10326148A JP36962897A JP36962897A JPH10326148A JP H10326148 A JPH10326148 A JP H10326148A JP 36962897 A JP36962897 A JP 36962897A JP 36962897 A JP36962897 A JP 36962897A JP H10326148 A JPH10326148 A JP H10326148A
- Authority
- JP
- Japan
- Prior art keywords
- recognition target
- image
- person
- imaging
- target person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
Abstract
(57)【要約】
【課題】 簡単な構成により、認識対象者からの指示の
判定に要する時間を短縮する。 【解決手段】 情報入力者10が到来する情報入力空間の
上方には、互いに異なる方向から情報入力者10を照明す
るように照射範囲が調整された近赤外光照明装置32A,32
B が配設されている。また情報入力空間の上方には、近
赤外光に感度を有するビデオカメラ36A,36B が互いに異
なる箇所に配設されている。ビデオカメラ36A は照明装
置32A による床面上の照明範囲が撮像範囲から外れるよ
うに撮像範囲が調整されており、ビデオカメラ36B は照
明装置32B による床面上の照明範囲が撮像範囲から外れ
るように撮像範囲が調整されている。図示しないコント
ローラは、ビデオカメラ36A,36B の撮像によって得られ
た画像に基づいて情報入力者10を認識し、情報入力者が
指し示した位置を判断する。
判定に要する時間を短縮する。 【解決手段】 情報入力者10が到来する情報入力空間の
上方には、互いに異なる方向から情報入力者10を照明す
るように照射範囲が調整された近赤外光照明装置32A,32
B が配設されている。また情報入力空間の上方には、近
赤外光に感度を有するビデオカメラ36A,36B が互いに異
なる箇所に配設されている。ビデオカメラ36A は照明装
置32A による床面上の照明範囲が撮像範囲から外れるよ
うに撮像範囲が調整されており、ビデオカメラ36B は照
明装置32B による床面上の照明範囲が撮像範囲から外れ
るように撮像範囲が調整されている。図示しないコント
ローラは、ビデオカメラ36A,36B の撮像によって得られ
た画像に基づいて情報入力者10を認識し、情報入力者が
指し示した位置を判断する。
Description
【０００１】
【発明の属する技術分野】本発明はハンドポインティン
グ装置に係り、特に、認識対象者を撮像し、認識対象者
が指し示した位置又は方向を判断するハンドポインティ
ング装置に関する。
グ装置に係り、特に、認識対象者を撮像し、認識対象者
が指し示した位置又は方向を判断するハンドポインティ
ング装置に関する。
【０００２】
【従来の技術】従来より、所定の情報を表示するディス
プレイ、ディスプレイの近傍に到来した情報入力者を照
明する照明装置、到来した情報入力者を互いに異なる方
向から撮像する複数の撮像手段を備え、到来した情報入
力者がディスプレイ上の任意の位置を指等によって指し
示した状況を複数の撮像手段によって撮像し、撮像によ
って得られた複数の画像に基づいて情報入力者を認識
し、情報入力者が指示したディスプレイ上の位置を判断
し、ディスプレイ上の指示位置にカーソル等を表示する
と共に、情報入力者が親指を上げるクリック動作を行っ
たことを検出すると、ディスプレイ上の指示位置がクリ
ックされたと認識して所定の処理を行うハンドポインテ
ィング入力装置が知られている（例えば特開平4-271423
号公報、特開平 5-19957号公報、特開平5-324181号公報
等参照）。
プレイ、ディスプレイの近傍に到来した情報入力者を照
明する照明装置、到来した情報入力者を互いに異なる方
向から撮像する複数の撮像手段を備え、到来した情報入
力者がディスプレイ上の任意の位置を指等によって指し
示した状況を複数の撮像手段によって撮像し、撮像によ
って得られた複数の画像に基づいて情報入力者を認識
し、情報入力者が指示したディスプレイ上の位置を判断
し、ディスプレイ上の指示位置にカーソル等を表示する
と共に、情報入力者が親指を上げるクリック動作を行っ
たことを検出すると、ディスプレイ上の指示位置がクリ
ックされたと認識して所定の処理を行うハンドポインテ
ィング入力装置が知られている（例えば特開平4-271423
号公報、特開平 5-19957号公報、特開平5-324181号公報
等参照）。
【０００３】上記のハンドポインティング入力装置によ
れば、情報入力者がキーボードやマウス等の入力機器に
触れることなく、情報処理装置に対して各種の指示を与
えたり、各種の情報を入力することが可能となるので、
情報処理装置を利用するための操作の簡素化を実現でき
る。
れば、情報入力者がキーボードやマウス等の入力機器に
触れることなく、情報処理装置に対して各種の指示を与
えたり、各種の情報を入力することが可能となるので、
情報処理装置を利用するための操作の簡素化を実現でき
る。
【０００４】
【発明が解決しようとする課題】しかしながら、ハンド
ポインティング入力装置を実際に運用する環境下では、
認識対象物体である情報入力者の周囲に、例えば情報入
力者の荷物やゴミ等の認識対象でない物体が存在してい
る可能性がある。照明装置から射出された照明光は情報
入力者の周囲にも照射されるので、上記のような非認識
対象物体が情報入力者の周囲に存在していると、撮像手
段の撮像によって得られた画像中に、非認識対象物体が
高輝度の物体として存在することになり、非認識対象物
体を情報入力者と誤認識する可能性が高い。
ポインティング入力装置を実際に運用する環境下では、
認識対象物体である情報入力者の周囲に、例えば情報入
力者の荷物やゴミ等の認識対象でない物体が存在してい
る可能性がある。照明装置から射出された照明光は情報
入力者の周囲にも照射されるので、上記のような非認識
対象物体が情報入力者の周囲に存在していると、撮像手
段の撮像によって得られた画像中に、非認識対象物体が
高輝度の物体として存在することになり、非認識対象物
体を情報入力者と誤認識する可能性が高い。
【０００５】この情報入力者の誤認識を回避するために
は、情報入力者の認識の精度を高くする必要があり、例
えば、輝度の他に複数の画像特徴量も用いて総合的に情
報入力者を認識する等の煩雑な画像処理（例えば画像特
徴量の１つである輪郭形状に基づくパターンマッチング
等）を行う必要がある。従って、撮像によって得られた
画像に基づき認識等の画像処理を行う画像処理部に多大
な負荷が加わるので、情報入力者からの指示の判定に時
間がかかる原因になっていた。そして、情報入力者から
の指示の判定に要する時間を短縮するためには処理速度
の高い画像処理部を用いる必要があり、装置のコストが
嵩むという問題があった。
は、情報入力者の認識の精度を高くする必要があり、例
えば、輝度の他に複数の画像特徴量も用いて総合的に情
報入力者を認識する等の煩雑な画像処理（例えば画像特
徴量の１つである輪郭形状に基づくパターンマッチング
等）を行う必要がある。従って、撮像によって得られた
画像に基づき認識等の画像処理を行う画像処理部に多大
な負荷が加わるので、情報入力者からの指示の判定に時
間がかかる原因になっていた。そして、情報入力者から
の指示の判定に要する時間を短縮するためには処理速度
の高い画像処理部を用いる必要があり、装置のコストが
嵩むという問題があった。
【０００６】また従来は、撮像によって得られた画像上
での情報入力者の特徴点（例えば人指し指の先端等）の
位置から、演算によって特徴点の３次元座標を求め、情
報入力者が指示したディスプレイ上の位置を判定してい
たが、特徴点の３次元座標を求めるための演算処理が複
雑であり、上記と同様に、情報入力者からの指示の判定
に時間がかかる原因になっていた。
での情報入力者の特徴点（例えば人指し指の先端等）の
位置から、演算によって特徴点の３次元座標を求め、情
報入力者が指示したディスプレイ上の位置を判定してい
たが、特徴点の３次元座標を求めるための演算処理が複
雑であり、上記と同様に、情報入力者からの指示の判定
に時間がかかる原因になっていた。
【０００７】また従来は、親指を上げる動作をクリック
動作として予め定めておき、クリック動作として親指を
上げる動作のみを検出するようにしていたが、動作とし
ての自由度が低く、使い勝手が悪いという問題があっ
た。しかし、クリック動作として親指を上げる動作以外
に別の動作も検出するようにすると、クリック動作を検
出するための処理が煩雑になり、クリック動作の検出に
時間がかかるという問題があった。
動作として予め定めておき、クリック動作として親指を
上げる動作のみを検出するようにしていたが、動作とし
ての自由度が低く、使い勝手が悪いという問題があっ
た。しかし、クリック動作として親指を上げる動作以外
に別の動作も検出するようにすると、クリック動作を検
出するための処理が煩雑になり、クリック動作の検出に
時間がかかるという問題があった。
【０００８】本発明は上記事実を考慮して成されたもの
で、構成が簡単で、認識対象者からの指示の判定に要す
る時間を短縮することができるハンドポインティング装
置を得ることが目的である。
で、構成が簡単で、認識対象者からの指示の判定に要す
る時間を短縮することができるハンドポインティング装
置を得ることが目的である。
【０００９】また本発明は、認識対象者からの指示の判
定に時間がかかることなく、認識対象者が指示するため
の動作の自由度を向上させることができるハンドポイン
ティング装置を得ることが目的である。
定に時間がかかることなく、認識対象者が指示するため
の動作の自由度を向上させることができるハンドポイン
ティング装置を得ることが目的である。
【００１０】
【課題を解決するための手段】上記目的を達成するため
に請求項１記載の発明に係るハンドポインティング装置
は、認識対象者を照明する照明手段と、互いに異なる位
置に配置され、前記照明手段によって照明された認識対
象者が撮像範囲内に入り、かつ前記照明手段によって照
明される床面上の照明範囲が撮像範囲から外れるように
撮像範囲が各々調整された複数の撮像手段と、認識対象
者が特定の位置又は方向を指し示している状況を前記複
数の撮像手段が各々撮像することで得られた複数の画像
に基づいて、前記画像中の前記認識対象者に相当する画
像部を抽出し、認識対象者が指し示した位置又は方向を
判断する判断手段と、を含んで構成している。
に請求項１記載の発明に係るハンドポインティング装置
は、認識対象者を照明する照明手段と、互いに異なる位
置に配置され、前記照明手段によって照明された認識対
象者が撮像範囲内に入り、かつ前記照明手段によって照
明される床面上の照明範囲が撮像範囲から外れるように
撮像範囲が各々調整された複数の撮像手段と、認識対象
者が特定の位置又は方向を指し示している状況を前記複
数の撮像手段が各々撮像することで得られた複数の画像
に基づいて、前記画像中の前記認識対象者に相当する画
像部を抽出し、認識対象者が指し示した位置又は方向を
判断する判断手段と、を含んで構成している。
【００１１】本発明において、認識対象者は、例えばデ
ィスプレイの表示面等の面上の特定の位置を指し示して
もよいし、特定の方向（例えば認識対象者から見て特定
の物体が存在している方向）を指し示してもよい。判断
手段は、認識対象者が特定の位置又は方向を指し示して
いる状況を複数の撮像手段が各々撮像することで得られ
た複数の画像に基づいて、画像中の認識対象者に相当す
る画像部を抽出し、認識対象者が指し示した位置又は方
向を判断する。この指し示した特定の位置又は方向の判
断は、具体的には、認識対象者の特徴点（認識対象者が
特定の位置又は方向を指し示す動作に応じて位置が変化
する点、例えば指し示す動作を行っている認識対象者の
身体の所定部分（例えば手、指等）の先端や、認識対象
者が把持している指示器の先端等）の３次元座標を演算
し、認識対象者の位置と前記特徴点の３次元座標に基づ
いて行うことができる。
ィスプレイの表示面等の面上の特定の位置を指し示して
もよいし、特定の方向（例えば認識対象者から見て特定
の物体が存在している方向）を指し示してもよい。判断
手段は、認識対象者が特定の位置又は方向を指し示して
いる状況を複数の撮像手段が各々撮像することで得られ
た複数の画像に基づいて、画像中の認識対象者に相当す
る画像部を抽出し、認識対象者が指し示した位置又は方
向を判断する。この指し示した特定の位置又は方向の判
断は、具体的には、認識対象者の特徴点（認識対象者が
特定の位置又は方向を指し示す動作に応じて位置が変化
する点、例えば指し示す動作を行っている認識対象者の
身体の所定部分（例えば手、指等）の先端や、認識対象
者が把持している指示器の先端等）の３次元座標を演算
し、認識対象者の位置と前記特徴点の３次元座標に基づ
いて行うことができる。
【００１２】また請求項１記載の発明では、複数の撮像
手段の撮像範囲が、照明手段によって照明された認識対
象者が撮像範囲内に入り、かつ照明手段によって照明さ
れる床面上の照明範囲が撮像範囲から外れるように各々
調整されている。これにより、認識対象者の周囲の床面
上に荷物やゴミ等の非認識対象物体が存在していたとし
ても、この非認識対象物体が撮像手段の撮像範囲内に入
る可能性が低くなると共に、仮に非認識対象物体が撮像
範囲内に入っていたとしてもその輝度は低くなるので、
撮像手段の撮像によって得られた画像についても、非認
識対象物体に相当する画像部が存在する確率が低く、か
つ前記画像部が存在していたとしてもその輝度が低くな
る。
手段の撮像範囲が、照明手段によって照明された認識対
象者が撮像範囲内に入り、かつ照明手段によって照明さ
れる床面上の照明範囲が撮像範囲から外れるように各々
調整されている。これにより、認識対象者の周囲の床面
上に荷物やゴミ等の非認識対象物体が存在していたとし
ても、この非認識対象物体が撮像手段の撮像範囲内に入
る可能性が低くなると共に、仮に非認識対象物体が撮像
範囲内に入っていたとしてもその輝度は低くなるので、
撮像手段の撮像によって得られた画像についても、非認
識対象物体に相当する画像部が存在する確率が低く、か
つ前記画像部が存在していたとしてもその輝度が低くな
る。
【００１３】このため、判断手段での認識対象者に相当
する画像部の抽出において、複雑な画像処理を行うこと
なく、認識対象者に相当する画像部を簡単な処理により
短時間で抽出することができる。従って、処理速度の高
い画像処理部等を用いることで構成が複雑化することな
く、認識対象者からの指示の判定に要する時間を短縮す
ることができる。
する画像部の抽出において、複雑な画像処理を行うこと
なく、認識対象者に相当する画像部を簡単な処理により
短時間で抽出することができる。従って、処理速度の高
い画像処理部等を用いることで構成が複雑化することな
く、認識対象者からの指示の判定に要する時間を短縮す
ることができる。
【００１４】請求項２記載の発明に係るハンドポインテ
ィング装置は、互いに異なる方向から認識対象者を照明
する複数の照明手段と、互いに異なる位置に配置され、
前記照明手段によって照明された認識対象者が撮像範囲
内に入り、かつ互いに異なる照明手段によって照明され
る床面上の互いに異なる照明範囲が撮像範囲から外れる
ように、撮像範囲が各々調整された複数の撮像手段と、
認識対象者が特定の位置又は方向を指し示しているとき
に、複数の照明手段の何れか１つを順に点灯させると共
に、複数の照明手段の各々の点灯時に、点灯している照
明手段によって照明される床面上の照明範囲が撮像範囲
から外れている撮像手段によって前記認識対象者を撮像
させ、該撮像によって得られた画像を出力させる制御手
段と、前記複数の撮像手段から各々出力された複数の画
像に基づいて、前記画像中の認識対象者に相当する画像
部を抽出し、認識対象者が指し示した位置又は方向を判
断する判断手段と、を含んで構成している。
ィング装置は、互いに異なる方向から認識対象者を照明
する複数の照明手段と、互いに異なる位置に配置され、
前記照明手段によって照明された認識対象者が撮像範囲
内に入り、かつ互いに異なる照明手段によって照明され
る床面上の互いに異なる照明範囲が撮像範囲から外れる
ように、撮像範囲が各々調整された複数の撮像手段と、
認識対象者が特定の位置又は方向を指し示しているとき
に、複数の照明手段の何れか１つを順に点灯させると共
に、複数の照明手段の各々の点灯時に、点灯している照
明手段によって照明される床面上の照明範囲が撮像範囲
から外れている撮像手段によって前記認識対象者を撮像
させ、該撮像によって得られた画像を出力させる制御手
段と、前記複数の撮像手段から各々出力された複数の画
像に基づいて、前記画像中の認識対象者に相当する画像
部を抽出し、認識対象者が指し示した位置又は方向を判
断する判断手段と、を含んで構成している。
【００１５】請求項２記載の発明では、互いに異なる方
向から認識対象者を照明する複数の照明手段が設けられ
ており、複数の撮像手段は、互いに異なる位置に配置さ
れ、照明手段によって照明された認識対象者が撮像範囲
内に入り、かつ互いに異なる照明手段によって照明され
る床面上の互いに異なる照明範囲が撮像範囲から外れる
ように、撮像範囲が各々調整されている。これにより、
認識対象者の周囲の床面上に荷物やゴミ等の非認識対象
物体が存在していたとしても、この非認識対象物体が各
撮像手段の撮像範囲内に入る可能性が低くなる。
向から認識対象者を照明する複数の照明手段が設けられ
ており、複数の撮像手段は、互いに異なる位置に配置さ
れ、照明手段によって照明された認識対象者が撮像範囲
内に入り、かつ互いに異なる照明手段によって照明され
る床面上の互いに異なる照明範囲が撮像範囲から外れる
ように、撮像範囲が各々調整されている。これにより、
認識対象者の周囲の床面上に荷物やゴミ等の非認識対象
物体が存在していたとしても、この非認識対象物体が各
撮像手段の撮像範囲内に入る可能性が低くなる。
【００１６】また制御手段は、認識対象者が特定の位置
又は方向を指し示しているときに複数の照明手段の何れ
か１つを順に点灯させると共に、複数の照明手段の各々
の点灯時に、点灯している照明手段による床面上の照明
範囲が撮像範囲から外れている撮像手段によって認識対
象者を撮像させ、該撮像によって得られた画像を出力さ
せる。これにより、仮に非認識対象物体が撮像範囲内に
入っていたとしても、その輝度が低い状況で各撮像手段
での撮像が行われ、撮像によって得られた画像が出力さ
れることになる。
又は方向を指し示しているときに複数の照明手段の何れ
か１つを順に点灯させると共に、複数の照明手段の各々
の点灯時に、点灯している照明手段による床面上の照明
範囲が撮像範囲から外れている撮像手段によって認識対
象者を撮像させ、該撮像によって得られた画像を出力さ
せる。これにより、仮に非認識対象物体が撮像範囲内に
入っていたとしても、その輝度が低い状況で各撮像手段
での撮像が行われ、撮像によって得られた画像が出力さ
れることになる。
【００１７】そして、判断手段は、複数の撮像手段から
各々出力された複数の画像に基づいて、画像中の認識対
象者に相当する画像部を抽出し、認識対象者が指し示し
た位置又は方向を判断する。これにより、請求項１の発
明と同様に、非認識対象物体に相当する画像部が存在す
る確率が低く、かつ該画像部が存在していたとしてもそ
の輝度が低い複数の画像に基づいて、認識対象者に相当
する画像部の抽出が行われるので、複雑な画像処理を行
うことなく、認識対象者に相当する画像部を簡単な処理
により短時間で抽出することができる。従って、処理速
度の高い画像処理部等を用いることで構成が複雑化する
ことなく、認識対象者からの指示の判定に要する時間を
短縮することができる。
各々出力された複数の画像に基づいて、画像中の認識対
象者に相当する画像部を抽出し、認識対象者が指し示し
た位置又は方向を判断する。これにより、請求項１の発
明と同様に、非認識対象物体に相当する画像部が存在す
る確率が低く、かつ該画像部が存在していたとしてもそ
の輝度が低い複数の画像に基づいて、認識対象者に相当
する画像部の抽出が行われるので、複雑な画像処理を行
うことなく、認識対象者に相当する画像部を簡単な処理
により短時間で抽出することができる。従って、処理速
度の高い画像処理部等を用いることで構成が複雑化する
ことなく、認識対象者からの指示の判定に要する時間を
短縮することができる。
【００１８】請求項３記載の発明に係るハンドポインテ
ィング装置は、互いに異なる方向から認識対象者を照明
する複数の照明手段と、前記照明手段によって照明され
た認識対象者を互いに異なる方向から撮像する複数の撮
像手段と、認識対象者が特定の位置又は方向を指し示し
ているときに、前記複数の照明手段の何れか１つを順に
点灯させると共に、複数の照明手段の各々の点灯時に同
一の撮像手段の撮像によって各々得られた複数の画像を
比較し、前記複数の画像中の前記認識対象者に相当する
画像部とそれ以外の画像部とを判別することを、複数の
撮像手段に対して各々行う判別手段と、前記判別手段に
よる判別結果に基づいて、前記複数の撮像手段の各々が
撮像した画像から認識対象者に相当する画像部を各々抽
出し、認識対象者が指し示した位置又は方向を判断する
判断手段と、を含んで構成している。
ィング装置は、互いに異なる方向から認識対象者を照明
する複数の照明手段と、前記照明手段によって照明され
た認識対象者を互いに異なる方向から撮像する複数の撮
像手段と、認識対象者が特定の位置又は方向を指し示し
ているときに、前記複数の照明手段の何れか１つを順に
点灯させると共に、複数の照明手段の各々の点灯時に同
一の撮像手段の撮像によって各々得られた複数の画像を
比較し、前記複数の画像中の前記認識対象者に相当する
画像部とそれ以外の画像部とを判別することを、複数の
撮像手段に対して各々行う判別手段と、前記判別手段に
よる判別結果に基づいて、前記複数の撮像手段の各々が
撮像した画像から認識対象者に相当する画像部を各々抽
出し、認識対象者が指し示した位置又は方向を判断する
判断手段と、を含んで構成している。
【００１９】請求項３記載の発明では、判別手段が、認
識対象者が特定の位置又は方向を指し示しているときに
複数の照明手段の何れか１つを順に点灯させると共に、
複数の照明手段の各々の点灯時に同一の撮像手段の撮像
によって各々得られた複数の画像を比較し、複数の画像
中の認識対象者に相当する画像部とそれ以外の画像部と
を判別することを、複数の撮像手段に対して各々行う。
識対象者が特定の位置又は方向を指し示しているときに
複数の照明手段の何れか１つを順に点灯させると共に、
複数の照明手段の各々の点灯時に同一の撮像手段の撮像
によって各々得られた複数の画像を比較し、複数の画像
中の認識対象者に相当する画像部とそれ以外の画像部と
を判別することを、複数の撮像手段に対して各々行う。
【００２０】複数の照明手段は認識対象者を照明する方
向が互いに異なっているので、複数の照明手段の各々の
点灯時に同一の撮像手段の撮像によって各々得られる複
数の画像において、認識対象者に相当する画像部につい
ては常に高い輝度となるが、認識対象者の周囲の床面上
に荷物やゴミ等の非認識対象物体が存在していたとする
と、該非認識対象物体に相当する画像部については、撮
像時の照明の方向によって輝度が大きく変動する。従っ
て、画像中の各画像部の輝度を前記複数の画像に亘って
比較（例えば輝度の平均値や最低値を各画像部毎に比
較）する、という非常に簡単な処理により、画像中の認
識対象者に相当する画像部とそれ以外の画像部とを判別
することができる。
向が互いに異なっているので、複数の照明手段の各々の
点灯時に同一の撮像手段の撮像によって各々得られる複
数の画像において、認識対象者に相当する画像部につい
ては常に高い輝度となるが、認識対象者の周囲の床面上
に荷物やゴミ等の非認識対象物体が存在していたとする
と、該非認識対象物体に相当する画像部については、撮
像時の照明の方向によって輝度が大きく変動する。従っ
て、画像中の各画像部の輝度を前記複数の画像に亘って
比較（例えば輝度の平均値や最低値を各画像部毎に比
較）する、という非常に簡単な処理により、画像中の認
識対象者に相当する画像部とそれ以外の画像部とを判別
することができる。
【００２１】そして判断手段は、判別手段による判別結
果に基づいて、複数の撮像手段の各々が撮像した画像か
ら認識対象者に相当する画像部を各々抽出し、認識対象
者が指し示した位置又は方向を判断するので、複雑な画
像処理を行うことなく、認識対象者に相当する画像部を
簡単な処理により短時間で抽出することができ、処理速
度の高い画像処理部等を用いることで構成が複雑化する
ことなく、認識対象者からの指示の判定に要する時間を
短縮することができる。
果に基づいて、複数の撮像手段の各々が撮像した画像か
ら認識対象者に相当する画像部を各々抽出し、認識対象
者が指し示した位置又は方向を判断するので、複雑な画
像処理を行うことなく、認識対象者に相当する画像部を
簡単な処理により短時間で抽出することができ、処理速
度の高い画像処理部等を用いることで構成が複雑化する
ことなく、認識対象者からの指示の判定に要する時間を
短縮することができる。
【００２２】請求項４記載の発明に係るハンドポインテ
ィング装置は、認識対象者を照明する照明手段と、前記
照明手段によって照明された認識対象者を互いに異なる
方向から撮像する複数の撮像手段と、認識対象者が特定
の位置又は方向を指し示している状況を前記複数の撮像
手段が各々撮像することで得られた複数の画像に基づい
て、前記画像中の前記認識対象者に相当する画像部を抽
出し、認識対象者が指し示した位置又は方向を判断する
判断手段と、前記認識対象者の周囲の床面上に非認識対
象物体が停滞することを阻止する阻止手段と、を含んで
構成している。
ィング装置は、認識対象者を照明する照明手段と、前記
照明手段によって照明された認識対象者を互いに異なる
方向から撮像する複数の撮像手段と、認識対象者が特定
の位置又は方向を指し示している状況を前記複数の撮像
手段が各々撮像することで得られた複数の画像に基づい
て、前記画像中の前記認識対象者に相当する画像部を抽
出し、認識対象者が指し示した位置又は方向を判断する
判断手段と、前記認識対象者の周囲の床面上に非認識対
象物体が停滞することを阻止する阻止手段と、を含んで
構成している。
【００２３】請求項４記載の発明では、認識対象者の周
囲の床面上に非認識対象物体が停滞することを阻止する
阻止手段が設けられている。これにより、認識対象者の
周囲に非認識対象物体が停滞することが阻止されるの
で、撮像手段の撮像によって得られた画像中に非認識対
象物体に相当する画像部が存在することを防止すること
ができ、判断手段では、前記画像に基づいて、認識対象
者に相当する画像部を抽出し、認識対象者が指し示した
位置又は方向を判断するので、複雑な画像処理を行うこ
となく、認識対象者に相当する画像部を簡単な処理によ
り短時間で抽出することができる。従って、処理速度の
高い画像処理部等を用いることで構成が複雑化すること
なく、認識対象者からの指示の判定に要する時間を短縮
することができる。
囲の床面上に非認識対象物体が停滞することを阻止する
阻止手段が設けられている。これにより、認識対象者の
周囲に非認識対象物体が停滞することが阻止されるの
で、撮像手段の撮像によって得られた画像中に非認識対
象物体に相当する画像部が存在することを防止すること
ができ、判断手段では、前記画像に基づいて、認識対象
者に相当する画像部を抽出し、認識対象者が指し示した
位置又は方向を判断するので、複雑な画像処理を行うこ
となく、認識対象者に相当する画像部を簡単な処理によ
り短時間で抽出することができる。従って、処理速度の
高い画像処理部等を用いることで構成が複雑化すること
なく、認識対象者からの指示の判定に要する時間を短縮
することができる。
【００２４】なお、この阻止手段としては、例えば認識
対象者の周囲の床面上に形成した傾斜面（スロープ）が
挙げられる。これにより、大きさが比較的大きい非認識
対象物体（例えば認識対象者の荷物等）が認識対象者の
周囲に載置されたとしても、該非認識対象物体が傾斜面
上を滑り落ちることになるので、認識対象者の荷物等の
非認識対象物体が認識対象者の周囲に載置されることが
阻止される。
対象者の周囲の床面上に形成した傾斜面（スロープ）が
挙げられる。これにより、大きさが比較的大きい非認識
対象物体（例えば認識対象者の荷物等）が認識対象者の
周囲に載置されたとしても、該非認識対象物体が傾斜面
上を滑り落ちることになるので、認識対象者の荷物等の
非認識対象物体が認識対象者の周囲に載置されることが
阻止される。
【００２５】また、阻止手段として、認識対象者の周囲
に空気の流れを発生させるファン等の空気流発生手段を
適用してもよい。これにより、大きさが比較的小さい非
認識対象物体（例えば小さなゴミや塵埃等）は、発生さ
れた空気流によって吹き飛ばされるので、小さなゴミ等
の非認識対象物体が認識対象者の周囲に滞留することが
阻止される。また阻止手段として、認識対象者の周囲に
水等を貯留する貯留槽を配設してもよいし、更に前記貯
留槽を環状とし、貯留槽内を水等が循環するように構成
し、これを阻止手段としてもよい。
に空気の流れを発生させるファン等の空気流発生手段を
適用してもよい。これにより、大きさが比較的小さい非
認識対象物体（例えば小さなゴミや塵埃等）は、発生さ
れた空気流によって吹き飛ばされるので、小さなゴミ等
の非認識対象物体が認識対象者の周囲に滞留することが
阻止される。また阻止手段として、認識対象者の周囲に
水等を貯留する貯留槽を配設してもよいし、更に前記貯
留槽を環状とし、貯留槽内を水等が循環するように構成
し、これを阻止手段としてもよい。
【００２６】請求項５記載の発明に係るハンドポインテ
ィング装置は、所定箇所に到来した認識対象者を照明す
る照明手段と、前記照明手段によって照明された認識対
象者を互いに異なる方向から撮像する複数の撮像手段
と、前記所定箇所付近に位置している複数の仮想点の各
々の３次元座標と各撮像手段の撮像によって得られる各
画像上での前記複数の仮想点の各々の位置とを対応付け
る情報を記憶する記憶手段と、認識対象者が特定の位置
又は方向を指し示している状況を複数の撮像手段が各々
撮像することで得られた複数の画像に基づいて、各画像
中の前記認識対象者に相当する画像部を抽出して認識対
象者の特徴点の前記各画像上での位置を求め、前記各画
像上での特徴点の位置及び前記記憶手段に記憶された情
報に基づいて前記特徴点の３次元座標を求め、求めた特
徴点の３次元座標に基づいて認識対象者が指し示した位
置又は方向を判断する判断手段と、を含んで構成してい
る。
ィング装置は、所定箇所に到来した認識対象者を照明す
る照明手段と、前記照明手段によって照明された認識対
象者を互いに異なる方向から撮像する複数の撮像手段
と、前記所定箇所付近に位置している複数の仮想点の各
々の３次元座標と各撮像手段の撮像によって得られる各
画像上での前記複数の仮想点の各々の位置とを対応付け
る情報を記憶する記憶手段と、認識対象者が特定の位置
又は方向を指し示している状況を複数の撮像手段が各々
撮像することで得られた複数の画像に基づいて、各画像
中の前記認識対象者に相当する画像部を抽出して認識対
象者の特徴点の前記各画像上での位置を求め、前記各画
像上での特徴点の位置及び前記記憶手段に記憶された情
報に基づいて前記特徴点の３次元座標を求め、求めた特
徴点の３次元座標に基づいて認識対象者が指し示した位
置又は方向を判断する判断手段と、を含んで構成してい
る。
【００２７】請求項５記載の発明では、所定箇所付近に
位置している複数の仮想点の各々の３次元座標と複数の
撮像手段の各々の撮像によって得られる各画像上での複
数の仮想点の各々の位置とを対応付ける情報が記憶手段
に記憶されている。判断手段は、認識対象者が特定の位
置又は方向を指し示している状況を複数の撮像手段が各
々撮像することで得られた複数の画像に基づいて、各画
像中の認識対象者に相当する画像部を抽出して認識対象
者の特徴点の各画像上での位置を求め、各画像上での特
徴点の位置及び前記記憶手段に記憶された情報に基づい
て前記特徴点の３次元座標を求め、認識対象者が指し示
した位置又は方向を判断する。
位置している複数の仮想点の各々の３次元座標と複数の
撮像手段の各々の撮像によって得られる各画像上での複
数の仮想点の各々の位置とを対応付ける情報が記憶手段
に記憶されている。判断手段は、認識対象者が特定の位
置又は方向を指し示している状況を複数の撮像手段が各
々撮像することで得られた複数の画像に基づいて、各画
像中の認識対象者に相当する画像部を抽出して認識対象
者の特徴点の各画像上での位置を求め、各画像上での特
徴点の位置及び前記記憶手段に記憶された情報に基づい
て前記特徴点の３次元座標を求め、認識対象者が指し示
した位置又は方向を判断する。
【００２８】このように、請求項５の発明では、所定箇
所付近に位置している複数の仮想点の各々の３次元座標
と、各撮像手段の撮像によって得られる各画像上での複
数の仮想点の位置との対応が、記憶手段に記憶されてい
る情報により予め判明しており、認識対象者の特徴点の
３次元座標を前記情報に基づいて求めているので、非常
に簡単な処理で認識対象者の特徴点の３次元座標を求め
ることができる。従って、処理速度の高い画像処理部等
を用いることで構成が複雑化することなく、認識対象者
からの指示の判定に要する時間を短縮することができ
る。
所付近に位置している複数の仮想点の各々の３次元座標
と、各撮像手段の撮像によって得られる各画像上での複
数の仮想点の位置との対応が、記憶手段に記憶されてい
る情報により予め判明しており、認識対象者の特徴点の
３次元座標を前記情報に基づいて求めているので、非常
に簡単な処理で認識対象者の特徴点の３次元座標を求め
ることができる。従って、処理速度の高い画像処理部等
を用いることで構成が複雑化することなく、認識対象者
からの指示の判定に要する時間を短縮することができ
る。
【００２９】ところで、請求項５の発明において、認識
対象者の特徴点の３次元座標を精度良く求めるために
は、多数の仮想点について、各々の３次元座標と各画像
上での各々の位置とを対応付けて記憶しておくことが望
ましいが、更に好ましくは、請求項６に記載したよう
に、記憶手段に、所定箇所付近に一定間隔で格子状に並
ぶ多数の仮想点について、各々の３次元座標と前記各画
像上での各々の位置との対応を表す情報が記憶されてい
ることが望ましい。
対象者の特徴点の３次元座標を精度良く求めるために
は、多数の仮想点について、各々の３次元座標と各画像
上での各々の位置とを対応付けて記憶しておくことが望
ましいが、更に好ましくは、請求項６に記載したよう
に、記憶手段に、所定箇所付近に一定間隔で格子状に並
ぶ多数の仮想点について、各々の３次元座標と前記各画
像上での各々の位置との対応を表す情報が記憶されてい
ることが望ましい。
【００３０】請求項６の発明では、多数の仮想点が一定
間隔で格子状に並んでいるので、特徴点が所定箇所付近
の何れの位置に位置していたとしても、特徴点に近接し
た位置に仮想点が存在していることになる。３次元座標
上で近接した位置に存在している可能性の高い仮想点の
３次元座標に基づいて特徴点の３次元座標を求めること
により、特徴点の３次元座標上での位置に拘らず、特徴
点の３次元座標を精度良く求めることができる。
間隔で格子状に並んでいるので、特徴点が所定箇所付近
の何れの位置に位置していたとしても、特徴点に近接し
た位置に仮想点が存在していることになる。３次元座標
上で近接した位置に存在している可能性の高い仮想点の
３次元座標に基づいて特徴点の３次元座標を求めること
により、特徴点の３次元座標上での位置に拘らず、特徴
点の３次元座標を精度良く求めることができる。
【００３１】また、上記のように多数の仮想点が一定間
隔で格子状に並んでいる場合、特徴点の３次元座標は、
例えば以下のようにして求めることができる。すなわ
ち、請求項７記載の発明は、請求項６の発明において、
判断手段は、複数の撮像手段の撮像によって得られる各
画像上での特徴点の位置を各々求めた後に、画像上での
位置が前記特徴点を包含する所定範囲内である仮想点を
前記各画像から各々抽出し、前記各画像から共通に抽出
された仮想点の３次元座標に基づいて前記特徴点の３次
元座標を求めることを特徴としている。
隔で格子状に並んでいる場合、特徴点の３次元座標は、
例えば以下のようにして求めることができる。すなわ
ち、請求項７記載の発明は、請求項６の発明において、
判断手段は、複数の撮像手段の撮像によって得られる各
画像上での特徴点の位置を各々求めた後に、画像上での
位置が前記特徴点を包含する所定範囲内である仮想点を
前記各画像から各々抽出し、前記各画像から共通に抽出
された仮想点の３次元座標に基づいて前記特徴点の３次
元座標を求めることを特徴としている。
【００３２】請求項７の発明では、判断手段が、各画像
上での特徴点の位置を各々求めた後に、画像上での位置
が特徴点を包含する所定範囲内である仮想点を各画像か
ら各々抽出する。これにより、３次元座標上で特徴点に
近接した位置に存在している可能性がある仮想点が全て
抽出される。なお、前記所定範囲の広さは仮想点の間隔
に応じて定めることができる。また判断手段は、各画像
から共通に抽出された仮想点の３次元座標に基づいて特
徴点の３次元座標を求めている。撮像手段の撮像によっ
て得られる画像は撮像範囲内の状況を平面に投影した画
像であるので、３次元座標が異なっているものの撮像手
段から重なって見える位置関係にある点は撮像によって
得られた画像上での位置が等しいが、各画像から共通に
抽出された仮想点は３次元座標上で特徴点に近接した位
置に存在している仮想点であるので、前記共通に抽出さ
れた仮想点の３次元座標から特徴点の３次元座標を求め
ることにより、特徴点の３次元座標を更に精度良く求め
ることができる。
上での特徴点の位置を各々求めた後に、画像上での位置
が特徴点を包含する所定範囲内である仮想点を各画像か
ら各々抽出する。これにより、３次元座標上で特徴点に
近接した位置に存在している可能性がある仮想点が全て
抽出される。なお、前記所定範囲の広さは仮想点の間隔
に応じて定めることができる。また判断手段は、各画像
から共通に抽出された仮想点の３次元座標に基づいて特
徴点の３次元座標を求めている。撮像手段の撮像によっ
て得られる画像は撮像範囲内の状況を平面に投影した画
像であるので、３次元座標が異なっているものの撮像手
段から重なって見える位置関係にある点は撮像によって
得られた画像上での位置が等しいが、各画像から共通に
抽出された仮想点は３次元座標上で特徴点に近接した位
置に存在している仮想点であるので、前記共通に抽出さ
れた仮想点の３次元座標から特徴点の３次元座標を求め
ることにより、特徴点の３次元座標を更に精度良く求め
ることができる。
【００３３】なお、記憶手段に記憶する情報は、認識対
象者が到来する所定箇所と撮像手段との位置関係が正確
に一定である場合には、所定箇所付近に位置している複
数の仮想点の各々の３次元座標、及び各撮像手段の撮像
によって得られる各画像上での複数の仮想点の各々の位
置を実験等により測定し、測定結果に基づいて固定的に
設定することも可能であるが、前記位置関係にばらつき
があったり、個々のハンドポインティング装置毎に前記
位置関係が大幅に異なる設計となっている等の場合に
は、記憶手段に記憶する情報を設定し直す必要がある。
象者が到来する所定箇所と撮像手段との位置関係が正確
に一定である場合には、所定箇所付近に位置している複
数の仮想点の各々の３次元座標、及び各撮像手段の撮像
によって得られる各画像上での複数の仮想点の各々の位
置を実験等により測定し、測定結果に基づいて固定的に
設定することも可能であるが、前記位置関係にばらつき
があったり、個々のハンドポインティング装置毎に前記
位置関係が大幅に異なる設計となっている等の場合に
は、記憶手段に記憶する情報を設定し直す必要がある。
【００３４】上記を考慮し、請求項８記載の発明は、請
求項５又は請求項６の発明において、前記仮想点の位置
にマーカが位置している状況を前記複数の撮像手段によ
って撮像させ、前記仮想点の３次元座標と各撮像手段の
撮像によって得られた各画像上でのマーカの位置とに基
づいて、仮想点の３次元座標と前記各画像上での仮想点
の位置とを対応付ける情報を生成し、前記記憶手段に記
憶させる生成手段を更に備えたことを特徴としている。
求項５又は請求項６の発明において、前記仮想点の位置
にマーカが位置している状況を前記複数の撮像手段によ
って撮像させ、前記仮想点の３次元座標と各撮像手段の
撮像によって得られた各画像上でのマーカの位置とに基
づいて、仮想点の３次元座標と前記各画像上での仮想点
の位置とを対応付ける情報を生成し、前記記憶手段に記
憶させる生成手段を更に備えたことを特徴としている。
【００３５】なお、上記のマーカは撮像によって得られ
た画像上での識別が容易なものであればよく、例えば特
有の色に着色されたマークや、ＬＥＤ等の発光源を用い
ることができる。また、所定位置にマーカを位置させる
ことは、人間が行ってもよいし、マーカを任意の位置に
移動可能な移動手段を設けて自動的に行ってもよい。移
動手段によってマーカを移動させる場合には、移動手段
によるマーカの移動量から所定位置の３次元座標を求め
ることができる。
た画像上での識別が容易なものであればよく、例えば特
有の色に着色されたマークや、ＬＥＤ等の発光源を用い
ることができる。また、所定位置にマーカを位置させる
ことは、人間が行ってもよいし、マーカを任意の位置に
移動可能な移動手段を設けて自動的に行ってもよい。移
動手段によってマーカを移動させる場合には、移動手段
によるマーカの移動量から所定位置の３次元座標を求め
ることができる。
【００３６】請求項８の発明では、仮想点の３次元座標
と前記各画像上での仮想点の位置とを対応付ける情報が
生成手段によって自動的に生成されるので、認識対象者
が到来する所定箇所と撮像手段との位置関係にばらつき
があったり、個々のハンドポインティング装置毎に前記
位置関係が大幅に異なる設計となっている等の場合であ
っても、仮想点の３次元座標と前記各画像上での仮想点
の位置とを精度良く対応付ける情報を自動的に得ること
ができる。
と前記各画像上での仮想点の位置とを対応付ける情報が
生成手段によって自動的に生成されるので、認識対象者
が到来する所定箇所と撮像手段との位置関係にばらつき
があったり、個々のハンドポインティング装置毎に前記
位置関係が大幅に異なる設計となっている等の場合であ
っても、仮想点の３次元座標と前記各画像上での仮想点
の位置とを精度良く対応付ける情報を自動的に得ること
ができる。
【００３７】請求項９記載の発明に係るハンドポインテ
ィング装置は、認識対象者を照明する照明手段と、前記
照明手段によって照明された認識対象者を互いに異なる
方向から撮像する複数の撮像手段と、認識対象者が特定
の位置又は方向を指し示している状況を前記複数の撮像
手段が各々撮像することで得られた複数の画像に基づい
て、前記画像中の前記認識対象者に相当する画像部を抽
出し、認識対象者が指し示した位置又は方向を判断する
判断手段と、前記複数の画像中の前記認識対象者の身体
の所定部分に相当する画像部を抽出し、前記画像部の面
積又は輪郭の形状又は輪郭線の長さの変化を検出する第
１の検出手段と、前記第１の検出手段によって前記画像
部の面積又は輪郭の形状又は輪郭線の長さの変化が検出
された場合に所定の処理を実行する処理手段と、を含ん
で構成している。
ィング装置は、認識対象者を照明する照明手段と、前記
照明手段によって照明された認識対象者を互いに異なる
方向から撮像する複数の撮像手段と、認識対象者が特定
の位置又は方向を指し示している状況を前記複数の撮像
手段が各々撮像することで得られた複数の画像に基づい
て、前記画像中の前記認識対象者に相当する画像部を抽
出し、認識対象者が指し示した位置又は方向を判断する
判断手段と、前記複数の画像中の前記認識対象者の身体
の所定部分に相当する画像部を抽出し、前記画像部の面
積又は輪郭の形状又は輪郭線の長さの変化を検出する第
１の検出手段と、前記第１の検出手段によって前記画像
部の面積又は輪郭の形状又は輪郭線の長さの変化が検出
された場合に所定の処理を実行する処理手段と、を含ん
で構成している。
【００３８】請求項９記載の発明では、複数の画像中の
認識対象者の身体の所定部分（例えば手や腕等）に相当
する画像部を抽出し、前記画像部の面積又は輪郭の形状
又は輪郭線の長さの変化を検出する第１の検出手段が設
けられており、処理手段は、前記画像部の面積又は輪郭
の形状又は輪郭線の長さの変化が検出された場合に所定
の処理を実行する。上記の画像部の面積、輪郭の形状、
輪郭線の長さは、比較的簡単に検出できると共に、認識
対象者が身体の所定部分を動せば、それが予め定められ
ていない動作であったとしても、殆どの場合、前記所定
部分に相当する画像部の面積、輪郭の形状、輪郭線の長
さは変化する。
認識対象者の身体の所定部分（例えば手や腕等）に相当
する画像部を抽出し、前記画像部の面積又は輪郭の形状
又は輪郭線の長さの変化を検出する第１の検出手段が設
けられており、処理手段は、前記画像部の面積又は輪郭
の形状又は輪郭線の長さの変化が検出された場合に所定
の処理を実行する。上記の画像部の面積、輪郭の形状、
輪郭線の長さは、比較的簡単に検出できると共に、認識
対象者が身体の所定部分を動せば、それが予め定められ
ていない動作であったとしても、殆どの場合、前記所定
部分に相当する画像部の面積、輪郭の形状、輪郭線の長
さは変化する。
【００３９】従って、処理手段に所定の処理の実行を指
示するための認識対象者の動作の自由度が向上すると共
に、該動作を短時間で検出することができるので、認識
対象者からの指示を短時間で判定することができる。
示するための認識対象者の動作の自由度が向上すると共
に、該動作を短時間で検出することができるので、認識
対象者からの指示を短時間で判定することができる。
【００４０】ところで、人間が特定の位置や特定の方向
を指し示す動作では、指し示す位置や方向を変更した場
合であっても、指先等は一般に腕の付け根付近を中心と
する仮想的な球面に沿って移動するのみであり、指先等
と腕の付け根を含む胴体部との距離は殆ど変化しない。
を指し示す動作では、指し示す位置や方向を変更した場
合であっても、指先等は一般に腕の付け根付近を中心と
する仮想的な球面に沿って移動するのみであり、指先等
と腕の付け根を含む胴体部との距離は殆ど変化しない。
【００４１】上記に着目し、請求項１０記載の発明に係
るハンドポインティング装置は、認識対象者を照明する
照明手段と、前記照明手段によって照明された認識対象
者を互いに異なる方向から撮像する複数の撮像手段と、
認識対象者が特定の位置又は方向を指し示している状況
を前記複数の撮像手段が各々撮像することで得られた複
数の画像に基づいて、前記画像中の前記認識対象者に相
当する画像部を抽出し、認識対象者が腕を屈曲又は伸長
させることで位置が変化する特徴点及び認識対象者が腕
を屈曲及び伸長させても位置が変化しない基準点の３次
元座標を求め、特徴点及び基準点の３次元座標に基づい
て認識対象者が指し示した位置又は方向を判断する判断
手段と、前記基準点と前記特徴点との距離を演算し、基
準点と特徴点との距離の変化に基づいて所定の処理を実
行する処理手段と、を含んで構成している。
るハンドポインティング装置は、認識対象者を照明する
照明手段と、前記照明手段によって照明された認識対象
者を互いに異なる方向から撮像する複数の撮像手段と、
認識対象者が特定の位置又は方向を指し示している状況
を前記複数の撮像手段が各々撮像することで得られた複
数の画像に基づいて、前記画像中の前記認識対象者に相
当する画像部を抽出し、認識対象者が腕を屈曲又は伸長
させることで位置が変化する特徴点及び認識対象者が腕
を屈曲及び伸長させても位置が変化しない基準点の３次
元座標を求め、特徴点及び基準点の３次元座標に基づい
て認識対象者が指し示した位置又は方向を判断する判断
手段と、前記基準点と前記特徴点との距離を演算し、基
準点と特徴点との距離の変化に基づいて所定の処理を実
行する処理手段と、を含んで構成している。
【００４２】請求項１０記載の発明に係る判断手段は、
複数の画像から認識対象者に相当する画像部を抽出し、
認識対象者が腕を屈曲又は伸長させることで位置が変化
する特徴点及び認識対象者が腕を屈曲及び伸長させても
位置が変化しない基準点の３次元座標を求め、特徴点及
び基準点の３次元座標に基づいて認識対象者が指し示し
た位置又は方向を判断する。また処理手段は、基準点と
特徴点との距離を演算し、基準点と特徴点との距離の変
化に基づいて所定の処理を実行する。なお特徴点として
は、例えば認識対象者の手や指等の先端、或いは認識対
象者が把持している指示器の先端等に相当する点を用い
ることができ、基準点としては、例えば認識対象者の胴
体部（例えば胸部や腕の付け根等）に相当する点を用い
ることができる。
複数の画像から認識対象者に相当する画像部を抽出し、
認識対象者が腕を屈曲又は伸長させることで位置が変化
する特徴点及び認識対象者が腕を屈曲及び伸長させても
位置が変化しない基準点の３次元座標を求め、特徴点及
び基準点の３次元座標に基づいて認識対象者が指し示し
た位置又は方向を判断する。また処理手段は、基準点と
特徴点との距離を演算し、基準点と特徴点との距離の変
化に基づいて所定の処理を実行する。なお特徴点として
は、例えば認識対象者の手や指等の先端、或いは認識対
象者が把持している指示器の先端等に相当する点を用い
ることができ、基準点としては、例えば認識対象者の胴
体部（例えば胸部や腕の付け根等）に相当する点を用い
ることができる。
【００４３】これにより、基準点から特徴点に向かう方
向が認識対象者から見て指示対象としての位置又は方向
に対応するように、基準点に対する特徴点の方向を調節
する動作を行えば、指し示した位置又は方向が判断手段
によって判断され、認識対象者が腕を屈曲又は伸長させ
る動作を行えば、基準点と特徴点との距離が変化し、こ
の距離の変化に基づいて所定の処理が行われることにな
る。
向が認識対象者から見て指示対象としての位置又は方向
に対応するように、基準点に対する特徴点の方向を調節
する動作を行えば、指し示した位置又は方向が判断手段
によって判断され、認識対象者が腕を屈曲又は伸長させ
る動作を行えば、基準点と特徴点との距離が変化し、こ
の距離の変化に基づいて所定の処理が行われることにな
る。
【００４４】このように、請求項１０の発明は、基準点
及び特徴点の位置関係から認識対象者が指し示した位置
又は方向が判断されると共に、基準点及び特徴点の距離
（相対位置）の変化に基づいて所定の処理の実行が指示
されたか否かが判断されるので、撮像手段による撮像方
向を、指の上げ下げ等の動作を考慮することなく、基準
点及び特徴点が確実に検出できるように定めることがで
きると共に、所定の処理の実行が指示されたか否かを判
定するために、新たな画像特徴量を検出する必要もな
い。そして、基準点と特徴点の距離は人間が特定の位置
や特定の方向を指し示す動作では殆ど変化しない。従っ
て、請求項１０の発明によれば、認識対象者による所定
の処理の実行を指示する動作（腕を屈曲又は伸長させる
動作）を短時間で確実に検出することができ、認識対象
者からの指示を短時間で判定することができる。
及び特徴点の位置関係から認識対象者が指し示した位置
又は方向が判断されると共に、基準点及び特徴点の距離
（相対位置）の変化に基づいて所定の処理の実行が指示
されたか否かが判断されるので、撮像手段による撮像方
向を、指の上げ下げ等の動作を考慮することなく、基準
点及び特徴点が確実に検出できるように定めることがで
きると共に、所定の処理の実行が指示されたか否かを判
定するために、新たな画像特徴量を検出する必要もな
い。そして、基準点と特徴点の距離は人間が特定の位置
や特定の方向を指し示す動作では殆ど変化しない。従っ
て、請求項１０の発明によれば、認識対象者による所定
の処理の実行を指示する動作（腕を屈曲又は伸長させる
動作）を短時間で確実に検出することができ、認識対象
者からの指示を短時間で判定することができる。
【００４５】なお処理手段は、所定の処理として、例え
ば基準点と特徴点との距離が変化したときに認識対象者
が指し示していた位置又は方向に関連する処理を実行す
ることができるが、腕を屈曲又は伸長させる動作は、上
記の所定の処理の実行を指示するための動作として極め
て自然な動作であるので、所定の処理の実行を指示する
動作を、認識対象者が違和感を感ずることなく行うこと
ができる。
ば基準点と特徴点との距離が変化したときに認識対象者
が指し示していた位置又は方向に関連する処理を実行す
ることができるが、腕を屈曲又は伸長させる動作は、上
記の所定の処理の実行を指示するための動作として極め
て自然な動作であるので、所定の処理の実行を指示する
動作を、認識対象者が違和感を感ずることなく行うこと
ができる。
【００４６】また、腕を屈曲又は伸長させる動作に伴う
基準点と特徴点との距離の変化方向には２種類ある（距
離が増加する方向及び減少する方向）ので、請求項１１
に記載したように、基準点と特徴点との距離が増加した
場合には第１の所定の処理を行い、基準点と特徴点との
距離が減少した場合には前記第１の所定の処理と異なる
第２の所定の処理を行うようにしてもよい。
基準点と特徴点との距離の変化方向には２種類ある（距
離が増加する方向及び減少する方向）ので、請求項１１
に記載したように、基準点と特徴点との距離が増加した
場合には第１の所定の処理を行い、基準点と特徴点との
距離が減少した場合には前記第１の所定の処理と異なる
第２の所定の処理を行うようにしてもよい。
【００４７】請求項１１の発明では、認識対象者が腕を
伸長させる動作（この場合、基準点と特徴点との距離は
増加する）を行うと第１の所定の処理が行われ、認識対
象者が腕を屈曲させる動作（この場合、基準点と特徴点
との距離は減少する）を行うと第２の所定の処理が行わ
れるので、マウスの左クリックと右クリックのように、
第１の所定の処理及び第２の所定の処理のうち実行させ
るべき処理を認識対象者が選択することが可能となる。
そして、認識対象者が上記の何れかの動作を行うことに
より、第１の所定の処理及び第２の所定の処理のうち認
識対象者によって選択された処理を確実に実行すること
ができる。
伸長させる動作（この場合、基準点と特徴点との距離は
増加する）を行うと第１の所定の処理が行われ、認識対
象者が腕を屈曲させる動作（この場合、基準点と特徴点
との距離は減少する）を行うと第２の所定の処理が行わ
れるので、マウスの左クリックと右クリックのように、
第１の所定の処理及び第２の所定の処理のうち実行させ
るべき処理を認識対象者が選択することが可能となる。
そして、認識対象者が上記の何れかの動作を行うことに
より、第１の所定の処理及び第２の所定の処理のうち認
識対象者によって選択された処理を確実に実行すること
ができる。
【００４８】なお、基準点と特徴点との距離の変化に基
づいて所定の処理の実行が指示されたか否かを判断する
ことは、具体的には、例えば基準点と特徴点との距離の
変化の大きさに基づいて、距離の変化が所定値以上とな
った場合に所定の処理の実行が指示されたと判断するこ
とも可能ではあるが、所定の処理の実行を意図しない別
の動作において基準点と特徴点との距離が大きく変化し
たとすると、認識対象者からの指示を誤判断する可能性
もある。
づいて所定の処理の実行が指示されたか否かを判断する
ことは、具体的には、例えば基準点と特徴点との距離の
変化の大きさに基づいて、距離の変化が所定値以上とな
った場合に所定の処理の実行が指示されたと判断するこ
とも可能ではあるが、所定の処理の実行を意図しない別
の動作において基準点と特徴点との距離が大きく変化し
たとすると、認識対象者からの指示を誤判断する可能性
もある。
【００４９】これを考慮すると、請求項１２に記載した
ように、処理手段は、基準点と特徴点との距離の変化速
度を検出し、検出した変化速度が閾値以上の場合にのみ
所定の処理を実行することが好ましい。
ように、処理手段は、基準点と特徴点との距離の変化速
度を検出し、検出した変化速度が閾値以上の場合にのみ
所定の処理を実行することが好ましい。
【００５０】請求項１２の発明では、基準点と特徴点と
の距離の変化速度を検出し、検出した変化速度が閾値以
上の場合にのみ所定の処理を実行するので、認識対象者
が、腕を素早く屈曲又は伸長させる、という特有の動作
を行うことによって、基準点と特徴点との距離の変化速
度が閾値以上になって所定の処理が実行されることにな
る。これにより、認識対象者による所定の処理の実行を
指示する動作の認識率が向上し、認識対象者が所定の処
理の実行を指示する動作を行った場合にのみ、これを確
実に検知して所定の処理を実行することができる。
の距離の変化速度を検出し、検出した変化速度が閾値以
上の場合にのみ所定の処理を実行するので、認識対象者
が、腕を素早く屈曲又は伸長させる、という特有の動作
を行うことによって、基準点と特徴点との距離の変化速
度が閾値以上になって所定の処理が実行されることにな
る。これにより、認識対象者による所定の処理の実行を
指示する動作の認識率が向上し、認識対象者が所定の処
理の実行を指示する動作を行った場合にのみ、これを確
実に検知して所定の処理を実行することができる。
【００５１】また、認識対象者の体格は一定ではないと
共に、認識対象者の筋力等も一定ではないので、処理手
段に所定の処理を行わせるために認識対象者が腕を素早
く屈曲又は伸長させる動作を行ったとしても、基準点と
特徴点との距離の変化速度は個々の認識対象者毎にばら
つきがある。従って、所定の処理を行わせるために認識
対象者が腕を素早く屈曲又は伸長させる動作を行ったと
しても検知できなかったり、逆に認識対象者が前記動作
を行っていないにも拘らず前記動作を誤検知することも
考えられる。
共に、認識対象者の筋力等も一定ではないので、処理手
段に所定の処理を行わせるために認識対象者が腕を素早
く屈曲又は伸長させる動作を行ったとしても、基準点と
特徴点との距離の変化速度は個々の認識対象者毎にばら
つきがある。従って、所定の処理を行わせるために認識
対象者が腕を素早く屈曲又は伸長させる動作を行ったと
しても検知できなかったり、逆に認識対象者が前記動作
を行っていないにも拘らず前記動作を誤検知することも
考えられる。
【００５２】このため請求項１３記載の発明は、請求項
１２の発明において、処理手段に所定の処理を行わせる
ために腕を屈曲又は伸長させる動作を行うよう認識対象
者に要請し、認識対象者が腕を屈曲又は伸長させる動作
を行ったときの基準点と特徴点との距離の変化速度に基
づいて前記閾値を予め設定する閾値設定手段を更に備え
たことを特徴としている。
１２の発明において、処理手段に所定の処理を行わせる
ために腕を屈曲又は伸長させる動作を行うよう認識対象
者に要請し、認識対象者が腕を屈曲又は伸長させる動作
を行ったときの基準点と特徴点との距離の変化速度に基
づいて前記閾値を予め設定する閾値設定手段を更に備え
たことを特徴としている。
【００５３】請求項１３記載の発明では、処理手段に所
定の処理を行わせるために認識対象者が腕を屈曲又は伸
長させる動作（腕を素早く屈曲又は伸長させる動作）を
行ったときの基準点と特徴点との距離の変化速度に基づ
いて、処理手段が所定の処理を行うか否かの閾値を予め
設定するので、個々の認識対象者の体格や筋力等に応じ
た閾値を得ることができる。そして、この閾値を用いて
所定の処理の実行が指示されたか否かを判断することに
より、個々の認識対象者の体格や筋力等のばらつきに拘
らず、認識対象者による所定の処理の実行を指示する動
作を確実に検知して所定の処理を実行することができ
る。
定の処理を行わせるために認識対象者が腕を屈曲又は伸
長させる動作（腕を素早く屈曲又は伸長させる動作）を
行ったときの基準点と特徴点との距離の変化速度に基づ
いて、処理手段が所定の処理を行うか否かの閾値を予め
設定するので、個々の認識対象者の体格や筋力等に応じ
た閾値を得ることができる。そして、この閾値を用いて
所定の処理の実行が指示されたか否かを判断することに
より、個々の認識対象者の体格や筋力等のばらつきに拘
らず、認識対象者による所定の処理の実行を指示する動
作を確実に検知して所定の処理を実行することができ
る。
【００５４】また請求項９又は請求項１０の発明におい
て、請求項１４に記載したように、認識対象者の腕が下
げられたか否かを検出する第２の検出手段を設け、処理
手段は、第２の検出手段によって認識対象者の腕が下げ
られたことが検出された場合には、処理を実行又は停止
している状態を継続するようにすれば、ある処理を継続
して実行させるために、認識対象者が継続的に腕を上げ
続ける必要がなくなるので、認識対象者の負担を軽減す
ることができる。
て、請求項１４に記載したように、認識対象者の腕が下
げられたか否かを検出する第２の検出手段を設け、処理
手段は、第２の検出手段によって認識対象者の腕が下げ
られたことが検出された場合には、処理を実行又は停止
している状態を継続するようにすれば、ある処理を継続
して実行させるために、認識対象者が継続的に腕を上げ
続ける必要がなくなるので、認識対象者の負担を軽減す
ることができる。
【００５５】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態の一例を詳細に説明する。図１に示すように、本
発明の認識対象者としての情報入力者１０が到来する箇
所の壁面には大画面ディスプレイ１２が埋め込まれてい
る。なお、ディスプレイ１２としては液晶ディスプレイ
（ＬＣＤ）やプラズマディスプレイ、ブラウン管、光フ
ァイバディスプレイ等の周知の表示手段を適用できる。
施形態の一例を詳細に説明する。図１に示すように、本
発明の認識対象者としての情報入力者１０が到来する箇
所の壁面には大画面ディスプレイ１２が埋め込まれてい
る。なお、ディスプレイ１２としては液晶ディスプレイ
（ＬＣＤ）やプラズマディスプレイ、ブラウン管、光フ
ァイバディスプレイ等の周知の表示手段を適用できる。
【００５６】ディスプレイ１２はパーソナルコンピュー
タ等から成る情報処理装置１４に接続されており（図２
参照）、情報処理装置１４により、各種の情報が表示面
上に図形、表、文字、画像等の種々の表示形態で表示さ
れる。本実施形態において、情報入力者１０は、ディス
プレイ１２の前方の図１に示した箇所（情報入力空間）
に到来し、ディスプレイ１２の表示面上の各種情報が表
示されている位置を指し示すと共に、クリック動作（詳
細は後述）を行うことにより、情報処理装置１４に対し
て各種の指示を与えたり各種の処理を実行させる。
タ等から成る情報処理装置１４に接続されており（図２
参照）、情報処理装置１４により、各種の情報が表示面
上に図形、表、文字、画像等の種々の表示形態で表示さ
れる。本実施形態において、情報入力者１０は、ディス
プレイ１２の前方の図１に示した箇所（情報入力空間）
に到来し、ディスプレイ１２の表示面上の各種情報が表
示されている位置を指し示すと共に、クリック動作（詳
細は後述）を行うことにより、情報処理装置１４に対し
て各種の指示を与えたり各種の処理を実行させる。
【００５７】図２に示すように、情報処理装置１４に
は、本実施形態に係るハンドポインティング入力装置２
０のコントローラ２２が接続されている。コントローラ
２２は、ＣＰＵ２２Ａ、ＲＯＭ２２Ｂ、ＲＡＭ２２Ｃ、
入出力インタフェース２２Ｄを備えており、これらがバ
スを介して互いに接続されて構成されている。入出力イ
ンタフェース２２Ｄには情報処理装置１４が接続されて
いると共に、記憶内容を書換え可能な不揮発性の記憶装
置２４、各種の情報を表示するためのディスプレイ２
６、オペレータが各種の指示やデータを入力するための
キーボード２８が接続されている。
は、本実施形態に係るハンドポインティング入力装置２
０のコントローラ２２が接続されている。コントローラ
２２は、ＣＰＵ２２Ａ、ＲＯＭ２２Ｂ、ＲＡＭ２２Ｃ、
入出力インタフェース２２Ｄを備えており、これらがバ
スを介して互いに接続されて構成されている。入出力イ
ンタフェース２２Ｄには情報処理装置１４が接続されて
いると共に、記憶内容を書換え可能な不揮発性の記憶装
置２４、各種の情報を表示するためのディスプレイ２
６、オペレータが各種の指示やデータを入力するための
キーボード２８が接続されている。
【００５８】また、コントローラ２２の入出力インタフ
ェース２２Ｄには照明制御装置３０が接続されており、
この照明制御装置３０には、近赤外域の波長の光をビー
ム状に射出する複数の近赤外光照明装置３２Ａ、３２Ｂ
が接続されている。図１に示すように、近赤外光照明装
置３２Ａ、３２Ｂは、情報入力空間の上方の互いに異な
る箇所に配設されており、情報入力空間に到来した情報
入力者１０を、互いに異なる方向から照明するように照
射範囲が調整されている（図３も参照）。照明制御装置
３０は、コントローラ２２から指示に応じて照明装置３
２Ａ、３２Ｂの点灯・消灯を制御する。
ェース２２Ｄには照明制御装置３０が接続されており、
この照明制御装置３０には、近赤外域の波長の光をビー
ム状に射出する複数の近赤外光照明装置３２Ａ、３２Ｂ
が接続されている。図１に示すように、近赤外光照明装
置３２Ａ、３２Ｂは、情報入力空間の上方の互いに異な
る箇所に配設されており、情報入力空間に到来した情報
入力者１０を、互いに異なる方向から照明するように照
射範囲が調整されている（図３も参照）。照明制御装置
３０は、コントローラ２２から指示に応じて照明装置３
２Ａ、３２Ｂの点灯・消灯を制御する。
【００５９】コントローラ２２の入出力インタフェース
２２Ｄには撮像制御装置３４が接続されており、この撮
像制御装置３４には、情報入力空間の上方の互いに異な
る箇所に配設された（図１参照）複数のビデオカメラ３
６Ａ、３６Ｂが接続されている。ビデオカメラ３６Ａ、
３６Ｂは、図示は省略するが、近赤外光に感度を有する
ＣＣＤ等から成るエリアセンサを備えていると共に、入
射光をエリアセンサの受光面に結像させる結像レンズの
光入射側に、近赤外域の波長の光のみを透過するフィル
タが設けられている。
２２Ｄには撮像制御装置３４が接続されており、この撮
像制御装置３４には、情報入力空間の上方の互いに異な
る箇所に配設された（図１参照）複数のビデオカメラ３
６Ａ、３６Ｂが接続されている。ビデオカメラ３６Ａ、
３６Ｂは、図示は省略するが、近赤外光に感度を有する
ＣＣＤ等から成るエリアセンサを備えていると共に、入
射光をエリアセンサの受光面に結像させる結像レンズの
光入射側に、近赤外域の波長の光のみを透過するフィル
タが設けられている。
【００６０】また図３に示すように、ビデオカメラ３６
Ａは、情報入力空間に到来した情報入力者１０が撮像範
囲内に入り、かつ照明装置３２Ａから射出された光が結
像レンズに直接入射せず、かつ撮像範囲の中心が、情報
入力空間内において、照明装置３２Ａによる照明範囲の
中心と床面から所定高さで交差するように向きが調整さ
れている。従ってビデオカメラ３６Ａは、照明装置３２
Ａによる床面上の照明範囲が撮像範囲から外れるように
撮像範囲が調整されている。同様にビデオカメラ３６Ｂ
は、情報入力空間に到来した情報入力者１０が撮像範囲
内に入り、かつ照明装置３２Ｂから射出された光が結像
レンズに直接入射せず、かつ撮像範囲の中心が、情報入
力空間内において、照明装置３２Ｂによる照明範囲の中
心と床面から所定高さで交差するように向きが調整され
ている。
Ａは、情報入力空間に到来した情報入力者１０が撮像範
囲内に入り、かつ照明装置３２Ａから射出された光が結
像レンズに直接入射せず、かつ撮像範囲の中心が、情報
入力空間内において、照明装置３２Ａによる照明範囲の
中心と床面から所定高さで交差するように向きが調整さ
れている。従ってビデオカメラ３６Ａは、照明装置３２
Ａによる床面上の照明範囲が撮像範囲から外れるように
撮像範囲が調整されている。同様にビデオカメラ３６Ｂ
は、情報入力空間に到来した情報入力者１０が撮像範囲
内に入り、かつ照明装置３２Ｂから射出された光が結像
レンズに直接入射せず、かつ撮像範囲の中心が、情報入
力空間内において、照明装置３２Ｂによる照明範囲の中
心と床面から所定高さで交差するように向きが調整され
ている。
【００６１】このように、ビデオカメラ３６Ａ、３６Ｂ
は、互いに異なる照明装置によって照明される床面上の
照明範囲が撮像範囲から外れるように撮像範囲が各々調
整されており、請求項１、より詳しくは請求項２に記載
の撮像手段に対応している。
は、互いに異なる照明装置によって照明される床面上の
照明範囲が撮像範囲から外れるように撮像範囲が各々調
整されており、請求項１、より詳しくは請求項２に記載
の撮像手段に対応している。
【００６２】また、コントローラ２２の入出力インタフ
ェース２２Ｄにはマーク板駆動装置３８も接続されてい
る。図４に示すように、ハンドポインティング入力装置
２０は、情報入力空間の近傍に配設されたマーク板４０
を備えている。マーク板４０は、透明な平板に多数のマ
ーク４０Ａがマトリクス状に等間隔で記録されて構成さ
れており、マーク４０Ａの配列方向に直交する方向（図
４の矢印Ａ方向）に沿って情報入力空間を横切るように
移動可能とされている。なおマーク４０Ａは、画像上で
の認識が容易な色（例えば赤色）に着色されている。マ
ーク板駆動装置３８は、コントローラ２２からの指示に
応じてマーク板４０を図４の矢印Ａ方向に沿って移動さ
せる。
ェース２２Ｄにはマーク板駆動装置３８も接続されてい
る。図４に示すように、ハンドポインティング入力装置
２０は、情報入力空間の近傍に配設されたマーク板４０
を備えている。マーク板４０は、透明な平板に多数のマ
ーク４０Ａがマトリクス状に等間隔で記録されて構成さ
れており、マーク４０Ａの配列方向に直交する方向（図
４の矢印Ａ方向）に沿って情報入力空間を横切るように
移動可能とされている。なおマーク４０Ａは、画像上で
の認識が容易な色（例えば赤色）に着色されている。マ
ーク板駆動装置３８は、コントローラ２２からの指示に
応じてマーク板４０を図４の矢印Ａ方向に沿って移動さ
せる。
【００６３】次に本実施形態の作用として、まず、ハン
ドポインティング入力装置２０が設置された際に行われ
る格子点位置情報初期設定処理について、図５のフロー
チャートを参照して説明する。
ドポインティング入力装置２０が設置された際に行われ
る格子点位置情報初期設定処理について、図５のフロー
チャートを参照して説明する。
【００６４】ステップ１００では、マーク板駆動装置３
８により、マーク板４０を所定位置（マーク板４０の移
動範囲の端部に相当する位置）に移動させる。次のステ
ップ１０２では、現在のマーク板４０の位置において、
マーク板４０に記録されている多数のマーク４０Ａの情
報入力空間内での３次元座標（ｘ，ｙ，ｚ）を各々演算
する。ステップ１０４では撮像制御装置３４を介し、ビ
デオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像
させ、次のステップ１０６では、ビデオカメラ３６Ａが
情報入力空間を撮像することによって得られた画像（以
下画像Ａと称する）を撮像制御装置３４を介して取り込
む。
８により、マーク板４０を所定位置（マーク板４０の移
動範囲の端部に相当する位置）に移動させる。次のステ
ップ１０２では、現在のマーク板４０の位置において、
マーク板４０に記録されている多数のマーク４０Ａの情
報入力空間内での３次元座標（ｘ，ｙ，ｚ）を各々演算
する。ステップ１０４では撮像制御装置３４を介し、ビ
デオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像
させ、次のステップ１０６では、ビデオカメラ３６Ａが
情報入力空間を撮像することによって得られた画像（以
下画像Ａと称する）を撮像制御装置３４を介して取り込
む。
【００６５】ステップ１０８では、ステップ１０６で取
り込んだ画像Ａ中に存在するマーク４０Ａの認識（抽
出）を行い、次のステップ１１０では認識した全てのマ
ーク４０Ａについて、画像Ａ上での位置（ＸA ，ＹA ）
を演算する。そしてステップ１１２では、画像Ａ中に存
在する全てのマーク４０Ａについて、情報入力空間内で
の３次元座標（ｘ，ｙ，ｚ）と、画像Ａ上での位置（Ｘ
A ，ＹA ）とを対応させ、ビデオカメラ３６Ａの格子点
位置情報として記憶装置２４に記憶させる。
り込んだ画像Ａ中に存在するマーク４０Ａの認識（抽
出）を行い、次のステップ１１０では認識した全てのマ
ーク４０Ａについて、画像Ａ上での位置（ＸA ，ＹA ）
を演算する。そしてステップ１１２では、画像Ａ中に存
在する全てのマーク４０Ａについて、情報入力空間内で
の３次元座標（ｘ，ｙ，ｚ）と、画像Ａ上での位置（Ｘ
A ，ＹA ）とを対応させ、ビデオカメラ３６Ａの格子点
位置情報として記憶装置２４に記憶させる。
【００６６】次のステップ１１４〜１２０では、上記の
ステップ１０６〜１１２と同様にしてビデオカメラ３６
Ｂに対する処理を行う。すなわち、ステップ１１４では
ビデオカメラ３６Ｂが情報入力空間を撮像することによ
って得られた画像（以下画像Ｂと称する）を撮像制御装
置３４を介して取り込み、ステップ１１６ではステップ
１１４で取り込んだ画像Ｂ中に存在するマーク４０Ａの
認識（抽出）を行い、次のステップ１１８では認識した
全てのマーク４０Ａについて、画像Ｂ上での位置
（ＸB ，ＹB ）を演算する。そしてステップ１２０で
は、画像Ｂ中に存在する全てのマーク４０Ａについて、
情報入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像
Ｂ上での位置（ＸB ，ＹB ）とを対応させ、ビデオカメ
ラ３６Ｂの格子点位置情報として記憶装置２４に記憶さ
せる。
ステップ１０６〜１１２と同様にしてビデオカメラ３６
Ｂに対する処理を行う。すなわち、ステップ１１４では
ビデオカメラ３６Ｂが情報入力空間を撮像することによ
って得られた画像（以下画像Ｂと称する）を撮像制御装
置３４を介して取り込み、ステップ１１６ではステップ
１１４で取り込んだ画像Ｂ中に存在するマーク４０Ａの
認識（抽出）を行い、次のステップ１１８では認識した
全てのマーク４０Ａについて、画像Ｂ上での位置
（ＸB ，ＹB ）を演算する。そしてステップ１２０で
は、画像Ｂ中に存在する全てのマーク４０Ａについて、
情報入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像
Ｂ上での位置（ＸB ，ＹB ）とを対応させ、ビデオカメ
ラ３６Ｂの格子点位置情報として記憶装置２４に記憶さ
せる。
【００６７】次のステップ１２２では、マーク板４０が
最終位置（マーク板４０の移動範囲のうちステップ１０
０における所定位置と反対側の端部に相当する位置）迄
移動したか否か判定する。ステップ１２２の判定が否定
された場合にはステップ１２４へ移行し、マーク板駆動
装置３８により、マーク板４０を所定方向に一定距離
（詳しくは、マーク板４０上におけるマーク４０Ａの間
隔に一致する距離）だけ移動させた後にステップ１０２
に戻る。
最終位置（マーク板４０の移動範囲のうちステップ１０
０における所定位置と反対側の端部に相当する位置）迄
移動したか否か判定する。ステップ１２２の判定が否定
された場合にはステップ１２４へ移行し、マーク板駆動
装置３８により、マーク板４０を所定方向に一定距離
（詳しくは、マーク板４０上におけるマーク４０Ａの間
隔に一致する距離）だけ移動させた後にステップ１０２
に戻る。
【００６８】上記のように、マーク板４０が最終位置に
移動する迄、ステップ１０２〜１２４が繰り返されるこ
とにより、マーク板４０に記録されている多数のマーク
４０Ａは、情報入力空間内に一定間隔で格子状に並ぶ多
数の格子点（請求項６に記載の仮想点に相当）に対応す
る位置へ移動され、ビデオカメラ３６Ａの格子点位置情
報として、各格子点の情報入力空間内での３次元座標と
画像Ａ上での位置とが対応されて記憶装置２４に記憶さ
れると共に、ビデオカメラ３６Ｂの格子点位置情報とし
て、各格子点の情報入力空間内での３次元座標と画像Ｂ
上での位置とが対応されて記憶装置２４に記憶されるこ
とになる。
移動する迄、ステップ１０２〜１２４が繰り返されるこ
とにより、マーク板４０に記録されている多数のマーク
４０Ａは、情報入力空間内に一定間隔で格子状に並ぶ多
数の格子点（請求項６に記載の仮想点に相当）に対応す
る位置へ移動され、ビデオカメラ３６Ａの格子点位置情
報として、各格子点の情報入力空間内での３次元座標と
画像Ａ上での位置とが対応されて記憶装置２４に記憶さ
れると共に、ビデオカメラ３６Ｂの格子点位置情報とし
て、各格子点の情報入力空間内での３次元座標と画像Ｂ
上での位置とが対応されて記憶装置２４に記憶されるこ
とになる。
【００６９】上記の格子点位置情報初期設定処理は請求
項８に記載の生成手段に対応しており、上記処理によっ
て初期設定される格子点位置情報は、請求項５及び請求
項８に記載の「仮想点の３次元座標と画像上での仮想点
の位置とを対応付ける情報」に相当し、記憶装置２４は
本発明の記憶手段に対応している。なお、マーク板４０
及びマーク板駆動装置３８は、上記の格子点位置情報初
期設定処理においてのみ用いられ、後述する処理では用
いないので、上記の処理を実行した後に、マーク板４０
及びマーク板駆動装置３８を撤去するようにしてもよ
い。
項８に記載の生成手段に対応しており、上記処理によっ
て初期設定される格子点位置情報は、請求項５及び請求
項８に記載の「仮想点の３次元座標と画像上での仮想点
の位置とを対応付ける情報」に相当し、記憶装置２４は
本発明の記憶手段に対応している。なお、マーク板４０
及びマーク板駆動装置３８は、上記の格子点位置情報初
期設定処理においてのみ用いられ、後述する処理では用
いないので、上記の処理を実行した後に、マーク板４０
及びマーク板駆動装置３８を撤去するようにしてもよ
い。
【００７０】次に図６のフローチャートを参照し、上記
の格子点位置情報初期設定処理が行われた後に、コント
ローラ２２で定常的に実行される照明制御処理について
説明する。ステップ１３０では、照明制御装置３０によ
り照明装置３２Ａを点灯させると共に照明装置３２Ｂを
消灯させる。ステップ１３２では、ビデオカメラ３６Ａ
によって情報入力空間を撮像させ、ビデオカメラ３６Ａ
から画像を出力させる。ステップ１３４では照明装置３
２Ａの点灯を開始してから所定時間経過したか否か判定
し、判定が肯定される迄待機する。
の格子点位置情報初期設定処理が行われた後に、コント
ローラ２２で定常的に実行される照明制御処理について
説明する。ステップ１３０では、照明制御装置３０によ
り照明装置３２Ａを点灯させると共に照明装置３２Ｂを
消灯させる。ステップ１３２では、ビデオカメラ３６Ａ
によって情報入力空間を撮像させ、ビデオカメラ３６Ａ
から画像を出力させる。ステップ１３４では照明装置３
２Ａの点灯を開始してから所定時間経過したか否か判定
し、判定が肯定される迄待機する。
【００７１】ステップ１３４の判定が肯定されるとステ
ップ１３６へ移行し、照明制御装置３０により照明装置
３２Ａを消灯させると共に照明装置３２Ｂを点灯させ
る。ステップ１３８では、ビデオカメラ３６Ｂによって
情報入力空間を撮像させ、ビデオカメラ３６Ｂから画像
を出力させる。ステップ１４０では照明装置３２Ｂの点
灯を開始してから所定時間経過したか否か判定し、判定
が肯定される迄待機する。そして、ステップ１４０の判
定が肯定されるとステップ１３０へ戻る。
ップ１３６へ移行し、照明制御装置３０により照明装置
３２Ａを消灯させると共に照明装置３２Ｂを点灯させ
る。ステップ１３８では、ビデオカメラ３６Ｂによって
情報入力空間を撮像させ、ビデオカメラ３６Ｂから画像
を出力させる。ステップ１４０では照明装置３２Ｂの点
灯を開始してから所定時間経過したか否か判定し、判定
が肯定される迄待機する。そして、ステップ１４０の判
定が肯定されるとステップ１３０へ戻る。
【００７２】上記の照明制御処理により、図７にも示す
ように、照明装置３２Ａ及び照明装置３２Ｂは所定時間
毎に交互に点灯されると共に、照明装置３２Ａが点灯し
ているときにビデオカメラ３６Ａの撮像が行われ、ビデ
オカメラ３６Ａの撮像によって得られた画像Ａを表す画
像データが撮像制御装置３４を介してコントローラ２２
に出力され、照明装置３２Ｂが点灯しているときにビデ
オカメラ３６Ｂの撮像が行われ、ビデオカメラ３６Ｂの
撮像によって得られた画像Ｂを表す画像データが撮像制
御装置３４を介してコントローラ２２に出力される。上
記の照明制御処理は請求項２に記載の制御手段に対応し
ている。
ように、照明装置３２Ａ及び照明装置３２Ｂは所定時間
毎に交互に点灯されると共に、照明装置３２Ａが点灯し
ているときにビデオカメラ３６Ａの撮像が行われ、ビデ
オカメラ３６Ａの撮像によって得られた画像Ａを表す画
像データが撮像制御装置３４を介してコントローラ２２
に出力され、照明装置３２Ｂが点灯しているときにビデ
オカメラ３６Ｂの撮像が行われ、ビデオカメラ３６Ｂの
撮像によって得られた画像Ｂを表す画像データが撮像制
御装置３４を介してコントローラ２２に出力される。上
記の照明制御処理は請求項２に記載の制御手段に対応し
ている。
【００７３】本実施形態では、近赤外光により撮像を行
っているので、撮像によって得られる画像中の情報入力
者１０に相当する画像部の輝度が、可視光が射出される
ディスプレイ１２の輝度の変化や、情報入力者１０の肌
の色や服の色の影響を受けて変化することはなく、後述
する指示判断処理において、情報入力者１０に相当する
画像部を高精度に抽出することができる。また、情報入
力空間の近傍に、近赤外域の波長の光が射出されないよ
うに処理した蛍光灯を配置したとしても、この影響を受
けることはない。更に、近赤外光が照射されていること
を情報入力者１０に感知されることがないので、上記の
ように照明装置３２Ａ、３２Ｂを交互に点灯させても、
情報入力者１０に不快感を与えることはない。
っているので、撮像によって得られる画像中の情報入力
者１０に相当する画像部の輝度が、可視光が射出される
ディスプレイ１２の輝度の変化や、情報入力者１０の肌
の色や服の色の影響を受けて変化することはなく、後述
する指示判断処理において、情報入力者１０に相当する
画像部を高精度に抽出することができる。また、情報入
力空間の近傍に、近赤外域の波長の光が射出されないよ
うに処理した蛍光灯を配置したとしても、この影響を受
けることはない。更に、近赤外光が照射されていること
を情報入力者１０に感知されることがないので、上記の
ように照明装置３２Ａ、３２Ｂを交互に点灯させても、
情報入力者１０に不快感を与えることはない。
【００７４】次に図８のフローチャートを参照し、上記
の照明制御処理と並行してコントローラ２２で所定時間
毎に繰り返し実行される、情報入力者１０からの指示を
判断する指示判断処理について説明する。
の照明制御処理と並行してコントローラ２２で所定時間
毎に繰り返し実行される、情報入力者１０からの指示を
判断する指示判断処理について説明する。
【００７５】ステップ１５０では、ビデオカメラ３６Ａ
から出力される画像Ａを表す画像データ、及びビデオカ
メラ３６Ｂから出力される画像Ｂを表す画像データを、
図７に示すタイミングで各々取り込む。次のステップ１
５２では、ステップ１５０で取り込んだ画像Ａ、画像Ｂ
の画像データに基づいて、情報入力空間内に情報入力者
１０が存在しているか否か判定する。
から出力される画像Ａを表す画像データ、及びビデオカ
メラ３６Ｂから出力される画像Ｂを表す画像データを、
図７に示すタイミングで各々取り込む。次のステップ１
５２では、ステップ１５０で取り込んだ画像Ａ、画像Ｂ
の画像データに基づいて、情報入力空間内に情報入力者
１０が存在しているか否か判定する。
【００７６】先に説明したように、ビデオカメラ３６Ａ
による情報入力空間の撮像は照明装置３２Ａのみが点灯
しているときに行われ、ビデオカメラ３６Ａの撮像範囲
は照明装置３２Ａによる床面上の照明範囲が撮像範囲か
ら外れるように調整されている。従って、照明装置３２
Ａによる床面上の照明範囲内に情報入力者１０の荷物や
ゴミ等の非認識対象物５０Ａ（図３参照）が存在してい
たとしても、この非認識対象物５０Ａがビデオカメラ３
６Ａの撮像範囲に入ることはない。また、床面上のビデ
オカメラ３６Ａによって撮像される範囲内に非認識対象
物５０Ｂ（図３参照）が存在していた場合には、非認識
対象物５０Ｂはビデオカメラ３６Ａによって撮像される
ことになるが、非認識対象物５０Ｂは照明装置３２Ａに
よる照明範囲から外れているので、画像Ａ中に存在する
非認識対象物５０Ｂに相当する画像部の輝度は非常に低
くなる。
による情報入力空間の撮像は照明装置３２Ａのみが点灯
しているときに行われ、ビデオカメラ３６Ａの撮像範囲
は照明装置３２Ａによる床面上の照明範囲が撮像範囲か
ら外れるように調整されている。従って、照明装置３２
Ａによる床面上の照明範囲内に情報入力者１０の荷物や
ゴミ等の非認識対象物５０Ａ（図３参照）が存在してい
たとしても、この非認識対象物５０Ａがビデオカメラ３
６Ａの撮像範囲に入ることはない。また、床面上のビデ
オカメラ３６Ａによって撮像される範囲内に非認識対象
物５０Ｂ（図３参照）が存在していた場合には、非認識
対象物５０Ｂはビデオカメラ３６Ａによって撮像される
ことになるが、非認識対象物５０Ｂは照明装置３２Ａに
よる照明範囲から外れているので、画像Ａ中に存在する
非認識対象物５０Ｂに相当する画像部の輝度は非常に低
くなる。
【００７７】また、ビデオカメラ３６Ｂによる情報入力
空間の撮像についても照明装置３２Ｂのみが点灯してい
るときに行われ、ビデオカメラ３６Ｂの撮像範囲は照明
装置３２Ｂによる床面上の照明範囲が撮像範囲から外れ
るように調整されている。従って、照明装置３２Ｂによ
って照明される床面上に非認識対象物５０Ｂが存在して
いたとしても、この非認識対象物５０Ｂがビデオカメラ
３６Ｂの撮像範囲に入ることはない。また、床面上のビ
デオカメラ３６Ｂによって撮像される範囲内に非認識対
象物５０Ａが存在していた場合には、ビデオカメラ３６
Ｂによって非認識対象物５０Ｂが撮像され、画像Ｂ中に
非認識対象物５０Ｂに相当する画像部が存在することに
なるが、上記と同様にその輝度は非常に低い。
空間の撮像についても照明装置３２Ｂのみが点灯してい
るときに行われ、ビデオカメラ３６Ｂの撮像範囲は照明
装置３２Ｂによる床面上の照明範囲が撮像範囲から外れ
るように調整されている。従って、照明装置３２Ｂによ
って照明される床面上に非認識対象物５０Ｂが存在して
いたとしても、この非認識対象物５０Ｂがビデオカメラ
３６Ｂの撮像範囲に入ることはない。また、床面上のビ
デオカメラ３６Ｂによって撮像される範囲内に非認識対
象物５０Ａが存在していた場合には、ビデオカメラ３６
Ｂによって非認識対象物５０Ｂが撮像され、画像Ｂ中に
非認識対象物５０Ｂに相当する画像部が存在することに
なるが、上記と同様にその輝度は非常に低い。
【００７８】従って、先のステップ１５２では、例えば
画像Ａ及び画像Ｂ中に、高輝度でかつ所定値以上の面積
の画像部が存在しているか否か等の極めて簡単な判断処
理により、情報入力空間内に情報入力者１０が存在して
いるか否かを判定することができる。ステップ１５２の
判定が否定された場合には、何ら処理を行うことなく指
示判断処理を終了する。
画像Ａ及び画像Ｂ中に、高輝度でかつ所定値以上の面積
の画像部が存在しているか否か等の極めて簡単な判断処
理により、情報入力空間内に情報入力者１０が存在して
いるか否かを判定することができる。ステップ１５２の
判定が否定された場合には、何ら処理を行うことなく指
示判断処理を終了する。
【００７９】一方、ステップ１５２の判定が肯定された
場合にはステップ１５４へ移行する。なお、ステップ１
５４以降の処理は本発明の判断手段に対応している。ス
テップ１５４では画像Ａ及び画像Ｂから、情報入力者１
０の全体像に相当する画像部を各々抽出する。この情報
入力者１０の全体像に相当する画像部についても、高輝
度の画素から成る所定値以上の面積の連続した領域を判
断することで容易に抽出することができる。
場合にはステップ１５４へ移行する。なお、ステップ１
５４以降の処理は本発明の判断手段に対応している。ス
テップ１５４では画像Ａ及び画像Ｂから、情報入力者１
０の全体像に相当する画像部を各々抽出する。この情報
入力者１０の全体像に相当する画像部についても、高輝
度の画素から成る所定値以上の面積の連続した領域を判
断することで容易に抽出することができる。
【００８０】ステップ１５６では、情報入力者１０の全
体像に相当する画像部に基づき、情報入力者１０の身長
を求める。図９に示すように、点Ｏに位置しているビデ
オカメラ３６の結像レンズの焦点距離をｆ、点Ｏを通る
鉛直線と情報入力空間の床面との交点Ｑと点Ｏとの距離
をＨ、点Ｑと情報入力者１０が立っている床面上の点Ｐ
との距離をＲ、情報入力者１０の頭頂部に相当する点
Ｐ’と点Ｐとの距離ｈを情報入力者１０の身長とする。
また、点ＰＯＱの成す角度をθ、点Ｐ’ＯＱの成す角度
をθ’、ビデオカメラ３６のエリアセンサの受光面に結
像される情報入力者の像の長さをｈ’、点Ｐに対応する
受光面上の結像点を点ｐ、点Ｐ’に対応する受光面上の
結像点を点ｐ’、受光面の中心ｏと点ｐとの距離をｒ、
受光面の中心ｏと点ｐ’との距離をｒ’とすると、角度
θ、θ’、距離ｒ、ｒ’は次の（１）〜（４）式から求
めることができる。
体像に相当する画像部に基づき、情報入力者１０の身長
を求める。図９に示すように、点Ｏに位置しているビデ
オカメラ３６の結像レンズの焦点距離をｆ、点Ｏを通る
鉛直線と情報入力空間の床面との交点Ｑと点Ｏとの距離
をＨ、点Ｑと情報入力者１０が立っている床面上の点Ｐ
との距離をＲ、情報入力者１０の頭頂部に相当する点
Ｐ’と点Ｐとの距離ｈを情報入力者１０の身長とする。
また、点ＰＯＱの成す角度をθ、点Ｐ’ＯＱの成す角度
をθ’、ビデオカメラ３６のエリアセンサの受光面に結
像される情報入力者の像の長さをｈ’、点Ｐに対応する
受光面上の結像点を点ｐ、点Ｐ’に対応する受光面上の
結像点を点ｐ’、受光面の中心ｏと点ｐとの距離をｒ、
受光面の中心ｏと点ｐ’との距離をｒ’とすると、角度
θ、θ’、距離ｒ、ｒ’は次の（１）〜（４）式から求
めることができる。
【００８１】 θ ＝ｔａｎ-1（Ｒ／Ｈ） …（１） θ’＝ｔａｎ-1｛Ｒ／（Ｈ−ｈ）｝ …（２） ｒ ＝ｆθ …（３） ｒ’＝ｆθ’ …（４）
【００８２】従って、情報入力者１０の身長ｈ及び距離
Ｒは次の（５）式及び（６）式によって求めることがで
きる。
Ｒは次の（５）式及び（６）式によって求めることがで
きる。
【００８３】 ｈ＝Ｈ｛１−ｔａｎ（ｒ／ｆ）／ｔａｎ（ｒ’／ｆ）｝ …（５） Ｒ＝Ｈｔａｎ（ｒ／ｆ） …（６）
【００８４】距離Ｈ及び焦点距離ｆは既知であるので、
ステップ１５６ではビデオカメラ３６Ａ、３６Ｂの撮像
によって得られた画像Ａ及び画像Ｂの何れかから距離
ｒ、ｒ’を求め、これを（５）式に代入することにより
情報入力者１０の身長ｈを求めることができる。また、
ステップ１５６では、画像Ａ及び画像Ｂの各々から距離
ｒを求め、これを（６）式に各々代入して距離Ｒを各々
求めることにより、情報入力者１０の床面上の位置（２
次元座標）を求める。
ステップ１５６ではビデオカメラ３６Ａ、３６Ｂの撮像
によって得られた画像Ａ及び画像Ｂの何れかから距離
ｒ、ｒ’を求め、これを（５）式に代入することにより
情報入力者１０の身長ｈを求めることができる。また、
ステップ１５６では、画像Ａ及び画像Ｂの各々から距離
ｒを求め、これを（６）式に各々代入して距離Ｒを各々
求めることにより、情報入力者１０の床面上の位置（２
次元座標）を求める。
【００８５】次のステップ１５８では、ステップ１５６
で求めた情報入力者１０の身長ｈ及び情報入力者の床面
上の位置に基づき、情報入力者１０の基準点Ｐ0 の３次
元座標（ｘ0 ，ｙ0 ，ｚ0 ）を決定する。なお基準点Ｐ
0 としては、例えば情報入力者１０の背中に相当する点
（図１１に示す点Ｐ0 ）等を用いることができる。この
場合、情報入力者１０の身長ｈに基づいて情報入力者１
０の背中に相当する基準点Ｐ0 の床面からの高さ（例え
ばｚ0 の値）を割り出し、情報入力者１０の床面上の位
置（平面座標）を基準点Ｐ0 の平面座標（例えばｘ0 、
ｙ0 の値）として設定することにより、基準点Ｐ0 の３
次元座標を決定することができる。
で求めた情報入力者１０の身長ｈ及び情報入力者の床面
上の位置に基づき、情報入力者１０の基準点Ｐ0 の３次
元座標（ｘ0 ，ｙ0 ，ｚ0 ）を決定する。なお基準点Ｐ
0 としては、例えば情報入力者１０の背中に相当する点
（図１１に示す点Ｐ0 ）等を用いることができる。この
場合、情報入力者１０の身長ｈに基づいて情報入力者１
０の背中に相当する基準点Ｐ0 の床面からの高さ（例え
ばｚ0 の値）を割り出し、情報入力者１０の床面上の位
置（平面座標）を基準点Ｐ0 の平面座標（例えばｘ0 、
ｙ0 の値）として設定することにより、基準点Ｐ0 の３
次元座標を決定することができる。
【００８６】ステップ１５９では、画像Ａ及び画像Ｂ上
での情報入力者１０の全体像に相当する画像部の形状に
基づいて、情報入力者１０が指示動作（指等によりディ
スプレイ１２側を指し示す動作）を行っているか否か判
定する。情報入力者１０から見たディスプレイ１２の方
向は既知であるので、ステップ１５９の判定は、例えば
情報入力者１０の全体像に相当する画像部において、情
報入力者１０の手に相当すると判断できる高さ位置に、
情報入力者１０から見たディスプレイ１２の方向に向か
って突出している部分が有るか否かを判断することで実
現できる。
での情報入力者１０の全体像に相当する画像部の形状に
基づいて、情報入力者１０が指示動作（指等によりディ
スプレイ１２側を指し示す動作）を行っているか否か判
定する。情報入力者１０から見たディスプレイ１２の方
向は既知であるので、ステップ１５９の判定は、例えば
情報入力者１０の全体像に相当する画像部において、情
報入力者１０の手に相当すると判断できる高さ位置に、
情報入力者１０から見たディスプレイ１２の方向に向か
って突出している部分が有るか否かを判断することで実
現できる。
【００８７】これにより、情報入力者１０が、図１２
（Ａ）に示す直立状態から、図１２（Ｂ）又は（Ｃ）に
示すように手をディスプレイ１２側に向ければ、情報入
力者１０が指示動作を行っていると判定されることにな
る。ステップ１５９の判定が否定された場合には、何ら
処理を行うことなく指示判断処理を一旦終了するが、ス
テップ１５９の判定が肯定された場合には、ステップ１
６０へ移行する。
（Ａ）に示す直立状態から、図１２（Ｂ）又は（Ｃ）に
示すように手をディスプレイ１２側に向ければ、情報入
力者１０が指示動作を行っていると判定されることにな
る。ステップ１５９の判定が否定された場合には、何ら
処理を行うことなく指示判断処理を一旦終了するが、ス
テップ１５９の判定が肯定された場合には、ステップ１
６０へ移行する。
【００８８】ステップ１６０では、ビデオカメラ３６Ａ
から取り込んだ画像Ａを表す画像データに基づいて、画
像Ａ中に存在する情報入力者１０の特徴点Ｐx を抽出
し、画像Ａ上での特徴点Ｐx の位置（ＸA ，ＹA ）を演
算する。情報入力者１０の特徴点Ｐx としては、ディス
プレイ１２側を指し示す動作を行っている指の先端に相
当する点等を用いることができる。この場合、情報入力
者１０の全体像を表す画像部のうち、情報入力者１０の
手に相当すると判断できる高さ位置に、ディスプレイ１
２の方向に向かって突出している部分の先端の位置を、
特徴点Ｐx の位置として演算することができる。
から取り込んだ画像Ａを表す画像データに基づいて、画
像Ａ中に存在する情報入力者１０の特徴点Ｐx を抽出
し、画像Ａ上での特徴点Ｐx の位置（ＸA ，ＹA ）を演
算する。情報入力者１０の特徴点Ｐx としては、ディス
プレイ１２側を指し示す動作を行っている指の先端に相
当する点等を用いることができる。この場合、情報入力
者１０の全体像を表す画像部のうち、情報入力者１０の
手に相当すると判断できる高さ位置に、ディスプレイ１
２の方向に向かって突出している部分の先端の位置を、
特徴点Ｐx の位置として演算することができる。
【００８９】これにより、ビデオカメラ３６Ａにより情
報入力者１０の手が図１０（Ａ）に示すように撮像され
た場合、特徴点Ｐx の位置として、図１０（Ｂ）に示す
特徴点Ｐx の座標（ＸA ，ＹA ）が演算されることにな
る。
報入力者１０の手が図１０（Ａ）に示すように撮像され
た場合、特徴点Ｐx の位置として、図１０（Ｂ）に示す
特徴点Ｐx の座標（ＸA ，ＹA ）が演算されることにな
る。
【００９０】ステップ１６２では、記憶装置２４に記憶
されているビデオカメラ３６Ａの格子点位置情報に基づ
き、画像Ａ上での位置が（ＸA ±ｄＸ，ＹA ±ｄＹ）の
範囲（図１０（Ｂ）にハッチングで囲んだ範囲を参照）
に入る格子点を全て検索する。なお、このｄＸ及びｄＹ
の大きさは、格子点の間隔（マーク４０Ａの間隔）に基
づき、少なくとも１個以上の格子点が抽出されるように
定められている。
されているビデオカメラ３６Ａの格子点位置情報に基づ
き、画像Ａ上での位置が（ＸA ±ｄＸ，ＹA ±ｄＹ）の
範囲（図１０（Ｂ）にハッチングで囲んだ範囲を参照）
に入る格子点を全て検索する。なお、このｄＸ及びｄＹ
の大きさは、格子点の間隔（マーク４０Ａの間隔）に基
づき、少なくとも１個以上の格子点が抽出されるように
定められている。
【００９１】また、本実施形態ではビデオカメラの結像
レンズとして広角レンズを用いており、仮にｄＸ及びｄ
Ｙを一定とすると、ビデオカメラと格子点との距離が大
きくなるに従って多くの格子点が（ＸA ±ｄＸ，ＹA ±
ｄＹ）の範囲に入り、後述する特徴点Ｐx の３次元座標
の演算の精度の低下に繋がる。このため、ｄＸ及びｄＹ
は、３次元座標上でのビデオカメラからの距離が離れる
に従って値が小さくなるように設定される。従って、３
次元座標上での（ＸA ±ｄＸ，ＹA ±ｄＹ）に相当する
範囲は、底面がビデオカメラ側に位置している円錐状
（又は楕円錐状）となる。このステップ１６２は、請求
項６に記載の「画像上での位置が特徴点を包含する所定
範囲内である仮想点を抽出する」ことに対応している。
レンズとして広角レンズを用いており、仮にｄＸ及びｄ
Ｙを一定とすると、ビデオカメラと格子点との距離が大
きくなるに従って多くの格子点が（ＸA ±ｄＸ，ＹA ±
ｄＹ）の範囲に入り、後述する特徴点Ｐx の３次元座標
の演算の精度の低下に繋がる。このため、ｄＸ及びｄＹ
は、３次元座標上でのビデオカメラからの距離が離れる
に従って値が小さくなるように設定される。従って、３
次元座標上での（ＸA ±ｄＸ，ＹA ±ｄＹ）に相当する
範囲は、底面がビデオカメラ側に位置している円錐状
（又は楕円錐状）となる。このステップ１６２は、請求
項６に記載の「画像上での位置が特徴点を包含する所定
範囲内である仮想点を抽出する」ことに対応している。
【００９２】ステップ１６４では、先のステップ１６０
と同様に、ビデオカメラ３６Ｂから取り込んだ画像Ｂを
表す画像データに基づいて、画像Ｂ中に存在する情報入
力者１０の特徴点Ｐx を抽出し、画像Ｂ上での特徴点Ｐ
x の位置（ＸB ，ＹB ）を演算する。ステップ１６６で
は、先のステップ１６２と同様に、記憶装置２４に記憶
されているビデオカメラ３６Ｂの格子点位置情報に基づ
き、画像Ｂ上での位置が（ＸB ±ｄＸ，ＹB ±ｄＹ）の
範囲に入る格子点を全て検索する。このステップ１６６
も、請求項７に記載の「画像上での位置が特徴点を包含
する所定範囲内である仮想点を抽出する」ことに対応し
ている。
と同様に、ビデオカメラ３６Ｂから取り込んだ画像Ｂを
表す画像データに基づいて、画像Ｂ中に存在する情報入
力者１０の特徴点Ｐx を抽出し、画像Ｂ上での特徴点Ｐ
x の位置（ＸB ，ＹB ）を演算する。ステップ１６６で
は、先のステップ１６２と同様に、記憶装置２４に記憶
されているビデオカメラ３６Ｂの格子点位置情報に基づ
き、画像Ｂ上での位置が（ＸB ±ｄＸ，ＹB ±ｄＹ）の
範囲に入る格子点を全て検索する。このステップ１６６
も、請求項７に記載の「画像上での位置が特徴点を包含
する所定範囲内である仮想点を抽出する」ことに対応し
ている。
【００９３】次のステップ１６８では、画像Ａ及び画像
Ｂから共通に抽出した格子点を判定する。これにより、
情報入力空間内で特徴点Ｐx に近接した位置に存在して
いる格子点のみが複数抽出されることになる。ステップ
１７０では、画像Ａ及び画像Ｂから共通に抽出した格子
点の３次元座標を、格子点位置情報から取り込む。
Ｂから共通に抽出した格子点を判定する。これにより、
情報入力空間内で特徴点Ｐx に近接した位置に存在して
いる格子点のみが複数抽出されることになる。ステップ
１７０では、画像Ａ及び画像Ｂから共通に抽出した格子
点の３次元座標を、格子点位置情報から取り込む。
【００９４】本実施形態では、後述するように、特徴点
Ｐx の３次元座標を、情報入力空間内で特徴点に近接し
た位置に存在している複数の格子点の３次元座標から内
挿によって演算する（具体的には、前記複数の格子点の
３次元座標の座標値の重み付き平均により特徴点の３次
元座標の座標値を求める）。このため、特徴点Ｐx の３
次元座標を演算するに先立ち、次のステップ１７２で
は、画像Ａ及び画像Ｂから共通に抽出した各格子点の画
像Ａ及び画像Ｂ上での位置、画像Ａ上での特徴点Ｐx の
位置（ＸA ，ＹA ）、画像Ｂ上での特徴点Ｐx の位置
（ＸB ，ＹB ）に基づいて、画像Ａ及び画像Ｂから共通
に抽出した各格子点の３次元座標からの内挿の割合（各
格子点の３次元座標の座標値に対する重み）を決定す
る。この内挿の割合は、例えば画像Ａ及び画像Ｂ上で特
徴点と近接した位置に存在している格子点の３次元座標
の座標値の重みが大きくなるように決定することができ
る。
Ｐx の３次元座標を、情報入力空間内で特徴点に近接し
た位置に存在している複数の格子点の３次元座標から内
挿によって演算する（具体的には、前記複数の格子点の
３次元座標の座標値の重み付き平均により特徴点の３次
元座標の座標値を求める）。このため、特徴点Ｐx の３
次元座標を演算するに先立ち、次のステップ１７２で
は、画像Ａ及び画像Ｂから共通に抽出した各格子点の画
像Ａ及び画像Ｂ上での位置、画像Ａ上での特徴点Ｐx の
位置（ＸA ，ＹA ）、画像Ｂ上での特徴点Ｐx の位置
（ＸB ，ＹB ）に基づいて、画像Ａ及び画像Ｂから共通
に抽出した各格子点の３次元座標からの内挿の割合（各
格子点の３次元座標の座標値に対する重み）を決定す
る。この内挿の割合は、例えば画像Ａ及び画像Ｂ上で特
徴点と近接した位置に存在している格子点の３次元座標
の座標値の重みが大きくなるように決定することができ
る。
【００９５】ステップ１７４では、画像Ａ及び画像Ｂか
ら共通に抽出した格子点の３次元座標、及びステップ１
７２で決定した内挿の割合に基づいて、特徴点Ｐx の３
次元座標（Ｘx ，Ｙx ，Ｚx ）を演算する。
ら共通に抽出した格子点の３次元座標、及びステップ１
７２で決定した内挿の割合に基づいて、特徴点Ｐx の３
次元座標（Ｘx ，Ｙx ，Ｚx ）を演算する。
【００９６】ステップ１７６では、先のステップ１５８
で演算した情報入力者の基準点Ｐ0の３次元座標と、ス
テップ１７４で演算した特徴点の３次元座標とに基づ
き、情報入力者１０が指し示している方向として、上記
の基準点と特徴点とを結ぶ仮想線（図１１の仮想線５４
参照）の延びる方向を求め、情報入力者１０が指し示し
ている位置として、大画面ディスプレイ１２の表示面を
含む平面と前記仮想線の交点（図１１の点Ｓ参照）の座
標（平面座標）を演算する。
で演算した情報入力者の基準点Ｐ0の３次元座標と、ス
テップ１７４で演算した特徴点の３次元座標とに基づ
き、情報入力者１０が指し示している方向として、上記
の基準点と特徴点とを結ぶ仮想線（図１１の仮想線５４
参照）の延びる方向を求め、情報入力者１０が指し示し
ている位置として、大画面ディスプレイ１２の表示面を
含む平面と前記仮想線の交点（図１１の点Ｓ参照）の座
標（平面座標）を演算する。
【００９７】次のステップ１７８では、ステップ１７６
で求めた座標に基づいて、情報入力者１０が大画面ディ
スプレイ１２の表示面上を指し示しているか否か判定す
る。判定が否定された場合には、ステップ１８０で監視
フラグ（クリック動作を監視するためのフラグ）を０に
して指示判断処理を終了する。一方、ステップ１７８の
判定が肯定された場合には、ステップ１７６で演算した
情報入力者１０が指し示している位置を表す座標を情報
処理装置１４に出力する。これにより、情報処理装置１
４では、情報入力者１０が指し示していると判断された
ディスプレイ１２の表示面上の所定位置にカーソルを表
示する等の処理を行う。
で求めた座標に基づいて、情報入力者１０が大画面ディ
スプレイ１２の表示面上を指し示しているか否か判定す
る。判定が否定された場合には、ステップ１８０で監視
フラグ（クリック動作を監視するためのフラグ）を０に
して指示判断処理を終了する。一方、ステップ１７８の
判定が肯定された場合には、ステップ１７６で演算した
情報入力者１０が指し示している位置を表す座標を情報
処理装置１４に出力する。これにより、情報処理装置１
４では、情報入力者１０が指し示していると判断された
ディスプレイ１２の表示面上の所定位置にカーソルを表
示する等の処理を行う。
【００９８】次のステップ１８４以降は請求項９に記載
の第１の検出手段に対応しており、情報入力者１０がク
リック動作を行ったか否かを判定する。なお、本実施形
態ではクリック動作が、情報入力者が自身の手（請求項
９に記載の所定部分に相当）を動かすあらゆる動作（例
えば手首の屈曲や回転、任意の指の曲げ伸ばし等）とし
て定義されている。ステップ１８４では、画像Ａ中に存
在する情報入力者１０の手に相当する画像部を抽出し、
該画像部の面積を求めると共に、画像Ｂ中に存在する情
報入力者１０の手に相当する画像部を抽出し、該画像部
の面積を求める。
の第１の検出手段に対応しており、情報入力者１０がク
リック動作を行ったか否かを判定する。なお、本実施形
態ではクリック動作が、情報入力者が自身の手（請求項
９に記載の所定部分に相当）を動かすあらゆる動作（例
えば手首の屈曲や回転、任意の指の曲げ伸ばし等）とし
て定義されている。ステップ１８４では、画像Ａ中に存
在する情報入力者１０の手に相当する画像部を抽出し、
該画像部の面積を求めると共に、画像Ｂ中に存在する情
報入力者１０の手に相当する画像部を抽出し、該画像部
の面積を求める。
【００９９】次のステップ１８６では監視フラグが１か
否か判定する。ステップ１８６の判定が否定された場合
は、指示判断処理を前回行ったときには情報入力者１０
がディスプレイ１２の表示面上を指し示していなかった
場合であるので、ステップ１８８で監視フラグを１にし
て、次のステップ１９０では、後にクリック動作の判定
を行うために、ステップ１８４で演算した情報入力者の
手に相当する画像部の面積をＲＡＭ２２Ｃに記憶し、指
示判断処理を一旦終了する。
否か判定する。ステップ１８６の判定が否定された場合
は、指示判断処理を前回行ったときには情報入力者１０
がディスプレイ１２の表示面上を指し示していなかった
場合であるので、ステップ１８８で監視フラグを１にし
て、次のステップ１９０では、後にクリック動作の判定
を行うために、ステップ１８４で演算した情報入力者の
手に相当する画像部の面積をＲＡＭ２２Ｃに記憶し、指
示判断処理を一旦終了する。
【０１００】一方、ステップ１８６の判定が肯定された
場合は、情報入力者１０がディスプレイ１２の表示面上
を継続的に指し示している場合であるので、ステップ１
９２へ移行し、ステップ１８４で演算した面積を、ＲＡ
Ｍ２２Ｃ等に記憶されている面積（情報入力者１０がデ
ィスプレイ１２の表示面上を指し示すことを開始したと
き、すなわち過去にステップ１８８で監視フラグを１に
したときに演算した面積）と比較し、情報入力者１０の
手に相当する画像部の面積に所定値以上の変化が有った
か否か判定する。ステップ１９２の判定が否定された場
合には、情報入力者１０がクリック動作を行っていない
と判断し、何ら処理を行うことなく指示判断処理を終了
する。
場合は、情報入力者１０がディスプレイ１２の表示面上
を継続的に指し示している場合であるので、ステップ１
９２へ移行し、ステップ１８４で演算した面積を、ＲＡ
Ｍ２２Ｃ等に記憶されている面積（情報入力者１０がデ
ィスプレイ１２の表示面上を指し示すことを開始したと
き、すなわち過去にステップ１８８で監視フラグを１に
したときに演算した面積）と比較し、情報入力者１０の
手に相当する画像部の面積に所定値以上の変化が有った
か否か判定する。ステップ１９２の判定が否定された場
合には、情報入力者１０がクリック動作を行っていない
と判断し、何ら処理を行うことなく指示判断処理を終了
する。
【０１０１】また、情報入力者１０が手首の屈曲や回転
（例えば図１２（Ｂ）に示す状態から図１２（Ｃ）に示
す状態への変化、或いはその逆の変化）、任意の指の曲
げ伸ばし等の動作を行うと、画像Ａ及び画像Ｂ中に存在
する情報入力者１０の手に相当する画像部の面積が所定
値以上変化することによってステップ１９２の判定が肯
定される。ステップ１９２の判定が肯定されると、ステ
ップ１９４で「クリック有り」を表す情報を情報処理装
置１４に出力し、次のステップ１９６で監視フラグを０
にした後に指示判断処理を終了する。
（例えば図１２（Ｂ）に示す状態から図１２（Ｃ）に示
す状態への変化、或いはその逆の変化）、任意の指の曲
げ伸ばし等の動作を行うと、画像Ａ及び画像Ｂ中に存在
する情報入力者１０の手に相当する画像部の面積が所定
値以上変化することによってステップ１９２の判定が肯
定される。ステップ１９２の判定が肯定されると、ステ
ップ１９４で「クリック有り」を表す情報を情報処理装
置１４に出力し、次のステップ１９６で監視フラグを０
にした後に指示判断処理を終了する。
【０１０２】これにより、情報処理装置１４では、情報
入力者１０によって指し示されているディスプレイ１２
の表示面上の所定位置（ステップ１８２で入力された座
標に相当する位置）がクリックされたと判断し、ディス
プレイ１２の表示面上の所定位置に表示している情報に
応じた処理を行う。この処理は、請求項９に記載の処理
手段で実行される「所定の処理」に対応している。
入力者１０によって指し示されているディスプレイ１２
の表示面上の所定位置（ステップ１８２で入力された座
標に相当する位置）がクリックされたと判断し、ディス
プレイ１２の表示面上の所定位置に表示している情報に
応じた処理を行う。この処理は、請求項９に記載の処理
手段で実行される「所定の処理」に対応している。
【０１０３】ハンドポインティング入力装置２０のコン
トローラ２２において、上記の指示判断処理を所定時間
毎に繰り返し実行することにより、情報入力者１０によ
るディスプレイ１２上の表示面上の指示位置及びクリッ
ク動作の有無をリアルタイムで判断することができるの
で、情報処理処理装置１４で実行される処理と組み合わ
せることで、以下で説明するように種々の利用形態での
利用が可能となる。
トローラ２２において、上記の指示判断処理を所定時間
毎に繰り返し実行することにより、情報入力者１０によ
るディスプレイ１２上の表示面上の指示位置及びクリッ
ク動作の有無をリアルタイムで判断することができるの
で、情報処理処理装置１４で実行される処理と組み合わ
せることで、以下で説明するように種々の利用形態での
利用が可能となる。
【０１０４】例えばディスプレイ１２を地下街等の壁面
に設置し、情報処理装置１４がディスプレイ１２に商品
の広告等を表示する場合に、本実施形態に係るハンドポ
インティング入力装置２０を設ければ、到来した利用者
（情報入力者）の指示に応じて特定の商品を詳しく説明
する画面を表示する等のように、利用者との双方向のコ
ミュニケーションが可能となる。また、利用者に課金用
のカードを所持させるようにすれば、このカードにより
課金することで利用者が商品を購入することも可能とな
る。
に設置し、情報処理装置１４がディスプレイ１２に商品
の広告等を表示する場合に、本実施形態に係るハンドポ
インティング入力装置２０を設ければ、到来した利用者
（情報入力者）の指示に応じて特定の商品を詳しく説明
する画面を表示する等のように、利用者との双方向のコ
ミュニケーションが可能となる。また、利用者に課金用
のカードを所持させるようにすれば、このカードにより
課金することで利用者が商品を購入することも可能とな
る。
【０１０５】また、例えばディスプレイ１２をビルのエ
ントランスに設置し、情報処理装置１４がディスプレイ
１２にビル内を案内する案内図等を表示する場合に、本
実施形態に係るハンドポインティング入力装置２０を設
ければ、到来した利用者（情報入力者）の指示に応じて
ビル内のうち利用者が訪問する箇所を詳しく説明する画
面や、訪問する箇所迄の経路を示す画面を表示する等の
ように、利用者との双方向のコミュニケーションが可能
となる。
ントランスに設置し、情報処理装置１４がディスプレイ
１２にビル内を案内する案内図等を表示する場合に、本
実施形態に係るハンドポインティング入力装置２０を設
ければ、到来した利用者（情報入力者）の指示に応じて
ビル内のうち利用者が訪問する箇所を詳しく説明する画
面や、訪問する箇所迄の経路を示す画面を表示する等の
ように、利用者との双方向のコミュニケーションが可能
となる。
【０１０６】また、クリーンルームには取扱説明書やそ
の他のマニュアルを持ち込めないことが一般的である
が、例えばディスプレイ１２をクリーンルームの外部
に、クリーンルーム内から視認可能に配置し、ハンドポ
インティング入力装置２０によって判断したクリーンル
ーム内の作業者からの指示に応じて取扱説明書やその他
のマニュアルの内容をディスプレイ１２に表示するよう
にすれば、クリーンルーム内とクリーンルーム外との双
方向のコミュニケーションが可能となり、クリーンルー
ム内での作業の効率が向上する。
の他のマニュアルを持ち込めないことが一般的である
が、例えばディスプレイ１２をクリーンルームの外部
に、クリーンルーム内から視認可能に配置し、ハンドポ
インティング入力装置２０によって判断したクリーンル
ーム内の作業者からの指示に応じて取扱説明書やその他
のマニュアルの内容をディスプレイ１２に表示するよう
にすれば、クリーンルーム内とクリーンルーム外との双
方向のコミュニケーションが可能となり、クリーンルー
ム内での作業の効率が向上する。
【０１０７】更に、例えば大画面のディスプレイ１２、
ハンドポインティング入力装置２０及び情報処理装置１
４をアミューズメント施設のゲーム機として動作させた
り、会議のプレゼンテーションにおいて、ディスプレイ
１２に説明用の資料を表示しディスプレイ１２の表示面
上の任意の位置を指し示す際に適用することも可能であ
る。
ハンドポインティング入力装置２０及び情報処理装置１
４をアミューズメント施設のゲーム機として動作させた
り、会議のプレゼンテーションにおいて、ディスプレイ
１２に説明用の資料を表示しディスプレイ１２の表示面
上の任意の位置を指し示す際に適用することも可能であ
る。
【０１０８】なお、上記では、照明装置３２Ａによる床
面上の照明範囲がビデオカメラ３６Ａの撮像範囲から外
れるように調整すると共に、照明装置３２Ｂによる床面
上の照明範囲がビデオカメラ３６Ｂの撮像範囲から外れ
るように調整し、照明装置３２Ａのみが点灯していると
きにビデオカメラ３６Ａによる撮像を行い、照明装置３
２Ｂのみが点灯しているときにビデオカメラ３６Ｂによ
る撮像を行うことにより、情報入力者１０に相当する画
像部の抽出が容易な画像Ａ及び画像Ｂを得ていたが、こ
れに限定されるものではなく、照明装置３２による床面
上の照明範囲がビデオカメラ３６の撮像範囲内に入って
いたとしても、情報入力者１０に相当する画像部の抽出
が容易な画像を得ることは可能である。
面上の照明範囲がビデオカメラ３６Ａの撮像範囲から外
れるように調整すると共に、照明装置３２Ｂによる床面
上の照明範囲がビデオカメラ３６Ｂの撮像範囲から外れ
るように調整し、照明装置３２Ａのみが点灯していると
きにビデオカメラ３６Ａによる撮像を行い、照明装置３
２Ｂのみが点灯しているときにビデオカメラ３６Ｂによ
る撮像を行うことにより、情報入力者１０に相当する画
像部の抽出が容易な画像Ａ及び画像Ｂを得ていたが、こ
れに限定されるものではなく、照明装置３２による床面
上の照明範囲がビデオカメラ３６の撮像範囲内に入って
いたとしても、情報入力者１０に相当する画像部の抽出
が容易な画像を得ることは可能である。
【０１０９】図１３に示す例では、ビデオカメラ３６の
撮像範囲が、照明装置３２Ａによる床面上の照明範囲及
び照明装置３２Ｂによる床面上の照明範囲を含んでお
り、照明装置３２Ａによって照明される床面上に存在し
ている非認識対象物５０Ａ、照明装置３２Ｂによって照
明される床面上に存在している非認識対象物５０Ｂは、
ビデオカメラ３６によって各々撮像される。このような
場合には、図１４に示す照明制御処理を行えばよい。
撮像範囲が、照明装置３２Ａによる床面上の照明範囲及
び照明装置３２Ｂによる床面上の照明範囲を含んでお
り、照明装置３２Ａによって照明される床面上に存在し
ている非認識対象物５０Ａ、照明装置３２Ｂによって照
明される床面上に存在している非認識対象物５０Ｂは、
ビデオカメラ３６によって各々撮像される。このような
場合には、図１４に示す照明制御処理を行えばよい。
【０１１０】図１４に示す照明制御処理では、ステップ
２５０で照明装置３２Ａを点灯させると共に照明装置３
２Ｂを消灯させた後に、ステップ２５２ではビデオカメ
ラ３６によって情報入力空間を撮像させ、ステップ２５
４ではビデオカメラ３６から出力された画像データ（該
画像データが表す画像を便宜的に第１の画像という）を
取り込んでＲＡＭ２２Ｃに記憶する。ステップ２５６で
は、照明装置３２Ａを点灯させてから所定時間Ｔが経過
したか否か判定し、所定時間Ｔが経過する迄待機する。
ステップ２５６の判定が肯定されるとステップ２５８へ
移行し、照明装置３２Ｂを点灯させると共に、照明装置
３２Ｂを点灯させてから所定時間ｔ0 経過後に照明装置
３２Ａを消灯させる（但し、ｔ0 ＜Ｔ：図１５参照）。
２５０で照明装置３２Ａを点灯させると共に照明装置３
２Ｂを消灯させた後に、ステップ２５２ではビデオカメ
ラ３６によって情報入力空間を撮像させ、ステップ２５
４ではビデオカメラ３６から出力された画像データ（該
画像データが表す画像を便宜的に第１の画像という）を
取り込んでＲＡＭ２２Ｃに記憶する。ステップ２５６で
は、照明装置３２Ａを点灯させてから所定時間Ｔが経過
したか否か判定し、所定時間Ｔが経過する迄待機する。
ステップ２５６の判定が肯定されるとステップ２５８へ
移行し、照明装置３２Ｂを点灯させると共に、照明装置
３２Ｂを点灯させてから所定時間ｔ0 経過後に照明装置
３２Ａを消灯させる（但し、ｔ0 ＜Ｔ：図１５参照）。
【０１１１】次のステップ２６０ではビデオカメラ３６
によって情報入力空間を撮像させ、ステップ２６２では
ビデオカメラ３６から出力された画像データ（該画像デ
ータが表す画像を便宜的に第２の画像という）を取り込
む。ステップ２６４では、ステップ２５４でＲＡＭ２２
Ｃに記憶した第１の画像を表す画像データと、ステップ
２６２で取り込んだ第２の画像を表す画像データに基づ
いて、或る画素について第１の画像上での輝度値と第２
の画像上での輝度値のうち低輝度の輝度値を選択し、選
択した輝度値を前記画素の輝度値として採用することを
全ての画素について行うことにより、新たな画像データ
を生成し、生成した画像データを出力する。
によって情報入力空間を撮像させ、ステップ２６２では
ビデオカメラ３６から出力された画像データ（該画像デ
ータが表す画像を便宜的に第２の画像という）を取り込
む。ステップ２６４では、ステップ２５４でＲＡＭ２２
Ｃに記憶した第１の画像を表す画像データと、ステップ
２６２で取り込んだ第２の画像を表す画像データに基づ
いて、或る画素について第１の画像上での輝度値と第２
の画像上での輝度値のうち低輝度の輝度値を選択し、選
択した輝度値を前記画素の輝度値として採用することを
全ての画素について行うことにより、新たな画像データ
を生成し、生成した画像データを出力する。
【０１１２】この照明制御処理では、図１５に示すよう
に、照明装置３２Ａが点灯している期間と照明装置３２
Ｂが点灯している期間とが所定時間ｔ0 だけオーバラッ
プしているので、情報入力者１０は常に照明されるが、
図１３に示すように、非認識対象物５０Ａは照明装置３
２Ａが点灯しているときにのみ照明され、非認識対象物
５０Ｂは照明装置３２Ｂが点灯しているときにのみ照明
される。従って、ステップ２６２の処理により、情報入
力者１０に相当する画像部のみが高輝度となっている画
像、すなわち情報入力者１０に相当する画像部の抽出が
容易な画像（を表す画像データ）が得られることにな
る。
に、照明装置３２Ａが点灯している期間と照明装置３２
Ｂが点灯している期間とが所定時間ｔ0 だけオーバラッ
プしているので、情報入力者１０は常に照明されるが、
図１３に示すように、非認識対象物５０Ａは照明装置３
２Ａが点灯しているときにのみ照明され、非認識対象物
５０Ｂは照明装置３２Ｂが点灯しているときにのみ照明
される。従って、ステップ２６２の処理により、情報入
力者１０に相当する画像部のみが高輝度となっている画
像、すなわち情報入力者１０に相当する画像部の抽出が
容易な画像（を表す画像データ）が得られることにな
る。
【０１１３】次のステップ２６６では、照明装置３２Ｂ
を点灯させてから所定時間Ｔが経過したか否か判定し、
所定時間Ｔが経過する迄待機する。ステップ２６６の判
定が肯定されるとステップ２６８へ移行し、照明装置３
２Ａを点灯させると共に、照明装置３２Ａを点灯させて
から所定時間ｔ0 経過後に照明装置３２Ｂを消灯させた
後にステップ２５２へ戻る。
を点灯させてから所定時間Ｔが経過したか否か判定し、
所定時間Ｔが経過する迄待機する。ステップ２６６の判
定が肯定されるとステップ２６８へ移行し、照明装置３
２Ａを点灯させると共に、照明装置３２Ａを点灯させて
から所定時間ｔ0 経過後に照明装置３２Ｂを消灯させた
後にステップ２５２へ戻る。
【０１１４】上記の照明制御処理は請求項３に記載の判
別手段に対応している。なお、上記では説明を簡単にす
るために、図１３にビデオカメラ３６を１台のみ示し、
図１４には１台のビデオカメラ３６に対する処理のみを
示しているが、情報入力空間を各々異なる方向から撮像
する複数台のビデオカメラ３６が設けられている場合で
あっても、各ビデオカメラ３６に対して上記の処理を各
々行えば、情報入力者１０に相当する画像部の抽出が容
易な画像を各々得ることができる。
別手段に対応している。なお、上記では説明を簡単にす
るために、図１３にビデオカメラ３６を１台のみ示し、
図１４には１台のビデオカメラ３６に対する処理のみを
示しているが、情報入力空間を各々異なる方向から撮像
する複数台のビデオカメラ３６が設けられている場合で
あっても、各ビデオカメラ３６に対して上記の処理を各
々行えば、情報入力者１０に相当する画像部の抽出が容
易な画像を各々得ることができる。
【０１１５】また、図１４の照明制御処理では、照明装
置３２Ａ、３２Ｂの点消灯のタイミングと同期して、照
明装置３２Ａ及び照明装置３２Ｂの何れか一方が点灯し
ている期間にのみ画像データの取込みを行うようにして
いたが、例えば照明装置３２Ａ、３２Ｂの点消灯のタイ
ミングと無関係に、所定時間Ｔ（図１４及び図１５参
照）の整数分の１の周期で画像データの取込みを行い、
２×Ｔの周期でステップ２６４の処理を行うようにして
もよい。
置３２Ａ、３２Ｂの点消灯のタイミングと同期して、照
明装置３２Ａ及び照明装置３２Ｂの何れか一方が点灯し
ている期間にのみ画像データの取込みを行うようにして
いたが、例えば照明装置３２Ａ、３２Ｂの点消灯のタイ
ミングと無関係に、所定時間Ｔ（図１４及び図１５参
照）の整数分の１の周期で画像データの取込みを行い、
２×Ｔの周期でステップ２６４の処理を行うようにして
もよい。
【０１１６】また、先のステップ２６４のように各画素
毎に低輝度の値を選択することに代えて、例えばオーバ
ラップ期間ｔ0 を挟んで照明装置３２Ａと照明装置３２
Ｂを一定周期で交互に点灯させ（これにより、照明装置
３２Ａ、３２Ｂの点灯のデューティー比は各々５０＋α
％になる：αはオーバラップ期間に相当）、各画素につ
いて、照明装置３２Ａ、３２Ｂの点灯の１サイクルにお
ける平均輝度を各画素の輝度として採用するようにして
もよいし、照明装置３２Ａ、３２Ｂの点灯の１サイクル
における各画素毎の輝度の変化に対し、ローパスフィル
タや高速フーリエ変換等により輝度変化の直流成分のみ
を取り出し、取り出した輝度変化の直流成分に相当する
輝度値を各画素の輝度値として採用するようにしてもよ
い。上記の場合にも、照明装置３２Ａ、３２Ｂの点灯の
１サイクルの間、照明装置３２Ａ又は照明装置３２Ｂに
よって常に照明される情報入力者１０に相当する画素に
ついては、輝度値として比較的高輝度の値が採用され、
情報入力者１０に相当する画像部の抽出が容易な画像を
得ることができる。
毎に低輝度の値を選択することに代えて、例えばオーバ
ラップ期間ｔ0 を挟んで照明装置３２Ａと照明装置３２
Ｂを一定周期で交互に点灯させ（これにより、照明装置
３２Ａ、３２Ｂの点灯のデューティー比は各々５０＋α
％になる：αはオーバラップ期間に相当）、各画素につ
いて、照明装置３２Ａ、３２Ｂの点灯の１サイクルにお
ける平均輝度を各画素の輝度として採用するようにして
もよいし、照明装置３２Ａ、３２Ｂの点灯の１サイクル
における各画素毎の輝度の変化に対し、ローパスフィル
タや高速フーリエ変換等により輝度変化の直流成分のみ
を取り出し、取り出した輝度変化の直流成分に相当する
輝度値を各画素の輝度値として採用するようにしてもよ
い。上記の場合にも、照明装置３２Ａ、３２Ｂの点灯の
１サイクルの間、照明装置３２Ａ又は照明装置３２Ｂに
よって常に照明される情報入力者１０に相当する画素に
ついては、輝度値として比較的高輝度の値が採用され、
情報入力者１０に相当する画像部の抽出が容易な画像を
得ることができる。
【０１１７】また、情報入力者１０に相当する画像部の
抽出が容易な画像を得るために、図１６に示すように、
情報入力空間の床面上に傾斜台５８を配設してもよい。
この傾斜台５８は、情報入力空間に到来した情報入力者
１０を囲むように傾斜面５８Ａが形成されており、請求
項４に記載の阻止手段に対応している。これにより、例
えば情報入力者１０が荷物等を携行して情報入力空間に
到来したとしても、情報入力者１０が前記荷物等を自身
の近くに置くことは傾斜台５８によって阻止され、情報
入力者１０から離れた箇所、すなわちビデオカメラ３６
の撮像範囲外に荷物等が置かれることになる。従って、
ビデオカメラ３６の撮像によって得られる画像中に、情
報入力者１０の荷物等の非認識対象物に相当する画像部
が存在することが防止され、情報入力者１０に相当する
画像部の抽出が容易な画像を得ることができる。
抽出が容易な画像を得るために、図１６に示すように、
情報入力空間の床面上に傾斜台５８を配設してもよい。
この傾斜台５８は、情報入力空間に到来した情報入力者
１０を囲むように傾斜面５８Ａが形成されており、請求
項４に記載の阻止手段に対応している。これにより、例
えば情報入力者１０が荷物等を携行して情報入力空間に
到来したとしても、情報入力者１０が前記荷物等を自身
の近くに置くことは傾斜台５８によって阻止され、情報
入力者１０から離れた箇所、すなわちビデオカメラ３６
の撮像範囲外に荷物等が置かれることになる。従って、
ビデオカメラ３６の撮像によって得られる画像中に、情
報入力者１０の荷物等の非認識対象物に相当する画像部
が存在することが防止され、情報入力者１０に相当する
画像部の抽出が容易な画像を得ることができる。
【０１１８】また、情報入力者１０の周囲に、非認識対
象物として比較的小さなゴミや塵埃等が滞留する場合に
は、情報入力者１０の周囲に空気の流れを発生させるフ
ァン等を設け、上記のような非認識対象物を空気流によ
って吹き飛ばすようにしてもよい。また情報入力者１０
の周囲に水等を貯留する貯留槽を配設してもよいし、更
に貯留槽を環状とし、貯留槽内を水等が循環するように
構成しても、情報入力者１０の周囲に非認識対象物が滞
留することを阻止できる。
象物として比較的小さなゴミや塵埃等が滞留する場合に
は、情報入力者１０の周囲に空気の流れを発生させるフ
ァン等を設け、上記のような非認識対象物を空気流によ
って吹き飛ばすようにしてもよい。また情報入力者１０
の周囲に水等を貯留する貯留槽を配設してもよいし、更
に貯留槽を環状とし、貯留槽内を水等が循環するように
構成しても、情報入力者１０の周囲に非認識対象物が滞
留することを阻止できる。
【０１１９】更に、上記では、透明な平板に多数のマー
ク４０Ａがマトリクス状に等間隔で記録されて構成され
たマーク板４０を用いて格子点位置情報を設定するよう
にしていたが、これに限定されるものではなく、図１７
に示すように、透明な平板にＬＥＤ等の多数の発光素子
６２Ａ（請求項８記載のマーカに対応）がマトリクス状
に配設されたマーク板６２を用いてもよい。
ク４０Ａがマトリクス状に等間隔で記録されて構成され
たマーク板４０を用いて格子点位置情報を設定するよう
にしていたが、これに限定されるものではなく、図１７
に示すように、透明な平板にＬＥＤ等の多数の発光素子
６２Ａ（請求項８記載のマーカに対応）がマトリクス状
に配設されたマーク板６２を用いてもよい。
【０１２０】この場合、格子点位置情報初期設定処理で
は、発光素子６２Ａを１個ずつ順に点灯させると共に、
各発光素子６２Ａを点灯させる毎に、点灯している発光
素子６２Ａの３次元座標を演算し、ビデオカメラ３６
Ａ、３６Ｂによって情報入力空間を撮像させ、画像Ａ、
画像Ｂ上での発光素子６２Ａの位置を演算し、発光素子
６２Ａの３次元座標と画像Ａ、画像Ｂ上での発光素子６
２Ａの位置とを対応させて格子点位置情報として記憶装
置２４に記憶させ、マーク板６２の全ての発光素子６２
Ａを点灯させた後に、マーク板駆動装置３８によってマ
ーク板６２を一定量移動させることを繰り返すようにす
ればよい。
は、発光素子６２Ａを１個ずつ順に点灯させると共に、
各発光素子６２Ａを点灯させる毎に、点灯している発光
素子６２Ａの３次元座標を演算し、ビデオカメラ３６
Ａ、３６Ｂによって情報入力空間を撮像させ、画像Ａ、
画像Ｂ上での発光素子６２Ａの位置を演算し、発光素子
６２Ａの３次元座標と画像Ａ、画像Ｂ上での発光素子６
２Ａの位置とを対応させて格子点位置情報として記憶装
置２４に記憶させ、マーク板６２の全ての発光素子６２
Ａを点灯させた後に、マーク板駆動装置３８によってマ
ーク板６２を一定量移動させることを繰り返すようにす
ればよい。
【０１２１】また、マーク板４０やマーク板６２に代え
て、図１８に示すように、アーム６６Ａの先端に取付け
られたハンド６６Ｂを情報入力空間内の任意の位置に移
動可能で、ハンド６６Ｂに発光素子６８（請求項８記載
のマーカに対応）が取付けられたロボットアーム装置６
６を用いてもよい。この場合、格子点位置情報初期設定
処理では、発光素子６８を点灯させ、情報入力空間内に
一定間隔で格子状に並ぶ多数の格子点に対応する各位置
へ発光素子６８を移動させると共に、発光素子６８が前
記各位置に位置する毎に、発光素子６８の３次元座標を
演算し、ビデオカメラ３６Ａ、３６Ｂによって情報入力
空間を撮像させ、画像Ａ、画像Ｂ上での発光素子６８の
位置を演算し、発光素子６８の３次元座標と画像Ａ、画
像Ｂ上での発光素子６８の位置とを対応させて格子点位
置情報として記憶装置２４に記憶させるようにすればよ
い。
て、図１８に示すように、アーム６６Ａの先端に取付け
られたハンド６６Ｂを情報入力空間内の任意の位置に移
動可能で、ハンド６６Ｂに発光素子６８（請求項８記載
のマーカに対応）が取付けられたロボットアーム装置６
６を用いてもよい。この場合、格子点位置情報初期設定
処理では、発光素子６８を点灯させ、情報入力空間内に
一定間隔で格子状に並ぶ多数の格子点に対応する各位置
へ発光素子６８を移動させると共に、発光素子６８が前
記各位置に位置する毎に、発光素子６８の３次元座標を
演算し、ビデオカメラ３６Ａ、３６Ｂによって情報入力
空間を撮像させ、画像Ａ、画像Ｂ上での発光素子６８の
位置を演算し、発光素子６８の３次元座標と画像Ａ、画
像Ｂ上での発光素子６８の位置とを対応させて格子点位
置情報として記憶装置２４に記憶させるようにすればよ
い。
【０１２２】更に、上記のようにマーク板４０、マーク
板６２、ロボットアーム装置６６等を駆動することで、
情報入力空間内に一定間隔で格子状に並ぶ多数の格子点
に対応する各位置にマーカ（マーク４０Ａ又は発光素子
６２Ａ又は発光素子６８）を自動的に位置させることに
代えて、オペレータが、前記多数の格子点に対応する各
位置にマーカを手動で位置させ、この状況を撮像するこ
とにより格子点位置情報の設定のみを自動的に行うよう
にしてもよい。
板６２、ロボットアーム装置６６等を駆動することで、
情報入力空間内に一定間隔で格子状に並ぶ多数の格子点
に対応する各位置にマーカ（マーク４０Ａ又は発光素子
６２Ａ又は発光素子６８）を自動的に位置させることに
代えて、オペレータが、前記多数の格子点に対応する各
位置にマーカを手動で位置させ、この状況を撮像するこ
とにより格子点位置情報の設定のみを自動的に行うよう
にしてもよい。
【０１２３】また、図８に示した指示判断処理では、情
報入力者１０が指示動作を行っていないとき（ステップ
１５９の判定が否定された場合）には、ディスプレイ１
２の表示面上の情報入力者１０が指し示している位置の
座標の演算・情報処理装置１４への出力を行わないの
で、結果として、情報入力者１０が指示動作を行ってい
ないときにはディスプレイ１２にカーソル等が表示され
ないことになる。従って、ディスプレイ１２にカーソル
等を継続的に表示させるためには、カーソル等を表示さ
せたい位置を情報入力者１０が指し示し続ける必要があ
り、情報入力者１０の負担が大きいという問題がある。
報入力者１０が指示動作を行っていないとき（ステップ
１５９の判定が否定された場合）には、ディスプレイ１
２の表示面上の情報入力者１０が指し示している位置の
座標の演算・情報処理装置１４への出力を行わないの
で、結果として、情報入力者１０が指示動作を行ってい
ないときにはディスプレイ１２にカーソル等が表示され
ないことになる。従って、ディスプレイ１２にカーソル
等を継続的に表示させるためには、カーソル等を表示さ
せたい位置を情報入力者１０が指し示し続ける必要があ
り、情報入力者１０の負担が大きいという問題がある。
【０１２４】上記を考慮すると、図８に示した指示判断
処理に代えて、図１９に示す指示判断処理を行うように
してもよい。この指示判断処理では、図８の指示判断処
理のステップ１５０、１５２と同様に、ステップ２３０
でビデオカメラ３６Ａ、３６Ｂから出力される画像デー
タを取り込み、次のステップ２３２では、取り込んだ画
像データ基づいて情報入力空間内に情報入力者１０が存
在しているか否か判定する。
処理に代えて、図１９に示す指示判断処理を行うように
してもよい。この指示判断処理では、図８の指示判断処
理のステップ１５０、１５２と同様に、ステップ２３０
でビデオカメラ３６Ａ、３６Ｂから出力される画像デー
タを取り込み、次のステップ２３２では、取り込んだ画
像データ基づいて情報入力空間内に情報入力者１０が存
在しているか否か判定する。
【０１２５】判定が否定された場合にはステップ２８０
へ移行し、到来フラグ（情報入力者１０が情報入力空間
に到来していることを表すフラグ）が１か否か判定す
る。到来フラグの初期値は０であるので、最初はステッ
プ２８０の判定は否定され、何ら処理を行うことなく指
示判断処理を一旦終了する。なお、情報入力空間に情報
入力者が到来していないときには、情報処理装置１４は
ディスプレイ１２に所定の呼び込み画面（情報入力空間
の近傍を通りかかった人を情報入力空間に呼び込む画
面）を表示させる。
へ移行し、到来フラグ（情報入力者１０が情報入力空間
に到来していることを表すフラグ）が１か否か判定す
る。到来フラグの初期値は０であるので、最初はステッ
プ２８０の判定は否定され、何ら処理を行うことなく指
示判断処理を一旦終了する。なお、情報入力空間に情報
入力者が到来していないときには、情報処理装置１４は
ディスプレイ１２に所定の呼び込み画面（情報入力空間
の近傍を通りかかった人を情報入力空間に呼び込む画
面）を表示させる。
【０１２６】一方、情報入力空間に情報入力者１０が到
来すると、ステップ２３２の判定が肯定されてステップ
２３４へ移行し、到来フラグが０か否か判定する。ステ
ップ２３４の判定が肯定されるとステップ２３６へ移行
し、情報入力空間に情報入力者が到来したことを情報処
理装置１４に通知する。これにより情報処理装置１４
は、ディスプレイ１２に表示する画面を呼び込み画面か
ら初期画面（例えば商品の広告であれば商品の一覧を示
した画面等）に切替える。
来すると、ステップ２３２の判定が肯定されてステップ
２３４へ移行し、到来フラグが０か否か判定する。ステ
ップ２３４の判定が肯定されるとステップ２３６へ移行
し、情報入力空間に情報入力者が到来したことを情報処
理装置１４に通知する。これにより情報処理装置１４
は、ディスプレイ１２に表示する画面を呼び込み画面か
ら初期画面（例えば商品の広告であれば商品の一覧を示
した画面等）に切替える。
【０１２７】次のステップ２３８では、情報入力空間に
情報入力者が到来したので、到来フラグを１にすると共
に、指示フラグ（情報入力者１０がディスプレイ１２の
表示面上を指し示していることを表すフラグ）及び監視
フラグを０にして、ステップ２４０へ移行する。なお、
ステップ２３４の判定が否定された場合、すなわち指示
判断処理を前回実行したときから情報入力空間に継続的
に情報入力者が居る場合には、ステップ２３６、２３８
の処理を行うことなくステップ２４０へ移行する。
情報入力者が到来したので、到来フラグを１にすると共
に、指示フラグ（情報入力者１０がディスプレイ１２の
表示面上を指し示していることを表すフラグ）及び監視
フラグを０にして、ステップ２４０へ移行する。なお、
ステップ２３４の判定が否定された場合、すなわち指示
判断処理を前回実行したときから情報入力空間に継続的
に情報入力者が居る場合には、ステップ２３６、２３８
の処理を行うことなくステップ２４０へ移行する。
【０１２８】ステップ２４０では、図８のフローチャー
トのステップ１５４乃至ステップ１５８と同様に、ビデ
オカメラ３６Ａ、３６Ｂの撮像によって得られた画像か
ら情報入力者１０の全体像に相当する画像部を抽出し、
情報入力者１０の身長ｈ及び床面上の位置を演算し、情
報入力者１０の基準点の３次元座標を決定する。そして
次のステップ２４２では、図８のフローチャートのステ
ップ１５９と同様に、情報入力者１０が指示動作を行っ
ているか否か判定する。判定が否定された場合には、ス
テップ２７０で指示フラグが１か否か判定し、この判定
も否定された場合には指示判断処理を一旦終了する。
トのステップ１５４乃至ステップ１５８と同様に、ビデ
オカメラ３６Ａ、３６Ｂの撮像によって得られた画像か
ら情報入力者１０の全体像に相当する画像部を抽出し、
情報入力者１０の身長ｈ及び床面上の位置を演算し、情
報入力者１０の基準点の３次元座標を決定する。そして
次のステップ２４２では、図８のフローチャートのステ
ップ１５９と同様に、情報入力者１０が指示動作を行っ
ているか否か判定する。判定が否定された場合には、ス
テップ２７０で指示フラグが１か否か判定し、この判定
も否定された場合には指示判断処理を一旦終了する。
【０１２９】一方、情報入力者１０が、図１２（Ａ）に
示す直立している状態から、図１２（Ｂ）又は（Ｃ）に
示すように手をディスプレイ１２側に向けると、ステッ
プ２４２の判定が肯定されてステップ２４４へ移行す
る。ステップ２４４では、図８のフローチャートのステ
ップ１６０乃至ステップ１７６と同様にして情報入力者
１０の特徴点の３次元座標を演算し、情報入力者１０が
指し示している位置を演算する。
示す直立している状態から、図１２（Ｂ）又は（Ｃ）に
示すように手をディスプレイ１２側に向けると、ステッ
プ２４２の判定が肯定されてステップ２４４へ移行す
る。ステップ２４４では、図８のフローチャートのステ
ップ１６０乃至ステップ１７６と同様にして情報入力者
１０の特徴点の３次元座標を演算し、情報入力者１０が
指し示している位置を演算する。
【０１３０】次のステップ２４６では情報入力者１０が
ディスプレイ１２の表示面上を指し示しているか否か判
定する。判定が否定された場合にはステップ２７０へ移
行するが、判定が肯定された場合には、ステップ２４７
で指示フラグを１にした後に、ステップ２４８でディス
プレイ１２の表示面上の情報入力者１０が指し示してい
る位置の座標を情報処理装置１４に出力すると共に、前
記座標をＲＡＭ２２Ｃ等に記憶する。これにより、情報
処理装置１４では、ディスプレイ１２の表示面上の情報
入力者１０が指し示している位置にカーソル等を表示す
る。
ディスプレイ１２の表示面上を指し示しているか否か判
定する。判定が否定された場合にはステップ２７０へ移
行するが、判定が肯定された場合には、ステップ２４７
で指示フラグを１にした後に、ステップ２４８でディス
プレイ１２の表示面上の情報入力者１０が指し示してい
る位置の座標を情報処理装置１４に出力すると共に、前
記座標をＲＡＭ２２Ｃ等に記憶する。これにより、情報
処理装置１４では、ディスプレイ１２の表示面上の情報
入力者１０が指し示している位置にカーソル等を表示す
る。
【０１３１】次のステップ２５２乃至２６２の処理は、
図８のフローチャートのステップ１８４乃至ステップ１
９６の処理を同様にしてクリック動作を検出する。すな
わち、画像中に存在する情報入力者１０の手に相当する
画像部を抽出し、その面積を求め（ステップ２５０）、
監視フラグが１か否か判定する（ステップ２５２）。判
定が否定された場合は、監視フラグを１にして（ステッ
プ２５４）、先に演算した情報入力者の手に相当する画
像部の面積を記憶し（ステップ２５６）、指示判断処理
を一旦終了する。
図８のフローチャートのステップ１８４乃至ステップ１
９６の処理を同様にしてクリック動作を検出する。すな
わち、画像中に存在する情報入力者１０の手に相当する
画像部を抽出し、その面積を求め（ステップ２５０）、
監視フラグが１か否か判定する（ステップ２５２）。判
定が否定された場合は、監視フラグを１にして（ステッ
プ２５４）、先に演算した情報入力者の手に相当する画
像部の面積を記憶し（ステップ２５６）、指示判断処理
を一旦終了する。
【０１３２】また、ステップ２５２の判定が肯定された
場合は、ステップ２５０で演算した面積を、ＲＡＭ２２
Ｃ等に記憶されている面積と比較し、情報入力者１０の
手に相当する画像部の面積に所定値以上の変化が有った
か否か判定する（ステップ２５８）。判定が否定された
場合には、情報入力者１０がクリック動作を行っていな
いと判断し、何ら処理を行うことなく指示判断処理を終
了するが、判定が肯定された場合には、「クリック有
り」を表す情報を情報処理装置１４に出力し（ステップ
２６０：これにより、情報処理装置１４ではディスプレ
イ１２に表示している画面の切替え等の所定の処理を実
行する）、監視フラグ及び指示フラグを０にして（ステ
ップ２６２）、指示判断処理を終了する。
場合は、ステップ２５０で演算した面積を、ＲＡＭ２２
Ｃ等に記憶されている面積と比較し、情報入力者１０の
手に相当する画像部の面積に所定値以上の変化が有った
か否か判定する（ステップ２５８）。判定が否定された
場合には、情報入力者１０がクリック動作を行っていな
いと判断し、何ら処理を行うことなく指示判断処理を終
了するが、判定が肯定された場合には、「クリック有
り」を表す情報を情報処理装置１４に出力し（ステップ
２６０：これにより、情報処理装置１４ではディスプレ
イ１２に表示している画面の切替え等の所定の処理を実
行する）、監視フラグ及び指示フラグを０にして（ステ
ップ２６２）、指示判断処理を終了する。
【０１３３】また、情報入力者１０がディスプレイ１２
の表示面上を指し示した後に、クリック動作を行うこと
なく腕を下ろした場合には、ステップ２４２の判定が否
定されてステップ２７０へ移行するが、このときには指
示フラグが１であるのでステップ２７０の判定が肯定さ
れ、ステップ２７２へ移行する。ステップ２７２では、
ステップ２４８で演算しＲＡＭ２２Ｃに記憶している、
ディスプレイ１２の表示面上の情報入力者１０が指し示
している位置の座標を情報処理装置１４に出力する。こ
れにより、情報処理装置１４は、情報入力者１０が腕を
下ろす前にカーソルを表示していた位置に、継続してカ
ーソルを表示させる。
の表示面上を指し示した後に、クリック動作を行うこと
なく腕を下ろした場合には、ステップ２４２の判定が否
定されてステップ２７０へ移行するが、このときには指
示フラグが１であるのでステップ２７０の判定が肯定さ
れ、ステップ２７２へ移行する。ステップ２７２では、
ステップ２４８で演算しＲＡＭ２２Ｃに記憶している、
ディスプレイ１２の表示面上の情報入力者１０が指し示
している位置の座標を情報処理装置１４に出力する。こ
れにより、情報処理装置１４は、情報入力者１０が腕を
下ろす前にカーソルを表示していた位置に、継続してカ
ーソルを表示させる。
【０１３４】このカーソルの表示の継続は請求項１４に
記載の処理手段による処理に対応しており、上記のステ
ップ２７０は、ステップ２４２、２４７と共に請求項１
４に記載の第２の検出手段に対応している。
記載の処理手段による処理に対応しており、上記のステ
ップ２７０は、ステップ２４２、２４７と共に請求項１
４に記載の第２の検出手段に対応している。
【０１３５】上記により、情報入力者１０の姿勢が、図
１２（Ｂ）又は（Ｃ）に示す姿勢から図１２（Ａ）に示
す姿勢に変化したとしても、カーソルの表示が継続され
るので、情報入力者１０がカーソルを継続して表示させ
たい等の場合にも（例えば会議のプレゼンテーション
等）、情報入力者１０が継続的に腕を上げ続ける必要が
なくなるので、情報入力者１０の負担を軽減することが
できる。
１２（Ｂ）又は（Ｃ）に示す姿勢から図１２（Ａ）に示
す姿勢に変化したとしても、カーソルの表示が継続され
るので、情報入力者１０がカーソルを継続して表示させ
たい等の場合にも（例えば会議のプレゼンテーション
等）、情報入力者１０が継続的に腕を上げ続ける必要が
なくなるので、情報入力者１０の負担を軽減することが
できる。
【０１３６】また、情報入力者１０が情報入力空間から
退去すると、それが情報処理装置１４における一連の処
理の途中であったとしても、ステップ２３２の判定が否
定され、ステップ２８０へ移行する。情報入力者１０が
情報入力空間から退去したときには、到来フラグは１に
なっているので、ステップ２８０の判定が肯定され、ス
テップ２８２で情報入力空間から情報入力者１０が退去
したことを情報処理装置１４に通知する。これにより、
情報処理装置１４は実行途中の処理があれば該処理の実
行を中止すると共に、ディスプレイ１２に表示している
画面を呼び込み画面に切替える。次のステップ２８４で
は到来フラグを０にして、指示判断処理を一旦終了す
る。
退去すると、それが情報処理装置１４における一連の処
理の途中であったとしても、ステップ２３２の判定が否
定され、ステップ２８０へ移行する。情報入力者１０が
情報入力空間から退去したときには、到来フラグは１に
なっているので、ステップ２８０の判定が肯定され、ス
テップ２８２で情報入力空間から情報入力者１０が退去
したことを情報処理装置１４に通知する。これにより、
情報処理装置１４は実行途中の処理があれば該処理の実
行を中止すると共に、ディスプレイ１２に表示している
画面を呼び込み画面に切替える。次のステップ２８４で
は到来フラグを０にして、指示判断処理を一旦終了す
る。
【０１３７】これにより、情報入力空間に情報入力者１
０が居ない間は常に呼び込み画面がディスプレイに表示
され、情報入力空間に情報入力者１０が到来する毎に、
情報処理装置１４では、ディスプレイ１２への初期画面
の表示から始まる一連の処理が行われることになる。
０が居ない間は常に呼び込み画面がディスプレイに表示
され、情報入力空間に情報入力者１０が到来する毎に、
情報処理装置１４では、ディスプレイ１２への初期画面
の表示から始まる一連の処理が行われることになる。
【０１３８】また、図８及び図１９に示した指示判断処
理では、情報入力者が自身の手を動かすあらゆる動作
（例えば手首の屈曲や回転、任意の指の曲げ伸ばし等）
をクリック動作として定義していたが、これに限定され
るものではなく、情報入力者１０が手を前方に素早く移
動させる動作（図２２（Ａ）参照、以下「前進クリッ
ク」という）、及び情報入力者１０が手を後方に素早く
移動させる動作（図２２（Ｂ）参照、以下「後進クリッ
ク」という）をクリック動作としてもよい。上記のクリ
ック動作は、図８や図１９に示した指示判断処理に代え
て、例えば図２０に示す指示判断処理を行うことで検知
することができる。
理では、情報入力者が自身の手を動かすあらゆる動作
（例えば手首の屈曲や回転、任意の指の曲げ伸ばし等）
をクリック動作として定義していたが、これに限定され
るものではなく、情報入力者１０が手を前方に素早く移
動させる動作（図２２（Ａ）参照、以下「前進クリッ
ク」という）、及び情報入力者１０が手を後方に素早く
移動させる動作（図２２（Ｂ）参照、以下「後進クリッ
ク」という）をクリック動作としてもよい。上記のクリ
ック動作は、図８や図１９に示した指示判断処理に代え
て、例えば図２０に示す指示判断処理を行うことで検知
することができる。
【０１３９】すなわち、図２０に示す指示判断処理で
は、まずステップ３１０において、図８のフローチャー
トのステップ１５２、図１９のフローチャートのステッ
プ２３２と同様に、情報入力空間内に情報入力者１０が
到来したか（存在しているか）否かを判定する。この判
定も、例えば画像Ａ及び画像Ｂ中に高輝度でかつ所定値
以上の面積の画像部が存在しているか否か等の極めて簡
単な判断処理で済む。ステップ３１０の判定が否定され
た場合には、判定が肯定される迄待機する。情報入力空
間に情報入力者１０が到来すると、ステップ３１０の判
定が肯定されてステップ３１２へ移行し、クリック動作
速度設定処理を実行する。
は、まずステップ３１０において、図８のフローチャー
トのステップ１５２、図１９のフローチャートのステッ
プ２３２と同様に、情報入力空間内に情報入力者１０が
到来したか（存在しているか）否かを判定する。この判
定も、例えば画像Ａ及び画像Ｂ中に高輝度でかつ所定値
以上の面積の画像部が存在しているか否か等の極めて簡
単な判断処理で済む。ステップ３１０の判定が否定され
た場合には、判定が肯定される迄待機する。情報入力空
間に情報入力者１０が到来すると、ステップ３１０の判
定が肯定されてステップ３１２へ移行し、クリック動作
速度設定処理を実行する。
【０１４０】このクリック動作速度設定処理について、
図２１のフローチャートを参照して説明する。なお、ク
リック動作速度設定処理は請求項１３に記載の閾値設定
手段に対応している。ステップ２９０では、クリック動
作の実行を情報入力者１０に要請するメッセージをディ
スプレイ１２に表示するよう情報処理装置１４に指示
し、情報処理装置１４はディスプレイ１２に前記メッセ
ージを表示させる。ディスプレイ１２に前記メッセージ
が表示されると、情報入力者１０は腕を屈曲又は伸長さ
せ、前進クリック動作又は後進クリック動作を繰り返し
行う。
図２１のフローチャートを参照して説明する。なお、ク
リック動作速度設定処理は請求項１３に記載の閾値設定
手段に対応している。ステップ２９０では、クリック動
作の実行を情報入力者１０に要請するメッセージをディ
スプレイ１２に表示するよう情報処理装置１４に指示
し、情報処理装置１４はディスプレイ１２に前記メッセ
ージを表示させる。ディスプレイ１２に前記メッセージ
が表示されると、情報入力者１０は腕を屈曲又は伸長さ
せ、前進クリック動作又は後進クリック動作を繰り返し
行う。
【０１４１】次のステップ２９２では、基準点・特徴点
座標演算処理（図８のフローチャートのステップ１５４
乃至ステップ１７６と同様の処理）を行って基準点Ｐ0
及び特徴点Ｐx の３次元座標を求め、ステップ２９４で
は情報入力者１０がディスプレイ１２を指し示す指示動
作を行っているか否か判定する。ステップ２９４の判定
が否定された場合にはステップ２９２に戻り、情報入力
者１０が指示動作を行う迄ステップ２９２、２９４を繰
り返す。ステップ２９４の判定が肯定されるとステップ
２９６へ移行する。
座標演算処理（図８のフローチャートのステップ１５４
乃至ステップ１７６と同様の処理）を行って基準点Ｐ0
及び特徴点Ｐx の３次元座標を求め、ステップ２９４で
は情報入力者１０がディスプレイ１２を指し示す指示動
作を行っているか否か判定する。ステップ２９４の判定
が否定された場合にはステップ２９２に戻り、情報入力
者１０が指示動作を行う迄ステップ２９２、２９４を繰
り返す。ステップ２９４の判定が肯定されるとステップ
２９６へ移行する。
【０１４２】ステップ２９６では、ステップ２９２で取
り込んだ基準点Ｐ0 及び特徴点Ｐxの３次元座標から基
準点Ｐ0 と特徴点Ｐx との距離ｋを演算する。また、ス
テップ２９６は繰り返し実行されるが、２回目以降の実
行時には、今回演算した距離ｋの値と前回演算した距離
ｋの値との差に基づいて距離ｋの変化速度Ｖ（基準点Ｐ
0 に対する特徴点Ｐx の位置の移動速度）を演算し、演
算結果を記憶する。
り込んだ基準点Ｐ0 及び特徴点Ｐxの３次元座標から基
準点Ｐ0 と特徴点Ｐx との距離ｋを演算する。また、ス
テップ２９６は繰り返し実行されるが、２回目以降の実
行時には、今回演算した距離ｋの値と前回演算した距離
ｋの値との差に基づいて距離ｋの変化速度Ｖ（基準点Ｐ
0 に対する特徴点Ｐx の位置の移動速度）を演算し、演
算結果を記憶する。
【０１４３】次のステップ２９８では、クリック動作の
実行を要請するメッセージをディスプレイ１２に表示し
てから所定時間が経過したか否か判定する。判定が否定
された場合にはステップ２９２に戻り、ステップ２９２
〜２９８を繰り返す。従って、クリック動作の実行を要
請するメッセージを表示してから所定時間が経過する迄
の間は、基準点Ｐ0 と特徴点Ｐx との距離ｋの変化速度
Ｖが繰り返し演算・記憶されることになる。
実行を要請するメッセージをディスプレイ１２に表示し
てから所定時間が経過したか否か判定する。判定が否定
された場合にはステップ２９２に戻り、ステップ２９２
〜２９８を繰り返す。従って、クリック動作の実行を要
請するメッセージを表示してから所定時間が経過する迄
の間は、基準点Ｐ0 と特徴点Ｐx との距離ｋの変化速度
Ｖが繰り返し演算・記憶されることになる。
【０１４４】ステップ２９８の判定が肯定されるとステ
ップ３００へ移行し、先に演算・記憶した変化速度Ｖを
取り込み、情報入力者１０が１回のクリック動作を行っ
ている間の変化速度Ｖの推移に基づいてクリック動作速
度Ｖ0 （請求項１２及び請求項１３に記載の閾値に対
応）を設定・記憶する。このクリック動作速度Ｖ0 は、
後述する処理において、情報入力者１０がクリック動作
を行ったか否かを判定するための閾値として用いる。こ
のため、情報入力者１０がクリック動作を行ったことを
確実に判定するために、クリック動作速度Ｖ0 として
は、例えば情報入力者１０の１回のクリック動作におけ
る変化速度Ｖの平均値よりも若干低い値を設定すること
ができる。また、情報入力者１０の１回のクリック動作
における変化速度Ｖの最小値をクリック動作速度Ｖ0 と
して設定するようにしてもよい。
ップ３００へ移行し、先に演算・記憶した変化速度Ｖを
取り込み、情報入力者１０が１回のクリック動作を行っ
ている間の変化速度Ｖの推移に基づいてクリック動作速
度Ｖ0 （請求項１２及び請求項１３に記載の閾値に対
応）を設定・記憶する。このクリック動作速度Ｖ0 は、
後述する処理において、情報入力者１０がクリック動作
を行ったか否かを判定するための閾値として用いる。こ
のため、情報入力者１０がクリック動作を行ったことを
確実に判定するために、クリック動作速度Ｖ0 として
は、例えば情報入力者１０の１回のクリック動作におけ
る変化速度Ｖの平均値よりも若干低い値を設定すること
ができる。また、情報入力者１０の１回のクリック動作
における変化速度Ｖの最小値をクリック動作速度Ｖ0 と
して設定するようにしてもよい。
【０１４５】情報入力者１０が腕を屈曲又は伸長させて
クリック動作を行ったときの特徴点Ｐx の移動速度（変
化速度Ｖ）は情報入力者１０毎にばらつきがあるが、上
記のクリック動作速度設定処理は情報入力空間に情報入
力者１０が到来する毎に実行されるので、情報入力空間
に新たな情報入力者１０が到来すると、クリック動作速
度Ｖ0 として到来した情報入力者１０の体格や筋力等に
応じた適切な値が新たに設定されることになる。
クリック動作を行ったときの特徴点Ｐx の移動速度（変
化速度Ｖ）は情報入力者１０毎にばらつきがあるが、上
記のクリック動作速度設定処理は情報入力空間に情報入
力者１０が到来する毎に実行されるので、情報入力空間
に新たな情報入力者１０が到来すると、クリック動作速
度Ｖ0 として到来した情報入力者１０の体格や筋力等に
応じた適切な値が新たに設定されることになる。
【０１４６】上述したクリック動作速度設定処理を終了
すると、指示判断処理（図２０）のステップ３１４へ移
行し、基準点・特徴点座標演算処理（図８のフローチャ
ートのステップ１５４乃至ステップ１７６と同様の処
理）を行って基準点Ｐ0 及び特徴点Ｐx の３次元座標を
求める。次のステップ３１６では、ステップ３１４で求
めた基準点Ｐ0 及び特徴点Ｐx の３次元座標に基づい
て、情報入力者１０が指示動作を行っているか否か判定
する。
すると、指示判断処理（図２０）のステップ３１４へ移
行し、基準点・特徴点座標演算処理（図８のフローチャ
ートのステップ１５４乃至ステップ１７６と同様の処
理）を行って基準点Ｐ0 及び特徴点Ｐx の３次元座標を
求める。次のステップ３１６では、ステップ３１４で求
めた基準点Ｐ0 及び特徴点Ｐx の３次元座標に基づい
て、情報入力者１０が指示動作を行っているか否か判定
する。
【０１４７】ステップ３１６の判定が否定された場合に
はステップ３３４へ移行し、情報入力空間から情報入力
者１０が退去したか否か判定する。この判定について
も、先に説明したステップ３１０と同様に、画像Ａ及び
画像Ｂから高輝度でかつ所定値以上の面積の画像部が無
くなったか否か等の極めて簡単な判断処理で済む。上記
判定が否定された場合にはステップ３１４に戻り、情報
入力者１０が指示動作を行う迄ステップ３１４、３１
６、３３４を繰り返す。
はステップ３３４へ移行し、情報入力空間から情報入力
者１０が退去したか否か判定する。この判定について
も、先に説明したステップ３１０と同様に、画像Ａ及び
画像Ｂから高輝度でかつ所定値以上の面積の画像部が無
くなったか否か等の極めて簡単な判断処理で済む。上記
判定が否定された場合にはステップ３１４に戻り、情報
入力者１０が指示動作を行う迄ステップ３１４、３１
６、３３４を繰り返す。
【０１４８】また、ステップ３１６の判定が肯定される
とステップ３１８へ移行し、ステップ３１４で求めた基
準点Ｐ0 及び特徴点Ｐx の３次元座標に基づいて、図８
のフローチャートのステップ１７６と同様に、情報入力
者１０が指し示している位置として、大画面ディスプレ
イ１２の表示面を含む平面と、基準点と特徴点とを結ぶ
仮想線と、の交点の座標を演算する。次のステップ３２
０では、ステップ３１８で求めた座標に基づいて、情報
入力者１０が大画面ディスプレイ１２の表示面上を指し
示しているか否か判定する。
とステップ３１８へ移行し、ステップ３１４で求めた基
準点Ｐ0 及び特徴点Ｐx の３次元座標に基づいて、図８
のフローチャートのステップ１７６と同様に、情報入力
者１０が指し示している位置として、大画面ディスプレ
イ１２の表示面を含む平面と、基準点と特徴点とを結ぶ
仮想線と、の交点の座標を演算する。次のステップ３２
０では、ステップ３１８で求めた座標に基づいて、情報
入力者１０が大画面ディスプレイ１２の表示面上を指し
示しているか否か判定する。
【０１４９】ステップ３２０の判定が否定された場合に
は何ら処理を行うことなくステップ３３４へ移行する
が、前記判定が肯定された場合は、ステップ３２２にお
いて、ステップ３１８で演算した座標を情報処理装置１
４に出力し、情報処理装置１４に対してカーソルの表示
を指示する。これにより、情報処理装置１４では、情報
入力者１０が指し示していると判断されたディスプレイ
１２の表示面上の所定位置にカーソルを表示する等の処
理を行う。
は何ら処理を行うことなくステップ３３４へ移行する
が、前記判定が肯定された場合は、ステップ３２２にお
いて、ステップ３１８で演算した座標を情報処理装置１
４に出力し、情報処理装置１４に対してカーソルの表示
を指示する。これにより、情報処理装置１４では、情報
入力者１０が指し示していると判断されたディスプレイ
１２の表示面上の所定位置にカーソルを表示する等の処
理を行う。
【０１５０】次のステップ３２４では、基準点Ｐ0 及び
特徴点Ｐx の３次元座標に基づいて基準点Ｐ0 と特徴点
Ｐx の距離ｋを演算し、距離ｋの変化が有ったか否か判
定する。なお、ステップ３２４は情報入力者１０がディ
スプレイ１２の表示面を指し示す動作を行っている間
（ステップ３２０の判定が肯定されている間）繰り返し
実行されるが、ステップ３２４で最初に距離ｋが演算さ
れたときには、距離ｋの変化の有無を判定できないので
ステップ３２４の判定は無条件に否定される。
特徴点Ｐx の３次元座標に基づいて基準点Ｐ0 と特徴点
Ｐx の距離ｋを演算し、距離ｋの変化が有ったか否か判
定する。なお、ステップ３２４は情報入力者１０がディ
スプレイ１２の表示面を指し示す動作を行っている間
（ステップ３２０の判定が肯定されている間）繰り返し
実行されるが、ステップ３２４で最初に距離ｋが演算さ
れたときには、距離ｋの変化の有無を判定できないので
ステップ３２４の判定は無条件に否定される。
【０１５１】一方、ステップ３２４の判定が肯定された
場合にはステップ３２６へ移行し、距離ｋの変化速度Ｖ
を演算し、演算した変化速度Ｖが閾値（クリック動作速
度設定処理によって設定されたクリック動作速度Ｖ0 ）
以上か否か判定する。なお、ステップ３２６について
も、ステップ３２４で最初に距離ｋが演算されたときに
は距離ｋの変化速度Ｖを演算することができないので、
判定は無条件に否定される。ステップ３２４又はステッ
プ３２６の判定が否定された場合には、情報入力者１０
はクリック動作を行っていないと判断し、何ら処理を行
うことなくステップ３３４へ移行する。
場合にはステップ３２６へ移行し、距離ｋの変化速度Ｖ
を演算し、演算した変化速度Ｖが閾値（クリック動作速
度設定処理によって設定されたクリック動作速度Ｖ0 ）
以上か否か判定する。なお、ステップ３２６について
も、ステップ３２４で最初に距離ｋが演算されたときに
は距離ｋの変化速度Ｖを演算することができないので、
判定は無条件に否定される。ステップ３２４又はステッ
プ３２６の判定が否定された場合には、情報入力者１０
はクリック動作を行っていないと判断し、何ら処理を行
うことなくステップ３３４へ移行する。
【０１５２】また、ステップ３２４、３２６の判定が各
々肯定された場合には情報入力者１０がクリック動作を
行ったと判断し、ステップ３２８において距離ｋの変化
方向を判定し、判定結果に応じて分岐する。距離ｋが増
大方向に変化していた場合には、情報入力者１０が腕を
素早く伸長させる前進クリック動作を行ったと判断でき
るので、ステップ３３０へ移行し、前進クリックが有っ
たことを表す情報を情報処理装置１４に出力し、ステッ
プ３３４へ移行する。また、距離ｋが減少方向に変化し
ていた場合には、情報入力者１０が腕を素早く屈曲させ
る後進クリック動作を行ったと判断できるので、ステッ
プ３３２へ移行し、後進クリックが有ったことを表す情
報を情報処理装置１４に出力した後に、ステップ３３４
へ移行する。
々肯定された場合には情報入力者１０がクリック動作を
行ったと判断し、ステップ３２８において距離ｋの変化
方向を判定し、判定結果に応じて分岐する。距離ｋが増
大方向に変化していた場合には、情報入力者１０が腕を
素早く伸長させる前進クリック動作を行ったと判断でき
るので、ステップ３３０へ移行し、前進クリックが有っ
たことを表す情報を情報処理装置１４に出力し、ステッ
プ３３４へ移行する。また、距離ｋが減少方向に変化し
ていた場合には、情報入力者１０が腕を素早く屈曲させ
る後進クリック動作を行ったと判断できるので、ステッ
プ３３２へ移行し、後進クリックが有ったことを表す情
報を情報処理装置１４に出力した後に、ステップ３３４
へ移行する。
【０１５３】情報処理装置１４では、前進クリックが有
ったことを表す情報又は後進クリックが有ったことを表
す情報が入力されると、情報入力者１０による現在の指
示箇所がクリックされたと判断し、前進クリックが有っ
た場合には現在の指示箇所に対応する第１の処理を、後
進クリックが有った場合には現在の指示箇所に対応する
第２の処理（第１の処理と異なる処理）を行う。なお、
この第１の処理、第２の処理は、請求項１０に記載の所
定の処理（より詳しくは、請求項１１に記載の第１の所
定の処理、第２の所定の処理）に対応している。
ったことを表す情報又は後進クリックが有ったことを表
す情報が入力されると、情報入力者１０による現在の指
示箇所がクリックされたと判断し、前進クリックが有っ
た場合には現在の指示箇所に対応する第１の処理を、後
進クリックが有った場合には現在の指示箇所に対応する
第２の処理（第１の処理と異なる処理）を行う。なお、
この第１の処理、第２の処理は、請求項１０に記載の所
定の処理（より詳しくは、請求項１１に記載の第１の所
定の処理、第２の所定の処理）に対応している。
【０１５４】このように、ステップ３２４〜３３２は、
実際に第１の処理、第２の処理を行う情報処理装置１４
と共に、請求項１０に記載の処理手段（より詳しくは請
求項１１及び請求項１２に記載の処理手段）に対応して
いる。なお、情報入力空間から情報入力者１０が退去し
た場合には、ステップ３３４の判定が肯定されてステッ
プ３１０に戻る。
実際に第１の処理、第２の処理を行う情報処理装置１４
と共に、請求項１０に記載の処理手段（より詳しくは請
求項１１及び請求項１２に記載の処理手段）に対応して
いる。なお、情報入力空間から情報入力者１０が退去し
た場合には、ステップ３３４の判定が肯定されてステッ
プ３１０に戻る。
【０１５５】上述した指示判断処理におけるクリック動
作は、ディスプレイ１２の表示面上の特定の箇所を指し
示して選択する動作として極めて自然な動作であるの
で、認識対象者は違和感を感ずることなくクリック動作
を行うことができる。また、上記では、基準点と特徴点
との距離ｋの変化に基づいて、クリック動作が行われた
か否か及び行われたクリック動作が前進クリック動作か
後進クリック動作かを判断することができるので、クリ
ック動作の検知を短時間で行うことができる。また、ク
リック動作として２種類のクリック動作（前進クリック
動作及び後進クリック動作）を定義しているので、情報
入力者１０が、第１の処理及び第２の処理を選択的に実
行させることができる。
作は、ディスプレイ１２の表示面上の特定の箇所を指し
示して選択する動作として極めて自然な動作であるの
で、認識対象者は違和感を感ずることなくクリック動作
を行うことができる。また、上記では、基準点と特徴点
との距離ｋの変化に基づいて、クリック動作が行われた
か否か及び行われたクリック動作が前進クリック動作か
後進クリック動作かを判断することができるので、クリ
ック動作の検知を短時間で行うことができる。また、ク
リック動作として２種類のクリック動作（前進クリック
動作及び後進クリック動作）を定義しているので、情報
入力者１０が、第１の処理及び第２の処理を選択的に実
行させることができる。
【０１５６】ところで、上記の前進クリック動作又は後
進クリック動作を行った後の人間の自然な手の動きは、
クリック動作を行う前の位置（ニュートラルポジショ
ン）に戻ろうとする動きであるので、前進クリック動作
を行った後のニュートラルポジションに戻ろうとする手
の動きを後進クリック動作と誤検知したり、後進クリッ
ク動作を行った後のニュートラルポジションに戻ろうと
する手の動きを前進クリック動作を誤検知することを防
止するために、前進クリック動作又は後進クリック動作
を検知した後のニュートラルポジションに戻ろうとする
手の動きを無視することが望ましい。これは、例えば前
進クリック動作又は後進クリック動作を検知してからク
リック動作の検知を所定時間停止したり、或いは前進ク
リック動作又は後進クリック動作を検知する前の距離ｋ
の値をニュートラルポジションに相当する値として予め
記憶しておき、前進クリック動作又は後進クリック動作
を検知してから距離ｋの値が前記ニュートラルポジショ
ンに相当する値になる迄の間、クリック動作の検知を停
止することによって実現することができる。
進クリック動作を行った後の人間の自然な手の動きは、
クリック動作を行う前の位置（ニュートラルポジショ
ン）に戻ろうとする動きであるので、前進クリック動作
を行った後のニュートラルポジションに戻ろうとする手
の動きを後進クリック動作と誤検知したり、後進クリッ
ク動作を行った後のニュートラルポジションに戻ろうと
する手の動きを前進クリック動作を誤検知することを防
止するために、前進クリック動作又は後進クリック動作
を検知した後のニュートラルポジションに戻ろうとする
手の動きを無視することが望ましい。これは、例えば前
進クリック動作又は後進クリック動作を検知してからク
リック動作の検知を所定時間停止したり、或いは前進ク
リック動作又は後進クリック動作を検知する前の距離ｋ
の値をニュートラルポジションに相当する値として予め
記憶しておき、前進クリック動作又は後進クリック動作
を検知してから距離ｋの値が前記ニュートラルポジショ
ンに相当する値になる迄の間、クリック動作の検知を停
止することによって実現することができる。
【０１５７】また、上述した指示判断処理においても、
図１９に示した指示判断処理と同様に、情報入力者１０
が腕を下ろした場合に、腕を下ろす前にカーソルを表示
していた位置に、継続してカーソルを表示させるように
してもよいことは言うまでもない。
図１９に示した指示判断処理と同様に、情報入力者１０
が腕を下ろした場合に、腕を下ろす前にカーソルを表示
していた位置に、継続してカーソルを表示させるように
してもよいことは言うまでもない。
【０１５８】また、上記では情報入力者１０の基準点及
び特徴点の３次元座標に基づいて情報入力者１０が指し
示している位置を演算していたが、これに限定されるも
のではなく、ビデオカメラ３６の撮像によって得られた
画像から情報入力者１０の全体像に相当する画像部を抽
出し（図２３の画像部７２を参照）、情報入力者１０の
身長ｈ及び床面上の位置を演算し、更に、太さ等の情報
入力者に関する他のパラメータを決定した後に、身長ｈ
を含む各種パラメータに基づいて、情報入力者１０の全
体像をダミーモデル７４（図２３参照）に変換し、この
ダミーモデルに基づいて、ディスプレイ１２の表示面上
を指し示す動作を含む、情報入力者の各種動作の認識を
行うようにしてもよい。
び特徴点の３次元座標に基づいて情報入力者１０が指し
示している位置を演算していたが、これに限定されるも
のではなく、ビデオカメラ３６の撮像によって得られた
画像から情報入力者１０の全体像に相当する画像部を抽
出し（図２３の画像部７２を参照）、情報入力者１０の
身長ｈ及び床面上の位置を演算し、更に、太さ等の情報
入力者に関する他のパラメータを決定した後に、身長ｈ
を含む各種パラメータに基づいて、情報入力者１０の全
体像をダミーモデル７４（図２３参照）に変換し、この
ダミーモデルに基づいて、ディスプレイ１２の表示面上
を指し示す動作を含む、情報入力者の各種動作の認識を
行うようにしてもよい。
【０１５９】上記のようにダミーモデルを用いた場合、
例えば手を振る等のように、情報入力者の全体像からは
認識が困難な動作も認識することができる。そして、例
えば情報入力者が手を振る動作を「取消し」を意味する
動作と定義しておき、情報入力者が手を振る動作を行っ
たことを認識したときには、その前に認識した情報入力
者の動作に応じて実行した処理を中止させることも可能
となる。
例えば手を振る等のように、情報入力者の全体像からは
認識が困難な動作も認識することができる。そして、例
えば情報入力者が手を振る動作を「取消し」を意味する
動作と定義しておき、情報入力者が手を振る動作を行っ
たことを認識したときには、その前に認識した情報入力
者の動作に応じて実行した処理を中止させることも可能
となる。
【０１６０】また、上記では情報入力者１０がディスプ
レイ１２の表示面上の任意の位置を指し示す態様を例に
説明したが、情報入力者が指し示す対象はディスプレイ
に限定されるものではなく、情報入力者が任意の方向を
指し示したり、情報入力者との距離が不定の任意の物体
を指し示すようにしてもよい。
レイ１２の表示面上の任意の位置を指し示す態様を例に
説明したが、情報入力者が指し示す対象はディスプレイ
に限定されるものではなく、情報入力者が任意の方向を
指し示したり、情報入力者との距離が不定の任意の物体
を指し示すようにしてもよい。
【０１６１】情報入力者が任意の方向を指し示す場合に
は、指示判断処理（例えば図８のフローチャートのステ
ップ１７６）において、情報入力者の基準点と特徴点と
を結ぶ仮想線の延びる方向を求めるようにすることで、
情報入力者によって指し示された方向を判断できる。ま
た、情報入力者が、情報入力者との距離が不定の任意の
物体を指し示す場合には、先のステップ１７６におい
て、仮想線の延びる方向を求めた後に、該仮想線を延長
した先に存在する物体を判定することで、情報入力者が
指し示している物体を判断することができる。
は、指示判断処理（例えば図８のフローチャートのステ
ップ１７６）において、情報入力者の基準点と特徴点と
を結ぶ仮想線の延びる方向を求めるようにすることで、
情報入力者によって指し示された方向を判断できる。ま
た、情報入力者が、情報入力者との距離が不定の任意の
物体を指し示す場合には、先のステップ１７６におい
て、仮想線の延びる方向を求めた後に、該仮想線を延長
した先に存在する物体を判定することで、情報入力者が
指し示している物体を判断することができる。
【０１６２】情報入力者が任意の方向を指し示す利用形
態としては、例えば劇場等において、スポットライトの
照射方向や、アレイ状に配置された多数のスピーカによ
って形成される音響ビームの方向を、オペレータ（情報
入力者）が指し示した方向に向ける場合等が挙げられ
る。
態としては、例えば劇場等において、スポットライトの
照射方向や、アレイ状に配置された多数のスピーカによ
って形成される音響ビームの方向を、オペレータ（情報
入力者）が指し示した方向に向ける場合等が挙げられ
る。
【０１６３】また、情報入力者が、情報入力者からの距
離が不定の任意の物体を指し示す利用形態としては、例
えば建設現場や工場等においてクレーンやその他の機械
をオペレータ（情報入力者）の指示に応じて動作させる
場合、或いはホームオートメーションにおいて情報入力
者が各種設備機器に対して各種の指示を行う場合等が挙
げられる。
離が不定の任意の物体を指し示す利用形態としては、例
えば建設現場や工場等においてクレーンやその他の機械
をオペレータ（情報入力者）の指示に応じて動作させる
場合、或いはホームオートメーションにおいて情報入力
者が各種設備機器に対して各種の指示を行う場合等が挙
げられる。
【０１６４】また、上記では２台のビデオカメラ３６
Ａ、３６Ｂを設けた例を説明したが、これに限定される
ものではなく、より多数のビデオカメラによって情報入
力空間を各々撮像し、情報入力者１０からの指示を判断
するようにしてもよい。
Ａ、３６Ｂを設けた例を説明したが、これに限定される
ものではなく、より多数のビデオカメラによって情報入
力空間を各々撮像し、情報入力者１０からの指示を判断
するようにしてもよい。
【０１６５】
【発明の効果】以上説明したように請求項１記載の発明
は、複数の撮像手段の撮像範囲を、照明手段によって照
明された認識対象者が撮像範囲内に入り、かつ照明手段
によって照明される床面上の照明範囲が撮像範囲から外
れるように各々調整するようにしたので、構成が簡単
で、認識対象者からの指示の判定に要する時間を短縮す
ることができる、という優れた効果を有する。
は、複数の撮像手段の撮像範囲を、照明手段によって照
明された認識対象者が撮像範囲内に入り、かつ照明手段
によって照明される床面上の照明範囲が撮像範囲から外
れるように各々調整するようにしたので、構成が簡単
で、認識対象者からの指示の判定に要する時間を短縮す
ることができる、という優れた効果を有する。
【０１６６】請求項２記載の発明は、互いに異なる位置
に配置される複数の撮像手段の撮像範囲を、照明手段に
よって照明された認識対象者が撮像範囲内に入り、かつ
互いに異なる照明手段によって照明される床面上の互い
に異なる照明範囲が撮像範囲から外れるように各々調整
し、認識対象者が特定の位置又は方向を指し示している
ときに複数の照明手段の何れか１つを順に点灯させると
共に、各照明手段の点灯時に、点灯している照明手段に
よる床面上の照明範囲が撮像範囲から外れている撮像手
段によって認識対象者を撮像させるので、構成が簡単
で、認識対象者からの指示の判定に要する時間を短縮す
ることができる、という優れた効果を有する。
に配置される複数の撮像手段の撮像範囲を、照明手段に
よって照明された認識対象者が撮像範囲内に入り、かつ
互いに異なる照明手段によって照明される床面上の互い
に異なる照明範囲が撮像範囲から外れるように各々調整
し、認識対象者が特定の位置又は方向を指し示している
ときに複数の照明手段の何れか１つを順に点灯させると
共に、各照明手段の点灯時に、点灯している照明手段に
よる床面上の照明範囲が撮像範囲から外れている撮像手
段によって認識対象者を撮像させるので、構成が簡単
で、認識対象者からの指示の判定に要する時間を短縮す
ることができる、という優れた効果を有する。
【０１６７】請求項３記載の発明は、互いに異なる方向
から認識対象者を照明する複数の照明手段を設け、認識
対象者が特定の位置又は方向を指し示しているときに複
数の照明手段の何れか１つを順に点灯させると共に、各
照明手段の点灯時に同一の撮像手段の撮像によって各々
得られた複数の画像を比較し、複数の画像中の認識対象
者に相当する画像部とそれ以外の画像部とを判別するこ
とを、複数の撮像手段に対して各々行い、判別結果に基
づいて複数の画像から認識対象者に相当する画像部を各
々抽出するので、構成が簡単で、認識対象者からの指示
の判定に要する時間を短縮することができる、という優
れた効果を有する。
から認識対象者を照明する複数の照明手段を設け、認識
対象者が特定の位置又は方向を指し示しているときに複
数の照明手段の何れか１つを順に点灯させると共に、各
照明手段の点灯時に同一の撮像手段の撮像によって各々
得られた複数の画像を比較し、複数の画像中の認識対象
者に相当する画像部とそれ以外の画像部とを判別するこ
とを、複数の撮像手段に対して各々行い、判別結果に基
づいて複数の画像から認識対象者に相当する画像部を各
々抽出するので、構成が簡単で、認識対象者からの指示
の判定に要する時間を短縮することができる、という優
れた効果を有する。
【０１６８】請求項４記載の発明は、認識対象者の周囲
の床面上に非認識対象物体が停滞することを阻止する阻
止手段を設けたので、構成が簡単で、認識対象者からの
指示の判定に要する時間を短縮することができる、とい
う優れた効果を有する。
の床面上に非認識対象物体が停滞することを阻止する阻
止手段を設けたので、構成が簡単で、認識対象者からの
指示の判定に要する時間を短縮することができる、とい
う優れた効果を有する。
【０１６９】請求項５記載の発明は、認識対象者が到来
する所定箇所付近に位置している複数の仮想点の各々の
３次元座標と各撮像手段の撮像によって得られる各画像
上での複数の仮想点の各々の位置とを対応付ける情報を
記憶手段に記憶し、複数の撮像手段の撮像によって得ら
れた各画像上での特徴点の位置及び記憶手段に記憶され
た情報に基づいて特徴点の３次元座標を求めているの
で、構成が簡単で、認識対象者からの指示の判定に要す
る時間を短縮することができる、という優れた効果を有
する。
する所定箇所付近に位置している複数の仮想点の各々の
３次元座標と各撮像手段の撮像によって得られる各画像
上での複数の仮想点の各々の位置とを対応付ける情報を
記憶手段に記憶し、複数の撮像手段の撮像によって得ら
れた各画像上での特徴点の位置及び記憶手段に記憶され
た情報に基づいて特徴点の３次元座標を求めているの
で、構成が簡単で、認識対象者からの指示の判定に要す
る時間を短縮することができる、という優れた効果を有
する。
【０１７０】請求項６記載の発明は、請求項５の発明に
おいて、記憶手段に、所定箇所付近に一定間隔で格子状
に並ぶ多数の仮想点について、各々の３次元座標と前記
各画像上での各々の位置との対応を表す情報が記憶され
ているので、上記効果に加え、特徴点の３次元座標上で
の位置に拘らず、特徴点の３次元座標を精度良く求める
ことができる、という効果を有する。
おいて、記憶手段に、所定箇所付近に一定間隔で格子状
に並ぶ多数の仮想点について、各々の３次元座標と前記
各画像上での各々の位置との対応を表す情報が記憶され
ているので、上記効果に加え、特徴点の３次元座標上で
の位置に拘らず、特徴点の３次元座標を精度良く求める
ことができる、という効果を有する。
【０１７１】請求項７記載の発明は、請求項６の発明に
おいて、複数の撮像手段の撮像によって得られる各画像
上での特徴点の位置を各々求めた後に、画像上での位置
が特徴点を包含する所定範囲内である仮想点を各画像か
ら各々抽出し、各画像から共通に抽出された仮想点の３
次元座標に基づいて特徴点の３次元座標を求めているの
で、上記効果に加え、特徴点の３次元座標を更に精度良
く求めることができる、という効果を有する。
おいて、複数の撮像手段の撮像によって得られる各画像
上での特徴点の位置を各々求めた後に、画像上での位置
が特徴点を包含する所定範囲内である仮想点を各画像か
ら各々抽出し、各画像から共通に抽出された仮想点の３
次元座標に基づいて特徴点の３次元座標を求めているの
で、上記効果に加え、特徴点の３次元座標を更に精度良
く求めることができる、という効果を有する。
【０１７２】請求項８記載の発明は、請求項５又は請求
項６の発明において、仮想点の位置にマーカが位置して
いる状況を複数の撮像手段によって撮像させ、仮想点の
３次元座標と各画像上での仮想点の位置とを対応付ける
情報を生成し、記憶手段に記憶させるようにしたので、
上記効果に加え、仮想点の３次元座標と前記各画像上で
の仮想点の位置とを精度良く対応付ける情報を自動的に
得ることができる、という効果を有する。
項６の発明において、仮想点の位置にマーカが位置して
いる状況を複数の撮像手段によって撮像させ、仮想点の
３次元座標と各画像上での仮想点の位置とを対応付ける
情報を生成し、記憶手段に記憶させるようにしたので、
上記効果に加え、仮想点の３次元座標と前記各画像上で
の仮想点の位置とを精度良く対応付ける情報を自動的に
得ることができる、という効果を有する。
【０１７３】請求項９記載の発明は、複数の画像中の前
記認識対象者の身体の所定部分に相当する画像部の面積
又は輪郭の形状又は輪郭線の長さの変化が検出された場
合に所定の処理を実行するようにしたので、認識対象者
からの指示の判定に時間がかかることなく、認識対象者
が指示するための動作の自由度を向上させることができ
る、という優れた効果を有する。
記認識対象者の身体の所定部分に相当する画像部の面積
又は輪郭の形状又は輪郭線の長さの変化が検出された場
合に所定の処理を実行するようにしたので、認識対象者
からの指示の判定に時間がかかることなく、認識対象者
が指示するための動作の自由度を向上させることができ
る、という優れた効果を有する。
【０１７４】請求項１０記載の発明は、認識対象者が腕
を屈曲又は伸長させることで位置が変化する特徴点及び
認識対象者が腕を屈曲及び伸長させても位置が変化しな
い基準点の３次元座標に基づいて認識対象者が指し示し
た位置又は方向を判断すると共に、基準点と特徴点との
距離の変化に基づいて所定の処理を実行するようにした
ので、認識対象者による所定の処理の実行を指示する動
作を短時間で確実に検出することができ、認識対象者か
らの指示を短時間で判定することができる、という優れ
た効果を有する。
を屈曲又は伸長させることで位置が変化する特徴点及び
認識対象者が腕を屈曲及び伸長させても位置が変化しな
い基準点の３次元座標に基づいて認識対象者が指し示し
た位置又は方向を判断すると共に、基準点と特徴点との
距離の変化に基づいて所定の処理を実行するようにした
ので、認識対象者による所定の処理の実行を指示する動
作を短時間で確実に検出することができ、認識対象者か
らの指示を短時間で判定することができる、という優れ
た効果を有する。
【０１７５】請求項１１記載の発明は、請求項１０の発
明において、基準点と特徴点との距離が増加した場合に
は第１の所定の処理を行い、基準点と特徴点との距離が
減少した場合には第１の所定の処理と異なる第２の所定
の処理を行うので、上記効果に加え、第１の所定処理及
び第２の所定の処理のうち実行させるべき処理を認識対
象者が選択することが可能となると共に、第１の所定処
理及び第２の所定の処理のうち認識対象者によって選択
された処理を確実に実行することができる、という効果
を有する。
明において、基準点と特徴点との距離が増加した場合に
は第１の所定の処理を行い、基準点と特徴点との距離が
減少した場合には第１の所定の処理と異なる第２の所定
の処理を行うので、上記効果に加え、第１の所定処理及
び第２の所定の処理のうち実行させるべき処理を認識対
象者が選択することが可能となると共に、第１の所定処
理及び第２の所定の処理のうち認識対象者によって選択
された処理を確実に実行することができる、という効果
を有する。
【０１７６】請求項１２記載の発明は、請求項１０又は
請求項１１の発明において、基準点と特徴点との距離の
変化速度を検出し、検出した変化速度が閾値以上の場合
にのみ所定の処理を実行するようにしたので、上記効果
に加え、認識対象者が所定の処理の実行を指示する動作
を行った場合に、これを確実に検知して所定の処理を実
行することができる、という効果を有する。
請求項１１の発明において、基準点と特徴点との距離の
変化速度を検出し、検出した変化速度が閾値以上の場合
にのみ所定の処理を実行するようにしたので、上記効果
に加え、認識対象者が所定の処理の実行を指示する動作
を行った場合に、これを確実に検知して所定の処理を実
行することができる、という効果を有する。
【０１７７】請求項１３記載の発明は、請求項１２の発
明において、所定の処理を行わせるために腕を屈曲又は
伸長させる動作を行うよう認識対象者に要請し、認識対
象者が腕を屈曲又は伸長させる動作を行ったときの基準
点と特徴点との距離の変化速度に基づいて前記閾値を予
め設定するようにしたので、上記効果に加え、個々の認
識対象者の体格や筋力等のばらつきに拘らず、認識対象
者による所定の処理の実行を指示する動作を確実に検知
して所定の処理を実行することができる、という効果を
有する。
明において、所定の処理を行わせるために腕を屈曲又は
伸長させる動作を行うよう認識対象者に要請し、認識対
象者が腕を屈曲又は伸長させる動作を行ったときの基準
点と特徴点との距離の変化速度に基づいて前記閾値を予
め設定するようにしたので、上記効果に加え、個々の認
識対象者の体格や筋力等のばらつきに拘らず、認識対象
者による所定の処理の実行を指示する動作を確実に検知
して所定の処理を実行することができる、という効果を
有する。
【０１７８】請求項１４記載の発明は、請求項９又は請
求項１０の発明において、認識対象者の腕が下げられた
ことが検出された場合には、処理を実行又は停止してい
る状態を継続するようにしたので、上記効果に加え、認
識対象者の負担を軽減することができる、という効果を
有する。
求項１０の発明において、認識対象者の腕が下げられた
ことが検出された場合には、処理を実行又は停止してい
る状態を継続するようにしたので、上記効果に加え、認
識対象者の負担を軽減することができる、という効果を
有する。
【図１】情報入力空間の周辺を示す斜視図である。
【図２】本実施形態に係るハンドポインティング入力装
置の概略構成を示すブロック図である。
置の概略構成を示すブロック図である。
【図３】照明装置の照明範囲とビデオカメラの撮像範囲
との関係の一例を示す概略図である。
との関係の一例を示す概略図である。
【図４】マーク板の一例を示す情報入力空間の斜視図で
ある。
ある。
【図５】格子点位置情報初期設定処理を示すフローチャ
ートである。
ートである。
【図６】照明制御処理を示すフローチャートである。
【図７】図６の照明制御処理による照明装置Ａ、Ｂの点
灯・消灯、ビデオカメラの撮像によって得られる画像の
出力（取り込み）のタイミングを示すタイミングチャー
トである。
灯・消灯、ビデオカメラの撮像によって得られる画像の
出力（取り込み）のタイミングを示すタイミングチャー
トである。
【図８】指示判断処理を示すフローチャートである。
【図９】情報入力者の身長及び床面上の位置の演算を説
明するための、情報入力空間の側面図である。
明するための、情報入力空間の側面図である。
【図１０】（Ａ）はビデオカメラにより撮像された情報
入力者の手を示すイメージ図、（Ｂ）は特徴点の座標及
び特徴点の３次元座標を求めるための格子点の検索範囲
を示す概念図である。
入力者の手を示すイメージ図、（Ｂ）は特徴点の座標及
び特徴点の３次元座標を求めるための格子点の検索範囲
を示す概念図である。
【図１１】情報入力者が指し示しているディスプレイ上
の位置の判定を説明するための、（Ａ）は情報入力空間
の平面図、（Ｂ）は情報入力空間の側面図である。
の位置の判定を説明するための、（Ａ）は情報入力空間
の平面図、（Ｂ）は情報入力空間の側面図である。
【図１２】（Ａ）乃至（Ｃ）は情報入力者の動作の一例
を示すイメージ図である。
を示すイメージ図である。
【図１３】照明装置の照明範囲とビデオカメラの撮像範
囲との関係の他の例を示す概略図である。
囲との関係の他の例を示す概略図である。
【図１４】図１３に示す配置における照明制御処理を示
すフローチャートである。
すフローチャートである。
【図１５】図１４の照明制御処理による照明装置Ａ、Ｂ
の点灯・消灯のタイミングを示すタイミングチャートで
ある。
の点灯・消灯のタイミングを示すタイミングチャートで
ある。
【図１６】情報入力空間の床面上に傾斜台を配設した態
様を示す斜視図である。
様を示す斜視図である。
【図１７】マーク板の他の例を示す情報入力空間の斜視
図である。
図である。
【図１８】ロボットアーム装置によってマーカの位置を
移動させる例を示す情報入力空間の斜視図である。
移動させる例を示す情報入力空間の斜視図である。
【図１９】指示判断処理の他の例を示すフローチャート
である。
である。
【図２０】指示判断処理の他の例を示すフローチャート
である。
である。
【図２１】クリック動作速度設定処理を示すフローチャ
ートである。
ートである。
【図２２】（Ａ）は前進クリック動作、（Ｂ）は後進ク
リック動作を説明するためのイメージ図である。
リック動作を説明するためのイメージ図である。
【図２３】ダミーモデルへのデータ変換を説明するため
のイメージ図である。
のイメージ図である。
１０ 情報入力者 １２ 大画面ディスプレイ １４ 情報処理装置 ２０ ハンドポインティング入力装置 ２２ コントローラ ２４ 記憶装置 ３２ 近赤外光照明装置 ３６ ビデオカメラ ４０ マーク板
Claims (14)
- 【請求項１】 認識対象者を照明する照明手段と、 互いに異なる位置に配置され、前記照明手段によって照
明された認識対象者が撮像範囲内に入り、かつ前記照明
手段によって照明される床面上の照明範囲が撮像範囲か
ら外れるように撮像範囲が各々調整された複数の撮像手
段と、 認識対象者が特定の位置又は方向を指し示している状況
を前記複数の撮像手段が各々撮像することで得られた複
数の画像に基づいて、前記画像中の前記認識対象者に相
当する画像部を抽出し、認識対象者が指し示した位置又
は方向を判断する判断手段と、 を含むハンドポインティング装置。 - 【請求項２】 互いに異なる方向から認識対象者を照明
する複数の照明手段と、 互いに異なる位置に配置され、前記照明手段によって照
明された認識対象者が撮像範囲内に入り、かつ互いに異
なる照明手段によって照明される床面上の互いに異なる
照明範囲が撮像範囲から外れるように、撮像範囲が各々
調整された複数の撮像手段と、 認識対象者が特定の位置又は方向を指し示しているとき
に、複数の照明手段の何れか１つを順に点灯させると共
に、複数の照明手段の各々の点灯時に、点灯している照
明手段によって照明される床面上の照明範囲が撮像範囲
から外れている撮像手段によって前記認識対象者を撮像
させ、該撮像によって得られた画像を出力させる制御手
段と、 前記複数の撮像手段から各々出力された複数の画像に基
づいて、前記画像中の認識対象者に相当する画像部を抽
出し、認識対象者が指し示した位置又は方向を判断する
判断手段と、 を含むハンドポインティング装置。 - 【請求項３】 互いに異なる方向から認識対象者を照明
する複数の照明手段と、 前記照明手段によって照明された認識対象者を互いに異
なる方向から撮像する複数の撮像手段と、 認識対象者が特定の位置又は方向を指し示しているとき
に、前記複数の照明手段の何れか１つを順に点灯させる
と共に、複数の照明手段の各々の点灯時に同一の撮像手
段の撮像によって各々得られた複数の画像を比較し、前
記複数の画像中の前記認識対象者に相当する画像部とそ
れ以外の画像部とを判別することを、複数の撮像手段に
対して各々行う判別手段と、 前記判別手段による判別結果に基づいて、前記複数の撮
像手段の各々が撮像した画像から認識対象者に相当する
画像部を各々抽出し、認識対象者が指し示した位置又は
方向を判断する判断手段と、 を含むハンドポインティング装置。 - 【請求項４】 認識対象者を照明する照明手段と、 前記照明手段によって照明された認識対象者を互いに異
なる方向から撮像する複数の撮像手段と、 認識対象者が特定の位置又は方向を指し示している状況
を前記複数の撮像手段が各々撮像することで得られた複
数の画像に基づいて、前記画像中の前記認識対象者に相
当する画像部を抽出し、認識対象者が指し示した位置又
は方向を判断する判断手段と、 前記認識対象者の周囲の床面上に非認識対象物体が停滞
することを阻止する阻止手段と、 を含むハンドポインティング装置。 - 【請求項５】 所定箇所に到来した認識対象者を照明す
る照明手段と、 前記照明手段によって照明された認識対象者を互いに異
なる方向から撮像する複数の撮像手段と、 前記所定箇所付近に位置している複数の仮想点の各々の
３次元座標と各撮像手段の撮像によって得られる各画像
上での前記複数の仮想点の各々の位置とを対応付ける情
報を記憶する記憶手段と、 認識対象者が特定の位置又は方向を指し示している状況
を複数の撮像手段が各々撮像することで得られた複数の
画像に基づいて、各画像中の前記認識対象者に相当する
画像部を抽出して認識対象者の特徴点の前記各画像上で
の位置を求め、前記各画像上での特徴点の位置及び前記
記憶手段に記憶された情報に基づいて前記特徴点の３次
元座標を求め、求めた特徴点の３次元座標に基づいて認
識対象者が指し示した位置又は方向を判断する判断手段
と、 を含むハンドポインティング装置。 - 【請求項６】 前記記憶手段は、前記所定箇所付近に一
定間隔で格子状に並ぶ多数の仮想点について、各々の３
次元座標と前記各画像上での各々の位置とを対応付ける
情報を記憶することを特徴とする請求項５記載のハンド
ポインティング装置。 - 【請求項７】 前記判断手段は、複数の撮像手段の撮像
によって得られる各画像上での前記特徴点の位置を各々
求めた後に、画像上での位置が前記特徴点を包含する所
定範囲内である仮想点を前記各画像から各々抽出し、前
記各画像から共通に抽出された仮想点の３次元座標に基
づいて前記特徴点の３次元座標を求めることを特徴とす
る請求項６記載のハンドポインティング装置。 - 【請求項８】 前記仮想点の位置にマーカが位置してい
る状況を前記複数の撮像手段によって撮像させ、前記仮
想点の３次元座標と各撮像手段の撮像によって得られた
各画像上でのマーカの位置とに基づいて、仮想点の３次
元座標と前記各画像上での仮想点の位置とを対応付ける
情報を生成し、前記記憶手段に記憶させる生成手段を更
に備えたことを特徴とする請求項５又は請求項６記載の
ハンドポインティング装置。 - 【請求項９】 認識対象者を照明する照明手段と、 前記照明手段によって照明された認識対象者を互いに異
なる方向から撮像する複数の撮像手段と、 認識対象者が特定の位置又は方向を指し示している状況
を前記複数の撮像手段が各々撮像することで得られた複
数の画像に基づいて、前記画像中の前記認識対象者に相
当する画像部を抽出し、認識対象者が指し示した位置又
は方向を判断する判断手段と、 前記複数の画像中の前記認識対象者の身体の所定部分に
相当する画像部を抽出し、前記画像部の面積又は輪郭の
形状又は輪郭線の長さの変化を検出する第１の検出手段
と、 前記第１の検出手段によって前記画像部の面積又は輪郭
の形状又は輪郭線の長さの変化が検出された場合に所定
の処理を実行する処理手段と、 を含むハンドポインティング装置。 - 【請求項１０】 認識対象者を照明する照明手段と、 前記照明手段によって照明された認識対象者を互いに異
なる方向から撮像する複数の撮像手段と、 認識対象者が特定の位置又は方向を指し示している状況
を前記複数の撮像手段が各々撮像することで得られた複
数の画像に基づいて、前記画像中の前記認識対象者に相
当する画像部を抽出し、認識対象者が腕を屈曲又は伸長
させることで位置が変化する特徴点及び認識対象者が腕
を屈曲及び伸長させても位置が変化しない基準点の３次
元座標を求め、特徴点及び基準点の３次元座標に基づい
て認識対象者が指し示した位置又は方向を判断する判断
手段と、 前記基準点と前記特徴点との距離を演算し、基準点と特
徴点との距離の変化に基づいて所定の処理を実行する処
理手段と、 を含むハンドポインティング装置。 - 【請求項１１】 前記処理手段は、前記基準点と前記特
徴点との距離が増加した場合には第１の所定の処理を行
い、前記基準点と前記特徴点との距離が減少した場合に
は前記第１の所定の処理と異なる第２の所定の処理を行
うことを特徴とする請求項１０記載のハンドポインティ
ング装置。 - 【請求項１２】 前記処理手段は、前記基準点と前記特
徴点との距離の変化速度を検出し、検出した変化速度が
閾値以上の場合にのみ所定の処理を実行することを特徴
とする請求項１０又は請求項１１記載のハンドポインテ
ィング装置。 - 【請求項１３】 前記処理手段に所定の処理を行わせる
ために腕を屈曲又は伸長させる動作を行うよう認識対象
者に要請し、認識対象者が腕を屈曲又は伸長させる動作
を行ったときの前記基準点と前記特徴点との距離の変化
速度に基づいて前記閾値を予め設定する閾値設定手段を
更に備えたことを特徴とする請求項１２記載のハンドポ
インティング装置。 - 【請求項１４】 前記複数の画像中の前記認識対象者の
腕に相当する画像部を抽出し、認識対象者の腕が下げら
れたか否かを検出する第２の検出手段を更に備え、 前記処理手段は、前記第２の検出手段によって前記認識
対象者の腕が下げられたことが検出された場合には処理
を実行又は停止している状態を継続することを特徴とす
る請求項９又は請求項１０記載のハンドポインティング
装置。
Priority Applications (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36962897A JP3749369B2 (ja) | 1997-03-21 | 1997-12-29 | ハンドポインティング装置 |
| DE69824225T DE69824225T2 (de) | 1997-03-21 | 1998-03-18 | Das Bild einer Hand verwendende Hinweisvorrichtung |
| DE69829424T DE69829424T2 (de) | 1997-03-21 | 1998-03-18 | Hinweisvorrichtung, die das Bild einer Hand verwendet |
| US09/040,436 US6385331B2 (en) | 1997-03-21 | 1998-03-18 | Hand pointing device |
| EP03008193A EP1329838B1 (en) | 1997-03-21 | 1998-03-18 | Pointing device using the image of the hand |
| EP03008194A EP1329839B1 (en) | 1997-03-21 | 1998-03-18 | Pointing device using the image of the hand |
| DE69828912T DE69828912T2 (de) | 1997-03-21 | 1998-03-18 | Hinweisvorrichtung, die das Bild einer Hand verwendet |
| EP98104954A EP0866419B1 (en) | 1997-03-21 | 1998-03-18 | Pointing device using the image of the hand |
| KR1019980009762A KR100328648B1 (ko) | 1997-03-21 | 1998-03-20 | 핸드포인팅장치 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6860297 | 1997-03-21 | ||
| JP9-68602 | 1997-03-21 | ||
| JP36962897A JP3749369B2 (ja) | 1997-03-21 | 1997-12-29 | ハンドポインティング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10326148A true JPH10326148A (ja) | 1998-12-08 |
| JP3749369B2 JP3749369B2 (ja) | 2006-02-22 |
Family
ID=26409810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36962897A Expired - Fee Related JP3749369B2 (ja) | 1997-03-21 | 1997-12-29 | ハンドポインティング装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6385331B2 (ja) |
| EP (3) | EP1329838B1 (ja) |
| JP (1) | JP3749369B2 (ja) |
| KR (1) | KR100328648B1 (ja) |
| DE (3) | DE69828912T2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11134089A (ja) * | 1997-10-29 | 1999-05-21 | Takenaka Komuten Co Ltd | ハンドポインティング装置 |
| JP2000181601A (ja) * | 1998-12-18 | 2000-06-30 | Fujitsu General Ltd | 情報表示システム |
| JP2000222117A (ja) * | 1999-01-29 | 2000-08-11 | Takenaka Komuten Co Ltd | ハンドポインティング装置、指示位置表示方法及び記録媒体 |
| JP2003084229A (ja) * | 2001-09-14 | 2003-03-19 | Takenaka Komuten Co Ltd | 指示位置表示装置及び方法 |
| JP2003533817A (ja) * | 2000-05-17 | 2003-11-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ３次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法 |
| KR100799766B1 (ko) | 2006-10-25 | 2008-02-01 | 엠텍비젼 주식회사 | 포인터 이동 제어 장치 |
| KR100814289B1 (ko) | 2006-11-14 | 2008-03-18 | 서경대학교 산학협력단 | 실시간 동작 인식 장치 및 그 방법 |
| WO2008123500A1 (ja) * | 2007-03-30 | 2008-10-16 | National Institute Of Information And Communications Technology | 空中映像インタラクション装置及びそのプログラム |
| JP2009240370A (ja) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | 動作検出装置 |
| JP2014142695A (ja) * | 2013-01-22 | 2014-08-07 | Ricoh Co Ltd | 情報処理装置、システム、画像投影装置、情報処理方法およびプログラム |
| JP2020188479A (ja) * | 2009-09-30 | 2020-11-19 | ロヴィ ガイズ， インコーポレイテッド | ３次元メディアガイダンスアプリケーションをナビゲートするためのシステムおよび方法 |
Families Citing this family (124)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6256046B1 (en) * | 1997-04-18 | 2001-07-03 | Compaq Computer Corporation | Method and apparatus for visual sensing of humans for active public interfaces |
| DE19806024A1 (de) * | 1998-02-13 | 1999-08-19 | Siemens Nixdorf Inf Syst | Verfahren zur Überwachung eines Gerätebedienungsvorganges und mit diesem überwachte Selbstbedienungseinrichtung |
| TW464800B (en) * | 1998-10-07 | 2001-11-21 | Intel Corp | A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system |
| US6690357B1 (en) | 1998-10-07 | 2004-02-10 | Intel Corporation | Input device using scanning sensors |
| WO2000075860A1 (en) * | 1999-06-08 | 2000-12-14 | Soffix, S.R.L. | Electronic writing/display apparatus and respective method of operation |
| EP1074943A3 (en) * | 1999-08-06 | 2004-03-24 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| US6738041B2 (en) | 1999-10-29 | 2004-05-18 | Intel Corporation | Using video information to control cursor position |
| US6531999B1 (en) | 2000-07-13 | 2003-03-11 | Koninklijke Philips Electronics N.V. | Pointing direction calibration in video conferencing and other camera-based system applications |
| US20040246234A1 (en) * | 2001-03-01 | 2004-12-09 | Luis Serra | Display apparatus |
| US6711280B2 (en) * | 2001-05-25 | 2004-03-23 | Oscar M. Stafsudd | Method and apparatus for intelligent ranging via image subtraction |
| US7274800B2 (en) * | 2001-07-18 | 2007-09-25 | Intel Corporation | Dynamic gesture recognition from stereo sequences |
| US20030165048A1 (en) * | 2001-12-07 | 2003-09-04 | Cyrus Bamji | Enhanced light-generated interface for use with electronic devices |
| WO2003071410A2 (en) * | 2002-02-15 | 2003-08-28 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
| US10242255B2 (en) | 2002-02-15 | 2019-03-26 | Microsoft Technology Licensing, Llc | Gesture recognition system using depth perceptive sensors |
| JP3762309B2 (ja) * | 2002-02-18 | 2006-04-05 | キヤノン株式会社 | 位置方向測定装置および情報処理方法 |
| US6973579B2 (en) * | 2002-05-07 | 2005-12-06 | Interdigital Technology Corporation | Generation of user equipment identification specific scrambling code for the high speed shared control channel |
| US7165029B2 (en) | 2002-05-09 | 2007-01-16 | Intel Corporation | Coupled hidden Markov model for audiovisual speech recognition |
| US7209883B2 (en) * | 2002-05-09 | 2007-04-24 | Intel Corporation | Factorial hidden markov model for audiovisual speech recognition |
| US20030212552A1 (en) * | 2002-05-09 | 2003-11-13 | Liang Lu Hong | Face recognition procedure useful for audiovisual speech recognition |
| JP4149213B2 (ja) * | 2002-07-12 | 2008-09-10 | 本田技研工業株式会社 | 指示位置検出装置及び自律ロボット |
| US7151530B2 (en) | 2002-08-20 | 2006-12-19 | Canesta, Inc. | System and method for determining an input selected by a user through a virtual interface |
| US7526120B2 (en) * | 2002-09-11 | 2009-04-28 | Canesta, Inc. | System and method for providing intelligent airbag deployment |
| US20040066500A1 (en) * | 2002-10-02 | 2004-04-08 | Gokturk Salih Burak | Occupancy detection and measurement system and method |
| DE60215504T2 (de) | 2002-10-07 | 2007-09-06 | Sony France S.A. | Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik |
| US7171043B2 (en) | 2002-10-11 | 2007-01-30 | Intel Corporation | Image recognition using hidden markov models and coupled hidden markov models |
| US7472063B2 (en) * | 2002-12-19 | 2008-12-30 | Intel Corporation | Audio-visual feature fusion and support vector machine useful for continuous speech recognition |
| US7203368B2 (en) * | 2003-01-06 | 2007-04-10 | Intel Corporation | Embedded bayesian network for pattern recognition |
| JP3849645B2 (ja) * | 2003-01-20 | 2006-11-22 | ソニー株式会社 | 監視装置 |
| JP4286556B2 (ja) * | 2003-02-24 | 2009-07-01 | 株式会社東芝 | 画像表示装置 |
| US7618323B2 (en) * | 2003-02-26 | 2009-11-17 | Wms Gaming Inc. | Gaming machine system having a gesture-sensing mechanism |
| FR2853423B1 (fr) * | 2003-03-20 | 2005-07-15 | Simag Dev | Dispositif de saisie comportant un capteur optique suivi d'un moyen de filtrage |
| DE602004006190T8 (de) * | 2003-03-31 | 2008-04-10 | Honda Motor Co., Ltd. | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
| US7439074B2 (en) * | 2003-09-30 | 2008-10-21 | Hoa Duc Nguyen | Method of analysis of alcohol by mass spectrometry |
| US7746321B2 (en) | 2004-05-28 | 2010-06-29 | Erik Jan Banning | Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor |
| WO2006003599A1 (en) * | 2004-06-29 | 2006-01-12 | Philips Intellectual Property & Standards Gmbh | Personal gesture signature |
| WO2006027423A1 (fr) * | 2004-08-09 | 2006-03-16 | Simag Developpement | Dispositif de saisie comportant un capteur optique suivi d’un moyen de filtrage |
| US8009871B2 (en) | 2005-02-08 | 2011-08-30 | Microsoft Corporation | Method and system to segment depth images and to detect shapes in three-dimensionally acquired data |
| CN101536494B (zh) | 2005-02-08 | 2017-04-26 | 奥布隆工业有限公司 | 用于基于姿势的控制系统的系统和方法 |
| KR100687737B1 (ko) * | 2005-03-19 | 2007-02-27 | 한국전자통신연구원 | 양손 제스쳐에 기반한 가상 마우스 장치 및 방법 |
| JP4654773B2 (ja) * | 2005-05-31 | 2011-03-23 | 富士フイルム株式会社 | 情報処理装置、動画像符号化装置、情報処理方法及び情報処理プログラム |
| US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
| KR100815159B1 (ko) | 2005-12-08 | 2008-03-19 | 한국전자통신연구원 | 다수의 카메라를 이용한 손 추적 3 차원 입력 장치 및 그방법 |
| US8370383B2 (en) | 2006-02-08 | 2013-02-05 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
| US8537111B2 (en) | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| US8531396B2 (en) | 2006-02-08 | 2013-09-10 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| US9910497B2 (en) * | 2006-02-08 | 2018-03-06 | Oblong Industries, Inc. | Gestural control of autonomous and semi-autonomous systems |
| US8537112B2 (en) * | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| US9075441B2 (en) * | 2006-02-08 | 2015-07-07 | Oblong Industries, Inc. | Gesture based control using three-dimensional information extracted over an extended depth of field |
| US8407725B2 (en) * | 2007-04-24 | 2013-03-26 | Oblong Industries, Inc. | Proteins, pools, and slawx in processing environments |
| US20090278915A1 (en) * | 2006-02-08 | 2009-11-12 | Oblong Industries, Inc. | Gesture-Based Control System For Vehicle Interfaces |
| US9823747B2 (en) | 2006-02-08 | 2017-11-21 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
| EP2004299A2 (en) * | 2006-03-22 | 2008-12-24 | Home Focus Development Limited | Interactive playmat |
| US8972902B2 (en) * | 2008-08-22 | 2015-03-03 | Northrop Grumman Systems Corporation | Compound gesture recognition |
| US8589824B2 (en) * | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
| US8180114B2 (en) * | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
| US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
| US8234578B2 (en) * | 2006-07-25 | 2012-07-31 | Northrop Grumman Systems Corporatiom | Networked gesture collaboration system |
| US8432448B2 (en) * | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
| JP2008052029A (ja) * | 2006-08-24 | 2008-03-06 | Takata Corp | 撮像システム、車両乗員検出システム、作動装置制御システム、車両 |
| US8356254B2 (en) * | 2006-10-25 | 2013-01-15 | International Business Machines Corporation | System and method for interacting with a display |
| KR100851977B1 (ko) * | 2006-11-20 | 2008-08-12 | 삼성전자주식회사 | 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치. |
| WO2008131565A1 (en) * | 2007-04-26 | 2008-11-06 | Roberto Rosso | Communications control bus and apparatus for controlling multiple electronic hardware devices |
| US8139110B2 (en) * | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
| US9377874B2 (en) * | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
| US9952673B2 (en) | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
| US9740293B2 (en) | 2009-04-02 | 2017-08-22 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
| US9740922B2 (en) | 2008-04-24 | 2017-08-22 | Oblong Industries, Inc. | Adaptive tracking system for spatial input devices |
| US8723795B2 (en) | 2008-04-24 | 2014-05-13 | Oblong Industries, Inc. | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes |
| US9684380B2 (en) | 2009-04-02 | 2017-06-20 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
| US9495013B2 (en) | 2008-04-24 | 2016-11-15 | Oblong Industries, Inc. | Multi-modal gestural interface |
| US10642364B2 (en) | 2009-04-02 | 2020-05-05 | Oblong Industries, Inc. | Processing tracking and recognition data in gestural recognition systems |
| US8345920B2 (en) * | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
| US20100066673A1 (en) * | 2008-09-16 | 2010-03-18 | Shang Tai Yeh | Laser pointer capable of detecting a gesture associated therewith and representing the gesture with a function |
| JP5183398B2 (ja) * | 2008-09-29 | 2013-04-17 | 株式会社日立製作所 | 入力装置 |
| WO2010038822A1 (ja) * | 2008-10-01 | 2010-04-08 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理方法、情報記憶媒体及びプログラム |
| US8788977B2 (en) | 2008-11-20 | 2014-07-22 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
| US10824238B2 (en) | 2009-04-02 | 2020-11-03 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
| US9317128B2 (en) | 2009-04-02 | 2016-04-19 | Oblong Industries, Inc. | Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control |
| JP2010257089A (ja) | 2009-04-22 | 2010-11-11 | Xiroku:Kk | 光学式位置検出装置 |
| JP5567908B2 (ja) * | 2009-06-24 | 2014-08-06 | キヤノン株式会社 | ３次元計測装置、その計測方法及びプログラム |
| JP4701424B2 (ja) * | 2009-08-12 | 2011-06-15 | 島根県 | 画像認識装置および操作判定方法並びにプログラム |
| KR100969927B1 (ko) * | 2009-08-17 | 2010-07-14 | (주)예연창 | 사용자 지향적 비접촉식 상호 작용 디스플레이 장치 |
| US9933852B2 (en) | 2009-10-14 | 2018-04-03 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
| US9971807B2 (en) | 2009-10-14 | 2018-05-15 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
| JP2011166332A (ja) * | 2010-02-08 | 2011-08-25 | Hitachi Consumer Electronics Co Ltd | 情報処理装置 |
| US8878773B1 (en) | 2010-05-24 | 2014-11-04 | Amazon Technologies, Inc. | Determining relative motion as input |
| US9405444B2 (en) | 2010-10-01 | 2016-08-02 | Z124 | User interface with independent drawer control |
| KR20120051212A (ko) * | 2010-11-12 | 2012-05-22 | 엘지전자 주식회사 | 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치 |
| US9440144B2 (en) | 2011-04-21 | 2016-09-13 | Sony Interactive Entertainment Inc. | User identified to a controller |
| US9123272B1 (en) | 2011-05-13 | 2015-09-01 | Amazon Technologies, Inc. | Realistic image lighting and shading |
| KR101235432B1 (ko) * | 2011-07-11 | 2013-02-22 | 김석중 | 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법 |
| US9041734B2 (en) | 2011-07-12 | 2015-05-26 | Amazon Technologies, Inc. | Simulating three-dimensional features |
| US10088924B1 (en) | 2011-08-04 | 2018-10-02 | Amazon Technologies, Inc. | Overcoming motion effects in gesture recognition |
| JP2013070368A (ja) | 2011-09-05 | 2013-04-18 | Panasonic Corp | テレビ対話システム、端末および方法 |
| US8947351B1 (en) | 2011-09-27 | 2015-02-03 | Amazon Technologies, Inc. | Point of view determinations for finger tracking |
| US9495012B2 (en) | 2011-09-27 | 2016-11-15 | Z124 | Secondary single screen mode activation through user interface activation |
| US9223415B1 (en) | 2012-01-17 | 2015-12-29 | Amazon Technologies, Inc. | Managing resource usage for task performance |
| US8884928B1 (en) | 2012-01-26 | 2014-11-11 | Amazon Technologies, Inc. | Correcting for parallax in electronic displays |
| US9063574B1 (en) | 2012-03-14 | 2015-06-23 | Amazon Technologies, Inc. | Motion detection systems for electronic devices |
| US9285895B1 (en) | 2012-03-28 | 2016-03-15 | Amazon Technologies, Inc. | Integrated near field sensor for display devices |
| US9587804B2 (en) * | 2012-05-07 | 2017-03-07 | Chia Ming Chen | Light control systems and methods |
| US8938124B2 (en) | 2012-05-10 | 2015-01-20 | Pointgrab Ltd. | Computer vision based tracking of a hand |
| WO2013190538A1 (en) * | 2012-06-20 | 2013-12-27 | Pointgrab Ltd. | Method for touchless control of a device |
| CN102968208B (zh) * | 2012-09-05 | 2015-10-07 | 广东威创视讯科技股份有限公司 | 面阵摄像头定位图像有效区域调整方式的选择方法和系统 |
| US9423886B1 (en) | 2012-10-02 | 2016-08-23 | Amazon Technologies, Inc. | Sensor connectivity approaches |
| US8933882B2 (en) * | 2012-12-31 | 2015-01-13 | Intentive Inc. | User centric interface for interaction with visual display that recognizes user intentions |
| US9734582B2 (en) | 2013-02-21 | 2017-08-15 | Lg Electronics Inc. | Remote pointing method |
| US9035874B1 (en) | 2013-03-08 | 2015-05-19 | Amazon Technologies, Inc. | Providing user input to a computing device with an eye closure |
| US9524028B2 (en) | 2013-03-08 | 2016-12-20 | Fastvdo Llc | Visual language for human computer interfaces |
| US9829984B2 (en) | 2013-05-23 | 2017-11-28 | Fastvdo Llc | Motion-assisted visual language for human computer interfaces |
| US9717118B2 (en) | 2013-07-16 | 2017-07-25 | Chia Ming Chen | Light control systems and methods |
| US9269012B2 (en) | 2013-08-22 | 2016-02-23 | Amazon Technologies, Inc. | Multi-tracker object tracking |
| US11199906B1 (en) | 2013-09-04 | 2021-12-14 | Amazon Technologies, Inc. | Global user input management |
| US10055013B2 (en) | 2013-09-17 | 2018-08-21 | Amazon Technologies, Inc. | Dynamic object tracking for user interfaces |
| US9367203B1 (en) | 2013-10-04 | 2016-06-14 | Amazon Technologies, Inc. | User interface techniques for simulating three-dimensional depth |
| US9990046B2 (en) | 2014-03-17 | 2018-06-05 | Oblong Industries, Inc. | Visual collaboration interface |
| US10406967B2 (en) | 2014-04-29 | 2019-09-10 | Chia Ming Chen | Light control systems and methods |
| US10088971B2 (en) * | 2014-12-10 | 2018-10-02 | Microsoft Technology Licensing, Llc | Natural user interface camera calibration |
| JP6710946B2 (ja) * | 2015-12-01 | 2020-06-17 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
| JP6586891B2 (ja) * | 2016-01-13 | 2019-10-09 | セイコーエプソン株式会社 | プロジェクター及びプロジェクターの制御方法 |
| US10529302B2 (en) | 2016-07-07 | 2020-01-07 | Oblong Industries, Inc. | Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold |
| CN106383500A (zh) * | 2016-09-05 | 2017-02-08 | 湖北工业大学 | 一种智能建筑门窗幕墙系统 |
| JP6255129B1 (ja) * | 2017-04-18 | 2017-12-27 | 京セラ株式会社 | 電子機器 |
| JP7380453B2 (ja) * | 2020-07-01 | 2023-11-15 | トヨタ自動車株式会社 | サーバ装置、情報処理システム、及びシステムの動作方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04271423A (ja) * | 1991-02-27 | 1992-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方法 |
| JPH0519957A (ja) * | 1991-07-15 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報の入力方法 |
| JPH08328735A (ja) * | 1995-06-02 | 1996-12-13 | Takenaka Komuten Co Ltd | ハンドポインティング入力装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3906555A1 (de) * | 1989-03-02 | 1989-07-06 | Zeiss Carl Fa | Auflicht-objektbeleuchtungseinrichtung |
| JPH0474285A (ja) | 1990-07-17 | 1992-03-09 | Medama Kikaku:Kk | 特定人又は物の位置検出表示装置 |
| DE4142614A1 (de) * | 1991-10-14 | 1993-04-15 | Tropf Hermann Dr Ing | Vorrichtung und verfahren zum erkennen von objekten, wie unregelmaessigkeiten in oberflaechen oder dergleichen |
| EP0571702A3 (en) * | 1992-05-26 | 1994-10-12 | Takenaka Corp | Handheld input device and wall computer unit. |
| JPH05324181A (ja) | 1992-05-26 | 1993-12-07 | Takenaka Komuten Co Ltd | ハンドポインティング式入力装置 |
| IT1264225B1 (it) * | 1993-09-24 | 1996-09-23 | Sintecna S R L | Dispositivo per il puntamento del cursore sullo schermo di sistemi interattivi |
| JPH07160412A (ja) * | 1993-12-10 | 1995-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 指示位置検出方法 |
| JP2552427B2 (ja) * | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
| US5900863A (en) * | 1995-03-16 | 1999-05-04 | Kabushiki Kaisha Toshiba | Method and apparatus for controlling computer without touching input device |
| JPH08329222A (ja) * | 1995-06-02 | 1996-12-13 | Takenaka Komuten Co Ltd | ３次元位置認識装置 |
-
1997
- 1997-12-29 JP JP36962897A patent/JP3749369B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-18 EP EP03008193A patent/EP1329838B1/en not_active Expired - Lifetime
- 1998-03-18 EP EP03008194A patent/EP1329839B1/en not_active Expired - Lifetime
- 1998-03-18 US US09/040,436 patent/US6385331B2/en not_active Expired - Fee Related
- 1998-03-18 DE DE69828912T patent/DE69828912T2/de not_active Expired - Fee Related
- 1998-03-18 DE DE69824225T patent/DE69824225T2/de not_active Expired - Fee Related
- 1998-03-18 EP EP98104954A patent/EP0866419B1/en not_active Expired - Lifetime
- 1998-03-18 DE DE69829424T patent/DE69829424T2/de not_active Expired - Fee Related
- 1998-03-20 KR KR1019980009762A patent/KR100328648B1/ko not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04271423A (ja) * | 1991-02-27 | 1992-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方法 |
| JPH0519957A (ja) * | 1991-07-15 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報の入力方法 |
| JPH08328735A (ja) * | 1995-06-02 | 1996-12-13 | Takenaka Komuten Co Ltd | ハンドポインティング入力装置 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11134089A (ja) * | 1997-10-29 | 1999-05-21 | Takenaka Komuten Co Ltd | ハンドポインティング装置 |
| JP2000181601A (ja) * | 1998-12-18 | 2000-06-30 | Fujitsu General Ltd | 情報表示システム |
| JP2000222117A (ja) * | 1999-01-29 | 2000-08-11 | Takenaka Komuten Co Ltd | ハンドポインティング装置、指示位置表示方法及び記録媒体 |
| JP4768196B2 (ja) * | 2000-05-17 | 2011-09-07 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ３次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法 |
| JP2003533817A (ja) * | 2000-05-17 | 2003-11-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ３次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法 |
| JP2003084229A (ja) * | 2001-09-14 | 2003-03-19 | Takenaka Komuten Co Ltd | 指示位置表示装置及び方法 |
| KR100799766B1 (ko) | 2006-10-25 | 2008-02-01 | 엠텍비젼 주식회사 | 포인터 이동 제어 장치 |
| KR100814289B1 (ko) | 2006-11-14 | 2008-03-18 | 서경대학교 산학협력단 | 실시간 동작 인식 장치 및 그 방법 |
| WO2008123500A1 (ja) * | 2007-03-30 | 2008-10-16 | National Institute Of Information And Communications Technology | 空中映像インタラクション装置及びそのプログラム |
| JP5212991B2 (ja) * | 2007-03-30 | 2013-06-19 | 独立行政法人情報通信研究機構 | 空中映像インタラクション装置及びそのプログラム |
| US8985774B2 (en) | 2007-03-30 | 2015-03-24 | National Institute Of Information And Communication Technology | Floating image interaction device and its program |
| JP2009240370A (ja) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | 動作検出装置 |
| JP2020188479A (ja) * | 2009-09-30 | 2020-11-19 | ロヴィ ガイズ， インコーポレイテッド | ３次元メディアガイダンスアプリケーションをナビゲートするためのシステムおよび方法 |
| JP2014142695A (ja) * | 2013-01-22 | 2014-08-07 | Ricoh Co Ltd | 情報処理装置、システム、画像投影装置、情報処理方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR19980080509A (ko) | 1998-11-25 |
| EP1329839A3 (en) | 2003-07-30 |
| DE69824225T2 (de) | 2005-06-23 |
| DE69828912D1 (de) | 2005-03-10 |
| EP0866419A3 (en) | 2001-05-23 |
| EP0866419B1 (en) | 2004-06-02 |
| US20010043719A1 (en) | 2001-11-22 |
| US6385331B2 (en) | 2002-05-07 |
| EP0866419A2 (en) | 1998-09-23 |
| EP1329839A2 (en) | 2003-07-23 |
| EP1329838A2 (en) | 2003-07-23 |
| DE69828912T2 (de) | 2005-07-28 |
| JP3749369B2 (ja) | 2006-02-22 |
| DE69829424D1 (de) | 2005-04-21 |
| EP1329838A3 (en) | 2003-08-06 |
| EP1329839B1 (en) | 2005-03-16 |
| EP1329838B1 (en) | 2005-02-02 |
| KR100328648B1 (ko) | 2002-07-31 |
| DE69824225D1 (de) | 2004-07-08 |
| DE69829424T2 (de) | 2006-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3749369B2 (ja) | ハンドポインティング装置 | |
| JP3795647B2 (ja) | ハンドポインティング装置 | |
| KR101118654B1 (ko) | 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법 | |
| CN102033702A (zh) | 影像显示装置及其显示控制方法 | |
| JPH0844490A (ja) | インターフェイス装置 | |
| JP2006209359A (ja) | 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム | |
| JP2004078977A (ja) | インターフェイス装置 | |
| JP3792907B2 (ja) | ハンドポインティング装置 | |
| CN109219426B (zh) | 康复训练辅助控制装置以及计算机能够读取的记录介质 | |
| JP5221939B2 (ja) | 位置特定装置および動作指示装置並びに自走式ロボット | |
| WO2013025011A1 (ko) | 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템 | |
| JPH1080886A (ja) | 視覚制御ロボット | |
| JP3138145U (ja) | 脳トレーニング装置 | |
| KR101536753B1 (ko) | 사용자 동작 인식에 기반한 영상 처리 방법 및 시스템 | |
| JP2003076488A (ja) | 指示位置判断装置及び方法 | |
| JPH07160412A (ja) | 指示位置検出方法 | |
| US11195525B2 (en) | Operation terminal, voice inputting method, and computer-readable recording medium | |
| JP2015018485A (ja) | 電子制御装置、制御方法、及び制御プログラム | |
| JP2000222098A (ja) | ハンドポインティング装置、指示位置表示方法及び記録媒体 | |
| KR20150073146A (ko) | 사용자 동작 인식에 기반한 영상 처리 방법 및 시스템 | |
| JPH06301477A (ja) | ３次元空間に対する指示位置の入力装置 | |
| JP2021071788A (ja) | 撮影システム | |
| JP3376207B2 (ja) | 視線検出装置及びその方法 | |
| US11682154B2 (en) | Moving image processing method of a moving image viewed by a viewing user, a server device controlling the moving image, and a computer program thereof | |
| EP4270317A1 (en) | Foot shape measurement apparatus and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051201 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |