JPH1020998A - 位置指示装置 - Google Patents

Abstract

(57)【要約】 【課題】特殊な眼鏡の装着を不要にすると共に指示位置
の決定のための演算時間を短縮する。 【解決手段】互いに異なる角度から操作者の身体を撮像
する一対の撮像手段１１、１２と、少なくとも３箇所の
身体部位を登録特徴点として登録する登録手段３９と、
撮像手段１１、１２が撮像した画像から、登録特徴点に
対応する特徴点を抽出する特徴点抽出手段３５と、撮像
手段１１、１２のそれぞれの画像における特徴点の座標
と、撮像手段１１、１２の互いの距離と、撮像手段１
１、１２の光軸方向とに基づき、操作者の身体部位の方
向である方向指示直線を算出する直線算出手段３８と、
方向指示直線と表示装置１４とが交わる位置である指示
位置にポインタを表示するポインタ表示手段３６とを備
えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、身体の部位を用い
て対象物上の任意の位置を指示する位置指示装置に係
り、より詳細には、撮像された身体の画像から、指示さ
れた位置を求める位置指示装置に関するものである。

【０００２】

【従来の技術】コンピュータに様々な指示を与えるため
の入力装置は、近年では、ＧＵＩ（グラフィカル・ユー
ザ・インタフェイス）化が進んでいる。すなわち、モニ
タ画面上には、メニューあるいはアイコンが表示される
と共に、マウス等によって自由に移動可能なカーソルが
表示されている。そして、カーソルを、メニューにおけ
る所望位置、あるいは所望するアイコンの表示位置に移
動させた後、マウスに設けられたスイッチを押す構成と
なっている。これら一連の動作が終了すると、指示入力
の完了となり、指示されたメニューあるいはアイコンに
対応する動作がコンピュータにおいて実行される。

【０００３】しかし、上記した方法では、キーボードか
ら文字入力を行っている最中に指示入力する場合、マウ
スを操作するため、キーボードから手を離す必要があ
る。このため、指示入力を行う毎に、再び、キーボード
のホームポジションに手を戻す必要が生じ、操作が煩わ
しくなる。

【０００４】この煩わしさを解消する目的から、視線の
方向に基づいて指示入力を行う第１の従来技術（特開平
１−１８５２４１号）と、顔の向きに基づいて指示入力
を行う第２の従来技術（特開平５−２１５５３１号）と
が提案されている。すなわち、第１の従来技術では、角
膜に発光素子の投影像をつくり、この投影像を２台のカ
メラで撮像し、眼の位置と視線方向を検出することによ
って、眼球の視軸方向を求めている。また、第２の従来
技術では、顔表面の法線を求めるため、三次元計測装置
を用いることによって、距離画像を作成している。そし
て距離画像と顔の特徴点とを照合し、照合結果を基準と
して法線方向を算出している。

【０００５】

【発明が解決しようとする課題】しかしながら、第１の
従来技術では、角膜に投影像をつくる関係から、投影装
置を備えた特殊な眼鏡を着用する必要があり、眼鏡の着
用が煩わしく感じられるという問題があった。また、通
常状態で眼鏡を使用している者にとっては、眼鏡の掛け
直しが必要となり、特殊な眼鏡の着用が一層煩わしく感
じられるという問題があった。

【０００６】また、第２の従来技術では、三次元形状を
示すデータの処理が必要である。このため、データを処
理する演算に時間を要することになり、操作者の通常の
動作速度に追従した演算処理を行うことが困難になると
いう問題があった。

【０００７】本発明は上記課題を解決するため創案され
たものであって、請求項１記載の発明の目的は、特殊な
眼鏡の装着を不要にすると共に指示位置の決定のための
演算時間を短縮することのできる位置指示装置を提供す
ることにある。

【０００８】また、請求項２記載の発明の目的は、上記
目的に加え、追跡している特徴点が隠れたときにも、再
度の初期化を行うことなく、位置指示を行うことのでき
る位置指示装置を提供することにある。

【０００９】また、請求項３記載の発明の目的は、上記
目的に加え、操作者の大まかな動きに追従することので
きる位置指示装置を提供することにある。

【００１０】また、請求項４記載の発明の目的は、上記
目的に加え、見失われた特徴点が再び現れる位置の推測
を容易にすることのできる位置指示装置を提供すること
にある。

【００１１】また、請求項５記載の発明の目的は、上記
目的に加え、特徴点の追跡を容易にすると共に指示位置
の検出精度を高めることのできる位置指示装置を提供す
ることにある。

【００１２】

【課題を解決するための手段】上記課題を解決するため
請求項１記載の発明に係る位置指示装置は、操作者の身
体部位によって、対象物上の位置を指示する位置指示装
置に適用し、互いに異なる角度から操作者の身体の画像
を撮像する一対の撮像手段と、操作者の少なくとも３箇
所の身体部位を登録特徴点として登録する登録手段と、
前記撮像手段によって撮像された画像から、登録特徴点
に対応する特徴点を抽出する特徴点抽出手段と、一対の
前記撮像手段のそれぞれの画像における抽出された特徴
点の座標と、一対の前記撮像手段の互いの距離と、前記
撮像手段のそれぞれの光軸方向とに基づいて、特徴点の
それぞれの三次元座標を算出し、算出した三次元座標に
基づいて、前記操作者の身体部位が示す方向に対応した
方向指示直線を算出する直線算出手段と、算出された方
向指示直線と前記対象物とが交わる位置である指示位置
を算出し、算出された指示位置にポインタを表示するポ
インタ表示手段とを備えた構成としている。

【００１３】また、請求項２記載の発明に係る位置指示
装置は、上記構成に加え、前記登録手段は、４つ以上の
前記登録特徴点を、それぞれの登録特徴点に付与された
優先順位と共に登録し、前記直線算出手段は、抽出でき
ない特徴点が生じたときには、抽出できた特徴点のうち
から、付与された優先順位に従って上位３つの特徴点を
選択し、選択した特徴点に基づいて前記方向指示直線を
算出する構成としている。

【００１４】また、請求項３記載の発明に係る位置指示
装置は、上記構成に加え、前記対象物を表示装置の表示
画面とし、前記表示装置の近傍に設けられ、操作者の身
体の上部側部分と、この上部側部分の周辺とを視野内に
捉える分散カメラを備えた位置指示装置とし、前記撮像
手段を、分散カメラの近傍に設けられ、操作者の顔を示
す画像である狭視野画像を撮像する集中カメラとし、分
散カメラによって撮像された広視野画像に基づいて操作
者の顔の位置を算出する顔位置検出手段と、顔位置検出
手段によって算出された位置に集中カメラの光軸を向け
る駆動手段とを備え、前記登録手段は、操作者の顔の部
位を前記登録特徴点として登録し、前記特徴点抽出手段
は、狭視野画像の中から、登録特徴点のそれぞれに対応
する特徴点を抽出し、前記ポインタ表示手段は、前記表
示画面にポインタを表示する構成としている。

【００１５】また、請求項４記載の発明に係る位置指示
装置は、上記構成に加え、前記登録手段は、体中線を対
称軸とする略２等辺三角形である大三角形の頂点のそれ
ぞれに対応する身体部位を、前記分散カメラ用の前記登
録特徴点として登録すると共に、前記大三角形と所定の
相対位置関係をもち、大三角形より形状の小さい三角形
である小三角形の頂点のそれぞれに対応する身体部位
を、前記集中カメラ用の登録特徴点として登録する構成
としている。

【００１６】また、請求項５記載の発明に係る位置指示
装置は、上記構成に加え、前記大三角形の頂点のそれぞ
れに対応する身体部位を、操作者の頭頂点と右肩先と左
肩先とし、前記小三角形の頂点のそれぞれに対応する身
体部位を、操作者の口と右目と左目としている。

【００１７】

【発明の実施の形態】以下に本発明の実施例の形態を、
図面を参照しつつ説明する。

【００１８】図１は、本発明に係る位置指示装置の一実
施形態の電気的構成を示すブロック図、図２は、本実施
形態の構成の概略を示す外観図、図３は、カメラの撮像
範囲を示す説明図である。

【００１９】図２において、コンピュータ本体１５は、
コンピュータとしての機能を実行すると共に、本実施形
態の主要動作を実行するブロックとなっており、上部に
は、ＣＲＴディスプレイである表示装置１４が設けられ
ている。

【００２０】表示装置１４は、その表示画面１４１が、
操作者２１により位置指定される対象物となっている。
そして、操作者２１の顔２２の向きに対応して演算さ
れ、顔２２の向きを示す直線である顔方向ベクトル５１
が表示画面１４１と交わる位置には、図示が省略された
ポインタが表示される。

【００２１】表示装置１４の上部に設けられた分散カメ
ラ１３は、光軸方向が固定されたカメラであり、画面中
心に対し、４５度程度の範囲（図３の１３１により示す
範囲）を撮像可能で、合焦距離が４０〜６０ｃｍ程に設
定された広角レンズを備えている。詳細には、操作者２
１が、キーボード１７を用いて一般的な入力を行うと
き、顔２２が動く範囲を撮像可能であり、且つ操作者２
１の頭頂点と両肩とを撮像可能なカメラとなっている。
すなわち、操作者２１の身体の上部側部分と、この上部
側部分の周辺とを視野内に捉える。また、出力である広
視野画像を顔位置検出手段３７に出力する。

【００２２】顔位置検出手段３７は、図１３に示すよう
に、操作者２１の頭頂点２３と両肩２４、２５との３つ
の点を、特徴点として抽出するブロックである。詳細に
は、記憶手段３９に予め記憶された頭頂点と両肩とのテ
ンプレート画像と、分散カメラ１３から出力される広視
野画像とのパターンマッチングを処理を行うことによ
り、頭頂点２３と両肩２４、２５とを抽出する。そして
抽出した３つの特徴点を頂点とする大三角形２６を求
め、大三角形２６の中央位置をトラッキング処理手段３
４に知らせる。

【００２３】一対の集中カメラ１１、１２は、分散カメ
ラ１３の上部に設けられており、それぞれが、例えば、
６４×６４画素からなる撮像素子を備えていて、互いに
異なる角度から、操作者２１の顔２２を撮像するカメラ
となっている。このため、撮像範囲は、図３の１１１、
１２１に示す範囲となっており、操作者２１の顔２２全
体を撮像することができる視野を備えている。また、出
力である狭視野画像を、トラッキング処理手段３４、特
徴点抽出手段３５、および表示処理手段３６に出力す
る。

【００２４】駆動手段３１、３２は、分散カメラ１３の
ケース内に設けられたブロックであり、ステッピングモ
ータにより構成されている。そして、集中カメラ１１、
１２の光軸方向を、水平面内で回転させる。

【００２５】トラッキング処理手段３４は、顔２２にお
ける登録特徴点として、例えば、眼と口とが選択された
場合、選択された両眼と口とを、常に集中カメラ１１、
１２の視野内に収めるため、集中カメラ１１、１２の光
軸方向を制御するブロックとなっている。すなわち、特
徴点抽出手段３５と共働することによって、集中カメラ
１１、１２の出力である狭視野画像の高速処理を行い、
顔２２の動きを読み取る。そして、読み取った動きに従
い、駆動手段３１、３２を制御する。このため、集中カ
メラ１１、１２の光軸方向は、操作者２１の顔２２の動
きに追従するように回転する。また、集中カメラ１１、
１２のそれぞれの光軸方向をポインタ位置算出手段３８
に知らせるため、集中カメラ１１、１２のそれぞれの回
転角をポインタ位置算出手段３８に出力する。

【００２６】なお、上記した光軸方向を回転させる制御
は、セルフウィンドウ法に基づいて行われるので（後に
詳述する）、サンプリングレートは、１０ｍＳオーダの
高速となっている。このため、集中カメラ１１、１２の
光軸方向は、操作者２１の通常の顔２２の動きに追従可
能な速度でもって制御される。このように、集中カメラ
１１、１２の光軸方向の制御には、セルフウィンドウ法
を用いている関係から、撮像入力素子の各画素と１対１
に対応する出力を得る必要がある。このため、集中カメ
ラ１１、１２には、センサとプロセッシングユニットと
が１対１に対応する画像入力素子を使用している。

【００２７】特徴点抽出手段３５は、記憶手段３９に予
め記憶された登録特徴点を示す画像に基づき、集中カメ
ラ１１、１２から出力される狭視野画像から、例えば、
両眼（図１３の２７Ｒ、２７Ｌにより示す）と口（図１
３の２８により示す）とを、特徴点として追跡するブロ
ックである。また、狭視野画像をＸＹ平面とみなすこと
により、追跡した３つの特徴点（これらの特徴点を頂点
とする三角形を小三角形（図１３の２９により示す）と
称することにする）のそれぞれの座標を求め、求めた座
標をポインタ位置算出手段３８に出力する。

【００２８】ポインタ位置算出手段３８は、集中カメラ
１１、１２のそれぞれの光軸方向の角度（トラッキング
処理手段３４から回転角度として出力される）、集中カ
メラ１１、１２の互いの距離ｄ（既知の値）、特徴点抽
出手段３５から出力される小三角形の頂点の二次元座標
とから、集中カメラ１１、１２からみた３点の相対的な
三次元座標を求める。

【００２９】次いで、求めた３点の三次元座標により一
意的に定まる平面を算出すると共に、算出した平面に垂
直であり、３点の略中心を通る直線を、顔方向ベクトル
５１として算出する。そして、集中カメラ１１、１２と
表示画面１４１との位置関係は既知であることから、求
めた顔方向ベクトル５１と表示画面１４１との交点を、
表示画面１４１上の座標として算出し、算出した座標を
表示処理手段３６に出力する。

【００３０】表示処理手段３６は、表示装置１４に表示
するデータの処理等を行うブロックとなっている。そし
て、ポインタ位置算出手段３８から与えられた座標に対
応する位置（表示画面１４１における位置）にポインタ
を表示する。

【００３１】記憶手段３９は、顔位置検出手段３７に出
力する特徴点を示すためのデータ、特徴点抽出手段３５
に出力するための特徴点を示すためのデータ等を、予め
記憶させるためのブロックとなっている。

【００３２】また、操作者２１が直接に操作可能な入力
手段としては、文字入力のためのキーボード１７、およ
び図形入力のためのタブレット１６が設けられている。
なお、マウスに代わってタブレット１６が設けられてい
るのは、タブレット１６のペンが、鉛筆や絵筆に近いた
め、より自然な感覚で図形を描くことを可能にするため
である。

【００３３】入力方法について概略的に説明すると、ア
イコンの選択あるいはメニューのプルダウン等のよう
に、比較的粗い分解能でもって指定を行うことが可能な
操作については、顔方向ベクトル５１に基づいて表示さ
れるポインタによって位置指定を行う。一方、ドローイ
ングやドラッギング等のように、高い分解能を要求され
る操作では、タブレット１６を用いて入力を行う。

【００３４】以下に補足的な説明を行う。操作者２１の
動きによっては、集中カメラ１１、１２が、顔２２の動
きの追跡に失敗し、顔２２を見失うことがある。このと
きには、分散カメラ１３によって操作者２１の顔２２の
位置を探し、探した位置に、集中カメラ１１、１２の光
軸方向を向ける。また、操作者２１が大きく動いたとき
には、分散カメラ１３の撮像範囲からも外れることにな
るが、このときには、登録特徴点の再設定が行われる。
なお、これらの動作については、後に詳述する。

【００３５】また、顔方向ベクトル５１を算出するとき
には、操作者２１の鼻の向きに基づいた計算を行う構成
を用いることも可能である。すなわち、鼻の裾の２点、
鼻の頂点、鼻の上付け根、の計４点で定まる三角錐を算
出し、三角錐の底面にほぼ垂直で、鼻の頂点を通る直線
を求める演算を行うことによって、顔方向ベクトル５１
を決定するのである。

【００３６】図４は、本実施形態の初期設定の動作を示
すフローチャート、図５は、トラッキングとポインタ位
置の算出動作とを示すフローチャート、図６は、特徴点
を自動で再設定する動作を示すフローチャートである。

【００３７】必要に応じて同図を参照しつつ、本実施形
態の動作を説明する。操作者２１は、表示装置１４の前
に座り、本実施形態を動作させる。初期設定の動作が開
始され、分散カメラ１３によって、操作者２１の胸部か
ら上部側の身体、および身体の周辺の状態が撮像され
る。撮像結果である広視野画像は、顔位置検出手段３７
に送出される。顔位置検出手段３７は、予め記憶手段３
９に登録されたデータとのパターンマッチングを行うこ
とにより、広視野画像から、操作者２１の頭頂点２３と
両肩２４、２５とを抽出する（ステップＳ１１）。

【００３８】次いで、抽出した頭頂点２３および両肩２
４、２５の、広視野画像における位置から、操作者２１
の顔２２の位置を算出し（ステップＳ１２）、算出結果
をトラッキング処理手段３４に出力する。顔２２の位置
を示すデータが与えられたトラッキング処理手段３４
は、駆動手段３１、３２を制御し、集中カメラ１１、１
２の光軸方向を、顔２２の位置する方向に回転させる。
その結果、顔２２の画像が、集中カメラ１１、１２によ
って撮像される（ステップＳ１３）。

【００３９】なお、図４の１３３は、分散カメラ１３に
より撮像された広視野画像の概略図となっており、位置
（ｘ０，ｙ０）は、顔２２の中心位置を示す座標であ
る。また、１１３、１２３は、顔２２の中心位置（ｘ
０，ｙ０）に光軸方向を向けた集中カメラ１１、１２の
それぞれによって撮像された狭視野画像の概略図となっ
ている。

【００４０】ステップＳ１３の動作が完了した状態で
は、集中カメラ１１、１２は、操作者２１の顔２２を撮
像している。顔２２を撮像した狭視野画像は、表示処理
手段３６を介して、表示装置１４に出力され、表示され
る。一方、記憶手段３９には、登録特徴点の候補となる
眼、口、眼鏡等の属性が予め記憶されている。このた
め、特徴点抽出手段３５は、記憶手段３９に記憶された
属性をもとに、狭視野画像から登録特徴点の候補を抽出
する。そして、抽出した登録特徴点の領域を狭視野画像
に重ね合わせ、表示装置１４に表示させる（ステップＳ
１４）。

【００４１】表示装置１４には、顔２２を示す画像と、
抽出された領域とが重ね合わせて表示される。そのた
め、操作者２１は、表示画面１４１を見ながら、複数の
登録特徴点を選択すると共に、選択した登録特徴点に、
優先順位を付与する（ステップＳ１５）。優先順位は、
特徴点としての抽出しやすさ・撮像手段の視野からの消
えにくさ・方向指示直線の算出精度の高さなどを考慮し
て決定する。

【００４２】なお、顔方向ベクトル５１は、３つの特徴
点のそれぞれに対応して抽出された位置の三次元座標に
基づいて算出されるため、選択される特徴点は３つあれ
ばよい。しかし、操作者２１の動きによっては、抽出対
象である特徴点が集中カメラ１１、１２の視野から消え
ることがあるので、特徴点が視野から消える事態に備え
るため、予備となる特徴点をも選択しておく必要があ
る。このため、少なくとも４つの登録特徴点を選択す
る。また、同時に２つ以上の特徴点が視野から消える確
率を低くするため、選択する登録特徴点は、顔２２の全
体に散らばっているようにする。

【００４３】登録特徴点の選択と優先順位の付与が終了
すると、記憶手段３９は、選択された登録特徴点の狭視
野画像における位置、および形状を記憶する（ステップ
Ｓ１６）。このように、選択された登録特徴点の狭視野
画像における位置を、形状と併せて記憶するのは、抽出
すべき特徴点の追跡に失敗したため、再設定を行う（後
に詳述）必要が生じた場合に備えるためである（再設定
については後述する）。登録特徴点の選択、選択された
登録特徴点の形状および位置の記憶を終了すると、表示
処理手段３６は、初期位置として、表示画面１４１の中
央にポインタを表示する（ステップＳ１７）。

【００４４】以上で初期設定の動作説明を終了し、以下
に、ポインタの表示位置の算出動作について説明する。

【００４５】特徴点抽出手段３５は、登録された登録特
徴点に対応する全てを特徴点を追跡し、且つ、追跡した
特徴点のうちから、優先順位が、１〜３位の３つの特徴
点を選択する（ステップＳ２１）。このとき、選択した
３つの特徴点が、失敗することなく追跡されているかど
うかを調べる（ステップＳ２２）。

【００４６】選択した上位の３つの特徴点の全てが追跡
されているときには、集中カメラ１１、１２の光軸方向
を回転させ、操作者２１の顔２２の動きに追従する制御
を行う。すなわち、選択された３つの特徴点の位置によ
って定まる重心位置を演算する。次いで、演算した重心
位置を、集中カメラ１１、１２の視野中心で捉えるビジ
ュアルフィードバックを行う。このため、追跡されてい
た３つの特徴点は、その後も、集中カメラ１１、１２に
よって、引き続き追跡されることになる（ステップＳ２
３）。

【００４７】ステップＳ２３においては、３つの特徴点
の位置により定まる重心位置に、集中カメラ１１、１２
のそれぞれの視野中心が向けられている。このため、集
中カメラ１１、１２のそれぞれの光軸方向を示す回転角
φ１、φ２、および集中カメラ１１、１２の互いの距離
ｄから、重心位置は一意的に定まることになる。このた
め、ポインタ位置算出手段３８は、トラッキング処理手
段３４から与えられる回転角φ１、φ２と、既知の値で
ある距離ｄとから、重心位置、すなわち顔２２の位置を
算出する。なお、顔２２の位置は、表示画面１４１の中
心を原点とし、水平方向をＸ軸、垂直方向をＹ軸、表示
画面１４１の垂直方向をＺ軸とする三次元座標の値
（ｘ，ｙ，ｚ）として求められる。

【００４８】また、３つの特徴点の位置は、集中カメラ
１１に対応する狭視野画像１１３においては 座標値（ｘｓｉ，ｙｓｉ） ｉ＝１，２，３ として示される。また、集中カメラ１２に対応する狭視
野画像１２３においては 座標値（ｘｒｉ，ｙｒｉ） ｉ＝１，２，３ として示される。このため、顔２２の位置の三次元座標
の算出と並行して、 座標値（ｘｓｉ，ｙｓｉ）、（ｘｒｉ，ｙｒｉ） を参照することにより、３つの特徴点の三次元座標が求
まる。

【００４９】三次元空間における平面は、３点が定まる
と一意的に定まる。このため、ポインタ位置算出手段３
８は、三次元座標により位置が示される３つの特徴点か
ら、３つの特徴点に対応して一意的に定まる平面を求め
る。また、求めた平面の法線ベクトル（α、β，γ）を
算出する。以上の結果、顔２２の位置（ｘ，ｙ，ｚ）を
通る法線ベクトル（α、β，γ）、すなわち、顔方向ベ
クトル５１（ｘｙｚ，α、β，γ）が求まる（ステップ
Ｓ２４）。

【００５０】上記演算において、顔２２の位置として求
められた三次元座標（ｘ，ｙ，ｚ）のｚ値は、表示画面
１４１から顔２２までの距離である。一方、顔２２と表
示画面１４１との距離は、眼の疲れや、その他の健康上
の理由から、４０〜６０ｃｍが最適な距離である。この
ため、ｚ値が、例えば、２０ｃｍより小さくなる場合、
ポインタ位置算出手段３８は、表示画面１４１に顔２２
が近寄り過ぎていることの警告表示を、表示処理手段３
６に指示する。その結果、表示画面１４１には、近寄り
過ぎの警告が表示されることになる（ステップＳ２５、
Ｓ３０）。

【００５１】顔方向ベクトル５１（ｘｙｚ，α、β，
γ）の算出、および警告のための動作を終了した後に
は、ポインタ位置算出手段３８は、顔方向ベクトル５１
と表示画面１４１との交点を求める。表示画面１４１
は、三次元座標におけるｚ＝０の平面であるので、交点
は、二次元座標（Ｘｄ，Ｙｄ）として求まることにな
る。そして求めた二次元座標（Ｘｄ，Ｙｄ）を、表示処
理手段３６に出力する（ステップＳ２６）。

【００５２】二次元座標（Ｘｄ，Ｙｄ）が与えられた表
示処理手段３６は、表示画面１４１上の該当する位置
に、ポインタを表示する。なお、ポインタの表示位置
は、初期設定では、表示画面１４１の中央である。この
ため、最初に与えられた二次元座標が、どのような値で
あるとしても、表示処理手段３６は、最初に与えられた
二次元座標が示す位置は、表示画面１４１の中央位置を
示すものであると判定する。そして、以後に与えられる
二次元座標（Ｘｄ，Ｙｄ）と、最初に与えられた二次元
座標との差異分に対応して、ポインタの表示位置を移動
する（ステップＳ２７）。

【００５３】顔２２の向きに対応して、表示画面１４１
における位置を求める上記動作を、ゲーム等に応用する
ときでは、表示画面１４１の位置が定まる毎に、位置確
認の入力をすることは必ずしも必要ではない。しかし、
本実施形態は、アイコン等の指示に用いる構成となって
いるので、マウスのクリック操作に相当する位置の確認
入力手段が設けられている。

【００５４】すなわち、表示画面１４１に表示されたポ
インタの位置が、望む位置となったときには、確認入力
用として、キーボード１７上に予め振り当てられた特別
のキーを操作する。このキー入力は、表示処理手段３６
において受け付けられ、表示位置に該当するプログラム
の動作が起動される（ステップＳ２８、Ｓ３１）。

【００５５】なお、確認入力手段としては、通常使用す
るキー群のうちから、複数のキーのの組合せを、確認入
力用として予め決定した構成としてもよい。なお、この
ときには、決定した組合せのキーが同時に操作されたと
き、確認の入力であると判定される。

【００５６】また、手の不自由な者を操作者２１とする
ときには、特徴点抽出手段３５に、特徴点として抽出さ
れた口の動きを判定する手段を追加した構成とし、口が
所定の動きをしたときには、確認の入力であると判定す
る構成としてもよい。

【００５７】以下に、オクルージョンについて説明す
る。顔２２の向きでもってポインタの位置を移動させて
いるとき、操作者２１の動きによっては、特徴点が集中
カメラ１１、１２の視野から隠れるオクルージョンとい
う現象が生じることがある。この現象は、図７に示すよ
うに、手を口に当てた場合、あるいは、操作者２１が横
を振り向いた場合、あるいは、操作者２１が俯いた場
合、また、髪が顔を覆ってしまった場合等に生じる。こ
のような場合では、それまで追跡可能であった特徴点
が、集中カメラ１１、１２の視野から隠されるため、以
後の追跡が不能となる。

【００５８】演算に用いていた特徴点の追跡が不能にな
ると、顔方向ベクトル５１を算出できなくなり、ポイン
タの位置を求めることができない。また、ステップＳ２
３により示した追跡方法は、セルフウィンドウ法なので
（後に詳述する）、狭視野画像における顔２２の移動前
と移動後の位置のずれが小さいことを前提としている。
このため、特徴点の追跡に失敗すると、追跡に失敗した
特徴点が狭視野画像に再び現れたとしても、現れる位置
が、以前の位置から想定していたずれより大きく離れた
場合、対応できなくなる。

【００５９】このため、本実施形態では、図１４のフロ
ーチャートに示すオクルージョン対策が設けられてい
る。なお、このフローチャートは、図６のステップＳ２
２、Ｓ２９の詳細を示すフローチャートとなっている。

【００６０】特徴点を追跡しているときには、特徴点の
追跡の状態を、所定時間間隔で判定する（ステップＳ４
１、Ｓ４２）。そして、優先順位の上位の３つの特徴点
が集中カメラ１１、１２の視野内にあり、追跡されてい
る場合では、トラッキングに成功していると判定し、ス
テップＳ２３以下の、通常の動作を継続する。

【００６１】いま、ステップＳ１５においては、図１０
の５２に示すように、６つの特徴点が選択されると共
に、両眼、口、鼻、両耳の順序で優先順位が付与されて
いたとする。また、操作者２１に、図９の６３に示すよ
うな動きが生じ、口と鼻とが集中カメラ１１、１２の視
野から隠されたとする。

【００６２】このときには、優先順位が３位である口
と、４位である鼻との追跡に失敗するので、動作は、ス
テップＳ４２からステップＳ４３に移行する。そして、
優先順位が５、６位である両耳が、追跡されており、且
つ未使用となっている特徴点である判定される。判定が
完了すると、両耳に付与されていた５、６位の優先順位
が、両眼の優先順位に続く優先順位に繰り上げられ、
３、４位となる（ステップＳ４４）（図１０の５３参
照）。そして後、ステップＳ２１に移行する。このた
め、以後では、両眼と右耳とが、演算対象の特徴点とし
て、追跡されることになる。

【００６３】なお、ステップＳ４４における優先順位の
繰り上げは、図９の６４に示すようなオクルージョンが
生じた場合、すなわち、左眼、口、および左耳が隠され
た場合では、図１０の５４に示すような繰り上げとな
る。また、６５に示すオクルージョンが生じたときで
は、５５に示すような繰り上げとなる。

【００６４】このように、特徴点の追跡に失敗したとき
には、追跡に失敗していない特徴点の優先順位を繰り上
げ、繰り上げ後に、優先順位が高い側の３つの特徴点を
使用する。このため、集中カメラ１１、１２は、追跡に
失敗が生じないときには、選択された全ての特徴点を、
狭視野画像内に捉えるように制御される。

【００６５】なお、追跡する特徴点は、顔２２における
部位となっているので、各特徴点の動きは略同一であ
る。従って、特徴点群のほぼ中央が視野中心となるよう
に、集中カメラ１１、１２の光軸方向を制御すれば、カ
メラの側から見て、顔の裏側に隠れることはあるにして
も、選択された全ての特徴点が、狭視野画像に入ること
になる（集中カメラ１１、１２には、この条件に適した
画角を有する焦点距離のレンズが使用される）。

【００６６】一方、ステップＳ４３において、追跡され
ている特徴点が３つより少ないときには、以後のトラッ
キングが不能であるので、ステップＳ３４に始まる自動
再設定の動作に移行する。

【００６７】自動再設定の動作は、上記したように、追
跡中の特徴点が３つ以下となったとき起動される動作で
あり、操作者２１が横方向に顔２２を大きく振り向いた
り、手で顔２２を覆ったり、俯いたりすることによっ
て、特徴点のうちのいくつかが、集中カメラ１１、１２
の視野から外れ、集中カメラ１１、１２による追跡が不
能となったとき、起動される動作である。

【００６８】集中カメラ１１、１２による追跡が不能と
なったときの最も簡単な対策方法は、初期設定に始まる
一連の動作を再び開始することであるが、この方法を用
いると、登録特徴点の選択等に手間が掛かり、不具合が
大きい。自動再設定は、この不具合を緩和するための方
法であり、動作を再開させるための手間を少なくするた
めに設けられた動作となっている。

【００６９】自動再設定の動作が開始されたときには、
集中カメラ１１、１２の光軸方向は、初期設定時と同方
向に設定される。また、操作者２１は、顔２２の位置
を、初期設定を行ったときと同じ位置に戻す。また、表
示処理手段３６は、ポインタを、初期位置である画面中
央に表示する（ステップＳ３４）。次いで、顔位置検出
手段３７は、分散カメラ１３により撮像された広視野画
像から、頭頂点２３と両肩２４、２５との位置を抽出す
る（ステップＳ３５）。また、抽出された３つの位置の
重心位置を、顔２２の推測位置として算出する（ステッ
プＳ３６）。

【００７０】重心位置の算出を完了したときには、算出
した重心位置が、画像中心となるように集中カメラ１
１、１２の光軸方向を向ける（ステップＳ３７）。そし
て後には、集中カメラ１１、１２により撮像された狭視
野画像と、初期設定において選択された登録特徴点、お
よび登録特徴点の画像上の位置とから、マッチングした
登録特徴点を、追跡すべき領域を示す登録特徴点である
と決定し、ステップＳ２１の動作に移行する（ステップ
Ｓ３８）。

【００７１】なお、ステップＳ３８の動作において、マ
ッチングする登録特徴点が取り出せなかったときには、
自動再設定が不能であるため、ステップＳ１１の動作に
戻り、初期設定の動作を再開する。

【００７２】以下に、上記した一連の動作を、より詳細
に説明する。追跡対象である特徴点は、ほぼ正面から操
作者２１に相対する集中カメラ１１、１２によって、安
定して撮像できることが必要である。具体的には、以下
に示すことが求められる。

【００７３】１）集中カメラ１１、１２から見て、顔２
２の影になりにくいこと。

【００７４】２）同時に複数の特徴点が視野から消失し
にくいこと。

【００７５】３）コントラストが高く、集中カメラ１
１、１２によって明瞭な画像が得られること。

【００７６】４）特徴点としての領域が大きくないこと
（あまり大きい場合には、集中カメラ１１、１２の視野
に収まらない）。

【００７７】５）位置変動が少ないこと（全体に対する
相対的な位置が安定していること）。すなわち、顔２２
の部位は、顔２２の形状に対して、安定した位置関係に
あるものばかりであるが、例えば、身体に対する手の関
係は、相対的な位置の関係が不安定であると見なすこと
ができる。

【００７８】また、さらなる条件としては、特徴点の３
点の位置関係が、互いに離れた位置関係となることが求
められる。これは、３点の位置関係が近い場合では、顔
方向ベクトル５１を求める演算において、誤差が増加す
るからである。

【００７９】このため、ステップＳ１４、Ｓ１５におい
ては、上記した条件を満たすように、登録特徴点の設定
を行う。具体的に説明すると、予め記憶手段３９に記憶
されたデータに基づき、パターンマッチングで選択され
た登録特徴点の候補から、登録特徴点を選択するときに
は、上記した条件をよりよく満たす登録特徴点を選択す
る必要がある。また、選択した登録特徴点に優先順位を
付与するときには、より条件を満たす登録特徴点から順
に、高い優先順位を付与する必要がある。

【００８０】登録特徴点について、補足的な説明を行
う。顔２２において、登録特徴点として選択される部位
には、第１および第２の種類の２種類の部位がある。す
なわち、第１の種類の部位は、両眼、両眉、鼻、口、ホ
クロ等のように、本来的な属性として人の顔がもってい
る部位であり、第２の種類の部位は、眼鏡、アクセサリ
等のように、操作者２１が常に着用している物の特徴的
な部位である。

【００８１】これら２種類の部位のうち、操作者２１が
着用している物の部位は、全ての操作者２１に共通す
る、一般的な形状として取り出すことができない。従っ
て、記憶手段３９にデータとして、予め記憶させておく
こともできないので、設定時において、特徴点抽出手段
３５に抽出させることが困難である。

【００８２】つまり、第２の種類の部位については、そ
の都度、操作者２１が、登録特徴点として選択した領域
を指定しなければならない。このため、狭視野画像を２
値化する等の方法でもって、登録特徴点の抽出を容易に
する画像を表示画面１４１に表示する。操作者２１は、
２値化された画像を見ながら、登録特徴点として選択し
たい領域を指定する。

【００８３】一方、第１の種類の部位のうち、鼻の左右
の面積比、鼻の左右の穴、左右の眼球等の部位は、狭視
野画像上に現れる位置を示すばかりではなく、その方向
をも差し示すことのできる登録特徴点である。このた
め、これらの登録特徴点を選択した場合では、選択した
登録特徴点が狭視野画像に現れる位置情報の利用と同時
に、登録特徴点そのものが有する属性をも併せて活用す
ることが可能である。

【００８４】また、特徴点が集中カメラ１１、１２の視
野から消失するオクルージョンが発生するので、オクル
ージョンの発生による支障を軽減するには、可能な限り
多数の特徴点を利用することが望ましい。しかし、特徴
点の個数は、集中カメラ１１、１２の視野の広さや、撮
像素子の画素数で決定される分解能によって制約され
る。このため、本実施形態は、５〜６点の登録特徴点を
選択するのが望ましい構成となっている。

【００８５】また、選択された登録特徴点は、集中カメ
ラ１１、１２により撮像された顔２２の画像から抽出さ
れるが、通常の濃淡を有する画像から、登録特徴点であ
る眼や鼻を切り出すことは困難である。そのため、登録
特徴点の形状に応じて、特徴を強調する手段を併用し、
抽出を容易にしている。

【００８６】抽出を容易にする手段としては、 １）２値化 ２）空間微分 ３）時間微分 ４）空間周波数に対するフィルタリング ５）アナモフィックレンズの使用 ６）赤外光による照明の６つの処理がある。

【００８７】このため、コントラストの比較的強い画像
が得られる眼については、２値化処理を行う。また、明
暗の傾斜の大きい画像が得られる鼻等については、空間
微分による処理、動きのある眼、口等については、時間
微分による処理、形状が比較的複雑である目尻等につい
ては、空間周波数のフィルタリング処理を行う。

【００８８】また、顔方向ベクトル５１を、鼻の高さ方
向から求める算出方法を採用する場合では、鼻の向きを
強調するため、鼻の高さ方向における倍率がより高くな
るアナモフィックレンズを、集中カメラ１１、１２に使
用すれば、鼻の向きの抽出が容易となる。また、鼻自体
の影になりやすい鼻の穴を特徴点として利用する場合に
は、例えば、クリップの付いたペン型の赤外線ＬＥＤを
胸に付ける等の方法を用いることによって、鼻の穴の抽
出を容易にする。

【００８９】図８は、登録特徴点の抽出に用いる顔画像
を示しており、同図の（ａ）は、眼鏡を着用した男性の
顔を２値化した画像を示している。また、同図の（ｂ）
は、女性の顔を２値化した画像を示している。なお、こ
れらの画像は、眼や口等が、登録特徴点の領域として最
適な大きさとなるように、スライスレベルを設定した画
像となっている。

【００９０】また、（ａ）は、眼鏡のフレームの三叉部
分６１、６２、口６３、眼鏡フレームのブリッジ部分６
４、鼻の下６５の５点が、登録特徴点として選択された
場合を示している。また、（ｂ）は、左右の眼６６、６
７、口６８、左右の眉６９、７０、鼻の下７１の６点
が、登録特徴点として選択された場合を示している。

【００９１】以上で初期設定の詳細な説明を終了し、以
下に、集中カメラ１１、１２の光軸方向を制御する両眼
視マルチセルフウィンドウによるトラッキング方法につ
いて、詳細に説明する。

【００９２】左右に所定距離ｄを保って設けられた２つ
の集中カメラ１１、１２を制御するため、集中カメラ１
１、１２のそれぞれの狭視野画像によるパターンマッチ
ング法を用いた場合では、操作者２１が顔２２を、素早
く、大きく振ると、顔２２の特徴となる部分の形状が、
集中カメラ１１の画像と集中カメラ１２の画像とで、許
容量を越えてずれてしまう。その結果、２つの画像のマ
ッチングがとりにくくなり、追跡不能となる事態が発生
する。また、マッチングしているかどうかの判定は、ソ
フトウエアによる相関演算に基づくので、判定結果を得
るための所要時間が長く、追跡速度を速くすることが困
難である。

【００９３】このため、本実施形態では、セルフウィン
ドウ法で、画像の入力と処理とを行っている（参考資
料：超高速ビジョンシステム／信学技報 １２１，ＰＲ
Ｕ−７０（１９９５−０７））。

【００９４】セルフウィンドウ法は、図１１に示したよ
うに、特徴点領域の現在の画像８１と、画像８１の１フ
レーム前の画像を、１画素分だけ周辺方向に拡大したウ
ィンドウ８２との積画像８３を求めることにより、最初
に指定された対象のみを取り出す方法である。なお、こ
の方法を適用するためには、特徴点領域の画像（特徴点
の画像）が、フレーム毎に、最大で１画素に相当する距
離より大きくは移動しないことが前提となっている。そ
のため、画素のそれぞれについて、データ処理の対象と
なる画素は、隣接する画素に限定される。その結果、画
素毎に設けられる信号処理回路が簡単となる。すなわ
ち、画像入力デバイスとして、撮像用の画素と信号処理
回路とを含めて集積化を行う場合、集積化が容易な構成
となる。

【００９５】また、セルフウィンドウ法は、追跡する特
徴点（厳密には、例えば、眼の具体的形状等のような、
特徴点における特徴領域）の形状が多少変形しても、安
定した追跡が可能な方法となっているので、人工物のよ
うに形状が固定されていない顔２２の特徴点を追跡する
には、最も適した方法となっている。

【００９６】本実施形態で採用している両眼視マルチセ
ルフウィンドウ法は、上記したセルフウィンドウ法を２
つの集中カメラ１１、１２に適用したものである。すな
わち、複数の特徴点のそれぞれに対して、個々にセルフ
ウィンドウ法を適用することにより、特徴点のそれぞれ
を追跡する。このとき、追跡されている複数の特徴点
は、眼や鼻、ホクロ等であるが、これらの特徴点は、概
略的には『剛体』とみなすことが可能な顔２２の個々の
領域であり、互いの位置関係は不変であるとみなすこと
が可能である。従って、個々の特徴点が互いに独立した
方向に移動することはないとみなしてよい。このため、
複数の特徴点の動きを平均した方向に、集中カメラ１
１、１２の光軸方向を向けるように、制御を行ってい
る。

【００９７】以下に、自動再設定について、詳細に説明
する。自動再設定は、既に説明したように、追跡可能な
特徴点が３つ以下となったとき、起動される動作であ
る。すなわち、操作者２１は、電話のベルが鳴ったとき
や呼び出しに答えるため、席を立つことがある。また、
サイドテーブルに置いた原稿を見るため、顔２２を大き
く横向きに動かすことがある。このような場合では、特
徴点の追跡が不能になるので、自動再設定の動作が起動
される。

【００９８】再設定を簡単な作業とするためには、再設
定を行うため、集中カメラ１１、１２により撮像した狭
視野画像中の特徴点の位置が、初期設定時に選択された
登録特徴点の位置に、精度よく一致すればよい。再設定
時の特徴点の位置が、登録時の特徴点（登録特徴点）の
位置に精度よく一致したときには、操作者２１は、登録
特徴点の確認を行うのみで、再設定が完了するからであ
る（優先順位は、記憶手段３９に記憶されている）。こ
のためには、集中カメラ１１、１２の光軸を、優先順位
が１〜３位の特徴点の重心位置にむけることができれば
よい。つまり、該当する重心位置を精度よく推測できれ
ばよいことになる。

【００９９】以下では、優先順位が１〜３位の登録特徴
点が、最も抽出し易い形状である両眼と口である場合に
ついて説明する。

【０１００】図１２に示すように、操作者２１の顔２２
の動きには、ＸおよびＹの２方向の並進運動と、Ｒおよ
びＳにより示す２種の回転運動とがあるものとする。こ
れらの運動は、再設定のため、表示装置１４の前に座っ
た操作者２１の身体の位置と、初期設定時に同じ位置に
操作者２１が座ったときの身体の位置との差異に相当す
る。また、再設定を行うのは、顔２２における特徴点の
追跡に失敗したときであり、特徴点が見失われたときで
ある。

【０１０１】両眼２７Ｌ、２７Ｒと口２８との３つの特
徴点の全て、あるいは一部の特徴点を見失ったとき、見
失った３つの特徴点が再び現れる位置を精度よく予測す
るため、操作者２１の頭頂点２３と両肩２４、２５（こ
れら３点を頂点とする三角形が、図１３に示す大三角形
２６である）との３つの特徴点を、小三角形（両眼２７
Ｌ、２７Ｒと口２８との３つの特徴点を頂点とする三角
形）２９の特徴点とは別のグループとして追跡する。

【０１０２】小三角形２９の特徴点とは異なるグループ
として追跡される大三角形２６の３つの特徴点２３〜２
５は、比較的見失うことの少ない特徴点である。つま
り、大三角形２６の３点２３〜２５は、分散カメラ１３
によって常に捉えることが可能であると考えてよい特徴
点である。一方、上記した４種の運動が生じたとして
も、大三角形２６と小三角形２９との位置関係は、大三
角形２６の３頂点２３〜２５の位置から推測可能な相対
関係にあるので、小三角形２９の特徴点を見失っても、
大三角形２６の特徴点を介して追跡することが可能であ
る。例えば、大三角形２６と小三角形２９のそれぞれの
重心位置が略一致する相対位置関係にする。

【０１０３】詳細に説明すると、Ｘ方向およびＹ方向の
並進運動では、頭と首および上半身は剛体運動とみなす
ことができる。このため、大三角形２６の重心位置と小
三角形２９の重心位置との関係は、運動以前の関係と同
一であり、不変であるとみなせる。

【０１０４】また、回転運動Ｒの場合では、頭頂点２３
と鼻の頂点とを結ぶ体中線を回転軸とするので、大三角
形２６の重心位置と小三角形２９の重心位置との関係
は、運動以前の関係と同一であり、不変であるとみなせ
る。

【０１０５】一方、回転運動Ｓは、首の付け根、言い換
えるなら、大三角形２６の底辺を回転軸とする運動であ
るので、頭頂点２３と小三角形２９とが一体に移動する
剛体運動であるとみなせる。そのため、大三角形２６の
高さの変化を検出すれば、大三角形２６の重心位置と小
三角形２９の重心位置との位置関係の変化が容易に算出
され、小三角形２９の重心位置を求めることができる。

【０１０６】すなわち、２種の並進運動、および２種の
回転運動が生じたときにも、複雑なアルゴリズムを用い
ることなく、大三角形２６の頂点の位置（頭頂点２３と
両肩２４、２５との位置）から、小三角形２９の重心位
置を求めることができる。つまり、分散カメラ１３の出
力である広視野画像から、小三角形２９の重心位置を容
易に求めることができる。そして、求めた重心位置に、
集中カメラ１１、１２の光軸方向を向けることにより、
小三角形２９を確実に補足することができる。すなわ
ち、追跡すべき特徴点である両眼２７Ｌ、２７Ｒと口２
８とを、補足することができる。

【０１０７】以下に、集中カメラ１１、１２により撮像
されている対象（顔２２）が移動したとき、撮像デバイ
ス（画像入力素子）上において対象像が移動する移動量
について説明する。これは、例えば、顔２２の振りによ
って、両眼２７Ｌ、２７Ｒの位置が移動したとすると、
両眼２７Ｌ、２７Ｒの位置の移動速度、集中カメラ１
１、１２のフレーム周期、集中カメラ１１、１２に使用
されている撮像デバイスの画素ピッチ等の関係につい
て、セルフウィンドウ法が可能であるかどうかの目安を
与える。

【０１０８】いま、対象物は、光軸に対して垂直な平面
を移動すると仮定する。また、各値を、 Ｄ：フレームレートあたりの像の移動量（撮像デバイス
の画素ピッチ表示） ｆ：撮像レンズの焦点距離（２０ｍｍとする） τ：フレームレート（超高速ビジョンでは０．１ｍＳ：
通常のビデオレートは３３ｍＳである） ｖ：対象物の移動速度（０．１秒につき０．２５ｍとす
る） ｄ：撮像デバイスの画素ピッチ（０．０２ｍｍとする） ｚ：カメラから対象物までの距離（０．５ｍとする） でもって示すとすると、求める値Ｄは Ｄ＝ｆτｖ／ｄｚ として示され、具体的な値として、 Ｄ＝０．５〔ピッチ〕 を得る。

【０１０９】上記値は、１フレームあたりの移動画素数
が１画素以内であることを意味する。すなわち、フレー
ム間の画像の変化は、互いに隣接する画素の近傍内にお
いてのみ生じることを意味する。このことは、抽出され
た特徴領域自身と、その１フレーム前の特徴領域を１画
素分だけ拡大したウィンドウとの積画像を算出すること
により、指定した対象のみを抽出できることを意味す
る。つまり、セルフウィンドウ法による対象の抽出が可
能となっていることを示す。

【０１１０】

【発明の効果】請求項１記載の発明に係る位置指示装置
は、互いに異なる角度から操作者の身体を撮像する一対
の撮像手段と、少なくとも３箇所の身体部位を登録特徴
点として登録する登録手段と、撮像手段が撮像した画像
から、登録特徴点に対応する特徴点を抽出する特徴点抽
出手段と、撮像手段のそれぞれの画像における特徴点の
座標と、一対の撮像手段の互いの距離と、各撮像手段の
光軸方向とに基づき、操作者の身体部位の方向である方
向指示直線を算出する直線算出手段と、方向指示直線と
対象物とが交わる位置である指示位置にポインタを表示
するポインタ表示手段とを備えた構成としている。した
がって、撮像手段により撮像された操作者の身体部位の
位置を示す二次元画像から、指示位置が決定されるの
で、特殊な眼鏡の装着を不要にすると共に指示位置の決
定のための演算時間を短縮することが可能となる。

【０１１１】また、請求項２記載の発明に係る位置指示
装置は、上記構成に加え、前記登録手段は、４つ以上の
前記登録特徴点を、それぞれの登録特徴点に付与された
優先順位と共に登録し、前記直線算出手段は、抽出でき
ない特徴点が生じたときには、抽出できた特徴点のうち
から、付与された優先順位に従って上位３つの特徴点を
選択し、選択した特徴点に基づいて前記方向指示直線を
算出する構成としている。したがって、予備の登録特徴
点が、追跡すべき登録特徴点に自動で変わるため、追跡
している特徴点が隠れたときにも、再度の初期化を行う
ことなく、位置指示を行うことが可能となる。

【０１１２】また、請求項３記載の発明に係る位置指示
装置は、上記構成に加え、前記対象物を表示装置の表示
画面とし、前記表示装置の近傍に設けられ、操作者の身
体の上部側部分と、この上部側部分の周辺とを視野内に
捉える分散カメラを備えた位置指示装置とし、前記撮像
手段を、分散カメラの近傍に設けられ、操作者の顔を示
す画像である狭視野画像を撮像する集中カメラとし、分
散カメラによって撮像された広視野画像に基づいて操作
者の顔の位置を算出する顔位置検出手段と、顔位置検出
手段によって算出された位置に集中カメラの光軸を向け
る駆動手段とを備え、前記登録手段は、操作者の顔の部
位を前記登録特徴点として登録し、前記特徴点抽出手段
は、狭視野画像の中から、登録特徴点のそれぞれに対応
する特徴点を抽出し、前記ポインタ表示手段は、前記表
示画面にポインタを表示する構成としている。したがっ
て、操作者の大きな動きは分散カメラによって捉えら
れ、捉えられた位置に集中カメラの光軸方向が向けられ
るので、操作者の大まかな動きに追従することが可能と
なる。

【０１１３】また、請求項４記載の発明に係る位置指示
装置は、上記構成に加え、前記登録手段は、体中線を対
称軸とする略２等辺三角形である大三角形の頂点のそれ
ぞれに対応する身体部位を、前記分散カメラ用の前記登
録特徴点として登録すると共に、前記大三角形と所定の
相対位置関係をもち、大三角形より形状の小さい三角形
である小三角形の頂点のそれぞれに対応する身体部位
を、前記集中カメラ用の登録特徴点として登録する構成
としている。したがって、小三角形の頂点に対応する特
徴点が見失われても、大三角形の頂点位置に基づいて、
小三角形の位置が求められるため、見失われた特徴点が
再び現れる位置の推測を容易にすることが可能となる。

【０１１４】また、請求項５記載の発明に係る位置指示
装置は、上記構成に加え、前記大三角形の頂点のそれぞ
れに対応する身体部位を、操作者の頭頂点と右肩先と左
肩先とし、前記小三角形の頂点のそれぞれに対応する身
体部位を、操作者の口と右目と左目としている。したが
って、特徴点は、輪郭が明確であると共に、互いの位置
関係が散らばった関係にあるため、特徴点の追跡を容易
にすると共に指示位置の検出精度を高めることが可能と
なる。

【図面の簡単な説明】

【図１】本発明に係る位置指示装置の一実施形態の電気
的構成を示すブロック線図である。

【図２】実施形態の構成の概略を示す外観図である。

【図３】分散カメラと集中カメラとの撮像範囲を示す平
面図である。

【図４】分散カメラにより撮像された画像と集中カメラ
により撮像された画像とを示す説明図である。

【図５】初期設定の動作を示すフローチャートである

【図６】特徴点の追跡動作と顔方向ベクトルの算出動作
を示すフローチャートである。

【図７】特徴点を自動で再設定する動作を示すフローチ
ャートである。

【図８】特徴点の登録に用いる顔画像の説明図である。

【図９】オクルージョンが生じたときの顔の状態を示す
説明図である。

【図１０】優先順位の繰り上げ方法を示す説明図であ
る。

【図１１】セルフウィンドウ法におけるフレーム間の演
算方法を示す説明図である。

【図１２】操作者の顔の動きを示す説明図である。

【図１３】３つの特徴点を頂点とする大三角形と小三角
形との関係を示す説明図である。

【図１４】特徴点の隠れ対策の動作を示すフローチャー
トである。

【符号の説明】

１１、１２ 集中カメラ １３ 分散カメラ １４ 表示装置 ２１ 操作者 ２２ 顔 ２３ 頭頂点 ２４、２５ 両肩 ２６ 大三角形 ２７Ｌ、２７Ｒ 両眼 ２８ 口 ２９ 小三角形 ３５ 特徴点抽出手段 ３９ 記憶手段 ５１ 顔方向ベクトル ６１〜７１ 登録特徴点 １１３、１２３ 狭視野画像 １３３ 広視野画像 １４１ 表示画面 Ｓ１５ 登録手段 Ｓ２４ 直線算出手段 Ｓ２６、Ｓ２７ ポインタ表示手段

───────────────────────────────────────────────────── フロントページの続き (71)出願人 000005821 松下電器産業株式会社 大阪府門真市大字門真1006番地 (71)出願人 596094740 石川 正俊 千葉県柏市大室1571番地の32 (72)発明者 唐崎 敏彦 大阪市中央区安土町二丁目３番13号 大阪 国際ビル ミノルタ株式会社内 (72)発明者 小野 修司 神奈川県足柄上郡開成町宮台798番地 富 士写真フイルム株式会社内 (72)発明者 西井 完治 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 石川 正俊 千葉県柏市大室1571番地の32

Claims (5)

【特許請求の範囲】
1. 【請求項１】 操作者の身体部位によって、対象物上の
   位置を指示する位置指示装置において、互いに異なる角
   度から操作者の身体の画像を撮像する一対の撮像手段
   と、操作者の少なくとも３箇所の身体部位を登録特徴点
   として登録する登録手段と、前記撮像手段によって撮像
   された画像から、登録特徴点に対応する特徴点を抽出す
   る特徴点抽出手段と、一対の前記撮像手段のそれぞれの
   画像における抽出された特徴点の座標と、一対の前記撮
   像手段の互いの距離と、前記撮像手段のそれぞれの光軸
   方向とに基づいて、特徴点のそれぞれの三次元座標を算
   出し、算出した三次元座標に基づいて、前記操作者の身
   体部位が示す方向に対応した方向指示直線を算出する直
   線算出手段と、算出された方向指示直線と前記対象物と
   が交わる位置である指示位置を算出し、算出された指示
   位置にポインタを表示するポインタ表示手段とを備えた
   ことを特徴とする位置指示装置。
2. 【請求項２】 前記登録手段は、４つ以上の前記登録特
   徴点を、それぞれの登録特徴点に付与された優先順位と
   共に登録し、前記直線算出手段は、抽出できない特徴点
   が生じたときには、抽出できた特徴点のうちから、付与
   された優先順位に従って上位３つの特徴点を選択し、選
   択した特徴点に基づいて前記方向指示直線を算出するこ
   とを特徴とする請求項１記載の位置指示装置。
3. 【請求項３】 前記対象物を表示装置の表示画面とし、
   前記表示装置の近傍に設けられ、操作者の身体の上部側
   部分と、この上部側部分の周辺とを視野内に捉える分散
   カメラを備えた位置指示装置であって、前記撮像手段
   を、分散カメラの近傍に設けられ、操作者の顔を示す画
   像である狭視野画像を撮像する集中カメラとし、分散カ
   メラによって撮像された広視野画像に基づいて操作者の
   顔の位置を算出する顔位置検出手段と、顔位置検出手段
   によって算出された位置に集中カメラの光軸を向ける駆
   動手段とを備え、前記登録手段は、操作者の顔の部位を
   前記登録特徴点として登録し、前記特徴点抽出手段は、
   狭視野画像の中から、登録特徴点のそれぞれに対応する
   特徴点を抽出し、前記ポインタ表示手段は、前記表示画
   面にポインタを表示することを特徴とする請求項１また
   は請求項２記載の位置指示装置。
4. 【請求項４】 前記登録手段は、体中線を対称軸とする
   略２等辺三角形である大三角形の頂点のそれぞれに対応
   する身体部位を、前記分散カメラ用の前記登録特徴点と
   して登録すると共に、前記大三角形の重心位置とその重
   心位置が略一致し、大三角形より形状の小さい三角形で
   ある小三角形の頂点のそれぞれに対応する身体部位を、
   前記集中カメラ用の登録特徴点として登録することを特
   徴とする請求項３記載の位置指示装置。
5. 【請求項５】 前記大三角形の頂点のそれぞれに対応す
   る身体部位を、操作者の頭頂点と右肩先と左肩先とし、
   前記小三角形の頂点のそれぞれに対応する身体部位を、
   操作者の口と右目と左目としたことを特徴とする請求項
   ４記載の位置指示装置。