JP4340760B2 - ハンズフリーポインティングシステム - Google Patents

Description

本発明は、ポインティングシステムに係り、特にレーザーポインタを頭部に装着したパソコン使用者が手動操作することなく、モニタ等の画像表示装置の任意の位置を高精度に指し示す（ポインティングする）ことができるハンズフリーポインティングシステムに関する。

パソコンを使用する際のポインティングシステムとしてマウスとタブレットが知られている。使用者はマウスを手で移動する、あるいは机上に置かれた板状のセンサとペンを接触させることで画面上の任意の位置をポインティングできる。しかしながら、手動操作を行うポインティングシステムは、ＡＬＳ（筋萎縮性側索硬化症）患者等の体が不自由な人が用いる場合に不都合である。また、通常のパソコン使用においてもこれらを用いるときはキーボードから一旦手を離す必要がある。キーボード上に手を置いたままポインティングができれば作業効率上非常に便利である。以上のことから、手でポインティングする必要のないポインティングシステム（以降、ハンズフリーポインティングシステムとする）が望まれている。

ハンズフリーポインティングシステムとして、これまで数多くの方法が提案されており、これらはマウスのような移動量を用いた間接的な方法とタブレットのような直接所望の位置をポインティングする方法とに大きく二つに分類される。
間接的な方法として、頭部に装着した可変容量コンデンサ、ジャイロ等の角速度センサ、光学系を利用した角度センサ、超音波センサ、電磁波センサ、カメラ等で頭部の移動量あるいは回転量を検出する方法、あるいは足でマウスを操作する方法等が提案されている。
直接的な方法として、頭部に装着したレーザーポインタを用いる方法、頭部に装着したアイカメラで視線を検出する方法、顔画像から瞳孔を検出し視線方向を推定する方法、顔画像処理により顔向きを推定する方法等が提案されている。

間接的な方法は、所望の位置にカーソルを合わせるのに何度も往復動作を行わなければならない。特に頭部の動きを利用する場合は、何度も首を振らなければならず、モニタを注視することが困難であり、また首が疲労しやすいという欠点がある。
一方、直接的に所望の位置をポインティングする方法はこのような欠点はないが、校正が必要である。特にカメラを用いる場合は、レンズ系の歪み補正を行うのが一般的である。各方法について、アイカメラを用いる場合は、重量や視界の面で装着感が悪く、高価になる、また、顔画像処理による方法は何も装着しないというメリットは大きいが、使用者自身の動きが制約されるとともに照明条件や顔特徴の個人差（例えば、肌の色、細い目）、めがね、髪型等によって特徴点の抽出が必ずしも正確に行えず、推定される顔方向の精度は不安定になる。加えて、処理時間がかかる、場合によっては特殊な装置が必要で高価になるという問題点がある。

これらに比較して、レーザーポインタを用いる方法は、モニタ画面上にレーザーポインタと同色あるいは白領域があると照射点を検出することが困難になるという課題はあるものの、以下のようなメリットがある。
(1)重量は数十グラム（レーザーモジュールを用いる場合）と比較的軽量で頭部に装置を装着する方法の中でも装着感は良い。
(2)顔画像を処理する方法に比べ精度は高く、画像中から１点を検出するのみなので処理ははるかに高速である。
(3)モニタ画面上をレーザーポインタで照射できればよいので使用者自身はモニタの前で自由に動くことができる。
以上を鑑みればレーザーポインタを用いる方法が優れていると思われる。同方法の公知技術として、「障害者用パソコン入力装置」の名称で開示されているものがある（特許文献１参照）。これは、モニタを撮影するカメラとモニタに偏光板を設け、これらを９０度ずらして配置することにより、選択的にレーザーポインタの照射点を検出するものである。

また、ハンズフリーを目的としているわけではないが、レーザーポインタの照射点を検出する方法は、これまでプレゼンテーション用として複数提案されている。中でも「ポインタ位置特定プログラムおよびポインタ位置特定方法」の名称で開示されている技術は、カメラとレーザーポインタ以外に特別なハードウェアを必要とせず、照射点付近の色とパターンを用いて照射点を検出する方法である（特許文献２参照）。
具体的には、色については、予め決められた位置にレーザーを照射し、４９１３通りの背景色分の近傍画像を取得し、中心部の高輝度画素を除去後、ＲＧＢ色空間に「背景色」と「ポインタ赤色」なる領域を定義し、これを保存して用いる。パターンについては、照射部ではハレーションが発生し、中心部は赤色が消え、その周囲に円環状の赤色部分が現れることを利用している。その後、スクリーン上の座標とカメラ画像上の座標との対応付けを行うため射影変換が用いられている。
特開2005-063101号公報 特開2005-227815号公報 特開2005-004530号公報

しかしながら、上述の特許文献１の方法は以下のデメリットがある。すなわち、
(1)カメラとモニタに偏光板が必要でコストが上がる。
(2)使用者は偏光板を通してモニタ画面を見るため、通常の場合に比べ暗く見え、同様にカメラ画像は偏光板を通してレーザー光を撮影するため輝度が減少する。
(3)また、偏光板を９０度ずらして配置することにより、カメラ画像にモニタ画面が写りこまないことが特徴であることから、カメラ画像中の照射点座標とモニタ座標との変換が困難になるが、特許文献１ではこの変換方法について記述されていない。

上述の特許文献２の方法は、プレゼンテーションにおけるスクリーン用に開発された技術であり、これをモニタに転用する場合、次の問題を生じる。
(1)モニタを用いる場合、通常使用者がモニタ正面に位置しているためカメラは偏心した位置に配置しなければならない。これにより、一様輝度のモニタ画面を撮影してもカメラ画像における輝度分布は大きく異なる。
(2)また、室内照明や窓から入る日差しによってカメラ画像内に白とび（飽和した状態で、RGB値が255になること）が生じることがよくある。このような環境下では、モニタ画面内にレーザーポインタと同色の領域や白領域があると両者が飽和状態となり、識別はさらに困難になる。
(3)さらに、モニタに対するカメラと使用者の距離がプレゼンテーションの場合に比べて近いため、レーザーの光軸とカメラの光軸とのなす角のバリエーションが増大する。これにより、カメラ画像における照射点は場所ごとに色、パターン、サイズが大きく異なる。例えば、特許文献２における単一の色空間やパターンだけでは対応できない。
さらに、特許文献１、特許文献２をはじめ多くの射影変換を用いるシステムでは、使用する機器に応じた歪み補正等が必要で、設定が煩雑であるという問題点がある。

本発明は、上述のような事情に鑑み為されたものであり、レーザーポインタを頭部に装着したパソコン使用者が、モニタ等の画像表示装置の任意の位置を高精度にポインティングすることができ、かつ、使用者が比較的自由に動け、処理が高速で、設定が簡便で安価なハンズフリーポインティングシステムを提供することを目的としている。

本発明は、モニタを撮影したカメラ画像から背景の色、明るさに関係なくレーザーポインタの照射点を抽出すべく、自動設定される露出値よりも低く、かつ適正な値に露出を設定する露出設定手段が設けられ、かつ該露出設定手段で設定された露出値で白画面を撮影した白画像を閾値画像として用いることが特徴のハンズフリーポインティングシステムに関するものである。

上記目的を達成するための請求項１に係る発明は、本体とモニタとを含むユーザーのパソコンと、前記ユーザーの身体の一部に着脱可能に取り付けられ、前記モニタスクリーン上の任意の点をレーザスポットによってポインティングするレーザーポインタと、前記レーザスポットが照射される前記モニタのスクリーン全体を含む画像を撮影するカメラと、前記カメラで撮影された前記画像を解析して、前記モニタスクリーン上のポインティング位置座標を出力するポインティング位置抽出手段とを含むハンズフリーポインティングシステムにおいて、
前記ポインティング位置抽出手段は、さらに、前記画像の中の前記モニタスクリーンの表示領域を抽出する表示領域抽出手段と、前記抽出された表示領域の４隅の座標を求め、これらを頂点とする四角形領域と前記モニタのスクリーンとの射影変換を行い座標変換テーブルを作成する射影変換手段と、前記モニタスクリーンに表示された白画像を前記カメラの電源投入後に初めて撮影したときの露出値を前記カメラから取得し、該露出値の約１／２〜２／３の露出値になるように前記カメラの露出を設定する第１露出設定手段と、該第１露出設定手段で設定された前記露出値に基づいて撮影された前記モニタスクリーンに表示された前記白画像を含む画像中の前記表示領域部分の最大濃度値を求め、該最大濃度値が所望の濃度値となるように前記露出値を補正するとともに、該補正後の露出値で撮影された画像中の前記表示領域部分を閾値画像として記憶する第２露出設定手段と、から成る初期設定手段と、前記第２露出設定手段で設定された露出値で撮影された前記レーザスポットが照射された前記モニタのスクリーンの画像と、前記閾値画像とを比較することによって前記画像におけるレーザーポインタの照射点の座標を検出する照射点検出手段と、前記検出された照射点の座標を前記座標変換テーブルによって前記モニタスクリーンの座標へ変換する座標変換手段とを有することを特徴とする。

また、本発明の上記目的を達成するための請求項２に係る発明は、前記ポインティング位置抽出手段が、さらに、外部からのトリガ信号の入力によってポインティング位置を確定し、確定されたポインティング位置の座標を前記パソコン本体に出力するポインティング確定手段(44)を有することを特徴とする。あるいは、本発明の上記目的を達成するための請求項３に係る発明は、外部からのトリガ信号の入力によってポインティング位置を確定し、確定されたポインティング位置の座標をアプリケーションプログラムに出力するポインティング確定手段(44)が前記パソコン本体内に設けられていることを特徴とする。

さらに、本発明の上記目的を達成するための請求項４に係る発明は、前記ハンズフリーポインティングシステムにおいて、前記表示領域抽出手段が、前記表示領域を２Ｎ×２Ｎ（Ｎは自然数）に分割して抽出する領域分割手段を備えていることを特徴とする。

またさらに、本発明の上記目的を達成するための請求項５に係る発明は、前記ハンズフリーポインティングシステムにおいて、前記照射点検出手段は、前記レーザスポットが照射された前記モニタのスクリーンの画像の所定の領域内に含まれる高濃度ピクセルの数が最大になる領域を照射点として検出するものであり、かつ、前記高濃度ピクセルは前記閾値画像の濃度値の所定倍よりも高い濃度値を持つピクセルであると定義されることを特徴とする。例えば、前記所定倍は1.2倍〜1.4倍である。

本発明の請求項１に記載のハンズフリーポインティングシステムは、露出設定手段でカメラの露出値を通常より低くなるように調整することが特徴であり、設定すべき露出値の目安は、初期設定段階では、画面上の白（R＝255，G＝255，B＝255）が飽和しない、すなわち、モニタを撮影したカメラ画像の最大濃度値（RGB値）が200〜255程度になるような値とし、動作中は画面上の白の濃度値が最大で100〜200程度とするので、レーザーポインタの光と画面上の白との区別が（使用環境に依らず）容易になる。これにより、特別なハードウェアが不要となり、パソコン一式にカメラとレーザーポインタのみの非常に簡便安価な構成で済むという効果がある。
また、一様輝度のモニタ画面を撮影してもカメラ画像における輝度分布は大きく変化することに対しては、上記第２露出設定手段で設定した露出値で画面全体を白とした画像を取得し、これを閾値画像に用いることで、それぞれの場所に応じた閾値を設定できる。白画像を閾値画像にすることは、画面上の任意の色に対して対応できることを意味し、レーザーポインタと同色の領域の有無は考慮しなくてよくなるというメリットもある。
また、本発明の（請求項４に記載の）ハンズフリーポインティングシステムは、画面を分割してそれぞれに対して射影変換を行うので、レンズ系の歪みの影響を軽減できる。すなわち、使用する機器（カメラ）の歪み補正が不要となり、使用者はただモニタ全体が写るようにカメラを設置するだけでよくなる。

以下に添付図面を参照して、本発明の実施の形態について説明する。
図１は、本発明に係るハンズフリーポインティングシステムの全体構成を示すブロック図を示すものであり、モニタ１と本体５からなるパソコンと、メガネ等の装着部材によってユーザーの身体に固定されたレーザーポインタ２と、モニタ１に対して正対するユーザーの左右あるいは上下に（モニタの中心に対して偏心した位置に）配置されたビデオカメラ（画像をデジタル処理するため、デジタルビデオカメラが好ましい。なお、いわゆるＷｅｂカメラやＵＳＢカメラと称されるビデオカメラも含むものとする。）３と、カメラ３で撮影されたモニタ画像を取り込んで解析し、モニタ１のスクリーン上のポインティング位置（照射点Ｐ）座標を出力するポインティング位置抽出手段４とを備えている。図１の下方にカメラ３で撮影されたカメラ画像ＣＩの例を示しているが、ユーザーの左側から撮影しているため、モニタ画像(表示領域ＤＲ)が台形状に歪んでいる。
また、ポインティング位置抽出手段４は、カメラの露出を設定したり、カメラ画像の中のモニタの表示領域を抽出したり等のシステムの初期設定を行う初期設定手段４１と、後述の第２露出設定手段４１４で設定された露出値で撮影されたレーザスポットが照射されたモニタのスクリーンの画像と、後述の閾値画像ＴＩとを比較することによってモニタ画像におけるレーザーポインタの照射点Ｐの座標を検出する照射点検出手段４２と、検出された照射点Ｐの座標を後述の座標変換テーブルＣＴによってモニタスクリーンの座標へ変換する座標変換手段４３と、外部からのトリガ信号の入力によってポインティング位置を確定し、確定されたポインティング位置の座標をパソコン本体５に出力するポインティング確定手段４４とを有する。なお、このポインティング確定手段４４は、パソコン本体に設けてもよい。
さらに、初期設定手段４１は、カメラ画像ＣＩの中のモニタスクリーンの表示領域ＤＲを抽出する表示領域抽出手段４１１と、抽出された表示領域ＤＲの４隅の座標を求め、これらを頂点とする四角形領域とモニタのスクリーンとの射影変換を行い座標変換テーブルＣＴを作成する射影変換手段４１２と、モニタスクリーンに表示された白画像をカメラの電源投入後に初めて撮影したときの露出値をカメラから取得し、その露出値の約１／２〜２／３の露出値になるようにカメラの露出を自動設定する第１露出設定手段４１３と、第１露出設定手段４１３で設定された露出値に基づいて撮影されたモニタ画像中の表示領域（白画像）の最大濃度値と予め決めておいた所望の最大濃度値との比率を算出し、第１露出設定手段４１３で設定された露出値にその比率を乗じて得られた露出値に設定変更するとともに、設定変更後の露出値で撮影されたモニタ画像中の表示領域部分を閾値画像ＴＩとして記憶する第２露出設定手段４１４とを含んでいる。なお、これは、最大濃度値と露出値が直線関係にあるカメラの場合であるが、そうでない場合は、予めカメラの特性（濃度値と露出値との関係）を調べておき、そのカメラごとに露出補正設定プログラムを変えるようにしてもよい。

次に、本発明に係るハンズフリーポインティングシステムの動作について、図２のフローチャートを参照しつつ説明する。
まず、システムの初期設定を行う。この設定は毎回のシステム起動時にのみ行えばよく、パソコンのアプリケーションを切替えても新たに設定し直す必要はない。
まずカメラ３の露出の設定を「自動（オート）」にする（ステップＳ１）。次に、パソコンのモニタ１の画面全体が写るような位置にカメラ３を設置する（ステップＳ２）。カメラ３でモニタ画像を取得し、モニタの表示領域ＤＲを抽出する（ステップＳ３）。表示領域ＤＲの抽出動作の第１実施形態のフローチャートを図３に示す。
まず、モニタスクリーンに白画面を表示し（ステップＳ２１）、カメラ３で撮影して白画面のカメラ画像ＣＩＷを取得し、（図示しない）記憶手段に記憶させる（ステップＳ２２）。次に、黒画面を表示し（ステップＳ２３）、同様にカメラ３で撮影して黒画面のカメラ画像ＣＩＢを取得し、（図示しない）記憶手段に記憶させる（ステップＳ２４）。次に、ＣＩＷとＣＩＢの濃度値を比較し、変化の大きい部分をモニタの表示領域ＤＲと判定する（ステップＳ２５）。なぜならば、モニタスクリーン以外の部分は濃度値が変化しないからである。次に、表示領域ＤＲのコーナー（四隅）の座標を求める（ステップＳ２６）。

次に、求めた表示領域ＤＲの４隅の座標を頂点とする四角形領域とモニタのスクリーンとの射影変換を行い、座標変換テーブルＣＴを作成する（ステップＳ４）。具体的には、ステップＳ３で求めた表示領域ＤＲの四隅の座標と、モニタスクリーンの四隅の座標とを関係付け、その間にある座標は計算によって求める。

次に、再び白画面を表示させる（ステップＳ５）これは後述の露出設定のために行うものである。まず、白画面の最初の露出値（ステップＳ１で設定した露出モードによる露出値）を取得し、その約半分〜２／３程度の露出値に設定する（ステップＳ６）。これを第１露出設定という。
この第１露出設定を行う理由は次の通りである。すなわち、後述の第２露出を行って画像中（モニタの表示領域）の最大濃度値を所望の値にするためには、露出変更前の最大濃度値を知る必要があるが、市販されているカメラの自動露出モードでの露出はステップが粗く、白い部分の濃度値は２５５で飽和している、いわゆる白とび状態になっている可能性があるので、最大濃度値を正確に知ることができない。そこで、自動露出モードによる露出値の約半分〜２／３になるように露出を減らして確実に白とびを防止し、減らした露出で取得した画像から最大濃度値を求める（ステップＳ７）。この最大濃度値を仮に２００とし、所望の最大濃度値を１８０とすれば、第１露出設定で設定した露出値を１８０／２００＝０．９倍して第２露出の設定を行う（ステップＳ８）。上記第１露出設定を自動設定露出の約半分〜２／３としたのは、要するに白とびを確実に防止することが目的であるので、この縮小率は正確なものではなく、結果として最大濃度値が１００〜２００の間にあればいい。なお、第１露出設定と第２露出設定の２段階にせずに第１露出設定の段階で最大濃度値が１５０〜２００に入るように設定できれば第２露出設定は不要となる。すなわち、専用のカメラであって、予め露出値と白画像の最大濃度値との関係が分かっている場合（対応関係がテーブル化されているか、関係曲線が分かっている場合等）は、所望の最大濃度値から設定すべき露出値が直接分かるので、２段階の露出値設定は不要となる。
次に、初期設定の最後のステップとして、第２露出設定後の露出で白画面の画像を撮影し、閾値画像ＴＩとして記憶する（ステップＳ９）。

以上のように、露出設定を行って、デフォルトの自動露出（最適露出）よりも落とした露出でモニタ画像を取得する理由は、以下の通りである。
白を表示したモニタに照射したレーザー光をヒトは認識することができる。画面の白とレーザー光はある程度の輝度差があるからである。しかし、これを自動露出のカメラで撮影すると両者の濃度値は２５５付近で区別できない（図６(a)参照）。この現象はレーザーポインタと同色の背景を用いた場合にも生じる。これはカメラの明るさに対する動作範囲が狭く、露出を自動設定すると画面の白部分が飽和値に近い値、特に輝度値が大きい部分は飽和し濃度値が２５５になっているため（図６(a)のＡの部分）、画面全体の面積に対して極めて小さい面積のレーザー光を照射しても露出値は変化せず、レーザー光部分も２５５となり区別できないのである。そこで、強制的に露出値を下げ感度を落として白画面の最大濃度値が使用環境下で１５０〜２００程度とすることによって、図６(b)に示すように画面上の白とそれより輝度値が高いレーザー光との区別が使用環境に依らず容易になるのである。なお、図６の左側（ａ）は本発明を適用しない場合のカメラ画像、右側（ｂ）は本発明を適用した場合のカメラ画像の例である。また上側の図の台形状の図形はモニタ画像であり、下側の図の縦軸目盛は画像の濃度値を表している。

次に、ユーザーがレーザーポインタを実際に使用する各アプリケーションを立ち上げる（ステップＳ１０）。
ユーザーは、視線とレーザーポインタ２の指し示す方向がほぼ等しくなるように設定されたメガネを装着し、モニタ１上の所望の位置を向き、画面上にレーザー光を照射する（ステップＳ１１）。ここではレーザーポインタ２を頭部に装着するための装着部材としてメガネを用いたが、その他に帽子やヘッドバンド等にレーザーポインタを装着してもよい。レーザーポインタ２は、重量数十グラムのレーザーモジュールを用い、これと分離した電源を頭部以外に配置することで使用者の装着感が軽減できる。
ポインティング位置抽出手段４に接続されたカメラ３より、ポインタを含むカメラ画像が照射点検出手段４２に入力される（ステップＳ１２）。
照射点検出手段４２は、カメラ画像ＣＩに対して閾値画像ＴＩを用いて２値化処理を行い明るい領域を抽出し、その面積、円形度から照射領域を特定する。照射領域の重心をカメラ画像の照射点座標Ｐｃとする（ステップＳ１３）。
たとえば、カメラ画像の中の５×５ピクセル、あるいは７×７ピクセルの領域内に含まれる高濃度ピクセルの数が最大数になる点を照射点Ｐｃとする。この領域の大きさはレーザーポインタの照射面積によって適宜決定される。高濃度ピクセルは、各ピクセルについて閾値画像ＣＩの濃度値の1.2倍〜1.4倍よりも高い濃度値を持つピクセルと定義する。これは、同じシーンを撮影していても濃度値は常にちらついているので、この倍率補正を行わないと一見何も変化していない領域がちらつきにより高濃度ピクセルと判定されてしまうからである。逆にこの倍率があまり高すぎると（補正し過ぎると）、モニタの地画面よりも僅かに高い高濃度の照射点が検出できなくなるので、上記のような範囲が好ましい。もちろん、このほかに公知の抽出技術を用いてもよい。

次に、座標変換手段４３は、射影変換手段４１２で作成した座標変換テーブルＣＴを用いて、照射点検出手段４２で求めたカメラ画像の照射点座標Ｐｃをモニタ上の照射点座標Ｐｍへ変換する（ステップＳ１４）。このようにして、ビデオのフレーム毎にモニタ上の照射点座標Ｐｍを取得するが、照射点検出手段４２および座標変換手段４３における計算量は少なく、処理は高速である。

座標変換手段４３は、外部からのトリガ入力によってポインティング位置が確定されると、照射点座標Ｐｍをパソコン本体の各種アプリケーションへ送る（ステップＳ１５）。
外部トリガはユーザーによって発信されるものであるが、具体的には、例えば、瞬き検出、音声認識、フットキーの押下あるいはキーボードの使用頻度の低いキーを割り当て、これを押下する等の方法によって生成された信号である。
瞬き検出について、例えば特許文献３で公知の技術を用いることが可能である。複数回の速い瞬き、左右交互の瞬き、片目のみの瞬き等の動作が設定可能である。音声認識について、最近の音声認識技術は実用段階にあるものの、文章を認識するまでには至っていない。本システムにおいては、「右クリック」、「左クリック」等の単純な単語を認識させることや、言葉が不自由な使用者の場合は、「アー、アー」、「オー、オー」等のごく限られた種類の発音や舌打ち等を認識してもよい。以上２つの方法は健常者と体が不自由な人が使用可能な方法である。

特に、体が不自由な人が使用する場合は、図７に示すような文字選択画面や用件選択画面を用意する。図７(a)中の照射点は“う”の領域上にあり、アプリケーションはこれを認識し、同領域の色を変えるなどしてアクティブ状態にあることを表現する。ユーザーはこれを確認し選択の意思表示であるトリガ信号を発する。同様の入力操作を行い、所望のメッセージが完成すれば、“ＯＫ”の領域をポインティングし意思表示する。図７(b)も同様である。これを看護者が確認、音声合成による読み上げ、あるいはネットワーク越しに離れた場所へ転送するなどの処理を行うことでコミュニケーションツールとしての利用が期待できる。
フットキーやキーボードの押下による方法は、特に健常者が入力操作の効率を上げるべく使用するのに好適で、キーボードから手を離すことなく各種メニュー、ツールバーの選択が可能になる。これらの方法は瞬き検出や音声認識にかかる処理が不要であり、また、選択意思検出が確実に行える。

図４は上記ステップＳ３における表示領域の抽出動作の第２実施形態のフローチャートの例を示すものである。
第２実施形態では、第１実施形態の射影変換手段４１２を領域分割射影変換手段（＝射影変換手段４１２＋領域分割手段）４１２’に置き換える。第１実施形態では予めレンズ系の歪み補正を行う必要があった。レンズ系の歪み補正を行わない場合、対象とするモニタ画面全体に対して射影変換すると歪みの影響でカメラ画像の各辺が曲線となり誤差を生じる。領域分割射影変換手段４１２’は、画面を２２×２２、２３×２３等に分割し、それぞれの領域をラベリングし、コーナー座標を求め、射影変換を行う。
画面を２２×２２に分割した場合を図４に基づいて詳述する。この場合、１６（＝２４）の領域に分割することになる。
まず、モニタスクリーンに白画面を表示し（ステップＳ３１）、カメラ３で撮影して白画面のカメラ画像ＣＩＷを取得し、（図示しない）記憶手段に記憶させる（ステップＳ３２）。次に、黒画面を表示し（ステップＳ３３）、同様にカメラ３で撮影して黒画面のカメラ画像ＣＩＢを取得し、（図示しない）記憶手段に記憶させる（ステップＳ３４）。
次に、図５(a)〜(d)に示す４つのパターンを順次モニタに表示し（ステップＳ３５）、取得したカメラ画像の表示領域ＤＲ部分について白黒判定を行う（ステップＳ３６）。白黒判定の閾値は、例えば、白画面を撮影したときの画像ＣＩＷと黒画面を撮影したときの画像ＣＩＢの平均値とする。表示領域ＤＲ内の各画素について、黒と判定された場合を０、白と判定された場合を１とすると、図５(f)に示すように、領域０に属する画素は[0000]、領域１に属する画素は[0001]，．．．と表現できる。この領域番号をメモリに保存する（ステップＳ３８）。なお、領域の境界付近で点状のノイズが生じるので、これを抑えるためにモード（最頻値）フィルタをかけ補正値を得るようにしてもよい（ステップＳ３９）。この補正した領域から、各領域のコーナー座標を求める（ステップＳ４０）。

このようにして４つのパターンについての白黒判定により表示領域中のすべての画素の白黒の時間変化を用いれば、カメラ画像の各領域にラベリングできる（図５(e)(f)）。分割された各領域は各辺がほぼ直線の四角形とみなすことができ、レンズ系の歪みによる影響を軽減できる。その後、ラベリングされたデータを用いて、各領域のコーナー座標を求め、射影変換を行えばレンズ歪による誤差は減少する。すなわち、領域分割射影変換手段４１２’を設けることにより、カメラ毎に予め行う歪み補正が不要となり、使用者はただモニタ全体が写るように未校正のカメラを設置するだけで使用できる。
なお、本実施形態では図５に示す４つのパターンを順次モニタに表示したが、必ずしもこの方法を用いる必要はなく、１枚のチェッカー画像を用いて各領域のコーナー座標を求め、ラベリングを行ってもよい。

なお、図１ではポインティング位置抽出手段４がカメラ３とパソコン本体５との間に設けられているように描かれているが、これはポインティング位置抽出手段４を独立したユニットとして構成する場合のみならず、ポインティング位置抽出手段４をパソコンの本体５に設ける場合、もしくは、カメラ３の中に内蔵させる場合をも包含するものである。
また、本発明を実施する上で、モニタは外部光の反射の少ない液晶モニタが好ましいが、これに限定されるものではなく、プラズマ方式、有機ＥＬ方式、ＣＲＴなども利用可能である。

本発明に係るハンズフリーポインティングシステムの全体構成を示すブロック図を示すものである。 本発明に係るハンズフリーポインティングシステムの動作のフローチャート例を示すものである。 表示領域の抽出動作の第１実施形態のフローチャートの例を示すものである。 表示領域の抽出動作の第２実施形態(領域分割)のフローチャートの例を示すものである。 領域分割手段を説明するための図である。 モニタのカメラ画像の実施例を示すものである。 体が不自由な人が使用する場合を想定した文字選択画面と用件選択画面の例である。

符号の説明

１ モニタ
２ レーザーポインタ
３ カメラ（ビデオカメラ）
４ ポインティング位置抽出手段
５ パソコン本体
４１ 初期設定手段
４２ 照射点検出手段
４３ 座標変換手段
４４ ポインティング確定手段
４１１ 表示領域抽出手段
４１２ 射影変換手段
４１３ 第１露出設定手段
４１４ 第２露出設定手段

Claims (9)

1. 本体(5)とモニタ(1)とを含むユーザーのパソコンと、
   前記ユーザーの身体の一部に着脱可能に取り付けられ、前記モニタスクリーン上の任意の点をレーザスポットによってポインティングするレーザーポインタ(2)と、
   前記レーザスポットが照射される前記モニタのスクリーン全体を含む画像を撮影するカメラ(3)と、
   前記カメラで撮影された前記画像を解析して、前記モニタスクリーン上のポインティング位置座標を出力するポインティング位置抽出手段(4)と、
   を含むハンズフリーポインティングシステムであって、
   前記ポインティング位置抽出手段は、さらに、
   前記画像の中の前記モニタスクリーンの表示領域（ＤＲ）を抽出する表示領域抽出手段(411)と、前記抽出された表示領域の４隅の座標を求め、これらを頂点とする四角形領域と前記モニタのスクリーンとの射影変換を行い座標変換テーブルを作成する射影変換手段(412)と、
   前記モニタスクリーンに表示された白画像を前記カメラの電源投入後に初めて撮影したときの露出値を前記カメラから取得し、該露出値の約１／２〜２／３の露出値になるように前記カメラの露出を設定する第１露出設定手段(413)と、該第１露出設定手段で設定された前記露出値に基づいて撮影された前記モニタスクリーンに表示された前記白画像を含む画像中の前記表示領域部分の最大濃度値を求め、該最大濃度値が所望の濃度値となるように前記露出値を補正するとともに、該補正後の露出値で撮影された画像中の前記表示領域部分を閾値画像(ＴＩ)として記憶する第２露出設定手段(414)と、から成る初期設定手段(41)と、
   前記第２露出設定手段で設定された露出値で撮影された前記レーザスポットが照射された前記モニタのスクリーンの画像と、前記閾値画像とを比較することによって前記画像におけるレーザーポインタの照射点の座標を検出する照射点検出手段(42)と、
   前記検出された照射点の座標を前記座標変換テーブルによって前記モニタスクリーンの座標へ変換する座標変換手段(43)と、
   を有することを特徴とするハンズフリーポインティングシステム。
   
2. 前記ポインティング位置抽出手段は、さらに、外部からのトリガ信号の入力によってポインティング位置を確定し、確定されたポインティング位置の座標を前記パソコン本体に出力するポインティング確定手段(44)を有することを特徴とする請求項１に記載のハンズフリーポインティングシステム。
3. 外部からのトリガ信号の入力によってポインティング位置を確定し、確定されたポインティング位置の座標をアプリケーションプログラムに出力するポインティング確定手段(44)が前記パソコン本体内に設けられていることを特徴とする請求項１に記載のハンズフリーポインティングシステム。
4. 前記表示領域抽出手段が、前記表示領域を２^Ｎ×２^Ｎ（Ｎは自然数）に分割して抽出する領域分割手段を備えていることを特徴とする請求項１乃至３のいずれかに記載のハンズフリーポインティングシステム。
5. 前記照射点検出手段は、前記レーザスポットが照射された前記モニタのスクリーンの画像の所定の領域内に含まれる高濃度ピクセルの数が最大になる領域を照射点として検出するものであり、かつ、前記高濃度ピクセルは前記閾値画像の濃度値の所定倍よりも高い濃度値を持つピクセルであると定義される請求項１乃至４のいずれかに記載のハンズフリーポインティングシステム。
6. 前記所定倍は1.2倍〜1.4倍である請求項５に記載のハンズフリーポインティングシステム。
7. 前記ポインティング位置抽出手段が前記パソコンの本体に設けられていることを特徴とする請求項１乃至６のいずれかに記載のハンズフリーポインティングシステム。
8. 前記ポインティング位置抽出手段が前記カメラに設けられていることを特徴とする請求項１乃至６のいずれかに記載のハンズフリーポインティングシステム。
9. 前記ポインティング位置抽出手段が前記カメラと前記パソコン本体との間に独立したユニットとして設けられていることを特徴とする請求項１乃至６のいずれかに記載のハンズフリーポインティングシステム。