JP6075624B2 - 位置情報取得装置及び画像表示システム - Google Patents

Description

本発明は、位置情報取得装置及び画像表示システムに係り、更に詳しくは、画像表示面に表示された画像の、光ポインタを用いて指示された指示位置の位置情報を取得可能な位置情報取得装置、該位置情報取得装置を備える画像表示システムに関する。

従来、画像表示面に表示された画像に向けられた光ポインタによって該画像に形成された光スポットの位置情報を検出し、検出された位置情報を、光ポインタを用いて指示された所望の位置の位置情報として取得する技術が開示されている（例えば、特許文献１参照）。

しかしながら、特許文献１に開示されている技術では、上記所望の位置の位置情報を安定して精度良く取得することは、困難であった。

本発明は、画像表示面に表示された画像の、光ポインタを用いて指示されている指示位置の位置情報を取得可能な位置情報取得装置であって、前記光ポインタが向けられ、光スポットが形成された前記画像を時系列で撮像する撮像手段と、前記光スポットが形成された前記画像が時系列で撮像されて得られた複数の画像情報に基づいて、前記指示位置の位置情報を推定し、推定された位置情報を取得可能な位置情報取得手段と、を備え、前記位置情報取得手段は、前記指示位置の位置情報を取得する場合、前記複数の画像情報から前記光スポットの時系列の位置情報を検出し、検出された複数の位置情報を移動平均して得られた位置情報を前記指示位置の位置情報と推定することを特徴とする位置情報取得装置である。

本発明によれば、光ポインタを用いて指示された所望の位置の位置情報を安定して精度良く取得することができる。

一実施形態の画像表示システムの構成を概略的に示す図である。 画像表示システムが備える位置情報取得装置を説明するための図である。 位置情報取得処理を説明するためのフローチャートである。 表示画像に対して設定される判定領域を説明するための図である。 光スポットの時系列の位置情報、及び該位置情報を移動平均して得られた位置情報を示すグラフである。 変形例１における、表示画像に対して設定される２つの判定領域を説明するための図である。 変形例１における、光スポットの位置情報と、該位置情報に応じた移動平均の回数との関係を示すグラフである。 変形例２における位置情報取得処理を説明するためのフローチャートである。

以下、一実施形態を図１〜図５に基づいて説明する。図１には、一実施形態に係る画像表示システム１００が示されている。

画像表示システム１００は、例えば会議におけるプレゼンテーションに用いられる。

画像表示システム１００は、一例として、図１に示されるように、画像表示手段としてのプロジェクタ１０、位置情報取得装置１２、処理装置としてのＰＣ１４（パーソナルコンピュータ）などを備えている。

プロジェクタ１０は、例えばＰＣ１４からの画像情報に応じて変調された光をスクリーンＳの表面（以下では、スクリーン面とも称する）に投射することで、該スクリーン面に画像を投影（表示）する。

位置情報取得装置１２は、以下に詳しく説明するように、スクリーン面に表示された画像（以下では、表示画像とも称する）の、レーザポインタＬＰ（光ポインタ）を用いて指示された指示位置の位置情報を取得可能である。ここでは、レーザポインタＬＰの光源として、半導体レーザが用いられているが、他のレーザであっても良い。

位置情報取得装置１２は、一例として、プロジェクタ１０に一体的に設けられ、撮像手段としてのカメラ１６、及び位置情報取得手段１８を含む。ここでは、位置情報取得装置１２は、プロジェクタ１０に対して外付けされているが、カメラ１６及び位置情報取得手段１８の少なくとも一方は、プロジェクタ１０に内蔵されても良い。

カメラ１６は、レーザポインタＬＰが向けられ、光スポットが形成された表示画像を時系列で撮像し、時系列で撮像されて得られた複数の画像情報を後述する画像情報取得部１８ａに送信する。

位置情報取得手段１８は、一例として、画像情報取得部１８ａ、光スポット位置検出部１８ｂ、画像解析部１８ｃ、制御部１８ｄ、及び操作信号生成部１８ｅを有する。

画像情報取得部１８ａは、カメラ１６からの複数の画像情報を取得し、該複数の画像情報を光スポット位置検出部１８ｂ及び画像解析部１８ｃに送る。

光スポット位置検出部１８ｂは、画像情報取得部１８ａからの複数の画像情報に基づいて光スポットの時系列の位置情報（座標）を検出し、該位置情報を画像解析部１８ｃ及び制御部１８ｄに送る。光スポット位置検出部１８ｂでは、上記複数の画像情報に対して例えばノイズフィルタ処理、２値化処理、重心検出処理などを施すにより、光スポットの時系列の位置情報を検出する。

画像解析部１８ｃは、画像情報取得部１８ａからの複数の画像情報に対して、例えばエッジ量の抽出等の解析を行う。そして、光スポット位置検出部１８ｂからの光スポットの位置情報に基づいて、表示画像の例えば光スポット周辺部のエッジ量等の特徴量を制御部１８ｄに送る。

制御部１８ｄは、後述する位置情報取得処理を統括的に制御する。また、制御部１８ｄは、位置情報取得処理で取得された表示画像の指示位置のカメラ１６座標系における位置情報（座標データ）を、ＰＣ１４の画像上の座標に変換し、操作信号生成部１８ｅに送る。

操作信号生成部１８ｅは、ＰＣ１４で認識できる操作信号、例えばＵＳＢマウスと同等の操作信号を生成し、ＰＣ１４に送信する。

ＰＣ１４は、操作信号生成部１８ｅからの操作信号によって、該操作信号に対応する操作（処理）を実行する。

以下に、会議におけるプレゼンテーションに用いられる画像表示システムの動作の一例を説明する。プロジェクタ１０及び位置情報取得装置１２は、スクリーンＳのほぼ正面に向けて配置されている。

先ず、プロジェクタ１０によって所定のプレゼンテーション用の画像（静止画）がスクリーン面に投影（表示）される。ここでは、上記プレゼンテーション用の画像の画像情報がＰＣ１４からプロジェクタ１０に送信され、該画像情報に応じて変調された光がプロジェクタ１０からスクリーン面に投射されている。

プレゼンテーションを行う者（以下では、ユーザと称する）は、表示画像の所望の位置を、レーザポインタＬＰを用いて指示しながら、他の会議参加者に対してプレゼンテーションを行なう。

ユーザが手に持ったレーザポインタＬＰを表示画像に向けると、レーザポインタから射出されたレーザ光による光スポットが表示画像上に形成される。この光スポットは、ユーザのレーザポインタＬＰを持つ手の動きに応じて、表示画像上を移動する。

そこで、カメラ１６によって、表示画像上に光スポットが形成された画像（以下では、撮像対象画像とも称する）が時系列で撮像される。

そして、撮像対象画像が時系列で撮像されて得られた複数の画像情報に基づいて、光スポットの時系列の位置情報が検出される。具体的には、光スポット位置検出部１８ｂで、各画像情報に対して重心検出処理等の画像処理が行われ、検出された光スポットの重心位置が該画像情報における光スポットの位置情報として検出され、画像解析部１８ｃ及び制御部１８ｄに送信される。

そこで、画像解析部１８ｃは、各画像情報における光スポット周辺部のエッジ量（特徴量）を抽出する。

ここで、レーザポインタＬＰを用いて指示された指示位置の位置情報を必要に応じて取得する位置情報取得処理について、図３を適宜参照して説明する。この位置情報取得処理は、位置情報取得手段１８によって実行される。図３のフローチャートは、制御部１８ｄの処理アルゴリズムに基づいている。

ところで、ユーザは、表示画像上における各種操作（処理）を目的として、レーザポインタＬＰを用いて表示画像上の所望の位置（座標）を含む領域、すなわちアイコンや文字が描画されている領域を指示する。一般に、アイコンや文字は背景と識別できるように背景とは異なる色で描画され、アイコンや文字のエッジ画像を抽出すると背景よりもエッジ量が多い。このため、表示画像の光スポット周辺部のエッジ量が所定値以上である場合は、光スポットは、アイコンや文字の近くに位置していると考えられる。

そこで、最初のステップＳ１では、画像解析部１８ｃで抽出された、各画像情報における光スポット周辺部のエッジ量（特徴量）が所定値以上であるか否かが判断される。ここでの判断が否定されると、フローは、終了する。具体的には、エッジ量が所定値未満の例えば背景上に光スポットが位置しているときに、ステップＳ１での判断が否定される。なお、ここでは、光スポット周辺部の特徴量は、エッジ量とされているが、例えば、光スポット周辺部の色、形状等とされても良い。

一方、ステップＳ１での判断が肯定されると、次のステップＳ２に移行する。具体的には、光スポットが表示画像における例えばアイコン、文字等のエッジ量が所定値以上の位置に位置しているときに、ステップＳ１での判断が肯定される。

ところで、ユーザが表示画像上の所望の位置（座標）を、レーザポインタＬＰを用いて指示する際、光スポットが所望の位置に近づくと該光スポットの移動速度が落ち、所望の位置が位置する領域内に所定時間以上位置することになる。このため、表示画像の光スポット周辺部のエッジ量が所定値以上であり、光スポットが所望の位置が位置する領域内に所定時間以上位置する場合は、ユーザが表示画像における各種操作のためにアイコンや文字の近くを指示しようとしていると考えられる。

そこで、ステップＳ２では、光スポットを中心とする判定領域（図４参照）が設定される。判定領域は、図４に破線で示される、例えばアイコンを囲む矩形状の領域とされる。なお、判定領域は、矩形以外であっても良いし、表示画像上に表示されなくても良い。

次のステップＳ３では、光スポットが判定領域内に所定時間以上位置しているか否かが判断される。ここでの判断が否定されると、フローは、終了する。具体的には、表示画像に向けられたレーザポインタを持つユーザの手が大きく動いているときに、ステップＳ３での判断が否定される。なお、ステップＳ３での計時は、例えば制御部１８ｄに内蔵されたタイマを用いて行われる。

一方、ステップＳ３での判断が肯定されると、次のステップＳ４に移行する。具体的には、表示画像に向けられたレーザポインタを持つユーザの手が概ね静止しているときに、ステップＳ３での判断が肯定される。この場合、ユーザが表示画像上の所望の位置を指示していると考えられる。

ところで、指示位置の位置情報を取得する際、手振れの影響で、レーザポインタＬＰによる光スポットを表示画面上の所望の位置（座標）に精確に留めることが困難であるため、手振れの影響を低減することが望まれる。手振れによって、光スポットは、ほぼ一定周期で位置変動するため、その周期以上の移動平均にて平滑化するのが有効である。

そこで、ステップＳ４では、移動平均モードに設定される。すなわち、光スポットが判定領域内に位置しているときの撮像対象画像が時系列で撮像されて得られた複数の画像情報から、光スポットの判定領域内における時系列の位置情報が検出され、該位置情報が移動平均されて得られた位置情報が指示位置の位置情報と推定され、推定された位置情報が取得される。なお、移動平均としては、例えば単純移動平均、加重移動平均など如何なる移動平均であっても良い。

図５には、移動平均（例えば単純移動平均）によって、光スポットの時系列の位置情報が安定化される一例が示されている。図５において、横軸は時間を示し、縦軸は撮像対象画像のＹ座標を示している。図５では、光スポットの時系列のＹ座標（Ｙ軸方向の位置情報）が、実線で示されており、手振れにより大きく変動していることが分かる。一方、図５では、光スポットの時系列のＹ座標が、手振れによる周期よりも大きい周期で移動平均されて得られたＹ座標が破線で示されている。手振れの周期よりも大きい周期で移動平均されることで、手振れの影響が大きく低減されていることが分かる。なお、ここでは、光スポットのＹ軸方向の位置情報について説明したが、光スポットのＸ軸方向の位置情報についても同様であるため、説明を省略する。

次のステップＳ５では、光スポットが判定領域内に位置しているか否かが判断される。ここでの判断が肯定されると、同じ判断が繰り返される。一方、ステップＳ５での判断が否定されると、次のステップＳ６に移行する。具体的には、光スポットが判定領域外に位置したときに、ステップＳ５での判断が否定される。

ステップＳ６では、移動平均モードが解除され、フローは終了する。すなわち、表示画像上のレーザポインタＬＰが向けられた位置（指示位置）の位置情報の推定、取得が行われなくなる。

以上の説明から分かるように、ユーザがレーザポインタを表示画像上の所望の位置である例えばアイコンに向けているときに、光スポットの時系列の位置情報が移動平均されて得られた位置情報が光スポットの位置情報と推定されるため、例えば手振れによって光スポットの位置が変動し、アイコン上から僅かに外れても、アイコンの位置を所望の位置の位置情報として取得することができる。すなわち、所望の位置の位置情報を安定して精度良く取得することができる。

このように、ユーザが表示画像上における各種操作のためにレーザポインタＬＰを用いて表示画像上のアイコンや文字を指示しようとしているときに、光スポットの時系列の位置情報が移動平均されて得られた位置情報が指示位置の位置情報と推定され、取得されるため、手振れによる影響を低減しつつ指示位置の微調整が可能となり、レーザポインタＬＰの操作性を向上させることができる。

一方、ユーザがレーザポインタの向きを表示画像上の所望の位置であるアイコンから逸らし、光スポットが判定領域外に位置したときには、所望の位置が指示されていないので、指示位置の位置情報を取得する必要がなく、該位置情報は、推定されず、取得されない。

以上のようにして位置情報取得処理が終了すると、操作信号生成部１８ｅによって、取得された指定位置（例えばアイコン）の位置情報、光スポットの検出の有無等に対応する操作信号がＰＣ１４に送信されることで、レーザポインタＬＰを用いた、表示画像上における例えばカーソルの移動、左クリック、右クリックなどの各種操作を行うことが可能となる。

以上説明した本実施形態の位置情報取得装置１２は、スクリーン面に表示された画像（表示画像）の、レーザポインタＬＰを用いて指示された指示位置の位置情報を取得可能な位置情報取得装置であって、レーザポインタＬＰが向けられ、光スポットが形成された表示画像を時系列で撮像するカメラ１６と、光スポットが形成された表示画像が時系列で撮像されて得られた複数の画像情報に基づいて、前記所望の位置の位置情報を推定し、推定された位置情報を取得可能な位置情報取得手段１８と、を備えている。

この場合、表示画像の所望の位置（例えばアイコン）がレーザポインタＬＰを用いて指示されている場合に、指示位置の位置情報が推定され、取得される。一方、表示画像の例えば背景等に単にレーザポインタＬＰが向けられている場合、すなわち表示画像の所望の位置がレーザポインタＬＰを用いて指示されていない場合には、指示位置の位置情報は、推定されず、取得されない。

結果として、位置情報取得装置１２では、レーザポインタで指示された所望の位置の位置情報を安定して精度良く取得することができる。

また、位置情報取得手段１８は、表示画像の、レーザポインタＬＰを用いて指示されている所望の位置の位置情報を取得する場合、前記複数の画像情報から光スポットの時系列の位置情報を検出し、検出された複数の位置情報を移動平均して得られた位置情報を前記指示位置の位置情報と推定する。

この場合、例えば手振れによる光スポットの位置変動があっても、前記所望の位置の位置情報を迅速に精度良く取得できる。また、レーザポインタＬＰを用いて指示されている指示位置を微調整でき、レーザポインタＬＰの操作性を向上させることができる。この結果、例えば、光スポットを近接した２つのアイコン間上で移動させた場合であっても、所望の位置（所望のアイコン）の位置情報を迅速に精度良く取得することができる。

一方、特許文献１には、光ポインタを用いて所望の位置を指示しているときの手振れによる光スポットの位置変動（座標の変化）の影響を低減するために、光スポットの移動量が一定値以下の場合に該光スポットの位置変動を無効にする技術が開示されている。しかしながら、特許文献１では、指示位置を微調整したい場合にも座標の変化が無効となるため、光スポットを所望の位置から一度遠ざけてから再度所望の位置に移動させなければならず、操作が煩雑であった。

また、位置情報取得手段１８は、光スポットが表示画像の判定領域内に所定時間以上位置するときに、指示位置の位置情報を取得する。

この場合、レーザポインタＬＰを用いて所望の位置が指示されている可能性が極めて高いときに、指示位置の位置情報を取得できる。逆に言うと、不要な指示位置の位置情報の取得を防止できる。

また、位置情報取得手段１８は、手振れによる光スポットの振動の周期よりも長い周期で前記移動平均を行っている。

この場合、手振れによる光スポットの位置変動による影響を極力小さくして、指示位置の位置情報を精度良く取得することができる。

また、位置情報取得手段１８は、複数の画像情報における光スポットの位置の周辺部のエッジ量を解析し、該エッジ量が所定値以上の場合に、指示位置の位置情報を取得する。

この場合、例えばアイコン、文字等と背景とのエッジ量の差が大きいため、所望の位置とされるアイコン、文字等の位置情報を確実に取得することができる。

なお、上記実施形態では、判定領域が１つ設定されているが、これに限らず、複数設定されても良い。例えば、図６に示される変形例１のように、正方形の判定領域Ａと、該判定領域Ａを囲む正方形枠状の判定領域Ｂを設定しても良い。なお、図６では、判定領域Ａは一点鎖線で示され、判定領域Ｂは二点鎖線で示されている。

そして、変形例１では、光スポットが判定領域Ａ内及び判定領域Ｂ内に位置しているときの移動平均の回数を互いに異ならせている。具体的には、判定領域Ａに光スポットが位置しているときの移動平均回数をＮ１とし、判定領域Ｂに光スポットが位置しているときの移動平均回数をＮ２（＜Ｎ１）とする。すなわち、表示画像上の所望の位置（例えばアイコン）からの距離に応じて移動平均回数が異なる。詳述すると、表示画像上の所望の位置からの距離が短い判定領域Ａにおける移動平均回数Ｎ１は、表示画像上の所望の位置からの距離が長い判定領域Ｂにおける移動平均回数Ｎ２よりも多い。なお、判定領域Ａに光スポットが位置する時間は、判定領域Ｂに光スポットが位置する時間よりも長くなると考えられる。また、判定領域Ａの外縁の中心からの距離をＤ１、判定領域Ｂの外縁の中心からの距離をＤ２とされている。

変形例１によると、光スポットが例えばアイコン上又は該アイコン付近に位置しているときに移動平均回数を多くして指示位置の微調整ができ、かつ光スポットがアイコンから離れているときに移動平均回数を少なくして応答速度を高めることでき、レーザポインタＬＰの操作性をより向上させることができる。

上記変形例１では、判定領域Ａ及びＢが正方形とされているが、他の形状であっても良い。また、判定領域Ａ及びＢに加えて、判定領域Ｂを囲む枠状の少なくとも１つの判定領域を設定しても良い。

上記実施形態では、スクリーン面に表示される画像（表示画像）が静止画である場合について説明したが、表示画像が動画であっても良い。ところで、上記実施形態では、表示画像の光スポットの周辺部のエッジ量等の特徴量を抽出して、移動平均モードによる指示位置の取得が行われているが、例えば動画が再生されているときに光スポットの周辺部のエッジ量が多くなると、レーザポインタＬＰでアイコンや文字が指示されていないにも関わらず、移動平均モードに設定されるおそれがある。

そこで、変形例２では、表示画像としての動画が時系列で撮像され、得られた現在のフレーム（現フレーム）の画像と前のフレーム（前フレーム）画像との差分（変化量）が抽出され、取得される。そして、図８に示されるように、最初のステップＳ１１において、この変化量が一定値未満であるか否かが判断される。ここでの判断が否定されると、フローは、終了する。すなわち、取得された変化量が一定値以上の場合には、動画部分と判断され、移動平均モードに設定されない。

一方、ステップＳ１１での判断が肯定されると、ステップＳ１２に移行する。すなわち、上記変化量が一定値未満の場合に、画像の特徴量の判断（ステップＳ１２）、判定領域の設定（ステップＳ１３）及び光スポットの位置の判断（ステップＳ１４）の後、レーザポインタＬＰでアイコンや文字が指示されているときに、移動平均モードに設定される（ステップＳ１５）。なお、図８のフローチャートにおけるステップＳ１２〜ステップＳ１７は、上記実施形態で説明した図３のフローチャートのステップＳ１〜ステップＳ６と同じなので、その説明を省略する。

変形例２によると、動画が再生しているときに、該動画部分がレーザポインタＬＰで指示されても、指示位置は取得されないため、誤動作を減らすことができ、レーザポインタＬＰの操作性をより向上させることができる。

また、上記第２変形例では、図８におけるステップＳ１１は、必ずしも行われなくても良い。また、上記第２変形例では、図８におけるステップＳ１２は、必ずしも行われなくても良い。また、上記第２変形例では、図８におけるステップＳ１３、Ｓ１４、Ｓ１６は、必ずしも行われなくても良い。

また、上記実施形態では、図３におけるステップＳ１は、必ずしも行われなくても良い。また、上記実施形態では、図３におけるステップＳ２、Ｓ３、Ｓ５は、必ずしも行われなくても良い。

また、上記実施形態及び各変形例では、画像表示面として、スクリーン面が用いられているが、これに限らず、例えば、液晶モニタ、液晶テレビ、プラズマテレビの表面等を用いても良い。

また、上記実施形態及び各変形例では、光ポインタとして、レーザポインタが用いられているが、これに限らず、例えば、ＬＥＤ含む光ポインタを用いても良い。

また、上記実施形態及び各変形例では、プロジェクタ１０及び位置情報取得装置１２は、一体化されているが、別体であっても良い。この場合、位置情報取得装置１２では、カメラ１６及び位置情報取得手段１８は、別体であっても良い。

また、上記実施形態及び各変形例では、処理装置として、ＰＣ１４が用いられているが、これに限らず、例えば、タブレット型端末等が用いられても良い。

１０…プロジェクタ（画像表示手段）、１２…位置情報取得装置、１４…ＰＣ（処理装置）、１６…カメラ（撮像手段）、１８…位置情報取得手段、２３…幾何歪み情報取得手段、１００…画像表示システム、ＬＰ…レーザポインタ（光ポインタ）、Ｓ…スクリーン。

特許第３４１９９７８号公報

Claims (9)

1. 画像表示面に表示された画像の、光ポインタを用いて指示されている指示位置の位置情報を取得可能な位置情報取得装置であって、
   前記光ポインタが向けられ、光スポットが形成された前記画像を時系列で撮像する撮像手段と、
   前記光スポットが形成された前記画像が時系列で撮像されて得られた複数の画像情報に基づいて、前記指示位置の位置情報を推定し、推定された位置情報を取得可能な位置情報取得手段と、を備え、
   前記位置情報取得手段は、前記指示位置の位置情報を取得する場合、前記複数の画像情報から前記光スポットの時系列の位置情報を検出し、検出された複数の位置情報を移動平均して得られた位置情報を前記指示位置の位置情報と推定することを特徴とする位置情報取得装置。
2. 前記位置情報取得手段は、前記光スポットが前記画像の所定範囲内に所定時間以上位置するときに、前記指示位置の位置情報を取得することを特徴とする請求項１に記載の位置情報取得装置。
3. 前記位置情報取得手段は、前記所定範囲内における前記光スポットが位置する領域に応じて、前記移動平均の回数を異ならせることを特徴とする請求項２に記載の位置情報取得装置。
4. 前記位置情報取得手段は、前記所定範囲内における前記光スポットが位置する時間が長い領域ほど、前記移動平均の回数を多くすることを特徴とする請求項３に記載の位置情報取得装置。
5. 前記位置情報取得手段は、手振れによる前記光スポットの振動の周期よりも長い周期で前記移動平均を行うことを特徴とする請求項１〜４のいずれか一項に記載の位置情報取得装置。
6. 前記位置情報取得手段は、前記複数の画像情報における前記光スポットの位置の周辺部の特徴量を解析し、該特徴量が所定値以上の場合に、前記指示位置の位置情報を取得することを特徴とする請求項１〜５のいずれか一項に記載の位置情報取得装置。
7. 前記特徴量は、前記複数の画像情報における前記光スポットの位置の周辺部のエッジ量であることを特徴とする請求項６に記載の位置情報取得装置。
8. 前記画像は、動画であり、
   前記位置情報取得手段は、前記光スポットの位置の、前記画像の現フレームと前フレームとの間での変化量が一定範囲内であるときに、前記指示位置の位置情報を取得することを特徴とする請求項１〜７のいずれか一項に記載の位置情報取得装置。
9. 請求項１〜８のいずれか一項に記載の位置情報取得装置と、
   前記画像表示面に画像を表示する画像表示手段と、
   前記位置情報取得装置で取得された前記指示位置の位置情報に基づいて、該位置情報に対応する処理を実行する処理装置と、を備える画像表示システム。