JP5799801B2 - ポインティング検出装置 - Google Patents

ポインティング検出装置 Download PDF

Info

Publication number
JP5799801B2
JP5799801B2 JP2011288834A JP2011288834A JP5799801B2 JP 5799801 B2 JP5799801 B2 JP 5799801B2 JP 2011288834 A JP2011288834 A JP 2011288834A JP 2011288834 A JP2011288834 A JP 2011288834A JP 5799801 B2 JP5799801 B2 JP 5799801B2
Authority
JP
Japan
Prior art keywords
lens
spot
pointing
image
diffusion film
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011288834A
Other languages
English (en)
Other versions
JP2013137686A (ja
Inventor
境 克司
克司 境
村瀬 有一
有一 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011288834A priority Critical patent/JP5799801B2/ja
Publication of JP2013137686A publication Critical patent/JP2013137686A/ja
Application granted granted Critical
Publication of JP5799801B2 publication Critical patent/JP5799801B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、レーザポインタなどの光学的ポインタによりポインティングされたことを検出するポインティング検出装置に関する。
人(以下、ユーザとも言う)の行動を認識し、適切な動作を提供するインターフェース実現のためには、例えばユーザがどの対象装置に対してサービスを希望しているのかを知ることが望ましい。
ユーザの手の届く範囲の対象装置に対してサービスを希望しているのであれば、ユーザが例えば対象装置と直接接触することから該当する対象装置を特定することができる。ユーザの近くにある対象装置が例えばタッチパネルを備えた装置であれば、ユーザはタッチパネルに直接触れて操作することで希望するサービスを指示することができる。
一方、遠方にある対象装置に対するサービスであれば、ユーザが例えば指で対象装置を指し示すことで該当する対象装置を特定することできる。ユーザが遠方を指し示した場合、指し示された対象装置を確実に特定するには、何らかのフィードバック情報が必要である。ユーザが例えばレーザーポインタなどを用いて対象装置をポインティングした場合、レーザーポインタから出射されるレーザ光が対象装置に照射されているという視覚的フィードバックにより、ユーザは自分で指し示した対象装置を特定または確認することができる。しかし、ユーザは遠方にある対象装置と直接接触することができないので、ポインティングして対象装置を特定または確認した後、別の無線手段などを用いて対象装置を遠隔操作しなければならない。
つまり、レーザーポインタなどを使用すれば、ユーザがポインティングしている対象装置を特定または確認することはできるが、対象装置がユーザの希望しているサービスを提供するためには、対象装置自身がポインティングされたことを認識する必要がある。対象装置がユーザによりポインティングされたことを認識するためには、画像処理を用いた認識を行うポインティング検出装置を採用することが最も簡易であるが、例えば、背景、照度などといったポインティング検出装置の設置環境によっては、ポインティング検出装置が必要とされる画像処理を行うこと自体が難しい場合がある。また、対象装置が比較的小型の場合は、ユーザが対象装置をポインティングすることは難しく、対象装置のポインティング検出装置がポインティングを検出可能な範囲は比較的狭い。小型化が要求される種類の対象装置の場合は、ポインティング検出装置を大型化してユーザによる対象装置のポインティングを容易にしたり、ポインティング検出装置がポインティングを検出可能な範囲を比較的広くすることが難しい。一方、対象装置が比較的大型の場合は、ポインティングされたことを検出するためのセンサ類も大型化してしまい、ポインティング検出装置が比較的高価になってしまうので、対象装置のコストが増大してしまう。
特開平8−95157号公報
従来のポインティング検出装置では、比較的小型の構成を用いて比較的広い検出範囲でポインティングされたことを検出することは難しい。
そこで、本発明は、比較的小型の構成を用いて比較的広い検出範囲でポインティングされたことを検出可能なポインティング検出装置を提供することを目的とする。
本発明の一観点によれば、光学的ポインタからの光を検出するポインティング検出装置であって、標準レンズより画角の広い第1レンズを有し、前記第1レンズの前記光学的ポインタからの前記光が入射する側に装着された拡散膜と前記第1レンズとを介して画像を撮像する撮像装置と、前記撮像装置が出力する画像データから光学的ポインタからの光を検出する画像処理部を備え、前記拡散膜は、前記撮像装置側から見た場合に前記拡散膜上の前記光学的ポインタからの光のスポットが透けて視認できるが、その他の背景は前記画像処理でのエッジ検出ができない程度に乱反射して単色に見せる拡散機能を有するポインティング検出装置が提供される。
開示のポインティング検出装置によれば、比較的小型の構成を用いて比較的広い検出範囲でポインティングされたことを検出することが可能となる。
第1実施例における対象装置の一例を示すブロック図である。 レーザポインタにより対象装置をポインティングする一例を説明する図である。 デジタルカメラの一例を示す正面図である。 図3に示すデジタルカメラを示す側面図である。 拡散膜を設けずにレンズを介してデジタルカメラが撮像したある部屋の画像の一例を示す図である。 拡散膜及びレンズを介してデジタルカメラが撮像した図5と同じ部屋の画像の一例を示す図である。 直径30mmの拡散板を用いた場合の撮像装置から見た画像を説明する図である。 A4サイズの再生紙を用いた場合の撮像装置から見た画像を説明する図である。 ターゲットの一例を示す図である。 ターゲットのポインティング最小範囲を説明する図である。 レンズ焦点とターゲットの距離を説明する図である。 画像処理部の処理を説明するフローチャートである。 コマンド認識テーブルの一例を示す図である。 スポットの移動軌跡の一例を説明する図である。 第2実施例における対象装置の一例を示す図である。 拡散膜に複数のスポット照射がある場合の一例を説明する図である。
開示のポインティング検出装置は、光学的ポインタからの光を検出する。ポインティング検出装置は、標準レンズより広い画角で拡散膜を介して画像を撮像する撮像装置と、撮像装置が出力する画像データから光学的ポインタからの光を検出する画像処理部を備える。拡散膜は、撮像装置側から見た場合に拡散膜上の光学的ポインタからの光のスポットが透けて視認できるが、その他の背景は画像処理でのエッジ検出ができない程度に乱反射して単色に見せる拡散機能を有する。
以下に、開示のポインティング検出装置の各実施例を図面と共に説明する。
図1は、第1実施例における対象装置の一例を示すブロック図である。情報処理装置1は、ユーザによるポインティングの対象となる対象装置の一例であり、任意のサービスを提供可能な装置であれば特に限定されない。情報処理装置1は、例えばパーソナルコンピュータ(PC)、複写機、ファクシミリ装置などを含む情報機器、または、テレビジョン装置、空調装置などを含む情報家電(または、デジタル家電)であっても良い。さらに、情報処理装置1は、携帯型の装置であっても良い。
ユーザによる情報処理装置1のポインティングは、例えばレーザポインタなどの光学的ポインタから出射される光により行われるものとする。図2は、レーザポインタにより対象装置をポインティングする一例を説明する図である。図2では、便宜上、情報処理装置1の一例である複写機が設置されている部屋11の一部のみを右側に示し、ユーザが手12に持っているレーザポインタ5を操作することで、レーザポインタ5から出射されたレーザ光5Lが情報処理装置1をポインティングするものとする。レーザポインタ5自体は周知であるため、その構成及び動作の説明は省略する。
ポインティング検出装置2は、情報処理装置1の任意の位置に設けられていても良い。言うまでもなく、ポインティング検出装置2は、情報処理装置1の設置環境に応じて、比較的広い検出範囲でレーザポインタ5からのレーザ光5Lによりポインティングされたことを検出可能な位置に設けることが望ましい。図1に示すように、ポインティング検出装置2は、拡散膜21、標準レンズより画角の広いレンズ22、撮像装置23、及び軌跡抽出部24と認識処理部25とを含む画像処理部26を有する。レンズ22は、例えば魚眼レンズ、広角レンズで形成可能である。
拡散膜21は、撮像装置23側からレンズ22を通して見た場合に拡散膜21上のレーザ光5Lのスポットが透けて視認できるが、その他の背景は例えば画像処理で周知のエッジ検出ができない程度に乱反射して単色に見せる拡散機能を有する。また、拡散膜21は、レーザポインタ5からのレーザ光5Lのターゲットとしても機能する。これらの機能を有するものであれば、拡散膜21の材質は特に限定されない。拡散膜21は、例えば紙、プラスチックなどで形成された板状形状を有する。拡散膜21を紙で形成する場合、例えば再生紙、普通紙を使用し得る。また、紙の色は、特に限定されない。一方、レーザ光5Lの色(または、波長)は、拡散膜21に照射された光スポット15Lがその他の単色背景に対して飽和するものであれば、特に限定されない。
レンズ22の画角は、標準レンズより広い画角であれば特に限定されない。この例では、レンズ22は魚眼レンズで形成されており画角は180度であるが、180度未満であっても、180度を超えていても良い。
撮像装置23は、例えばデジタルカメラなどにより形成可能である。撮像装置23が撮像した拡散膜21及びレンズ22を介した画像のデータ(以下、画像データと言う)は、画像処理部26に入力される。拡散膜21上にレーザ光15Lのスポットが照射されている状態では、撮像装置23から画像処理部26に入力される画像データにはスポットの画像が含まれ、スポット以外の背景は単色の画像になっている。スポットの画像から、ポインティングされた位置を検出することができる。撮像装置23は、拡散膜21上の画像を標準レンズより画角の広いレンズ22を介して撮像するため、ターゲットサイズが比較的小さく比較的小型の構成を用いて、比較的広い検出範囲でポインティングされたことを検出することが可能となる。
拡散膜21上のレーザ光15Lのスポットが移動すると、画像処理部26内の軌跡抽出部24がスポットの移動軌跡、すなわち、ポインティングされた位置の移動軌跡を周知の方法で抽出する。また、画像処理部26内の認識処理部25がスポットの移動軌跡が表す指示(または、コマンド)などを後述する方法で認識し、移動軌跡の認識結果を情報処理装置1に入力する。後述するように、スポットの移動軌跡は、例えばスポットの停止位置(または、照射終了位置)を始点としてスポットが形成された位置をスポットの移動順とは逆方向に遡って認識しても良い。レーザポインタ15を用いたポインティングの場合、レーザ光15Lを照射しながらターゲットにレーザ光15Lのスポットを移動する場合が多いため、このようにスポットの停止位置を始点として利用すると便利である。
ユーザがレーザポインタ15を動かして、レーザ光15Lでポインティングされる位置、すなわち、レーザ光15Lのスポットの位置を任意に移動させることで、スポットの移動軌跡(または、移動パターン)により情報処理装置1に指示(または、コマンド)を送ることも可能である。例えば、スポットを下から上方向へ移動させた場合に所定の処理を情報処理装置1に指示する場合、情報処理装置1は、画像処理部26から入力される移動軌跡の認識結果が下から上方向への移動軌跡を表していれば所定の処理の指示を認識可能である。また、スポットの移動軌跡は、単一の連続した移動軌跡であっても、2以上の不連続な移動軌跡であっても良い。このようにして、レーザポインタ15を用いたポインティングにより情報処理装置1を指定する機能と、ポインティング位置を移動させる操作により情報処理装置1に指示を送る機能を統合したシステムを提供することができる。
スポットの移動軌跡を抽出する必要がなく、スポットの有無のみ、即ち、情報処理装置1がレーザポインタ15からのレーザ光15Lによりポインティングされたか否かのみを検出する場合には、軌跡抽出部24は省略可能である。この場合、認識処理部25は、スポットの有無のみを後述する方法で検出すれば良い。認識処理部25は、スポットの有無を表す認識結果を情報処理装置1に入力する。認識処理部25は、スポットが連続的に検出される時間、間欠的に検出される回数などに応じてスポットの点灯パターン(または、オン・オフパターン)が表す指示(または、コマンド)などを認識して、認識結果を情報処理装置1に入力するようにしても良い。
軌跡抽出部24でのスポットの移動軌跡の抽出処理は二値化処理により行える。つまり、撮像装置23が出力する画像データは、背景の単色データであるか、或いは、レーザ光15Lのスポットのデータである。そして、レーザ光15Lのスポットの輝度は、背景の単色データの輝度と比較して大きく、スポットの輝度と単色データの輝度との差が比較的大きいため、適切な閾値を基準として画像データを二値化することで、ある時点におけるスポットの位置を容易に検出することができる。従って、任意のサンプリング周期でスポットの位置を検出することでスポットの移動軌跡を容易に抽出することができる。このような二値化処理自体は比較的簡単であるため、認識処理部25への負荷を少なく抑えることができ、処理時間も短縮可能である。
スポットの有無(または、位置)のみを認識する場合、認識処理部25での認識処理は二値化処理により行える。レーザ光15Lのスポットの輝度は、背景の単色データの輝度と比較して大きく、スポットの輝度と単色データの輝度との差が比較的大きいため、適切な閾値を基準として画像データを二値化することで、ある時点におけるスポットの有無(または、位置)を容易に認識することができる。
さらに、スポットの有無(または、位置)、或いは、スポットの移動軌跡を認識するための画像処理が二値化処理であるため、撮像装置23に高性能なデジタルカメラなどを使用する必要はなく、比較的安価なデジタルカメラなど使用しても、明るさなどの撮像環境や背景の状態に左右されずにスポットの有無(または、位置)、或いは、スポットの移動軌跡を認識することができる。さらに、拡散膜21は、紙などの安価な部材で形成できるので、比較的安価なポインティング検出装置2を実現可能となる。
なお、画像処理部26の少なくとも一部の処理は、情報処理装置1側で行うようにしても良い。
次に、撮像装置23をデジタルカメラで形成した場合について説明する。図3は、デジタルカメラの一例を示す正面図であり、図4は、図3に示すデジタルカメラの側面図である。図3及び図4に示すように、デジタルカメラ231のレンズ部232には、標準レンズより広い画角のレンズ22が保持部材240により装着されている。保持部材240の一端241はデジタルカメラ231の裏面と接し、他端はレンズ22に装着されておりレンズ22をレンズ部232に対して位置決めする。保持部材240は、例えばプラスチックで形成可能であり、バネ力に反して多少広げられた状態でデジタルカメラ231に装着される。レンズ22には普通紙で形成された拡散膜21が装着されている。この例では、拡散膜21は、レンズ22に装着されるリング状のキャップ242に保持されている。リング状のキャップ242は、例えばプラスチックで形成可能である。図3及び図4からもわかるように、拡散膜21、レンズ22及びデジタルカメラ231を含む構造は、ターゲットサイズが比較的小さく比較的小型であると共に、比較的簡単な構成を有する。これは、拡散膜21が紙などの薄い部材で形成可能なことにもよる。なお、拡散膜21、レンズ22及びデジタルカメラ231を含む構造は、単一のモジュールまたは装置として形成しても良い。
図5は、拡散膜21を設けずにレンズ22を介してデジタルカメラ231が撮像したある部屋の画像の一例を示す図である。図6は、拡散膜21及びレンズ22を介してデジタルカメラ231が撮像した図5と同じ部屋の画像の一例を示す図である。図5及び図6では、便宜上、レーザポインタ15によるポインティングが行われていない状態を示す。図5では繁雑な背景画像が撮像されているが、図6では拡散膜21の拡散機能により背景画像は例えば画像処理で周知のエッジ検出ができない程度に乱反射して単色(この例では白色)の画像として撮像されていることが確認できる。
次に、拡散膜21に市販されている拡散板を用いた場合と、再生紙を用いた場合について、図7及び図8と共に説明する。
図7は、拡散膜21に直径30mmの拡散板を用いた場合の撮像装置23から見た画像を説明する図である。図7において、(a)は拡散板を設けない状態で撮像装置23が撮像したある部屋の画像の一例を示し、(b)は拡散板を設けた状態で撮像装置23が撮像した(a)と同じ部屋の画像の一例を示し、(c)は(b)と同じ条件で拡散板にレーザポインタ15からのレーザ光15Lが照射されている状態で撮像された画像の一例を示し、(d)は撮像装置23から出力される(c)の画像の画像データを画像処理部26で処理して認識されたレーザ光15Lのスポット15LSを示す。この例では、レーザ光15Lは赤色レーザであるものとする。図7(c)からもわかるように、Sで示す楕円形の部分のみの輝度がその他の単色背景に比べて大きいため、画像処理部26は容易、且つ、確実にスポット15LSを認識できる。
図8は、拡散膜21にA4サイズの(即ち、100mm□より十分大きい)再生紙を用いた場合の撮像装置から見た画像を説明する図である。図8において、(a)は再生紙を設けた状態で撮像装置23が撮像した部屋の画像の一例を示し、(b)は(a)と同じ条件で再生紙にレーザポインタ15からのレーザ光15Lが照射されている状態で撮像された画像の一例を示し、(c)は撮像装置23から出力される(b)の画像の画像データを画像処理部26で処理して認識されたレーザ光15Lのスポット15LSを示す。この例では、レーザ光15Lは赤色レーザであるものとする。図8(b)からもわかるように、Sで示す円形の部分のみの輝度がその他の単色背景に比べて大きいため、画像処理部26は容易、且つ、確実にスポット15LSを認識できる。
次に、ターゲットサイズについて、図9及び図10と共に説明する。図9は、ターゲットTの一例を示す図である。ターゲットTには、30mm□、50mm□、100mm□、及び150mm□の境界線が印刷されている。このようなターゲットTに対し、レーザポインタ15とターゲットTとの間の距離を2m、4m、6m、8m、及び10mと変えながら、レーザ光15LでターゲットTの○印で示す中心Cを5秒間ポインティングする操作を、異なるユーザA,B,Cに行わせた。図10は、この場合のターゲットTのポインティング最小範囲を説明する図である。図10からもわかるように、ユーザA,B,Cは、レーザポインタ14とターゲットTとの間の距離が2mであると、30mm□のターゲットTを確実にポインティングでき、距離が10mであると、100mm□のターゲットTを確実にポインティングできることが確認できた。これにより、レーザポインタ15とターゲットT、即ち、ポインティング検出装置2(この例では拡散膜21)との間の距離が10mであっても、ターゲットTとして100mm□のサイズがあれば、ユーザはターゲットTを安定的にポインティングできることが確認された。従って、ターゲットTとなる拡散膜21のサイズは、例えば100mm□あれば10m離れた位置からでも安定的にポインティングでき、本実施例ではターゲットサイズを比較的小さくできることが確認された。
図11は、レンズ焦点とターゲットの距離を、レンズ22に魚眼レンズを用いた場合について説明する図である。図11中、FPは魚眼レンズ22の焦点、L1は焦点FPとターゲットである拡散膜21との間の距離、L2は焦点FPと魚眼レンズ22との間の距離を示す。この例では、魚眼レンズ22の直径は30mmであり、画角は170度である。拡散膜21のサイズを100mm□としても、L1=44mm、L2=1.3mmであった。従って、ポインティング検出装置2のレンズ22及び拡散膜21の部分の厚さ(例えば、図4における水平方向の厚さ)を薄くできる。
次に、画像処理部26内の認識処理部25がスポットの移動軌跡が表す指示(または、コマンド)を認識する方法について、図12乃至図14と共に説明する。
図12は、画像処理部26の処理を説明するフローチャートである。図12において、ステップS1〜S5は軌跡抽出部24で実行され、ステップS6〜S8は認識処理部25で実行される。
ステップS1は、フラグFLGを0に初期化し、ステップS2は撮像装置23からの画像データに輝度差が閾値より大きい部分があるか否かを判定する。ステップS2の判定結果がNOであると、ステップS3はフラグFLGが1であるか否かを判定し、判定結果がNOであると処理はステップS2へ戻る。一方、ステップS2の判定結果がYESであると、ステップS4は、周知のエッジ検出により輝度が大きい部分をレーザ光15Lのスポットとして検出すると共に、検出されたスポットの重心を周知の方法で計算する。ステップS5は、スポットの位置を移動軌跡の記録として例えば画像処理部26内の記憶部に保持すると共に、フラグFLGを1にセットする。ステップS5の後、任意のサンプリング周期後に、処理がステップS2へ戻る。
一方、ステップS3の判定結果がYESであると、ステップS6は、後述するスポットの移動軌跡の解析を行い、スポットの移動軌跡が表す指示(または、コマンド)を認識する。ステップS7は、スポットの移動軌跡が表す指示の認識が終了したか否かを判定し、判定結果がNOであると処理はステップS6へ戻る。ステップS7の判定結果がYESであると、ステップS8はステップS6における認識結果を情報処理装置1へ出力し、処理はステップS1へ戻る。
図13は、例えば画像処理部26内の記憶部に格納されたコマンド認識テーブルの一例を示す図である。図13に示す例では、スポットの移動軌跡が「左から右」であればコマンドが「次ページ」、スポットの移動軌跡が「右から左」であればコマンドが「全ページ」、スポットの移動軌跡が「右上から左下」であればコマンドが「終了」、スポットの移動軌跡が「S字」であればコマンドが「エンター」である。従って、図12のステップS6は、ステップS5で記憶部に保持されたスポットの移動軌跡の記録でコマンド認識テーブルを参照することで、スポットの移動軌跡が表すコマンドを認識することができる。これにより、ユーザはポインティング検出装置2及び情報処理装置1に触れることなく、レーザポインタ15により情報処理装置1を遠隔操作することができる。
図14は、スポットの移動軌跡の一例を説明する図である。図14において、(a)はレーザ光15LによりポインティングされたターゲットT(拡散膜21)の一例を示す。レーザ光15Lのポインティングが右側に示す矢印の方向からあり、PEPで示す位置で終了してレーザ光15Lがオフになったとする。この場合、図12のステップS6は、ポインティングの終了位置PEPを軌跡解析開始位置として、ステップS5で記憶部に保持されたスポットの移動軌跡の記録に基づいて、例えばAEPで示す軌跡解析終了位置までレーザ光15Lの移動軌跡を解析する。このような移動軌跡の解析方法自体は周知であり、解析の結果、図14において(b)で示すように移動軌跡がS字であることが認識される。この場合、認識結果が「S字」であるため、上記コマンド認識テーブルを参照すれば、レーザポインタ15の操作が表しているコマンドが「エンター」であることが認識できる。
スポットの移動軌跡を抽出する必要がなく、スポットの有無のみ、即ち、情報処理装置1がレーザポインタ15からのレーザ光15Lによりポインティングされたか否かのみを検出する場合には、上記の如く、認識処理部25は、スポットの有無のみを検出すれば良い。認識処理部25は、スポットが連続的に検出される時間、間欠的に検出される回数などに応じてスポットの点灯パターン(または、オン・オフパターン)が表す指示(または、コマンド)などを認識して、認識結果を情報処理装置1に入力するようにしても良い。この場合に用いるコマンド認識テーブルの説明は、図13のコマンド認識テーブルの説明から当業者には容易に理解できるので、その図示及び説明は省略する。
図15は、第2実施例における対象装置の一例を示す図である。図15に示すポインティング検出装置2−1では、拡散膜51がフレネルレンズ50と撮像装置21の標準レンズ52との間に配置されている。拡散膜51は、標準レンズ52とは別体であっても、標準レンズ52にコーティングされていても良い。フレネルレンズ50は、比較的広範囲のレーザ光15Lを集光し、標準レンズ52は集光されたレーザ光15Lを拡散膜51を介して受ける。本実施例では、フレネルレンズ50の焦点距離FLを比較的短くすることで、ポインティング検出装置2−1のフレネルレンズ50及び拡散膜51の部分の厚さ(例えば、図15における水平方向の厚さ)を薄くできる。なお、撮像装置23及び画像処理部26の処理は、上記第1実施例の場合と同様で良いので、その説明は省略する。
図16は、拡散膜に複数のスポット照射がある場合の一例を説明する図である。2つのレーザ光のスポット15LS1,15LS2が拡散膜21(または、51)上に照射された場合、図16(a)中矢印で示すようにスポット15LS1,15LS2が互いに反対方向へ移動すれば、例えばコマンド認識テーブルに対応するコマンドが「拡大」であることを示す情報を登録しておくことで、スポットの移動軌跡が表すコマンドを認識することができる。同様にして、図16(b)中矢印で示すようにスポット15LS1,15LS2が互いに近づく方向へ移動すれば、例えばコマンド認識テーブルに対応するコマンドが「縮小」であることを示す情報を登録しておくことで、スポットの移動軌跡が表すコマンドを認識することができる。このように、スポットの移動軌跡が表すコマンドの認識は、ターゲット(即ち、拡散膜)上に照射されたスポットが複数の場合であっても上記実施例の場合と同様に行うことができる。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
光学的ポインタからの光を検出するポインティング検出装置であって、
標準レンズより広い画角で拡散膜を介して画像を撮像する撮像装置と、
前記撮像装置が出力する画像データから光学的ポインタからの光を検出する画像処理部
を備え、
前記拡散膜は、前記撮像装置側から見た場合に前記拡散膜上の前記光学的ポインタからの光のスポットが透けて視認できるが、その他の背景は前記画像処理でのエッジ検出ができない程度に乱反射して単色に見せる拡散機能を有することを特徴とする、ポインティング検出装置。
(付記2)
前記拡散膜と前記撮像装置との間に配置された魚眼レンズを更に備えたことことを特徴とする、付記1記載のポインティング検出装置。
(付記3)
前記拡散膜は、紙またはプラスチックで形成された板状形状を有することを特徴とする、付記1または2記載のポインティング検出装置。
(付記4)
フレネルレンズを更に備え、
前記拡散膜は前記フレネルレンズと前記撮像装置との間に配置されていることを特徴とする、付記1記載のポインティング検出装置。
(付記5)
前記撮像装置は、標準レンズを有し、
前記拡散膜は、前記標準レンズにコーティングされていることを特徴とする、付記4記載のポインティング検出装置。
(付記6)
前記画像処理部は、前記光のスポットの有無または位置を二値化処理により検出して、前記光のスポットが連続的に検出される時間または間欠的に検出される回数が表す指示の認識結果を出力する認識処理部を含むことを特徴とする、付記1乃至5のいずれか1項記載のポインティング検出装置。
(付記7)
前記認識結果は、前記光のスポットが連続的に検出される時間または間欠的に検出される回数に応じた前記スポットの点灯パターンが表す、前記認識結果が入力される外部装置への指示を表すことを特徴とする、付記6記載のポインティング検出装置。
(付記8)
前記画像処理部は、前記光のスポットの位置を二値化処理により検出する処理を任意のサンプリング周期で行うことで前記光のスポットの移動軌跡を抽出する軌跡抽出部と、
前記軌跡抽出部により抽出された前記移動軌跡が表す指示を認識して認識結果を出力する認識処理部を含むことを特徴とする、付記1乃至5のいずれか1項記載のポインティング検出装置。
(付記9)
前記認識結果は、前光のスポットの単一の連続した移動軌跡または2以上の不連続な移動軌跡が表す、前記認識結果が入力される外部装置への指示を表すことを特徴とする、付記8記載のポインティング検出装置。
以上、開示のポインティング検出装置を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
1 情報処理装置
2 ポインティング検出装置
21 拡散膜
22 レンズ
23 撮像装置
24 軌道抽出部
25 認識処理部
26 画像処理部

Claims (5)

  1. 光学的ポインタからの光を検出するポインティング検出装置であって、
    標準レンズより画角の広い第1レンズを有し、前記第1レンズの前記光学的ポインタからの前記光が入射する側に装着された拡散膜と前記第1レンズとを介して画像を撮像する撮像装置と、
    前記撮像装置が出力する画像データから光学的ポインタからの光を検出する画像処理部
    を備え、
    前記拡散膜は、前記撮像装置側から見た場合に前記拡散膜上の前記光学的ポインタからの光のスポットが透けて視認できるが、その他の背景は前記画像処理でのエッジ検出ができない程度に乱反射して単色に見せる拡散機能を有することを特徴とする、ポインティング検出装置。
  2. 前記第1レンズは、前記拡散膜と前記撮像装置との間に配置された魚眼レンズであることを特徴とする、請求項1記載のポインティング検出装置。
  3. 前記拡散膜は、紙またはプラスチックで形成された板状形状を有することを特徴とする、請求項1または2記載のポインティング検出装置。
  4. 光学的ポインタからの光を検出するポインティング検出装置であって、
    標準レンズより広い画角で拡散膜を介して画像を撮像する撮像装置と、
    前記撮像装置が出力する画像データから光学的ポインタからの光を検出する画像処理部と、
    フレネルレンズ
    備え、
    前記拡散膜は前記フレネルレンズと前記撮像装置との間に配置され、前記撮像装置側から見た場合に前記拡散膜上の前記光学的ポインタからの光のスポットが透けて視認できるが、その他の背景は前記画像処理部でのエッジ検出ができない程度に乱反射して単色に見せる拡散機能を有することを特徴とする、インティング検出装置。
  5. 前記画像処理部は、
    前記光のスポットの位置を二値化処理により検出する処理サンプリング周期で行うことで前記光のスポットの移動軌跡を抽出する軌跡抽出部と、
    前記軌跡抽出部により抽出された前記移動軌跡が表す指示を認識して認識結果を出力する認識処理部
    を含むことを特徴とする、請求項1乃至4のいずれか1項記載のポインティング検出装置。
JP2011288834A 2011-12-28 2011-12-28 ポインティング検出装置 Expired - Fee Related JP5799801B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011288834A JP5799801B2 (ja) 2011-12-28 2011-12-28 ポインティング検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011288834A JP5799801B2 (ja) 2011-12-28 2011-12-28 ポインティング検出装置

Publications (2)

Publication Number Publication Date
JP2013137686A JP2013137686A (ja) 2013-07-11
JP5799801B2 true JP5799801B2 (ja) 2015-10-28

Family

ID=48913346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011288834A Expired - Fee Related JP5799801B2 (ja) 2011-12-28 2011-12-28 ポインティング検出装置

Country Status (1)

Country Link
JP (1) JP5799801B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202359B (zh) * 2016-07-05 2020-05-15 广东小天才科技有限公司 拍照搜题的方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69015197T2 (de) * 1989-07-19 1995-08-03 Bell Communications Res Lichtgriffel für projezierte Bilder.
JPH05241237A (ja) * 1992-02-28 1993-09-21 Oriental Photo Ind Co Ltd 写真複写装置
JP2000236561A (ja) * 1999-02-12 2000-08-29 Denso Corp 立体映像表示装置
JP4612751B2 (ja) * 1999-03-31 2011-01-12 キヤノン株式会社 入出力一体型装置
JP3810012B2 (ja) * 2003-08-11 2006-08-16 株式会社日立ケーイーシステムズ 障害者用パソコン入力装置
JP2010157044A (ja) * 2008-12-26 2010-07-15 Tohoku Univ ディスプレイ装置とそれに用いるライトペン
JP2011081651A (ja) * 2009-10-08 2011-04-21 Sanyo Electric Co Ltd 投写型映像表示装置
US20120212412A1 (en) * 2009-10-27 2012-08-23 Sharp Kabushiki Kaisha Pointing device

Also Published As

Publication number Publication date
JP2013137686A (ja) 2013-07-11

Similar Documents

Publication Publication Date Title
US11412108B1 (en) Object recognition techniques
CN1322329B (zh) 采用扫描传感器的输入设备
US6979087B2 (en) Display system with interpretable pattern detection
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
KR101446902B1 (ko) 사용자 인터랙션 장치 및 방법
US9336602B1 (en) Estimating features of occluded objects
US20160231862A1 (en) Identifying a target touch region of a touch-sensitive surface based on an image
JP4933389B2 (ja) 画像投影表示装置、画像投影表示方法、画像投影表示プログラム及び記録媒体
CN102547172B (zh) 一种遥控电视机
JP6417787B2 (ja) 表示装置、伝送システムおよび伝送方法
JP2011043876A (ja) 画像表示装置
US20140204019A1 (en) Information processing device, system, and information processing method
JP2015014882A (ja) 情報処理装置、操作入力検出方法、プログラム、および記憶媒体
JP7294350B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5629766B2 (ja) マーカー検出システム、検出方法、プログラム及び該プログラムを格納したコンピュータ可読媒体
US20050057510A1 (en) Scanning optical mouse
KR100968205B1 (ko) 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치
JP5799801B2 (ja) ポインティング検出装置
JP3954436B2 (ja) 画像入力装置
JP6036856B2 (ja) 電子制御装置、制御方法、及び制御プログラム
JP2009296239A (ja) 情報処理システムおよび情報処理方法
JP7013808B2 (ja) 情報処理装置およびプログラム
KR101274260B1 (ko) 비접촉식 지문 영상 획득 장치 및 방법
KR20170101389A (ko) 적외선 신호 처리를 위한 필터링 방법, 그를 이용한 적외선 신호 처리 장치 및 적외선 기반 전자 칠판 시스템
JP2005190283A (ja) 情報入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150428

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150810

R150 Certificate of patent or registration of utility model

Ref document number: 5799801

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees