JP7371382B2 - Position pointing device, display system, position pointing method, and program - Google Patents
Position pointing device, display system, position pointing method, and program Download PDFInfo
- Publication number
- JP7371382B2 JP7371382B2 JP2019141607A JP2019141607A JP7371382B2 JP 7371382 B2 JP7371382 B2 JP 7371382B2 JP 2019141607 A JP2019141607 A JP 2019141607A JP 2019141607 A JP2019141607 A JP 2019141607A JP 7371382 B2 JP7371382 B2 JP 7371382B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- infrared
- distribution
- electronic device
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000003287 optical effect Effects 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 21
- 230000005484 gravity Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 description 68
- 238000010586 diagram Methods 0.000 description 53
- 238000012937 correction Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 238000005096 rolling process Methods 0.000 description 11
- 238000003491 array Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 241001422033 Thestylus Species 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
Description
本願は、位置指示装置、表示システム、位置指示方法、及びプログラムに関する。 The present application relates to a position pointing device, a display system, a position pointing method, and a program.
従来、プレゼンテーションや会議等に利用され、表示面へのタッチ(触る)によって操作されるタッチディスプレイ等の画像表示装置が知られている。 2. Description of the Related Art Conventionally, image display devices such as touch displays that are used for presentations, conferences, and the like and are operated by touching a display surface are known.
一方、タッチディスプレイを利用するプレゼンテーション等では、表示面上での位置を指示する際にレーザポインタ等の位置指示装置を利用すると、タッチディスプレイにおける画面の発光によって、照射されたレーザ光の位置が見えにくくなり、レーザ光による指示位置の視認性が低下する場合がある。 On the other hand, in presentations using a touch display, if a position indicating device such as a laser pointer is used to indicate the position on the display screen, the position of the irradiated laser light can be seen by the light emitted from the screen of the touch display. The visibility of the position indicated by the laser beam may deteriorate.
また、表示画像を撮像してポインティングに活用する技術が開示されている(例えば、特許文献1参照)。 Furthermore, a technique for capturing a display image and utilizing it for pointing has been disclosed (for example, see Patent Document 1).
さらに、赤外発光体を設置し、その発光位置をセンシングしてポインティングに活用する技術が開示されている(例えば、特許文献2参照)。 Furthermore, a technique has been disclosed in which an infrared light emitter is installed and the light emitting position is sensed and utilized for pointing (for example, see Patent Document 2).
しかしながら、特許文献1に記載の技術では、ユーザがキャリブレーション操作をする必要があるため、利便性に劣る場合があった。また、特許文献2に記載の技術では、キャリブレーションは不要になるものの、ディスプレイの外側に発光体を設置するため、赤外式タッチディスプレイに適用すると、赤外タッチセンサからの赤外光を誤検知してしまう場合があった。そのため、赤外式タッチディスプレイにおいて、キャリブレーション操作を不要としつつ、誤検知を起こさないようにすることができない場合があった。
However, the technique described in
開示の技術は、赤外式タッチディスプレイにおけるポインティングで、キャリブレーション操作を不要としつつ、誤検知を起こさないようにすることを課題とする。 The disclosed technology aims to eliminate the need for calibration operations and to prevent false detections during pointing on an infrared touch display.
開示の技術の一態様に係る位置指示装置は、電子機器の備える表示面の外枠で発せられた赤外線分布を特定するための画像を撮像する撮像部と、所定方向を検出する方向検出部と、前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力する出力部と、を備え、前記出力部は、前記撮像部により撮像された画像に前記赤外線分布の全体が含まれる場合、該画像に含まれる前記赤外線分布の重心位置情報に基づき取得された前記指示位置情報を、前記電子機器に出力し、前記撮像部により撮像された画像に前記赤外線分布の全体が含まれない場合、該画像に含まれる前記赤外線分布における辺の個数情報と、前記辺の配置情報と、前記辺の交点位置情報と、に基づき取得された前記指示位置情報を、前記電子機器に出力する。
A position pointing device according to one aspect of the disclosed technology includes: an imaging unit that captures an image for identifying the distribution of infrared rays emitted from an outer frame of a display screen provided in an electronic device; and a direction detection unit that detects a predetermined direction. , an output unit that outputs the indicated position information acquired based on the infrared distribution and the predetermined direction to the electronic device , the output unit outputting the infrared distribution to the image captured by the imaging unit. If the entire infrared distribution is included, the indicated position information acquired based on the barycenter position information of the infrared distribution included in the image is output to the electronic device, and the entire infrared distribution is included in the image captured by the imaging unit. is not included, the electronic device uses the indicated position information acquired based on the number of sides in the infrared distribution included in the image, the arrangement information of the sides, and the intersection position information of the sides. Output to .
開示の技術によれば、赤外式タッチディスプレイにおけるポインティングで、キャリブレーション操作を不要としつつ、誤検知を起こさないようにすることができる。 According to the disclosed technology, pointing on an infrared touch display can eliminate the need for calibration operations and prevent false detections.
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。 Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings. In each drawing, the same components are designated by the same reference numerals, and redundant explanations may be omitted.
実施形態に係る位置指示装置は、タッチディスプレイ等の電子機器を利用するプレゼンテーションや会議等で利用され、電子機器の表示面に表示されるポインタ等の指示図形の位置を変化させることで、表示面内での位置を指示するものである。 The position pointing device according to the embodiment is used in presentations, conferences, etc. that use electronic devices such as touch displays, and by changing the position of a pointing figure such as a pointer displayed on the display screen of the electronic device, the position pointing device It indicates the position within.
また、実施形態では、電子機器の備える表示面の外枠で発せられた赤外線分布と、検出された所定方向とに基づいて取得された指示位置情報を電子機器に出力することで、赤外式タッチディスプレイにおいて、キャリブレーション操作を不要としつつ、誤検知を起こさないようにする。ここで、指示位置情報とは、電子機器の表示面内での位置を指示するための情報である。 Further, in the embodiment, by outputting the indicated position information acquired based on the infrared distribution emitted from the outer frame of the display screen of the electronic device and the detected predetermined direction to the electronic device, the infrared To eliminate false detection while eliminating the need for calibration operations in a touch display. Here, the designated position information is information for designating the position within the display screen of the electronic device.
以下では、タッチディスプレイとポインティングデバイスとを備える表示システムを例に実施形態を説明する。ここで、タッチディスプレイは「電子機器」の一例であり、また、ポインティングデバイスは「位置指示装置」の一例である。さらに、ポインタは、「指示図形」の一例である。 Hereinafter, embodiments will be described using a display system including a touch display and a pointing device as an example. Here, the touch display is an example of an "electronic device," and the pointing device is an example of a "position pointing device." Furthermore, a pointer is an example of an "instruction figure."
<表示システム1の全体構成>
まず、実施形態に係る表示システム1の全体構成について、図1を参照して説明する。図1は、表示システム1の全体構成の一例を説明する図である。図1に示すように、表示システム1は、タッチディスプレイ2とポインティングデバイス100とを備える。
<Overall configuration of
First, the overall configuration of a
タッチディスプレイ2は、表示面20と、表示面20の外周部分を支持する外枠21とを備え、ユーザの手Hによって生じたイベント(表示面20を手Hでタッチ)により描画された画像を、表示面20に表示させることができる。また、拡大、縮小、ページめくり等のジェスチャに基づいて、表示面20上に表示されている画像を変更させることもできる。
The
タッチディスプレイ2を用いた会議に参加するユーザは、手Hによりタッチディスプレイ2に情報を入力させることができる。入力された情報は表示面20に表示され、会議に参加する複数のユーザ間でのコミュニケーションのために利用される。
A user participating in a conference using the
なお、上述した例では、ユーザの手Hを示したが、ユーザの手Hの他、スタイラスペンによって生じたイベント(表示面20にスタイラスペンのペン先、又は、スタイラスペンのペン尻のタッチ)により描画された画像を、表示面20に表示させることも可能である。
Note that in the above example, the user's hand H is shown, but in addition to the user's hand H, an event caused by the stylus pen (touching the tip of the stylus pen or the butt of the stylus pen on the display surface 20) It is also possible to display an image drawn on the
ポインティングデバイス100は、プレゼンテーションや会議等を行うユーザにより保持され、ポインティングデバイス100を傾ける等のユーザの操作に応じて、表示面20に表示されるポインタ200の位置を変化させることで、表示面20内での位置を指示する装置である。なお、ポインティングデバイス100を保持するユーザは、手Hのユーザと同じであってもよいし、異なっていてもよい。
The
<一般的な赤外式タッチディスプレイにおけるタッチ位置検出方式>
ここで、一般的な赤外式タッチディスプレイの表示面に、ユーザの手Hがタッチした時のタッチ位置を検出する方式について、図2を参照して説明する。図2は、赤外式タッチディスプレイにおける表示面のタッチ位置検出方式例を説明する図であり、(a)は赤外線遮断方式を説明する図、(b)は赤外線カメラ方式を説明する図である。
<Touch position detection method in general infrared touch display>
Here, a method for detecting the touch position when the user's hand H touches the display surface of a general infrared touch display will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of a touch position detection method on a display surface in an infrared touch display, in which (a) is a diagram illustrating an infrared cutoff method, and (b) is a diagram illustrating an infrared camera method. .
図2(a)において、赤外式タッチディスプレイ3は、表示面30を支持する外枠31に、赤外線光源アレイ32a及び32bと、赤外線センサアレイ33a及び33bとを備えている。
In FIG. 2A, the
赤外線光源アレイ32a及び32bのそれぞれは、赤外線を発する複数の光源を備えている。このような光源は、LED(Light Emitting Diode)光源等である。赤外線光源アレイ32aは、外枠31の長辺の1つに配列して設けられ、また、赤外線光源アレイ32bは、外枠31の短辺の1つに配列して設けられている。
Each of the infrared
赤外線センサアレイ33a及び33bのそれぞれは、受光した赤外線に応じた電気信号を出力する複数の受光素子を備えている。このような受光素子は、PD(Photo Diode)等である。赤外線センサアレイ33aは、外枠31の他方の長辺に配列して設けられ、また、赤外線センサアレイ33bは、外枠31の他方の短辺に配列して設けられている。
Each of the
赤外線光源アレイ32a及び32bの備える各光源が発する赤外線は、表示面30の表面に沿うようにして、図2(a)に破線で示した矢印の方向に伝搬し、赤外線センサアレイ33a及び33bの備える各受光素子で受光される。
The infrared rays emitted by the respective light sources of the infrared
ユーザの手Hが表示面30にタッチすると、伝搬する赤外線が手Hにより遮断され、遮断された位置が赤外線センサアレイ33a及び33bにより検出される。赤外線センサアレイ33aは、X方向の位置を検出し赤外線センサアレイ33bは、Y方向の位置を検出する。赤外線遮断方式では、このようにしてタッチ位置のXY座標が検出される。
When the user's hand H touches the
一方、図2(b)において、赤外式タッチディスプレイ4は、表示面40を支持する外枠41に、赤外線タッチセンサユニット42a及び42bと、再帰反射シート43とを備えている。
On the other hand, in FIG. 2B, the infrared touch display 4 includes an
赤外線タッチセンサユニット42は、赤外線を発するLED光源と、赤外線画像を撮像する赤外線カメラを備えている。赤外線タッチセンサユニット42aは、外枠41の長辺の1つにおける負のX方向の端部付近に設けられ、赤外線タッチセンサユニット42bは、正のX方向における端部付近に設けられている。
The infrared touch sensor unit 42 includes an LED light source that emits infrared light and an infrared camera that captures infrared images. The infrared
再帰反射シート43は、入射した光を入射した方向に強く反射する機能を有するシート状部材である。再帰反射シート43は、4つの辺のそれぞれに設けられている。
The
赤外線タッチセンサユニット42のそれぞれにおけるLED光源は、表示面40の平面に沿って、表示面40の略全体を照らすように広がる複数の赤外線を放射する。放射された赤外線は、再帰反射シート43によって入射方向に強く反射され、赤外線タッチセンサユニット42における赤外線カメラにより撮像される。
The LED light sources in each of the infrared touch sensor units 42 emit a plurality of infrared rays that spread along the plane of the
ユーザの手Hが表示面40にタッチすると、伝搬する赤外線が手Hにより遮断され、遮断された位置が影になった赤外線画像が赤外線カメラにより撮像される。撮像された赤外線画像の影の位置からタッチ位置のXY座標が検出される。
When the user's hand H touches the
実施形態に係るタッチディスプレイ2には、上述した赤外線遮断方式及び赤外線カメラ方式の何れの方式を適用してもよい。なお、静電容量方式や抵抗膜方式など、赤外式以外のタッチディスプレイは含まない。以下では、タッチディスプレイ2は、赤外線カメラ方式で表示面20へのタッチ位置を検出するものとして説明する。
The
<タッチディスプレイ2のハードウェア構成>
次に、実施形態に係るタッチディスプレイ2のハードウェア構成について、図3を参照して説明する。図3は、タッチディスプレイ2のハードウェア構成の一例を説明するブロック図である。
<Hardware configuration of
Next, the hardware configuration of the
図3に示すように、タッチディスプレイ2は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、SSD(Solid State Drive)204と、ネットワークI/F205と、外部機器接続I/F(Interface)206とを備える。
As shown in FIG. 3, the
これらのうち、CPU201は、タッチディスプレイ2全体の動作を制御する。ROM202は、CPU201やIPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。
Among these, the
RAM203は、CPU201のワークエリアとして使用される。SSD204は、タッチディスプレイ2用のプログラム等の各種データを記憶する。ネットワークI/F205は、タッチディスプレイ2に接続される通信ネットワークとの通信を制御する。
RAM 203 is used as a work area for
外部機器接続I/F206は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ230、外付け機器(マイク240、スピーカ250、カメラ260)である。
External device connection I/
また、タッチディスプレイ2は、GPU(Graphics Processing Unit)212と、ディスプレイコントローラ213と、赤外線タッチセンサユニット22と、タッチセンサコントローラ215と、通信I/F216と、近距離通信回路219と、近距離通信回路219のアンテナ219aと、電源スイッチ222と、選択スイッチ類223とを備える。
The
これらのうち、キャプチャデバイス211は、外付けのPC(Personal Computer)270のディスプレイの表示内容に対応する映像情報を静止画又は動画として表示面20に表示させる。GPU212は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ213は、GPU212からの出力画像を表示面20等へ出力するために画面表示の制御及び管理を行う。
Among these, the capture device 211 displays video information corresponding to the display content of the display of an external PC (Personal Computer) 270 on the
赤外線タッチセンサユニット22は、上述した赤外線カメラ方式により表示面20上にスタイラスペンやユーザの手H等のタッチ(接触)位置を検出する。外枠21(図1参照)の上側の長辺の左端部に赤外線タッチセンサユニット22に含まれる赤外線タッチセンサユニット22aが設置され、右端部に赤外線タッチセンサユニット22に含まれる赤外線タッチセンサユニット22bが設置されている。そして、それぞれが表示面20に平行して複数の赤外線を放射し、表示面20の周囲に設けられた再帰反射シートによって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光して、スタイラスペンやユーザの手H等のタッチ位置を検出する。
The infrared
タッチセンサコントローラ215は、赤外線タッチセンサユニット22の処理を制御する。赤外線タッチセンサユニット22は、ユーザの手H等によって遮断された赤外線のIDをタッチセンサコントローラ215に出力し、タッチセンサコントローラ215が、手Hのタッチ位置である座標位置を特定する。
The
通信I/F216は、2.4GHzの周波数帯を用いたBluetooth(登録商標)等の通信回路であり、後述するポインティングデバイス100と通信するためのインターフェースである。
The communication I/
近距離通信回路219は、NFC(Near Field Communication)やBluetooth等の通信回路である。電源スイッチ222は、タッチディスプレイ2の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類223は、例えば、表示面10の表示の明暗や色合い等を調整するためのスイッチ群である。
The near
更に、タッチディスプレイ2は、バスライン210を備えている。バスライン210は、図3に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
Furthermore, the
<ポインティングデバイス100のハードウェア構成>
次に、実施形態に係るポインティングデバイス100のハードウェア構成について、図4を参照して説明する。図4は、ポインティングデバイス100のハードウェア構成の一例を説明するブロック図である。図4に示すように、ポインティングデバイス100は、レンズ101と、光学フィルタ102と、撮像素子103と、方向センサ104と、処理部110とを備える。これらは、ポインティングデバイス100の筐体(図示を省略)の内部に設置されている。ここで、光学フィルタ102は「光学部材」の一例であり、撮像素子103は「撮像部」の一例であり、方向センサ104は「方向検出部」の一例である。
<Hardware configuration of
Next, the hardware configuration of the
レンズ101は、被写体であるタッチディスプレイ2の像を、光学フィルタ102を介して撮像素子103の撮像面上で結像させるレンズである。レンズ101は、筐体における内部と外部を連通させる開口部に取り付けられている。レンズ101は、樹脂やガラス等を材料とする1つのレンズ、又は複数のレンズの組合せで構成され、可視光及び赤外線等の任意の波長帯域の光を通過させて結像させる。
The
光学フィルタ102は、レンズ101と撮像素子103の間の光路に設けられ、所定の波長帯域の赤外線を選択的に通過させ、また、当該赤外線以外の可視光等の光を反射、又は吸収する光学フィルタである。所定の波長帯域の赤外線は、タッチディスプレイ2の外枠21(図1参照)に設置された赤外線タッチセンサユニット22(図3参照)が備える光源が発する赤外線である。光学フィルタ102は、樹脂やガラス等の透明な板状部材と、板状部材の表面に形成された多重反射膜によって構成されている。
The
撮像素子103は、光学フィルタ102を通過した赤外線が撮像面上で結像したタッチディスプレイ2の像を撮像するイメージセンサである。撮像素子103には、MOS(Metal Oxide Semiconductor Device)、CMOS(Complementary Metal Oxide Semiconductor Device)、CCD(Charge Coupled Device)等を用いることができる。
The
ここで、赤外線タッチセンサユニット22の備える光源から射出された赤外線は、表示面20の表面に沿って、略平行に伝搬し、外枠21で拡散反射する。拡散反射された赤外線の一部は、ユーザによって保持されたポインティングデバイス100の方向に伝搬する。
Here, the infrared rays emitted from the light source included in the infrared
ポインティングデバイス100の方向に伝搬する赤外線は、レンズ101及び光学フィルタ102を通過して撮像素子103の撮像面に到達する。撮像面上では、赤外線を拡散反射させた外枠21の像がレンズ101により結像される。赤外線以外の可視光等の光は光学フィルタ102により除去されるため、撮像素子103は、外枠21で発せられた赤外線による赤外線分布を特定するための画像を撮像し、処理部110に出力できる。
Infrared rays propagating in the direction of pointing
なお、上述した例では、レンズ101と撮像素子103との間の光路に配置された光学フィルタ102を例示したが、これに限定されるものではない。光学フィルタ102は、レンズ101と被写体であるタッチディスプレイ2との間に配置された構成にしてもよい。
In addition, in the example mentioned above, although the
また、赤外線タッチセンサユニット22の備える光源が発する赤外線を選択的に通過させる光学部材として、光学フィルタ102を例示したが、これに限定されるものではない。光学部材は、レンズ101の表面、撮像素子103の撮像面、又は当該撮像面の保護ガラス表面等に形成され、所定の波長帯域の赤外線を選択的に通過させる多重反射膜であってもよい。
Further, although the
また、赤外線による画像を撮像するため、レンズ101は、赤外線に対して収差が低減するように設計されていると好適である。
Further, since an image is taken using infrared rays, it is preferable that the
図4に戻り説明を続ける。方向センサ104は、ジャイロセンサ等の加速度センサである。ここで、ポインティングデバイス100を保持するユーザの保持の仕方によっては、ポインティングデバイス100が回転する場合がある。ポインティングデバイス100の回転により、撮像素子103で撮像される画像が回転して、後述する指示位置情報を正確に取得できない場合がある。特に、水平方向を軸とする回転(以下、ローリングという)は、撮像される画像内で赤外線分布61がローリングするため、指示位置情報への影響が顕著になる。
Returning to FIG. 4, the explanation will be continued. The
そこで、方向センサ104は、検出された方向センサ104の姿勢データに基づき重力方向を検出し、重力方向を示す方向データを処理部110に出力する。この方向データに基づき、ポインティングデバイス100の回転のうち、影響が大きいローリングが検出され、撮像される画像内で赤外線分布61のローリングが補正される。
Therefore, the
ここで、重力方向は「所定の方向」の一例である。但し、方向センサ104は、重力方向以外の所定方向を検出するものであってもよい。例えば、重力方向、水平方向、及びこれらと直交する方向の3軸方向を検出することで、ポインティングデバイス100のローリング、ピッチング、及びヨーイングを検出してもよい。この場合、撮像される画像内で赤外線分布61のローリング、ピッチング、及びヨーイングを補正できる。また、加速度センサに代えて、地磁気センサ等を用いてもよい。
Here, the direction of gravity is an example of a "predetermined direction." However, the
次に、処理部110は、撮像素子103から画像を入力し、また方向センサ104から方向データを入力して、次述する各種機能を実現する処理装置である。当該処理部110は、CPU111と、ROM112と、RAM113と、メモリ114と、送信I/F115と、撮像素子コントローラ116と、方向センサコントローラ117とを備える。これらの構成要素のそれぞれは、バスBを介して互いに接続されている。なお、上記構成要素は、有線通信及び無線通信の何れを介して接続されてもよい。
Next, the
CPU111は、プロセッサ等で構成され、ポインティングデバイス100の各部の動作及び全体動作を制御する。ROM112は、不揮発性半導体記憶装置等で構成され、ポインティングデバイス100で動作する各種プログラム及び各種パラメータを記憶する。RAM113は揮発性半導体記憶装置等で構成され、CPU111のワークエリアとして使用される。RAM113は、各種信号処理及び画像処理を施す際にデータを一時的に保存する記憶領域を提供する。
The CPU 111 is composed of a processor and the like, and controls the operation of each part of the
メモリ114は、各種プログラムで利用されるデータ並びに撮像素子103によって撮像された画像等の種々の情報を記憶する。メモリ114は、揮発性又は不揮発性の半導体メモリ、HDD(Hard Disk Drive)又はSSD(Solid State Drive)等の記憶装置で構成される。なお、メモリ114が、ROM112及び/又はRAM113を含んでもよい。
The
プログラムは、ROM112又はメモリ114等に予め保持されている。プログラムは、CPU111によって、ROM112又はメモリ114等からRAM113に読み出されて展開される。CPU111は、RAM113に展開されたプログラム中のコード化された各命令を実行する。なお、プログラムは、ROM112及びメモリ114に限らず、例えば記録ディスク等の記録媒体に格納されていてもよい。また、プログラムは、有線ネットワーク、無線ネットワーク又は放送等を介して伝送され、RAM113に取り込まれてもよい。
The program is stored in advance in the
送信I/F115は、処理部110で処理されたデータ及び又は信号をタッチディスプレイ2に送信するためのインターフェースであって、Bluetooth等の通信回路である。
The transmission I/
撮像素子コントローラ116は撮像素子103の処理を制御し、方向センサコントローラ117は方向センサ104の処理を制御する電気回路である。
The
[第1の実施形態]
<第1の実施形態に係る処理部110の機能構成>
次に、ポインティングデバイス100の備える処理部110の機能構成について、図5を参照して説明する。図5は、処理部110の機能構成の一例を説明するブロック図である。図5に示すように、処理部110は、二値化部121と、近似線生成部122と、回転補正部123と、初期位置決定部124と、移動量取得部125と、出力部126とを備える。
[First embodiment]
<Functional configuration of the
Next, the functional configuration of the
これらのうち、二値化部121、近似線生成部122、回転補正部123、初期位置決定部124、及び移動量取得部125のそれぞれの機能は、図4のCPU111が所定のプログラムを実行すること等により実現される。また、出力部126の機能は、送信I/F115等により実現される。
Among these, the respective functions of the
処理部110は、上記の構成により、撮像素子103から入力した画像、及び方向センサ104から入力した方向データに基づいて、表示面20内での位置を指示するための指示位置情報を取得し、タッチディスプレイ2に出力する。
With the above configuration, the
二値化部121は、撮像素子103が撮像した画像を入力し、画像における各画素の輝度値と予め定められた閾値とを比較することで、入力画像を二値化する。これにより、入力した画像における赤外線分布61に該当する画素を有効画素とし、赤外線分布61以外に該当する画素を無効画素とすることができる。二値化部121は、二値化処理後の画像を近似線生成部122に出力する。
The
近似線生成部122は、二値化画像における赤外線分布61を直線近似し、赤外線分布61の各辺(2つの長辺と2つの短辺)に対応する近似線が含まれる画像を生成する。なお、直線近似処理には、Hough変換やLSD(Line Segment Detector)等の従来の画像処理技術を適用できるため、さらなる詳細な説明は省略する。近似線生成部122は、生成した画像を回転補正部123に出力する。
The approximate
回転補正部123は、方向センサ104から入力した方向データに基づき、近似線生成部122から入力した画像を面内回転させ、ローリングを補正する。そして、補正後の画像を初期位置決定部124、又は移動量取得部125の何れかに出力する。
The
初期位置決定部124は、ローリング補正後の画像に基づき、表示面20への表示画像内におけるポインタ200の初期位置を決定する。換言すると、表示面20への画像の表示を開始させた時に、表示画像内に表示させるポインタ200の位置を決定する。
The initial
より具体的には、初期位置決定部124は、赤外線分布61の重心位置座標を算出し、当該重心位置座標の画像中心位置座標に対するベクトル(ずれ量Δd及びずれ方向φ)を算出する。そして、当該ベクトルに応じて、表示面20への表示画像の中心からずれた位置を、ポインタ200の初期位置として決定する。例えば、表示画像の中心から方向π-φに、ずれ量Δdに対応したずれ量Δd'だけずれた位置を、ポインタ200の初期位置として決定する。重心位置座標の算出方法には、有効画素のX座標の平均値及びY座標の平均値を算出する等の従来技術を適用可能である。
More specifically, the initial
初期位置決定部124は、決定した初期位置情報を出力部126に出力する。また、初期位置決定部124は、初期位置を決定後に、初期位置決定済みのフラグをRAM113等に記憶させる。このフラグは、回転補正部123が、補正後の画像の出力先を初期位置決定部124、又は移動量取得部125の何れかに決定する際に参照される。
The initial
移動量取得部125は、ポインティングデバイス100を傾ける等のユーザの操作に応じてポインタ200を移動させるための移動量を取得する。
The movement
より詳しくは、30Hz等のフレームレートで時系列に撮像素子103により撮像される画像に対して、上述した二値化部121、近似線生成部122、及び回転補正部123による処理が実行され、処理後の画像が移動量取得部125に入力される。移動量取得部125は、時系列の画像間における赤外線分布61の重心位置座標の変化量を、上記の移動量として算出し、移動量情報を出力部126に出力する。ここで、重心位置座標の変化量は、「重心位置情報」の一例である。
More specifically, the above-described processing by the
なお、上述した例では、フレームレートで移動量を算出して出力部126に出力するものを示したが、これに限定されるものではなく、フレームレートより低い周波数で移動量が算出されてもよい。
Note that in the above example, the amount of movement is calculated at the frame rate and outputted to the
出力部126は、初期位置決定部124から入力した初期位置情報、又は移動量取得部125から入力した移動量情報の何れか一方をタッチディスプレイ2に出力する。ここで、上記の初期位置情報及び移動量情報のそれぞれは、「指示位置情報」に対応する。
The
タッチディスプレイ2は、処理部110から入力した指示位置情報に応答した位置にポインタ200を含む表示画像を、表示面20に表示させる。
The
<処理後の画像例>
次に、処理部110の各機能部による処理後の画像について、図6~図10を参照して説明する。
<Example of image after processing>
Next, images processed by each functional unit of the
まず、図6は、二値化部121による処理の一例を説明する図である。図6において、撮像素子103により撮像された画像60には、赤外線分布61が含まれている。部分画像63は、画像60における破線で示した部分62を拡大して示したものである。部分画像63に含まれる格子は画素を表している。また、部分画像63内に梨地ハッチングで示した部分は、赤外線分布61の一部に該当する。部分画像64は、部分画像63の二値化処理後の画像を示している。赤外線分布61を構成する画素は有効画素なり、赤外線分布61以外を構成する画素は無効画素となる。
First, FIG. 6 is a diagram illustrating an example of processing by the
次に、図7は、近似線生成処理例を説明する図であり、(a)は処理前の画像を示す図、(b)は処理過程の画像を示す図、(c)は処理後の画像を示す図である。 Next, FIG. 7 is a diagram illustrating an example of approximate line generation processing, in which (a) shows an image before processing, (b) shows an image in the process, and (c) shows an image after processing. It is a figure showing an image.
二値化処理後の画像70に含まれる赤外線分布71を直線近似し、赤外線分布71の各辺に対応する近似線72a~72dが生成される。近似線72a~72d同士の交点を境界に画像を領域分割し、隣接する領域間で有効画素の数を比較する。そして、有効画素が多い方の領域に含まれる近似線を赤外線分布61の辺に該当する近似線として残し、有効画素が少ない方の領域に含まれる近似線を除去する(無効画素とする)。その結果、赤外線分布61の辺に該当する近似線のみが有効画素として残された近似線画像が生成される。
The
次に、図8は、回転補正部123による回転補正処理の一例を説明する図である。図8は、撮像素子103で撮像された画像80に含まれる赤外線分布81を示している。ポインティングデバイス100のローリングにより、画像80内で赤外線分布81が面内回転している。方向センサ104の検出した方向データにより重力方向に対する回転角度が分かるため、この回転角度で画像80を面内回転させることで、ローリングが補正された赤外線分布81が得られる。
Next, FIG. 8 is a diagram illustrating an example of rotation correction processing by the
次に、図9は、初期位置決定部124による初期位置決定処理の一例を示す図であり、(a)は赤外線分布近似後、初期位置決定処理前を示す図、(b)は赤外線分布近似結果の重心位置ずれを示す図、(c)は表示面20に表示されたポインタ200を示す図である。
Next, FIG. 9 is a diagram showing an example of initial position determination processing by the initial
図9(b)において「×」で示した重心位置93は、画像90に含まれる赤外線分布近似結果92の重心位置を示し、中心位置94は、画像90の中心位置を示している。重心位置93は、中心位置94に対し、ずれ方向φにずれ量Δdだけずれている。初期位置決定部124により決定された初期位置に応じて、表示面20では、表示画像の中心95から方向π-φにずれ量Δd'だけずれた位置を初期位置としてポインタ200が表示される(図9(c)参照)。
In FIG. 9B, a center of
次に、図10は、移動量取得部125による移動量取得処理の一例を説明する図であり、(a)は移動前の赤外線分布近似結果とポインタを示す図、(b)は移動後の赤外線分布近似結果とポインタを示す図である。
Next, FIG. 10 is a diagram illustrating an example of the movement amount acquisition process by the movement
図10(a)において、移動前の画像96aには赤外線分布近似結果97aが含まれ、画像96aの下方に示した表示面20には、赤外線分布近似結果97aに基づく位置に表示されたポインタ99aが含まれている。
In FIG. 10A, an
この状態からポインティングデバイス100が操作されると、図10(b)に示すように、画像96b内で赤外線分布近似結果97bが操作に応じて移動する。この移動量が移動量取得部125により取得され、取得された移動量に応じて、表示面20内でポインタ99bが矢印方向に移動する。
When the
<処理部110による処理の流れ>
次に、処理部110による処理の流れについて説明する。図11は、処理部110による処理の一例を説明するフローチャートである。
<Flow of processing by
Next, the flow of processing by the
まず、ステップS111において、二値化部121は、撮像素子103から撮像素子コントローラ116を介して入力した画像に対して二値化処理を実行し、処理後の画像を近似線生成部122に出力する。
First, in step S111, the
続いて、ステップS112において、近似線生成部122は、二値化画像における赤外線分布を直線近似し、赤外線分布61の各辺に対応する近似線が含まれる画像を生成し、生成した画像を回転補正部123に出力する。
Subsequently, in step S112, the approximation
続いて、ステップS113において、回転補正部123は、方向センサ104から方向センサコントローラ117を介して入力した方向データに基づき、近似線生成部122から入力した画像を面内回転させ、ローリングを補正する。
Subsequently, in step S113, the
続いて、ステップS114において、回転補正部123は、RAM113等に記憶されたフラグを参照して、初期位置を決定済みであるか否かを判定する。
Subsequently, in step S114, the
ステップS114で、初期位置を決定済みでないと判定された場合は(ステップS114、No)、回転補正部123は、補正後の画像を初期位置決定部124に出力する。
If it is determined in step S114 that the initial position has not been determined (step S114, No), the
その後、ステップS115において、初期位置決定部124は、ローリング補正後の画像に基づき、表示面20への表示画像内におけるポインタ200の初期位置を決定し、決定した初期位置情報を出力部126に出力する。
Thereafter, in step S115, the initial
一方、ステップS114で、初期位置を決定済みであると判定された場合は(ステップS114、Yes)、回転補正部123は、補正後の画像を移動量取得部125に出力する。
On the other hand, if it is determined in step S114 that the initial position has been determined (step S114, Yes), the
続いて、ステップS116において、移動量取得部125は、ポインタ200を移動させるための移動量を取得し、取得した移動量情報を出力部126に出力する。
Subsequently, in step S116, the movement
続いて、ステップS117において、出力部126は、入力した初期位置情報、又は移動量情報の何れか一方を、指示位置情報として、タッチディスプレイ2に出力する。
Subsequently, in step S117, the
このようにして、処理部110は、撮像素子103から入力した画像、及び方向センサ104から入力した方向データに基づいて、表示面20内での位置を指示するための指示位置情報をタッチディスプレイ2に出力できる。
In this way, the
<ポインティングデバイス100の作用効果>
以上説明したように、本実施形態では、撮像素子103で撮像された赤外線分布を特定するための画像と、方向センサ104で検出された重力方向を示す方向データとに基づいて取得された指示位置情報を、タッチディスプレイ2に出力する。
<Actions and effects of
As described above, in this embodiment, the indicated position is acquired based on the image for specifying the infrared distribution captured by the
表示面への画像の表示を開始させた時に、ポインティングデバイス100がタッチディスプレイ2に対して傾いていると、当該傾きに応じて赤外線分布の位置がずれ、このずれに応じた指示位置情報をタッチディスプレイ2に出力できる。これにより、表示面への画像の表示を開始させた時に、ポインタの初期位置を適切に決定することができ、赤外式タッチディスプレイにおけるポインティングで、キャリブレーション操作を不要にできる。また、タッチ位置検出で用いられる赤外線を利用し、新たに赤外線光源を設けないため、誤検知を起こさないようにすることができる。
If the
また、上述した効果に加え、ポインティングデバイス100の操作感度に関して以下の効果を得ることもできる。図12は、このような操作感度を説明する図であり、(a)は比較例に係るポインティングデバイスの場合を説明する図、(b)は実施形態に係るポインティングデバイス100の場合を説明する図である。
Furthermore, in addition to the above-mentioned effects, the following effects regarding the operation sensitivity of the
図12(a)において、表示面20に近い位置で、ポインティングデバイス300を角度θだけ傾けると表示面20では、ポインタが移動距離e1だけ移動する。一方、表示面20から遠い位置で、ポインティングデバイス300を同様に角度θだけ傾けると、表示面20では、近い位置の場合と同様にポインタが移動距離e1だけ移動する。従って、表示面20とポインティングデバイス300との間の距離によらず、角度θに対する移動距離の操作感度は一定となる。
In FIG. 12A, when the
これに対し、図12(b)に示すように、本実施形態では、表示面20に近い位置でポインティングデバイス100を角度θだけ傾けると、表示面20ではポインタが移動距離e1だけ移動する。また、表示面20から遠い位置でポインティングデバイス100を同様に角度θだけ傾けると、表示面20では、近い位置の場合より大きい移動距離e2だけポインタが移動する。つまり、表示面20とポインティングデバイス300との間の距離が長くなるにつれ、角度θに対する移動距離が大きくなるように操作感度が変化する。
On the other hand, as shown in FIG. 12B, in this embodiment, when the
本実施形態に係る操作感度は、レーザポインタによる表示面でのポインタの指示の場合と同様である。従って、本実施形態によれば、プレゼンテーション等で使用される機会が多いレーザポインタと同様の操作感覚で、ポインティングデバイスを操作できる。 The operation sensitivity according to this embodiment is the same as that of a pointer instruction on a display surface using a laser pointer. Therefore, according to this embodiment, the pointing device can be operated with the same operating feeling as a laser pointer, which is often used in presentations and the like.
なお、本実施形態では、赤外線を通過させる光学部材を備える例を示したが、このような光学部材を備えず、可視光と赤外線の両方により撮像される画像に基づき、指示位置情報を取得してもよい。但し、赤外線を選択的に通過させる光学部材を用いると、指示位置情報の取得には使用しない可視光を予め除去できるため、指示位置情報の取得処理を簡略化し、また高精度に指示位置情報を取得できる。 In this embodiment, an example is shown in which an optical member that transmits infrared rays is provided. It's okay. However, by using an optical member that selectively passes infrared rays, visible light that is not used to obtain indicated position information can be removed in advance, which simplifies the process of acquiring indicated position information and allows highly accurate indicated position information to be obtained. Can be obtained.
[第2の実施形態]
次に、第2の実施形態に係る表示システム1aを説明する。
[Second embodiment]
Next, a display system 1a according to a second embodiment will be explained.
ここで、第1の実施形態では、撮像素子103により撮像される画像に、赤外線分布61の4つの辺が全て含まれる場合を説明したが、例えば、ポインティングデバイス100がタッチディスプレイ2に近い位置にあるような場合、赤外線分布61が大きくなって、撮像素子103による撮像の視野内に赤外線分布61の全体が含まれない場合がある。換言すると、撮像素子103により撮像される画像に、赤外線分布における4本の辺が含まれない場合がある。本実施形態では、このような場合に、辺の配置情報と、辺の交点位置情報とに基づき取得された指示位置情報をタッチディスプレイ2に出力する。
Here, in the first embodiment, a case has been described in which the image captured by the
図13は、本実施形態に係るポインティングデバイス100aの備える処理部110aの機能構成の一例を説明するブロック図である。図13に示すように、処理部110aは、近似線数検出部127と、初期位置決定部124aと、移動量取得部125aとを備える。
FIG. 13 is a block diagram illustrating an example of the functional configuration of the
これらのうち、近似線数検出部127は、近似線生成部122により生成された近似線画像における近似線の個数を検出し、検出結果をRAM113に記憶する。ここで、近似線の個数は、「赤外線分布における辺の個数情報」に対応する。
Among these, the approximate line
初期位置決定部124aは、検出された近似線の個数が4本である場合は、上述した初期位置決定部124と同様の処理により、表示面20への表示画像内におけるポインタ200の初期位置を決定する。
If the number of detected approximate lines is four, the initial
一方、検出された近似線の個数が4本でない場合は、初期位置決定部124aは、近似線画像における近似線が赤外線分布61のどの部分に該当するかを識別し、識別された部分に対応する表示面内での位置を、ポインタ200を表示させる初期位置として決定する。初期位置決定部124aは、決定された初期位置情報を出力部126に出力する。なお、この詳細は、図15を用いて別途説明する。
On the other hand, if the number of detected approximate lines is not four, the initial
移動量取得部125aは、検出された近似線の個数が4本である場合は、上述した移動量取得部125と同様の処理により、ポインタ200を移動させるための移動量を取得する。一方、検出された近似線の個数が4本でない場合は、時系列の画像間における近似線の交点位置座標の変化量を、ポインタ200を移動させるための移動量として取得する。ここで、交点位置座標の変化量は、「交点位置情報」の一例である。移動量取得部125aは、取得した移動量情報を出力部126に出力する。
If the number of detected approximate lines is four, the movement
次に、図14は、撮像視野内に赤外線分布61の全体が含まれない場合における近似線生成部122による近似線生成処理の一例を説明する図であり、(a)は処理前の画像を示す図、(b)は処理過程の画像を示す図、(c)は処理後の画像を示す図である。
Next, FIG. 14 is a diagram illustrating an example of approximate line generation processing by the approximate
図14(a)に示すように、二値化処理後の画像140は、赤外線分布61の4つの辺のうちの2辺に該当する赤外線分布141を含んでいる。近似線生成部122は、赤外線分布141を直線近似し、赤外線分布141の各辺に対応する近似線142a~142bを生成する。近似線生成部122は、近似線142a~142b同士の交点を境界に画像を領域分割し、隣接する領域間で有効画素の数を比較する。そして、有効画素が多い方の領域に含まれる近似線を、赤外線分布61の辺に該当する近似線として残し、有効画素が少ない方の領域に含まれる近似線を除去する(無効画素とする)。その結果、赤外線分布61の辺に該当する近似線のみが有効画素として残された近似線画像が生成される。
As shown in FIG. 14A, the
図14の近似線画像の場合、近似線数検出部127は近似線の個数を2本として検出できる。
In the case of the approximate line image in FIG. 14, the approximate line
次に、図15は、初期位置決定部124aによる初期位置決定処理の一例を示す図であり、(a)は処理前の画像を示す図、(b)は表示面20に表示されたポインタ200を示す図である。
Next, FIG. 15 is a diagram showing an example of initial position determination processing by the initial
図15(a)に示すように、近似線画像150は、赤外線分布61の4つの辺のうちの2辺に対応する赤外線分布近似結果151を含んでいる。初期位置決定部124aは、赤外線分布近似結果151が表示面20の右上、右下、左上又は左下の何れに対応するかを判別する。この判別は、近似線の交点と近似線との相対位置関係に基づき行える。ここで、このような近似線の交点と近似線との相対位置関係は、「辺の配置情報」の一例である。
As shown in FIG. 15A, the
例えば、図15の場合、交点152に対して近似線は上側と左側にある。この場合は、赤外線分布近似結果151は表示面20の右下に対応する。他に、交点に対して近似線が上側と右側にある場合は、赤外線分布近似結果151は表示面20の左下に対応する。また、交点に対して近似線が下側と左側にある場合は、赤外線分布近似結果151は表示面20の右上に対応する。さらに、交点に対して近似線が下側と右側にある場合は、赤外線分布近似結果151は表示面20の左上に対応する。
For example, in the case of FIG. 15, the approximate lines are on the upper and left sides of the
初期位置決定部124aは、表示面20の右上、右下、左上又は左下の何れかを、ポインタ200を表示させる初期位置として決定し、表示面20の右上、右下、左上又は左下を識別する情報を、出力部126を介してタッチディスプレイ2に出力する。
The initial
初期位置決定部124aにより決定された初期位置に応じて、表示面20では、表示画像の右下を初期位置としてポインタ200が表示される(図15(b)参照)。
According to the initial position determined by the initial
<ポインティングデバイス100aの作用効果>
以上説明したように、本実施形態では、近似線画像における近似線の個数を検出し、近似線の個数が4本でない場合には、辺の配置情報と、辺の交点位置情報とに基づき取得された指示位置情報をタッチディスプレイ2に出力する。
<Actions and effects of
As explained above, in this embodiment, the number of approximate lines in the approximate line image is detected, and if the number of approximate lines is not 4, it is acquired based on the side arrangement information and the intersection position information of the sides. The indicated position information is output to the
これにより、撮像素子103による撮像の視野内に赤外線分布61の全体が含まれない場合においても指示位置情報を取得し、タッチディスプレイ2に出力できる。
Thereby, even if the entire
なお、本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。 Note that the present invention is not limited to the above-described specifically disclosed embodiments, and various modifications and changes can be made without departing from the scope of the claims.
また、実施形態は、位置指示方法も含む。例えば、位置指示方法は、電子機器の備える表示面の外枠で発せられた赤外線分布を検出する工程と、所定方向を検出する工程と、前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力する工程と、を含む。このような位置指示方法により、上述した位置指示装置と同様の効果を得ることができる。 Embodiments also include a position pointing method. For example, the position indication method includes a step of detecting an infrared distribution emitted from an outer frame of a display screen of an electronic device, a step of detecting a predetermined direction, and an instruction obtained based on the infrared distribution and the predetermined direction. The method includes a step of outputting position information to the electronic device. With such a position pointing method, it is possible to obtain the same effects as the above-described position pointing device.
また、実施形態は、プログラムも含む。例えば、プログラムは、電子機器の備える表示面の外枠で発せられた赤外線分布を検出させ、所定方向を検出させ、前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力する処理をコンピュータに実行させる。このようなプログラムにより、上述した位置指示装置と同様の効果を得ることができる。 The embodiments also include programs. For example, the program detects the infrared distribution emitted from the outer frame of the display screen of the electronic device, detects a predetermined direction, and uses the indicated position information acquired based on the infrared distribution and the predetermined direction on the electronic device. Have the computer perform processing to output to the device. With such a program, it is possible to obtain the same effects as the above-mentioned position pointing device.
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。 Moreover, each function of the embodiment described above can be realized by one or more processing circuits. Here, the term "processing circuit" as used herein refers to a processor programmed to execute each function by software, such as a processor implemented by an electronic circuit, or a processor designed to execute each function explained above. This includes devices such as ASICs (Application Specific Integrated Circuits), DSPs (digital signal processors), FPGAs (field programmable gate arrays), and conventional circuit modules.
1 表示システム
2 タッチディスプレイ(電子機器の一例)
20 表示面
21 外枠
22 赤外線タッチセンサユニット
215 タッチセンサコントローラ
216 通信I/F
100 ポインティングデバイス(位置指示装置の一例)
101 レンズ
102 光学フィルタ(光学部材の一例)
103 撮像素子(撮像部の一例)
104 方向センサ(方向検出部の一例)
110 処理部
115 送信I/F
121 二値化部
122 近似線生成部
123 回転補正部
124 初期位置決定部
125 移動量取得部
126 出力部
127 近似線数検出部
200 ポインタ
H ユーザの手
Δd ずれ量
φ ずれ方向
1
20
100 Pointing device (an example of a position pointing device)
103 Image sensor (an example of an image sensor)
104 Direction sensor (an example of a direction detection unit)
110
121
Claims (6)
所定方向を検出する方向検出部と、
前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力する出力部と、を備え、
前記出力部は、
前記撮像部により撮像された画像に前記赤外線分布の全体が含まれる場合、該画像に含まれる前記赤外線分布の重心位置情報に基づき取得された前記指示位置情報を、前記電子機器に出力し、
前記撮像部により撮像された画像に前記赤外線分布の全体が含まれない場合、該画像に含まれる前記赤外線分布における辺の個数情報と、前記辺の配置情報と、前記辺の交点位置情報と、に基づき取得された前記指示位置情報を、前記電子機器に出力する、
位置指示装置。 an imaging unit that captures an image for identifying the distribution of infrared rays emitted from the outer frame of a display surface of the electronic device;
a direction detection unit that detects a predetermined direction;
an output unit that outputs the indicated position information acquired based on the infrared distribution and the predetermined direction to the electronic device ,
The output section is
When the image captured by the imaging unit includes the entire infrared distribution, outputting the indicated position information acquired based on the center of gravity position information of the infrared distribution included in the image to the electronic device;
When the image captured by the imaging unit does not include the entire infrared distribution, information on the number of sides in the infrared distribution included in the image, arrangement information on the sides, and information on the intersection position of the sides; outputting the indicated position information acquired based on to the electronic device;
Position indicating device.
前記撮像部は、
前記光学部材を通過した前記赤外線分布を検出する
請求項1に記載の位置指示装置。 Equipped with an optical member that selectively passes infrared rays ,
The imaging unit includes:
The position pointing device according to claim 1, wherein the infrared distribution that has passed through the optical member is detected.
請求項1、又は2に記載の位置指示装置。 3. The position pointing device according to claim 1, wherein the predetermined direction is one of three axial directions: a gravitational direction, a horizontal direction, and a direction orthogonal to these directions .
前記表示面の外枠で発せられた赤外線分布を特定するための画像を撮像する撮像部と、
所定方向を検出する方向検出部と、
前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力する出力部と、を備え、
前記出力部は、
前記撮像部により撮像された画像に前記赤外線分布の全体が含まれる場合、該画像に含まれる前記赤外線分布の重心位置情報に基づき取得された前記指示位置情報を、前記電子機器に出力し、
前記撮像部により撮像された画像に前記赤外線分布の全体が含まれない場合、該画像に含まれる前記赤外線分布における辺の個数情報と、前記辺の配置情報と、前記辺の交点位置情報と、に基づき取得された前記指示位置情報を、前記電子機器に出力する、
表示システム。 A display system comprising: an electronic device having a display surface; and a position indicating device for indicating the position of an instruction figure displayed on the display surface, the display system comprising:
an imaging unit that captures an image for identifying the distribution of infrared rays emitted from the outer frame of the display surface;
a direction detection unit that detects a predetermined direction;
an output unit that outputs the indicated position information acquired based on the infrared distribution and the predetermined direction to the electronic device ,
The output section is
When the image captured by the imaging unit includes the entire infrared distribution, outputting the indicated position information acquired based on the center of gravity position information of the infrared distribution included in the image to the electronic device;
When the image captured by the imaging unit does not include the entire infrared distribution, information on the number of sides in the infrared distribution included in the image, arrangement information on the sides, and information on the intersection position of the sides; outputting the indicated position information acquired based on to the electronic device;
display system.
方向検出部により、所定方向を検出する工程と、
出力部により、前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力する工程と、を備え、
前記出力部は、
前記撮像部により撮像された画像に前記赤外線分布の全体が含まれる場合、該画像に含まれる前記赤外線分布の重心位置情報に基づき取得された前記指示位置情報を、前記電子機器に出力し、
前記撮像部により撮像された画像に前記赤外線分布の全体が含まれない場合、該画像に含まれる前記赤外線分布における辺の個数情報と、前記辺の配置情報と、前記辺の交点位置情報と、に基づき取得された前記指示位置情報を、前記電子機器に出力する、
位置指示方法。 a step of using an imaging unit to capture an image for identifying the distribution of infrared rays emitted from an outer frame of a display surface of the electronic device;
a step of detecting a predetermined direction by a direction detection section ;
outputting, by an output unit, the indicated position information acquired based on the infrared distribution and the predetermined direction to the electronic device ,
The output section is
When the image captured by the imaging unit includes the entire infrared distribution, outputting the indicated position information acquired based on the center of gravity position information of the infrared distribution included in the image to the electronic device;
When the image captured by the imaging unit does not include the entire infrared distribution, information on the number of sides in the infrared distribution included in the image, arrangement information on the sides, and information on the intersection position of the sides; outputting the indicated position information acquired based on to the electronic device;
Position indication method.
方向検出部により、所定方向を検出し、
出力部により、前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力し、
前記出力部は、
前記撮像部により撮像された画像に前記赤外線分布の全体が含まれる場合、該画像に含まれる前記赤外線分布の重心位置情報に基づき取得された前記指示位置情報を、前記電子機器に出力し、
前記撮像部により撮像された画像に前記赤外線分布の全体が含まれない場合、該画像に含まれる前記赤外線分布における辺の個数情報と、前記辺の配置情報と、前記辺の交点位置情報と、に基づき取得された前記指示位置情報を、前記電子機器に出力する、
処理をコンピュータに実行させるプログラム。 The imaging unit captures an image for identifying the distribution of infrared rays emitted from the outer frame of the display screen of the electronic device,
A direction detection unit detects a predetermined direction,
outputting the indicated position information acquired based on the infrared distribution and the predetermined direction by the output unit to the electronic device ;
The output section is
When the image captured by the imaging unit includes the entire infrared distribution, outputting the indicated position information acquired based on the center of gravity position information of the infrared distribution included in the image to the electronic device;
When the image captured by the imaging unit does not include the entire infrared distribution, information on the number of sides in the infrared distribution included in the image, arrangement information on the sides, and information on the intersection position of the sides; outputting the indicated position information acquired based on to the electronic device;
A program that causes a computer to perform a process.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019141607A JP7371382B2 (en) | 2019-07-31 | 2019-07-31 | Position pointing device, display system, position pointing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019141607A JP7371382B2 (en) | 2019-07-31 | 2019-07-31 | Position pointing device, display system, position pointing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021026333A JP2021026333A (en) | 2021-02-22 |
JP7371382B2 true JP7371382B2 (en) | 2023-10-31 |
Family
ID=74663022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019141607A Active JP7371382B2 (en) | 2019-07-31 | 2019-07-31 | Position pointing device, display system, position pointing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7371382B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005096129A1 (en) | 2004-03-31 | 2005-10-13 | Tamura Corporation | Method and device for detecting directed position of image pickup device and program for detecting directed position of image pickup device |
JP2005293089A (en) | 2004-03-31 | 2005-10-20 | Namco Ltd | Arrangement information detecting system, game system, program, information storage medium and method for controlling arrangement information detecting system |
JP2009064409A (en) | 2007-03-26 | 2009-03-26 | Avago Technologies Ecbu Ip (Singapore) Pte Ltd | System and method for tracking input device using display screen in captured frames of image data |
JP2010207329A (en) | 2009-03-09 | 2010-09-24 | Nintendo Co Ltd | Coordinate calculation device and coordinate calculation program |
JP2011244940A (en) | 2010-05-25 | 2011-12-08 | Taito Corp | Position indicator and game apparatus |
-
2019
- 2019-07-31 JP JP2019141607A patent/JP7371382B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005096129A1 (en) | 2004-03-31 | 2005-10-13 | Tamura Corporation | Method and device for detecting directed position of image pickup device and program for detecting directed position of image pickup device |
JP2005293089A (en) | 2004-03-31 | 2005-10-20 | Namco Ltd | Arrangement information detecting system, game system, program, information storage medium and method for controlling arrangement information detecting system |
JP2009064409A (en) | 2007-03-26 | 2009-03-26 | Avago Technologies Ecbu Ip (Singapore) Pte Ltd | System and method for tracking input device using display screen in captured frames of image data |
JP2010207329A (en) | 2009-03-09 | 2010-09-24 | Nintendo Co Ltd | Coordinate calculation device and coordinate calculation program |
JP2011244940A (en) | 2010-05-25 | 2011-12-08 | Taito Corp | Position indicator and game apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2021026333A (en) | 2021-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8971565B2 (en) | Human interface electronic device | |
US9176628B2 (en) | Display with an optical sensor | |
JP4927021B2 (en) | Cursor control device and control method for image display device, and image system | |
US20110205189A1 (en) | Stereo Optical Sensors for Resolving Multi-Touch in a Touch Detection System | |
US20100207909A1 (en) | Detection module and an optical detection device comprising the same | |
US9454260B2 (en) | System and method for enabling multi-display input | |
KR20140060297A (en) | Method for detecting motion of input body and input device using same | |
US8269750B2 (en) | Optical position input system and method | |
JP2003114755A (en) | Device for inputting coordinates | |
KR20100121512A (en) | Systems and methods for resolving multitouch scenarios for optical touchscreens | |
TWI498785B (en) | Touch sensor apparatus and touch point detection method | |
JP2013513852A (en) | Optical touch screen | |
JP2005004278A (en) | Coordinate input device | |
JP4054847B2 (en) | Optical digitizer | |
JP2005107607A (en) | Optical position detecting apparatus | |
JP2014197384A (en) | Stylus, and optical touch panel device | |
US12025719B2 (en) | Determining imperfections in an imaging camera for determining the orientation of objects in space | |
JP6528964B2 (en) | INPUT OPERATION DETECTING DEVICE, IMAGE DISPLAY DEVICE, PROJECTOR DEVICE, PROJECTOR SYSTEM, AND INPUT OPERATION DETECTING METHOD | |
US8854338B2 (en) | Display apparatus and method of controlling display apparatus | |
RU2362216C1 (en) | Device for three-dimensional manipulation | |
JP7371382B2 (en) | Position pointing device, display system, position pointing method, and program | |
JP2003280802A (en) | Coordinate inputting device | |
TW201516809A (en) | Optical touch system, method of touch detection, and computer program product | |
TWI582672B (en) | An optical touch device and touch detecting method using the same | |
TWI471757B (en) | Hand posture detection device for detecting hovering and click |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7371382 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |