JPWO2014034049A1 - スタイラス検出装置およびスタイラス検出方法 - Google Patents

スタイラス検出装置およびスタイラス検出方法 Download PDF

Info

Publication number
JPWO2014034049A1
JPWO2014034049A1 JP2013558258A JP2013558258A JPWO2014034049A1 JP WO2014034049 A1 JPWO2014034049 A1 JP WO2014034049A1 JP 2013558258 A JP2013558258 A JP 2013558258A JP 2013558258 A JP2013558258 A JP 2013558258A JP WO2014034049 A1 JPWO2014034049 A1 JP WO2014034049A1
Authority
JP
Japan
Prior art keywords
stylus
camera
unit
detection device
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013558258A
Other languages
English (en)
Other versions
JP6225031B2 (ja
Inventor
伸輔 緒方
伸輔 緒方
宮崎　秋弘
秋弘 宮崎
武史 島本
武史 島本
智生 木村
智生 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2014034049A1 publication Critical patent/JPWO2014034049A1/ja
Application granted granted Critical
Publication of JP6225031B2 publication Critical patent/JP6225031B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

スタイラスの位置を精度良く検出できるスタイラス検出装置を提供することにある。本発明のスタイラス検出装置（１００）は、スタイラス（１０３）が指す位置である指示位置を検出するスタイラス検出装置であって、第一カメラ（１０１）と、第一カメラ（１０１）とは異なる位置に配置され、第一カメラ（１０１）の撮影対象の少なくとも一部を撮影する第二カメラ（１０２）と、第一カメラおよび第二カメラによりそれぞれ撮影された２枚の画像を用いてスタイラスの軸の三次元上の位置および姿勢を検出する軸検出部（１２２）と、軸検出部により三次元上の位置および姿勢が検出されたスタイラスの軸が指す方向を示す直線と、第一カメラおよび第二カメラに対して予め定められた位置関係にある対象面との交点を指示位置として算出する指示位置検出部（１２３）とを有する制御部（１２１）と、を備える。

Description

本発明は、スタイラスが指す位置である指示位置を検出し、検出した指示位置を用いて表示処理を行うスタイラス検出装置およびスタイラス検出方法に関する。
従来、画面上に表示されるポインタやアイコンを操作する入力装置には、スタイラスの位置を検出することにより、当該位置の移動量および移動方向に応じて画面上に表示されるポインタを移動させるものがある（特許文献１参照）。
特開２０１１−１８０６９０号公報
しかしながら、特許文献１の技術では、スタイラスの位置を精度良く検出できないという問題がある。
そこで、本発明の目的は、かかる問題に鑑みてなされたものであって、スタイラスの位置を精度良く検出できるスタイラス検出装置およびスタイラス検出方法を提供することにある。
上記目的を達成するために、本発明の一態様に係るスタイラス検出装置は、スタイラスが指す位置である指示位置を検出するスタイラス検出装置であって、第一カメラと、前記第一カメラとは異なる位置に配置され、前記第一カメラの撮影対象の少なくとも一部を撮影する第二カメラと、前記第一カメラおよび前記第二カメラによりそれぞれ撮影された２枚の画像を用いて前記スタイラスの軸の三次元上の位置および姿勢を検出する軸検出部と、前記軸検出部により三次元上の位置および姿勢が検出された前記スタイラスの軸が指す方向を示す直線と、前記第一カメラおよび前記第二カメラに対して予め定められた位置関係にある対象面との交点を前記指示位置として算出する指示位置検出部とを有する制御部と、を備える。
これによれば、第一カメラおよび第二カメラにより撮影された一対の画像からスタイラスの軸を検出し、検出した軸を延ばした直線と、第一カメラおよび第二カメラに対して予め定められた位置関係にある面との交点をスタイラスが指す位置である指示位置として検出する。このため、例えば、ユーザがスタイラスの先端部分を持っていたとしても、ユーザが持っていないスタイラスの部分の画像からスタイラスが指す指示位置を検出することができる。このように、ユーザが把持する位置にかかわらず、スタイラスが指し示す指示位置を検出することができるため、精度良く指示位置を検出できる。
なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明のスタイラス検出装置は、精度良くスタイラスの位置を検出することができる。
図１は、本発明の実施の形態１におけるスタイラス検出装置の概略斜視図である。 図２は、本発明の実施の形態１におけるスタイラス検出装置の構成を示すブロック図である。 図３は、制御部により行われる指示位置検出処理の流れを示すフローチャートである。 図４は、制御部により行われる指示位置検出処理の内容を説明するための図である。 図５は、実施の形態１の変形例１に係るスタイラス検出装置の構成を示す図である。 図６は、実施の形態１の変形例２に係るスタイラス検出装置の構成を示す図である。 図７は、実施の形態１の変形例２に係る指示位置検出処理の流れを示すフローチャートである。 図８は、実施の形態１の変形例２に係る編み物支援を行うためのスタイラス検出装置の構成を示す図である。 図９は、実施の形態１の変形例３に係るスタイラス検出装置の構成を示す図である。 図１０は、実施の形態１の変形例５に係るスタイラス検出装置の構成を示す図である。 図１１は、実施の形態１の変形例５の別の形態に係るスタイラス検出装置の構成を示す図である。 図１２は、各発光部の発光パターンと、各カメラにより複数のフレームが撮影されるタイミングとを示す図である。 図１３は、実施の形態２に係るスタイラス検出装置の構成を示す図である。 図１４は、撮像素子の最小単位である１画素分の構成を示す図である。 図１５は、実施の形態３に係るスタイラス検出装置の構成を示す図である。 図１６は、実施の形態３に係るスタイラス検出装置の照射制御部による照射制御を説明するための図である。 図１７は、実施の形態３の別の形態に係るスタイラス検出装置の構成を示す図である。
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、スタイラス検出装置に関し、以下の問題が生じることを見出した。
特許文献１では、スタイラスの先端に設けられたＬＥＤの位置を、カメラにより撮影された画像から検出することにより、スタイラスが指示する点の位置を検出している。しかしながら、鉛筆を持つようにスタイラスの先端部を握っている場合には、スタイラスの先端がユーザの手によって隠れやすく、スタイラスの先端をカメラにより認識することは困難である。
また、スタイラスの位置を検出する方式には、特許文献１のようなスタイラスの先端のＬＥＤを光学認識（カメラ）で検出する方式の他に、タッチパネル方式、磁気センサ方式などの場合がある。しかし、タッチパネル方式および磁気センサ方式の場合には以下の点で、精度良くスタイラスの位置を検出することは困難である。
タッチパネル方式では、スタイラスが接触または近接している位置を検出するタッチパネルを用いるため、スタイラスがタッチパネルに接触または近接している必要がある。このため、例えば、ユーザの手がタッチパネルに接触する等のように、スタイラスの先端以外の部分が接触する場合には、正確にスタイラスの先端を検出することが難しいという問題がある。
また、磁気センサ方式の場合には、精度良くスタイラスの位置を検出することは困難である。
このような問題を解決するために、本発明の一態様に係るスタイラス検出装置は、スタイラスが指す位置である指示位置を検出するスタイラス検出装置であって、第一カメラと、前記第一カメラとは異なる位置に配置され、前記第一カメラの撮影対象の少なくとも一部を撮影する第二カメラと、前記第一カメラおよび前記第二カメラによりそれぞれ撮影された２枚の画像を用いて前記スタイラスの軸の三次元上の位置および姿勢を検出する軸検出部と、前記軸検出部により三次元上の位置および姿勢が検出された前記スタイラスの軸が指す方向を示す直線と、前記第一カメラおよび前記第二カメラに対して予め定められた位置関係にある対象面との交点を前記指示位置として算出する指示位置検出部とを有する制御部と、を備える。
これによれば、第一カメラおよび第二カメラにより撮影された一対の画像からスタイラスの軸を検出し、検出した軸を延ばした直線と、第一カメラおよび第二カメラに対して予め定められた位置関係にある面との交点をスタイラスが指す位置である指示位置として検出する。このため、例えば、ユーザがスタイラスの先端部分を持っていたとしても、ユーザが持っていないスタイラスの部分の画像からスタイラスが指す指示位置を検出することができる。このように、ユーザが把持する位置にかかわらず、スタイラスが指し示す指示位置を検出することができるため、精度良く指示位置を検出できる。
また、例えば、前記軸検出部は、前記第一カメラにより撮影された第一画像上の前記スタイラスの軸である第一軸と、前記第二カメラにより撮影された第二画像上の前記スタイラスの軸である第二軸とを算出し、算出した前記第一軸および前記第一カメラの位置が通る第一平面と、算出した前記第二軸および前記第二カメラの位置が通る第二平面とを算出し、算出した前記第一平面と前記第二平面とが交わる交線を前記スタイラスの軸の三次元上の位置および姿勢として検出してもよい。
これによれば、第一画像に写り込んだスタイラスの像から算出される第一平面と、第二画像に写り込んだスタイラスの像から算出される第二平面とが交差する交線をスタイラスの軸として検出する。このため、軸検出部は、精度よくスタイラスの軸を検出することができる。
また、例えば、前記スタイラス検出装置は、さらに、表示部を備え、前記制御部は、さらに、前記指示位置検出部により算出された指示位置に対応する前記表示部の所定位置にポインタを表示させる表示処理部を有してもよい。
これによれば、スタイラスが指示する位置である指示位置に対応して、表示部に表示されるポインタの位置が定まる。このため、スタイラスを動かすことにより表示部に表示されるポインタを動かすことができる。
また、例えば、前記対象面は、前記表示部の表示面であり、前記表示処理部は、前記指示位置に一致するように、前記ポインタを前記表示部に一致させてもよい。
これによれば、指示位置と、表示部においてポインタが表示される位置とを、一致させて表示させる。このためユーザは、直接的にポインタを移動させることができ、直感的に操作することができる。
また、例えば、前記対象面は、前記表示部の表示面とは異なる物理的な面であってもよい。
また、例えば、前記対象面は、仮想的な面であってもよい。
また、例えば、スタイラスが指す三次元空間での位置である指示位置を検出するスタイラス検出装置であって、第一カメラと、前記第一カメラとは異なる位置に配置され、前記第一カメラの撮影対象の少なくとも一部を撮影する第二カメラと、前記スタイラスの長さを予め記憶している記憶部と、前記第一カメラおよび前記第二カメラによりそれぞれ撮影された２枚の画像を用いて前記スタイラスの軸の三次元上の位置および姿勢を検出する軸検出部と、前記第一カメラおよび前記第二カメラによりそれぞれ撮影された２枚の画像を用いて前記スタイラスの後端部の位置を検出する後端部検出部と、検出された前記スタイラスの軸の三次元上の位置および姿勢、並びに、前記スタイラスの後端部の位置と、前記記憶部により予め記憶されている前記スタイラスの長さとから前記スタイラスの先端部の三次元空間での位置を前記指示位置として算出する指示位置検出部とを有する制御部と、を備えるスタイラス検出装置としてもよい。
これによれば、第一カメラおよび第二カメラにより撮影された一対の画像からスタイラスの軸を検出し、検出されたスタイラスの軸と、予め記憶されているスタイラスの長さと、スタイラスの後端部の位置とからスタイラスの先端部の三次元の位置を指示位置として算出する。このため、例えば、ユーザがスタイラスの先端部分を持っていたとしても、ユーザが持っていないスタイラスの部分の画像からスタイラスが指す指示位置を検出することができる。このように、ユーザが把持する位置にかかわらず、スタイラスが指し示す指示位置を検出することができるため、精度良く指示位置を検出できる。また、三次元の位置を指示位置として算出するため、三次元空間に描画を行うことができる入力装置として利用できる。
また、例えば、前記スタイラス検出装置は、さらに、表示部を備え、前記制御部は、さらに、前記指示位置検出部により算出された前記指示位置に対応する前記表示部の所定位置に表示されるポインタが移動したときの軌跡を、前記表示部に表示させる表示処理部を有してもよい。
これによれば、ユーザはスタイラスを移動させることにより、移動されたポインタの軌跡を表示部に表示させることができる。
また、例えば、前記制御部は、さらに、前記指示位置の軌跡を第一描画形態で描画する第一機能と、当該軌跡を前記第一描画形態とは異なる第二描画形態で描画する第二機能とのうちの一つの機能に設定する機能設定部を有し、前記表示処理部は、前記第一機能および前記第二機能のうちで前記機能設定部により設定された機能に応じて前記軌跡の表示処理を行ってもよい。
これによれば、機能設定部により設定された機能に応じた形態で指示位置の軌跡を表示部に表示させる。例えば、ユーザの操作により第一機能として黒い線を描く第一描画形態で描画する機能と、第二機能として赤い線を描く第二描画形態で描画する機能とを設定することができ、ユーザはこれらの描画形態を切り換えることにより、ユーザの所望の描画形態により指示位置の軌跡を表示部に表示させることができる。
また、例えば、前記スタイラス検出装置は、さらに、前記スタイラスに設けられ、前記スタイラスにユーザからの圧力が加えられたことを検出する圧力検出部を備え、前記機能設定部は、圧力が加えられたことを前記圧力検出部が検出しているときに前記第一機能に設定し、圧力が加えられたことを前記圧力検出部が検出していないときに前記第二機能に設定してもよい。
これによれば、ユーザによる圧力を検出できる圧力検出部がスタイラスに設けられており、機能設定部は、圧力の有無に応じて第一機能と第二機能とのうちのいずれかに設定する。このように、ユーザは、スタイラスに加える圧力の有無で、描画形態を切り換えることができる。このため、ユーザは、手元で容易に表示部に表示される描画形態を切り換えることができる。
また、例えば、前記スタイラス検出装置は、さらに、前記スタイラスに設けられ、オンオフ可能なスイッチを備え、前記機能設定部は、前記スイッチがオンのときに前記第一機能に設定し、前記スイッチがオフのときに前記第二機能に設定してもよい。
これによれば、オンオフ可能なスイッチがスタイラスに設けられており、機能設定部は、スイッチのオンオフに応じて第一機能と第二機能とのうちのいずれかに設定する。このように、ユーザは、スタイラスに設けられたスイッチのオンオフを切り換えることで、描画形態を切り換えることができる。このため、ユーザは、手元で容易に表示部に表示される描画形態を切り換えることができる。
また、例えば、前記機能設定部は、前記第一カメラまたは前記第二カメラにより撮影された画像上の前記スタイラスの外観に応じて、前記第一機能および前記第二機能のうちの一つの機能に設定してもよい。
このため、ユーザは、例えば、スタイラスの種類を変える、スタイラスの一部を交換するなどにより、機能設定部により設定される描画形態を切り換えることができる。
また、例えば、前記機能設定部は、検出された前記スタイラスの軸の傾きに応じて、前記第一機能および前記第二機能のうちの一つの機能に設定してもよい。
このため、ユーザは、スタイラスを持ったときの傾きを変えることで、描画形態を切り換えることができる。このため、ユーザは、手元を動かすことのみで、容易に表示部に表示される描画形態を切り換えることができる。
また、例えば、前記機能設定部は、検出された前記スタイラスの軸と前記対象面との角度が大きくなるほど、細くまたは太く描画されるように機能を設定してもよい。
このため、ユーザは、スタイラスを持ったときの傾きを変えることで、無段階に描画される線の太さを変えることができる。
また、例えば、前記機能設定部は、前記スタイラスの軸の傾き、前記ポインタの位置、または前記スタイラスの後端部の位置の単位時間あたりの変位量が予め定められた閾値を超えた場合に、前記第一機能および前記第二機能のうちの一つの機能に設定してもよい。
これによれば、ユーザは、例えばスタイラスを振る、スタイラスをペン回しの要領で回すなどのスタイラスを素早く動かす動作を行うことにより、スタイラスの軸の傾き、ポインタの位置、またはスタイラスの後端部の位置の単位時間あたりの変位量が予め定められた閾値を超えた場合に、機能設定部により設定される描画形態を切り換えることができる。
また、例えば、前記制御部は、さらに、前記スタイラスの軸を複数検出した場合に、検出した複数のスタイラスの指示位置ごとにそれぞれ異なる描画形態で描画させるユーザ選択部を有してもよい。
これによれば、複数のユーザがそれぞれスタイラスを用いて入力する場合であっても、それぞれのユーザに応じた描画形態で描画することができる。このため、ユーザは、描画結果がどのユーザが描画したものであるのかを区別することが容易にできる。
また、例えば、さらに、前記表示処理により描画の表示を行う表示部と、前記第一カメラおよび前記第二カメラの撮影対象となる空間に赤外線を照射する照射部と、を備え前記表示部は、前記照射部が照射する赤外線の周波数帯域とは異なる周波数帯域の光を発光してもよい。
これによれば、照射部が照射する赤外線の周波数帯域と、表示部が発光する光の周波数帯域とは異なる。このため、例えば、太陽光などの外部からの光が遮断されている状況下では、第一カメラおよび第二カメラにおいて撮影される画像のうちで赤外線の周波数帯域が検出される領域に写り込んだ像は、照射部により照射された赤外線由来の像である。つまり、少なくとも表示部が発光する光由来の像または表示部そのものの像が撮影されていても、表示部が発光する光由来の像については無視できる。これにより、第一カメラおよび第二カメラに撮影される画像のうちで赤外線の周波数帯域が検出される領域に写り込んだ像は、表示部が発光する光由来の像ではないため、スタイラスの検出誤差を低減することができる。また、例えば、スタイラスの素材として、赤外線を反射する素材を利用すれば、さらにスタイラスの検出精度を向上させることができる。また、例えば、赤外線を吸収する素材で表示部などのスタイラス以外の部材の素材を構成すれば、さらにスタイラスの検出精度を向上させることができる。
また、例えば、さらに、前記第一カメラおよび前記第二カメラの撮影対象となる空間に赤外線を照射する照射部を備え、前記第一カメラまたは前記第二カメラの撮像素子は、ＲＧＢを検出するＲＧＢセンサと、赤外線を検出するＩＲセンサとを有し、前記制御部は、さらに、前記第一カメラおよび前記第二カメラが毎秒ｎフレーム（ｎは自然数）のキャプチャを行う場合、前記照射部による照射を行いつつ前記ＩＲセンサによるＩＲ検出を行い、当該ＩＲ検出の間に少なくとも１／ｎフレームのタイミングで前記ＲＧＢセンサによるＲＧＢ検出を行う第一モードと、前記ＲＧＢ検出を行い、当該ＲＧＢ検出の間に少なくとも１／ｎフレームのタイミングで前記照射部による照射および前記ＩＲ検出を行う第二モードと、を切り換えるモード切換部を有し、前記モード切換部は、前記第一カメラまたは前記第二カメラが配置された環境における外光の光強度が予め定められた閾値よりも小さい場合に前記第一モードに切り換え、当該環境における外光の光強度が前記予め定められた閾値よりも大きい場合に第二モードに切り換えてもよい。
これにより、スタイラスの検出精度を向上させつつ、電力消費量を低減させることができる。
また、例えば、前記スタイラス検出装置は、さらに、前記第一カメラおよび前記第二カメラの撮影対象となる空間に赤外線を照射する複数の光源を有する照射部を備え、前記制御部は、さらに、前記複数の光源のうち、検出した前記スタイラスの位置を照射する第一光源の光量よりも、前記第一光源以外の光源の光量を低下させる照射制御部を有してもよい。
これによれば、照射制御部は、スタイラスが検出される位置の周囲を照射する光源の光量を第一光源の光量よりも低下させる。このように、照射制御部は、スタイラスの検出にほとんど必要の無い光源の光量を低減させるため、スタイラスの検出精度が低下することを極力防ぎつつ、電力消費量を低減させることができる。
また、例えば、前記制御部は、さらに、検出したスタイラスの単位時間あたりの移動量が予め定められた閾値以下の場合に、前記第一カメラおよび前記第二カメラの撮影に係るフレームレートを小さくし、前記単位時間あたりの移動量が前記閾値を超える場合に、前記フレームレートを大きくする撮影制御部を有してもよい。
このように、撮影制御部は、スタイラスの移動速度の増減に対応させて、第一カメラおよび第二カメラの撮影に係るフレームレートを増減させるため、スタイラスの検出精度が低下することを極力防ぎつつ、電力消費量を低減させることができる。
また、例えば、前記スタイラス検出装置は、さらに、異なる複数の第一タイミングの第一発光パターンで発光する第一発光部を有する第一スタイラスと、前記第一発光パターンとは異なる第二発光パターンで発光する第二発光部を有する第二スタイラスとを備え、前記制御部は、さらに、前記第一タイミングと、前記第二発光パターンの発光タイミングである複数の第二タイミングとを含む複数のタイミングで前記第一カメラおよび前記第二カメラに撮影させ、前記第一タイミングで撮影した画像において発光している発光部を有するスタイラスを前記第一スタイラスであると認識し、前記第二タイミングで撮影した画像において発光している発光部を有するスタイラスを前記第二スタイラスであると認識する発光認識部を有してもよい。
これによれば、第一発光部を有する第一スタイラスと、第二発光部を有する第二スタイラスとを区別して認識することができる。
また、例えば、前記制御部は、さらに、前記第一カメラおよび前記第二カメラによって撮影された画像をクロスシミュレーションによって解析することにより得られる糸の形状情報と、推定した前記スタイラスの軸および前記先端部の位置とに基づいて現在の編み状態を判定する編み状態判定部と、前記編み状態判定部により判定された現在の編み状態と、予め設計された編み物の設計情報とを比較することにより、次にどのように編むかを指示するための指示内容を算出し、前記指示内容を表示させる指示提示部と、を有してもよい。
これによれば、ユーザが編み物をしている場合に、現在の編み状態をクロスシミュレーションにより判定する。そして、例えばできあがりを示す設計情報を予め設定しておけば、判定された現在の編み状態と設計情報とを比較することにより、次の編む手順を提示できる。このため、ユーザは、所望する編み物の設計情報を予め設定するだけで、次にどのように編めばよいのかを知らなくても、提示される指示内容に従って編み物を進めていけば、所望する編み物を作成することができる。
なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係るスタイラス検出装置およびスタイラス検出方法について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する趣旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
本発明の一態様に係るスタイラス検出装置は、典型的には、ユーザが把持するスタイラスの位置の経時変化を検出することにより、当該経時変化の変化方向および変化量に応じて表示部に表示させるポインタの位置を経時的に変更するための入力装置、いわゆるポインティングデバイスである。
図１は、本発明の実施の形態１におけるスタイラス検出装置１００の概略斜視図である。図２は、本発明の実施の形態１におけるスタイラス検出装置１００の構成を示すブロック図である。
スタイラス検出装置１００は、第一カメラ１０１と、第二カメラ１０２と、制御部１２１と、記憶部１２５と、表示部１４０とを備える。
第一カメラ１０１および第二カメラ１０２は、それぞれが対象面１１０の異なる位置に配置されており、互いに共通する撮影対象空間を撮影する。第一カメラ１０１および第二カメラ１０２は、対象面１１０に対して予め定められた位置において固定されている。対象面１１０は、スタイラス１０３の指示対象となる平面であり、本実施の形態１では表示部１４０の表示面である。第一カメラ１０１および第二カメラ１０２は、同一のタイミングで撮影を行っており、例えば、フレームレートが６０ｆｐｓである。つまり、第一カメラ１０１が撮影するタイミングと第二カメラ１０２が撮影するタイミングとは、同期されている。なお、第一カメラ１０１が撮影するタイミングと、第二カメラ１０２が撮影するタイミングとは厳密に一致していなくてもよく、ほぼ同一のタイミング（例えば所定の閾値以下のタイミングの差）で撮影された第一画像および第二画像で構成される一対の画像である画像対が取得できればよい。第一カメラ１０１および第二カメラ１０２において撮影された画像対は、記憶部１２５に記憶される。
なお、第一カメラ１０１および第二カメラ１０２は、それぞれが独立した別体のカメラであってもよいし、一体化されたステレオカメラであってもよい。つまり、第一カメラ１０１および第二カメラ１０２は、互いに共通する撮影対象空間を異なる角度から撮影できれば、どのような形態で構成されていてもよい。
制御部１２１は、第一カメラ１０１および第二カメラ１０２によりそれぞれ撮影された２枚の画像を画像処理することにより、スタイラス１０３が指し示す指示位置Ｐ１を算出する。制御部１２１は、具体的には、ＣＰＵなどのコンピュータを構成する処理部である。
制御部１２１は、軸検出部１２２と、指示位置検出部１２３と、表示処理部１２４とを有する。
軸検出部１２２は、同一のタイミングで第一カメラ１０１および第二カメラ１０２によりそれぞれ撮影された２枚の画像を用いて、当該タイミングにおけるスタイラス１０３の軸を検出する。軸検出部１２２により検出されたスタイラス１０３の軸を示す軸情報は、記憶部１２５に記憶される。
指示位置検出部１２３は、軸検出部１２２により検出されたスタイラス１０３の軸に一致する直線２１０と、対象面１１０との交点を、指示位置Ｐ１として算出する。指示位置検出部１２３により検出された指示位置Ｐ１を示す指示位置情報は、記憶部１２５に記憶される。
表示処理部１２４は、指示位置検出部１２３により算出された指示位置Ｐ１に対応する表示部１４０の画面上の所定位置にポインタを表示させる。
記憶部１２５は、第一カメラ１０１および第二カメラ１０２と対象面１１０との位置関係を示す面相対位置情報が予め記憶されている。記憶部１２５はまた、第一カメラ１０１により撮影された第一画像、第二カメラ１０２により撮影された第二画像、軸検出部１２２により算出された軸情報、および指示位置検出部１２３により算出された指示位置情報を一時的に記憶する。記憶部１２５は、具体的には、不揮発性メモリ、揮発性メモリ、ハードディスクなどの記憶装置からなり、これらの組み合わせであってもよい。
なお、制御部１２１および記憶部１２５は、入力処理部１２０である。
制御部１２１によって画像処理されるスタイラス１０３は、球体でもサイコロ状の四角柱のものであってもよい。この場合には、スタイラスの軸を認識するときに、画像で認識された形状のうちで最大径の部分を軸として認識するようにしてもよい。また、球体のように、全てが最大径となる形状のものである場合には、例えば、はじめに認識された姿勢において球体の中心を通りかつＺ軸方向に平行な線をスタイラスの軸として認識されるようにしてもよい。また、四角柱のように最大径が複数認識されるような形状である場合には、例えば、はじめに制御部１２１により認識された姿勢のうちで最もＺ軸方向に近い方向を向いている最大径の部分をスタイラスの軸として認識するようにしてもよい。
以下、図３および図４を参照して、スタイラスが指し示す位置を検出するスタイラス検出方法としての指示位置検出処理について説明する。
図３は、制御部１２１により行われる指示位置検出処理の流れを示すフローチャートである。図４の（ａ）は、制御部１２１により行われる指示位置検出処理の内容を説明するための図であり、図４の（ｂ）は、軸検出部１２２が第一画像３０１から第一軸２１１を算出することを説明するための図であり、図４の（ｃ）は、軸検出部１２２が第二画像３０２から第二軸２１２を算出することを説明するための図である。
まず、制御部１２１は、同一のタイミングで撮影された第一画像３０１および第二画像３０２の画像対を取得する（Ｓ１０１）。つまり、記憶部１２５に記憶されている画像対を取得する。
次に、軸検出部１２２は、第一画像３０１および第二画像３０２の両方にスタイラス１０３が写り込んでいるか否かを判定する（Ｓ１０２）。第一画像３０１および第二画像３０２の両方にスタイラス１０３が写り込んでいないと判定された場合（Ｓ１０２：Ｎｏ）、当該処理の対象フレームの次のタイミングで撮影された一対の画像（次のフレームの画像対）を取得し（Ｓ１０９）、ステップＳ１０２に戻る。これにより、スタイラス１０３が画像対の一方にしか写り込んでいない場合や両方の画像対に写り込んでいない場合などのスタイラス１０３の検出ができない場合に、その後の指示位置検出処理が無駄に行われることを防いでいる。つまり、処理負荷を軽減できる。なお、ステップＳ１０２の判定処理は、必須の処理では無い。
第一画像３０１および第二画像３０２の両方にスタイラスが写り込んでいる場合（Ｓ１０２：Ｙｅｓ）、軸検出部１２２は、図４の（ｂ）および図４の（ｃ）に示すように、第一画像３０１上のスタイラス１０３の軸である第一軸２１１と、第二画像３０２上のスタイラス１０３の軸である第二軸２１２とを算出する（Ｓ１０３）。
そして、軸検出部１２２は、図４の（ａ）に示すような、算出した第一軸２１１および第一カメラ１０１の位置が通る第一平面２０１と、算出した第二軸２１２および第二カメラ１０２の位置が通る第二平面２０２とを算出する（Ｓ１０４）。なお、軸検出部１２２はこのとき、第一カメラ１０１および第二カメラ１０２の位置を、記憶部１２５に記憶されている面相対位置情報から求める。
スタイラス１０３が第一画像３０１に写り込んでいれば、スタイラス１０３が写り込んでいる第一画像における位置を画像解析することにより、第一カメラ１０１の位置Ｐ１１に対するスタイラス１０３が存在する方向が定まる。つまり、第一平面２０１は、第一カメラ１０１の位置Ｐ１１に対してスタイラス１０３が存在する方向を示しており、三次元空間上における平面である。同様にして、スタイラス１０３が第二画像３０２に写り込んでいれば、スタイラス１０３が写り込んでいる第二画像における位置を画像解析することにより、第二カメラ１０２の位置Ｐ１２に対してスタイラス１０３が存在する方向が定まる。つまり、第二平面２０２は、第二カメラ１０２の位置Ｐ１２に対するスタイラス１０３が存在する方向を示しており、三次元空間上における平面である。
軸検出部１２２は、算出した第一平面２０１と第二平面２０２とが交わる交線をスタイラス１０３の軸の三次元上の位置および姿勢として検出する（Ｓ１０５）。算出された第一平面２０１および第二平面２０２は、それぞれ上述したように第一カメラ１０１の位置Ｐ１１および第二カメラ１０２の位置Ｐ１２に対するスタイラス１０３が存在する方向を示す。このため、第一平面２０１と第二平面２０２との交線は、スタイラス１０３の軸を示すと言える。
指示位置検出部１２３は、検出されたスタイラス１０３の軸が指す方向を示す直線２１０と、第一カメラ１０１および第二カメラ１０２に対して予め定められた位置関係にある対象面１１０との交点を指示位置Ｐ１として算出する（Ｓ１０６）。表示処理部１２４は、算出された指示位置Ｐ１に対応する表示部１４０の所定位置にポインタを表示させる（Ｓ１０７）。
制御部１２１は、当該処理の対象フレームが最終フレームであるか否かを判定する（Ｓ１０８）。つまり、制御部１２１は、記憶部１２５に次のフレームが無いか否かを判定する。制御部１２１が当該処理の対象フレームが最終フレームであると判定した場合（Ｓ１０８：Ｙｅｓ）、指示位置検出処理を終了する。当該処理の対象フレームが最終フレームでないと制御部１２１が判定した場合（Ｓ１０８：Ｎｏ）、対象フレームの次のタイミングで撮影された一対の画像（次のフレームの画像対）を取得し（Ｓ１０９）、ステップＳ１０２に戻る。
上記実施の形態１のスタイラス検出装置１００によれば、第一カメラ１０１および第二カメラ１０２により撮影された一対の画像からスタイラス１０３の軸を検出し、検出した軸を延ばした直線２１０と、第一カメラ１０１および第二カメラ１０２に対して予め定められた位置関係にある対象面１１０との交点をスタイラスが指す位置である指示位置Ｐ１として検出する。このため、例えば、ユーザがスタイラス１０３の先端部分を持っていたとしても、ユーザが持っていないスタイラス１０３の部分の画像からスタイラス１０３が指す指示位置を検出することができる。このように、ユーザが把持する位置にかかわらず、スタイラス１０３が指し示す指示位置を検出することができるため、精度良く指示位置を検出できる。
また、上記実施の形態１のスタイラス検出装置１００によれば、第一画像３０１に写り込んだスタイラス１０３から算出される第一平面２０１と、第二画像３０２に写り込んだスタイラス１０３から算出される第二平面２０２とが交差する交線をスタイラスの軸として検出する。このため、軸検出部１２２は、精度よくスタイラスの軸を検出することができる。
また、上記実施の形態１のスタイラス検出装置１００によれば、スタイラス１０３が指示する位置である指示位置に対応して、表示部１４０に表示されるポインタの位置が定まる。このため、スタイラス１０３を動かすことにより表示部に表示されるポインタを動かすことができる。
また、上記実施の形態１のスタイラス検出装置１００によれば、指示位置Ｐ１と、表示部１４０においてポインタが表示される位置とを、一致して表示させる。このためユーザは、直接的にポインタを移動させることができ、直感的に操作することができる。
（変形例１）
上記実施の形態１に係るスタイラス検出装置１００では、対象面１１０と表示部１４０の表示面とが一致した構成であるがこの構成に限らない。例えば、図５に示すように、対象面１１０と表示部１４０ａとが別体の構成であるスタイラス検出装置１００ａとしてもよい。この場合に、対象面１１０は、例えば、ホワイトボードの表面や、机の天面などに設定されることが考えられる。
また、上記実施の形態１では、第一カメラ１０１および第二カメラ１０２が、対象面１１０に対して予め定められた位置に固定されており、第一カメラ１０１および第二カメラ１０２と対象面１１０との位置関係を示す面相対位置情報が予め記憶部１２５に記憶されているが、予め記憶部１２５に面相対位置情報が記憶されていることに限らない。例えば、第一カメラ１０１および第二カメラ１０２をユーザの所望の位置に固定した上で、ユーザが対象面１１０を空間上の任意の位置に仮想的な面として設定してもよいし、キャリブレーションを行うことにより、机やホワイトボードなどの物理的な面を対象面１１０として設定してもよい。これにより、ユーザは、対象面１１０を自分の都合に合わせて自由に設定できる。
さらに、上記実施の形態１では、表示処理部１２４が指示位置検出部１２３により算出された指示位置Ｐ１に対応する表示部１４０の画面上の所定位置にポインタを表示させているが、表示部１４０に指示位置Ｐ１を表示させなくてもよい。つまり、表示処理部１２４および表示部１４０は、スタイラス検出装置１００の構成として含まれていなくてもよい。このような場合には、記憶部１２５により、スタイラス１０３が対象面１１０に対して指し示した位置が軌跡として記憶される。例えば、このときに記憶部１２５に記憶された軌跡を示す軌跡情報を外部の表示装置に読み込ませて、スタイラス１０３が対象面１１０に指し示した軌跡を表示させるようにしてもよい。
（変形例２）
上記実施の形態１に係るスタイラス検出装置１００では、スタイラス１０３の軸の三次元空間上の位置および姿勢を検出することにより、スタイラスの軸が指す方向を示す直線と、対象面１１０との交点を指示位置として導出する。このように、スタイラス検出装置１００では、スタイラス１０３が指した対象面１１０上の位置を認識するため、二次元的な位置が入力されるが、三次元上の位置を検出できるような構成のスタイラス検出装置１００ｂであってもよい。
図６は、実施の形態１の変形例２に係るスタイラス検出装置１００ｂの構成を示す図である。
変形例２に係るスタイラス検出装置１００ｂは、上記実施の形態１に係るスタイラス検出装置１００とは、入力処理部１２０ｂの制御部１２１ｂが後端部検出部１２６を有している構成であることが異なる。また、指示位置検出部１２３ｂが、スタイラス１０３が指す指示位置を三次元空間での指示位置として検出する構成であることが、実施の形態１の指示位置検出部１２３とは異なる。また、記憶部１２５ｂが予め記憶している情報が、実施の形態１の記憶部１２５とは異なる。また、表示処理部１２４ｂが、指示位置検出部１２３ｂにより検出された三次元空間におけるスタイラス１０３の先端の位置Ｐ３を用いて、外部装置である表示部１４０ａに、三次元的に表示させる処理を行う構成であることが、実施の形態１の表示処理部１２４とは異なる。また、指示位置検出部１２３ｂによる指示位置の算出の算出方法が異なる。このため、以下では、上記実施の形態１に係るスタイラス検出装置１００とは異なる構成についてのみ説明し、共通する構成および動作については説明を省略する。
後端部検出部１２６は、第一カメラ１０１および第二カメラ１０２によりそれぞれ撮影された２枚の画像を用いてスタイラス１０３の後端部の位置を検出する。なお、ここで言う「スタイラス１０３の後端部」とは、スタイラス１０３の長手方向の両端部のうちの先端部ではない方の端部のことである。なお、スタイラス１０３の形状が先端部も後端部も同じ形状である場合には、いずれか一方の端部のことである。つまり、ユーザがスタイラス１０３の後端部として予め定めた部分であればスタイラスの両端部のうちのいずれかである。例えば、後端部検出部１２６は、予め記憶部１２５ｂに記憶されているスタイラス１０３の後端部の形状や色などの後端部情報を用いて、第一画像３０１および第二画像３０２に写り込んでいるスタイラス１０３の像から画像処理（画像マッチング）を行うことによりスタイラス１０３の後端部を検出する。このとき、例えば、スタイラス１０３は、後端部が検出されやすいように後端部に発光部が設けられる構成であってもよいし、光を反射しやすいように例えば鏡面に近い状態にスタイラス１０３の後端部のみが表面処理された構成であってもよい。この場合には、後端部検出部１２６は、画像マッチングによりスタイラス１０３の後端部の検出を行わなくてもよく、検出されたスタイラス１０３の画像のうちで輝度値が高い領域を後端部として検出するようにしてもよい。また、第一画像３０１および第二画像３０２からスタイラス１０３を精度よく検出するために、スタイラス１０３の素材を赤外線が反射しやすい素材で構成し、かつ、スタイラス１０３に対して赤外線を照射するような構成としている場合には、スタイラス１０３の後端部の素材をスタイラス１０３の全体の素材よりも特に赤外線を反射しやすい素材としてもよい。つまり、後端部検出部１２６は、この場合には、第一画像３０１および第二画像３０２のうちで、赤外線の成分をより放射していると判定された領域をスタイラス１０３の後端部として検出する。
また、例えば、後端部検出部１２６は、第一画像３０１および第二画像３０２に写り込んでいるスタイラス１０３の像のうちでスタイラス１０３の少なくとも一方の端部の像を、画像処理により検出した場合に、検出した端部の像のうちで少なくともユーザの手から遠い側の端部をスタイラス１０３の後端部として検出してもよい。
記憶部１２５ｂは、上記実施の形態１の記憶部１２５が予め記憶している面相対位置情報の代わりに、スタイラス１０３の長さを示すスタイラス情報を記憶している。
指示位置検出部１２３ｂは、軸検出部１２２により検出されたスタイラスの軸の三次元上の位置および姿勢と、後端部検出部１２６により検出されたスタイラス１０３の後端部の位置Ｐ２と、記憶部１２５ｂに予め記憶されているスタイラス情報とから、スタイラス１０３の先端部の三次元空間での位置を指示位置として算出する。つまり、指示位置検出部１２３ｂは、スタイラス１０３の軸の三次元上の位置および姿勢と、スタイラス１０３の後端部の位置Ｐ２と、スタイラス情報とを用いて、スタイラス１０３の後端部の位置Ｐ２から、スタイラス１０３の軸の三次元上の位置および姿勢によって定まるスタイラス１０３の軸が指す方向に沿ってスタイラス情報に示されるスタイラス１０３の長さの分だけ離れたスタイラス１０３の先端側の位置をスタイラス１０３の先端部の位置Ｐ２として算出する。なお、ここでいう、「スタイラス１０３の先端側」は、第一画像３０１および第二画像３０２のスタイラス１０３が写り込んでいる像のうちの後端部の位置よりもスタイラス１０３の本体が写り込んでいる側である。
表示処理部１２４ｂは、指示位置検出部１２３ｂにより算出されたスタイラス１０３の先端部の三次元上の空間における位置Ｐ３に対応して表示部１４０で仮想的に表現される仮想三次元空間の位置にポインタを表示させる。表示処理部１２４ｂはまた、スタイラス１０３の先端部（位置Ｐ３）の移動が指示位置検出部１２３ｂにより検出された場合に、スタイラス１０３の先端部（位置Ｐ３）の移動量および移動方向に対応して相対的に仮想三次元空間の位置に表示させたポインタを仮想三次元空間の中で移動させて表示させる。
以下、スタイラス検出装置１００ｂにより行われるスタイラス検出方法としての指示位置検出処理について説明する。スタイラス検出装置１００ｂにより行われる、指示位置検出処理のステップＳ２０１〜Ｓ２０５のそれぞれの処理は、図３で説明した指示位置検出処理のステップＳ１０１〜Ｓ１０５までのそれぞれの処理と同じであるのでこの部分の処理の説明を省略し、ステップＳ２０６以降の処理について説明する。
ステップＳ２０５が終了すると、後端部検出部１２６が、第一カメラ１０１および第二カメラ１０２によりそれぞれ撮影された２枚の画像を用いてスタイラス１０３の後端部の位置を検出する（Ｓ２０６）。指示位置検出部１２３ｂは、ステップＳ２０５において算出されたスタイラスの軸の三次元上の位置および姿勢と、ステップＳ２０６において検出されたスタイラス１０３の後端部の位置Ｐ２と、記憶部１２５ｂに予め記憶されているスタイラス情報とから、スタイラス１０３の先端部の三次元空間での位置Ｐ３を指示位置として算出する（Ｓ２０７）。表示処理部１２４は、算出された指示位置Ｐ１に対応する表示部１４０の所定位置にポインタを表示させる（Ｓ２０８）。
制御部１２１は、当該処理の対象フレームが最終フレームであるか否かを判定する（Ｓ２０９）。つまり、制御部１２１ｂは、記憶部１２５ｂに次のフレームが無いか否かを判定する。当該処理の対象フレームが最終フレームであると制御部１２１ｂが判定した場合（Ｓ２０９：Ｙｅｓ）、指示位置検出処理を終了する。当該処理の対象フレームが最終フレームでないと制御部１２１が判定した場合（Ｓ２０９：Ｎｏ）、対象フレームの次のタイミングで撮影された一対の画像（次のフレームの画像対）を取得し（Ｓ２１０）、ステップＳ２０２に戻る。
上記実施の形態１の変形例２に係るスタイラス検出装置１００ｂによれば、第一カメラ１０１および第二カメラ１０２により撮影された一対の画像からスタイラス１０３の軸を検出し、検出されたスタイラス１０３の軸の位置および姿勢と、予め記憶されているスタイラス１０３の長さと、スタイラス１０３の後端部の位置Ｐ２とからスタイラス１０３の先端部の三次元の位置Ｐ３を指示位置として算出する。このため、例えば、ユーザがスタイラス１０３の先端部を持っていたとしても、ユーザが持っていないスタイラス１０３の部分の画像からスタイラスが指す指示位置を検出することができる。このように、ユーザが把持する位置にかかわらず、スタイラス１０３が指し示す指示位置を検出することができるため、精度良く指示位置を検出できる。また、三次元の位置を指示位置として算出するため、三次元空間に描画を行うことができる入力装置として利用できる。
また、例えば、図８に示すように、スタイラスとしての編み棒の位置および姿勢と、毛糸の状態を解析することによって得られる現在の編み状態を判定し、判定の結果として得られた現在の編み状態と予め設計された編み物の設計情報とを比較することにより、次にどのように編むのかの指示内容を提示するスタイラス検出装置１００ｃとしてもよい。なお、図８は、実施の形態１の変形例２に係る編み物支援を行うためのスタイラス検出装置１００ｃの構成を示す図である。
スタイラス検出装置１００ｃでは、入力処理部１２０ｃの制御部１２１ｃは、上記の制御部１２１ｂの構成とは別に、編み状態判定部１２７と、指示提示部１２８とを有する。編み状態判定部１２７は、第一カメラ１０１および第二カメラ１０２によって撮影された画像をクロスシミュレーションによって解析することによって得られる位置の形状情報と、推定したスタイラス（編み棒）の軸およびスタイラス（編み棒）の先端部の位置とに基づいて現在の編み状態を判定する。指示提示部１２８は、編み状態判定部１２７により判定された現在の編み状態と、予め設計された編み物の設計情報とを比較することにより、次にどのように編むかを指示するための指示内容７００を算出し、表示処理部１２４ｃが算出された指示内容７００を表示部１４０ａに表示させる。なお、ここで予め設定された編み物の設計情報は、記憶部１２５ｃに記憶されている情報である。
スタイラス検出装置１００ｃによれば、ユーザが編み物をしている場合に、現在の編み状態をクロスシミュレーションにより判定する。そして、例えば、できあがりの設計情報を予め設定しておけば、判定された現在の編み状態と設計情報とを比較することにより、次の編む手順を提示する。このため、ユーザは、所望する編み物の設計情報を予め設定するだけで、次にどのように編めばよいのかを知らなくても、提示される指示内容に従って編み物を進めていけば、所望する編み物を作成することができる。
（変形例３）
上記実施の形態１、変形例１または変形例２に係るスタイラス検出装置１００、１００ａ、１００ｂ、１００ｃでは言及していないが、図９に示すように、指示位置検出部１２３、１２３ｂにより検出された指示位置に対応した表示部１４０の所定位置に表示されるポインタが移動したときの軌跡４１１を、表示部１４０に表示させるような形態のスタイラス検出装置１００ｄとしてもよい。なお、図９は、実施の形態１の変形例３に係るスタイラス検出装置１００ｄの構成を示す図である。
また、図９に示すように、スタイラス検出装置１００ｄにおける入力処理部１２０ｄの制御部１２１ｄは、表示部１４０に表示させる軌跡４１１の描画形態を変更する機能設定部１２９を有するような構成としてもよい。つまり、表示処理部１２４ｄは、機能設定部１２９により設定される機能に応じて、表示部１４０に表示させる軌跡４１１の描画形態を変更する。変形例３のスタイラス検出装置１００ｄの場合には、スタイラス１０３にユーザからの圧力が加えられたことを検出する圧力検出部１０を備える。そして、機能設定部１２９は、ユーザにより圧力が加えられたことを圧力検出部１０が検出しているときに第一機能に設定し、圧力が加えられたことを圧力検出部１０が検出していないときに第二機能に設定する。なお、第一機能は、例えば、ポインタが移動したときの軌跡４１１を太線で描画する機能であり、第二機能は、例えば、当該軌跡４１１を細線で描画する機能である。なお、第一機能および第二機能として設定される描画形態は、例としてそれぞれ太線および細線であると説明したが、太線および細線のような線の太さに係る描画形態に限らずに、例えば、赤や青などのように表示色に係る描画形態であってもよいし、実線や破線などのように線の種類に係る描画形態であってもよいし、線を引くまたは線を消すなどの線の描画および消去に係る描画形態であってもよい。つまり、機能設定部１２９は、指示位置の軌跡４１１を第一描画形態（太線、赤線、実線、描画など）で描画する第一機能と、当該軌跡４１１を第一描画形態とは異なる第二秒が形態（細線、青線、破線、消去など）で描画する第二機能とのうちの一つの機能に設定する。
なお、機能設定部１２９は、圧力検出部１０に圧力が加えられているか否かに応じて、各描画形態に対応づけられた機能に設定しているが、機能の変更のトリガーとしては圧力検出部１０への加圧の有無に限らずに、スタイラス１０３に設けられるオンオフ可能なスイッチのオンオフの状態に応じて機能を割り当ててもよい。つまり、この場合、機能設定部１２９は、スイッチがオンのときに第一機能に設定し、スイッチがオフのときに第二機能に設定する。
なお、上述では、２種類の描画形態を圧力検出部１０またはスイッチの状態に応じて、第一機能および第二機能のいずれか一方に設定しているが、２種類の機能に限らずに、２種類以上の機能が設定されていてもよい。この場合であって、例えば、圧力検出部１０を用いる場合には、圧力の有無を判定するだけでなく、加えられた圧力の大きさを検出することにより、加圧された圧力が複数の圧力範囲のうちのどの範囲に含まれる圧力であるかに応じて、機能が機能設定部１２９により設定されるようにしてもよい。つまり、検出される圧力の範囲が大、中、小の３つの範囲に予め定められており、大の範囲の圧力の場合には第一機能を設定し、中の範囲の圧力の場合には第二機能を設定し、小の範囲の圧力の場合には第三機能を設定する構成としてもよい。なお、これら３つの圧力の範囲は互いに排他的な範囲である必要がある。また、スイッチの場合には、例えばダイヤル式のスイッチなどの３通り以上の状態を示すことができるスイッチを用いることにより、機能設定部１２９に３つの機能を設定させるようにしてもよい。圧力検出部１０またはスイッチをスタイラス１０３に設けるような構成では、上述しているが、圧力検出部１０またはスイッチは通信機能を有しており、機能設定部１２９との間で無線によりスタイラス１０３における圧力を検出した否かの状態や、スイッチのオンオフの状態が機能設定部１２９に送信される。
本実施の形態１の変形例３に係るスタイラス検出装置１００ｄによれば、機能設定部１２９により設定された機能に応じた形態で指示位置の軌跡４１１を表示部１４０に表示させる。例えば、ユーザの操作により第一機能として黒い線を描く第一描画形態で描画する機能と、第二機能として赤い線を描く第二描画形態で描画する機能とを設定することができ、ユーザはこれらの描画形態を切り換えることにより、ユーザの所望の描画形態により指示位置の軌跡４１０を表示部１４０に表示させることができる。
本実施の形態１の変形例３に係るスタイラス検出装置１００ｄによれば、ユーザによる圧力を検出できる圧力検出部１０がスタイラス１０３ａに設けられており、機能設定部１２９は、圧力の有無に応じて第一機能と第二機能とのうちのいずれかに設定する。また、スタイラスには、オンオフ可能なスイッチが設けられていてもよい。この場合、ユーザは、スタイラスに設けられたスイッチのオンオフを切り換えることで、描画形態を切り換えることができる。
このように、ユーザは、スタイラス１０３ａに加える圧力の有無またはスイッチのオンオフで、描画形態を切り換えることができる。このため、ユーザは、手元で容易に表示部１４０に表示される描画形態を切り換えることができる。
（変形例４）
上記変形例３では、機能設定部１２９の機能設定を圧力検出部による圧力の有無、スイッチのオンオフの状態などに応じて行っているが、これに限らない。機能設定部１２９は、例えば、第一カメラ１０１および第二カメラ１０２により撮影された画像上のスタイラス１０３の外観に応じて、上述したような機能の設定を行うようにしてもよい。なお、変形例４での機能と描画形態との関係については、変形例３で記載したことと同様であるためここでは説明を省略する。
具体的には、スタイラス１０３の色または模様を変更することにより、当該スタイラス１０３の色または模様の変更が撮影された画像から検出されたときに、スタイラス１０３の色または模様に応じて機能設定部１２９がスタイラス１０３の色または模様に対応する機能を設定することなどが考えられる。例えば、スタイラス１０３の側面を軸方向に沿って２つの領域に分けた場合に、一方の側の側面と他方の側の側面とで色を変えることが考えられる。より具体的には、スタイラス１０３の右半分の側面を赤色とし、左半分の側面を青色とした場合に、記憶部１２５にスタイラス１０３の側面の色情報を記憶させておく。また、色ではなく模様の場合には、例えば、水玉模様、縞模様、無地などが考えられる。そして、第一画像３０１および第二画像３０２に写り込んだスタイラス１０３の像が赤色である場合には、機能設定部１２９は第一機能に設定し、スタイラス１０３の像が青色である場合には、機能設定部１２９は第二機能に設定する。このような構成とすれば、ユーザは、スタイラス１０３の持ち方を変える（つまり、スタイラス１０３の軸を中心に１８０度回転させる）ことのみで機能設定を変更することができる。このような構成とすることにより、上記変形例３のような圧力検出部またはスイッチなどをスタイラス１０３に組み込まなくてもよく、また、通信機能もスタイラス１０３に組み込まなくてもよい。つまり、第一カメラ１０１および第二カメラ１０２により撮影された画像を用いる構成であれば、画像処理を行う機能設定部１２９をソフトウェア的に設けることのみで実現できる。
また、機能設定部１２９による機能設定については、スタイラス１０３全体の色を変更することに限らずに、スタイラス１０３の一部の色のみを変更することによって、実現してもよい。具体的には、スタイラスの後端部に取り付けられるキャップの色またはキャップの形状を変更することによって実現してもよい。この場合には、例えば色がついたキャップを交換することで、ユーザは、機能を設定できる。
また、スタイラス１０３の色の変更を行うのに、スタイラス１０３に圧力検出部またはスイッチなどを設け、圧力検出部の検出結果またはスイッチのオンオフに応じた色の変更を行うような構成としてもよい。例えば、スタイラス１０３のキャップ部分に複数の異なる色のＬＥＤを設けておき、圧力検出部１０が圧力を検出したときに光るＬＥＤの色を変更する、または、スイッチのオンオフにより光るＬＥＤの色を変更するなどすることにより実現できる。この場合には、変形例３のような通信機能をスタイラス１０３に設ける必要がない。
また、第一画像３０１および第二画像３０２上に写り込んだスタイラス１０３の像の太さに応じて、機能設定部１２９は予め定められた機能を設定するような構成としてもよい。この場合には、例えば、機能設定部１２９は、予め定められた閾値を超える太さを有するスタイラス１０３を検出したときに第一機能に設定し、当該閾値以下の太さを有するスタイラスを検出したときに第二機能に設定する構成とすることが考えられる。なお、機能設定部１２９は、太さの違いを検出しやすいように、第一閾値を超える太さを有するスタイラスを検出したときに第一機能に設定し、第一閾値よりも小さい第二閾値未満の太さを有するスタイラスを検出したときに第二機能に設定するような構成としてもよい。
このため、ユーザは、例えば、スタイラスの種類を変える、スタイラスの一部を交換する、スタイラスの持つ向きを変えるなどすることにより、機能設定部１２９により設定される描画形態を切り換えることができる。
また、機能設定部１２９は、検出されたスタイラスの軸の傾きに応じて、第一機能および第二機能のうちの一つの機能に設定してもよい。例えば、機能設定部１２９は、スタイラスの軸の対象面１１０に対する傾きが予め定められた閾値よりも大きい場合に第一機能に設定し、スタイラスの軸の対象面１１０に対する傾きが予め定められた閾値よりも小さい場合に第二機能に設定することが考えられる。ここでの閾値による傾きの大小の判定は、検出しやすいように上述したような太さの判定と同様の方法を用いてもよい。つまり、上記の「スタイラスの太さ」を「スタイラスの軸の対象面に対する傾き」に読み替えることができる。
このため、ユーザは、スタイラス１０３を持ったときの傾きを変えることで、描画形態を切り換えることができる。このため、ユーザは、手元を動かすことのみで、容易に表示部１４０に表示される描画形態を切り換えることができる。
また、機能設定部１２９は、検出されたスタイラス１０３の軸と対象面１１０との角度が大きくなるほど、細くまたは太く描画されるように機能を設定してもよい。つまり、閾値判断により第一機能および第二機能のいずれかに設定される構成ではなく、対象面１１０に対するスタイラス１０３の軸の角度の変化に応じて無段階に変化させるようにしてもよい。また、このとき、対象面１１０に対するスタイラス１０３の軸の角度と、描画される線の太さとは必ずしも一対一に対応づけられていなくてもよく、傾きが大きくなったときに描画される線が太くまたは細くなるように処理を行うようにしてもよい。なお、機能設定部１２９は、スタイラス１０３の軸の対象面に対する傾きの大小で、描画される線の太さを変更する構成だけでなく、描画される線の濃さを変更する構成としてもよいし、描画される線の色を変更する構成（例えば、紫色から赤色に、波長の短い色から長い色へと変更するような構成）としてもよい。なお、このような変更は、スタイラス１０３の太さについても同様のことが考えられる。このため、ユーザは、スタイラス１０３を持ったときの傾きを変えることで、描画される線の太さ等の描画形態を無段階に変えることができる。
また、機能設定部１２９は、スタイラス１０３の軸の傾き、表示部１４０に描画させたときのポインタの位置、またはスタイラス１０３の後端部の位置の単位時間あたりの変位量が予め定められた閾値を超えた場合に、第一機能から第二機能のうちの一つの機能に設定する構成にしてもよい。具体的には、機能設定部１２９は、例えば、ユーザがスタイラス１０３を１回振るなどのジェスチャを行ったことを、上記単位時間あたりの変位量が予め定められた閾値を超えたことを検出により第一機能に設定し、次にユーザがさらにスタイラス１０３を１回振るジェスチャを行ったことを検出した場合に第二機能に設定する処理を行うことが考えられる。なお、上述のように１回のジェスチャを行う度に複数種類の機能を定められた順番に変更するような形態であることに限らずに、ジェスチャの種類に関連づけられた機能に設定するような形態としてもよい。例えば、機能設定部１２９は、スタイラス１０３を１回降るジェスチャを検出した場合に第一機能に設定し、スタイラス１０３を２回降るジェスチャを検出した場合に第二機能に設定することが考えられる。
実施の形態１に係る変形例４のスタイラス検出装置１００ｄによれば、ユーザは、例えばスタイラス１０３を振る動作を行うことにより、スタイラス１０３の軸の傾き、ポインタの位置、またはスタイラス１０３の後端部の位置の単位時間あたりの変位量が予め定められた閾値を超えた場合に、機能設定部１２９により設定される描画形態を切り換えることができる。
（変形例５）
上記実施の形態１、または変形例１〜４に係る、スタイラス検出装置１００、１００ａ〜１００ｄでは、言及していないが、複数のユーザがそれぞれスタイラス１０３、１０３ｂを持っている場合に、それぞれのユーザごとに異なる描画形態で描画させる構成のスタイラス検出装置１００ｅとしてもよい。例えば、図１０に示すスタイラス検出装置１００ｅのように、入力処理部１２０ｅの制御部１２１ｅは、さらに、ユーザ選択部１３０を有する。ユーザ選択部１３０は、スタイラスの軸を複数検出した場合に、表示処理部１２４ｅは、検出した複数のスタイラス４０１、４０２の指示位置ごとにそれぞれ異なる描画形態で表示部１４０に描画結果を表示させる。つまり、複数のユーザが、それぞれスタイラス４０１、４０２を持って、対象面１１０に対してスタイラス４０１、４０２をそれぞれ動かすことにより描画する場合に、スタイラス４０１、４０２の軸の傾きおよび位置に応じて描画形態をそれぞれのスタイラス４０１、４０２に設定することが考えられる。
例えば、制御部１２１ｅが第一カメラ１０１および第二カメラ１０２の奥側において奥側に傾けたスタイラスを第一スタイラス４０１と認識し、第一スタイラス４０１よりも手前側において手前側に傾けたスタイラスを第二スタイラス４０２と認識したときを考える。このときに制御部１２１ｅは、第一スタイラス４０１が指す第一指示位置Ｐ２１の軌跡４１２と、第二スタイラス４０２が指す第二指示位置Ｐ２２の軌跡４１３とを異なる描画形態で描画させる。この場合、制御部１２１ｅは、一度、第一スタイラス４０１と第二スタイラス４０２とを認識すれば、第一スタイラス４０１および第二スタイラス４０２のそれぞれを追尾する処理を行わせることにより、最初に設定された描画形態となるように機能を設定してもよい。ここで、例えば、追尾処理としては、第一カメラ１０１および第二カメラ１０２により撮影された画像の次のフレームにおける画像において、予め定められた範囲内の移動であれば同じスタイラスと見なす処理を行うことが考えられる。
また、図１１に示すスタイラス検出装置１００ｆのように、第一スタイラス４０１と第二スタイラス４０２とに、異なる発光パターンで発光する第一発光部４２１と第二発光部４２２とを設け、各発光パターンのタイミングで撮影した画像に写り込んでいる像に基づいて、第一スタイラス４０１と第二スタイラス４０２との区別を行う発光認識部１３１を制御部１２１ｅにさらに設けた構成の制御部１２１ｆとしてもよい。より具体的には、図１１に示すように、第一スタイラス４０１は、異なる複数の第一タイミングの発光パターンで発光する第一発光部４２１を有し、第二スタイラス４０２は、第一発光パターンとは異なる第二発光パターンで発光する第二発光部４２２を有する。発光認識部１３１は、第一タイミングと、第二発光パターンの発光タイミングである複数の第二タイミングとを含む複数のタイミングで第一カメラおよび第二カメラに撮影させ、第一タイミングで撮影した画像において発光している発光部を有するスタイラスを第一スタイラス４０１であると認識し、第二タイミングで撮影した画像において発光している発光部を有するスタイラスを前記第二スタイラス４０２であると認識する。なお、この場合の制御部１２１ｆを有する入力処理部１２０ｆでは、第一タイミングの発光パターンおよび第二タイミングの発光パターンを、記憶部１２５ｅと比較してさらに記憶している記憶部１２５ｆを備える。
図１２は、各発光部の発光パターンと、各カメラにより複数のフレームが撮影されるタイミングとを示す図である。具体的には、図１２の（ａ）は、第一発光パターンを示す図であり、図１２の（ｂ）は、第二発光パターンを示す図であり、図１２の（ｃ）は、第一カメラ１０１および第二カメラ１０２により複数のフレームが撮影されるタイミングを示す図である。図１２に示すように、Ｔ１のタイミングでは第一発光パターンでは第一発光部が発光しているので、第一画像および第二画像上での第一発光部の領域の輝度値が所定の値よりも大きくなる。一方で、Ｔ１のタイミングで第二発光パターンでは第二発光部は発光していないので、第一画像および第二画像上での第二発光部の領域の輝度値が所定の値を超えない。また、反対に、Ｔ２のタイミングでは第二発光パターンでは第二発光部が発光しているので、第一画像および第二画像上での第二発光部の領域の輝度値が所定の値よりも大きくなる。一方で、Ｔ２のタイミングで第一発光パターンでは第一発光部は発光していないので、第一画像および第二画像上での第一発光部の領域の輝度値が所定の値を超えない。つまり、Ｔ１のタイミングまたはＴ２のタイミングにおける第一画像または第二画像を解析すれば、第一スタイラス４０１と第二スタイラス４０２との区別をすることができる。
上記実施の形態１の変形例５のスタイラス検出装置１００ｅ、１００ｆによれば、複数のユーザがそれぞれスタイラス４０１、４０２を用いて入力する場合であっても、それぞれのユーザに応じた描画形態で描画することができる。このため、ユーザは、描画結果がどのユーザが描画したものであるのかを区別することが容易にできる。
（実施の形態２）
上記実施の形態１では、言及していないが、図１３に示すような、赤外線をスタイラスに照射させることによりスタイラス１０３の検出精度を向上させる構成のスタイラス検出装置２００としてもよい。なお、以下では、実施の形態１で説明したスタイラス検出装置１００と異なる構成のみを説明する。スタイラス検出装置２００は、さらに、照射部２５０を備える。照射部２５０は、第一カメラ１０１および第二カメラ１０２の撮影対象となる空間に赤外線を照射する。そして、表示部１４０ａは、照射部２５０が照射する赤外線の周波数帯域とは異なる周波数帯域の光を外部に発光する。このとき表示部１４０ａの構成は、表示部１４０ａの発光部が発光する光の周波数帯域を赤外線とは異なる周波数帯域としてもよいし、表示部１４０ａの表示面に赤外線の波長を外部に通過させないバンドパスフィルタを装着する構成としてもよい。
この構成によれば、照射部２５０が照射する赤外線の周波数帯域と、表示部１４０ａが発光する光の周波数帯域とは異なる。このため、例えば、太陽光などの外部からの光が遮断されている状況下では、第一カメラ１０１および第二カメラ１０２において撮影される画像のうちで赤外線の周波数帯域が検出される領域に写り込んだ像は、照射部２５０により照射された赤外線由来の像である。つまり、少なくとも表示部が発光する光由来の像または表示部１４０ａそのものの像が撮影されていても、表示部１４０ａが発光する光由来の像については無視できる。これにより、第一カメラ１０１および第二カメラ１０２に撮影される画像のうちで赤外線の周波数帯域が検出される領域に写り込んだ像は、表示部１４０ａが発光する光由来の像ではないため、スタイラス１０３の検出誤差を低減することができる。また、例えば、スタイラスの素材として、赤外線を反射する素材を利用すれば、さらにスタイラスの検出精度を向上させることができる。また、例えば、赤外線を吸収する素材で表示部などのスタイラス以外の部材の素材を構成すれば、さらにスタイラスの検出精度を向上させることができる。
また、第一カメラ１０１および第二カメラ１０２を構成する撮像素子１０５を、図１４に示すように、ＲＧＢを検出するＲＧＢセンサ１０５ａと、赤外線を検出するＩＲセンサ１０５ｂとからなる構成とすればよりスタイラス１０３の検出精度を向上させることができる。図１４は、撮像素子１０５の最小単位である１画素分の構成を示す図である。この構成において、入力処理部２２０の制御部２２１は、さらに、第一カメラ１０１および第二カメラ１０２が配置された環境における外光の光強度の大きさに応じて、第一カメラ１０１および第二カメラ１０２による撮影に使用するセンサを使い分けるモード切換部２２２を有する。
モード切換部２２２は、上記の環境における外光の光強度が予め定められた閾値よりも小さい場合に第一モードに切り替え、当該環境における外光の光強度が予め定められた閾値よりも大きい場合に第二モードに切り替える。ここで、第一モードとは、第一カメラ１０１および第二カメラ１０２が毎秒ｎフレーム（ｎは自然数）のキャプチャを行う場合、照射部２５０による照射を行いつつＩＲセンサ１０５ｂによるＩＲ検出を行い、当該ＩＲ検出の間に少なくとも１／ｎフレームのタイミングでＲＧＢセンサ１０５ａによるＲＧＢ検出を行うモードである。また、第二モードとは、ＲＧＢ検出を行い、当該ＲＧＢ検出の間に少なくとも１／ｎフレームのタイミングで照射部２５０による照射およびＩＲ検出を行うモードである。
つまり、これによれば、モード切換部２２２は、例えば太陽光等の外光の光強度が予め定められた閾値よりも小さい、いわゆる暗い環境下である場合に、第一モードに切り換える。また、反対に外光の光強度が予め定められた閾値よりも大きい、いわゆる明るい環境下である場合に、第二モードに切り換える。つまり、暗い環境下である場合には、ＩＲ検出を行いながら、そのうちの１／ｎフレームのタイミングでＲＧＢ検出も同時に行う。そして、明るい環境下である場合には、ＲＧＢ検出を行いながら、そのうちの１／ｎフレームのタイミングでＩＲ検出を行う。
ＲＧＢ検出では検出しにくい暗い環境下である場合に、暗い環境下でも検出しやすいＩＲ検出を主に行う第一モードとすることにより、スタイラス１０３の検出精度を向上させることができる。この場合に、１／ｎフレームのみＲＧＢ検出を行うことによりスタイラス１０３の色検出を行うことができ、さらにスタイラス１０３の検出精度を向上させることができる。
また、一方でＲＧＢ検出では、検出しやすい明るい環境下である場合に、ＲＧＢ検出を主に行う第二モードとすることにより、スタイラス１０３の検出精度を向上させることができる。この場合に、１／ｎフレームのみＩＲ検出を行うことによりＲＧＢ検出する際のスタイラス１０３の周辺の色が類似している場合であってもスタイラス１０３とその周辺とを区別することができ、さらにスタイラス１０３の検出精度を向上させることができる。また、第二モードでは電力を消費する照射部２５０による照射を、ＩＲ検出を行う１／ｎフレームのタイミングに合わせて行えばよいため、電力消費量を低減させることができる。
また、制御部２２１は、ＩＲ用の照射部２５０が照射するタイミングと、第一カメラ１０１および第二カメラ１０２が撮影するタイミングとを同期させる処理を行ってもよい。これにより、第一カメラ１０１および第二カメラ１０２の撮影環境が例えば外光からの光が遮断されている状況下であり、かつ、表示部の発光される光の周波数帯域が赤外線の周波数帯域以外の周波数帯域である場合に、第三者が第一カメラ１０１および第二カメラ１０２とは別のカメラを用いてスタイラス１０３を認識しようとしたとしても、別のカメラによりスタイラスの位置を検出することを防ぐことができる。このため、例えば、ユーザのサイン入力などの個人情報を盗み取られることを防ぐことができる。
なお、実施の形態２の構成は、ステレオカメラでスタイラスを認識する構成だけでなく、カメラにより撮影された画像からスタイラスなどの特定のものを検出する処理を行う構成のものであれば、当該検出の精度の向上の目的に利用できる。
（実施の形態３）
上記実施の形態１および２では、言及していないが、例えば図１５に示すような複数のＬＥＤ２５１などのような複数の光源からなる照射部２５０を用いて赤外線をスタイラスに照射させるような構成の場合に、照射部２５０による照射に係るエネルギー効率がよくなるように照射部２５０から発光される光量を制御するための照射制御部３２２を有する入力処理部３２０を備えるスタイラス検出装置３００としてもよい。なお、以下では、実施の形態１で説明したスタイラス検出装置１００と異なる構成のみを説明する。
スタイラス検出装置３００は、第一カメラ１０１および第二カメラ１０２の撮影対象となる空間に赤外線を照射する複数の光源を有する照射部２５０を備える。照射部２５０は、例えば、複数（本実施の形態３では９個）のＬＥＤ光源２５１が対象面１１０上にマトリックス状に配置されることにより構成される。照射部２５０は、複数のＬＥＤ光源２５１が対象面１１０上にマトリックス状に配置されることに限らずに、直線上に配置される構成であってもよい。つまり、撮影対象となる空間を均等に照射できるように配置される構成であれば、ＬＥＤ光源２５１の配置形態については問わない。
照射制御部３２２は、複数のＬＥＤ光源２５１のうち、軸検出部１２２により検出されたスタイラスの位置を照射するＬＥＤ光源（第一光源）の光量よりも、当該ＬＥＤ光源以外のＬＥＤ光源２５１の光量を低下させる。より具体的には、図１６に示すように、照射制御部３２２は、予め定められた複数のＬＥＤ光源２５１のそれぞれの配置位置を示す配置位置情報を記憶部１２５から読み出して、軸検出部１２２により第一画像３０１および第二画像３０２が画像解析されることにより検出されたスタイラスの位置に対応する位置に最も近いＬＥＤ光源を第一光源として設定する。図１６の（ａ）および図１６の（ｂ）は、スタイラスの移動に伴ってＬＥＤ光源の光量を変化させる処理を説明するための図である。なお、第一光源として設定されるＬＥＤ光源は、一つの光源に限らずに、検出されたスタイラスの位置から所定範囲内にあるＬＥＤ光源であってもよく、複数のＬＥＤ光源が第一光源として設定されてもよい。
上記実施の形態３のスタイラス検出装置３００によれば、照射制御部３２２は、スタイラス１０３が検出される位置の周囲を照射する光源の光量を第一光源の光量よりも低下させる。このように、照射制御部３２２は、スタイラス１０３の検出にほとんど必要の無い光源の光量を低減させるため、スタイラス１０３の検出精度が低下することを極力防ぎつつ、電力消費量を低減させることができる。
また、図１７に示すスタイラス検出装置３００ａのように、入力処理部３２０の制御部３２１ａが、さらに、第一カメラ１０１および第二カメラ１０２の撮影に係るフレームレートを適切に動的に変更する撮影制御部３２３を有する構成とすることで、省エネルギー化をさらに図ることができる。撮影制御部３２３は、軸検出部１２２により検出されたスタイラス１０３の単位時間あたりの移動量が予め定められた閾値以下の場合に、第一カメラ１０１および第二カメラ１０２の撮影に係るフレームレートを小さくし、前記単位時間あたりの移動量が閾値を超える場合に前記フレームレートを大きくする。ここで、単位時間あたりの移動量は、軸検出部１２２により検出されたフレームごとのスタイラス１０３の位置から算出される。
このように、撮影制御部３２３は、スタイラス１０３の移動速度の増減に対応させて、第一カメラ１０１および第二カメラ１０２の撮影に係るフレームレートを増減させるため、スタイラス１０３の検出精度が低下することを極力防ぎつつ、電力消費量を低減させることができる。
なお、第一カメラ１０１のフレームレートと、第二カメラ１０２のフレームレートとを異ならせてもよい。例えば、第一カメラ１０１の方向から撮影されるスタイラス１０３の位置および姿勢の変化が少ないときであって、第二カメラ１０２の方向から撮影されるスタイラス１０３の位置および姿勢の変化が多いときがある。第一カメラ１０１の方向にスタイラス１０３が移動しているときには、このような状況になる。このような場合には、第一カメラ１０１のフレームレートのみを落として、第二カメラ１０２のフレームレートをそのままとする。このとき、第一カメラ１０１および第二カメラ１０２が撮影するタイミングは一致しないが、一致させる必要は無い。つまり、第二カメラ１０２により撮影された画像に写り込んでいるスタイラスの位置は大きく変化しているため、正確に検出するためには単位時間あたりに撮影される画像の量が多い必要があるが、第一カメラ１０１により撮影された画像に写り込んでいるスタイラスの位置はほとんど変化しないため、例えばこのときの最も早いタイミングで撮影された画像採用してもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態のスタイラス検出装置などを実現するソフトウェアは、次のようなプログラムである。
また、このプログラムは、コンピュータに、スタイラスが指す位置である指示位置を検出するスタイラス検出方法であって、第一カメラと、前記第一カメラとは異なる位置に配置され、前記第一カメラの撮影対象の少なくとも一部を撮影する第二カメラとにより同一のタイミングで撮影された少なくとも一対の画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得された少なくとも一対の画像を用いて、当該タイミングにおける前記スタイラスの軸を検出する軸検出ステップと、前記軸検出ステップにおいて検出された前記スタイラスの軸に一致する直線と、前記第一カメラおよび前記第二カメラに対して予め定められた位置関係にある面との交点を前記指示位置として算出する指示位置検出ステップと、を含むスタイラス検出方法を実行させてもよい。
なお、実施の形態３の構成は、ステレオカメラでスタイラスを認識する構成だけでなく、カメラにより撮影された画像からスタイラスなどの特定のものを検出する処理を行う構成のものであれば、電力消費量の削減の目的に利用できる。
なお、ブロック図（図２など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。
以上、本発明の一つまたは複数の態様に係るスタイラス検出装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、ユーザが把持する位置にかかわらず、スタイラスが指し示す指示位置を検出することができ、精度良く指示位置を検出できるスタイラス検出装置等として有用である。
１０ 圧力検出部
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅ、１００ｆ、２００、３００、３００ａ スタイラス検出装置
１０１ 第一カメラ
１０２ 第二カメラ
１０３、１０３ａ、１０３ｂ スタイラス
１０５ 撮像素子
１０５ａ ＲＧＢセンサ
１０５ｂ ＩＲセンサ
１１０ 対象面
１２０、１２０ｂ、１２０ｃ、１２０ｄ、１２０ｅ、１２０ｆ、２２０、３２０ 入力処理部
１２１、１２１ｂ、１２１ｃ、１２１ｄ、１２１ｅ、１２１ｆ、２２１、３２１、３２１ａ 制御部
１２２ 軸検出部
１２３、１２３ｂ 指示位置検出部
１２４、１２４ｂ、１２４ｃ、１２４ｄ、１２４ｅ 表示処理部
１２５、１２５ｂ、１２５ｃ、１２５ｅ、１２５ｆ 記憶部
１２６ 後端部検出部
１２７ 編み状態判定部
１２８ 指示提示部
１２９ 機能設定部
１３０ ユーザ選択部
１３１ 発光認識部
１４０、１４０ａ 表示部
２０１ 第一平面
２０２ 第二平面
２１０ 直線
２１１ 第一軸
２１２ 第二軸
２２１ 制御部
２２２ モード切換部
２５０ 照射部
２５１ 光源
３０１ 第一画像
３０２ 第二画像
３２２ 照射制御部
３２３ 撮影制御部
４０１ 第一スタイラス
４０２ 第二スタイラス
４１０、４１１、４１２、４１３ 軌跡
４２１ 第一発光部
４２２ 第二発光部
７００ 指示内容

Claims (25)

  1. スタイラスが指す位置である指示位置を検出するスタイラス検出装置であって、
    第一カメラと、
    前記第一カメラとは異なる位置に配置され、前記第一カメラの撮影対象の少なくとも一部を撮影する第二カメラと、
    前記第一カメラおよび前記第二カメラによりそれぞれ撮影された２枚の画像を用いて前記スタイラスの軸の三次元上の位置および姿勢を検出する軸検出部と、前記軸検出部により三次元上の位置および姿勢が検出された前記スタイラスの軸が指す方向を示す直線と、前記第一カメラおよび前記第二カメラに対して予め定められた位置関係にある対象面との交点を前記指示位置として算出する指示位置検出部とを有する制御部と、を備える
    スタイラス検出装置。
  2. 前記軸検出部は、
    前記第一カメラにより撮影された第一画像上の前記スタイラスの軸である第一軸と、前記第二カメラにより撮影された第二画像上の前記スタイラスの軸である第二軸とを算出し、
    算出した前記第一軸および前記第一カメラの位置が通る第一平面と、算出した前記第二軸および前記第二カメラの位置が通る第二平面とを算出し、
    算出した前記第一平面と前記第二平面とが交わる交線を前記スタイラスの軸の三次元上の位置および姿勢として検出する
    請求項１に記載のスタイラス検出装置。
  3. 前記スタイラス検出装置は、さらに、表示部を備え、
    前記制御部は、さらに、前記指示位置検出部により算出された指示位置に対応する前記表示部の所定位置にポインタを表示させる表示処理部を有する
    請求項１または２に記載のスタイラス検出装置。
  4. 前記対象面は、前記表示部の表示面であり、
    前記表示処理部は、前記指示位置に一致するように、前記ポインタを前記表示部に一致させる
    請求項３に記載のスタイラス検出装置。
  5. 前記対象面は、前記表示部の表示面とは異なる物理的な面である
    請求項１から３のいずれか１項に記載のスタイラス検出装置。
  6. 前記対象面は、仮想的な面である
    請求項１から３のいずれか１項に記載のスタイラス検出装置。
  7. スタイラスが指す三次元空間での位置である指示位置を検出するスタイラス検出装置であって、
    第一カメラと
    前記第一カメラとは異なる位置に配置され、前記第一カメラの撮影対象の少なくとも一部を撮影する第二カメラと、
    前記スタイラスの長さを予め記憶している記憶部と、
    前記第一カメラおよび前記第二カメラによりそれぞれ撮影された２枚の画像を用いて前記スタイラスの軸の三次元上の位置および姿勢を検出する軸検出部と、前記第一カメラおよび前記第二カメラによりそれぞれ撮影された２枚の画像を用いて前記スタイラスの後端部の位置を検出する後端部検出部と、検出された前記スタイラスの軸の三次元上の位置および姿勢、並びに、前記スタイラスの後端部の位置と、前記記憶部により予め記憶されている前記スタイラスの長さとから前記スタイラスの先端部の三次元空間での位置を前記指示位置として算出する指示位置検出部とを有する制御部と、を備える
    スタイラス検出装置。
  8. 前記スタイラス検出装置は、さらに、表示部を備え、
    前記制御部は、さらに、前記指示位置検出部により算出された前記指示位置に対応する前記表示部の所定位置に表示されるポインタが移動したときの軌跡を、前記表示部に表示させる表示処理部を有する
    請求項１または７に記載のスタイラス検出装置。
  9. 前記制御部は、さらに、前記指示位置の軌跡を第一描画形態で描画する第一機能と、当該軌跡を前記第一描画形態とは異なる第二描画形態で描画する第二機能とのうちの一つの機能に設定する機能設定部を有し、
    前記表示処理部は、前記第一機能および前記第二機能のうちで前記機能設定部により設定された機能に応じて前記軌跡の表示処理を行う
    請求項８に記載のスタイラス検出装置。
  10. 前記スタイラス検出装置は、さらに、前記スタイラスに設けられ、前記スタイラスにユーザからの圧力が加えられたことを検出する圧力検出部を備え、
    前記機能設定部は、圧力が加えられたことを前記圧力検出部が検出しているときに前記第一機能に設定し、圧力が加えられたことを前記圧力検出部が検出していないときに前記第二機能に設定する
    請求項９に記載のスタイラス検出装置。
  11. 前記スタイラス検出装置は、さらに、前記スタイラスに設けられ、オンオフ可能なスイッチを備え、
    前記機能設定部は、前記スイッチがオンのときに前記第一機能に設定し、前記スイッチがオフのときに前記第二機能に設定する
    請求項９に記載のスタイラス検出装置。
  12. 前記機能設定部は、前記第一カメラまたは前記第二カメラにより撮影された画像上の前記スタイラスの外観に応じて、前記第一機能および前記第二機能のうちの一つの機能に設定する
    請求項９に記載のスタイラス検出装置。
  13. 前記機能設定部は、検出された前記スタイラスの軸の傾きに応じて、前記第一機能および前記第二機能のうちの一つの機能に設定する
    請求項９に記載のスタイラス検出装置。
  14. 前記機能設定部は、検出された前記スタイラスの軸と前記対象面との角度が大きくなるほど、細くまたは太く描画されるように機能を設定する
    請求項９に記載のスタイラス検出装置。
  15. 前記機能設定部は、前記スタイラスの軸の傾き、前記ポインタの位置、または前記スタイラスの後端部の位置の単位時間あたりの変位量が予め定められた閾値を超えた場合に、前記第一機能および前記第二機能のうちの一つの機能に設定する
    請求項９に記載のスタイラス検出装置。
  16. 前記制御部は、さらに、前記スタイラスの軸を複数検出した場合に、検出した複数のスタイラスの指示位置ごとにそれぞれ異なる描画形態で描画させるユーザ選択部を有する
    請求項１から１５のいずれか１項に記載のスタイラス検出装置。
  17. さらに、
    前記表示処理により描画の表示を行う表示部と、
    前記第一カメラおよび前記第二カメラの撮影対象となる空間に赤外線を照射する照射部と、を備え
    前記表示部は、前記照射部が照射する赤外線の周波数帯域とは異なる周波数帯域の光を発光する
    請求項１から１６のいずれか１項に記載のスタイラス検出装置。
  18. さらに、
    前記第一カメラおよび前記第二カメラの撮影対象となる空間に赤外線を照射する照射部を備え、
    前記第一カメラまたは前記第二カメラの撮像素子は、ＲＧＢを検出するＲＧＢセンサと、赤外線を検出するＩＲセンサとを有し、
    前記制御部は、さらに、
    前記第一カメラおよび前記第二カメラが毎秒ｎフレーム（ｎは自然数）のキャプチャを行う場合、
    前記照射部による照射を行いつつ前記ＩＲセンサによるＩＲ検出を行い、当該ＩＲ検出の間に少なくとも１／ｎフレームのタイミングで前記ＲＧＢセンサによるＲＧＢ検出を行う第一モードと、
    前記ＲＧＢ検出を行い、当該ＲＧＢ検出の間に少なくとも１／ｎフレームのタイミングで前記照射部による照射および前記ＩＲ検出を行う第二モードと、を切り換えるモード切換部を有し、
    前記モード切換部は、前記第一カメラまたは前記第二カメラが配置された環境における外光の光強度が予め定められた閾値よりも小さい場合に前記第一モードに切り換え、当該環境における外光の光強度が前記予め定められた閾値よりも大きい場合に第二モードに切り換える
    請求項１から１６のいずれか１項に記載のスタイラス検出装置。
  19. 前記スタイラス検出装置は、さらに、前記第一カメラおよび前記第二カメラの撮影対象となる空間に赤外線を照射する複数の光源を有する照射部を備え、
    前記制御部は、さらに、前記複数の光源のうち、検出した前記スタイラスの位置を照射する第一光源の光量よりも、前記第一光源以外の光源の光量を低下させる照射制御部を有する
    請求項１から１８のいずれか１項に記載のスタイラス検出装置。
  20. 前記制御部は、さらに、検出したスタイラスの単位時間あたりの移動量が予め定められた閾値以下の場合に、前記第一カメラおよび前記第二カメラの撮影に係るフレームレートを小さくし、前記単位時間あたりの移動量が前記閾値を超える場合に、前記フレームレートを大きくする撮影制御部を有する
    請求項１から１９のいずれか１項に記載のスタイラス検出装置。
  21. 前記スタイラス検出装置は、さらに、異なる複数の第一タイミングの第一発光パターンで発光する第一発光部を有する第一スタイラスと、前記第一発光パターンとは異なる第二発光パターンで発光する第二発光部を有する第二スタイラスとを備え、
    前記制御部は、さらに、前記第一タイミングと、前記第二発光パターンの発光タイミングである複数の第二タイミングとを含む複数のタイミングで前記第一カメラおよび前記第二カメラに撮影させ、前記第一タイミングで撮影した画像において発光している発光部を有するスタイラスを前記第一スタイラスであると認識し、前記第二タイミングで撮影した画像において発光している発光部を有するスタイラスを前記第二スタイラスであると認識する発光認識部を有する
    請求項１から２０のいずれか１項に記載のスタイラス検出装置。
  22. 前記制御部は、さらに、
    前記第一カメラおよび前記第二カメラによって撮影された画像をクロスシミュレーションによって解析することにより得られる糸の形状情報と、推定した前記スタイラスの軸および前記先端部の位置とに基づいて現在の編み状態を判定する編み状態判定部と、
    前記編み状態判定部により判定された現在の編み状態と、予め設計された編み物の設計情報とを比較することにより、次にどのように編むかを指示するための指示内容を算出し、前記指示内容を表示させる指示提示部と、を有する
    請求項７に記載のスタイラス検出装置。
  23. スタイラスが指す位置である指示位置を検出するスタイラス検出方法であって、
    第一カメラと、前記第一カメラとは異なる位置に配置され、前記第一カメラの撮影対象の少なくとも一部を撮影する第二カメラとにより同一のタイミングで撮影された少なくとも一対の画像を取得する画像取得ステップと、
    前記画像取得ステップにおいて取得された少なくとも一対の画像を用いて、当該タイミングにおける前記スタイラスの軸を検出する軸検出ステップと、
    前記軸検出ステップにおいて検出された前記スタイラスの軸に一致する直線と、前記第一カメラおよび前記第二カメラに対して予め定められた位置関係にある面との交点を前記指示位置として算出する指示位置検出ステップと、を含む
    スタイラス検出方法。
  24. 請求項２３に記載のスタイラス検出方法をコンピュータに実行させるためのプログラム。
  25. スタイラスが指す位置である指示位置を検出するスタイラス検出装置を構成する集積回路であって、
    第一カメラと、
    前記第一カメラとは異なる位置に配置され、前記第一カメラの撮影対象の少なくとも一部を撮影する第二カメラと、
    前記第一カメラおよび前記第二カメラによりそれぞれ撮影された２枚の画像を用いて前記スタイラスの軸の三次元上の位置および姿勢を検出する軸検出部と、前記軸検出部により三次元上の位置および姿勢が検出された前記スタイラスの軸が指す方向を示す直線と、前記第一カメラおよび前記第二カメラに対して予め定められた位置関係にある対象面との交点を前記指示位置として算出する指示位置検出部とを有する制御部と、を備える
    集積回路。
JP2013558258A 2012-08-30 2013-08-21 スタイラス検出装置およびスタイラス検出方法 Expired - Fee Related JP6225031B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012190453 2012-08-30
JP2012190453 2012-08-30
PCT/JP2013/004934 WO2014034049A1 (ja) 2012-08-30 2013-08-21 スタイラス検出装置およびスタイラス検出方法

Publications (2)

Publication Number Publication Date
JPWO2014034049A1 true JPWO2014034049A1 (ja) 2016-08-08
JP6225031B2 JP6225031B2 (ja) 2017-11-01

Family

ID=50182888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013558258A Expired - Fee Related JP6225031B2 (ja) 2012-08-30 2013-08-21 スタイラス検出装置およびスタイラス検出方法

Country Status (4)

Country Link
US (1) US9513720B2 (ja)
JP (1) JP6225031B2 (ja)
CN (1) CN103946668B (ja)
WO (1) WO2014034049A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI518574B (zh) * 2013-12-25 2016-01-21 光峰科技股份有限公司 互動式顯示系統及其輸入裝置
JP6481360B2 (ja) * 2014-12-24 2019-03-13 富士通株式会社 入力方法、入力プログラムおよび入力装置
JP6615491B2 (ja) * 2015-05-22 2019-12-04 シャープ株式会社 ペン入力システム、タッチペン、及び、ペン入力方法
TWI697507B (zh) 2016-01-13 2020-07-01 日商電化股份有限公司 雙軸延伸薄片及其成形品
US10711377B2 (en) * 2016-07-12 2020-07-14 Ruth Ann Christian Knitting needles and crochet hooks and systems
JP2018049413A (ja) * 2016-09-21 2018-03-29 三洋テクノソリューションズ鳥取株式会社 情報端末装置およびプログラム
TWI607365B (zh) * 2016-10-07 2017-12-01 Handwriting interactive display device and handwriting interactive reading device
DE102016013028A1 (de) * 2016-11-02 2018-05-03 Friedrich-Schiller-Universität Jena Verfahren und Vorrichtung zur genauen Lagebestimmung von pfeilartigen Objekten relativ zu Oberflächen
WO2018214691A1 (en) * 2017-05-23 2018-11-29 Shenzhen GOODIX Technology Co., Ltd. Optical touch sensing for displays and other applications
KR102523266B1 (ko) * 2018-01-16 2023-04-21 삼성전자주식회사 디스플레이 장치, 디스플레이 시스템 및 그 제어방법
JP6787363B2 (ja) * 2018-05-10 2020-11-18 セイコーエプソン株式会社 操作デバイス、位置検出システム及び操作デバイスの制御方法
JP7174397B2 (ja) * 2018-06-18 2022-11-17 チームラボ株式会社 映像表示システム，映像表示方法，及びコンピュータプログラム
US11009955B2 (en) 2018-07-30 2021-05-18 Apple Inc. Stylus with shear force feedback
JP6891866B2 (ja) * 2018-10-25 2021-06-18 セイコーエプソン株式会社 表示装置、表示装置の制御方法および表示システム
JPWO2021140921A1 (ja) * 2020-01-09 2021-07-15
CN113838154B (zh) * 2021-08-19 2022-12-13 荣耀终端有限公司 触控笔和取色方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127810A (ja) * 1991-11-05 1993-05-25 Sharp Corp 手書文字処理装置
JPH0592844U (ja) * 1992-05-14 1993-12-17 大日本スクリーン製造株式会社 ペン描画装置
JPH06149468A (ja) * 1992-11-11 1994-05-27 Hitachi Ltd 手書き文字処理方式およびペン状態入力装置
JPH0744313A (ja) * 1993-08-03 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 指示情報入力方法
JP2005267169A (ja) * 2004-03-18 2005-09-29 Nippon Telegr & Teleph Corp <Ntt> 光信号ポインティング方法、光信号ポインティング装置、および、プログラム
JP2005354190A (ja) * 2004-06-08 2005-12-22 Sony Corp 通信システム、受信装置および方法、記録媒体、並びにプログラム
JP2009104297A (ja) * 2007-10-22 2009-05-14 Mitsubishi Electric Corp 操作入力装置
JP2009151516A (ja) * 2007-12-20 2009-07-09 Yaskawa Information Systems Co Ltd 情報処理装置および情報処理装置用操作者指示点算出プログラム
JP2010028635A (ja) * 2008-07-23 2010-02-04 Mitsubishi Electric Engineering Co Ltd 車載型映像記録装置
JP2011024284A (ja) * 2009-07-13 2011-02-03 Panasonic Electric Works Co Ltd 電力監視システム
JP2011084050A (ja) * 2009-10-13 2011-04-28 Plus Vision Corp 電子筆記システム
JP2011118523A (ja) * 2009-12-01 2011-06-16 Sekisui House Ltd 描画表示装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2676568B1 (fr) 1991-05-17 1997-04-18 Aviau De Piolant Jean Louis D Systeme de dessin graphique.
JPH0592844A (ja) 1991-09-30 1993-04-16 Ricoh Co Ltd 紙搬送装置
JPH0895707A (ja) 1994-09-27 1996-04-12 Sony Corp コンピュータディスプレイシステム
JPH08171446A (ja) 1994-12-19 1996-07-02 Matsushita Electric Ind Co Ltd ペン入力装置
US6057831A (en) * 1996-08-14 2000-05-02 Samsung Electronics Co., Ltd. TV graphical user interface having cursor position indicator
US6512507B1 (en) 1998-03-31 2003-01-28 Seiko Epson Corporation Pointing position detection device, presentation system, and method, and computer-readable medium
JPH11345086A (ja) 1998-03-31 1999-12-14 Seiko Epson Corp ポインティング位置検出装置及び方法、カ―ソル位置制御方法、プレゼンテ―ションシステム、情報記憶媒体
JPH11345087A (ja) 1998-03-31 1999-12-14 Seiko Epson Corp プレゼンテ―ションシステム及び位置検出方法
JP2000276297A (ja) 1999-03-25 2000-10-06 Seiko Epson Corp ポインティング位置検出装置、ポインティング位置検出方法、プレーゼンテーションシステムおよび情報記憶媒体
JP2001005609A (ja) 1999-06-23 2001-01-12 Seiko Epson Corp ポインティング位置検出装置、ポインティング位置検出方法、プレーゼンテーションシステムおよび情報記憶媒体
US6346933B1 (en) * 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
JP3520823B2 (ja) 1999-12-20 2004-04-19 日本電気株式会社 ペン型ポインティングデバイス
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
JP4708278B2 (ja) 2006-05-12 2011-06-22 株式会社アシスト タッチパネルシステム及びその動作方法
CN101872267A (zh) * 2009-04-24 2010-10-27 南京芒冠光电科技有限公司 一种在屏幕上精确定位并追踪指示器位置的装置和方法
JP2011180690A (ja) 2010-02-26 2011-09-15 Brother Industries Ltd 表示制御装置、表示制御方法、および表示制御プログラム
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
JP2013065061A (ja) * 2011-09-15 2013-04-11 Funai Electric Co Ltd プロジェクタ

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127810A (ja) * 1991-11-05 1993-05-25 Sharp Corp 手書文字処理装置
JPH0592844U (ja) * 1992-05-14 1993-12-17 大日本スクリーン製造株式会社 ペン描画装置
JPH06149468A (ja) * 1992-11-11 1994-05-27 Hitachi Ltd 手書き文字処理方式およびペン状態入力装置
JPH0744313A (ja) * 1993-08-03 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 指示情報入力方法
JP2005267169A (ja) * 2004-03-18 2005-09-29 Nippon Telegr & Teleph Corp <Ntt> 光信号ポインティング方法、光信号ポインティング装置、および、プログラム
JP2005354190A (ja) * 2004-06-08 2005-12-22 Sony Corp 通信システム、受信装置および方法、記録媒体、並びにプログラム
JP2009104297A (ja) * 2007-10-22 2009-05-14 Mitsubishi Electric Corp 操作入力装置
JP2009151516A (ja) * 2007-12-20 2009-07-09 Yaskawa Information Systems Co Ltd 情報処理装置および情報処理装置用操作者指示点算出プログラム
JP2010028635A (ja) * 2008-07-23 2010-02-04 Mitsubishi Electric Engineering Co Ltd 車載型映像記録装置
JP2011024284A (ja) * 2009-07-13 2011-02-03 Panasonic Electric Works Co Ltd 電力監視システム
JP2011084050A (ja) * 2009-10-13 2011-04-28 Plus Vision Corp 電子筆記システム
JP2011118523A (ja) * 2009-12-01 2011-06-16 Sekisui House Ltd 描画表示装置

Also Published As

Publication number Publication date
CN103946668A (zh) 2014-07-23
WO2014034049A1 (ja) 2014-03-06
US9513720B2 (en) 2016-12-06
JP6225031B2 (ja) 2017-11-01
US20140285475A1 (en) 2014-09-25
CN103946668B (zh) 2017-12-05

Similar Documents

Publication Publication Date Title
JP6225031B2 (ja) スタイラス検出装置およびスタイラス検出方法
US20220385804A1 (en) Adjusting Motion Capture Based on the Distance Between Tracked Objects
US9494415B2 (en) Object position determination
KR101851264B1 (ko) 가상 멀티터치 마우스와 스타일러스 장치를 위한 시스템 및 그 방법
CN105706028B (zh) 投影型影像显示装置
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
CN104272218B (zh) 基于联合数据的虚拟手
TWI483143B (zh) 混合式指向裝置
US20160073033A1 (en) Electronic apparatus
JP2010134738A (ja) 端末装置、表示制御方法および表示制御プログラム
US9799141B2 (en) Display device, control system, and control program
US10754446B2 (en) Information processing apparatus and information processing method
JP2012185630A (ja) 投影装置
JP5817149B2 (ja) 投影装置
KR102561274B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
JP4172307B2 (ja) ３次元指示入力装置
US20150035800A1 (en) Information terminal apparatus
KR102118421B1 (ko) 카메라 커서 시스템
KR20040027764A (ko) 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
US11620044B2 (en) Mobile terminal
JP2023544107A (ja) 光学式位置決定デバイスのための光学スタイラス
WO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム
US20240104876A1 (en) Systems and methods of creating and editing virtual objects using voxels
TW201305853A (zh) 混合式指向裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171006

R150 Certificate of patent or registration of utility model

Ref document number: 6225031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees