WO2005045658A1 - 位置検出装置及び位置検出方法 - Google Patents

位置検出装置及び位置検出方法 Download PDF

Info

Publication number
WO2005045658A1
WO2005045658A1 PCT/JP2004/016389 JP2004016389W WO2005045658A1 WO 2005045658 A1 WO2005045658 A1 WO 2005045658A1 JP 2004016389 W JP2004016389 W JP 2004016389W WO 2005045658 A1 WO2005045658 A1 WO 2005045658A1
Authority
WO
WIPO (PCT)
Prior art keywords
pointer
window
detection
detecting device
sub
Prior art date
Application number
PCT/JP2004/016389
Other languages
English (en)
French (fr)
Inventor
Yasuji Ogawa
Original Assignee
Xiroku, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiroku, Inc. filed Critical Xiroku, Inc.
Publication of WO2005045658A1 publication Critical patent/WO2005045658A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Definitions

  • the present invention relates to a position detecting device and a position detecting method, and more particularly, to a position detecting method and a position detecting method that uses a sub-sampling function and a window jung function to increase the following speed without deteriorating the position detecting accuracy of a pointer. It relates to a detection device.
  • the optical position detection device includes a device using a line image sensor as an image pickup device of the image pickup unit and a device using an area image sensor.
  • a line image sensor as an image pickup device of the image pickup unit
  • an area image sensor there is one that photographs a predetermined two-point indicator near a detection area and calculates the indicated position based on the principle of triangulation.
  • Patent Document 1 A typical position detecting device using a line image sensor is disclosed in Patent Document 1, for example.
  • Patent Document 2 there is a device using an area image sensor that captures an image of a detection region from above the detection region, detects a pointer, and calculates the coordinates of the specified position.
  • Patent Document 1 US Pat. No. 4,507,557 (FIGS. 1 and 4)
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2001-209487
  • the frame readout rate of the image sensor is at least 70 frames per second, preferably 100 frames per second.
  • the above detection speed is required.
  • the frame readout rate is high.
  • the area image sensor has a large number of pixels, so its frame readout rate is about 14 frames per second, and about 30 frames at high speed. Therefore, as it is, It cannot be used for applications. It is conceivable to use an image sensor having a small number of pixels in order to increase the frame readout rate.
  • an object of the present invention is to provide a position detecting device and a position detecting method in which the following speed is increased without lowering the position detecting accuracy of the pointer.
  • a position detecting device includes a sub-sampling means for reading data from a predetermined pixel from all pixels of an imaging element by an intervening IV, A window jug means for reading data of a window defined by an arbitrary size and an arbitrary size in all the pixels.
  • the sub-sampling means reads out the entire detection area where the pointer is placed.
  • the data force read by the sub-sampling means may also have a detecting means for detecting an approximate pointing position of the pointer.
  • the window Jung means reads out data of a window including the approximate indicated position of the pointer from among all the pixels of the image sensor based on the approximate indicated position of the pointer detected by the detecting means. Anything is fine.
  • the position of the window may be moved so that the position of the pointer is included in the window, and the pointer may be tracked.
  • the sub-sampling means and the window Jung means are repeatedly switched to read data. Also good ⁇ .
  • the windowing means can define a plurality of windows and detect a plurality of pointers. If it exists in the area, data of a plurality of windows including the approximate pointing position of each pointer may be read out.
  • a light source may be provided near the image sensor, and a retroreflective member may be provided at the tip of the pointer. Further, the pointer may be a finger. Further, a light source may be provided at the tip of the indicator.
  • a display device may be provided so that a display screen area of the display device is a detection area where the pointer is placed.
  • an operating tool having an image sensor, at least one light source arranged at a predetermined reference position and irradiating the operating tool with light, and a positioning force of the light source viewed from the image sensor included in the operating tool Processing means for calculating the position of the component.
  • the imaging element is a CMOS image sensor.
  • the position detection method of the present invention in which the pointer placed in the detection area is photographed and the pointing position of the pointer is detected, the total pixel power of the image sensor is reduced by thinning out a predetermined pixel, and the entire detection area is reduced.
  • a window jung process for reading out data of a window including the approximate pointing position of the pointer from among all the pixels of the imaging element is provided.
  • the sub-sampling process and the window Jung means are repeatedly performed to calculate the pointing position coordinates of each of the pointers. Good.
  • the position detection device and the position detection method of the present invention have an advantage that the following speed can be increased without lowering the accuracy of the position detection of the pointer.
  • FIG. 1 is a diagram for explaining the outline of the position detecting device according to the first embodiment of the present invention.
  • An indicator 2 such as a stylus is placed on the detection area 1 and is moved by a camera 4 provided above the detection area 1. It is something to shoot.
  • the display device 6 by combining the display device 6 with the display device 6, the display screen of the display device can be set as the detection area 1 so as to be a touch panel display device.
  • the camera 4 has a structure as shown in FIG. That is, the image sensor 41 is a main component, and has an imaging lens 42 for forming an image of the detection area on the image sensor 41.
  • the camera 4 is provided with a light source 43. Light emitted from the light source 43 illuminates the entire surface of the detection area 1.
  • the indicator 2 is placed in the detection area 1, the light incident on the retroreflective member 3 provided at the tip thereof is reflected back to the incident direction.
  • the reflected light is received by the imaging device 41 via the imaging lens 42.
  • the pointing position is detected by detecting the reflected light, that is, the position of the brightest part on the image.
  • These detections are sent to an electronic computer 5 such as a personal computer connected to the camera 4, where the data is processed.
  • an electronic computer 5 such as a personal computer connected to the camera 4, where the data is processed.
  • a configuration in which a DSP or the like is provided in the camera and processing is performed therewith may be employed.
  • an infrared transmission filter 44 is provided in front of the image sensor 41 to reflect the reflected light emitted from the infrared light emitting diode and reflected by the retroreflective material 3. It is also possible to surely detect. Even if the pointer is a finger, the light hitting the finger is reflected to some extent, so that the pointing position of the finger can be detected. Further, the light source 43 may not be provided on the camera 4 side, and a light source such as an LED may be provided at the tip of the indicator 2 instead of the retroreflective material.
  • the image sensor according to the present invention includes a sub-sampling mode for reading out data by thinning out predetermined pixels from all pixels, and a window Jung mode for reading out window data defined by an arbitrary place and an arbitrary size among all the pixels. Is provided.
  • the sub-sampling mode is a mode in which data is read by thinning out predetermined pixels when reading the entire detection area where the pointer is placed. Specifically, if sub-sampling is performed from all the pixels by, for example, 1Z4 in the vertical and horizontal directions, respectively, only 1Z16 pixels are read out. Therefore, the frame readout rate is 16 times faster than when reading out all pixels.
  • the subsamples are not limited to 1Z4, but 1Z2 and 1Z 8, 1Z 16, etc. may be used.
  • the window Jung mode is also called a Window of Interest (WOI) mode.
  • pixel data of a portion to be read in the image sensor is defined as a window.
  • the window only needs to specify the address of the pixel at the top left of the window and the size of the row and column. That is, by designating the pointer, the height, and the width, it becomes possible to read out only the data of the window defined thereby. For example, if the window size is 1Z4 for all pixels, the frame readout rate is 16 times faster than when reading out all pixels.
  • the brightest point that is, the position of the pixel with the highest light receiving intensity is detected.
  • This position is the approximate pointing position of the pointer.
  • the detection accuracy decreases. For example, when sub-sampling is performed in 1/4, the detection accuracy also drops to 1Z4. Therefore, when the approximate position of the pointer can be detected from the data read in the sub-sampling mode, the mode is switched to the window Jung mode, and the approximate position detected from all the pixels of the image sensor based on this position is included. Define a window and read the data in this window. In the window Jung mode, it is possible to detect the accurate position of the pointer without lowering the detection accuracy. Furthermore, in the window Jung mode, for example, if the size of the window is 1Z4 of all pixels, 224 frames can be read out per second, so that the detection speed is sufficiently high.
  • a pen pressure detection function on the detection area surface or the pointer so that it is possible to reliably detect the input to the detection area surface. is there.
  • a button such as a click button may be provided, for example, outside the detection area, and the button may be pressed when inputting.
  • CMOS image sensor it is preferable to use a CMOS image sensor as the image pickup device! This is because the CMOS image sensor can easily achieve the sub-sampling and windowing of the present invention because of its random access method that can read out a pixel at an arbitrary address in pixel units due to its structure.
  • the frame readout rate must be increased to some extent because subsampling can be performed by thinning out vertically transferred data. Is possible.
  • the sub-sampling mode is set, and the detection area is photographed (step 301). For example, set to 1Z4 sub-sampling mode. Then, the pixel with the highest received light intensity is detected (step 302), and it is confirmed whether or not the received light intensity of the detected pixel exceeds a predetermined threshold (step 303). This is because light may be detected in addition to the retroreflective material / light source provided at the tip of the pointer. If the threshold value is not exceeded, the flow returns to step 301 to continue subsampling.
  • the light receiving intensity of the pixel detected in step 302 exceeds a predetermined threshold, it can be determined that the pointer has been placed in the detection area. Since the detection is performed in the sub-sampling mode, the detection accuracy is too high.
  • the position of the pixel exceeding the predetermined threshold is the approximate indicated position of the indicator.
  • a window including the approximate pointing position of the pointer is defined from all the pixels of the image sensor, and the data of the window is read (step 304). For example, a 1Z4 size window centered on the approximate pointing position of the pointer is set and read. Then, the pixel having the highest light receiving intensity is detected (step 305).
  • the light receiving intensity of the detected pixel is equal to a predetermined threshold. It is checked whether the force exceeds the value (step 306). If the threshold value is exceeded, the center of gravity of the received light intensity of the neighboring pixels including the pixel is obtained, and the position of the center of gravity is set as the designated position of the pointer, and the coordinates of the designated position are output (step 307).
  • step 304 the position of the window is moved so that the pointer is always included even when the pointer moves, and the pointer is photographed. Thereafter, steps 304 to 307 are repeated. The handwriting of the pointer is photographed while tracking the pointer.
  • step 306 In the window Jung mode of step 307 due to the rapid movement of the pointer, if the pixel having the highest received light intensity is lost in the window Jung mode of step 307, the pixel having the received light intensity exceeding the predetermined threshold value is determined in step 306. Return to step 301 and switch to sub-sampling mode. Thereby, it is determined again whether or not the pointer is present in the detection area. If the pointer is not detected even in the sub-sampling mode, it is understood that the pointer is not present in the detection area. In this case, steps 301 to 303 are repeated to wait for the input of the pointer.
  • FIG. 4 is a flowchart for explaining a method of detecting a plurality of pointers.
  • Steps 401 to 403 in the sub-sampling mode are basically the same as steps 301 to 303 in the case of one indicator shown in FIG.
  • the pixel (C1) having the highest light reception intensity is detected.
  • step 404 a pixel (C2) having the highest light receiving intensity is detected in a portion excluding the pixel C1.
  • a window including the pixel C1 is defined based on the detected position of the pixel C1, and the data of the window is read out (step 408).
  • a pixel is detected (step 409), and it is confirmed whether or not the received light intensity of the detected pixel exceeds a predetermined threshold (step 410) . If the received light intensity exceeds the predetermined threshold, a neighboring pixel including the pixel is detected. The center of gravity of the received light intensity is obtained, and the position of the center of gravity is set as the designated position of the first pointer, and the coordinates of the designated position are output (step 411). This is the same operation as steps 304 to 307 in FIG. If it is determined in step 410 that the force does not exceed the predetermined threshold, the process proceeds to step 412 in which it is determined whether the value input to N is 2 or not.
  • step 401 the entire detection area is photographed in the sub-sampling mode, and the movement of the pointer is tracked by repeatedly outputting the pointing position coordinates in the window Jung mode based on this.
  • the frame reading rate when reading all pixels is 14 frames per second.
  • the frame reading rate when reading all pixels is 14 frames per second.
  • the window may be too wide to be the detection area 1Z4, so that by setting this to 1Z8 or the like, a higher frame reading rate can be realized. In this way, even if two or more pointers are input, it is possible to detect sufficiently fast.
  • an image sensor capable of defining a plurality of windows is used in the window Jung mode, it is possible to read data from each of the plurality of windows in the window Jung mode without repeating the sub-sampling mode and the windowing mode. is there. In this case, if there is a newly input pointer, it cannot be detected in the window Jung mode. Therefore, it is preferable to perform control to return to the sub-sampling mode at predetermined intervals.
  • the position detecting device and the position detecting method of the present invention are not limited to the above-described illustrated examples, and various changes can be made without departing from the scope of the present invention. is there.
  • the position of the camera is fixed and the position where the pointer is placed has been described.
  • the present invention is not limited to this, and is described in, for example, JP-A-7-302148.
  • the operation tool having the image sensor may move, and the reference light source may be fixed. That is, the instruction information is input to a computer or the like according to the position and orientation of the operating tool.
  • This can be realized by providing the imaging device of the present invention on the operating tool and arranging a light source for irradiating the operating tool with light at a predetermined reference position.
  • the approximate position of the light source may be detected first in the sub-sampling mode, and then the accurate position of the light source may be detected in the window Jung mode.
  • an input to an image projected by a projector by an indicator such as a light pen is detected. It is also applicable to such a detection device. Even in this case, first Detecting the approximate position indicated by the light pen in windowing mode, and then detecting the exact position of the light source in windowing mode!
  • FIG. 1 is a schematic diagram for explaining an overview of a position detection device of the present invention.
  • FIG. 2 is a diagram for explaining a structure of a camera of the position detection device of the present invention.
  • FIG. 3 is a flowchart for explaining the flow of position detection by the position detection device of the present invention.
  • FIG. 4 is a flowchart for explaining a flow of position detection when two pointers are input in the position detection device of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

 指示体の位置検出の精度を落とすことなく追従速度を上げた位置検出装置及び位置検出方法を提供する。  指示体2が置かれる検出領域1をカメラ4で撮像して指示体の指示位置を検出する位置検出装置は、撮像素子41の全画素から所定画素を間引いてデータを読み出すサブサンプリング手段と、撮像素子の全画素のうちの任意の場所、任意の大きさで画定されるウィンドウのデータを読み出すウィンドウニング手段とを具備する。サブサンプリング手段により読み出されたデータから指示体のおおよその指示位置を検出し、このおおよその指示位置に基づき、指示体のおおよその指示位置が含まれるウィンドウのデータを読み出す。さらに、指示体が移動した場合にはウィンドウ内に指示体の位置が含まれるようにウィンドウの位置を移動させて指示体を追跡することで、筆跡等を検出する。

Description

位置検出装置及び位置検出方法
技術分野
[0001] 本発明は位置検出装置及び位置検出方法に関し、特に、サブサンプリング機能と ウィンドウユング機能を用いることで、指示体の位置検出の精度を落とすことなく追従 速度を上げた位置検出方法及び位置検出装置に関する。
背景技術
[0002] 位置検出装置としては、感圧式や抵抗被膜式、光学式のものが知られて 、る。この 中で光学式位置検出装置は、検出面として机上面やガラス面等をそのまま利用でき る点や精度の点力 注目されている。光学式位置検出装置には、その撮像部の撮像 素子にラインイメージセンサを用いるものやエリアイメージセンサを用いるものがある。 ラインイメージセンサを用いたものには、検出領域近傍の所定の 2ケ所力 指示体を 撮影して三角測量の原理で指示位置を算出するもの等がある。ラインイメージセンサ を用いた位置検出装置の典型的なものは、例えば特許文献 1に開示されている。ま た、エリアイメージセンサを用いたものには、検出領域の上部から検出領域を撮影し 、指示体を検出してその指示位置座標を算出するもの等がある。この典型的なもの は、例えば特許文献 2に開示されている。
[0003] 特許文献 1 :米国特許第 4507557号明細書 (第 1図、第 4図)
特許文献 2:特開 2001— 209487号公報
発明の開示
発明が解決しょうとする課題
[0004] 位置検出装置を、電子計算機等への文字入力の用途に用いる場合、ある程度正 確に筆跡を追うためには、撮像素子のフレーム読出レートは少なくとも毎秒 70フレー ム、好ましくは毎秒 100フレーム以上の検出速度が必要である。ラインイメージセンサ の場合には画素数も少ないため、フレーム読出レートは高い。し力しながら、エリアイ メージセンサの場合、画素数が多!、ためそのフレーム読出レートは毎秒 14フレーム 程度、高速なものでも 30フレーム程度である。したがって、このままでは文字入力の 用途には用いることができない。フレーム読出レートを高くするために画素数が少な い撮像素子を用いることも考えられるが、その場合、画素数が少ないために正確な指 示位置座標を検出できないという問題がある。また、検出領域が大きい場合、より正 確な指示位置座標を検出するにはさらに高画素数である必要があり、この場合には さらにフレーム読出レートが低くなつてしまう。このようにフレーム読出レートが低 、と、 文字入力に対して追従することができず、正確に入力文字を検出することができなく なってしまう。したがって、フレーム読出レートを高くすることで追従速度を高め、且つ 正確に入力位置座標の検出が可能な位置検出装置の開発が望まれていた。
[0005] 本発明は、斯かる実情に鑑み、指示体の位置検出の精度を落とすことなく追従速 度を上げた位置検出装置及び位置検出方法を提供しょうとするものである。
課題を解決するための手段
[0006] 上述した本発明の目的を達成するために、本発明による位置検出装置は、撮像素 子の全画素から所定画素を間弓 I V、てデータを読み出すサブサンプリング手段と、撮 像素子の全画素のうちの任意の場所、任意の大きさで画定されるウィンドウのデータ を読み出すウィンドウユング手段とを具備するものである。
[0007] ここで、サブサンプリング手段は、指示体が置かれる検出領域の全体を読み出すも のである。
[0008] さらに、サブサンプリング手段により読み出されたデータ力も指示体のおおよその指 示位置を検出する検出手段を有しても良い。
[0009] また、ウィンドウユング手段は、検出手段により検出された指示体のおおよその指示 位置に基づき、撮像素子の全画素のうちから指示体のおおよその指示位置が含まれ るウィンドウのデータを読み出すものであれば良い。
[0010] さらに、指示体が移動した場合にはウィンドウ内に指示体の位置が含まれるようにゥ インドウの位置を移動させて指示体を追跡するようにしても良 、。
[0011] さらに、複数の指示体が検出領域内に存在する場合に、それぞれの指示体の指示 位置座標を算出するために、サブサンプリング手段とウィンドウユング手段を繰り返し 切り替えてデータを読み出すようにしても良 ヽ。
[0012] また、ウィンドウニング手段は、複数のウィンドウを画定でき、複数の指示体が検出 領域内に存在する場合に、それぞれの指示体のおおよその指示位置が含まれる複 数のウィンドウのデータをそれぞれ読み出すようにしても良 、。
[0013] さらに、撮像素子の近傍に光源を有し、また、指示体の先端に再帰性反射部材を 有するようにしても良い。また、指示体は指であっても構わない。さらに、指示体の先 端に光源を有するようにしても良い。
[0014] また、表示装置を設けて、該表示装置の表示画面領域が指示体が置かれる検出 領域となるようにしても良い。
[0015] さらに、撮像素子を有する操作具と、所定の基準位置に配置され操作具に対して 光を照射する少なくとも一つの光源と、操作具が有する撮像素子から見た光源の位 置力 操作具の位置を算出する処理手段とを具備するようにしても良い。
[0016] ここで、撮像素子は、 CMOSイメージセンサであることが望まし 、。
[0017] また、検出領域内に置かれた指示体を撮影し、指示体の指示位置を検出する本発 明の位置検出方法は、撮像素子の全画素力 所定画素を間引いて検出領域の全体 のデータを読み出すサブサンプリング過程と、サブサンプリング過程で読み出された データ力 指示体のおおよその指示位置を検出する検出過程と、検出過程で検出さ れた指示体のおおよその指示位置に基づき、撮像素子の全画素のうちから指示体 のおおよその指示位置が含まれるウィンドウのデータを読み出すウィンドウユング過 程とを具備するちのである。
[0018] さらに、この方法は、複数の指示体が検出領域内に存在する場合に、それぞれの 指示体の指示位置座標を算出するために、サブサンプリング過程とウィンドウユング 手段を繰り返し行うようにすれば良 、。
発明の効果
[0019] 本発明の位置検出装置及び位置検出方法には、指示体の位置検出の精度を落と すことなく追従速度を上げることができるという利点がある。
発明を実施するための最良の形態
[0020] 以下、本発明を実施するための最良の形態を図示例と共に説明する。図 1は、本発 明の第 1実施例の位置検出装置の概要を説明するための図である。検出領域 1上に スタイラス等の指示体 2が置かれ、それを検出領域 1の上方に設けられるカメラ 4にて 撮影するものである。なお、表示装置 6と組み合わせることで、表示装置の表示画面 を検出領域 1とすることでタツチパネル表示装置とすることも可能である。
[0021] カメラ 4は、図 2に示すような構造となっている。即ち、撮像素子 41が主要部品であ り、撮像素子 41へ検出領域を撮影した像を結像するための結像レンズ 42を有する。 指示体 2の先端に、光を入射した方向へ反射する性質を有する再帰反射材 3が設け られる場合、カメラ 4に光源 43を設ける。光源 43から放射した光は、検出領域 1の全 面を照らす。指示体 2が検出領域 1内に置かれたとき、その先端に設けられた再帰反 射材 3に入射した光は、入射した方向に戻るように反射する。この反射光を結像レン ズ 42を介して撮像素子 41で受光する。反射光、即ち画像上で最も明るく光っている 部分の位置を検知することで、指示位置を検出する。これらの検出は、カメラ 4に接続 されるパーソナルコンピュータ等の電子計算機 5に送られ、そこでデータを処理する ことで行われる。また、カメラ内に DSP等を設けてそこで処理する構成であっても勿 論構わない。
[0022] なお、光源 43を赤外発光ダイオードとした場合には、撮像素子 41の前面に赤外透 過フィルタ 44を設け、赤外発光ダイオードから発せられ再帰反射材 3で反射した反 射光を確実に検出するようにすることも可能である。また、指示体が指であっても、指 に当たった光はある程度反射するため、指の指示位置を検出することは可能である。 さらに、カメラ 4側に光源 43は設けず、指示体 2の先端に再帰反射材の代わりに LE D等の光源を設けることも可能である。
[0023] 本発明の特徴は、撮像素子にある。以下に本発明の撮像素子について、詳細に説 明する。本発明の撮像素子は、全画素から所定画素を間引いてデータを読み出す サブサンプリングモードと、全画素のうちの任意の場所、任意の大きさで画定されるゥ インドウのデータを読み出すウィンドウユングモードとを具備する。
[0024] サブサンプリングモードは、指示体が置かれる検出領域の全体を読み出すときに、 所定画素を間引いてデータを読み出すモードである。具体的には、全画素から例え ば縦横方向でそれぞれ 1Z4だけ間弓 I V、てサブサンプルするとすると、全体の 1Z 16 画素のみが読み出されるものである。したがって、フレーム読出レートも、全画素読出 の時に比べて 16倍の速度となる。なお、サブサンプルは 1Z4に限らず、 1Z2や 1Z 8、 1Z 16等であっても構わない。
[0025] ウィンドウユングモードは、 Window of Interest (WOI)モードとも呼ばれるもの である。具体的には撮像素子内の読み出したい部分の画素データをウィンドウとして 定義する。ウィンドウは、ウィンドウ左上の画素のアドレスと行 ·列のサイズを指定する だけで良い。即ち、ポインタ、高さ、幅を指定することで、これ〖こより画定されるウィンド ゥのデータのみを読み出すことが可能となる。例えば、ウィンドウのサイズを全画素の 1Z4のサイズとすれば、フレーム読出レートは全画素読出の時に比べて 16倍高速 になる。
[0026] これらのモードを用いると、例えば全画素読出時のフレーム読出レートが毎秒 14フ レームの撮像素子の場合、サブサンプリングモードでは 1Z4でサブサンプルを行うと 毎秒 224フレームを読み出すことが可能となる。したがって、十分高速な検出速度と なり、素早い指示体の動きにも追従できるようになる。
[0027] サブサンプリングモードで読み出されたデータから、最も明るい点、即ち最も受光強 度が強い画素の位置を検出する。この位置が、指示体のおおよその指示位置となる 。し力しながら、サブサンプリングモードでは、検出精度が落ちてしまう。例えば、 1/ 4でサブサンプルを行った場合には、検出精度も 1Z4に落ちてしまう。したがって、 サブサンプリングモードで読み出されたデータにより指示体のおおよその位置が検出 できたら、ウィンドウユングモードに切り替え、この位置に基づき撮像素子の全画素の うちから、検出されたおおよその位置を含むウィンドウを画定し、このウィンドウのデー タを読み出すようにする。ウィンドウユングモードでは、検出精度も落ちることがなぐ 指示体の正確な位置を検出することが可能となる。さらに、ウィンドウユングモードで は、例えばウィンドウのサイズを全画素の 1Z4とすれば、毎秒 224フレームを読み出 すことが可能となるので、検出速度も十分高速となる。
[0028] また、指示体がウィンドウ外に移動すると検出できなくなるため、指示体が移動した 場合にはウィンドウ内に指示体の位置が含まれるように、ウィンドウの位置を移動させ て指示体の筆跡を追跡するようにする。即ち、一端サブサンプリングモードで指示体 のおおよその指示位置を検出したら、今度はウィンドウユングモードで指示体の位置 を正確に検出しながらウィンドウを指示体を追跡するように移動させようにする。このよ うにすることで、検出精度を落とすことなぐ高速にフレームを読み出すことが可能と なる。
[0029] なお、特に説明はしていないが、検出領域面又は指示体に筆圧検出機能を設ける ことで、確実に検出領域面に入力されたことを検出できるようにすることも勿論可能で ある。その他、クリックボタン等のボタンを例えば検出領域外に設けておき、入力する ときにはそのボタンを押すように構成しても良 、。
[0030] ここで、撮像素子としては、 CMOSイメージセンサを用いることが好まし!/、。 CMOS イメージセンサはその構造上、任意のアドレスの画素を 1画素単位で読み出すことが 可能なランダムアクセス方式のため、本発明のサブサンプリングやウィンドウニングを 容易に達成できるためである。但し、連続読出方式である CCDイメージセンサであつ ても、例えばインターライン CCDの場合であれば、縦転送されるデータを間引くこと でサブサンプリングが可能であるため、フレーム読出レートをある程度高くすることは 可能である。
[0031] 上記のように構成された位置検出装置における検出手順を、図 3のフローチャート を用いて説明する。まず、サブサンプリングモードに設定し、検出領域を撮影する (ス テツプ 301)。例えば、 1Z4のサブサンプリングモードに設定する。そして、受光強度 が最も強い画素を検出し (ステップ 302)、検出された画素の受光強度が所定の閾値 を超えているか否かを確認する (ステップ 303)。指示体の先端に設けられた再帰反 射材ゃ光源以外にも、光を検出してしまう場合があるためである。そして、所定の閾 値を超えていない場合には、再度ステップ 301へ戻ってサブサンプリングを続ける。
[0032] ステップ 302で検出された画素の受光強度が所定の閾値を超えていた場合、指示 体が検出領域内に置かれたと判断できる。サブサンプリングモードでの検出であるた め検出精度は高くなぐその所定の閾値を超えた画素の位置は、指示体のおおよそ の指示位置である。次に、検出されたおおよその指示位置に基づき、撮像素子の全 画素のうちから指示体のおおよその指示位置が含まれるウィンドウを画定し、そのウイ ンドウのデータを読み出す (ステップ 304)。例えば、指示体のおおよその指示位置を 中心とした、 1Z4サイズのウィンドウを設定して読み出す。そして、受光強度が最も強 い画素を検出する (ステップ 305)。ここで、検出された画素の受光強度が所定の閾 値を超えている力否かを確認する (ステップ 306)。所定の閾値を超えていれば、その 画素を含む近傍の画素の受光強度の重心を求め、重心の位置を指示体の指示位置 として、その指示位置座標を出力する (ステップ 307)。
[0033] その後、ステップ 304に戻り、指示体が移動しても常に指示体が含まれるようにウイ ンドウの位置を移動させて指示体を撮影し、以降ステップ 304からステップ 307を繰り 返すことで、指示体を追跡するようにして指示体の筆跡等を撮影する。
[0034] なお、指示体の急激な移動により、ステップ 304力もステップ 307のウィンドウユング モードにおいて、受光強度が最も強い画素を見失った場合には、ステップ 306で所 定の閾値を超える受光強度の画素が存在しなくなるため、ステップ 301へ戻ってサブ サンプリングモードに切り替える。これにより、再度検出領域内に指示体が存在する か否かを決定し、サブサンプリングモードでも指示体が検出できなければ、指示体は 検出領域内には存在しないことが分かる。この場合、ステップ 301からステップ 303を 繰り返すことで、指示体の入力を待つことになる。
[0035] このように、サブサンプリングモードで粗読みした後、ウィンドウユングモードで正確 な指示位置を検出することで、フレーム読出レートを落とすことなく高速にデータを読 み出せ、且つ位置検出精度としては、その撮像素子が持つ高い検出精度を有するも のとなる。
[0036] 次に、指示体が複数入力された場合に、それぞれの指示体の指示位置を検出する ための方法を、図 4を用いて説明する。図 4は、複数の指示体の検出方法を説明する ためのフローチャートである。サブサンプリングモードであるステップ 401からステップ 403は、基本的には図 3に示す指示体が 1つの場合のステップ 301からステップ 303 と同様である。本実施例では、受光強度が強い画素が複数存在する場合には、ステ ップ 402において、最も受光強度が強い画素(C1)を検出する。次に、ステップ 404 において、画素 C1を除いた部分で最も受光強度が強い画素(C2)を検出する。ここ で、画素 C2の受光強度が所定の閾値よりも小さい場合には、入力された指示体は 1 つであるとして、 N= lとする (ステップ 406)。画素 C2の受光強度が所定の閾値よりも 大きい場合には、 N = 2とする(ステップ 407)。このように、指示体の数を Nに入力す ることで、指示体の数を登録しておく。なお、より多くの指示体を検出しょうとするなら ば、さらに受光強度の強 、画素を検出するようにして Nにその数を入力するようにす れば良い。
[0037] その後、ウィンドウユングモードに切り替え、検出された画素 C1の位置に基づき、画 素 C1が含まれるウィンドウを画定してウィンドウのデータを読み出し (ステップ 408)、 ウィンドウ内で受光強度が最も強い画素を検出し (ステップ 409)、検出された画素の 受光強度が所定の閾値を超えているか否かを確認し (ステップ 410)、所定の閾値を 超えていれば、その画素を含む近傍の画素の受光強度の重心を求め、重心の位置 を 1つ目の指示体の指示位置として、その指示位置座標を出力する (ステップ 411)。 これは、図 3のステップ 304からステップ 307と同様の動作である。なお、ステップ 410 で所定の閾値を超えていない場合には、 Nに入力された値が 2である力否かを判断 するステップ 412へ進む。
[0038] 1つ目の指示体の指示位置を算出した後、 Nに入力された値が 2である力否かを判 断し (ステップ 412)、 N= 1であれば指示体は 1つであるので再度ステップ 401へ戻 り、サブサンプリングモードで検出領域全体を検出する。ステップ 412において、 N = 2であれば、上述の工程と同様に、今度は検出された画素 C2の位置に基づき、画素 C2が含まれるウィンドウを画定してウィンドウのデータを読み出し (ステップ 413)、検 出された画素の受光強度が所定の閾値を超えている力否かを確認し (ステップ 414) 、所定の閾値を超えていれば、その画素を含む近傍の画素の受光強度の重心を求 め、重心の位置を 2つ目の指示体の指示位置として、その指示位置座標を出力する (ステップ 416)。
[0039] このようにしてウィンドウユングモードで複数の指示体の指示位置座標を出力したら
、再度ステップ 401へ戻り、サブサンプリングモードで検出領域全体を撮影し、これに 基づきウィンドウユングモードで指示位置座標を出力することを繰り返すことで、指示 体の移動を追跡していく。
[0040] 1つの指示体による位置検出においては、サブサンプリングモードでー且指示体を 見つければ、ウィンドウニングモードで追跡していくため、例えば全画素読出時のフ レーム読出レートが毎秒 14フレームの撮像素子を用いた場合には、 1Z4のウィンド ゥを用いると、毎秒 224フレームを読み出すことが可能となる。し力しながら、 2つの指 示体が入力された場合、サブサンプリングモードとウィンドウユングモードを繰り返す ため、 1Z4のサブサンプルと 1Z4のウィンドウを用いた場合には、全体のフレーム読 出レートは毎秒 112フレームとなる。このように、サブサンプリングモードとウィンドウ- ングモードを繰り返したとしても、フレーム読出レートは十分に高速である。なお、ウイ ンドウ-ングモードにおいては、ウィンドウを検出領域の 1Z4の領域にするのは広す ぎる場合もあるため、これを 1Z8等にすることで、より高いフレーム読出レートも実現 可能である。このようにすれば、 2つ以上の指示体が入力されても十分に高速に検出 することが可能である。
[0041] さらに、ウィンドウユングモードにおいて、ウィンドウを複数画定できる撮像素子を用 いれば、サブサンプリングモードとウィンドウニングモードを繰り返すことなぐウィンド ゥユングモードにおいて複数のウィンドウからそれぞれデータを読み出すことも可能 である。この場合、新たに入力される指示体があった場合にはウィンドウユングモード では検出できな 、ため、所定の間隔でサブサンプリングモードにー且戻るような制御 を行うことが好ましい。
[0042] なお、本発明の位置検出装置及び位置検出方法は、上述の図示例にのみ限定さ れるものではなぐ本発明の要旨を逸脱しない範囲内において種々変更をカ卩ぇ得る ことは勿論である。
[0043] 例えば、図示例ではカメラの位置が固定され、指示体の置かれた位置を検出するも のを説明したが、本発明はこれに限らず、例えば特開平 7— 302148号公報に記載 のような、撮像素子を有する操作具が移動するもので、基準となる光源が固定される ものであっても良い。即ち、操作具の位置や向きにより指示情報を電子計算機等に 入力するものである。これは、操作具に本発明の撮像素子を設け、操作具に対して 光を照射する光源を所定の基準位置に配置することで実現可能である。この場合も 、始めにサブサンプリングモードで光源のおおよその位置を検出し、その後ウィンドウ ユングモードで正確な光源の位置を検出すれば良い。
[0044] さらに、例えば特開昭 60-230228号公報や米国特許第 4, 280, 135号明細書に 記載のような、プロジェクタによる投射画像への、ライトペン等の指示体による入力を 検出するような検出装置にも応用可能である。この場合でも、始めにサブサンプリン グモードでライトペンによるおおよその指示位置を検出し、その後ウィンドウ-ングモ ードで正確な光源の位置を検出すれば良!、。
図面の簡単な説明
[0045] [図 1]図 1は、本発明の位置検出装置の概要を説明するための概略図である。
[図 2]図 2は、本発明の位置検出装置のカメラの構造を説明するための図である。
[図 3]図 3は、本発明の位置検出装置の位置検出の流れを説明するためのフローチ ヤートである。
[図 4]図 4は、本発明の位置検出装置において 2つの指示体が入力される場合の位 置検出の流れを説明するためのフローチャートである。
符号の説明
[0046] 1 検出領域
2 指示体
3 再帰反射材
4 カメラ
5 電子計算機
6 表示装置
41 撮像素子
42 結像レンズ
43 光源
44 赤外透過フィルタ

Claims

請求の範囲
[1] 撮像素子の全画素力 所定画素を間引いてデータを読み出すサブサンプリング手 段と、
撮像素子の全画素のうちの任意の場所、任意の大きさで画定されるウィンドウのデ ータを読み出すウィンドウニング手段と、
を具備することを特徴とする位置検出装置。
[2] 請求項 1に記載の位置検出装置にぉ 、て、前記サブサンプリング手段は、指示体 が置かれる検出領域の全体を読み出すことを特徴とする位置検出装置。
[3] 請求項 1又は請求項 2に記載の位置検出装置であって、さらに、前記サブサンプリ ング手段により読み出されたデータ力 指示体のおおよその指示位置を検出する検 出手段を有することを特徴とする位置検出装置。
[4] 請求項 3に記載の位置検出装置において、前記ウィンドウニング手段は、前記検出 手段により検出された指示体のおおよその指示位置に基づき、前記撮像素子の全 画素のうちから指示体のおおよその指示位置が含まれるウィンドウのデータを読み出 すことを特徴とする位置検出装置。
[5] 請求項 1乃至請求項 4の何れかに記載の位置検出装置であって、さらに、前記指 示体が移動した場合には前記ウィンドウ内に指示体の位置が含まれるようにウィンド ゥの位置を移動させて指示体を追跡する追跡手段を有することを特徴とする位置検 出装置。
[6] 請求項 1乃至請求項 5の何れかに記載の位置検出装置であって、さらに、複数の 指示体が検出領域内に存在する場合に、それぞれの指示体の指示位置座標を算出 するために、前記サブサンプリング手段と前記ウィンドウユング手段を繰り返し切り替 えてデータを読み出すための切替手段を有することを特徴とする位置検出装置。
[7] 請求項 1乃至請求項 5の何れかに記載の位置検出装置において、前記ウィンドウ二 ング手段は、複数のウィンドウを画定でき、複数の指示体が検出領域内に存在する 場合に、それぞれの指示体のおおよその指示位置が含まれる複数のウィンドウのデ ータをそれぞれ読み出すことを特徴とする位置検出装置。
[8] 請求項 1乃至請求項 7の何れかに記載の位置検出装置であって、さらに、撮像素 子の近傍に光源を有することを特徴とする位置検出装置。
[9] 請求項 8の何れかに記載の位置検出装置であって、さらに、指示体の先端に再帰 性反射部材を有することを特徴とする位置検出装置。
[10] 請求項 2乃至請求項 8の何れかに記載の位置検出装置において、前記指示体は 指であることを特徴とする位置検出装置。
[11] 請求項 2乃至請求項 7の何れかに記載の位置検出装置であって、さらに、指示体 の先端に光源を有することを特徴とする位置検出装置。
[12] 請求項 1乃至請求項 11の何れかに記載の位置検出装置であって、さらに、表示装 置を有し、該表示装置の表示画面領域が指示体が置かれる検出領域であることを特 徴とする位置検出装置。
[13] 請求項 1に記載の位置検出装置であって、さらに、前記撮像素子を有する操作具と
、所定の基準位置に配置され前記操作具に対して光を照射する少なくとも一つの光 源と、前記操作具が有する撮像素子力 見た前記光源の位置力 操作具の位置を 算出する処理手段とを具備することを特徴とする位置検出装置。
[14] 請求項 1乃至請求項 13の何れかに記載の位置検出装置において、前記撮像素子 は、 CMOSイメージセンサであることを特徴とする位置検出装置。
[15] 検出領域内に置かれた指示体を撮影し、指示体の指示位置を検出する位置検出 方法であって、該方法は、
撮像素子の全画素から所定画素を間弓 I V、て前記検出領域の全体のデータを読み 出すサブサンプリング過程と、
前記サブサンプリング過程で読み出されたデータ力 指示体のおおよその指示位 置を検出する検出過程と、
前記検出過程で検出された指示体のおおよその指示位置に基づき、前記撮像素 子の全画素のうちから指示体のおおよその指示位置が含まれるウィンドウのデータを 読み出すウィンドウニング過程と、
を具備することを特徴とする位置検出方法。
[16] 請求項 15に記載の位置検出方法であって、さらに、複数の指示体が検出領域内 に存在する場合に、それぞれの指示体の指示位置座標を算出するために、前記サ ブサンプリング過程と前記ウィンドウユング手段を繰り返し行うことを特徴とする位置検 出方法。
PCT/JP2004/016389 2003-11-11 2004-11-05 位置検出装置及び位置検出方法 WO2005045658A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-380578 2003-11-11
JP2003380578A JP2005148773A (ja) 2003-11-11 2003-11-11 位置検出装置及び位置検出方法

Publications (1)

Publication Number Publication Date
WO2005045658A1 true WO2005045658A1 (ja) 2005-05-19

Family

ID=34567242

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/016389 WO2005045658A1 (ja) 2003-11-11 2004-11-05 位置検出装置及び位置検出方法

Country Status (2)

Country Link
JP (1) JP2005148773A (ja)
WO (1) WO2005045658A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4612853B2 (ja) * 2005-03-29 2011-01-12 キヤノン株式会社 指示位置認識装置及びそれを有する情報入力装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6247734A (ja) * 1985-08-27 1987-03-02 Mitsubishi Electric Corp 座標入力装置
JPH02115920A (ja) * 1988-10-25 1990-04-27 Nec Corp 光透過型高速タッチ入力装置
JPH05226460A (ja) * 1992-02-18 1993-09-03 Nec Yamagata Ltd 画像処理による半導体チップ位置検出方法
JPH07200160A (ja) * 1993-12-28 1995-08-04 Hitachi Ltd 情報提供装置及び情報表示装置
JPH11305935A (ja) * 1998-04-24 1999-11-05 Image Tec Kk 位置検出システム
JP2001056749A (ja) * 1999-08-19 2001-02-27 Ricoh Co Ltd 筆記情報入力システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6247734A (ja) * 1985-08-27 1987-03-02 Mitsubishi Electric Corp 座標入力装置
JPH02115920A (ja) * 1988-10-25 1990-04-27 Nec Corp 光透過型高速タッチ入力装置
JPH05226460A (ja) * 1992-02-18 1993-09-03 Nec Yamagata Ltd 画像処理による半導体チップ位置検出方法
JPH07200160A (ja) * 1993-12-28 1995-08-04 Hitachi Ltd 情報提供装置及び情報表示装置
JPH11305935A (ja) * 1998-04-24 1999-11-05 Image Tec Kk 位置検出システム
JP2001056749A (ja) * 1999-08-19 2001-02-27 Ricoh Co Ltd 筆記情報入力システム

Also Published As

Publication number Publication date
JP2005148773A (ja) 2005-06-09

Similar Documents

Publication Publication Date Title
US8971565B2 (en) Human interface electronic device
JP6153564B2 (ja) カメラとマーク出力とによるポインティング装置
US20070182725A1 (en) Capturing Hand Motion
TWI446249B (zh) 光學影像式觸控裝置
US8659577B2 (en) Touch system and pointer coordinate detection method therefor
JP2009505305A (ja) 自由空間のポインティング及び手書き手段
JP2001184161A (ja) 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
TW201510771A (zh) 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體
US20120319945A1 (en) System and method for reporting data in a computer vision system
JP2005107607A (ja) 光学式位置検出装置
CN101520700A (zh) 一种基于摄像头的三维定位触摸装置及其定位方法
JP4054847B2 (ja) 光デジタイザ
WO2012019322A1 (zh) 利用单目摄像机标定技术的视觉指向型鼠标输入方法、输入系统和输入装置
US8780084B2 (en) Apparatus for detecting a touching position on a flat panel display and a method thereof
WO2011118313A1 (ja) 座標入力装置及びプログラム
WO2018150569A1 (ja) ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
KR100968205B1 (ko) 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치
US20070241262A1 (en) Optical sensing unit for an optical input device
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
US9785253B2 (en) Pointing device using camera and outputting mark
WO2005045658A1 (ja) 位置検出装置及び位置検出方法
JP2005346453A (ja) 画像表示装置
CN103543884B (zh) 光学触控系统及其触控物区分方法
TW201419087A (zh) 微體感偵測模組及其微體感偵測方法
Ukita et al. Wearable Virtual Tablet: Fingertip Drawing Interface Using an Active-Infrared Camera.

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase