WO2011118313A1 - 座標入力装置及びプログラム - Google Patents

座標入力装置及びプログラム Download PDF

Info

Publication number
WO2011118313A1
WO2011118313A1 PCT/JP2011/053758 JP2011053758W WO2011118313A1 WO 2011118313 A1 WO2011118313 A1 WO 2011118313A1 JP 2011053758 W JP2011053758 W JP 2011053758W WO 2011118313 A1 WO2011118313 A1 WO 2011118313A1
Authority
WO
WIPO (PCT)
Prior art keywords
size
input device
coordinate input
detected
threshold value
Prior art date
Application number
PCT/JP2011/053758
Other languages
English (en)
French (fr)
Inventor
加納茂
石田準
Original Assignee
株式会社日立ソリューションズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ソリューションズ filed Critical 株式会社日立ソリューションズ
Priority to EP11759121.4A priority Critical patent/EP2551755A4/en
Priority to US13/635,078 priority patent/US20130009914A1/en
Priority to CN201180015551XA priority patent/CN102822781A/zh
Publication of WO2011118313A1 publication Critical patent/WO2011118313A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Definitions

  • the present invention relates to an optical coordinate input device having a detection surface for operation input on the front side of a display surface or a projection surface, and a program for controlling the detection process.
  • the electronic blackboard is configured by a combination of a display device or a projection device and a coordinate input device.
  • a display device or a projection device For example, a plasma display device, a liquid crystal display device, or other flat display devices are used as the display device for displaying the operation screen.
  • a front projector or a rear projector is used as a projection device that projects an operation screen onto a screen or a whiteboard.
  • An electronic blackboard can draw an object with a finger or an electronic pen as if the object (character or image) was drawn with chalk on the blackboard.
  • Patent Document 1 is a document relating to a coordinate input device using an image sensor.
  • Japanese Patent No. 3931030 Japanese Patent No. 3986710 Japanese Patent No. 4043178 JP 2001-290583 A
  • the presence or absence of an operation input is detected by emitting a light beam from a light source parallel to the operation screen and detecting the presence or absence of an object that blocks the light beam.
  • this detection method is sufficient for detecting a simple operation such as pressing a button displayed on the screen, but is insufficient for writing a character string or the like.
  • the drawing objects may be connected to each other, or tails such as tails may occur for each image.
  • Patent Document 3 attempts to solve these problems by measuring the time elapsed from the appearance of an object that blocks the axis of the light beam until the actual contact with the surface of the electronic board.
  • a coordinate input device that detects light shielding using an image sensor
  • a dedicated electronic pen but also a finger or an indicator can be used for operation.
  • the tips of the electronic pen and the pointing rod are rounded. This is based on consideration that the surface of the display surface or projection surface is not damaged by the electronic pen or the pointing stick.
  • the detection light is blocked first in the small range of the input object, and then the blocking range (size) gradually increases, and then the input object tip moves to the operation screen. To touch.
  • the blocking range (size) changes gradually.
  • the inventors propose a contact / non-contact detection technique focusing on the roundness of the tip.
  • a coordinate input device that has a detection surface for operation input at a position in front of the display surface or the projection surface, and optically detects coordinates where an input object having a rounded tip crosses the coordinate detection surface
  • a processing function that detects the size of the input object that blocks the detection light traveling along the coordinate detection surface, and (b) the size of the input object is larger than the first threshold after the detection light blockage is first detected.
  • a processing function that generates a down event of the input object when (i) is detected, and (c) the input object is up when the size is detected to be smaller than the second threshold after the maximum value of the size is detected.
  • a change in the size of the input object that blocks the detection light can be regarded as a sign of a change in the contact / non-contact state of the input object.
  • a contact / non-contact state can be detected at a natural timing compared with the case where only the presence / absence of an obstruction is determined.
  • FIG. 1 is a system configuration diagram showing an embodiment of an electronic board system according to the present invention.
  • FIG. 1 shows an embodiment of an electronic board system.
  • An electronic board system shown in FIG. 1 includes a projection surface 101, a light source 102A, an image sensor 102B, an operation screen projection device 104, a control computer 105, a keyboard 106 and a display device 107 attached to the control computer 105, and a retroreflective material 108. It consists of
  • the coordinate input device has a structure in which a light source 102A, an image sensor 102B, and a retroreflecting material 108 are attached to a rectangular frame (device main body).
  • a finger 103 is used for operation input.
  • an electronic pen or a stylus pen can be used for operation input.
  • the coordinate input device is placed in front of the screen or whiteboard on which the operation screen is projected. That is, the operation input detection surface is formed in front of the screen or whiteboard. In this embodiment, an operation screen is projected.
  • a configuration in which the operation screen is arranged in front of a display device such as a flat display, or a configuration in which these display devices and a housing are integrated is also conceivable.
  • the input area assumed for coordinate input of the input object is not limited to a large area such as a screen or a white board, but may be a small area such as a mobile phone, an electronic book or other portable terminals.
  • FIG. 7 shows the connection relationship of the electronic circuits constituting the coordinate input device.
  • the image sensor 102B is driven by the drive circuit 701, and the operation of the drive circuit 701 is controlled by the CPU 704.
  • the drive circuit 701 provides screen capture timing by the two left and right image sensors 102B.
  • An image signal output from the image sensor 102B is amplified by an amplifier 702, input to an analog / digital conversion circuit (A / D) 703, and converted into a digital signal format.
  • the CPU 704 converts the imaging data corresponding to the two left and right image sensors 102B into a predetermined transmission format, gives it to the interface USB 705, and outputs it to the control computer 105 through the USB cable.
  • FIG. 7 assumes that the light source 102A always emits light. However, when it is necessary to control the light emission timing of the light source 102A, the light source 102A is connected to a drive circuit (not shown) controlled by the CPU 704. Then, the emission timing of infrared light may be switched
  • the operation screen projection device 104 is used for projecting characters and objects input on the screen or whiteboard through the operation screen or input objects. Note that the screen projected by the operation screen projection device 104 and the screen displayed on the display device 107 are the same.
  • the control computer 105 has a function equivalent to that of a general-purpose personal computer, and a coordinate calculation program 1051 that calculates the indicated coordinates of the finger 103 based on the image captured by the image sensor 102B in the internal memory based on the principle of triangulation. Is stored.
  • the internal memory also stores a display content control program that processes character objects and image objects, and an event generation program that detects an operation input by an input object and generates an event corresponding to the detected state.
  • the coordinate calculation program 1051 is executed by the control computer 105, but can also be executed by the CPU 704 in the coordinate input device or can be executed in the operation screen projection device 104.
  • the implementation of the function may be in the form of hardware (for example, a semiconductor integrated circuit or a processing board) or a program (for example, firmware or an application).
  • the coordinate input device uses light (for example, infrared light) irradiated in parallel to the projection surface of the operation screen, and triangulates the position where the input object (for example, the finger 103) blocks the light.
  • the method of detecting using the principle of is used.
  • two light sources 102 ⁇ / b> A for example, an infrared light source
  • an image sensor (imaging device) 102 ⁇ / b> B are arranged at positions on both ends of the upper side or near the center of the upper side of a rectangular frame.
  • each light source 102A when two light sources 102A are arranged at the left and right ends of the upper side, each light source 102A emits or scans a light beam in the entire range of the side located on the opposite side to the arranged side and the entire range of the lower side.
  • the angle of view of the image sensor 102B is about 90 °.
  • the irradiation angle of each light source 102A and the angle of view of the image sensor 102B are set to about 180 °, respectively.
  • the retroreflective material 108 is arranged on the inner side of the frame (facing the light beam) on the three sides except the upper side. For this reason, the light incident on the retroreflecting material 108 is reflected in the same direction as the incident direction. The reflected light is imaged by the image sensor 102B arranged in the vicinity of the light source. When the input object blocks the light beam, a shadow is generated in the captured image of the image sensor 102B. Based on the position information of the shadow imaged by the pair of left and right image sensors 102B, the coordinate position of the input object is calculated by the principle of triangulation.
  • the coordinate calculation itself is executed by the coordinate calculation program 1051 of the control computer 105. Accordingly, in this embodiment, the image data is output from the image sensor 102B to the control computer 105. When this type of coordinate input device is used, the control computer 105 can simultaneously calculate the coordinates of a plurality of input objects.
  • FIG. 2 shows a cross-sectional structure of a coordinate input device that detects the operation position of the input object.
  • FIG. 2 shows a cross-sectional structure of the center portion of the screen.
  • the light beam 22 emitted from the light source 102A is emitted in parallel to the surface (projection surface) 24 of the operation screen, and after entering the retroreflecting material 108, it is reflected in parallel to the incident direction.
  • the retroreflecting material 108 has a corner cube structure, for example, and is a well-known member that can reflect in parallel to the incident direction regardless of the incident angle of the light beam.
  • the reflected light is imaged by the image sensor 102B.
  • a slight gap is provided between the surface 24 of the operation screen (display surface or projection surface) and the light beam 22 in consideration of surface irregularities and distortion due to the weight of the projection surface (or display surface).
  • FIG. 3 illustrates the relationship between the distance between the fingertip and the surface of the operation screen and light shielding.
  • the fingertip 31 shows a state where only the tip portion is inserted at a position where the light beam is blocked
  • the fingertip 32 shows a state where the finger is inserted a little deeper
  • the fingertip 33 is inserted until the finger contacts the surface of the operation screen. Show the state. As described above, even when the fingertip blocks light, approximately three patterns are conceivable.
  • the left figure of FIG. 4 shows a state where the image of the fingertip blocking the light beam is captured by the image sensor.
  • the imaging range 41 of the image sensor has a little width so that the projection screen or display surface of the operation screen can be distorted and the mounting variation during device assembly can be adjusted.
  • the right diagram of FIG. 4 is a diagram for explaining a state in which the direction of the retroreflecting material is imaged by the image sensor with the finger placed in the imaging range.
  • the finger blocking the light beam becomes a shadow 42 and is reflected in the imaging result 43.
  • a coordinate detection surface 44 is set in the imaging result (imaging data) 43. In the case of this embodiment, it is set at the center portion of the imaging result 43. It is possible to determine whether or not the fingertip is pressed against the operation screen for operation input depending on whether or not the shadow 42 is straddling the coordinate detection surface 44. This determination process is executed by the coordinate calculation program 1051.
  • FIG. 5 shows an enlarged view of the fingertip on the coordinate detection surface 501.
  • the fingertip 53 is between the fingertip 51 and the fingertip 53 when the fingertip is in contact with the surface 502 of the operation screen.
  • 3 patterns in the case of being located in FIG. When these three patterns are compared, it can be seen that the thickness (length) of the shadow of the finger crossing the coordinate detection surface 501 is different for each pattern, as indicated by the bold line.
  • the detected thickness varies depending on the shape of the fingertip of the user and the set position of the coordinate detection surface 501. In the case of the example shown in FIG. 5, the detected thickness differs by a factor of two or more between the fingertip 51 and the fingertip 53.
  • FIG. 6 shows a flowchart for determining contact / non-contact with an operation screen such as a finger. This determination process is executed as part of the function of the coordinate calculation program 1051.
  • a processor that executes a program will be described as a subject.
  • the processor determines whether or not there is an obstruction (shadow) on the coordinate detection surface in the analysis process of the imaging result that is repeatedly executed in a short cycle (step 601).
  • the processor sets maxSize that holds the maximum value of the thickness of the shadow to an initial value (step 602).
  • the initial value here is used as a flag indicating that there is no shielding object.
  • the processor determines whether the value of maxSize is the initial value and the current shadow thickness is equal to or smaller than the down event generation threshold. Is determined (step 603).
  • the second determination condition is used to prevent the process from proceeding to step 604 when an excessively large shadow is detected.
  • step 603 When the two conditions of step 603 are satisfied simultaneously (in the case of a positive result in step 603), the processor stores the current shadow thickness in maxSize and minSize, respectively (step 604). This process corresponds to the registration of the initial detection value of the thickness of the actually detected shadow.
  • step 603 determines whether or not the current shadow thickness is equal to or greater than twice the maxSize or the current shadow thickness is equal to or greater than the down event generation threshold (step 605).
  • step 605 If at least one of the two conditions in step 605 is satisfied (in the case of a positive result in step 605), the processor generates a down event (step 606), sets a maximum value to minSize (step 607), Is updated (step 608).
  • the processor determines whether the current shadow size is thicker than maxSize (step 6081). If a positive result is obtained, the processor assigns the current shadow thickness to maxSize (step 6082), and if a negative result is obtained, maxSize is not changed. That is, maxSize is updated only when it is larger than the previous detection value.
  • step 605 the processor determines whether or not the current shadow thickness is equal to or less than half of maxSize (step 609).
  • step 609 the processor generates an up event (step 610) and sets an initial value for maxSize (step 611).
  • the initial value here means that an up event has occurred.
  • step 609 the processor determines whether minSize is the maximum value and maxSize is not the initial value (step 612). That is, the processor determines whether a down event has occurred but an up event has not yet occurred.
  • step 612 If a positive result is obtained in step 612, the processor generates a movement event (step 613) and updates the shadow thickness to the current value (step 614). By this process, the change in thickness that occurs between the down event and the up event is recorded.
  • step 612 the processor ends the processing of one cycle.
  • step 605 it is determined in step 605 whether or not the current shadow thickness is twice or more of minSize. However, in preparation for pressing an object with a square tip or pressing a finger quickly, it is desirable to perform the processing from step 606 onward if the shadow is a certain size or larger.
  • step 610 it is determined whether or not a down event has occurred in step 606, and an up event is not generated unless it is confirmed that a down event has occurred. It is desirable.
  • step 611 an initial value is set for maxSize, but in this step, only the determination result of whether or not an up event has occurred is stored, and in addition to the condition in step 605, an up event has already occurred. If the current shadow thickness is more than half of maxSize, the processing from step 606 onward may be executed. By preparing such a process, the down process can be performed when the thickness of the shadow once becomes thin and then becomes thick again. Therefore, it is possible to draw a character string without consciously moving the finger away from the surface of the operation screen.
  • the thickness of the shadow changes depending on where the obstruction is placed on the surface of the operation screen.
  • the thickness of the shadow of the blocking object is large at a position near the image sensor, and the thickness of the shadow of the blocking object is small at a position far from the image sensor.
  • the thickness of the shadow has changed small. In this case, if an up event is generated only by changing the thickness of the shadow, the operator will have an unexpected result.
  • the down event determination threshold is set to twice the initial size and the up event determination threshold is set to a half of the maximum value has been described. It is desirable that it can be adjusted individually. Since each determination threshold value can be adjusted, so-called “writing comfort” can be adjusted.
  • the determination threshold A for the down event is set small and the determination threshold B (> A) for the up event is set large, it is easy to determine the contact state, and it is difficult to determine the non-contact state. It makes you feel like you can write a string.
  • the determination threshold A for the down event is set large and the determination threshold B for the up event ( ⁇ A) is set small, it gives an impression that a character string can be written with a strong touch.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

表示面又は投影面の手前位置に操作検出面を有する座標入力装置において、先端に丸みを有する入力物体による表示面又は投影面に対する接触又は非接触を正確に判定する。座標入力装置に、操作検出面に沿って進行する検出光を遮る入力物体のサイズを検出する処理手段と、検出光の遮光が最初に検出された後、サイズが第１の閾値より大きくなったことが検出されたとき、入力物体のダウンイベントを生成する処理手段と、サイズの最大値の検出後、サイズが第２の閾値より小さくなったことが検出されたとき、入力物体のアップイベントを生成する処理手段とを有するものを提供する。

Description

座標入力装置及びプログラム
　本発明は、表示面又は投影面の手前側に操作入力の検出面を有する光学式の座標入力装置及びその検出処理を制御するプログラムに関する。
　近年、電子黒板（Interactive White Board：IWB）の普及が進行している。電子黒板は、表示装置又は投影装置と、座標入力装置との組み合わせで構成される。なお、操作画面を表示する表示装置には、例えばプラズマディスプレイ装置、液晶ディスプレイ装置その他のフラットディスプレイ装置が用いられる。スクリーンやホワイトボードに操作画面を投影する投影装置には、フロントプロジェクタやリアプロジェクタが用いられる。電子黒板は、あたかも黒板にチョークでオブジェクト（文字や画像）を描画するかのように、指や電子ペンによってオブジェクトを描画することができる。
　従来、この種の座標入力装置には、タブレット、タッチパネル等が用いられていた。タブレットやタッチパネルには、電磁誘導方式や超音波方式等の技術が用いられている。ところで、近年においては、イメージセンサを使用する座標入力装置が年々増えている。イメージセンサを利用した座標入力装置は、描画応答性や赤外線、太陽光線、温度変化その他の外部ノイズに対する耐性が従来方式に比して優れている。なお、イメージセンサを使用する座標入力装置に関する文献に特許文献１がある。
特許第３９３１０３０号公報 特許第３９８６７１０号公報 特許第４０４３１７８号公報 特開２００１－２９０５８３号公報
　イメージセンサを使用する座標入力装置では、操作画面に対して平行に光源から光線を射出し、当該光線を遮断する物体の有無を検出することにより、操作入力の有無を検出する。しかし、この検出手法は、画面上に表示されたボタンを押すなどの簡単な操作の検出には十分であるが、文字列等を書く場合には不十分である。例えば描画オブジェクトの１画１画がつながってしまったり、１画毎に尻尾のような尾引きが発生することがある。
　このため、特許文献１及び４では、光源から再帰性反射材までの光線の軸と再帰性反射材からイメージセンサまでの反射光線の軸を操作画面の表面近くに設定することにより、これらの問題を解決しようとしている。
　また、特許文献３においては、光線の軸を遮断する物体が現れてから実際に電子ボード表面に接触するまでの時間経過を計ることにより、これらの問題を解決しようとしている。
　しかし、従来技術によっては、文字列の自然な入力が未だ行えないという問題がある。
　光線の遮光をイメージセンサを用いて検出する方式の座標入力装置においては、専用の電子ペンだけでなく、指や指示棒も操作に用いることができる。ここで、指先は勿論、電子ペンや指示棒の先端には丸みが付いている。電子ペンや指示棒によって表示面や投影面の表面を傷つけないようにとの配慮に基づくものである。
　例えば入力物体が操作画面に接触状態に変化する際には、まず入力物体の先端が小さい範囲で検出光を遮断し、その後だんだん遮断範囲（サイズ）が広がった後、入力物体の先端が操作画面に接触する。一方、入力物体が操作画面から非接触に変化する場合には、遮断範囲（サイズ）がだんだん小さくなるように変化する。
　そこで、発明者らは、この先端部分の丸みに着目した接触・非接触の検出技術を提案する。具体的には、表示面又は投影面の手前位置に操作入力の検出面を有し、先端に丸みを有する入力物体が座標検出面を横切る座標を光学的に検出する座標入力装置として、(a) 座標検出面に沿って進行する検出光を遮る入力物体のサイズを検出する処理機能と、(b) 検出光の遮光が最初に検出された後、サイズが第１の閾値より大きくなったことが検出されたとき、入力物体のダウンイベントを生成する処理機能と、(c) サイズの最大値の検出後、サイズが第２の閾値より小さくなったことが検出されたとき、入力物体のアップイベントを生成する処理機能を有するものを提案する。
　本発明により、検出光を遮る入力物体のサイズの変化を入力物体の接触／非接触状態の変化の予兆として捉えることができる。これにより、遮断物の有無だけを判定する場合よりも自然なタイミングにより接触／非接触状態を検出することができる。これにより、文字列を書く場合に１画１画が連続してしまったり、１画毎に尻尾のような尾引きが発生するのを軽減することができる。
本発明に係る電子ボードシステムの実施形態例を示すシステム構成図。 座標入力装置の断面構造を説明する図。 指先が操作画面の表面に近づく様子を説明する図。 指先と影の関係を説明する図。 座標検出面と指先の位置関係に応じた影の太さの変化を示す図。 接触・非接触検出装置のソフトウェア処理を説明するフローチャート。 座標入力装置を構成する電子回路の接続関係を説明する図。
　以下、図面に基づいて、発明の実施形態例を説明する。なお、後述する実施形態はいずれも一例であり、本発明には、本明細書に記載する任意の機能を組み合わせることで実現されるシステム、本明細書に記載する一部の機能を周知技術で置換したシステム、本明細書に記載する機能に周知技術を追加したシステムも含まれる。また、後述する実施例で実行される機能は、計算機（コンピュータ）上で実行されるプログラムとして実現される。もっとも、プログラムの一部又は全部は、ハードウェアを通じて実現しても良い。
（電子ボードシステムの構成）
　図１に、電子ボードシステムの実施形態例を示す。図１に示す電子ボードシステムは、投影面１０１、光源１０２Ａ、イメージセンサ１０２Ｂ、操作画面投影装置１０４、制御用コンピュータ１０５、制御用コンピュータ１０５に付属するキーボード１０６及び表示装置１０７、再帰性反射材１０８で構成されている。
　この実施例の場合、座標入力装置は、矩形形状の枠体（装置本体）に、光源１０２Ａ、イメージセンサ１０２Ｂ、再帰性反射材１０８を取り付けた構造を有している。なお、操作入力には指１０３が使用される。もっとも、操作入力には、電子ペンやスタイラスペン（差し棒）を使用することもできる。
　座標入力装置は、操作画面が投影されるスクリーンやホワイトボードの手前位置に配置される。すなわち、操作入力の検出面は、スクリーンやホワイトボードの手前位置に形成される。この実施例では、操作画面を投影しているが、フラットディスプレイ等の表示デバイスの手前位置に配置する構成も、これら表示装置と筺体が一体化した構成も考えられる。また、入力物体の座標入力に想定する入力エリアは、スクリーンやホワイトボードのように大面積のものだけでなく、携帯電話機、電子ブックその他の携帯端末のように小面積のものでも良い。
　図７に、座標入力装置を構成する電子回路の接続関係を示す。イメージセンサ１０２Ｂは駆動回路７０１により駆動され、駆動回路７０１の動作はＣＰＵ７０４により制御される。駆動回路７０１は、左右２つのイメージセンサ１０２Ｂによる画面の取り込みタイミングを与える。イメージセンサ１０２Ｂから出力される画像信号は、アンプ７０２で増幅された後、アナログ／デジタル変換回路（Ａ／Ｄ）７０３に入力され、デジタル信号形式に変換される。ＣＰＵ７０４は、左右２つのイメージセンサ１０２Ｂに対応する撮像データを所定の伝送フォーマットに変換してインターフェースＵＳＢ７０５に与え、ＵＳＢケーブルを通じて制御用コンピュータ１０５に出力する。なお、図７は、光源１０２Ａが常時発光の場合を想定しているが、光源１０２Ａの発光タイミングを制御する必要がある場合には、ＣＰＵ７０４によって制御される不図示の駆動回路に光源１０２Ａを接続し、赤外光の発光タイミングを切り替えれば良い。
　操作画面投影装置１０４は、スクリーンやホワイトボードに操作画面や入力物体を通じて入力された文字やオブジェクトの投影に使用される。なお、操作画面投影装置１０４が投影する画面と表示装置１０７に表示される画面は同じものとする。
　制御用コンピュータ１０５は、汎用のパーソナルコンピュータと同等の機能を有するものであり、内部メモリにはイメージセンサ１０２Ｂの撮像画像に基づいて指１０３の指示座標を三角測量の原理で算出する座標算出プログラム１０５１が格納されている。この他、内部メモリには、文字オブジェクトや画像オブジェクトを処理する表示内容制御プログラム、入力物体による操作入力を検出し、検出された状態に応じたイベントを発生するイベント発生プログラムも格納されている。
　この実施例の場合、座標算出プログラム１０５１は、制御用コンピュータ１０５で実行されるが、座標入力装置内のＣＰＵ７０４で実行させることもできるし、操作画面投影装置１０４内で実行させることもできる。当該機能の実装は、ハードウェア（例えば半導体集積回路、処理ボード）の形態でも、プログラム（例えばファームウェア、アプリケーション）の形態でも良い。
　この実施例の場合、座標入力装置は、操作画面の投影面に対して平行に照射された光（例えば赤外光）を使用し、入力物体（例えば指１０３）が光を遮る位置を三角測量の原理を利用して検出する方式のものが用いられる。例えば矩形形状の枠体のうち上辺両端位置又は上辺中央寄りに、２つの光源１０２Ａ（例えば赤外線光源）とイメージセンサ（撮像装置）１０２Ｂを配置する。例えば２つの光源１０２Ａが上辺の左右両端に配置される場合、各光源１０２Ａは、配置された側と反対側に位置する辺の全範囲と下辺の全範囲に光線を放射又はスキャン走査する。この場合、イメージセンサ１０２Ｂの画角は約９０°である。なお、２つの光源１０２Ａが上辺中央寄りに配置される場合、各光源１０２Ａの照射角とイメージセンサ１０２Ｂの画角はそれぞれ約１８０°に設定する。
　上辺を除く３辺には枠の内側（光線の対向面）に再帰性反射材１０８が配置されている。このため、再帰性反射材１０８に入射した光は、入射方向と同じ方向に反射される。この反射光を光源近傍に配置したイメージセンサ１０２Ｂで撮像する。入力物体が光線を遮る場合、イメージセンサ１０２Ｂの撮像画像に影が生じる。左右一対のイメージセンサ１０２Ｂで撮像された影の位置情報に基づいて、三角測量の原理で入力物体の座標位置が算出される。
　座標の計算自体は、制御用コンピュータ１０５の座標算出プログラム１０５１が実行する。従って、この実施例の場合、イメージセンサ１０２Ｂからは撮像データが制御用コンピュータ１０５に出力される。なお、この種の座標入力装置を用いる場合、制御用コンピュータ１０５は、同時に複数の入力物体の座標を算出することができる。
（座標入力装置の断面構造）
　図２に、入力物体の操作位置を検出する座標入力装置の断面構造を示す。なお、図２は画面中央部分の断面構造である。光源１０２Ａから発せられた光線２２は、操作画面の表面（投影面）２４に対して平行に射出され、再帰性反射材１０８に入射した後は入射方向と平行に反射される。なお、再帰性反射材１０８は、例えばコーナーキューブ構造を有しており、光線の入射角に関係なく入射方向に対して平行に反射することができる周知の部材である。この反射光線がイメージセンサ１０２Ｂにより撮像される。操作画面（表示面や投影面）の表面２４と光線２２の間には、表面の凹凸や投影面（又は表示面）の自重による歪みなどを考慮して若干の隙間が設けられている。
（指先の操作動作の検出）
　図３に、指先と操作画面の表面までの距離と遮光の関係を説明する。指先３１は先端部分だけが光線を遮断する位置に挿入された様子を示し、指先３２は更に少し奥まで指を挿入した様子を示し、指先３３は指が操作画面の表面に接触するまで差し込んだ様子を示す。このように、指先が光線を遮光する場合でも、おおよそ３パターンが考えられる。
（遮光によって生じる影の様子）
　図４の左図は、指先が光線を遮断しているところをイメージセンサで撮像した様子を示す。イメージセンサの撮像範囲４１は、操作画面の投影面又は表示面の歪みや機器組み立て時の取り付けバラツキなどを調整できるように少し幅を有している。図４の右図は、撮像範囲内に指を置いた状態で、再帰性反射材方向をイメージセンサで撮像した状態を説明する図である。右図に示すように、光線を遮断している指は影４２となって撮像結果４３に映り込む。この撮像結果（撮像データ）４３の中に座標検出面４４が設定される。この実施例の場合、撮像結果４３の中央部分に設定される。座標検出面４４を影４２が跨いでいているか否かにより、指先が操作入力のために操作画面に押し付けられているかどうかの判定が可能になる。この判定処理は、座標算出プログラム１０５１が実行する。
　図５に、座標検出面５０１に指先が掛かっている様子を拡大して示す。図３の場合と同様、指先５１は先端だけが座標検出面５０１に掛かっている場合、指先５３は指先が操作画面の表面５０２に接触している場合、指先５２は指先５１と指先５３の中間に位置する場合の３パターンを示している。これら３パターンを比較した場合、座標検出面５０１を横切る指の影の太さ（長さ）は、太線で示すように、それぞれのパターンで異なることがわかる。
　図５の下に示すグラフは、指先の挿入位置に対応する３つのパターンと、それぞれに対応して座標検出面５０１上に形成される影の太さ（長さ）との関係を示す。検出される太さには、使用者個人の指先の形状や座標検出面５０１の設定位置により違いが出ることが予想される。図５に示す例の場合、指先５１の場合と指先５３の場合とで、検出される太さは２倍以上の違いが出る。
（座標算出機能のフローチャート）
　以下では、ダウン操作とアップ操作を確実に検出するために処理動作を説明する。図６に、指等の操作画面に対する接触／非接触を判定するためのフローチャートを示す。この判定処理は、座標算出プログラム１０５１の機能の一部として実行される。以下では、プログラムを実行するプロセッサを主語として説明する。
　まず、プロセッサは、短い周期で繰り返し実行される撮像結果の解析処理において、座標検出面に遮断物（影）がないか否かを判定する（ステップ６０１）。
　遮断物がない場合（ステップ６０１で肯定結果の場合）、プロセッサは、影の太さの最大値を保持するmaxSizeを初期値に設定する（ステップ６０２）。ここでの初期値は、遮蔽物が存在しないことを示すフラグとして用いられる。
　遮断物の存在が検出された場合（ステップ６０１で否定結果の場合）、プロセッサは、maxSizeの値が初期値であり、かつ、現在の影の太さがダウンイベントの生成閾値以下であるか否かを判定する（ステップ６０３）。２つ目の判定条件は、大きすぎる影が検出された場合には、ステップ６０４に進まないようにするために用いられる。
　ステップ６０３の２つの条件が同時に満たされた場合（ステップ６０３で肯定結果の場合）、プロセッサは、maxSizeとminSizeにそれぞれ現在の影の太さを保存する（ステップ６０４）。この処理は、実際に検出された影の太さの検出初期値の登録に対応する。
　一方、ステップ６０３の２つの条件のうち１つでも満たされない場合（ステップ６０３で否定結果の場合）、プロセッサは、更に以下の判定処理を実行する（ステップ６０５）。すなわち、プロセッサは、現在の影の太さがmaxSizeの２倍以上又は現在の影の太さがダウインイベントの生成閾値以上か否かを判定する(ステップ６０５)。
　ステップ６０５の２つの条件のうち１つでも満たされる場合（ステップ６０５で肯定結果の場合）、プロセッサは、ダウンイベントを生成し（ステップ６０６）、minSizeに最大値を設定し（ステップ６０７）、影の太さの更新処理を実行する（ステップ６０８）。
　ここでの最大値は、ダウンイベントの発生を判定するためのフラグとして用いられる。なお、影の太さの更新処理において、プロセッサは、maxSizeよりも現在の影のサイズの方が太いか否かを判定する（ステップ６０８１）。プロセッサは、肯定結果が得られた場合、maxSizeに現在の影の太さを代入し（ステップ６０８２）、否定結果が得られた場合、maxSizeは変更しない。すなわち、前回の検出値より大きい場合だけmaxSizeが更新される。
　ステップ６０５で否定結果が得られた場合、プロセッサは、現在の影の太さがmaxSizeの半分以下であるか否かを判定する（ステップ６０９）。
　ステップ６０９で肯定結果が得られた場合、プロセッサは、アップイベントを生成し（ステップ６１０）、maxSizeに初期値を設定する（ステップ６１１）。なお、この場合には、影が小さくなった場合と影自体が無くなる場合が含まれる。ここでの初期値は、アップイベントが発生したことを意味する。
　ステップ６０９で否定結果が得られた場合、プロセッサは、minSizeが最大値であり、かつ、maxSizeが初期値でないかが判定される（ステップ６１２）。すなわち、プロセッサは、ダウンイベントは発生しているが、アップイベントはまだ発生していないか否かを判定する。
　ステップ６１２で肯定結果が得られた場合、プロセッサは、移動イベントを生成し（ステップ６１３）、影の太さを現在の値に更新する（ステップ６１４）。この処理により、ダウンイベントからアップイベントの間に発生した太さの変化が記録される。
　ステップ６１２で否定結果が得られた場合、プロセッサは、１サイクルの処理を終了する。
（他の実施例）
　この実施例の場合、ステップ６０５で現在の影の太さがminSizeの２倍以上か否かを判定しているが、先端が四角い物体を押し付けた場合や素早く指を押し付けた場合などに備え、ステップ６０５の条件に加えて一定サイズ以上の影であればステップ６０６以降の処理を行わせることが望ましい。
　また、ステップ６１０においてアップイベントを発生させているが、ステップ６０６でダウンイベントが発生した後か否かを判断し、ダウンイベントの発生が確認された後でなければアップイベントを発生させないようにすることが望ましい。
　さらに、ステップ６１１ではmaxSizeに初期値を設定しているが、このステップにおいてはアップイベントを発生させたか否かの判定結果だけを記憶し、ステップ６０５の条件に加えて既にアップイベントが発生しており、かつ、現在の影の太さがmaxSizeの半分以上の太さになっている場合には、ステップ６０６以降の処理を実行させても良い。このような処理を用意することにより、一旦影の太さが細くなった後で再び太くなった場合にダウン処理を行わせることができる。このため、指を操作画面の表面から意識的に遠ざけることなく文字列を描画することができる。
　また、イメージセンサを用いた方式では、操作画面の表面のどの位置に遮断物を置くかによって影の太さが変化する。例えばイメージセンサから近い位置では遮断物の影の太さが大きく、遠い位置では遮断物の影の太さが小さくなる。このため、イメージセンサに近い位置から遠い位置に向けて障害物を動かした場合、影の太さが小さく変化したように見える。この場合に、影の太さの変化だけでアップイベントを生成してしまうと操作者が予期しない結果を招いてしまう。
　これを回避するため、入力物体（遮断物）が一定距離以上移動した場合には、実施例で説明した接触／非接触の判定処理を用いないようにすることが望ましい。接触／非接触の判定を精密に行わなければならないのは文字列を書いたり、細かい操作を行わなければならない場合であり、一定距離以上遮断物が動いた場合には文字の描画や細かい操作ではないとみなせるため特に問題にはならない。どの程度の距離を一定距離として定義すべきかについては、文字列の１画の大きさをどの程度とするかを規定し、その値を適用させれば良い。
　また、前述の実施例においては、ダウンイベントの判定閾値を初期サイズの２倍に設定し、アップイベントの判定閾値を最大値の２分の１に設定する場合について説明したが、各判定閾値は個別に調整できることが望ましい。各判定閾値を調整できることで、いわゆる「書き心地」を調整することができる。
　また、ダウンイベントの判定閾値Ａを小さく、かつ、アップイベントの判定閾値Ｂ（＞Ａ）を大きく設定すれば接触状態と判定されやすくなり、また、非接触状態と判定され難くなるため、軽いタッチで文字列を書けるような印象になる。
　また、ダウンイベントの判定閾値Ａを大きく、かつ、アップイベントの判定閾値Ｂ（＜Ａ）を小さく設定すれば、力強いタッチで文字列を書けるような印象になる。
１０１　投影面
１０２Ａ　光源
１０２Ｂ　イメージセンサ
１０３　指
１０４　操作画面投影装置
１０５　制御用コンピュータ
１０５１　座標算出プログラム
１０６　キーボード
１０７　表示装置
１０８　再帰性反射材

Claims (10)

  1. 　表示面又は投影面の手前位置に操作検出面を有し、先端に丸みを有する入力物体が前記操作検出面を横切る座標を光学的に検出する座標入力装置において、
    　前記操作検出面に沿って進行する検出光を遮る入力物体のサイズを検出する処理手段と、
    　前記検出光の遮光が最初に検出された後、前記サイズが第１の閾値より大きくなったことが検出されたとき、入力物体のダウンイベントを生成する処理手段と、
    　前記サイズの最大値の検出後、前記サイズが第２の閾値より小さくなったことが検出されたとき、入力物体のアップイベントを生成する処理手段と
    　を有することを特徴とする座標入力装置。
  2. 　請求項１に記載の座標入力装置において、
    　前記第１の閾値は、前記検出光の遮光が最初に検出された時点のサイズの２倍の値に設定される
    　ことを特徴とする座標入力装置。
  3. 　請求項１に記載の座標入力装置において、
    　前記第２の閾値は、前記サイズの最大値に対して２分の１の値に設定される
    　ことを特徴とする座標入力装置。
  4. 　請求項１に記載の座標入力装置において、
    　前記第１の閾値は前記第２の閾値より大きい
    　ことを特徴とする座標入力装置。
  5. 　請求項１に記載の座標入力装置において、
    　前記第１の閾値は前記第２の閾値より小さい
    　ことを特徴とする座標入力装置。
  6. 　表示面又は投影面の手前位置に操作検出面を有し、先端に丸みを有する入力物体が前記操作検出面を横切る座標を光学的に検出する座標入力装置から、検出された入力物体のサイズに関する情報を入力するコンピュータに、
    　前記操作検出面に沿って進行する検出光を遮る入力物体のサイズを検出する処理と、
    　前記検出光の遮光が最初に検出された後、前記サイズが第１の閾値より大きくなったことが検出されたとき、入力物体のダウンイベントを生成する処理と、
    　前記サイズの最大値の検出後、前記サイズが第２の閾値より小さくなったことが検出されたとき、入力物体のアップイベントを生成する処理と
    　を実行させるプログラム。
  7. 　請求項６に記載のプログラムにおいて、
    　前記第１の閾値は、前記検出光の遮光が最初に検出された時点のサイズの２倍の値に設定される
    　ことを特徴とするプログラム。
  8. 　請求項６に記載のプログラムにおいて、
    　前記第２の閾値は、前記サイズの最大値に対して２分の１の値に設定される
    　ことを特徴とするプログラム。
  9. 　請求項６に記載のプログラムにおいて、
    　前記第１の閾値は前記第２の閾値より大きい
    　ことを特徴とするプログラム。
  10. 　請求項６に記載のプログラムにおいて、
    　前記第１の閾値は前記第２の閾値より小さい
    　ことを特徴とするプログラム。
PCT/JP2011/053758 2010-03-24 2011-02-22 座標入力装置及びプログラム WO2011118313A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP11759121.4A EP2551755A4 (en) 2010-03-24 2011-02-22 COORDINATE ENTRY AND PROGRAM THEREFOR
US13/635,078 US20130009914A1 (en) 2010-03-24 2011-02-22 Coordinate input device, and program
CN201180015551XA CN102822781A (zh) 2010-03-24 2011-02-22 坐标输入装置以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-068770 2010-03-24
JP2010068770A JP5342484B2 (ja) 2010-03-24 2010-03-24 座標入力装置及びプログラム

Publications (1)

Publication Number Publication Date
WO2011118313A1 true WO2011118313A1 (ja) 2011-09-29

Family

ID=44672885

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/053758 WO2011118313A1 (ja) 2010-03-24 2011-02-22 座標入力装置及びプログラム

Country Status (5)

Country Link
US (1) US20130009914A1 (ja)
EP (1) EP2551755A4 (ja)
JP (1) JP5342484B2 (ja)
CN (1) CN102822781A (ja)
WO (1) WO2011118313A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015075767A1 (ja) * 2013-11-19 2015-05-28 日立マクセル株式会社 投射型映像表示装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289203B1 (en) * 2013-03-04 2019-05-14 Amazon Technologies, Inc. Detection of an input object on or near a surface
WO2015182388A1 (ja) * 2014-05-29 2015-12-03 富士電機株式会社 光学的操作入力検出装置、自動販売機、及び光学的操作入力検出方法
JP2016021229A (ja) 2014-06-20 2016-02-04 船井電機株式会社 入力装置
CN107015708B (zh) * 2017-03-20 2020-03-31 苏州佳世达电通有限公司 光学触控装置及光学触控方法
JP7364718B2 (ja) * 2022-02-24 2023-10-18 Ｎｅｃプラットフォームズ株式会社 情報処理システム、端末装置、制御方法及び追加プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0443178B2 (ja) 1985-08-07 1992-07-15 Matsushita Electric Ind Co Ltd
JP2001290583A (ja) 2000-04-05 2001-10-19 Ricoh Co Ltd 座標入力／検出装置及び電子黒板システム
JP2005346503A (ja) * 2004-06-03 2005-12-15 Canon Inc 遮光型座標入力装置及びその座標入力方法、並びに制御プログラム
JP3931030B2 (ja) 2000-10-19 2007-06-13 株式会社シロク 位置検出装置
JP3986710B2 (ja) 1999-07-15 2007-10-03 株式会社リコー 座標検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434370A (en) * 1993-11-05 1995-07-18 Microfield Graphics, Inc. Marking system with pen-up/pen-down tracking
JP2000105671A (ja) * 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP3905670B2 (ja) * 1999-09-10 2007-04-18 株式会社リコー 座標入力検出装置、情報記憶媒体及び座標入力検出方法
JP4897596B2 (ja) * 2007-07-12 2012-03-14 ソニー株式会社 入力装置、記憶媒体、情報入力方法及び電子機器
KR101424259B1 (ko) * 2007-08-22 2014-07-31 삼성전자주식회사 휴대단말에서 입력 피드백 제공 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0443178B2 (ja) 1985-08-07 1992-07-15 Matsushita Electric Ind Co Ltd
JP3986710B2 (ja) 1999-07-15 2007-10-03 株式会社リコー 座標検出装置
JP2001290583A (ja) 2000-04-05 2001-10-19 Ricoh Co Ltd 座標入力／検出装置及び電子黒板システム
JP3931030B2 (ja) 2000-10-19 2007-06-13 株式会社シロク 位置検出装置
JP2005346503A (ja) * 2004-06-03 2005-12-15 Canon Inc 遮光型座標入力装置及びその座標入力方法、並びに制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2551755A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015075767A1 (ja) * 2013-11-19 2015-05-28 日立マクセル株式会社 投射型映像表示装置
JP5973087B2 (ja) * 2013-11-19 2016-08-23 日立マクセル株式会社 投射型映像表示装置
US9927923B2 (en) 2013-11-19 2018-03-27 Hitachi Maxell, Ltd. Projection-type video display device
US10191594B2 (en) 2013-11-19 2019-01-29 Maxell, Ltd. Projection-type video display device

Also Published As

Publication number Publication date
EP2551755A4 (en) 2015-05-06
CN102822781A (zh) 2012-12-12
US20130009914A1 (en) 2013-01-10
EP2551755A1 (en) 2013-01-30
JP2011203861A (ja) 2011-10-13
JP5342484B2 (ja) 2013-11-13

Similar Documents

Publication Publication Date Title
US9019239B2 (en) Creative design systems and methods
TWI483143B (zh) 混合式指向裝置
US9448645B2 (en) Digitizer using multiple stylus sensing techniques
KR101560308B1 (ko) 가상 필기 입력을 위한 방법 및 전자 장치
WO2011118313A1 (ja) 座標入力装置及びプログラム
CN102508578B (zh) 投影定位装置及方法、交互系统和交互方法
US20120249422A1 (en) Interactive input system and method
AU2007329152B2 (en) Interactive input system and method
US9213440B2 (en) System and method for remote touch detection
US20230057020A1 (en) Meeting interaction system
WO2011118312A1 (ja) 座標入力装置及びプログラム
JP2006092410A (ja) 電子ペンおよびタッチパネル装置
JPH0736603A (ja) 二次元位置検出装置
JP2011258102A (ja) 入力装置
JP4401737B2 (ja) 座標入力装置及びその制御方法、プログラム
JP2018063555A (ja) 情報処理装置、情報処理方法及びプログラム
KR100962511B1 (ko) 전자펜 마우스 및 그 동작 방법
JP2015515672A (ja) コンピュータシステムとその制御方法
KR20190133441A (ko) 카메라를 이용한 유효포인트 추적방식의 인터랙티브 터치스크린
JP2013191005A (ja) デジタイザ装置
Niikura et al. Touch detection system for various surfaces using shadow of finger
TWI534688B (zh) 光學觸控系統、光學感測模組及其運作方法
JP5530887B2 (ja) 電子ボードシステム、座標点補正装置、座標点補正方法及びプログラム
JP5140628B2 (ja) 電子ボードシステム及びプログラム
KR101037310B1 (ko) 초음파 신호를 이용한 정보 입력 방법 및 시스템

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180015551.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11759121

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13635078

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011759121

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE