JP5177033B2 - Input device and electronic device - Google Patents

Input device and electronic device Download PDF

Info

Publication number
JP5177033B2
JP5177033B2 JP2009065921A JP2009065921A JP5177033B2 JP 5177033 B2 JP5177033 B2 JP 5177033B2 JP 2009065921 A JP2009065921 A JP 2009065921A JP 2009065921 A JP2009065921 A JP 2009065921A JP 5177033 B2 JP5177033 B2 JP 5177033B2
Authority
JP
Japan
Prior art keywords
indicator
region
input device
control unit
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009065921A
Other languages
Japanese (ja)
Other versions
JP2010218365A (en
Inventor
学 西脇
英一 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2009065921A priority Critical patent/JP5177033B2/en
Publication of JP2010218365A publication Critical patent/JP2010218365A/en
Application granted granted Critical
Publication of JP5177033B2 publication Critical patent/JP5177033B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Description

本発明は、入力装置、及び電子機器に関するものである。   The present invention relates to an input device and an electronic device.

従来から、超音波を発信して障害物により反射された超音波を受信する超音波センサーが知られている。このような超音波センサーとして、自動車に搭載された障害物センサーが開示されている(例えば、特許文献1参照)。特許文献1の超音波センサーは、超音波の送受信が可能な素子から超音波を送信して、被検出体に当って反射された超音波をこの素子によって受信する。これにより、自動車の周囲にある物体の位置測定又は距離測定や、その物体の2次元形状または3次元形状の測定などを行う。   Conventionally, an ultrasonic sensor that transmits ultrasonic waves and receives ultrasonic waves reflected by an obstacle is known. As such an ultrasonic sensor, an obstacle sensor mounted on an automobile is disclosed (for example, see Patent Document 1). The ultrasonic sensor of Patent Document 1 transmits ultrasonic waves from an element capable of transmitting and receiving ultrasonic waves, and receives the ultrasonic waves reflected by the object to be detected by this element. Thereby, position measurement or distance measurement of an object around the automobile, measurement of the two-dimensional shape or three-dimensional shape of the object, and the like are performed.

特開2008−99103号公報JP 2008-99103 A

近年、PDA(Personal Data Assistance)や、PC(Personal Computer)等の電子機器の入力装置に超音波センサーを用いることが検討されているが、未だ具体的な構成は提案されていない。しかしながら、仮に上記従来の超音波センサーを入力装置に用いたとしても以下のような課題がある。   In recent years, the use of an ultrasonic sensor for an input device of an electronic device such as a PDA (Personal Data Assistance) or a PC (Personal Computer) has been studied, but no specific configuration has been proposed yet. However, even if the conventional ultrasonic sensor is used as an input device, there are the following problems.

特許文献1の超音波センサーは車載用として用いられ、比較的遠距離に存在する大きな障害物の位置、距離、形状等を検出するためのものである。超音波センサーによって遠距離の障害物を測定するためには、超音波の減衰を避けるため周波数を低く設定し、波長を長くする必要がある。
ところが、超音波の波長が長くなると、検出対象の3次元的な位置の測定や動作を検出する分解能が低下する。したがって、このような超音波センサーでは、入力動作を実行する支持体として、例えば人の手の動きや入力用のペン等の動作等、近距離に存在する比較的小さな検出対象の3次元的な位置、形状、速度を正確に検出することができないという課題がある。
The ultrasonic sensor of Patent Document 1 is used for in-vehicle use, and is for detecting the position, distance, shape, and the like of a large obstacle existing at a relatively long distance. In order to measure an obstacle at a long distance using an ultrasonic sensor, it is necessary to set the frequency low and lengthen the wavelength in order to avoid attenuation of the ultrasonic wave.
However, when the wavelength of the ultrasonic wave becomes longer, the resolution for detecting the measurement and operation of the three-dimensional position of the detection target decreases. Therefore, in such an ultrasonic sensor, as a support for performing an input operation, for example, a three-dimensional object of a relatively small detection target existing at a short distance, such as the movement of a human hand or the operation of an input pen or the like. There is a problem that the position, shape, and speed cannot be detected accurately.

本発明は、上記課題を解決するためになされたものであって、指示体の位置を正確に検出することができる入力装置、及び電子機器を提供することを目的とする。   The present invention has been made to solve the above-described problem, and an object thereof is to provide an input device and an electronic apparatus that can accurately detect the position of an indicator.

本発明の入力装置は、超音波の反射率が異なる複数の領域を有する指示体によって情報を入力する入力装置であって、前記超音波を発信する複数の発信素子と、前記超音波の前記指示体からの反射波を受信する受信素子と、前記発信素子に電気信号を供給し、前記指示体が配置された領域に超音波を発信させた後、前記指示体のうち、第1の反射率を有する第1の反射領域からの反射波の強度と、第2の反射率を有する第2の反射領域からの反射波の強度との違いに基づいて前記第1の反射領域の位置座標を検出し、これを前記入力情報と判断する制御部と、を備えていることを特徴とする   The input device of the present invention is an input device for inputting information by an indicator having a plurality of regions having different ultrasonic reflectivities, the plurality of transmitting elements for transmitting the ultrasonic waves, and the indication of the ultrasonic waves A receiving element that receives a reflected wave from the body; and an electric signal is supplied to the transmitting element, and an ultrasonic wave is transmitted to a region where the indicator is disposed, and then the first reflectance of the indicator is set. The position coordinates of the first reflection area are detected on the basis of the difference between the intensity of the reflected wave from the first reflection area and the intensity of the reflected wave from the second reflection area having the second reflectance. And a control unit that determines this as the input information.

この構成によれば、制御部は、超音波の反射率の違いによって指示体の第1の反射領域と第2の反射領域とを判別することができるので、単に指示体の大雑把な位置座標を検出するのではなく、指示体の中の特定の部位の位置を検出でき、第1の反射領域の位置座標を入力情報として正確に検出することができる入力装置を提供することができる。   According to this configuration, the control unit can discriminate between the first reflection area and the second reflection area of the indicator based on the difference in the reflectance of the ultrasonic wave. Instead of detecting, it is possible to provide an input device that can detect the position of a specific part in the indicator and accurately detect the position coordinates of the first reflection region as input information.

前記制御部は、前記第1の反射領域を基準として前記第2の反射領域の位置座標を検出することにより前記指示体の延在方向を検出することが好ましい。
これによれば、指示体の延在方向が検出されることにより、指示体の第1の反射領域付近の概略形状を認識することができるので、第1の反射領域の位置座標だけでなく、支持体の延在方向を入力情報とすることが可能である。したがって、入力情報を増やすことができ、より複雑な入力操作を実現可能な入力装置を提供することができる。
It is preferable that the control unit detects an extending direction of the indicator by detecting a position coordinate of the second reflection area with reference to the first reflection area.
According to this, since the schematic shape of the indicator near the first reflection region can be recognized by detecting the extending direction of the indicator, not only the position coordinates of the first reflection region, The extending direction of the support can be used as input information. Therefore, it is possible to provide an input device capable of increasing input information and realizing a more complicated input operation.

複数の前記発信素子を備え、前記制御部は、前記複数の発信素子に、前記領域の一方向に向けて同位相の前記超音波を発信させる前記信号を出力することが好ましい。
これによれば、指向性を高めた超音波を発信することができるので、分解能を向上させた入力装置を提供することができる。
Preferably, the control unit includes a plurality of the transmitting elements, and the control unit outputs the signal that causes the plurality of transmitting elements to transmit the ultrasonic wave having the same phase toward one direction of the region.
According to this, since an ultrasonic wave with improved directivity can be transmitted, an input device with improved resolution can be provided.

前記制御部は、前記発信素子と対向する走査領域を複数の部分領域に分割し、それぞれの前記部分領域に向けて前記超音波を間欠的に順次発信させることが好ましい。
これによれば、超音波の発信回数を抑えながら走査領域を走査することができるので、短時間で指示体の位置座標を検出することが可能な入力装置を提供することができる。
It is preferable that the control unit divides a scanning region facing the transmitting element into a plurality of partial regions and intermittently sequentially transmits the ultrasonic waves toward the partial regions.
According to this, since it is possible to scan the scanning region while suppressing the number of times of transmitting ultrasonic waves, it is possible to provide an input device that can detect the position coordinates of the indicator in a short time.

前記制御部は、前記受信素子と前記指示体との間の距離に応じて前記反射波の振幅を規格化し、規格化された前記反射波の振幅が所定の振幅以上を示す前記第1の反射領域の位置座標を検出することが好ましい。
これによれば、受信素子からの距離が変わることによって変動する反射波の振幅を補正することができるので、指示体の第1の反射領域と第2の反射領域とを確実に判別することができる入力装置を提供することができる。
The control unit normalizes an amplitude of the reflected wave according to a distance between the receiving element and the indicator, and the first reflected wave having a normalized amplitude of the reflected wave is equal to or greater than a predetermined amplitude. It is preferable to detect the position coordinates of the region.
According to this, since the amplitude of the reflected wave that fluctuates due to a change in the distance from the receiving element can be corrected, it is possible to reliably determine the first reflection area and the second reflection area of the indicator. An input device that can be provided can be provided.

前記制御部は、規格化された前記反射波の振幅が所定の振幅以上を示す前記第1の反射領域の位置座標を検出した後、該第1の反射領域の位置座標付近の局所領域内を前記超音波で走査させて、前記指示体の前記第1及び第2の反射領域の詳細な位置座標と、詳細な前記延在方向とを検出することが好ましい。
これによれば、走査領域の全域を走査することによって指示体の第1の反射領域のおおよその位置座標を検出したのち、第1の反射領域を含む狭い領域のみを超音波で詳細に走査するので、指示体の第1及び第2の反射領域の詳細な位置座標を検出することができる。また、第1の反射領域付近における指示体の概略形状を容易に検出することが可能な入力装置を提供することができる。
The control unit detects a position coordinate of the first reflection area where the normalized reflected wave has an amplitude greater than or equal to a predetermined amplitude, and then detects a position in a local area near the position coordinate of the first reflection area. It is preferable to scan with the ultrasonic wave to detect the detailed position coordinates of the first and second reflection regions of the indicator and the detailed extending direction.
According to this, after detecting the approximate position coordinates of the first reflecting area of the indicator by scanning the entire scanning area, only a narrow area including the first reflecting area is scanned in detail with ultrasound. Therefore, it is possible to detect the detailed position coordinates of the first and second reflection areas of the indicator. Further, it is possible to provide an input device that can easily detect the schematic shape of the indicator near the first reflection region.

前記制御部は、検出した前記第1の反射領域の位置座標及び前記指示体の延在方向の有効性を判定し、前記第1の反射領域の位置座標及び前記指示体の延在方向が有効であると判定した場合には、前記局所領域内を前記超音波で走査させることによって前記指示体の位置座標を再検出することが好ましい。
ここで言う「第1の反射領域の位置座標及び指示体の延在方向の有効性」とは、入力装置が要求する情報に適合する入力情報(第1の反射領域の位置座標、指示体の延在方向)を検出したということである。
したがって、有効な入力情報が検出されると、直前に設定された局所領域のみを走査することによって指示体の動きを検出すればよいので、短時間で指示体の動きを追跡することが可能な入力装置を提供することができる。
The control unit determines the validity of the detected position coordinates of the first reflection area and the extension direction of the indicator, and the position coordinates of the first reflection area and the extension direction of the indicator are valid. If it is determined that the position coordinates of the indicator are re-detected by scanning the inside of the local region with the ultrasonic waves.
The “effectiveness of the position coordinates of the first reflection area and the direction in which the indicator extends” here refers to input information (position coordinates of the first reflection area, the indication of the indicator that matches the information required by the input device). This means that the extending direction) has been detected.
Therefore, when valid input information is detected, it is only necessary to detect the movement of the indicator by scanning only the local area set immediately before, so that the movement of the indicator can be tracked in a short time. An input device can be provided.

前記制御部は、検出した前記第1の反射領域の座標及び前記指示体の延在方向の有効性を判定し、前記第1の反射領域の位置座標及び前記指示体の延在方向が有効でないと判定した場合には、前記走査領域の全域を走査することによって前記指示体の位置座標を再検出することが好ましい。
これによれば、指示体が直前に設定された局所領域から外れた位置座標に移動した場合でも指示体の動きを検出することができるので、確実に指示体の動きを追跡することが可能な入力装置を提供することができる。
The control unit determines the validity of the detected coordinates of the first reflection area and the extension direction of the indicator, and the position coordinates of the first reflection area and the extension direction of the indicator are not valid. If it is determined that the position coordinates of the indicator are redetected by scanning the entire scanning area.
According to this, since the movement of the indicator can be detected even when the indicator moves to a position coordinate deviating from the previously set local area, the movement of the indicator can be reliably tracked. An input device can be provided.

前記発信素子と対向して複数の前記指示体が配置され、前記制御部は、それぞれの前記指示体の前記第1の反射領域の位置座標を検出し、これらを前記情報と判断することが好ましい。
これによれば、複数の指示体の入力情報を検出することができるので、例えば複数の指示体の相互の位置関係など、より複雑な入力動作を実現可能な入力装置を提供することができる。
It is preferable that a plurality of the indicators are arranged to face the transmitting element, and the control unit detects the position coordinates of the first reflection area of each of the indicators and determines these as the information. .
According to this, since it is possible to detect input information of a plurality of indicators, it is possible to provide an input device that can realize a more complicated input operation such as a positional relationship between the indicators.

前記制御部は、前記指示体として指を検出し、前記第1の反射領域として爪、及び前記第2の反射領域として皮膚を検出することが好ましい。
これによれば、硬度が大きく反射率が高い爪の位置座標、すなわち指先の位置座標を検出することによって入力動作を実行することができるので、入力動作用の指示体を別途必要とせず、入力動作が簡素化される。
Preferably, the control unit detects a finger as the indicator, detects a nail as the first reflection region, and skin as the second reflection region.
According to this, since the input operation can be executed by detecting the position coordinates of the nail having high hardness and high reflectance, that is, the position coordinates of the fingertip, an input operation indicator is not required separately, and the input operation can be performed. Operation is simplified.

本発明の電子機器は、先に記載の入力装置を備えていることを特徴とする。
これによれば、入力装置が指示体の位置座標を検出することによって入力動作を実行することができるので、入力動作を簡素化した電子機器を提供することができる。
An electronic apparatus according to the present invention includes the input device described above.
According to this, since the input device can execute the input operation by detecting the position coordinates of the indicator, it is possible to provide an electronic device that simplifies the input operation.

PDAの斜視図である。It is a perspective view of PDA. 入力装置の斜視図である。It is a perspective view of an input device. 発信素子及び受信素子の配置例を示す平面図である。It is a top view which shows the example of arrangement | positioning of a transmitting element and a receiving element. 図2におけるA−A’断面図である。It is A-A 'sectional drawing in FIG. 制御部の回路ブロック図である。It is a circuit block diagram of a control part. 発信素子に入力されるパルスの一例を示す図である。It is a figure which shows an example of the pulse input into a transmission element. 領域の座標系の説明図である。It is explanatory drawing of the coordinate system of an area | region. 指の位置検出に係るフローチャート図である。It is a flowchart figure which concerns on the position detection of a finger | toe. 領域を複数の部分領域に分割する方法の一例を示す図である。It is a figure which shows an example of the method of dividing | segmenting an area | region into several partial area | regions. 規格化された反射波の一例を示す図である。It is a figure which shows an example of the normalized reflected wave. 局所領域の拡大図である。It is an enlarged view of a local region. 規格化された反射波の一例を示す図である。It is a figure which shows an example of the normalized reflected wave. 円周領域における反射波を示す図である。It is a figure which shows the reflected wave in a circumferential area | region.

以下図面を用いて、本発明に係る入力装置について説明する。
なお、以下の実施の形態は、本発明の一態様を示すものであり、この発明を限定するものではなく、本発明の技術的思想の範囲内で任意に変更可能である。また、以下の図面においては、各構成部材をわかりやすくするために、各構成部材の縮尺や数等を実際の構成とは異ならせている。
Hereinafter, an input device according to the present invention will be described with reference to the drawings.
The following embodiments show one aspect of the present invention and do not limit the present invention, and can be arbitrarily changed within the scope of the technical idea of the present invention. Moreover, in the following drawings, in order to make each structural member easy to understand, the scale and number of each structural member are different from the actual configuration.

図1は、本発明の入力装置を備えた電子機器の一例であるPDA100を模式的に示す斜視図である。PDA100は、図1に示すように、本体30、表示部20、及び入力装置10を有している。
表示部20は、画像表示を行う領域であり、本体30と一体で構成されている。
入力装置10は、表示部20の周辺の本体30上に配置されている。入力装置10は、表示部20上方の走査領域Rに超音波を発信し、走査領域Rに配置された指(指示体)Fからの反射波を受信することによって、指Fの座標を検出する。
したがって、例えば表示部20に複数の選択ボタンが表示された場合、使用者は選択したいボタンの上方に指先を持っていくことにより任意のボタンを選択することができる。また、指先の座標と指の皮膚の座標とを検出することにより、指Fの延在方向を検出することによって任意のボタンを選択することができる。さらには、指の動きを検出することによって任意のボタンを選択することができる。
FIG. 1 is a perspective view schematically showing a PDA 100 which is an example of an electronic apparatus including the input device of the present invention. As shown in FIG. 1, the PDA 100 includes a main body 30, a display unit 20, and an input device 10.
The display unit 20 is an area for displaying an image, and is configured integrally with the main body 30.
The input device 10 is disposed on the main body 30 around the display unit 20. The input device 10 detects the coordinates of the finger F by transmitting an ultrasonic wave to the scanning region R above the display unit 20 and receiving a reflected wave from the finger (indicator) F arranged in the scanning region R. .
Therefore, for example, when a plurality of selection buttons are displayed on the display unit 20, the user can select an arbitrary button by holding the fingertip above the button to be selected. Further, by detecting the fingertip coordinates and the finger skin coordinates, an arbitrary button can be selected by detecting the extending direction of the finger F. Furthermore, any button can be selected by detecting the movement of the finger.

次に、入力装置10について詳しく説明する。
図2は、入力装置10の詳細な構成を模式的に示す斜視図である。図3は、超音波センサー1における発信素子1a及び受信素子1bの配置例を模式的に示す平面図である。図4は、図2におけるA−A’に沿った断面形状を模式的に示す図である。図5は、制御部40Aの回路ブロック図である。図6は、発信素子1aに入力されるパルスの一例を示す図である。
Next, the input device 10 will be described in detail.
FIG. 2 is a perspective view schematically showing a detailed configuration of the input device 10. FIG. 3 is a plan view schematically showing an arrangement example of the transmitting element 1 a and the receiving element 1 b in the ultrasonic sensor 1. FIG. 4 is a diagram schematically showing a cross-sectional shape along AA ′ in FIG. 2. FIG. 5 is a circuit block diagram of the control unit 40A. FIG. 6 is a diagram illustrating an example of pulses input to the transmitting element 1a.

入力装置10は、図2に示すように、超音波センサーユニット1Aと制御部40Aとを有する。超音波センサーユニット1Aは、基板11と超音波センサー1とを備えている。
超音波センサー1は、図3に示すように、基板11の表面11A上に複数の発信素子1a及び複数の受信素子1bがマトリクス状に配置された構成となっている。
本実施形態においては、図3に示すように、受信素子1bが超音波センサー1の角部の4箇所、及び中央部の4箇所に配置され、それ以外の位置に発信素子1aが配置された構成である。
As shown in FIG. 2, the input device 10 includes an ultrasonic sensor unit 1A and a control unit 40A. The ultrasonic sensor unit 1 </ b> A includes a substrate 11 and the ultrasonic sensor 1.
As shown in FIG. 3, the ultrasonic sensor 1 has a configuration in which a plurality of transmitting elements 1a and a plurality of receiving elements 1b are arranged in a matrix on a surface 11A of a substrate 11.
In the present embodiment, as shown in FIG. 3, the receiving elements 1b are arranged at four corners and four central parts of the ultrasonic sensor 1, and the transmitting elements 1a are arranged at other positions. It is a configuration.

断面視における発信素子1a及び受信素子1bは、図4に示すように、いずれも同様の構成を有し、振動板2と、下部電極4と、圧電体3と、上部電極5とを備えている。
基板11は、矩形状の単結晶シリコンで構成されている。基板11の全面のうち、発信素子1a及び受信素子1bに対応する部分には開口部11aが形成されている。
基板11の表面11Aのほぼ全面に、SiO(二酸化ケイ素)で形成された第1酸化膜2aと、ZrO(ジルコニア)で形成された第2酸化膜2bとが積層された積層膜が形成されている。積層膜のうち、開口部11aの上方に相当する部分が振動板2として機能する。
第1酸化膜2aは、単結晶シリコン基板の表面を熱酸化させることによって形成され、膜厚はおよそ3μmである。第2酸化膜2bは、CVD法(化学気相成長法)などで形成され、膜厚はおよそ400nmである。
As shown in FIG. 4, the transmitting element 1 a and the receiving element 1 b in a cross-sectional view have the same configuration, and include a diaphragm 2, a lower electrode 4, a piezoelectric body 3, and an upper electrode 5. Yes.
The substrate 11 is made of rectangular single crystal silicon. An opening 11a is formed in a portion of the entire surface of the substrate 11 corresponding to the transmitting element 1a and the receiving element 1b.
A laminated film in which a first oxide film 2a made of SiO 2 (silicon dioxide) and a second oxide film 2b made of ZrO 2 (zirconia) are laminated on almost the entire surface 11A of the substrate 11 is formed. Has been. A portion of the laminated film corresponding to the upper portion of the opening 11 a functions as the diaphragm 2.
The first oxide film 2a is formed by thermally oxidizing the surface of the single crystal silicon substrate and has a film thickness of about 3 μm. The second oxide film 2b is formed by a CVD method (chemical vapor deposition method) or the like and has a thickness of about 400 nm.

下部電極4は、振動板2上に形成されている。より詳しくは、下部電極4の膜が第2酸化膜2bのほぼ全面に形成され、超音波センサー1を構成するすべての発信素子1a及び受信素子1bの共通電極となっている。下部電極4は、Ir(イリジウム)などの導電性金属材料で形成され、膜厚はおよそ200nmである。   The lower electrode 4 is formed on the diaphragm 2. More specifically, the film of the lower electrode 4 is formed on almost the entire surface of the second oxide film 2b, and serves as a common electrode for all the transmitting elements 1a and the receiving elements 1b constituting the ultrasonic sensor 1. The lower electrode 4 is made of a conductive metal material such as Ir (iridium) and has a thickness of about 200 nm.

圧電体3は、下部電極4の全面のうち、開口部11aの上方にあたる領域にのみ形成されている。圧電体3は、PZT(チタン酸ジルコン酸鉛)、BaTiO(チタン酸バリウム)などで形成され、膜厚はおよそ1.4μmである。
上部電極5は、圧電体3上に形成されている。上部電極5は、例えば、Ir(イリジウム)などの導電性金属材料で形成され、膜厚はおよそ50nmである。
The piezoelectric body 3 is formed only in a region of the entire surface of the lower electrode 4 that is above the opening 11a. The piezoelectric body 3 is formed of PZT (lead zirconate titanate), BaTiO 3 (barium titanate) or the like, and has a film thickness of about 1.4 μm.
The upper electrode 5 is formed on the piezoelectric body 3. The upper electrode 5 is made of a conductive metal material such as Ir (iridium) and has a film thickness of about 50 nm.

フレキシブルプリント基板12は、図2に示すように、超音波センサーユニット1Aと制御部40Aとを接続している。具体的には、超音波センサーユニット1の端子部11Tと、制御部40Aの制御基板13の表面13aに形成された端子部13Tとを電気的に接続している。   As shown in FIG. 2, the flexible printed circuit board 12 connects the ultrasonic sensor unit 1A and the control unit 40A. Specifically, the terminal part 11T of the ultrasonic sensor unit 1 and the terminal part 13T formed on the surface 13a of the control board 13 of the control part 40A are electrically connected.

制御部40Aは、図2に示すように、制御基板13と制御回路40とを備えている。
制御回路40は、制御基板13の表面13aに実装され、超音波センサー1の制御を行う。
ここで、制御回路40について詳しく説明する。制御回路40は、図5に示すように、制御演算部41、記憶部42、超音波発生部43、及び超音波検出部44を有している。
The control unit 40A includes a control board 13 and a control circuit 40 as shown in FIG.
The control circuit 40 is mounted on the surface 13 a of the control board 13 and controls the ultrasonic sensor 1.
Here, the control circuit 40 will be described in detail. As illustrated in FIG. 5, the control circuit 40 includes a control calculation unit 41, a storage unit 42, an ultrasonic wave generation unit 43, and an ultrasonic wave detection unit 44.

制御演算部41は、それぞれの発信素子1aを駆動する信号を超音波発生部43に出力するとともに、受信素子1bで受信され、記憶部42を介して入力された反射波の信号(以下では反射信号と表記する)に基づいて指Fの位置、延在方向を検出する。そして、検出した情報に基づいて、指Fによる入力情報を取得して図1の本体30に出力する。   The control calculation unit 41 outputs a signal for driving each transmission element 1 a to the ultrasonic wave generation unit 43 and is also received by the reception element 1 b and input via the storage unit 42 as a reflected wave signal (hereinafter, reflected). The position and extension direction of the finger F are detected based on the signal). And based on the detected information, the input information with the finger | toe F is acquired and it outputs to the main body 30 of FIG.

超音波発生部43は、サイン波発生部43aと、位相部43bと、ドライバー43cとを有し、超音波発生用の電気信号を発信素子1aに出力する。
サイン波発生部43aは、サイン波状のパルス(電気信号)を生成し、位相部43bに出力する。
位相部43bは、制御演算部43bから入力された発信信号に基づいてパルスの位相をシフトさせる。そして、位相をシフトさせたパルスの振幅をドライバー43cで増幅させた後、パルスを発信素子1aに出力する。
The ultrasonic generator 43 includes a sine wave generator 43a, a phase unit 43b, and a driver 43c, and outputs an electric signal for generating ultrasonic waves to the transmitting element 1a.
The sine wave generation unit 43a generates a sine wave-like pulse (electric signal) and outputs it to the phase unit 43b.
The phase unit 43b shifts the phase of the pulse based on the transmission signal input from the control calculation unit 43b. Then, after the amplitude of the pulse whose phase has been shifted is amplified by the driver 43c, the pulse is output to the transmitting element 1a.

超音波受信部44は、指Fで反射された反射波を受信し制御演算部41に出力する。超音波受信部44は、増幅部44aと、A/D変換部44bとを有している。
増幅部44aは、受信素子1bで受信した反射信号の振幅を増幅し、A/D変換部44bに出力する。
A/D変換部44bは、増幅部44aから入力された反射信号を、デジタル信号に変換してA/D変換部44bに出力する。
The ultrasonic receiving unit 44 receives the reflected wave reflected by the finger F and outputs it to the control calculation unit 41. The ultrasonic receiving unit 44 includes an amplification unit 44a and an A / D conversion unit 44b.
The amplifier 44a amplifies the amplitude of the reflected signal received by the receiving element 1b and outputs the amplified signal to the A / D converter 44b.
The A / D converter 44b converts the reflected signal input from the amplifier 44a into a digital signal and outputs the digital signal to the A / D converter 44b.

記憶部42は、A/D変換部44bによりデジタル変換された受信素子1bの反射信号、超音波の発信方向及び発信時刻、反射波の受信時刻などの各種データが格納されている。また、記憶部42には、入力装置10を制御するためのプログラム、設定値などが格納されている。   The storage unit 42 stores various data such as the reflection signal of the receiving element 1b digitally converted by the A / D conversion unit 44b, the transmission direction and transmission time of the ultrasonic wave, and the reception time of the reflected wave. The storage unit 42 stores a program for controlling the input device 10, a set value, and the like.

以下、制御回路40の動作について説明する。
発信素子1aに図6に示すパルスが入力されると、パルスの振幅に応じて下部電極4と上部電極5との間に電位差が発生する。これにより、圧電体3は、基板11の表面11Aの法線方向に伸縮して振動板2を振動させる。そうすると、開口部11aの空気が振動して、図1の表示部20上方の走査領域Rに超音波が発信される。
一方、指Fで反射した反射波が受信素子1bで受信されると、振動板2が振動して圧電体3が基板11の表面11Aの法線方向に伸縮する。そうすると、下部電極4と上部電極5との間に電位差が発生してパルス状の電気信号が超音波受信部44に出力される。
Hereinafter, the operation of the control circuit 40 will be described.
When the pulse shown in FIG. 6 is input to the transmitting element 1a, a potential difference is generated between the lower electrode 4 and the upper electrode 5 in accordance with the amplitude of the pulse. As a result, the piezoelectric body 3 expands and contracts in the normal direction of the surface 11 </ b> A of the substrate 11 to vibrate the diaphragm 2. Then, the air in the opening 11a vibrates, and ultrasonic waves are transmitted to the scanning region R above the display unit 20 in FIG.
On the other hand, when the reflected wave reflected by the finger F is received by the receiving element 1 b, the diaphragm 2 vibrates and the piezoelectric body 3 expands and contracts in the normal direction of the surface 11 A of the substrate 11. Then, a potential difference is generated between the lower electrode 4 and the upper electrode 5, and a pulsed electric signal is output to the ultrasonic receiver 44.

ここで、走査領域Rに配置された指Fの座標を規定するための座標系について説明する。図7は、走査領域Rの座標系の説明図である。
まず、超音波センサーユニット1Aの中心の点Oを基準点として、点Oと走査領域R内の点Tとを結ぶ線分OTの距離をd座標とする。
次に、図7に示すように、点Oから引いた法線と走査領域Rとの交点をO1とする。点Oと点O1とを結ぶ線分を基準軸O−O1と称する。
そして、線分OTをx軸上に投影した線分OT1が基準軸O−O1となす角度をθ座標とし、線分OTをy軸上に投影した線分OT2が基準軸O−O1となす角度をΦ座標とする。このように、走査領域Rの座標(d,θ,Φ)を規定する。
Here, a coordinate system for defining the coordinates of the finger F arranged in the scanning region R will be described. FIG. 7 is an explanatory diagram of the coordinate system of the scanning region R.
First, with the center point O of the ultrasonic sensor unit 1A as a reference point, the distance of a line segment OT connecting the point O and the point T in the scanning region R is defined as a d coordinate.
Next, as shown in FIG. 7, the intersection of the normal drawn from the point O and the scanning region R is defined as O1. A line segment connecting the point O and the point O1 is referred to as a reference axis O-O1.
The angle formed by the line segment OT1 projected onto the x-axis and the reference axis O-O1 is defined as the θ coordinate, and the line segment OT2 obtained by projecting the line segment OT onto the y-axis is defined as the reference axis O-O1. Let the angle be the Φ coordinate. Thus, the coordinates (d, θ, Φ) of the scanning region R are defined.

次に、このような構成を有する入力装置10における、指Fの座標検出に係る動作について説明する。
図8は、指Fの位置検出に係るフローチャート図である。指Fの座標検出は、走査領域Rの全面を超音波で走査するステップS10と、指Fで反射された反射波の反射信号を受信素子1bからの距離に応じて規格化するステップS20と、規格化された反射波から指先の座標を検出するステップS30と、指先を含む狭い領域のみを超音波で詳細に走査するステップS40と、指先付近の反射波のデータから爪の詳細な座標を検出するステップS50と、指先の皮膚の詳細な座標と、指の延在方向とを検出するステップS60と、検出した爪の座標及び指の延在方向の有効性を判定するステップS70と、有効であると判定した爪の座標及び指の延在方向の情報を本体30に出力するステップS80と、を実行する。
Next, an operation related to the coordinate detection of the finger F in the input device 10 having such a configuration will be described.
FIG. 8 is a flowchart for detecting the position of the finger F. The coordinate detection of the finger F includes steps S10 for scanning the entire surface of the scanning region R with ultrasonic waves, step S20 for normalizing the reflected signal of the reflected wave reflected by the finger F according to the distance from the receiving element 1b, Step S30 for detecting the fingertip coordinates from the standardized reflected wave, Step S40 for scanning only a narrow region including the fingertip in detail with ultrasonic waves, and detecting the detailed coordinates of the nail from the reflected wave data near the fingertip Step S50, step S60 for detecting the detailed coordinates of the fingertip skin and the extending direction of the finger, step S70 for determining the effectiveness of the detected nail coordinates and the extending direction of the finger, and Step S80 for outputting information on the coordinates of the nail determined to be present and the extending direction of the finger to the main body 30 is executed.

まず、ステップS10では、走査領域Rの全面を超音波で走査して反射波のデータを取得する。本実施形態では、走査領域Rをθ方向及びΦ方向に沿って複数の部分領域に分割し、それぞれの部分領域に向けて超音波を発信することによって走査領域Rを走査する。
図9は、走査領域Rを複数の部分領域に分割する方法の一例を示す図である。図9で示した走査領域Rは、θ方向に8分割(θ1,…,θm,…,θ8)、及びΦ方向に8分割(Φ1,…,Φn,…Φ8)されている。これらの部分領域は、θ方向の列番号mとΦ方向の行番号nとを用いてr(m、n)と表記する。
First, in step S10, the entire surface of the scanning region R is scanned with ultrasonic waves to obtain reflected wave data. In the present embodiment, the scanning region R is divided into a plurality of partial regions along the θ direction and the Φ direction, and the scanning region R is scanned by transmitting ultrasonic waves toward each partial region.
FIG. 9 is a diagram illustrating an example of a method for dividing the scanning region R into a plurality of partial regions. The scanning region R shown in FIG. 9 is divided into eight (θ1,..., Θm,..., Θ8) in the θ direction and eight (Φ1,..., Φn,. These partial areas are represented as r (m, n) using a column number m in the θ direction and a row number n in the Φ direction.

制御回路部41は、超音波発生部43の位相部43bに発信信号を出力する。制御回路部41は、部分領域r(m,n)に到達した超音波が同位相となるように、発信素子1aごとに位相を異ならせた発信信号を形成する。このように、指向性を向上させた超音波を形成することによって走査領域Rを走査する。   The control circuit unit 41 outputs a transmission signal to the phase unit 43 b of the ultrasonic wave generation unit 43. The control circuit unit 41 forms a transmission signal having a different phase for each transmission element 1a so that the ultrasonic waves that reach the partial region r (m, n) have the same phase. In this way, the scanning region R is scanned by forming ultrasonic waves with improved directivity.

指Fで反射された反射波は受信素子1bで受信される。そして、受信素子1bにおいて反射波がパルス状の電気信号(反射信号)に変換された後、超音波検出部44に出力される。反射信号は、超音波検出部44のA/D変換部44bにおいてデジタル変換され、記憶部42を介して制御回路部41に出力される。   The reflected wave reflected by the finger F is received by the receiving element 1b. Then, after the reflected wave is converted into a pulsed electric signal (reflected signal) in the receiving element 1 b, it is output to the ultrasonic detector 44. The reflected signal is digitally converted by the A / D conversion unit 44 b of the ultrasonic detection unit 44 and output to the control circuit unit 41 via the storage unit 42.

次に、ステップS20に移行する。ステップS20では、受信した反射信号の振幅を規格化する。規格化とは、反射波の振幅を受信素子1bと指Fとの距離に応じて補正することをいう。超音波のエネルギー密度は超音波センサーユニット1Aからの距離の2乗に反比例する。すなわち、超音波センサーユニット1Aから指Fまでの距離が延びると超音波振幅が減少する。そこで、減衰した分の振幅を補正することで振幅を規格化する。   Next, the process proceeds to step S20. In step S20, the amplitude of the received reflected signal is normalized. Normalization means that the amplitude of the reflected wave is corrected according to the distance between the receiving element 1b and the finger F. The energy density of ultrasonic waves is inversely proportional to the square of the distance from the ultrasonic sensor unit 1A. That is, as the distance from the ultrasonic sensor unit 1A to the finger F increases, the ultrasonic amplitude decreases. Therefore, the amplitude is normalized by correcting the attenuated amplitude.

規格化を実行するためには、まず、それぞれの超音波の発信時刻、発信方向、及び反射波の受信時刻などの情報を記憶部42から読み出す。
そして、超音波の発信時刻、反射波の受信時刻、及び超音波の音速から、超音波を反射した指Fまでの距離d(θ,Φ)を検出する。そして、反射信号の振幅をI(θ,Φ)、規格化された振幅をInrm(θ,Φ)とすれば、Inrm(θ,Φ)=I(θ,Φ)/d(θ,Φ)の式によって、反射波の振幅が規格化される。
このように、反射波の振幅を規格化すると、ステップS30に移行する。
In order to perform normalization, first, information such as the transmission time of each ultrasonic wave, the transmission direction, and the reception time of the reflected wave is read from the storage unit 42.
Then, the distance d (θ, Φ) from the ultrasonic wave transmission time, the reflected wave reception time, and the ultrasonic sound velocity to the finger F reflecting the ultrasonic wave is detected. If the amplitude of the reflected signal is I (θ, Φ) and the normalized amplitude is I nrm (θ, Φ), then I nrm (θ, Φ) = I (θ, Φ) / d (θ, Φ) The amplitude of the reflected wave is normalized by the equation ( 2 ).
Thus, when the amplitude of the reflected wave is normalized, the process proceeds to step S30.

ステップS30では、規格化された振幅Inrm(θ,Φ)から爪を含んだ指先の座標を検出する。
ここで、図10は、規格化された反射波の波形の一例を示す図である。図10は、爪を含んだ指先の反射波を破線で表示し、爪を含まない指の皮膚からの反射波を実線で表示している。爪のほうが皮膚よりも硬度が大きく、爪の反射率(第1の反射率)は皮膚の反射率(第2の反射率)よりも高いので、図10に示すように、指先からの反射波は皮膚からの反射波よりも振幅が大きい。
In step S30, the coordinates of the fingertip including the nail are detected from the normalized amplitude I nrm (θ, Φ).
Here, FIG. 10 is a diagram illustrating an example of a normalized reflected wave waveform. In FIG. 10, the reflected wave of the fingertip including the nail is displayed with a broken line, and the reflected wave from the skin of the finger not including the nail is displayed with a solid line. Since the nail has a higher hardness than the skin and the reflectance of the nail (first reflectance) is higher than the reflectance of the skin (second reflectance), as shown in FIG. 10, the reflected wave from the fingertip Has a larger amplitude than the reflected wave from the skin.

そこで、皮膚の反射波の振幅より大きく、爪の反射波の振幅よりも小さい振幅を基準振幅Vsに設定し、制御回路部41は、基準振幅Vsよりも大きい振幅を示す部分領域(第1の反射領域)と、基準振幅Vsよりも小さい振幅を示す部分領域(第2の反射領域)の座標を検出する。そして、第1の反射領域である部分領域r(m、n)の座標を指先座標P01(θ,Φ),…,P05(θ,Φ)として検出する。ここで示された指先座標P01〜P05は、5本の指それぞれに対応させたものである。
本実施形態では、部分領域r(4,5)、すなわち、θ方向でθ4、Φ方向でΦ5の方向で指先が検出された場合を例にして以下のステップの説明を行なう。
Therefore, an amplitude larger than the amplitude of the reflected wave of the skin and smaller than the amplitude of the reflected wave of the nail is set as the reference amplitude Vs, and the control circuit unit 41 has a partial region (first region) showing an amplitude larger than the reference amplitude Vs. The coordinates of the reflection area) and the partial area (second reflection area) showing an amplitude smaller than the reference amplitude Vs are detected. Then, the coordinates of the partial region r (m, n), which is the first reflection region, are detected as fingertip coordinates P01 (θ, Φ),..., P05 (θ, Φ). The fingertip coordinates P01 to P05 shown here correspond to five fingers, respectively.
In the present embodiment, the following steps will be described by taking as an example the case where a fingertip is detected in the partial region r (4, 5), that is, θ4 in the θ direction and φ5 in the φ direction.

ステップS30で検出した指先座標P01(θ,Φ)は、走査領域Rの全域を走査して検出したものであって、爪の位置と指先の皮膚の位置とを詳細に判別したものではなく指先のおおよその位置を検出したものである。そこで、以降のステップで指先付近の狭い領域のみを超音波で詳細に走査して正確な爪座標と皮膚座標とを検出する。   The fingertip coordinates P01 (θ, Φ) detected in step S30 are detected by scanning the entire scanning region R, and are not a detailed determination of the nail position and the fingertip skin position. The approximate position is detected. Therefore, in the subsequent steps, only a narrow area near the fingertip is scanned in detail with ultrasound to detect accurate nail coordinates and skin coordinates.

ステップS40に移行すると、ステップS30で検出した指先座標P01(θ,Φ)を含んだ狭い領域のみからなる局所領域R1を超音波で走査して、指先付近の局所領域からの詳細な反射波の情報を取得する。
ここでは、図9に示すように、局所領域R1を、指先座標P01(θ,Φ)を含んだ部分領域r(4,5)と、部分領域r(4,5)を取り囲む部分領域とで構成される領域を局所領域R1と規定している。すなわち、局所領域R1は、9つの部分領域で構成されている。
When the process proceeds to step S40, the local region R1 including only the narrow region including the fingertip coordinates P01 (θ, Φ) detected in step S30 is scanned with ultrasonic waves, and detailed reflected waves from the local region near the fingertip are scanned. Get information.
Here, as shown in FIG. 9, the local region R1 is divided into a partial region r (4, 5) including the fingertip coordinates P01 (θ, Φ) and a partial region surrounding the partial region r (4, 5). A region to be configured is defined as a local region R1. That is, the local region R1 is composed of nine partial regions.

図11は、局所領域R1を拡大して示す平面図である。局所領域R1は、図11に示すように、θ方向及びΦ方向に沿った複数の微小領域r1に分割されており、それぞれの部分領域r(m,n)がより小さく分割されている。
そして、それぞれの微小領域r1に向けて順次超音波を発信し、局所領域R1の全域を詳細に走査する。その際、ステップS10と同様に、超音波の発信方向、及び発信時刻が記憶部42に記憶される。
一方、指Fからの反射波は受信素子1bで受信され、超音波受信部44においてデジタル変換された反射信号が、記憶部42を介して制御回路部41に入力される。また、反射波の受信時刻が記憶部42に記憶される。
このように、局所領域R1の走査を完了すると、ステップS50に移行する。
FIG. 11 is an enlarged plan view showing the local region R1. As shown in FIG. 11, the local region R1 is divided into a plurality of minute regions r1 along the θ direction and the Φ direction, and each partial region r (m, n) is further divided into smaller regions.
Then, ultrasonic waves are sequentially transmitted toward each minute region r1, and the entire region of the local region R1 is scanned in detail. At this time, the ultrasonic wave transmission direction and the transmission time are stored in the storage unit 42 as in step S10.
On the other hand, the reflected wave from the finger F is received by the receiving element 1 b, and the reflected signal digitally converted by the ultrasonic wave receiving unit 44 is input to the control circuit unit 41 via the storage unit 42. In addition, the reception time of the reflected wave is stored in the storage unit 42.
Thus, when the scanning of the local region R1 is completed, the process proceeds to step S50.

ステップS50では、ステップS40で取得した局所領域R1からの反射信号に基づいて詳細な爪の座標を検出する。
制御回路部41は、それぞれの超音波の発信時刻、微小領域Rの座標情報、反射信号及び反射波の受信時刻などの情報を記憶部42から読み出し、受信信号の振幅を規格化する。
In step S50, detailed nail coordinates are detected based on the reflection signal from the local region R1 acquired in step S40.
The control circuit unit 41 reads information such as the transmission time of each ultrasonic wave, the coordinate information of the minute region R, the reflected signal and the reception time of the reflected wave from the storage unit 42, and normalizes the amplitude of the received signal.

図12は、規格化された局所領域R1からの反射波の一例を示す図である。図12において、縦軸は規格化された反射波の振幅Inrm(θ,Φ)を示し、横軸は角度θを示している。すなわち、図12は、あるΦ方向に配置された微小領域r1からの反射波の振幅を示している。
反射波の振幅は、図12に示すように、振幅が大きい爪からの反射波である領域Z1と、振幅が小さい皮膚からの反射波である領域Z2とに分類される。なお、図12において、複数の領域Z1が表示されているのは、局所領域R1において複数の指が検出されたことを示している。制御回路部41は、領域Z1における最大の振幅を示す座標を爪座標P11(θ,Φ)として検出する。
このように、爪座標P11(θ,Φ)を検出すると、ステップS60に移行する。
FIG. 12 is a diagram illustrating an example of a reflected wave from the normalized local region R1. In FIG. 12, the vertical axis represents the normalized amplitude I nrm (θ, Φ) of the reflected wave, and the horizontal axis represents the angle θ. That is, FIG. 12 shows the amplitude of the reflected wave from the minute region r1 arranged in a certain Φ direction.
As shown in FIG. 12, the amplitude of the reflected wave is classified into a region Z1 that is a reflected wave from the nail having a large amplitude and a region Z2 that is a reflected wave from the skin having a small amplitude. In FIG. 12, the display of the plurality of regions Z1 indicates that a plurality of fingers are detected in the local region R1. The control circuit unit 41 detects the coordinates indicating the maximum amplitude in the region Z1 as the claw coordinates P11 (θ, Φ).
As described above, when the nail coordinate P11 (θ, Φ) is detected, the process proceeds to step S60.

ステップS60は、ステップS40で取得した局所領域R1からの反射信号に基づいて指Fの延在方向を検出する。
指Fの延在方向を検出するには、まず、図11に示すように、爪座標P11(θ,Φ)から一定距離だけ離れた環状の領域Circleを設定する。そして、領域Circle上の微小領域r1の反射信号のうちで最大の振幅を示す方向を指Fの延在方向とする。
In step S60, the extending direction of the finger F is detected based on the reflection signal from the local region R1 acquired in step S40.
In order to detect the extending direction of the finger F, first, as shown in FIG. 11, an annular region Circle that is separated from the nail coordinates P11 (θ, Φ) by a certain distance is set. And the direction which shows the maximum amplitude among the reflected signals of the micro area | region r1 on the area | region Circle is made into the extending direction of the finger | toe F. FIG.

図13は、円周領域Circleにおける反射波の振幅を示す図である。図13では、縦軸が規格化された反射波の振幅を示し、横軸が図11で示した角度ρを示している。ここで角度ρは、θ軸方向を基準として、線分P11Q1がθ軸となす角度で規定される。図13に示すように、円周領域Circleにおける反射波は、角度ρ1方向にある微小領域において最大の振幅を有している。したがって、図13から爪座標P1(θ,Φ)を基準として角度ρ1方向に指Fが延在していることがわかる。そこで、指Fの延在方向を示すベクトルV1(θ,Φ)を、V1(θ,Φ)=Q1(θ,Φ)−P11(θ,Φ)によって規定する。   FIG. 13 is a diagram illustrating the amplitude of the reflected wave in the circumferential region Circle. In FIG. 13, the vertical axis represents the normalized reflected wave amplitude, and the horizontal axis represents the angle ρ illustrated in FIG. 11. Here, the angle ρ is defined by an angle formed by the line segment P11Q1 with the θ axis with respect to the θ axis direction. As shown in FIG. 13, the reflected wave in the circumferential region Circle has the maximum amplitude in a minute region in the direction of the angle ρ1. Therefore, it can be seen from FIG. 13 that the finger F extends in the direction of the angle ρ1 with reference to the nail coordinates P1 (θ, Φ). Therefore, a vector V1 (θ, Φ) indicating the extending direction of the finger F is defined by V1 (θ, Φ) = Q1 (θ, Φ) −P11 (θ, Φ).

このように、1つの指Fで爪座標P11(θ,Φ)及びベクトルV1(θ,Φ)を検出すると、ステップS40〜S60を繰り返し、それぞれの指に対応した爪座標P21(θ,Φ)〜P51(θ,Φ)、及びベクトルV2(θ,Φ)〜V5(θ,Φ)を検出する。
このように、すべての指に対応した爪座標P1(θ,Φ)(P11(θ,Φ)〜P15(θ,Φ))及びベクトルV(θ,Φ)(V1(θ,Φ)〜V5(θ,Φ))を検出するとステップS70に移行する。
As described above, when the nail coordinates P11 (θ, Φ) and the vector V1 (θ, Φ) are detected by one finger F, the steps S40 to S60 are repeated, and the nail coordinates P21 (θ, Φ) corresponding to each finger are repeated. ˜P51 (θ, Φ) and vectors V2 (θ, Φ) to V5 (θ, Φ) are detected.
Thus, nail coordinates P1 (θ, Φ) (P11 (θ, Φ) to P15 (θ, Φ)) and vectors V (θ, Φ) (V1 (θ, Φ) to V5 corresponding to all fingers are obtained. If (θ, Φ)) is detected, the process proceeds to step S70.

ステップS70では、ステップS50,S60で検出した爪座標P(θ,Φ)及びベクトルV(θ,Φ)の有効性を判定するステップである。
ここで、爪座標P1(θ,Φ)及びベクトルV(θ,Φ)が有効であると判定されるのは、検出した爪座標P1(θ,Φ)及びベクトルV(θ,Φ)が適切な入力情報であると判断された場合である。
具体的には、入力装置が検出した入力情報によって表示部20に表示されたボタンを選択し、入力動作が実行される場合である。
このように、爪座標P(θ,Φ)及びベクトルV(θ,Φ)が適切な入力情報(有効)と判断されるとステップS80に移行する。
In step S70, the validity of the nail coordinates P (θ, Φ) and the vector V (θ, Φ) detected in steps S50 and S60 is determined.
Here, the nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) are determined to be valid because the detected nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) are appropriate. This is a case where it is determined that the input information is correct.
Specifically, this is a case where a button displayed on the display unit 20 is selected based on input information detected by the input device, and an input operation is executed.
As described above, when it is determined that the nail coordinates P (θ, Φ) and the vector V (θ, Φ) are appropriate input information (valid), the process proceeds to step S80.

これに対して、爪座標P1(θ,Φ)及びベクトルV(θ,Φ)が適切な入力情報ではない(無効)と判断されるとステップS10に戻り、走査領域Rの全域を再走査して爪座標P1(θ,Φ)及びベクトルV(θ,Φ)を再検出する。
具体的に爪座標P1(θ,Φ)及びベクトルV(θ,Φ)が無効と判断されるのは、検出した入力情報によって表示部20に表示されたボタンを選択することができず、入力操作が実行されない場合、あるいは、ステップS40において指先を詳細に走査する際に、指Fが局所領域R1から外れた領域に移動して、爪座標P1(θ,Φ)及びベクトルV(θ,Φ)が検出されなかった場合などである。
再検出した結果、適切な爪座標P1(θ,Φ)及びベクトルV(θ,Φ)が検出された場合にはステップS80に移行する。
On the other hand, when it is determined that the nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) are not appropriate input information (invalid), the process returns to step S10, and the entire scanning region R is rescanned. Then, the nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) are detected again.
Specifically, the nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) are determined to be invalid because the button displayed on the display unit 20 cannot be selected based on the detected input information. When the operation is not executed or when the fingertip is scanned in detail in step S40, the finger F moves to a region outside the local region R1, and the nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) ) Is not detected.
As a result of the re-detection, when appropriate nail coordinates P1 (θ, Φ) and vector V (θ, Φ) are detected, the process proceeds to step S80.

ステップS80では、爪座標P1(θ,Φ)及びベクトルV(θ,Φ)を本体30に出力する。本体30では、入力装置10から出力された爪座標P1(θ,Φ)及びベクトルV(θ,Φ)に基づいた処理が行われる。
そして、必要に応じてステップS40に移行して指先を追跡して位置検出動作を引き続き行って、指の動きを検出する。ステップS40に移行すると、直前に規定した局所領域R1のみを再走査して新たな爪座標P1(θ,Φ)及びベクトルV(θ,Φ)を検出する。また、指先が局所領域R1から外れても、検出した爪座標P1(θ,Φ)及びベクトルV(θ,Φ)がステップS70において無効であると判断されて、ステップS10に移行して走査領域Rの全域を再走査することによって指先の追尾を行い、指の動きを検出する。
In step S80, the nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) are output to the main body 30. In the main body 30, processing based on the nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) output from the input device 10 is performed.
Then, if necessary, the process proceeds to step S40, the fingertip is tracked, and the position detection operation is continuously performed to detect the movement of the finger. In step S40, only the local region R1 defined immediately before is rescanned to detect new nail coordinates P1 (θ, Φ) and vector V (θ, Φ). Even if the fingertip deviates from the local region R1, it is determined that the detected nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) are invalid in step S70, and the process proceeds to step S10 to move to the scanning region. The fingertip is tracked by rescanning the entire area of R, and the movement of the finger is detected.

このような構成を備えた入力装置10は、以下の効果を得ることができる。
まず、本発明の入力装置10は、爪(第1の反射領域)における超音波の反射率(第1の反射率)と、皮膚(第2の反射領域)における超音波の反射率(第2の反射率)との違いを判別することによって、爪座標P1(θ,Φ)及びベクトルV(θ,Φ)を検出している。これにより、比較的小さい検出対象である指先の位置が超音波によっても検出することができるので、爪座標P1(θ,Φ)及びベクトルV(θ,Φ)を入力情報とすることができる。また、爪座標P1(θ,Φ)だけでなくベクトルV(θ,Φ)を入力情報として判断することによって、入力装置10が検出する入力情報を増大させることができる。
The input device 10 having such a configuration can obtain the following effects.
First, the input device 10 according to the present invention includes an ultrasonic reflectance (first reflectance) in the nail (first reflective region) and an ultrasonic reflectance (second reflectance) in the skin (second reflective region). The nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) are detected by discriminating the difference from the reflectance. Thereby, since the position of the fingertip that is a relatively small detection target can be detected also by ultrasonic waves, the nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) can be used as input information. Further, by determining not only the nail coordinates P1 (θ, Φ) but also the vector V (θ, Φ) as input information, the input information detected by the input device 10 can be increased.

また、本実施形態では、ベクトルV(θ,Φ)によって指の延在方向を規定し、指のおおよその形状を認識している。これによれば、3次元的な指の詳細な形状を認識するよりも、容易に指の概略的な形状を認識することができる。したがって、入力情報としての指の延在方向のデータを容易に取得することができる。   In the present embodiment, the extending direction of the finger is defined by the vector V (θ, Φ), and the approximate shape of the finger is recognized. According to this, it is possible to easily recognize the approximate shape of the finger rather than recognizing the detailed shape of the three-dimensional finger. Therefore, it is possible to easily acquire data on the extending direction of the finger as input information.

また、本実施形態では、ステップS10において、走査領域Rを複数の部分領域r(m,n)に分割し、それぞれの部分領域r(m,n)を走査することによって走査領域Rの全域を走査している。そして、ステップS40において、走査領域Rの全面走査で検出された指先座標P0(θ,Φ)付近の局所領域のみを詳細に走査することによって、爪座標P1(θ,Φ)及び皮膚座標Q(θ,Φ)を検出している。
これによれば、走査領域Rの全域を詳細に走査するよりも短時間で爪座標P1(θ,Φ)及び皮膚座標Q(θ,Φ)を検出することができる。
In the present embodiment, in step S10, the scanning region R is divided into a plurality of partial regions r (m, n), and each partial region r (m, n) is scanned, so that the entire scanning region R is scanned. Scanning. In step S40, the nail coordinates P1 (θ, Φ) and the skin coordinates Q (() are scanned in detail by scanning only the local area in the vicinity of the fingertip coordinates P0 (θ, Φ) detected by the full scan of the scanning area R. θ, Φ) are detected.
According to this, the nail coordinates P1 (θ, Φ) and the skin coordinates Q (θ, Φ) can be detected in a shorter time than when the entire scanning region R is scanned in detail.

また、本実施形態では、ステップS70において検出した爪座標P1(θ,Φ)及びベクトルV(θ,Φ)の有効性を判定し、適切な入力情報と判定された爪座標P1(θ,Φ)及びベクトルV(θ,Φ)を本体30に出力する。そして、不適切な入力情報が検出された場合には爪座標P1(θ,Φ)及びベクトルV(θ,Φ)を再検出させるようになっている。これによれば、入力装置10からは適切な入力情報のみが本体30に出力されるので、入力装置10の検出精度を向上させることができる。   In this embodiment, the effectiveness of the nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) detected in step S70 is determined, and the nail coordinates P1 (θ, Φ) determined as appropriate input information. ) And the vector V (θ, Φ) are output to the main body 30. When inappropriate input information is detected, the nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) are re-detected. According to this, since only appropriate input information is output from the input device 10 to the main body 30, the detection accuracy of the input device 10 can be improved.

また、本実施形態では、入力情報を本体30に出力した後、直前に設定した局所領域R1のみを詳細に再走査して指Fの位置を追跡する。これによれば、改めて走査領域Rの全域を走査しなくても指Fの詳細な位置を検出することができるので、指Fの追跡を短時間で行うことができる。   In this embodiment, after the input information is output to the main body 30, only the local region R1 set immediately before is rescanned in detail to track the position of the finger F. According to this, since the detailed position of the finger F can be detected without scanning the entire scanning region R again, the finger F can be tracked in a short time.

また、本実施形態では、爪座標P1(θ,Φ)及び指の延在方向を示すベクトルV(θ,Φ)を検出しているが、ステップS30までを実行して指先座標P0(θ,Φ)を入力情報としてもよい。この場合には、ステップS40以降の指先の詳細な走査を実行する必要がないので、入力情報の検出をより短時間で実行することができる。   Further, in the present embodiment, the nail coordinates P1 (θ, Φ) and the vector V (θ, Φ) indicating the extending direction of the finger are detected. Φ) may be input information. In this case, since it is not necessary to perform detailed scanning of the fingertip after step S40, detection of input information can be performed in a shorter time.

なお、本実施形態では、指示体として指Fを例示しているが、指F以外のものを指示体として使用することができる。例えば、ペンや棒などの棒状部材であって、先端が異なる材質で構成されているものが好ましい。このような構成を有していれば、先端とそれ以外の領域での反射率が異なり、先端の位置を正確に検出することができる。   In the present embodiment, the finger F is exemplified as the indicator, but a thing other than the finger F can be used as the indicator. For example, a bar-shaped member such as a pen or a bar, which is made of a material having a different tip, is preferable. If it has such a structure, the reflectance in a front-end | tip and another area | region will differ, and the position of a front-end | tip can be detected correctly.

なお、本実施形態では、ステップS10において走査領域Rの全面を走査した後、ステップS40において指先付近を詳細に走査しているが、走査領域Rの全面走査のみを実行して入力情報を検出するようにしてもよい。この場合には、指先座標P0(θ,Φ)によって入力情報の有効性を判断するようにすればよい。   In this embodiment, after the entire scanning region R is scanned in step S10, the vicinity of the fingertip is scanned in detail in step S40. However, only the entire scanning region R is scanned to detect input information. You may do it. In this case, the validity of the input information may be determined based on the fingertip coordinates P0 (θ, Φ).

なお、本実施形態では、発信素子1a及び受信素子1bを複数個配置しているが、それぞれが単数であってもよい。この場合であっても、指Fの位置検出が可能である。   In the present embodiment, a plurality of transmitting elements 1a and receiving elements 1b are arranged, but each may be a single element. Even in this case, the position of the finger F can be detected.

なお、上記の電子機器は、本発明の電子機器を例示するものであって、本発明の技術範囲を限定するものではない。例えば、PC、携帯電話、携帯用オーディオ機器、及び表示装置などの表示部にも本発明の入力装置を好適に用いることができる。   In addition, said electronic device is an example of the electronic device of this invention, Comprising: The technical scope of this invention is not limited. For example, the input device of the present invention can be suitably used for display units such as PCs, mobile phones, portable audio devices, and display devices.

1…超音波センサー、2…振動板、3…圧電体、4…下部電極、5…上部電極、1A…超音波センサーユニット、1a…発信素子、1b…受信素子、10…入力装置、11…基部、12…フレキシブルプリント基板、13…制御基板、14…制御部、40…制御回路、41…制御演算部、42…記憶部、43…超音波発生部、43a…サイン波発生部、43b…位相部、44…超音波検出部、44b…A/D変換部、100…PDA(電子機器)、R…走査領域、R1…局所領域   DESCRIPTION OF SYMBOLS 1 ... Ultrasonic sensor, 2 ... Diaphragm, 3 ... Piezoelectric body, 4 ... Lower electrode, 5 ... Upper electrode, 1A ... Ultrasonic sensor unit, 1a ... Transmitting element, 1b ... Receiving element, 10 ... Input device, 11 ... Base: 12 ... Flexible printed circuit board, 13 ... Control board, 14 ... Control part, 40 ... Control circuit, 41 ... Control operation part, 42 ... Storage part, 43 ... Ultrasonic wave generation part, 43a ... Sine wave generation part, 43b ... Phase unit 44 ... Ultrasonic detection unit 44b A / D conversion unit 100 PDA (electronic device) R Scan region R1 Local region

Claims (11)

超音波の反射率が異なる複数の領域を有する指示体によって情報を入力する入力装置であって、
前記超音波を発信する複数の発信素子と、
前記超音波の前記指示体からの反射波を受信する受信素子と、
前記発信素子に電気信号を供給し、前記指示体が配置された領域に超音波を発信させた後、前記指示体のうち、第1の反射率を有する第1の反射領域からの反射波の強度と、第2の反射率を有する第2の反射領域からの反射波の強度との違いに基づいて前記第1の反射領域の位置座標を検出し、これを前記入力情報と判断する制御部と、
を備えていることを特徴とする入力装置。
An input device for inputting information by an indicator having a plurality of regions having different ultrasonic reflectivities,
A plurality of transmitting elements for transmitting the ultrasonic waves;
A receiving element for receiving a reflected wave of the ultrasonic wave from the indicator;
After supplying an electrical signal to the transmitting element and transmitting an ultrasonic wave to a region where the indicator is disposed, a reflected wave from a first reflecting region having a first reflectance of the indicator is transmitted. A control unit that detects the position coordinates of the first reflection area based on the difference between the intensity and the intensity of the reflected wave from the second reflection area having the second reflectance, and determines this as the input information When,
An input device comprising:
前記制御部は、前記第1の反射領域の位置座標を基準として前記第2の反射領域の位置座標を検出することにより前記指示体の延在方向を検出することを特徴とする請求項1に記載の入力装置。   The control unit detects an extending direction of the indicator by detecting a position coordinate of the second reflection area with reference to a position coordinate of the first reflection area. The input device described. 複数の前記発信素子を備え、
前記制御部は、前記複数の発信素子に、前記領域の一方向に向けて同位相の前記超音波を発信させる前記電気信号を出力することを特徴とする請求項1又は2に記載の入力装置。
Comprising a plurality of the transmitting elements;
The input device according to claim 1, wherein the control unit outputs the electrical signal that causes the plurality of transmitting elements to transmit the ultrasonic wave having the same phase in one direction of the region. .
前記制御部は、前記発信素子と対向する走査領域を複数の部分領域に分割し、それぞれの前記部分領域に向けて前記超音波を間欠的に順次発信させる前記電気信号を出力することを特徴とする請求項1から3のいずれか1項に記載の入力装置。   The control unit divides a scanning region facing the transmitting element into a plurality of partial regions, and outputs the electrical signal that sequentially and sequentially transmits the ultrasonic waves toward the partial regions. The input device according to any one of claims 1 to 3. 前記制御部は、前記受信素子と前記指示体との間の距離に応じて前記反射波の振幅を規格化し、規格化された前記反射波の振幅が所定の振幅以上を示す前記第1の反射領域の位置座標を検出することを特徴とする請求項1から4のいずれか1項に記載の入力装置。   The control unit normalizes an amplitude of the reflected wave according to a distance between the receiving element and the indicator, and the first reflected wave having a normalized amplitude of the reflected wave is equal to or greater than a predetermined amplitude. The input device according to claim 1, wherein position coordinates of the region are detected. 前記制御部は、前記第1の反射領域の位置座標を検出した後、該第1の反射領域の位置座標付近の局所領域内に前記超音波を走査させ、前記指示体の前記第1及び第2の反射領域の詳細な座標と、詳細な前記延在方向とを検出することを特徴とする請求項2から5のいずれか1項に記載の入力装置。   The control unit, after detecting the position coordinates of the first reflection area, scans the ultrasonic wave in a local area near the position coordinates of the first reflection area, and thereby performs the first and first of the indicator. 6. The input device according to claim 2, wherein detailed coordinates of the two reflection areas and the detailed extending direction are detected. 前記制御部は、検出した前記第1の反射領域の位置座標及び前記指示体の延在方向の有効性を判定し、前記第1の反射領域の位置座標及び前記指示体の延在方向が有効であると判定した場合には、前記局所領域のみに前記超音波を走査させることによって前記指示体の位置座標を再検出することを特徴とする請求項6に記載の入力装置。   The control unit determines the validity of the detected position coordinates of the first reflection area and the extension direction of the indicator, and the position coordinates of the first reflection area and the extension direction of the indicator are valid. The input device according to claim 6, wherein when it is determined that the position coordinates of the indicator are redetected by scanning the ultrasonic wave only in the local region. 前記制御部は、検出した前記第1の反射領域の位置座標及び前記指示体の延在方向の有効性を判定し、前記第1の反射領域の位置座標及び前記指示体の延在方向が有効でないと判定した場合には、前記走査領域の全域を走査させることによって前記指示体の位置座標を再検出することを特徴とする請求項6に記載の入力装置。   The control unit determines the validity of the detected position coordinates of the first reflection area and the extension direction of the indicator, and the position coordinates of the first reflection area and the extension direction of the indicator are valid. The input device according to claim 6, wherein if it is determined that the position of the indicator is not, the position coordinates of the indicator are redetected by scanning the entire scanning region. 前記発信素子と対向して複数の前記指示体が配置された場合に、
前記制御部は、それぞれの前記指示体の前記第1の反射領域の位置座標を検出し、これらを前記入力情報と判断することを特徴とする請求項1から8のいずれか1項に記載の入力装置。
When a plurality of the indicators are arranged facing the transmitting element,
The said control part detects the position coordinate of the said 1st reflective area | region of each said indicator, and judges these as the said input information, The any one of Claim 1 to 8 characterized by the above-mentioned. Input device.
前記制御部は、前記指示体として指を検出し、前記第1の反射領域として爪、及び前記第2の反射領域として皮膚を検出することを特徴とする請求項1から9のいずれか1項に記載の入力装置。   10. The control unit according to claim 1, wherein the control unit detects a finger as the indicator, detects a nail as the first reflection region, and skin as the second reflection region. 11. The input device described in 1. 請求項1から10のいずれか1項に記載の入力装置を備えていることを特徴とする電子機器。   An electronic apparatus comprising the input device according to claim 1.
JP2009065921A 2009-03-18 2009-03-18 Input device and electronic device Expired - Fee Related JP5177033B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009065921A JP5177033B2 (en) 2009-03-18 2009-03-18 Input device and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009065921A JP5177033B2 (en) 2009-03-18 2009-03-18 Input device and electronic device

Publications (2)

Publication Number Publication Date
JP2010218365A JP2010218365A (en) 2010-09-30
JP5177033B2 true JP5177033B2 (en) 2013-04-03

Family

ID=42977121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009065921A Expired - Fee Related JP5177033B2 (en) 2009-03-18 2009-03-18 Input device and electronic device

Country Status (1)

Country Link
JP (1) JP5177033B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5445196B2 (en) 2010-02-10 2014-03-19 セイコーエプソン株式会社 Stress detection element, tactile sensor, and gripping device
CN102012786A (en) * 2010-11-15 2011-04-13 中兴通讯股份有限公司 Press key realization method, press key system and mobile terminal
JP5678670B2 (en) 2011-01-06 2015-03-04 セイコーエプソン株式会社 Ultrasonic sensor, tactile sensor, and gripping device
JP5990929B2 (en) 2012-02-24 2016-09-14 セイコーエプソン株式会社 Ultrasonic transducer device and probe, electronic device and ultrasonic diagnostic device
CA2929723C (en) 2013-12-12 2020-09-15 Qualcomm Incorporated Micromechanical ultrasonic transducers and display
KR102038965B1 (en) * 2014-11-26 2019-10-31 삼성전자주식회사 Untrasound sensor and object detecting method thereof
US10572024B1 (en) 2016-09-28 2020-02-25 Facebook Technologies, Llc Hand tracking using an ultrasound sensor on a head-mounted display

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3822051B2 (en) * 2000-12-01 2006-09-13 セイコーインスツル株式会社 Ultrasonic touch panel
JP2005203976A (en) * 2004-01-14 2005-07-28 Casio Electronics Co Ltd Ultrasonic linear array transducer
JP4133972B2 (en) * 2004-08-26 2008-08-13 Necアクセステクニカ株式会社 Input device, information processing device, and data input method
JP2006163886A (en) * 2004-12-08 2006-06-22 Canon Inc Information inputting method and information inputting device

Also Published As

Publication number Publication date
JP2010218365A (en) 2010-09-30

Similar Documents

Publication Publication Date Title
JP5177033B2 (en) Input device and electronic device
JP5499479B2 (en) Electronics
US10820891B2 (en) Ultrasonic probe and ultrasonic diagnostic apparatus
JP6365121B2 (en) Ultrasonic probe and ultrasonic diagnostic apparatus
US10441974B2 (en) Ultrasonic transducer and ultrasonic probe including the same
JP6871478B2 (en) Control method of ultrasonic diagnostic equipment and ultrasonic diagnostic equipment
JP5206432B2 (en) Detection device and electronic device
US11163033B2 (en) Ultrasonic measurement device and measurement method
JP5488730B2 (en) Input device and input method
CN112367921A (en) Acoustic wave diagnostic apparatus and method for controlling acoustic wave diagnostic apparatus
JP6718520B2 (en) Ultrasonic diagnostic apparatus and method for controlling ultrasonic diagnostic apparatus
KR20150012142A (en) The user controlling device, the hardware device, the medical apparatus comprisiging the same and the method of operating the medical apparatus
JP6625760B2 (en) Ultrasonic diagnostic apparatus and control method of ultrasonic diagnostic apparatus
JPWO2019172232A1 (en) Ultrasonic diagnostic device and control method of ultrasonic diagnostic device
JP2022091690A (en) Guiding system and guiding method for ultrasound scanning operation
JP2011087841A (en) Ultrasonic diagnosis device
US20230309956A1 (en) Ultrasound diagnostic apparatus and operation method thereof
US11653901B2 (en) Ultrasound diagnostic apparatus, recording medium, and console guide display method
EP4309588A1 (en) Ultrasonic diagnosis device and method for controlling ultrasonic diagnosis device
JP7027081B2 (en) Ultrasound diagnostic equipment and programs
EP4309587A1 (en) Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device
JP7082193B2 (en) Control method of ultrasonic diagnostic equipment and ultrasonic diagnostic equipment
JP6244612B1 (en) Ultrasonic probe device and image display system using the same
EP4166090A1 (en) Ultrasonic diagnostic apparatus, control method for ultrasonic diagnostic apparatus, and processor for ultrasonic diagnostic apparatus
WO2023153030A1 (en) Ultrasonic diagnostic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120125

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121224

R150 Certificate of patent or registration of utility model

Ref document number: 5177033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees