WO2018047803A1 - タッチパネル及びタッチパネルシステム - Google Patents

タッチパネル及びタッチパネルシステム Download PDF

Info

Publication number
WO2018047803A1
WO2018047803A1 PCT/JP2017/031892 JP2017031892W WO2018047803A1 WO 2018047803 A1 WO2018047803 A1 WO 2018047803A1 JP 2017031892 W JP2017031892 W JP 2017031892W WO 2018047803 A1 WO2018047803 A1 WO 2018047803A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch panel
infrared
panel system
contacted surface
thermography camera
Prior art date
Application number
PCT/JP2017/031892
Other languages
English (en)
French (fr)
Inventor
西田　誠
Original Assignee
株式会社ネットアプリ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ネットアプリ filed Critical 株式会社ネットアプリ
Priority to US16/330,991 priority Critical patent/US10635207B2/en
Publication of WO2018047803A1 publication Critical patent/WO2018047803A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Definitions

  • the present invention relates to a touch panel and a touch panel system that have a simple device configuration, low manufacturing costs, and are unlikely to fail.
  • Electronic information devices such as computers and portable information terminals are equipped with a touch panel that combines an input device and a display device (display).
  • touch panels such as a capacitive method, a resistive film method, an ultrasonic surface acoustic wave method, and an optical method (infrared optical imaging method).
  • a capacitive method a resistive film method
  • an ultrasonic surface acoustic wave method an ultrasonic surface acoustic wave method
  • an optical method infrared optical imaging method.
  • a capacitance type see Patent Document 1
  • a matrix-like electrode pattern is arranged in the panel, and a coordinate is detected based on a change in capacitance generated when the user touches with a finger or the like. It has become.
  • a voltage is applied to both ends of two opposed films, and coordinates are determined based on a change in voltage at a position where the films touch each other when the user touches. It is a mechanism to detect.
  • an infrared LED and an image sensor are arranged at the left and right ends of the upper side of the panel, respectively, and the retroreflective tape reflects incident light in the incident direction on the left side, right side, and lower side of the panel. Place.
  • the image sensor detects the shadow that occurs when the user touches the panel with a finger or the like to shield infrared light, and coordinates are detected by triangulation.
  • Japanese Patent No. 5306059 Japanese Unexamined Patent Publication No. 2014-134454 Japanese Patent No. 5406990
  • an object of the present invention is to provide a touch panel having a simple device configuration, low manufacturing cost, and hardly causing a failure, and a touch panel system using the touch panel.
  • the contacted surface is made of a material having flexibility, visible light transmission and infrared transmission, and the opposite surface of the contacted surface is made of a material having visible light transmission and infrared transmission
  • a bag-like touch panel body that stores liquid in a space sandwiched between the contacted surface and the facing surface; and an infrared thermography camera that captures the facing surface.
  • the position touching the contacted surface is used as a heat source, and infrared rays emitted from the heat source are photographed through the contacted surface and the facing surface.
  • the measurement wavelength of the infrared thermography camera is 7 [ ⁇ m] to 14 [ ⁇ m].
  • a heat radiating means or a cooling means for lowering the temperature of the liquid is provided.
  • a glove having a heating means disposed on a fingertip is provided, and a user touches the contacted surface through the glove.
  • the touch panel system of the present invention is based on the touch panel, a video playback device arranged at a position where the user can visually recognize an image through the contacted surface and the facing surface, and a captured image of the infrared thermography camera.
  • Contact position calculation means for calculating which position on the image the position touched by the contacted surface is provided.
  • the touch panel main body may be provided with a self-supporting mechanism that can change the orientation of the touch panel body between a horizontal state and a vertical state.
  • a transparent cushion is provided between the touch panel main body and the video playback device arranged horizontally.
  • the video reproduction apparatus may capture and reproduce a moving image captured by a camera.
  • the video reproduction apparatus includes a projector and a transmissive projector screen.
  • the touch panel body and the transmissive projector screen are integrated.
  • a transmissive head mounted display is provided.
  • a plurality of sets of the video reproduction device and the infrared thermography camera are provided.
  • the touch panel of the present invention is roughly composed of a touch panel body containing liquid inside and a commonly used infrared thermography camera, the apparatus configuration is simple, the manufacturing cost is low, and failure is unlikely to occur. effective. Moreover, since the liquid is accommodated in the inside, unlike a normal touch panel, a soft touch-sensitive touch panel can be obtained.
  • the touch panel can be easily manufactured by setting the measurement wavelength of the infrared thermography camera to 7 [ ⁇ m] to 14 [ ⁇ m]. That is, it is known that when the thickness of the space formed by the contacted surface and the facing surface (distance between both surfaces) is 1 [mm] or more, infrared light cannot be transmitted. Therefore, the thickness of the space is secured to 1 [mm] or more, and the flexibility is such that the space can be brought into close contact with the opposing surface when the thickness of the space becomes almost zero, that is, when pressed against the contacted surface.
  • the touch panel can be easily manufactured because sufficient accuracy can be ensured by simply providing it.
  • the temperature difference between the liquid and the contact position can be increased, so that the contact position is detected Accuracy can be improved.
  • the touch panel system of the present invention is roughly composed of the touch panel, a commonly used video reproduction device such as a television or a monitor, and contact position calculation means, the device configuration is simple and the manufacturing cost is low. In addition, there is an effect that failure hardly occurs.
  • an infrared thermography camera is used, not only the position and shape of the user touching but also the change in the user's body temperature (temperature of fingers, etc.) can be detected. Therefore, it is possible to detect the mental state of the user, for example, when the temperature of the finger or the like is rising, the user is excited.
  • a change in pressure when the user touches the contacted surface can be calculated based on the distribution of the infrared intensity captured by the infrared thermography camera under the condition that the temperature of the user's fingertip is constant.
  • the touch panel according to the present invention can directly capture the shape of the part touched by the user as an image. Therefore, for example, the movement of the user's finger or the like, such as a tentacle or scratching operation, can be directly taken into the computer as a two-dimensional image.
  • this function can be used as a touch panel for entertainment equipment such as games.
  • a self-supporting mechanism that can change the orientation of the touch panel body between a horizontal state and a vertical state is provided, the user can operate the touch panel in a standing state, and the touch panel body is placed in a horizontal state.
  • the touch panel body and the video playback device are arranged in a horizontal state and a cushion having transparency is arranged between them, the user can operate the touch panel in a lying state.
  • the video playback apparatus can capture and play back a moving image captured by a camera, a simple AR (Augmented Reality) can be realized.
  • the video playback device is configured with a projector and a transmissive projector screen, the touch panel body can be easily increased in size. Further, by integrating the touch panel body and the transmissive projector screen, for example, by horizontally arranging the touch panel body and supporting the periphery thereof with legs, the touch panel can be used while the user is sitting on a chair. If a transmissive head-mounted display is provided, a simple VR (Virtual Reality) can be realized. Further, if a plurality of sets of video playback devices and infrared thermography cameras are provided, the distance from the infrared thermography camera to the facing surface can be shortened, and the touch panel system can be miniaturized.
  • Figures (a) to (c) showing the configuration of the touch panel Figures (a) and (b) showing the structure of the touch panel body A diagram that schematically shows an image captured by an infrared thermography camera Graph showing the infrared absorption wavelength dependence of water ("Practical far-infrared", edited by Human and History Company, Junichi Takada, Yoshinobu Egawa, Hisao Sasaki, quoted from the first edition on February 27, 1992)
  • the figure which shows the state which divided the inside of the reference marker into many pixels Diagram showing how to adjust the dimensions of the reference marker Figure showing the correction frame The figure which shows the state which divided the photographing picture directly into many pixels Figure (a) showing the state where the touch panel body and the video playback device are erected, and front view
  • the touch panel 1 is schematically composed of a touch panel body 10 and an infrared thermography camera 20.
  • the touch panel body 10 has a bag shape including a contacted surface 11 and a facing surface 12.
  • the touch panel body 10 may be fixed to a square frame (not shown).
  • the material of the contacted surface 11 may be flexible, visible light transmissive, and infrared transmissive.
  • the material of the facing surface 12 may be visible light transmittance and infrared transmittance.
  • the touch panel body 10 is manufactured by thermocompression bonding or bonding around the two sheets of the contacted surface 11 and the opposing surface 12 (the circled area in FIG. 2). It may be fixed so as to have airtightness and watertightness by known means. Alternatively, as shown in FIG. 2 (b), the surface and side edges of the two sheets of the contacted surface 11 and the facing surface 12 may be fixed in a state of being covered with the edge member 13. A liquid 14 is accommodated in a space between the contacted surface 11 and the facing surface 12, that is, in the touch panel body 10.
  • the type of the liquid 14 only needs to be transparent, and examples thereof include water and gel.
  • Water is particularly suitable in the following points. That is, water is inexpensive, heat capacity is higher than air, so that the entire touch panel body 10 can be stably maintained at a uniform temperature, touch panel body 10 can be cushioned, and it is colorless. Because of its high transparency, even if it has a certain thickness, it allows visible light to pass through so that the user U can comfortably view the image of the video playback device 50 described later, and it does not transmit infrared light when the thickness exceeds a certain level. is there.
  • An infrared thermography camera 20 is provided for photographing the facing surface 12.
  • the infrared thermography camera 20 is connected to a computer 30 and takes a photographed image into the computer 30 for analysis.
  • finger F a finger or palm
  • the contact position becomes a heat source.
  • FIG. 1 (b) when the user U touches the contacted surface 11, the distance between the contacted surface 11 and the facing surface 12 becomes narrower (the touch panel body 10 becomes thinner), and the liquid 14 is pushed out to the periphery. It is.
  • the contacted surface 11 and the opposed surface 12 have infrared transparency, so that infrared light easily passes at the contact position.
  • the infrared thermography camera 20 captures the facing surface 12, and the captured image G is analyzed by the computer 30, whereby the heat source on the touch panel body 10, that is, the contact position of the user U can be specified.
  • FIG. 3 is a diagram schematically showing an image G taken by the infrared thermography camera 20.
  • the liquid 14 does not exist at the contacted portion, and the infrared intensity increases, Since the liquid 14 is slightly present, the infrared intensity is relatively weak.
  • the central portion where the infrared intensity is high is regarded as the high temperature region H1, and the periphery thereof is regarded as the peripheral region H2.
  • a mechanism may be adopted in which a range that is detected is detected as a contact position and a range that is not changed is detected as a non-contact position. As shown in FIG. 1 (c), when the user U removes his / her finger F from the contacted surface 11, the distance between the contacted surface 11 and the facing surface 12 is restored, so the infrared thermography camera 20 can capture the heat source. become unable.
  • the measurement wavelength of the infrared thermography camera 20 is not particularly limited as long as the infrared light that has passed through the contacted surface 11 and the opposed surface 12 can be photographed, but 7 [ ⁇ m] to 14 [ ⁇ m] is particularly preferable.
  • the reason is that the infrared thermography camera 20 having a measurement wavelength of 7 [ ⁇ m] to 14 [ ⁇ m] is easily available in the market, and when the water thickness is 1 [mm] or more as shown in FIG. Infrared rays cannot be transmitted. Therefore, if the thickness (distance between both surfaces) of the space formed by the contacted surface 11 and the facing surface 12 is 1 [mm] or more, infrared rays can be substantially shielded.
  • the infrared ray is transmitted to some extent. Then, the touch panel body 10 that reacts when the (distance on both sides) does not adhere to each other to some extent may be created.
  • the temperature difference between the liquid 14 and the finger F or the like may be increased. Therefore, as shown in FIG. 5, a known heat radiating means 40 such as a heat sink or a known cooling means 41 such as a Peltier element may be connected to the touch panel body 10 to circulate the liquid 14. Thereby, the temperature of the liquid 14 is lowered, and the temperature difference from the finger F or the like can be increased. Also, as shown in FIG. 6, the temperature difference between the finger F and the liquid 14 may be increased by using a glove 43 in which a known heating means 42 such as a heating wire is arranged on the fingertip or the like.
  • a known heat radiating means 40 such as a heat sink or a known cooling means 41 such as a Peltier element
  • a slight temperature change (thermal fluctuation) of the liquid 14 may cause noise in the captured image, or the user's U finger F or the like may unintentionally leave the contacted surface 11 for a moment. . Therefore, in the analysis process of the captured image shown in FIG. 7, for example, when a region having a high infrared intensity is detected continuously for a certain period, the region is recognized as touched (see the first to third frames), and the infrared intensity is detected. A region that is high but is detected only discontinuously may be recognized as noise (see the first and second frames).
  • the state changes to a state where it is not detected (see the fourth frame), and when it is detected again (see the fifth frame), the user U is in continuous contact during that time. You may decide that it was. In this case, if a region having a high infrared intensity is not continuously detected for a certain period of time, the user U may determine that the finger F or the like has been separated from the contacted surface 11 (see the sixth to seventh frames). ).
  • the touch panel system 100 is schematically composed of the touch panel body 10, the video playback device 50, and the contact position calculation means 60.
  • the video reproduction device 50 is a device that is arranged at a position where the user U can visually recognize an image through the touch panel body 10 (the contacted surface 11 and the facing surface 12). That is, the video reproduction device 50 is arranged on the opposite side (opposite surface 12 side) with the touch panel body 10 in between the user U on the contacted surface 11 side.
  • the infrared thermography camera 20 is fixed to a part of the frame of the video playback device 50.
  • the contact position calculation means 60 is based on the image captured by the infrared thermography camera 20 (image of the facing surface 12), which position on the image of the video playback device 50 the position where the user U touches the contacted surface 11, In other words, it is provided to calculate where the user U touched the image.
  • the contact position calculation means 60 is stored in the computer 30.
  • grid-like image data 61 is stored in advance in the storage means of the computer 30.
  • the image data 61 is formed by arranging square reference markers 62 in a grid pattern in the X and Y directions, and the vertical and horizontal dimensions thereof are set to match the vertical and horizontal dimensions of the image taken by the infrared thermography camera 20.
  • the contact position calculation means 60 calculates the X and Y coordinates of the contact position by superimposing the grid-like image data 61 and the image taken by the infrared thermography camera 20. For example, when the dimension of the square reference marker 62 is 1 cm in length and width, it is calculated that the user U touches a position on the image that is 3 cm in the X direction and 2 cm in the Y direction from the origin.
  • one reference marker 62 there may be a case where a region (high temperature region) H having a relatively high infrared intensity and a region (low temperature region) L having a relatively high infrared intensity coexist in one reference marker 62.
  • the inside of one reference marker 62 is divided into a large number of pixels P. For example, when a region having a high infrared intensity is 50% or more of all the pixels P, it corresponds to the reference marker 62. What is necessary is just to detect that the user U is touching the position on an image.
  • the strength of contact can be detected by dividing the region H where the infrared intensity is high into multiple stages of two or more values (the high temperature region H1 and the peripheral region H2 etc.).
  • a mechanism may be adopted in which the image data 61 is automatically generated when the touch panel system 100 is operated.
  • the vertical and horizontal dimensions of the square reference marker 62 may be adjusted according to the distance D between the facing surface 12 and the infrared thermography camera 20, as shown in FIG. Further, since the detection accuracy of the contact position can be increased by reducing the vertical and horizontal dimensions of the square reference marker 62, the vertical and horizontal dimensions may be adjusted according to the application.
  • a correction frame 63 made of a heating wire or the like may be provided on a part of the facing surface 12.
  • the infrared thermography camera 20 captures the high-temperature correction frame 63, and the vertical and horizontal dimensions of the square reference marker 62 are the same as the vertical and horizontal dimensions of the correction frame 63.
  • a grid-like image data 61 is generated. Further, without using the reference marker 62 and the grid-like image data 61, the captured image G is directly divided into a large number of pixels P as shown in FIG. A mechanism for detecting non-contact may be used.
  • the touch panel system 101 of the present embodiment is characterized in that the touch panel body 10 and the video reproduction device 50 are installed upright. Specifically, the touch panel body 10 is fixed to a square frame 70. The frame is placed on a pedestal 71 such as a desk, and the self-standing mechanism 72 can change the orientation between a horizontal state and a vertical state.
  • the touch panel system 101 of the present embodiment has an advantage that the user U can be used while standing. Further, as shown in FIG.
  • a simple AR can be realized by synthesizing a moving image shot by a character 73 created by the computer 30 or a camera 74 connected to the computer 30 and projecting it on the video playback device 50.
  • a projector 75 and a transmissive projector screen 76 can be combined as the video playback device 50.
  • the touch panel body 10 can be easily increased in size.
  • a touch panel system 102 in which the configurations of FIGS. 15 and 16 are combined may be used.
  • the touch panel system 103 of the present embodiment is characterized in that the touch panel body 10 and the video playback device 50 are installed horizontally.
  • a cushion 77 made of a transparent material is disposed between the touch panel body 10 and the video playback device 50.
  • the video reproducing device 50 is fixed to the cushion 77 with a fixing belt 78, and the infrared thermography camera 20 is fixed in the cushion 77.
  • the shape of the cushion 77 is not limited to a rectangle when viewed from the top, but may be a circle or a polygon, may be curved when viewed from the side, or may be a sphere or an ellipse.
  • the touch panel system 103 according to the present embodiment has an advantage that the user U can use it while lying down. Further, as shown in FIG. 19, the touch panel body 10 and the cushion 77 may be integrated. In addition, as shown in FIG. 20, a transmissive head mounted display 79 that allows the user U to see the front may also be attached. In this case, VR can be realized by using the transmissive head-mounted display 79 to display an image desired to be displayed near the user U and an image desired to be displayed far away from the user U using the video playback device 50.
  • a projector 75 and a transmissive projector screen 76 can be combined as the video playback device 50.
  • the touch panel body 10 can be easily increased in size.
  • the transmissive projector screen 76 is made of a material or shape that does not transmit infrared rays, the infrared rays on the facing surface 12 can be reliably captured.
  • the touch panel body 10 and the video playback device 50 are installed horizontally as shown in FIGS. 18 to 20 and the cushion 77 is interposed between them, the distance from the infrared thermography camera 20 to the facing surface 12 cannot be secured sufficiently. There is a case.
  • a wide-angle lens may be used for the infrared thermography camera 20.
  • an infrared thermography camera 20 is attached to each of the plurality of video playback devices 50, and the contact position calculation means 60 makes contact based on the captured image from each infrared thermography camera 20. The position may be calculated.
  • the touch panel system 104 of the present embodiment is characterized in that the touch panel body 10 and the video playback device 50 are installed horizontally. As the video playback device 50, a projector 75 and a transmissive projector screen 76 are combined. The touch panel body 10 and the transmissive projector screen 76 are integrated and the four corners are supported by the legs 80.
  • the touch panel system 104 of the present embodiment has an advantage that the user U can use it while sitting on a chair.
  • the touch panel body 10 can be attached to an arbitrary place by providing an adhesive layer 81 on the whole or a part of the contacted surface 11 or the facing surface 12 of the touch panel body 10.
  • 25 (a) to 25 (c) show images captured by the infrared thermography camera 20 when the touch panel body 10 is pressed with a finger.
  • Polyethylene sheets are used for the contacted surface 11 and the facing surface 12, and water is used for the internal liquid 14.
  • Water temperature, room temperature, temperature of contacted surface 11 and facing surface 12 is 26 [° C]
  • body temperature of user U is 36.1 [° C]
  • thickness of contacted surface 11 and facing surface 12 is 0.1 [mm]
  • the distance 10 [mm] between the contacted surface 11 and the opposed surface 12 when not pressed, and the operating frequency wavelength of the infrared thermography camera 20 is 7.2 [ ⁇ m] to 13 [ ⁇ m] of far infrared rays.
  • thermographic image 25A in a state where the touched surface 11 is not pressed with a finger, nothing is reflected on the infrared thermography camera 20.
  • the infrared thermography camera 20 captures infrared rays from the finger because the distance between the contacted surface 11 and the facing surface 12 is almost zero.
  • FIG. 25 (c) in the state where the finger is separated from the contacted surface 11, the state returns to the state where nothing is reflected again.
  • the normal thermographic image is a color image and shows the temperature distribution, but the thermographic image of FIG. 25 converts the color thermographic image into white in order to improve visibility.
  • the actual infrared thermography camera 20 can display not only black and white but also a fine temperature distribution in different colors as long as temperature resolution (commonly known as NETD) allows. Therefore, by detecting the temperature change of the finger F etc. finely and analyzing the RGB value of the color of each pixel of the thermographic image, it is detected as index data indicating the degree of excitement of the user U together with the data related to the contact position. May be.
  • NETD temperature resolution
  • FIGS. 26 (a) to 26 (c) show images taken by the infrared thermography camera 20 when the touch panel body 10 is scratched with a finger while the palm and fingers are pressed against the touch panel body 10.
  • FIG. Polyethylene sheets are used for the contacted surface 11 and the facing surface 12, and water is used for the internal liquid 14.
  • thermography a region with high infrared intensity by the palm of the right hand appears in the lower right, and this region shows 33 [° C.] by thermography.
  • the present invention relates to a touch panel having a simple device configuration, low manufacturing cost, and less likely to fail, and a touch panel system using this touch panel, and has industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Radiation Pyrometers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

装置構成が簡易であり、製造コストが低く且つ故障が生じにくいタッチパネル及びこのタッチパネルを用いたタッチパネルシステムを提供する。　本発明のタッチパネル1は、被接触面11が可撓性、可視光透過性及び赤外線透過性を有する材料から成り、前記被接触面の対向面12が可視光透過性及び赤外線透過性を有する材料から成り、前記被接触面と前記対向面とに挟まれた空間内に液体14を収容する袋状のタッチパネル本体10と、前記対向面を撮影する赤外線サーモグラフィカメラ20とを備えており、ユーザーが前記被接触面に触れた位置を熱源として、当該熱源から放射される赤外線を前記被接触面及び前記対向面を通して前記赤外線サーモグラフィカメラで撮影する。

Description

タッチパネル及びタッチパネルシステム
　本発明は装置構成が簡易であり、製造コストが低く且つ故障が生じにくいタッチパネル及びタッチパネルシステムに関する。
　コンピューターや携帯情報端末などの電子情報機器には入力装置と表示装置（ディスプレイ）とを組み合わせたタッチパネルが搭載されている。
　タッチパネルには静電容量方式、抵抗膜方式、超音波表面弾性波方式、光学方式（赤外線光学イメージング方式）などの種々の方式が存在する。
　例えば静電容量式（特許文献1参照）では、パネル内にマトリックス状の電極パターンを配置し、ユーザーが指などでタッチすることで発生する静電容量の変化に基づいて座標を検出する仕組みになっている。
　また、抵抗膜式（特許文献2参照）では、対向配置した2枚の膜の両端に電圧をかけておき、ユーザーがタッチすることで膜同士が接触した位置の電圧の変化に基づいて座標を検出する仕組みになっている。
　また、光学方式（特許文献3参照）では、パネル上辺の左右端に赤外線LEDとイメージセンサー（カメラ）をそれぞれ配置し、パネルの左辺、右辺及び下辺に入射光を入射方向に反射させる再帰反射テープを配置する。ユーザーが指などでパネルに触れて赤外光を遮蔽することで生じる影をイメージセンサーでとらえ、三角測量によって座標を検出する仕組みになっている。
特許第5306059号公報 特開2014－134454号公報 特許第5406990号公報
　しかし、上記従来技術はいずれも装置構成が複雑なため、製造コストが嵩むという問題や故障が生じやすいという問題がある。
　本発明は上記問題に鑑み、装置構成が簡易であり、製造コストが低く且つ故障が生じにくいタッチパネル及びこのタッチパネルを用いたタッチパネルシステムを提供することを課題とする。
　本発明のタッチパネルは、被接触面が可撓性、可視光透過性及び赤外線透過性を有する材料から成り、前記被接触面の対向面が可視光透過性及び赤外線透過性を有する材料から成り、前記被接触面と前記対向面とに挟まれた空間内に液体を収容する袋状のタッチパネル本体と、前記対向面を撮影する赤外線サーモグラフィカメラとを備えており、前記赤外線サーモグラフィカメラは、ユーザーが前記被接触面に触れた位置を熱源として、当該熱源から放射される赤外線を前記被接触面及び前記対向面を通して撮影することを特徴とする。
　また、赤外線サーモグラフィカメラの測定波長が7[μm]～14[μm]であることを特徴とする。
　また、前記液体の温度を下げるための放熱手段又は冷却手段を備えることを特徴とする。
　また、加熱手段を指先に配置したグローブを備えており、ユーザーが当該グローブを介して前記被接触面に触れることを特徴とする。
　本発明のタッチパネルシステムは、上記タッチパネルと、ユーザーが前記被接触面及び前記対向面を通して画像を視認できる位置に配置される映像再生装置と、前記赤外線サーモグラフィカメラの撮影画像に基いて、ユーザーが前記被接触面に触れた位置が前記画像上のどの位置にあたるかを算出する接触位置算出手段とを備えることを特徴とする。
　また、前記タッチパネル本体の向きを水平状態と鉛直状態に変えることができる自立機構を備えることを特徴とする。
　また、水平に配置した前記タッチパネル本体及び前記映像再生装置の間に透明性を有するクッションを備えることを特徴とする。
　また、前記映像再生装置がカメラで撮影した動画像を取り込んで再生することを特徴とする。
　また、前記映像再生装置がプロジェクターと透過型プロジェクタースクリーンから構成されることを特徴とする。
　また、前記タッチパネル本体と前記透過型プロジェクタースクリーンが一体化されていることを特徴とする。
　また、透過型ヘッドマウントディスプレイを備えることを特徴とする。
　また、前記映像再生装置と前記赤外線サーモグラフィカメラのセットを複数備えることを特徴とする。
　本発明のタッチパネルは、内部に液体を収容したタッチパネル本体と、一般的に使用されている赤外線サーモグラフィカメラで概略構成されるので、装置構成が簡易であり、製造コストが低く且つ故障が生じにくいという効果がある。
　また、内部に液体を収容しているため、通常のタッチパネルとは異なり、柔らかい触り心地のタッチパネルを得られる。
　また、赤外線サーモグラフィカメラの測定波長を7[μm]～14[μm]にすることで、タッチパネルの製造が容易になる。すなわち、被接触面と対向面とで形成される空間の厚さ（両面の距離）が1[mm]以上になると赤外線がほぼ透過できなくなることが知られている。したがって、当該空間の厚さとして1[mm]以上を確保し、且つ当該空間の厚さがほぼゼロになるまで、すなわち被接触面に対して押圧時に対向面に密着できる程度の可撓性を持たせるだけで実用上充分な精度を確保できるので、タッチパネルの製造が容易になる。
　また、液体の温度を下げるための放熱手段又は冷却手段や、加熱手段を指先に配置したグローブを用いることにすれば、液体と接触位置との温度差を大きくすることができるので接触位置の検出精度を向上させることができる。
　本発明のタッチパネルシステムは、上記タッチパネルと、一般的に使用されているテレビやモニター等の映像再生装置と、接触位置算出手段で概略構成されるので、装置構成が簡易であり、製造コストが低く且つ故障が生じにくいという効果がある。
　また、赤外線サーモグラフィカメラを使用するので、ユーザーが接触した位置及びその形状だけでなくユーザーの体温（指等の温度）の変化も検出できる。したがって、例えば指等の温度が上昇している場合にはユーザーが興奮しているなど、ユーザーの精神状態も検出できる。
　また、ユーザーの指先の温度を一定とする条件下において、赤外線サーモグラフィカメラで捉えた赤外線強度の分布に基づいて、ユーザーが被接触面を触った際の圧力の変化を算出することができる。
　また、タッチパネル本体に収容されている液体全体が室温とほぼ同じ温度になるため、ユーザーが被接触面に触れて赤外線が透過した箇所と、赤外線が透過していない箇所を抽出すればすぐに2値に変換することができ、接触位置算出手段での処理の負担を軽減できる。
　また、従来の圧電素子を使ったタッチパネルとは異なり、本発明のタッチパネルではユーザーが被接触面に触った部分の形をそのまま画像として取り込むことができる。したがって、例えば張り手や引っ掻く動作など、ユーザーの指等の動きを２次元の画像としてそのままコンピューターに取込むことができる。この機能を利用すればゲーム等の遊興器具用のタッチパネルとして使用できる。
　また、タッチパネル本体の向きを水平状態と鉛直状態に変えることができる自立機構を備えることにすれば、ユーザーは起立した状態でタッチパネルを操作することができるという利点と、タッチパネル本体を水平状態にすることで可搬性に優れるという利点がある。
　また、タッチパネル本体及び映像再生装置を水平状態に配置して、両者間に透明性を有するクッションを配置することにすれば、ユーザーはうつ伏せの状態でタッチパネルを操作することができる。
　また、映像再生装置がカメラで撮影した動画像を取り込んで再生することができるようにすれば、簡易型のAR（Augmented Reality：拡張現実）を実現できる。
　また、映像再生装置をプロジェクターと透過型プロジェクタースクリーンで構成すれば、タッチパネル本体の大型化を容易に実現できる。
　また、タッチパネル本体と透過型プロジェクタースクリーンを一体化することで、これを例えば水平に配置し、その周囲を脚部で支持することにすれば、ユーザーが椅子に座った状態でタッチパネルを使用できる。
　また、透過型ヘッドマウントディスプレイを備えることにすれば、簡易型のVR(Virtual Reality：仮想現実)を実現できる。
　また、映像再生装置と赤外線サーモグラフィカメラのセットを複数備えることにすれば、赤外線サーモグラフィカメラから対向面までの距離を短くすることができ、タッチパネルシステムを小型化できる。
タッチパネルの構成を示す図(a)～(c) タッチパネル本体の構造を示す図(a)及び(b) 赤外線サーモグラフィカメラによる撮影画像を模式的に表した図 水の赤外吸収波長依存性を示すグラフ（「実用遠赤外線」，人間と歴史社，高田紘一，江川芳信，佐々木久夫　編著，1992年2月27日初版第1刷より引用） タッチパネル本体に放熱手段や冷却手段を接続した状態を示す図 加熱手段を示す図 撮影画像の解析プロセスを示す図 タッチパネルシステムの構成を示す図(a)及び(b) 方眼状の画像データを示す図 基準用マーカーの内部を多数のピクセルに分割した状態を示す図 基準用マーカーの寸法の調節方法を示す図 補正用枠を示す図 撮影画像を直接多数のピクセルに分割した状態を示す図 タッチパネル本体及び映像再生装置を起立させた状態を示す図(a)及び自立機構の正面図（b） タッチパネルシステムを簡易型のARとして使用した状態を示す図 プロジェクターと透過型プロジェクタースクリーンとを組み合わせた状態を示す図 図15と図16の構成を合体させたタッチパネルシステムを示す図 タッチパネル本体及び映像再生装置を水平に設置した状態を示す図 タッチパネル本体とクッションとを一体化した状態を示す図 透過型ヘッドマウントディスプレイを装着した状態を示す図 プロジェクターと透過型プロジェクタースクリーンとを組み合わせた状態を示す図 複数の映像再生装置の各々に赤外線サーモグラフィカメラを取り付けた状態を示す図(a)及び(b) タッチパネル本体及び映像再生装置を水平に設置した状態を示す図 タッチパネル本体の一部に粘着層を設けた状態を示す断面図 タッチパネル本体を指で押した場合の赤外線サーモグラフィカメラによる撮影画像を示す図(a)～(c) タッチパネル本体を指で引っ掻いた場合の赤外線サーモグラフィカメラによる撮影画像を示す図(a)～(c)
［タッチパネル1の実施の形態］
　以下、本発明のタッチパネル1の実施の形態を図面を用いて示す。
　図1(a)～(c)に示すようにタッチパネル1はタッチパネル本体10と赤外線サーモグラフィカメラ20から概略構成される。
　タッチパネル本体10は被接触面11と対向面12とを備える袋状である。タッチパネル本体10を四角枠状のフレーム（図示略）に固定してもよい。
　被接触面11の材質としては可撓性、可視光透過性及び赤外線透過性を有していればよい。また、対向面12の材質としては可視光透過性及び赤外線透過性を有していればよい。被接触面11及び対向面12の材質としては例えば軟質塩化ビニール、ポリエチレン、ポリプロピレン等を用いることができる。
　タッチパネル本体10の製造方法としては、図2(a)に示すように被接触面11と対向面12の2枚のシートの周囲（図2中に丸で囲んだ箇所）を熱圧着や接着等の周知の手段で気密性及び水密性を持つように固定すればよい。あるいは、図2(b)に示すように被接触面11と対向面12の2枚のシートの表面及び側縁を縁部材13で覆った状態で固定してもよい。
　被接触面11と対向面12とに挟まれた空間内、すなわちタッチパネル本体10の内部には液体14を収容している。液体14の種類としては透明性を有していればよく、例えば水やジェル等が挙げられるが、特に次の点において水が適している。すなわち、水が安価である点、熱容量が空気と比して高いためタッチパネル本体10の全体を均一温度に安定的に維持できる点、タッチパネル本体10にクッション性を持たせることができる点、無色で透明度が高いためある程度の厚さが有っても可視光を透過させて後述する映像再生装置50の画像をユーザーUが快適に視聴できる点、一定の厚さ以上になると赤外線を透過しない点である。
　赤外線サーモグラフィカメラ20は対向面12を撮影するために設けられる。赤外線サーモグラフィカメラ20はコンピューター30に接続されており、その撮影画像をコンピューター30に取り込んで解析する仕組みになっている。
　ユーザーUが指や掌等（以下、単に「指等F」という。）で被接触面11に触れることで当該接触位置が熱源となる。図1(b)に示すようにユーザーUが被接触面11に触れると被接触面11と対向面12との間隔が狭まり（タッチパネル本体10の厚さが薄くなり）、液体14が周辺に押し出される。上述のとおり被接触面11及び対向面12は赤外線透過性を有するので、接触位置では赤外線が通過し易くなる。一方、接触位置以外では指等Fの熱源から放射された赤外線の大部分は液体14によって遮蔽される。
　赤外線サーモグラフィカメラ20が対向面12を撮影し、撮影画像Gをコンピューター30で解析することで、タッチパネル本体10上の熱源すなわちユーザーUの接触位置を特定することができる。
　図3は赤外線サーモグラフィカメラ20による撮影画像Gを模式的に表した図である。ユーザーUが指等Fで被接触面11を押して被接触面11と対向面12とが密着した場合、当該密着箇所には液体14が存在しないため赤外線強度が高くなり、密着箇所の周辺には液体14が僅かに存在するため赤外線強度は相対的に弱くなる。赤外線サーモグラフィカメラ20では赤外線強度が高い中心部分が高温領域H1、その周辺が周辺領域H2として捉えられる。コンピューター解析では指等Fで被接触面11を押圧している強さを温度分布に基いて多段階的に検出する仕組みにしてもよいし、或いは温度分布を考慮せずに、温度が変化している範囲を接触位置、変化していない範囲を非接触位置と2値的に検出する仕組みにしてもよい。
　図1(c)に示すようにユーザーUが被接触面11から指等Fを離すと、被接触面11と対向面12との間隔が元に戻るので赤外線サーモグラフィカメラ20で熱源を捉えることができなくなる。
　赤外線サーモグラフィカメラ20の測定波長は、被接触面11及び対向面12を通過した赤外線を撮影できさえすれば特に限定されないが、7[μm]～14[μm]が特に好ましい。その理由は測定波長が7[μm]～14[μm]の赤外線サーモグラフィカメラ20は市場で容易に入手可能である点と、図4に示すように水の厚さが1[mm]以上になると赤外線がほぼ透過できなくなる点にある。
　したがって、被接触面11と対向面12とで形成される空間の厚さ（両面の距離）を1[mm]以上にすれば赤外線をほぼ遮蔽することができる。また、測定波長が2[μm]以下の近赤外線領域の波長の赤外線では、前述の（両面の距離）を1[mm]以上にしても赤外線がある程度は透過するので、この性質を逆に利用して（両面の距離）が密着せずある程度近づいたら反応するタッチパネル本体10を作成してもよい。
　なお、指等Fによるタッチパネル本体10への接触／非接触を赤外線サーモグラフィカメラ20で正確に捉える（感度を高める）には、液体14と指等Fとの温度差を大きくすればよい。
　そこで、図5に示すようにヒートシンク等の周知の放熱手段40やペルチェ素子等の周知の冷却手段41をタッチパネル本体10に接続して液体14を循環させることにしてもよい。これにより液体14の温度が低くなり、指等Fとの温度差を大きくできる。
　また、図6に示すように電熱線等の周知の加熱手段42を指先等に配置したグローブ43を使用することで指等Fと液体14との温度差を大きくすることにしてもよい。
　また、液体14の僅かな温度変化（熱ゆらぎ）が原因となって撮影画像にノイズが生じたり、ユーザーUの指等Fが意図せずに被接触面11から一瞬だけ離れてしまう場合がある。
　そこで、図7に示す撮影画像の解析プロセスにおいて、例えば赤外線強度が高い領域が一定期間連続して検出された場合には当該領域が接触されたと認識し（第1～3フレーム参照）、赤外線強度は高いものの不連続にしか検出されない領域についてはノイズとして認識することにしてもよい（第1及び第2フレーム参照）。また、赤外線強度が高い領域が検出された後に検出されない状態に変化し（第4フレーム参照）、その後再び検出された場合（第5フレーム参照）には、ユーザーUがその間連続して接触していたと判断することにしてもよい。この場合、赤外線強度が高い領域が連続して一定期間検出されなかった場合にはユーザーUが指等Fを被接触面11から離したと判断することにすればよい（第6～7フレーム参照）。
［タッチパネルシステムの第1の実施の形態］
　以下、本発明のタッチパネルシステムの第1の実施の形態を図面を用いて示す。
　図8(a)及び(b)に示すようにタッチパネルシステム100は、上記タッチパネル本体10、映像再生装置50及び接触位置算出手段60から概略構成される。
　映像再生装置50はユーザーUがタッチパネル本体10（被接触面11及び対向面12）を通して画像を視認できる位置に配置される装置である。すなわち、映像再生装置50は、被接触面11側に居るユーザーUに対してタッチパネル本体10を挟んで反対側（対向面12側）に配置される。本実施の形態では映像再生装置50のフレームの一部に赤外線サーモグラフィカメラ20を固定している。
　接触位置算出手段60は、赤外線サーモグラフィカメラ20による撮影画像（対向面12の画像）に基づいて、ユーザーUが被接触面11に触れた位置が映像再生装置50の画像上のどの位置にあたるか、換言するとユーザーUが画像上のどこを触れたかを算出するために設けられる。接触位置算出手段60はコンピューター30内に格納される。
　図9に示すように方眼状の画像データ61がコンピューター30の記憶手段に予め記憶されている。画像データ61は正方形の基準用マーカー62をX、Y方向に方眼状に並べて成るものであり、その縦横の寸法は赤外線サーモグラフィカメラ20による撮影画像の縦横の寸法と一致するように設定されている。
　接触位置算出手段60は、方眼状の画像データ61と赤外線サーモグラフィカメラ20による撮影画像とを重ね合わせることで接触位置のX，Y座標を算出する。例えば正方形の基準用マーカー62の寸法が縦横1センチの場合、原点からX方向に3センチ、Y方向に2センチの画像上の位置をユーザーUが触ったことを算出する。
　図10に示すように一つの基準用マーカー62内に赤外線強度が相対的に高い領域(高温領域)Hと低い領域（低温領域）Lとが混在する場合がある。この場合、一つの基準用マーカー62の内部を多数のピクセルPに分割して、例えば赤外線強度が高い領域が全ピクセルPに対して50％以上存在する場合には当該基準用マーカー62に対応する画像上の位置をユーザーUが触っていると検出することにすればよい。なお、赤外線強度が高い領域Hを2値以上の多段階（上記高温領域H1と周辺領域H2等）に分割することで接触の強弱まで検出できる仕組みにしてもよい。
　また、タッチパネルシステム100の作動時に画像データ61を自動生成する仕組みにしてもよい。この場合、図11に示すように対向面12と赤外線サーモグラフィカメラ20との距離Dに応じて正方形の基準用マーカー62の縦横の寸法を調節すればよい。また、正方形の基準用マーカー62の縦横の寸法を小さくすることで接触位置の検出精度を高めることができるため、用途に応じて縦横の寸法を調節することにしてもよい。
　更に、図12に示すように対向面12の一部に電熱線等から成る補正用枠63を設けてもよい。この場合、タッチパネルシステム100の作動時に赤外線サーモグラフィカメラ20が高温の補正用枠63を捉えて、この補正用枠63の縦横の寸法と同一寸法となるように正方形の基準用マーカー62の縦横の寸法を調節し、方眼状の画像データ61を生成する仕組みになる。
　また、基準用マーカー62及び方眼状の画像データ61を使用せずに、図13に示すように撮影画像Gを直接多数のピクセルPに分割して、各ピクセルPの赤外線強度に応じて接触／非接触を検出する仕組みにしてもよい。
［タッチパネルシステムの第2の実施の形態］
　次に本発明のタッチパネルシステム101の第2の実施の形態について説明するが、上記第1の実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
　図14(a)及び(b)に示すように本実施の形態のタッチパネルシステム101ではタッチパネル本体10及び映像再生装置50を起立させて設置する点に特徴を有する。
　具体的には、タッチパネル本体10は四角枠状のフレーム70に固定されている。フレームは机等の台座71に載せられており、自立機構72により水平状態と鉛直状態に向きを変えることができる仕組みになっている。
　本実施の形態のタッチパネルシステム101ではユーザーUが起立した状態で使用できるという利点がある。
　また、図15に示すようにコンピューター30で作成したキャラクター73やコンピューター30に接続したカメラ74で撮影した動画像を合成して映像再生装置50に映し出すことで簡易型のARを実現することができる。
　また、図16に示すように映像再生装置50としてプロジェクター75と透過型プロジェクタースクリーン76とを組み合わせることもできる。この場合、タッチパネル本体10の大型化を容易に実現できる。
　更に、図17に示すように図15と図16の構成を合体させたタッチパネルシステム102にしてもよい。
［タッチパネルシステムの第3の実施の形態］
　次に本発明のタッチパネルシステムの第3の実施の形態について説明するが、上記第1及び第2の実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
　図18に示すように本実施の形態のタッチパネルシステム103ではタッチパネル本体10及び映像再生装置50を水平に設置する点に特徴を有する。
　タッチパネル本体10と映像再生装置50の間には透明性を有する素材からなるクッション77を配置している。クッション77に映像再生装置50を固定ベルト78で固定し、クッション77内に赤外線サーモグラフィカメラ20を固定している。クッション77の形状は平面視した場合に長方形に限らず円形や多角形でもよく、側面視した場合に湾曲していてもよく、球形や楕円形にしてもよい。
　本実施の形態のタッチパネルシステム103ではユーザーUがうつ伏せの状態で使用できるという利点がある。
　また、図19に示すようにタッチパネル本体10とクッション77とを一体化してもよい。
　また、図20に示すようにユーザーUが前方も見ることができる透過型ヘッドマウントディスプレイ79を装着することにしてもよい。この場合、透過型ヘッドマウントディスプレイ79でユーザーUの近く映したい映像、映像再生装置50でユーザーUの遠くに映したい映像をながすことでVRを実現することができる。
　また、図21に示すように映像再生装置50としてプロジェクター75と透過型プロジェクタースクリーン76とを組み合わせることもできる。この場合、タッチパネル本体10の大型化を容易に実現できる。また、赤外線サーモグラフィカメラ20をクッション77内に配置することで、仮に透過型プロジェクタースクリーン76が赤外線を透過させない素材や形状であっても、対向面12の赤外線を確実に捉えることができる。
　図18～図20のようにタッチパネル本体10と映像再生装置50を水平に設置し、両者間にクッション77を介在させる構成の場合、赤外線サーモグラフィカメラ20から対向面12までの距離を充分に確保できない場合がある。この場合、赤外線サーモグラフィカメラ20に広角レンズを使用すればよい。或いは図22(a)及び(b)に示すように複数の映像再生装置50の各々に赤外線サーモグラフィカメラ20を取り付けて、接触位置算出手段60が各赤外線サーモグラフィカメラ20からの撮影画像に基いて接触位置を算出することにしてもよい。
［タッチパネルシステムの第4の実施の形態］
　次に本発明のタッチパネルシステムの第4の実施の形態について説明するが、上記各実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
　図23に示すように本実施の形態のタッチパネルシステム104ではタッチパネル本体10及び映像再生装置50を水平に設置する点に特徴を有する。映像再生装置50としてプロジェクター75と透過型プロジェクタースクリーン76とを組み合わせている。
　タッチパネル本体10と透過型プロジェクタースクリーン76を一体化した状態でその四隅を脚部80で支持している。
　本実施の形態のタッチパネルシステム104ではユーザーUが椅子に座った状態で使用できるという利点がある。
　図24に示すようにタッチパネル本体10の被接触面11又は対向面12の全体又は一部に粘着層81を設けることでタッチパネル本体10を任意の場所に貼り付けて使用することができる。
　図25(a)～(c)にタッチパネル本体10を指で押した場合の赤外線サーモグラフィカメラ20による撮影画像を示す。
　被接触面11及び対向面12にポリエチレンシートを用い、内部の液体14に水を用いている。水温、室温、被接触面11及び対向面12の温度は26[℃]、ユーザーUの体温は36.1[℃]、被接触面11及び対向面12の厚さd=0.1[mm]、指で押していない状態の被接触面11と対向面12の間隔10[mm]、赤外線サーモグラフィカメラ20の使用周波数波長は遠赤外線の7.2[μm]～13[μm]である。
　指で被接触面11を押していない状態の図25(a)では赤外線サーモグラフィカメラ20には何も映っていない。
　指で被接触面11を押した状態の図25(b)では被接触面11と対向面12の間隔がほぼゼロになることで指からの赤外線を赤外線サーモグラフィカメラ20が捉えている。
　指を被接触面11から離した状態の図25(c)では再び何も映っていない状態に戻った。
　なお通常サーモグラフィ画像はカラー画像で温度分布を示すが、図25のサーモグラフィ画像は視認性を高めるためにカラーのサーモグラフィ画像を白色に変換している。実際の赤外線サーモグラフィカメラ20は白黒だけでなく、温度分解能(通称NETD)が許す範囲で細かい温度分布を異なる色で表示することができる。したがって、指等Fの温度変化を細かく捉えて、サーモグラフィ画像の各画素のカラーのRGB値を解析することで、それをユーザーUの興奮の程度を示す指標データとして、接触位置に関するデータと共に検出してもよい。
　図26(a)～(c)にタッチパネル本体10に掌と指を押し付けた状態でタッチパネル本体10を指で引っ掻いた場合の赤外線サーモグラフィカメラ20による撮影画像を示す。
　被接触面11及び対向面12にポリエチレンシートを用い、内部の液体14に水を用いている。水温、室温、被接触面11及び対向面12の温度は25[℃]、ユーザーUの体温は36.1[℃]、被接触面11及び対向面12の厚さd=0.1[mm]、指で押していない状態の被接触面11と対向面12の間隔d2=10[mm]、赤外線サーモグラフィカメラ20の使用周波数波長は遠赤外線の7.2[μm]～13[μm]である。
　なお、図26(a)～(c)には比較のためタッチパネル本体10に触れていない左手も撮影画像中に映している。つまり、左手の映像は赤外線サーモグラフィカメラ20がタッチパネル1を介さずに直接撮影したものになる。
　動作開始時点のt＝0[秒]では図26(a)の右上の基準線上に、右手の中指をタッチパネル1に押し付けたことによる赤外線強度が高い領域が表れている。なお、基準線は指の動きを説明するために設けたにすぎない。
　次に、t＝0.5[秒]では図26(b)の右上であって基準線より下に右手の中指による赤外線強度が高い領域が表れている。
　次に、t＝1.0[秒]では図26(c)の右上であって基準線より上に右手の中指による赤外線強度が高い領域が表れている。これはユーザーUが右手の中指を引っ掻くように上下動させたことによるものである。
　また、図26(a)～(c)のいずれにも右下に右手の掌による赤外線強度が高い領域が表れており、当該領域がサーモグラフィで33[℃]を示している。このように本発明のシステムではユーザーUがタッチパネル1を触った位置及び形状と、ユーザーUの体温を検出し、記録することができる。
　本発明は、装置構成が簡易であり、製造コストが低く且つ故障が生じにくいタッチパネル及びこのタッチパネルを用いたタッチパネルシステムに関するものであり、産業上の利用可能性を有する。
F 指等
G 撮影画像
H 高温領域
H1 高温領域
H2 周辺領域
L 低温領域
P ピクセル
U ユーザー
1 タッチパネル
10 タッチパネル本体
11 被接触面
12 対向面
13 縁部材
14 液体
20 赤外線サーモグラフィカメラ
30 コンピューター
40 放熱手段
41 冷却手段
42 加熱手段
43 グローブ
50 映像再生装置
60 接触位置算出手段
61 画像データ
62 基準用マーカー
63 補正用枠
70 フレーム
71 台座
72 自立機構
73 キャラクター
74 カメラ
75 プロジェクター
76 透過型プロジェクタースクリーン
77 クッション
78 固定ベルト
79 透過型ヘッドマウントディスプレイ
80 脚部
81 粘着層
100 タッチパネルシステム
101 タッチパネルシステム
102 タッチパネルシステム
103 タッチパネルシステム
104 タッチパネルシステム
 

Claims (12)

  1. 　被接触面が可撓性、可視光透過性及び赤外線透過性を有する材料から成り、前記被接触面の対向面が可視光透過性及び赤外線透過性を有する材料から成り、前記被接触面と前記対向面とに挟まれた空間内に液体を収容する袋状のタッチパネル本体と、
    　前記対向面を撮影する赤外線サーモグラフィカメラとを備えており、
    　前記赤外線サーモグラフィカメラは、ユーザーが前記被接触面に触れた位置を熱源として、当該熱源から放射される赤外線を前記被接触面及び前記対向面を通して撮影することを特徴とするタッチパネル。
     
  2. 　赤外線サーモグラフィカメラの測定波長が7μm～14μmであることを特徴とする請求項1に記載のタッチパネル。
     
  3. 　前記液体の温度を下げるための放熱手段又は冷却手段を備えることを特徴とする請求項1又は2に記載のタッチパネル。
     
  4. 　加熱手段を指先に配置したグローブを備えており、ユーザーが当該グローブを介して前記被接触面に触れることを特徴とする請求項1～3のいずれか一項に記載のタッチパネル。
     
  5. 　請求項1～4のいずれか一項に記載のタッチパネルと、
    　ユーザーが前記被接触面及び前記対向面を通して画像を視認できる位置に配置される映像再生装置と、
    　前記赤外線サーモグラフィカメラの撮影画像に基いて、ユーザーが前記被接触面に触れた位置が前記画像上のどの位置にあたるかを算出する接触位置算出手段とを備えることを特徴とするタッチパネルシステム。
     
  6. 　前記タッチパネル本体の向きを水平状態と鉛直状態に変えることができる自立機構を備えることを特徴とする請求項5に記載のタッチパネルシステム。
     
  7. 　水平に配置した前記タッチパネル本体及び前記映像再生装置の間に透明性を有するクッションを備えることを特徴とする請求項5に記載のタッチパネルシステム。
     
  8. 　前記映像再生装置がカメラで撮影した動画像を取り込んで再生することを特徴とする請求項5～7のいずれか一項に記載のタッチパネルシステム。
     
  9. 　前記映像再生装置がプロジェクターと透過型プロジェクタースクリーンから構成されることを特徴とする請求項5～8のいずれか一項に記載のタッチパネルシステム。
     
  10. 　前記タッチパネル本体と前記透過型プロジェクタースクリーンが一体化されていることを特徴とする請求項9に記載のタッチパネルシステム。
     
  11. 　透過型ヘッドマウントディスプレイを備えることを特徴とする請求項5～10のいずれか一項に記載のタッチパネルシステム。
     
  12. 　前記映像再生装置と前記赤外線サーモグラフィカメラのセットを複数備えることを特徴とする請求項5～11のいずれか一項に記載のタッチパネルシステム。
     
PCT/JP2017/031892 2016-09-09 2017-09-05 タッチパネル及びタッチパネルシステム WO2018047803A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/330,991 US10635207B2 (en) 2016-09-09 2017-09-05 Touch panel and touch panel system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016176656A JP6086461B1 (ja) 2016-09-09 2016-09-09 タッチパネル及びタッチパネルシステム
JP2016-176656 2016-09-09

Publications (1)

Publication Number Publication Date
WO2018047803A1 true WO2018047803A1 (ja) 2018-03-15

Family

ID=58185960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031892 WO2018047803A1 (ja) 2016-09-09 2017-09-05 タッチパネル及びタッチパネルシステム

Country Status (3)

Country Link
US (1) US10635207B2 (ja)
JP (1) JP6086461B1 (ja)
WO (1) WO2018047803A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6349048B1 (ja) * 2018-03-27 2018-06-27 株式会社ネットアプリ タッチパネルシステム
JP6450493B1 (ja) * 2018-08-02 2019-01-09 株式会社ネットアプリ フレキシブルディスプレイ用のタッチパネルシステム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6472109B1 (ja) 2018-09-20 2019-02-20 株式会社ネットアプリ タッチパネルシステム及び記録媒体
CN111452537B (zh) * 2019-01-22 2022-09-20 上海巨哥电子科技有限公司 显示方法及装置
EP4064007A1 (en) * 2021-03-22 2022-09-28 Koninklijke Philips N.V. Tactile interaction monitoring

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123032A (ja) * 2006-11-08 2008-05-29 Toyota Motor Corp 情報入力装置
JP2010067062A (ja) * 2008-09-11 2010-03-25 Ntt Docomo Inc 入力システム及び入力方法
US20150234454A1 (en) * 2014-02-17 2015-08-20 Metaio Gmbh Method of device for detecting a touch between a first object and a second object

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9829977B2 (en) * 2008-04-02 2017-11-28 Immersion Corporation Method and apparatus for providing multi-point haptic feedback texture systems
JP5306059B2 (ja) 2009-05-29 2013-10-02 株式会社ジャパンディスプレイウェスト タッチパネル、表示パネル、タッチパネル用基板、表示パネル用基板および表示装置
EP2595033B1 (en) * 2010-07-13 2015-03-04 Shoei Co., Ltd. Input device using touch panel and input method thereof
JP6193573B2 (ja) 2013-01-10 2017-09-06 ラピスセミコンダクタ株式会社 電池監視システム、電池監視装置、及び電池監視システムの起動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123032A (ja) * 2006-11-08 2008-05-29 Toyota Motor Corp 情報入力装置
JP2010067062A (ja) * 2008-09-11 2010-03-25 Ntt Docomo Inc 入力システム及び入力方法
US20150234454A1 (en) * 2014-02-17 2015-08-20 Metaio Gmbh Method of device for detecting a touch between a first object and a second object

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6349048B1 (ja) * 2018-03-27 2018-06-27 株式会社ネットアプリ タッチパネルシステム
WO2019189052A1 (ja) * 2018-03-27 2019-10-03 株式会社ネットアプリ 色変化を用いたタッチパネルシステム
US10949011B1 (en) 2018-03-27 2021-03-16 Netappli Co., Ltd. Touch panel system
JP6450493B1 (ja) * 2018-08-02 2019-01-09 株式会社ネットアプリ フレキシブルディスプレイ用のタッチパネルシステム

Also Published As

Publication number Publication date
JP2018041390A (ja) 2018-03-15
US10635207B2 (en) 2020-04-28
US20190235654A1 (en) 2019-08-01
JP6086461B1 (ja) 2017-03-01

Similar Documents

Publication Publication Date Title
WO2018047803A1 (ja) タッチパネル及びタッチパネルシステム
JP5118749B2 (ja) タッチセンス式装置上の指の向きを検出
CN111401243B (zh) 光学传感器模块及其电子设备
CN109196524B (zh) 通过光学感测检测指纹的电子设备及其操作方法
JP5331887B2 (ja) 複数のカメラを有するタッチスクリーンディスプレイ
US20110199335A1 (en) Determining a Position of an Object Using a Single Camera
US11982809B2 (en) Electronic device with inner display and externally accessible input-output device
US9185277B2 (en) Panel camera, and optical touch screen and display apparatus employing the panel camera
US10339354B2 (en) Wearable device and controlling method thereof
US9454260B2 (en) System and method for enabling multi-display input
JP2013045449A (ja) 光学式タッチシステムと位置判定方法
Grubert et al. Glasshands: Interaction around unmodified mobile devices using sunglasses
KR100968205B1 (ko) 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치
US20230205271A1 (en) Housing Structures and Input-Output Devices For Electronic Devices
JP6349048B1 (ja) タッチパネルシステム
JP2004326188A (ja) 大画面タッチパネルシステムおよび検索・表示システム
JP6643825B2 (ja) 装置及び方法
JP6233941B1 (ja) 非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体
TW201741622A (zh) 實體影像與虛擬影像之間轉換的方法及其系統
JP2020021334A (ja) フレキシブルディスプレイ用のタッチパネルシステム
US20230136028A1 (en) Ergonomic eyes-off-hand multi-touch input
TW201506741A (zh) 觸控顯示面板
TW202101296A (zh) 圖像採集裝置及電子設備
US20160188027A1 (en) Optical touch display
GB2526386A (en) Selection system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17848743

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17848743

Country of ref document: EP

Kind code of ref document: A1