WO2022249322A1 - 触覚伝送システム - Google Patents

触覚伝送システム Download PDF

Info

Publication number
WO2022249322A1
WO2022249322A1 PCT/JP2021/019975 JP2021019975W WO2022249322A1 WO 2022249322 A1 WO2022249322 A1 WO 2022249322A1 JP 2021019975 W JP2021019975 W JP 2021019975W WO 2022249322 A1 WO2022249322 A1 WO 2022249322A1
Authority
WO
WIPO (PCT)
Prior art keywords
hardness
shape
display
transmission system
temperature
Prior art date
Application number
PCT/JP2021/019975
Other languages
English (en)
French (fr)
Inventor
敏輝 和田
浩芳 都甲
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/019975 priority Critical patent/WO2022249322A1/ja
Publication of WO2022249322A1 publication Critical patent/WO2022249322A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Definitions

  • the present invention relates to a tactile transmission system capable of sensing tactile sensations at distant positions.
  • Non-Patent Document 1 a tactile information in addition to visual information and auditory information.
  • tactile information it is possible to sense tactile information such as the temperature, shape, and hardness of objects at a distance, so it is possible to improve the quality of collaborative work and use it in the healthcare and medical fields such as telemedicine and care. Be expected.
  • a tactile transmission system includes a sensing unit that acquires data related to tactile information from an object, and a display connected to the sensing unit with a distance therebetween via a transmission unit.
  • the sensing unit includes a temperature sensor that acquires temperature data of the object, a shape sensor that acquires shape data of the object, and a hardness sensor that acquires hardness data of the object.
  • the display unit displays at least one of temperature, shape, and hardness.
  • FIG. 1 is a block diagram showing the configuration of a haptic transmission system according to the first embodiment of the present invention.
  • FIG. 2A is a schematic diagram showing an example of a shape display in the haptic transmission system according to the first embodiment of the present invention.
  • FIG. 2B is a schematic diagram showing an example of a temperature display in the haptic transmission system according to the first embodiment of the present invention;
  • FIG. 3 is a schematic diagram showing an example of a hardness display in the tactile transmission system according to the first embodiment of the invention.
  • FIG. 4 is a schematic diagram showing an example of a display unit in a haptic transmission system according to a third embodiment of the invention.
  • FIG. 5 is a schematic diagram showing an example of a display unit in a haptic transmission system according to a fourth embodiment of the invention.
  • FIG. 1 A haptic transmission system according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 3.
  • FIG. 1 A haptic transmission system according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 3.
  • FIG. 1 A haptic transmission system according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 3.
  • FIG. 1 A haptic transmission system according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 3.
  • the tactile transmission system includes a sensing section 11, a transmission section 12, and a display section.
  • the sensing unit 11 and the display unit 13 are arranged apart from each other, and are connected by wire or wirelessly via the transmission unit 12 .
  • the term "separate" includes remoteness, distance within the same building, and distance to the extent that the user cannot directly touch the object.
  • the sensing unit 11 acquires data related to tactile information from the object.
  • the transmission unit 12 transmits the data acquired by the sensing unit 11.
  • the transmission unit 12 is implemented by an Internet line or the like.
  • the display unit 13 displays tactile information based on the transmitted data.
  • the tactile information mainly includes any or all of temperature, hardness, and shape, and tactile information is presented by the display unit 13 according to the data, and the user on the display unit side touches the sensing unit side. It can perceive tactile information of certain objects.
  • the sensing unit 11 includes a temperature sensor 111, a shape sensor 112, a hardness sensor 113, and a sensor control unit 114.
  • the display unit 13 includes a temperature display 131, a shape display 132, a hardness display 133, and a display control unit 134.
  • the temperature sensor 111 is composed of a sensor capable of measuring temperature, such as an infrared sensor, and acquires temperature data.
  • the temperature data acquired by the temperature sensor 111 is transmitted wirelessly and by wire to the temperature display 131 by the transmission unit 12, and the temperature of the temperature display 131 changes according to the temperature data.
  • the temperature display 131 is composed of a thermoelectric element such as a Peltier element.
  • the Peltier element is controlled by the display controller 134 based on the temperature data.
  • a Peltier element converts an electrical signal based on temperature data into a heat signal, and expresses the temperature as heat (heat generation) according to the temperature data. For example, when the temperature measured by the sensing unit 11 is 36.2 degrees, the amount of current flowing through the Peltier element is controlled to express 36.2 degrees as heat (heat generation).
  • the user on the display side can sense the temperature of the object on the sensing side by touching the temperature display 131 .
  • the shape sensor 112 is composed of an imaging device, a camera, etc., and captures an image or video of an object. A plurality of captured images or a plurality of moving images are transmitted to the temperature display 131 by the transmission unit 12 wirelessly and by wire.
  • the shape display 132 creates 3D model shape data from the transmitted images or moving images. Based on this shape data, it is represented as a 3D shape on the shape display 132 .
  • the shape data of the 3D model may be created by the sensing unit 11 or the transmission unit 12 .
  • the user on the display side can sense the shape of the object on the sensing side by touching the shape display 132 .
  • the shape display 132 is composed of a vertically movable pin-type array structure, as shown in FIG. 2A.
  • the operation of the pin-type array structure is controlled by the display controller 134 based on the shape data.
  • a 3D model can be approximated to a 2.5D model by moving each pin 135 of the pin-shaped array structure in the vertical direction (arrow in the figure) based on the shape data.
  • the temperature display 131 on the tip of the pin 135, the temperature of the object can be sensed when the shape display 132 is touched.
  • the resolution of the shape display 132 depends on the number and size of the pins 135 and the resolution of the movement of the pins 135 in the vertical direction.
  • it is desirable that the resolution is high, but as the number of pins 135 increases, the necessary control burden of the pins 135 and the number of temperature displays 131 also increase. As a result, the mounting cost increases, so it is necessary to design according to the tendency of the object and the required resolution.
  • the hardness sensor 113 is composed of an ultrasonic sensor or the like, and acquires hardness data.
  • the hardness sensor 113 is not limited to this, and may be based on measurement of Rockwell hardness or Shore hardness.
  • the hardness data acquired by the hardness sensor 113 is transmitted wirelessly and by wire to the hardness display 133 by the transmission unit 12 .
  • the hardness display 133 expresses hardness by changing the repulsive force of the pin-shaped array structure according to the hardness data.
  • the user on the display side can sense the hardness of the object on the sensing side by touching the hardness display 133 .
  • the hardness display 133 has an elastic mechanism 136 below the pin-shaped array structure, as shown in FIG.
  • the operation of the elastic mechanism 136 is controlled by the display controller 134 based on the hardness data.
  • the hardness display 133 when the user presses the hardness display (pin-shaped array structure) 133, the elasticity of the elastic mechanism 136 is changed so that the amount of pushing or the force required for pushing changes according to the hardness data. (repulsive force) changes.
  • the elasticity of the elastic mechanism 136 decreases and the repulsive force increases, so the user can sense that the object is hard.
  • the elasticity of the elastic mechanism 136 increases and the repulsive force decreases, so the user can perceive that the object is soft.
  • the elastic mechanism 136 is configured using a pneumatic pump, a hydraulic pump, or a mechanical structure, and is controlled by the display controller 134.
  • hardness may be expressed by controlling the speed at which the pin-shaped array structure is pushed.
  • the tactile sense transmission system it is possible to acquire tactile information of an object at a separated position.
  • a haptic transmission system according to a second embodiment of the present invention will be described.
  • the haptic transmission system according to this embodiment differs from the first embodiment in the temperature display.
  • Other configurations are the same as those of the first embodiment.
  • the temperature display 231 is configured by a visual display. Specifically, the temperature display 231 comprises an LED display on which a heat map of the measured temperatures is displayed to visually represent the temperature.
  • the temperature sensor 211 of the sensing unit 21 may acquire temperature data at a plurality of locations, and based on the respective temperature data, different temperatures may be displayed for each pin in the pin-type array structure.
  • an example of displaying colors on pins in an LED display or a pin-type array structure has been shown as a visual temperature display, but the present invention is not limited to this.
  • a heat map may be projected by a projector or the like.
  • implementation costs can be reduced by visually displaying with a projector or the like.
  • the tactile transmission system converts the tactile information acquired by the sensing unit into visual information, and combines the tactile sense and information other than the tactile sense (visual information) for multimodal display on the display unit. can be realized.
  • the tactile sense transmission system it is possible to acquire tactile information of an object at a separated position.
  • a haptic transmission system according to a third embodiment of the present invention will be described with reference to FIG.
  • the haptic transmission system according to this embodiment differs from the first embodiment in the temperature display, shape display, and hardness display. Other configurations are the same as those of the first embodiment.
  • the display unit 33 in the haptic transmission system includes a temperature display 331, a shape display 332, a hardness display 333, and a display control unit 334 (not shown). .
  • a display screen 337 such as an LED display is provided, and the acquired temperature data and shape data are visually displayed in a multimodal manner.
  • the temperature display 331 visually displays the temperature of the object 1 in colors as a heat map on the display screen 337 .
  • the shape display 332 visually displays the shape image on the display screen 337.
  • the shape image is a photographed image or video of the object 1, or a 3D model created based on the image or video.
  • the hardness display 333 has a joystick as an operation unit 338.
  • the operation of the operation unit 338 is controlled according to the hardness data by the display control unit 334 (not shown).
  • the pointer 339 on the display screen 337 interlocks, and the hardness of the point (part) indicated by the pointer 339 is expressed by the ease of movement of the operation unit 338.
  • the display unit 33 changes the repulsive force of the operation part 338 in response to the movement of the operation part 338 according to the hardness of the predetermined position in the shape image.
  • the hardness display 333 can display (perceive) the hardness of the object 1 on the side of the sensing section by changing the movement of the operation section 338 .
  • the tactile transmission system converts the tactile information acquired by the sensing unit into visual information, and combines the tactile sense and information other than the tactile sense (visual information) for multimodal display on the display unit. can be realized.
  • the tactile sense transmission system it is possible to acquire the tactile sense information of the object 1 at a separated position.
  • a joystick as the operation unit 338 is shown, but the present invention is not limited to this, and a lever, handle, mouse, or the like may be used.
  • a haptic transmission system according to a fourth embodiment of the present invention will be described with reference to FIG.
  • the tactile sense transmission system according to this embodiment differs from the third embodiment in the hardness display.
  • Other configurations are the same as those of the third embodiment.
  • the temperature display 431 and the shape display 432 are the same as in the third embodiment.
  • the hardness display 433 has a pointer operation device such as a mouse as an operation unit 438.
  • a pointer operation device 438 operates a pointer 439 on a display screen 437 . Movement of the pointer 439 on the display screen 437 is controlled by the display controller 434 (not shown) according to the hardness data.
  • the movement of the pointer 439 on the screen 437 changes according to the hardness data.
  • the movement of the pointer operation device 438 does not change according to the hardness data
  • the movement of the pointer 439 on the screen 437 changes according to the hardness data.
  • tactile information can be sensed through visual tactile effects.
  • the visual tactile effect is based on human illusion, and is perceived as hardness and weight when the movement of pointer 439 does not follow the movement of operation device 438 .
  • the movement of the pointer 439 is controlled to change according to the hardness data only when the pointer 439 touches the object 1. be done.
  • the display unit 43 changes the movement of the pointer 439 in response to the movement of the operation unit 438 according to the hardness of the predetermined position in the shape image.
  • the hardness display 433 can display (perceive) the hardness of the object 1 on the sensing unit side by changing the movement of the pointer 439 .
  • the hardness is expressed by changing the shape of the 3D model on the screen.
  • the pointer touches the designated location multiple times while changing the speed. . Since the shape of the 3D model of the object 1 changes according to the way of touching, the hardness can be visually sensed.
  • the display unit 43 changes the shape of the shape image (3D model) in response to the movement of the operation unit 438 according to the hardness of a predetermined position in the shape image.
  • the hardness display 433 can display (perceive) the hardness of the object 1 on the sensing unit side by changing the shape of the shape image (3D model).
  • the tactile transmission system can convert tactile information acquired by the sensing unit into visual information and display information other than tactile information (visual information) on the display unit.
  • the tactile sense transmission system it is possible to acquire tactile information of an object at a separated position.
  • a display screen such as an LED display as a screen for visually displaying temperature, shape, and hardness was shown, but the screen is not limited to this.
  • a screen on which the shape and hardness are visually projected may be used.
  • the display unit visually displays only the temperature, visually displays the temperature and shape, and visually displays the temperature, shape and hardness.
  • only the shape may be visually displayed
  • the shape and hardness may be visually displayed
  • at least one of temperature, shape, and hardness may be visually displayed. may be displayed in
  • the present invention can be applied to transmission systems using tactile sensors in remote communication, telemedicine, and the like.
  • tactile transmission system 11 sensing unit 12 transmission unit 13 display unit 111 temperature sensor 112 shape sensor 113 hardness sensor 114 sensor control unit 131 temperature display 132 shape display 133 hardness display 134 display control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明の触覚伝送システム（１０）は、対象物から触覚情報に関するデータを取得するセンシング部（１１）と、伝送部（１２）を介して、センシング部（１１）と離間して接続するディスプレイ部（１３）とを備え、センシング部（１１）が、対象物の温度データを取得する温度センサ（１１１）と、対象物の形状データを取得する形状センサ（１１２）と、対象物の硬さデータを取得する硬さセンサ（１１３）との少なくともいずれかを有し、ディスプレイ部（１３）が、温度と、形状と、硬さとの少なくともいずれかを表示する。　これにより、本発明は、離間した位置にある対象物の触覚を感知できる触覚伝送システムを提供できる。

Description

触覚伝送システム
　本発明は、離間した位置で触覚を感知できる触覚伝送システムに関する。
　従来、遠隔でのコミュニケーションは、主に視覚情報や聴覚情報を用いて行われてきた。近年、視覚情報や聴覚情報に加えて、触覚情報を用いる遠隔でのコミュニケーションが注目されている（非特許文献１）。触覚情報を用いることにより、離れた場所の対象物の温度、形状、硬さなどの触覚情報を感知できるので、共同作業の質の向上や遠隔医療、ケアなどヘルスケアや医療分野への利用が期待される。
早川 裕彦、大脇 理智、 石川 琢也、 南澤 孝太、 田中 由浩、 駒崎 掲、 鎌本 優、 渡邊 淳司、 "高実在感を伴う遠隔コミュニケーションのための双方向型視聴触覚メディア「公衆触覚伝話」の提案、" TVRSJ Vol.25 No.4 pp.412-421、2020.
　しかしながら、離れた位置にある対象物に直接触らずに、その温度、形状、硬さなどの触覚を感知することは困難であった。
　上述したような課題を解決するために、本発明に係る触覚伝送システムは、対象物から触覚情報に関するデータを取得するセンシング部と、伝送部を介して、前記センシング部と離間して接続するディスプレイ部とを備え、前記センシング部が、前記対象物の温度データを取得する温度センサと、前記対象物の形状データを取得する形状センサと、前記対象物の硬さデータを取得する硬さセンサとの少なくともいずれかを有し、前記ディスプレイ部が、温度と、形状と、硬さとの少なくともいずれかを表示することを特徴とする。
　本発明によれば、離間した位置にある対象物の触覚を感知できる触覚伝送システムを提供できる。
図１は、本発明の第１の実施の形態に係る触覚伝送システムの構成を示すブロック図である。 図２Ａは、本発明の第１の実施の形態に係る触覚伝送システムにおける形状ディスプレイの一例を示す概略図である。 図２Ｂは、本発明の第１の実施の形態に係る触覚伝送システムにおける温度ディスプレイの一例を示す概略図である。 図３は、本発明の第１の実施の形態に係る触覚伝送システムにおける硬さディスプレイの一例を示す概略図である。 図４は、本発明の第３の実施の形態に係る触覚伝送システムにおけるディスプレイ部の一例を示す概略図である。 図５は、本発明の第４の実施の形態に係る触覚伝送システムにおけるディスプレイ部の一例を示す概略図である。
＜第１の実施の形態＞
　本発明の第１の実施の形態に係る触覚伝送システムについて、図１～図３を参照して説明する。
＜触覚伝送システムの構成＞
　本実施の形態に係る触覚伝送システムは、図１に示すように、センシング部１１と、伝送部１２と、ディスプレイ部とを備える。ここで、センシング部１１とディスプレイ部１３とは離間して配置され、伝送部１２を介して有線又は無線で接続される。ここで、「離間」とは遠隔を含み、同一の建造物内では離れている場合も含み、使用者が対象物に直接触れることができない程度に離れている場合を含む。
　センシング部１１は、対象物から触覚情報に関するデータを取得する。
　伝送部１２は、センシング部１１が取得したデータを伝送する。伝送部１２はインターネット回線などにより実現される。
　ディスプレイ部１３は、伝送されてきたデータに基づき触覚情報を表示する。
　ここで、触覚情報は、主に、温度、硬さ、形状のいずれか又は全てを含み、そのデータに応じてディスプレイ部１３により触覚情報が提示され、ディスプレイ部側の使用者がセンシング部側にある対象物の触覚情報を感知できる。
　センシング部１１は、温度センサ１１１と、形状センサ１１２と、硬さセンサ１１３と、センサ制御部１１４とを備える。
　ディスプレイ部１３は、温度ディスプレイ１３１と、形状ディスプレイ１３２と、硬さディスプレイ１３３と、ディスプレイ制御部１３４とを備える。
　温度センサ１１１は、赤外線センサ等の温度計測が可能なセンサで構成され、温度データを取得する。
　温度センサ１１１で取得された温度データは、伝送部１２により温度ディスプレイ１３１に無線および有線で伝送され、温度データに応じて、温度ディスプレイ１３１の温度が変化する。
　温度ディスプレイ１３１は、ペルチェ素子等の熱電素子により構成される。ペルチェ素子は、ディスプレイ制御部１３４により、温度データに基づき制御される。
　一例として、ペルチェ素子が温度データに基づく電気信号を熱信号に変換し、温度データに応じて、温度を熱として表現（発熱）する。例えば、センシング部１１での測定温度が３６．２度のときに、ペルチェ素子に流す電流量を制御して、熱として３６．２度を表現（発熱）する。
　その結果、ディスプレイ部側の使用者は、温度ディスプレイ１３１に触れることでセンシング部側の対象物の温度を感知できる。
　形状センサ１１２は、撮像素子、カメラ等で構成され、対象物の画像又は動画を撮影する。撮像された複数の画像又は複数の動画は、伝送部１２により温度ディスプレイ１３１に無線および有線で伝送される。
　形状ディスプレイ１３２は、伝送された画像又は動画から３Ｄモデルの形状データを作成する。この形状データに基づき、形状ディスプレイ１３２における３Ｄの形状として表現される。ここで、３Ｄモデルの形状データは、センシング部１１又は伝送部１２で作成されてもよい。
　その結果、ディスプレイ部側の使用者は、形状ディスプレイ１３２に触れることでセンシング部側の対象物の形状を感知できる。
　例えば、形状ディスプレイ１３２は、図２Ａに示すように、鉛直方向に動作可能なピン型アレイ構造により構成される。ピン型アレイ構造の動作は、ディスプレイ制御部１３４により、形状データに基づき制御される。
　形状ディスプレイ１３２では、形状データに基づき、ピン型アレイ構造のそれぞれのピン１３５を鉛直方向（図中、矢印）に動作させることにより、３Ｄモデルを２．５Ｄモデルに近似して表現できる。
　また、図２Ｂに示すように、ピン１３５の先端に温度ディスプレイ１３１を実装することで、形状ディスプレイ１３２に触れたときに対象物の温度を感知できる。
　ここで、形状ディスプレイ１３２における分解能は、ピン１３５の数、大きさとピン１３５の鉛直方向での動作の分解能に依存する。ここで、分解能は高いことが望ましいが、ピン１３５の数の増加に伴い、必要となるピン１３５の制御の負担や、温度ディスプレイ１３１の数が増加する。その結果、実装コストが増大するため、対象物の傾向や必要な分解能に応じて設計することが必要である。
　硬さセンサ１１３は、超音波センサ等により構成され、硬さデータを取得する。硬さセンサ１１３はこれに限らず、ロックウェル硬さやショア硬さの計測に基づくものでもよい。
　硬さセンサ１１３で取得された硬さデータは、伝送部１２により硬さディスプレイ１３３に無線および有線で伝送される。
　硬さディスプレイ１３３では、硬さデータに応じてピン型アレイ構造の反発力が変化し、硬さが表現される。
　その結果、ディスプレイ部側の使用者は、硬さディスプレイ１３３に触れることでセンシング部側の対象物の硬さを感知できる。
　例えば、硬さディスプレイ１３３は、図３に示すように、ピン型アレイ構造の下部に弾性機構１３６を備える。弾性機構１３６の動作は、ディスプレイ制御部１３４により、硬さデータに基づき制御される。
　硬さディスプレイ１３３では、使用者が硬さディスプレイ（ピン型アレイ構造）１３３を押すときに、硬さデータに応じて、押し込める量や押し込みに必要な力が変化するように、弾性機構１３６の弾性（反発力）が変化する。
　例えば、対象物が硬い場合には、弾性機構１３６の弾性が減少して反発力が増加するので、使用者は対象物が硬いことを感知できる。
　一方、対象物が柔らかい場合には、弾性機構１３６の弾性が増加して反発力が減少するので、使用者は対象物が柔らかいことを感知できる。
　ここで、弾性機構１３６は、空気圧ポンプ、油圧ポンプ又は機械的構造を用いて構成され、ディスプレイ制御部１３４により制御される。
　また、ピン型アレイ構造が押し込まれる速度を制御することで、硬さを表現してもよい。
　本実施の形態に係る触覚伝送システムによれば、離間された位置にある対象物の触覚情報を取得することができる。
＜第２の実施の形態＞
　本発明の第２の実施の形態係る触覚伝送システムについて説明する。本実施の形態に係る触覚伝送システムは、温度ディスプレイが第１の実施の形態と異なる。その他の構成は、第１の実施の形態と同様である。
＜触覚伝送システムの構成＞
　本実施の形態に係る触覚伝送システムにおいて、温度ディスプレイ２３１は、視覚的なディスプレイにより構成される。詳細には、温度ディスプレイ２３１は、ＬＥＤディスプレイを備え、ＬＥＤディスプレイに、測定された温度のヒートマップを表示して温度を視覚的に表現する。
　または、センシング部２１の温度センサ２１１で複数の箇所の温度データを取得し、それぞれの温度データに基づき、ピン型アレイ構造におけるピンごとに異なる温度を表示してもよい。
　本実施の形態では、視覚的な温度表示として、ＬＥＤディスプレイやピン型アレイ構造におけるピンに色を表示する例を示したが、これに限らない。プロジェクター等によりヒートマップを投影してもよい。
　ピン型アレイ構造に温度を表示する場合には、分解能を向上させる場合や大規模なディスプレイを構成する場合に、アレイ数が増加して、実装コストが増加する。
　一方、本実施の形態では、プロジェクター等により視覚的に表示することにより実装コストを低減できる。
　このように、本実施の形態に係る触覚伝送システムは、センシング部で取得された触覚情報を視覚情報に変換して、触覚と触覚以外の情報（視覚情報）を組み合わせてディスプレイ部でマルチモーダル表示を実現できる。
　本実施の形態に係る触覚伝送システムによれば、離間された位置にある対象物の触覚情報を取得することができる。
＜第３の実施の形態＞
　本発明の第３の実施の形態係る触覚伝送システムについて、図４を参照して説明する。本実施の形態に係る触覚伝送システムは、温度ディスプレイと形状ディスプレイと硬さディスプレイとが第１の実施の形態と異なる。その他の構成は、第１の実施の形態と同様である。
＜触覚伝送システムの構成＞
　本実施の形態に係る触覚伝送システムにおけるディスプレイ部３３は、図４に示すように、温度ディスプレイ３３１と、形状ディスプレイ３３２と、硬さディスプレイ３３３と、ディスプレイ制御部３３４（図示せず）とを備える。
　また、ＬＥＤディスプレイ等のディスプレイ画面３３７を備え、取得した温度データおよび形状データが視覚的にマルチモーダル表示される。
　温度ディスプレイ３３１は、ディスプレイ画面３３７にヒートマップとして、対象物１の温度を色で視覚的に表示する。
　形状ディスプレイ３３２は、ディスプレイ画面３３７に形状イメージを視覚的に表示する。ここで、形状イメージは、対象物１の撮影された画像若しくは映像、又は画像若しくは映像に基づき作成された３Ｄモデルである。
　硬さディスプレイ３３３は、操作部３３８としてジョイスティックを備える。操作部３３８の動作は、ディスプレイ制御部３３４（図示せず）により、硬さデータに応じて制御される。
　硬さディスプレイ３３３では、使用者が操作部３３８を操作するとディスプレイ画面３３７におけるポインタ３３９が連動し、ポインタ３３９の示す箇所（部位）の硬さを操作部３３８の動きやすさで表現する。
　例えば、ポインタ３３９の示す部位が硬い場合には、操作部３３８を操作すると操作部３３８の動きに対する反発力が大きく、操作部３３８の動きやすさが低下するように制御される。
　一方、ポインタ３３９の示す部位が柔らかい場合には、操作部３３８を操作すると操作部３３８の動きに対する反発力が小さく、操作部３３８の動きやすさが向上するように制御される。
　このように、ディスプレイ部３３が、形状イメージにおける所定の位置の硬さに応じて、操作部３３８の動きを契機として、操作部３３８での反発力を変化させる。その結果、硬さディスプレイ３３３では、操作部３３８の動きの変化により、センシング部側の対象物１の硬さを表示（感知）できる。
　このように、本実施の形態に係る触覚伝送システムは、センシング部で取得された触覚情報を視覚情報に変換して、触覚と触覚以外の情報（視覚情報）を組み合わせてディスプレイ部でマルチモーダル表示を実現できる。
　本実施の形態に係る触覚伝送システムによれば、離間された位置にある対象物１の触覚情報を取得することができる。
　本実施の形態では、操作部３３８にジョイスティックを用いる例を示したが、これに限らず、レバー、ハンドル、マウス等を用いてもよい。
＜第４の実施の形態＞
　本発明の第４の実施の形態係る触覚伝送システムについて、図５を参照して説明する。本実施の形態に係る触覚伝送システムでは、硬さディスプレイが第３の実施の形態と異なる。その他の構成は、第３の実施の形態と同様である。
＜触覚伝送システムの構成＞
　本実施の形態に係る触覚伝送システムにおいて、図５に示すように、温度や形状とともに、硬さが視覚的に表示される。
　ディスプレイ部４３において、温度ディスプレイ４３１と形状ディスプレイ４３２は、第３の実施の形態と同様である。
　硬さディスプレイ４３３は、操作部４３８としてマウス等のポインタ操作デバイスを有する。ポインタ操作デバイス４３８は、ディスプレイ画面４３７上のポインタ４３９を操作する。ディスプレイ画面４３７上のポインタ４３９の動きは、ディスプレイ制御部４３４（図示せず）により、硬さデータに応じて制御される。
　硬さディスプレイ４３３では、画面４３７上のポインタ４３９をポインタ操作デバイス４３８により操作すると、ポインタ４３９の動きが硬さデータに応じて変化する。ここで、ポインタ操作デバイス４３８側の動きは硬さデータに応じて変化しない一方、画面４３７上のポインタ４３９の動きが硬さデータに応じて変化する。
　その結果、視覚的触覚効果により触覚情報を感知できる。視覚的触覚効果は、人間の錯覚を利用したものであり、ポインタ４３９の動きが操作デバイス４３８の動きと追従しないときに硬さや重さとして知覚されるものである。
　ここで、硬さディスプレイ４３３において、ポインタ４３９の動きが操作デバイス４３８の動きに全く追従しないと使用者がポインタ４３９を操作して硬さを感知できない。そこで、ディスプレイ画面４３７全体でのポインタ４３９の動作は操作デバイス４３８の動きに追従しつつ、対象物１にポインタ４３９が触れるときにのみポインタ４３９の動作を硬さデータに応じて変化するように制御される。
　例えば、対象物１（部位）が硬い場合には、その部位までポインタ４３９を動かすと、ポインタ４３９の動作が遅くなる。換言すれば、ポインタ操作デバイス４３８の移動距離当たりのポインタ４３９の移動距離が減少する。
　一方、対象物１（部位）が柔らかい場合には、その部位までポインタ４３９を動かすと、ポインタ４３９の動作が速くなる。換言すれば、ポインタ操作デバイス４３８の移動距離当たりのポインタ４３９の移動距離が増加する。
　このように、ディスプレイ部４３が、形状イメージにおける所定の位置の硬さに応じて、操作部４３８の動きを契機として、ポインタ４３９の動きを変化させる。その結果、硬さディスプレイ４３３では、ポインタ４３９の動きの変化により、センシング部側の対象物１の硬さを表示（感知）できる。
　本実施の形態では、硬さを、硬さディスプレイで視覚的な触覚効果により表示（感知）する例を示したが、これに限らない。硬さを、形状ディスプレイで視覚的な触覚効果により表示（感知）してもよい。
　詳細には、画面上でポインタが３Ｄモデルに触れるときに、画面上の３Ｄモデルの形状の変化により硬さを表現する。このとき、使用者が全てのポインタの動作を操作するのではなく、使用者が画面上で、センシングする対象物１の箇所を指定すると、ポインタは速度を変化させて複数回、指定箇所に触れる。この触れ方に応じて、対象物１の３Ｄモデルの形状が変化するので、視覚的に硬さを感知できる。
　このように、ディスプレイ部４３が、形状イメージにおける所定の位置の硬さに応じて、操作部４３８の動きを契機として、形状イメージ（３Ｄモデル）の形状を変化させる。その結果、硬さディスプレイ４３３では、形状イメージ（３Ｄモデル）の形状の変化により、センシング部側の対象物１の硬さを表示（感知）できる。
　このように、本実施の形態に係る触覚伝送システムは、センシング部で取得された触覚情報を視覚情報に変換して、触覚以外の情報（視覚情報）によりディスプレイ部で表示できる。
　本実施の形態に係る触覚伝送システムによれば、離間された位置にある対象物の触覚情報を取得することができる。
　本実施の形態では、操作部４３８にマウスを用いる例を示したが、これに限らず、レバー、ハンドル、ジョイスティック等を用いてもよい。
　本発明の実施の形態では、温度、形状、硬さを視覚的に表示する画面として、ＬＥＤディスプレイ等のディスプレイ画面を用いる例を示したが、これに限らず、その画面としてプロジェクター等により温度、形状、硬さを視覚的に投影した画面を用いてもよい。
　本発明の実施の形態では、各種センサ（温度センサ、形状センサ、硬さセンサ）と各種ディスプレイ（温度ディスプレイ、形状ディスプレイ、硬さディスプレイ）との組み合わせの例を示したが、組み合わせはこれらに限らず、他の組み合わせでもよい。
　本発明の実施の形態では、ディスプレイ部が、温度のみを視覚的に表示する例と、温度と形状を視覚的に表示する例と、温度と形状と硬さを視覚的に表示する例とを示したが、これらに限らず、形状のみを視覚的に表示してもよく、形状と硬さを視覚的に表示してもよく、温度と、形状と、硬さとの少なくともいずれかを視覚的に表示してもよい。
　本発明の実施の形態では、触覚伝送システムの構成において、各構成部の構造、寸法、材料等の一例を示したが、これに限らない。触覚伝送システムの機能を発揮し効果を奏するものであればよい。
　本発明は、遠隔コミュニケーション、遠隔医療等において、触覚センサを用いた伝送システムに適用することができる。
１０　触覚伝送システム
１１　センシング部
１２　伝送部
１３　ディスプレイ部
１１１　温度センサ
１１２　形状センサ
１１３　硬さセンサ
１１４　センサ制御部
１３１　温度ディスプレイ
１３２　形状ディスプレイ
１３３　硬さディスプレイ
１３４　ディスプレイ制御部

Claims (8)

  1. 　対象物から触覚情報に関するデータを取得するセンシング部と、
    　伝送部を介して、前記センシング部と離間して接続するディスプレイ部とを備え、
    　前記センシング部が、前記対象物の温度データを取得する温度センサと、前記対象物の形状データを取得する形状センサと、前記対象物の硬さデータを取得する硬さセンサとの少なくともいずれかを有し、
    　前記ディスプレイ部が、温度と、形状と、硬さとの少なくともいずれかを表示する
    　ことを特徴とする触覚伝送システム。
  2. 　前記ディスプレイ部が、ペルチェ素子を用いて、前記温度データに応じて熱として温度を表示する
    　ことを特徴とする請求項１に記載の触覚伝送システム。
  3. 　複数のピンを有するピン型アレイ構造を備える
    　ことを特徴とする請求項１又は請求項２に記載の触覚伝送システム。
  4. 　前記ディスプレイ部が、前記画像又は動画から作成された３Ｄモデルの形状データに基づき、前記ピンを鉛直方向に動作させて形状を表示する
    　ことを特徴とする請求項３に記載の触覚伝送システム。
  5. 　前記ディスプレイ部が、前記硬さデータに基づき、前記ピン型アレイ構造の下に配置される弾性機構の弾性を変化させて硬さを表示する
    　ことを特徴とする請求項４に記載の触覚伝送システム。
  6. 　前記ディスプレイ部が、温度と、形状と、硬さとの少なくともいずれかを視覚的に表示する
    　ことを特徴とする請求項１に記載の触覚伝送システム。
  7. 　形状イメージを表示する画面と、
    　前記画面におけるポインタを動作させる操作部とを備え、
    　前記ディスプレイ部が、前記形状イメージにおける所定の位置の硬さに応じて、前記操作部の動きを契機として、前記操作部での反発力と、前記ポインタの動きと、前記形状イメージの形状とのいずれかを変化させる
    　ことを特徴とする請求項６に記載の触覚伝送システム。
  8. 　前記ディスプレイ部が、温度と、形状と、硬さとの少なくともいずれかを視覚的に表示し、触覚的に表示しない
    　ことを特徴とする請求項１に記載の触覚伝送システム。
PCT/JP2021/019975 2021-05-26 2021-05-26 触覚伝送システム WO2022249322A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/019975 WO2022249322A1 (ja) 2021-05-26 2021-05-26 触覚伝送システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/019975 WO2022249322A1 (ja) 2021-05-26 2021-05-26 触覚伝送システム

Publications (1)

Publication Number Publication Date
WO2022249322A1 true WO2022249322A1 (ja) 2022-12-01

Family

ID=84228645

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019975 WO2022249322A1 (ja) 2021-05-26 2021-05-26 触覚伝送システム

Country Status (1)

Country Link
WO (1) WO2022249322A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11203019A (ja) * 1998-01-16 1999-07-30 Fuji Xerox Co Ltd 触覚ディスプレイ
US6147674A (en) * 1995-12-01 2000-11-14 Immersion Corporation Method and apparatus for designing force sensations in force feedback computer applications
JP2005234881A (ja) * 2004-02-19 2005-09-02 Nec Corp 触圧覚提示携帯端末及び方法
JP2019198939A (ja) * 2018-05-18 2019-11-21 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 触覚センサ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6147674A (en) * 1995-12-01 2000-11-14 Immersion Corporation Method and apparatus for designing force sensations in force feedback computer applications
JPH11203019A (ja) * 1998-01-16 1999-07-30 Fuji Xerox Co Ltd 触覚ディスプレイ
JP2005234881A (ja) * 2004-02-19 2005-09-02 Nec Corp 触圧覚提示携帯端末及び方法
JP2019198939A (ja) * 2018-05-18 2019-11-21 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 触覚センサ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HANDA, TAKUYA ET AL.: "Tactile Representation Technology for Conveying Object Shape and Hardness", SCIENCE & TECHNOLOGY RESEARCH LABORATORIES, vol. 154, 15 November 2015 (2015-11-15), pages 38 - 45 *

Similar Documents

Publication Publication Date Title
KR102276173B1 (ko) 공간-의존 콘텐츠를 위한 햅틱 효과 생성
JP6431126B2 (ja) モバイルデバイス上での共有されたフィードバックのための双方向性モデル
US9983676B2 (en) Simulation of tangible user interface interactions and gestures using array of haptic cells
US9619033B2 (en) Interactivity model for shared feedback on mobile devices
US8754910B2 (en) Mouse having pan, zoom, and scroll controls
CN114080585A (zh) 在人工现实环境中使用外围设备的虚拟用户界面
WO2015121970A1 (ja) 教育用触感提供装置、及び、システム
US20120206419A1 (en) Collapsible input device
US20180011538A1 (en) Multimodal haptic effects
JP3995752B2 (ja) マンマシン・インタフェースの入力装置
WO2008127847A1 (en) Method and apparatus for providing an interactive control system
JP2017097438A (ja) 触感提供装置、及び、触感提供システム
WO2022249322A1 (ja) 触覚伝送システム
WO2021029256A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US9229550B1 (en) Physically modifying a configurable user interface
TWI744589B (zh) 視訊互動系統
US9195315B2 (en) Interactive control device and system including an integrated display
JP4427968B2 (ja) インタラクティブ型形状及び画像表示装置および画像表示システム
US20140364731A1 (en) Ultrasound imaging system image identification and display
US20220234212A1 (en) Input devices having a deformable membrane and methods of using the same
Abad et al. An untethered multimodal haptic hand wearable
WO2023105706A1 (ja) 触覚提示デバイスおよび制御方法
Yamazaki et al. Visuo-Tactile Interaction with Virtual Objects that Yields Kinetic Effects on Real Objects

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21942976

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21942976

Country of ref document: EP

Kind code of ref document: A1