WO2023105706A1 - 触覚提示デバイスおよび制御方法 - Google Patents

触覚提示デバイスおよび制御方法 Download PDF

Info

Publication number
WO2023105706A1
WO2023105706A1 PCT/JP2021/045307 JP2021045307W WO2023105706A1 WO 2023105706 A1 WO2023105706 A1 WO 2023105706A1 JP 2021045307 W JP2021045307 W JP 2021045307W WO 2023105706 A1 WO2023105706 A1 WO 2023105706A1
Authority
WO
WIPO (PCT)
Prior art keywords
circuit
tactile
pressing force
hardness
tactile sense
Prior art date
Application number
PCT/JP2021/045307
Other languages
English (en)
French (fr)
Inventor
敏輝 和田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/045307 priority Critical patent/WO2023105706A1/ja
Publication of WO2023105706A1 publication Critical patent/WO2023105706A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a tactile presentation technology that presents a virtual tactile sensation by driving a tactile presentation device.
  • HMD head mounted display
  • a tactile presentation device is configured to present cutaneous feedback, that is, virtual tactile sensation, to a person by tactile sensations such as force, vibration, and temperature by driving a tactile presentation device such as a vibration device or Peltier Device. It is
  • Non-Patent Document 1 describes a remote communication system in which tactile presentation devices comprising communication equipment having screens, contact sensors, and vibrators are interconnected via the Internet.
  • this remote communication system when a person touches one screen, the vibration is detected by one communication device via the contact sensor. This vibration is notified to the other communication device via the Internet to drive the vibrator. As a result, the other screen vibrates and is transmitted to the other person as a tactile sensation.
  • the vibrator outputs vibrations corresponding to the hardness of the material, presenting different tactile sensations.
  • the tactile presentation device described in the prior art of Non-Patent Document 1 different tactile sensations can be presented according to the hardness of the material of the object.
  • the actual tactile sensation changes depending on the strength of the force generated at the time of touching, and a strong tactile sensation is felt by a strong touch, and a weak tactile sensation is felt by a weak touch.
  • the tactile sense presentation device described above merely presents an absolute constant hardness for each material, and the presented tactile sense does not change even if the force generated when touching the object differs. Therefore, there is a problem that a highly realistic virtual tactile sensation cannot be presented.
  • the present invention is intended to solve such problems, and aims to provide a tactile presentation device capable of presenting a tactile sensation according to the force generated when an object is touched.
  • a tactile presentation device comprises a storage device for storing image data representing an object, and displaying the object on a screen based on the image data.
  • a screen display circuit configured to present a tactile sensation corresponding to the hardness of the object to a person; and a pressing force generated when a person touches the tactile sensation presentation circuit.
  • the tactile sense presented by the tactile sense presentation circuit is changed based on the configured pressing force detection circuit and the hardness of the object and the pressing force detected by the pressing force detection circuit.
  • a control method is a control method used in a tactile sense presentation device including a storage device, a screen display circuit, a tactile sense presentation circuit, a pressing force detection circuit, and a control circuit
  • the storage device comprises an object a screen display step, wherein the screen display circuit is configured to display the object on a screen based on the image data
  • the tactile sense presentation circuit is a tactile sense presenting step configured to present a tactile sense to a person according to the hardness of the object
  • the control circuit changes the tactile sense presented by the tactile sense presentation circuit based on the hardness of the object and the pressing force detected by the pressing force detection circuit. and a control step configured to.
  • a tactile presentation device that presents a tactile sensation according to the force generated when touching an object.
  • FIG. 1 is a block diagram showing the configuration of a tactile presentation device according to this embodiment.
  • FIG. 2 is an explanatory diagram showing the operation of the tactile presentation device.
  • FIG. 3 is a sequence diagram of the control method of the tactile presentation device.
  • FIG. 4 is an explanatory diagram showing the amount of displacement of the contact portion.
  • FIG. 5 is an explanatory diagram showing the amount of adjustment displacement of the contact portion.
  • FIG. 1 is a block diagram showing the configuration of a tactile presentation device according to this embodiment.
  • the tactile sense presentation device 10 is a device that presents cutaneous feedback, ie, virtual tactile sense, to a person by the tactile sense of force.
  • the tactile sense presentation device 10 based on the hardness of the arbitrary position selected by the person from the object and the pressing force pressed by the person, when the person presses the arbitrary position of the object
  • the present invention is not limited to this.
  • a configuration for a person to select an arbitrary position from the object or a configuration for acquiring the hardness of the selected arbitrary position. can be omitted.
  • the tactile sense presentation device 10 includes, as main circuit configurations, a communication interface (hereinafter referred to as communication I/F) 11, a storage device 12, an operation circuit 13, a screen display circuit 14, a tactile sense presentation circuit 15, A pressing force detection circuit 16 and a control circuit 17 are provided.
  • communication I/F communication interface
  • storage device 12 an operation circuit 13
  • operation circuit 13 a screen display circuit 14
  • tactile sense presentation circuit 15 A pressing force detection circuit 16 and a control circuit 17 are provided.
  • the communication I/F 11 performs data communication with the information storage device 20 via a communication network NW such as the Internet, thereby obtaining various processing data such as the hardness of an object that the tactile sense presentation device 10 uses when presenting a tactile sense. is configured to obtain
  • the information storage device 20 comprises, for example, a server device, and includes image data DV consisting of an image V representing the appearance and shape of an object, hardness data DO representing hardness O at each position of the object, and the tactile sense presentation circuit 15. It stores adjustment characteristic data DG indicating the characteristics of the adjustment coefficient g(F) according to the pressing force of a person, regarding the amount of displacement of the contact portion 15A provided in the .
  • the information storage device 20 stores, in response to a request from the tactile presentation device 10 via the communication network NW, the object image V of the designated object, the hardness O related to the designated object and position, and the designated pressure. It is configured to present an adjustment factor g(F) according to the pressure F.
  • the storage device 12 is a storage device such as a hard disk or a semiconductor memory, and is configured to store various processing data and programs 12P used when the tactile sense presentation device 10 presents tactile sense.
  • Processing data stored in the storage device 12 includes image data DV, hardness data DO, and adjustment characteristic data DG.
  • Image data DV, hardness data DO, and adjustment characteristic data DG are equivalent to DV, DO, and DG stored in information storage device 20, and are stored in at least one of information storage device 20 and storage device 12, respectively. You should memorize it.
  • the information storage device 20 can be regarded as the storage device 12 externally connected to the tactile presentation device 10 via the communication I/F 11 and the communication network NW, and the information storage device 20 stores DV, DO, and DG. By doing so, it can be shared by a plurality of tactile presentation devices 10 and centrally managed. If DV, DO, and DG are stored in the storage device 12, the tactile sense can be presented from the tactile sense presentation device 10 in a stand-alone manner.
  • the adjustment characteristic data DG is a characteristic indicating an adjustment coefficient for the amount of displacement of the contact portion 15A provided in the tactile sense presentation circuit 15, according to the pressing force of the person. Since DG is represented by a function g(F) with the pressing force F of a person as a variable, it may be stored as a specific function expression, and represents the relationship between the pressing force F and the adjustment coefficient g(F). It may be stored as a table.
  • a program 12P stored in the storage device 12 cooperates with the CPU of the control circuit 17 to realize various processing units used for tactile sense presentation processing in the control circuit 17.
  • This program 12P is read in advance from an external device or recording medium (both not shown) connected to the tactile presentation device 10 and stored in the storage device 12 .
  • the operation circuit 13 is composed of a pointing device such as a mouse or a touch panel, and is configured to detect human operations and output them to the control circuit 17 .
  • Operations detected by the operation circuit 13 include a pointer operation for moving the position of the pointer displayed on the screen of the screen display circuit 14 and a switching operation for switching the operation of the control circuit 17 .
  • the screen display circuit 14 consists of a screen display device such as an LCD, and displays various screens such as an operation menu screen and a setting screen in addition to an image V showing the appearance and shape of an object according to instructions from the control circuit 17. is configured to
  • the tactile sensation presentation circuit 15 has a contact portion 15A whose pressed position is displaced in accordance with a person's pressing. is configured to present a tactile sensation according to the
  • the pressing force detection circuit 16 is composed of a sensing device such as a pressure sensor, and is configured to detect the pressing force of a person on the contact portion 15A and output it to the control circuit 17 .
  • the control circuit 17 is configured to change the tactile sense presented by the tactile sense presentation circuit 15 based on the hardness of the object and the human pressing force detected by the pressing force detection circuit 16 . Specifically, the control circuit 17 displays on the screen of the screen display circuit 14 based on the image data DV of the storage device 12, and the display position of the pointer on the screen according to the pointer operation detected by the operation circuit 13. is changed to a new position, and the tactile sensation presented by the tactile sense presentation circuit 15 is changed based on the hardness of the new position of the object and the pressing force detected by the pressing force detection circuit 16 .
  • the control circuit 17 changes the display position of the pointer on the screen to a new position according to the pointer operation detected by the operation circuit 13 by the switching operation detected by the operation circuit 13, and
  • the operation of changing the tactile sensation presented by the tactile sensation presentation circuit 15 may be switched based on the hardness of the new position of the object and the pressing force detected by the pressing force detection circuit 16 .
  • the control circuit 17 has a CPU and its peripheral circuits, reads out the program 12P from the storage device 12, executes it by the CPU, and cooperates with the CPU and the program 12P, so that the tactile sense presentation processing in the control circuit 17 is performed. It implements the various processing units that are used.
  • FIG. 2 is an explanatory diagram showing the operation of the tactile presentation device.
  • FIG. 3 is a sequence diagram of the control method of the tactile presentation device.
  • the tactile sense presentation device 10 presents a tactile sense to a person based on the image data DV, the hardness data DO, and the adjustment characteristic data DG stored in the storage device 12 will be described as an example.
  • the DV, DO, and DG stored in the information storage device 20 they can be obtained from the information storage device 20 via the communication I/F 11 and the communication network NW as described above.
  • the storage device 12 stores image data DV, hardness data DO, and adjustment characteristic data DG (storage step 100).
  • the control circuit 17 of the tactile sense presentation device 10 acquires the image data DV from the storage device 12, and displays the image V representing the appearance and shape of the object T on the screen of the screen display circuit 14 based on the image data DV ( Screen display step 104).
  • the tactile sense presentation device 10 is a device that tactilely presents a tactile sense when the object T is touched, but can also visually present the object T, and is a visual and tactile multimodal device. I can say.
  • the captured image of the object T is projected as it is, or the object T is displayed as 3D data, so that the shape of the object can be visually grasped.
  • the shape of the object can be confirmed from any 360-degree viewpoint, so that the condition of the affected area can be visually grasped in the medical field.
  • display methods include a method of arranging 3D data and images side by side, a method of switching modes, and a method of superimposing them. Moreover, it is most desirable that images of an actual object shot from a plurality of viewpoints are converted into 3D images without impairing the actual texture.
  • This image V includes a pointer P for selecting a position to be touched by a person.
  • the control circuit 17 calculates a new position DP of the pointer P displayed on the screen according to the pointer operation C, and changes the display position of the pointer.
  • the changed image V is displayed at the new position DP (screen display step 112).
  • the operation circuit 13 can operate the position of the pointer P, and enables free operation such as left/right, up/down, and front/rear. It is designed to work in conjunction with the screen like a trackpad or mouse.
  • the operation circuit 13 switches the operation mode of the control circuit 17 between an operation mode in which the pointer P is moved and an operation mode in which the screen display circuit 14 displays the hardness O of the current position of the pointer P.
  • the operation circuit 13 has a function of sensing a person's movement, it is possible to switch modes by a specific interaction.
  • the mode switching operation can be freely defined, such as when an operation such as double-clicking or long-pressing is performed.
  • an operation such as double-clicking or long-pressing is performed.
  • the control circuit 17 acquires the hardness O corresponding to the calculated new position DP from the hardness data DO of the storage device 12.
  • the tactile sense presentation circuit 15 is configured to present to a person a tactile sense corresponding to the hardness O of the object T based on the instruction from the control circuit 17 (tactile sense presentation step 132).
  • the control circuit 17 acquires the pressing force F from the pressing force detection circuit 16, Based on the pressure O and the pressing force F, the tactile sensation presented by the tactile sense presentation circuit 15 is changed (control step 132). At this time, the control circuit 17 calculates the displacement amount L of the contact portion 15A based on the hardness O and the pressing force F, and displaces the pressing position of the contact portion 15A by the displacement amount L.
  • FIG. 4 is an explanatory diagram showing the amount of displacement of the contact portion.
  • control circuit 17 acquires an adjustment coefficient g(F) corresponding to the pressing force F based on the adjustment characteristic data DG of the storage device 12, and based on the adjustment coefficient g(F), the hardness O and the pressing force are obtained.
  • the displacement amount L obtained from the product with the pressure F may be adjusted, and the pressed position of the contact portion 15A may be displaced by the obtained adjusted displacement amount L'.
  • FIG. 5 is an explanatory diagram showing the amount of adjustment displacement of the contact portion.
  • the tactile sensation obtained when a person touches an object with a certain hardness O changes depending on the strength of the force generated at the time of touching.
  • Feel tactile When this tactile sensation is changed by the displacement amount L of the contact portion 15A, the relationship between the pressing force F and the displacement amount L may not be a linear relationship with hardness O as a coefficient, but a non-linear relationship. Therefore, by adjusting the displacement amount L using the adjustment coefficient g(F) with the pressing force F as a variable, it is possible to cope with the case where the pressing force F and the displacement amount L have a non-linear relationship. . This makes it possible to present a more realistic tactile sensation.
  • the tactile sense presentation device 10 includes a screen display circuit 14 configured to display an object on the screen, and a tactile sense corresponding to the hardness of the object to be presented to a person.
  • a tactile sense presentation circuit 15 configured and a pressing force detection circuit 16 configured to detect a pressing force generated when a person touches the tactile sense presentation circuit 15. The tactile sense presented by the tactile sense presentation circuit 15 is changed based on the pressing force detected by the pressing force detection circuit 16 .
  • the repulsive force generated when a person touches the object is adaptively changed.
  • a relative tactile sensation corresponding to pressure can be presented to a person.
  • the tactile sense presentation device 10 further includes an operation circuit 13 configured to detect a pointer operation for moving the position of the pointer displayed on the screen, and the control circuit 17 is detected by the operation circuit 13.
  • the display position of the pointer on the screen is changed to a new position according to the pointer operation, and the tactile sensation is presented based on the hardness O of the new position of the object and the pressing force F detected by the pressing force detection circuit 16. It may be configured to change the tactile sensation presented by circuit 15 .
  • the storage device 12 further stores the hardness data DO at each position of the object
  • the control circuit 17 stores the hardness O at the new position of the object as the hardness data DO in the storage device 12 .
  • the tactile sensation presented by the tactile sense presentation circuit 15 may be changed. This makes it possible to present a tactile sensation when an arbitrary position on the object is pressed.
  • control circuit 17 changes the display position of the pointer on the screen to a new position in accordance with the pointer operation detected by the operation circuit 13 by the switching operation detected by the operation circuit 13, and You may make it switch with the operation
  • the operation circuit 13 not only the position of the pointer can be changed, but also the hardness of the new position of the object can be displayed on the screen.
  • the tactile sense presentation circuit 15 has a contact portion 15A whose pressing position is displaced according to the pressing force of a person, and the control circuit 17 determines the displacement amount L of the contact portion 15A based on the hardness O and the pressing force F.
  • the control circuit 17 determines the displacement amount L of the contact portion 15A based on the hardness O and the pressing force F.
  • the storage device 12 further stores the adjustment characteristic data DG indicating the adjustment coefficient g(F) corresponding to the pressing force F of the person with respect to the displacement amount L of the contact portion 15A, and the control circuit 17 stores the adjustment characteristic data
  • the adjustment coefficient g(F) corresponding to the pressing force F is acquired from the storage device 12 based on DG, and the displacement amount L obtained from the product of the hardness O and the pressing force F is calculated based on the adjustment coefficient g(F).
  • the position of the contact portion 15A may be displaced by the adjustment displacement amount L′ obtained by adjustment.
  • the tactile sensation obtained when a person touches an object with a certain hardness O changes depending on the strength of the force generated at the time of touching.
  • Feel tactile When this tactile sensation is changed by the displacement amount L of the contact portion 15A, the relationship between the pressing force F and the displacement amount L may not be a linear relationship with hardness O as a coefficient, but a non-linear relationship. Therefore, by adjusting the displacement amount L using the adjustment coefficient g(F) with the pressing force F as a variable, it is possible to cope with the case where the pressing force F and the displacement amount L have a non-linear relationship. . This makes it possible to present a more realistic tactile sensation.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

触覚提示デバイス（１０）に、対象物を画面に表示するように構成された画面表示回路（１４）と、対象物の硬さに応じた触覚を人に提示するように構成された触覚提示回路（１５）と、触覚提示回路（１５）に人が触れた際に生じる押圧力を検出するように構成された押圧力検出回路（１６）とを備え、制御回路（１７）が、対象物の硬さと押圧力検出回路で検出された押圧力とに基づいて、触覚提示回路（１５）で提示する触覚を変更する。これにより、単に対象物の硬さに応じた絶対的な触覚ではなく、人が対象物に触れた際に生じる押圧力に対する反発力が変化するため、対象物に接触した際に生じる押圧力に応じた相対的な触覚を人に提示することが可能となる。

Description

触覚提示デバイスおよび制御方法
　本発明は、触覚提示デバイスを駆動させることにより仮想触覚を提示する触覚提示技術に関する。
　近年、コンピューターで生成された仮想的な世界を、人にあたかも現実のように体験させる、仮想現実（ＶＲ：Virtual Reality）の研究が進んでいる。また、この仮想現実を、映像や音による視覚、聴覚、触覚をリアルに再現できる仮想現実再現装置も開発されつつある。例えば、立体的な映像や音声を再現できる装置として、ヘッドマウントディスプレー（ＨＭＤ：Head Mounted Display）がある。
　一方、人の触覚を再現できるデバイスとして、触覚提示デバイスが注目されている。触覚提示デバイスは、振動デバイスやペルチェ素子（Peltier Device）などの触覚提示デバイスを駆動させることにより、力・振動・温度などの触覚によって、人に皮膚感覚フィードバック、すなわち仮想触覚を提示するように構成されている。
　従来、触覚提示デバイスは、遠隔コミュニケーションの触覚メディアへの利用も検討されている。非特許文献１には、スクリーン、接触センサ、振動子を有する通信機器からなる触覚提示デバイスが、インターネットを介して相互に接続された遠隔コミュニケーションシステムが記載されている。この遠隔コミュニケーションシステムでは、一方のスクリーンを人が触れるとその振動が接触センサを介して一方の通信機器で検出される。この振動はインターネットを介して他方の通信機器に通知されて振動子が駆動される。これにより、他方のスクリーンが振動して他方の人に触覚として伝わる。また、人がスクリーン上で異なる素材の対象物に触れると、その素材の硬さに応じた振動が振動子から出力されて、異なる触感が提示される。
　非特許文献１の従来技術に記載の触覚提示デバイスによれば、対象物の素材の硬さに応じた異なる触感を提示できる。ここで、実際の触覚は、触れる際に生じる力の強さによって変化するものであり、人は強く触れると強い触覚を感じ、弱く触れると弱い触覚を感じる。しかし、前述の触覚提示デバイスでは、素材ごとの絶対的な一定の硬さを提示しているに過ぎず、対象物に触れる際に生じる力が異なっても提示される触覚は変化しない。このため、リアリティの高い仮想触覚を提示することができないという問題点があった。
　本発明はこのような課題を解決するためのものであり、対象物に触れる際に生じる力に応じた触覚を提示できる触覚提示デバイスを提供することを目的としている。
　このような目的を達成するために、本発明にかかる触覚提示デバイスは、対象物を示す画像データを記憶する記憶装置と、前記画像データに基づいて前記対象物を画面に表示するように構成された画面表示回路と、前記対象物の硬さに応じた触覚を人に提示するように構成された触覚提示回路と、前記触覚提示回路に人が触れた際に生じる押圧力を検出するように構成された押圧力検出回路と、前記対象物の硬さと前記押圧力検出回路で検出された前記押圧力とに基づいて、前記触覚提示回路で提示する触覚を変更するように構成されている。
　また、本発明にかかる制御方法は、記憶装置、画面表示回路、触覚提示回路、押圧力検出回路、および制御回路を備える触覚提示デバイスで用いられる制御方法であって、前記記憶装置が、対象物を示す画像データを記憶するように構成された記憶ステップと、前記画面表示回路が、前記画像データに基づいて前記対象物を画面に表示するように構成された画面表示ステップと、前記触覚提示回路が、前記対象物の硬さに応じた触覚を人に提示するように構成された触覚提示ステップと、前記押圧力検出回路が、前記触覚提示回路に人が触れた際に生じる押圧力を検出するように構成された押圧力検出ステップと、前記制御回路が、前記対象物の硬さと前記押圧力検出回路で検出された前記押圧力とに基づいて、前記触覚提示回路で提示する触覚を変更するように構成された制御ステップとを備えている。
　本発明によれば、対象物に触れる際に生じる力に応じた触覚を提示する触覚提示デバイスを提供することができる。
図１は、本形態にかかる触覚提示デバイスの構成を示すブロック図である。 図２は、触覚提示デバイスの動作を示す説明図である。 図３は、触覚提示デバイスの制御方法のシーケンス図である。 図４は、接触部の変位量を示す説明図である。 図５は、接触部の調整変位量を示す説明図である。
　次に、本発明の実施の形態について図面を参照して説明する。本発明は、以下に説明する実施の形態に限定されるものではない。
［本実施の形態］
　まず、図１を参照して、本実施の形態にかかる触覚提示デバイス１０について説明する。図１は、本形態にかかる触覚提示デバイスの構成を示すブロック図である。触覚提示デバイス１０は、力の触覚によって人に皮膚感覚フィードバック、すなわち仮想触覚を提示する装置である。
　本実施の形態では、触覚提示デバイス１０が、対象物のうちから人が選択した任意の位置の硬さと人が押下した押圧力とに基づいて、人が対象物の任意の位置を押下した際に得られる触覚を仮想的に提示する場合を例として説明するが、これに限定されるものではない。例えば、対象物の硬さがいずれの位置でも一定である場合、人が対象物のうちから任意の位置を選択するための構成や、選択した任意の位置に関する硬さを取得するための構成を省くことができる。
　図１に示すように、触覚提示デバイス１０は、主な回路構成として、通信インターフェース（以下、通信Ｉ／Ｆという）１１、記憶装置１２、操作回路１３、画面表示回路１４、触覚提示回路１５、押圧力検出回路１６、および制御回路１７を備えている。
［通信Ｉ／Ｆ］
　通信Ｉ／Ｆ１１は、インターネットなどの通信網ＮＷを介して情報記憶装置２０とデータ通信を行うことにより、対象物の硬さなど、触覚提示デバイス１０が、触覚を提示する際に用いる各種処理データを取得するように構成されている。
［情報記憶装置］
　情報記憶装置２０は、例えばサーバ装置からなり、対象物の外観や形状を示す画像Ｖからなる画像データＤＶ、対象物の各位置における硬さＯを示す硬さデータＤＯ、および、触覚提示回路１５に設けられた接触部１５Ａの変位量に関する、人の押圧力に応じた調整係数ｇ（Ｆ）の特性を示す調整特性データＤＧを記憶している。情報記憶装置２０は、通信網ＮＷを介した触覚提示デバイス１０からのリクエストに応じて、指定された対象物の対象物画像Ｖ、指定された対象物および位置に関する硬さＯ、指定された押圧力Ｆに応じた調整係数ｇ（Ｆ）を提示するように構成されている。
［記憶装置］
　記憶装置１２は、ハードディスクや半導体メモリなどの記憶装置からなり、触覚提示デバイス１０が、触覚を提示する際に用いる各種処理データやプログラム１２Ｐを記憶するように構成されている。記憶装置１２で記憶する処理データとして、画像データＤＶ、硬さデータＤＯ、および調整特性データＤＧがある。
　画像データＤＶ、硬さデータＤＯ、および調整特性データＤＧは、情報記憶装置２０が記憶するＤＶ、ＤＯ、ＤＧと同等であり、それぞれについて少なくとも情報記憶装置２０と記憶装置１２とのいずれか一方で記憶しておけばよい。情報記憶装置２０は、記憶装置１２が通信Ｉ／Ｆ１１および通信網ＮＷを介して触覚提示デバイス１０に外部接続されたものと捉えることができ、情報記憶装置２０でＤＶ、ＤＯ、ＤＧを記憶しておけば、複数の触覚提示デバイス１０で共用できるとともに一元管理できる。記憶装置１２でＤＶ、ＤＯ、ＤＧを記憶しておけば、スタンドアローンで触覚提示デバイス１０から触覚を提示できる。
　調整特性データＤＧは、触覚提示回路１５に設けられた接触部１５Ａの変位量に関する、人の押圧力に応じた調整係数を示す特性である。ＤＧは、人の押圧力Ｆを変数とする関数ｇ（Ｆ）で表されるため、具体的な関数式として記憶してもよく、押圧力Ｆと調整係数ｇ（Ｆ）との関係を示すテーブルとして記憶してもよい。
　記憶装置１２で記憶するプログラム１２Ｐは、制御回路１７のＣＰＵと協働することにより、制御回路１７での触覚提示処理に用いられる各種の処理部が実現される。このプログラム１２Ｐは、触覚提示デバイス１０に接続された外部装置や記録媒体（ともに図示せず）から、予め読み出されて記憶装置１２に保存される。
［操作回路］
　操作回路１３は、マウスやタッチパネルなどのポインティングデバイスからなり、人の操作を検出して制御回路１７へ出力するように構成されている。操作回路１３で検出される操作としては、画面表示回路１４の画面に表示されたポインタの位置を移動させるためのポインタ操作や、制御回路１７の動作を切り替えるための切替操作がある。
［画面表示回路］
　画面表示回路１４は、ＬＣＤなどの画面表示装置からなり、制御回路１７からの指示応じて、対象物の外観や形状を示す画像Ｖのほか、操作メニュー画面や設定画面などの各種画面を画面表示するように構成されている。
［触覚提示回路］
　触覚提示回路１５は、人の押圧に応じて押し込み位置が変位する接触部１５Ａを有し、制御回路１７からの指示に応じて接触部１５Ａの押し込み位置を変位させることにより、対象物の硬さに応じた触覚を提示するように構成されている。
［押圧力検出回路］
　押圧力検出回路１６は、圧力センサなどのセンシングデバイスからなり、接触部１５Ａに対する人の押圧力を検出して、制御回路１７へ出力するように構成されている。
［制御回路］
　制御回路１７は、対象物の硬さと押圧力検出回路１６で検出された人の押圧力とに基づいて、触覚提示回路１５で提示する触覚を変更するように構成されている。
　具体的には、制御回路１７は、記憶装置１２の画像データＤＶに基づいて画面表示回路１４の画面に表示し、操作回路１３で検出された人のポインタ操作に応じて画面におけるポインタの表示位置を新たな位置に変更し、対象物のうち新たな位置の硬さと押圧力検出回路１６で検出された押圧力とに基づいて、触覚提示回路１５で提示する触覚を変更する。
　この際、制御回路１７は、操作回路１３で検出された人の切替操作により、操作回路１３で検出されたポインタ操作に応じて画面におけるポインタの表示位置を新たな位置に変更する動作と、対象物のうち新たな位置の硬さと押圧力検出回路１６で検出された押圧力とに基づいて、触覚提示回路１５で提示する触覚を変更する動作とを切り替えるようにしてもよい。
　制御回路１７は、ＣＰＵおよびその周辺回路を有し、記憶装置１２のプログラム１２Ｐを読み出してＣＰＵで実行して、ＣＰＵとプログラム１２Ｐとを協働させることにより、制御回路１７での触覚提示処理に用いられる各種の処理部を実現する。
［本実施の形態の動作］
　次に、図２、３を参照して、本実施の形態にかかる触覚提示デバイス１０の動作について説明する。図２は、触覚提示デバイスの動作を示す説明図である。図３は、触覚提示デバイスの制御方法のシーケンス図である。
　ここでは、記憶装置１２で記憶する画像データＤＶ、硬さデータＤＯ、および調整特性データＤＧに基づいて、触覚提示デバイス１０が人に触覚を提示する場合を例として説明する。なお、情報記憶装置２０で記憶するＤＶ，ＤＯ，ＤＧを用いる場合、前述のように通信Ｉ／Ｆ１１および通信網ＮＷを介して情報記憶装置２０から取得すればよい。
　記憶装置１２には、画像データＤＶ、硬さデータＤＯ、および調整特性データＤＧが記憶されている（記憶ステップ１００）。触覚提示デバイス１０の制御回路１７は、記憶装置１２から画像データＤＶを取得し、この画像データＤＶに基づいて対象物Ｔの外観や形状を示す画像Ｖを画面表示回路１４の画面に表示する（画面表示ステップ１０４）。これにより、触覚提示デバイス１０は、対象物Ｔに触れた時の触覚を触覚的に提示するデバイスではあるが、対象物Ｔを視覚的にも提示でき、視覚的・触覚的なマルチモーダルなデバイスと云える。
　画面Ｖには、撮影された対象物Ｔの映像がそのまま投影されたり、対象物Ｔが３Ｄデータとして表示されたりすることにより視覚的に対象物の形状を把握することができる。特に３Ｄデータ化された場合は、３６０度どの視点からも対象物の形状を確認することができるため、医療などにおいては視覚的に患部の状況を把握することができる。
　一方で３Ｄデータ化された場合は、患部の色などの情報が抜け落ちてしまうため、映像（実写）とセットで提示されることが望ましい。その場合は、表示方法として、３Ｄデータと映像を並列させる方法や、モードを切り替える方法、重畳させる方法などがある。また、実際の対象物を複数の視点から撮影した映像から実際のテクスチャを損なわずに３Ｄ化されることが最も望ましい。
　この画像Ｖには、人が触る位置を選択するためのポインタＰが含まれている。制御回路１７は、操作回路１３で人のポインタ操作Ｃが検出された場合、そのポインタ操作Ｃに応じて、画面に表示されているポインタＰの新たな位置ＤＰを計算し、ポインタの表示位置を新たな位置ＤＰに変更した画像Ｖを表示する（画面表示ステップ１１２）。
　操作回路１３は、ポインタＰの位置を操作することが可能で、左右や上下、前後など自由に操作することを可能にする。トラックパッドやマウスなどのように画面内と連動するようになっている。
　この際、操作回路１３で、制御回路１７の動作モードを、ポインタＰを移動させる動作モードと、ポインタＰの現在位置の硬さＯを画面表示回路１４で画面表示させる動作モードとを、切り替えるようにしてもよい。操作回路１３には、人の動きをセンシングする機能があるため、特定のインタラクションによりモードを切り替えることが可能である。
　例えば、画面のうち対象物の触覚情報を提示可能な領域にポインタＰがある場合に、ダブルクリックや長押しなどの操作を行った場合など、モード切替操作を自由に定義することができる。モードの切り替えにより、人はポインタＰを動かして、対象物Ｔの任意の位置の硬さＯを知ることができる。
　制御回路１７は、操作回路１３で人のポインタ操作Ｃが検出された場合（操作ステップ１１０）、計算した新たな位置ＤＰと対応する硬さＯを記憶装置１２の硬さデータＤＯから取得する。触覚提示回路１５は、制御回路１７からの指示に基づいて、対象物Ｔの硬さＯに応じた触覚を人に提示するように構成されている（触覚提示ステップ１３２）。
　押圧力検出回路１６が触覚提示回路１５に人が触れた際に生じる押圧力を検出すると（押圧力検出ステップ１２０）、制御回路１７は、押圧力検出回路１６から押圧力Ｆを取得し、硬さＯと押圧力Ｆとに基づいて、触覚提示回路１５で提示する触覚を変更する（制御ステップ１３２）。この際、制御回路１７は、硬さＯと押圧力Ｆとに基づいて接触部１５Ａの変位量Ｌを計算し、変位量Ｌだけ接触部１５Ａの押し込み位置を変位させる
　図４は、接触部の変位量を示す説明図である。変位量Ｌは、硬さＯと押圧力Ｆの積Ｏ・Ｆで求められる。したがって、人が手Ｈで接触部１５Ａに押圧力Ｆで触れた場合、対象物Ｔの新たな位置ＤＰの硬さＯと押圧力Ｆの積からなる変位量Ｌ＝Ｏ・Ｆだけ接触部１５Ａが押し込まれることになる。
　これにより、単に対象物の硬さに応じた絶対的な触覚ではなく、人が対象物に触れた際に生じる押圧力Ｆに対する反発力が変化するため、対象物に接触した際に生じる押圧力Ｆに応じた相対的な触覚が人の手に提示されることになる。
　また、制御回路１７は、記憶装置１２の調整特性データＤＧに基づいて、押圧力Ｆに応じた調整係数ｇ（Ｆ）を取得し、その調整係数ｇ（Ｆ）に基づいて硬さＯと押圧力Ｆとの積から求めた変位量Ｌを調整し、得られた調整変位量Ｌ’だけ接触部１５Ａの押し込み位置を変位させるようにしてもよい。
　図５は、接触部の調整変位量を示す説明図である。調整変位量Ｌ’は、硬さＯと押圧力Ｆと調整係数ｇ（Ｆ）の積Ｌ＝Ｏ・Ｆ・ｇ（Ｆ）で求められる。したがって、人が手Ｈで接触部１５Ａに押圧力Ｆで触れた場合、対象物Ｔの新たな位置ＤＰの硬さＯと押圧力Ｆと調整係数ｇ（Ｆ）の積からなる調整変位量Ｌ＝Ｏ・Ｆだけ接触部１５Ａが押し込まれることになる。
　一般に、人がある硬さＯの対象物を触った際に得られる触覚は、触れる際に生じる力の強さによって変化するものであり、人は強く触れると強い触覚を感じ、弱く触れると弱い触覚を感じる。この触覚を接触部１５Ａの変位量Ｌで変化させる場合、押圧力Ｆと変位量Ｌとの関係は、硬さＯを係数とした線形な関係ではなく非線形な関係にある場合も考えられる。したがって、前述のように押圧力Ｆを変数とする調整係数ｇ（Ｆ）を用いて変位量Ｌを調整することにより、押圧力Ｆと変位量Ｌとが非線形な関係である場合にも対応できる。これにより、さらにリアリティのある触覚を提示することができる。
［本実施の形態の効果］
　このように、本実施の形態は、触覚提示デバイス１０に、対象物を画面に表示するように構成された画面表示回路１４と、対象物の硬さに応じた触覚を人に提示するように構成された触覚提示回路１５と、触覚提示回路１５に人が触れた際に生じる押圧力を検出するように構成された押圧力検出回路１６とを備え、制御回路１７が、対象物の硬さと押圧力検出回路１６で検出された押圧力とに基づいて、触覚提示回路１５で提示する触覚を変更するように構成したものである。
　これにより、単に対象物の硬さに応じた絶対的な触覚ではなく、人が対象物に触れた際に生じる押圧力に対する反発力がアダプティブに変化するため、対象物に接触した際に生じる押圧力に応じた相対的な触覚を人に対して提示することが可能となる。
　また、触覚提示デバイス１０に、画面に表示されたポインタの位置を移動させるためのポインタ操作を検出するように構成された操作回路１３をさらに備え、制御回路１７が、操作回路１３で検出されたポインタ操作に応じて画面におけるポインタの表示位置を新たな位置に変更し、対象物のうち新たな位置の硬さＯと押圧力検出回路１６で検出された押圧力Ｆとに基づいて、触覚提示回路１５で提示する触覚を変更するように構成してもよい。
　具体的には、記憶装置１２で、対象物の各位置における硬さデータＤＯをさらに記憶し、制御回路１７が、対象物のうち新たな位置の硬さＯを記憶装置１２の硬さデータＤＯから取得し、硬さＯと押圧力Ｆとに基づいて触覚提示回路１５で提示する触覚を変更するようにしてもよい。これにより、対象物の任意の位置を押下した際の触覚を提示することが可能となる。
　また、制御回路１７が、操作回路１３で検出された切替操作により、操作回路１３で検出されたポインタ操作に応じて画面におけるポインタの表示位置を新たな位置に変更する動作と、対象物のうち新たな位置の硬さを画面に表示する動作とを切り替えるようにしてもよい。これにより、操作回路１３での操作により、ポインタの位置変更だけでなく、対象物のうち新たな位置の硬さを画面に表示することができる。
　また、触覚提示回路１５が、人の押圧に応じて押し込み位置が変位する接触部１５Ａを有し、制御回路１７が、硬さＯと押圧力Ｆとに基づいて接触部１５Ａの変位量Ｌを計算し、変位量Ｌだけ接触部１５Ａの押し込み位置を変位させることにより、対象物の硬さＯに応じた触覚を提示するようにしてもよい。これにより、単に対象物の硬さＯに応じた絶対的な触覚ではなく、人が対象物に触れた際に生じる押圧力Ｆに対する反発力が変化するため、対象物に接触した際に生じる押圧力Ｆに応じた相対的な触覚を提示することができる。
　この際、記憶装置１２で、接触部１５Ａの変位量Ｌに関する、人の押圧力Ｆに応じた調整係数ｇ（Ｆ）を示す調整特性データＤＧをさらに記憶し、制御回路１７が、調整特性データＤＧに基づいて押圧力Ｆに応じた調整係数ｇ（Ｆ）を記憶装置１２から取得し、調整係数ｇ（Ｆ）に基づいて硬さＯと押圧力Ｆとの積から求めた変位量Ｌを調整し、得られた調整変位量Ｌ’だけ接触部１５Ａの押し込み位置を変位させるようにしてもよい。
　一般に、人がある硬さＯの対象物を触った際に得られる触覚は、触れる際に生じる力の強さによって変化するものであり、人は強く触れると強い触覚を感じ、弱く触れると弱い触覚を感じる。この触覚を接触部１５Ａの変位量Ｌで変化させる場合、押圧力Ｆと変位量Ｌとの関係は、硬さＯを係数とした線形な関係ではなく非線形な関係にある場合も考えられる。したがって、前述のように押圧力Ｆを変数とする調整係数ｇ（Ｆ）を用いて変位量Ｌを調整することにより、押圧力Ｆと変位量Ｌとが非線形な関係である場合にも対応できる。これにより、さらにリアリティのある触覚を提示することができる。
［実施の形態の拡張］
　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
　１０…触覚提示デバイス、１１…通信Ｉ／Ｆ、１２…記憶装置、１２Ｐ…プログラム、１３…操作回路、１４…画面表示回路、１５…触覚提示回路、１５Ａ…接触部、１６…押圧力検出回路、１７…制御回路、２０…情報記憶装置、ＮＷ…通信網、ＤＶ…画像データ、ＤＯ…硬さデータ、ＤＧ…調整特性データ、Ｏ…硬さ、Ｆ…押圧力、ｇ（Ｆ）…調整係数、Ｌ…変位量。

Claims (8)

  1. 　対象物を示す画像データを記憶する記憶装置と、
    　前記画像データに基づいて前記対象物を画面に表示するように構成された画面表示回路と、
    　前記対象物の硬さに応じた触覚を人に提示するように構成された触覚提示回路と、
    　前記触覚提示回路に人が触れた際に生じる押圧力を検出するように構成された押圧力検出回路と、
    　前記対象物の硬さと前記押圧力検出回路で検出された前記押圧力とに基づいて、前記触覚提示回路で提示する触覚を変更するように構成された制御回路と
    　を備えることを特徴とする触覚提示デバイス。
  2. 　請求項１に記載の触覚提示デバイスにおいて、
    　前記画面に表示されたポインタの位置を移動させるためのポインタ操作を検出するように構成された操作回路をさらに備え、
    　前記制御回路は、前記操作回路で検出された前記ポインタ操作に応じて前記画面における前記ポインタの表示位置を新たな位置に変更し、前記対象物のうち前記新たな位置の硬さと前記押圧力検出回路で検出された前記押圧力とに基づいて、前記触覚提示回路で提示する触覚を変更する
    　ことを特徴とする触覚提示デバイス。
  3. 　請求項２に記載の触覚提示デバイスにおいて、
    　前記記憶装置は、前記対象物の各位置における硬さをさらに記憶し、
    　前記制御回路は、前記対象物のうち前記新たな位置の硬さを前記記憶装置から取得し、前記硬さと前記押圧力とに基づいて前記触覚提示回路で提示する触覚を変更することを特徴とする触覚提示デバイス。
  4. 　請求項２または請求項３に記載の触覚提示デバイスにおいて、
    　前記制御回路は、前記操作回路で検出された切替操作により、前記操作回路で検出された前記ポインタ操作に応じて前記画面における前記ポインタの表示位置を新たな位置に変更する動作と、前記対象物のうち前記新たな位置の硬さを前記画面に表示する動作とを切り替えることを特徴とする触覚提示デバイス。
  5. 　請求項１に記載の触覚提示デバイスにおいて、
    　前記触覚提示回路は、人の押圧に応じて押し込み位置が変位する接触部を有し、
    　前記制御回路は、前記硬さと前記押圧力とに基づいて前記接触部の変位量を計算し、前記変位量だけ前記接触部の押し込み位置を変位させることにより、前記対象物の硬さに応じた触覚を提示する
    　ことを特徴とする触覚提示デバイス。
  6. 　記憶装置、画面表示回路、触覚提示回路、押圧力検出回路、および制御回路を備える触覚提示デバイスで用いられる制御方法であって、
    　前記記憶装置が、対象物を示す画像データを記憶するように構成された記憶ステップと、
    　前記画面表示回路が、前記画像データに基づいて前記対象物を画面に表示するように構成された画面表示ステップと、
    　前記触覚提示回路が、前記対象物の硬さに応じた触覚を人に提示するように構成された触覚提示ステップと、
    　前記押圧力検出回路が、前記触覚提示回路に人が触れた際に生じる押圧力を検出するように構成された押圧力検出ステップと、
    　前記制御回路が、前記対象物の硬さと前記押圧力検出回路で検出された前記押圧力とに基づいて、前記触覚提示回路で提示する触覚を変更するように構成された制御ステップと
    　を備えることを特徴とする制御方法。
  7. 　請求項６に記載の制御方法において、
    　前記触覚提示デバイスに設けられた操作回路が、前記画面に表示されたポインタの位置を移動させるためのポインタ操作を検出するように構成された操作ステップをさらに備え、
    　前記制御ステップは、
    　前記制御回路が、前記操作回路で検出された前記ポインタ操作に応じて前記画面における前記ポインタの表示位置を新たな位置に変更するステップと、
    　前記制御回路が、前記対象物のうち前記新たな位置の硬さと前記押圧力検出回路で検出された前記押圧力とに基づいて、前記触覚提示回路で提示する触覚を変更するステップとを含む
    　ことを特徴とする制御方法。
  8. 　請求項６に記載の制御方法において、
    　前記触覚提示ステップが、前記触覚提示回路が有する接触部の押し込み位置を、人の押圧に応じて変位させるステップを含み、
    　前記制御ステップは、
    　前記制御回路が、前記硬さと前記押圧力とに基づいて前記接触部の変位量を計算するステップと、
    　前記制御回路が、前記変位量だけ前記接触部の押し込み位置を変位させることにより、前記対象物の硬さに応じた触覚を提示するステップとを含む
    　ことを特徴とする制御方法。
PCT/JP2021/045307 2021-12-09 2021-12-09 触覚提示デバイスおよび制御方法 WO2023105706A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045307 WO2023105706A1 (ja) 2021-12-09 2021-12-09 触覚提示デバイスおよび制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045307 WO2023105706A1 (ja) 2021-12-09 2021-12-09 触覚提示デバイスおよび制御方法

Publications (1)

Publication Number Publication Date
WO2023105706A1 true WO2023105706A1 (ja) 2023-06-15

Family

ID=86730011

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045307 WO2023105706A1 (ja) 2021-12-09 2021-12-09 触覚提示デバイスおよび制御方法

Country Status (1)

Country Link
WO (1) WO2023105706A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026297A (ja) * 2005-07-20 2007-02-01 Ntt Docomo Inc 振動制御装置、温度制御装置及び移動制御装置
JP2011048651A (ja) * 2009-08-27 2011-03-10 National Institute Of Information & Communication Technology 把持感覚提示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026297A (ja) * 2005-07-20 2007-02-01 Ntt Docomo Inc 振動制御装置、温度制御装置及び移動制御装置
JP2011048651A (ja) * 2009-08-27 2011-03-10 National Institute Of Information & Communication Technology 把持感覚提示装置

Similar Documents

Publication Publication Date Title
KR102276173B1 (ko) 공간-의존 콘텐츠를 위한 햅틱 효과 생성
US6803924B1 (en) Flexible variation of haptic interface resolution
WO2018086224A1 (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实系统
US20180232051A1 (en) Automatic localized haptics generation system
JP2008217787A (ja) ユーザインタフェース装置、ユニバーサルリモコンユニットおよびユーザインタフェース装置制御プログラム
JP4445582B2 (ja) 仮想感覚提示装置
JP2006201912A (ja) ３次元仮想オブジェクト情報提供サービス処理方法と３次元仮想オブジェクト提供システムおよびプログラム
JP2019519856A (ja) マルチモーダルハプティック効果
Gigante Virtual reality: Enabling technologies
US11366631B2 (en) Information processing device, information processing method, and program
WO2019121654A1 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
US11194439B2 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
WO2023105706A1 (ja) 触覚提示デバイスおよび制御方法
Ando et al. Nail-mounted tactile display for boundary/texture augmentation
JP2000047563A (ja) 物体の把持動作シミュレーション装置
JP2017146830A (ja) 質感提示装置および方法
WO2023189405A1 (ja) 入出力装置
WO2023189404A1 (ja) 入出力装置
WO2023100268A1 (ja) 切削訓練補助システム
WO2022249322A1 (ja) 触覚伝送システム
WO2024004133A1 (ja) 疑似力覚提示装置、疑似力覚提示方法、及びプログラム
WO2020235541A1 (ja) 画像インタフェース装置、画像操作装置、操作対象物操作装置、操作対象物操作システム、操作対象物提示方法および操作対象物提示プログラム
JP4264042B2 (ja) 触覚情報伝達装置及び触覚情報伝達プログラム
Liu et al. Horizontal Plane Haptic Redirection: Realizing Haptic Feedback for the Virtual Inclined Plane in VR
JPH04192066A (ja) 商品疑似体験ショウルームシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21967202

Country of ref document: EP

Kind code of ref document: A1