TWI710934B - 觸覺資訊轉換裝置、觸覺資訊轉換方法、及觸覺資訊轉換程式與元件配置構造體 - Google Patents

觸覺資訊轉換裝置、觸覺資訊轉換方法、及觸覺資訊轉換程式與元件配置構造體 Download PDF

Info

Publication number
TWI710934B
TWI710934B TW106111769A TW106111769A TWI710934B TW I710934 B TWI710934 B TW I710934B TW 106111769 A TW106111769 A TW 106111769A TW 106111769 A TW106111769 A TW 106111769A TW I710934 B TWI710934 B TW I710934B
Authority
TW
Taiwan
Prior art keywords
tactile
stimulation
stimulus
type
vibration
Prior art date
Application number
TW106111769A
Other languages
English (en)
Other versions
TW201802650A (zh
Inventor
館暲
仲谷正史
佐藤克成
南澤孝太
梶本裕之
Original Assignee
國立硏究開發法人科學技術振興機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立硏究開發法人科學技術振興機構 filed Critical 國立硏究開發法人科學技術振興機構
Publication of TW201802650A publication Critical patent/TW201802650A/zh
Application granted granted Critical
Publication of TWI710934B publication Critical patent/TWI710934B/zh

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • B25J13/025Hand grip control means comprising haptic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

本發明的目的在於提供能夠將複數種刺激從不同點集中於一點呈現的觸覺資訊轉換裝置、觸覺資訊轉換方法、及觸覺資訊轉換程式與用以呈現複數種刺激的元件配置構造體。
本發明的特徵之一為:為了將觸覺資訊提供給能夠輸出觸覺刺激的一個或複數個輸出部側,判定發生第一種類的觸覺刺激的第一刺激點、或透過輸出部令第一種類的觸覺刺激發生在第一刺激點,將透過輸出部令第二種類的觸覺刺激發生在與藉由第一刺激部所判定或發生的第一種類的觸覺刺激的第一刺激點於時間方面及/或空間方面相隔預定閾值內的第二刺激點之觸覺資訊輸出至輸出部側。

Description

觸覺資訊轉換裝置、觸覺資訊轉換方法、及觸覺資訊轉換程式與元件配置構造體
本發明係有關觸覺資訊轉換裝置、觸覺資訊轉換方法、及觸覺資訊轉換程式與元件配置構造體。
習知技術已開發出將真實物體或虛擬物體的觸覺呈現給使用者的觸覺呈現裝置(device)。
例如,在下述之專利文獻1中係揭示一種筆(pen)型的力覺呈現裝置,當使用者握持時指尖接觸可動部,藉由在可動部進行往復動、搖動、傾動、轉動等動作,於指尖呈現所謂的本體感覺。
此外,在下述之非專利文獻1中係揭示一種觸覺呈現裝置,係以壓力、振動、溫度作為要素觸覺,生成觸覺映射圖(Haptic Map),將該些要素觸覺進行合成而呈現任意觸覺。
此外,在下述之非專利文獻2中係揭示在進行真實環境下的手指觸移動作時令設置在指甲側的振動器而呈現虛擬的凹凸感。
此外,在下述之專利文獻2中係揭示一種電觸覺顯示器(display),係為了將電刺激呈現給使用者而具備下述等構件:電極基板,係具備複數個刺激電極;及導電性凝膠(gel)層,係設置在刺激電極與皮膚之間。
先前技術文獻 專利文獻
專利文獻1 日本國特開2010-287221號公報
專利文獻2 日本國特許第5057068號公報
非專利文獻
非專利文獻1 近井學「新式觸角呈現裝置之研究」,長岡技術科學大學博士論文,國立大學法人長岡技術科學大學,2014年3月25日,13102甲第702號,URL:http://hdl.handle.net/10649/719
非專利文獻2 安藤英由樹、渡邊淳司、稻見昌彥、杉本麻樹、前田太郎「擴增實境(Augmented Reality)用指甲配戴式觸覺顯示器之研究」,電子資訊通信學會論文誌,電子資訊通信學會,2004年11月1日,Vol.J87-D2, No.11, pp.2025-2033
然而,習知技術的觸覺呈現裝置係有一問題點,即,要令兩種以上的觸覺刺激重疊時,並無法將觸覺刺激器設置在同一處,造成裝置變大。因而有當刺激的種類多時,使用者無法在同一處獲得統合性的感覺之問題點。
例如,在前述之非專利文獻2中,係在手指於物體上觸移時從指甲上施加振動刺激,藉此而能夠在指腹部呈現凹凸邊緣(edge)感覺,但從指甲上而來的振動刺激會擴大在指腹發生的壓力變化,有並非能夠將複數種刺激從不同部位集中於一處呈現之問題點。
本發明乃係鑒於上述問題點而研創,係提供能夠將複數種刺激從不同點集中於一點呈現的觸覺資訊轉換裝置、觸覺資訊轉換方法、及觸覺資訊轉換程式與用以呈現複數種刺激的元件配置構造體。
為了達成上述目的,本發明的觸覺資訊轉換裝置乃係為了將觸覺資訊提供給能夠輸出觸覺刺激的一個或複數個輸出部側而至少具備記憶部與控制部的觸覺資訊轉換裝置;前述記憶部係具備:觸覺定義部,係定義令第一種類的觸覺刺激在發生第二種類的觸覺刺激的第二刺激點感知之用的前述第一及第二種類的觸覺刺激、或令第二種類的觸覺刺激在發生第一種類的觸覺刺激的第一刺激點感知之用的前述第一及第二種類的觸覺刺激;前述控制部係具備:第一刺激部,係判定發生前述第一種類的觸覺刺激的前述第一刺激點、或透過前述輸出部令前述第一種類的觸覺刺激發生在前述第一刺激點;及第二刺激部,係將透過前述輸出部令前述第二種類的觸覺刺激發生在與藉由前述第一刺激部所判定或發生的前述第一種類的觸覺刺激的前述第一刺激點於時間方面及/或空間方面相隔預定閾值內的前述第二刺激點之觸覺資訊輸出至前述輸出部側。
此外,本發明的觸覺資訊轉換裝置乃係如前述的觸覺資訊轉換裝置,其中前述觸覺定義部係:為了令前述第一種類的觸覺刺激在前述第二刺激點感知,將時間方面或空間方面的生理差異域比前述第二種類的觸覺刺激大之種類的觸覺刺激定義為前述第一種類的觸覺刺激;或為了令前述第二種類的觸覺刺激在前述第一刺激點感知,將時間方面或空間方面的生理差異閾比前述第一種類的觸覺刺激大之種類的觸覺刺激定義為前述第二種類的觸覺刺激。
此外,本發明的觸覺資訊轉換裝置,其特徵為,在上述的裝置中,前述第一刺激部係判定力呈現或令力呈現發生,作為前述第一種類的觸覺刺激;前述第二刺激部係令振動、溫度、及電刺激其中一者或複數者發生在前述第二刺激點,作為前述第二種類的觸覺刺激;藉此,令前述第二種類的觸覺刺激在前述第一刺激點感知。
此外,本發明的觸覺資訊轉換裝置,其特徵為,在上述的裝置中,前述第一刺激部係判定振動、溫度、及電刺激其中一者或複數者、或令振動、溫度、及電刺激其中一者或複數者發生,作為前述第一種類的觸覺刺激;前述第二刺激部係令力呈現發生在前述第二刺激點,作為前述第二種類的觸覺刺激;藉此,令前述第一種類的觸覺刺激在前述第二刺激點感知。
此外,本發明的觸覺資訊轉換裝置乃係如前述的觸覺資訊轉換裝置,其中前述第一刺激部係判定 振動呈現或令振動呈現發生,作為前述第一種類的觸覺刺激;前述第二刺激部係令溫度刺激發生在前述第二刺激點,作為前述第二種類的觸覺刺激;藉此,令前述第二種類的觸覺刺激在前述第一刺激點感知。
此外,本發明的觸覺資訊轉換裝置乃係如前述的觸覺資訊轉換裝置,其中前述第一刺激部係判定溫度呈現或令溫度呈現發生,作為前述第一種類的觸覺刺激;前述第二刺激部係令振動刺激發生在前述第二刺激點,作為前述第二種類的觸覺刺激;藉此,令前述第一種類的觸覺刺激在前述第二刺激點感知。
此外,本發明的觸覺資訊轉換裝置乃係如前述的觸覺資訊轉換裝置,其中前述第一刺激部係判定電刺激呈現或令電刺激呈現發生,作為前述第一種類的觸覺刺激;前述第二刺激部係令振動及/或溫度發生在前述第二刺激點,作為前述第二種類的觸覺刺激;藉此,令前述第二種類的觸覺刺激在前述第一刺激點感知。
此外,本發明的觸覺資訊轉換裝置乃係如前述的觸覺資訊轉換裝置,其中前述第一刺激部係判定振動及/或溫度、或令振動及/或溫度發生,作為前述第一種類的觸覺刺激;前述第二刺激部係令電刺激呈現發生在前述第二刺激點,作為前述第二種類的觸覺刺激;藉此,令前述第一種類的觸覺刺激在前述第二刺激點感知。
此外,本發明的觸覺資訊轉換裝置乃係如前述的觸覺資訊轉換裝置,其中前述第一刺激點及/或前述第二刺激點乃係利用幻感錯覺產生的感知點。
此外,本發明的輸入裝置係具備前述觸覺資訊轉換裝置。
此外,本發明的輸入裝置乃係如前述的輸入裝置,其中在表層至少具備多點分布型壓覺測量感測器;在中間層至少具備溫冷感測量感測器;在下層至少具備振動感測量感測器。
此外,本發明的發送裝置係具備前述觸覺資訊轉換裝置。
此外,本發明的記憶裝置係具備前述觸覺資訊轉換裝置。
此外,本發明的伺服器(server)裝置係具備前述觸覺資訊轉換裝置。
此外,本發明的接收裝置係具備前述觸覺資訊轉換裝置。
此外,本發明的輸出裝置係具備前述觸覺資訊轉換裝置。
此外,本發明的輸出裝置乃係如前述的輸出裝置,其中在表層至少具備以多點電觸覺刺激構成的分布型壓力呈現部;在中間層具備以帕耳帖元件(Peltier device)構成的高速驅動型溫冷感呈現部;在下層至少具備寬頻率範圍的振動呈現部。
此外,本發明的互動(interaction)操作系統(system)乃係具備前述觸覺資訊轉換裝置之使用由操作者操作的機器人(robot)教示裝置對機器人教示動作的互動操作系統;前述機器人係具有:手指部,係用於握持 物體;物體檢測部,係配置在前述手指部,檢測前述物體或前述物體的性狀,產生物體檢測資訊;及機器人驅動裝置,係驅動前述機器人;前述機器人教示裝置係具有:物體偵測感覺提供部,係相應於根據傳遞自前述機器人的前述物體檢測資訊而由前述觸覺資訊轉換裝置轉換出的觸覺資訊,將對應的觸感提供給前述操作者。
此外,本發明的觸覺呈現方法乃係為了將觸覺資訊提供給能夠輸出觸覺刺激的一個或複數個輸出部側而至少具備記憶部與控制部的觸覺資訊轉換裝置中所執行的觸覺資訊轉換方法;前述記憶部係具備:觸覺定義部,係定義令第一種類的觸覺刺激在發生第二種類的觸覺刺激的第二刺激點感知之用的前述第一及第二種類的觸覺刺激、或令第二種類的觸覺刺激在發生第一種類的觸覺刺激的第一刺激點感知之用的前述第一及第二種類的觸覺刺激;前述觸覺資訊轉換方法係含有在前述控制部中執行的下述步驟(step):第一刺激步驟,係判定發生前述第一種類的觸覺刺激的第一刺激點、或透過前述輸出部令前述第一種類的觸覺刺激發生在第一刺激點;及第二刺激步驟,係將透過前述輸出部令前述第二種類的觸覺刺激發生在與前述第一刺激步驟中所判定或發生的前述第一種類的觸覺刺激的前述第一刺激點於時間方面及/或空間方面相隔預定閾值內的第二刺激點之觸覺資訊輸出至前述輸出部側。
此外,本發明的觸覺資訊轉換程式乃係供為了將觸覺資訊提供給能夠輸出觸覺刺激的一個或複數 個輸出部側而至少具備記憶部與控制部的電腦執行之用的觸覺資訊轉換程式;前述記憶部係具備:觸覺定義部,係定義令第一種類的觸覺刺激在發生第二種類的觸覺刺激的第二刺激點感知之用的前述第一及第二種類的觸覺刺激、或令第二種類的觸覺刺激在發生第一種類的觸覺刺激的第一刺激點感知之用的前述第一及第二種類的觸覺刺激;前述觸覺資訊轉換程式係含有供前述控制部執行之用的下述步驟:第一刺激步驟,係判定發生前述第一種類的觸覺刺激的第一刺激點、或透過前述輸出部令前述第一種類的觸覺刺激發生在第一刺激點;及第二刺激步驟,係將透過前述輸出部令前述第二種類的觸覺刺激發生在與前述第一刺激步驟中所判定或發生的前述第一種類的觸覺刺激的前述第一刺激點於時間方面及/或空間方面相隔預定閾值內的第二刺激點之觸覺資訊輸出至前述輸出部側。
此外,本發明的元件配置構造體乃係呈現電、溫度、振動、及力其中至少兩種觸覺時的元件的積層型及/或水平配置型的元件配置構造體;前述元件配置構造體為下述項目其中一者或複數者之組合:(1)將電的呈現元件積層配置在比振動或溫度的呈現元件更靠身體側;(2)將溫度的呈現元件積層配置在比振動的呈現元件更靠身體側;(3)將電、溫度、及/或振動的呈現元件積層配置在比力的呈現元件更靠身體側;及(4)至少將振動的呈現元件水平配置。
此外,本發明的元件配置構造體乃係如前述元件配置構造體,其中當將前述振動的呈現元件水平配置時,設置供將振動轉換成聲音或供振動共鳴或供散熱之用的空隙。
此外,本發明的元件配置構造體乃係如前述元件配置構造體,其中將電的呈現元件緊密地水平配置、將溫度及/或振動的呈現元件稀疏地水平配置。
此外,本發明的元件配置構造體乃係如前述元件配置構造體,其中乃係至少一部分為水平配置型式的元件配置構造體;將水平配置的呈現元件以使全體具有可撓性的方式連結。
此外,本發明的元件配置構造體乃係如前述元件配置構造體,其中前述電的呈現元件在不進行電呈現時,作為接地發揮功能。
此外,本發明的元件配置構造體乃係如前述元件配置構造體,其中乃係至少一部分為水平配置型式的元件配置構造;在沿水平面方向複數配置的複數個同種的呈現元件中,利用幻感令刺激在複數個前述呈現元件間定位。
此外,本發明的元件配置構造體乃係如前述元件配置構造體,其中乃係至少一部分為水平型式的元件配置構造體;水平配置的構造係以全體包圍身體周圍的方式設置。
此外,本發明的元件配置構造體乃係如前述元件配置構造體,其中乃係至少一部分為水平型式的 元件配置構造;在沿水平面方向複數配置的複數個振動的前述呈現元件之間設置前述空隙。
此外,本發明的元件配置構造體乃係如前述元件配置構造體,其中在以全體包圍身體周圍的方式設置的水平配置的構造的背側設置前述空隙。
依據本發明,係為了將觸覺資訊提供給能夠輸出觸覺刺激的一個或複數個輸出部側,判定發生第一種類的觸覺刺激的第一刺激點或令第一種類的觸覺刺激的第一刺激點發生,將透過輸出部令第二種類的觸覺刺激發生在與所判定或發生的第一種類的觸覺刺激的第一刺激點於時間方面及/或空間方面相隔預定閾值內的第二刺激點之觸覺資訊輸出至輸出部側。因此,達到能夠將複數種刺激從不同點集中於一點呈現的效果。
此外,依據本發明,乃係呈現電、溫度、振動、及力其中至少兩種觸覺時的元件的積層型及/或水平配置型的元件配置構造體;前述元件配置構造體為下述項目其中一者或複數者之組合:(1)將電的呈現元件積層配置在比振動或溫度的呈現元件更靠身體側;(2)將溫度的呈現元件積層配置在比振動的呈現元件更靠身體側;(3)將電、溫度、及/或振動的呈現元件積層配置在比力的呈現元件更靠身體側;及(4)至少將振動的呈現元件水平配置。因此,能夠提供在如前述將複數種刺激從不同點集中於一點呈現等情形中用以呈現複數種刺激的元件配置構造體。
100‧‧‧觸覺資訊轉換裝置
102‧‧‧控制部
102a‧‧‧呈現觸感設定部
102b‧‧‧生成部
102c‧‧‧輸出控制部
102d‧‧‧第一刺激部
102e‧‧‧第二刺激部
104‧‧‧通信控制介面部
106‧‧‧記憶部
106a‧‧‧觸覺定義檔案
106b‧‧‧物體觸感資料庫
108‧‧‧輸入輸出控制介面部
112‧‧‧輸入部
114‧‧‧輸出部
120‧‧‧外部輸入裝置
120a‧‧‧分布型壓覺測量感測器
120b‧‧‧溫冷感測量感測器
120c‧‧‧振動感測量感測器
140‧‧‧外部輸出裝置
140a‧‧‧分布型壓力呈現部
140b‧‧‧溫冷感呈現部
140c‧‧‧振動呈現部
200‧‧‧外部機器
圖1係顯示令手指進行接觸後於物體上滑動、或靜止不動後再拿開時的各細胞的反應之示意圖。
圖2係示意性顯示合成「力」、「振動」及「溫度」三基底來刺激生理空間的觸覺七基底的第二方法之圖。
圖3係顯示將各種日語的擬聲擬態語(onomatopoeia)標定至粗糙軸、硬度軸、濕度軸之三軸的映射圖而成的心理質感映射圖的一例之圖。
圖4係示意性顯示在物理空間中根據「力」、「振動」、「溫度」及「電」四基底進行合成來重現心理空間的各種觸感的本實施形態的方法之圖。
圖5係顯示本發明實施形態的含有觸覺資訊轉換裝置的觸感呈現系統的構成的一例之方塊(block)圖。
圖6係顯示基於觸原色原理的一體型觸覺測量模組(module)的構造之立體圖。
圖7係顯示基於觸原色原理的一體型觸覺傳遞模組的構造之立體圖。
圖8(a)及圖8(b)係顯示利用幻感錯覺產生的感知點之圖。
圖9係顯示本案發明人等所開發出的前述名為TELESAR V的遠端臨場機器人(telexistence robot)的手指配戴式感測器/致動器(actuator)的外觀之圖。
圖10係顯示本案發明人等所開發出的前述名為TELESAR V的遠端臨場機器人的手指配戴式感測器/致動器在配戴時的外觀之圖。
圖11係顯示本實施形態的觸感呈現系統的觸覺資訊轉換處理的一例之流程圖(flowchart)。
圖12係顯示本實施形態的觸感呈現系統的觸覺資訊轉換裝置100的多點刺激處理的一例之流程圖。
圖13係顯示本實施形態的觸感呈現系統的遠端觸感傳遞處理的一例之流程圖。
圖14係示意性顯示接觸硬表面、軟表面、黏表面時的接觸面和壓力的變化之圖。
圖15係示意性顯示接觸硬表面、軟表面、黏表面時發生大變形時的接觸面和壓力的變化之圖。
圖16係顯示手指在硬表面、軟表面、黏表面的接觸面積相對於手指的變位量的變化之圖。
圖17係示意性顯示從指尖側觀看時的本實施例1的實驗1使用的實驗裝置的構成之圖。
圖18係顯示將本實施例1的實驗1使用的實驗裝置配戴至手指前的狀態與配戴後的狀態之照片。
圖19係顯示在本實施例1的實驗1中為呈現柔軟感而使用的實驗條件(Press條件)之圖。
圖20係顯示在本實施例1的實驗1中為呈現沾黏感而使用的實驗條件(Release條件)之圖。
圖21係顯示從本實施例1的實驗1獲得的主觀評價實驗結果之圖。
圖22係顯示將本實施例1的實驗2使用的實驗裝置配戴至手指的狀態之照片。
圖23係顯示本實施例1的實驗2的實驗條件(Press 條件)之圖。
圖24係顯示本實施例1的實驗例2的實驗條件(Release條件)之圖。
圖25係顯示從本實施例1的實驗2獲得的主觀評價實驗結果之圖。
圖26係顯示組合電刺激矩陣與機械刺激矩陣而成的高密度呈現裝置的構成例之圖。
圖27係顯示本實施例2的實驗裝置(帕耳帖元件)的構成之圖。
圖28(a)及圖28(b)係顯示本實施例2的實驗環境與帕耳帖元件的配戴例之圖。
圖29係示意性顯示從指尖側觀看手指時的給予溫度刺激(Thermal stimulus)的位置之圖。
圖30(a)及圖30(b)係顯示本實施例2的實驗結果之長條圖(graph)。
圖31係顯示本實施例2的實驗2的實驗裝置之圖。
圖32係示意性顯示從指尖側觀看手指時的給予溫度刺激(Thermal stimulus)的位置之圖。
圖33係顯示溫刺激時的本實施例2的實驗2的實驗結果之長條圖。
圖34係顯示冷刺激時的本實施例2的實驗2的實驗結果之長條圖。
圖35係顯示藉由本實驗3(a.接觸的有無+溫度刺激)所得的溫度感覺相對於接觸的時間差之圖。
圖36係顯示藉由本實驗3(b.振動刺激的有無+溫度刺激)所得的溫度感覺相對於振動的時間差之圖。
圖37係顯示刺激的種類採用兩種(溫、冷)且以四個刺激呈現部位進行所得的實驗結果之圖。
圖38係顯示在進行溫刺激(左圖)與冷刺激(右圖)且溫度刺激為在腹部(pad)與側部(side)時以振動的有無進行比較的結果之圖。
圖39係顯示實驗5、6的裝置的配置之圖。
圖40係顯示各身體部位的各刺激的誤差範圍的重疊形式與感知時間/感知結果的關係之圖。
圖41係顯示具備振動共鳴箱的元件配置構造體的實施例之圖。
圖42係顯示將元件配置在手指周圍的指套形狀的元件配置構造體的例子之圖。
圖43係顯示本實施例的各種元件V、E、H、C的連續性水平配置樣式(pattern)之圖。
圖44係顯示以剖面觀看本實施例的各種元件V、E、H、C的連續性水平配置樣式的構造體之剖面圖。
圖45係顯示具有其他反覆樣式的本實施例的元件配置構造體的一例之圖。
以下,根據圖式,詳細說明本發明的本實施形態的觸覺資訊轉換裝置、觸覺資訊轉換方法、觸覺資訊轉換程式、及記錄媒體、以及元件配置構造體的實施形態。另外,本發明並不受下述實施形態所限定。例 如,在以下的實施形態中雖係針對連接至感測器等輸入部和輸出觸覺刺激等的輸出部的例子來說明本發明的觸覺資訊轉換裝置的功能,但本發明並不以此為限,例如亦可採用沒有直接連接至輸入部和輸出部的獨立的伺服器裝置等的功能來構成。除此之外,亦可將本發明構成為輸入裝置、發送裝置、記憶裝置、接收裝置、或輸出裝置等的一部分,或亦可構成為設置在上述該些裝置間的轉換裝置。
[本實施形態的概要]
以下,為了說明本發明實施形態的概要,首先針對促成本發明實施形態之研創的背景及概要進行說明,然後再針對本實施形態的構成及處理等進行詳細說明。另外,本實施形態的概要只是介紹促成本發明實施形態之研創的背景及概要,並非限定本發明。
就本發明實施形態之研創的背景而言,在習知技術中係已知人類的感覺區分成「特殊感覺」與「體感覺」。所謂的特殊感覺(specific sensation),就如同視覺對應到眼球、聽覺對應到耳朵等,係指存在相對應的特別的感覺器之感覺。例如,「加速度」的感覺係對應到耳朵,具體而言係對應到耳朵中的前庭即稱為三半規管與橢圓囊、球囊的感覺器,從這點來看,「加速度」係歸類為特殊感覺。
另一方面,所謂的體感覺(somatic sensation),係指體節性的感覺,主要區分成皮膚所引發的皮膚感覺(cutaneous sensation)、與內部的肌肉和肌腱 所引發的姿勢和運動的感覺即本體感覺(proprioception)。另外,本體感覺亦稱為肌肉運動知覺。
廣義的「觸覺」係指上述皮膚感覺及本體感覺此兩種體感覺全體,在本實施形態中,稱為「觸覺」時係指廣義的觸覺。另外,關於狹義的「觸覺」,一般僅指包括有溫、冷、痛等各種感覺的皮膚感覺之中的接觸覺和壓覺。該接觸覺和壓覺係對應於位在皮膚中的梅克爾細胞(Merkel cell)、梅斯納氏小體(Meissner's corpuscle)、巴氏小體(Pacinian corpuscle)和魯氏末稍(Ruffini ending)等感覺器。而在皮膚全體凹陷、受拉扯時,該變形和振動會傳遞至感覺器而產生感覺。
此外,還有稱為主動觸覺的綜合性的感覺,係藉由主動操使身體進行觸摸,而不僅有皮膚感覺,還有刺激肌肉的肌梭、肌腱的高爾(Golgi)感受器等感覺受器而發生的本體感覺。因此,廣義上的觸覺可說是並不僅是對應於單一感覺器的所謂的是否有觸碰的單純的感覺,而是還包含本體感覺的廣範圍的感覺之綜合感覺。作為一例,針對人類透過廣義的觸覺辨識一個物體例如鐵球的過程(process)進行說明。首先,人類能藉由觸摸知道形狀,就算不以手指直接觸摸而是戴上厚手套隔著手套觸摸鐵球,仍能夠從手臂、手、手指的關節如何動作、形成什麼樣的擺姿等資訊而推測出是「球」。從這點亦能夠推測,辨識大略的形狀靠的不是皮膚感覺,而是肌梭和高爾感受器等的本體感覺。此外,除了大略的形狀,硬度的感覺、彈簧之類的反彈力的感覺、在水中揮動手臂時的阻力感等感覺等亦是源於本體感覺。
皮膚感覺乃係能夠辨識更加細微的稱為「質感」(texture)的表面的細微形狀紋路(pattern)。此種感覺在戴著厚手套的狀態下不會產生,以皮膚直接觸碰至為重要。藉由前述的主動觸覺,將使該感覺的辨識精度更進一步提升。另外,此一由本體感覺與皮膚感覺結合為一體的伴隨著運動的觸覺係稱為觸知覺(haptic perception、haptics)。光拿著觸摸雖然無法判別出是鐵,但至少能夠辨識出應該是金屬,這要歸功於除了感覺質感外還感覺溫冷的皮膚感覺。另外,在以下的本實施形態的說明中,觸覺有時具體指皮膚感覺,但並不以此為限,亦可也包括本體感覺。
要傳遞人類直接以手指的表面觸摸一個物體時的感覺,若不在人類的手指的表面重現與實際物體完全相同的物體,便難以將觸覺作為媒介(media)使用。以視覺的情形為例,就算不同於實際的光譜(spectrum),只要負責RGB三原色各者的人類的視錐細胞進行相同放電(fire),便能夠看到與物體顏色相同的顏色,因此,使用此一原理,應用於今日的電視機、彩色相片、彩色印刷品。
本案發明人等係發想到若針對觸覺亦同光的三原色一樣存在觸原色的話,理應能夠同視覺一樣將觸覺化為資訊媒介。就證明觸原色存在的事實而言,可舉出在人類的觸覺中明確存在著相異種類的皮膚感覺器這點。亦即,同對應三原色的RGB的視錐細胞一樣,在觸覺方面亦存在對應觸原色的梅克爾細胞、梅斯納氏 小體、巴氏小體、魯氏末稍等。此外,還存在反應溫冷痛的游離神經末稍。就神經生理學研究的習知成果而言,已知梅克爾細胞與魯氏末稍係偵測壓力與剪力、梅斯納氏小體係偵測低頻振動、巴氏小體係偵測高頻振動。此處,圖1係顯示令手指進行接觸後於物體上滑動、或靜止不動後再移開時的各細胞的反應之示意圖。橫軸代表時間,縱軸代表各細胞的激發狀態。
如圖1所示,在接觸到物體時,梅克爾細胞係偵測壓力、梅斯納氏小體係偵測低頻振動、巴氏小體係偵測高頻振動,藉此,能夠以梅克爾細胞賦予變位意義、以梅斯納氏小體賦予速度意義、以巴氏小體賦予加速度意義而感知。並不限為如圖所示的平坦面,真實物體係擁有凹凸形狀、摩擦、熱、彈性等許多物理特性。若考察產生皮膚感覺的狀況,當觸摸物體,便會在皮膚表面產生力、振動、溫度變化等,該些力、振動、溫度變化等會傳遞到皮膚內側,前述的感覺器發生反應而產生觸覺。因此,本案發明人等係發想到不管物體的凹凸形狀、摩擦、熱、彈性等物理特性如何,只要在各感覺器發生與觸摸該物體時相同的反應,就能讓人類產生如同觸摸實際物體般的相同觸覺。亦即,本案發明人等係發想到觸覺亦同視覺一樣,只要令對應觸原色的細胞發生反應,便不需重現真實物體來進行呈現,能夠僅重現該觸覺,同視覺一樣作為資訊媒介。
此時,要在感覺器引發相同放電,主要有兩種方法。第一方法乃係在生理空間找基底,選擇性地 以電刺激令成為基底的感覺器本身放電之方法。此處,在本實施形態中,所謂的「基底」,意指構成單位和要素。由於在全部感覺器的部位埋設電極來提供刺激的侵入性的方法並不實用,故考慮以經皮膚表面的經皮電刺激且選擇性地刺激感覺器的方法(參照例如本案發明人申請的日本國特許第3543097號)。該方法乃係由本案發明人所開發,例如藉由陽極刺激而能夠選擇性地僅刺激梅斯納氏小體,以陰極的電刺激經由皮膚電極刺激梅克爾細胞而能夠傳遞近似壓覺的感覺。然而,有並無法選擇性地刺激巴氏小體和亦無法選擇性地刺激溫冷之問題。此外,原本不該產生痛覺的刺激卻因電刺激而反而有伴隨著痛覺的情況。因此,關於第一方法,作為選擇性地直接刺激生理空間的作為基底的細胞的方法,尚無法做到施予通用性的刺激。
第二方法乃係與視覺的以RGB作為基底的方法等效的方法,乃係在物理空間選擇基底的方式。此處,圖2係示意性顯示合成「力」、「振動」及「溫度」三基底來刺激生理空間的觸覺七基底的第二方法之圖。由於梅克爾細胞與魯氏末稍係回應壓力與剪力、梅斯納氏小體係回應低頻振動、巴氏小體係回應高頻振動、游離神經末稍係回應溫、冷、痛,故即使沒有實際觸摸,只要能夠同樣地呈現觸摸真實物體時的人類的皮膚表面的壓力與剪力亦即向量(vector)力形式的「力」、低頻至高頻的「振動」、及「溫度」,人類便能夠獲得與實際相同的感覺。力和振動等大多會因人類主動性的運動而不 斷地變化,此時只要追從人類的行動來重現即可。此方式可說是類似於在視覺的情形中不重現光的全部光譜、僅將對應RGB的光譜作為基底來使用,以基於該些基底的合成將幾乎全部的視覺資訊予以重現的方式。亦即,本案發明人等係發想到並不是將物體所具有的凹凸形狀、摩擦、熱、彈性等物理特性全部予以重現;而是只要將因與該物體的接觸而在皮膚表面產生的、由感受器之細胞所能補捉到的僅「力」、「振動」、「溫度」三個物理量作為基底,記錄、傳遞該些基底的時間變化,根據該些的基底進行合成即可。亦即,本案發明人等係以上述第二方法作為觸原色原理的基本概念進行開發。
此處,本案發明人等係認為以「力」、「振動」、「溫度」作為基底的方法還留著小型化方面的問題,需要更進一步致力研究。亦即,關於「力」的呈現,由於力此一物理量所擁有特性,使得必須在與力的施加點不同的地方提供施力用的固定場所(接地)。例如,為了將力施加於指腹,係必須在指甲等部分進行接地,從該處施加力。如此一來,在製作呈現裝置本身時,便無法將裝置完全僅局限在該刺激部位附近。因此,必然需要比較大的空間,成了在將裝置予以小型化時的一大限制。此外,在一般的對皮膚表面的力呈現中,亦還留著雖能夠呈現沿推壓方向的壓力卻無法呈現沿拉扯方向的力之問題。若無法呈現拉扯方向的力,例如便難以呈現以日語中的濕黏(羅馬拼音nechonecho)感等擬聲擬態語表現的各種心理質感。此處,圖3係顯示將各種擬聲擬 態語標定至粗糙軸、硬度軸、濕度軸之三軸的映射圖而成的心理質感映射圖的一例之圖。
本發明的一實施形態乃係鑒於上述各種問題而由本案發明人等致力研究後所研創,謀求在「力」、「振動」、「溫度」三基底之外,於基底中再加上「電」來解決上述各種問題。亦即,組合第一方法與第二方法,以補強彼此缺點的方式構成。此處,圖4係示意性顯示在物理空間中根據「力」、「振動」、「溫度」及「電」四基底進行合成來重現心理空間的各種觸感的本實施形態的方法之圖。
另外,本實施形態係亦可將「力」全部以「電」替換,令四基底之中的「力」的參與度成為零而根據三基底進行合成。此外,本實施形態並不以此為限,亦可在基底中再加入「時間」及/或「空間」的時間空間要素。關於電,雖然在與實際的一般物體的接觸中,除了感應靜電等特別情況,並不會產生電,而由於電乃係純正的物理量,故屬於物理空間的基底。
由於該電刺激會使壓覺、振動覺產生,甚至於亦使痛覺等產生,因此依電刺激的給予方式會給心理空間的五基底的觸感帶來效果,此乃係本實施形態的一大特徵。亦即,並非根據物理空間的基底來刺激生理空間的七基底的觸覺之作法(approach),本實施形態乃係合成包括電在內的物理空間的複數種基底來重現以心理空間的五基底為基礎的各種觸感之作法。例如,適當地選擇包括電在內的物理空間的複數種基底,並且根據所 選擇的物理量,生成供呈現預定觸感之用的觸覺資訊,藉此,能夠將以擬聲擬態語表現的心理質感重現,換言之,能夠將根據人體的複數種不同的觸覺感受器所獲得的資訊在腦內統合性地認知的心理量重現。藉此,不同於單純對觸覺進行刺激的習知手法,能夠進行激發以多模(multimodal)(多感覺形式)為基礎的觸知性之觸感呈現。關於呈現以擬聲擬態語表現的心理質感的具體手法,於後文中說明。
依據本發明一實施形態,尤其給予硬軟、乾濕等感覺,能夠將習知僅以力、振動、溫度所能夠呈現的感覺的範圍大幅地擴大。此外,在難以呈現力的情形中,能夠以電替代來進行力的呈現,因此能夠製作小型化的多模(多感覺形式)的裝置。此根據包括電在內的物理空間的複數種基底進行合成而呈現觸感,乃係本實施形態的一大特徵。
此外,依據本發明一實施形態,係呈現電、溫度、振動、及力其中至少兩種觸覺而製作多模(多感覺形式)的裝置等,為此,乃係元件的積層型及/或水平配置型的元件配置構造體,且該元件配置構造體為下述項目其中一者或複數者之組合:(1)將電的呈現元件積層配置在比振動或溫度的呈現元件更靠身體側;(2)將溫度的呈現元件積層配置在比振動的呈現元件更靠身體側;(3)將電、溫度、及/或振動的呈現元件積層配置在比力的呈現元件更靠身體側;及(4)至少將振動的呈現元件水平配置。此亦為本實施形態的特徵之一。
以上乃係本實施形態的概要。接著,針對上述用以實現本發明實施形態的裝置構成和處理的詳例,於以下詳細說明。
[觸感呈現系統的構成]
針對含有觸覺資訊轉換裝置的觸感呈現系統的構成,參照圖式進行說明。圖5係顯示本發明實施形態的含有觸覺資訊轉換裝置的觸感呈現系統的構成的一例之方塊圖,僅將該構成當中與本發明相關的部分概念性地圖示出。
如圖5所示,在本實施形態中,觸感呈現系統係構成為透過網路(network)300將觸覺資訊轉換裝置100、各種感測器等外部輸入裝置120、能夠輸出物理量的外部輸出裝置140、伺服器等外部機器200連接。另外,在圖5中雖係圖示觸覺資訊轉換裝置100、外部輸入裝置120、外部輸出裝置140、及外部機器200各配置一台在觸感呈現系統之例,但並不以此為限,觸感呈現系統係亦可將各裝置具備複數台。此處,觸覺資訊轉換裝置100乃係個人電腦(personal computer)、伺服器用電腦、可攜式資訊終端(平板(tablet)型電腦等)等。網路300係具有將觸覺資訊轉換裝置100、外部輸入裝置120、外部輸出裝置140、外部機器200相連接的功能,例如為有線或無線的LAN(Local Area Network;區域網路)和網際網路(internet)等。
此處,在圖5中,外部輸入裝置120乃係各種感測器等輸入手段。此處,外部輸入裝置120係亦 可為攝像機(camera)、觸控面板(touch panel)、動作感測器(motion sensor)等辨視使用者的動作和物體的辨識裝置。具體而言,外部輸入裝置120係亦可藉由攝像機和壓力感測器等任意的檢測手段來辨識人物的身體的動作。例如,外部輸入裝置120係亦可使用公知的姿態(gesture)辨識技術和公知的動作感測器等來檢測使用者的身體的動作。姿態係能夠從使用者於物理空間的位置及動作來獲得,能夠包括手臂和腳的動作或靜止姿勢之類的動態性或靜態性的任意的使用者的動作。
就本實施形態的一例而言,在外部輸入裝置120,亦可為由攝像機之類的擷取裝置(capture device)攝得使用者(user)圖像資料(data),根據該使用者圖像資料來辨識使用者的姿態(一個或複數個)。更具體言之,外部輸入裝置120係亦可為使用電腦環境,辨識及分析在使用者的三維物理空間中使用者所進行的姿態,將解讀出的使用者的動作資料和解析前原始影像資料(raw data)等發送至觸覺資訊轉換裝置100。就一例而言,外部輸入裝置120係亦可為檢測手指的形狀和身體的姿勢、接觸部位、接觸面積、壓力、振動等的配戴式感測器。例如,亦可使用本案發明人等所開發的對指尖傳遞反作用力和溫度的遠端臨場系統即TELESAR系統的手套(glove)型感測器等感測(sensing)技術。此處,如後述的一體型觸覺測量模組等所示,外部輸入裝置120係亦可具備以二維形態配置的複數個力檢測感測器、振動產生源、振動檢測感測器、溫度感測器、計時器(timer)等。 就公知的動作辨識手段的一例而言,亦可使用微軟(Microsoft)所開發的Kinect感測器和英特爾(Intel)所開發的RealSense感測器等。藉由上述公知的感測技術,便能夠獲得全身和手指的骨架(skeleton)動作資料和接觸資料等動作資料。另外,在公知的動作感測器中係使用感測器內建的控制手段來解析人物的動作或以所連接的電腦的控制手段來解析人物的動作和屬性,而本實施形態可為任一方式,例如,亦可將該些解析功能藉由外部輸入裝置120的控制手段(處理器(processor)等)來實現,亦可藉由接收到解析前原始影像資料的觸覺資訊轉換裝置100的控制手段來實現,亦可藉由上述兩者的控制手段分散式地實現解析功能。除此之外,亦可使用前述非專利文獻2等記載的公知的薄膜(film)壓力感測器等。
如上述,外部輸入裝置120係亦可為了下述目的而使用:根據由攝像機等拍攝得的圖像辨識物體,將與所辨識出的物體相應的觸感設為呈現目標;外部輸入裝置120係亦可為了下述目的而使用:相應於使用者的身體的姿勢和動作,在合適的時序(timing)呈現觸覺刺激。除此之外,外部輸入裝置120係亦可為了下述目的而使用:檢測觸覺或觸感本身,呈現所檢測出的觸感或呈現從所檢測出的觸覺資訊根據學習結果而辨識出的觸感;亦可用作為:根據所檢測出的觸覺和觸覺補強與感覺量間的誤差以呈現實際的觸感之用的基礎資料。此處,圖6係顯示基於觸原色原理的一體型觸覺測量模 組的構造之立體圖。此外,圖7係顯示基於觸原色原理的一體型觸覺傳遞模組的構造之立體圖。
在觸原色原理中,係將觸覺理解為壓覺/剪力(由梅克爾細胞、魯氏末稍感知)/低頻振動覺(由梅斯納氏小體感知)/高頻振動覺(由巴氏小體感知)/冷覺/溫覺/痛覺(各由游離神經末稍感知)各要素間的時間空間關係性上之合成,而實現觸覺的分解與合成。如圖6及圖7所示,本案發明人等係根據該觸原色原理,開發了能夠將力、振動覺、冷溫覺各要素一體地取得並呈現的模組。兩者均為長度24mm、寬度12mm、高度6mm,為適於接觸至指腹部的尺寸(size)。
在作為外部輸入裝置120的一例而顯示於圖6的一體型觸覺測量模組中,係在表層配置有32點分布型壓覺測量感測器120a,在其下位的中間層配置有具有體溫呈現功能的溫冷感測量感測器120b,在更下位的下層配置有寬頻率範圍的振動感測量感測器120c。
此外,在作為外部輸出裝置140的一例而顯示於圖7的一體型觸覺呈現模組中,係在表層配置有以32點電觸覺刺激構成的分布型壓力呈現部140a,在其下位的中間層配置有以四片帕耳帖元件的矩陣構成的高速驅動型溫冷感呈現部140b。在更下位的下層配置有寬頻率範圍(HiFi)的振動呈現部140c。
藉此,能夠將至今以個別的物理特性理解且其傳遞需要組合多個元件的力、振動、溫度進行時間空間方面的統合,實現具有高臨場感的觸覺的傳遞。習 知技術中,在實現小型的觸覺傳遞模組時係存在幾個技術性課題。首先,習知技術中,在壓覺及低頻振動覺的呈現,一般而言係利用馬達和氣壓等的致動器,令物理性的力發生在皮膚上,但此種方法無法期待能有一定程度以上的小型化。有鑒於此,在本實施形態中,係利用以經皮電刺激進行的觸覺感受器的選擇性刺激,從皮膚上以電刺激與感知壓覺的梅克爾細胞及感知低頻振動覺的梅斯納氏小體連結的神經,藉此,能夠在沒有物理性刺激下自如地產生壓覺及低頻振動覺。係顯示藉由令刺激模式(pattern)變化,能夠選擇性地分別刺激壓覺/低頻振動覺。此外,關於刺激電極,使用的是使用撓性(flexible)印刷基板的薄型、高密度的電觸覺顯示器。
在人的觸知覺特性,關於壓覺的呈現方面,係顯示即使在擁有最細密的兩點覺閾的指尖,2mm的間距(pitch)便已足夠。在本實施形態的一體型觸覺測量模組中,使用的是使用撓性基板、能夠實現與一體型觸覺呈現模組的電觸覺顯示器對應的多點測量之薄型壓覺感測器,而構成將高密度、多點的壓覺取得、呈現的薄型的感測器及顯示器。亦即,分布型壓覺測量感測器120a及分布型壓力呈現部140a係能夠實現間隔3mm以內、4列8行32點的高精度的壓覺呈現與壓覺測量。另外,該模組係藉由小型化、一體化而能夠適用於人類體表的任何部分,並不限於指尖。此外,由於係進行基於觸原色的原理之編碼(encoding),故能夠做到通用性的使用。
針對高頻振動覺的呈現,習知技術中雖然已開發出許多振動致動器,但其絕大部分係設計成將共振頻率設定在200Hz前後的人最容易感知的頻帶。這樣的設計在以低耗電呈現強烈刺激上有很好的效果,但另一方面,係有在自然的觸動作中會發生的含有多種振動頻率的纖細的觸感的呈現上並不適合之問題。因此,在一體型觸覺呈現模組的振動呈現部140c中,為了實現最適合振動覺呈現的振動致動器,係使用能夠在1Hz至1000Hz的廣振動頻帶做到平坦(flat)特性的振動覺之呈現的小型的振動致動器。就觸覺的生理學發現而言,主要感知高頻振動的巴氏小體已知擁有1cm2至2cm2程度的廣大感受域,據此將振動致動器的尺寸設計為2cm2。另外,關於以振動感量測部120c進行的振動覺的取得,使用振動式麥克風(microphone)來取得廣頻帶的振動之技術已經確立,因此係使用該技術。
針對冷溫覺的呈現,已知在觸原色原理中,並不是重現絕對性的溫度,而是必須重現人的皮膚與接觸對象之間的熱傳遞。因此,溫冷感測量感測器120b及溫冷感呈現部140b係具有冷溫覺的取得與呈現的雙向性,亦即取得冷溫覺的感測器係具有作為將與人同等的體溫重現之顯示器的功能。此外,在習知技術的冷溫覺傳遞中,有時間響應性低的課題,但藉由活用人的冷溫覺感知特性,將複數個溫度呈現元件配置成矩陣狀配置進行控制而能夠做到1Hz程度的溫度變化的高速冷溫覺呈現手法,便能夠做到具有時間空間變化的溫冷感的傳遞。
再回到圖5,外部輸出裝置140乃係能夠輸出包括電、力、溫度、振動、時間空間等在內的物理量之輸出部,並不限於前述的一體型觸覺呈現模組。例如,外部輸出裝置140係亦可為將電刺激器、力呈現致動器、帕耳帖元件、振動元件等配置成矩陣狀而能夠進行時間空間性輸出的輸出裝置。此處,振動器係可為音圈(voice coil)型振動器、壓電(piezo)元件、或者振動馬達(vibration motor)。除此之外,外部輸出裝置140係亦可使用公知的電輸出手段、力呈現手段、溫度呈現手段、振動呈現手段、時間空間配置手段來輸出上述物理量。就一例而言,亦可使用本案發明人等所開發的對指尖傳遞反作用力和溫度的遠端臨場系統即TELESAR系統的物體偵測感覺提供技術(參照例如日本國特開2013-91114號公報)。另外,如前述的一體型觸覺呈現模組等所示,外部輸出裝置140係亦可具備以二維形態配置的複數個推壓手段、振動產生手段、發熱手段、計時器、接收裝置等。
此處,針對在外部輸出裝置140等中,當進行電、力、溫度、振動等其中至少兩種觸覺的輸出,令複數種刺激從不同點集中於一點定位、為同種刺激而利用幻感令刺激定位在複數個元件間、令多模性的觸感呈現等時的較佳元件配置構造體的例子進行說明。另外,關於元件配置構造體,係亦可將元件積層配置,或者,亦可平行於皮膚面水平配置,亦可將其一部分積層配置、將其他部分水平配置。
(1)就元件配置構造體的特徵之一而言,如下表所示,可將電的呈現元件積層配置在比振動或溫度的呈現元件更靠身體側。振動和溫度容易在構造體中傳遞,生理方面的差異亦不明確,相對地,電若不直接呈現在皮膚表面,刺激便不易傳遞,差異明確,故為較佳的元件配置。
Figure 106111769-A0202-12-0030-1
(2)又,就元件配置構造體的特徵之一而言,如下表所示,可將溫度的呈現元件積層配置在比振動的呈現元件更靠身體側。在溫度與振動中,振動比較容易在構造體內部傳遞,生理方面的差異亦較不明確,相對地,溫度則比較不易在構造體中傳遞,生理方面的差異亦較明確,故為較佳的元件配置。
Figure 106111769-A0202-12-0030-2
(3)又,就元件配置構造體的特徵之一而言,如下表所示,可將電、溫度、及/或振動的呈現元件積層配置在比力的呈現元件更靠身體側。在該兩項中,力比較容易在構造體內部傳遞,為較佳的元件配置。
Figure 106111769-A0202-12-0031-3
(4)又,就元件配置構造體的特徵之一而言,可至少將振動的呈現元件水平配置。例如,當將振動的呈現元件水平配置時,亦可設置供將振動轉換成聲音或供振動共鳴或供散熱之用的空隙。如下表所示,藉由在水平配置的振動的元件與元件之間設置空隙,能夠令振動、聲音共鳴而使之增幅,此外,能夠令因帕耳帖元件等而呈現在皮膚側的不需要的廢熱輕鬆地散熱掉。另外,當元件配置構造體係以全體包圍身體周圍的方式穿戴時,可將空隙設置在背側,以避免妨礙腹側的觸覺呈現。
Figure 106111769-A0202-12-0031-4
又,就元件配置構造體的特徵之一而言,可將電的呈現元件緊密地水平配置、將溫度及/或振動的呈現元件稀疏地水平配置。在該兩項中,溫度/振動的兩點覺閾比較大,生理方面的差異較不明確,相對地,電的兩點覺閾則較小,生理方面的差異較明確,故為較佳的元件配置。
又,就元件配置構造體的特徵之一而言,亦可在至少一部分為水平配置時採全體具有可撓性的方式構成。即,至少一部分為水平型式的元件配置構造體特別適於以全體包圍身體周圍的方式設置的情形。例如,亦可將水平配置的元件載置於撓性基板,以利於密接於皮膚。就其他例而言,亦可以使全體具有可撓性的方式將水平配置的元件與元件之間連結起來。例如,水平配置的元件係載置在剛性基板,但只要剛性基板彼此以能夠轉動的方式連結,便使全體具有可撓性。就其他例而言,亦可為元件基板為細帶狀、以連接器(connector)等連接,藉由一條一條的帶狀發生彎曲、左右移位等而形成為與接近球面的體表面形狀服貼(fit)。另外,在積層配置中,亦可在皮膚側的基板與外側的基板之間設置彈性體之層而構成為容易服貼在身體。就彈性體而言,亦可為矽橡膠(silicon rubber)和胺甲酸乙酯發泡體(urethane foam)等。
此處,在上述的元件配置構造體中,電的呈現元件在不進行電呈現時,亦可令之作為接地(地線(earth))發揮功能。具體而言,在水平配置有多個電的呈現元件時,供進行電刺激之用而通電的元件係有限,因此能夠令其周圍做為接地(地線)發揮功能而設成地電位(ground),為較佳形態。
另外,觸覺資訊轉換裝置100在不與外部輸入裝置120和外部輸出裝置140即時(realtime)進行觸覺等的輸入輸出時,沒必要始終連接至網路300。例如, 觸覺資訊轉換裝置100係可在連接確立時才取得記憶在外部輸入裝置120的輸入資料和從外部輸入裝置120記憶至伺服器等外部機器200等的輸入資料。同樣地,外部輸出裝置140乃係可當要進行觸感呈現時才連接至觸覺資訊轉換裝置100和獲得觸覺資訊上傳(upload)的外部機器200而取得觸覺資訊。
[觸覺資訊轉換裝置100的構成]
接著,針對本實施形態的觸覺資訊轉換裝置100的構成詳細進行說明。再回到圖5,圖5係顯示本實施形態所適用的觸覺資訊轉換裝置100的構成的一例之方塊圖,以該構成當中與本實施形態相關的部分為中心做概念性圖示。另外,在本實施形態中,雖係針對觸覺資訊轉換裝置100具備有輸入部112和輸出部114等之例進行說明,但並不以此為限,亦可不具有輸入部112和輸出部114等,而以自外部相應於要求生成觸覺資訊予以輸出發送的伺服器等的形式發揮功能。
在圖5中,觸覺資訊轉換裝置100概略上係構成為具備:處理器(例如CPU(Central Processing Unit;中央處理器))等控制部102,係全面性地控制觸覺資訊轉換裝置100全體;通信控制介面(interface)部104,係連接至與通信線路等連接的路由器(router)等通信裝置(未圖示);輸入輸出控制介面部108,係連接至輸入部112和輸出部114;及記憶部106,係儲存各種資料庫(database)和表(table)等;上述各部係透過任意的通信路徑而連接成能夠進行通信。另外,各部係亦可構成為 相應於以輸入部112和輸出部114進行的輸入輸出的需要而暫時地透過任意的通信路徑連接成能夠進行通信。例如,亦可構成為以USB記憶體(memory)等記錄媒體讓各部能夠暫時地授受觸覺資訊。
儲存在記憶部106的各種資料庫和表(例如,觸覺定義檔案(file)106a、物體觸感資料庫106b等)乃係利用SRAM(Static Random Access Memory;靜態隨機存取記憶體)等構成的小容量高速記憶體(例如,快取記憶體(cache memory))等和HDD(Hard Disk Drive;硬碟)、SSD(Solid State Drive;固態硬碟)等固定磁碟裝置等儲存(storage)手段,儲存用於各種處理的各種程式、表、檔案、資料庫、網頁(web page)等。
其中,觸覺定義檔案106a乃係定義要呈現的兩種以上的複數種觸覺刺激的種類之觸覺定義手段。另外,觸覺定義檔案106a係亦可記憶與第一刺激點之間的時間方面及/或空間方面的閾值。例如,觸覺定義檔案106a係亦可定義第一種類的觸覺刺激與第二種類的觸覺刺激。更具體言之,觸覺定義檔案106a係亦可將時間方面或空間方面的生理差異閾比第一種類的觸覺刺激大之種類的觸覺刺激定義為第二種類的觸覺刺激。藉此,便能夠藉由後述的輸出控制部102c的處理,令第二種類的觸覺刺激在第一刺激點感知。此外,觸覺定義檔案106a係可將時間方面或空間方面的生理差異閾比第二種類的觸覺刺激大之種類的觸覺刺激定義為第一種類的觸覺刺激。藉此,便能夠藉由後述的輸出控制部102c 的處理,令第一種類的觸覺刺激在第二刺激點感知。另外,「差異閾」係指可感知不同刺激之最小的變化量。例如,時間方面的生理差異閾係指可感知不同刺激之最小的時間差;空間方面的生理差異閾係指可感知不同刺激之最小的空間位置差(距離等)。通常,時間方面的生理差異閾、空間方面的生理差異閾係依據身體的部位而具有預定閾值,就一例而言,可使用公知的時間方面或空間方面的生理差異閾的閾值的範圍(感知為同一時間/場所的上限值、感知為別的時間/場所的下限值)來預先設定觸覺定義檔案106a的預定閾值。一般而言,認為時間空間方面的辨別係按力(具體而言為壓力)、電、振動、溫度的順序變難。
就一例而言,觸覺定義檔案106a係可將力呈現定義為第一種類的觸覺刺激,將振動、溫度、及電刺激其中一者或複數者定義為第二種類的觸覺刺激。藉此,能夠令振動、溫度、及/或電刺激定位在力呈現的刺激點感知。另外,觸覺定義檔案106a將振動、溫度、及電刺激其中一者或複數者定義為第一種類的觸覺刺激,將力呈現定義為第二種類的觸覺刺激亦能夠獲得同樣的效果。
就其他例而言,觸覺定義檔案106a係亦可將振動呈現定義為第一種類的觸覺刺激,將溫度刺激定義為第二種類的觸覺刺激。藉此,能夠令溫度刺激定位在振動呈現的刺激點感知。另外,觸覺定義檔案106a將溫度刺激定義為第二種類的觸覺刺激,將振動呈現定義為第二種類的觸覺刺激,亦能夠獲得同樣的效果。
就其他例而言,觸覺定義檔案106a係亦可將電刺激呈現定義為第一種類的觸覺刺激,將振動及/或溫度定義為第二種類的觸覺刺激。藉此,能夠令振動及/或溫度的刺激定位在電呈現的刺激點感知。另外,觸覺定義檔案106a將振動及/或溫度定義為第一種類的觸覺刺激,將電刺激呈現定義為第二種類的觸覺刺激,亦能夠獲得同樣的效果。
接著,物體觸感資料庫106b乃係將物體與觸感建立關聯對應予以記憶的物體觸感積存手段。例如,物體觸感資料庫106b係針對藉由公知的物體辨識手法在現實世界中辨識出物體時、或擴增實境空間和虛擬空間中的虛擬物體,相應於該物體,定義有所應呈現的觸感。此處,物體觸感資料庫106b係亦可將所應呈現的觸感定義為心理觸感,如根據人體的複數種不同的觸覺感受器所獲得的資訊在腦內統合性地認知的心理量等。物體觸感資料庫106b係可如前述圖3中所示的心理觸感映射圖(擬聲擬態語地圖)所示,使用將素材和物體等標定至預定的定量軸上而成的映射圖來定義與物體或素材對應的觸感。
此處,就一例而言,物體觸感資料庫106b係可記憶如下表所示,相應於對象物和觸感而從基底不含有電的輸入用的觸覺資訊轉換成基底含有電的輸出用的觸覺資訊之轉換表。藉由使用該轉換表,例如,在一般的對皮膚表面的力呈現中,係解決雖能夠呈現沿推壓方向的壓力卻無法呈現沿拉扯方向的力之問題等,以含 有電的刺激呈現來重現拉扯方向的力,例如便能夠呈現以日語中的濕黏(nechonecho)感等擬聲擬態語表現的多種心理質感。
Figure 106111769-A0202-12-0037-5
此處,記憶在觸覺定義檔案106a和物體觸感資料庫106b等的資訊係可從外部機器200等定期性或臨時性地下載(download),記憶部106係可將下載下來的資訊暫時性或非暫時性地記憶。
此外,在圖5中,輸入輸出控制介面部108係進行各種感測器等輸入部112和能夠輸出物理量等的輸出部等輸出部114的控制。就各種感測器等輸入部112而言,係亦可具備與前述外部輸入裝置120相同的功能。此外,就能夠輸出物理量等的輸出部等輸出部114而言,係亦可具備與前述外部輸出裝置140相同的功能。除此之外,就輸出部114而言,係能夠使用監視器(monitor)(包括家用電視機和觸控螢幕(touch screen)監視器等)等。此外,就輸入部112而言,係能夠使用觸控面板、語音麥克風、鍵盤(keyboard)等。就一例而言,輸入部112及輸出部114係亦可為將液晶面板等輸出部114與觸控式位置輸入裝置等輸入部112組合而成的觸控面 板等輸入輸出手段。此外,輸入輸出控制介面部係亦可進行與USB記憶體等記錄媒體連接而授受資料的控制。另外,在以下的實施形態中,就輸入手段而言,不論是使用輸入部112還是外部輸入裝置120皆可,此時,或統稱為輸入手段112、120。同樣地,就輸出手段而言,不論是使用輸出部114還是外部輸出裝置140皆可,或統稱為輸出手段114、140或輸出部114、140。
此外,在圖5中,控制部102乃係CPU等處理器,係具有將OS(Operating System;作業系統)等控制程式、規定各種處理程序等的程式及所需資料儲存起來之用的內部記憶體,藉由上述程式等而進行用以執行各種處理的資訊處理。在功能概念上,控制部102係構成為具備呈現觸感設定部102a、生成部102b、及輸出控制部102c。
其中,呈現觸感設定部102a乃係設定要作為呈現目標的觸感之呈現觸感設定手段。例如,呈現觸感設定部102a係亦可將預先設定的觸感設定為呈現目標。就其他例而言,呈現觸感設定部102a係亦可根據從外部輸入裝置120和輸入部112獲得的動作資料,將與身體的動作對應的觸感設定為呈現目標。此外,呈現觸感設定部102a係亦可根據從外部輸入裝置120和輸入部112獲得的與藉由真實物體的物體辨識而辨識出的物體或虛擬物體相關的資訊,從物體觸感資料庫106b取得與該物體對應的觸感,藉此,設定要作為呈現目標的觸感。除此之外,呈現觸感設定部102a係亦可透過外部輸 入裝置120和輸入部112等讓使用者設定要作為呈現目標的觸感。就一例而言,呈現觸感設定部102a係亦可如前述使用輸入手段120、112的撓性基板沿時間軸進行多點測量,根據加上該時間軸的接觸面積和壓力分布的變化等來判定沾黏感覺和Q黏(羅馬拼音mochimochi)感等觸感。另外,從所判定的觸感轉換成要呈現的觸覺資訊,係亦可使用前述表等轉換表而由控制部102進行轉換。此處,呈現觸感設定部102a係亦可取得前述TELESAR系統等機器人的手指部的觸覺感測器(力感測器、振動感測器、溫度感測器等輸入手段120、112)的資訊,藉由機器學習等方法分類到複數種擬聲擬態語等與觸感相關的類別(category)資訊,將以類別資訊表現的觸感與觸覺顯示器(呈現力、電、振動、溫度等刺激的輸出手段140、114)的時間空間方面的組合建立對應關聯,儲存至物體觸感資料庫106b。藉此,便能夠從觸覺感測器的資訊推測位於分離處所的物體的觸感,從而能夠將推測出的觸感以多感覺形式呈現給位於別的處所的使用者。另外,呈現觸感設定部102a係亦可使用公知的手法等進行輸入手段120、112和輸出手段140、114的校正(calibration)。例如,呈現觸感設定部102a係亦可對外部輸出裝置140發送初始動作信號,藉由外部輸出裝置140相應於初始動作信號進行輸出來執行各種校正。
此外,生成部102b乃係相應於要作為呈現目標的觸感,選擇至少兩種以上的複數種物理量,並且根據所選擇的物理量,生成供呈現預定觸感之用的觸 覺資訊之生成部102b。另外,在本實施形態中係以複數種物理量為基底進行合成,故生成部102b係亦可相應於要作為呈現目標的觸感,選擇至少兩種以上的複數種物理量,並且根據所選擇的物理量,生成供呈現預定觸感之用的觸覺資訊。就一例而言,物理量乃係至少包括電且包括力、溫度、振動、及/或時間空間之物理量,生成部102b係亦可選擇其中至少兩種以上的複數種物理量來生成觸覺資訊。另外,在呈現以力的時間變化形成的觸感時,生成部102b係亦可選擇至少電及時間空間的物理量來生成觸覺資訊。此處,生成部102b係亦可選擇觸覺定義檔案106a所定義的第一及第二種類的觸覺刺激作為複數種物理量。生成部102b係亦可將前述藉由呈現觸感設定部102a設定的觸感作為呈現目標,選擇複數種物理量來生成觸覺資訊。就一例而言,生成部102b係亦可參照物體觸感資料庫106b,判斷與從輸入手段120、112獲得的觸覺感測器的資訊相對應的觸感,為了呈現該觸感而生成以電刺激等複數種物理量為基礎的觸覺資訊。
此處,針對伴隨有以生成部102b進行的複數種物理量的合成之編碼進行說明。例如,當欲在手上呈現「柔軟的」觸感時,並不存在能夠以前述觸覺呈現模組單體呈現「柔軟感」的觸覺信號,必須相應於手按壓物體到什麼程度的運動資訊(動作資料等)來令觸原色的各觸覺要素中進行呈現的觸覺信號進行時間空間性的變化。此外,在藉由外部輸入裝置120和輸入部112 記錄身體經驗的場面與藉由外部輸出裝置140和輸出部114體驗該身體經驗的場面,使用者的身體運動未必會完全一致,在不同運動狀態下呈現相同的觸覺控制信號會感知成不同的觸感。因此,在觸覺資訊轉換裝置100中,並非單純地將所記錄下的觸覺資訊原封不動地呈現,進行相應於身體運動之差異的適當轉換係極為重要。
利用圖4,如前述將人類感性感覺的觸感定義為觸覺的心理空間、將令構成該觸感的神經脈衝(pulse)產生的觸覺感受器等生理學要素定義為觸覺的生理空間、將驅使觸覺感受器動作的物理性刺激定義為觸覺的物理空間。本實施形態的觸覺傳遞模組120、112係理解為乃是以電刺激進行的梅克爾細胞與梅斯納氏小體的生理空間的刺激、及振動與溫度的物理空間的刺激之混合(hybrid)構成。因此,要運用觸覺傳遞模組120、112來呈現任意的觸感,演算法(algorithm)及能夠以觸覺資訊轉換裝置100執行該演算法的軟體環境的建構係不可或缺的,其中,演算法係指將心理空間上的任意的「觸感」分解成觸覺呈現模組140、114的各感覺要素,相應於身體運動做互動性的選擇,並且根據所選擇的物理量,生成供呈現預定的前述觸感之用的觸覺資訊之演算法。因此,觸覺資訊轉換裝置100的控制部102係執行藉由生成部102b和輸出控制部102c等的處理,對從現實世界記錄下的資訊進行編輯、加工而創造任意的觸覺資訊,配合體驗中的身體運動而轉換成適當的觸覺控制信號之演算法、及將從現實世界記錄下的觸覺資訊轉換 成與不同的身體運動對應的新的觸覺資訊之演算法,而作為觸原色編碼器(encoder)發揮功能。
再回到圖5,針對以生成部102b進行的複數種物理量的合成的具體的演算法進行說明。例如,在呈現柔軟的心理質感的情形中,換言之,在呈現「Q黏(mochimochi)感」的情形中,生成部102b係亦可利用複數種物理量,以在從非接觸狀態遷移至接觸狀態的遷移過程中或在身體的變位過程中給予比硬表面的情形更強烈的電、力或振動的刺激,或者比硬表面的情形更廣面積的電、力或振動的刺激之方式,進行合成。就一例而言,生成部102b係亦可給予比令手指等接觸於硬表面時所受的觸覺刺激的強度更強烈的電刺激、力或振動的刺激。此外,生成部102b係亦可生成給予比令手指等接觸於硬表面時所受的觸覺刺激的接觸面積更廣面積的電、力或振動的刺激之觸覺資訊。另外,手指等的從非接觸狀態遷移至接觸狀態的遷移過程和表示其動作的身體的變位過程係能夠根據前述藉由外部輸入裝置120和輸入部112接收的動作資料來判定。
就其他例而言,在呈現沾黏的心理質感的情形中,換言之,在呈現「黏糊糊(羅馬拼音nebaneba)感(stick feeling)」的情形中,生成部102b係亦可利用複數種物理量,以在從接觸狀態遷移至非接觸狀態的遷移過程中或在身體的變位過程中給予比硬表面的情形更強烈的電、力或振動的刺激,或者比硬表面的情形更廣面積的電、力或振動的刺激之方式,進行合成。就一例而 言,生成部102b係亦可給予比在相同壓力下從硬表面將手指等從接觸狀態拿開時所受的觸覺刺激的強度更強的電刺激、力或振動的刺激。此外,生成部102b係亦可生成比在相同的手指等的動作下從硬表面將手指等拿開時所受的觸覺刺激的接觸面積更廣面積的電刺激、力刺激或振動刺激之觸覺資訊。另外,手指等的從接觸狀態遷移至非接觸狀態的遷移過程和表示其動作的身體的變位過程係能夠根據前述藉由外部輸入裝置120和輸入部112接收的動作資料來判定。
此外,輸出控制部102c乃係將觸覺資訊輸出至外部輸出裝置140和輸出部114等輸出部側之輸出控制手段。具體而言,輸出控制部102c係將由生成部102b生成的觸覺資訊輸出至輸出手段140、114側。例如,輸出控制部102c係亦可將觸覺資訊發送至外部輸出裝置140,亦可透過輸入輸出控制介面部108輸出至輸出部114。此處,如圖5所示,輸出控制部102c係亦可復具備第一刺激部102d與第二刺激部102e。
第一刺激部102d乃係判定發生第一種類的觸覺刺激的第一刺激點、或透過輸出部140、114令第一種類的觸覺刺激發生在第一刺激點之第一刺激手段。亦即,第一刺激部102d係亦可透過輸出部140、114令第一種類的觸覺刺激主動地發生在第一刺激點,亦可判定因使用者在物體相對性地動作而發生的第一種類的觸覺刺激的第一刺激點。此處,刺激點係指時間上的時點及/或空間上的位置點(一維線上的位置、二維平面上的 位置、三維空間上的位置等)。另一方面,第二刺激部102e乃係透過輸出部140、114令第二種類的觸覺刺激發生在與藉由第一刺激部102d而判定或發生的第一種類的觸覺刺激的第一刺激點於時間方面及/或空間方面相隔預定閾值內的第二刺激點之第二刺激手段。時間方面的預定閾值和空間方面的預定閾值係依要作為呈現目標的觸覺刺激而異,可預先記憶在記憶部106(觸覺定義檔案106a等)。另外,就時間方面及/或空間方面的預定閾值而言,可使用公知的兩點覺閾(空間兩點覺閾和時間兩點覺閾等)。
在令其他種刺激定位在力呈現的刺激點進行感知的情形中,就一例而言,亦可為,第一刺激部102d係判定力呈現或令力呈現發生,作為第一種類的觸覺刺激,第二刺激部102e係令振動、溫度、及電刺激其中一者或複數者發生在第二刺激點,作為第二種類的觸覺刺激。就其他例而言,第一刺激部102d係判定振動、溫度、及電刺激其中一者或複數者、或令振動、溫度、及電刺激其中一者或複數者發生,作為第一種類的觸覺刺激,第二刺激部102e係令力呈現發生在第二刺激點,作為第二種類的觸覺刺激,藉此亦能夠達到同樣的效果。
此外,在令其他種刺激定位在振動呈現的刺激點進行感知的情形中,就一例而言,亦可為,第一刺激部102d係判定振動呈現或令振動呈現發生,作為第一種類的觸覺刺激,第二刺激部102e係令溫度刺激發生在第二刺激點,作為第二種類的觸覺刺激。就其他例而 言,第一刺激部102d係判定溫度呈現或令溫度呈現發生,作為第一種類的觸覺刺激,第二刺激部102e係令振動刺激發生在第二刺激點,作為第二種類的觸覺刺激,藉此亦能夠達到同樣的效果。
此外,在令其他種刺激定位在電刺激呈現的刺激點進行感知的情形中,亦可為,第一刺激部102d係判定電刺激呈現或令電刺激呈現發生,作為第一種類的觸覺刺激,第二刺激部102e係令振動及/或溫度發生在第二刺激點,作為第二種類的觸覺刺激。就其他例而言,第一刺激部102d係判定振動及/或溫度、或令振動及/或溫度發生,作為第一種類的觸覺刺激,第二刺激部102e係令電刺激呈現發生在第二刺激點,作為第二種類的觸覺刺激,藉此亦能夠達到同樣的效果。
此處,第一刺激點及第二刺激點的刺激點係亦可為利用幻感錯覺產生的感知點。此處,圖8(a)及圖8(b)係顯示利用幻感錯覺產生的感知點之圖。在人類實際以指腹觸摸現實世界的物體時,施加在指腹皮膚表面的力、振動、溫度的四種刺激的作用點為同一點。然而,在將刺激呈現給人的觸覺呈現裝置中,因各種元件在配置上的不方便,一般而言係難以令振動、溫度、電的作用點一致。
另一方面,在對人類的感覺進行調查後,即使作用點不同還是能夠令相同的感覺產生。此外,亦能夠令感覺產生在不同於作用點之處。幻感即為後者的絕佳例子。圖8中的白圈係代表刺激部位,帶斜線的圈 係代表由幻感產生的感知點。幻感乃係一種與由von Bekesy(馮.貝凱希)確認的經雙耳聽覺進行的聲音的定位相同的皮膚感覺的現象。在幻感中,藉由在某條件下在兩部位施加刺激,能夠在兩部位間的不同於刺激部位的部位給予刺激像。再且,如圖8(a)所示,藉由在三個以上的部位施加刺激,能夠令刺激像定位在其內側。此外,如圖8(b)所示,藉由複數個刺激部位的刺激強度差,能夠控制該刺激像的位置。關於上述現象,已知針對振動刺激和電刺激亦皆會發生(參照谷江和雄、館暲、小森谷清、阿部稔「電脈衝刺激的強度差幻感像的位置辨別特性」,測量自動控制學會論文集,Vol.15,No.4,p.505-512(1979.8)、及Susumu Tachi,Kazuo Tanie,Kiyoshi Komoriya and Minoru Abe:Electrocutaneous Communication in a Guide Dog Robot(MELDOG),IEEE Transactions on Biomedical Engineering,Vol.BME-32,No.7,pp.461-469(1985))。
此種幻感現象的存在,代表能夠在不是直接刺激部位的部位感覺到振動刺激。圖9及圖10係顯示本案發明人等所開發出的前述名為TELESAR V的遠端臨場機器人的手指配戴式感測器/致動器及配戴至手指時的外觀之圖(關於裝置構成等詳情,請參照日本國特開2013-91114號公報)。在以裝設在手套的圖示的呈現裝置來呈現TELESAR V的手所測量到的壓覺資訊與振動資訊時,施加壓力與剪力於指腹、從手指兩側呈現振動,結果,確認了感覺到壓覺的指腹亦感覺到振動刺激。咸 信是因幻感使得在中央感覺到振動刺激。此外,還觀察到亦有施加壓覺的地方變得容易感覺到刺激之效果。另外,在後述的驗證實驗中亦對下述比較進行了調查:(1)比較同時刺激兩側時與僅刺激單側時感覺到刺激的部位、(2)比較在不加壓下給予振動刺激時與加壓下施加振動刺激時產生振動刺激的部位。
因此,即使將力的呈現部分改成電刺激,同樣能夠在電刺激部分利用幻感呈現振動刺激。此外,該幻感像係藉由電刺激而更加清晰地定位。因此,利用幻感,例如,能夠令振動刺激定位在力及電刺激的部位,且藉由力呈現和電呈現,能夠令振動刺激的幻感像清晰地定位在力和電刺激的呈現部位。
此外,針對溫度呈現亦同,在從側面施加溫度刺激的情形中,僅施加單側時並不會定位在指腹,而當在指腹呈現振動刺激,便定位在該部位。經實驗驗證,此時亦有當從左右側施加便會定位在中心的幻感。關於溫度的呈現,由於元件的特性與熱的性質,在呈現上會出現延遲。為了補正該延遲,除了能夠在感測器組入接觸型的溫度感測器,還能夠組入非接觸的溫度感測器。
此處,觸覺資訊轉換裝置100係亦可構成為除了外部輸入裝置120和外部輸出裝置140之外,也透過網路300而與提供記憶觸覺資訊和閾值等的資料庫、和觸覺資訊轉換程式等外部程式等的外部機器200連接成能夠進行通信。此外,該觸覺資訊轉換裝置100 係亦可透過路由器等通信裝置及專用線等有線或無線的通信線路而以能夠進行通信的方式連接至網路300。
此外,在圖5中,通信控制介面部104乃係進行觸覺資訊轉換裝置100與網路300(或路由器等通信裝置)之間的通信控制之裝置。亦即,通信控制介面部104係具有透過通信線路(不論有線、無線)而與其他終端設備或站台進行資料通信的功能。在本實施形態中,通信控制介面部104係進行與外部輸入裝置120、外部輸出裝置140、外部機器200等的通信控制。
此處,外部機器200係透過網路300而與觸覺資訊轉換裝置100、外部輸入裝置120、及外部輸出裝置140相連接,係具有對各終端設備除了提供記憶在觸感定義檔案和物體觸感資料庫等的閾值和轉換表等之外也提供與校正相關的外部資料庫、和執行觸覺資訊轉換程式和編碼程式等外部程式等的網站(website)之功能。
此處,外部機器200係例如可藉由個人電腦、伺服器用電腦等硬體要素、及作業系統、應用程式(application program)、其他資料等軟體要素來實現。例如,外部機器200係亦可採用WEB伺服器和ASP伺服器等的形式構成,其硬體構成係亦可構成藉由一般市售的工作站(work station)、個人電腦等資訊處理裝置及其附屬設備來構成。此外,外部機器200的各功能係藉由外部機器200的硬體構成中的CPU等處理器、磁碟裝置、記憶體裝置、輸入裝置、輸出裝置、通信控制裝置等及控制該些裝置的程式等來實現。
本實施形態的觸感呈現系統的各構成的說明至此結束。另外,在上述的構成例中雖係針對觸覺資訊轉換裝置100係構成為與輸入部120、112、輸出部140、114或伺服器等外部機器200為分離的機體之例進行說明,但本實施形態並不限於此。例如,觸覺資訊轉換裝置100係亦可與輸入裝置構成為一體,亦可與發送裝置構成為一體,亦可與記憶裝置構成為一體,亦可與伺服器裝置構成為一體,亦可與接收裝置構成為一體,或是,亦可與輸出裝置構成為一體。
[觸感呈現系統的處理]
接著,針對如上述構成的本實施形態的觸感呈現系統的處理的一例,於以下參照圖11至圖13詳細進行說明。
(觸感呈現處理)
圖11係顯示本實施形態的觸感呈現系統的觸覺資訊轉換處理的一例之流程圖。
如圖11所示,首先,本觸感呈現系統的輸入部120、112係檢測使用者的身體運動,觸覺資訊轉換裝置100係藉由生成部102b的處理,取得動作資料等身體運動資訊(步驟SA-1)。就一例而言,輸入部120、112係亦可進行觸控檢測,亦可檢測接觸面積,亦可檢測手指的變位。另外,在外部輸出裝置120例如取得身體運動資訊的情形中,係將身體運動資訊發送至觸覺資訊轉換裝置100,觸覺資訊轉換裝置100接收身體運動資訊。
接著,本觸感呈現系統的觸覺資訊轉換裝置100係藉由生成部102b的處理,相應於呈現目標的觸感,選擇電、力、溫度、振動、時間空間的物理量其中至少兩種以上的複數種物理量,並且根據所選擇的物理量,生成供呈現預定觸感之用的觸覺資訊(步驟SA-2)。例如,在呈現以力的時間變化形成的觸感的情形中,生成部102b係亦可藉由至少電及時間空間的物理量來合成。此處,當觸覺定義檔案106a定義有第一及第二種類的觸覺刺激時,生成部102b係亦可根據第一及第二種類的觸覺刺激選擇複數種物理量來合成。
接著,本觸感呈現系統的觸覺資訊轉換裝置100係將觸覺資訊輸出至外部輸出裝置140和輸出部114等輸出部側(步驟SA-3)。具體而言,輸出控制部102c係將由生成部102b生成的觸覺資訊輸出至輸出部140、114側。另外,在輸出目的地為外部輸出裝置140的情形中,觸覺資訊轉換裝置100係藉由輸出控制部102c的控制將觸覺資訊發送至外部輸出裝置140。此處,輸出控制部102c係亦可執行以第一刺激部102d與第二刺激部102e進行的處理(關於處理,於後文中說明)。
接著,本觸覺呈現系統的輸出部140、114係根據觸覺資訊,從輸出部140、114進行多模(多感覺形式)的輸出,呈現激發使用者觸知性的觸感(步驟SA-4)。
以上為本觸感呈現系統的觸感呈現處理的一例。接著,針對本觸感呈現系統的多點刺激處理的一例,於以下進行說明。
(多點刺激處理)
圖12係顯示本實施形態的觸感呈現系統的觸覺資訊轉換裝置100的多點刺激處理的一例之流程圖。
如圖12所示,首先,觸覺資訊轉換裝置100的輸出控制部102c係參照觸覺定義檔案106a,設定已定義好的第一種類的觸覺刺激與第二種類的觸覺刺激(步驟SB-1)。
接著,觸覺資訊轉換裝置100的輸出控制部102c係藉由第一刺激部102d的處理,判定發生第一種類的觸覺刺激的第一刺激點(步驟SB-2)。更具體言之,輸出控制部102c係亦可判定因使用者對物體進行接觸等而生的第一種類的觸覺刺激的時點和位置點等。或者,輸出控制部102c係亦可藉由第一刺激部102d的處理,輸出透過輸出部140、114令第一種類的觸覺刺激發生在第一刺激點的刺激資訊。
接著,觸覺資訊轉換裝置100的輸出控制部102c係藉由第二刺激部102e的處理,設定與藉由第一刺激部102d而判定或發生的第一種類的觸覺刺激的第一刺激點於時間方面及/或空間方面相隔預定閾值內的第二刺激點(步驟SB-3)。此處,輸出控制部102c係亦可藉由第二刺激部102e的處理,參照預先記憶在觸覺定義檔案106a的閾值來設定第二刺激點。
接著,觸覺資訊轉換裝置100的輸出控制部102c係藉由第二刺激部102e的處理,輸出透過輸出 部140、114令第二種類的觸覺刺激發生在步驟SB-3所設定的第二刺激點的觸覺資訊(步驟SB-4)。
藉由以上的處理,能夠做到雖然將電、力、溫度、振動的全部的呈現元件或該些的任意之組合的呈現元件配置在人類皮膚上的不同部位,但以在一處感覺到刺激的方式呈現觸感。就此手段的一例而言,藉由使用利用幻感進行的呈現方法和其他方法,便能夠做到雖然在物理上係配置在不同地方,但就感覺而言係以在一處感覺到的方式進行呈現。
例如,將力呈現配置在刺激的作用點,將振動、溫度、電刺激其中任一者或任意之組合的刺激器配置在物理上分離的地方,利用幻感,能夠令該刺激的感覺定位在力的作用點。此外,藉由力的呈現使利用幻感產生的定位像清晰化,藉此,能夠令力、電、振動、溫度的觸原色的呈現部位一致。
就其他具體例而言,將力呈現配置在刺激的作用點,將振動、溫度其中呈一者或兩者的刺激器配置在物理上分離的地方,利用幻感,能夠令該刺激的感覺定位在力的作用點,以及,藉由力的呈現使利用幻感產生的定位像清晰化,藉此,能夠令力、振動、溫度的觸原色的呈現部位一致。
此外,依據本實施形態,將電刺激呈現配置在刺激的作用點,將振動、溫度其中任一者或兩者配置在物理上分離的地方,利用幻感,能夠定位在力的作用點。此外,藉由電刺激的呈現使利用幻感產生的定位 像清晰化,藉此,亦能夠令電、振動、溫度的觸原色的呈現部位一致。
此外,依據本實施形態,將振動呈現配置在刺激的作用點,將溫度配置在物理上分離的地方,利用幻感,能夠定位在振動的作用點。此外,藉由振動的呈現使利用幻感產生的定位像清晰化,藉此,能夠令振動與溫度的觸原色的呈現部位一致。
(遠端觸感傳遞處理)
此處,圖13係顯示本實施形態的觸感呈現系統的遠端觸感傳遞處理的一例之流程圖。另外,就本觸感呈現系統的部分功能而言,亦可使用前述TELESAR系統(參照例如日本國特開2013-91114號公報)。
如圖13所示,首先,在本觸感呈現系統,呈現觸感設定部102a係取得前述TELESAR系統等機器人的手指部的觸覺感測器(力感測器、振動感測器、溫度感測器等輸入手段120、112)的資訊(步驟SC-1)。
接著,本觸感呈現系統的呈現觸感設定部102a係根據來自觸覺感測器的資訊、及與以攝像機等辨識出的物體的觸感相關的訓練資料等,進行機器學習(步驟SC-2)。此處,亦可由觸覺資訊轉換裝置100的操作人員(operator)透過鍵盤等輸入部112輸入與物體和觸感相關的訓練資料。
接著,就機器學習等的結果而言,本觸感呈現系統的呈現觸感設定部102a係將觸覺感測器的資 訊的特徵(時間空間方面的變動模式等)分類到擬聲擬態語等觸感類別資訊(擬聲擬態語地圖等)(步驟SC-3)。
接著,本觸感呈現系統的呈現觸感設定部102a係將分類後的觸感類別資訊與本實施形態的觸感呈現手法建立對應關聯,儲存至物體觸感資料庫106b(步驟SC-5)。此處,亦可與觸覺顯示器(呈現力、電、振動、溫度等刺激的外部輸出裝置140)的時間空間方面的組合建立對應關聯,儲存至物體觸感資料庫106b。另外,上述的步驟SC-1至SC-4的處理係可作為前處理預先執行再將該處理結果預先儲存至記憶部106。
接著,在本觸感呈現系統中,使用TELESAR系統,即時地追從機器人教示裝置的使用者的手的運動而操使機器人的手指部,取得從與物體間的互動而得的觸覺感測器資訊,參照物體觸感資料庫106b,分類到相對應的觸感類別(步驟SC-6)。此處,能夠將TELESAR系統的機器人側的手指部與物體檢測部當作是外部輸出裝置140與外部輸入裝置120。此外,能夠將TELESAR系統的機器人教示裝置側的手的運動的檢測手段與觸覺刺激手段當作是輸入部112與輸出部114。
接著,本觸感呈現系統的生成部102b及輸出控制部102c係相應於觸感類別,選擇複數種物理量生成觸覺資訊,輸出至輸出部114(步驟SC-7)。
藉此,能夠從觸覺感測器的資訊推測位於分離處所的物體的觸感,將所推測出的觸感以電刺激等多感覺形式呈現給使用者(步驟SC-8)。
以上為本實施形態的觸感呈現系統的處理的說明。
[實施例1]
此處,針對驗證本實施形態的觸感呈現系統的效果的實施例1,於以下進行說明。在實施例1中,係透過實驗確認了能夠將黏糊糊(nebaneba)感等原本需要吸附力的觸感的呈現以電子刺激替代呈現。
習知技術雖已開發出許多觸感呈現裝置,但關於以「黏糊糊(nebaneba)」等擬聲擬態語為代表的黏著感的呈現並未提出實用性的手法。目前為止已有報告指出,從觀察觸摸實際的黏著物時的皮膚,在按壓動作時,力與接觸面積的關係並無關於黏著性的有無,但在抽離時卻觀察到有很大的不同(Masaaki Yamaoka,Akio Yamamoto,Toshiro Higuchi“Basic Analysis of Stickiness Sensation for Tactile Displays”EuroHaptics2008(日文:山岡VRSJ2007,VRSJ2008)URL:http://link.springer.com/chapter/10.1007/978-3-540-69057-3_56)
此外,有人開發出利用來自吸氣孔的吸引來呈現黏著感的裝置「Vacuum Touch」(http://dl.acm.org/citation.cfm?id=2557252)。然而,無論何者皆是使用空氣而物理性地產生吸引、吸附力,皆是為了呈現特定觸感而特化的特定目的性(ad-hoc)的技術,缺乏實用性。
有鑒於此,在本實施形態的實施例1中,目的在於提供藉由電觸覺或與機械呈現的組合來呈現黏著感等觸感。此處,圖14係示意性顯示接觸硬表面、軟表面、黏表面時的接觸面和壓力的變化之圖。圖14係顯示從指尖側往體軸方向觀看手指時的情形,雙向箭頭代表接觸面的寬度。
如圖14所示,在按壓軟表面時,係發生比硬表面的情形更廣面積的接觸。因此,本案發明人等係發想到,在進行按壓時,藉由給予比硬表面更強烈的刺激或比硬表面更大面積的刺激,便能夠呈現柔軟的觸感。另外,一般而言容易覺得在軟表面的情形中,在按壓時刺激會減輕,但這對手指的同一變位雖正確,對同一力卻並非如此。
此外,如圖14所示,在將黏表面拉起時,係發生比硬表面的情形更廣面積的接觸。因此,本案發明人等係發想到,在進行拉起時,藉由給予比硬表面更強烈的刺激或比硬表面更大面積的刺激,便能夠呈現沾黏感。圖14顯示的是微小變形時的情形,此處,考慮更大之變形時的情形。圖15係示意性顯示接觸硬表面、軟表面、黏表面時發生大變形時的接觸面和壓力的變化之圖。
如圖15所示,在軟表面的情形中,當發生大變形,大多會塑性變形,不會完全回復原狀。因此,本案發明人等係建立了一種假說:在進行先按壓再拉起時,藉由設置滯回(hysteresis)而感覺柔軟感。此外,在 黏表面的情形中,在進行拉起時,係發生比硬表面的情形更廣面積的接觸。因此,本案發明人等係建立了一種假說:在進行先按壓再拉起時,藉由設置滯回而感覺沾黏。
亦即,在本實施例的實驗1中係進行了藉由針對指尖的「力」令刺激變化是否能夠呈現沾黏的實驗。例如,在柔表面的情形中,在進行按壓時係發生比硬表面的情形更廣面積的接觸,因此,建立了在進行按壓時藉由給予更強烈的刺激而感覺柔軟感的假說並進行了實驗。另一方面,在黏表面的情形中,在進行拉起時係發生比硬表面的情形更廣面積的接觸,因此,進行了在進行拉起時藉由給予更強烈的刺激是否能夠呈現沾黏感的實驗。
此外,在本實施例的實驗2中係進行了藉由針對指尖的「變位」令刺激變化是否能夠呈現沾黏的實驗。此處,圖16係顯示手指在硬表面、軟表面、黏表面的接觸面積相對於手指的變位量的變化之圖。例如,在軟表面的情形中,會發生大變形的軟平面大多會塑性變形,接觸面積會減少,進行了在進行先按壓再拉起時藉由設置滯回是否會感覺到柔軟感的實驗。此外,在黏表面的情形中,在進行拉起時係發生比硬表面的情形更廣面積的接觸,進行了在進行先按壓再拉起時藉由設置滯回是否會感覺到沾黏的實驗。此處,圖17係示意性顯示從指尖側觀看時的本實施例1的實驗1使用的實驗裝置的構成之圖。此外,圖18係顯示將本實施例1的實驗 1使用的實驗裝置配戴至手指前的狀態與配戴後的狀態之照片。
如圖17及圖18所示,在本實施例1的實驗1中,就輸入部112而言,使用的是膜狀的力感測器。此外,就輸出部114而言,使用的是將電刺激器以4×5矩陣、間隔2mm配置而成的直徑1.4mm的電觸覺顯示器。此外,如圖所示,為了維持電刺激之用的電極與皮膚的接觸而使用手指固定具。在本實驗中,只要沒有特別說明,則全部的電刺激的極性皆使用陰極刺激。此外,係以脈衝週期60pps(pulses per sec)逐一對20個電極全部進行刺激。此處,圖19係顯示在本實施例1的實驗1中為呈現柔軟感而使用的實驗條件(Press條件)之圖。此外,圖20係顯示在本實施例1的實驗1中為呈現沾黏感而使用的實驗條件(Release條件)之圖。
為了確認成功呈現所期望的觸感,進行了七個等級的主觀評價實驗。目標按壓壓力係採用在0g至500g間以1Hz呈正弦波狀變化。於畫面顯示目標按壓壓力與現在的按壓壓力,請受試者配合畫面顯示改變手指壓抵在板上的力量,以能夠清楚地感覺到電刺激之刺激的方式調整。此外,請受試者將此時所感覺到的柔軟感,以從「完全感覺不到」到「清楚地感覺到」的主觀性的七個等級進行回答。同樣地,針對沾黏感亦請受試者以主觀性的七個等級進行回答。受試者為六位。圖21係顯示從本實施例1的實驗1獲得的主觀評價實驗結果之圖。縱軸係代表七個等級的主觀評價的數值。此外,橫 軸係從左起依序代表Press條件中的柔軟感的主觀評價結果、Press條件中的沾黏感的主觀評價結果、Release條件中的柔軟感的主觀評價結果、及Release條件中的沾黏感的主觀評價結果。
如圖21所示,在Press條件的情形中,係如同期待能夠清楚地呈現柔軟感,沾黏感則沒有產生。此外,在Release條件的情形中,係得到沾黏感比柔軟感更有感覺的結果。係得到柔軟感係在Press條件中比Release條件中更有感覺,沾黏感係在Release條件中比Press條件中更有感覺的結果。因此,代表柔軟感、沾黏感皆能夠藉由以相應於按壓力的電刺激進行的皮膚感覺呈現來呈現。亦即,在實驗1中,係針對藉由針對指尖的力令刺激變化是否能夠呈現沾黏的假說,確認了藉由針對指尖的「力」令刺激變化能夠呈現沾黏。
接著,在本實施例的實驗2中,進行了藉由針對指尖的「變位」令刺激變化是否能夠呈現沾黏的實驗。圖22係顯示將本實施例1的實驗2使用的實驗裝置配戴至手指的狀態之照片。如圖22所示,不同於實驗1的裝置構成,設置有加速度感測器。藉此,能夠測量手指的傾斜,能夠以手指在空中的動作令刺激變化。另外,未使用實驗1的桌子及壓力感測器。此處,圖23係顯示本實施例1的實驗2的實驗條件(Press條件)之圖。此外,圖24係顯示本實施例1的實驗例2的實驗條件(Release條件)之圖。
如圖23所示,在Press條件的情形中,在進行按壓動作時角度為相對於垂直向下之100度以下,然後進行提起動作,角度為80度以上,以經可變電阻器調整的一定電流值進行刺激。另一方面,如圖24所示,在Release條件的情形中,在進行按壓動作時角度為相對於垂直向下之100度以下,在進行提起動作時角度為80度以上,以經可變電阻器調整的一定電流值進行刺激。就結果而言,在Press條件的情形中,進行按壓動作時的刺激範圍係變得比進行提起動作時大;在Release條件中則相反,進行提起動作時的刺激範圍係變得比進行按壓動作時大,因此可說有模擬出滯回特性。
為了確認成功呈現所期望的觸感,進行了七個等級的主觀評價實驗。手指的角度係採用在60度至120度間以週期1.5秒呈正弦波狀變化。於畫面顯示目標按壓壓力與現在的按壓壓力,請受試者配合畫面顯示在空中操使手指,以能夠清楚地感覺到電刺激之刺激的方式調整。此外,請受試者將此時所感覺到的柔軟感,以從「完全感覺不到」到「清楚地感覺到」的主觀性的七個等級進行回答。同樣地,針對沾黏感亦請受試者以主觀性的七個等級進行回答。另外,受試者為六位。圖25係顯示從本實施例1的實驗2獲得的主觀評價實驗結果之圖。縱軸係代表七個等級的主觀評價的數值。此外,橫軸係從左起依序代表Press條件中的柔軟感的主觀評價結果、Press條件中的沾黏感的主觀評價結果、Release條件中的柔軟感的主觀評價結果、及Release條件中的沾黏感的主觀評價結果。
如圖25所示,在Press條件的情形中,係得到清楚地感覺到柔軟感,沾黏感則沒有感覺的結果。在Release條件的情形中,係柔軟感與沾黏感的差距不大。係得到沾黏感係在Release條件中比Press條件中更有感覺的結果。就結論而言,確認了藉由以在空中的運動時的電刺激在針對動作的刺激設置滯回能夠呈現沾黏感。
如上述,在本實施例1的實驗1中,係在將指尖壓抵在對象物的狀況下,以針對指尖的力令電刺激變化的手法,在進行按壓時藉由給予更強烈的刺激而成功呈現柔軟感。此外,可知在進行拉起時藉由給予更強烈的刺激能夠呈現沾黏感。此外,在實驗2中,係確認了在將指尖操使於空中的狀況下,以針對指尖的變位令電刺激變化的手法,在進行拉起時藉由設置給予比進行按壓時更長的刺激的所謂的滯回而能夠呈現沾黏感。
就電刺激的比以機械性的針矩陣(pin matrix)等產生的刺激優異的好處而言,可舉出如下。當發生沾黏時,原本必須重現明明是將手指往上提起卻產生壓覺的狀況,但以機械刺激難以重現。當為置放型(桌上型)的觸覺顯示器時,在進行上下運動的針矩陣刺激中,各針對皮膚的反作用力的總量恆等於手指的按壓力,故有無法令刺激的總量變化的問題。藉由使用電刺激,便能夠令刺激的總量獨立於手指的按壓力之外變化,而能夠解決機械刺激的問題點。此外,當為配戴式(wearable)的觸覺顯示器時,在進行上下運動的針矩陣刺 激中,各針對皮膚的反作用力的總量係在所配戴的指套內部產生反作用力,故有即使只想給予指腹刺激仍會在指背側產生反作用力的問題。藉由使用電刺激便能夠獨立地給予指腹刺激。
另外,亦可構成為活用機械刺激和電刺激兩者特徵的輸出裝置,而非從二者擇一。此處,圖26係顯示組合電刺激矩陣與機械刺激矩陣而成的高密度呈現裝置的構成例之圖。電刺激在長時間的刺激中有感覺的穩定性和感覺的質的課題。但電刺激亦有若為短時間的脈衝呈現便能夠產生極自然的感覺之優點。此外,電刺激亦有能夠輸出時間解析度高的刺激(振動感覺等)之優點。另一方面,機械刺激係尤其在小型化成矩陣呈現時有時間響應性差的課題。此外,在將時間響應性提高的情形中,會形成帶有共振的設計,故有只能以一定的頻率呈現的課題。但因持續呈現一定的壓力容易實現而亦有壓覺呈現容易實現之優點。因此,如圖26所示,藉由組合兩者的長短處,便能夠使用以電觸覺顯示器呈現觸覺變動成分、以機械刺激呈現觸覺的壓力分布成分之手法。在本構成例中,係將機械刺激矩陣、電刺激矩陣分別採用3mm的間隔,機械刺激矩陣係使用KGS公司製的點矩陣顯示器(dot matrix display)。電極尺寸係直徑2.4mm。
[實施例2]
此處,針對本實施形態的觸感呈現系統的實施例2,於以下進行說明。
關於溫度的呈現,由於元件的特性與熱的性質,在呈現上會容易出現延遲。此外,由於人類的生理學特性,還有溫度刺激的時間方面、空間方面的兩點覺閾大而難以感知的問題。在實施例2中係主要針對溫度呈現,藉由實驗確認了能夠使感知點在時間空間方面清晰化。
亦即,就本實施例2的目的而言,係確認了在指腹部與物體接觸的同時藉由在指側面部呈現溫冷刺激是否能夠令從物體獲得的溫冷感變化而感受到溫冷感的擴增實境感。受試者為九位18歲至21歲的女性。另外,針對實驗的假說,全員皆未授予預備知識。此外,係在將指腹部的皮膚溫度調整至32度後進行實驗。此處,圖27係顯示本實施例2的實驗裝置(帕耳帖元件)的構成之圖,圖28(a)及圖28(b)係顯示本實施例2的實驗環境與帕耳帖元件的配戴例之圖。
如圖27及圖28(b)所示,將帕耳帖元件配戴至指側面(a、b、c、d處)。此外,如圖28(a)所示,皮膚溫度係利用熱板(hot plate)進行調整。在熱板上係配置有作為觸對象的帕耳帖元件及休息用的鋁板(platform(平台))。
就本實施例2的實驗的方法而言,係在訊號發出的同時觸摸觸對象,以30秒的時距(interval)實施。請受試者感覺在觸摸到觸對象時隨機選擇的刺激2秒鐘,設對標準刺激的感知強度為100,請受試者以數值回答指腹部感覺到的刺激強度。各條件各實施三次試驗,採用平均值作為該受試者的感知強度。
就本實施例2的條件而言,係將刺激的種類設為溫、冷兩種。此外,如圖29所示,係將刺激呈現部位設為Both(側面與腹部)、Pad(僅腹部)、Side(僅側面)三種。圖29係示意性顯示從指尖側觀看手指時的給予溫度刺激(Thermal stimulus)的位置之圖。腹部與側面係分別各使用兩個帕耳帖元件,設兩種刺激強度(溫.強4℃/s、溫.弱3℃/s、冷.強3℃/s、冷.弱2℃/s)。另外,使用對Pad(僅腹部)的強的刺激作為標準刺激,標準刺激的強度係每隔六次試驗進行確認。
圖30(a)及圖30(b)係顯示本實施例2的實驗結果之長條圖。圖30(a)係顯示溫刺激時的情形,圖30(b)係顯示冷刺激時的情形,係採p<0.05(以ANOVA及Ryan's法進行的多重比較),僅圖示出與Pad(僅指腹部)的顯著差異。
結果,如圖30(a)及圖30(b)所示,關於Both(側面與腹部)與Pad(僅腹部),溫、冷皆是Both感知得比Pad強烈。此外,關於Pad(僅腹部)與Side(僅側面),溫刺激下係將Pad弱與Side強感知為同等的強度。此外,冷刺激下亦感知為同等的強度。
就本實施例2的本實驗1的考察而言,確認了在指腹部與物體接觸的瞬間藉由對指側面部進行溫冷刺激,能夠感知到與指腹部的溫度實際變化時同等的指冷感。
接著,就本實施例2的實驗2而言,係針對溫冷刺激的呈現位置及壓.振動刺激的有無進行研 究。本實驗2的目的在於,評價在指腹部已預先與物體接觸的情形中或未與物體接觸的情形中指腹部與側面分別所感知的溫冷感,亦即以實驗確認壓刺激的有無如何影響溫冷感。
在已接觸物體的情形中,係評價溫冷刺激於側面部的呈現位置(單側與兩側)的影響、及振動刺激的有無的影響。受試者為十二位19歲至21歲的女性,針對實驗的假說,全員皆未授予預備知識。此外,指腹部的皮膚溫度係預先調整至32度。
圖31係顯示本實施例2的實驗2的實驗裝置之圖。同實驗1,將帕耳帖元件配戴至指側面,皮膚溫度係以熱板進行調整。如圖31所示,在熱板上係配置有作為觸對象的帕耳帖元件(e、b處)及休息用的鋁板。在帕耳帖元件下係設置有振動器(TECHTILE Toolkit)。
就本實施例2的實驗2的實驗方法而言,係請受試者在訊號發出的同時觸摸觸對象、或將手指停留在空中,以30秒的時距實施。此外,請受試者感覺隨機選擇的刺激2秒鐘,設對標準刺激的感知強度為100,請受試者以數值回答指腹部與側面部感覺到的刺激強度。實驗係各條件各實施一次試驗。
就本實施例2的實驗2的實驗條件而言,刺激的種類係設為溫、冷兩種。此外,如圖32所示,刺激呈現條件係設為None(無腹部接觸)、Pad(僅腹部)、Side(僅側面、無振動)、Vib(僅側面、有振動)四種。圖 32係示意性顯示從指尖側觀看手指時的給予溫度刺激(Thermal stimulus)的位置之圖。如圖32所示,腹部與側面係分別各使用兩個帕耳帖元件。此外,刺激強度係設為溫.強4℃/s、溫.弱3℃/s、冷.強3℃/s、冷.弱2℃/s兩種。振動刺激係在即將要給予溫冷刺激之前對指腹部給予200Hz、0.1秒。另外,使用對Pad(指腹部)的強的刺激作為標準刺激,標準刺激的強度係每隔八次試驗進行確認。
圖33係顯示溫刺激時的本實施例2的實驗2的實驗結果之長條圖。圖34係顯示冷刺激時的本實施例2的實驗2的實驗結果之長條圖。同圖30,以深色長條表示強的刺激,以淺色長條表示弱的刺激。
如圖33所示,在溫刺激的情形中,不論對側面部的刺激是單側還是兩側,於無接觸下,在腹部皆未感知到溫感。此外,在僅對指腹部進行刺激的情形中,在側部亦感知到若干溫感。在腹部的感知強度中,進行以對側面部的刺激位置、振動刺激的有無、刺激強度為要因的變異數分析,結果,僅刺激強度的主效果存在顯著差異(F(1,95)=10.16,p<.01)。另一方面,刺激位置與振動刺激的有無的主效果不存在顯著差異(F(1,95)=0.80,p=0.39、F(1,95)=1.131,p<0.31)。
在側部的感知強度中,位置與強度的交互作用存在顯著差異(F(1,95)=4.85,p<.05),多重比較的結果,在單側刺激的情形中,強度間存在顯著差異(p<.05)。
如圖34所示,在冷刺激的情形中,不論對側面部的刺激是單側還是兩側,即使於無接觸下,在腹部仍有可能感知到若干冷感。另一方面,在僅對指腹部進行刺激的情形中,在側部並未感知到冷感。在腹部的感知強度中,進行以對側面部的刺激位置、振動刺激的有無、刺激強度作為要因的變異數分析,結果,僅振動刺激的有無與刺激強度的主效果存在顯著差異(F(1,95)=5.55,p<.05、F(1,95)=7.74,p<.05)。另外,刺激位置的主效果不存在顯著差異(F(1,95)=0.76,p<0.40)。此外,在側部的感知強度中,強度的主效果存在顯著差異(F(1,95)=10.45,p<.01)。
由以上的實驗2可知,在對指腹部的溫冷感呈現中,指腹部的觸刺激極為重要。此外,可知在僅有壓刺激的情形中,亦能夠在腹部呈現溫冷感。此外,可知即使為對側面部單側的刺激的情形,亦能夠在腹部呈現溫冷感。亦即,單側或兩側並沒有差別,此外,於無接觸下,在腹部並未產生溫冷感,因此,這並非幻感現象,咸信是產生與相互溫度參照現象(thermal referral)相近的現象。然而在冷刺激的情形中,即使於無接觸下,在腹部仍有可能感知到冷覺,故也有可能是不同於相互溫度參照現象的全新現象。
就本實施例2的前期實驗(實驗3)而言,針對下述三個項目進行了基礎性的確認。
a.接觸的有無+溫度刺激
b.振動刺激的有無+溫度刺激
c.壓刺激+振動刺激+溫度刺激
此處,受試者為兩位19歲的女性,手指的皮膚溫度係調整至32度。實驗裝置係如前述的圖27所示,將帕耳帖元件配戴至指側面,將刺激強度設為約3.5℃/s、刺激時間:2秒鐘。振動刺激係使用TECHTILE Toolkit,頻率設為200Hz。
就本實施例2的實驗3(a.接觸的有無+溫度刺激)的實驗方法而言,請受試者待鈴聲(alarm)一響便立即觸摸對象物體(塑膠樹脂),在鈴聲前後的特定的時間開始溫度刺激(-2秒至+2秒,以0.5秒為單位,共九種變化)。此外,請受試者以數值回答指腹部感覺到的溫度感覺(冷:-3分至+3分:溫)。以各條件各進行兩次試驗。
圖35係顯示藉由本實驗3(a.接觸的有無+溫度刺激)所得的溫度感覺相對於接觸的時間差之圖。如圖35所示,可知當差±2秒程度,指腹部的溫度感覺便不會產生。在溫感覺的情形中,較佳為將溫度刺激早於振動刺激呈現;在冷感覺的情形中,較佳為將溫度刺激與振動刺激同時呈現。從心理物理學的發現已知溫感覺會較慢感覺到,有可能是該現象的影響。此外,就主觀上的印象而言,會覺得是在接觸的同時改變皮膚溫度時最容易感覺是在觸摸溫(或冷)的塑膠樹脂。
接著,針對藉由本實驗3(b.振動刺激的有無+溫度刺激)獲得溫度感覺相對於振動的時間差,進行實驗。實驗方法係令受試者在觸摸著塑膠樹脂的狀態下待機,令塑膠振動而呈現刺激。在振動刺激前後的特定 的時間開始溫度刺激(-2秒至+2秒,以0.5秒為單位,共九種變化)。此外,請受試者以數值回答指腹部感覺到的溫度感覺(冷:-3分至+3分:溫)。以各條件各進行兩次試驗。
圖36係顯示藉由本實驗3(b.振動刺激的有無+溫度刺激)所得的溫度感覺相對於振動的時間差之圖。實驗的結果,相較於實驗a,時間差所造成的溫度感覺的變化較小。受到與振動器間的接觸壓的影響,不論有無振動刺激,都有可能產生某程度的溫度感覺。讓溫刺激早點呈現、冷刺激則同時呈現,能夠獲得強烈的感覺,這點係與實驗a相同。
接著,針對藉由本實驗3(c.壓刺激+振動刺激+溫度刺激)獲得的以壓刺激與振動刺激的組合進行的溫度感知的時間差,進行研究。就實驗方法而言,係令受試者以約20g重、約100g重、約250g重其中任一大小的力觸摸塑膠樹脂,令塑膠振動而呈現刺激。此外,在振動刺激前後的特定的時間開始溫度刺激(-2秒至+2秒,以0.5秒為單位,共九種變化)。此外,請受試者以數值回答指腹部感覺到的溫度感覺(冷:-3分至+3分:溫)。以各條件進行一次試驗。
Figure 106111769-A0202-12-0069-6
上表6乃係表示在冷刺激的情形中,以壓刺激與振動刺激的組合進行的溫度感知的時間差之表。此外,下表7乃係表示在溫刺激的情形中,以壓刺激與振動刺激的組合進行的溫度感知的時間差之表。接觸壓造成的影響僅些微,也有可能接觸壓愈小愈容易獲得溫度感覺。同實驗a和b,即使讓溫刺激早點呈現,也不會使感覺變弱太多。
Figure 106111769-A0202-12-0070-7
由以上的實施例2,得到了以下發現。由本實施例2可知,藉由將冷刺激的時序相對於觸刺激進行偏移,所獲得的感覺會變弱。此外,可知在偏移±2秒程度的情形中,感覺會變得不易獲得。可知熱刺激相對於觸刺激的時序係有依存於感知到熱刺激為止所花的時間的可能,在溫刺激的情形中,相較於同時,將時序提早所獲得的感覺會較為強烈。但在始終與振動器處於接觸狀態的狀態下進行振動刺激的情形中,會產生不小的感覺。應當加上當振動一旦開始便與物體間產生接觸的前後脈絡。壓刺激的強度並未影響所獲得的感覺。
接著,各實施一次關於對指腹部呈現觸刺激及對指側面部呈現溫度刺激時的「實驗4空間上的距離差的影響」與「實驗5時間上的時間差的影響」的實驗。
(實驗4)
就實驗條件而言,分別確保受試者有七位以上,指腹部的皮膚溫度係調整至32度。在前述的實驗裝置中將帕耳帖元件配戴至指側面,皮膚溫度係以熱板進行調整。此外,在熱板上係配置有作為觸對象的帕耳帖元件及休息用的鋁板(參照圖28)。
就實驗方法而言,以如下順序進行:1)變更指側部的裝置的位置(30秒的時距)、2)觸摸觸對象、3)感覺隨機選擇的刺激2秒鐘、4)設對標準刺激的感知強度為100,以數值回答指腹部感覺到的刺激強度。各條件各實施四次試驗,採用平均值作為該受試者的感知強度。
就實驗條件而言,係將刺激的種類採用兩種(溫、冷)且以四個刺激呈現部位(p(僅腹部)、s0(僅側面、與腹部並列)、s1(僅側面、偏移一個帕耳帖元件的距離)、s1(僅側面、偏移兩個帕耳帖元件的距離))進行(參照圖37上圖)。另外,腹部與側面係分別各使用兩個8.3mm見方的帕耳帖元件,使用對Pad的刺激作為標準刺激,標準刺激的強度係每隔8次試驗進行確認。
結果,如圖37所示,尤其在冷刺激的情形中,有溫度刺激的位置離觸刺激愈遠,感知強度愈弱的傾向(與相互溫度參照現象的習知發現相同),當偏移兩個帕耳帖元件的距離,感知強度便減為一半程度。此外,以溫冷的種類與刺激位置作為要因的變異數分析之結果,刺激位置的主效果呈現顯著差異(p<0.10)。此外, 以Ryan's法進行的多重比較之結果,p條件與s2條件呈現顯著差異(p<0.10)。亦即,可知刺激距離愈遠,感知強度愈低,當感知誤差範圍沒有重疊(當位在空間的差異閾的範圍外),感知強度便大幅降低。
就實驗4的考察而言,在藉由對指側面部的溫度刺激而在指腹部呈現溫冷感的情形中,咸信側面部的呈現部位係較佳為靠近腹部。尤其在冷刺激的情形中,咸信觸刺激與溫冷刺激的呈現部的距離差較佳為至少刺激面積的一半程度。
(實驗5)
接著,為了調查指腹部的觸刺激對溫冷感的感知時間造成的影響,進行了實驗5。在實驗5中,目的在於評價在藉由對指側面部的溫冷刺激而在指腹部呈現溫冷感的技術中,與實際在指腹部進行溫冷刺激時的感知的時間差。此外,調查在藉由對指腹部或指側面部的溫冷刺激而在指腹部呈現溫冷感的技術中,觸刺激的時序對指腹部的溫冷感的感知時序造成的影響。受試者為八位18歲至19歲的女學生。指腹部的皮膚溫度係調整至32度。
就實驗方法而言,係以如下述程序進行:1)觸摸觸對象(30秒的時距)、2)當以左手按下滑鼠(mouse)的按鍵(button),便在約2秒後開始振動刺激,在隨機選擇的時序呈現溫冷刺激、4)受試者係一在指腹部感覺到溫冷感便放開滑鼠按鍵。各條件各實施兩次試驗,以平均值作為該受試者的感知時間。
就實驗條件而言,係設定成溫冷刺激的種類採用兩種(溫、冷)、刺激呈現位置採用兩種(腹部、側面部)、刺激的種類採用三種(振動刺激的0.2s前、同時、0.2s後)。以振動刺激的種類採用兩種(有無)來進行。腹部與側面係分別各使用兩個帕耳帖元件。此外,振動刺激係在指腹部以200Hz、0.1秒的條件呈現。
結果,如圖38所示,在進行溫刺激(左圖)與冷刺激(右圖)且溫度刺激為在腹部(pad)與側部(side)時,在全部的條件中,以振動的有無進行比較,因振動刺激的給予使感知的時序有提早的傾向。另外,將溫度刺激施加在腹部時的感知時序係比施加在側部時早。以溫冷的種類、溫度刺激的位置、振動的有無作為要因的變異數分析之結果,在交互作用並無顯著差異,各主效果呈現顯著差異(振動的有無係p<0.10、其餘係p<0.05)。
就實驗5的考察而言,在將溫冷刺激呈現在指側面部的情形中,指腹部的溫冷感係有比實際將溫冷刺激呈現在指腹部時慢的性質。然而,藉由在指腹部進行振動刺激,能夠將溫冷感的感知時序提早。此外,藉由將振動刺激的時序提早,能夠將溫冷感的感知時序再進一步提早。另外,關於藉由振動刺激的時序來提早溫冷感的感知時序,尤其是溫刺激時,係在將溫冷刺激呈現在指腹部的情形中亦能夠獲得相同的結果。
(實驗6)
上述乃係關於針對手指的刺激之實驗,而針對在其他身體部位是否能夠獲得相同結果,進行了實 驗6。圖39係顯示實驗5的裝置的配置之圖。在實驗6中,係對手臂末稍側的裝置部產生溫度感覺的時間進行評價。
另外,已知當刺激位在前臂(手腕、手肘)的誤差範圍內時,關於溫度的定位誤差,溫刺激時為15mm至20mm、冷刺激時為10mm至15mm(橋口等人,2016)、振動的定位誤差為200Hz:5mm至10mm(新島等人,2012)。然而,尚不曉得複數種刺激的誤差範圍(差異閾)的重疊形式會獲得什麼樣的結果。
圖40係顯示各身體部位的各刺激的誤差範圍的重疊形式與感知時間/感知結果的關係之圖。圖40中的「直」代表直接刺激,「鄰」代表鄰接刺激。此外,「直.振」代表在與冷溫刺激同一處給予直接振動刺激,「鄰.振」代表在與冷溫刺激鄰接處給予振動刺激(圖中的長條係以「直」、「直.鄰」、「鄰」、「鄰.振」的順序排列)。
如圖40的左圖所示,在手指係有鄰接刺激的感知時間比直接刺激短的傾向,在前臂係有直接刺激的感知時間比鄰接刺激短的傾向。此外,如圖40的右圖所示,相對於在手指能夠判別出刺激部位,在前臂係有將直接與鄰接的刺激部位混同的傾向。咸信這是因為前臂的時間方面或空間方面的生理差異閾比手指大而導致混同刺激部位之故。然而,已獲得藉由相應於各身體部位固有的生理差異閾的大小來調整空間上的位置和時間上的時間差,不論在哪個身體部位皆能夠達成本發明的目的之啟發。
歸納上述實施例2的實驗1至6的結果,可知依兩種刺激的誤差範圍(差異閾)的重疊形式的不同,能夠獲得下表8所示的效果。另外,表中的[]代表相關的實驗。
Figure 106111769-A0202-12-0075-8
以上,依據包括本實施例2在內的本實施形態,能夠構成雖然將電、力、溫度、振動的全部的呈現元件或該些的任意之組合的呈現元件配置在人類皮膚上的不同部位,但就效果而言係在一處或同時感覺到刺激的觸覺呈現裝置。
[元件配置例]
接著,針對供利用至外部輸出裝置140等之用的元件配置構造體之例,參照圖41至圖45進行說明。此處,圖41係顯示具備振動共鳴箱的元件配置構造體的實施例之圖。在圖41中,E為供電刺激之用的電極,V為壓電元件等振動器,H/C為供溫刺激或冷刺激之用 的帕耳帖元件。另外,以使電極E側位在皮膚側的方式配戴。
如圖41所示,在本實施例的元件配置構造體係設有空隙,當振動器振動,位在空隙內部的空氣便起作為彈簧的作用,而能夠藉由共鳴使聲音增幅、藉由共振使振動增幅。此外,藉由聲音與振動從同一處增幅輸出,亦能夠獲得真實感更進一步增加的心理效果。
此外,如圖示,藉由使空隙位在帕耳帖元件的背面,具有散熱效果,能夠起作為散熱器(heat sink)的作用。亦即,當帕耳帖元件在身體呈現溫刺激時,係因熱傳遞而在背面側發生多餘的冷卻,另一方面,當帕耳帖元件在身體呈現冷刺激時,係因熱傳遞而在背面側發生多餘的發熱。若將該些帕耳帖元件的背面側的多餘的冷溫放置不管,則帕耳帖元件的熱傳遞的效率會降低,便無法在身體側呈現足夠的冷溫刺激。藉由如本實施例所示,在帕耳帖元件的背面側設置空隙,便能夠解決此問題,維持帕耳帖元件的正常功能。
另外,在圖41的例子中,係類似將元件配置構造體平面性地排列而配置於身體,但並不以此為限,亦可將元件配置構造體配合身體形狀而立體性地配置。此處,圖42係顯示將元件配置在手指周圍的指套形狀的元件配置構造體的例子之圖。圖42係從手指的前端側觀看,各元件係如虛線部所示整合成指套狀。
如圖42所示,在電刺激、冷溫刺激、振動刺激中,感覺解析度係電刺激最佳,冷溫刺激次佳, 振動刺激最差,因此配合上述生理機能來配置各元件。亦即,電極E係配置在指腹部,帕耳帖元件H/C係配置在手指的兩側面,振動器V係與共鳴箱一起配置在指背部。
藉由配置如上述,能夠將複數種觸覺刺激同樣呈現在指腹部。此處,設想呈現電刺激作為第一種類的觸覺刺激、呈現振動及/或溫度作為第二種類的觸覺刺激時的情形。此時,能夠令振動及/或溫度的刺激定位在電呈現的刺激點(亦即指腹部)感知。如上述,即使難以將複數種元件密集配置在同一處,藉由如本實施例相應於感覺解析度進行配置,仍能夠令複數種觸覺刺激定位在同一處感知。
另外,在上述的例子中係在指腹部配置有電刺激之用的電極E,但並不以此為限,配置力呈現之用的元件亦能夠獲得同樣的效果。此外,在上述的例子中係顯示將複數種元件少量配置而成的元件配置構造體之例,但並不以此為限,亦可如電視機的色彩遮罩(color mask),連續性地大量配置。此處,圖43係顯示本實施例的各種元件V、E、H、C的連續性水平配置樣式之圖,圖44係顯示以剖面觀看本實施例的各種元件V、E、H、C的連續性水平配置樣式的構造體之剖面圖。另外,在圖44中,構造體係以圖中的上側、亦即電極E側與身體接觸之方式使用。
如圖43所示,本實施例的元件配置構造體係在平面或曲面上連續性地配置各種元件V、E、H、 C。另外,在眾多的電極E之中,用於電刺激的電極以外的電極係亦能夠作為地線(接地)使用。此處,此元件配置構造體係亦可使用矽橡膠等可撓性素材作為基板,以利於配合身體形狀。如上述的撓性的片(sheet)狀的元件配置構造體係適合於刺激掌面、手臂、背、腹部等大的面。
此處,如圖44的剖面圖所示,在本實施例的元件配置構造體亦可設置作為共鳴器或散熱器的空隙。對使用者而言,振動刺激與聲音刺激係從掌面、手臂等大的面的一點發出,因此能夠令更加真實(reality)的感覺產生。另外,雖然在圖43的水平配置樣式的例子中乃係在振動器V隔壁配置電極E、在電極E隔壁配置帕耳帖元件H、C的反覆樣式的構成單位,但並不限於此例,例如,亦可相應於身體的感覺解析度,適當地變更反覆樣式的構成單位。此處,圖45係顯示具有其他反覆樣式的本實施例的元件配置構造體的一例之圖。
如前述,電刺激的感覺解析度比冷溫刺激和振動刺激優異。因此,如圖45所示,電極E緊密地配置,振動器V與帕耳帖元件H、C稀疏地配置,藉此,針對能夠做到更加細密之辨別的觸覺感覺(電和力的感覺等)係以高解析度輸出,針對較粗略之辨別的觸覺感覺(振動和溫度的感覺等)則減少元件數目,而能夠製作將成本(cost)等壓低、高解析度的元件配置構造體。例如,設想呈現電刺激作為第一種類的觸覺刺激、呈現振動及/或溫度作為第二種類的觸覺刺激的情形。若將第一種類 的電刺激輸出至電極E的一點,則藉由令第二種類的冷溫刺激和振動刺激從該電極E附近和周圍的一個或複數個元件H、C、V輸出,便能夠令振動及/或溫度的刺激定位在電呈現的電極E的刺激點感知。如上述,即使為將感覺解析度低的刺激的元件稀疏地配置的元件配置構造體,藉由使用複數種觸覺刺激,便能夠將感覺方面的解析度提高進行呈現。
包括實施例在內的本實施形態的說明至此結束。
依據以上的本實施形態,將力呈現配置在刺激的作用點,將振動、溫度、電刺激其中任一者或任意之組合的刺激器配置在物理上分離的地方,利用幻感等現象,能夠令該刺激的感覺定位在力的作用點。此外,藉由力的呈現使利用幻感等產生的定位像清晰化,藉此,能夠令力、電、振動、溫度的觸原色的呈現部位一致。
此外,依據本實施形態,將力呈現配置在刺激的作用點,將振動、溫度其中呈一者或兩者的刺激器配置在物理上分離的地方,利用幻感等,能夠令該刺激的感覺定位在力的作用點。此外,藉由力的呈現使利用幻感等產生的定位像清晰化,藉此,能夠令力、振動、溫度的觸原色的呈現部位一致。
此外,依據本實施形態,將電刺激呈現配置在刺激的作用點,將振動、溫度其中任一者或兩者配置在物理上分離的地方,利用幻感等,能夠定位在力的 作用點。此外,藉由電刺激的呈現使利用幻感等產生的定位像清晰化,藉此,能夠令電、振動、溫度的觸原色的呈現部位一致。
此外,依據本實施形態,將振動呈現配置在刺激的作用點,將溫度配置在物理上分離的地方,利用幻感等,能夠定位在振動的作用點。此外,藉由振動的呈現使利用幻感等產生的定位像清晰化,藉此,能夠令振動與溫度的觸原色的呈現部位一致。
包括本實施例1、2在內的本實施形態的說明至此結束。
[其他實施形態]
至此已針對本發明實施形態進行說明,但本發明係除了以前述實施形態實施外,亦可在申請專利範圍所記載的技術思想的範圍內以各種不同的實施形態實施。
例如,雖係針對構成為在觸覺資訊轉換裝置100具備輸入部112和輸出部114的例子進行了說明,但並不以此為限,亦可為不具備輸入部112和輸出部114,以獨立的機體構成。此時,觸覺資訊轉換裝置100係亦可為相應於從外部機器200等用戶(client)終端設備而來的要求進行處理,將該處理結果返還至該用戶終端設備。
此外,亦能夠將實施形態中所說明的各處理之中說明為自動進行的處理全部或一部分以手動進行,或者,亦能夠將說明為手動進行的處理全部或一部分以公知方法自動進行。
除此之外,針對前記文獻中和圖式中所示的包括處理程序、控制程序、具體名稱、各處理的登錄資料和檢索條件等參數(parameter)在內的資訊、畫面例、資料庫構成,除有特別說明外皆能夠任意變更。
此外,關於觸感呈現系統,圖示的各構成要素係屬於功能概念,在實體方面並非一定要照圖示構成。
例如,針對觸覺資訊轉換裝置100的各裝置所具備的處理功能,尤其針對控制部102進行的各處理功能,係亦可將其全部或任意的一部分以CPU(Central Processing Unit)等處理器及該處理器所解譯執行的程式來實現,此外,亦可採用以佈線邏輯(wired logic)構成的硬體處理器的形式來實現。另外,程式係記憶在後述之含有令電腦執行本發明之方法之用的經程式化的指令之非暫時性的電腦可讀取的記錄媒體,依需要被觸覺資訊轉換裝置100和外部機器200以機械方式讀取。亦即,在ROM(Read Only Memory;唯讀記憶體)或HDD(Hard Disk Drive)等記憶部106等係記錄有與OS(Operating System)協同運作給予CPU指令而進行各種處理之用的電腦程式。該電腦程式係藉由載入(load)至RAM中而執行,與CPU協同運作而構成控制部。
此外,該電腦程式係亦可記憶在透過任意的網路300而與觸覺資訊轉換裝置100、外部機器200、外部輸入裝置120、外部輸出裝置140連接的應用程式伺服器,亦能夠依需要下載其全部或一部分。
此外,亦可將本發明的程式儲存至電腦可讀取的記錄媒體,此外,亦能夠以程式製品的形式構成。此處,該「記錄媒體」係包括記憶卡(memory card)、USB記憶體、SD卡(Secure Digital Memory Card)、軟碟(flexible disk)、磁光碟(Magneto-Optical disc;MO disc)、ROM、EPROM(可抹除可程式化唯讀記憶體)、EEPROM(Electrically Erasable Programmable Read-Only Memory;電子可抹除可程式化唯讀記憶體)、CD-ROM(Compact Disk-Read Only Memory;唯讀光碟)、MO、DVD(Digital Versatile Disk;數位多功能光碟)、及Blu-ray(註冊商標)Disc(藍光光碟)等任意的「可移動的物理媒體」。
此外,「程式」係指以任意的程式語言和記述方法記述的資料處理方法,不拘於原始碼(source code)、二進制碼(binary code)等形式。另外,「程式」並非一定限於單一性構成者,亦包括以複數個模組和程式庫(library)的形式分散構成者、及與以OS(Operating System)為代表的個別程式協同運作來達成其功能者。另外,針對實施形態所示各裝置中讀取記錄媒體之用的具體性構成、讀取程序、或讀取後的安裝(install)程序等,係能夠使用周知的構成和程序。亦可將本發明構成為將程式記錄至非暫時性的電腦可讀取的記錄媒體而成的程式製品。
儲存在記憶部106的各種資料庫等(觸覺定義檔案106a、物體觸感資料庫106b等)乃係RAM、ROM 等記憶體裝置、硬碟等固定磁碟裝置、軟碟、及光碟等儲存手段,儲存供各種處理和提供網站之用的各種程式、表、資料庫、及網頁用檔案等。
此外,觸覺資訊轉換裝置100、外部機器200、外部輸入裝置120、外部輸出裝置140係亦可構成為既知的個人電腦、工作站等資訊處理裝置,此外,亦可構成為將任意的週邊裝置連接至該資訊處理裝置。此外,觸覺資訊轉換裝置100、外部機器200、外部輸入裝置120、外部輸出裝置140係亦可藉由在該資訊處理裝置安裝令本發明的方法實現的軟體(包括程式、資料等)來實現。
此外,裝置的分散.統合的具體形態並不限於圖示的形態,能夠構成為相應於各種附加等或相應於功能負荷,將裝置的全部或一部分以任意的單位在功能方面或物理方面進行分散.統合。亦即,可任意組合前述的實施形態,亦可選擇性地實施形態。
產業上的利用可能性
如以上的詳細說明,依據本發明,能夠提供能夠將複數種刺激從不同點集中於一點呈現的觸覺資訊轉換裝置、觸覺資訊轉換方法、及觸覺資訊轉換程式、記錄媒體、以及用以呈現複數種刺激的元件配置構造體,具有產業上的有用性。
例如,藉由使用本發明,例如將遠端的機器人作為自己的分身操使而實際地感受,藉此,能夠使用在遠端作業.遠端工作領域、照護.健康(health)領域、 熟練技術的傳授.學習領域、媒體.播送技術、虛擬競賽(virtual sport)、娛樂(entertainment)領域、行動(mobile)、穿戴領域等產業領域。
a至f‧‧‧帕耳帖元件

Claims (12)

  1. 一種觸覺資訊轉換裝置,係配戴在對象者的身體,欲使該對象者感知觸覺資訊,該觸覺資訊轉換裝置具備第一刺激部和第二刺激部,前述第一刺激部係令第一種類的觸覺刺激發生在前述對象者的身體的皮膚上之第一刺激點,前述第二刺激部係令第二種類的觸覺刺激發生在前述對象者的身體的皮膚上之第二刺激點,前述第一刺激點與前述第二刺激點係在時間上及/或空間上於預定閾值內相隔,前述第二種類的觸覺刺激係為在前述時間上或空間上之對象者的皮膚上的生理差異閾比前述第一種類的觸覺刺激大之種類的觸覺刺激,藉此,前述對象者係在前述對象者的身體的皮膚上之第一刺激點感知前述第一種類的觸覺刺激及前述第二種類的觸覺刺激。
  2. 如請求項1之觸覺資訊轉換裝置,其中前述第一種類的觸覺刺激及/或前述第二種類的觸覺刺激係為力、振動、溫度或電的任一者。
  3. 如請求項1或2之觸覺資訊轉換裝置,其中前述第一刺激點及/或前述第二刺激點係為利用幻感錯覺產生的感知點。
  4. 如請求項1或2之觸覺資訊轉換裝置,其中 前述第一種類的觸覺刺激及/或前述第二種類的觸覺刺激係藉由輸入部檢測,且依據以通信傳送到的資訊產生,該輸入部係由位在表層的多點分布型壓覺測量感測器、位在中間層的溫冷感測量感測器、位在下層的振動感測量感測器所構成。
  5. 如請求項1或2之觸覺資訊轉換裝置,其中前述第一種類的觸覺刺激及/或前述第二種類的觸覺刺激係藉由輸出部呈現,該輸出部係由位在表層以電觸覺刺激構成的分布型壓力呈現部、位在中間層以帕耳帖元件構成的高速驅動型溫冷感呈現部、位在下層之寬頻率範圍的振動呈現部所構成。
  6. 一種元件配置構造體,係配置在對象者的身體,欲使該對象者感知觸覺資訊,該構造體具備一個或複數個第一元件與一個或複個第二元件,前述第一元件係令第一種類的觸覺刺激發生在附近的前述對象者的身體的皮膚上之第一刺激點,前述第二元件係令第二種類的觸覺刺激發生在附近的前述對象者的身體的皮膚上之第二刺激點,前述第一刺激點與前述第二刺激點係在時間上及/或空間上於預定閾值內相隔,前述第二種類的觸覺刺激係為在前述時間上或空間上之對象者的皮膚上的生理差異閾比前述第一種類的觸覺刺激大之種類的觸覺刺激, 藉此,前述對象者係在前述對象者的身體的皮膚上之第一刺激點感知前述第一種類的觸覺刺激及前述第二種類的觸覺刺激。
  7. 如請求項6之元件配置構造體,其中前述第一元件及前述第二元件係相互積層配置,前述第二元件係配置在比前述第一元件靠近前述身體之側。
  8. 如請求項6之元件配置構造體,其中前述第一種類的觸覺刺激或前述第二種類的觸覺刺激至少包含振動,在具備有複數個前述第一元件或前述第二元件中產生振動作為觸覺刺激者的情況下,產生前述振動的元件彼此係於其間隔著空隙相互呈水平配置。
  9. 如請求項6或7之元件配置構造體,其中前述第一元件係具備產生溫度或振動作為觸覺刺激之元件,前述第二元件係具備產生電作為觸覺刺激之元件,產生前述溫度或振動的元件及產生前述電的元件係相互呈水平配置,產生前述溫度或振動的元件係比產生前述電的元件還稀疏地配置。
  10. 如請求項6或7之元件配置構造體,其中 前述第一刺激點及前述第二刺激點係為利用幻感錯覺產生的感知點。
  11. 一種令對象者的身體感知觸覺資訊之方法,具備:第一刺激步驟,令第一種類的觸覺刺激發生在前述對象者的身體的皮膚上之第一刺激點;及第二刺激步驟,令第二種類的觸覺刺激發生在前述對象者的身體的皮膚上之第二刺激點,前述第一刺激點與前述第二刺激點係在時間上及/或空間上於預定閾值內相隔,前述第二種類的觸覺刺激係為在前述時間上或空間上之對象者的皮膚上的生理差異閾比前述第一種類的觸覺刺激大之種類的觸覺刺激,藉此,前述對象者係在前述對象者的身體的皮膚上之第一刺激點感知前述第一種類的觸覺刺激及前述第二種類的觸覺刺激。
  12. 一種電腦程式,係令對象者的身體感知觸覺資訊之電腦程式,該電腦程式使電腦執行下列步驟:第一刺激步驟,令第一種類的觸覺刺激發生在前述對象者的身體的皮膚上之第一刺激點;及第二刺激步驟,令第二種類的觸覺刺激發生在前述對象者的身體的皮膚上之第二刺激點,前述第一刺激點與前述第二刺激點係在時間上及/或空間上於預定閾值內相隔,前述第二種類的觸覺刺激係為在前述時間上或空 間上之對象者的皮膚上的生理差異閾比前述第一種類的觸覺刺激大之種類的觸覺刺激,藉此,前述對象者係在前述對象者的身體的皮膚上之第一刺激點感知前述第一種類的觸覺刺激及前述第二種類的觸覺刺激。
TW106111769A 2016-04-07 2017-04-07 觸覺資訊轉換裝置、觸覺資訊轉換方法、及觸覺資訊轉換程式與元件配置構造體 TWI710934B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-077693 2016-04-07
JP2016077693 2016-04-07
JP2016-140982 2016-07-18
JP2016140982 2016-07-18

Publications (2)

Publication Number Publication Date
TW201802650A TW201802650A (zh) 2018-01-16
TWI710934B true TWI710934B (zh) 2020-11-21

Family

ID=60000462

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106111769A TWI710934B (zh) 2016-04-07 2017-04-07 觸覺資訊轉換裝置、觸覺資訊轉換方法、及觸覺資訊轉換程式與元件配置構造體

Country Status (6)

Country Link
US (1) US10621837B2 (zh)
JP (1) JP6703688B2 (zh)
KR (1) KR102278456B1 (zh)
CN (1) CN109074157B (zh)
TW (1) TWI710934B (zh)
WO (1) WO2017175868A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201800003965A1 (it) 2018-03-23 2019-09-23 Univ Degli Studi Di Siena Anello aptico
CN108536301B (zh) * 2018-04-16 2021-07-23 哈尔滨工业大学 一种基于压力与电刺激转换的触觉手套
JP7133785B2 (ja) * 2018-05-16 2022-09-09 Telexistence株式会社 触覚提示装置
JP7000253B2 (ja) * 2018-05-31 2022-01-19 国立大学法人東海国立大学機構 力覚視覚化装置、ロボットおよび力覚視覚化プログラム
JP7272360B2 (ja) 2018-06-28 2023-05-12 ソニーグループ株式会社 符号化装置、符号化方法、復号装置、復号方法、プログラム
CN112470104B (zh) 2018-07-03 2024-04-19 索尼公司 编码设备、编码方法、解码设备、解码方法、发送系统、接收设备和程序
JPWO2020031483A1 (ja) * 2018-08-08 2021-11-18 ソニーグループ株式会社 復号装置、復号方法、プログラム
EP3906459B1 (en) 2019-01-02 2023-01-25 Weart S.r.l. Sensing device suitable for haptic perception applications
JP2020140315A (ja) * 2019-02-27 2020-09-03 株式会社東海理化電機製作所 制御装置及びプログラム
CN113784697B (zh) 2019-04-30 2023-11-03 华为技术有限公司 触觉刺激系统和方法
KR102265399B1 (ko) * 2019-06-12 2021-06-15 주식회사 씨케이머티리얼즈랩 스테레오 촉각 제공 장치
JP2021022005A (ja) * 2019-07-24 2021-02-18 トヨタ紡織株式会社 情報処理装置および制御方法
JP7268519B2 (ja) * 2019-07-24 2023-05-08 トヨタ紡織株式会社 データ再生装置、データ生成装置、データ再生方法、およびデータ生成方法
KR102242200B1 (ko) * 2019-09-25 2021-04-20 한국과학기술정보연구원 햅틱입력장치 및 그 동작 방법
JP2021060290A (ja) * 2019-10-07 2021-04-15 株式会社 資生堂 動作計測装置、動作計測システム、及び動作計測方法
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11126267B2 (en) 2019-12-19 2021-09-21 Giantplus Technology Co., Ltd Tactile feedback device and operation method thereof
JP7401797B2 (ja) * 2020-02-10 2023-12-20 日本電信電話株式会社 触覚刺激提示装置、および、触覚刺激提示方法
KR102535518B1 (ko) * 2020-02-21 2023-05-23 주식회사 피에스디엘 원격 촉감 제공장치, 원격 촉감 데이터베이스 및 그 생성방법
KR102646498B1 (ko) * 2020-11-13 2024-03-13 건국대학교 글로컬산학협력단 촉감 유도가 가능한 컨트롤러 및 상기 컨트롤러의 제어 방법
CN112388655B (zh) * 2020-12-04 2021-06-04 齐鲁工业大学 一种基于触觉振动信号与视觉图像融合的抓取物识别方法
WO2022176075A1 (ja) * 2021-02-17 2022-08-25 日本電信電話株式会社 振動知覚位置制御装置、振動知覚位置制御方法およびプログラム
US20220374649A1 (en) * 2021-05-20 2022-11-24 Disney Enterprises, Inc. Face swapping with neural network-based geometry refining
US11726570B2 (en) * 2021-09-15 2023-08-15 Hewlett-Packard Development Company, L.P. Surface classifications
US11995240B2 (en) * 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
WO2023189193A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 復号装置、復号方法および復号プログラム
US11751799B1 (en) * 2023-02-08 2023-09-12 Lanny Leo Johnson Methods and systems for diagnosing cognitive conditions

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130038603A1 (en) * 2011-08-09 2013-02-14 Sungho Bae Apparatus and method for generating sensory vibration
TWI524218B (zh) * 2011-10-05 2016-03-01 廣達電腦股份有限公司 觸覺回饋式虛擬鍵盤之提供方法及其電子裝置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE33559E (en) * 1986-11-13 1991-03-26 James Fallacaro System for enhancing audio and/or visual presentation
JP3543097B2 (ja) 1999-11-24 2004-07-14 株式会社先端科学技術インキュベーションセンター 電気刺激を用いた触覚呈示方法及び装置
JP2002132432A (ja) * 2000-10-30 2002-05-10 Toshiba Corp 多次元触覚入出力装置
AT7035U1 (de) * 2002-03-06 2004-07-26 Accelate Business Launch And E Einrichtung zum codieren, übertragen und/oder empfangen von signalen
WO2007066717A1 (ja) 2005-12-08 2007-06-14 The University Of Tokyo 電気触覚ディスプレイ
JP2010287221A (ja) 2009-05-11 2010-12-24 Univ Of Tokyo 力覚提示装置
JP5042292B2 (ja) * 2009-10-14 2012-10-03 中国電力株式会社 状態再現システム
JPWO2012073733A1 (ja) * 2010-12-03 2014-05-19 日本電気株式会社 提示装置、コミュニケーションシステム、および感性提示方法
JP2013091114A (ja) 2011-10-05 2013-05-16 Kyokko Denki Kk インタラクション操作システム
US20130113760A1 (en) * 2011-11-07 2013-05-09 Google Inc. Techniques for providing localized tactile feedback to a user via an electro-acoustic touch display of a user device
KR102161723B1 (ko) * 2013-05-07 2020-10-06 삼성디스플레이 주식회사 햅틱 패널 및 이를 포함하는 표시 장치
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9514620B2 (en) * 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
JP2015219887A (ja) * 2014-05-21 2015-12-07 日本メクトロン株式会社 電気触覚提示装置
US10082872B2 (en) * 2014-12-30 2018-09-25 Immersion Corporation Deformable haptic wearables with variable physical properties

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130038603A1 (en) * 2011-08-09 2013-02-14 Sungho Bae Apparatus and method for generating sensory vibration
TWI524218B (zh) * 2011-10-05 2016-03-01 廣達電腦股份有限公司 觸覺回饋式虛擬鍵盤之提供方法及其電子裝置

Also Published As

Publication number Publication date
KR20180123525A (ko) 2018-11-16
KR102278456B1 (ko) 2021-07-19
JP6703688B2 (ja) 2020-06-03
US10621837B2 (en) 2020-04-14
US20190043322A1 (en) 2019-02-07
JPWO2017175868A1 (ja) 2019-02-21
WO2017175868A1 (ja) 2017-10-12
TW201802650A (zh) 2018-01-16
CN109074157A (zh) 2018-12-21
CN109074157B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
TWI710934B (zh) 觸覺資訊轉換裝置、觸覺資訊轉換方法、及觸覺資訊轉換程式與元件配置構造體
US11281296B2 (en) Tactile information conversion device, tactile information conversion method, and tactile information conversion program
Jones Haptics
Visell Tactile sensory substitution: Models for enaction in HCI
Tan et al. Methodology for maximizing information transmission of haptic devices: A survey
Tan et al. Tactual displays for sensory substitution and wearable computers
Kyung et al. Ubi-Pen: A haptic interface with texture and vibrotactile display
Caporusso et al. A wearable device supporting multiple touch-and gesture-based languages for the deaf-blind
Muramatsu et al. Perception of tactile sensation using vibrotactile glove interface
CN111164541A (zh) 用于模拟和传送接触性外源感受的设备和方法
Kyung et al. A novel interactive mouse system for holistic haptic display in a human-computer interface
Sawada et al. Tactile pen for presenting texture sensation from touch screen
Wilson Using pressure input and thermal feedback to broaden haptic interaction with mobile devices
Eid et al. Soa thresholds for the perception of discrete/continuous tactile stimulation
Sawada Tactile display using the micro-vibration of shape-memory alloy wires and its application to tactile interaction systems
Takeda et al. Tactile actuators using SMA micro-wires and the generation of texture sensation from images
JPWO2012073733A1 (ja) 提示装置、コミュニケーションシステム、および感性提示方法
TWI601076B (zh) 生物體刺激裝置與生物體刺激方法
Pamungkas Enhancing human computer interaction with electrotactile feedback
Weissgerber et al. VisPad: a novel device for vibrotactile force feedback
Sawada et al. Tactile pad for the presentation of tactile sensation from moving pictures
Schmidmaier Sensory substitution systems
Chen et al. Research on the perception of roughness based on vibration
Dandu Engineering Haptic Technologies for Interaction in Virtual and Augmented Reality
Lederman et al. TUTORIAL REVIEW haptic perception: a tutorial