JPWO2018042799A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JPWO2018042799A1
JPWO2018042799A1 JP2018536952A JP2018536952A JPWO2018042799A1 JP WO2018042799 A1 JPWO2018042799 A1 JP WO2018042799A1 JP 2018536952 A JP2018536952 A JP 2018536952A JP 2018536952 A JP2018536952 A JP 2018536952A JP WO2018042799 A1 JPWO2018042799 A1 JP WO2018042799A1
Authority
JP
Japan
Prior art keywords
information processing
user
processing apparatus
information
tactile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018536952A
Other languages
English (en)
Other versions
JP6939797B2 (ja
Inventor
諒 横山
諒 横山
山野 郁男
郁男 山野
佑輔 中川
佑輔 中川
猛史 荻田
猛史 荻田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018042799A1 publication Critical patent/JPWO2018042799A1/ja
Application granted granted Critical
Publication of JP6939797B2 publication Critical patent/JP6939797B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4261Evaluating exocrine secretion production
    • A61B5/4266Evaluating exocrine secretion production sweat secretion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/217Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Endocrinology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Dentistry (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Educational Technology (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)

Abstract

【課題】状態や状況に応じた触覚の感じ方の差をより小さくする。【解決手段】外部環境の状態または状況ユーザに関するコンテキスト情報、もしくは、ユーザに関するコンテキスト情報を取得する取得部と、当該ユーザの所定の部位に対して触覚刺激を提示するための触覚刺激部を制御するための制御信号を、取得された前記コンテキスト情報に基づき変調する変調部と、を備える、情報処理装置。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
ユーザに対して、振動、熱、電気刺激等により触覚や力覚(以降では、これら皮膚等の体表面に対する感覚を総じて「触覚刺激(Haptics)」とも称する)をフィードバックするための技術が検討されている。触覚刺激をフィードバックするためのデバイスとしては、例えば、振動アクチュエータ、発熱吸熱素子、電気刺激装置等が提案されている。例えば、特許文献1には、ユーザに対して触覚刺激を提示する技術の一例が開示されている。
特開2015−170173号公報
特に、近年では、単なる触覚刺激の提示にとどまらず、よりリアリティのある触覚刺激の再現が求められている。一方で、触覚刺激の感じ方に個人差が生じる場合がある。そのため、例えば、触覚刺激を提示するためのデバイスを所定の態様で動作させた場合においても、ユーザに応じて、触覚刺激の感じ方に差が生じる場合がある。また、同じユーザであっても、状態や状況に応じて、触覚刺激の感じ方に差が生じる場合がある。即ち、触覚刺激を提示するためのデバイスを所定の態様で動作させた場合においても、状態や状況に応じて、触覚刺激の感じ方に差が生じる場合がある。
そこで、本開示では、状態や状況に応じた触覚刺激の感じ方の差をより小さくすることが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、外部環境の状態もしくは状況に関するコンテキスト情報、または、ユーザに関するコンテキスト情報を取得する取得部と、当該ユーザの所定の部位に対して触覚刺激を提示するための触覚刺激部を制御するための制御信号を、取得された前記コンテキスト情報に基づき変調する変調部と、を備える、情報処理装置が提供される。
また、本開示によれば、コンピュータシステムが、外部環境の状態もしくは状況に関するコンテキスト情報、または、ユーザに関するコンテキスト情報を取得することと、当該ユーザの所定の部位に対して触覚刺激を提示するための触覚刺激部を制御するための制御信号を、取得された前記コンテキスト情報に基づき変調することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータシステムに、外部環境の状態もしくは状況に関するコンテキスト情報、または、ユーザに関するコンテキスト情報を取得することと、当該ユーザの所定の部位に対して触覚刺激を提示するための触覚刺激部を制御するための制御信号を、取得された前記コンテキスト情報に基づき変調することと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、状態や状況に応じた触覚刺激の感じ方の差をより小さくすることが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
触覚の感じ方の変化の一例について説明するための説明図である。 触覚の感じ方の変化の一例について説明するための説明図である。 本開示の一実施形態に係る情報処理システムの動作の概要について説明するための説明図である。 触覚データの変調に係る動作の概要について説明するための説明図である。 触覚データの変調に係る動作の概要について説明するための説明図である。 触覚データの変調に係る動作の概要について説明するための説明図である。 同実施形態に係る情報処理システムのシステム構成の一例について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 触覚データの変調に係る処理の一例について説明するための説明図である。 触覚データの変調に係る処理の一例について説明するための説明図である。 触覚データの変調に係る処理の一例について説明するための説明図である。 触覚データの変調に係る処理の一例について説明するための説明図である。 触覚データの変調に係る処理の一例について説明するための説明図である。 触覚データの変調に係る処理の一例について説明するための説明図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。 皮膚の触覚受容器の一例とその分布とについて説明するための説明図である。 皮膚の触覚受容器の感度の特性について説明するための説明図である。 実施例1に係る情報処理装置の一態様について説明するための説明図である。 実施例1に係る情報処理装置の一態様について説明するための説明図である。 実施例1に係る情報処理装置の一態様について説明するための説明図である。 実施例1に係る情報処理装置の一態様について説明するための説明図である。 実施例1に係る情報処理装置の一態様について説明するための説明図である。 実施例1に係る情報処理装置の一態様について説明するための説明図である。 実施例1に係る情報処理装置の一態様について説明するための説明図である。 実施例1に係る情報処理装置の一態様について説明するための説明図である。 実施例1に係る情報処理装置の一態様について説明するための説明図である。 実施例2に係る情報処理装置の一態様について説明するための説明図である。 実施例2に係る情報処理装置の一態様について説明するための説明図である。 実施例2に係る情報処理装置の一態様について説明するための説明図である。 実施例3に係る情報処理装置の一態様について説明するための説明図である。 実施例3に係る情報処理装置の一態様について説明するための説明図である。 本開示の一実施形態に係る情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.触覚のフィードバックに関する検討
2.実施形態
2.1.動作概要
2.2.システム構成
2.3.機能構成
2.4.処理
3.実施例
3.1.実施例1:ユーザに応じた制御の一例
3.2.実施例2:外部環境に応じた制御の一例
3.3.実施例3:その他の制御例
4.ハードウェア構成
5.むすび
<<1.触覚のフィードバックに関する検討>>
PC(Personal Computer)、スマートフォン、及びタブレット端末等のような所謂情報処理装置(もしくは、当該情報処理装置を含む情報処理システム)がユーザに対して情報をフィードバックする方法としては、例えば、映像、音声、及び音響等によりフィードバックする方法が一般的に知られている。このような、ユーザに対して情報をフィードバックするための技術の一例として、振動、熱、電気刺激等により触覚をフィードバックするための技術が検討されている。具体的な一例として、触覚をフィードバックするためのデバイスとしては、例えば、振動アクチュエータ、発熱吸熱素子、電気刺激装置等が提案されている。特に、近年では、単なる触覚の提示にとどまらず、よりリアリティのある触覚の再現が求められている。
一方で、触覚の感じ方は、各種状態や状況の変化に応じて異なる場合がある。例えば、図1は、触覚の感じ方の変化の一例について説明するための説明図であり、ユーザの状態や外部環境の変化等のような各種状態や状況の変化に伴う触覚の感じ方の変化の一例について示している。
例えば、活動量の変化に応じて、触覚の感じ方が変化する場合がある。具体的な一例として、ユーザが静止しているまたは歩いている状態から走り出すことで活動量が増加すると、当該ユーザの触覚に対する感度が低下する傾向にある。これに対して、休息や睡眠に伴い活動量が低下すると、ユーザの触覚に対する感度が増加する傾向にある。
また、ユーザの触覚に対する感度は、周囲の環境の変化に応じて変化する場合もある。具体的な一例として、ユーザの周囲の騒音レベルが増大すると、当該ユーザの触覚に対する感度が低下する傾向にある。これに対して、視覚的な刺激や聴覚的な刺激が低減すると、ユーザの触覚に対する感度が増加する傾向にある。
また、発汗量に応じて、触覚の感じ方(以降では、「触覚解像度」とも称する)が変化する場合がある。具体的な一例として、発汗量が増加すると触覚解像度が低下し、ユーザは、より繊細な触覚の変化を感じにくくなる場合がある。
また、触覚の感じ方に個人差が生じる場合もある。例えば、図2は、触覚の感じ方の変化の一例について説明するための説明図であり、ユーザごとの触覚の感じ方の違いの一例について示している。
具体的には、年齢に応じて触覚の感度が変化する場合がある。また、身長等のような身体的な特徴の違いに応じて触覚解像度が異なる場合もある。また、他の一例として、感情の状態に応じて触覚の感度や触覚解像度が変化する場合もある。もちろん、互いに異なるユーザ間では、触覚の感じ方に個人差が生じ得る。
以上のように、触覚の感じ方は、各種状態や状況の変化に応じて異なり、ユーザごとに個人差も生じ得る。そのため、ある状況の再現を想定して、当該状況に応じた触覚の提示を一定の態様で行ったとしても、その時々でユーザの感じ方が異なる場合もあり、触覚の提示対象となるユーザが異なれば、ユーザごとに感じ方が異なる場合もあり得る。
以上のような状況を鑑み、本開示では、各種状態や状況の変化に伴う触覚の感じ方の差や、各ユーザの触覚の感じ方の差をより小さくするための仕組みの一例について提案する。
具体的には、図1に示す例に着目すると、触覚に対する感度が低下するような状況下においては、例えば、触覚提示の強度を増幅することで、ユーザが、感度が低下する前と同様に感じる触覚を再現する。また、触覚に対する感度が増加するような状況下においては、例えば、触覚提示の強度を低減すればよい。また、触覚解像度が低下するような状況下においては、触覚提示のコントラストを高め、ユーザが触覚の変化をより感じやすくすることで、当該ユーザが、触覚解像度が低下する前と同様に感じる触覚を再現する。
また、図2に示す例に着目すると、ユーザの年齢や身体的な特徴に応じて、触覚提示の強度やコントラストをチューニングしてもよい。また、ユーザの感情をセンシングし、当該センシングの結果を触覚提示にフィードバックすることで、感情の変化に関わらず、想定される触覚をユーザに提示可能となることが期待される。また、触覚提示の強度やコントラストのチューニングは、ユーザごとに行ってもよい。このような構成とすることで、ユーザに対して触覚を提示するためデバイスを複数のユーザ間で共有するような状況下においても、複数のユーザ間で同様に感じる触覚をユーザごとに再現する。
そこで、本開示の一実施形態として、上述した制御を実現するための仕組みの詳細について以下に説明する。
<<2.実施形態>>
まず、本開示の一実施形態に係る情報処理システムの基本構成について説明する。
<2.1.動作概要>
まず、図3〜図6を参照して、本開示の一実施形態に係る情報処理システムの動作の概要について説明する。例えば、図3は、本実施形態に係る情報処理システムの動作の概要について説明するための説明図である。
図3に示すように、本実施形態に係る情報処理システムは、ユーザに対して触覚をフィードバックするために、振動アクチュエータや電気刺激装置等の触覚刺激部を駆動するための触覚データを解析し、当該解析結果に基づき当該触覚データを変調する。このとき、情報処理システムは、ユーザにより選択されたモード、ユーザ情報、及び環境情報等の外部情報(即ち、各種状態や状況に応じたコンテキスト情報)を解析し、当該解析結果に応じて触覚データを変調する。そして、情報処理システムは、変調された触覚データに基づき触覚刺激部を駆動することで、ユーザに対して触覚をフィードバックする。このような構成により、本実施形態に係る情報処理システムは、外部情報に応じて、触覚データの変調に係る処理の内容を適宜変更することで、ユーザに対してフィードバックする触覚を制御する。
ここで、図4〜図6を参照して、触覚データの変調に係る動作の概要について説明する。図4〜図6は、触覚データの変調に係る動作の概要について説明するための説明図である。例えば、図4は、凹凸等の画像V10が提示された画面上を、ユーザが指等の操作体Uaによりなぞっている状況を示している。このとき、情報処理システムは、操作体Uaによりなぞられた画面上の位置に応じて触覚刺激部を駆動することで、当該位置に提示された画像に応じた触覚をユーザにフィードバックする。
例えば、図5は、触覚データの一例を示している。図5において、横軸は、画面上の位置(即ち、画像V10中の位置)を示している。また、縦軸は、ユーザに対して提示される触覚の強度を模式的に示しており、例えば、振動によりユーザに対して触覚をフィードバックする場合には、当該振動の強度に相当し得る。これに対して、図6は、変調後の触覚データの一例を示している。即ち、図6において、横軸及び縦軸は図5に示す例と同様である。より具体的には、図6は、触覚データのコントラストが向上するように当該触覚データを変調した場合の一例を示している。このような制御により、例えば、微細な凹凸による触覚の変化等のように、より繊細な触覚の変化をユーザが感じやすくなるように、当該ユーザに提示する触覚を制御することが可能となる。
なお、図5及び図6に示す触覚データは、あくまで一例であり、必ずしも図5及び図6に示す例には限定されない。例えば、人間が触覚を感じるための受容器は複数種類存在し、各受容器の神経活動が引き起こされる振動の周波数は、受容器ごとに異なる。このような状況を鑑み、触覚データは、例えば、複数の周波数成分について、図5及び図6に示すような触覚強度のデータを含んでもよい。なお、上記に説明した例の詳細については別途後述する。
以上、図3〜図6を参照して、本開示の一実施形態に係る情報処理システムの動作の概要について説明した。なお、以降では、本実施形態に係る情報処理システムが、外部情報に応じて触覚データを変調することで、ユーザに対して提示する触覚を制御するための仕組みについてより詳しく説明する。
<2.2.システム構成>
次いで、図7を参照して、本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例について説明する。図7は、本実施形態に係る情報処理システムのシステム構成の一例について説明するための説明図である。
図7に示すように、本実施形態に係る情報処理システム1は、情報処理装置10と、触覚刺激部30と、外部情報取得装置50とを含む。情報処理装置10と、触覚刺激部30と、外部情報取得装置50とのそれぞれは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置10と、触覚刺激部30と、外部情報取得装置50とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、Wi−Fi(登録商標)規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、LAN(Local Area Network)、または、WAN(Wide Area Network)等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。
触覚刺激部30は、後述する情報処理装置10からの制御に基づき、自身を保持するユーザに対して触覚をフィードックする。具体的な一例として、触覚刺激部30は、振動アクチュエータ等のような振動デバイスを含み、当該振動デバイスを振動させることで触覚を模擬してもよい。また、他の一例として、触覚刺激部30は、電気刺激装置を含み、当該電気刺激装置により皮膚に対して電気的刺激を加え、神経の発火を誘発することで触覚をフィードバックしてもよい。
また、触覚刺激部30は、例えば、ユーザの所定の部位に装着される所謂ウェアラブルデバイスとして構成されていてもよい。この場合には、例えば、触覚刺激部30は、装着された部位に対して触覚をフィードバックしてもよい。また、他の一例として、触覚刺激部30は、ゲーム機等のコントローラとして構成されていてもよい。この場合には、触覚刺激部30は、自身の筐体を把持するユーザの手に対して触覚をフィードバックしてもよい。また、所謂スマートフォン等の情報処理装置が、触覚刺激部30として利用されてもよい。具体的な一例として、スマートフォンのアクチュエータを振動させることで、当該スマートフォンを把持するユーザに対して触覚がフィードバックされてもよい。
外部情報取得装置50は、外部環境の情報や、ユーザに関する情報等のような、各種状態や状況に応じたコンテキスト情報を外部情報として取得するための構成である。なお、本開示において、外部情報の「取得」とは、センサ等によりセンシングを行うことと、センシングデータを含むデータを外部から受信する、または当該データを記録媒体上から読み出すことと、を含み得るものとする。
具体的な一例として、外部情報取得装置50は、外部環境の明るさ、騒音、温度、湿度等の情報を取得するための各種センサを含み、当該センサにより外部環境の情報を外部情報として取得してもよい。また、外部情報取得装置50は、外部環境を撮像する撮像部を含み、当該撮像部により撮像された画像を外部情報として取得してもよい。
また、他の一例として、外部情報取得装置50は、ユーザの活動量、心拍数、体温、発汗量等の情報を取得するための各種センサを含み、当該センサによりユーザの状態を示す情報を外部情報として取得してもよい。また、外部情報取得装置50は、ユーザを撮像する撮像部を含み、当該撮像部により撮像された画像をユーザの状態を示す外部情報として取得してもよい。また、ユーザの状態を示す情報の取得結果に基づき、ユーザの感情(例えば、喜、怒、哀、楽等)や、ユーザの感じ方(例えば、快、不快等)を推定することも可能である。例えば、ユーザの顔が撮像された画像に対して画像解析を施すことで、ユーザの感情が推定されてもよい。なお、この場合には、外部情報取得装置50が、ユーザの感情や、ユーザの感じ方を推定(または認識)し、当該推定結果を外部情報として取得してもよい。また、他の一例として、ユーザの状態の取得結果の出力先(例えば、情報処理装置10)が、ユーザの感情や、ユーザの感じ方を推定してもよい。
また、他の一例として、外部情報取得装置50は、ユーザの年齢、性別等のような当該ユーザの属性を示す情報を外部情報として取得してもよい。この場合には、例えば、外部情報取得装置50は、ユーザにより入力された識別情報に基づき所定のサーバにアクセスすることで、当該識別情報に関連付けられたユーザの属性を示す情報を取得してもよい。
また、他の一例として、外部情報取得装置50は、所定の入力部を介してユーザにより指定された、情報処理システム1の動作を制御するための動作モードを示す情報を外部情報として取得してもよい。例えば、外部情報取得装置50は、触覚刺激部30による触覚の提示に関する動作モードの指定を所定の入力部を介して受けることで、当該動作モードを示す情報を取得してもよい。なお、触覚の提示に関する動作モードとしては、例えば、触覚提示の強度を制御する(例えば、より高める)ためのモードや、触覚提示のコントラストを制御する(例えば、より高める)ためのモード等が挙げられる。
以上のようにして、外部情報取得装置50は、外部情報を取得し、取得した外部情報を情報処理装置10に出力する。これにより、情報処理装置10は、当該外部情報に基づき、外部環境の変化、ユーザの状態の変化、及びユーザの属性等を認識することが可能となる。
情報処理装置10は、触覚刺激部30の動作を制御することで、当該触覚刺激部30を保持するユーザに対して触覚をフィードバックする。具体的な一例として、情報処理装置10は、所定の記憶領域に記憶された触覚データ(例えば、図2に示すデータ)を読み出し、当該触覚データに基づき触覚刺激部30を駆動させることで、ユーザに対して触覚をフィードバックする。
また、情報処理装置10は、外部情報取得装置50から外部環境の情報やユーザに関する情報等のような外部情報を取得し、当該外部情報に基づき触覚データを変調したうえで、変調後の触覚データに基づき触覚刺激部30を駆動させてもよい。このような構成により、例えば、情報処理装置10は、外部環境やユーザの状態の変化に応じた触覚の感じ方の差や、異なるユーザ間における触覚の感じ方の差がより小さくなるように、フィードバックする触覚を制御することが可能なる。なお、本制御の詳細については、具体的な一例とあわせて別途後述する。
なお、図7に示したシステム構成はあくまで一例であり、本実施形態に係る情報処理システム1のシステム構成は、必ずしも図7に示す例のみには限定されない。具体的な一例として、情報処理装置10、触覚刺激部30、及び外部情報取得装置50のうち、少なくとも一部の2以上の構成が一体的に構成されていてもよい。
以上、図7を参照して、本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例について説明した。
<2.3.機能構成>
続いて、図8を参照して、本開示の一実施形態に係る情報処理システムの機能構成の一例として、特に、情報処理装置10の構成に着目して説明する。図8は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。
図8に示すように、本実施形態に係る情報処理システム1は、情報処理装置10と、触覚刺激部30と、外部情報取得装置50と、記憶部15とを含む。触覚刺激部30及び外部情報取得装置50は、図7を参照して説明した触覚刺激部30及び外部情報取得装置50に相当するため、詳細な説明は省略する。
記憶部15は、各種データを、一時的または恒常的に記憶するための記憶領域である。例えば、記憶部15には、前述した触覚データが記憶されていてもよい。また、記憶部15には、情報処理装置10が各種機能を実行するためのデータが記憶されていてもよい。より具体的な一例として、記憶部15には、各種アプリケーションを実行するためのデータ(例えば、ライブラリ)や各種設定等を管理するための管理データ等が記憶されていてもよい。
情報処理装置10は、外部情報解析部101と、触覚データ解析部103と、触覚データ変調部105と、出力制御部107とを含む。
外部情報解析部101は、外部情報取得装置50から外部情報(コンテキスト情報)を取得し、取得した外部情報を解析することで、外部環境やユーザの状態のような各種状態や状況の変化の認識や、ユーザ個人の認識(換言すると、ユーザに関する情報の取得)等を行う。なお、外部情報解析部101のうち、外部情報取得装置50から外部情報を取得する部分は、「取得部」の一例に相当する。
具体的な一例として、外部情報解析部101は、外部環境の明るさ、騒音、温度、湿度等の検出結果を外部情報取得装置50から取得することで、当該検出結果に基づき外部環境の状態を認識する。また、外部情報解析部101は、外部環境が撮像された画像を外部情報取得装置50から取得することで、当該画像に基づき当該外部環境の状態や状況を認識してもよい。
また、他の一例として、外部情報解析部101は、ユーザの活動量、心拍数、体温、発汗量等の検出結果を外部情報取得装置50から取得することで、当該検出結果に基づき当該ユーザの状態を認識する。また、外部情報解析部101は、ユーザが撮像された画像を外部情報取得装置50から取得することで、当該画像に基づき当該ユーザの状態や、ユーザが置かれた状況等を認識してもよい。外部情報解析部101は、ユーザが撮像された画像に対して解析処理を施すことで、当該解析処理の結果に基づき、当該ユーザの感情や、当該ユーザの感じ方を推定してもよい。
また、他の一例として、外部情報解析部101は、ユーザの年齢、性別等のような当該ユーザの属性を示す情報を外部情報取得装置50から取得することで、各ユーザを認識または識別してもよい。このような構成により、例えば、触覚刺激部30を複数のユーザ間で共有しているような状況下でも、情報処理装置10は、触覚刺激部30を保持するユーザを識別することが可能となる。
また、他の一例として、外部情報解析部101は、所定の入力部を介してユーザにより指定された動作モードを示す情報を外部情報取得装置50から取得することで、ユーザが指定している動作の内容を認識してもよい。具体的な一例として、外部情報解析部101は、ユーザにより指定された、触覚刺激部30による触覚の提示に関する動作モードを示す情報を取得することで、触覚の提示に係る動作についてユーザが指定している制御の内容を認識してもよい。
以上のようにして、外部情報解析部101は、外部情報取得装置50から取得した外部情報を解析し、解析結果を触覚データ変調部105に出力する。また、外部情報解析部101は、外部情報の解析結果を触覚データ解析部103に出力してもよい。
触覚データ解析部103は、ユーザに対して提示する触覚に対応した触覚データを記憶部15から読み出す。具体的な一例として、触覚データ解析部103は、タッチパネル等のような所定の入力部(図示を省略する)に対する操作の内容に応じて、当該操作に応じた触覚を提示するための触覚データを記憶部15から読み出してもよい。また、他の一例として、触覚データ解析部103は、映像や音響等の各種コンテンツの再生結果に応じて、当該コンテンツの再生に伴い提示する触覚に対応した触覚データを記憶部15から読み出してもよい。もちろん、上記に説明した例はあくまで一例であり、触覚データ解析部103が、ユーザに提示する触覚を特定し、当該触覚に対応した触覚データを記憶部15から読み出すことが可能であれば、そのため条件は特に限定されない。
次いで、触覚データ解析部103は、読み出した触覚データに対して解析処理を施すことで、当該触覚データの内容を認識する。具体的な一例として、触覚データ解析部103は、当該解析処理に基づき、操作が行われた位置や対象に応じた触覚の強度を認識してもよい。また、触覚データ解析部103は、触覚データが複数の周波数成分それぞれについて触覚強度のデータを含む場合には、周波数成分ごとに、操作が行われた位置や対象に応じた触覚の強度を認識してもよい。
そして、触覚データ解析部103は、読み出した触覚データと、当該触覚データの解析結果を示す情報とを、触覚データ変調部105に出力する。これにより、触覚データ変調部105は、処理の対象となる触覚データと、当該触覚データの内容とを認識することが可能となる。
また、他の一例として、記憶部15に変調後の触覚データが既に記憶されている場合には、触覚データ解析部103は、外部情報解析部101から外部情報の解析結果を取得し、当該解析結果に対応する当該変調後の触覚データを記憶部15から読み出してもよい。具体的には、触覚データ解析部103は、所定の条件に基づきユーザに提示する触覚を特定し、当該触覚に対応する触覚データのうち、取得した外部情報の解析結果に基づき変調された触覚データ(例えば、当該解析結果に関連付けられた触覚データ)を記憶部15から抽出すればよい。なお、変調後の触覚データについては、後述する触覚データ変調部105が生成して記憶部15に記憶させればよい。また、変調後の触覚データを読み出した場合には、触覚データ解析部103は、当該触覚データを出力制御部107に出力してもよい。
触覚データ変調部105は、外部情報の解析結果に応じて触覚データを変調する。例えば、触覚データ変調部105は、変調の対象となる触覚データと、当該触覚データの解析結果を示す情報とを、触覚データ解析部103から取得する。また、触覚データ変調部105は、外部情報の解析結果を示す情報を、外部情報解析部101から取得する。触覚データ変調部105は、外部情報の解析結果に基づき、触覚データに対して施す変調処理を決定し、取得した触覚データに対して決定した変調処理を施す。
例えば、触覚データ変調部105は、外部情報の解析結果に基づく各種状態や状況の認識結果に応じて、触覚強度がより高くなるように触覚データを変調してもよい。また、他の一例として、触覚データ変調部105は、外部情報の解析結果に基づく各種状態や状況の認識結果に応じて、触覚提示のコントラストがより高くなるように触覚データを変調してもよい。
なお、触覚データ変調部105は、触覚データに含まれる周波数成分ごとに異なる変調処理を施してもよい。例えば、図9〜図14は、触覚データの変調に係る処理の一例について説明するための説明図であり、低域、中域、及び高域の周波数帯域ごとに変調処理を施す場合の一例を示している。なお、本説明では、「低域」は、0〜50Hzの周波数帯域を示し、「中域」は、50〜200Hzの周波数帯域を示し、「高域」は、200〜400Hzの周波数帯域を示すものとする。また、図8〜図13において、横軸は周波数を示しており、縦軸は、触覚強度(例えば、振動の強さ)を調整するためのゲインを示している。
例えば、図9は、低域から高域までの全域にわたって触覚強度がより高くなるように制御する場合における、各周波数成分に対して適用されるゲインの一例を示している。また、図10は、低域の触覚強度がより低くなるように制御する場合における、各周波数成分に対して適用されるゲインの一例を示している。また、図11は、中域の触覚強度がより高くなるように制御する場合における、各周波数成分に対して適用されるゲインの一例を示している。また、図12は、低域から中域にわたって触覚強度がより低くなるように制御する場合における、各周波数成分に対して適用されるゲインの一例を示している。また、図13は、低域及び高域の触覚強度がより高くなるように制御する場合における、各周波数成分に対して適用されるゲインの一例を示している。また、図14は、低域から中域にわたって触覚強度がより高くなるように制御し、かつ、高域の触覚強度がより低くなるように制御する場合における、各周波数成分に対して適用されるゲインの一例を示している。
もちろん、図9〜図14に示した例はあくまで一例であり、必ずしもこれらの例のみには限定されず、各種状態や状況に応じて変調処理の内容が適宜変更されてもよい。例えば、触覚データ変調部105は、触覚データの周波数成分ごとに触覚提示のコントラストが制御されるように、当該触覚データに対して変調処理を施してもよい。なお、外部情報の解析結果に応じた各種状態や状況と、触覚データに施される変調処理の内容とのより具体的な対応関係については、実施例として別途後述する。
そして、触覚データ変調部105は、変調後の触覚データを出力制御部107に出力する。
また、触覚データ変調部105は、変調後の触覚データを記憶部15に記憶させてもよい。この場合には、触覚データ変調部105は、例えば、変調後の触覚データに対して、対応する外部情報の解析結果を示す情報(即ち、変調処理を特定するために用いた外部情報の解析結果を示す情報)を関連付けて、当該変調後の触覚データを記憶部15に記憶させてもよい。このような構成により、既に変調後のデータが記憶部15に記憶されている場合には、触覚データ変調部105は、改めて触覚データの変調を行う必要がなくなる。
出力制御部107は、触覚データに基づき触覚刺激部30の動作を制御するための構成である。例えば、出力制御部107は、触覚データ変調部105から変調後の触覚データを取得し、取得した当該変調後の触覚データに基づき触覚刺激部30の動作を制御してもよい。また、出力制御部107は、触覚データ解析部103から触覚データ(例えば、変調後の触覚データ)を取得し、取得した当該触覚データに基づき触覚刺激部30の動作を制御してもよい。
なお、図8を参照して説明した情報処理システム1の機能構成はあくまで一例であり、上述した各構成の処理を実現することが可能であれば、情報処理システム1の機能構成は必ずしも図8に示す例のみには限定されない。具体的な一例として、前述したように情報処理装置10と、触覚刺激部30と、外部情報取得装置50とのうち、2以上の構成が一体的に構成されていてもよい。また、他の一例として、記憶部15が、情報処理装置10に含まれていてもよい。また、他の一例として、情報処理装置10の各構成のうち、一部の構成が情報処理装置10の外部(例えば、サーバ等)に設けられていてもよい。
以上、図8を参照して、本開示の一実施形態に係る情報処理システムの機能構成の一例として、特に、情報処理装置10の構成に着目して説明した。
<2.4.処理>
続いて、図15を参照して、本開示の一実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10による触覚データの変調に係る処理に着目して説明する。図15は、本実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。
図15に示すように、情報処理装置10(外部情報解析部101)は、外部情報取得装置50から外部情報を取得し(S101)、取得した外部情報を解析することで、外部情報(例えば、外部環境やユーザの状態のような各種状態や状況)が変化したか否かを認識する。
情報処理装置10は、外部情報に変化がある場合には(S103、YES)、外部情報の解析結果に基づき触覚データを変調する(S105)。具体的には、情報処理装置10(触覚データ解析部103)は、ユーザに対して提示する触覚に対応した触覚データを所定の記憶領域(例えば、記憶部15)から読み出す。次いで、情報処理装置10は、読み出した触覚データに対して解析処理を施すことで、当該触覚データの内容を認識する。そして、情報処理装置10(触覚データ変調部105)は、外部情報の解析結果に基づき、触覚データに対して施す変調処理を決定し、変調の対象となる触覚データに対して決定した変調処理を施す。このような制御により、情報処理装置10は、変調後の触覚データに基づき触覚刺激部30の動作を制御することで、外部情報の変化に応じた触覚をユーザに提示することが可能となる。
なお、外部情報に変化がない場合には(S103、NO)、情報処理装置10は、触覚データの変調を行わなくてもよい。
以上、図15を参照して、本開示の一実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10による触覚データの変調に係る処理に着目して説明した。
<<3.実施例>>
<3.1.実施例1:ユーザに応じた制御の一例>
続いて、本開示の一実施形態の実施例について説明する。まず、実施例1として、各ユーザの触覚の感じ方の差をより小さくするための、触覚データの変調に係る制御の一例について、具体的な例を挙げて説明する。
(触覚受容器の感度について)
実施例1について説明するにあたり、まず、人が触覚や圧覚等を感じるための仕組みとして、皮膚の触覚受容器の一例と、当該触覚受容器それぞれの感度の特性とについて図16及び図17を参照して説明する。
例えば、図16は、皮膚の触覚受容器の一例とその分布とについて説明するための説明図である。図16に示すように、人の皮膚は、表面側から体内側に向けて順に、表皮、真皮乳頭、真皮、及び皮下組織により層状に構成されている。また、図16に示すように、皮膚の触覚受容器としては、マイスター小体、メルケル小体、ルフィニ小体、及びパチニ小体が挙げられる。マイスナー小体は、真皮乳頭内に存在する。また、メルケル小体は、真皮乳頭間の真皮基底層の最深部に存在する。また、ルフィニ小体は、真皮の深部に存在する。また、パチニ小体は、皮下組織内や真皮の深層に存在する。
これらの触覚受容器は、機械的振動刺激を加えた場合に、それぞれ感度の周波数特性が異なることがわかっている。例えば、図17は、各触覚受容器の感度の特性について説明するための説明図である。図17において、横軸は周波数を示し、縦軸は感度を示している。図17に示すように、メルケル小体は、主に低域の周波数帯域において感度が高くなる傾向にある。また、マイスナー小体は、主に中域の周波数帯域において感度が高くなる傾向にある。また、ルフィニ小体及びパチニ小体は、主に中域から高域の周波数帯域において感度が高くなる傾向にある。
実施例1に係る情報処理装置10は、上述したような各受容器の感度の特性を利用することで、ユーザの状態の変化に応じた触覚の感じ方の差や、ユーザ間における触覚の感じ方の方の差をより小さくなるように触覚データを変調してもよい。
(年齢に応じた制御の一例)
まず、ユーザの年齢に応じて提示する触覚を制御する場合の一例について説明する。例えば、図18は、実施例1に係る情報処理装置10の一態様について説明するための説明図であり、年齢とマイスナー小体との間の関係の一例について説明するための説明図である。図18において、横軸は年齢を示しており、縦軸は1mmあたりのマイスナー小体の個数を示している。図18に示すように、年齢が上がるにつれてマイスナー小体の数は減少する傾向にある。また、前述したように、マイスナー小体は、主に中域の周波数帯域の振動の知覚に関わる。即ち、年齢の増加とともに中域の周波数帯域の振動の知覚に関する感度が低下する傾向にある。
以上のような特性を利用し、例えば、情報処理装置10は、ユーザの年齢に応じて、触覚データを変調してもよい。例えば、図19は、実施例1に係る情報処理装置10の一態様について説明するための説明図であり、ユーザの年齢に応じた触覚データの変調に係る制御の一例について示している。図19において、横軸は年齢を示しており、縦軸は触覚強度を示している。図19に示すように、情報処理装置10は、例えば、ユーザの年齢がより高いほど、触覚強度がより高くなるように触覚データを変調してもよい。なお、このとき情報処理装置10は、例えば、触覚データのうち、主に中域の周波数成分を対象として、触覚強度を制御してもよい。このような制御により、年齢の異なるユーザ間における、触覚の感じ方の差をより小さくすることが可能となる。即ち、情報処理装置10は、ユーザの年齢に対応した周波数帯域を対象として、当該年齢の違いより受ける触覚感度への影響が補正されるように、触覚データを変調してもよい。
(性別に応じた制御の一例)
次いで、ユーザの性別に応じて提示する触覚を制御する場合の一例について説明する。具体的には、女性は、男性に比べて触覚の感度がより高い傾向にある。このような特性を利用し、例えば、情報処理装置10は、ユーザの性別に応じて、触覚データを変調してもよい。例えば、図20は、実施例1に係る情報処理装置10の一態様について説明するための説明図であり、ユーザの性別に応じた触覚データの変調に係る制御の一例について示している。図20では、ユーザの性別が男性及び女性の場合のそれぞれにおける触覚強度の一例を示している。図20に示すように、情報処理装置10は、例えば、ユーザの性別が女性の場合には、低域から高域までの全域にわたって触覚強度を弱めてもよい。即ち、情報処理装置10は、ユーザの性別の違いより受ける触覚感度への影響が補正されるように、触覚データを変調してもよい。
(感情に応じた制御の一例)
次いで、ユーザの感情に応じて提示する触覚を制御する場合の一例について説明する。例えば、人は、気分が落ち込む等、感情が負の状態を示す場合には神経伝達が鈍くなり、触覚感度も鈍くなる傾向にある。このような状況を鑑み、情報処理装置10は、例えば、ユーザの気分が落ち込むほど、低域から高域までの全域にわたって触覚強度を強めてもよい。即ち、情報処理装置10は、ユーザの感情の変化により受ける触覚感度への影響が補正されるように、触覚データを変調してもよい。
また、図21は、実施例1に係る情報処理装置10の一態様について説明するための説明図であり、ユーザの感情に応じた制御の一例について示している。図21に示すように、情報処理装置10は、ユーザの「喜び」、「怒り」、「悲しみ」、「楽しみ」といった感情の変化に応じて、ユーザに提示する触覚の触覚強度を制御してもよい。
(感じ方の違いに応じた制御の一例)
次いで、ユーザごとの感じ方の違いに応じて提示する触覚を制御する場合の一例について説明する。例えば、図22は、実施例1に係る情報処理装置10の一態様について説明するための説明図であり、ユーザごとの感じ方の違いに応じた制御の一例について示している。図22に示す例では、横軸は「快」、「不快」といったユーザごとの感じ方の違いを定量的に示しており、縦軸は触覚強度を示している。即ち、図22に示す例では、ユーザの「快」、「不快」といった感じ方の違いの検出結果に応じて、ユーザに提示する触覚の触覚強度を制御している。より具体的には、情報処理装置10は、ユーザが不快に感じていることを認識した場合には、当該ユーザに提示する触覚の触覚強度を弱めてもよい。また、情報処理装置10は、ユーザが快く感じていることを認識した場合には、当該ユーザに提示する触覚の触覚強度を強めてもよい。即ち、情報処理装置10は、ユーザの感じ方のの違いより受ける触覚感度への影響が補正されるように、触覚データを変調してもよい。
(ユーザの状態に応じた制御の一例)
次いで、体温、活動量、心拍、発汗量等のようなユーザの各種状態の検出結果に応じて提示する触覚を制御する場合の一例について説明する。例えば、図23は、実施例1に係る情報処理装置10の一態様について説明するための説明図であり、ユーザの体温に応じた触覚データの変調に係る制御の一例について示している。図23に示す例では、横軸は体温を示しており、縦軸は触覚強度を示している。より具体的には、体温が上昇すると、皮下組織にあるパチニ小体の感度が高くなる傾向にある。そのため、情報処理装置10は、例えば、体温の上昇に応じて、中域から高域にかけて触覚強度を弱めてもよい。
また、図24は、実施例1に係る情報処理装置10の一態様について説明するための説明図であり、ユーザの活動量に応じた触覚データの変調に係る制御の一例について示している。図24に示す例では、横軸は活動量を示しており、縦軸は触覚強度を示している。具体的には、活動量が増加すると血流量が増えるため、体温が上昇する傾向にある。そのため、情報処理装置10は、ユーザの活動量の増加に応じて、体温が上昇した場合と同様に、中域から高域にかけて触覚強度を弱めてもよい。即ち、情報処理装置10は、ユーザの体温に対応した周波数帯域を対象として、当該体温の変化により受ける触覚感度への影響が補正されるように、触覚データを変調してもよい。
また、図25は、実施例1に係る情報処理装置10の一態様について説明するための説明図であり、ユーザの心拍に応じた触覚データの変調に係る制御の一例について示している。図25に示す例では、横軸は心拍を示しており、縦軸は触覚強度を示している。具体的には、心拍数が上昇すると血流量が増えるため、体温が上昇する傾向にある。そのため、情報処理装置10は、ユーザの心拍数の上昇に応じて、体温が上昇した場合と同様に、中域から高域にかけて触覚強度を弱めてもよい。即ち、情報処理装置10は、ユーザの心拍に対応した周波数帯域を対象として、当該心拍の変化により受ける触覚感度への影響が補正されるように、触覚データを変調してもよい。
また、図26は、実施例1に係る情報処理装置10の一態様について説明するための説明図であり、ユーザの発汗量に応じた触覚データの変調に係る制御の一例について示している。図26に示す例では、横軸は発汗量を示しており、縦軸は触覚強度を示している。具体的には、発汗量が多くなると高域の周波数帯域において触覚を知覚する感度が鈍る傾向にある。そのため、情報処理装置10は、例えば、発汗量の増加に応じて、高域の触覚強度を強めてもよい。即ち、情報処理装置10は、ユーザの発汗量に対応した周波数帯域を対象として、当該発汗量の変化により受ける触覚感度への影響が補正されるように、触覚データを変調してもよい。
なお、上述したユーザの状態等のように動的に変化する情報に基づき、触覚データを変調する場合には、情報処理装置10は、当該変調に係る制御のタイミングを制御してもよい。例えば、状態が頻繁に変化するような状況下においては、情報処理装置10は、触覚データの変調に係る制御を一時的に停止してもよい。この場合には、例えば、情報処理装置10は、状態が安定した後に、安定した後の状態に応じて触覚データを変調してもよい。また、他の一例として、情報処理装置10は、状態が変化してから一定時間が経過した後に、変化後の当該状態に応じて触覚データを変調してもよい。なお、本制御は、実施例1として上述した例に限らず、実施例2として後述する例にも適用することが可能である。
(複数の外部情報に基づく制御の一例)
次いで、複数の外部情報に基づき、提示する触覚を制御する場合の一例について説明する。情報処理装置10は、前述した各種状態や状況を示す外部情報(コンテキスト情報)のうち、複数の外部情報に基づき(即ち、複数の状態または状況に応じて)触覚を制御してもよい。この場合には、情報処理装置10は、対象となる複数の外部情報(換言すると、各種状態または状況)の間において重み付けを行っておき(即ち、優先度を設定しておき)、設置された重みに応じて触覚データを変調してもよい。また、このとき情報処理装置10は、外部情報間に設定された重みに応じて、当該外部情報それぞれに対応する変調方法を混合してもよい。なお、本制御は、実施例1として上述した例に限らず、実施例2として後述する例にも適用することが可能である。
(ユーザごとの特性の違いの検出方法)
続いて、ユーザごとの特性の違いを検出するための仕組みの一例について説明する。前述したように、触覚の感じ方(例えば、快、不快等)には個人差が生じる場合がある。このような状況を鑑み、情報処理装置10に対して、ユーザごとの触覚の感じ方(例えば、提示される触覚の好み等)を認識するための仕組みを設けてもよい。
具体的な一例として、情報処理装置10は、対象となるユーザが使用する端末(もしくは、自身)にインストールされているアプリケーションから、ユーザが好む振動を認識してもよい。また、他の一例として、情報処理装置10は、音楽の視聴履歴や、端末に保持されている音楽データ等に基づき、当該音楽のジャンルを判別し、判別した当該音楽のジャンルに基づき、ユーザが好む振動を認識してもよい。
また、情報処理装置10は、ユーザに対して複数種類の振動を提示し、提示された振動の中から好みの振動をユーザに選択させることで、当該ユーザが好む振動を認識してもよい。具体的な一例として、情報処理装置10は、初期設定時にユーザの好みを認識するための上記質問を1以上提示し、ユーザからの応答(即ち、ユーザによる選択の結果)に応じて、当該ユーザが好む振動を認識してもよい。
また、情報処理装置10は、振動の強さ等を数値やインジケータ等で表示することで、ユーザに提示してもよい。このような制御により、ユーザは、振動の強さ等を視覚的に認識することが可能となる。また、このような制御とあわせて、情報処理装置10は、ユーザからの指示に基づき、振動の強さ等を変更できるように構成されていてもよい。
以上、本開示の一実施形態の実施例1として、各ユーザの触覚の感じ方の差をより小さくするための、触覚データの変調に係る制御の一例について、具体的な例を挙げて説明した。以上のような制御により、情報処理装置10は、ユーザの状態の変化に伴う触覚の感じ方の差や、異なるユーザ間における触覚の感じ方の差がより小さくなるように制御することが可能となる。そのため、情報処理装置10は、よりリアリティのある触覚を再現することが可能となる。
<3.2.実施例2:外部環境に応じた制御の一例>
続いて、本開示の一実施形態の実施例2として、外部環境の状態の変化に伴う触覚の感じ方の変化をより小さくするための、触覚データの変調に係る制御の一例について、具体的な例を挙げて説明する。
(外部環境の明るさに応じた制御の一例)
まず、外部環境の明るさに応じて提示する触覚を制御する場合の一例について説明する。例えば、図27は、実施例2に係る情報処理装置10の一態様について説明するための説明図であり、外部環境の明るさに応じた触覚データの変調に係る制御の一例について示している。図27に示す例では、横軸は外部環境の明るさを示しており、縦軸は触覚強度を示している。より具体的には、ユーザは、周囲の環境(即ち、外部環境)が暗くなると、触覚感度が高まる傾向にある。そのため、情報処理装置10は、例えば、外部環境の明るさが暗くなるほど、触覚強度を弱めてもよい。なお、このとき情報処理装置10は、低域から高域までの全域にかけて触覚強度を弱めてもよいし、一部の周波数帯域についてのみ触覚強度を弱めてもよい。即ち、情報処理装置10は、外部環境の明るさの違いにより受ける触覚感度への影響が補正されるように、触覚データを変調してもよい。
(外部環境の騒音に応じた制御の一例)
次いで、外部環境の騒音(音響)に応じて提示する触覚を制御する場合の一例について説明する。例えば、図28は、実施例2に係る情報処理装置10の一態様について説明するための説明図であり、外部環境の騒音に応じた触覚データの変調に係る制御の一例について示している。図28に示す例では、横軸は外部環境の騒音のレベルの高さを示しており、縦軸は触覚強度を示している。より具体的には、ユーザは、騒音の影響により、当該騒音の周波数帯域と同じまたは近傍の周波数帯域の成分の振動に対する感度が低下する傾向にある。そのため、情報処理装置10は、例えば、騒音に低域の成分が含まれる場合には、低域の触覚強度を強めてもよい。また、情報処理装置10は、騒音に中域の成分が含まれる場合には、中域の触覚強度を強めてもよい。同様に、情報処理装置10は、騒音に高域の成分が含まれる場合には、高域の触覚強度を強めてもよい。即ち、情報処理装置10は、外部環境の音響に含まれる周波数成分に応じた周波数帯域を対象として、当該音響により受ける触覚感度への影響が補正されるように、触覚データを変調してもよい。
(外部環境の温度に応じた制御の一例)
次いで、外部環境の温度に応じて提示する触覚を制御する場合の一例について説明する。例えば、図29は、実施例2に係る情報処理装置10の一態様について説明するための説明図であり、外部環境の温度(気温)に応じた触覚データの変調に係る制御の一例について示している。図29に示す例では、横軸は気温を示しており、縦軸は触覚強度を示している。より具体的には、ユーザは、気温の低下に伴い体温が低下するため、触覚の感度が低くなる傾向にある。
なお、前述したように、皮膚を形成する表皮、真皮乳頭、真皮、及び皮下組織の層それぞれには、異なる特性を有する触覚受容器(即ち、マイスター小体、メルケル小体、ルフィニ小体、及びパチニ小体)が存在する。そのため、表皮、真皮乳頭、真皮、及び皮下組織それぞれにおける温度(体温)の変化に応じて、触覚の感じ方も変化することとなる。
具体的には、気温が低下すると、ユーザの皮膚は、より表面に近い層から順に(即ち、表皮、真皮乳頭、真皮、皮下組織の順に)体温が低下する。より具体的には、まず表皮の温度が低下し、マイスナー小体の神経伝達が鈍くなる(即ち、感度が低下する)。そのため、情報処理装置10は、中域の触覚強度を強めてもよい。次いで、真皮乳頭まで温度が低下すると、メルケル小体の神経伝達が鈍くなる。そのため、情報処理装置10は、さらに低域の触覚強度を強めてもよい。次いで、真皮まで温度が低下すると、ルフィニ小体の神経伝達が鈍くなる。そのため、情報処理装置10は、さらに中域から高域にかけて触覚強度を強めてもよい。また、皮下組織まで温度が低下すると、パチニ小体の神経伝達が鈍くなる。そのため、情報処理装置10は、さらに高域の触覚強度を強めてもよい。即ち、情報処理装置10は、外部環境の温度に応じた周波数帯域を対象として、当該温度の違いにより受ける触覚感度への影響が補正されるように、触覚データを変調してもよい。また、情報処理装置10は、ユーザの皮膚を形成する表皮、真皮乳頭、真皮、及び皮下組織のうちの少なくともいずれかの層に対応した周波数帯域を対象として、当該層の温度の違いにより受ける触覚感度への影響が補正されるように、触覚データを変調してもよい。
以上、本開示の一実施形態の実施例2として、外部環境の状態の変化に伴う触覚の感じ方の変化をより小さくするための、触覚データの変調に係る制御の一例について、具体的な例を挙げて説明した。以上のような制御により、情報処理装置10は、外部環境の状態の変化に伴う触覚の感じ方の差がより小さくなるように制御することが可能となる。そのため、情報処理装置10は、よりリアリティのある触覚を再現することが可能となる。
<3.3.実施例3:その他の制御例>
続いて、本開示の一実施形態の実施例3として、前述した実施例1及び2とは異なる他の制御の一例について説明する。
(装着部位に応じた制御の一例)
まず、触覚刺激部30が装着された部位に応じて提示する触覚を制御する場合の一例について説明する。具体的には、ユーザは、部位に応じて触覚の感じ方が異なる場合がある。即ち、触覚刺激部30が、所定の触覚強度で触覚を提示したとしても、提示された触覚の感じ方が、当該触覚刺激部30が装着された部位に応じて異なる場合がある。そのため、情報処理装置10は、触覚刺激部30が装着された部位に応じて、当該触覚刺激部30を介して提示する触覚の触覚強度を制御してもよい。例えば、図30は、実施例3に係る情報処理装置10の一態様について説明するための説明図であり、触覚刺激部30が装着された部位に応じた触覚データの変調に係る制御の一例について示している。図30では、触覚刺激部30が装着される部位の一例として、足、腿、腹、胸、顔、及び手それぞれにおける触覚強度の一例について示している。
(装着圧力に応じた制御の一例)
次いで、触覚刺激部30の装着圧力に応じて提示する触覚を制御する場合の一例について説明する。具体的には、所定の部位に対して触覚刺激部30が装着されている状況下においても、ユーザは、当該触覚刺激部30の装着圧力の違い(例えば、より密着するように装着されているか否か)に応じて、触覚の感じ方が異なる場合がある。そのため、情報処理装置10は、触覚刺激部30の装着圧力に応じて、当該触覚刺激部30を介して提示する触覚の触覚強度を制御してもよい。
例えば、図31は、実施例3に係る情報処理装置10の一態様について説明するための説明図であり、触覚刺激部30が装着圧力に応じた触覚データの変調に係る制御の一例について示している。図31に示す例では、横軸は装着圧力の高さを示しており、縦軸は触覚強度を示している。より具体的には、触覚刺激部30の装着圧力が高いほど、触覚刺激部30がユーザの部位により密着する。そのため、ユーザは、触覚刺激部30の装着圧力が低い場合に比べて、当該触覚刺激部30により提示される触覚をより感じやすくなる傾向にある。そのため、情報処理装置10は、触覚刺激部30の装着圧力が高くなるほど、触覚強度を弱めてもよい。
以上、本開示の一実施形態の実施例3として、前述した実施例1及び2とは異なる他の制御の一例について説明した。
<<4.ハードウェア構成>>
次に、図32を参照しながら、前述した情報処理装置10のように、本実施形態に係る情報処理システム1を構成する情報処理装置900のハードウェア構成について、詳細に説明する。図32は、本開示の一実施形態に係る情報処理システム1を構成する情報処理装置900のハードウェア構成の一構成例を示す機能ブロック図である。
本実施形態に係る情報処理システム1を構成する情報処理装置900は、主に、CPU901と、ROM903と、RAM905と、を備える。また、情報処理装置900は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919又はリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。なお、図8を参照して前述した、外部情報解析部101、触覚データ解析部103、触覚データ変調部105、及び出力制御部107は、例えば、CPU901により実現され得る。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。また、外部バス911には、インターフェース913を介して、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923及び通信装置925が接続される。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置900のユーザは、この入力装置915を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置917は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ等を格納する。
ドライブ921は、記録媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア又はBlu−ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CF:CompactFlash)、フラッシュメモリ又はSDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。なお、図8を参照して前述した記憶部15は、例えば、RAM905、ストレージ装置919、及びリムーバブル記録媒体927の少なくともいずれかにより実現され得る。
接続ポート923は、情報処理装置900に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、情報処理装置900は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。
通信装置925は、例えば、通信網(ネットワーク)931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線若しくは無線LAN(Local Area Network)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る情報処理システム1を構成する情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図32では図示しないが、本実施形態に係る情報処理システム1を構成する情報処理装置900に対応する各種の構成を当然備える。
なお、上述のような本実施形態に係る情報処理システム1を構成する情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ(例えば、複数のサーバ等)が互いに連携して実行してもよい。なお、単数のコンピュータ、または、複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。
<<5.むすび>>
以上説明したように、本開示の一実施形態に係る情報処理装置10は、ユーザに関する外部情報(例えば、ユーザの状態や属性に関する情報等)に応じて、触覚刺激部30を駆動するための触覚データ(例えば、制御信号)を変調する。これにより、情報処理装置10は、ユーザの状態の変化に伴う触覚の感じ方の差や、異なるユーザ間における触覚の感じ方の差がより小さくなるように制御することが可能となる。即ち、情報処理装置10は、よりリアリティのある触覚を再現することが可能となる。
また、本開示の一実施形態に係る情報処理装置10は、外部環境の状態または状況に関する外部情報に応じて、触覚刺激部30を駆動するための触覚データを変調する。これにより、情報処理装置10は、外部環境の状態の変化に伴う触覚の感じ方の差がより小さくなるように制御することが可能となる。即ち、情報処理装置10は、よりリアリティのある触覚を再現することが可能となる。
なお、上述した例では、主に触覚を提示する場合に着目して説明したが、力覚等、皮膚など体表面に対する感覚を提示する場合についても同様である。即ち、本開示の一実施形態に係る情報処理装置10に依れば、よりリアリティのある触覚刺激(例えば、触覚や力覚)を再現することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
外部環境の状態もしくは状況に関するコンテキスト情報、または、ユーザに関するコンテキスト情報を取得する取得部と、
当該ユーザの所定の部位に対して触覚刺激を提示するための触覚刺激部を制御するための制御信号を、取得された前記コンテキスト情報に基づき変調する変調部と、
を備える、情報処理装置。
(2)
前記変調部は、取得された前記コンテキスト情報に応じた周波数帯域を対象として、前記制御信号を変調する、前記(1)に記載の情報処理装置。
(3)
前記コンテキスト情報は、ユーザの年齢に関する情報を含み、
前記変調部は、前記年齢に対応した周波数帯域を対象として、前記年齢の違いにより受ける影響が補正されるように、前記制御信号を変調する、
前記(2)に記載の情報処理装置。
(4)
前記コンテキスト情報は、ユーザの性別に関する情報を含み、
前記変調部は、前記性別の違いにより受ける影響が補正されるように、前記制御信号を変調する、
前記(1)または(2)に記載の情報処理装置。
(5)
前記コンテキスト情報は、ユーザの感情の検知結果に関する情報を含み、
前記変調部は、前記感情の検知結果が負の状態を示す場合に、前記触覚刺激部によりユーザに提示される触覚刺激の変化により受ける影響が補正されるように、前記制御信号を変調する、
前記(1)または(2)に記載の情報処理装置。
(6)
前記コンテキスト情報は、ユーザの体温に関する情報を含み、
前記変調部は、前記体温に対応した周波数帯域を対象として、前記体温の変化により受ける影響が補正されるように、前記制御信号を変調する、
前記(2)に記載の情報処理装置。
(7)
前記コンテキスト情報は、ユーザの活動量に関する情報を含み、
前記変調部は、前記活動量に対応した周波数帯域を対象として、前記活動量の変化により受ける影響が補正されるように、前記制御信号を変調する、
前記(2)に記載の情報処理装置。
(8)
前記コンテキスト情報は、ユーザの心拍数に関する情報を含み、
前記変調部は、前記心拍数に対応する周波数帯域を対象として、前記心拍数の変化により受ける影響が補正されるように、前記制御信号を変調する、
前記(2)に記載の情報処理装置。
(9)
前記コンテキスト情報は、ユーザの発汗量に関する情報を含み、
前記変調部は、前記発汗量に対応する周波数帯域を対象として、前記発汗量の変化により受ける影響が補正されるように、前記制御信号を変調する、
前記(2)に記載の情報処理装置。
(10)
前記コンテキスト情報は、外部環境の明るさに関する情報を含み、
前記変調部は、前記明るさの違いにより受ける影響が補正されるように、前記制御信号を変調する、
前記(1)または(2)に記載の情報処理装置。
(11)
前記コンテキスト情報は、外部環境の音響の集音結果に基づく情報を含み、
前記変調部は、前記音響に含まれる周波数成分に応じた前記周波数帯域を対象として、前記制御信号を変調する、前記(2)に記載の情報処理装置。
(12)
前記コンテキスト情報は、外部環境の温度に関する情報を含み、
前記変調部は、前記温度の違いにより受ける影響が補正されるように、前記制御信号を変調する、
前記(1)または(2)に記載の情報処理装置。
(13)
前記コンテキスト情報は、ユーザの皮膚を形成する表皮、真皮乳頭、真皮、及び皮下組織のうちの少なくともいずれかの層の温度に関する情報を含み、
前記変調部は、前記温度に関する情報に対応する前記層に応じた前記周波数帯域を対象として、当該層の温度の違いに応じた影響が補正されるように、前記制御信号を変調する、
前記(2)に記載の情報処理装置。
(14)
前記変調部は、前記コンテキスト情報が示す所定の状態または状況が変化する頻度に応じて、前記制御信号の変調に係る処理を一時的に抑制する、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記変調部は、前記コンテキスト情報が示す所定の状態または状況が変化するタイミングに応じて、前記制御信号を変調するタイミングを制御する、前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記コンテキスト情報は、複数種類の状態または状況を示す情報を含み、
前記複数種類の状態または状況は、あらかじめ重み付けがされており、
前記変調部は、前記複数種類の状態または状況に設定された重みに基づき、前記制御信号を変調する、
前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記変調部は、所定の端末にインストールされている機能、または、当該端末に保持されているデータに応じて、前記制御信号を変調する、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記変調部は、事前に入力された前記触覚刺激に関する設定に応じて、前記制御信号を変調する、前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
変調後の前記制御信号に基づき前記触覚刺激部によりユーザに提示される前記触覚刺激に関する情報を、所定の出力部を介してユーザに提示する制御部を備える、前記(1)〜(18)のいずれか一項に記載の情報処理装置。
(20)
コンピュータシステムが、
外部環境の状態もしくは状況に関するコンテキスト情報、または、ユーザに関するコンテキスト情報を取得することと、
当該ユーザの所定の部位に対して触覚刺激を提示するための触覚刺激部を制御するための制御信号を、取得された前記コンテキスト情報に基づき変調することと、
を含む、情報処理方法。
(21)
コンピュータシステムに、
外部環境の状態もしくは状況に関するコンテキスト情報、または、ユーザに関するコンテキスト情報を取得することと、
当該ユーザの所定の部位に対して触覚刺激を提示するための触覚刺激部を制御するための制御信号を、取得された前記コンテキスト情報に基づき変調することと、
を実行させる、プログラム。
1 情報処理システム
10 情報処理装置
101 外部情報解析部
103 触覚データ解析部
105 触覚データ変調部
107 出力制御部
15 記憶部
30 触覚刺激部
50 外部情報取得装置

Claims (20)

  1. 外部環境の状態もしくは状況に関するコンテキスト情報、または、ユーザに関するコンテキスト情報を取得する取得部と、
    当該ユーザの所定の部位に対して触覚刺激を提示するための触覚刺激部を制御するための制御信号を、取得された前記コンテキスト情報に基づき変調する変調部と、
    を備える、情報処理装置。
  2. 前記変調部は、取得された前記コンテキスト情報に応じた周波数帯域を対象として、前記制御信号を変調する、請求項1に記載の情報処理装置。
  3. 前記コンテキスト情報は、ユーザの年齢に関する情報を含み、
    前記変調部は、前記年齢に対応した周波数帯域を対象として、前記年齢の違いにより受ける影響が補正されるように、前記制御信号を変調する、
    請求項2に記載の情報処理装置。
  4. 前記コンテキスト情報は、ユーザの性別に関する情報を含み、
    前記変調部は、前記性別の違いにより受ける影響が補正されるように、前記制御信号を変調する、
    請求項1に記載の情報処理装置。
  5. 前記コンテキスト情報は、ユーザの感情の検知結果に関する情報を含み、
    前記変調部は、前記感情の検知結果が負の状態を示す場合に、前記触覚刺激部によりユーザに提示される触覚刺激の変化により受ける影響が補正されるように、前記制御信号を変調する、
    請求項1に記載の情報処理装置。
  6. 前記コンテキスト情報は、ユーザの体温に関する情報を含み、
    前記変調部は、前記体温に対応した周波数帯域を対象として、前記体温の変化により受ける影響が補正されるように、前記制御信号を変調する、
    請求項2に記載の情報処理装置。
  7. 前記コンテキスト情報は、ユーザの活動量に関する情報を含み、
    前記変調部は、前記活動量に対応した周波数帯域を対象として、前記活動量の変化により受ける影響が補正されるように、前記制御信号を変調する、
    請求項2に記載の情報処理装置。
  8. 前記コンテキスト情報は、ユーザの心拍数に関する情報を含み、
    前記変調部は、前記心拍数に対応する周波数帯域を対象として、前記心拍数の変化により受ける影響が補正されるように、前記制御信号を変調する、
    請求項2に記載の情報処理装置。
  9. 前記コンテキスト情報は、ユーザの発汗量に関する情報を含み、
    前記変調部は、前記発汗量に対応する周波数帯域を対象として、前記発汗量の変化により受ける影響が補正されるように、前記制御信号を変調する、
    請求項2に記載の情報処理装置。
  10. 前記コンテキスト情報は、外部環境の明るさに関する情報を含み、
    前記変調部は、前記明るさの違いにより受ける影響が補正されるように、前記制御信号を変調する、
    請求項1または2に記載の情報処理装置。
  11. 前記コンテキスト情報は、外部環境の音響の集音結果に基づく情報を含み、
    前記変調部は、前記音響に含まれる周波数成分に応じた前記周波数帯域を対象として、前記制御信号を変調する、請求項2に記載の情報処理装置。
  12. 前記コンテキスト情報は、外部環境の温度に関する情報を含み、
    前記変調部は、前記温度の違いにより受ける影響が補正されるように、前記制御信号を変調する、
    請求項1に記載の情報処理装置。
  13. 前記コンテキスト情報は、ユーザの皮膚を形成する表皮、真皮乳頭、真皮、及び皮下組織のうちの少なくともいずれかの層の温度に関する情報を含み、
    前記変調部は、前記温度に関する情報に対応する前記層に応じた前記周波数帯域を対象として、当該層の温度の違いに応じた影響が補正されるように、前記制御信号を変調する、
    請求項2に記載の情報処理装置。
  14. 前記変調部は、前記コンテキスト情報が示す所定の状態または状況が変化する頻度に応じて、前記制御信号の変調に係る処理を一時的に抑制する、請求項1に記載の情報処理装置。
  15. 前記変調部は、前記コンテキスト情報が示す所定の状態または状況が変化するタイミングに応じて、前記制御信号を変調するタイミングを制御する、請求項1に記載の情報処理装置。
  16. 前記コンテキスト情報は、複数種類の状態または状況を示す情報を含み、
    前記複数種類の状態または状況は、あらかじめ重み付けがされており、
    前記変調部は、前記複数種類の状態または状況に設定された重みに基づき、前記制御信号を変調する、
    請求項1に記載の情報処理装置。
  17. 前記変調部は、所定の端末にインストールされている機能、または、当該端末に保持されているデータに応じて、前記制御信号を変調する、請求項1に記載の情報処理装置。
  18. 変調後の前記制御信号に基づき前記触覚刺激部によりユーザに提示される前記触覚刺激に関する情報を、所定の出力部を介してユーザに提示する制御部を備える、請求項1に記載の情報処理装置。
  19. コンピュータシステムが、
    外部環境の状態もしくは状況に関するコンテキスト情報、または、ユーザに関するコンテキスト情報を取得することと、
    当該ユーザの所定の部位に対して触覚刺激を提示するための触覚刺激部を制御するための制御信号を、取得された前記コンテキスト情報に基づき変調することと、
    を含む、情報処理方法。
  20. コンピュータシステムに、
    外部環境の状態もしくは状況に関するコンテキスト情報、または、ユーザに関するコンテキスト情報を取得することと、
    当該ユーザの所定の部位に対して触覚刺激を提示するための触覚刺激部を制御するための制御信号を、取得された前記コンテキスト情報に基づき変調することと、
    を実行させる、プログラム。
JP2018536952A 2016-08-29 2017-06-05 情報処理装置、情報処理方法、及びプログラム Active JP6939797B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016166397 2016-08-29
JP2016166397 2016-08-29
PCT/JP2017/020751 WO2018042799A1 (ja) 2016-08-29 2017-06-05 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018042799A1 true JPWO2018042799A1 (ja) 2019-06-24
JP6939797B2 JP6939797B2 (ja) 2021-09-22

Family

ID=61300327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018536952A Active JP6939797B2 (ja) 2016-08-29 2017-06-05 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US11676461B2 (ja)
EP (1) EP3506057A4 (ja)
JP (1) JP6939797B2 (ja)
CN (1) CN109643163A (ja)
WO (1) WO2018042799A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7302781B2 (ja) * 2019-02-18 2023-07-04 株式会社東海理化電機製作所 制御装置およびプログラム
US20220171518A1 (en) * 2019-02-26 2022-06-02 Sony Group Corporation Information processing device, information processing method, and program
JP7072550B2 (ja) * 2019-11-19 2022-05-20 株式会社ソニー・インタラクティブエンタテインメント 操作デバイス
WO2021145025A1 (ja) * 2020-01-16 2021-07-22 ソニーグループ株式会社 情報処理装置、情報処理端末及びプログラム
WO2022074929A1 (ja) * 2020-10-07 2022-04-14 株式会社村田製作所 力覚波決定装置、力覚波決定方法及び力覚波決定プログラム
WO2022118456A1 (ja) * 2020-12-04 2022-06-09 日本電信電話株式会社 触覚デバイス
EP4250060A1 (en) * 2022-03-25 2023-09-27 Nokia Technologies Oy Apparatus, systems, methods and computer programs for transferring sensations

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197922A (ja) * 1993-01-05 1994-07-19 Hitachi Ltd 物理量制御装置
JP2014209329A (ja) * 2013-03-15 2014-11-06 イマージョンコーポレーションImmersion Corporation 触覚効果のパラメータを修正するためのシステムおよび方法
JP2014229315A (ja) * 2013-05-24 2014-12-08 イマージョン コーポレーションImmersion Corporation メディア・コンテンツ及び一又は複数の外部パラメータに基づいて触覚フィードバックを提供する方法及び装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2885017B2 (ja) * 1993-10-12 1999-04-19 三菱自動車工業株式会社 内燃機関のアイドル回転数制御装置
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP2001252265A (ja) 2000-03-08 2001-09-18 Sharp Corp バイオフィードバック装置
JP3972901B2 (ja) * 2003-12-25 2007-09-05 株式会社デンソー 内燃機関の空燃比制御装置
JP2008006037A (ja) * 2006-06-29 2008-01-17 Family Co Ltd マッサージ機
JP4771084B2 (ja) 2006-11-21 2011-09-14 トヨタ自動車株式会社 バイオフィードバック装置
GB2464117B (en) * 2008-10-03 2015-01-28 Hiwave Technologies Uk Ltd Touch sensitive device
US8004391B2 (en) * 2008-11-19 2011-08-23 Immersion Corporation Method and apparatus for generating mood-based haptic feedback
US9367150B2 (en) 2010-05-20 2016-06-14 Nokia Technologies Oy Apparatus and associated methods
DE102012005030B4 (de) 2012-03-12 2016-06-16 Forschungszentrum Jülich GmbH Vorrichtung und Verfahren zur Stimulation mit Thermoreizen
US8945328B2 (en) * 2012-09-11 2015-02-03 L.I.F.E. Corporation S.A. Methods of making garments having stretchable and conductive ink
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
JP2015170174A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015170173A (ja) 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR101846256B1 (ko) * 2014-05-09 2018-05-18 삼성전자주식회사 필기감을 제공하는 촉각 피드백 장치 및 방법
US9478109B2 (en) * 2014-12-29 2016-10-25 Immersion Corporation Virtual sensor in a virtual environment
JP6636792B2 (ja) * 2015-01-30 2020-01-29 パナソニック株式会社 刺激提示システム、刺激提示方法、コンピュータ、および制御方法
WO2016127157A1 (en) * 2015-02-08 2016-08-11 Zenso, Inc. System and method communicating biofeedback to a user through a wearable device
JP6445921B2 (ja) * 2015-04-21 2018-12-26 任天堂株式会社 振動信号生成プログラム、振動信号生成システム、振動信号生成装置、振動信号生成方法、およびデータ出力プログラム
CN105472527B (zh) * 2016-01-05 2017-12-15 北京小鸟看看科技有限公司 一种马达矩阵控制方法及一种可穿戴设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197922A (ja) * 1993-01-05 1994-07-19 Hitachi Ltd 物理量制御装置
JP2014209329A (ja) * 2013-03-15 2014-11-06 イマージョンコーポレーションImmersion Corporation 触覚効果のパラメータを修正するためのシステムおよび方法
JP2014229315A (ja) * 2013-05-24 2014-12-08 イマージョン コーポレーションImmersion Corporation メディア・コンテンツ及び一又は複数の外部パラメータに基づいて触覚フィードバックを提供する方法及び装置

Also Published As

Publication number Publication date
WO2018042799A1 (ja) 2018-03-08
CN109643163A (zh) 2019-04-16
JP6939797B2 (ja) 2021-09-22
EP3506057A4 (en) 2019-08-14
EP3506057A1 (en) 2019-07-03
US20210287497A1 (en) 2021-09-16
US11676461B2 (en) 2023-06-13

Similar Documents

Publication Publication Date Title
KR102251047B1 (ko) 미디어 콘텐츠 및 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하기 위한 방법 및 장치
JP6939797B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10366778B2 (en) Method and device for processing content based on bio-signals
US10824232B2 (en) Sound outputting apparatus, electronic apparatus, and control method thereof
US10345901B2 (en) Sound outputting apparatus, electronic apparatus, and control method thereof
Augstein et al. A human-centered taxonomy of interaction modalities and devices
JP7207468B2 (ja) 出力制御装置、出力制御方法およびプログラム
US20210106290A1 (en) Systems and methods for the determination of arousal states, calibrated communication signals and monitoring arousal states
JP2015170174A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2017182495A (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2018034113A1 (ja) コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供システム用のプログラム
JP2018089091A (ja) 心理状態判定装置、心理状態判定方法、及び心理状態判定プログラム
KR102191966B1 (ko) 디스플레이 장치 제어 방법 및 장치
US11276282B2 (en) Information processing apparatus, information processing method, and recording medium
KR20180054400A (ko) 초음파를 이용한 콘텐츠 기반 체감각 제공 전자 장치, 웨어러블 디바이스, 및 방법
US11149243B2 (en) Electronic device, wearable device, and method of providing content-based somatic senses using ultrasound
CN115443462A (zh) 控制装置和控制方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210816

R151 Written notification of patent or utility model registration

Ref document number: 6939797

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151