JP6927637B2 - 情報処理装置、情報処理方法、プログラム、及び情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム、及び情報処理システム Download PDF

Info

Publication number
JP6927637B2
JP6927637B2 JP2018539531A JP2018539531A JP6927637B2 JP 6927637 B2 JP6927637 B2 JP 6927637B2 JP 2018539531 A JP2018539531 A JP 2018539531A JP 2018539531 A JP2018539531 A JP 2018539531A JP 6927637 B2 JP6927637 B2 JP 6927637B2
Authority
JP
Japan
Prior art keywords
information
information processing
processing device
waveform
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018539531A
Other languages
English (en)
Other versions
JPWO2018051606A1 (ja
Inventor
竹中 幹雄
幹雄 竹中
亮介 村上
亮介 村上
秀晃 林
秀晃 林
小野 彰
彰 小野
諒 横山
諒 横山
良輔 武内
良輔 武内
成治 村松
成治 村松
美緒子 安部
美緒子 安部
和俊 大野
和俊 大野
成瀬 哲也
哲也 成瀬
高橋 哲也
哲也 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Mobile Communications Inc
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Mobile Communications Inc, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018051606A1 publication Critical patent/JPWO2018051606A1/ja
Application granted granted Critical
Publication of JP6927637B2 publication Critical patent/JP6927637B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/36Arrangements for testing, measuring or monitoring the electrical condition of accumulators or electric batteries, e.g. capacity or state of charge [SoC]
    • G01R31/3644Constructional arrangements
    • G01R31/3646Constructional arrangements for indicating electrical conditions or variables, e.g. visual or audible indicators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/322Aspects of commerce using mobile devices [M-devices]
    • G06Q20/3221Access to banking information through M-devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/36Payment architectures, schemes or protocols characterised by the use of specific devices or networks using electronic wallets or electronic money safes
    • G06Q20/367Payment architectures, schemes or protocols characterised by the use of specific devices or networks using electronic wallets or electronic money safes involving electronic purses or money safes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Accounting & Taxation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Description

本技術は、ユーザに情報を提示可能な情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。
従来から、人の力覚を通じて人に情報を伝達するハプティク(力覚)テクノロジーが提案されている(例えば、特許文献1参照。)。
特開2011−159280号公報
このようにユーザが直感的に情報を把握することを可能とする技術が求められている。
以上のような事情に鑑み、本技術の目的は、ユーザが直感的に情報を把握することを可能とする情報処理装置、情報処理方法、プログラム、及び情報処理システムを提供することにある。
上記目的を達成するため、本技術の一実施形態に係る情報処理装置は、情報取得部と、信号出力部とを具備する。
前記情報取得部は、電子的な情報を取得する。
前記信号出力部は、前記取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号を出力する。
この情報処理装置では、電子的な情報を物体に対する触覚に置換して提示することが可能となる。これによりユーザは提示された触覚を通じて、直感的に情報を把握することが可能となる。
前記物体に対する触覚は、前記取得された電子的な情報に対応する物体を収容する容器に対する触覚を含んでもよい。
これにより容器に収容された物体に応じた触覚を通じて、直感的に情報を把握することが可能となる。
前記電子的な情報は、情報の種類と量を含んでもよい。この場合、前記物体に対する触覚は、前記量に対応する量の前記情報の種類に対応する物体を収容する前記容器を動かしたときの触覚を含んでもよい。
これにより提示された情報の種類とその量を、直感的に把握することが可能となる。
前記情報処理装置は、さらに、前記情報処理装置の動きを検出する動き検出部を具備してもよい。この場合、前記信号出力部は、前記検出された前記情報処理装置の動きに基づいて、前記容器を動かしたときの触覚を提示するための前記第1の触覚信号を出力してもよい。
これにより、情報処理装置を容器に見立てて動かしたときの触覚を提示することが可能となり、直感的な情報の把握が可能となる。
前記電子的な情報は、バッテリーの残量を含んでもよい。この場合、前記物体に対する触覚は、前記バッテリーの残量に応じた量の液体を収容する前記容器を動かしたときの触覚を含んでもよい。
これにより直感的にバッテリーの残量を把握することが可能となる。
前記電子的な情報は、電子マネーの残高を含んでもよい。この場合、前記物体に対する触覚は、前記電子マネーの残高に応じた量の硬貨を収容する前記容器を動かしたときの触覚を含んでもよい。
これにより直感的に電子マネーの残高を把握することが可能となる。
前記信号出力部は、前記第1の触覚情報として、前記物体に対する触覚を振動により提示する触覚提示部を駆動する駆動信号を出力してもよい。
振動により、置換された物体に対する触覚を容易に提示することが可能である。
前記情報取得部は、前記情報処理装置の所定の動きが検出されると、前記電子的な情報を取得してもよい。
これによりユーザは情報処理装置を動かすことで、情報の提示を実行させることが可能となり、容易に情報を把握することが可能となる。
前記情報処理装置は、さらに、前記検出された情報処理装置の動きに基づいて、前記情報取得部により取得される前記電子的な情報の種類を選択する情報選択部を具備してもよい。
これによりユーザは情報処理装置を動かすことで、把握したい情報を選択することが可能となる。
前記信号出力部は、前記情報選択部により選択された前記電子的な情報の種類に応じた触覚を提示するための第2の触覚信号を出力してもよい。
これによりユーザは触覚を通じて、提示される情報を把握することが可能となる。
本技術の一実施形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、電子的な情報を取得することを含む。
前記取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号が出力される。
本技術の一実施形態に係るプログラムは、コンピュータシステムに、以下のステップを実行させる。
電子的な情報を取得するステップ。
前記取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号を出力するステップ。
本技術の一実施形態に係る情報処理システムは、第1の情報処理装置と、第2の情報処理装置とを具備する。
前記第1の情報処理装置は、電子的な情報を取得する。
前記第2の情報処理装置は、前記第1の情報処理装置と通信可能であり、前記第1の情報処理装置により取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号を出力する。
以上のように、本技術によれば、ユーザが直感的に情報を把握することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第1の実施形態の情報処理装置の外観を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。 振動発生部の電気的な構成例を示す図である。 情報処理装置の機能的な構成例を示すブロック図である。 情報処理装置の処理フローを示すフローチャートである。 バッテリーの残量及び電子マネーの残高に対応して提示される触覚を説明するための図である。 第2の実施形態における、情報処理装置の動きの異なる組み合わせと、提示する情報の種類との関係を模式的に示す表である。 情報処理装置の機能的な構成例を示すブロック図である。 情報処理装置の処理フローを示すフローチャートである。 第3の実施形態において波形決定部が波形を生成するための電気的な構成を示す図である。 第4の実施形態の情報処理システムの機能的な構成例を示す図である。 第5の実施形態の情報処理システムの機能的な構成例を示す図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[情報処理装置の構成]
図1は、本技術の第1の実施形態に係る情報処理装置の外観を示す図である。図2は、情報処理装置のハードウェア構成例を示すブロック図である。
情報処理装置1は、典型的には、片手で把持することが想定される、スマートフォン等のハンドヘルド型の携帯情報端末である。その他、スマートフォンに比べて大型のタブレット型の携帯情報端末や、スマートウォッチ等のウェアラブル型の携帯情報端末等が用いられてもよい。その他、任意のコンピュータに対して、本技術は適用可能である。
図1に示すように、情報処理装置1は、ハウジング2と、タッチパネル3とを有する。例えばユーザは、ハウジング2を把持しながら、タッチパネル3を操作する。またユーザは、ハウジング2を把持した状態で、情報処理装置1を、鉛直成分を含む方向(Z方向)に沿って持ち上げたり、水平成分を含む方向(X方向)に沿って振ったり(shake)することが可能である。もちろん他の動きも可能である。
図2に示すように、情報処理装置1は、制御部11と、制御部11とバス10を介して接続された表示部12、通信制御部13、センサ部14、操作部15、記憶部16及び振動発生部17とを有する。これらはハウジング2に格納される。
制御部11は、CPU(Central Processing Unit)等を含む。制御部11のCPU(Central Processing Unit)は、コンピュータ読み取り可能な非一過性の記憶媒体の一例であるROM(Read Only Memory)に記録されたプログラムをRAM(Random Access Memory)にロードして実行する。
記憶部16は、ROM(Read Only Memory)と、RAMと、HDD(Hard Disk Drive)などの大容量の記憶装置とを含む。ROMは、制御部11が実行するプログラムやデータなどを固定的に格納する。RAMには、ROMに格納されたプログラムがロードされる。
記憶部16には、本技術に係る情報処理方法である情報提示方法を実行するための種々の情報が記憶される。例えば記憶部16には、ユーザに提示する情報に対応して設定された「物体に対する触覚」の情報が記憶される。「物体に対する触覚」とは、現実の世界で物体に接触したときや、物体を動かしたとき等に想定される触覚のことであり、当該触覚を提示するための情報が記憶される。
本実施形態では、振動発生部17により、ハウジング2及び/又はタッチパネル3の少なくとも一部(接触対象物)を振動させることで、ユーザに触覚が提示される。発生させる振動の周波数や振幅(強さ)等を適宜制御することで、物体に対する種々の触覚を再現して提示することが可能である。「物体に対する触覚」の情報は、振動の周波数や振幅(強さ)を含む波形の情報や、波形の変化等の情報を含む。
表示部12は、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)ディスプレイ等を含む。表示部12は、制御部11から受け取った情報に基づいて演算処理を行い、生成した画像信号を画面に表示する。
操作部15は、表示部12に重畳されたタッチパネル3、及び各種の物理スイッチ等を含む。操作部15は、ユーザからの操作(タッチパネル3のタップ操作等)を検出して制御部11に出力する。
通信制御部13は、インターネット等のネットワークNに接続するためのインタフェースである。例えばWiFi等の無線LANモジュールが用いられる。なおBluetooth(登録商標)等の近距離無線通信用の通信モジュールが備えられてもよい。
センサ部14は、加速度センサ、ジャイロセンサ及びマイクと、1以上のアンプとを含む。加速度センサは、情報処理装置1の移動の方向や速度を検出する。ジャイロセンサは、情報処理装置1の角度(姿勢)、角速度及び角加速度を検出する。マイクは、情報処理装置1の振動を検出する。アンプは、加速度センサ、ジャイロセンサ及びマイクが取得した情報を増幅し、制御部11に出力する。他のデバイスが用いられてもよい。
図3は、本実施形態に係る振動発生部の電気的な構成例を示す図である。振動発生部17は、パワーアンプと、高電圧アンプと、圧電アクチュエータと、フォースリアクタ(登録商標)とを含む。パワーアンプは、信号供給部105(図4参照)から入力された駆動信号を増幅し、高電圧アンプ及びフォースリアクタに出力する。
高電圧アンプは、パワーアンプから入力された駆動信号を増幅し、圧電アクチュエータに出力する。圧電アクチュエータ及びフォースリアクタは、入力された電気エネルギーを機械エネルギーに変換し、振動を発生する。これによりハウジング2等を振動させることが可能となり、提示する情報に対応した触覚を提示することが可能となる。なお情報処理装置1の様々な部位を様々な波形で自在に振動させるために、圧電アクチュエータやフォースリアクタが、複数の位置に配置されてもよい。
振動発生部17の構成は限定されず、任意に設計されてよい。例えば振動発生部17として、WO/2015/151380に開示されている力覚提示デバイスを用いることができる。その他、任意の構成を有するアクチュエータが用いられてよい。なお振動発生部17は、本実施形態において、触覚提示部に相当する。
図4は、情報処理装置の機能的な構成例を示すブロック図である。
情報処理装置1の制御部11は、コンピュータ読み取り可能な非一過性の記憶媒体の一例であるROMに記録されたプログラムをRAMにロードして実行することにより、動き検出部101、情報選択部102、情報取得部103、波形決定部104及び信号供給部105として機能する。
動き検出部101は、センサ部14の検出結果に基づいて、情報処理装置1の動きを検出する。
情報選択部102は、情報処理装置1の動きに基づいて、提示する情報の種類を選択する。すなわち情報取得部103により取得される電子的な情報の種類が選択される。
情報取得部103は、提示する電子的な情報を取得する。
波形決定部104は、電子的な情報に対応して設定された「物体に対する触覚」を提示するための振動の波形を決定する。
信号供給部105は、波形決定部104により決定された波形でハウジング2等を振動させるための駆動信号を、振動発生部17に供給する。信号供給部105は、本実施形態において、信号出力部に相当する。また供給される駆動信号は、「物体に対する触覚」を提示するための第1の触覚信号に相当する。
[情報処理装置の処理フロー]
図5は、情報処理装置の処理フローを示すフローチャートである。
動き検出部101により、センサ部14の少なくとも加速度センサが検出した情報処理装置1の移動の方向や速度をもとに、情報処理装置1の動き(motion)が監視される(ステップ101)。情報処理装置1の「動き」は、移動の方向や速度を少なくとも含む。情報処理装置1の動きが検出された場合には(ステップ101のYes)、情報処理装置1の動きの情報、すなわち移動の方向や速度の情報が、情報選択部102に出力される。
情報選択部102により、移動の方向や速度の情報に基づいて、提示する情報の種類が選択される。本実施形態では、情報処理装置1の異なる動きに応じて、提示する情報の種類が選択される。
図5に示す例では、情報処理装置1の鉛直成分を含む方向(図1のZ方向)の移動の距離ΔZが、所定の閾値より大きい場合(ステップS102のYES)、提示する情報の種類として、バッテリーの残量が選択される。なお「鉛直成分を含む方向の移動の距離が所定の閾値より大きい」とは、ユーザが情報処理装置1を持ち上げたことを示す。
移動距離ΔZが所定の閾値以下の場合(ステップS102のNO)、すなわち情報処理装置1が持ち上げられていない場合には、ステップ103に進む。そして情報処理装置1の水平成分を含む方向(図1のX方向)の移動の距離ΔXが、所定の閾値より大きいか否かが判定される(ステップ103)。「水平成分を含む方向の移動の距離が所定の閾値より大きい」とは、ユーザが情報処理装置1を振ったことを示す。
移動距離ΔXが所定の閾値以上の場合(ステップS103のYES)、すなわち情報処理装置1が振られた場合には、提示する情報の種類として、電子マネーの残高が選択される。情報選択部102は、提示する情報の種類(バッテリーの残量又は電子マネーの残高)を、情報取得部103に通知する。
情報取得部103は、情報選択部102からの通知をもとに、電子的な情報を取得する。バッテリーの残量が通知された場合には(ステップS102のYES)、情報取得部103は、記憶部16から、現在のバッテリーの残量(何%)を示す電子的な情報を読み出す(ステップS104)。電子マネーの残高が通知された場合には(ステップS103のYES)、情報取得部103は、記憶部16から、現在の電子マネーの残高(何円)を示す電子的な情報を読み出す(ステップS105)。読み出された情報(バッテリーの残量又は電子マネーの残高)は、波形決定部104に出力される。
波形決定部104は、情報取得部103から、電子的な情報(バッテリーの残量又は電子マネーの残高)を取得する。波形決定部104は、各々の電子的な情報に対応して設定された「物体に対する触覚」を提示するための波形を決定する(ステップS106、S107)。具体的には、バッテリーの残量や電子マネーの残高に対応して記憶された波形情報が、記憶部16から読み出される。
図6は、バッテリーの残量及び電子マネーの残高に対応して提示される触覚を説明するための図である。電子的な情報(バッテリーの残量又は電子マネーの残高)は、人が触ることができない。人が触ることができない電子的な情報、それも量を示す情報を、例えば力覚的(ハプティク)な方法で、触覚を通じて、直感的に認識可能にユーザに提示することは難しい。そこで本実施形態では、人が触ることができない電子的な情報を、現実の物体に対する触覚に仮想的に置換する。置換される「物体に対する触覚」は、ユーザが日常的に触れる機会が多い物体から想定されるものがよい。
本実施形態では、電子的な情報に含まれる情報の種類に応じた物体が、電子的な情報に含まれる量に対応する量だけ収容された容器に対する触覚が、「物体に対する触覚」として用いられる。当該容器を動かしたときに得られると想定される触覚が、振動により提示される。
図6Aに示すように、バッテリーの残量に対応する「物体に対する触覚」としては、バッテリーの残量に対応する量の液体31を収容する容器30を動かしたときの触覚が提示される。液体31を収容する容器30としては、例えば水が収容されたプラスチックボトル等が想定されるが、これに限定される訳ではない。
液体31を入れた容器30を手に持って動かすと、手の動きに伴い容器30内の液体31の揺れを感じることは、誰しも経験したことがあるはずである。そして、液体31の量が少ないときと多いときで、容器30内の液体が揺れるとき、液体31が容器30の内壁に当たったときの力覚(触覚)が異なることは、誰しも経験したことがあるはずである。
言い換えれば、人は、たとえ容器30内の液体31を目視しなくても、容器30を手に持って動かし、容器30内の液体31が揺れることに伴うアナログ的な振動を力覚的に感じることで、容器30内の液体31のアナログ的な量を直感的に理解することができる。これは、液体31の量が少ないときと多いときで、容器30内の液体31が揺れるとき、液体31が容器30の内壁に当たって生じる振動の波形が異なるためである。
本実施形態では、バッテリーの残量に応じた量の液体31を同一の容器30内に入れ、その容器30を同じように動かしたときの、容器30内での液体31の運動を表現する波形を予めシミュレートする。「バッテリーの残量に応じた量の液体」とは、バッテリーの残量が少なければ液体31の量も少なく、バッテリーの残量が多ければ液体31の量も多くなるよう、バッテリーの残量と液体31の量に相関(例えば、比例)があることを意味する。
シミュレーションの結果得られた波形情報は、予め記憶部16に格納しておく。具体的には、複数のバッテリーの残量に、シミュレーションの結果得られた複数の波形情報を、互いに関連付けて記憶部16に格納しておく。波形決定部104は、情報取得部103から取得したバッテリーの残量に関連付けられた波形情報を、記憶部16から読み出す(ステップS106)。
図6Bに示すように、電子マネーの残高に対応する「物体に対する触覚」としては、電子マネーの残高に対応する量の硬貨(coins)41を収容する容器40を動かしたときの触覚が提示される。硬貨41を収容する容器40としては、貯金箱やガラス瓶等が想定されるが、これに限定される訳ではない。
硬貨41を入れた容器40を手に持って動かすと、手の動きに伴い容器40内の硬貨41の移動を感じることは、誰しも経験したことがあるはずである。そして、硬貨41の量が少ないときと多いときで、容器40内の硬貨41が移動するとき、硬貨41が容器40の内壁に当たったときの力覚(触覚)が異なることは、誰しも経験したことがあるはずである。
言い換えれば、人は、たとえ容器40内の硬貨41を目視しなくても、容器40を手に持って動かし、容器40内の硬貨41が移動することに伴うアナログ的な振動を力覚的に感じることで、容器40内の硬貨41のアナログ的な量を直感的に理解することができる。これは、硬貨41の量が少ないときと多いときで、容器40内の硬貨41が移動するとき、硬貨41が容器40の内壁に当たって生じる振動の波形が異なるためである。
本実施形態では、電子マネーの残高に応じた量の硬貨41を同一の容器40内に入れ、その容器40を同じように動かしたときの、容器40内での硬貨41の運動を表現する波形を予めシミュレートする。「電子マネーの残高に応じた量の硬貨」とは、電子マネーの残高が少なければ硬貨41の量(枚数)も少なく、電子マネーの残高が多ければ硬貨41の量(枚数)も多くなるよう、電子マネーの残高と硬貨41の量に相関(例えば、比例)があることを意味する。
シミュレーションの結果得られた波形情報は、予め記憶部16に格納しておく。具体的には、複数の電子マネーの残高に、シミュレーションの結果得られた複数の波形情報を、互いに関連付けて記憶部16に格納しておく。波形決定部104は、情報取得部103から取得した電子マネーの残高に関連付けられた波形情報を、記憶部16から読み出す(ステップS107)。
波形決定部104は、記憶部16から読み出した波形情報を、信号供給部105に供給する。信号供給部105は、波形決定部104から、波形情報を取得する。信号供給部105は、振動発生部17に、接触対象物をこの波形で振動させるための駆動信号を供給する(ステップS108、S109)。
情報処理装置1が持ち上げられもせず(ステップS102のNO)、振られもしない(ステップS103のNO)が、電源がオンであれば(ステップS110のYES)、動きを検出するまでスタンバイする(ステップS101のNO)。
以上、本実施形態に係る情報処理装置1では、人が触ることができない電子的な情報を「物体に対する触覚」に置換して提示することが可能となる。例えば情報処理装置1を動かすときに得られる液体31の移動に応じた触覚を通じて、バッテリーの残量を直感的に把握することが可能となる。また情報処理装置1を動かすときに得られる硬貨41の移動に応じた触覚を通じて、電子マネーの残高を直感的に把握することが可能となる。
電子的な情報は、人が触ることができない。人が触ることができない電子的な情報、それも量を示す情報を、例えば力覚的(ハプティク)な方法で、触覚を通じて、直感的に認識可能に人に提示することは難しい。そこで本実施形態によれば、人が触ることができない電子的な情報が、人が力覚的に認識することができ、且つ、人が日常的に触る機会が多いと想定される「物体に対する触覚」に仮想的に置換される。
本実施形態によれば、人が触ることができない電子的な情報(バッテリーの残量、電子マネーの残高)が、物体(液体、硬貨)を容器に入れて容器を動かしたときの触覚に置換される。物体を入れた容器を手に持って動かすと、手の動きに伴い容器内の物体の揺れを感じることは、誰しも経験したことがあるはずである。そして、物体の量が少ないときと多いときで、容器内の物体が揺れるとき、物体が容器の内壁に当たったときの力覚が異なることは、誰しも経験したことがあるはずである。
言い換えれば、人は、たとえ容器内の物体を目視しなくても、容器を手に持って動かし、容器内の物体が揺れることに伴うアナログ的な振動を力覚的に感じることで、容器内の物体のアナログ的な量を直感的に理解することができる。これは、物体の量が少ないときと多いときで、容器内の物体が揺れるとき、物体が容器の内壁に当たって生じる振動の波形が異なるためである。
そこで、本実施形態では、量を示す電子的な情報に応じた量の物体を同一の容器内に入れ、その容器を同じように動かしたときの、容器内での物体の運動を表現する波形を予めシミュレートする。「量を示す電子的な情報に応じた量の物体」とは、電子的な情報が示す量が少なければ物体の量も少なく、電子的な情報が示す量が多ければ物体の量も多くなるよう、電子的な情報が示す量と物体の量に相関(例えば、比例)があることを意味する。
なお図6に示す置換は、電子的な情報が物体の運動に仮想的に置換されたとも言える。すなわち人が触ることができない電子的な情報が、人が触ることができる物体の運動に仮想的に置換されたとも言える。例えばバッテリーの残量は、液体31を容器30に入れて容器30を動かしたときの、容器30内での液体31の運動に仮想的に置換される。また電子マネーの残高は、硬貨41を容器40に入れて容器40を動かしたときの、容器40内での硬貨41の運動に仮想的に置換することも可能である。置換された運動を表現する波形を生成し、ハウジング2等を振動させる。これによりユーザは、アナログ的な振動を力覚的に感じることで、電子的な情報(量を示す情報)を直感的に理解することができる。
また、本実施形態によれば、情報選択部102は、情報処理装置1の異なる動きに応じて、提示する情報の種類を選択する。より具体的には、情報選択部102は、ユーザが情報処理装置1を持ち上げたとき、バッテリーの残量を選択し、ユーザが情報処理装置1を振ったとき、電子マネーの残高を選択する。これにより、ユーザにとっては、提示する情報を選択するために、画面を見てタッチパネル3を操作する等の必要がない。このため、例えば、視力に不安のあるユーザであっても、何ら問題無く提示する情報の種類を選択することができる。また、スマートフォンの画面を見ながら歩く等の危険も回避することができる。
さらに、情報の種類の選択と、情報の提示とが、ユーザの動作(「振る」等)及びハプティクフィードバックで完結する。このため、画面を見てタッチパネル3を操作する等の必要が一切無く、ユーザにとっては直感的且つ瞬間的に、情報の種類を選択し、情報を認識することができる。
<第2の実施形態>
以下の説明において、既に説明した構成及び動作等と同様の構成及び動作等は同一又は同様の参照符号を付して説明を省略し、異なる点を中心に説明する。
第1の実施形態と第2の実施形態とで異なる点は、情報選択部102が提示する情報の種類を選択する方法である。第1の実施形態では、情報選択部102は、情報処理装置1の異なる動き(持ち上げる、振る)に応じて、提示する情報の種類を選択した。これに対して、第2の実施形態では、情報選択部102は、情報処理装置1の動き(持ち上げる、振る等)の異なる組み合わせに応じて、提示する情報の種類を選択する。
図7は、第2の実施形態における、情報処理装置の動きの異なる組み合わせと、提示する情報の種類との関係を模式的に示す表である。
情報処理装置の動きの異なる組み合わせと、提示する情報の種類との関係を示す表(ライブラリ)が、記憶部16に予め格納されている。情報選択部102は、ライブラリを参照し、提示する情報の種類を選択する。
図8は、情報処理装置の機能的な構成例を示すブロック図である。図9は、情報処理装置の処理フローを示すフローチャートである。
情報選択部102は、動き検出部101から、情報処理装置1の動きの情報、即ち、移動の方向や速度の情報を取得する。情報選択部102は、情報処理装置1の動きの種類が、持ち上げる、振る、水平状態から持ち上げる、の何れであるかを判断する(ステップS201)。「持ち上げる」と「振る」の判断方法は第1の実施形態と同じである。「水平状態」は、センサ部14のジャイロセンサから取得した情報に基づき判断することができる。
情報選択部102は、記憶部16に予め格納されているライブラリを参照し、判断した動きの種類に応じた予備振動(バイブレーション)を選択する(ステップS202)。「予備振動」とは、提示する情報の種類に関連付けられた振動であり、ユーザの異なる動きの種類とともにライブラリに定義されている。本実施形態では、バッテリーの残量に対して予備振動「1回」が関連付けられ、電子マネーの残高に対して予備振動「2回」が関連付けられる。また天気(ウェザー)の降水量に対して予備振動「3回」が関連付けられる。
ユーザは、ライブラリに定義された情報を予め理解しており、予備振動の回数をもとに、提示される情報の種類を把握することが可能となる。すなわち「予備振動」は、提示する情報の種類をユーザに確認するためのハプティクフィードバックとなる。
なお本実施形態では、1回目の動作として「持ち上げる」が判断されると予備振動「1回」が選択され、「振る」が判断されると予備振動「2回」が選択される。また「水平状態から持ち上げる」が判断されると、予備振動「3回」が選択される。当該「予備振動」の回数により、自分の動きが適正に入力されたか否かを判定することも可能となる。すなわち「予備振動」を、情報選択部102が判断した動きの種類をユーザに確認するためのハプティクフィードバックとして機能させることも可能である。
情報選択部102は、選択された予備振動を行うための駆動信号を振動発生部17に供給するよう、信号供給部105に命令する。信号供給部105は、選択した予備振動を行うための駆動信号を振動発生部17に供給する(ステップS203)。振動発生部17は、駆動信号に基づき予備振動を行う。
情報選択部102は、その後一定時間内に、動き検出部101から、情報処理装置1の動きの情報を取得すると(ステップS204のYES)、動きの種類を判断する(ステップS205)。情報選択部102は、動きの種類が、ユーザが予備振動の再提示を指示する動き(例えば、「振る」以外の動き。「叩きつける」、「回転させる」等)か、提示する情報を選択するための動き(本実施形態では「振る」)か、を判断する(ステップS206)。
情報選択部102は、予備振動の再提示を指示する動きと判断すると(ステップS206のYES)、同じ回数の予備振動を行うための駆動信号を振動発生部17に供給するよう、再度、信号供給部105に命令する(ステップS203)。一方、情報選択部102は、提示する情報を選択するための動き(「振る」)と判断すると(ステップS206のNO)、他の提示情報に関連付けられた予備動作を選択する(ステップ202)。例えば前回の予備動作の回数に1加えた回数の予備動作が選択される。
これによりユーザは、予備振動の回数が、自分が望む情報の種類に関連付けられた回数で無いと判断すると(例えば、予備振動「2回」が関連付けられた「電子マネー残高」を望むが、予備振動「1回」の場合)、再び、情報処理装置1を動かして(振って)、情報の種類を選択することが可能となる。自分が望む情報の種類に関連付けられた回数の予備動作が実現するまで情報処理装置1を動かすことで、簡単に提示情報を選択することが可能となる。
情報選択部102は、ステップS201〜S206を繰り返し、動き検出部101から、情報処理装置1の動きの情報を取得しない場合(ステップS204のNO)、提示する情報の種類を決定する。すなわち、情報処理装置1の動きの検出と予備振動とを繰り返し、最後に提示した予備振動の回数に関連付けられた情報の種類が、提示する情報の種類として決定される。図7にも示すように、本実施形態では、検出した動きと予備振動との組み合わせ、及び提示する情報の種類は、以下の通りに定義されている。
(1)1回目の動き「持ち上げる」、次に、1回目の予備振動「1回」、次に、動きなしの場合、バッテリーの残量を選択。
(2)1回目の動き「持ち上げる」、次に、1回目の予備振動「1回」、次に、2回目の動き「振る」、次に、2回目の予備振動「2回」、次に、動きなしの場合、電子マネーの残高を選択。
(3)1回目の動き「振る」、次に、1回目の予備振動「2回」、次に、動きなしの場合、電子マネーの残高を選択。
(4)1回目の動き「振る」、次に、1回目の予備振動「2回」、次に、2回目の動き「振る」、次に、2回目の予備振動「3回」、次に、動きなしの場合、天気(ウェザー)の降水量を選択。
(5)1回目の動き「振る」、次に、1回目の予備振動「2回」、次に、2回目の動き「振る」、次に、2回目の予備振動「3回」、次に、3回目の動き「振る」、次に、3回目の予備振動「1回」、次に、動きなしの場合、バッテリーの残量を選択。
(6)1回目の動き「水平状態から持ち上げる」、次に、1回目の予備振動「3回」、次に、動きなしの場合、天気(ウェザー)の降水量を選択。
情報選択部102は、ステップS201〜S206を繰り返して決定した情報の種類(バッテリーの残量、電子マネーの残高、天気の降水量)を、情報取得部103に通知する。
なお予備振動により提示される触覚は、選択された電子的な種類に応じた触覚に相当する。また予備振動を実行させるために出力される駆動信号は、第2の触覚振動に相当する。
情報取得部103は、情報選択部102から、提示する情報の種類(バッテリーの残量、電子マネーの残高、天気の降水量)の通知を受ける。情報取得部103は、通知された種類の情報(電子的な情報)を取得する。天気の降水量が通知された場合、情報取得部103は、記憶部16から又はネットワークNを通じてサーバ装置(図示せず)から、所定の地域(現在地、目的地等)の所定の時間(現在又は未来)の降水量を示す電子的な情報を取得する。情報取得部103は、取得した情報(バッテリーの残量、電子マネーの残高、天気の降水量)を、波形決定部104に供給する。
波形決定部104は、情報取得部103から、電子的な情報(バッテリーの残量、天気の降水量)を取得する。波形決定部104は、情報取得部103から取得した電子的な情報に関連付けられた波形情報を、記憶部16から読み出す。波形決定部104は、記憶部16から読み出した波形情報を、信号供給部105に供給する。信号供給部105は、波形決定部104から、波形情報を取得する。信号供給部105は、振動発生部17に、接触対象物をこの波形で振動させるための駆動信号を供給する(ステップS207)。
例えば、天気の降水量情報を仮想的に置換した「物体に対する触覚」は、バッテリーの残量と同様に、降水量に応じた量の液体を容器に入れて容器を動かしたときの、容器内での液体の運動としてもよい。あるいは手の平に降水量に応じた量の水滴が落ちてくるような触覚、すなわち局所的に連続して手を押し込むような触覚が提示されてもよい。
情報選択部102は、その後一定時間内に、動き検出部101から動きの情報を取得し、再提示を指示する動き(例えば、「振る」以外の動き。「叩きつける」、「回転させる」等)と判断すると(ステップS208、YES)、駆動信号を振動発生部17に供給するよう、再度、信号供給部105に命令する(ステップS207)。一方、情報選択部102は、動き検出部101からした動きの情報が、別の種類の情報の提示を指示する動き(例えば、「振る」)と判断すると(ステップS208でYES、ステップS209でNO)、別の種類の情報を選択する(ステップS210)。例えば、バッテリーの残量を選択していた場合には、別の種類の情報として、電子マネーの残高を選択し、再度、接触対象物を振動させて、電子マネーの残高を提示する(ステップS207)。
第2の実施形態によれば、第1の実施形態で記載した効果と同様の効果が得られる。その上、情報選択部102は、情報処理装置1の動きの異なる組み合わせに応じて、電子的な情報の種類を選択することができるため、ユーザにとっては単純な動作の組み合わせで、多数の情報の種類を選択することも可能となる。
<第3の実施形態>
第1の実施形態と第3の実施形態とで異なる点は、波形決定部104が波形を決定する方法である。第1の実施形態では、波形決定部104は、波形情報を、記憶部16から読み出した。これに対して、第3の実施形態では、波形決定部104は、記憶部16から読み出した波形情報と、動き検出部101が取得する情報処理装置1の動きとをもとに、波形を生成する。
図10は、第3の実施形態において波形決定部104が波形を生成するための電気的な構成を示す図である。
センサ部14の加速度センサ(G-sensor)は、情報処理装置1の振動を検出し、加速度センサアンプに検出信号を出力する。加速度センサアンプは、加速度センサから入力された検出信号を増幅し、波形決定部104に出力する。マイク(MIC)は、情報処理装置1の振動を検出し、マイクアンプに検出信号を出力する。マイクアンプは、マイクから入力された検出信号を増幅し、波形決定部104に出力する。
波形決定部104は、電子的な情報を「物体に対する触覚」に置換したときの、当該触覚を提示するための波形情報を、記憶部16から読み出す。波形決定部104は、この波形をもとに、センサ部14から取得した情報処理装置1の振動(動き)に追従する波形を生成する。
「振動(動き)に追従する波形」を説明する。図6を参照して、バッテリーの残量情報を置換した、液体31を容器30に入れて容器30を動かしたときの、容器30内での液体31の運動を例に説明する。液体31を入れた容器30を手に持って動かすと、手の動きに伴い容器30内の液体31の揺れを感じる。容器30を強く動かすときと弱く動かすときで、容器30内の液体31が揺れるとき、液体31が容器30の内壁に当たったときの力覚が異なることは、誰しも経験したことがあるはずである。これは、容器30を強く動かすときと弱く動かすときで、容器30内の液体31が揺れるとき、液体31が容器30の内壁に当たって生じる振動の波形が異なるためである。
そこで、本実施形態では、バッテリーの残量に応じた量の液体31を同一の容器30内に入れて動かすとき、容器30の動きの量や方向に追従して、容器30内での液体31の運動を表現する波形を、シミュレートする。つまり、ユーザが情報処理装置1を手に持って動かすことを、液体31を入れた容器30を手に持って動かすことに見立て、ユーザが情報処理装置1を動かすとき、その動きに追従して、リアルタイムで波形をシミュレートする。
すなわち、例えば、ユーザが情報処理装置1を強く振ると、液体31が容器30の壁面に何度も強く当たって跳ね返るような、振幅が大きくランダムな振動波形を生成する。例えば、ユーザが情報処理装置1を弱く振ると、液体31が容器30の壁面に弱く当たってすぐに収束するような、振幅が小さくさざ波のような振動波形を生成する。
また、図10に例示する1以上の圧電アクチュエータ及び/又は1以上のフォースリアクタを、情報処理装置1の様々な部位を振動させるために、適切な1以上の位置に設置しておくことで、情報処理装置1の傾きに追従した振動も実現できる。例えば、ユーザが情報処理装置1を傾けると、傾けた方向に液体31が流れ、終端で液体31が容器の壁面に強く当たって跳ね返るような振動を実現できる。
このように、波形決定部104は、電子的な情報を「物体に対する触覚」に置換したときの波形をもとに、情報処理装置1の動きに追従する波形を生成する。このため、第3の実施形態によれば、第1の実施形態に比べて、ユーザの得る力覚が、現実の物体の運動から得る力覚(触覚)により近いものとなる。従って、ユーザは、より現実に近いアナログ的な振動を力覚的に感じることで、電子的な情報(量を示す情報)を益々直感的に理解することができる。
<第4の実施形態>
第1の実施形態は、1つの情報処理装置1が、情報処理装置1の動きを検出し、振動した。これに対して、第4の実施形態では、ネットワークを通じて相互に通信可能な2つの情報処理装置のうち、一方の情報処理装置が自装置の動きを検出すると、他方の情報処理装置が振動する。
図11は、第4の実施形態の情報処理システムの機能的な構成例を示す図である。
情報処理システムS1は、第1の情報処理装置1Aと、第2の情報処理装置1Bとを有する。第1の情報処理装置1Aと、第2の情報処理装置1Bとは、インターネット等のネットワークNを通じて相互に通信可能である。
第1の情報処理装置1Aは、少なくとも、センサ部14Aと、制御部11Aの動き検出部101A、情報選択部102A、情報取得部103A及び波形決定部104Aとを有する。
第2の情報処理装置1Bは、少なくとも、制御部11Bの信号供給部105Bと、振動発生部17Bとを有する。本構成の第2の情報処理装置1Bは、スマートフォンのような携帯情報端末ではなく、振動機能のみを主に有するデバイスでもよい。
第1の情報処理装置1Aにおいて、動き検出部101Aは、センサ部14Aの少なくとも加速度センサが検出した第1の情報処理装置1Aの移動の方向や速度をもとに、第1の情報処理装置1Aの動きを検出する。情報選択部102Aは、第1の情報処理装置1Aの異なる動きに応じて、提示する情報の種類を選択する。情報取得部103Aは、提示する電子的な情報を取得する。波形決定部104Aは、電子的な情報を「物体に対する触覚」仮想的に置換したときの、当該触覚を提示するための波形を決定する。第1の情報処理装置1Aは、波形決定部104Aが決定した波形を、ネットワークNを通じて、第2の情報処理装置1Bに供給する。
第2の情報処理装置1Bは、第1の情報処理装置1Aから、ネットワークNを通じて、波形を取得する。信号供給部105Bは、振動発生部17Bに、第1の情報処理装置1Aから取得した波形で接触対象物(情報処理装置1Bの、ハウジング及び/又はタッチパネルの少なくとも一部)を振動させるための駆動信号を供給する。振動発生部17Bは、入力された駆動信号に基づき振動し、接触対象物を振動させる。
上では、1つの第1の情報処理装置1Aと、1つの第2の情報処理装置1Bとを説明したが、これに限定されない。情報処理システムS1は、1つの第1の情報処理装置1Aと、複数の第2の情報処理装置1Bとを有してもよい。これにより、1つの第1の情報処理装置1Aが自装置の動きを検出すると、複数の第2の情報処理装置1Bが振動する。あるいは、情報処理システムS1は、複数の第1の情報処理装置1Aと、1つの第2の情報処理装置1Bとを有してもよい。これにより、複数の第1の情報処理装置1Aがそれぞれ自装置の動きを検出すると、1つの第2の情報処理装置1Bが振動する。あるいは、情報処理システムS1は、複数の第1の情報処理装置1Aと、複数の第2の情報処理装置1Bとを有してもよい(いずれも図示せず)。
<第5の実施形態>
第4の実施形態では、ネットワークを通じて相互に通信可能な2つの情報処理装置のうち、一方の情報処理装置は自装置の動きを検出可能であるが振動できず、他方の情報処理装置は振動可能であるが自装置の動きを検出できなかった。これに対して、第5の実施形態では、ネットワークを通じて相互に通信可能な2つの情報処理装置は、何れも、自装置の動きを検出可能であり、振動可能である。
図12は、第5の実施形態の情報処理システムの機能的な構成例を示す図である。
情報処理システムS2は、第1の情報処理装置2Aと、第2の情報処理装置2Bとを有する。第1の情報処理装置2Aと、第2の情報処理装置2Bとは、インターネット等のネットワークNを通じて相互に通信可能である。
第1の情報処理装置2Aと、第2の情報処理装置2Bとは、いずれも、センサ部14と、制御部11の動き検出部101、情報選択部102、情報取得部103、波形決定部104及び信号供給部105と、振動発生部17とを有する。
第1の情報処理装置2Aにおいて、動き検出部101は、センサ部14の少なくとも加速度センサが検出した第1の情報処理装置2Aの移動の方向や速度をもとに、第1の情報処理装置2Aの動きを検出する。情報選択部102は、第1の情報処理装置2Aの異なる動きに応じて、提示する情報の種類を選択する。情報取得部103は、提示する電子的な情報を取得する。波形決定部104は、電子的な情報を「物体に対する触覚」に置換したときの、当該触覚を提示するための波形を決定する。第1の情報処理装置2Aは、波形決定部104が決定した波形を、ネットワークNを通じて、第2の情報処理装置2Bに供給する。
第2の情報処理装置2Bは、第1の情報処理装置2Aから、ネットワークNを通じて、波形を取得する。信号供給部105は、振動発生部17に、第1の情報処理装置2Aから取得した波形で接触対象物(情報処理装置1Bの、ハウジング及び/又はタッチパネルの少なくとも一部)を振動させるための駆動信号を供給する。振動発生部17は、入力された駆動信号に基づき振動し、接触対象物を振動させる。
[第5の実施形態の変形例]
上では、2つの情報処理装置2A、2Bを説明したが、これに限定されない。情報処理システムS2は、3つ以上の情報処理装置を有してもよい(図示せず)。これにより、1又は複数の情報処理装置がそれぞれ自装置の動きを検出すると、他の1又は複数の情報処理装置が振動する。
上では、第1の情報処理装置2Aの波形決定部104が決定した波形を第2の情報処理装置2Bに供給した。これに替えて、第1の情報処理装置2Aの情報取得部103は、電子的な情報を第2の情報処理装置2Bに供給し、第2の情報処理装置2Bの波形決定部104が波形を決定してもよい。
<変形例>
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。
第1の実施形態では情報処理装置の特定の動き(振り)をトリガとして、第2の実施形態では情報処理装置の動きの特定の組み合わせをトリガとして、電子マネーの残高等を提示した。これに替えて、例えば、情報処理装置はGPS(Global Positioning System)センサを有し、情報処理装置が駅の改札口付近に接近したことをトリガとして、電子マネーの残高等を提示してもよい。あるいは、駅の改札口付近での情報処理装置の特定の動き(振り)をトリガとして、電子マネーの残高等を提示してもよい。あるいは、情報処理装置1の物理ボタンの押下をトリガとして、電子的な情報を提示してもよい。
各実施形態では、電子的な情報(量を示す情報。具体的には、バッテリーの残量、電子マネーの残高、天気の降水量)を「物体に対する触覚」に置換したときの、この触覚を提示するための波形で、接触対象物を振動させた。これに替えて、電子的な情報として、以下の具体例(1)乃至(5)を採用し、各例の電子的な情報を「物体に対する触覚」に置換したときの、当該触覚を提示するための波形で、接触対象物を振動させてもよい。電子的な情報は、量を示す情報でなくてもよい。
(1)時間
情報処理装置は、情報処理装置を例えば触る(振らないので、ポケット等に入れたままでもよい)動作を加速度センサで検知する。情報処理装置は、時間情報を読み出し、現在時刻に応じて設定した振動波形で振動発生部を振動させる。
(2)自宅の情報
情報処理装置は、自宅内での現在位置をホームネットワークのWiFi強度で検出し、情報処理装置の動き(振り)を加速度センサで検出する。情報処理装置は、現在位置及び動きを検出すると、ホームネットワークを通じて自宅内のサーバ装置に通知する。サーバ装置は、通知を受けると、それをトリガとして、電子的な情報(鍵の閉め忘れ、電力使用状況等)を、自装置から読み出し又はホームネットワークを通じて他機器から取得する。サーバ装置は、取得した電子的な情報に応じて設定した振動波形を決定し、ホームネットワークを通じて情報処理装置に供給する。情報処理装置は、ホームネットワークを通じてサーバ装置から取得した振動波形で振動発生部を振動させる。
あるいは、サーバ装置は、取得した電子的な情報をホームネットワークを通じて情報処理装置に供給する。情報処理装置は、ホームネットワークを通じてサーバ装置から電子的な情報を取得する。情報処理装置は、取得した電子的な情報に応じて設定した振動波形を決定し、決定した振動波形で振動発生部を振動させる。
(3)ペットの活動状況
自宅内のペットに予め加速度センサを装着しておき、自宅内のサーバ装置は、ペットに装着された加速度センサが検出したペットの動きを蓄積している。情報処理装置は、情報処理装置の動き(振り)を加速度センサで検出する。情報処理装置は、動きを検出すると、ホームネットワークを通じて自宅内のサーバ装置に通知する。サーバ装置は、通知を受けると、それをトリガとして、電子的な情報(ペットの動き)を読み出し、取得した電子的な情報に応じて設定した振動波形を決定し、ホームネットワークを通じて情報処理装置に供給する。情報処理装置は、ホームネットワークを通じてサーバ装置から取得した振動波形で振動発生部を振動させる。
あるいは、サーバ装置は、取得した電子的な情報をホームネットワークを通じて情報処理装置に供給する。情報処理装置は、ホームネットワークを通じてサーバ装置から電子的な情報を取得する。情報処理装置は、取得した電子的な情報に応じて設定した振動波形を決定し、決定した振動波形で振動発生部を振動させる。
あるいは、サーバ装置を介在させず、第4の実施形態の情報処理システムにおいて、第1の情報処理装置を、ペットに装着された小型の情報処理装置(加速度センサを含む)とし、第2の情報処理装置を、ユーザが持つ携帯情報端末としてもよい。
(4)相手(他者)の活動状況
相手(他者)は、ウェアラブル端末(脈拍センサを含む)を装着している。ユーザは、情報処理装置を有する。情報処理装置は、情報処理装置の動き(振り)を加速度センサで検出する。情報処理装置は、動きを検出すると、ネットワークを通じてウェアラブル端末に通知する。ウェアラブル端末は、通知を受けると、電子的な情報(脈拍の記録データ)を、ネットワークを通じて情報処理装置に供給する。情報処理装置は、ネットワークを通じて、脈拍の記録データを取得する。情報処理装置は、取得した電子的な情報に応じて設定した振動波形を決定し、決定した振動波形で振動発生部を振動させる。本例によれば、例えば、高齢者にウェアラブル端末(脈拍センサを含む)を装着し、別居する家族、介護関係者、医療関係者等が情報処理装置を保有しておけば、情報処理装置のユーザは、高齢者の活動状況、健康状況を知ることができる。
あるいは、サーバ装置(自宅内又はインターネット内)を介在させてもよい。すなわち、ウェアラブル端末が検出した電子的な情報(脈拍の記録データ)をサーバ装置に蓄積し、サーバ装置が、電子的な情報(脈拍の記録データ)を、ネットワークを通じて情報処理装置に供給してもよい。あるいは、サーバ装置が、電子的な情報(脈拍の記録データ)をもとに振動波形を決定し、ネットワークを通じて情報処理装置に供給してもよい。
(5)冷蔵庫の中身(食材の残り)の情報
ユーザは、情報処理装置(GPSセンサを含む)を保有し、食品売り場等に居る。情報処理装置は、現在位置をGPSセンサで検出し、情報処理装置の動き(振り)を加速度センサで検出する。情報処理装置は、検出した現在位置の売り場情報をインターネットを通じて取得する。情報処理装置は、売り場情報として「食品売り場」を取得すると、自宅内の冷蔵庫に搭載された情報処理装置にインターネットを通じて、動きを検出したことを通知する。冷蔵庫に搭載された情報処理装置は、冷蔵庫内の中身(食材の残り)の重量を計測し、電子的な情報(食材の残りの重量)を取得する。冷蔵庫に搭載された情報処理装置は、取得した電子的な情報(食材の残りの重量)を、インターネットを通じてユーザが保有する情報処理装置に供給する。ユーザが保有する情報処理装置は、取得した電子的な情報に応じて設定した振動波形を決定し、決定した振動波形で振動発生部を振動させる。
あるいは、サーバ装置(自宅内又はインターネット内)を介在させてもよい。すなわち、冷蔵庫に搭載された情報処理装置が検出した電子的な情報(食材の残りの重量)をサーバ装置に蓄積し、サーバ装置が、電子的な情報(食材の残りの重量)を、ネットワークを通じてユーザが保有する情報処理装置に供給してもよい。あるいは、サーバ装置が、電子的な情報(食材の残りの重量)をもとに振動波形を決定し、ネットワークを通じてユーザが保有する情報処理装置に供給してもよい。
電子的な情報に対応する「物体に対する触覚」の種類は限定されない。例えば情報処理装置の温度、形状、及び硬さ等を変化させることで、触覚を提示することも可能である。例えば気温等の温度に関する情報に応じて、情報処理装置の温度が制御されてもよい。あるいはユーザが立っている地点の地形や地質等に応じて、情報処理装置の形状や硬さが制御されてもよい。
温度制御は、例えば情報処理装置にヒータ等の熱源を備えること制御可能である。あるいはファン装置等を含めた冷却機構の動作を制御することでも、温度を制御することが可能である。
情報処理装置の形状の制御は、例えば制御装置の筐体部等に、形状記憶合金やワイヤ等を設けること可能である。制御装置の硬さの制御は、例えば内部に構成された支持機構を制御することで実行可能である。あるいは硬度を制御可能な材料が用いられてもよい。
このように、本技術により提示される「触覚」は、ハプティク(力覚)フィードバック(haptic feedback)のみならず、対象物から感じられる熱(温度)、認識される形状や硬さ等を含む(形状や硬さは「力覚」に基づく感覚ともいえる)。すなわち本技術に係る「触覚」は、接触を介して感じられる種々の感覚を含む。また擬似触覚、仮想触覚、錯触覚等のように、錯覚的に感じられる触覚も含まれる。
上記ではユーザにより操作される携帯端末等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザが操作するコンピュータとネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザが操作するコンピュータと、他のコンピュータとが連動して、本技術に係る情報処理システムが構築されてもよい。
すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば電子的な情報の取得、及び第1の触覚信号の出力が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
なお、本技術は以下のような構成もとることができる。
(1)電子的な情報を取得する情報取得部と、
前記取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号を出力する信号出力部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記物体に対する触覚は、前記取得された電子的な情報に対応する物体を収容する容器に対する触覚を含む
情報処理装置。
(3)(2)に記載の情報処理装置であって、
前記電子的な情報は、情報の種類と量を含み、
前記物体に対する触覚は、前記量に対応する量の前記情報の種類に対応する物体を収容する前記容器を動かしたときの触覚を含む
情報処理装置。
(4)(3)に記載の情報処理装置であって、さらに、
前記情報処理装置の動きを検出する動き検出部を具備し、
前記信号出力部は、前記検出された前記情報処理装置の動きに基づいて、前記容器を動かしたときの触覚を提示するための前記第1の触覚信号を出力する
情報処理装置。
(5)(3)又は(4)に記載の情報処理装置であって、
前記電子的な情報は、バッテリーの残量を含み、
前記物体に対する触覚は、前記バッテリーの残量に応じた量の液体を収容する前記容器を動かしたときの触覚を含む
情報処理装置。
(6)(3)から(5)のうちいずれか1つに記載の情報処理装置であって、
前記電子的な情報は、電子マネーの残高を含み、
前記物体に対する触覚は、前記電子マネーの残高に応じた量の硬貨を収容する前記容器を動かしたときの触覚を含む
情報処理装置。
(7)(1)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記信号出力部は、前記第1の触覚情報として、前記物体に対する触覚を振動により提示する触覚提示部を駆動する駆動信号を出力する
情報処理装置。
(8)(1)から(7)のうちいずれか1つに記載の情報処理装置であって、さらに、
前記情報処理装置の動きを検出する動き検出部を具備し、
前記情報取得部は、前記情報処理装置の所定の動きが検出されると、前記電子的な情報を取得する
情報処理装置。
(9)(8)に記載の情報処理装置であって、さらに、
前記検出された情報処理装置の動きに基づいて、前記情報取得部により取得される前記電子的な情報の種類を選択する情報選択部を具備する
情報処理装置。
(10)(9)に記載の情報処理装置であって、
前記信号出力部は、前記情報選択部により選択された前記電子的な情報の種類に応じた触覚を提示するための第2の触覚信号を出力する
情報処理装置。
1…情報処理装置
30、40…容器
11…制御部
14…センサ部
16…記憶部
17…振動発生部
31…液体
41…硬貨
101…動き検出部
102…情報選択部
103…情報取得部
104…波形決定部
105…信号供給部

Claims (11)

  1. 電子的な情報を取得する情報取得部と、
    情報の種類と量に対応して、前記量に対応する量の前記情報の種類に対応する物体を収容する容器を動かしたときの、前記容器内での前記物体の運動する波形を示す波形情報を記憶する記憶部と、
    前記記憶部から、取得された前記電子的な情報に含まれる情報の種類と量に対応して記憶された波形情報を読み出す波形決定部と、
    触覚を振動により提示する触覚提示部と、
    前記触覚提示部に、読み出された前記波形情報で接触対象物を振動させるための駆動信号を供給する信号供給部
    を具備する情報処理装置。
  2. 請求項に記載の情報処理装置であって、
    前記記憶部が記憶する前記波形情報は、異なる量の異なる物体を収容する前記容器を動かしたときの、前記容器内での前記物体の運動する波形をシミュレートした結果得られた波形情報である
    情報処理装置。
  3. 請求項に記載の情報処理装置であって、さらに、
    前記情報処理装置の動きを検出する動き検出部を具備し、
    前記信号供給部は、前記検出された前記情報処理装置の動きに基づいて、前記容器を動かしたときの触覚を提示するための前記駆動信号を、前記触覚提示部に供給する
    情報処理装置。
  4. 請求項に記載の情報処理装置であって、
    前記電子的な情報は、バッテリーの残量を含み、
    前記物体に対する触覚は、前記バッテリーの残量に応じた量の液体を収容する前記容器を動かしたときの触覚を含む
    情報処理装置。
  5. 請求項に記載の情報処理装置であって、
    前記電子的な情報は、電子マネーの残高を含み、
    前記物体に対する触覚は、前記電子マネーの残高に応じた量の硬貨を収容する前記容器を動かしたときの触覚を含む
    情報処理装置。
  6. 請求項1に記載の情報処理装置であって、さらに、
    前記情報処理装置の動きを検出する動き検出部を具備し、
    前記情報取得部は、前記情報処理装置の所定の動きが検出されると、前記電子的な情報を取得する
    情報処理装置。
  7. 請求項に記載の情報処理装置であって、さらに、
    前記検出された情報処理装置の動きに基づいて、前記情報取得部により取得される前記電子的な情報の種類を選択する情報選択部を具備する
    情報処理装置。
  8. 請求項に記載の情報処理装置であって、
    前記信号供給部は、前記情報選択部により選択された前記電子的な情報の種類に応じた触覚を提示するための触覚信号を、前記触覚提示部に供給する
    情報処理装置。
  9. 電子的な情報を取得し、
    情報の種類と量に対応して、前記量に対応する量の前記情報の種類に対応する物体を収容する容器を動かしたときの、前記容器内での前記物体の運動する波形を示す波形情報を記憶する記憶部から、取得された前記電子的な情報に含まれる情報の種類と量に対応して記憶された波形情報を読み出し、
    触覚を振動により提示する触覚提示部に、読み出された前記波形情報で接触対象物を振動させるための駆動信号を供給する
    ことをコンピュータシステムが実行する情報処理方法。
  10. 電子的な情報を取得するステップと、
    情報の種類と量に対応して、前記量に対応する量の前記情報の種類に対応する物体を収容する容器を動かしたときの、前記容器内での前記物体の運動する波形を示す波形情報を記憶する記憶部から、取得された前記電子的な情報に含まれる情報の種類と量に対応して記憶された波形情報を読み出すステップと、
    触覚を振動により提示する触覚提示部に、読み出された前記波形情報で接触対象物を振動させるための駆動信号を供給するステップと
    をコンピュータシステムに実行させるプログラム。
  11. 電子的な情報を取得する情報取得部と、
    触覚を振動により提示する触覚提示部と
    を有する第1の情報処理装置と、
    情報の種類と量に対応して、前記量に対応する量の前記情報の種類に対応する物体を収容する容器を動かしたときの、前記容器内での前記物体の運動する波形を示す波形情報を記憶する記憶部と、
    前記記憶部から、取得された前記電子的な情報に含まれる情報の種類と量に対応して記憶された波形情報を読み出す波形決定部と、
    前記触覚提示部に、読み出された前記波形情報で接触対象物を振動させるための駆動信号を供給する信号供給部と
    を有する第2の情報処理装置と
    を具備する情報処理システム。
JP2018539531A 2016-09-14 2017-06-27 情報処理装置、情報処理方法、プログラム、及び情報処理システム Active JP6927637B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016179144 2016-09-14
JP2016179144 2016-09-14
PCT/JP2017/023472 WO2018051606A1 (ja) 2016-09-14 2017-06-27 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2018051606A1 JPWO2018051606A1 (ja) 2019-07-11
JP6927637B2 true JP6927637B2 (ja) 2021-09-01

Family

ID=61619876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018539531A Active JP6927637B2 (ja) 2016-09-14 2017-06-27 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Country Status (3)

Country Link
US (2) US10845881B2 (ja)
JP (1) JP6927637B2 (ja)
WO (1) WO2018051606A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135650B2 (ja) * 2018-09-21 2022-09-13 株式会社リコー 入力装置、プログラムおよび方法
EP3647885A1 (fr) * 2018-11-02 2020-05-06 Tissot S.A. Procede de gestion de la consommation electrique d'une montre
JP6815546B1 (ja) * 2020-04-21 2021-01-20 エヌエイチエヌ コーポレーション プログラムおよび画像制御方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129835A (ja) * 2006-11-21 2008-06-05 Matsushita Electric Ind Co Ltd 立体画像表示システム
JP2010015551A (ja) 2008-06-03 2010-01-21 Univ Of Electro-Communications 触覚情報提示装置及び触覚情報提示システム
JP2010095372A (ja) 2008-10-20 2010-04-30 Canon Electronics Inc クリーニングシート
US8976045B2 (en) 2009-02-17 2015-03-10 Nec Corporation Tactile force sense presenting device, electronic device terminal applied with tactile force sense presenting device, and tactile force sense presenting method
KR101184516B1 (ko) 2010-01-29 2012-09-19 삼성전기주식회사 터치스크린 장치
US8798534B2 (en) * 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
US8710966B2 (en) * 2011-02-28 2014-04-29 Blackberry Limited Methods and apparatus to provide haptic feedback
JP2013051662A (ja) 2011-07-29 2013-03-14 Panasonic Corp 電子機器
JPWO2013051662A1 (ja) 2011-10-04 2015-03-30 株式会社ニコン 電子機器
US10019711B1 (en) * 2012-09-12 2018-07-10 Edward Adam Lerner Processing of online payment transactions
US9448628B2 (en) * 2013-05-15 2016-09-20 Microsoft Technology Licensing, Llc Localized key-click feedback
KR102142067B1 (ko) * 2013-07-12 2020-08-06 삼성전자주식회사 휴대 단말 및 이의 정보 제공 방법
JP6031429B2 (ja) 2013-11-05 2016-11-24 日本電信電話株式会社 粘性感覚呈示装置、その方法、およびプログラム
US20150179037A1 (en) * 2013-12-23 2015-06-25 Cellco Partnership D/B/A Verizon Wireless Using data fusion to electronically detect liquid in mobile devices
JP6386781B2 (ja) 2014-05-12 2018-09-05 日本放送協会 触力覚提示装置
US20160048399A1 (en) * 2014-08-15 2016-02-18 At&T Intellectual Property I, L.P. Orchestrated sensor set

Also Published As

Publication number Publication date
JPWO2018051606A1 (ja) 2019-07-11
US11327568B2 (en) 2022-05-10
WO2018051606A1 (ja) 2018-03-22
US10845881B2 (en) 2020-11-24
US20210048889A1 (en) 2021-02-18
US20190204928A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
CN104679233B (zh) 用于生成摩擦和振动触感效果的系统和方法
US9360944B2 (en) System and method for enhanced gesture-based interaction
JP6591805B2 (ja) 静電触覚効果を提供する表面要素のためのシステム及び方法
CN104375633B (zh) 用于触觉摆弄的系统和方法
JP4044114B2 (ja) 把持式コンピュータインタラクティブデバイス
CN110096131B (zh) 触感交互方法、装置、以及触感可穿戴设备
CN209486630U (zh) 触笔
EP3040814A1 (en) Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
US11327568B2 (en) Information processing apparatus, information processing method, and information processing system for haptic feedback presentation based on electronic information
KR20160138137A (ko) 햅틱적으로 인에이블되는 곡면형 디바이스들을 위한 시스템 및 방법
US20140320436A1 (en) Simulation of tangible user interface interactions and gestures using array of haptic cells
EP3598273A1 (en) Adaptive haptic effect rendering based on dynamic system identification
EP3364272A1 (en) Automatic localized haptics generation system
CN108431734A (zh) 用于非触摸式表面交互的触觉反馈
KR101350776B1 (ko) 장갑 기반의 인터페이스 장치, 그리고 이를 이용한 햅틱 시스템 및 방법
EP3096206A1 (en) Haptic effects based on predicted contact
US20180011538A1 (en) Multimodal haptic effects
KR20180098166A (ko) 가상 감성 터치를 위한 시스템들 및 방법들
Linjama et al. Novel, minimalist haptic gesture interaction for mobile devices
KR20190073281A (ko) 2-차원 및 3-차원 추적을 위해 사용가능한 햅틱방식-인에이블형 주변기기
Efraimidis et al. Wireless embedded system on a glove for hand motion capture and tactile feedback in 3d environments
Kim et al. Assisting visually impaired people to acquire targets on a large wall-mounted display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210802

R150 Certificate of patent or registration of utility model

Ref document number: 6927637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150