JPWO2019013055A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JPWO2019013055A1 JPWO2019013055A1 JP2019529075A JP2019529075A JPWO2019013055A1 JP WO2019013055 A1 JPWO2019013055 A1 JP WO2019013055A1 JP 2019529075 A JP2019529075 A JP 2019529075A JP 2019529075 A JP2019529075 A JP 2019529075A JP WO2019013055 A1 JPWO2019013055 A1 JP WO2019013055A1
- Authority
- JP
- Japan
- Prior art keywords
- user
- information processing
- timing
- sound
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 175
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000035807 sensation Effects 0.000 claims abstract description 157
- 238000001514 detection method Methods 0.000 claims description 9
- 230000015541 sensory perception of touch Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 5
- 235000019615 sensations Nutrition 0.000 description 148
- 230000001953 sensory effect Effects 0.000 description 48
- 230000006870 function Effects 0.000 description 46
- 238000004891 communication Methods 0.000 description 43
- 238000000034 method Methods 0.000 description 36
- 238000012545 processing Methods 0.000 description 32
- 238000005286 illumination Methods 0.000 description 26
- 230000000694 effects Effects 0.000 description 23
- 230000007246 mechanism Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 18
- 230000008859 change Effects 0.000 description 13
- 230000003111 delayed effect Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 6
- 230000000638 stimulation Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 239000000779 smoke Substances 0.000 description 5
- 239000004509 smoke generator Substances 0.000 description 5
- 230000001934 delay Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 235000019645 odor Nutrition 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003205 fragrance Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008786 sensory perception of smell Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63G—MERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
- A63G31/00—Amusement arrangements
- A63G31/16—Amusement arrangements creating illusions of travel
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
- A63J25/00—Equipment specially adapted for cinemas
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
- A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
- A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
- A63J2005/001—Auxiliaries for producing special effects on stages, or in circuses or arenas enhancing the performance by involving senses complementary to sight or hearing
- A63J2005/003—Tactile sense
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
- B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
- B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
- B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
- B06B1/04—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism
- B06B1/045—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism using vibrating magnet, armature or coil system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
- H04R2201/023—Transducers incorporated in garment, rucksacks or the like
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2400/00—Loudspeakers
- H04R2400/03—Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/05—Noise reduction with a separate noise microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
1.情報処理システムの概要
2.装置の機能構成例
3.装置の処理フロー例
4.進行通知機能
5.光による感覚提示通知機能
6.ハードウェア構成例
7.備考
まず、本開示に係る情報処理システムの概要について説明する。
上記では、本開示に係る情報処理システムの概要について説明した。続いて、図8および図9を参照して、本開示に係る情報処理システムにおける情報処理装置200および感覚提示デバイス100の機能構成例について説明する。
まず、図8を参照して、情報処理装置200の機能構成例について説明する。図8に示すように、情報処理装置200は、制御部210と、生成部220と、通信部230と、表示部240と、記憶部250と、を備え、通信部230を介して外部のコントローラ260と接続されている。
制御部210は、情報処理装置200の各機能構成を統括的に制御する機能構成である。例えば、制御部210は、コントローラ260からの入力や予め決められた進行内容に基づいて各機能構成の起動や停止を制御したり、感覚提示デバイス100によってユーザに対して提示される感覚の内容など(例えば、触覚データ提示部121によって提示される触覚刺激の内容、タイミングおよび強さ、音響データ提示部131によって提示される音の内容、タイミングおよびボリュームなど)を指定したりすることができる。また、制御部210は、各種制御信号を生成することによって、情報処理システムにおける情報処理装置200以外の装置を制御することができる。例えば、制御部210は、各装置のパラメータの変更などを行うことができるため、例えば図7のBまたはCの態様によって感覚の提示が行われる場合において、アンプ280や感覚提示デバイス100に備えられる遅延回路の遅延量の変更などを行うことができる。なお、制御部210の制御内容はこれらに限定されない。例えば、制御部210は、汎用コンピュータ、PC(Personal Computer)、タブレットPCまたはスマートフォンなどにおいて一般的に行われる処理(例えば、OS(Operating System)の処理など)を実現してもよい。また、図8に示すように、制御部210は、遅延測定部211を備える。
遅延測定部211は、各ユーザについての音響遅延量を測定する機能構成である。より具体的に説明すると、遅延測定部211は、フロントスピーカ290によって音が出力されるタイミングを第1のタイミングとして取得する。上記のとおり、第1のタイミングは、予めコンテンツに組み込まれていてもよい(プログラムされていてもよい)し、コントローラ260を介した操作者による入力によって決定されてもよいし、演者などの動作がセンシングされることによって決定されてもよいところ、遅延測定部211はそれぞれの態様に応じた方法で第1のタイミングを取得する。例えば、第1のタイミングが予めコンテンツに組み込まれている場合には、遅延測定部211は、コンテンツのパラメータを制御部210または記憶部250などから取得することで第1のタイミングを取得する。
生成部220は、情報処理システムによって使用される各種データを生成する機能構成である。より具体的には、生成部220は、触覚刺激、音、光、映像、煙、および風の提示に使用されるデータを生成する機能構成である。なお、触覚刺激、音および光の提示に使用されるデータの生成については後述する。生成部220は、制御部210による制御に基づいて映像、煙、および風の提示に使用されるデータを随時生成し、プロジェクタ300、煙発生器330、および風発生器340が接続されているネットワークを介してそれぞれの装置に対して生成したデータを提供する。図8に示すように、生成部220は、触覚データ生成部221と、音響データ生成部222と、照明データ生成部223と、を備える。
触覚データ生成部221は、遅延測定部211によって測定された音響遅延量に基づいて、感覚提示デバイス100による触覚刺激の提示に使用される触覚データを生成する機能構成である。例えば、まず、触覚データ生成部221は、音響遅延量が所定の閾値以上であるか否かを判定する。なお、所定の閾値の設定方法は特に限定されず、例えば、所定の閾値は操作者による入力によって設定され得る。そして、音響遅延量が所定の閾値以上である場合、触覚データ生成部221は、先頭に音響遅延量に相当する空白区間(触覚刺激が提示されない区間)が挿入された触覚データを生成することで触覚刺激の提示タイミングを遅らせてもよいし、触覚データを生成するタイミング自体を音響遅延量だけ遅らせることで触覚刺激の提示タイミングを遅らせてもよい。なお、触覚刺激の提示タイミングを音響遅延量だけ遅らせることが可能であれば、上記以外の方法が用いられてもよい。
音響データ生成部222は、フロントスピーカ290、および感覚提示デバイス100の音響データ提示部131による音の提示に使用される音響データを生成する機能構成である。例えば、音響データ生成部222は、第1のタイミングを取得し、第1のタイミングにフロントスピーカ290によって音が出力されるように音響データを生成し、所定のネットワークを介して音響データをフロントスピーカ290に提供する。
照明データ生成部223は、制御部210による制御に基づいて、ライト320による光(照明)の提示に使用される照明データを生成する機能構成である。照明データ生成部223は、所定のネットワークを介して生成したデータをライト320に提供する。なお、本開示に係る情報処理システムにおいて、各ユーザに対して感覚の提示が行われるタイミングで、照明データ生成部223は、当該ユーザに対して光を照射する機能を実現することができる。当該機能の詳細については後述する。
通信部230は、外部装置との通信を行う機能構成である。例えば、情報処理装置200の操作者がコントローラ260を用いて入力を行った場合、通信部230は、コントローラ260から入力データを受信し、当該入力データを制御部210に提供することで操作者による入力の反映を実現する。また、通信部230は、生成部220によって生成されたデータ(例えば、触覚データや音響データなどを含む)を所定の外部装置へ送信することによって、触覚刺激、音、映像、照明、煙、および風などの提示を実現する。なお、通信部230によって通信されるデータはこれらに限定されない。例えば、通信部230は、フロントスピーカ290から出力された音が集音部170によって検出された第2のタイミングに関するデータを感覚提示デバイス100から受信してもよいし、アンプ280や感覚提示デバイス100に備えられた遅延回路の遅延量を変更するためのパラメータに関するデータをこれらの装置に送信してもよい。また、通信部230と各外部装置との通信に用いられる通信方式および通信回線の種類は特に限定されない。例えば、通信部230は、各外部装置と有線による通信を行ってもよいし、無線による通信を行ってもよい。
表示部240は、操作者による入力に用いられる設定画面などを表示する機能構成である。この表示部240は、例えば、液晶ディスプレイ(LCD:Liquid Crystal
Display)、有機EL(Electro Luminescence)ディスプレイなどの表示装置であってもよい。なお、表示部240の種類および表示内容はこれらに限定されない。
記憶部250は、各種データを記憶する機能構成である。例えば、記憶部250は、情報処理装置200の各機能構成によって使用されるプログラムやパラメータ、または各機能構成によって生成されたデータなど(例えば、触覚データ、音響データ、または照明データなど)を記憶する。なお、記憶部250が記憶するデータの内容はこれらに限定されない。
コントローラ260は、操作者による入力を受け、入力データを情報処理装置200に提供する装置である。コントローラ260は、キーボード、マウス、ボタン、スイッチ、レバー、タッチセンサ、圧力センサ、または近接センサなどの各種入力機構を備えることで操作者による入力を受けることができる。なお、コントローラ260が備える入力機構の種類はこれらに限定されない。また、コントローラ260は、情報処理装置200の外部装置として設けられるのではなく、情報処理装置200内に備えられてもよい。
上記では、情報処理装置200の機能構成例について説明した。続いて、図9を参照して、感覚提示デバイス100の機能構成例について説明する。図9に示すように、感覚提示デバイス100は、制御部110と、触覚提示部120と、音提示部130と、通信部140と、センサ部150と、記憶部160と、を備え、通信部140を介して外部の集音部170(この図では、集音部170aおよび集音部170b)と接続されている。
制御部110は、感覚提示デバイス100の各機能構成を統括的に制御する機能構成である。例えば、制御部110は、情報処理装置200から提供される各種データ(例えば、触覚データ、音響データ、およびその他の制御信号などを含む)に基づいて各機能構成の起動や停止を制御する。また、制御部110は、集音部170によって、フロントスピーカ290から出力された音が検出された第2のタイミングに関するデータを、通信部140を介して情報処理装置200へ提供する。なお、制御部110の制御内容はこれらに限定されない。例えば、制御部110は、汎用コンピュータ、PC、タブレットPCまたはスマートフォンなどにおいて一般的に行われる処理(例えば、OSの処理など)を実現してもよい。また、図9に示すように、制御部110は、触覚データ処理部111と、音響データ処理部112と、を備える。
触覚データ処理部111は、情報処理装置200から提供される触覚データを用いて、触覚データ提示部121による触覚刺激の提示に関する処理を行う。例えば、触覚データ処理部111は、感覚提示デバイス100個別の設定(例えば、ユーザが独自に行った感覚提示デバイス100の設定など(例えば、ボリュームの設定や、機能のON/OFFの設定など))に基づいて、情報処理装置200から提供された触覚データを編集し、編集後の触覚データを触覚データ提示部121に提供することで触覚刺激の提示を実現してもよい。
音響データ処理部112は、情報処理装置200から提供される音響データを用いて、音響データ提示部131による音の提示に関する処理を行う。例えば、音響データ処理部112は、感覚提示デバイス100個別の設定(例えば、ユーザが独自に行った感覚提示デバイス100の設定など(例えば、ボリュームの設定や、機能のON/OFFの設定など))に基づいて、情報処理装置200から提供された音響データを編集し、編集後の音響データを音響データ提示部131に提供することで音の提示を実現してもよい。
触覚提示部120は、1以上の触覚データ提示部121を備え、触覚データ提示部121を用いてユーザに対して触覚刺激を提示する機能構成である。
触覚データ提示部121は、触覚データ処理部111から提供される触覚データを用いてユーザに対して触覚刺激を提示する機能構成である。例えば、触覚データ提示部121は、振動を提示するアクチュエータ(例えば、ERM(偏心モータ)、LRA(リニア共振アクチュエータ)、またはVCM(ボイスコイルモータ)など)であってもよいし、力覚を提示する電気素子であってもよいし、温度感覚を提示する温度変化素子(例えば、ペルチェ素子等)であってもよい。換言すると「触覚刺激」には、振動、力覚、または温度感覚などが含まれ得る。なお、触覚データ提示部121が提示する触覚刺激はこれらに限定されない。また、各触覚データ提示部121(図中では、少なくとも触覚データ提示部121a〜触覚データ提示部121c)にチャンネルが割り当てられ、チャンネル毎に互いに異なる触覚刺激の提示が行われてもよい。
音提示部130は、少なくとも1以上の音響データ提示部131を備え、音響データ提示部131を用いてユーザに対して音を提示する機能構成である。
音響データ提示部131は、音響データ処理部112から提供される音響データを用いてユーザに対して音を提示する機能構成である。例えば、音響データ提示部131は、音響データを再生するスピーカと、スピーカに対するアンプ回路などを有し得る。また、複数の音響データ提示部131(図中では、少なくとも音響データ提示部131a〜音響データ提示部131c)が備えられ、各音響データ提示部131の出力が調整されることによって音像の定位が実現されてもよい。その際、音響データ提示部131と周囲に備えられるスピーカ(例えば、座席に備えられるスピーカなど)との連携が行われることで音像が定位されてもよい。なお、各音響データ提示部131にチャンネルが割り当てられ、チャンネル毎に互いに異なる音の提示が行われてもよい。
通信部140は、外部装置との通信を行う機能構成である。例えば、集音部170(図中では、集音部170aおよび集音部170b)がフロントスピーカ290から出力された音を検出した場合、通信部140は、集音部170と通信を行うことで、音が検出された第2のタイミングに関するデータを受信し、当該データを情報処理装置200へ送信する。また、通信部140は、情報処理装置200によって生成された各種データ(例えば、触覚データ、音響データ、およびその他の制御信号などを含む)を受信する。なお、通信部140によって通信されるデータはこれらに限定されない。例えば、通信部140は、感覚提示デバイス100に備えられた遅延回路の遅延量を変更するためのパラメータに関するデータを情報処理装置200から受信してもよい。また、通信部140と外部装置との通信に用いられる通信方式および通信回線の種類は特に限定されない。例えば、通信部140は、外部装置と有線による通信を行ってもよいし、無線による通信を行ってもよい。
センサ部150は、各種センサを備えており、これらのセンサによって生成されたセンサデータを取得する機能構成である。例えば、センサ部150は、位置センサ(例えば、GNSS(Global Navigation Satellite System)受信機や近接センサなどを含む、ユーザの位置特定に使用され得るセンサ)を備えることで、ユーザの位置特定に使用されるセンサデータを取得してもよい。なお、センサ部150が備えるセンサの種類は特に限定されない。例えば、センサ部150は、姿勢センサ(ジャイロセンサや加速度センサなど)、温度センサ、または圧力センサなどの各種センサを備えていてもよい。
記憶部160は、各種データを記憶する機能構成である。例えば、記憶部160は、感覚提示デバイス100の各機能構成によって使用されるプログラムやパラメータ、または情報処理装置200から提供された各種データ(例えば、触覚データ、音響データ、およびその他の制御信号などを含む)などを記憶する。なお、記憶部160が記憶するデータの内容はこれらに限定されない。
集音部170は、ユーザの耳付近に備えられるマイクなどであり、ユーザが知覚する音(例えば、フロントスピーカ290から出力される音など)を検出する機能構成である。なお、集音部170はマイクに限定されず、音を検出可能な装置であれば如何なる装置であってもよい。また、集音部170は、感覚提示デバイス100の外部装置として設けられるのではなく、感覚提示デバイス100内に備えられてもよい。
上記では、本開示に係る情報処理システムにおける情報処理装置200および感覚提示デバイス100の機能構成例について説明した。続いて、図10を参照して、音響遅延量に基づく感覚の提示タイミングの調整処理の流れの例について説明する。図10は、コンテンツの提供中に音響遅延量がほぼ変化しない場合(換言すると、ユーザおよびフロントスピーカ290が移動しない場合など)において、音響遅延量に基づいて触覚刺激の提示タイミングが事前に調整される場合の処理の流れを示している。
上記では、音響遅延量に基づく感覚の提示タイミングの調整機能について説明した。ここで、本開示に係る情報処理システムは、当該機能以外の機能を実現することもできる。例えば、本開示に係る情報処理システムは、ステージ上で演技を行う演者など(第2のユーザ)に対して、ユーザ(第1のユーザ)が感覚を提示されるタイミング(第3のタイミング)を通知する機能(以降、「進行通知機能」と呼称する場合もある)を実現することができる。そこで、続いて、進行通知機能について説明する。
上記では、進行通知機能について説明した。本開示に係る情報処理システムは、当該機能以外の機能として、各ユーザに対して感覚の提示が行われたことを、光を用いて各ユーザに通知する機能(以降、「光による感覚提示通知機能」と呼称する場合もある)を実現することができる。そこで続いて、光による感覚提示通知機能について説明する。
上記では、光による感覚提示通知機能について説明した。続いて、本開示に係る情報処理システムにおけるハードウェア構成例について説明する。
まず、感覚提示デバイス100のハードウェア構成について説明する。感覚提示デバイス100は、サイズ調整機能を有さないアウターベストと、サイズ調整機能を有するインナーベストの2枚が重なった構造(アウターベストがインナーベストの上から被せられる構造)を有している。また、ユーザによる着脱のし易さを考慮して、アウターベストおよびインナーベストは、例えば両肩部分などで、部分的に物理的に連結されていてもよい。ここで、図19にはアウターベストの例が示されており、図20にはインナーベストの例が示されている。
続いて、図25を参照して、情報処理装置200のハードウェア構成について説明する。
Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置(HDD)910と、ドライブ911と、通信装置912とを備える。
上記では、本開示に係る情報処理システムにおけるハードウェア構成例について説明した。続いて、本開示に係る情報処理システムにおける運用面などを備考として説明する。
本開示に係る情報処理システムが使用される場合、コンテンツの開始前に、感覚提示デバイス100を操作パネル180のコネクタ182に接続した状態で動作確認作業が行われ得る。
上記で説明したコントローラ260を操作する操作者は、ステージおよび客席が見渡せるよう、客席後方(または中央)のコントロールブースに位置しており、予め決められた進行に応じて、ステージ上の演者の動きのタイミングに合わせ、コントローラ260に備えられるタッチパネルや物理スイッチなどインタフェースを操作する。
(1)
音響提示部から音が出力される第1のタイミングと、第1のユーザが前記音を知覚する第2のタイミングとの差異に基づいて、前記第1のユーザに装着された感覚提示部による前記第1のユーザへの感覚の提示に用いられる第1のデータを生成する生成部を備える、
情報処理装置。
(2)
前記感覚の提示は、前記差異に基づいて決まる第3のタイミングに行われる、
前記(1)に記載の情報処理装置。
(3)
前記第3のタイミングは、前記第2のタイミングと略同一である、
前記(2)に記載の情報処理装置。
(4)
前記生成部は、前記第1のデータに基づいて、第2のユーザに対する前記第3のタイミングの通知に用いられる第2のデータを生成する、
前記(2)または(3)に記載の情報処理装置。
(5)
前記第2のデータは、前記第2のユーザへの感覚の提示に用いられるものである、
前記(4)に記載の情報処理装置。
(6)
前記通知は、前記第3のタイミングと略同一のタイミングで行われる、
前記(4)または(5)に記載の情報処理装置。
(7)
前記第2のユーザは、前記第1のユーザに対して前記感覚の提示が行われるコンテンツを提供するユーザである、
前記(4)から(6)のいずれか1項に記載の情報処理装置。
(8)
前記第1のユーザは複数人存在し、
前記感覚の提示は、前記第1のユーザごと、または前記第1のユーザの集団ごとに行われる、
前記(2)から(7)のいずれか1項に記載の情報処理装置。
(9)
前記感覚を提示される前記第1のユーザは、前記第3のタイミングに光提示部から光が照射され、
前記生成部は、前記光の照射に用いられる第3のデータを生成する、
前記(8)に記載の情報処理装置。
(10)
前記第2のタイミングは、前記第1のユーザに装着された音検出部によって前記音が検出されたタイミングである、
前記(1)から(9)のいずれか1項に記載の情報処理装置。
(11)
前記音検出部は、前記第1のユーザの耳付近に装着されたものである、
前記(10)に記載の情報処理装置。
(12)
前記差異は、前記音響提示部および前記第1のユーザの位置関係に基づいて推定されたものである、
前記(1)から(11)のいずれか1項に記載の情報処理装置。
(13)
前記感覚は、触覚または聴覚のうちの少なくともいずれか一方を含む、
前記(1)から(12)のいずれか1項に記載の情報処理装置。
(14)
音響提示部から音が出力される第1のタイミングと、第1のユーザが前記音を知覚する第2のタイミングとの差異に基づいて、前記第1のユーザに装着された感覚提示部による前記第1のユーザへの感覚の提示に用いられる第1のデータを生成することを有する、
コンピュータにより実行される情報処理方法。
(15)
音響提示部から音が出力される第1のタイミングと、第1のユーザが前記音を知覚する第2のタイミングとの差異に基づいて、前記第1のユーザに装着された感覚提示部による前記第1のユーザへの感覚の提示に用いられる第1のデータを生成すること、
をコンピュータに実現させるためのプログラム。
110 制御部
111 触覚データ処理部
112 音響データ処理部
120 触覚提示部
121 触覚データ提示部
130 音提示部
131 音響データ提示部
140 通信部
150 センサ部
160 記憶部
170 集音部
200 情報処理装置
210 制御部
211 遅延測定部
220 生成部
221 触覚データ生成部
222 音響データ生成部
223 照明データ生成部
230 通信部
240 表示部
250 記憶部
260 コントローラ
270 オーディオIF
280 アンプ
290 フロントスピーカ
300 プロジェクタ
310 スクリーン
320 ライト
330 煙発生器
340 風発生器
Claims (15)
- 音響提示部から音が出力される第1のタイミングと、第1のユーザが前記音を知覚する第2のタイミングとの差異に基づいて、前記第1のユーザに装着された感覚提示部による前記第1のユーザへの感覚の提示に用いられる第1のデータを生成する生成部を備える、
情報処理装置。 - 前記感覚の提示は、前記差異に基づいて決まる第3のタイミングに行われる、
請求項1に記載の情報処理装置。 - 前記第3のタイミングは、前記第2のタイミングと略同一である、
請求項2に記載の情報処理装置。 - 前記生成部は、前記第1のデータに基づいて、第2のユーザに対する前記第3のタイミングの通知に用いられる第2のデータを生成する、
請求項2に記載の情報処理装置。 - 前記第2のデータは、前記第2のユーザへの感覚の提示に用いられるものである、
請求項4に記載の情報処理装置。 - 前記通知は、前記第3のタイミングと略同一のタイミングで行われる、
請求項4に記載の情報処理装置。 - 前記第2のユーザは、前記第1のユーザに対して前記感覚の提示が行われるコンテンツを提供するユーザである、
請求項4に記載の情報処理装置。 - 前記第1のユーザは複数人存在し、
前記感覚の提示は、前記第1のユーザごと、または前記第1のユーザの集団ごとに行われる、
請求項2に記載の情報処理装置。 - 前記感覚を提示される前記第1のユーザは、前記第3のタイミングに光提示部から光が照射され、
前記生成部は、前記光の照射に用いられる第3のデータを生成する、
請求項8に記載の情報処理装置。 - 前記第2のタイミングは、前記第1のユーザに装着された音検出部によって前記音が検出されたタイミングである、
請求項1に記載の情報処理装置。 - 前記音検出部は、前記第1のユーザの耳付近に装着されたものである、
請求項10に記載の情報処理装置。 - 前記差異は、前記音響提示部および前記第1のユーザの位置関係に基づいて推定されたものである、
請求項1に記載の情報処理装置。 - 前記感覚は、触覚または聴覚のうちの少なくともいずれか一方を含む、
請求項1に記載の情報処理装置。 - 音響提示部から音が出力される第1のタイミングと、第1のユーザが前記音を知覚する第2のタイミングとの差異に基づいて、前記第1のユーザに装着された感覚提示部による前記第1のユーザへの感覚の提示に用いられる第1のデータを生成することを有する、
コンピュータにより実行される情報処理方法。 - 音響提示部から音が出力される第1のタイミングと、第1のユーザが前記音を知覚する第2のタイミングとの差異に基づいて、前記第1のユーザに装着された感覚提示部による前記第1のユーザへの感覚の提示に用いられる第1のデータを生成すること、
をコンピュータに実現させるためのプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762530455P | 2017-07-10 | 2017-07-10 | |
US62/530,455 | 2017-07-10 | ||
US201762534879P | 2017-07-20 | 2017-07-20 | |
US62/534,879 | 2017-07-20 | ||
PCT/JP2018/025275 WO2019013055A1 (ja) | 2017-07-10 | 2018-07-03 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019013055A1 true JPWO2019013055A1 (ja) | 2020-05-07 |
JP7140120B2 JP7140120B2 (ja) | 2022-09-21 |
Family
ID=65001669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019529075A Active JP7140120B2 (ja) | 2017-07-10 | 2018-07-03 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11228855B2 (ja) |
EP (1) | EP3654665A4 (ja) |
JP (1) | JP7140120B2 (ja) |
CN (1) | CN110892734B (ja) |
WO (1) | WO2019013055A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021095536A1 (ja) | 2019-11-12 | 2021-05-20 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
WO2023032308A1 (ja) * | 2021-08-30 | 2023-03-09 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5559499A (en) * | 1978-10-30 | 1980-05-02 | Bodysonic Kk | Sound system in theater or like |
JPS57148980U (ja) * | 1981-03-11 | 1982-09-18 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5553148A (en) * | 1994-06-20 | 1996-09-03 | Werle; Ben | Apparatus and method for producing vibratory sensations to accompany audible sounds in a properly phased relationship |
JP2004233463A (ja) | 2003-01-28 | 2004-08-19 | Nec Viewtechnology Ltd | ファン騒音低減装置及びファン騒音低減方法 |
JP2006222826A (ja) | 2005-02-14 | 2006-08-24 | Fujitsu Ltd | 通話機能付き携帯情報端末 |
US9019087B2 (en) * | 2007-10-16 | 2015-04-28 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
KR101630864B1 (ko) * | 2008-05-09 | 2016-06-16 | 코닌클리케 필립스 엔.브이. | 감정을 전달하는 방법 및 시스템 |
JP5419100B2 (ja) * | 2008-06-13 | 2014-02-19 | 学校法人早稲田大学 | 感覚呈示システム及び感覚呈示装置 |
WO2010093913A1 (en) | 2009-02-12 | 2010-08-19 | Brock Seiler | Multi-channel audio vibratory entertainment system |
JP5732937B2 (ja) | 2010-09-08 | 2015-06-10 | ヤマハ株式会社 | サウンドマスキング装置 |
EP2825934B1 (en) | 2012-03-15 | 2021-06-30 | Nokia Technologies Oy | A tactile apparatus link |
US9098984B2 (en) * | 2013-03-14 | 2015-08-04 | Immersion Corporation | Haptic effects broadcasting during a group event |
DE102013214201A1 (de) | 2013-07-19 | 2015-01-22 | Volkswagen Aktiengesellschaft | Verfahren zur Steuerung einer Kraftfahrzeug-Klimaanlage |
US9672703B2 (en) * | 2013-08-28 | 2017-06-06 | Subpac, Inc. | Multistage tactile sound device |
US9613506B2 (en) * | 2014-05-30 | 2017-04-04 | Apple Inc. | Synchronization of independent output streams |
US9226090B1 (en) * | 2014-06-23 | 2015-12-29 | Glen A. Norris | Sound localization for an electronic call |
KR101641418B1 (ko) | 2014-07-25 | 2016-07-20 | 포항공과대학교 산학협력단 | 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치 |
JP2017182496A (ja) * | 2016-03-30 | 2017-10-05 | ソニー株式会社 | 制御装置、制御方法およびプログラム |
US10649529B1 (en) | 2016-06-28 | 2020-05-12 | Apple Inc. | Modification of user-perceived feedback of an input device using acoustic or haptic output |
US10976821B2 (en) | 2016-07-07 | 2021-04-13 | Sony Corporation | Information processing device, information processing method, and program for controlling output of a tactile stimulus to a plurality of tactile stimulus units |
US10699538B2 (en) * | 2016-07-27 | 2020-06-30 | Neosensory, Inc. | Method and system for determining and providing sensory experiences |
US10713908B2 (en) | 2016-09-30 | 2020-07-14 | Sony Corporation | Content providing system, control apparatus, and reception apparatus |
JP2018060313A (ja) | 2016-10-04 | 2018-04-12 | ソニー株式会社 | 受信装置および方法、送信装置および方法、並びにプログラム |
CN106774891A (zh) * | 2016-12-15 | 2017-05-31 | 北京小鸟看看科技有限公司 | 虚拟现实场景的音效产生方法、设备及虚拟现实设备 |
-
2018
- 2018-07-03 WO PCT/JP2018/025275 patent/WO2019013055A1/ja unknown
- 2018-07-03 JP JP2019529075A patent/JP7140120B2/ja active Active
- 2018-07-03 US US16/628,082 patent/US11228855B2/en active Active
- 2018-07-03 EP EP18831773.9A patent/EP3654665A4/en active Pending
- 2018-07-03 CN CN201880045075.8A patent/CN110892734B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5559499A (en) * | 1978-10-30 | 1980-05-02 | Bodysonic Kk | Sound system in theater or like |
JPS57148980U (ja) * | 1981-03-11 | 1982-09-18 |
Also Published As
Publication number | Publication date |
---|---|
US11228855B2 (en) | 2022-01-18 |
CN110892734B (zh) | 2021-11-05 |
CN110892734A (zh) | 2020-03-17 |
JP7140120B2 (ja) | 2022-09-21 |
EP3654665A1 (en) | 2020-05-20 |
US20210152962A1 (en) | 2021-05-20 |
EP3654665A4 (en) | 2020-05-27 |
WO2019013055A1 (ja) | 2019-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20070180979A1 (en) | Portable Music Player with Synchronized Transmissive Visual Overlays | |
US20100240945A1 (en) | Respiratory biofeedback devices, systems, and methods | |
CN107847744A (zh) | 用于神经调节的装置和方法 | |
JPWO2017175689A1 (ja) | システム、端末装置、方法及び記録媒体 | |
JP6396351B2 (ja) | 心身状態推定装置、心身状態推定方法、およびアイウエア | |
US20120269360A1 (en) | Large Scale Participatory Entertainment Systems For Generating Music Or Other Ordered, Discernible Sounds And/Or Displays Sequentially Responsive To Movement Detected At Venue Seating | |
JP7140120B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2019163260A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
IL275071B1 (en) | Communication system and method | |
CN109040462A (zh) | 行程提醒方法、装置、存储介质及穿戴式设备 | |
JP7040527B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2019208876A (ja) | 呼吸センサ、呼吸検出装置、生体情報処理装置、生体情報処理方法、コンピュータプログラム及びマインドフルネス支援装置 | |
Trepkowski et al. | Multisensory proximity and transition cues for improving target awareness in narrow field of view augmented reality displays | |
WO2021145452A1 (ja) | 情報処理装置及び情報処理端末 | |
WO2020235307A1 (ja) | コンテンツ提供システム、出力装置、及び情報処理方法 | |
JPWO2018079850A1 (ja) | 信号処理装置、信号処理方法およびプログラム | |
WO2021145451A1 (ja) | 情報処理装置及び情報処理端末 | |
WO2021145454A1 (ja) | 情報処理装置、情報処理端末及びプログラム | |
US20220353457A1 (en) | Information processing apparatus, information processing method, and program | |
JP6523038B2 (ja) | 感覚提示装置 | |
JP2008515584A (ja) | セックス・プレー中にフィードバックを与えるためのコンピュータ実装方法およびシステム | |
JP2021052965A (ja) | 上映施設 | |
WO2021145025A1 (ja) | 情報処理装置、情報処理端末及びプログラム | |
US11696088B1 (en) | Method and apparatus to generate a six dimensional audio dataset | |
KR101842701B1 (ko) | 심장박동 측정 기술을 활용한 방송 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7140120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |