JP7290167B2 - 振動呈示システム - Google Patents

振動呈示システム Download PDF

Info

Publication number
JP7290167B2
JP7290167B2 JP2021548069A JP2021548069A JP7290167B2 JP 7290167 B2 JP7290167 B2 JP 7290167B2 JP 2021548069 A JP2021548069 A JP 2021548069A JP 2021548069 A JP2021548069 A JP 2021548069A JP 7290167 B2 JP7290167 B2 JP 7290167B2
Authority
JP
Japan
Prior art keywords
vibration
channel
signal
time
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021548069A
Other languages
English (en)
Other versions
JPWO2021059422A1 (ja
Inventor
淳司 渡邊
優 鎌本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021059422A1 publication Critical patent/JPWO2021059422A1/ja
Application granted granted Critical
Publication of JP7290167B2 publication Critical patent/JP7290167B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Description

特許法第30条第2項適用 (1)ウェブサイトの掲載日 2019年4月17日 ウェブサイトのアドレス https://www.ntt.co.jp/news2019/1904/190417a.html (2)ウェブサイトの掲載日 2019年4月27日 ウェブサイトのアドレス https://chokaigi.jp/2019/plan/choshokkanlabosumahohen.html (3)展示日 2019年4月27日~28日 展示会名、開催場所 ニコニコ超会議2019 幕張メッセ イベントホール(千葉県千葉市美浜区中瀬2丁目1) (4)展示日 2019年5月30日~31日(公知日:2019年5月30日) 展示会名、開催場所 NTTコミュニケーション科学基礎研究所 オープンハウス2019 研究展示13 NTT京阪奈ビル(京都府相楽郡精華町光台2-4)
本発明は、例えば音楽などのメディアコンテンツについて、聴覚で知覚するための音響信号と、触覚で知覚するための振動信号と、を同時に再生するための技術に関する。
音響信号と振動信号を同時に再生する技術としては特許文献1がある。特許文献1には、左と右の2チャネルの音響信号から体感振動信号を生成して呈示する技術が記載されており、生成した体感振動信号を人体の様々な部位に呈示したり、音響信号をローパスフィルタ処理して低域の体感振動信号を得たり、人体の部位ごとに周波数特性を異ならせたり、呈示する大きさをボリュームで調整したりする技術が記載されている。
特開2001-86580号公報
特許文献1の技術によれば、利用者は体の様々な部位で各部位に適した大きさや周波数特性での振動を体感することができる。しかし、特許文献1の技術では、利用者が体の様々な部位で振動を体感する際の脳での知覚までは考慮されていない。
本発明は、利用者が体の様々な部位で振動を体感する際に不自然に感じることなく知覚できる振動呈示システムを提供することを目的とする。
本発明の一態様は、メディアコンテンツについての触覚で知覚するための振動信号を呈示する振動呈示システムであって、複数チャネルの前記振動信号それぞれに対応する振動を発生する振動体を備え、前記複数チャネルの前記振動信号それぞれは体の特定の部位用のものであり、前記振動体が発生する振動は、同時刻に知覚されるべき各部位用の振動について、脳から遠い部位用の振動ほど早く発生されるような時間差が与えられたものである。
本発明によれば、利用者が体の様々な部位で振動を体感する際に不自然に感じることなく知覚できる。
図1は、振動呈示システム10の構成を例示する図である。 図2は、呈示先選択ユーザインタフェース23を備えた再生装置20を例示する図である。 図3は、呈示先選択ユーザインタフェース33を備えた振動呈示インタフェース装置30を例示する図である。 図4は、呈示先一括選択ユーザインタフェース24を備えた再生装置20を例示する図である。 図5は、呈示先一括選択ユーザインタフェース34を備えた振動呈示インタフェース装置30を例示する図である。
本発明の振動呈示システムは、音楽などのメディアコンテンツについて、聴覚で知覚するための音響信号と、触覚で知覚するための振動信号と、を同時に再生するためのものである。本発明の振動呈示システムが音響信号と振動信号とを同時に再生してもよいし、本発明の振動呈示システム以外の装置やシステムが音響信号を再生するのと同時に本発明の振動呈示システムが振動信号のみを再生してもよい。以下、図面を参照して本発明の実施形態を説明する。
<第1実施形態>
第1実施形態の振動呈示システム10のハードウェア構成は、図1に例示する通りであり、再生装置20、振動呈示インタフェース装置30、振動体40-j(jは1以上J以下の各整数、Jは2以上の整数)を含み、スピーカ50-k(kは1以上K以下の各整数、Kは1以上の整数)を含んでもよい。以下、各部について説明する。
[再生装置20]
再生装置20は、音楽などのメディアコンテンツについての複数チャネル(Nチャネル、Nは2以上の整数)の時系列信号を出力する装置であり、例えばスマートフォンやタブレット端末である。振動呈示システム10がスピーカ50-kを含まない場合には、Nは振動体40-jの個数Jと同じ値とすればよく、振動呈示システム10がスピーカ50-kを含む場合には、Nは振動体40-jの個数Jと50-kの個数Kを加算した値とすればよい。
Nチャネルの時系列信号には、複数チャネルのディジタル振動信号を含み、1チャネル以上のディジタル音響信号を含んでもよい。ディジタル振動信号は、メディアコンテンツに含まれる音楽などのディジタル音響信号をローパスフィルタ処理などの加工をして得たものであってもよいし、メディアコンテンツに含まれる音楽などのディジタル音響信号とは別に、振動呈示用に用意されたディジタル振動信号であってもよい。
8チャネルの時系列信号の例は、2人の利用者それぞれに、聴覚で知覚するための2チャネルの音響信号と触覚で知覚するための2チャネルの振動信号との計4チャネルの信号を呈示するためのものであり、2チャネルステレオのディジタル音響信号のうちの左チャネルのディジタル音響信号を第1チャネルの時系列信号として含み、当該ステレオディジタル音響信号のうちの右チャネルのディジタル音響信号を第2チャネルの時系列信号として含み、当該ステレオディジタル音響信号のうちの左チャネルのディジタル音響信号に対応するディジタル振動信号を第3チャネルの時系列信号として含み、当該ステレオディジタル音響信号のうちの右チャネルのディジタル音響信号に対応するディジタル振動信号を第4チャネルの時系列信号として含み、第1から第4チャネルの時系列信号それぞれと同じ時系列信号を第5から第8チャネルそれぞれの時系列信号として含むものである。
再生装置20は、図示しない記憶部にメディアコンテンツについてのNチャネルの時系列信号を記憶しておくか、または、図示しない受信部からメディアコンテンツについてのNチャネルの時系列信号を受け取る。再生装置20は、Nチャネルの時系列信号を記憶部から読み出してまたは受信部から受け取って、外部接続端子21に出力する。外部接続端子21は例えばUSB端子である。
なお、再生装置20は、1チャネル以上のディジタル音響信号を記憶部に記憶しておくかまたは受信部から受け取り、当該ディジタル音響信号からディジタル振動信号を生成するようにしてもよい。例えば、再生装置20は、ディジタル音響信号を記憶部から読み出してまたは受信部から受け取って、読み出したまたは受け取ったディジタル音響信号をローパスフィルタ処理することでディジタル振動信号を生成してもよい。
また、再生装置20は、記憶容量や受信容量を抑えるために、Nチャネルの時系列信号に代えて、Nチャネルの時系列信号を圧縮して得た符号を記憶または受信してもよい。Nチャネルの時系列信号はチャネル間での類似性が高いため、例えば、MPEG-4 ALS規格のマルチチャネル復号方式(ISO/IEC 14496-3 11.6.8.1.2)に対応する符号化方式のように、各チャネルについて、時系列信号、チャネル間の重み付き差分信号、その重み付き差分信号の更なる重み付き差分信号、のうちの圧縮効率が高い信号を符号化して得た符号を記憶または受信するようにすれば、Nチャネルの時系列信号そのものを記憶または受信する場合よりも、記憶容量や受信容量を大幅に小さくすることができる。圧縮して得た符号を記憶または受信する場合には、再生装置20が、圧縮に用いられた符号化方式に対応する復号方式であるMPEG-4 ALS規格のマルチチャネル復号方式で、符号を復号してNチャネルの時系列信号を得るようにすればよい。
なお、再生装置20は、Nチャネルの時系列信号のうちのディジタル音響信号は外部接続端子21に出力せずに、再生装置20が備える図示しないDA変換器にディジタル音響信号を入力してアナログ信号に変換して、アナログ信号を再生装置20が備えるスピーカ22-1、22-2に入力して、アナログ信号に対応する音響信号(空気振動)を発生するようにしてもよい。
[振動呈示インタフェース装置30]
振動呈示インタフェース装置30は、入力端子31と出力端子32-n(nは1以上N以下の各整数)を備える。入力端子31は例えばUSB端子である。振動呈示インタフェース装置30の入力端子31は、例えばUSBケーブルを介して、再生装置20の外部接続端子21と接続される。出力端子32-nは例えばミニフォンジャックである。ただし、例えば隣接する2つのnの出力端子32-nを纏めてミニステレオフォンジャックとしてもよい。
振動呈示インタフェース装置30は、入力端子31から入力されたNチャネルの時系列信号それぞれをDA変換してアナログ信号を得て、Nチャネルのアナログ信号それぞれを対応する出力端子32-nから出力する。
上述した8チャネルの時系列信号の例であれば、振動呈示インタフェース装置30は、出力端子32-1から第1チャネルの時系列信号に対応する左チャネルのアナログ音響信号を出力し、出力端子32-2から第2チャネルの時系列信号に対応する右チャネルのアナログ音響信号を出力し、出力端子32-3から第3チャネルの時系列信号に対応する左チャネルのアナログ振動信号を出力し、出力端子32-4から第4チャネルの時系列信号に対応する右チャネルのアナログ振動信号を出力し、出力端子32-5から第5チャネルの時系列信号に対応する左チャネルのアナログ音響信号を出力し、出力端子32-6から第6チャネルの時系列信号に対応する右チャネルのアナログ音響信号を出力し、出力端子32-7から第7チャネルの時系列信号に対応する左チャネルのアナログ振動信号を出力し、出力端子32-8から第8チャネルの時系列信号に対応する右チャネルのアナログ振動信号を出力する。
なお、振動呈示インタフェース装置30は、出力端子32-nから出力する各アナログ信号の大きさ、または、2チャネルごとのステレオのアナログ信号の大きさ、を利用者が調節するための周知の大きさ調節機構(例えば、ボリュームノブとボリューム調節器)を備えてもよい。
また、再生装置20がNチャネルの時系列信号のうちのディジタル音響信号を出力しないようにした場合には、振動呈示インタフェース装置30は、入力端子31から入力されたNチャネルの時系列信号からディジタル音響信号を除いた時系列信号、すなわち、入力端子31から入力されたディジタル振動信号、それぞれをDA変換してアナログ振動信号を得て、得たアナログ振動信号それぞれを対応する出力端子32-nから出力すればよい。
[振動体40-j]
振動体40-jは、アナログ信号伝送用のケーブルを介して、振動呈示インタフェース装置30の対応する出力端子32-nと接続される。振動体40-jは、振動呈示インタフェース装置30の対応する出力端子32-nが出力したアナログ振動信号に対応する振動を発生する。振動体40-jは、例えば金属製のコーンを備えたスピーカであり、利用者が把持しやすいようにカバーを装着したものであってもよく、利用者が装着しやすいようにベルトを備えたものであってもよい。また、振動体40-jは、例えば金属製のコーンを備えたスピーカを装着した物であってもよく、例えば、利用者が座る椅子の座面であって、その座面を振動させるために座面の近傍に金属製のコーンを備えたスピーカを装着したものであってもよく、利用者が触れる机の表面であって、その表面を振動させるために机の表面の近傍に金属製のコーンを備えたスピーカを装着したものであってもよい。振動体40-jが発生した振動は、振動体40-jに接触した利用者の体の部位に伝わり、利用者に振動として知覚される。
上述した8チャネルの時系列信号の例であれば、振動呈示システム10は振動体40-1から振動体40-4の4個の振動体を備え、振動体40-1は、振動呈示インタフェース装置30の出力端子32-3が出力した左チャネルのアナログ振動信号に対応する振動を発生し、振動体40-2は、振動呈示インタフェース装置30の出力端子32-4が出力した右チャネルのアナログ振動信号に対応する振動を発生し、振動体40-3は、振動呈示インタフェース装置30の出力端子32-7が出力した左チャネルのアナログ振動信号に対応する振動を発生し、振動体40-4は、振動呈示インタフェース装置30の出力端子32-8が出力した右チャネルのアナログ振動信号に対応する振動を発生する。
[スピーカ50-k]
スピーカ50-kは、アナログ信号伝送用のケーブルを介して、振動呈示インタフェース装置30の対応する出力端子32-nと接続される。スピーカ50-kは、振動呈示インタフェース装置30の対応する出力端子32-nが出力したアナログ音響信号に対応する音響振動(空気振動、音)を発生する。スピーカ50-kは、出力端子32-nが出力したアナログ信号に対応する音響信号が少ない遅延時間で利用者の耳に到達するように、例えばイヤホンとすればよい。スピーカ50-kが発生した音響振動は、利用者の耳に伝わり、利用者に音として知覚される。
上述した8チャネルの時系列信号の例であれば、振動呈示システム10はスピーカ50-1からスピーカ50-4の4個のスピーカを備え、スピーカ50-1は、振動呈示インタフェース装置30の出力端子32-1が出力した左チャネルのアナログ音響信号に対応する音響信号を発生し、スピーカ50-2は、振動呈示インタフェース装置30の出力端子32-2が出力した右チャネルのアナログ音響信号に対応する音響信号を発生し、スピーカ50-3は、振動呈示インタフェース装置30の出力端子32-5が出力した左チャネルのアナログ音響信号に対応する音響振動を発生し、スピーカ50-4は、振動呈示インタフェース装置30の出力端子32-6が出力した右チャネルのアナログ音響信号に対応する音響振動を発生する。
<第2実施形態>
振動呈示システムは、利用者が体の複数の部位で振動を体感する際の脳での知覚を考慮した振動を呈示するほうがよい。この実施形態を第2実施形態として説明する。
第2実施形態の振動呈示システム10のハードウェア構成は第1実施形態の振動呈示システム10のハードウェア構成と同じである。第2実施形態の振動呈示システム10が第1実施形態の振動呈示システム10と異なるのは、複数の部位用の振動の相対的な関係が複数の部位で振動を体感する際の脳での知覚を考慮されたものである点である。以下では、第1実施形態と異なる点について説明する。
[神経伝達時間、認知的補正]
利用者の体の部位に与えられた振動は神経を経て脳に伝わる。脳から遠い部位に入力された振動ほど脳への伝達に長い時間を要する(すなわち、神経伝達時間が長い)ことから、振動が与えられた部位の神経的な距離が脳から遠ければ遠いほど、実際に振動が与えられてから利用者がその振動を知覚するまでには長い遅延時間を要する。そこで、再生装置20は、同時刻に知覚されるべき各部位用のディジタル振動信号サンプルを、脳から遠い部位用のディジタル振動信号サンプルほど早く出力する。より正確には、ディジタル振動信号は時系列信号であるので、再生装置20は、同時刻に知覚されるべき各部位用のディジタル振動信号サンプルが脳から遠い部位用のディジタル振動信号サンプルほど早く出力されるような時間差が与えられた複数のディジタル振動信号を出力する。
2つの部位の相対関係に言い換えると、再生装置20は、同時刻に知覚されるべき第1の部位用のディジタル振動信号サンプルと第2の部位用のディジタル振動信号サンプルについて、第1の部位よりも第2の部位が脳から遠いのであれば、第1の部位用のディジタル振動信号サンプルよりも第2の部位用のディジタル振動信号サンプルが早く出力されるような時間差が与えられた第1の部位用のディジタル振動信号と第2の部位用のディジタル振動信号を出力する。
例えば、首用、左肩用、右肩用、左手用、右手用、背中用、左足用、右足用、の8通りのディジタル振動信号を出力する場合であれば、再生装置20は、同時刻に知覚されるべきディジタル振動信号サンプルが、左足用と右足用のものが最も早く、左手用と右手用のものが次に早く、背中用のものが次に早く、左肩用と右肩用のものが次に早く、首用のものが最も遅くなるように、8通りのディジタル振動信号を出力すればよい。
なお、神経伝達時間に加えて認知的補正も考慮するとよい。利用者の体の部位に与えられた振動は、神経を経て脳に伝わった後に脳内での情報処理を経ることで、利用者に知覚される。脳内での情報処理において、1秒以内程度の短い時間差は、神経伝達時間の差を吸収する方向への認知的補正が行われる。例えば、脳から遠い部位に与えられた振動の脳への到達時刻が脳に近い部位に与えられた振動の脳への到達時刻よりも僅かに遅かったとしても、同時に振動したと知覚するような認知的補正が行われることがある。そこで、上述した時間差、すなわち、再生装置20が出力する複数のディジタル振動信号における同時刻に知覚されるべきディジタル振動信号サンプルの時間差は、ディジタル振動信号が対象としている部位間の神経伝達時間の差に認知的補正をした値、すなわち、神経伝達時間の差より小さな値、より詳しくは、神経伝達時間の差より認知的補正の分だけ小さな値とするのがよい。ただし、認知的補正を必ずしも考慮せずに、上述した時間差は、ディジタル振動信号が対象としている部位間の神経伝達時間の差としてもよいし、ディジタル振動信号が対象としている部位間の神経伝達時間の差と神経伝達時間の差に認知的補正をした値との間の値としてもよい。もちろん、上述した時間差は、神経伝達時間の差の近傍の値や神経伝達時間の差に認知的補正をした値の近傍の値であってもよい。例えば、同時刻に知覚されるべき手用のディジタル振動信号サンプルと足用のディジタル振動信号サンプルであれば、手用のディジタル振動信号サンプルよりも足用のディジタル振動信号サンプルが神経伝達時間の差である30~50ms程度早く出力されるようにしてもよいし、手用のディジタル振動信号サンプルよりも足用のディジタル振動信号サンプルが神経伝達時間の差に認知的補正をした値である10~20ms程度早く出力されるようにしてもよいし、手用のディジタル振動信号サンプルよりも足用のディジタル振動信号サンプルが神経伝達時間の差と神経伝達時間の差に認知的補正をした値との間を含んだ10~50ms程度早く出力されるようにしてもよい。なお、本段落で説明したことは、音を知覚するための耳を部位として含む場合でも同様である。
時系列信号がディジタル振動信号に加えてディジタル音響信号も含む場合も、振動が空気振動を含み、部位が耳を含む以外は上述したのと同様であり、振動が与えられた部位が脳から遠ければ遠いほど、実際に振動が与えられてから利用者がその振動を知覚するまでには長い遅延時間を要する。そこで、再生装置20は、同時刻に知覚されるべき時系列信号サンプル(ディジタル音響信号サンプルと各部位用のディジタル振動信号サンプル)を、脳から遠い部位用の時系列信号サンプルほど早く出力する。より正確には、再生装置20は、同時刻に知覚されるべき各部位用の時系列信号サンプルが脳から遠い部位用の時系列信号サンプルほど早く出力されるような時間差が与えられた複数の時系列信号を出力する。
例えば、左耳用のディジタル音響信号、右耳用のディジタル音響信号、首用のディジタル振動信号、背中用のディジタル振動信号、の4通りの時系列信号を出力する場合であれば、再生装置20は、同時刻に知覚されるべき時系列信号サンプルが、背中用のディジタル振動信号サンプルが最も早く、首用のディジタル振動信号サンプルが次に早く、左耳用のディジタル音響信号サンプルと右耳用のディジタル音響信号サンプルが最も遅くなるように、4通りの時系列信号を出力すればよい。
なお、再生装置20は、上述した時間差が与えられた複数の時系列信号を記憶部に記憶しておいて、記憶部から読み出した複数の時系列信号をそのまま出力してもよいし、上述した時間差が与えられていない複数の時系列信号を記憶部に記憶しておいて、記憶部から読み出した複数の時系列信号に上述した時間差を与えてから出力してもよい。同様に、再生装置20は、上述した時間差が与えられた複数の時系列信号を受信して、受信した複数の時系列信号をそのまま出力してもよいし、上述した時間差が与えられていない複数の時系列信号を受信して、受信した複数の時系列信号に上述した時間差を与えてから出力してもよい。また、最終的に呈示する信号に時間差が与えられていればよいことからすれば、再生装置20は上述した時間差が与えられていない複数の時系列信号を出力して、振動呈示インタフェース装置30が上述した時間差を与えた複数のアナログ信号を出力するようにしてもよい。
[振動信号の大きさと周波数特性]
上述した通り、利用者の体の部位に与えられた振動は神経を経て脳に伝わる。体の部位に与えられた振動は、その部位の構造や神経の特性によって変調されて脳に伝わる。そこで、再生装置20は、各部位の変調特性の逆特性を与えたディジタル振動信号を各部位用のディジタル振動信号として出力する。例えば、第1の部位が第2の部位よりも与えられた振動のうちの低周波数成分が強く脳に伝わる部位であれば、再生装置20は、第1の部位用のディジタル振動信号が第2の部位用のディジタル振動信号よりも低周波数成分が小さくなるようにして、第1の部位用のディジタル振動信号と第2の部位用のディジタル振動信号を出力する。また例えば、第1の部位が第2の部位よりも与えられた振動が強く脳に伝わる部位であれば、再生装置20は、第1の部位用のディジタル振動信号が第2の部位用のディジタル振動信号よりも大きさが小さくなるようにして、第1の部位用のディジタル振動信号と第2の部位用のディジタル振動信号を出力する。
なお、最終的に呈示する信号に大きさや周波数特性が与えられていればよいので、再生装置20が記憶しておくまたは受け取る各部位用のディジタル振動信号に大きさや周波数特性が与えられていてもよいし、再生装置20が記憶しておくまたは受け取るディジタル振動信号には大きさや周波数特性が与えられておらず、再生装置20が大きさや周波数特性を与えて各部位用のディジタル振動信号として出力してもよいし、再生装置20が大きさや周波数特性が与えられていないディジタル振動信号を出力して、振動呈示インタフェース装置30が大きさや周波数特性を与えて各部位用のアナログ振動信号を出力するようにしてもよい。
<第3実施形態>
第2実施形態のように各部位に最適化された振動を呈示する場合などには、各チャネルについて呈示先の部位を選択できるようにするとよく、この実施形態を第3実施形態として説明する。
第3実施形態の振動呈示システム10のハードウェア構成は第1実施形態及び第2実施形態の振動呈示システム10のハードウェア構成と同じである。第3実施形態の振動呈示システム10が第1実施形態及び第2実施形態の振動呈示システム10と異なるのは、再生装置20または振動呈示インタフェース装置30に利用者が各チャネルについての呈示先の部位を選択するユーザインタフェースを備える点である。以下では、第1実施形態及び第2実施形態と異なる点について説明する。
[再生装置20に、利用者が各チャネルについての呈示先の部位を選択するユーザインタフェースを備える構成]
利用者が各チャネルについての呈示先の部位を選択するユーザインタフェースを備える再生装置20は、図2に例示するように、例えば、スマートフォンやタブレット端末である再生装置20のタッチスクリーン上に表示されて利用者のタッチ入力を受け付ける呈示先選択ユーザインタフェース23を備える。呈示先選択ユーザインタフェース23は、各チャネルについて、予め定めた複数の部位から1つの部位を振動の呈示先として利用者に選択させるためのものである。
呈示先選択ユーザインタフェース23は、各チャネルについて、予め定めた複数の部位それぞれに対応するボタンを含む。再生装置20は、各チャネルについて、タッチ入力を受け付けたボタンに対応する部位用のディジタル振動信号を出力する。
図2は、予め定めた部位が左手、右手、左足、右足、左肩、右肩、首、背中の8個であり、チャネル数が8である場合の再生装置20を例示したものである。図2に例示した呈示先選択ユーザインタフェース23は、第1チャネルから第8チャネルの各チャネルについて、左手、右手、左足、右足、左肩、右肩、首、背中、と表記されたボタンを含む。例えば、再生装置20は、第1チャネルについて左手のボタンのタッチ入力を受け付けた場合には、第1チャネルのディジタル振動信号として、左手用のディジタル振動信号を出力する。
なお、呈示先選択ユーザインタフェース23には、各チャネルについて、上述した複数の部位それぞれに対応するボタンに加えて、音響信号を選択するためのボタンを含んでもよく、例えば、ステレオの音響信号の各チャネルに対応するボタンを含んでもよい。この場合には、再生装置20は、各チャネルについて、タッチ入力を受け付けたボタンが音響信号の何れかのチャネルに対応するボタンである場合には、対応するチャネルのディジタル音響信号を出力する。
また、呈示先選択ユーザインタフェース23は、各チャネルについて予め定めた複数の部位それぞれに対応するタッチスクリーン上のボタンを含むことに代えて、各チャネルについて予め定めた複数の体の部位それぞれに対応する選択位置を備えた、タッチスクリーン上の選択スイッチを含むようにしてもよい。
[振動呈示インタフェース装置30に、利用者が各チャネルについての呈示先の部位を選択するユーザインタフェースを備える構成]
利用者が各チャネルについての呈示先の部位を選択するユーザインタフェースを備える振動呈示インタフェース装置30は、図3に例示するように、例えば、振動呈示インタフェース装置30の筐体に配置されて利用者の選択操作を受け付ける呈示先選択ユーザインタフェース33を備える。呈示先選択ユーザインタフェース33は、各チャネルについて、予め定めた複数の部位から1つの部位を振動の呈示先として利用者に選択させるためのものである。
例えば、呈示先選択ユーザインタフェース33は、図2に例示した呈示先選択ユーザインタフェース23のボタンを物理ボタンに置き換えた構成であり、各チャネルについて、予め定めた複数の部位それぞれに対応するボタンを含む。呈示先選択ユーザインタフェース33がこの構成である場合には、振動呈示インタフェース装置30は、各チャネルについて、押下されたボタンに対応する部位用のアナログ振動信号を出力する。
また例えば、呈示先選択ユーザインタフェース33は、図3に例示するように、各チャネルについて、予め定めた複数の部位それぞれに対応する選択位置を有するロータリースイッチを含む。呈示先選択ユーザインタフェース33がこの構成である場合には、振動呈示インタフェース装置30は、各チャネルについて、ロータリースイッチの選択位置に対応する部位用のアナログ振動信号を出力する。
図3は、予め定めた部位が左手、右手、左足、右足、左肩、右肩、首、背中の8個であり、チャネル数が8である場合の振動呈示インタフェース装置30を例示したものであり、呈示先選択ユーザインタフェース33は、第1チャネルから第8チャネルの各チャネルについて、左手、右手、左足、右足、左肩、右肩、首、背中、と表記された選択位置を有するロータリースイッチを含む。例えば、振動呈示インタフェース装置30は、第1チャネルについてロータリースイッチの選択位置が左手とされた場合には、第1チャネルのアナログ振動信号として、左手用のアナログ振動信号を出力する。
なお、呈示先選択ユーザインタフェース33には、各チャネルについて、上述した複数の部位それぞれに対応する選択位置やボタンに加えて、音響信号を選択するための選択位置やボタンを含んでもよく、例えば、ステレオの音響信号の各チャネルに対応する選択位置やボタンを含んでもよい。この場合には、振動呈示インタフェース装置30は、各チャネルについて、ロータリースイッチの選択位置が音響信号の何れかのチャネルに対応する場合や、押下されたボタンが音響信号の何れかのチャネルに対応するボタンである場合には、対応するチャネルのアナログ音響信号を出力する。
また、呈示先選択ユーザインタフェース33は、ロータリースイッチではなくレバースイッチであってもよいし、複数の選択位置を備えたスイッチであればどのようなスイッチを用いてもよい。
<第4実施形態>
第2実施形態のように各部位に最適化された複数の振動を呈示する場合などには、第3実施形態のように各チャネルについて呈示先の部位を選択できるようにしてもよいが、呈示先の部位の全チャネルについての組み合わせを1回の操作で選択できるようにするとよく、この実施形態を第4実施形態として説明する。
第4実施形態の振動呈示システム10のハードウェア構成は第1実施形態及び第2実施形態の振動呈示システム10のハードウェア構成と同じである。第4実施形態の振動呈示システム10が第1実施形態及び第2実施形態の振動呈示システム10と異なるのは、再生装置20または振動呈示インタフェース装置30に利用者が全チャネルについての呈示先の部位の組み合わせを一括選択するユーザインタフェースを備える点である。以下では、第1実施形態及び第2実施形態と異なる点について説明する。
[再生装置20に、利用者が全チャネルについての呈示先の部位の組み合わせを一括選択するユーザインタフェースを備える構成]
利用者が全チャネルについての呈示先の部位の組み合わせを一括選択するユーザインタフェースを備える再生装置20は、図4に例示するように、例えば、スマートフォンやタブレット端末である再生装置20のタッチスクリーン上に表示されて利用者のタッチ入力を受け付ける呈示先一括選択ユーザインタフェース24を備える。呈示先一括選択ユーザインタフェース24は、予め定めた複数通りの、全チャネルについての呈示先の部位の組み合わせのうちの1通りの組み合わせを、振動の呈示先の部位の組み合わせとして利用者に選択させるためのものである。
呈示先一括選択ユーザインタフェース24は、1つのボタンと、各チャネルについての呈示先の部位の表記と、の組み合わせを、複数個(M個、Mは2以上の整数)含む。再生装置20は、タッチ入力を受け付けたボタンに対応する組み合わせに含まれる各チャネルの部位用のディジタル振動信号を出力する。
図4は、予め定めた部位が左手、右手、左足、右足、左肩、右肩、首、背中の8個であり、チャネル数が8である場合の再生装置20を例示したものである。図4に例示した呈示先一括選択ユーザインタフェース24は、1番目のボタンと、第1チャネルの呈示先が左手であり、第2チャネルの呈示先が右手であり、第3チャネルの呈示先が左手であり、第4チャネルの呈示先が右手であり、第5チャネルの呈示先が左手であり、第6チャネルの呈示先が右手であり、第7チャネルの呈示先が左手であり、第8チャネルの呈示先が右手であることの表記との組み合わせ、2番目のボタンと、第1チャネルの呈示先が左手であり、第2チャネルの呈示先が右手であり、第3チャネルの呈示先が左足であり、第4チャネルの呈示先が右足であり、第5チャネルの呈示先が左手であり、第6チャネルの呈示先が右手であり、第7チャネルの呈示先が左足であり、第8チャネルの呈示先が右足であることの表記との組み合わせ、・・・、M番目のボタンと、第1チャネルの呈示先が左手であり、第2チャネルの呈示先が右手であり、第3チャネルの呈示先が左足であり、第4チャネルの呈示先が右足であり、第5チャネルの呈示先が左肩であり、第6チャネルの呈示先が右肩であり、第7チャネルの呈示先が首であり、第8チャネルの呈示先が背中であることの表記との組み合わせ、を含む。例えば、再生装置20は、2番目のボタンのタッチ入力を受け付けた場合には、第1チャネルのディジタル振動信号として左手用のディジタル振動信号を出力し、第2チャネルのディジタル振動信号として右手用のディジタル振動信号を出力し、第3チャネルのディジタル振動信号として左足用のディジタル振動信号を出力し、第4チャネルのディジタル振動信号として右足用のディジタル振動信号を出力し、第5チャネルのディジタル振動信号として左手用のディジタル振動信号を出力し、第6チャネルのディジタル振動信号として右手用のディジタル振動信号を出力し、第7チャネルのディジタル振動信号として左足用のディジタル振動信号を出力し、第8チャネルのディジタル振動信号として右足用のディジタル振動信号を出力する。
なお、呈示先一括選択ユーザインタフェース24には、何れかのチャネルの呈示先の部位の表記に代えて音響信号の表記を含んでもよく、例えば、ステレオの音響信号の各チャネルに対応する表記を含んでもよい。すなわち、全チャネルについての呈示先の部位の組み合わせに、何れかのチャネルについては呈示先の部位ではなく音響信号を呈示することを含んでもよい。この場合には、再生装置20は、タッチ入力を受け付けたボタンに対応する組み合わせに含まれる音響信号を呈示するチャネルについては、当該チャネルのディジタル音響信号を出力する。
また、呈示先一括選択ユーザインタフェース24は、タッチスクリーン上にM個のボタンを含むことに代えて、M個の選択位置を備えた選択スイッチを含むようにしてもよい。この場合には、呈示先一括選択ユーザインタフェース24は、選択スイッチの各選択位置に、複数チャネルの各チャネルについての呈示先の部位の表記を組み合わせておけばよい。
[振動呈示インタフェース装置30に、利用者が全チャネルについての呈示先の部位の組み合わせを一括選択するユーザインタフェースを備える構成]
利用者が全チャネルについての呈示先の部位の組み合わせを一括選択するユーザインタフェースを備える振動呈示インタフェース装置30は、図5に例示するように、例えば、振動呈示インタフェース装置30の筐体に配置されて利用者の選択操作を受け付ける呈示先一括選択ユーザインタフェース34を備える。呈示先一括選択ユーザインタフェース34は、全チャネルについての呈示先の部位の組み合わせ、の予め定めた複数通りの組み合わせうちの1通りの組み合わせを、振動の呈示先の部位の組み合わせとして利用者に選択させるためのものである。
例えば、呈示先一括選択ユーザインタフェース34は、図5に例示するように、図4に例示した呈示先一括選択ユーザインタフェース24のボタンを物理ボタンに置き換えた構成であり、1つのボタンと、各チャネルについての呈示先の部位の表記と、の組み合わせを、複数個(M個、Mは2以上の整数)含む。振動呈示インタフェース装置30は、押下されたボタンに対応する組み合わせに含まれる各チャネルの部位用のアナログ振動信号を出力する。
なお、呈示先一括選択ユーザインタフェース34も、呈示先一括選択ユーザインタフェース24と同様に、何れかのチャネルの呈示先の部位の表記に代えて音響信号の表記を含んでもよく、例えば、ステレオの音響信号の各チャネルに対応する表記を含んでもよい。この場合には、振動呈示インタフェース装置30は、押下されたボタンに対応する組み合わせに含まれる音響信号を呈示するチャネルについては、当該チャネルのアナログ音響信号を出力する。
また、呈示先一括選択ユーザインタフェース34は、M個のボタンを含むことに代えて、M個の選択位置を備えた選択スイッチを含むようにしてもよい。この場合には、呈示先一括選択ユーザインタフェース34は、選択スイッチの各選択位置に、複数チャネルの各チャネルについての呈示先の部位の表記を組み合わせておけばよい。
<補記>
上述の本発明の実施形態の記載は、例証と記載の目的で提示されたものである。網羅的であるという意思はなく、開示された厳密な形式に発明を限定する意思もない。変形やバリエーションは上述の教示から可能である。実施形態は、本発明の原理の最も良い例証を提供するために、そして、この分野の当業者が、熟考された実際の使用に適するように本発明を色々な実施形態で、また、色々な変形を付加して利用できるようにするために、選ばれて表現されたものである。すべてのそのような変形やバリエーションは、公正に合法的に公平に与えられる幅にしたがって解釈された添付の請求項によって定められた本発明のスコープ内である。

Claims (4)

  1. メディアコンテンツについての触覚で知覚するための振動信号を呈示する振動呈示システムであって、
    複数チャネルの前記振動信号それぞれに対応する振動を発生する振動体を備え、
    前記複数チャネルの前記振動信号それぞれは体の特定の部位用のものであり、
    前記振動体が発生する振動は、同時刻に知覚されるべき各部位用の振動について、脳から遠い部位用の振動ほど早く発生されるような時間差が与えられたものであり、
    前記時間差は、前記各部位についての神経伝達時間の差に認知的補正をした値、または当該値の近傍の値、である
    振動呈示システム。
  2. メディアコンテンツについての触覚で知覚するための振動信号を呈示する振動呈示システムであって、
    複数チャネルの前記振動信号それぞれに対応する振動を発生する振動体を備え、
    前記複数チャネルの前記振動信号それぞれは体の特定の部位用のものであり、
    前記振動体が発生する振動は、同時刻に知覚されるべき各部位用の振動について、脳から遠い部位用の振動ほど早く発生されるような時間差が与えられたものであり、
    前記時間差は、前記各部位についての神経伝達時間の差、または当該差の近傍の値、である
    振動呈示システム。
  3. メディアコンテンツについての触覚で知覚するための振動信号を呈示する振動呈示システムであって、
    複数チャネルの前記振動信号それぞれに対応する振動を発生する振動体を備え、
    前記複数チャネルの前記振動信号それぞれは体の特定の部位用のものであり、
    前記振動体が発生する振動は、同時刻に知覚されるべき各部位用の振動について、脳から遠い部位用の振動ほど早く発生されるような時間差が与えられたものであり、
    前記時間差は、前記各部位についての神経伝達時間の差と、前記各部位についての神経伝達時間の差に認知的補正をした値と、の間の値である
    振動呈示システム。
  4. 請求項1または3に記載の振動呈示システムであって、
    前記各部位についての神経伝達時間の差に認知的補正をした値は、前記各部位についての神経伝達時間の差より小さな値である
    振動呈示システム。
JP2021548069A 2019-09-26 2019-09-26 振動呈示システム Active JP7290167B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/037778 WO2021059422A1 (ja) 2019-09-26 2019-09-26 振動呈示システム

Publications (2)

Publication Number Publication Date
JPWO2021059422A1 JPWO2021059422A1 (ja) 2021-04-01
JP7290167B2 true JP7290167B2 (ja) 2023-06-13

Family

ID=75164898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021548069A Active JP7290167B2 (ja) 2019-09-26 2019-09-26 振動呈示システム

Country Status (3)

Country Link
US (1) US11790740B2 (ja)
JP (1) JP7290167B2 (ja)
WO (1) WO2021059422A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003102086A (ja) 2001-09-21 2003-04-04 Denon Ltd オーディオ再生椅子
JP2008077631A (ja) 2006-08-24 2008-04-03 Toyota Central R&D Labs Inc シート、車両用シート、及び車両用情報提示装置
JP2009031946A (ja) 2007-07-25 2009-02-12 Toyota Central R&D Labs Inc 情報提示装置
WO2018061528A1 (ja) 2016-09-30 2018-04-05 ソニー株式会社 コンテンツ提供システム、制御装置及び受信装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3341238B2 (ja) 1999-09-14 2002-11-05 株式会社アクーヴ・ラボ 振動を人体に感じさせる方法及びその装置
JP2007331519A (ja) * 2006-06-14 2007-12-27 Nissan Motor Co Ltd 車両用シート装置
US10820061B2 (en) * 2016-10-17 2020-10-27 DISH Technologies L.L.C. Apparatus, systems and methods for presentation of media content using an electronic Braille device
US10863264B2 (en) * 2017-01-23 2020-12-08 David Sampson Vibration inducing tactile apparatus
JP2021015488A (ja) * 2019-07-12 2021-02-12 株式会社東海理化電機製作所 制御装置、呈示装置、およびデータ
US10824390B1 (en) * 2019-09-24 2020-11-03 Facebook Technologies, Llc Methods and system for adjusting level of tactile content when presenting audio content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003102086A (ja) 2001-09-21 2003-04-04 Denon Ltd オーディオ再生椅子
JP2008077631A (ja) 2006-08-24 2008-04-03 Toyota Central R&D Labs Inc シート、車両用シート、及び車両用情報提示装置
JP2009031946A (ja) 2007-07-25 2009-02-12 Toyota Central R&D Labs Inc 情報提示装置
WO2018061528A1 (ja) 2016-09-30 2018-04-05 ソニー株式会社 コンテンツ提供システム、制御装置及び受信装置

Also Published As

Publication number Publication date
US11790740B2 (en) 2023-10-17
WO2021059422A1 (ja) 2021-04-01
US20220343741A1 (en) 2022-10-27
JPWO2021059422A1 (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
CN101356573B (zh) 对双耳音频信号的解码的控制
AU2008362920B2 (en) Method of rendering binaural stereo in a hearing aid system and a hearing aid system
JPWO2015102117A1 (ja) 音響ヘッドホンの触覚装置でオーディオ信号を再生するための方法および装置
JP2009509185A (ja) 同期音声データ処理のための音声データ処理装置及び方法
WO2020182020A1 (zh) 一种音频信号播放方法及显示设备
JP5776597B2 (ja) 音信号処理装置
KR102128281B1 (ko) 앰비소닉 신호를 사용하는 오디오 신호 처리 방법 및 장치
EP2672729A1 (en) Audio output apparatus and method for outputting audio
JP7371968B2 (ja) メタデータを利用するオーディオ信号処理方法及び装置
GB2578715A (en) Controlling audio focus for spatial audio processing
US7920708B2 (en) Low computation mono to stereo conversion using intra-aural differences
JP7290167B2 (ja) 振動呈示システム
JP7222434B2 (ja) 振動呈示システム
US20230007434A1 (en) Control apparatus, signal processing method, and speaker apparatus
US10993060B2 (en) Acoustic signal processing device and acoustic signal processing method
WO2008084436A1 (en) An object-oriented audio decoder
KR20070081735A (ko) 오디오 신호의 인코딩/디코딩 방법 및 장치
JP2016174226A (ja) 音声無線伝送システム、スピーカ機器、及びソース機器
KR101534295B1 (ko) 멀티 뷰어 영상 및 3d 입체음향 제공방법 및 장치
JP2008301205A (ja) 音声出力装置及び音声出力方法
JP2016178396A (ja) 音声無線伝送システム、スピーカ機器、及びソース機器
KR20240004869A (ko) 3차원 오디오 신호 인코딩 방법 및 장치, 및 인코더
JP5032921B2 (ja) 音像制御装置および音像制御方法
JP2004343376A (ja) Avシステム
JP2006025052A (ja) 音響再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220112

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A801

Effective date: 20220112

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20220112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230515

R150 Certificate of patent or registration of utility model

Ref document number: 7290167

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150