JP5603157B2 - 情動制御装置 - Google Patents

Description

本発明は、デジタルメディア技術を用いた映像系のエンタテインメント分野における鑑賞者自らの心音を利用した新たな鑑賞空間を創生する情動制御装置に関する。

映像コンテンツのデジタル化が急速に進み、インターネット利用に見られるように配信チャネルの多様化の流れの中、視聴者におけるメディア接触行動は、大きく変化し、デジタルコンテンツ市場は順調に拡大してきている。ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ），デジタル放送、携帯電話など、急速に進歩するデジタル技術と新たなメディアビジネスへの期待が牽引役である。デジタルコンテンツ市場は、媒体別には、パッケージ、ネットワーク、携帯電話、デジタル放送の４分野に区分され、内容別には、出版系、ゲーム系、音楽系、そして映像系の４分野に分けられる。

しかし、デジタルコンテンツはその技術的な側面において確かに表現手法は高度化し、表示装置の高画質化も急速に進展してきたが、最終的な鑑賞方法は映像を見て、音声を聴くことであり本質的な点では従来と変わらない。

本発明は人間の持つ心音に着目しているが、心音を利用する方法としては、他人の心音を利用する場合と、自分の心音を利用する場合が考えられ、利用コンテンツとしては、音情報のみの場合と、映像と音が合わさった場合とがある。

音情報のみの場合に、他人の心音を利用した装置は、主に赤ちゃんに安心感を与えるための装置として利用されている。

例えば、保育器の赤ちゃんが聴き取り可能な箇所に母親の心音を発する発音装置を設けたもの（特許文献１参照）、マットの一部に心音もしくはそれに類似する音を発する心音発生器を設けたもの（特許文献２参照）、消臭と遠赤外線・マイナスイオンを発生する炭化綿パットと揺籠効果が出る粘調液体マット、精神的癒し効果を出す母体心音再生装置を一体化した清潔で安心感を与えるベット（特許文献３参照）等がある。

妊娠中に母体から取得した心音を記録した赤ちゃんへの記念品で、成長後の子供に癒しを与える心音アルバムの提案もある（特許文献４参照）。

また、映像情報と音情報が合わさった場合に、他人の心音を利用した場合としては、スポーツ放送の娯楽性を高めるため、競技やスポーツにおいて、選手や動物に生体信号を検出する生体信号検出器を付けて、そのとき検出したデータを無線送信し、観戦者が、選手や動物のコンディション、緊張度をリアルタイムに知ることを可能とした装置が提案されている（特許文献５参照）。

以上述べた心音の利用は、心音を聴く立場の視聴者と聴いている心音の当時者とは別であり、視聴者自らの心音を聴いているものではない。

音情報のみの場合に、自らの心音を聴く装置の提案としては、体に巻きつけ固定することが出来るベルトに、集音器を設ける装置があり、集音器を手で押さえることなく、力を抜いた状態で自分自身の心音、体音を長時間聴くことが出来る（特許文献６参照）。

この自らの心音を聴く装置は、自らの心音を聴くのみであり他の現象等と連携して新たな効果を奏するものではない。

映像情報と音情報を合せた場合に、これまで自分の心音を利用して、映像の演出に利用したものは存在していないのが現状である。

実開平７−５６２３号公報 実開平６−１９６１４号公報 登録実用新案第３０９４６２３号公報 登録実用新案第３１５４０９７号公報 特開２００４−１９２６３２号公報 登録実用新案第３１２４５３５号公報

映像演出に心音を利用することは、映像に緊張感や娯楽性をもたらすものであるが、鑑賞者自らの心音を利用した装置の提案は従来されていない。これまでも様々な映像の中で心音が使用されてきたが、鑑賞者自身の心音を利用したものはなく、その心音によって、感情移入する対象は、映像制作側の意図によってのみ決定され、鑑賞者側は選択し、自ら演出することはできなかった。

このため、本発明は、鑑賞者自身の心音を抽出して、映像コンテンツの音声信号とミキシングし、映像の音声とともに鑑賞者自らの心音を聴くことにより効果的な感情移入を可能とし、さらに鑑賞者が自らの意思で効果を演出できる情動制御装置を提供することを目的としている。

本発明による情動制御装置は、映像鑑賞者の人体音を抽出する人体音信号抽出部と、抽出された人体音を入力する人体音信号入力部と、取得された人体音の電気信号をフィルタリングするフィルタ部と、映像に付随して出力される音声信号入力部と、フィルタリングされた人体音信号と音声信号をミキシングするミキサ部と、ミキシングされた音声を出力する出力部とを備えたことを特徴とする。

人体音信号抽出部は、電子聴診器または小型マイクロホンである。

フィルタ部は、人体音から１５０Ｈｚ以上の周波数領域を遮断して心音を取り出している。

出力部は、音声出力可能なスピーカ、イヤホンまたはヘッドホンである。また、骨伝導ヘッドホンを使用することもできる。これらの出力機器は、その特長を生かして心音の効果を独特の方法で演出することになる。

出力部は、音声を出力する音声出力部と振動を出力する振動出力部を備えてもよい。振動出力部は、例えば、映像鑑賞者が座位する椅子に取り付けられる。

情動制御装置の音声信号入力部は無線信号を受信する機能を備え、映像出力装置からの電波による送信された音声信号を受信するようにしてもよい。

複数の情動制御装置により複数の鑑賞者が同一の映像を鑑賞する場合には、同一の映像からの同一の音声信号を入力し、各情動制御装置を使用して同一の映像を鑑賞している鑑賞者の心音を、複数の情動制御装置に個別に抽出して取得する。この場合、複数の情動制御装置の音声信号入力部は無線信号を受信する機能を備え、映像出力装置から電波により送信された音声信号を受信する。

人体音信号は、映像鑑賞者により映像の中での任意のシーン、任意のキャラクタに対して選択的に挿入され、映像鑑賞者がフィルタ通過後の心音の音量を変化させることができる音量制御部をさらに備える。

また、製作者側による心音付加期間情報が加えられた映像情報を入力する映像信号入力部と、映像情報から心音付加期間情報を取り出す映像情報分析部と、映像情報分析部での映像分析により、心音付加期間のタイミングを抽出するタイミング抽出部をさらに備え、ミキサ部において、抽出されたタイミングの期間のみ映像音声に心音がミキシングされ、その他の期間では心音はカットされるようにしてもよい。これにより、鑑賞者自らが細かな操作に煩わされることなく感情移入の演出ができる。

心音は鑑賞者の胸に心音の抽出機器を当接することにより抽出するが、胸に直接機器を当てることなく簡易な方法で心音を得るために、心音と同じ周期のリズムで脈動する心拍を抽出する方法もある。

このような情動制御装置は、脈拍を人体音信号抽出部で手などの血管から取り出し、この信号から周期的なトリガ信号を発生させるトリガ信号発生部と、トリガ信号発生部からのトリガ信号により、予め記憶されている心音を発生させる心音発生部とをさらに備え、トリガ信号発生部では、脈拍信号の脈拍に対応して発生した１つのトリガ信号に対して１周期分の心音を、予め格納されている心音記憶部から読み出して心音を発生させる。

記憶されている心音は、鑑賞者自らの心音であるため、擬似的に鑑賞者の現在の心音を抽出した場合と同様の効果が得られる。音質よりリズム感の方が、心理的な影響が大きいからである。また、心音は鑑賞者が指定した人の心音でもよい。この場合でも鑑賞中の心音のリズム即ち心音の周期は鑑賞者に依存しているため、演出効果は鑑賞者自身の心音を聴く場合に相当する。

脈拍から心拍の周期的なトリガ信号を抽出して心音を発生させる場合であっても、映像製作者側による心音付加期間情報が加えられた映像情報を入力する映像信号入力部と、映像情報から心音付加期間情報を取り出す映像情報分析部と、映像情報分析部での映像分析により、心音付加期間のタイミングを抽出するタイミング抽出部をさらに備え、ミキサ部において、抽出されたタイミングの期間のみ映像音声に心音がミキシングされ、その他の期間では心音はカットされるようにしてもよい。

本発明により、映像演出に使用する心音として、最も効果的な心音を利用した新たな鑑賞空間を創製できるため、より緊張感があり、娯楽性に満ちた映像鑑賞ができる効果を奏する。また、鑑賞者が胸に心音信号取得のための機器、例えばマイクをあてるだけで、簡単に心音が取得でき、容易に装置の実現が可能である。

複数の鑑賞者が同一の映像を鑑賞する場合であっても、映像にともなう音声に、鑑賞者自身の心音を加えて、鑑賞者自身が聴くことができ、同じ映像からも、個人個人に異なる演出をすることができる。

鑑賞者が感情移入するにあたっては、心音のリズムは、自身の心音と同じリズムであることが望ましく、映像演出にあたり、その場で取得した自身の心音を利用することは、鑑賞者が映像に感情移入するにあたっての最適な心音となる。また、映像の上映中に、どのシーンやどのキャラクタに感情移入するかは、鑑賞者自身が関与することができ、より演出効果の高い映像が鑑賞できる。

また、鑑賞者が指定した人の心音を使用する場合においては、心音の提供者との特別な関係から、感情記入において、さらに心理的な効果を加えることができる。

本発明による情動制御装置の概略を示すブロック図。 心音を説明するための波形例を示す図。 本発明による情動制御装置を使用した映像鑑賞で、出力部の音声出力機器としてスピーカを用いた場合の具体例を示す図。 本発明による情動制御装置を使用した映像鑑賞で、出力部の音声出力機器としてヘッドホンを用いた場合の具体例を示す図。 音声出力機器として使用する骨伝道イヤホンを説明する図。 出力部が音声と振動である場合の出力部ブロック図。 本発明による情動制御装置の出力部に音声出力と振動出力がある場合の映像鑑賞の具体例を示す図。 本発明による情動制御装置を使用して、複数の鑑賞者が同じ映像を鑑賞する場合の具体例を示す図。 鑑賞者が音量を制御することができる情動制御装置の概略を示すブロック図。 鑑賞者の心音を挿入するタイミングを映像製作者側から送信する情動制御装置の概略を示すブロック図。 予め記憶された心音を、鑑賞者の人体信号から検出したタイミングで挿入する情動制御装置の概略を示すブロック図。 予め記憶された心音を、映像製作者側から送信されるタイミングで挿入する情動制御装置の概略を示すブロック図。

以下、本発明の一実施形態について、図１〜図３に基づいて説明する。

図１は、本発明による情動制御装置１０の概略を示すブロック図である。情動制御装置１０は、人体音信号抽出部１２、人体音信号入力部１４、フィルタ部１６、音声信号入力部１８、ミキサ部２０及び出力部２２から構成されている。

人体音は、人体音信号抽出部１２により抽出する。人体音の抽出を行うための具体的な機器としては、電子聴診器または小型マイクロホンがある。例えば電子聴診器を使用する場合は、電子聴診器を胸に当てて、人体音を電気信号として取得する。取得した人体信号は、電子聴診器に備えられている外部出力端子から人体音信号入力部１４に接続し、人体音信号入力部１４に抽出した人体音を入力する。

人体音信号入力部１４では、人体音信号抽出部１２で抽出されたアナログ信号をサンプリングによりデジタル信号として処理する。サンプリング周波数は、例えば４ｋＨｚとしてＡ−Ｄ（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ）変換して、人体音信号入力部１４に設けられている記憶領域に格納する。

フィルタ部１６は、抽出した人体音から心音を取り出すために、Ａ−Ｄ変換によりデジタル信号化された人体音をディジタルフィルタ等により信号処理する。

抽出される人体音には、心音の他に、呼吸音等がある。呼吸音の周期は、通常０．６Ｈｚ以下であり、心音の周期は一般的に安静時で０．８〜１．６Ｈｚ程度である。これらの周波数領域は可聴周波数以下であり耳に音として聴こえることはない。また、呼吸音は主に口からの外部音声であるために、胸に当接して抽出する人体音信号に混入する呼吸音は少ない。従って、医療関係での心音診断とは異なり、音としての可聴音信号の抽出であるために、１５０Ｈｚまでの周波数領域をフィルタにより取り出せば、純粋に鼓動音のみを取り出すことができ、心音効果としての音質は十分な品質を有している。また、高周波数領域は、衣服などの擦れる音等の外部音を含んでいるので、これらの雑音を遮断する意味でも１５０Ｈｚ以上の高周波数領域は遮断した。

フィルタ部における信号処理は、必ずしもデジタル化して処理する必要は無く、アナログ信号のままでアナログ回路によるフィルタ処理してもよい。

音声入力部１８には、映像コンテンツを鑑賞する場合における音声信号を入力する。映像コンテンツは、例えばＤＶＤレコーダを使用してＤＶＤに記録された映像コンテンツを再生するが、映像はＤＶＤレコーダの表示画面に表示されている。音声は、ＤＶＤプレーヤに付属しているスピーカから出力されるが、イヤホン端子にプラグを差し込んで外部出力機器に音声信号を取り出すことができる。このイヤホン端子から取り出した音声信号を音声入力部１８に入力している。

ミキサ部２０では、フィルタ部１６で取り出された心音が、アナログ信号に変換されて入力され、音声信号入力部１８に入力された映像の音声信号と合成される。

そして、ミキサ部２０で合成されたた信号は、出力部２２により音声として出力され、鑑賞者が聴くことになる。

図２は、心音を説明するための概略波形である。

心音３５は心臓から聞こえる音のことであり、１回の心臓の拍動で２つの音が聞こえてくる。この２つの音を、心音のＩ音３６−１、３６−２とＩＩ音３７−１、３７−２と言う。Ｉ音３６−１、３６−２は心臓が収縮して血液を全身に送り出す時に聞こえる音であり、主に房室弁（僧帽弁と三尖弁）が閉まる音と血液が大動脈や肺動脈に流出していく時の血管の振動の音である。ＩＩ音３７−１、３７−２は心室が収縮し終わった時に聞こえる音であり、主に、大動脈弁と肺動脈弁が閉まる音である。

心雑音は、これらのＩ音３６−１、３６−２とＩＩ音３７−１、３７−２の間に聞こえる血液の乱流である。Ｉ音３６−１とＩＩ音３７−１の間に聞こえる雑音が収縮期雑音３８、ＩＩ音３７−１とＩ音３６−２の間に聞こえるのが拡張期雑音３９である。

ここに示した心音３５は、興奮状態における情感的な表現としての「心臓の高鳴り」や「胸がどきどきする」といった状態のときに、Ｉ音３６−１、３６−２及びＩＩ音３７−１、３７−２の周期が短くなったり、振幅が大きくなったりする。また、収縮期雑音３８や拡張期雑音３９も雑音というよりもむしろ精神状態を適格に示す指標ともいえるものである。

従って、映像の鑑賞時に映像に伴う音声と、鑑賞者が発する心音を同時に外部から鑑賞者が聴くことは、鑑賞者の内部音と外部音のリズムが一致しているため、映像に依存して感情が移入する演出効果を奏することになる。この効果により、鑑賞者はより緊張感を伴う娯楽性を楽しむことができるようになる。

図３は、これまでに説明した情動制御装置１０を使用した映像鑑賞で、出力部２２の音声出力機器としてスピーカ５０を用いた場合の具体例を示している。

鑑賞者４０は椅子４２に座って映像鑑賞している場面である。情動制御装置１０の人体音信号抽出部１２は、鑑賞者４０の胸に取り付けられ、心音を抽出する。映像は、ＤＶＤレコーダ４６により再生されている。ＤＶＤは、ＤＶＤレコーダ４６のディスク挿入口４８から挿入され、映像表示機器４４の表示画面に表示されている。映像の音声と心音は、情動制御装置１０に取り入れられ、ミキシングされて出力部２２としての外部スピーカ５０から音声出力されている。

次に、出力部２２に於いて、様々な出力機器を用いた場合における効果を図４〜図７を用いて説明する。

図４は、情動制御装置１０の出力部２２として、ヘッドホン５２を用いた場合の具体的な例である。ヘッドホン５２は、音源を聴取すると頭の内部に音像が定位することになり、音楽等では反響音を含めた自然な音の広がりが得られないことがあるものの、心音は人体内の音でありむしろ演出効果を増幅させる。

図５は、情動制御装置１０の出力部２２として、骨伝導ヘッドホン５４を用いた場合に、耳５６の近傍に装着した場合の図である。

音は、空気の振動により耳５６で聴く「気導音」と、頭蓋骨の振動で伝えられた音を耳の中にある蝸牛に伝えて聴く「骨導音」とがある。通常、耳５６から聴く音は気導音であり、映像に付随する音声は、気導音のほうが自然な形態で聴くことができる。しかし、心音は体内で発する音であり、自分自身の音は骨導音として聴くほうがリアルな演出効果を生じさせることができる。

このため、図４で示した装置構成において、ヘッドホン５２に代えて骨伝導ヘッドホン５４としてもよいが、その場合、映像からの音質が低下することは避けられない。従って、図３に示したように、出力部２２に外部スピーカ５０を使用しながら、骨伝導ヘッドホン５４を併用する。これにより、映像からの音は自然な音を聴きながら、心音は骨導音を聴くことができ、頭の内部に音を定位させるヘッドホンとは異なった新たな演出効果を得ることができる。

また、情動制御装置１０の出力部２２からの出力として、映像からの音は外部スピーカ５２に、鑑賞者４０から抽出した心音は骨伝導ヘッドホン５４から分離した形態で出力してもよい。骨伝導ヘッドホン５４は、外耳や中耳を経由することなく、内耳の蝸牛に直接音の振動を伝えるため、耳５６が塞がれず、外部からの音は完全にフリーな状態で聴くことができるので、本発明の実施には最も好適な形態とも言える。

図６は、ミキサ部２０でミキシングされた音を、出力部２２において、音声信号増幅部２４を介して音声出力部２８で出力すると同時に、振動増幅部２６を介して振動出力部３０に出力する場合のブロック図である。ミキシングされた音は、音声出力により鑑賞者に伝えることは勿論であるが、物理的な振動により鑑賞者４０に、皮膚感覚で伝える手段として振動出力部３０を備えている。

図７は、情動制御装置１０の出力部２２に音声出力部２８と振動出力部３０がある場合の映像鑑賞の具体例を示す図である。ＤＶＤレコーダ４６で再生された映像は映像表示機器４４で表示され、音声は情動制御装置１０に入力されている。鑑賞者４０は椅子４２に座り、胸部には心音を取り出すために人体音信号抽出部１２をつけている。椅子４２には、振動機器５８が取り付けられている。振動機器５８は、例えば超磁歪スピーカ等であり、椅子４２に振動を与えて、鑑賞者４０が皮膚感覚で振動を感じることができるようになっている。情動制御装置１０を介した音声はヘッドホンで聴いている。

情動制御装置１０からの音は、ヘンドホン５２の特性により頭の内部に定位するとともに、椅子４２に取り付けられた振動機器５８によって、鑑賞者４０の皮膚から体に伝えられる。振動機器５８は、その構造からして低周波数成分を伝えやすいので、特に心音のような低周波数帯に属する音は人体への伝達効果が高い。

このように、鑑賞者自身の心音を頭の内部に定位させ、さらに人体に皮膚感覚で伝えることにより、内部発生の心音と外部からの心音とを同時に聴くことによる演出効果により、さらに感情移入の感覚が強くなる。出力部２２における音声信号増幅部２４と振動信号増幅部２６の増幅率を、鑑賞者４０の好みにより調整可能として、快適な演出効果を自らが選択できる様にしてもよい。

図７では、音声出力機器としてヘッドホン５２を使用した場合を示しているが、ヘッドホン５２に限らず、外部スピーカ５０でもよい。また、さらに骨伝導ヘッドホンを併用した実施形態としてもよい。

図８は、情動制御装置１０を使用して、複数の鑑賞者４０−１、４０−２、４０−３、４０−４が同じ映像を鑑賞する場合の具体例を示す図であり、情動制御装置１０−１、１０−２、１０−３、１０−４は、ＤＶＤレコーダ４６からの音声信号を電波により送受信している場合の具体例を示す図である。

情動制御装置１０を使用した映像鑑賞は、個人に限定されることはなく、映像及びその音声を共通として、心音のみ鑑賞者４０−１、４０−２、４０−３、４０−４は、自身の胸に装着した人体音信号抽出部１２−１、１２−２、１２−３、１２−４から抽出する。鑑賞者４０−１、４０−２、４０−３，４０−４は、それぞれが情動制御装置１０−１、１０−２、１０−３、１０−４を有し、映像に伴う同一の音声を受信する。

複数の鑑賞者が同じ映像を鑑賞する場合は、心音をミキシングした音は個人に対してのみ演出効果を生ずるので、音声出力機器はヘッドホン５２−１、５２−２、５２−３、５２−４による。さらに図８に示したように、振動機器５８−１、５８−２、５８−３、５８−４も個々に取り付ける。

ヘッドホン５２−１、５２−２、５２−３，５２−４や振動機器５８−１、５８−２、５８−３、５８−４は、鑑賞者４０−１、４０−２、４０−３、４０−４によってそれぞれ好みがあり、すべてを共通の機器とする必要は無く、例えば振動機器を無くすことや、ヘッドホン５２−１、５２−２、５２−３、５２−４に代えて鑑賞者４０−１、４０−２、４０−３、４０−４個人が好みにより骨伝導ヘッドホン５４とすることもできる。

さらに適用人数を多人数にし、例えば映画館のような場合に、多数の映画鑑賞者に対するシステムとして提供することもできる。

次に、図９〜図１２を用いて、さらに機能的な拡張と応用について説明する。

図９は、心音の音量を鑑賞者４０が自らの好みに応じて調整することが出来る様に、フィルタ部１６を通過後に音量制御部３２を設けた情動制御装置６０である。音量制御部３２では、鑑賞者が外部から、手元に備えられたボリュームコントローラにより、心音の音量を調整して、映像の場面やキャラクタに対して演出効果を操作する。最小音量は耳に聞こえない場合も含み、心音のオン・オフ機能も兼ねている。

図１０は、映像製作者が鑑賞者４０の心音を取り入れたいと考えている場面を知らせることができる情動制御装置７０である。

映像製作者は、映像信号の中に鑑賞者４０に心音効果を演出したいと考える場面、キャラクタにタイミング信号を埋め込む。タイミング信号を埋め込まれた映像信号は、情動制御装置７０の映像信号入力部７２から取り込まれ、映像情報分析部７４でタイミング信号を分析して、タイミング信号のみをタイミング抽出部７６で抽出する。このタイミング信号により、ミキサ部では人体音信号抽出部１２で抽出され、人体音信号入力部１４、フィルタ部１６、音量制御部３２を介して入力される心音をミキシングする。

音声信号入力部１８から入力された映像の音声に心音を挿入するタイミングは、映像製作者に依存するが、心音は鑑賞者４０の心音であり、演出効果のオン・オフを半自動的に行え、煩わしい操作をすることなく鑑賞できることになる。この場合であっても、心音のリズムや音質は鑑賞者４０のものであるため、映像鑑賞における演出は同様の効果が得られる。

図１１は、人体音信号抽出部１２からの信号をトリガとして予め記憶してある心音を発生させることのできる情動制御装置８０である。トリガ信号発生部８２では、人体音信号抽出部１２からの心音のリズムとなる周期に応じてトリガ信号を発生させる。心音発生部８４には、予め記憶領域に心音の波形データが格納されており、トリガにより心音記憶領域から心音を読み込んで心音を発生させる。

心音のリズムは、心臓の鼓動によるリズムであって、脈動のリズムと同じである。従って、トリガ信号のみを取り出せれば、後は予め記憶領域に格納された心音データにより心音を発生させることができるので、人体音信号抽出部１２では、脈拍を抽出してもよい。

この場合は、例えば手首に検知器を取り付ければよく、心音を抽出する場合のような胸に直接的に電子聴診器や小型マイクを当てるよりも極めて簡単に情動制御装置８０を利用することができる効果をも奏することになる。また、心音の抽出状態が悪い場合、即ち雑音が多い場合にも適用できる。

心音発生部８４に予め記憶しておく心音は、鑑賞者４０の心音とすることは必ずしも必須要件ではなく、ある人の心音を標準音として情動制御装置８０に固定しておくこともできる。

しかしながら、映像鑑賞に心音を使用することは、極めて心理的、生理的な要因を考慮しての効果の付加であり、とすれば心音の音質が微小な差であっても、鑑賞者との特別な人間関係にある人の心音を利用することにより、さらに心理的な効果を相乗させて演出効果を高めることができる。

例えば恋愛関係にある相手の心音である。鑑賞者４０の自らの心音リズムを基にして、相手の心音を聞いているとの心理的効果、生理的効果はさらに映像鑑賞の演出に効果がある。また、映像に出演している演技者の心音の提供を受け、予め記憶領域に格納しておいてもよい。この場合は、鑑賞者４０は、出演者が好みの出演者であれば、演技者と一体となれるとの心理的効果により、より一層の感情移入により映像の鑑賞効果を促進することになる。

図１２は、予め心音を格納する図１１に示した情動制御装置８０に、さらに映像製作者による心音のミキシングタイミング機能を追加した情動制御装置９０である。映像製作者による心音のミキシングタイミング機能は、図１０で説明したと同様である。

映像製作者による心音のミキシングタイミングは、出演者ごとに区別することができるように信号を埋め込み、出演者ごとの心音を心音発生部８４で発生させることもできる。

以上、本発明の実施例を説明したが、本発明はその目的と利点を損なうことのない適宜の変形を含み、例えば、出力部２２における出力機器の任意の組み合わせや、誰の心音を予め格納しておくかの決定や、心音の切り替え等であり、上記の実施形態による限定は受けない。

１０，１０−１，１０−２，１０−３，１０−４、６０，７０，８０，９０：情動制御装置
１２，１２−１，１２−２，１２−３，１２−４：人体音信号抽出部
１４：人体音信号入力部
１６：フィルタ部
１８：音声信号入力部
２０：ミキサ部
２２：出力部
２４：音声信号増幅部
２６：振動信号増幅部
２８：音声出力部
３０：振動出力部
３２：音量制御部
３５：心音
３６−１，３６−２：Ｉ音
３７−１，３７−２：ＩＩ音
３８：収縮期雑音
３９：拡張期雑音
４０，４０−１，４０−２，４０−３，４０−４：鑑賞者
４２：椅子
４４：映像表示機器
４６：ＤＶＤレコーダ
４８：ディスク挿入口
５０：音声スピーカ
５２：ヘッドホン
５４：骨伝導ヘッドホン
５６：耳
５８，５８−１，５８−２，５８−３，５８−４：振動機器
７２：映像信号入力部
７４：映像情報分析部
７６：タイミング抽出部
８２：トリガ信号発生部
８４：心音発生部

Claims (21)

1. 映像鑑賞者自らの人体音を取得する人体音信号抽出部と、
   抽出された前記人体音を入力する人体音信号入力部と、
   取得された前記人体音の電気信号をフィルタリングするフィルタ部と、
   映像に付随して出力される音声信号入力部と、
   フィルタリングされた前記人体音信号と前記音声信号をミキシングするミキサ部と、
   ミキシングされた音声を出力する出力部と、
   を備えたことを特徴とする情動制御装置。
   
2. 請求項１に記載の情動制御装置に於いて、
   前記人体音信号抽出部は、電子聴診器であることを特徴とする情動制御装置。
   
3. 請求項１に記載の情動制御装置に於いて、
   前記人体音信号取得部は、小型マイクロホンであることを特徴とする情動制御装置。
   
4. 請求項１に記載の情動制御装置に於いて、
   前記フィルタ部は、人体音から１５０Ｈｚ以上の周波数領域を遮断して心音を取り出すことを特徴とする情動制御装置。
   
5. 請求項１に記載の情動制御装置に於いて、
   前記出力部は、音声出力可能なスピーカであることを特徴とする情動制御装置。
   
6. 請求項１に記載の情動制御装置に於いて、
   前記出力部は、鑑賞者の人体内部に音を定位させるヘッドホンまたはイヤホンであることを特徴とする情動制御装置。
   
7. 請求項１に記載の情動制御装置に於いて、
   前記出力部は、鑑賞者に自らの人体内部の音を骨導音により伝導させる骨伝導ヘッドホンであることを特徴とする情動制御装置。
   
8. 請求項１に記載の情動制御装置に於いて、
   前記出力部は、音声を出力する音声出力部と、皮膚感覚で音声を鑑賞者に伝えるために振動を出力する振動出力部を備えていることを特徴とする情動制御装置。
   
9. 請求項８に記載の情動制御装置に於いて、
   前記振動出力部は、前記映像鑑賞者が座位する椅子に取り付けられていることを特徴とする情動制御装置。
   
10. 請求項１に記載の情動制御装置に於いて、
    前記音声信号入力部は無線信号を受信する機能を備え、映像出力装置からの電波による送信された音声信号を受信することを特徴とする情動制御装置。
    
11. 請求項１に記載の情動制御装置に於いて、
    複数の鑑賞者に対応した数の前記情動制御装置が同一の映像からの同一の音声信号を入力し、各情動制御装置を使用して同一の映像を鑑賞している鑑賞者の心音を、複数の前記情動制御装置に個別に抽出して取得して提示することを特徴とする情動制御装置。
    
12. 請求項１１に記載の情動制御装置に於いて、
    複数の鑑賞者に対応した数の前記情動制御装置の音声信号入力部は無線信号を受信する機能を備え、映像出力装置からの電波による送信された音声信号を受信することを特徴とする情動制御装置。
    
13. 請求項１に記載の情動制御装置に於いて、
    前記人体音信号を、映像鑑賞者が映像の中での任意のシーン、任意のキャラクタに対して選択的に入力するための音量制御部をさらに備えたことを特徴とする情動制御装置。
    
14. 請求項１３に記載の情動制御装置に於いて、
    製作者側による心音付加期間情報が加えられた映像情報を入力する映像信号入力部と、
    前記映像情報から心音付加期間情報を取り出す映像情報分析部と、
    前記映像情報分析部での映像分析により、心音付加期間のタイミングを抽出するタイミング抽出部をさらに備え、
    ミキサ部において、抽出されたタイミングの期間のみ映像音声に心音がミキシングされ、その他の期間では心音はカットされることを特徴とする情動制御装置。
    
15. 請求項１３に記載の情動制御装置に於いて、
    人体音信号抽出部からの抽出信号からトリガ信号を発生させるトリガ信号発生部と、
    前記トリガ信号発生部からのトリガ信号により、予め記憶されている心音を発生させる心音発生部と、
    をさらに備えたことを特徴とする情動制御装置。
    
16. 請求項１５に記載の情動制御装置に於いて、
    前記人体音信号抽出部で抽出される信号は、脈拍信号であることを特徴とする情動制御装置。
    
17. 請求項１６に記載の情動制御装置に於いて、
    前記トリガ信号発生部では、前記脈拍信号の脈拍に対応してトリガ信号を発生し、
    １つのトリガに対して１周期分の心音を、予め格納されている心音記憶部から読み出して、心音を発生させることを特徴とする情動制御装置。
    
18. 請求項１５に記載の情動制御装置に於いて、
    心音記憶部に予め格納されている心音は、鑑賞者自身の心音であることを特徴とする情動制御装置。
    
19. 請求項１５に記載の情動制御装置に於いて、
    心音記憶部に予め格納されている心音は、鑑賞者以外で鑑賞者が指定した任意の人の心音であることを特徴とする情動制御装置。
    
20. 請求項１９に記載の情動制御装置に於いて、
    心音は、映像に出演している出演者の心音を、予め格納していることを特徴とする情動制御装置。
    
21. 請求項１５に記載の情動制御装置に於いて、
    製作者側による心音付加期間情報が加えられた映像情報を入力する映像信号入力部と、
    前記映像情報から心音付加期間情報を取り出す映像情報分析部と、
    前記映像情報分析部での映像分析により、心音付加期間のタイミングを抽出するタイミング抽出部をさらに備え、
    ミキサ部において、抽出されたタイミングの期間のみ映像音声に心音がミキシングされ、その他の期間では心音はカットされることを特徴とする情動制御装置。

Images