JP4391091B2 - 情報伝送方法、情報伝送装置、情報記録方法、情報記録装置、情報再生方法、情報再生装置および記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば音声や音楽の情報および／または映像の情報についての情報伝送方法および装置、情報記録方法および装置、情報再生方法および装置並びに記録媒体に関する。
【０００２】
【従来の技術】
従来からクラシックコンサートやジャズライブなどをＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録媒体に収録したり、放送などの方法により伝送したりすることが行われている。
【０００３】
しかしながら、ＣＤやＤＶＤを再生したものを視聴しても、また、ライブの放送番組を視聴しても、現実にコンサート会場やライブ会場で視聴した生の迫力には程遠いものがある。これは、コンサート会場やライブ会場の雰囲気が、再生情報の視聴者や放送番組の視聴者に直接的に伝わらないためであると考えられる。
【０００４】
このため、例えば特許文献１（特開２００１−５７６７２）の技術を用いて、再生情報の視聴者や放送番組の視聴者の、当該再生情報や放送番組に対する感触を生体情報として検出して、その検出出力に基づいて、再生情報や放送情報を制御したりしても、コンサート会場やライブ会場の雰囲気を再現することはできない。再生情報の視聴者や放送番組の視聴者は、当該コンサート会場やライブ会場にいるわけではないからである。
【０００５】
【特許文献１】
特開２００１−５７６７２号公報
【０００６】
【発明が解決しようとする課題】
以上のように、従来は、ライブ録音をしたり、また、ライブ番組を放送したりしても、コンサート会場やライブ会場の雰囲気を、当該ライブ録音の再生時やライブ番組の視聴者に伝えることができなかった。
【０００７】
この発明は、以上の問題を解決することができる方法および装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明は、
取得したオーディオ情報および／または映像情報に、前記オーディオ情報および／または映像情報を取得するときにその場に居る参加者の人体または人体の近傍に取り付けられる生体センサから取得される前記参加者の生体情報を多重して伝送する情報伝送方法であって、
前記生体情報は、筋電、体表温度、皮膚発汗、皮膚抵抗、脈、呼吸、マイクロバイブレーション、心電、心拍、血圧のうちの少なくとも一つであり、
前記オーディオ情報および／または映像情報を、所定時間長の区間ごとに区切り、
前記生体センサから取得される前記生体情報を、前記所定時間長の複数区間において統計処理して、統計生体情報を算出し、
前記統計生体情報を、前記生体情報として、対応する前記所定時間長の複数区間のオーディオ情報および／または映像情報に対応付けて伝送することを特徴とする情報伝送方法を提供する。
【０００９】
この請求項１の発明によれば、発声者（例えば歌手）、演奏者、演技者、指揮者などの生体情報が、音声や音楽の情報および／または映像の情報と共に伝送されるので、これらの情報を受信して再生する側においては、前記生体情報を用いることにより、コンサート会場やライブ会場の雰囲気を再現することが可能となる。
【００１０】
また、請求項２の発明は、
音声や音楽の情報および／または撮影映像の情報に、前記音声や音楽のライブの聴取者の生体情報および／または前記撮影映像の撮影対象の観視者の生体情報を多重して伝送する情報伝送方法を提供する。
【００１１】
この請求項２の発明によれば、ライブの聴取者などの観客の生体情報が、音声や音楽の情報および／または映像の情報と共に伝送されるので、これらの情報を受信して再生する側においては、前記生体情報を用いることにより、コンサート会場やライブ会場の雰囲気を再現することが可能となる。
【００１２】
【発明の実施の形態】
以下、この発明の実施の形態（以下、実施形態という）を、図を参照しながら説明する。
【００１３】
［情報伝送方法および情報伝送装置の実施形態］
以下に説明する実施形態の情報伝送方法および装置は、クラシックコンサートで収録した音声や音楽の情報（以下、説明の簡単のために、単に音楽情報という）を、インターネットを通じて伝送するようにした場合である。
【００１４】
図２は、コンサート会場の様子の例を示す図である。指揮者１が指揮棒をふるい、オーケストラ２の演奏を、観客３が聴取する。そして、複数個のマイクロホン４が、センターチャンネル、左チャンネル、右チャンネルなどの各チャンネルの音楽情報収音用として適当な位置に設置されて、オーケストラの演奏による音楽を収音するようにしている。
【００１５】
そして、この実施形態では、当該コンサートの雰囲気を伝達するために、指揮者１と、オーケストラ２の所定の演奏者例えばコンサートマスター等と、観客３のうちの所定位置例えば最良聴取位置の聴取者との、体動、呼吸、脈、血圧、体表温度、皮膚発汗、皮膚抵抗などの生体情報を検出し、それらの生体情報を、音楽情報と共に、伝送するようにするものである。
【００１６】
例えば、指揮者の体動や呼吸は、演奏される音楽のリズムやテンポなどと同期したものとなるのが一般的である。例えば、ゆっくりとしたメロディーを演奏するようにしたいときには、体動や呼吸は、それに合わせたゆっくりしたものとなり、また、急激に大きな音に移行するときには、それに合わせて体動が大きくなると共に、呼吸もそれに合わせて吸気から、一旦、息を止め、一気に呼気に移るなどの変化をすると思われる。
【００１７】
また、演奏者は、激しく変化するリズムやテンポのパートでは、体動や呼吸もそれに合わせて激しく変化し、ゆっくりとしたメロディアスなパートでは、体動や呼吸もそれに合わせたゆっくりとした変化となると予想される。また、急激に大きな音に移行するときには、指揮者のタクトに注目して、一気に大きな変化を体動、呼吸について行なうものと考えられる。
【００１８】
また、歌手などの演技者が存在する場合には、その演技者も、曲のリズムや曲想などに応じて体動し、また、その息づかい（呼吸）の情報は、臨場感を与えるものであると考えられる。
【００１９】
さらに、聴取者は、気分が高揚するような音楽パートでは、脈や心拍が多くなると共に、皮膚発汗が多くなり、また、ゆったりとした音楽のパートでは脈や心拍はゆっくりと安定したものとなるなどの変化をするものと思われる。
【００２０】
以上のような、指揮者や演奏者や演技者の息づかいや、体動、また、聴取者の感情的な情報を、伝送されたオーディオ情報を受信して再生したものの聴取者側に伝達することができれば、ライブの臨場感を、そのまま伝達することができると期待される。
【００２１】
以上のことに鑑み、この実施形態では、例えば以下に説明するような生体情報の取得を行なう。
【００２２】
先ず、この実施形態では、指揮者の体動を検出するための生体センサ（体動センサ）が、例えば指揮者１が立つ指揮台１ａに設けられる。また、指揮者の呼吸を検出するための生体センサ（呼吸センサ）が、例えば指揮台１ａあるいは譜面台１ｂに設けられる。
【００２３】
例えば、体動は、光センサを用いる方法や、撮像素子からの撮像画像についての画像の動き情報を検出する方法などにより検出することが可能である。また、呼吸は、比較的低い特定範囲の周波数成分となるので、例えば指揮者１の指揮台１ａや譜面台１ｂにマイクロホンを埋め込んだり、また、指揮者１が装着している腕時計の裏側にマイクロホンを埋め込んだりして、前記特定範囲の周波数成分の振動を検出することにより、検出することができる。
【００２４】
なお、生体情報は、人体に対しては低インパクトで検出することができるようにすることが望ましい。
【００２５】
また、オーケストラ２の中の所定の演奏者、例えばコンサートマスターに対しても、同様に、体動センサ、呼吸センサなどの生体センサが設けられて、当該演奏者の体動や呼吸が検出される。もちろん、オーケストラを構成する楽団員のすべての者に対して、それらの生体センサを設けて、各楽団員の体動や呼吸を検出するようにしてもよい。また、歌手などの演技者が存在する場合には、その歌手の体動や呼吸、その他の生体情報を伝送するようにしてもよい。
【００２６】
さらに、この実施形態では、観客３のうちの所定の位置の聴取者、例えばコンサート会場において最も聴取環境の良い位置にいる聴取者に対しては、加速度脈波センサや、心拍センサ、呼吸センサなどの生体センサが取り付けられて、当該聴取者の生体情報が検出される。
【００２７】
図１は、この発明の実施形態の情報伝送装置の構成例を示すブロック図であり、この実施形態は、収録したオーケストラの演奏音楽情報を、指揮者、演奏者や演技者、聴衆（聴取者）の生体情報と共に、インターネットを通じて伝送するようにする場合である。
【００２８】
オーケストラの演奏音楽を収音する複数個のマイクロホン４からのオーディオ信号、すなわち、センターチャンネル、左チャンネル、右チャンネルなどの各チャンネルのオーディオ信号は、それぞれアンプ５を介してＡ／Ｄコンバータ６に供給されて、デジタルオーディオ信号に変換される。
【００２９】
そして、複数のＡ／Ｄコンバータ６からの複数チャンネル分のデジタルオーディオ信号は、オーディオ多重化エンコーダ７に供給されて、多重化エンコードされた後、伝送用多重化処理部８に供給される。オーディオ多重化エンコーダ７では、オーディオデータを圧縮したり、伝送のために変調したりするなどの処理も含む。
【００３０】
一方、図１において、この例においては、生体センサＡ１〜Ａｉは、指揮者１の生体情報を取得するためのセンサであり、各生体センサＡ１〜Ａｉで検出された、例えば、体動、呼吸、体表温度などの生体情報は生体情報解析処理部１１Ａに供給されて解析される。そして、その生体情報の解析結果が伝送用多重化処理部８に供給される。なお、生体情報も圧縮して伝送用多重化処理部８に供給するようにすることもできる。
【００３１】
また、生体センサＢ１〜Ｂｊは、この例では、コンサートマスターなどの演奏者の生体情報を取得するためのセンサであり、各生体センサＢ１〜Ｂｊで検出された、例えば、体動、呼吸、体表温度などの生体情報は生体情報解析処理部１１Ｂに供給されて解析される。そして、その生体情報の解析結果が伝送用多重化処理部８に供給される。
【００３２】
さらに、生体センサＣ１〜Ｃｋは、最良のリスニング位置にいる聴取者の生体情報を取得するためのセンサであり、各生体センサＣ１〜Ｃｋで検出された、例えば、体動、呼吸、体表温度などの生体情報は生体情報解析処理部１１Ｃに供給されて解析される。そして、その生体情報の解析結果が伝送用多重化処理部８に供給される。
【００３３】
伝送用多重化処理部８では、この例では、オーディオ情報および生体情報は、それぞれパケット化されて多重化される。図３（Ａ）は、多重化パケットデータの一例を説明するための図である。すなわち、この例の場合には、オーディオデータは、所定時間長分ごとに区切られて圧縮されると共に、当該圧縮された所定時間長分のオーディオデータがパケット化されて、オーディオデータパケットとされる。
【００３４】
また、生体情報解析処理部１１Ａ，１１Ｂ，１１Ｃからの、オーディオデータと同じ所定時間長の区間における、指揮者、演奏者（や演技者）、聴取者の生体情報の解析処理結果は、それぞれ、生体情報Ａ、生体情報Ｂ、生体情報Ｃとして伝送用多重化処理部８に供給される。
【００３５】
そして、伝送用多重化処理部８では、前記生体情報Ａ、生体情報Ｂ、生体情報Ｃのそれぞれをパケット化して、図３（Ａ）に示すように、例えばオーディオ信号の圧縮化により時間的に空いた領域に挿入し、オーディオデータパケットに多重化するようにする。この場合に、この実施形態では、生体情報Ａ、生体情報Ｂ、生体情報Ｃのパケットは、対応する所定時間長区間のオーディオデータパケットの後に挿入されて、オーディオデータに同期して伝送するようにされる。
【００３６】
そして、伝送用多重化処理部８からのオーディオ信号および生体情報は、通信インターフェース９を通じて、例えば通信ネットワーク、この例ではインターネット１０に送出される。
【００３７】
以上のように、オーディオデータに同期して生体情報Ａ、生体情報Ｂ、生体情報Ｃを伝送した場合には、後述もするように、伝送データの受信側においてオーディオデータをリアルタイムで再生する時に、同期した生体情報Ａ、生体情報Ｂ、生体情報Ｃを用いた処理を行なうことにより、コンサートのライブの雰囲気を、伝送データの受信側においても容易に再現できることが期待される。
【００３８】
なお、オーディオデータに同期して、生体情報Ａ、生体情報Ｂ、生体情報Ｃのパケットを伝送する場合において、生体情報Ａ、生体情報Ｂ、生体情報Ｃのパケットは、対応する所定時間長区間のオーディオデータパケットの前に挿入されてもよい。
【００３９】
なお、伝送データの受信側において、伝送データをリアルタイムで再生するのではなく、一旦、メモリや記録媒体に書き込み、後の時点において読み出して再生するのであれば、オーディオデータのパケットと、生体情報Ａ、生体情報Ｂ、生体情報Ｃのパケットとは、両パケットの対応関係がわかるように伝送されるのであれば、両パケットを時間的に近接して同期して伝送する必要はなく、例えば１楽章分のオーディオデータパケットの最後に、それぞれのオーディオデータパケットに対する生体情報Ａ、生体情報Ｂ、生体情報Ｃのパケットをまとめて伝送するようにすることもできる。
【００４０】
ただし、この場合においては、各オーディオデータパケットと、生体情報Ａ、生体情報Ｂ、生体情報Ｃのパケットとの対応関係データが別個に記録されるなどの方法により、両パケットが対応付け可能に伝送される必要はある。
【００４１】
また、オーディオデータの１パケット分ごとに生体情報Ａ、生体情報Ｂ、生体情報Ｃを重畳するのではなく、複数パケット分となる所定時間長分のオーディオデータについての生体情報を生体情報解析処理部１１Ａ，１１Ｂ，１１Ｃにおいて統計処理して、伝送データとして多重化するようにしてもよい。
【００４２】
図３（Ｂ）は、その場合の伝送情報の例を示す図であり、生体情報Ａｓ、Ｂｓ、Ｃｓは、その前のｎ個のオーディオデータパケット分の期間における生体情報Ａ，Ｂ，Ｃを、当該期間に渡って統計処理、例えば平均化処理した結果である。
【００４３】
なお、以上の説明では、生体情報としては、体動、呼吸などを用いるようにしたが、これに限られるものではなく、例えば指揮者や演奏者や演技者等から取得する生体情報としては、筋電、体表温度、皮膚の発汗、皮膚抵抗、脈、心電、心拍などであってもよい。
【００４４】
また、比較的静止した状態にあると思われる聴取者については、体動、呼吸、筋電、体表温度、皮膚の発汗、皮膚抵抗、脈、心電、心拍などの他、生化学反応、脳波、脳磁図、脈、マイクロバイブレーション、血圧などを生体情報として取得するようにしても良い
また、生体情報は、上述の例のように、複数種の情報を取得するようにする必要はなく、例えば体動のみ、呼吸のみ、脈拍のみなどであってもよい。
【００４５】
なお、上述の説明では、指揮者、演奏者や演技者、聴取者の生体情報を、オーディオデータと共に伝送するようにしたが、必ずしも、指揮者と演奏者等と聴取者の３者の生体情報をすべて伝送する必要はなく、指揮者のみ、演奏者や演技者のみ、聴取者のみについての生体情報をオーディオデータと共に伝送するようにしてもよいし、上記３種の生体情報のうちの任意の２種の生体情報を選択してオーディオデータと共に伝送するようにしても良い。
【００４６】
［情報記録方法および情報記録装置の実施形態］
上述の実施形態では、オーディオデータ（音声や音楽の情報）および生体情報を、インターネットなどのネットワークを通じて伝送するようにしたが、記録媒体に記録してユーザに提供する場合にも、この発明は適用可能である。この情報記録方法および装置の実施の形態は、情報を伝送する代わりに、情報を記録媒体に記録するという点が異なるのみで、上述の情報伝送方法および装置の実施形態と同様の構成とすることができる。
【００４７】
また、上述の情報伝送方法および装置の実施形態と同様の変形例も、この情報記録方法および装置の実施形態にも適用可能である。
【００４８】
図４は、情報記録装置の実施形態を示すものである。この図４の実施形態においては、伝送用多重化処理部８が記録用多重化処理部８Ｒになるが、この多重化回路８Ｒの前段の構成は、図１の情報伝送装置の構成と全く同様である。この例の記録用多重化処理部８Ｒは、記録のための変調処理やデータ圧縮処理を含むものである。
【００４９】
そして、この実施形態においては、記録用多重化処理部８Ｒからの多重化されたオーディオデータと生体情報とは、記録アンプ１２を通じて情報書き込み部１３に供給される。情報書き込み部１３は、多重化されたオーディオデータと生体情報とを記録媒体１４に書き込む。
【００５０】
ここで、記録媒体１４としては、例えばＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤなどの光ディスク、磁気テープ、ハードディスク、ＩＣカードやカード型メモリなどの半導体メモリを用いることができる。
【００５１】
この例の場合には、記録用多重化処理部８Ｒの出力データは、図３に示したような情報パケットストリームを、そのストリームのまま記録トラックやメモリに書き込むようにするが、記録媒体上の記録エリアや、メモリ上の記憶エリアをオーディオデータ用と、生体情報用とで分けて、分離して書き込むようにすることもできる。
【００５２】
その場合に、記録媒体が光ディスクの場合には、光学ヘッドをオーディオデータ用の記録エリアと、生体情報用の記録エリアとに高速に移動させて、記録を行なうようにするが、記録媒体が磁気テープの場合には、オーディオデータ用の磁気記録ヘッドと、生体情報用の磁気記録ヘッドとを設けて、それぞれの記録エリアに記録するようにするものである。また、オーディオ情報および生体情報をメモリに書き込む場合には、オーディオデータをオーディオデータ記憶エリアに書き込んだ後、アドレスを変えて、生体情報を生体情報記憶エリアに書き込むようにする。
【００５３】
また、光ディスクに記録する場合やメモリに書き込む場合には、オーディオデータをすべて記録し終わった後に、生体情報のすべてを光ディスクの生体情報記録エリアやメモリの生体情報記憶エリアに書き込むようにすることもできる。
【００５４】
ただし、いずれの場合においても、オーディオデータパケットと、対応する生体情報パケットとの対応関係の情報は、合わせて記録媒体やメモリに記録するようにするものである。再生時には、オーディオデータと生体情報とは時間的に対応付けられて再生される必要があるからである。
【００５５】
［情報再生方法および情報再生装置の実施形態］
先ず、図１のような構成の情報伝送装置によってインターネットに送出されたオーディオデータと生体情報との多重データを受信してオーディオデータを再生する情報再生装置の場合の例について説明する。再生時の生体情報の利用の仕方により、情報再生方法および情報再生装置には幾つかの例がある。
【００５６】
［第１の実施形態］
この情報再生方法および情報再生装置の第１の実施形態は、受信した生体情報を、視覚、聴覚、嗅覚、触覚、味覚のうちの一つあるいは複数の感覚に対する刺激に変換して、再生情報の聴取者に提供することにより、コンサートの生の雰囲気や臨場感を再現するようにする。
【００５７】
図５は、情報再生装置の第１の実施形態を示すブロック図である。この図５に示すように、インターネット１０を通じて送られてきたオーディオデータおよび生体情報のパケットは、通信インターフェース２１を通じて多重化分解部２２に供給され、オーディオデータパケットと、生体情報Ａ，Ｂ，Ｃのパケットとに分解される。
【００５８】
多重化分解部２２からのオーディオデータパケットは、多重オーディオデコード部２３に供給される。また、多重化分解部２２からの生体情報Ａ（指揮者の生体情報）のパケットは生体情報デコード部３１Ａに、生体情報Ｂ（演奏者や演技者の生体情報）のパケットは生体情報デコード部３１Ｂに、生体情報Ｃ（聴取者の生体情報）のパケットは生体情報デコード部３１Ｃに、それぞれ供給されてデコードされる。そして、デコードされた生体情報Ａ，Ｂ，Ｃは、感覚刺激情報生成処理部３２に供給される。
【００５９】
多重オーディオデコード部２３では、オーディオデータがデコードされると共に、センターチャンネル、左チャンネル、右チャンネルなどの各チャンネルのオーディオデータに、デ・マルチプレックスされる。そして、多重オーディオデコード部２３からの各チャンネルのオーディオデータは、それぞれのチャンネル用のオーディオ信号処理部２４を通じてＤ／Ａコンバータ２５にそれぞれ供給されて、アナログオーディオ信号に変換され、各チャンネルのオーディオ信号出力端子２６に導出される。
【００６０】
そして、この実施形態では、アナログオーディオ信号出力端子２６から導出された各チャンネルのオーディオ信号は、それぞれパワーアンプ２７を通じて、各チャンネル用のスピーカ２８に供給されて、マルチチャンネルサラウンド再生される。
【００６１】
一方、感覚刺激情報生成処理部３２では、これに入力された生体情報Ａ，Ｂ，Ｃに基づいて、指揮者の息づかい、体動や、興奮度などの生体感覚、また、演奏者の息づかい、体動や、興奮度などの生体感覚、さらに、ライブ会場の聴取者の興奮度などの生体感覚を、再生されたオーディオ信号の聴取者の五感に訴える感覚刺激を生成する。すなわち、感覚刺激情報生成処理部３２は、再生されたオーディオ信号の聴取者の五感の一つあるいは複数の感覚に訴える刺激を提供するための感覚刺激情報を、これに入力される生体情報Ａ，Ｂ，Ｃに基づいて、生成する。
【００６２】
そして、感覚刺激情報生成処理部３２に対しては、一つあるいは複数個の感覚刺激提供装置３３１，３３２，・・・３３ｍが接続される。感覚刺激提供装置３３１は、例えば指揮者や演奏者の呼吸を再生する小型スピーカなどとされる。感覚刺激提供装置３３２は、例えば指揮者や演奏者や演技者の体動、あるいは聴取者の体動に応じた振動を、再生されたオーディオ信号の聴取者に与える手段である。この感覚刺激提供手段３３２は、例えば、再生されたオーディオ信号の聴取者が椅子に座っている場合には、当該椅子に取り付けられ、すわっている聴取者に振動を与えるようにする振動付与手段で構成される。
【００６３】
また、感覚刺激提供装置３３３は、映像表示装置とすることができる。この感覚刺激提供装置３３３に対しては、感覚刺激情報生成処理部３２は、指揮者や演奏者や演技者の呼吸や体動に合わせて指揮者や演奏者の映像を動かしたり、また、指揮者、演奏者、演技者または聴取者の生体情報に基づいて、例えば抽象的な映像を、その場の雰囲気や興奮度、リズムやテンポを再現させるように動かしたりする映像情報を生成し、当該映像情報を、感覚刺激提供装置３３３に供給する。感覚刺激提供装置３３３としての映像表示装置は、その画面に上記の映像を表示して、指揮者や演奏者の生体情報またはライブ会場の聴取者の生体情報から得られるライブの臨場感を、監視者に映像刺激として提供する。
【００６４】
その他、感覚刺激提供装置としては、光の強弱やその変化の仕方を生体情報に基づいて変えるなどの装置を用いることもできる。また、ジャズやロックのライブ演奏の場合には、その会場の温度や明るさや臭いや、また、例えば演技者の汗や熱気などを再生するような刺激提供手段であっても良い。
【００６５】
図５の例では、感覚刺激提供装置は、複数個設けるようにしたが、１個であってもよい。また、感覚刺激情報生成処理部３２では、指揮者の生体情報Ａ、演奏者や演技者の生体情報Ｂ、聴取者の生体情報Ｃのすべてを用いる必要はなく、いずれか一つあるいは２つの組み合わせに基づいて、感覚刺激情報を生成するようにしても良い。
【００６６】
また、再生されるオーディオ信号の聴取者が、感覚刺激情報生成処理部３２に対して、感覚刺激を生成する元となる生体情報を、指揮者、演奏者、あるいは聴取者の生体情報のうちのいずれかに指定して、あるいは複数の生体情報の組み合わせに指定して、感覚刺激情報生成処理部３２がそれらの指定された生体情報に基づいて感覚刺激を生成するようにしてもよい。
【００６７】
この場合には、再生されるオーディオ信号の聴取者は、指揮者の感覚で再生信号を楽しみたいときには、指揮者の生体情報を指定し、最良リスニングポジションの聴取位置での聴取感覚を味わいたい場合には、聴取者の生体情報を指定し、さらに、自分が演奏者の感覚で再生信号を楽しみたいときには、演奏者の生体情報を指定することにより、望みの雰囲気を味わうことができる。
【００６８】
そして、３つの生体情報の全部を指定したときには、コンサート会場の生の迫力を再現できるようになると期待できる。
【００６９】
前述もしたように、生体情報Ａ，Ｂ，Ｃのうちのいずれか、あるいはそれらの組み合わせが伝送されるようにされる場合の例もあるが、そのようにする場合の例においては、感覚刺激情報生成処理部３２は、伝送されてくる生体情報が予め定められている場合には、受信した生体情報に基づいて、予め定められた、あるいはユーザにより選択指定された適当な感覚刺激情報を生成するようにするものである。
【００７０】
［第２の実施形態］
この情報再生方法および情報再生装置の第２の実施形態は、受信した生体情報に基づいて、受信したオーディオデータを再生制御して、聴取者に提供することにより、コンサートの生の雰囲気や臨場感を再現することができるようにする。
【００７１】
図６は、情報再生装置の第２の実施形態を示すブロック図である。この図６の情報再生装置のオーディオデータの再生系については、図５のオーディオ信号処理部２４の代わりに、入力される制御信号に基づいてオーディオ信号を制御可能なオーディオ信号制御処理部２４Ｃが設けられる。
【００７２】
また、生体情報Ａ，Ｂ，Ｃのそれぞれをデコードするための生体情報デコード部３１Ａ，３１Ｂ，３１Ｃは、デコードした生体情報Ａ，Ｂ，Ｃを、この例では、図５の感覚刺激情報生成処理部３２に代わって、オーディオ制御信号生成部３４に供給する。
【００７３】
オーディオ制御信号生成部３４は、これに入力された生体情報Ａ，Ｂ，Ｃに基づいて、オーディオ信号の制御信号を生成する。オーディオ信号の制御信号としては、オーディオ信号の振幅、位相、周波数を制御する制御信号、オーディオ信号ピッチやテンポを制御する制御信号等が形成される。
【００７４】
例えば、オーディオ制御信号生成部３４は、指揮者や演奏者の体動が大きく、呼吸も大きく変化するような部位では、オーディオ信号の振幅の変化をより強調するような制御信号を生成する。これらの部位では、音楽の変化が急激なものとなっていたり、例えばゆったりとした静かな音楽から、急激に大音量に変化するような変化をしたりするものとなっていることが多く、そのときのオーディオ信号の振幅変化を、より強調するような制御を行なうことにより、より生の迫力が伝わるものである。
【００７５】
また、指揮者や演奏者や演技者の呼吸情報や心拍情報を、あるレベルでオーディオ信号に重畳するような制御を行なうようにしても良い。この場合には、指揮者や演奏者のいわゆる「息づかい」が音楽情報に含まれて再生されることになり、臨場感のある生の迫力が再生情報に含まれると期待できる。
【００７６】
以上の説明では、オーディオ制御信号生成部３４では、指揮者の生体情報Ａ、演奏者の生体情報Ｂ、聴取者の生体情報Ｃのすべてに基づいてオーディオ信号の制御信号を生成する必要はなく、いずれか一つの生体情報に基づいて、あるいはそれらのうちの２つの生体情報の組み合わせに基づいて、オーディオ信号の制御信号を生成するようにしても良い。
【００７７】
また、再生されるオーディオ信号の聴取者が、オーディオ制御信号生成部３４に対して、オーディオ制御信号を生成する元となる生体情報を、指揮者、演奏者、あるいは聴取者の生体情報のうちのいずれか、あるいは複数の生体情報の組み合わせに指定して、感覚刺激情報生成処理部３２がそれらの指定された生体情報に基づいて感覚刺激を生成するようにしてもよい。
【００７８】
この場合には、再生されるオーディオ信号の聴取者は、指揮者の感覚で再生信号を楽しみたいときには、指揮者の生体情報を指定し、最良リスニングポジションの聴取位置での聴取感覚を味わいたい場合には、聴取者の生体情報を指定し、さらに、自分が演奏者の感覚で再生信号を楽しみたいときには、演奏者の生体情報を指定することにより、望みの雰囲気を味わうことができる。
【００７９】
そして、３つの生体情報の全部を指定したときには、コンサート会場の臨場感を再現できるようになると期待できる。
【００８０】
前述もしたように、生体情報Ａ，Ｂ，Ｃのうちのいずれか、あるいはそれらの組み合わせが伝送されるようにされる場合の例もあるが、そのようにする場合の例においては、オーディオ制御信号生成部３４は、伝送されてくる生体情報が予め定められている場合には、受信した生体情報に基づいて、予め定められた適当なオーディオ制御信号を生成するようにするものである。
【００８１】
［第３の実施形態］
以上の第１および第２の実施形態は、インターネットを通じて伝送されてきたオーディオデータおよび生体情報を再生する場合の例であるが、この第３の実施形態は、記録媒体やメモリに書き込まれたオーディオデータおよび生体情報を再生する場合の例である。
【００８２】
この第３の実施形態は、前述の図５および図６の第１および第２の実施形態における通信インターフェース２１の部分が、記録媒体やメモリからオーディオデータや生体情報を読み出す情報読み出し部と、再生アンプとに置き換わるのみで、その他の構成は、前述の図５および図６の構成と全く同一である。
【００８３】
図７は、図６の情報再生装置の第２の実施の形態に対応する、情報再生装置の第３の実施形態の構成例を示すものである。この例は、記録媒体１４から情報を読み出す場合の例であり、オーディオ情報および生体情報は、情報読み出し部４１により記録媒体１４から読み出され、当該読み出された情報が再生アンプ４２を通じて多重化分解部２２に供給される。多重化分解部２２の後段の構成は、図６の場合と全く同様である。
【００８４】
情報再生装置の第３の実施形態が、上述した情報再生装置の第１の実施形態に適用される場合には、多重化分解部２２の後段の構成は、図５の場合と全く同様である。
【００８５】
そして、第３の実施形態の場合の動作および効果は、上述した第１および第２の実施形態のそれぞれと全く同様である。
【００８６】
なお、記録媒体から再生するこの第３の実施形態の場合において、オーディオデータと生体情報とが記録媒体やメモリの、それぞれ別々の記録エリアや記憶エリアに書き込まれている場合には、情報再生装置には、多重化分解部２２は設けられず、情報読み出し部４１が、読み出し対象がオーディオデータか、生体情報かにより、多重化オーディオデコード部２３と、生体情報デコード部３１Ａ，３１Ｂ，３１Ｃとに分配するようにするものである。
【００８７】
さらに、記録媒体が磁気テープであって、オーディオデータ用と生体情報とで別々のトラックに記録される場合には、情報再生装置においては、オーディオデータ再生用ヘッドと、生体情報再生用ヘッドが設けられると共に、それぞれの再生用ヘッドの後段に、それぞれの情報を再生するための、読み出し部、デコード部などの信号処理系が、それぞれ設けられる構成となる。
【００８８】
［変形例］
上述の説明は、オーディオ情報のみを伝送、記録、再生の対象とした場合について説明したが、伝送、記録、再生の対象は、映像の情報のみであってもよいし、オーディオ情報と映像の情報との組み合わせであってもよい。例えば、劇場で上演されている演劇のライブ放送や、ライブ記録の場合がその一例であり、その場合には、演技者の生体情報や、観劇をしている者の生体情報を、映像情報と共に伝送したり、記録したりするものである。
【００８９】
［他の実施形態］
上述の実施形態は、インターネットライブ放送や、ライブ記録の場合に、この発明を適用したが、予め記録媒体に記録されている、あるいはメモリに記憶されているオーディオ情報や映像情報から、指揮者や演奏者、演技者の生体情報を抽出し、その生体情報を、オーディオ情報や映像情報に多重化して伝送するようにすることもできる。
【００９０】
これは、例えば、記録済み記録媒体やメモリから読み出したオーディオ情報や映像情報をインターネット放送する場合や、記録済み記録媒体やメモリから読み出したオーディオ情報や映像情報を、記録媒体に記録したり、メモリに書き込んだりする場合に適用される。
【００９１】
図８は、その場合の情報伝送装置あるいは情報記録装置の要部の構成を示すブロック図である。すなわち、記録媒体５１から情報読み出し部５２で読み出されたオーディオデータおよび／または映像データは、再生アンプ５３を通じてデコード部５４に供給されて、デコードされる。
【００９２】
そして、デコードされたオーディオデータおよび／または映像データは、多重化部５６に供給されると共に、生体情報抽出部５５に供給される。生体情報抽出部５５では、オーディオデータおよび／または映像データから、演技者（歌手や俳優）の呼吸や、体動などの生体情報を抽出し、抽出した生体情報を多重化部５６に供給する。
【００９３】
多重化部５６では、デコード部５４からのオーディオデータおよび／または映像データに、生体情報抽出部５５からの生体情報を多重化する。そして、多重化された情報は、ネットワークを通じて伝送され、あるいは記録媒体に記録される。
【００９４】
なお、伝送したり、記録したりするのではなく、図７の例と同様に、生体情報抽出部５５からの生体情報に基づき、再生されたオーディオ信号や映像信号を制御するようにしてもよい。
【００９５】
［その他の変形例］
上述の説明では、オーディオデータ、映像データおよび生体情報等の伝送データはパケット化して伝送するようにしたが、伝送データをパケット化することは必須ではない。オーディオデータや映像データと、生体情報とを周波数帯域を別々にして、伝送したり、記録したりするようにすることもできる。
【００９６】
また、上述の例は、インターネットライブ放送などの場合であるが、この発明は、伝送方法には限定されるものでないことは言うまでもない。
【００９７】
【発明の効果】
以上説明したように、この発明によれば、オーディオ情報や映像情報と共に、指揮者や演奏者、演技者、あるいは聴取者や観劇者の生体情報を合わせて伝送または記録することにより、これらの情報を再生する側においては、前記生体情報を用いて、コンサート会場やライブ会場の雰囲気を再現することが可能となる。
【図面の簡単な説明】
【図１】この発明による情報伝送装置の実施形態のブロック図である。
【図２】この発明による情報伝送装置が適用される環境を説明するための図である
【図３】この発明の実施形態により伝送される情報のフォーマットを説明するための図である。
【図４】この発明による情報記録装置の実施形態のブロック図である。
【図５】この発明による情報再生装置の実施形態のブロック図である。
【図６】この発明による情報再生装置の他の実施形態のブロック図である。
【図７】この発明による情報再生装置の、さらに他の実施形態のブロック図である。
【図８】この発明による情報伝送装置の、他の実施形態のブロック図である。
【符号の説明】
４…マイクロホン、８…伝送用多重化処理部、８Ｒ…記録用多重化処理部、９…通信インターフェース、１１Ａ，１１Ｂ，１１Ｃ…生体情報解析処理部、１３…情報書き込み部、１４…記録媒体、２２…多重化分解部、２３…多重化オーディオデコード部、３１Ａ，３１Ｂ，３１Ｃ…生体情報デコード部、３２、感覚刺激情報生成装置、３３１〜３３ｎ…感覚刺激提供装置、３４…オーディオ制御信号生成部

Claims (30)

1. 取得したオーディオ情報および／または映像情報に、前記オーディオ情報および／または映像情報を取得するときにその場に居る参加者の人体または人体の近傍に取り付けられる生体センサから取得される前記参加者の生体情報を多重して伝送する情報伝送方法であって、
   前記生体情報は、筋電、体表温度、皮膚発汗、皮膚抵抗、脈、呼吸、マイクロバイブレーション、心電、心拍、血圧のうちの少なくとも一つであり、
   前記オーディオ情報および／または映像情報を、所定時間長の区間ごとに区切り、
   前記生体センサから取得される前記生体情報を、前記所定時間長の複数区間において統計処理して、統計生体情報を算出し、
   前記統計生体情報を、前記生体情報として、対応する前記所定時間長の複数区間のオーディオ情報および／または映像情報に対応付けて伝送することを特徴とする情報伝送方法。
2. 請求項１に記載の情報伝送方法において、
   上記参加者は、前記オーディオ情報の提供元となる発声者、演奏者や演技者あるいは指揮者および／または前記映像中に含まれる出演者や被撮影者であることを特徴とする情報伝送方法。
3. 請求項１に記載の情報伝送方法において、
   上記参加者は、前記オーディオ情報を取得する場に居る聴取者および／または前記映像情報を取得する場に居る観視者であることを特徴とする情報伝送方法。
4. オーディオ情報および／または映像情報を取得する情報取得手段と、
   前記オーディオ情報および／または映像情報を取得するときにその場に居る参加者の人体または人体の近傍に取り付けられる生体センサから取得される前記参加者の生体情報を検出する生体情報検出手段と、
   前記オーディオ情報および／または映像情報を所定時間長の区間ごとに区切り、前記生体情報を前記所定時間長の複数区間において統計処理して統計生体情報を算出し、この統計生体情報を、前記生体情報として、対応する前記所定時間長の複数区間のオーディオ情報および／または映像情報に対応して伝送する伝送手段と
   を備え、
   前記生体情報は、筋電、体表温度、皮膚発汗、皮膚抵抗、脈、呼吸、マイクロバイブレーション、心電、心拍、血圧のうちの少なくとも一つである
   ことを特徴とする情報伝送装置。
5. 請求項４に記載の情報伝送装置において、
   上記参加者は、前記オーディオ情報の提供元となる発声者、演奏者や演技者あるいは指揮者および／または前記映像中に含まれる出演者や被撮影者であることを特徴とする情報伝送装置。
6. 請求項４に記載の情報伝送装置において、
   上記参加者は、前記オーディオ情報を取得する場に居る聴取者および／または前記映像情報を取得する場に居る観視者であることを特徴とする情報伝送装置。
7. オーディオ情報および／または映像情報と、前記オーディオ情報および／または映像情報を取得するときにその場に居る参加者の人体または人体の近傍に取り付けられる生体センサから取得される前記参加者の生体情報とを、所定の記録媒体に記録する情報記録方法であって、
   前記生体情報は、筋電、体表温度、皮膚発汗、皮膚抵抗、脈、呼吸、マイクロバイブレーション、心電、心拍、血圧のうちの少なくとも一つであり、
   前記オーディオ情報および／または映像情報を、所定時間長の区間ごとに区切り、
   前記生体センサから取得される前記生体情報を、前記所定時間長の複数区間において統計処理して、統計生体情報を算出し、
   前記統計生体情報を、前記生体情報として、対応する前記所定時間長の複数区間のオーディオ情報および／または映像情報に対応付けて記録することを特徴とする情報記録方法。
8. 請求項７に記載の情報記録方法において、
   上記参加者は、前記オーディオ情報の提供元となる発声者、演奏者や演技者あるいは指揮者および／または前記映像中に含まれる出演者や被撮影者であることを特徴とする情報記録方法。
9. 請求項７に記載の情報記録方法において、
   上記参加者は、前記オーディオ情報を取得する場に居る聴取者および／または前記映像情報を取得する場に居る観視者であることを特徴とする情報記録方法。
10. 請求項８に記載の情報記録方法において、
    前記記録媒体は、光ディスク、磁気テープ、ハードディスク、半導体メモリの中の少なくとも一つであることを特徴とする情報記録方法。
11. オーディオ情報および／または映像情報を取得する情報取得手段と、
    前記オーディオ情報および／または映像情報を取得するときにその場に居る参加者の人体または人体の近傍に取り付けられる生体センサから取得される前記参加者の生体情報を検出する生体情報検出手段と、
    前記情報取得手段から得られたオーディオ情報および／または映像情報と、前記生体情報検出手段から得られた生体情報とを所定の記録媒体に記録する記録手段と
    を備え、
    前記生体情報は、筋電、体表温度、皮膚発汗、皮膚抵抗、脈、呼吸、マイクロバイブレーション、心電、心拍、血圧のうちの少なくとも一つであり、
    前記記録手段は、前記オーディオ情報および／または映像情報を所定時間長の区間ごとに区切り、前記生体情報を前記所定時間長の複数区間において統計処理して統計生体情報を算出し、この統計生体情報を、前記生体情報として、対応する前記所定時間長の複数区間のオーディオ情報および／または映像情報とともに記録することを特徴とする情報記録装置。
12. 請求項１１に記載の情報記録装置において、
    上記参加者は、前記オーディオ情報の提供元となる発声者、演奏者や演技者あるいは指揮者および／または前記映像中に含まれる出演者や被撮影者であることを特徴とする情報記録装置。
13. 請求項１１に記載の情報記録装置において、
    上記参加者は、前記オーディオ情報を取得する場に居る聴取者および／または前記映像情報を取得する場に居る観視者であることを特徴とする情報記録装置。
14. 請求項１１に記載の情報記録装置において、
    前記記録媒体は、光ディスク、磁気テープ、ハードディスク、半導体メモリの中の少なくとも一つであることを特徴とする情報記録装置。
15. オーディオ情報および／または映像情報を再生してユーザに提供すると共に、
    前記オーディオ情報および／または映像情報を取得するときにその場に居る参加者の人体または人体の近傍に取り付けられる生体センサから取得される前記参加者の生体情報に基づいた感覚刺激を、前記ユーザに対して与える情報再生方法であって、
    前記オーディオ情報および／または映像情報と、前記生体情報とは、伝送媒体を介して受信されるものであり、
    前記生体情報は、筋電、体表温度、皮膚発汗、皮膚抵抗、脈、呼吸、マイクロバイブレーション、心電、心拍、血圧のうちの少なくとも一つであり、
    前記オーディオ情報および／または映像情報が、所定時間長の区間ごとに区切られ、
    前記生体センサから取得される前記生体情報は、前記所定時間長の複数区間において統計処理されて、統計生体情報が算出され、
    前記統計生体情報が、前記生体情報として、対応する前記所定時間長の複数区間のオーディオ情報および／または映像情報に対応付けられて前記伝送媒体を通じて伝送されてくる
    ことを特徴とする情報再生方法。
16. 請求項１５に記載の情報再生方法において、
    前記オーディオ情報および／または映像情報と、前記生体情報とは、記録媒体から読み出されることを特徴とする情報再生方法。
17. 請求項１５に記載の情報再生方法において、
    上記参加者は、前記オーディオ情報の提供元となる発声者、演奏者や演技者あるいは指揮者および／または前記映像中に含まれる出演者や被撮影者であることを特徴とする情報再生方法。
18. 請求項１５に記載の情報再生方法において、
    上記参加者は、前記オーディオ情報を取得する場に居た聴取者および／または前記映像情報を取得する場に居た観視者であることを特徴とする情報再生方法。
19. オーディオ情報および／または映像情報を取得するときにその場に居る参加者の人体または人体の近傍に取り付けられる生体センサから取得される前記参加者の生体情報に基づいて、前記オーディオ情報および／または前記映像情報を制御して再生する情報再生方法であって、
    前記オーディオ情報および／または映像情報と、前記生体情報とは、伝送媒体を介して受信されるものであり、
    前記生体情報は、筋電、体表温度、皮膚発汗、皮膚抵抗、脈、呼吸、マイクロバイブレーション、心電、心拍、血圧のうちの少なくとも一つであり、
    前記オーディオ情報および／または映像情報が、所定時間長の区間ごとに区切られ、
    前記生体センサから取得される前記生体情報は、前記所定時間長の複数区間において統計処理されて、統計生体情報が算出され、
    前記統計生体情報が、前記生体情報として、対応する前記所定時間長の複数区間のオーディオ情報および／または映像情報に対応付けられて前記伝送媒体を通じて伝送されてくる
    ことを特徴とする情報再生方法。
20. 請求項１９に記載の情報再生方法において、
    前記オーディオ情報および／または映像情報と、前記生体情報とは、前記伝送媒体としての記録媒体から読み出されることにより受信することを特徴とする情報再生方法。
21. 請求項１９に記載の情報再生方法において、
    上記参加者は、前記オーディオ情報の提供元となる発声者、演奏者や演技者あるいは指揮者および／または前記映像中に含まれる出演者や被撮影者であることを特徴とする情報再生方法。
22. 請求項１９に記載の情報再生方法において、
    上記参加者は、前記オーディオ情報を取得する場に居た聴取者および／または前記映像情報を取得する場に居た観視者であることを特徴とする情報再生方法。
23. オーディオ情報および／または映像情報を再生してユーザに提供する手段と、
    前記オーディオ情報および／または映像情報を取得する場に居る参加者の人体または人体の近傍に取り付けられる生体センサから取得される前記参加者の生体情報に基づいた感覚刺激を、前記ユーザに対して与える手段と、
    前記オーディオ情報および／または映像情報と、前記生体情報とを、伝送媒体を介して受信する受信手段と、
    を備え、
    前記生体情報は、筋電、体表温度、皮膚発汗、皮膚抵抗、脈、呼吸、マイクロバイブレーション、心電、心拍、血圧のうちの少なくとも一つであり、
    前記オーディオ情報および／または映像情報が、所定時間長の区間ごとに区切られ、
    前記生体センサから取得される前記生体情報は、前記所定時間長の複数区間において統計処理されて、統計生体情報が算出され、
    前記統計生体情報が、前記生体情報として、対応する前記所定時間長の複数区間のオーディオ情報および／または映像情報に対応付けられて前記伝送媒体を通じて伝送されてくる
    ことを特徴とする情報再生装置。
24. 請求項２３に記載の情報再生装置において、
    前記受信手段は、前記オーディオ情報および／または映像情報と、前記生体情報とを、前記伝送媒体としての記録媒体から読み出す手段を備えることを特徴とする情報再生装置。
25. 請求項２３に記載の情報再生装置において、
    上記参加者は、前記オーディオ情報の提供元となる発声者、演奏者や演技者あるいは指揮者および／または前記映像中に含まれる出演者や被撮影者であることを特徴とする情報再生装置。
26. 請求項２３に記載の情報再生装置において、
    上記参加者は、前記オーディオ情報を取得する場に居た聴取者および／または前記映像情報を取得する場に居た観視者であることを特徴とする情報再生装置。
27. オーディオ情報および／または映像情報を取得するときにその場に居る参加者の人体または人体の近傍に取り付けられる生体センサから取得される前記参加者の生体情報に基づいて、前記オーディオ情報および／または前記映像情報を制御して再生する再生手段と、
    前記オーディオ情報および／または映像情報と、前記生体情報とを、伝送媒体を介して受信する受信手段とを備え、
    前記生体情報は、筋電、体表温度、皮膚発汗、皮膚抵抗、脈、呼吸、マイクロバイブレーション、心電、心拍、血圧のうちの少なくとも一つであり、
    前記オーディオ情報および／または映像情報が、所定時間長の区間ごとに区切られ、
    前記生体センサから取得される前記生体情報は、前記所定時間長の複数区間において統計処理されて、統計生体情報が算出され、
    前記統計生体情報が、前記生体情報として、対応する前記所定時間長の複数区間のオーディオ情報および／または映像情報に対応付けられて前記伝送媒体を通じて伝送されてくる
    ことを特徴とする情報再生装置。
28. 請求項２７に記載の情報再生装置において、
    前記オーディオ情報および／または映像情報と、前記生体情報とを、記録媒体から読み出す手段を備えることを特徴とする情報再生装置。
29. 請求項２７に記載の情報再生装置において、
    上記参加者は、前記オーディオ情報の提供元となる発声者、演奏者や演技者あるいは指揮者および／または前記映像中に含まれる出演者や被撮影者であることを特徴とする情報再生装置。
30. 請求項２７に記載の情報再生装置において、
    上記参加者は、前記オーディオ情報を取得する場に居る聴取者および／または前記映像情報を取得する場に居る観視者であることを特徴とする情報再生装置。

Images