JPH05244550A - 収録方式および再生方式 - Google Patents

Abstract

(57)【要約】 【目的】 実音像が再生可能な収録装置および再生装置
を提供する。 【構成】 収録装置は複数のマイクロフォン１１〜１２
とこれらマイクロフォンの位置および音源位置またはい
ずれか一方の位置を示す位置検出装置２１〜２２を有
し，これらの音検出信号と対応する位置信号とをそれぞ
れマルチプレクサ３１〜３２において多重化し，それぞ
れ対応する音信号と位置信号とを同じ音声チャネルに多
重化記憶する。多重化方法としては周波数多重化方法ま
たは時分割多重化方法などがある。収録装置は撮像装置
６１を有し，上記音の収音と同時に音源を含む風景を撮
像する。位置情報をも音響信号と対応して同じチャネル
に多重化記憶するのでその再生段階において位置を考慮
した再生が可能となり，再生画像内の音源位置に実音像
を生成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は音と映像を同時的に記録
する収録方式と，収録された音および映像を再生する再
生方式に関するものであり，特に，音源または音検出装
置の位置情報を記録するとともにその音源を含む風景を
撮影し，その再生映像の音源からあたかも実音像として
再生可能な収録方式とその再生方式に関する。さらに特
定的には，本発明の収録方式は同じ音声チャネルに音信
号と位置信号とを多重化記憶する方式に関する。

【０００２】

【従来の技術】立体テレビの研究が進められている。こ
の立体テレビにおいては，映像の立体的な再生（再現）
をいかに忠実にするかという観点から，その映像の記録
と音の記録をいかに行い，これら収録された音と映像か
らいかに忠実に映像と音を再生するかが問題となる。ま
た音を実音像として再生することが要望されており，空
間的な広がりを持つ音響，音声などの音を実音像として
いかに忠実に再現（再生）するかについて，種々の収録
方式およびその再生方式が提案され試みられている。

【０００３】たとえば，音に関しては，一般的な収音再
生方法である「インテンシティステレオ方式は，多数の
マイクロフォンを用いて収音し，定められた複数のチャ
ネル，たとえば，Ｎチャネルにレベル差，時間差などの
情報を付加して振り分けて録音し，その再生時に，定め
られた位置に配設されたＮ個のスピーカによって音像を
生成する。また音の収音・再生に関してバイノーラル収
音再生方式，ワンポイント収音再生方式も知られてい
る。さらに多数のスピーカを配設して実音像を形成させ
ようとする試みが知られている（たとえば，特開平２−
２２４４９５号公報）。

【０００４】また映像の収録については，映像上の音源
位置および大きさに関する情報を音声チャネルや映像信
号に同時多重記録する方法が知られている。

【０００５】

【発明が解決しようとする課題】上述した例に代表され
る従来の音および映像の収録・再生方式はいずれも虚音
像を再生するものであるから，依然として実音像を生成
するという本来の目的を達成することができない。特
に，再生された映像の音源から音が発するように映像と
音を再生することができない。その結果として，依然と
して虚音像に起因する問題，たとえば，音の再生位置が
限定され，位置がずれると音の像が結ばず，虚音像の位
置に近づくと実体感がないといった問題がある。また上
記多数のスピーカを配設して実音像を形成しようとする
試みも，マトリクス状に配設されたスピーカへの制御で
あり，音源に対応した制御を行っておらず，実音像を形
成することはできない。

【０００６】また上述した映像上の音源位置および大き
さに関する情報を同時多重記録する方法においては，映
像と音声とが同じチャネルに記憶されており，再生信号
処理が複雑である。さらに再生画像の音源から実音像を
再生することがなきない。

【０００７】一般的に，映像の関連における実音像の生
成は単に収音および撮像，および，これらの再生のみで
なく，当然ながら，収音および撮像過程から音および映
像の再生過程に至る全体的な条件を考慮する必要があ
る。そのためには，収録方法，編集方法などを考慮しな
ければならない。本発明は上述した従来の収録・再生方
式における問題を解決し，再生映像における音源から実
音像を生成可能な映像および音の収録方式およびその再
生方式を提供することを目的とする。

【０００８】

【課題を解決するための手段】上述した問題を解決する
ため，本発明の収録方式は，音源からの音を検出する音
検出手段と，該音検出手段の配設位置および上記音源の
位置またはいずれか一方の位置情報を提供する位置情報
提供手段と，上記音源を含む風景を撮像する撮像手段
と，該撮像手段からの撮像信号を映像チャネルに記録す
る手段と，該撮像信号の記録と同時的に上記検出した音
信号と対応する上記位置情報とを同じ音声チャネルに同
時多重化記憶する信号多重化記録する手段とを有する。
好適には，本発明の収録方式は上記それぞれの音源の大
きさを提供する音源寸法提供手段をさらに有し，上記信
号多重化手段は対応する音声チャネルに上記音源寸法を
多重化記憶する。さらに本発明の収録方式は，上記音源
および音検出手段またはいずれか一方の指向性を提供す
る指向性提供手段をさらに有し，上記多重化手段は対応
する音声チャネルに上記指向性を多重化記憶する。また
本発明の収録方式は，上記音源の位置と対応づけて上記
撮像手段の撮像位置を記憶する手段を有する。

【０００９】本発明の再生方式は，音信号および対応す
る音源の位置および音検出位置またはいずれか一方の位
置が多重化記憶された音声チャネルから読み出す手段
と，上記音信号の記録と同時性をもって記録された音源
を含む風景の撮像信号を映像チャネルから読みだし映像
を再生する手段と，該読み出された位置信号に基づいて
実音像を生成するため上記読み出された音信号の振幅お
よび遅延時間を総合的に調整し，該調整された音信号を
音響として出力する音再生手段とを有する。また本発明
の再生方式は，音信号，該音検出手段の位置および音源
位置またはいずれか一方の位置および音源の位置が多重
化記憶された音声チャネルから読み出す手段と，上記音
信号の記憶と同時性をもって記憶された音源を含む風景
の撮像信号を映像チャネルから読みだし映像を再生する
手段と，該読み出された位置信号および音源の寸法に基
づいて実音像を生成するため上記読み出された音信号の
振幅および遅延時間を総合的に調整する手段と，該調整
された音信号を音響として出力する音再生手段とを有す
る。さらに本発明の再生方式は，音信号，この音信号の
音源位置および音検出手段の配設位置またはいずれか一
方の位置信号，上記音信号の音源の寸法，および，上記
音源の指向性および上記音検出手段の指向性が多重化記
憶された音声チャネルからこれらの信号を読み出す手段
と，上記音信号の記憶と同時性をもって記憶された音源
を含む風景の撮像信号が記憶された映像チャネルから読
みだし映像を再生する手段と，該読み出された位置信
号，音源の寸法および指向性に基づいて実音像を生成す
るため上記読み出された複数の音信号の振幅および遅延
時間を総合的に調整する手段と，該調整された音信号を
音響として出力する音再生手段とを有する。好適には本
発明の再生方式は，上記撮像信号を読みだし再生する手
段と上記音再生手段とが一体構成され，再生された画像
の音源位置から対応する音を発するように音を再生す
る。

【００１０】さらに本発明によれば，上記収録方式およ
び再生方式に係る方法が提供される。すなわち，本発明
の収録方法は，検出した音と，該検出音の音源位置およ
び音検出手段の配設位置またはいずれか一方の位置を示
す位置信号を音声チャネルに多重化記録し，この音の多
重化記録と同時的にその音を発する音源を撮像して映像
チャネルに記憶する。また本発明の再生方法は，音源を
含む風景の映像信号を映像チャネルから読みだし再生
し，該映像信号と同時的独立したチャネルに多重化記録
された音信号，および，これら音信号の音源位置および
音検出位置またはいずれか一方の位置を示す位置信号を
読み出し，該位置信号に基づいて実音像を再生するため
該位置信号に基づいて該音信号の振幅，遅延時間などを
調整し該調整された音信号が上記再生した映像の音源位
置から発するように音響として音出力する。

【００１１】

【作用】音源を含む風景を撮像し，その音源からの音を
多重化記録する。その音信号の多重化記録に加えて，そ
の音源の位置および音検出手段の配設位置をも音信号を
多重化したチャネルと同じ音声チャネルに対応付けて多
重化記憶する。音信号とその位置関係が同じ音声チャネ
ルにおいて対応しているから，その編集段階および再生
段階において複数の音源の位置関係，および，音検出手
段の配設位置を考慮して実音像を生成する音の編集およ
び再生が可能となる。特に映像信号を記憶したチャネ
ル，音信号を多重化したチャネルと位置信号を多重化し
たチャネルが同じチャネルなので対応関係が明確であ
り，後処理として行う編集作業および再生動作における
信号の取扱が容易になる。上記多重化に音源の大きさを
加えると，上記実音像の生成が一層正確になる。さらに
指向性を加えると実音像の生成がさらに正確に実現でき
る。

【００１２】また上記音の実音像形成に加えて，撮像手
段の位置を上記音源の位置との関連を持って記憶するこ
とにより，再生画像における音源から実音像を発生する
ことができる。

【００１３】本発明の再生方式においては，上記収録方
式によって記録された映像信号，音信号，位置信号に基
づいて映像および音を再生する。映像と音源との位置関
係が対応付けられているので，再生画像における音源か
ら実音像を放射させることができる。上記位置信号に加
えて，音源寸法，指向性に基づいてより正確な実音像を
生成する。

【００１４】

【実施例】図１に本発明の収録方式（収録システムまた
は収録装置）の第１実施例としての収録装置の構成図を
示す。本明細書における「収録」は映像の記録と音の記
録を意味する。また後述する「再生」は本明細書におい
て音と映像の再生を意味する。図１に示した収録装置
を，具体例，たとえば，演奏会会場における演奏の生収
録を行う場合に関連づけて述べる。

【００１５】一般的に言って，音の処理は，たとえば，
演奏会の演奏音，自動車競技場内のエンジン音などの収
音し再生する対象となる音源の位置，大きさ，収音マイ
クロフォンの位置，感度特性，指向性などの収音条件，
編集方法とその装置条件，再生方法，音処理に使用する
装置の性能などの一連の関連事項を全体としてみて，い
かにして実音像を生成することが可能かについての観点
から，再びそれぞれの処理過程における条件が決定され
ることになる。また本発明の収録装置においては，音と
映像との関連をつけた収録を行う必要がある。したがっ
て，本発明の収録装置は，音源の映像とを関連づけて音
源からの音を，編集し，再生することを考慮し，再生映
像との関連のもとで実音像を再生可能なように収録す
る。

【００１６】図１において，演奏会会場には収音すべき
音源としてピアノ１，バイオリン３などの複数の楽器の
他に，演奏会会場５の聴衆からの音が存在する。図１に
示した収録装置は，ピアノ１からの音響を検出する第１
のマイクロフォン１１，バイオリン３からの音響を検出
する第Ｍ番目のマイクロフォン１２，会場５からの音響
を検出する第（Ｍ＋１）番目のマイクロフォン１４〜第
Ｎ番目のマイクロフォン１５を有する。また収録装置
は，第１のマイクロフォン１１の位置を示す情報を提供
する第１の位置検出装置２１，第Ｍ番目のマイクロフォ
ン１２の位置を示す情報を提供する第Ｍ番目の位置検出
装置２２を有する。収録装置はさらに演奏会会場５を撮
影する撮像装置６１および図示しない複数の撮像装置を
有する。これら撮像装置は具体的にはテレビカメラであ
る。さらに収音装置は，第１のマルチプレクサ３１，第
２のマルチプレクサ３２，および，収録信号処理記憶装
置４０を有する。

【００１７】第１のマイクロフォン１１はピアノ１の近
傍に配設され，主としてピアノ１を音源とする音響を検
出して第１のマルチプレクサ３１に出力する。同様に，
第Ｍ番目のマイクロフォン１２はバイオリン３の近傍に
配設され，主としてバイオリン３を音源とする音響を検
出して第２のマルチプレクサ３２に出力する。

【００１８】第１の位置検出装置２１はピアノ１の位置
を出力し，第Ｍ番目の位置検出装置２２はバイオリン３
の位置を出力する。これらのマイクロフォン位置情報検
出信号ＭＰ₁ ，ＭＰ_M はそれぞれマルチプレクサ３１，
３２に入力される。第１の位置検出装置２１および第Ｍ
番目の位置検出装置２２から提供される上記位置情報
は，たとえば，演奏会会場５の指揮者の位置を座標位置
の原点として，直交座標系における相対的位置または絶
対位置として示される。また，これらの位置情報は直交
座標に限らず，極座標系で示してもよい。演奏会会場に
おけるピアノ１，バイオリン３などの楽器は通常，その
演奏会会場５において固定した位置に配設されている。
したがって，この例においては，第１の位置検出装置２
１および第Ｍ番目の位置検出装置２２は，固定したピア
ノ１およびバイオリン３の配置位置信号を提供する。演
奏会会場５の聴衆からの音響の位置情報は会場全体の位
置情報として収音信号処理記憶装置４０に設定されてい
る。

【００１９】第１のマルチプレクサ３１は第１のマイク
ロフォン１１からのマイクロフォン検出音信号Ｓ₁ と第
１の位置検出装置２１からのマイクロフォン位置情報検
出信号ＭＰ₁ とを多重化（マルチプレシング）する。同
様に第２のマルチプレクサ３２は第Ｍ番目のマイクロフ
ォン１２からのマイクロフォン検出音信号Ｓ_M と第Ｍ番
目の位置検出装置２２からのマイクロフォン位置情報検
出信号ＭＰ_M を多重化（マルチプレシング）する。これ
らマルチプレシングされた信号はそれぞれ入力多重化信
号ＩＭ₁ およびＩＭ₂ として収音信号処理記憶装置４０
に入力されてそれぞれの音声チャネルに対応した位置に
記録される。このようにマイクロフォン検出音信号Ｓと
対応するマイクロフォン位置情報検出信号ＭＰとは同じ
音声チャネルにマルチプレシングされた状態で記録され
る。

【００２０】第１のマルチプレクサ３１および第２のマ
ルチプレクサ３２における音信号と位置信号の多重化方
法としては，たとえば，アナログ信号処理に適した周波
数多重化方法またはディジタル信号処理に適した時分割
多重化方法などで行う。図２を参照して，同じ音声チャ
ネルへの音情報，たとえば，第１のマイクロフォン１１
からのマイクロフォン検出音信号Ｓ₁ と対応する位置情
報，マイクロフォン位置情報検出信号ＭＰ₁ の周波数多
重化方法を述べる。可聴音の周波数帯域は１６Ｈ_Z から
２００００Ｈ_Z 程度である。したがって，この可聴音周
波数帯域に音信号を振り分け，この周波数帯域外を位置
信号の周波数帯域とする。位置情報の周波数多重化に際
しては，実線で示したように高い周波数を用いてもよく
破線で示したように低い周波数を用いてもよい。このよ
うに音信号と対応する位置情報とを同じ音声チャネルに
多重化することにより，音源とその位置との対応が容易
になり，その後に行う編集処理および再生動作における
信号の取扱が容易になる。

【００２１】図３を参照して時分割多重化処理について
述べる。同じ音声チャネルに時間経過に応じて，交互に
マイクロフォン検出音信号Ｓ₁ とそれに対応するマイク
ロフォン位置情報検出信号ＭＰ₁ とが多重化される。こ
の多重化は音と位置とが必ずしも交互に多重化される場
合に限らず，音の多重化間隔を位置の多重化間隔より短
くしてもよい。この時分割多重化においても音信号とそ
の音源位置とが同じ音声チャネルに多重化されているか
ら，対応関係が容易に識別できる。

【００２２】上記多重化処理は，第１のマルチプレクサ
３１および第２のマルチプレクサ３２で行うことに代え
て，収録信号処理記憶装置４０内で行ってもよい。いず
れにしても，収録信号処理記憶装置４０からは同じ音声
チャネルに音響信号とそれに対応する位置信号とが多重
化されて出力される。

【００２３】収録信号処理記憶装置４０には撮像装置６
１からのビデオ信号ＶＤ₁ が入力され，映像信号として
記録される。この撮像装置６１の撮影位置が上記絶対位
置またはピアノ１などの音源との相対位置として収録信
号処理記憶装置４０に設定される。また撮像装置６１が
第１のマイクロフォン１１のように移動する場合は第１
の位置検出装置２１のように撮像装置６１についても位
置検出装置を設けてそれらの位置を検出するようにして
もよい。その場合，マルチプレクサ３１と同様なマルチ
プレクサ（図示せず）を付加し，それらの位置信号を映
像信号とともに多重化して記録する。

【００２４】収録信号処理記憶装置４０は第（Ｍ＋１）
番目のマイクロフォン１４〜第Ｎ番目のマイクロフォン
１５のマイクロフォン検出音信号Ｓ_M+1 ，Ｓ_N を入力し
て_,そのまま多重化しないで出力する。これら第（Ｍ＋
１）番目のマイクロフォン１４〜第Ｎ番目のマイクロフ
ォン１５は，本実施例においては，演奏会会場５の各所
に配設され演奏会会場５内の全体的な聴衆の音響を検出
する。これらの音響は通常，臨場感を出すために使用さ
れるが，特に位置情報とは関連づけず，背景音（バック
グランドサウンド）として使用される。

【００２５】収録信号処理記憶装置４０におけるＮチャ
ネルの音声チャネルへの記録は，たとえば，磁気テープ
への記録，光ディスクへの記録，半導体メモリへの記録
など種々の記録媒体に独立した音声チャネルごと記憶さ
れるように記憶する。また収録信号処理記憶装置４０に
おける映像チャネルへの記録も同様に行われる。収録信
号処理記憶装置４０で記憶媒体に記憶された音声チャネ
ルごとの記憶信号は，必要に応じて編集装置５０におい
て編集され，音および映像再生装置１００において再生
される。編集装置５０おける編集処理において，各音声
チャネルごと音信号と位置信号とが多重化されて記憶さ
れているので，空間的な信号処理を加えた音声編集作業
が可能になる。またこの編集作業を経ずに上記収音装置
で記憶した位置情報を含む音情報を直接，音および映像
再生装置１００において再生することもできる。あるい
は，収録信号処理記憶装置４０において記憶媒体に記憶
させることなく直接音および映像再生装置１００に各音
声チャネルごと音情報および位置情報を多重化した信
号，および，多重化しない信号を出力して，音および映
像再生装置１００において直接再生させることもでき
る。音および映像再生装置１００における再生処理につ
いては後述する。

【００２６】上述した実施例において，ピアノ１，バイ
オリン３，演奏会会場５などの音源の寸法（大きさ）を
上記マイクロフォン検出音信号Ｓ，マイクロフォン位置
情報検出信号ＭＰに加えて多重化するとより情報が豊か
になり，情報編集処理および再生して実音像を形成する
上で好適である。音源の寸法も上記位置情報と同様に多
重化される。

【００２７】さらにピアノ１，バイオリン３などの指向
性，あるいは，第１のマイクロフォン１１および第Ｍ番
目のマイクロフォン１２などの指向性も上記マイクロフ
ォン検出音信号Ｓ，マイクロフォン位置情報検出信号Ｍ
Ｐ，音源の大きさに加えて多重化することが，音源の寸
法を加えることと同様，編集処理および再生において好
適である。この指向性の多重化も上記音源の寸法の多重
化と同様，同じチャネルに行う。

【００２８】第１の位置検出装置２１および第Ｍ番目の
位置検出装置２２における位置情報の提供としては，音
源位置を位置情報として提供する他，第１のマイクロフ
ォン１１および第Ｍ番目のマイクロフォン１２の配設位
置をも提供する。あるいは，位置情報としては第１の位
置検出装置２１および第Ｍ番目の位置検出装置２２の配
設位置を位置情報として提供する。このように正確な位
置情報を音情報とともに記憶することにより，編集処理
および再生処理を経て，より正確な実音像を形成するこ
とが可能となる。

【００２９】この実施例においては，演奏会会場５にお
ける収音であり，ピアノ１，バイオリン３などは固定し
た位置にあり，第１のマイクロフォン１１および第Ｍ番
目のマイクロフォン１２の配設位置も固定である。した
がって，この実施例においては，第１の位置検出装置２
１および第Ｍ番目の位置検出装置２２を用いずに，上記
配置関係を示す位置情報を予め収録信号処理記憶装置４
０に設定しておき，第１の位置検出装置２１および第Ｍ
番目の位置検出装置２２を設けなくすることもできる。
ただし，収録信号処理記憶装置４０において第１のマイ
クロフォン１１および第Ｍ番目のマイクロフォン１２か
らのマイクロフォン検出音信号Ｓに上記設定した位置情
報を重畳する。位置情報は固定であるから，この位置情
報の重畳方法は常時多重化せず，各音声チャネルに頭の
部分などに記憶することでもよい。

【００３０】また図１において，第１のマイクロフォン
１１および第Ｍ番目のマイクロフォン１２からのマイク
ロフォン検出音信号Ｓ₁ およびＭＰ_M の信号の高速性か
らこれらマイクロフォン検出音信号Ｓについては多重化
せず，第（Ｍ＋１）番目のマイクロフォン１４〜第Ｎ番
目のマイクロフォン１５からのマイクロフォン検出音信
号と同様，多重化しないでそれぞれ異なる音声チャネル
に記憶することもできる。この時，位置情報などの多重
化は音声チャネルとは異なるチャネルを用いて音信号の
記憶と時間的対応をつけて多重化して記憶する。

【００３１】図４に本発明の収録方式の第２実施例とし
ての収録装置を示す。この収録装置は特に，音源が移動
する場合の収録に適合する構成を示す。音源が移動する
例としては，演奏会場において，マイクロフォンを持っ
ている歌手が舞台の上を移動しながら歌う場合などがあ
る。このように第１のマイクロフォン１１を持っている
歌手が移動している場合の収音においては，その歌手の
位置をワイヤレス方式の第１の位置検出装置２１を用い
て検出することが好適である。

【００３２】なお図４においては，第１のマイクロフォ
ン１１は図１に示したようにピアノ１の近傍に固定され
ているのではなく歌手が持っている。また第Ｍ番目のマ
イクロフォン１２は他の動いている歌手が持っている。
そして，図示しないピアノ１からの音は第（Ｍ＋１）番
目のマイクロフォン１４で検出し，バイオリン３からの
音は第Ｎ番目のマイクロフォン１５で検出する。

【００３３】移動する歌手が持っている第１のマイクロ
フォン１１に一体にされた第１の位置検出装置２１から
超音波を放射させ，演奏会会場５内の各所に配設された
超音波受信装置がその超音波を受信してマイクロフォン
位置検出装置３５に電波などで通報する。マイクロフォ
ン位置検出装置３５がその電波を検出して第１のマイク
ロフォン１１の位置を検出する。同様に第Ｍ番目のマイ
クロフォン１２に一体にされた第Ｍ番目の位置検出装置
２２からも超音波を放射させ，マイクロフォン位置検出
装置３５を介して第Ｍ番目のマイクロフォン１２の位置
を検出することができる。マイクロフォン位置検出装置
３５における位置検出としては，第１の位置検出装置２
１から電波を放射させ，離れた２つ以上の位置における
受信電波の強弱からその位置を標定する方法など，その
他の方法をとることができる。

【００３４】この例において，図４には図示していない
ピアノ１，バイオリン３などの楽器の位置は固定であ
る。したがって，これら楽器の位置は予め固定の位置情
報として収録信号処理記憶装置４０に記憶しておき，移
動する歌手の持っている第１のマイクロフォン１１の位
置示しマイクロフォン位置検出装置３５からのマイクロ
フォン位置情報検出信号ＭＰ₁ と第１のマイクロフォン
１１からのマイクロフォン検出音信号Ｓ₁ を第１のマル
チプレクサ３１または収録信号処理記憶装置４０におい
て同じ音声チャネルに多重化する。この場合，図１を参
照して述べたように，第（Ｍ＋１）番目のマイクロフォ
ン１４〜第Ｎ番目のマイクロフォン１５からのマイクロ
フォン検出音信号Ｓ_M+1 〜Ｓ_N は多重化しない。

【００３５】第１のマルチプレクサ３１および第２のマ
ルチプレクサ３２または収録信号処理記憶装置４０にお
ける多重化は上記第１実施例と同様である。またこの第
２実施例の収音装置においても，第１実施例と同様，歌
手，ピアノ１，バイオリン３などの音源の大きさ，マイ
クロフォンまたはこれら音源の指向性の情報を加えて，
マイクロフォン検出音信号Ｓに多重化することができ
る。

【００３６】さらにこの実施例においても，第１のマル
チプレクサ３１および第２のマルチプレクサ３２を削除
して，上述した多重化処理を収録信号処理記憶装置４０
において行ってもよい。

【００３７】図１および図４に示した収録信号処理記憶
装置４０は音信号処理，音源位置などの位置情報処理に
加えて映像の処理を同時に行う例を示したが，映像信号
処理と音信号処理とを異なる装置で処理することも可能
である。収録信号処理記憶装置４０における信号処理は
上述したように，時間的同時性があれば，よいから音と
映像とは同期して動作さればよく，その処理を分離する
ことができる。

【００３８】図５に本発明の再生方式の実施例としての
音再生装置１００Ａの構成を示す。すなわち，まずいか
にして実音像を再生（形成）するかについて述べる。し
たがって，この例においては，第１の撮像装置６１およ
び第２の撮像装置６２またはいずれか選択的に使用され
た撮像信号の表示は，ＴＶモニタなどの表示されている
ものとし，そのＴＶモニタなどの画像を中心として，実
音像を再生させる例について述べる。

【００３９】図５に示した音再生装置１００Ａは，第１
の音再生系統１１０，第２の音再生系統１２０および第
３の音再生系統１３０，および，スピーカ系統１４０か
らなる。上述した収録方式においてはＮチャネルの音声
チャネルがある場合について述べたが，図５は図解の関
係で，独立した４チャネルについてのみ述べる。

【００４０】第１の音再生系統１１０は，デコーダ１１
１，それぞれ信号遅延回路１１２および振幅調整回路１
１３，信号遅延回路１１４および振幅調整回路１１５，
信号遅延回路１１６および振幅調整回路１１７，およ
び，信号遅延回路１１８および振幅調整回路１１９から
なる並列した４系統の音調整回路からなる。第２の音再
生系統１２０および第３の音再生系統１３０の回路構成
も第１の音再生系統１１０と同様である。スピーカ系統
１４０は，それぞれ，信号加算回路１４１，電力増幅回
路１４２およびスピーカ１５１，信号加算回路１４３，
電力増幅回路１４４およびスピーカ１５２，信号加算回
路１４５，電力増幅回路１４６およびスピーカ１５３，
および，信号加算回路１４７，電力増幅回路１４８およ
びスピーカ１５４からなる。

【００４１】これら第１の音再生系統１１０，第２の音
再生系統１２０，第３の音再生系統１３０の前段には，
上記図１に図解した収録信号処理記憶装置４０において
記憶媒体に各チャネルごと多重化された音信号と位置信
号とを分離してそれぞれ独立した位置情報検出信号
Ｐ₁ ，Ｐ₂ ，Ｐ₃ およびマイクロフォン検出音信号
Ｓ₁ ，Ｓ₂ ，Ｓ₃ に分離する信号読み出し分離する回路
が設けられるが_, 図示省略している。あるいは，図１に
示した収録信号処理記憶装置４０から直接，音再生装置
１００Ａに多重化信号を印加する場合は，多重化信号を
分離する回路を設けるだけでもよい。

【００４２】さらには，本発明の収音方式と再生方式と
を一体構成することもでき，その場合は第１のマイクロ
フォン１１および第Ｍ番目のマイクロフォン１２の信号
と第１の位置検出装置２１および第Ｍ番目の位置検出装
置２２の信号とを多重化せず，直接使用することもでき
る。以下の記述においては，読み出し分離された位置情
報およびマイクロフォン検出音信号がいかに再生に使用
されるかについて述べる。

【００４３】図６に図５に示したスピーカ系統１４０の
スピーカの配列を示す。図６（Ａ）はスピーカ系統１４
０の正面図を示し，図６（Ｂ）はその断面図を示す。こ
の例ではＭ個のスピーカが凹面状に配列されている。こ
のスピーカ配列自体はオルソン氏によって提案されてい
るものである（たとえば，オルソン著，西巻訳，「音響
工学」上，１９５９年）。このスピーカ方式においては
多数のスピーカをアレイ状に配列して加える信号の遅延
量を調節して空間の一点に音波の焦点を作ると，聴取者
の近傍の一点にきわめて音圧の高い点が合成され，この
点にあたかも実際の音源が存在するような状況が生じ，
聴覚心理的にもその位置が音像が知覚されるという根拠
に基づく（たとえば，小宮山他，「立体テレビのための
音像の遠近制御技術の開発」，ＮＨＫ技研Ｒ＆Ｄ，１９
９１年２月，Ｎｏ．２，ページ１０〜１４）。図５にお
いて，スピーカ１５１〜１５４は４個のみ示したいる
が，一般的に言えば，図６に示したようにＭ個のスピー
カが配設される。

【００４４】デコーダ１１１は多重化されて入力される
実際の位置情報検出信号Ｐ₁ からマイクロフォン検出音
信号Ｓ₁ が印加されている信号遅延回路１１２，１１
４，１１６，１１８の遅延量を変化させる。さらにデコ
ーダ１１１はこれら信号遅延回路１１２，１１４，１１
６および１１８において遅延されたマイクロフォン検出
音信号の振幅を振幅調整回路１１３，１１５，１１７，
１１９において調整する。信号遅延回路１１２における
位置情報による遅延量は，音源の位置，および，マイク
ロフォンの配設位置ぇまたはいずれか一方の位置情報に
基づいて決定される。これら音源の位置，マイクロフォ
ンの位置をいかに用いるかは収音および再生の対象，条
件，目的などに応じて規定される。このように実際の位
置情報を用いて音再生処理を行うと，実音像の存在位置
に該当する位置に再生音響領域１６１，１６２，１６３
が生成される。

【００４５】上述した収録装置において，音源の大きさ
も多重化した場合は，デコーダ１１１は音源の大きさに
応じて，また必要に応じて位置情報をも考慮して振幅調
整回路１１３，１１５，１１７，１１９におけるそれぞ
れの振幅調整量を変化させる。これにより，一層正確な
実音像を生成することができる。

【００４６】同様に，収録装置において，指向性を多重
化した場合は，デコーダ１１１は指向性に基づく遅延量
および振幅調整量を算出して信号遅延回路１１２，１１
４，１１６，１１８，および，振幅調整回路１１３，１
１５，１１７，１１９を調整する。

【００４７】上述した再生方法においては，各音声チャ
ネルごと独立して遅延量および振幅量を調整する例につ
いて述べたが，本発明においては，各チャネルの音信号
および位置情報，さらには，音源の大きさ，指向性など
の情報を加えて，音再生の全体的な観点から，それぞれ
の音再生系統１１０，１２０，１３０内のそれぞれの信
号遅延回路の遅延量，および，それぞれの振幅調整回路
の振幅調整量を規定する。この全体的な調整は編集段階
において編集装置５０において実施してもよく，あるい
は，位置情報，音源の大きさなどに応じて係数を算出
し，その係数で各系統を調整してもよい。

【００４８】以上の実施例は映像の再生と音の再生とを
分離して独立に行う場合について述べたが，以下の実施
例では再生画像内の音源に実音像が存在するように再生
する実施例について述べる。

【００４９】図７は第１の映像および音再生を行う装置
１００Ｂの斜視図を示す。図７において，ＴＶモニタ装
置１７０はＴＶモニタ表示部１７１を有している。ＴＶ
モニタ表示部１７１には第１の撮像装置６１または第２
の撮像装置６２で撮影された映像が表示されるが，この
表示画面内の音源，たとえば，ピアノ１の位置に実音像
が存在するように複数の任意方向の指向性を有するスピ
ーカ１８１〜１８３がＴＶモニタ表示部１７１の前面に
配設されている。ＴＶモニタ表示部１７１に表示される
音源，たとえば，ピアノ１のＴＶモニタ表示部１７１に
おける位置は第１の撮像装置６１の位置とピアノ１の位
置との関係で特定される。スピーカ１８１〜１８３は音
源位置情報によりビーム１９１の指向性が制御され，対
応する音がＴＶモニタ表示部１７１の表示面の再生画像
としての音源を指向するように方向制御される。それに
より，ＴＶモニタ表示部１７１の面の音源位置に対応す
る位置のビーム１９１が指向した位置に実音像位置１７
２が規定され，ＴＶモニタ表示部１７１に表示された音
源の画像位置からあたかもその音が発するように視聴者
が感じる。すなわち，ＴＶモニタ表示部１７１において
実音像を形成させる。

【００５０】図８（Ａ）は第２の映像および音再生を行
う装置１００Ｂの斜視図，図８（Ｂ）は透明電極板２０
０の平面図を示す。図８（Ａ）に示したＴＶモニタ装置
１７０は図７に示したＴＶモニタ装置１７０と同様であ
る。ＴＶモニタ表示部１７１の前面に透明電極板２００
が配設されている。この透明電極板２００は本出願人が
すでに昭和５８年１２月１７日に出願した実用新案登録
願「スピーカー装置」に開示されるように，電気的な音
声信号により振動されるほぼ透明なシート部材が形成さ
れ，前面の前方の位置から音声を放射する。透明電極板
２００は複数の区分２０１〜２０９に分割されており，
これらの区分の所定のものが選択的に駆動される。区分
２０１〜２０９の選択はＴＶモニタ表示部１７１に表示
される音源に対応して，図７を参照して述べたと同様
に，行われる。これにより，ＴＶモニタ表示部１７１の
音源が表示された部分からその音が放射され，ＴＶモニ
タ表示部１７１の表示画面の対応する位置に実音像が存
在するようになる。

【００５１】図９（Ａ）は第３の映像および音再生を行
う装置１００Ｄの斜視図，図８（Ｂ）はその断面図を示
す。この音および映像再生装置１００Ｄは表示装置とし
てカラー液晶表示２１０を用いている。カラー液晶表示
２１０の各画素２２１〜２２４はＲ，Ｇ，Ｇからなり，
これら画素の周辺に音出力穴２１１，２１２，２１３が
穿孔されている。音出力穴２１３からは小型スピーカ２
３１からの音出力が出力される。小型スピーカ２３１の
選択は図８を参照して述べたように，カラー液晶表示２
１０に表示される音源の画像位置に対応して行われる。
この実施例によっても，カラー液晶表示２１０の画面の
表示される音源から対応する音が出力され，そこに実音
像が存在するようになる。

【００５２】図１０は第４の映像および音再生を行う装
置１００Ｅの断面図を示す。この音および映像再生装置
１００Ｅは投影表示方式の表示装置であり，プロジェク
タ２５０から画像がスクリーン２６０に投影される。ス
クリーン２６０には多数の音出力穴２６１〜２６９が穿
孔されており，これらの穴の裏側にスピーカ２７１〜２
７９が配設されている。スクリーン２６０に表示される
音源に対応したスピーカが駆動され，スクリーン２６０
に表示される画像位置から対応する音が出力される。

【００５３】図１１は第５の映像および音再生を行う装
置１００Ｆの断面図を示す。この実施例も図１０に示し
た表示装置と同様，プロジェクタ３００からスクリーン
３１１に画像を投影する投影表示方式の表示装置である
が，スクリーン３１１の裏面に配設された振動部材３２
１〜３２６によって振動板３１３が振動され，スクリー
ン３１１に表示される音源に対応する位置が振動し，そ
こから音が出力される。したがって，この例において
も，スクリーン３１１に表示されている音源から実際の
音が放射されるようになる。

【００５４】本発明の実施に際しては上述した実施例に
限定されず，種々の変形形態をとることができる。また
本発明の実施に際しては上述した実施例を適宜組み合わ
せることができる。

【００５５】

【発明の効果】以上に述べたように，本発明の収録方式
によれば，映像と音とを収録し多重化して記録する際，
音信号の多重化に加えて音に対応する位置情報をもその
音信号の多重化と同じ音声チャネルに多重化するので，
その後の段階における編集，再生において，音信号との
対応関係を持つ位置情報を用いて音像を容易に生成する
ことが可能となる。また本発明の収録方式によれば，音
源の寸法，指向性などを位置情報に加えて音情報に多重
化することでより一層実音像を実現することが可能にな
る。本発明の再生方式によれば，上記収録方式によって
収録され各音声チャネルごと多重化された信号に基づい
て複数のスピーカを用いて音の再生を行うので実音像を
生成することが可能となる。さらに本発明の再生方式に
よれば，上記収録方式によって収録され再生画像におけ
る音源の位置から対応する音を再生することが可能にな
る。

【図面の簡単な説明】

【図１】本発明の収録方式の第１実施例としての収録装
置の構成図である。

【図２】図１に示した収録装置における位置情報と音情
報の周波数多重化処理を説明する図である。

【図３】図１に示した収音装置における位置情報と音情
報の時分割多重化処理を説明する図である。

【図４】本発明の収録方式の第２実施例としての収録装
置の構成図である。

【図５】本発明の再生方式の実施例としての音再生装置
の構成図である。

【図６】図５に示した複数のスピーカの配列を示す図で
あり，（Ａ）は正面図，（Ｂ）はその断面図である。

【図７】本発明の再生方式の映像および音再生装置の第
１実施例の斜視図である。

【図８】本発明の再生方式の映像および音再生装置の第
２実施例の斜視図であり，図８（Ａ）は全体斜視図であ
り，図８（Ｂ）は透明電極板の正面図である。

【図９】本発明の再生方式の映像および音再生装置の第
３実施例の斜視図であり，図９（Ａ）は部分拡大図であ
り，図９（Ｂ）はその断面図である。

【図１０】本発明の再生方式の映像および音再生装置の
第４実施例の断面図である。

【図１１】本発明の再生方式の映像および音再生装置の
第５実施例の断面図である。

【符号の説明】

１・・ピアノ，３・・バイオリン，５・・演奏会会場，
１１，１２，１４，１５・・マイクロフォン，２１，２
２・・位置検出装置，３１，３２・・マルチプレクサ，
３５・・マイクロフォン位置検出装置，４０・・収録信
号処理記憶装置，５０・・編集装置，６１・・撮像装
置，１００・・音および映像再生装置，１１０，１２
０，１３０・・音再生系統，１１１・・デコーダ，１１
２，１１４，１１６，１１８・・信号遅延回路，１１
３，１１５，１１７，１１９・・振幅調整回路，１４
１，１４３，１４５，１４７・・信号加算回路，１４
２，１４４，１４６，１４８・・電力増幅回路，１５１
〜１５４・・スピーカ，１６１〜１６３・・再生音響領
域，１７０・・ＴＶモニタ装置，１７１・・ＴＶモニタ
表示部，１８１〜１８３・・スピーカ，２００・・透明
電極板，２１０・・カラー液晶表示装置，２５０・・プ
ロジェクタ，２６０・・スクリーン，３００・・プロジ
ェクタ，３１１・・スクリーン，３２１〜３２６・・振
動部材。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 音源からの音を検出する音検出手段と， 該音検出手段の配設位置および上記音源の位置またはい
   ずれか一方の位置情報を提供する位置情報提供手段と， 上記音源を含む風景を撮像する撮像手段と， 該撮像手段からの撮像信号を映像チャネルに記録する手
   段と， 該撮像信号の記録と同時的に上記検出した音信号と対応
   する上記位置情報とを同じ音声チャネルに同時多重化記
   憶する信号多重化記録する手段とを有する収録方式。
2. 【請求項２】 上記それぞれの音源の大きさを提供する
   音源寸法提供手段をさらに有し， 上記信号多重化手段は対応する音声チャネルに上記音源
   寸法を多重化記憶する請求項１記載の収録方式。
3. 【請求項３】 上記音源および音検出手段またはいずれ
   か一方の指向性を提供する指向性提供手段をさらに有
   し， 上記多重化手段は対応する音声チャネルに上記指向性を
   多重化記憶する請求項１または２記載の収録方式。
4. 【請求項４】 上記音源の位置と対応づけて上記撮像手
   段の撮像位置を記憶する手段を有する請求項１〜３のい
   ずれか記載の収録方式。
5. 【請求項５】 音信号および対応する音源の位置および
   音検出位置またはいずれか一方の位置が多重化記憶され
   た音声チャネルから読み出す手段と， 上記音信号の記録と同時性をもって記録された音源を含
   む風景の撮像信号を映像チャネルから読みだし映像を再
   生する手段と， 該読み出された位置信号に基づいて実音像を生成するた
   め上記読み出された音信号の振幅および遅延時間を総合
   的に調整し，該調整された音信号を音響として出力する
   音再生手段とを有する再生方式。
6. 【請求項６】 音信号，該音検出手段の位置および音源
   位置またはいずれか一方の位置および音源の大きさが多
   重化記憶された音声チャネルから読み出す手段と， 上記音信号の記憶と同時性をもって記憶された音源を含
   む風景の撮像信号を映像チャネルから読みだし映像を再
   生する手段と， 該読み出された位置信号および音源の寸法に基づいて実
   音像を生成するため上記読み出された音信号の振幅およ
   び遅延時間を総合的に調整する手段と， 該調整された音信号を音響として出力する音再生手段と
   を有する再生方式。
7. 【請求項７】 音信号，この音信号の音源位置および音
   検出手段の配設位置またはいずれか一方の位置信号，上
   記音信号の音源の寸法，および，上記音源の指向性およ
   び上記音検出手段の指向性が多重化記憶された音声チャ
   ネルからこれらの信号を読み出す手段と， 上記音信号の記憶と同時性をもって記憶された音源を含
   む風景の撮像信号が記憶された映像チャネルから読みだ
   し映像を再生する手段と， 該読み出された位置信号，音源の寸法および指向性に基
   づいて実音像を生成するため上記読み出された複数の音
   信号の振幅および遅延時間を総合的に調整する手段と， 該調整された音信号を音響として出力する音再生手段と
   を有する再生方式。
8. 【請求項８】 上記撮像信号を読みだし再生する手段と
   上記音再生手段とが一体構成され，再生された画像の音
   源位置から対応する音を発するように音を再生する請求
   項５〜７いずれか記載の再生方式。
9. 【請求項９】 検出した音と，該検出音の音源位置およ
   び音検出手段の配設位置またはいずれか一方の位置を示
   す位置信号を音声チャネルに多重化記録し，この音の多
   重化記録と同時的にその音を発する音源を撮像して映像
   チャネルに記憶する収録方法。
10. 【請求項１０】 音源を含む風景の映像信号を映像チャ
    ネルから読みだし再生し， 該映像信号と同時的独立したチャネルに多重化記録され
    た音信号，および，これら音信号の音源位置および音検
    出位置またはいずれか一方の位置を示す位置信号を読み
    出し， 該位置信号に基づいて実音像を再生するため該位置信号
    に基づいて該音信号の振幅，遅延時間などを調整し該調
    整された音信号が上記再生した映像の音源位置から発す
    るように音響として音出力する再生方法。