JP3104349B2

JP3104349B2 - 収録装置、再生装置、収録方法および再生方法、および、信号処理装置

Info

Publication number: JP3104349B2
Application number: JP03336232A
Authority: JP
Inventors: 潔文稲永
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1991-11-26
Filing date: 1991-11-26
Publication date: 2000-10-30
Anticipated expiration: 2015-10-30
Also published as: JPH05244551A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は音と映像を同時的に記録
する収録装置および収録方法と，収録された音および映
像を再生する再生装置および再生方法、および、収録装
置と再生装置を結合させた信号処理装置に関するもので
あり，特に，音源または音検出装置の位置情報を記録す
るとともにその音源のある風景を撮影し，その再生映像
と対応する音源位置からあたかも実音像として再生可能
な収録装置および収録方法とその再生装置および再生方
法、および、信号処理装置に関する。更に特定的には本
発明の収録装置および収録方法は音信号の記録チャネル
および映像信号の記録チャネルと位置情報の多重記録チ
ャネルとを異ならせて記録する方式に関する。

【０００２】

【従来の技術】立体テレビの研究が進められている。こ
の立体テレビにおいては，映像の立体的な再生（再現）
をいかに忠実にするかという観点から，その映像の記録
と音の記録をいかに行い，これら収録された音と映像か
らいかに忠実に映像と音を再生するかが問題となる。ま
た音を実音像として再生することが要望されており，空
間的な広がりを持つ音響，音声などの音を実音像として
いかに忠実に再現（再生）するかについて，種々の収録
方式およびその再生方式が提案され試みられている。

【０００３】たとえば，音に関しては，一般的な収音再
生方法である「インテンシティステレオ方式は，多数の
マイクロフォンを用いて収音し，定められた複数のチャ
ネル，たとえば，Ｎチャネルにレベル差，時間差などの
情報を付加して振り分けて録音し，その再生時に，定め
られた位置に配設されたＮ個のスピーカによって音像を
生成する。また音の収音・再生に関してバイノーラル収
音再生方式，ワンポイント収音再生方式も知られてい
る。さらに多数のスピーカを配設して実音像を形成させ
ようとする試みが知られている（たとえば，特開平２−
２２４４９５号公報）。

【０００４】

【発明が解決しようとする課題】上述した例に代表され
る従来の音および映像の収録・再生方式はいずれも虚音
像を再生するものであるから，依然として実音像を生成
するという本来の目的を達成することができない。特
に，再生された映像と対応する音源位置から音が発する
ように映像と音を再生することができない。その結果と
して，依然として虚音像に起因する問題，たとえば，音
の再生位置が限定され，位置がずれると音の像が結ば
ず，虚音像の位置に近づくと実体感がないといった問題
がある。また上記多数のスピーカを配設して実音像を形
成しようとする試みも，マトリクス状に配設されたスピ
ーカへの制御であり，音源に対応した制御を行っておら
ず，実音像を形成することはできない。

【０００５】一般的に，映像の関連における実音像の生
成は単に収音および撮像，および，これらの再生のみで
なく，当然ながら，収音および撮像過程から音および映
像の再生過程に至る全体的な条件を考慮する必要があ
る。そのためには，収録方法，編集方法などを考慮しな
ければならない。本発明は上述した従来の収録・再生方
式における問題を解決し，再生映像における音源から実
音像を生成可能な映像および音の収録装置と収録方法お
よびその再生装置と再生方法、および、収録装置と再生
装置とを結合した信号処理装置を提供することを目的と
する。

【０００６】

【課題を解決するための手段】本発明の収録装置は、収
録の対象となる音源の位置および上記音源からの可聴音
を検出する音検出手段の配設位置および上記音源の位置
の少なくともいずれか一方の位置を示す位置情報信号を
多重化する信号多重化手段と、上記音検出手段からの出
力信号を記録媒体の音声チャネルに記録し、同時的に上
記音源のある風景を撮像する撮像手段からの出力信号を
上記記録媒体の映像チャネルに記録し、さらに同時的に
上記信号多重化手段において多重化された上記位置情報
信号を上記記録媒体の上記音声チャネルおよび上記映像
チャネルと異なるチャネルに記録する手段とを具備す
る。

【０００７】好適には、収録装置は上記位置情報信号を
検出して上記信号多重化手段に入力する位置情報検出手
段をも具備する。また好適には、収録装置は上記位置情
報信号を上記信号多重化手段に設定する位置情報設定手
段をも具備する。

【０００８】好適には、上記信号多重化手段は、上記音
源の大きさを示す音源寸法情報信号を上記記録媒体の上
記音声チャネルおよび上記映像チャネルと異なるチャネ
ルに多重化する。

【０００９】さらに好適には、上記信号多重化手段は、
上記音源の指向性および上記音検出手段の指向性の少な
くともいずれか一方の指向性を示す指向性情報信号を、
上記記録媒体の音声チャネルおよび映像チャネルと異な
るチャネルに多重化する。

【００１０】また好適には、上記信号多重化手段は、上
記撮像手段の配設位置を示す撮像位置情報信号を上記記
録媒体の音声チャネルおよび映像チャネルと異なるチャ
ネルに多重化する。

【００１１】本発明の第１形態の再生装置は、記録媒体
の音声チャネルに記録された音信号を読み出す手段と，
上記音信号の記録と同時的に上記記録媒体の映像チャネ
ルに記録された音源のある風景の撮像信号を読みだして
再生する手段と，上記記録媒体の音声チャネルおよび映
像チャネルと異なるチャネルに多重化記録された上記音
信号に対応する音源の位置および該音源からの可聴音を
検出した音検出手段の配設位置の少なくともいずれか一
方の位置を示す位置情報信号を読み出し分離する手段
と、上記分離された位置情報信号に基づいて上記読み出
された音信号の振幅および遅延時間を調整する手段とを
具備する。

【００１２】本発明の第２形態の再生装置は、記録媒体
の音声チャネルに記録された音信号を読み出す手段と、
上記音信号の記録と同時的に上記記録媒体の映像チャネ
ルに記録された音源のある風景の撮像信号を読み出し再
生する手段と、上記記録媒体の音声チャネルおよび映像
チャネルと異なるチャネルに多重化記録された上記音信
号に対応する音源の位置および該音源からの可聴音を検
出した音検出手段の配設位置の少なくともいずれか一方
の位置を示す位置情報信号、上記音信号に対応する音源
寸法情報信号、上記音源の指向性および上記音検出手段
の指向性の少なくともいずれか一方の指向性を示す指向
性情報信号、および上記撮像手段の配設位置を示す撮像
位置情報信号を読み出し分離する手段と、上記分離され
た位置情報信号、音源寸法情報信号、指向性情報信号お
よび撮像位置情報信号に基づいて上記読み出された音信
号の振幅および遅延時間を調整する手段とを具備する。

【００１３】本発明の第３形態の再生装置は、記録媒体
の音声チャネルに記録された音信号を読み出す手段と、
上記音信号の記録と同時的に上記記録媒体の映像チャネ
ルに記録された音源のある風景の撮像信号を読み出し再
生する手段と、上記記録媒体の音声チャネルおよび映像
チャネルと異なるチャネルに多重化記録された上記音信
号に対応する音源位置および上記音検出手段の配設位置
の少なくともいずれか一方の位置を示す位置情報信号、
上記音信号に対応する音源寸法情報信号、および上記音
源の指向性および上記音検出手段の指向性の少なくとも
いずれか一方の指向性を示す指向性情報信号を示す指向
性情報を読み出し分離する手段と、上記分離された位置
情報信号、音源寸法情報信号および指向性情報信号に基
づいて上記読み出された音信号の振幅および遅延時間を
調整する手段とを具備する。

【００１４】本発明の第４形態の再生装置は、記録媒体
の音声チャネルに記録された音信号を読み出す手段と、
上記音信号の記録と同時的に上記記録媒体の映像チャネ
ルに記録された音源のある風景の撮像信号を読み出し再
生する手段と、上記記録媒体の音声チャネルおよび映像
チャネルと異なるチャネルに多重化記録された上記音信
号に対応する音源位置および上記音検出手段の配設位置
の少なくともいずれか一方の位置を示す位置情報信号、
上記音信号に対応する音源寸法情報信号、上記音源の指
向性および上記音検出手段の指向性の少なくともいずれ
か一方の指向性を示す指向性情報信号を示す指向性情
報、および上記撮像手段の配設位置を示す撮像位置情報
信号を読み出し分離する手段と、上記分離された位置情
報信号、音源寸法情報信号、指向性情報信号および撮像
位置情報信号に基づいて上記読み出された音信号の振幅
および遅延時間を調整する手段とを具備する。

【００１５】好適には、上記再生装置において、上記再
生された撮像信号を映像として再生し、上記映像に対応
する音源位置から対応する音を発するように上記音信号
の振幅および遅延時間を調整する。

【００１６】好適には、上記再生装置は上記調整された
音信号を可聴音に変換して出力する音再生手段をも具備
する。

【００１７】本発明の収録方法は、音検出手段により検
出した音信号を記録媒体の音声チャネルに記録し、同時
的に上記音源のある風景を撮像する撮像手段からの撮像
信号を上記記録媒体の映像チャネルに記録し、さらに同
時的に上記音信号の音源の位置および該音源からの可聴
音を検出した音検出手段の配設位置の少なくともいずれ
か一方の位置を示す位置情報信号を多重化して上記記録
媒体の上記音声チャネルおよび上記映像チャネルと異な
るチャネルに記録する。

【００１８】本発明の再生方法は、記録媒体の音声チャ
ネルに記録された音信号を読み出し、上記音信号の記録
と同時的に上記記録媒体の映像チャネルに記録された音
源のある風景の撮像信号を読み出し再生し、同時的に上
記音声チャネルおよび映像チャネルと異なるチャネルに
多重化記録された上記音信号に対応する音源の位置およ
び該音源からの可聴音を検出した音検出手段の配設位置
の少なくともいずれか一方の位置を示す位置情報信号を
読み出し分離し、上記分離された位置情報信号に基づい
て上記読み出された音信号の振幅および遅延時間を調整
し、上記調整された音信号を可聴音に変換して上記再生
した映像と対応する音源位置から可聴音に変換して出力
する。

【００１９】本発明の信号処理装置は、上記収録装置、
および、該収録装置と信号媒介手段を介して接続された
上記種々の観点の再生装置を有する。上記信号媒介手段
は記録媒体を含む。

【００２０】

【作用】本発明の収録装置および収録方法において、音
源のある風景を撮像し，その音源からの音を同時的に記
録する。その音信号の記録に加えて，その音源の位置お
よび音検出手段の配設位置を示す位置情報も音信号を記
録したチャネルとは異なるチャネルに多重化して記録す
る。音信号とその位置関係が対応しているから，その編
集段階および再生段階において音源の位置関係，およ
び，音検出手段の配設位置を考慮して実音像を生成する
音の編集および再生が可能となる。特に映像信号を記録
したチャネル，音信号を記録したチャネルと位置情報を
多重化したチャネルが異なっているので，後処理として
行う編集作業および再生動作における信号の取扱が容易
になる。上記多重化に音源の大きさ情報を加えると，上
記実音像の生成が一層正確になる。この音源の寸法情報
の多重化は音信号を記録したチャネルと異なっていれば
よく，位置情報を多重化したチャネルと同じチャネルに
することができる。通常，音信号は連続的に変化するの
で情報量が多いが，位置変化は緩慢であり，音源の大き
さは変化が少ない。したがって，音信号の記録チャネル
とは異ならせておけば信号処理の観点からは便利であ
る。さらに指向性情報を加えると実音像の生成がさらに
正確に実現できる。この指向性情報を多重化するチャネ
ルは音信号を記録したチャネルと異なっていればよい。

【００２１】また上記音の実音像形成に加えて，撮像手
段の位置情報を上記音源の位置情報との関連を持って記
録することにより，再生画像と対応する音源位置に実音
像を生成することができる。

【００２２】本発明の再生装置および再生方法において
は，上記収録装置および収録方法によって記録された映
像信号，音信号，位置情報に基づいて映像および音を再
生する。映像と音源との位置関係が対応付けられている
ので，再生画像と対応する音源位置に実音像を生成させ
ることができる。上記位置情報に加えて，音源寸法，指
向性などの情報に基づいてより正確な実音像を生成す
る。

【００２３】本発明の信号処理装置においては、上述し
た収録装置と上述した再生装置を結合させることによ
り、収録から再生まで効率のよい処理が行われる。

【００２４】

【実施例】図１に本発明の収録装置の第１実施例として
の収録装置の構成図を示す。本明細書における「収録」
は映像の記録と音の記録を意味する。また後述する「再
生」は本明細書において音と映像の再生を意味する。図
１に示した収録装置を，具体例，たとえば，演奏会会場
における演奏の生収録を行う場合に関連づけて述べる。

【００２５】一般的に言って，音の処理は，たとえば，
演奏会の演奏音，自動車競技場内のエンジン音などの収
音し再生する対象となる音源の位置，大きさ，収音マイ
クロフォンの位置，感度特性，指向性などの収音条件，
編集方法とその装置条件，再生方法，音処理に使用する
装置の性能などの一連の関連事項を全体としてみて，い
かにして実音像を生成することが可能かについての観点
から，再びそれぞれの処理過程における条件が決定され
ることになる。また本発明の収録装置においては，音と
映像との関連をつけた収録を行う必要がある。したがっ
て，本発明の収録装置は，音源と映像とを関連づけて音
源からの音を，編集し，再生することを考慮し，再生映
像との関連のもとで実音像を再生可能なように収録す
る。

【００２６】図１において，演奏会会場には収音すべき
音源としてピアノ１，バイオリン３などの複数の楽器の
他に，演奏会会場５の聴衆からの音が存在する。図１に
示した収録装置は，ピアノ１からの音響を検出する第１
のマイクロフォン１１，バイオリン３からの音響を検出
する第Ｍ番目のマイクロフォン１２，会場５からの音響
を検出する第（Ｍ＋１）番目のマイクロフォン１４〜第
Ｎ番目のマイクロフォン１５からの音信号を入力され
る。また収録装置は，第１のマイクロフォン１１の位置
を示す情報を提供する第１の位置検出装置２１，第Ｍ番
目のマイクロフォン１２の位置を示す情報を提供する第
Ｍ番目の位置検出装置２２を有する。収録装置はさらに
音源としてのピアノ１を撮影する第１の撮像装置６１，
バイオリン３を撮影する第２の撮像装置６２からの映像
信号を入力される。これら第１の撮像装置６１および第
２の撮像装置６２は具体的にはテレビカメラである。さ
らに収音装置は，第１のマルチプレクサ３１，第２のマ
ルチプレクサ３２，および，収録信号処理記録装置４０
を有する。

【００２７】第１のマイクロフォン１１はピアノ１の近
傍に配設され，主としてピアノ１を音源とする音響を検
出して第２のマルチプレクサ３２に出力する。同様に，
第Ｍ番目のマイクロフォン１２はバイオリン３の近傍に
配設され，主としてバイオリン３を音源とする音響を検
出して第２のマルチプレクサ３２に出力する。なお、後
述のように、第１のマイクロフォン１１および第Ｍ番目
のマイクロフォン１２からの音信号は多重化せずに収録
信号処理記録装置４０に出力してもよい。

【００２８】第１の位置検出装置２１はピアノ１の位置
情報を出力し，第Ｍ番目の位置検出装置２２はバイオリ
ン３の位置情報を出力する。これらのマイクロフォン位
置情報検出信号ＭＰ₁，ＭＰ_Mは第１のマルチプレクサ
３１に入力される。第１の位置検出装置２１および第Ｍ
番目の位置検出装置２２から提供される上記位置情報
は，たとえば，演奏会会場５の指揮者の位置を座標位置
の原点として，直交座標系における相対的位置または絶
対位置として示される。また，これらの位置情報は直交
座標に限らず，極座標系で示してもよい。演奏会会場に
おけるピアノ１，バイオリン３などの楽器は通常，その
演奏会会場５において固定した位置に配設されている。
したがって，この例においては，第１の位置検出装置２
１および第Ｍ番目の位置検出装置２２は，固定したピア
ノ１およびバイオリン３の配置位置情報を提供する。演
奏会会場５の聴衆からの音響の位置情報は第（Ｍ＋１）
番目のマイクロフォン１４〜第Ｎ番目のマイクロフォン
１５の配設位置情報として収音信号処理記録装置４０に
設定されてもよい。

【００２９】第１のマルチプレクサ３１は第１の位置検
出装置２１からのマイクロフォン位置情報検出信号ＭＰ
₁と第Ｍ番目の位置検出装置２２からのマイクロフォン
位置情報検出信号ＭＰ_Mを多重化する。同様に，第２の
マルチプレクサ３２は第１のマイクロフォン１１からの
マイクロフォン検出音信号Ｓ₁と第Ｍ番目のマイクロフ
ォン１２からのマイクロフォン検出音信号Ｓ_Mを多重化
する。これら多重化された信号はそれぞれ入力多重化信
号ＩＭ₁およびＩＭ_Mとして収音信号処理記録装置４０
に入力されてそれぞれの音声チャネルに対応した位置に
記録される。このようにマイクロフォン検出音信号Ｓと
対応するマイクロフォン位置情報検出信号ＭＰとは異な
るチャネルに多重化された状態で記録される。

【００３０】第１のマルチプレクサ３１および第２のマ
ルチプレクサ３２における音信号および位置情報の多重
化方法としては，たとえば，アナログ信号処理に適した
周波数多重化方法またはディジタル信号処理に適した時
分割多重化方法などで行う。図２を参照して，位置情報
の周波数多重化方法を述べる。図２の横軸は周波数を示
している。第１の位置検出装置２１からのマイクロフォ
ン位置情報検出信号ＭＰ₁と第Ｍ番目の位置検出装置２
２からのマイクロフォン位置情報検出信号ＭＰ_Mとは異
なる周波数帯域で周波数多重化される。あるチャネルに
ついて上記位置情報の多重化が行われ，このチャネルと
は異なるチャネルにマイクロフォン検出音信号Ｓ₁およ
びＳ_Mの多重化が行われる。このように位置情報の多重
化チャネルと音信号の多重化チャネルとを異ならせると
同じ周波数帯域を独立に使用でき，また，その後に行う
編集処理および再生動作における信号の取扱が容易にな
る。

【００３１】図３を参照して時分割多重化処理について
述べる。あるチャネルについて複数のマイクロフォン位
置情報検出信号ＭＰ₁〜ＭＰ_Mが時分割多重化される。
図中_,記号ＦＭはフレームマーカを示す。音信号の多重
化も上記同様に行われる。ただし，上述したように，位
置情報の多重化と音信号の多重化とは異なるチャネルを
用いて行う。

【００３２】第１のマルチプレクサ３１および第２のマ
ルチプレクサ３２における多重化としてはディジタル処
理を行う時分割多重化が容易であるが，周波数多重化は
価格的要因も考慮すると第１のマルチプレクサ３１およ
び第２のマルチプレクサ３２で個別に行うことがやや難
しい。したがって，周波数多重化を行う場合，マイクロ
フォン検出音信号Ｓおよびマイクロフォン位置情報検出
信号ＭＰを一旦，収録信号処理記録装置４０に入力し
て，収録信号処理記録装置４０内で周波数多重化しても
よい。また収録信号処理記録装置４０において時分割多
重化処理を行ってもよい。いずれにしても，収録信号処
理記録装置４０からは異なるチャネルに音信号およびそ
れに対応する位置情報がそれぞれ多重化されて出力され
る。なお、後述するように、収録信号処理記録装置４０
に多重化信号を分離する回路を設けて分離されたそれぞ
れの信号を出力してもよい。

【００３３】収録信号処理記録装置４０には第１の撮像
装置６１および第２の撮像装置６２からのビデオ信号Ｖ
Ｄ₁およびＶＤ₂が入力され，映像信号として記録され
る。これら第１の撮像装置６１おび第２の撮像装置６２
の撮影位置情報が上記絶対位置またはピアノ１などの音
源との相対位置を示す位置情報として収録信号処理記録
装置４０に設定されてもよい。また，第１の撮像装置６
１または第２の撮像装置６２が移動する場合は第１の位
置検出装置２１または第Ｍ番目の位置検出装置２２のよ
うに撮像装置６１，６２についても位置検出装置を設け
てそれらの位置を検出するようにしてもよい。その場
合，マルチプレクサ３１と同様なマルチプレクサ（図示
せず）を付加し，それらの位置情報を多重化して記録す
る。

【００３４】収録信号処理記録装置４０は第（Ｍ＋１）
番目のマイクロフォン１４〜第Ｎ番目のマイクロフォン
１５のマイクロフォン検出音信号Ｓ_M+1 〜Ｓ_Nを入力し
て_,そのまま多重化しないで出力する。これら第（Ｍ＋
１）番目のマイクロフォン１４〜第Ｎ番目のマイクロフ
ォン１５は，本実施例においては，演奏会会場５の各所
に配設され演奏会会場５内の全体的な聴衆の音響を検出
する。これらの音響は通常，臨場感を出すために使用さ
れるが，特に位置情報とは関連づけず，背景音（バック
グラウンドサウンド）として使用してもよい。

【００３５】収録信号処理記録装置４０におけるＮチャ
ネルの音声チャネルへの記録は，たとえば，磁気テープ
への記録，光ディスクへの記録，半導体メモリへの記録
など種々の記録媒体に独立した音声チャネルごとに記録
される。また収録信号処理記録装置４０における映像チ
ャネルへの記録も同様に行われる。収録信号処理記録装
置４０で記録媒体に記録されたチャネルごとの記録信号
は，必要に応じて編集装置５０において編集され，音お
よび映像再生装置１００において再生される。編集装置
５０における編集処理において，各音声チャネルごとの
音信号と対応づけて位置情報が多重化されて記録されて
いるので，空間的な信号処理を加えた音声編集作業が可
能になる。またこの編集作業を経ずに上記収音装置で記
録した位置情報を含む音情報を直接，音および映像再生
装置１００において再生することもできる。あるいは，
収録信号処理記録装置４０において記録媒体に記録させ
ることなく直接音および映像再生装置１００に各音声チ
ャネルごとの音信号および位置情報を多重化した信号，
および，多重化しない信号を出力して，音および映像再
生装置１００において直接再生させることもできる。音
および映像再生装置１００における再生処理については
後述する。

【００３６】上述した実施例において，ピアノ１，バイ
オリン３などの音源の寸法（大きさ）情報を上記マイク
ロフォン位置情報検出信号ＭＰに加えて多重化すると，
より情報が豊かになり，情報編集処理および再生して実
音像を形成する上で好適である。音源の寸法情報も上記
位置情報と同様に多重化されるが，音信号を多重化した
チャネルとは異なるチャネルを用いる。そのチャネルと
しては位置情報を多重化したチャネルと同じチャネルで
もよく異なる新たなチャネルでもよい。音信号は連続的
で変化が高速である。ただし，位置情報同様に音源の大
きさの変化は音信号の変化に対して少ない。したがっ
て，チャネル使用量を少なくする観点からは位置情報の
多重化と音源の寸法情報の多重化とは同じチャネルを用
いてもよい。一方，信号処理を容易にする観点からは音
源の寸法情報を位置情報の多重化チャネルとは異なるチ
ャネルに多重化することが望ましい。

【００３７】さらにピアノ１，バイオリン３などの指向
性情報，あるいは，第１のマイクロフォン１１および第
Ｍ番目のマイクロフォン１２などの指向性情報も上記マ
イクロフォン位置情報検出信号ＭＰ，音源の大きさ情報
に加えて多重化することが，音源の寸法情報を加えるこ
とと同様，編集処理および再生において好適である。こ
の指向性情報の多重化も上記音源の寸法情報の多重化と
同様，音信号の多重化チャネルとは異なるチャネルに行
う。上記同様，位置情報の多重化チャネルと同じでも異
ならるチャネルに多重化してもよい。

【００３８】第１の位置検出装置２１および第Ｍ番目の
位置検出装置２２における位置情報の提供としては，音
源位置を位置情報として提供する他，第１のマイクロフ
ォン１１および第Ｍ番目のマイクロフォン１２の配設位
置情報をも提供する。あるいは，位置情報としては第１
の位置検出装置２１および第Ｍ番目の位置検出装置２２
の配設位置を位置情報として提供する。このように正確
な位置情報を音信号とともに記録することにより，編集
処理および再生処理を経て，より正確な実音像を形成す
ることが可能となる。

【００３９】この実施例においては，演奏会会場５にお
ける収音であり，ピアノ１，バイオリン３などは固定し
た位置にあり，第１のマイクロフォン１１および第Ｍ番
目のマイクロフォン１２の配設位置も固定である。した
がって，この実施例においては，第１の位置検出装置２
１および第Ｍ番目の位置検出装置２２を用いずに，上記
配置関係を示す位置情報を予め収録信号処理記録装置４
０に設定しておき，第１の位置検出装置２１および第Ｍ
番目の位置検出装置２２を設けなくすることもできる。
位置情報は固定であるから，この位置情報の重畳方法
は，常時多重化せず，多重化チャネルの頭の部分などに
記録することでもよい。

【００４０】また図１において，第１のマイクロフォン
１１および第Ｍ番目のマイクロフォン１２からのマイク
ロフォン検出音信号Ｓ₁およびＳ _Mの信号の高速性から
これらマイクロフォン検出音信号Ｓについては多重化せ
ず，第（Ｍ＋１）番目のマイクロフォン１４〜第Ｎ番目
のマイクロフォン１５からのマイクロフォン検出音信号
と同様，多重化しないでそれぞれ異なる音声チャネルに
記録することもできる。この時，位置情報などの多重化
は音声チャネルとは異なるチャネルを用いて音信号の記
録と時間的対応をつけて多重化して記録する。

【００４１】図４に本発明の収録装置の第２実施例とし
ての収録装置を示す。この収録装置は特に，音源が移動
する場合の収録に適合する構成を示す。音源が移動する
例としては，演奏会場において，マイクロフォンを持っ
ている歌手が舞台の上を移動しながら歌う場合などがあ
る。このように第１のマイクロフォン１１を持っている
歌手が移動している場合の収音においては，その歌手の
位置をワイヤレス方式の第１の位置検出装置２４を用い
て検出することが好適である。

【００４２】なお図４においては，第１のマイクロフォ
ン１１は図１に示したようにピアノ１の近傍に固定され
ているのではなく歌手が持っている。また第Ｍ番目のマ
イクロフォン１２は他の動いている歌手が持っている。
そして，図示しないピアノ１からの音は第（Ｍ＋１）番
目のマイクロフォン１４で検出し，バイオリン３からの
音は第Ｎ番目のマイクロフォン１５で検出する。

【００４３】移動する歌手が持っている第１のマイクロ
フォン１１に一体にされた第１の位置検出装置２４から
超音波を放射させ，演奏会会場５内の各所に配設された
超音波受信装置がその超音波を受信してマイクロフォン
位置検出装置３５に電波などで通報する。マイクロフォ
ン位置検出装置３５がその電波を検出して第１のマイク
ロフォン１１の位置を検出する。同様に第Ｍ番目のマイ
クロフォン１２に一体にされた第Ｍ番目の位置検出装置
２５からも超音波を放射させ，マイクロフォン位置検出
装置３５を介して第Ｍ番目のマイクロフォン１２の位置
を検出することができる。マイクロフォン位置検出装置
３５における位置検出としては，第１の位置検出装置２
４から電波を放射させ，離れた２つ以上の位置における
受信電波の強弱からその位置を標定する方法など，その
他の方法をとることができる。

【００４４】この例において，図４には図示していない
ピアノ１，バイオリン３などの楽器の位置は固定であ
る。したがって，これら楽器の位置は予め固定の位置情
報として収録信号処理記録装置４０に記録しておき，移
動する歌手の持っている第１のマイクロフォン１１の位
置を示すマイクロフォン位置検出装置３５からのマイク
ロフォン位置情報検出信号ＭＰ₁ は第１のマイクロフォ
ン１１からのマイクロフォン検出音信号Ｓ₁ と異なるチ
ャネルに同時的に多重化する。この場合，図１を参照し
て述べたように，第（Ｍ＋１）番目のマイクロフォン１
４〜第Ｎ番目のマイクロフォン１５からのマイクロフォ
ン検出音信号Ｓ_M+1〜Ｓ_Nは多重化しない。

【００４５】第１のマルチプレクサ３１および第２のマ
ルチプレクサ３２または収録信号処理記録装置４０にお
ける多重化は上記第１実施例と同様である。またこの第
２実施例の収録装置においても，第１実施例と同様，歌
手，ピアノ１，バイオリン３などの音源の大きさ，マイ
クロフォンまたはこれら音源の指向性などの情報を加え
て，マイクロフォン検出音信号Ｓに多重化することがで
きる。

【００４６】さらにこの実施例においても，第２のマル
チプレクサ３２を削除して，第１のマイクロフォン１１
および第Ｍ番目のマイクロフォン１２からのマイクロフ
ォン検出音信号Ｓを多重化せずに収録信号処理記録装置
４０に入力して，それぞれ独立した音声チャネルに記録
することもできる。位置情報などは音声チャネルとは異
なるチャネルに音声チャネルに記録したタイミングと同
じタイミングで多重化記録する。

【００４７】図１および図４に示した収録信号処理記録
装置４０は音信号処理，音源位置などの位置情報処理に
加えて映像の処理を同時に行う例を示したが，映像信号
処理と音信号処理とを異なる装置で処理することも可能
である。収録信号処理記録装置４０における信号処理は
上述したように，時間的同時性があればよいから、音と
映像とは同期して動作すればよく，その処理を分離する
ことができる。

【００４８】図５に本発明の再生装置の実施例としての
音再生装置１００Ａの構成を示す。すなわち，まず、い
かにして実音像を再生（形成）するかについて述べる。
したがって，この例においては，第１の撮像装置６１お
よび第２の撮像装置６２またはいずれか選択的に使用さ
れた撮像信号の表示は，ＴＶモニタなどに表示されてい
るものとし，そのＴＶモニタなどの映像を中心として，
実音像を再生させる例について述べる。

【００４９】図５に示した音再生装置１００Ａは，第１
の音再生系統１１０，第２の音再生系統１２０および第
３の音再生系統１３０，および，スピーカ系統１４０か
らなる。上述した収録方式においてはＮチャネルの音声
チャネルがある場合について述べたが，図５は図解の関
係で，独立した４チャネルについてのみ述べる。

【００５０】第１の音再生系統１１０は，デコーダ１１
１，それぞれ信号遅延回路１１２および振幅調整回路１
１３，信号遅延回路１１４および振幅調整回路１１５，
信号遅延回路１１６および振幅調整回路１１７，およ
び，信号遅延回路１１８および振幅調整回路１１９から
なる並列した４系統の音調整回路からなる。第２の音再
生系統１２０および第３の音再生系統１３０の回路構成
も第１の音再生系統１１０と同様である。スピーカ系統
１４０は，それぞれ，信号加算回路１４１，電力増幅回
路１４２およびスピーカ１５１，信号加算回路１４３，
電力増幅回路１４４およびスピーカ１５２，信号加算回
路１４５，電力増幅回路１４６およびスピーカ１５３，
および，信号加算回路１４７，電力増幅回路１４８およ
びスピーカ１５４からなる。

【００５１】これら第１の音再生系統１１０，第２の音
再生系統１２０，第３の音再生系統１３０の前段には，
上記図１に図解した収録信号処理記録装置４０において
記録媒体に各チャネルごとに多重化された音信号と位置
情報とを分離してそれぞれ独立した位置情報検出信号Ｐ
₁，Ｐ₂，Ｐ₃およびマイクロフォン検出音信号Ｓ₁，
Ｓ₂，Ｓ₃ に分離する回路が設けられるが_,図示省略し
ている。あるいは，図１に示した収録信号処理記録装置
４０から直接，音再生装置１００Ａに多重化信号を印加
する場合は，多重化信号を分離する回路を設けるだけで
もよい。

【００５２】さらには，本発明の収音装置と再生装置と
を一体構成することもでき，それを信号処理装置とい
う。収録装置は再生装置とは、信号媒介手段、たとえ
ば、記録媒体、伝送経路などを介して接続される。その
場合は第１のマイクロフォン１１および第Ｍ番目のマイ
クロフォン１２の信号と第１の位置検出装置２１および
第Ｍ番目の位置検出装置２２の信号は多重化せず，直接
使用することもできる。以下の記述においては，信号読
み出し分離された位置情報およびマイクロフォン検出音
信号がいかに再生に使用されるかについて述べる。

【００５３】図６に図５に示したスピーカ系統１４０の
スピーカの配列を示す。図６（Ａ）はスピーカ系統１４
０の正面図を示し，図６（Ｂ）はその断面図を示す。こ
の例ではＭ個のスピーカが凹面状に配列されている。こ
のスピーカ配列自体はオルソン氏によって提案されてい
るものである（たとえば，オルソン著，西巻訳，「音響
工学」上，１９５９年）。このスピーカ方式においては
多数のスピーカをアレイ状に配列して加える信号の遅延
量を調節して空間の一点に音波の焦点を作ると，聴取者
の近傍の一点にきわめて音圧の高い点が合成され，この
点にあたかも実際の音源が存在するような状況が生じ，
聴覚心理的にもその位置に音像が知覚されるという根拠
に基づく（たとえば，小宮山他，「立体テレビのための
音像の遠近制御技術の開発」，ＮＨＫ技研Ｒ＆Ｄ，１９
９１年２月，Ｎｏ．２，ページ１０〜１４）。図５にお
いて，スピーカ１５１〜１５４は４個のみ示してるが，
一般的に言えば，図６に示したようにＭ個のスピーカが
配設される。

【００５４】デコーダ１１１は分離されて入力される実
際の位置情報検出信号Ｐ₁からマイクロフォン検出音信
号Ｓ₁が印加されている信号遅延回路１１２，１１４，
１１６，１１８の遅延量を変化させる。さらにデコーダ
１１１はこれら信号遅延回路１１２，１１４，１１６お
よび１１８において遅延されたマイクロフォン検出音信
号の振幅を振幅調整回路１１３，１１５，１１７，１１
９において調整する。信号遅延回路１１２における位置
情報による遅延量は，音源の位置，および，マイクロフ
ォンの配設位置またはいずれか一方の位置情報に基づい
て決定される。これら音源の位置情報，マイクロフォン
の位置情報をいかに用いるかは収音および再生の対象，
条件，目的などに応じて規定される。このように実際の
位置情報を用いて音再生処理を行うと，実音像の存在位
置に該当する位置に再生音響領域１６１，１６２，１６
３が生成される。

【００５５】上述した収録装置において，音源の大きさ
情報も多重化した場合は，デコーダ１１１は音源の大き
さ情報に応じて，また必要に応じて位置情報をも考慮し
て振幅調整回路１１３，１１５，１１７，１１９におけ
るそれぞれの振幅調整量を変化させる。これにより，一
層正確な実音像を生成することができる。

【００５６】同様に，収録装置において，指向性情報を
多重化した場合は，デコーダ１１１は指向性情報に基づ
く遅延量および振幅調整量を算出して信号遅延回路１１
２，１１４，１１６，１１８，および，振幅調整回路１
１３，１１５，１１７，１１９を調整する。

【００５７】上述した再生装置においては，各音声チャ
ネルごとに独立して遅延量および振幅量を調整する例に
ついて述べたが，本発明においては，各チャネルの音信
号および位置情報，さらには，音源の大きさ，指向性な
どの情報を加えて，音再生の全体的な観点から，それぞ
れの音再生系統１１０，１２０，１３０内のそれぞれの
信号遅延回路の遅延量，および，それぞれの振幅調整回
路の振幅調整量を規定する。この全体的な調整は編集段
階において編集装置５０において実施してもよく，ある
いは，位置情報，音源の大きさ情報などに応じて係数を
算出し，その係数で各系統を調整してもよい。

【００５８】以上の実施例は映像の再生と音の再生とを
分離して独立に行う場合について述べたが，以下の実施
例では再生画像内の音源に実音像が存在するように再生
する実施例について述べる。

【００５９】図７は第１の映像および音再生を行う装置
１００Ｂの斜視図を示す。図７において，ＴＶモニタ装
置１７０はＴＶモニタ表示部１７１を有している。ＴＶ
モニタ表示部１７１には第１の撮像装置６１または第２
の撮像装置６２で撮影された映像が表示されるが，この
表示画面内の音源，たとえば，ピアノ１の位置に実音像
が存在するように複数の任意方向の指向性を有するスピ
ーカ１８１〜１８３がＴＶモニタ表示部１７１の前面に
配設されている。ＴＶモニタ表示部１７１に表示される
音源，たとえば，ピアノ１のＴＶモニタ表示部１７１に
おける位置は第１の撮像装置６１の位置とピアノ１の位
置との関係で特定される。スピーカ１８１〜１８３は音
源位置情報によりビーム１９１の指向性が制御され，対
応する音がＴＶモニタ表示部１７１の表示面の再生画像
としての音源を指向するように方向制御される。それに
より，ＴＶモニタ表示部１７１の面の音源位置に対応す
る位置のビーム１９１が指向した位置に実音像位置１７
２が規定され，ＴＶモニタ表示部１７１に表示された音
源の画像位置からあたかもその音が発するように視聴者
が感じる。すなわち，ＴＶモニタ表示部１７１において
実音像を形成させる。

【００６０】図８（Ａ）は第２の映像および音再生を行
う装置１００Ｂの斜視図，図８（Ｂ）は透明電極板２０
０の平面図を示す。図８（Ａ）に示したＴＶモニタ装置
１７０は図７に示したＴＶモニタ装置１７０と同様であ
る。ＴＶモニタ表示部１７１の前面に透明電極板２００
が配設されている。この透明電極板２００は本出願人が
すでに昭和５８年１２月１７日に出願した実用新案登録
願「スピーカー装置」に開示されるように，電気的な音
声信号により振動されるほぼ透明なシート部材が形成さ
れ，前面の前方の位置から音声を放射する。透明電極板
２００は複数の区分２０１〜２０９に分割されており，
これらの区分の所定のものが選択的に駆動される。区分
２０１〜２０９の選択はＴＶモニタ表示部１７１に表示
される音源に対応して，図７を参照して述べたと同様
に，行われる。これにより，ＴＶモニタ表示部１７１の
音源が表示された部分からその音が放射され，ＴＶモニ
タ表示部１７１の表示画面の対応する位置に実音像が存
在するようになる。

【００６１】図９（Ａ）は第３の映像および音再生を行
う装置１００Ｄの斜視図，図８（Ｂ）はその断面図を示
す。この音および映像再生装置１００Ｄは表示装置とし
てカラー液晶表示２１０を用いている。カラー液晶表示
２１０の各画素２２１〜２２４はＲ，Ｇ，Ｂからなり，
これら画素の周辺に音出力穴２１１，２１２，２１３が
穿孔されている。音出力穴２１３からは小型スピーカ２
３１からの音出力が出力される。小型スピーカ２３１の
選択は図８を参照して述べたように，カラー液晶表示２
１０に表示される音源の画像位置に対応して行われる。
この実施例によっても，カラー液晶表示２１０の画面の
表示される音源から対応する音が出力され，そこに実音
像が存在するようになる。

【００６２】図１０は第４の映像および音再生を行う装
置１００Ｅの断面図を示す。この音および映像再生装置
１００Ｅは投影表示方式の表示装置であり，プロジェク
タ２５０から画像がスクリーン２６０に投影される。ス
クリーン２６０には多数の音出力穴２６１〜２６９が穿
孔されており，これらの穴の裏側にスピーカ２７１〜２
７９が配設されている。スクリーン２６０に表示される
音源に対応したスピーカが駆動され，スクリーン２６０
に表示される画像位置から対応する音が出力される。

【００６３】図１１は第５の映像および音再生を行う装
置１００Ｆの断面図を示す。この実施例も図１０に示し
た表示装置と同様，プロジェクタ３００からスクリーン
３１１に画像を投影する投影表示方式の表示装置である
が，スクリーン３１１の裏面に配設された振動部材３２
１〜３２６によって振動板３１３が振動され，スクリー
ン３１１に表示される音源に対応する位置が振動し，そ
こから音が出力される。したがって，この例において
も，スクリーン３１１に表示されている音源から実際の
音が放射されるようになる。

【００６４】本発明の実施に際しては上述した実施例に
限定されず，種々の変形形態をとることができる。また
本発明の実施に際しては上述した実施例を適宜組み合わ
せることができる。

【００６５】

【発明の効果】以上に述べたように，本発明の収録装置
および収録方法によれば，映像と音の収音に加えて，少
なくともその収音した音に対応する位置情報をその音声
の記録と対応づけて多重化するので，その後の段階にお
ける編集，再生において，映像との関連を持って実音像
を生成することが可能になる。また本発明の収録装置お
よび収録方法によれば，音源の寸法，指向性などの情報
を位置情報に加えて多重化することでより一層実音像を
実現することが可能になる。

【００６６】本発明の再生装置および再生方法によれ
ば，上記収録装置および収録方法によって収録され多重
化された情報に基づいて複数のスピーカを用いて音の再
生を行うので実音像を生成することが可能となる。さら
に本発明の再生装置および再生方法によれば，上記収録
装置および収録方法によって収録され再生画像における
音源の位置から対応する音を再生することが可能にな
る。

【００６７】上述した収録装置と上述した再生装置とを
信号媒介手段で結合させた本発明の信号処理装置によれ
ば、収録から再生まで一貫して統一的に行うことがで
き、上述した収録装置と上述した再生装置の効果の双方
の効果を奏する。

【図面の簡単な説明】

【図１】本発明の収録装置の第１実施例としての収録装
置の構成図である。

【図２】図１に示した収録装置における位置情報または
音信号の周波数多重化処理を説明する図である。

【図３】図１に示した収音装置における位置情報または
音信号の時分割多重化処理を説明する図である。

【図４】本発明の収録装置の第２実施例としての収録装
置の構成図である。

【図５】本発明の再生装置の実施例としての音再生装置
の構成図である。

【図６】図５に示した複数のスピーカの配列を示す図で
あり，（Ａ）は正面図，（Ｂ）はその断面図である。

【図７】本発明に係る再生装置の第１実施例の斜視図で
ある。

【図８】本発明に係る再生装置の第２実施例の斜視図で
あり，図８（Ａ）は全体斜視図であり，図８（Ｂ）は透
明電極板の正面図である。

【図９】本発明に係る再生装置の第３実施例の斜視図で
あり，図９（Ａ）は部分拡大図であり，図９（Ｂ）はそ
の断面図である。

【図１０】本発明に係る再生装置の第４実施例の断面図
である。

【図１１】本発明に係る再生装置の第５実施例の断面図
である。

【符号の説明】

１・・ピアノ，３・・バイオリン，５・・演奏会会場，１１，１２，１４，１５・・マイクロフォン，２１，２２・・位置検出装置，３１，３２・・マルチプレクサ，３５・・マイクロフォン位置検出装置，４０・・収録信号処理記録装置，５０・・編集装置，６１，６２・・撮像装置，１００・・音および映像再生
装置，１１０，１２０，１３０・・音再生系統，１１１・・デコーダ，１１２，１１４，１１６，１１８・・信号遅延回路，１１３，１１５，１１７，１１９・・振幅調整回路，１４１，１４３，１４５，１４７・・信号加算回路，１４２，１４４，１４６，１４８・・電力増幅回路，１５１〜１５４・・スピーカ，１６１〜１６３・・再生音響領域，１７０・・ＴＶモニタ装置，１７１・・ＴＶモニタ表示
部，１７２〜１７４・・実音像位置，１８１〜１８３・・ス
ピーカ，１９１〜１９３・・ビーム，２００・・透明電極板，２０１〜２０９・・電極区分，２１０・・カラー液晶表
示装置，２１１〜２１３・・スピーカ穴，２２１〜２２４・・画
素，２３１，２３２・・小型スピーカ，２５０・・プロジェ
クタ，２６０・・スクリーン，２７１・・小型スピーカ，２６１〜２６９・・音出力穴，３００・・プロジェク
タ，３１１・・スクリーン，３２１〜３２６・・振動部材。

Claims

(57)【特許請求の範囲】

【請求項１】収録の対象となる音源の位置および上記音
源からの可聴音を検出する音検出手段の配設位置および
上記音源の位置の少なくともいずれか一方の位置を示す
位置情報信号を多重化する信号多重化手段と、上記音検出手段からの出力信号を記録媒体の音声チャネ
ルに記録し、同時的に上記音源のある風景を撮像する撮
像手段からの出力信号を上記記録媒体の映像チャネルに
記録し、さらに同時的に上記信号多重化手段において多
重化された上記位置情報信号を上記記録媒体の上記音声
チャネルおよび上記映像チャネルと異なるチャネルに記
録する手段とを具備する収録装置。
【請求項２】上記位置情報信号を検出して上記信号多重
化手段に入力する位置情報検出手段をも具備する請求項
１記載の収録装置。
【請求項３】上記位置情報信号を上記信号多重化手段に
設定する位置情報設定手段をも具備する請求項１または
２記載の収録装置。
【請求項４】上記信号多重化手段は、上記音源の大きさ
を示す音源寸法情報信号を上記記録媒体の上記音声チャ
ネルおよび上記映像チャネルと異なるチャネルに多重化
する請求項１〜３いずれか記載の収録装置。
【請求項５】上記信号多重化手段は、上記音源の指向性
および上記音検出手段の指向性の少なくともいずれか一
方の指向性を示す指向性情報信号を、上記記録媒体の音
声チャネルおよび映像チャネルと異なるチャネルに多重
化する請求項１〜４いずれか記載の収録装置。
【請求項６】上記信号多重化手段は、上記撮像手段の配
設位置を示す撮像位置情報信号を上記記録媒体の音声チ
ャネルおよび映像チャネルと異なるチャネルに多重化す
る請求項１〜５いずれか記載の収録装置。
【請求項７】記録媒体の音声チャネルに記録された音信
号を読み出す手段と，上記音信号の記録と同時的に上記記録媒体の映像チャネ
ルに記録された音源のある風景の撮像信号を読みだして
再生する手段と，上記記録媒体の音声チャネルおよび映像チャネルと異な
るチャネルに多重化記録された上記音信号に対応する音
源の位置および該音源からの可聴音を検出した音検出手
段の配設位置の少なくともいずれか一方の位置を示す位
置情報信号を読み出し分離する手段と、上記分離された位置情報信号に基づいて上記読み出され
た音信号の振幅および遅延時間を調整する手段とを具備
する再生装置。
【請求項８】記録媒体の音声チャネルに記録された音信
号を読み出す手段と、上記音信号の記録と同時的に上記記録媒体の映像チャネ
ルに記録された音源のある風景の撮像信号を読み出し再
生する手段と、上記記録媒体の音声チャネルおよび映像チャネルと異な
るチャネルに多重化記録された上記音信号に対応する音
源位置および上記音検出手段の配設位置の少なくともい
ずれか一方の位置を示す位置情報信号、および上記音信
号に対応する音源寸法情報信号を読み出し分離する手段
と、上記分離された位置情報信号および音源寸法情報信号に
基づいて上記読み出された音信号の振幅および遅延時間
を調整する手段とを具備する再生装置。
【請求項９】記録媒体の音声チャネルに記録された音信
号を読み出す手段と、上記音信号の記録と同時的に上記記録媒体の映像チャネ
ルに記録された音源のある風景の撮像信号を読み出し再
生する手段と、上記記録媒体の音声チャネルおよび映像チャネルと異な
るチャネルに多重化記録された上記音信号に対応する音
源位置および上記音検出手段の配設位置の少なくともい
ずれか一方の位置を示す位置情報信号、上記音信号に対
応する音源寸法情報信号、および上記音源の指向性およ
び上記音検出手段の指向性の少なくともいずれか一方の
指向性を示す指向性情報信号を示す指向性情報を読み出
し分離する手段と、上記分離された位置情報信号、音源寸法情報信号および
指向性情報信号に基づいて上記読み出された音信号の振
幅および遅延時間を調整する手段とを具備する再生装
置。
【請求項１０】記録媒体の音声チャネルに記録された音
信号を読み出す手段と、上記音信号の記録と同時的に上記記録媒体の映像チャネ
ルに記録された音源のある風景の撮像信号を読み出し再
生する手段と、上記記録媒体の音声チャネルおよび映像チャネルと異な
るチャネルに多重化記録された上記音信号に対応する音
源の位置および該音源からの可聴音を検出した音検出手
段の配設位置の少なくともいずれか一方の位置を示す位
置情報信号、上記音信号に対応する音源寸法情報信号、
上記音源の指向性および上記音検出手段の指向性の少な
くともいずれか一方の指向性を示す指向性情報信号、お
よび上記撮像手段の配設位置を示す撮像位置情報信号を
読み出し分離する手段と、上記分離された位置情報信号、音源寸法情報信号、指向
性情報信号および撮像位置情報信号に基づいて上記読み
出された音信号の振幅および遅延時間を調整する手段と
を具備する再生装置。
【請求項１１】上記再生手段において再生された撮像信
号を映像として再生する映像再生手段をさらに有し、上記調整手段において上記映像に対応する音源位置から
対応する音を発するように上記音信号の振幅および遅延
時間を調整する請求項７〜１０いずれか記載の再生装
置。
【請求項１２】上記調整された音信号を可聴音に変換し
て出力する音再生手段をも具備する請求項７〜１１いず
れか記載の再生装置。
【請求項１３】音検出手段により検出した音信号を記録
媒体の音声チャネルに記録し、同時的に上記音源のある
風景を撮像する撮像手段からの撮像信号を上記記録媒体
の映像チャネルに記録し、さらに同時的に上記音信号の
音源の位置および該音源からの可聴音を検出した音検出
手段の配設位置の少なくともいずれか一方の位置を示す
位置情報信号を多重化して上記記録媒体の上記音声チャ
ネルおよび上記映像チャネルと異なるチャネルに記録す
る収録方法。
【請求項１４】記録媒体の音声チャネルに記録された音
信号を読み出し、上記音信号の記録と同時的に上記記録媒体の映像チャネ
ルに記録された音源のある風景の撮像信号を読み出し再
生し、同時的に上記音声チャネルおよび映像チャネルと
異なるチャネルに多重化記録された上記音信号に対応す
る音源の位置および該音源からの可聴音を検出した音検
出手段の配設位置の少なくともいずれか一方の位置を示
す位置情報信号を読み出し分離し、上記分離された位置
情報信号に基づいて上記読み出された音信号の振幅およ
び遅延時間を調整し、上記調整された音信号を可聴音に変換して上記再生した
映像と対応する音源位置から可聴音に変換して出力する
再生方法。
【請求項１５】収録装置および該収録装置と信号媒介手
段を介して接続された再生装置を有する信号処理装置で
あって、上記信号媒介手段は記録媒体を含み、上記収録装置は、収録の対象となる音源の位置および上記音源からの可聴
音を検出する音検出手段の配設位置および上記音源の位
置の少なくともいずれか一方の位置を示す位置情報信号
を多重化する信号多重化手段と、上記音検出手段からの出力信号を記録媒体の音声チャネ
ルに記録し、同時的に上記音源のある風景を撮像する撮
像手段からの出力信号を上記記録媒体の映像チャネルに
記録し、さらに同時的に上記信号多重化手段において多
重化された上記位置情報信号を上記記録媒体の上記音声
チャネルおよび上記映像チャネルとは異なるチャネルに
記録する手段とを具備し、上記再生装置は、記録媒体の音声チャネルに記録された音信号を読み出す
手段と，上記音信号の記録と同時的に上記記録媒体の映像チャネ
ルに記録された音源のある風景の撮像信号を読みだして
再生する手段と，上記記録媒体の音声チャネルおよび映像チャネルと異な
るチャネルに多重化記録された上記音信号に対応する音
源の位置および該音源からの可聴音を検出した上記音検
出手段の配設位置の少なくともいずれか一方の位置を示
す位置情報信号を読み出し分離する手段と、上記分離された位置情報信号に基づいて上記読み出され
た音信号の振幅および遅延時間を調整する手段とを具備
する信号処理装置。
【請求項１６】上記収録装置の上記信号多重化手段は、
上記音源の大きさを示す音源寸法情報信号を上記記録媒
体の上記音声チャネルおよび上記映像チャネルと異なる
チャネルに多重化し、上記再生装置の上記分離手段は、上記音声チャネルおよ
び映像チャネルと異なるチャネルに多重化記録された上
記音信号に対応する音源位置および上記音検出手段の配
設位置の少なくともいずれか一方の位置を示す位置情報
信号、および上記音信号に対応する音源寸法情報信号を
読み出し分離し、上記調整手段は上記分離された位置情
報信号および音源寸法情報信号に基づいて上記読み出さ
れた音信号の振幅および遅延時間を調整する請求項１５
記載の信号処理装置。
【請求項１７】上記収録装置の上記信号多重化手段は、
上記音源の指向性および上記音検出手段の指向性の少な
くともいずれか一方の指向性を示す指向性情報信号を、
上記記録媒体の音声チャネルおよび映像チャネルと異な
るチャネルに多重化し、上記再生装置の分離手段は、上記音声チャネルおよび映
像チャネルと異なるチャネルに多重化記録された上記音
信号に対応する音源位置および上記音検出手段の配設位
置の少なくともいずれか一方の位置を示す位置情報信
号、上記音信号に対応する音源寸法情報信号、および上
記音源の指向性および上記音検出手段の指向性の少なく
ともいずれか一方の指向性を示す指向性情報信号を示す
指向性情報を読み出し分離し、上記調整手段は上記分離
された位置情報信号、音源寸法情報信号および指向性情
報信号に基づいて上記読み出された音信号の振幅および
遅延時間を調整する請求項１６記載の信号処理装置。
【請求項１８】上記再生装置は上記調整された音信号を
可聴音に変換して出力する音再生手段をも具備する請求
項１５〜１７いずれか記載の信号処理装置。