JP3104348B2

JP3104348B2 - 収録装置、再生装置、収録方法および再生方法、および、信号処理装置

Info

Publication number: JP3104348B2
Application number: JP03336230A
Authority: JP
Inventors: 潔文稲永; 裕司山田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1991-11-26
Filing date: 1991-11-26
Publication date: 2000-10-30
Anticipated expiration: 2015-10-30
Also published as: JPH05244550A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は音と映像を同時的に記録
する収録装置と収録方法、および、収録された音および
映像を再生する再生装置と再生方法、および、収録装置
と再生装置とを組み合わせた信号処理装置に関するもの
であり，特に，音源または音検出装置の位置情報を記録
するとともにその音源のある風景を撮影し，その再生映
像と対応する音源位置からあたかも実音像として再生可
能な収録装置と収録方法およびその再生装置と再生方
法、および、収録装置と再生装置とを組み合わせた信号
処理装置に関する。さらに特定的には，本発明の収録装
置と収録方法は同じ音声チャネルに音信号と位置情報と
を多重化記録する装置と方法に関する。

【０００２】

【従来の技術】立体テレビの研究が進められている。こ
の立体テレビにおいては，映像の立体的な再生（再現）
をいかに忠実にするかという観点から，その映像の記録
と音の記録をいかに行い，これら収録された音と映像か
らいかに忠実に映像と音を再生するかが問題となる。ま
た音を実音像として再生することが要望されており，空
間的な広がりを持つ音響，音声などの音を実音像として
いかに忠実に再現（再生）するかについて，種々の収録
方式およびその再生方式が提案され試みられている。

【０００３】たとえば，音に関しては，一般的な収音再
生方法である「インテンシティステレオ方式は，多数の
マイクロフォンを用いて収音し，定められた複数のチャ
ネル，たとえば，Ｎチャネルにレベル差，時間差などの
情報を付加して振り分けて録音し，その再生時に，定め
られた位置に配設されたＮ個のスピーカによって音像を
生成する。また音の収音・再生に関してバイノーラル収
音再生方式，ワンポイント収音再生方式も知られてい
る。さらに多数のスピーカを配設して実音像を形成させ
ようとする試みが知られている（たとえば，特開平２−
２２４４９５号公報）。

【０００４】

【発明が解決しようとする課題】上述した例に代表され
る従来の音および映像の収録・再生方式はいずれも虚音
像を再生するものであるから，依然として実音像を生成
するという本来の目的を達成することができない。特
に，再生された映像と対応する音源位置から音が発する
ように映像と音を再生することができない。その結果と
して，依然として虚音像に起因する問題，たとえば，音
の再生位置が限定され，位置がずれると音の像が結ば
ず，虚音像の位置に近づくと実体感がないといった問題
がある。また上記多数のスピーカを配設して実音像を形
成しようとする試みも，マトリクス状に配設されたスピ
ーカへの制御であり，音源に対応した制御を行っておら
ず，実音像を形成することはできない。

【０００５】一般的に，映像の関連における実音像の生
成は単に収音および撮像，および，これらの再生のみで
なく，当然ながら，収音および撮像過程から音および映
像の再生過程に至る全体的な条件を考慮する必要があ
る。そのためには，収録方法，編集方法などを考慮しな
ければならない。本発明は上述した従来の収録・再生方
式における問題を解決し，再生映像における音源から実
音像を生成可能な映像および音の収録装置と収録方法お
よびその再生装置と再生方法、および、収録装置と再生
装置とを組み合わせた信号処理装置を提供することを目
的とする。

【０００６】

【課題を解決するための手段】本発明の収録装置は、収
録する対象となる音源からの可聴音を検出する音検出手
段で検出した音信号と、上記音源の位置および上記音検
出手段の配設位置の少なくともいずれか一方の位置を示
す位置情報信号とを音源ごとに多重化する信号多重化手
段と、上記音源のある風景を撮像する撮像手段からの撮
像信号を記録媒体の映像チャネルに記録し、同時的に上
記音源ごとに多重化された音信号と位置情報信号を上記
記録媒体の音声チャネルに記録する手段とを具備する。

【０００７】上記収録装置は上記位置情報信号を上記信
号多重化手段に出力する位置情報検出手段をも具備す
る。または、上記収録装置は上記位置情報信号を上記信
号多重化手段に入力する位置情報設定手段をも具備す
る。

【０００８】好適には、上記信号多重化手段は、上記音
源の大きさを示す音源寸法情報信号を、上記音信号およ
び上記位置情報信号とともに多重化する。また好適に
は、上記信号多重化手段は、上記音源の指向性および上
記音検出手段の指向性の少なくともいずれか一方の指向
性を示す指向性情報信号を、上記音信号および上記位置
情報信号とともに多重化する。さらに好適は、上記信号
多重化手段は、上記音源の位置と対応づけて上記撮像手
段の配設位置を示す撮像位置情報信号を、上記音信号お
よび上記位置情報信号とともに多重化する。

【０００９】本発明の第１の観点の再生装置は、音信号
と、上記音信号に対応する音源の位置を示す位置情報信
号および上記音源からの可聴音を検出した音検出手段の
配設位置を示す位置情報信号の少なくともいずれか一方
の位置情報信号とが音源ごとに多重記録された記録媒体
の音声チャネルから上記音信号と上記位置情報信号とを
読み出し分離する手段と、上記音信号の記録と同時的に
記録された上記音源のある風景の撮像信号を上記記録媒
体の映像チャネルから読み出し再生する手段と，上記分
離された位置情報信号に基づいて上記分離された音信号
の振幅および遅延時間を調整する手段とを具備する。

【００１０】本発明の第２の観点の再生装置は、音信号
と、上記音信号に対応する音源の位置を示す位置情報信
号および上記音源からの可聴音を検出した音検出手段の
配設位置を示す位置情報信号の少なくともいずれか一方
の位置情報信号、および、上記音信号に対応する音源寸
法情報信号とが音源ごとに多重記録された記録媒体の音
声チャネルから上記音信号と上記位置情報信号と上記音
源寸法信号とを読み出し分離する手段と、上記音信号の
記録と同時的に記録された上記音源のある風景の撮像信
号を上記記録媒体の映像チャネルから読み出し再生する
手段と、上記分離された位置情報信号および音源寸法情
報信号に基づいて上記分離された音信号の振幅および遅
延時間を調整する手段とを具備する。

【００１１】本発明の第３の観点の再生装置は、音信
号と、上記音信号に対応する音源の位置を示す位置情報
信号および上記音源からの可聴音を検出した音検出手段
の配設位置を示す位置情報信号の少なくともいずれか一
方の位置情報信号、上記音信号に対応する音源寸法情報
信号、および、上記音源の指向性および上記音検出手段
の指向性の少なくともいずれか一方の指向性を示す指向
性情報信号とが音源ごとに多重記録された記録媒体の音
声チャネルから上記音信号と上記位置情報信号と上記音
源寸法信号と上記指向性情報信号とを読み出し分離する
手段と、上記音信号の記録と同時的に記録された上記音
源のある風景の撮像信号を上記記録媒体の映像チャネル
から読み出し再生する手段と、上記分離された位置情報
信号、音源寸法情報信号および指向性情報信号に基づい
て上記分離された音信号の振幅および遅延時間を調整す
る手段とを具備する。

【００１２】本発明の第４の観点の再生装置は、音信
号と、上記音信号に対応する音源の位置を示す位置情報
信号および上記音源からの可聴音を検出した音検出手段
の配設位置を示す位置情報信号の少なくともいずれか一
方の位置情報信号、上記音信号に対応する音源寸法情報
信号、上記音源の指向性および上記音検出手段の指向性
の少なくともいずれか一方の指向性を示す指向性情報信
号、および、上記音源の位置と対応づけて撮像手段の配
設位置を示す撮像位置情報信号とが音源ごとに多重記録
された記録媒体の音声チャネルから上記音信号と上記位
置情報信号と上記音源寸法信号と上記指向性情報信号と
上記撮像位置情報とを読み出し分離する手段と、上記音
信号の記録と同時的に記録された上記音源のある風景の
撮像信号を上記記録媒体の映像チャネルから読み出し再
生する手段と、上記分離された位置情報信号、音源寸法
情報信号、指向性情報信号および撮像位置情報信号に基
づいて上記分離された音信号の振幅および遅延時間を調
整する手段とを具備する。

【００１３】好適には、上記再生装置は、上記再生され
た撮像信号を映像として再生し、上記映像と対応づけら
れた音源位置から対応する音を発するように上記音信号
の振幅および遅延時間を調整する。

【００１４】好適には、上記再生装置は、上記記録媒体
に記録された上記多重化信号を上記記録媒体から読み出
す手段をも具備する。

【００１５】さらに好適には、上記再生装置は、上記調
整された音信号を可聴音に変換して出力する音再生手段
をも具備する。

【００１６】本発明の収録方法は、収録する対象とな
る音源からの可聴音を検出する音検出手段で検出した音
信号と、上記音信号に対応する音源の位置および上記音
検出手段の配設位置の少なくともいずれか一方の位置を
示す位置情報信号とを音源ごとに多重化して記録媒体の
音声チャネルに記録し、この音信号の多重化記録と同時
的に上記音源のある風景を撮像して上記記録媒体の映像
チャネルに記録する。

【００１７】

【作用】本発明の収録装置および収録方法においては、
音源のある風景を撮像し，その音源からの音を同時的に
記録する。その音信号の記録に加えて，その音源の位置
および音検出手段の配設位置を示す位置情報も音信号を
記録したチャネルと同じ音声チャネルに多重化記録す
る。音信号とその位置関係が同じ音声チャネルにおいて
対応しているから，その編集段階および再生段階におい
て音源の位置関係，および，音検出手段の配設位置を考
慮して実音像を生成する音の編集および再生が可能とな
る。上記多重化に音源の大きさ情報を加えると，上記実
音像の生成が一層正確になる。さらに指向性情報を加
えると実音像の生成がさらに正確に実現できる。

【００１８】また上記音の実音像形成に加えて，撮像手
段の位置情報を上記音源の位置情報との関連を持って記
録することにより，再生画像と対応する音源位置に実音
像を生成することができる。

【００１９】本発明の再生装置および再生方法において
は，上記収録装置および収録方法によって記録された映
像信号，音信号，位置情報に基づいて映像および音を再
生する。映像と音源との位置関係が対応付けられている
ので，再生画像と対応する音源位置に実音像を生成させ
ることができる。上記位置情報に加えて，音源寸法，指
向性などの情報に基づいてより正確な実音像を生成す
る。

【００２０】さらに上記収録装置と上記再生装置を有機
的に結合させた本発明の信号処理装置においては、上述
した収録から再生まで効果的に行うことができる。

【００２１】

【実施例】図１に本発明の収録装置の第１実施例として
の収録装置の構成図を示す。本明細書における「収録」
は映像の記録と音の記録を意味する。また後述する「再
生」は本明細書において音と映像の再生を意味する。図
１に示した収録装置を，具体例，たとえば，演奏会会場
における演奏の生収録を行う場合に関連づけて述べる。

【００２２】一般的に言って，音の処理は，たとえば，
演奏会の演奏音，自動車競技場内のエンジン音などの収
音し再生する対象となる音源の位置，大きさ，収音マイ
クロフォンの位置，感度特性，指向性などの収音条件，
編集方法とその装置条件，再生方法，音処理に使用する
装置の性能などの一連の関連事項を全体としてみて，い
かにして実音像を生成することが可能かについての観点
から，再びそれぞれの処理過程における条件が決定され
ることになる。また本発明の収録装置においては，音と
映像との関連をつけた収録を行う必要がある。したがっ
て，本発明の収録装置は，音源の映像とを関連づけて音
源からの音を，編集し，再生することを考慮し，再生映
像との関連のもとで実音像を再生可能なように収録す
る。

【００２３】図１において，演奏会会場には収音すべき
音源としてピアノ１，バイオリン３などの複数の楽器の
他に，演奏会会場５の聴衆からの音が存在する。図１に
示した収録装置は，ピアノ１からの音響を検出する第１
のマイクロフォン１１，バイオリン３からの音響を検出
する第Ｍ番目のマイクロフォン１２，会場５からの音響
を検出する第（Ｍ＋１）番目のマイクロフォン１４〜第
Ｎ番目のマイクロフォン１５からの音信号を入力され
る。また収録装置は，第１のマイクロフォン１１の位置
を示す情報を提供する第１の位置検出装置２１，第Ｍ番
目のマイクロフォン１２の位置を示す情報を提供する第
Ｍ番目の位置検出装置２２を有する。収録装置はさらに
ピア１、バイオリン３、演奏会会場５などを撮影する撮
像装置６１および図示しない複数の撮像装置からの映像
信号を入力される。これら撮像装置は具体的にはテレビ
カメラである。さらに収音装置は，第１のマルチプレク
サ３１，第２のマルチプレクサ３２，および，収録信号
処理記録装置４０を有する。

【００２４】第１のマイクロフォン１１はピアノ１の近
傍に配設され，主としてピアノ１を音源とする音響を検
出して第１のマルチプレクサ３１に出力する。同様に，
第Ｍ番目のマイクロフォン１２はバイオリン３の近傍に
配設され，主としてバイオリン３を音源とする音響を検
出して第２のマルチプレクサ３２に出力する。

【００２５】第１の位置検出装置２１はピアノ１の位置
情報を出力し，第Ｍ番目の位置検出装置２２はバイオリ
ン３の位置情報を出力する。これらのマイクロフォン位
置情報検出信号ＭＰ₁，ＭＰ_Mはそれぞれマルチプレク
サ３１，３２に入力される。第１の位置検出装置２１お
よび第Ｍ番目の位置検出装置２２から提供される上記位
置情報は，たとえば，演奏会会場５の指揮者の位置を座
標位置の原点として，直交座標系における相対的位置ま
たは絶対位置として示される。また，これらの位置情報
は直交座標に限らず，極座標系で示してもよい。演奏会
会場におけるピアノ１，バイオリン３などの楽器は通
常，その演奏会会場５において固定した位置に配設され
ている。したがって，この例においては，第１の位置検
出装置２１および第Ｍ番目の位置検出装置２２は，固定
したピアノ１およびバイオリン３の配置位置情報を提供
する。演奏会会場５の聴衆からの音響の位置情報は第
（Ｍ＋１）番目のマイクロフォン１４〜第Ｎ番目のマイ
クロフォン１５の配設位置情報として収音信号処理記録
装置４０に設定されていてもよい。

【００２６】第１のマルチプレクサ３１は第１のマイク
ロフォン１１からのマイクロフォン検出音信号Ｓ₁と第
１の位置検出装置２１からのマイクロフォン位置情報検
出信号ＭＰ₁とを多重化する。同様に第２のマルチプレ
クサ３２は第Ｍ番目のマイクロフォン１２からのマイク
ロフォン検出音信号Ｓ_Mと第Ｍ番目の位置検出装置２２
からのマイクロフォン位置情報検出信号ＭＰ_Mを多重化
する。これら多重化された信号はそれぞれ入力多重化信
号ＩＭ₁およびＩＭ _Mとして収音信号処理記録装置４０
に入力されてそれぞれの音声チャネルに対応した位置に
記録される。このようにマイクロフォン検出音信号Ｓと
対応するマイクロフォン位置情報検出信号ＭＰとは同じ
音声チャネルに多重化された状態で記録される。

【００２７】第１のマルチプレクサ３１および第２のマ
ルチプレクサ３２における音信号と位置情報の多重化方
法としては，たとえば，アナログ信号処理に適した周波
数多重化方法またはディジタル信号処理に適した時分割
多重化方法などで行う。図２を参照して，同じ音声チャ
ネルへの音信号，たとえば，第１のマイクロフォン１１
からのマイクロフォン検出音信号Ｓ₁と対応する位置情
報，マイクロフォン位置情報検出信号ＭＰ₁の周波数多
重化方法を述べる。可聴音の周波数帯域は１６Ｈ_Zから
２００００Ｈ_Z程度である。したがって，この可聴音周
波数帯域に音信号を振り分け，この周波数帯域外を位置
情報を振り分ける周波数帯域とする。位置情報の周波数
多重化に際しては，実線で示したように高い周波数を用
いてもよく破線で示したように低い周波数を用いてもよ
い。このように音信号と対応する位置情報とを同じ音声
チャネルに多重化することにより，音信号とその音源位
置との対応が容易になり，その後に行う編集処理および
再生動作における信号の取扱が容易になる。

【００２８】図３を参照して時分割多重化処理について
述べる。同じ音声チャネルに時間経過に応じて，交互に
マイクロフォン検出音信号Ｓ₁とそれに対応するマイク
ロフォン位置情報検出信号ＭＰ₁とが多重化される。図
中、記号ＭＫはフレームマーカを示す。この多重化は音
信号と位置情報とが必ずしも交互に多重化される場合に
限らず，音信号の多重化間隔を位置情報の多重化間隔よ
り短くしてもよい。この時分割多重化においても音信号
とその音源位置情報とが同じ音声チャネルに多重化され
ているから，対応関係が容易に識別できる。

【００２９】上記多重化処理は，第１のマルチプレクサ
３１および第２のマルチプレクサ３２で行うことに代え
て，収録信号処理記録装置４０内で行ってもよい。いず
れにしても，収録信号処理記録装置４０からは同じ音声
チャネルに音信号とそれに対応する位置情報とが多重化
されて出力される。なお、後述するように、収録信号処
理記録装置４０に多重化信号を分離する回路を設けて分
離されたそれぞれの信号を出力してもよい。

【００３０】収録信号処理記録装置４０には撮像装置６
１からのビデオ信号ＶＤが入力され，映像信号として記
録される。この撮像装置６１の撮影位置情報が上記絶対
位置またはピアノ１などの音源との相対位置を示す位置
情報として収録信号処理記録装置４０に設定されてもよ
い。また撮像装置６１が移動する場合は第１の位置検出
装置２１のように撮像装置６１についても位置検出装置
を設けてそれらの位置を検出するようにしてもよい。そ
の場合，マルチプレクサ３１と同様なマルチプレクサ
（図示せず）を付加し，それらの位置情報を映像信号と
ともに多重化して記録することもできる。

【００３１】収録信号処理記録装置４０は第（Ｍ＋１）
番目のマイクロフォン１４〜第Ｎ番目のマイクロフォン
１５のマイクロフォン検出音信号Ｓ_M+1 〜Ｓ_Nを入力し
て_,そのまま多重化しないで出力する。これら第（Ｍ＋
１）番目のマイクロフォン１４〜第Ｎ番目のマイクロフ
ォン１５は，本実施例においては，演奏会会場５の各所
に配設され演奏会会場５内の全体的な聴衆の音響を検出
する。これらの音響は通常，臨場感を出すために使用さ
れるが，特に位置情報とは関連づけず，背景音（バック
グラウンドサウンド）として使用してもよい。

【００３２】収録信号処理記録装置４０におけるＮチャ
ネルの音声チャネルへの記録は，たとえば，磁気テープ
への記録，光ディスクへの記録，半導体メモリへの記録
など種々の記録媒体に独立した音声チャネルごとに記憶
される。また収録信号処理記録装置４０における映像チ
ャネルへの記録も同様に行われる。収録信号処理記録装
置４０で記録媒体に記録されたチャネルごとの記録信号
は，必要に応じて編集装置５０において編集され，音お
よび映像再生装置１００において再生される。編集装置
５０における編集処理において，各音声チャネルごとに
音信号と位置情報とが多重化されて記録されているの
で，空間的な信号処理を加えた音声編集作業が可能にな
る。またこの編集作業を経ずに上記収音装置で記録した
位置情報を含む音情報を直接，音および映像再生装置１
００において再生することもできる。あるいは，収録信
号処理記録装置４０において記録媒体に記録させること
なく直接音および映像再生装置１００に各音声チャネル
ごとに音信号および位置情報を多重化した信号，およ
び，多重化しない信号を出力して，音および映像再生装
置１００において直接再生させることもできる。音およ
び映像再生装置１００における再生処理については後述
する。

【００３３】上述した実施例において，ピアノ１，バイ
オリン３などの音源の寸法（大きさ）情報を上記マイク
ロフォン検出音信号Ｓ，マイクロフォン位置情報検出信
号ＭＰに加えて多重化することにより情報が豊かにな
り，情報編集処理および再生して実音像を形成する上で
好適である。音源の寸法情報も上記位置情報と同様に多
重化される。

【００３４】さらにピアノ１，バイオリン３などの指向
性情報，あるいは，第１のマイクロフォン１１および第
Ｍ番目のマイクロフォン１２などの指向性情報も上記マ
イクロフォン検出音信号Ｓ，マイクロフォン位置情報検
出信号ＭＰ，音源の大きさ情報に加えて多重化すること
が，音源の大きさ情報を加えることと同様，編集処理お
よび再生において好適である。この指向性情報の多重化
も上記音源の寸法情報の多重化と同様，同じチャネルに
行う。

【００３５】第１の位置検出装置２１および第Ｍ番目の
位置検出装置２２における位置情報の提供としては，音
源位置を位置情報として提供する他，第１のマイクロフ
ォン１１および第Ｍ番目のマイクロフォン１２の配設位
置情報をも提供する。あるいは，位置情報としては第１
の位置検出装置２１および第Ｍ番目の位置検出装置２２
の配設位置を位置情報として提供する。このように正確
な位置情報を音信号とともに記録することにより，編集
処理および再生処理を経て，より正確な実音像を形成す
ることが可能となる。

【００３６】この実施例においては，演奏会会場５にお
ける収音であり，ピアノ１，バイオリン３などは固定し
た位置にあり，第１のマイクロフォン１１および第Ｍ番
目のマイクロフォン１２の配設位置も固定である。した
がって，この実施例においては，第１の位置検出装置２
１および第Ｍ番目の位置検出装置２２を用いずに，上記
配置関係を示す位置情報を予め収録信号処理記録装置４
０に設定しておき，第１の位置検出装置２１および第Ｍ
番目の位置検出装置２２を設けなくすることもできる。
ただし，収録信号処理記録装置４０において第１のマイ
クロフォン１１および第Ｍ番目のマイクロフォン１２か
らのマイクロフォン検出音信号Ｓに上記設定した位置情
報を重畳する。位置情報は固定であるから，この位置情
報の重畳方法は常時多重化せず，各音声チャネルの頭の
部分などに記録することでもよい。

【００３７】また図１において，第１のマイクロフォン
１１および第Ｍ番目のマイクロフォン１２からのマイク
ロフォン検出音信号Ｓ₁およびＭＰ_Mの信号の高速性か
らこれらマイクロフォン検出音信号Ｓについては多重化
せず，第（Ｍ＋１）番目のマイクロフォン１４〜第Ｎ番
目のマイクロフォン１５からのマイクロフォン検出音信
号と同様，多重化しないでそれぞれ異なる音声チャネル
に記憶することもできる。

【００３８】図４に本発明の収録装置の第２実施例とし
ての収録装置を示す。この収録装置は特に，音源が移動
する場合の収録に適合する構成を示す。音源が移動する
例としては，演奏会場において，マイクロフォンを持っ
ている歌手が舞台の上を移動しながら歌う場合などがあ
る。このように第１のマイクロフォン１１を持っている
歌手が移動している場合の収音においては，その歌手の
位置をワイヤレス方式の第１の位置検出装置２４を用い
て検出することが好適である。

【００３９】なお図４においては，第１のマイクロフォ
ン１１は図１に示したようにピアノ１の近傍に固定され
ているのではなく歌手が持っている。また第Ｍ番目のマ
イクロフォン１２は他の動いている歌手が持っている。
そして，図示しないピアノ１からの音は第（Ｍ＋１）番
目のマイクロフォン１４で検出し，バイオリン３からの
音は第Ｎ番目のマイクロフォン１５で検出する。

【００４０】移動する歌手が持っている第１のマイクロ
フォン１１に一体にされた第１の位置検出装置２４から
超音波を放射させ，演奏会会場５内の各所に配設された
超音波受信装置がその超音波を受信してマイクロフォン
位置検出装置３５に電波などで通報する。マイクロフォ
ン位置検出装置３５がその電波を検出して第１のマイク
ロフォン１１の位置を検出する。同様に第Ｍ番目のマイ
クロフォン１２に一体にされた第Ｍ番目の位置検出装置
２５からも超音波を放射させ，マイクロフォン位置検出
装置３５を介して第Ｍ番目のマイクロフォン１２の位置
を検出することができる。マイクロフォン位置検出装置
３５における位置検出としては，第１の位置検出装置２
４から電波を放射させ，離れた２つ以上の位置における
受信電波の強弱からその位置を標定する方法など，その
他の方法をとることができる。

【００４１】この例において，図４には図示していない
ピアノ１，バイオリン３などの楽器の位置は固定であ
る。したがって，これら楽器の位置は予め固定の位置情
報として収録信号処理記録装置４０に記録しておき，移
動する歌手の持っている第１のマイクロフォン１１の位
置を示すマイクロフォン位置検出装置３５からのマイク
ロフォン位置情報検出信号ＭＰ₁と第１のマイクロフォ
ン１１からのマイクロフォン検出音信号Ｓ₁を第１のマ
ルチプレクサ３１または収録信号処理記録装置４０にお
いて同じ音声チャネルに多重化する。この場合，図１を
参照して述べたように，第（Ｍ＋１）番目のマイクロフ
ォン１４〜第Ｎ番目のマイクロフォン１５からのマイク
ロフォン検出音信号Ｓ_M+1〜Ｓ_Nは多重化しない。

【００４２】第１のマルチプレクサ３１および第２のマ
ルチプレクサ３２または収録信号処理記録装置４０にお
ける多重化は上記第１実施例と同様である。またこの第
２実施例の収録装置においても，第１実施例と同様，歌
手，ピアノ１，バイオリン３などの音源の大きさ，マイ
クロフォンまたはこれら音源の指向性などの情報を加え
て，マイクロフォン検出音信号Ｓに多重化することがで
きる。

【００４３】さらにこの実施例においても，第１のマル
チプレクサ３１および第２のマルチプレクサ３２を削除
して，上述した多重化処理を収録信号処理記録装置４０
において行ってもよい。

【００４４】図１および図４に示した収録信号処理記録
装置４０は音信号処理，音源位置などの位置情報処理に
加えて映像の処理を同時に行う例を示したが，映像信号
処理と音信号処理とを異なる装置で処理することも可能
である。収録信号処理記録装置４０における信号処理は
上述したように，時間的同時性があればよいから、音と
映像とは同期して動作すればよく，その処理を分離する
ことができる。

【００４５】図５に本発明の再生装置の実施例としての
音再生装置１００Ａの構成を示す。すなわち，まずいか
にして実音像を再生（形成）するかについて述べる。し
たがって，この例においては，第１の撮像装置６１およ
び第２の撮像装置６２またはいずれか選択的に使用され
た撮像信号の表示は，ＴＶモニタなどに表示されている
ものとし，そのＴＶモニタなどの映像を中心として，実
音像を再生させる例について述べる。

【００４６】図５に示した音再生装置１００Ａは，第１
の音再生系統１１０，第２の音再生系統１２０および第
３の音再生系統１３０，および，スピーカ系統１４０か
らなる。上述した収録装置においてはＮチャネルの音声
チャネルがある場合について述べたが，図５は図解の関
係で，独立した４チャネルについてのみ述べる。

【００４７】第１の音再生系統１１０は，デコーダ１１
１，それぞれ信号遅延回路１１２および振幅調整回路１
１３，信号遅延回路１１４および振幅調整回路１１５，
信号遅延回路１１６および振幅調整回路１１７，およ
び，信号遅延回路１１８および振幅調整回路１１９から
なる並列した４系統の音調整回路からなる。第２の音再
生系統１２０および第３の音再生系統１３０の回路構成
も第１の音再生系統１１０と同様である。スピーカ系統
１４０は，それぞれ，信号加算回路１４１，電力増幅回
路１４２およびスピーカ１５１，信号加算回路１４３，
電力増幅回路１４４およびスピーカ１５２，信号加算回
路１４５，電力増幅回路１４６およびスピーカ１５３，
および，信号加算回路１４７，電力増幅回路１４８およ
びスピーカ１５４からなる。

【００４８】これら第１の音再生系統１１０，第２の音
再生系統１２０，第３の音再生系統１３０の前段には，
前述のように上記図１に図解した収録信号処理記録装置
４０において記録媒体に各チャネルごとに多重化された
音信号と位置情報とを分離してそれぞれ独立した位置情
報検出信号Ｐ₁，Ｐ₂，Ｐ₃およびマイクロフォン検出
音信号Ｓ₁，Ｓ₂，Ｓ₃に分離する回路が設けられるが
_,図示省略している。あるいは，図１に示した収録信号
処理記録装置４０から直接，音再生装置１００Ａに多重
化信号を印加する場合は，多重化信号を分離する回路を
設けるだけでもよい。

【００４９】さらには，本発明の収音装置と再生装置と
を一体構成することもでき，それを信号処理装置とい
う。その場合は第１のマイクロフォン１１および第Ｍ番
目のマイクロフォン１２の信号と第１の位置検出装置２
１および第Ｍ番目の位置検出装置２２の信号とを多重化
せず，直接使用することもできる。以下の記述において
は，読み出し分離された位置情報およびマイクロフォン
検出音信号がいかに再生に使用されるかについて述べ
る。

【００５０】図６に図５に示したスピーカ系統１４０の
スピーカの配列を示す。図６（Ａ）はスピーカ系統１４
０の正面図を示し，図６（Ｂ）はその断面図を示す。こ
の例ではＭ個のスピーカが凹面状に配列されている。こ
のスピーカ配列自体はオルソン氏によって提案されてい
るものである（たとえば，オルソン著，西巻訳，「音響
工学」上，１９５９年）。このスピーカ方式においては
多数のスピーカをアレイ状に配列して加える信号の遅延
量を調節して空間の一点に音波の焦点を作ると，聴取者
の近傍の一点にきわめて音圧の高い点が合成され，この
点にあたかも実際の音源が存在するような状況が生じ，
聴覚心理的にもその位置が音像が知覚されるという根拠
に基づく（たとえば，小宮山他，「立体テレビのための
音像の遠近制御技術の開発」，ＮＨＫ技研Ｒ＆Ｄ，１９
９１年２月，Ｎｏ．２，ページ１０〜１４）。図５にお
いて，スピーカ１５１〜１５４は４個のみ示している
が，一般的に言えば，図６に示したようにＭ個のスピー
カが配設される。

【００５１】デコーダ１１１は分離されて入力される実
際の位置情報検出信号Ｐ₁からマイクロフォン検出音信
号Ｓ₁が印加されている信号遅延回路１１２，１１４，
１１６，１１８の遅延量を変化させる。さらにデコーダ
１１１はこれら信号遅延回路１１２，１１４，１１６お
よび１１８において遅延されたマイクロフォン検出音信
号の振幅を振幅調整回路１１３，１１５，１１７，１１
９において調整する。信号遅延回路１１２における位置
情報による遅延量は，音源の位置，および，マイクロフ
ォンの配設位置またはいずれか一方の位置情報に基づい
て決定される。これら音源の位置情報，マイクロフォン
の位置情報をいかに用いるかは収音および再生の対象，
条件，目的などに応じて規定される。このように実際の
位置情報を用いて音再生処理を行うと，実音像の存在位
置に該当する位置に再生音響領域１６１，１６２，１６
３が生成される。

【００５２】上述した収録装置において，音源の大きさ
情報も多重化した場合は，デコーダ１１１は音源の大き
さ情報に応じて，また必要に応じて位置情報をも考慮し
て振幅調整回路１１３，１１５，１１７，１１９におけ
るそれぞれの振幅調整量を変化させる。これにより，一
層正確な実音像を生成することができる。

【００５３】同様に，収録装置において，指向性情報を
多重化した場合は，デコーダ１１１は指向性情報に基づ
く遅延量および振幅調整量を算出して信号遅延回路１１
２，１１４，１１６，１１８，および，振幅調整回路１
１３，１１５，１１７，１１９を調整する。

【００５４】上述した再生装置においては，各音声チャ
ネルごとに独立して遅延量および振幅量を調整する例に
ついて述べたが，本発明においては，各チャネルの音信
号および位置情報，さらには，音源の大きさ，指向性な
どの情報を加えて，音再生の全体的な観点から，それぞ
れの音再生系統１１０，１２０，１３０内のそれぞれの
信号遅延回路の遅延量，および，それぞれの振幅調整回
路の振幅調整量を規定する。この全体的な調整は編集段
階において編集装置５０において実施してもよく，ある
いは，位置情報，音源の大きさ情報などに応じて係数を
算出し，その係数で各系統を調整してもよい。

【００５５】以上の実施例は映像の再生と音の再生とを
分離して独立に行う場合について述べたが，以下の実施
例では再生画像内の音源に実音像が存在するように再生
する実施例について述べる。

【００５６】図７は第１の映像および音再生を行う装置
１００Ｂの斜視図を示す。図７において，ＴＶモニタ装
置１７０はＴＶモニタ表示部１７１を有している。ＴＶ
モニタ表示部１７１には第１の撮像装置６１または第２
の撮像装置６２で撮影された映像が表示されるが，この
表示画面内の音源，たとえば，ピアノ１の位置に実音像
が存在するように複数の任意方向の指向性を有するスピ
ーカ１８１〜１８３がＴＶモニタ表示部１７１の前面に
配設されている。ＴＶモニタ表示部１７１に表示される
音源，たとえば，ピアノ１のＴＶモニタ表示部１７１に
おける位置は第１の撮像装置６１の位置とピアノ１の位
置との関係で特定される。スピーカ１８１〜１８３は音
源位置情報によりビーム１９１の指向性が制御され，対
応する音がＴＶモニタ表示部１７１の表示面の再生画像
としての音源を指向するように方向制御される。それに
より，ＴＶモニタ表示部１７１の面の音源位置に対応す
る位置のビーム１９１が指向した位置に実音像位置１７
２が規定され，ＴＶモニタ表示部１７１に表示された音
源の画像位置からあたかもその音が発するように視聴者
が感じる。すなわち，ＴＶモニタ表示部１７１において
実音像を形成させる。

【００５７】図８（Ａ）は第２の映像および音再生を行
う装置１００Ｂの斜視図，図８（Ｂ）は透明電極板２０
０の平面図を示す。図８（Ａ）に示したＴＶモニタ装置
１７０は図７に示したＴＶモニタ装置１７０と同様であ
る。ＴＶモニタ表示部１７１の前面に透明電極板２００
が配設されている。この透明電極板２００は本出願人が
すでに昭和５８年１２月１７日に出願した実用新案登録
願「スピーカー装置」に開示されるように，電気的な音
声信号により振動されるほぼ透明なシート部材が形成さ
れ，前面の前方の位置から音声を放射する。透明電極板
２００は複数の区分２０１〜２０９に分割されており，
これらの区分の所定のものが選択的に駆動される。区分
２０１〜２０９の選択はＴＶモニタ表示部１７１に表示
される音源に対応して，図７を参照して述べたと同様
に，行われる。これにより，ＴＶモニタ表示部１７１の
音源が表示された部分からその音が放射され，ＴＶモニ
タ表示部１７１の表示画面の対応する位置に実音像が存
在するようになる。

【００５８】図９（Ａ）は第３の映像および音再生を行
う装置１００Ｄの斜視図，図８（Ｂ）はその断面図を示
す。この音および映像再生装置１００Ｄは表示装置とし
てカラー液晶表示２１０を用いている。カラー液晶表示
２１０の各画素２２１〜２２４はＲ，Ｇ，Ｂからなり，
これら画素の周辺に音出力穴２１１，２１２，２１３が
穿孔されている。音出力穴２１３からは小型スピーカ２
３１からの音出力が出力される。小型スピーカ２３１の
選択は図８を参照して述べたように，カラー液晶表示２
１０に表示される音源の画像位置に対応して行われる。
この実施例によっても，カラー液晶表示２１０の画面の
表示される音源から対応する音が出力され，そこに実音
像が存在するようになる。

【００５９】図１０は第４の映像および音再生を行う装
置１００Ｅの断面図を示す。この音および映像再生装置
１００Ｅは投影表示方式の表示装置であり，プロジェク
タ２５０から画像がスクリーン２６０に投影される。ス
クリーン２６０には多数の音出力穴２６１〜２６９が穿
孔されており，これらの穴の裏側にスピーカ２７１〜２
７９が配設されている。スクリーン２６０に表示される
音源に対応したスピーカが駆動され，スクリーン２６０
に表示される画像位置から対応する音が出力される。

【００６０】図１１は第５の映像および音再生を行う装
置１００Ｆの断面図を示す。この実施例も図１０に示し
た表示装置と同様，プロジェクタ３００からスクリーン
３１１に画像を投影する投影表示方式の表示装置である
が，スクリーン３１１の裏面に配設された振動部材３２
１〜３２６によって振動板３１３が振動され，スクリー
ン３１１に表示される音源に対応する位置が振動し，そ
こから音が出力される。したがって，この例において
も，スクリーン３１１に表示されている音源から実際の
音が放射されるようになる。

【００６１】本発明の実施に際しては上述した実施例に
限定されず，種々の変形形態をとることができる。また
本発明の実施に際しては上述した実施例を適宜組み合わ
せることができる。

【００６２】

【発明の効果】以上に述べたように，本発明の収録装置
および収録方法によれば，映像と音とを収録する際，音
信号に加えてその音に対応する位置情報をもその音信号
と同じ音声チャネルに多重化するので，その後の段階に
おける編集，再生において，音信号との対応関係を持つ
位置情報を用いて音像を容易に生成することが可能とな
る。また本発明の収録装置および収録方法によれば，音
源の寸法，指向性などの情報を位置情報に加えて音信号
に多重化することでより一層実音像を実現することが可
能になる。

【００６３】本発明の再生装置および再生方法によれ
ば，上記収録装置および収録方法によって収録され各音
声チャネルごとに多重化された信号に基づいて複数のス
ピーカを用いて音の再生を行うので実音像を生成するこ
とが可能となる。さらに本発明の再生装置および再生方
法によれば，上記収録装置および収録方法によって収録
され再生画像に対応する音源の位置から対応する音を再
生することが可能になる。

【００６４】さらに本発明の信号処理装置によれば、上
記収録装置と上記再生装置を有機的に結合しているの
で、収録から再生まで効率よく行うことができ、上述し
た収録装置と再生装置との効果を結合した効果が得られ
る。

【図面の簡単な説明】

【図１】本発明の収録装置の第１実施例としての収録装
置の構成図である。

【図２】図１に示した収録装置における位置情報と音信
号の周波数多重化処理を説明する図である。

【図３】図１に示した収音装置における位置情報と音信
号の時分割多重化処理を説明する図である。

【図４】本発明の収録装置の第２実施例としての収録装
置の構成図である。

【図５】本発明の再生装置の実施例としての音再生装置
の構成図である。

【図６】図５に示した複数のスピーカの配列を示す図で
あり，（Ａ）は正面図，（Ｂ）はその断面図である。

【図７】本発明に係る再生装置の第１実施例の斜視図で
ある。

【図８】本発明に係る再生装置の第２実施例の斜視図で
あり，図８（Ａ）は全体斜視図であり，図８（Ｂ）は透
明電極板の正面図である。

【図９】本発明に係る再生装置の第３実施例の斜視図で
あり，図９（Ａ）は部分拡大図であり，図９（Ｂ）はそ
の断面図である。

【図１０】本発明に係る再生装置の第４実施例の断面図
である。

【図１１】本発明に係る再生装置の第５実施例の断面図
である。

【符号の説明】

１・・ピアノ，３・・バイオリン，５・・演奏会会場，１１，１２，１４，１５・・マイクロフォン，２１，２２・・位置検出装置，３１，３２・・マルチプ
レクサ，３５・・マイクロフォン位置検出装置，４０・・収録信号処理記録装置，５０・・編集装置，６１・・撮像装置，１００・・音および映像再生装置，１１０，１２０，１３０・・音再生系統，１１１・・デコーダ，１１２，１１４，１１６，１１８・・信号遅延回路，１１３，１１５，１１７，１１９・・振幅調整回路，１４１，１４３，１４５，１４７・・信号加算回路，１４２，１４４，１４６，１４８・・電力増幅回路，１５１〜１５４・・スピーカ，１６１〜１６３・・再生音響領域，１７０・・ＴＶモニタ装置，１７１・・ＴＶモニタ表示
部，１８１〜１８３・・スピーカ，２００・・透明電極板，２１０・・カラー液晶表示装置，２５０・・プロジェクタ，２６０・・スクリーン，３００・・プロジェクタ，３１１・・スクリーン，３２１〜３２６・・振動部材。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956 G09F 9/00 360 H04N 9/31 H04R 1/02 107

Claims

(57)【特許請求の範囲】

【請求項１】収録する対象となる音源からの可聴音を検
出する音検出手段で検出した音信号と，上記音源の位置
および上記音検出手段の配設位置の少なくともいずれか
一方の位置を示す位置情報信号とを音源ごとに多重化す
る信号多重化手段と、上記音源のある風景を撮像する撮像手段からの撮像信号
を記録媒体の映像チャネルに記録し、同時的に上記音源
ごとに多重化された音信号と位置情報信号を上記記録媒
体の音声チャネルに記録する手段と，を具備する収録装置。
【請求項２】上記位置情報信号を上記信号多重化手段に
出力する位置情報検出手段をも具備する請求項１記載の
収録装置。
【請求項３】上記位置情報信号を上記信号多重化手段に
入力する位置情報設定手段をも具備する請求項１または
２記載の収録装置。
【請求項４】上記信号多重化手段は、上記音源の大きさ
を示す音源寸法情報信号を、上記音信号および上記位置
情報信号とともに多重化する請求項１〜３いずれか記載
の収録装置。
【請求項５】上記信号多重化手段は、上記音源の指向性
および上記音検出手段の指向性の少なくともいずれか一
方の指向性を示す指向性情報信号を、上記音信号および
上記位置情報信号とともに多重化する請求項１〜４いず
れか記載の収録装置。
【請求項６】上記信号多重化手段は、上記音源の位置と
対応づけて上記撮像手段の配設位置を示す撮像位置情報
信号を、上記音信号および上記位置情報信号とともに多
重化する請求項１〜５いずれか記載の収録装置。
【請求項７】音信号と、上記音信号に対応する音源の位
置を示す位置情報信号および上記音源からの可聴音を検
出した音検出手段の配設位置を示す位置情報信号の少な
くともいずれか一方の位置情報信号とが音源ごとに多重
記録された記録媒体の音声チャネルから上記音信号と上
記位置情報信号とを読み出し分離する手段と、上記音信号の記録と同時的に記録された上記音源のある
風景の撮像信号を上記記録媒体の映像チャネルから読み
出し再生する手段と，上記分離された位置情報信号に基づいて上記分離された
音信号の振幅および遅延時間を調整する手段とを具備す
る再生装置。
【請求項８】音信号と、上記音信号に対応する音源の位
置を示す位置情報信号および上記音源からの可聴音を検
出した音検出手段の配設位置を示す位置情報信号の少な
くともいずれか一方の位置情報信号、および、上記音信
号に対応する音源寸法情報信号とが音源ごとに多重記録
された記録媒体の音声チャネルから上記音信号と上記位
置情報信号と上記音源寸法信号とを読み出し分離する手
段と、上記音信号の記録と同時的に記録された上記音源のある
風景の撮像信号を上記記録媒体の映像チャネルから読み
出し再生する手段と、上記分離された位置情報信号および音源寸法情報信号に
基づいて上記分離された音信号の振幅および遅延時間を
調整する手段とを具備する再生装置。
【請求項９】音信号と、上記音信号に対応する音源の位
置を示す位置情報信号および上記音源からの可聴音を検
出した音検出手段の配設位置を示す位置情報信号の少な
くともいずれか一方の位置情報信号、上記音信号に対応
する音源寸法情報信号、および、上記音源の指向性およ
び上記音検出手段の指向性の少なくともいずれか一方の
指向性を示す指向性情報信号とが音源ごとに多重記録さ
れた記録媒体の音声チャネルから上記音信号と上記位置
情報信号と上記音源寸法信号と上記指向性情報信号とを
読み出し分離する手段と、上記音信号の記録と同時的に記録された上記音源のある
風景の撮像信号を上記記録媒体の映像チャネルから読み
出し再生する手段と、上記分離された位置情報信号、音源寸法情報信号および
指向性情報信号に基づいて上記分離された音信号の振幅
および遅延時間を調整する手段とを具備する再生装置。
【請求項１０】音信号と、上記音信号に対応する音源の
位置を示す位置情報信号および上記音源からの可聴音を
検出した音検出手段の配設位置を示す位置情報信号の少
なくともいずれか一方の位置情報信号、上記音信号に対
応する音源寸法情報信号、上記音源の指向性および上記
音検出手段の指向性の少なくともいずれか一方の指向性
を示す指向性情報信号、および、上記音源の位置と対応
づけて撮像手段の配設位置を示す撮像位置情報信号とが
音源ごとに多重記録された記録媒体の音声チャネルから
上記音信号と上記位置情報信号と上記音源寸法信号と上
記指向性情報信号と上記撮像位置情報とを読み出し分離
する手段と、上記音信号の記録と同時的に記録された上記音源のある
風景の撮像信号を上記記録媒体の映像チャネルから読み
出し再生する手段と、上記分離された位置情報信号、音源寸法情報信号、指向
性情報信号および撮像位置情報信号に基づいて上記分離
された音信号の振幅および遅延時間を調整する手段とを
具備する再生装置。
【請求項１１】上記再生された撮像信号を映像として再
生し、上記映像と対応づけられた音源位置から対応する
音を発するように上記音信号の振幅および遅延時間を調
整する請求項７〜１０いずれか記載の再生装置。
【請求項１２】上記記録媒体に記録された上記多重化信
号を上記記録媒体から読み出す手段をも具備する請求項
７〜１０いずれか記載の再生装置。
【請求項１３】上記調整された音信号を可聴音に変換し
て出力する音再生手段をも具備する請求項７〜１２いず
れか記載の再生装置。
【請求項１４】収録する対象となる音源からの可聴音を
検出する音検出手段で検出した音信号と、上記音信号に
対応する音源の位置および上記音検出手段の配設位置の
少なくともいずれか一方の位置を示す位置情報信号とを
音源ごとに多重化して記録媒体の音声チャネルに記録
し、この音信号の多重化記録と同時的に上記音源のある風景
を撮像して上記記録媒体の映像チャネルに記録する収録
方法。
【請求項１５】音源のある風景の映像信号を記録媒体の
映像チャネルから読み出し再生し、上記映像信号と同時
的に上記記録媒体の音声チャネルに音源ごとに多重化記
録された音信号、および、上記音信号に対応する音源の
位置を示す位置情報信号および上記音源からの可聴音を
検出した音検出手段の配設位置を示す位置情報信号の少
なくともいずれか一方の位置情報信号を上記音声チャネ
ルから読み出し分離し、上記分離された位置情報信号に基づいて上記分離された
音信号の振幅および遅延時間を調整し、上記調整された
音信号を上記再生された映像と対応する音源位置から可
聴音に変換して出力する再生方法。
【請求項１６】収録装置と、該収録装置は信号媒介手段
を介して接続される再生装置を有する信号処理装置であ
って、上記信号媒介手段は記録媒体を具備し、上記収録装置は、収録する対象となる音源からの可聴音
を検出する音検出手段で検出した音信号と，上記音源の
位置および上記音検出手段の配設位置の少なくともいず
れか一方の位置を示す位置情報信号とを音源ごとに多重
化する信号多重化手段と、上記音源のある風景を撮像す
る撮像手段からの撮像信号を上記記録媒体の映像チャネ
ルに記録し、同時的に上記音源ごとに多重化された音信
号と位置情報信号を上記記録媒体の音声チャネルに記録
する手段とを具備し、上記再生装置は、上記記録媒体の音声チャネルに音源ご
とに多重化記録された音信号と上記音信号に対応する音
源位置を示す位置情報信号および上記音信号に対応する
音検出手段の配設位置を示す位置情報信号の少なくとも
いずれか一方の位置情報信号とを上記音声チャネルから
読み出し分離する手段と、上記音信号の記録と同時的に
記録された上記音源のある風景の撮像信号を上記記録媒
体の映像チャネルから読み出し再生する手段と，上記分
離された位置情報信号に基づいて上記分離された音信号
の振幅および遅延時間を調整する手段とを具備する信号
処理装置。
【請求項１７】上記収録装置の上記信号多重化手段は、
音源ごとに、上記音源の大きさを示す音源寸法情報信号
を上記音信号および上記位置情報信号とともに多重化
し、上記再生装置の上記分離手段は、上記記録媒体の音声チ
ャネルに多重化記録された音信号、上記音信号に対応す
る音源位置を示す位置情報信号および上記音信号に対応
する音検出手段の配設位置を示す位置情報信号の少なく
ともいずれか一方の位置情報信号、および、上記音信号
に対応する音源寸法情報信号を上記音声チャネルから読
み出し分離し、上記再生手段は上記音信号の記録と同時
的に記録された上記音源のある風景の撮像信号を上記記
録媒体の映像チャネルから読み出し再生し、上記調整手
段は上記分離された位置情報信号および音源寸法情報信
号に基づいて上記分離された音源ごとの音信号の振幅お
よび遅延時間を調整する請求項１６記載の信号処理装
置。
【請求項１８】上記収録装置の上記信号多重化手段は、
音源ごとに、上記音源の指向性および上記音検出手段の
指向性の少なくともいずれか一方の指向性を示す指向性
情報信号を、上記音信号および上記位置情報信号ととも
に多重化し、上記再生装置の上記分離手段は、上記記録媒体の音声チ
ャネルに多重化記録された音信号、上記音信号に対応す
る音源位置を示す位置情報信号および上記音信号に対応
する音検出手段の配設位置を示す位置情報信号の少なく
ともいずれか一方の位置情報信号、上記音信号に対応す
る音源寸法情報信号、および、上記音源の指向性および
上記音検出手段の指向性の少なくともいずれか一方の指
向性を示す指向性情報信号を上記音声チャネルから読み
出し分離し、上記再生手段は上記音信号の記録と同時的
に記録された上記音源のある風景の撮像信号を上記記録
媒体の映像チャネルから読み出し再生し、上記調整手段
は上記分離された位置情報信号、音源寸法情報信号およ
び指向性情報信号に基づいて上記分離された音源ごとに
音信号の振幅および遅延時間を調整する請求項１７記載
の信号処理装置。
【請求項１９】上記収録装置の上記信号多重化手段は、
上記音源ごとの音源位置と対応づけて上記撮像手段の配
設位置を示す撮像位置情報信号を、上記音信号および上
記位置情報信号とともに多重化し、上記再生装置の上記分離手段は上記記録媒体の音声チャ
ネルに多重化記録された音信号、上記音信号に対応する
音源位置を示す位置情報信号および上記音信号に対応す
る音検出手段の配設位置を示す位置情報信号の少なくと
もいずれか一方の位置情報信号、上記音信号に対応する
音源寸法情報信号、上記音源の指向性および上記音検出
手段の指向性の少なくともいずれか一方の指向性を示す
指向性情報信号、および、上記音源の位置と対応づけて
撮像手段の配設位置を示す撮像位置情報信号を該音声チ
ャネルから読み出し分離し、上記再生手段は上記音信号
の記録と同時的に記録された上記音源のある風景の撮像
信号を上記記録媒体の映像チャネルから読み出し再生
し、上記調整手段は上記分離された位置情報信号、音源
寸法情報信号、指向性情報信号および撮像位置情報信号
に基づいて上記分離された音源ごとに音信号の振幅およ
び遅延時間を調整する請求項１８記載の信号処理装置。
【請求項２０】上記再生装置は上記再生された撮像信号
を映像として再生し、上記映像と対応づけられた音源位
置から対応する音を発するように上記音信号の振幅およ
び遅延時間を調整する請求項１６〜１９いずれか記載の
信号処理装置。
【請求項２１】上記再生装置は上記記録媒体に記録され
た上記多重化信号を上記記録媒体から読み出す手段をも
具備する請求項１６〜２０いずれか記載の信号処理装
置。
【請求項２２】上記再生装置は上記調整された音信号を
可聴音に変換して出力する音再生手段をも具備する請求
項１６〜２１いずれか記載の信号処理装置。