JP7196399B2 - 音響装置、音響システム、方法およびプログラム - Google Patents

Description

本開示は、音響記録装置、音響システム、音響記録方法、プログラムおよびデータ構造に関する。

従来、全方位の音場を再現する立体音響技術として、アンビソニックス（Ambisonics）や波面合成法（ＷＦＳ：Wave Field Synthesis）等が知られている。アンビソニックスおよび波面合成法は、音響理論に基づいて音場の高精度な再現を目指す技術である。例えば、アンビソニックスでは、複数のマイクロホンから記録した音に所定の信号処理を施すことにより、試聴位置における音の方向性を再現する。

これら音場再現方法では、通常、マイクロホンの配置など収音条件を高精度に整える必要がある。例えば、アンビソニックスでは、アンビソニックス・マイクロホンと呼ばれるマイクロホンを配置や向きを高精度に合わせて設置する必要がある。

音響技術に関連して、特許第５７７７１８５号（特許文献１）が知られている。特許文献１には、全方位動画をライブ配信する目的で、カメラの撮影時に同期して立体音声を取得し、配信サーバを使用して全方位動画と立体音声を配信し、ユーザが試聴する表示範囲にあわせて音声データを再生する動画配信システムが開示されている。しかしながら、特許文献１でも、違和感のない音を再生する課題を解消できるものではなかった。

本開示は、従来技術の上記点に鑑みてなされたものであり、違和感のない音を再生するための音響記録装置を提供することを目的とする。

本発明の実施形態によれば、下記特徴を有する、音響記録装置が提供される。音響記録装置は、音を収音する複数の収音手段と、前記音響記録装置の姿勢を計測する計測手段と、姿勢が計測された所定時点に対応する、複数の収音手段各々で収音された音に基づく音響情報とを関連付けて記録する記録手段とを含む。

上記構成により、違和感のない音を再生することができる。

本実施形態による全天球撮像装置のハードウェア構成図。 本実施形態による全天球撮像装置上で実現される画像および音響の記録機能に関連する機能ブロック図。 本実施形態による全天球撮像装置において記録されるファイルのデータ構造を例示する図。 本実施形態による全天球撮像装置が実行する、画像音響記録方法を示すフローチャート。 本実施形態による全天球撮像装置が実行する、画像音響再生方法を示すフローチャート。 立体音響としてアンビソニックを採用する特定の実施形態における音響データの収音から再生までの流れを説明する図。 特定の実施形態において立体音響における座標軸を説明する図。 他の実施形態による全天球撮像装置上で実現される画像音響記録機能に関連する機能ブロック図。

以下、本実施形態をもって説明するが、実施形態は、後述する実施形態に限定されるものではない。なお、以下に説明する実施形態では、音響記録装置および音響システムとして、音響記録機能を備えた全天球撮像装置１１０を一例に説明する。しかしながら、音響記録装置および音響システムは、以下に説明する特定の実施形態に限定されるものではない。

以下に説明する実施形態において、全天球撮像装置１１０は、それぞれ結像光学系および撮像素子から構成される複数の撮像光学系を備え、撮像光学系毎に各方向から撮影して撮像画像を生成する。撮像光学系は、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有し、好ましくは、１８５度以上の全画角を有し、より好ましくは、１９０度以上の全画角を有する。全天球撮像装置１１０は、複数の撮像光学系を通してそれぞれ撮像された撮像画像をつなぎ合わせて合成し、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）を生成する。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。なお、単一の光学系で半球画像を撮影してもよい。

本実施形態における全天球撮像装置１１０は、さらに、複数のマイクロホンなどの収音手段を備えている。複数のマイクロホンからの各音響信号に基づいて、音響データを記録する。記録される音響データは、立体音響を構成可能なので、所定の構成のスピーカセットやヘッドホンを用いて、音の方向性を含む音場が再現される。

以下、図１を参照しながら、まず、全天球撮像装置１１０のハードウェア構成について説明する。図１は、本実施形態による全天球撮像装置１１０のハードウェア構成図である。なお、図１に示す全天球撮像装置１１０は、１８０度より大きい全画角を有する２つの光学系を組み合わせた２眼の全天球撮像装置として構成されている。

全天球撮像装置１１０は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画ブロック１１８と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続される加速度センサ／ジャイロセンサ／地磁気センサ（加速度センサ、ジャイロセンサおよび地磁気センサの少なくとも１つを含む。）１３６とを含み構成される。

ＣＰＵ１１２は、全天球撮像装置１１０の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。

全天球撮像装置１１０は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの撮像素子１３０Ａ，１３０Ｂと２つの光学系１３１Ａ，１３１Ｂとを有する。なお、説明する実施形態では、光学系１３１は、魚眼レンズを含み、ここで、魚眼レンズは、広角レンズや、超広角レンズと呼ばれるものを含むものとする。画像処理ブロック１１６は、２つの撮像素子１３０Ａ，１３０Ｂと接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。

本実施形態において、２つの撮像素子１３０Ａ，１３０Ｂでそれぞれ撮像された画像は、例えば画像処理ブロック１１６で、重複部分を基準として合成処理されて、これにより、立体角４πステラジアンの全天球画像が生成される。光学系が１８０度を超える全画角を有するため、撮像した各撮像画像の１８０度を超えた部分の撮影範囲が重複する。合成処理の際には、この重複領域が同一像を表す基準として参照されて、全天球画像が生成される。そして、全天球画像の連続するフレームにより、全天球動画が構成される。複数の撮像素子１３０Ａ，１３０Ｂおよび複数の光学系１３１Ａ，１３１Ｂを含む撮像体は、本実施形態における撮像手段を構成する。

ここで、説明する実施形態では、撮影地点から見渡すことのできる全ての方向を撮影した全天球映像を生成するものとして説明するが、これに限定されるものではない。他の実施形態では、水平面のみ３６０度を撮影した、いわゆるパノラマ映像であってもよい。また、説明する実施形態では、２つの撮像光学系を含み構成されるものとして説明するが、撮像光学系の数は、特に限定されるものではない。他の実施形態では、全天球撮像装置１１０は、３つ以上の光学系に含む撮像体を備えるとともに、３つ以上の光学系で撮像された複数の撮像画像に基づいて全天球画像を生成する機能を備えていてもよい。他の実施形態では、全天球撮像装置１１０は、単一の魚眼レンズを光学系に含む撮像体を備え、単一の魚眼レンズで異なる方位で撮像された複数の撮像画像に基づいて全天球画像を生成する機能を備えていてもよい。

動画ブロック１１８は、Ｈ．２６４（ＭＰＥＧ（Moving Picture Experts Group）－４ ＡＶＣ（Advanced Video Coding））／Ｈ.２６５（ISO/IEC 23008-2 ＨＥＶＣ（High Efficiency Video Coding））などの動画圧縮および伸張を行うコーデック・ブロックである。ＤＲＡＭ１３２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。

加速度センサ／ジャイロセンサ／地磁気センサ１３６は、速度、加速度、角速度、角加速度、磁気方位などの全天球撮像装置１１０の動きに起因した物理量を計測するものである。計測された物理量は、全天球画像および音響の天頂補正および水平面での回転補正のいずれか一方または両方を施す際に用いられる。計測された物理量は、全天球撮像装置１１０の姿勢を示すものであり、加速度センサ／ジャイロセンサ／地磁気センサ１３６は、本実施形態における、全天球撮像装置１１０の姿勢を計測する計測手段を構成する。

加速度センサは、例えば、公知の３軸加速度センサなどを用いることができ、各軸の加速度を検出する。加速度センサとしては、例えば、ピエゾ抵抗型加速度センサ、静電容量型加速度センサ、熱検知型加速度センサなどを挙げることができる。ジャイロセンサは、例えば、３軸方向の角速度を検出可能な、公知の角速度センサを用いることができる。地磁気センサは、地球の３軸方向の地磁気を検出することで、全天球撮像装置１１０を原点とした各方位（方位角、磁北）の方向を導出する。地磁気センサとしては、公知の３軸電子コンパスなどを挙げることができる。

全天球撮像装置１１０は、外部ストレージインタフェース１２２を含み構成される。外部ストレージインタフェース１２２には、外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４に対する読み書きを制御する。外部ストレージ１３４は、全天球動画データやその音響データを記録する記録媒体として用いることができる。なお、ＤＲＡＭ１３２等に全天球動画データやその音響データを一時的に保存しておいて、外部装置で各種処理を実行させてもよい。

全天球撮像装置１１０は、ＵＳＢ（Universal Serial Bus）インタフェース１２６を含み構成される。ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるパーソナル・コンピュータやスマートフォンやタブレット・コンピュータなどの外部装置とのＵＳＢ通信を制御する。全天球撮像装置１１０は、シリアルブロック１２８を含み構成される。シリアルブロック１２８は、外部装置とのシリアル通信を制御し、無線通信インタフェース１４０が接続される。

ＵＳＢコネクタ１３８や無線通信インタフェース１４０を介して外部のパーソナル・コンピュータやスマートフォンやタブレット・コンピュータ等の外部装置と接続することができる。そして、外部装置が備えるディスプレイ、または、接続されるディスプレイ上に、全天球撮像装置１１０で撮影された映像を表示することができる。全天球撮像装置１１０は、図１に示すもののほか、ＨＤＭＩ（商標または登録商標）などの映像出力インタフェースを有していてもよい。その場合に、全天球撮像装置１１０は、映像出力インタフェースを介してディスプレイなどの外部の表示装置に直接接続され、表示装置上で映像を表示することができる。

本実施形態における全天球撮像装置１１０は、ＡＤＣ（Analog to Digital Converter）１４２と、ＡＤＣ１４２に接続される複数のマイクロホン１４４とを含み構成される。マイクロホン１４４は、それぞれ、全天球撮像装置１１０の周辺環境から収音し、収音した音響信号をＡＤＣ１４２に入力する。ＡＤＣ１４２は、マイクロホン１４４から入力される音響信号をサンプリングし、デジタル形式の音響データに変換する。なお、説明する実施形態では、マイクロホン１４４は、所定の配置構成を有する４つのマイクロホン１４４Ａ～１４４Ｄを含み構成されており、好ましくは、アンビソニックス・マイクロホンである。マイクロホン１４４は、本実施形態において、それぞれ周辺環境から収音する収音手段を構成する。説明する実施形態では、全天球撮像装置１１０に内蔵されるマイクロホン１４４のみを示すが、全天球撮像装置１１０に外付けされたマイクロホンが備えられてもよい。

全天球撮像装置１１０は、ユーザによる各種操作指示を受け付ける操作部１４６を含み構成される。操作部１４６は、特に限定されるものではないが、切替スイッチ１４８と、レリーズスイッチ１５０とを含む。操作部１４６は、切替スイッチ１４８およびレリーズスイッチ１５０のほか、他の操作指示を行うためのスイッチを含んでいてもよい。切替スイッチ１４８は、ユーザからの動画像撮影および静止画像撮影の切替指示を受け付ける。レリーズスイッチ１５０は、ユーザからの撮影指示を受け付ける。

レリーズスイッチ１５０の長押し操作など電源投入操作によって電源がオン状態になると、ＲＯＭ１１４などから制御プログラムが読みだされて、ＤＲＡＭ１３２などのメインメモリにロードされる。ＣＰＵ１１２は、ＤＲＡＭ１３２などのメインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、画像および音響の記録に関する全天球撮像装置１１０の各機能部および処理が実現される。

全天球撮像装置１１０により撮像された動画は、一例として専用の画像ビューア・アプリケーションなどを備えた外部装置を用いて閲覧および視聴することができる。外部装置とは、例えばパーソナル・コンピュータ、スマートフォン、タブレット・コンピュータなどである。あるいは、全天球撮像装置１１０に、ＨＤＭＩ（High-Definition Multimedia Interface，ＨＤＭＩは商標または登録商標）などの映像出力インタフェースまたはＭｉｒａｃａｓｔ（商標または登録商標）やＡｉｒＰｌａｙ（商標または登録商標）などの無線通信インタフェース１４０を介して表示装置と接続して動画を閲覧および視聴することができる。

全天球撮像装置１１０を三脚で固定した状態だけでなく、全天球撮像装置１１０を手持ちした状態でも記録される。つまり、全天球撮像装置１１０は、常に全天球撮像装置１１０の姿勢および位置が固定されているとは限らない。そのため、撮影時や記録時の全天球撮像装置１１０の姿勢の変動に起因して、マイクロホンで記録した音が視聴者の意図した方向とずれたように感じさせてしまう可能性がある。全天球画像に対して天頂補正を行っている場合、天頂補正に伴ってマイクロホンで記録した音も天頂方向を補正していない場合は、視聴者がよりずれを感じさせてしまう可能性がある。

以下、全天球撮像装置１１０の姿勢の変動に起因した視聴時の不自然さを軽減することができる、本実施形態による全天球撮像装置１１０が備える画像音響記録機能について、図２～図７を参照しながら説明する。

図２は、本実施形態による全天球撮像装置１１０上で実現される画像音響記録機能に関連する制御部の機能ブロックを示す。なお、図２には、全天球撮像装置１１０の外部構成として、表示部２５０および音響再生部２６０が併せて示されている点に留意されたい。

図２に示すように、全天球撮像装置１１０の機能ブロック２１０としては、画像取得部２１２と、画像信号処理部２１４と、音響取得部２１６と、音響信号処理部２１８と、センサ情報取得部２２０と、傾斜角計算部２２２と、記録部２２４とが含まれる。なお、図２に示した制御部の一部または全部は、例えば、ＣＰＵ１１２にプログラムを実行させることにより構成してもよいし、画像処理ブロック１１６を用いて構成してもよい。

画像取得部２１２は、それぞれ光学系１３１Ａ，１３１Ｂを通して撮像素子１３０Ａ，１３０Ｂにより撮像された画像を取得する。画像信号処理部２１４は、画像取得部２１２により取得される全天球画像に関連した各種画像信号処理を行う。具体的には、画像信号処理部２１４は、撮像された画像に、オプティカル・ブラック（ＯＢ）補正処理、欠陥画素補正処理、リニア補正処理、シェーディング補正処理、領域分割平均処理、ホワイト・バランス（ＷＢ）処理、ガンマ補正処理、ベイヤー補間処理、ＹＵＶ変換処理、ＹＣＦＬＴ処理および色補正処理などの信号処理を行う。説明する実施形態では、第１撮像素子１３０Ａから取得された半球画像と、第２撮像素子１３０Ｂから取得された半球画像とに画像信号処理が施されると共に、両者がつなぎ合成されて、全天球画像が生成される。

音響取得部２１６は、ＡＤＣ１４２を介して、図１に示した複数のマイクロホン１４４Ａ～１４４Ｄにより周辺環境から収音された複数の音響信号に基づき、デジタル形式の音響データを取得する。音響取得部２１６は、音響情報を取得する音響取得手段を構成する。音響信号処理部２１８は、取得された音響データに対し、公知のノイズ除去などを行う。

センサ情報取得部２２０は、加速度センサ／ジャイロセンサ／地磁気センサ１３６のセンサ各々から、所定時点の３軸方向の加速度、３軸方向の角速度および各方位（方位角、磁北）の方向などのセンサ検出結果情報を取得する。なお、各方位の方向は、必須ではなく、地磁気センサを有さない場合など、各方位の方向は取得されない場合もある。計測される各軸の加速度や角速度や各方位の方向などのセンサ検出結果情報は、全天球撮像装置１１０の所定時点の姿勢を示すものであり、センサ情報取得部２２０は、本実施形態において、計測された全天球撮像装置１１０の姿勢を取得する姿勢取得手段を構成する。

傾斜角計算部２２２は、所定時点のセンサ情報に基づいて、基準方向としての天頂方向に対する全天球撮像装置１１０の傾斜角を算出する。ここで、天頂方向とは、天球上においてユーザの真上方向を意味しており、反鉛直方向と一致する方向をいう。天頂方向に対する全天球撮像装置１１０の傾斜角は、天頂方向に対する全天球撮像装置１１０の光学系１３１Ａと光学系１３１Ｂとに対向する対向面に沿った方向の傾きを示す。

傾斜角計算部２２２は、所定時点のセンサ情報に基づいて、基準方向として所定の正面方向に対する水平面の回転角度を算出することもできる。ここで、正面方向とは、全天球撮像装置１１０の向いている方向を意味しており、例えば撮影開始時に全天球撮像装置１１０の光学系１３１Ａが向いている方向を所定の正面方向とすることができる。ただし、全天球撮像装置１１０の傾斜角に関わらず、鉛直方向と垂直に交差する水平面上の方向を指す。ジャイロセンサが用いられる場合、撮像開始時から角速度を積分することによって、撮像開始時の正面方向に対する水平面の回転角度を算出することができる。地磁気センサが用いられる場合、地磁気センサの情報を含むセンサ検出結果情報に基づいて、全天球撮像装置１１０の特定の方位（特定の方位角（例えば南）または磁北）の方向を正面方向とし、その特定の方位に対する角度として、水平面の回転角度を算出することができる。

記録部２２４は、計測された全天球撮像装置１１０の所定時点の姿勢と、姿勢が計測された時点に対応する複数のマイクロホン１４４各々で収音された音響信号に基づく音響情報と、複数の撮像素子１３０により撮像された複数の画像信号に基づく画像情報とを関連付けて記録する。記録部２２４は、本実施形態における記録手段を構成する。

ここで、説明する実施形態において、記録される画像情報は、複数の撮像素子１３０Ａ，１３０Ｂにより撮像された半球画像を合成して構成される全天球画像データ２４２である。説明する実施形態では、全天球画像データ２４２としては、再生時に天頂補正および水平面での回転補正のいずれか一方または両方を行うものとして、撮像された半球画像をそのままつなぎ合成した全天球画像を記録するものとするが、全天球画像に対し天頂補正および水平面での回転補正のいずれか一方または両方を施した補正済みの全天球画像を記録することとしてもよい。また、画像情報は、全天球画像データに限定されるものではなく、他の実施形態では、再生時につなぎ合成が行われることを前提として、複数の撮像素子１３０Ａ，１３０Ｂにより撮像された複数の半球画像を含む画像データを記録することとしてもよい。

また、説明する実施形態において、記録される音響情報は、複数のマイクロホン１４４各々で収音されたマイクロホン１４４毎の音響データ２４４である。立体音響として１次のアンビソニックスを採用し、音響データ２４４は、いわゆるＡ－フォーマット（ＬＦ，ＲＦ，ＬＢ，ＲＢ）と呼ばれるものとすることができる。マイクロホン１４４毎の音響データ２４４を記録することにより、Ｂ－フォーマットなどの立体音響データに変換した後に保存する場合に比較して、できる限り原音に近い状態で音響データを記録しておくことができる。また、説明する実施形態では、立体音響として１次のアンビソニックスを一例として説明するが、これに限定されるものではなく、他の実施形態では、立体音響としては、高次のアンビソニックス（ＨＯＡ：Higher Order Ambisonics）や波面合成法を採用することを妨げるものではない。

説明する実施形態においては、記録される姿勢は、センサ情報取得部２２０によりセンサ１３６から取得したセンサ検出結果情報に基づき傾斜角計算部２２２で算出された、天頂方向に対する傾斜角の形で、傾斜角データ２４６として記録される。さらに、傾斜角データ２４６は、所定の正面方向に対する水平面の回転角度を含んでいてもよい。

全天球画像データ２４２、音響データ２４４および傾斜角データ２４６を含むファイル２４０は、例えば外部ストレージ１３４に一旦格納される。図３は、本実施形態による全天球撮像装置１１０において記録されるファイルのデータ構造を例示する。図３に示すように、ファイル２４０は、全天球画像データ２４２のチャンネルと、傾斜角データ２４６のチャンネルと、音響データ２４４のチャンネルとを含み構成される。図３に示す実施形態では、全天球画像データ２４２は、ＭＰＥＧ方式で記録されており、ＧＯＰ（Group Of Picture）と呼ばされる単位で符号化されている。ここで、ＧＯＰとは、少なくとも１つの基準フレーム（ＭＰＥＧでは、Ｉピクチャ）を含み構成される一群のフレーム集合の単位をいう。

図３を参照すると、音響データ２４４および傾斜角データ２４６も、ＧＯＰに対応する時間区間で区切られて記録されており、記録開始を基準に、傾斜角データ２４６および音響データ２４４の記録された時間が一致するように関連付けがなされる。したがって、記録開始からの経過時間で傾斜角データと音響データを一致させることが可能となる。音響データ２４４は、例えばＰＣＭ（Pulse Code Modulation）方式などの非圧縮音声フォーマット、あるいは、ＭＰ３（MPEG Layer 3）などの圧縮音声フォーマットとすることができる。説明する実施形態では、図３に例示するように、複数のマイクロホン１４４Ａ～１４４Ｄの各チャンネル毎に記録される。

なお、全天球画像データ２４２、音響データ２４４および傾斜角データ２４６は、説明する実施形態では、便宜上、単一のファイル２４０として保存されるものとするが、特に限定されるものではない。他の実施形態では、別々のファイルとして保存されてもよい。また、説明する実施形態では、フレーム集合の単位で、姿勢、画像情報および音響情報が関連付けられるものとして説明する。しかしながら、これに限定されるものではなく、フレームの単位で、姿勢、画像情報および音響情報が関連付けられることを妨げるものではない。

再び図２を参照すると、全天球撮像装置１１０の機能ブロック２１０としては、読出部２２６と、パラメータ生成部２２８と、画像変換部２３０と、音響変換部２３２と、出力部２３４とが含まれる。

読出部２２６は、ファイル２４０を読み出し、記録された全天球撮像装置１１０の所定時点の姿勢と、姿勢が計測された所定時点に対応する音響情報と、対応する画像情報とを順次読み出す。

パラメータ生成部２２８は、読みだした傾斜角データ２４６に含まれる所定時点毎の傾斜角から、それぞれ全天球画像および音響に対する所定時点毎の射影変換パラメータを生成する。傾斜角データ２４６に所定の正面方向に対する水平面の回転角度が含まれる場合には、パラメータ生成部２２８は、所定時点毎の傾斜角および水平面の回転角度から、所定時点毎の射影変換パラメータを生成することができる。なお、全天球画像に対する射影変換パラメータと、音響に対する射影変換パラメータとは、異なる可能性がある。

画像変換部２３０は、天頂補正および水平面での回転補正のいずれか一方または両方が求められる場合に、パラメータ生成部２２８により生成された射影変換パラメータを用いて、全天球画像データ２４２の各フレームの画像に射影変換を施す。なお、図３に示すデータ構造では、ＧＯＰ単位に傾斜角の情報が関連付けられているので、ＧＯＰに対応するフレーム集合に対し、同一の傾斜角に基づき生成された射影変換パラメータが適用されてもよい。あるいは、隣接するＧＯＰのものを用いて平滑化された傾斜角に基づく射影変換パラメータがフレーム集合内の各フレームに適用されてもよい。また、ファイル２４０内に、全天球画像データではなく、複数の半球画像を含む画像データが含まれる場合には、画像変換部２３０は、射影変換前につなぎ合成を行うことができる。また、全天球画像データに天頂補正および水平面での回転補正のいずれか一方または両方が適用済みであれば、射影変換を省略することもできる。全天球画像に対する射影変換は、公知の技術を用いて行うことができるので詳細な説明は割愛する。

音響変換部２３２は、音響データ２４４の各時間区間の音響データに対し、パラメータ生成部２２８により時間区間について生成された射影変換パラメータを用いて、射影変換を施す。説明する実施形態では、音響データ２４４は、マイクロホン１４４毎の音響データであるので、全天球撮像装置１１０の姿勢が該当する範囲に応じて、チャンネルの交換を行うことにより、大まかな天頂補正または水平面での回転補正を施すことができる。例えば、全天球撮像装置１１０が、水平に寝かされた場合は、垂直に持った場合を基準として、チャンネルの位置関係を９０度回転させるというような方法で、天頂補正を施すことができる。

なお、全天球撮像装置１１０は、例えば操作部１４６に、再生時に天頂補正を実施するか否かの選択を受け付ける選択手段を備える。画像変換部２３０による射影変換および音響変換部２３２による射影変換は、天頂補正を実施する旨の選択が受け付けられた場合に同時に有効化される。さらに、全天球撮像装置１１０は、例えば操作部１４６に、再生時に水平面での回転補正を実施するか否かの選択を受け付ける選択手段を備えてもよい。画像変換部２３０による射影変換および音響変換部２３２による射影変換は、水平面での回転補正を実施する旨の選択が受け付けられた場合にも同時に有効化され得る。なお、水平面での回転補正を実施するか否かの選択は、天頂補正を実施するか否かの選択と独立して行われてもよいし、再生時に天頂補正を実施する旨の選択を受けた場合に、これに連動して水平面での回転補正を実施するものとしてもよい。

出力部２３４は、画像変換部２３０により射影変換された全天球画像のフレームに基づき映像信号を生成し、表示部２５０へ出力する。全天球画像の表示方法は、特に限定されるものではなく、全天球画像をそのまま映像信号として出力してもよいし、全天球画像の所定画角に対応する画像範囲を切り出して映像信号として出力してもよい。

出力部２３４は、映像信号の出力と同時に、音響変換部２３２により射影変換された音響データに基づき、スピーカ駆動信号を生成し、音響再生部２６０へ出力する。ここで、音響再生部２６０は、所定の構成で配置された複数のラウドスピーカを含み構成される。音響再生部２６０は、独自の配置構成を有するものであってもよいし、５．１ｃｈ，７．１ｃｈ、２２．２ｃｈサラウンドなどの所定の規格に従ったものであってもよい。出力部２３４は、音響再生部２６０の構成に応じたスピーカ駆動信号を生成して、出力する。

以下、図４および図５を参照しながら、本実施形態による全天球撮像装置１１０が実行する画像および音響の記録および再生方法について、より詳細に説明する。

図４は、本実施形態による全天球撮像装置１１０が実行する、画像音響記録方法を示すフローチャートである。図４に示す処理は、例えば、全天球撮像装置１１０の筐体に設けられるレリーズスイッチ１５０の押下といった、記録開始の指示を行うための特定の動作に応答して、ステップＳ１００から開始される。

ステップＳ１０１では、全天球撮像装置１１０は、画像取得部２１２により、撮像素子１３０Ａ，１３０Ｂを用いて撮像された画像を取得する。ステップＳ１０２では、全天球撮像装置１１０は、画像信号処理部２１４により、ステップＳ１０１で取得した画像に画像信号処理を施し、ステップＳ１０５へ処理を進める。なお、ここでは、フレーム集合の単位で画像取得および画像信号処理が行われるものとする。

図４に示す処理が開始されると、ステップＳ１０１およびステップＳ１０２の処理と並行して、ステップＳ１０３およびステップＳ１０４の処理が実行される。ステップＳ１０３では、全天球撮像装置１１０は、音響取得部２１６により、マイクロホン１４４Ａ～１４４ＤからＡＤＣ１４２を介してマイクロホン１４４毎の音響データを取得する。ステップＳ１０４では、全天球撮像装置１１０は、音響信号処理部２１８により、ステップＳ１０３で取得した音響データに信号処理を施し、ステップＳ１０５へ処理を進める。ここでは、フレーム集合の単位に対応する時間区間の音響取得および音響信号処理が行われるものとする。

ステップＳ１０５では、全天球撮像装置１１０は、センサ情報取得部２２０により、加速度センサ／ジャイロセンサ／地磁気センサ１３６から、ステップＳ１０１およびステップＳ１０３での画像および音響の記録時のセンサ検出結果情報を取得する。ステップＳ１０６では、全天球撮像装置１１０は、傾斜角計算部２２２により、ステップＳ１０５で取得したセンサ検出結果情報に基づいて、記録時の全天球撮像装置１１０の傾斜角および所定の正面方向に対する水平面の回転角度を算出する。ジャイロセンサや地磁気センサを有さない場合など、所定の正面方向に対する水平面の回転角度が取得されない場合もある。

ステップＳ１０７では、全天球撮像装置１１０は、記録部２２４により、全天球画像データ２４２、音響データ２４４および傾斜角データ２４６として、フレーム集合分の画像情報、音響情報および姿勢情報をそれぞれ関連付けて記録する。

ステップＳ１０８では、全天球撮像装置１１０は、記録終了の指示を受け付けたか否かを判定する。ステップＳ１０８で、記録終了の指示をまだ受け付けていないと判定された場合（ＮＯ）は、ステップＳ１０１およびステップＳ１０３へ処理をループさせて、次のフレーム集合に対する処理へ進める。一方、ステップＳ１０８で、記録終了の指示を受け付けたと判定された場合（ＹＥＳ）は、ステップＳ１０９へ処理を分岐させて、全天球撮像装置１１０は、ファイルを閉じて、本処理を終了させる。

図５は、本実施形態による全天球撮像装置１１０が実行する、画像音響再生方法を示すフローチャートである。図５に示す処理は、例えば、全天球撮像装置１１０の筐体に設けられる再生ボタンの押下といった特定の動作に応答して、ステップＳ２００から開始される。図５に示す処理が開始されると、ステップＳ２０１、ステップＳ２０２およびステップＳ２０３の処理が並列に実行される。

ステップＳ２０１では、全天球撮像装置１１０は、読出部２２６により、ファイル２４０の全天球画像データ２４２からフレーム集合分の画像を読み出す。ステップＳ２０２では、全天球撮像装置１１０は、読出部２２６により、ファイル２４０の音響データ２４４からフレーム集合に対応する音響データを読み出す。ステップＳ２０３では、全天球撮像装置１１０は、読出部２２６により、ファイル２４０の傾斜角データ２４６からフレーム集合に対応する傾斜角を読み出す。

ステップＳ２０４では、全天球撮像装置１１０は、パラメータ生成部２２８により、傾斜角および所定の正面方向に対する水平面の回転角度から、フレーム集合に適用する画像および音響に対する各射影変換パラメータを生成する。ステップＳ２０５では、全天球撮像装置１１０は、設定情報を参照して天頂補正および水平面での回転補正を行うか否かの判定を行う。なお、説明する実施形態では、一例として、天頂補正および水平面での回転補正の両方を行うか、または両方を行わないか、が指定されているものとする。しかしながら、これに限定されるものではなく、他の実施形態では、天頂補正および水平面での回転補正を行うか否かをそれぞれ独立して指定することとしてもよい。つまり、天頂補正のみ行うこと、水平面での回転補正のみ行うこと、天頂補正および水平面での回転補正の両方を行うこと、天頂補正および水平面での回転補正のいずれも行わないことが指定されてもよい。ステップＳ２０５で、天頂補正および水平面での回転補正を行うと判定された場合（ＹＥＳ）は、ステップＳ２０６およびステップＳ２０７へ処理が進められる。

ステップＳ２０６では、全天球撮像装置１１０は、画像変換部２３０により、読み出されたフレーム集合分の全天球画像に対し、生成された画像用の射影変換パラメータに基づいて射影変換を施す。同時に、ステップＳ２０７では、全天球撮像装置１１０は、読み出された音響データに対し、天頂補正および水平面での回転補正を施す立体音響信号処理を行う。この天頂補正および水平面での回転補正を施す立体音響信号処理では、音響変換部２３２により、音響用の射影変換パラメータに応じて、マイクロホン１４４毎の音響データのチャンネル交換などにより天頂補正および水平面での回転補正が行われる。天頂補正および水平面での回転補正を施す立体音響信号処理では、出力部２３４により、天頂補正および水平面での回転補正後の音響データがエンコードされて、エンコードされた立体音響データが、音響再生部２６０の構成に応じてデコードされて、スピーカ駆動信号が生成され、音響再生部２６０に出力される。

一方、ステップＳ２０５で、天頂補正および水平面での回転補正を行わないと判定された場合（ＮＯ）は、ステップＳ２０８へ処理が分岐される。ステップＳ２０８では、全天球撮像装置１１０は、全天球画像はそのままで、読み出された音響データに対し、立体音響信号処理を行う。この立体音響信号処理では、出力部２３４により、マイクロホン１４４毎の音響データがエンコードされて、エンコードされた立体音響データが、音響再生部２６０の構成に応じてデコードされて、スピーカ駆動信号が生成され、音響再生部２６０に出力される。

ステップＳ２０９では、全天球撮像装置１１０は、ファイルの終端に達したか否かを判定する。ステップＳ２０９で、ファイルの終端に達していないと判定された場合（ＮＯ）は、ステップＳ２０１、ステップＳ２０２およびステップＳ２０３へ処理をループさせて、次のフレーム集合に対する処理へ進める。一方、ステップＳ２０９で、ファイルの終端に達したと判定された場合（ＹＥＳ）は、ステップＳ２１０へ処理を分岐させて、ファイルを閉じて、本処理を終了させる。

なお、図４および図５を参照して、画像および音響の記録および再生方法について分けて説明したが、図５の再生において実行される天頂補正および水平面での回転補正を、撮影時に記録と同時に行うことを妨げるものではない。

以下、図６および図７を参照しながら、立体音響としてアンビソニックを採用する特定の実施形態における、音響データの収音から再生までの流れを説明する。図６（Ａ）は、実施形態における音響データの収音から再生までの流れを示す。

図６（Ａ）に示すように、実施形態では、収音されたマイクロホン１４４毎の音響データ（アンビソニックのＡ－フォーマットのＬＦ，ＬＢ，ＲＦ、ＲＢ）が音響データ２４４として傾斜角データ２４６に関連付けられてファイル２４０Ａに記録される。音響データ２４４は、再生時に、ファイル２４０Ａから読みだされて天頂補正および水平面での回転補正のいずれか一方または両方が施される。そして、天頂補正および水平面での回転補正のいずれか一方または両方が施された音響データ（Ａ－フォーマットのＬＦ’，ＬＢ’，ＲＦ’、ＲＢ’）がアンビソニックエンコーダーによりエンコードされ、立体音響データ（Ｂ－フォーマットのＷ，Ｘ，Ｙ，Ｚ）が生成される。なお、エンコードは、典型的には、下記式で表すことができる。アンビソニックにおけるマイクロホン１４４は正四面体の頂点に配置させた指向性マイク４つを使用して収音し、収音した４つの音声信号から無指向性信号Ｗおよび双指向性信号ＸＹＺを生成する。

Ｂフォーマットへの信号処理の結果、無指向性信号Ｗ及び双指向性信号ＸＹＺが、仮想的な無指向性マイクと双指向性マイクで収録したものとして取り扱われる。

図７（Ａ）は、全天球撮像装置１１０における軸の定義を説明する図である。図７（Ａ）に示すように、上下方向がＺ軸に対応付けられており、左右方向がＸ軸に対応付けられており、前後方向が、Ｙ軸に対応付けられている。そのほか、一例として、図７（Ｂ）～図７（Ｅ）は、立体音響における収音指向特性を説明する図である。Ｂ－フォーマットのＷチャンネルは、図７（Ｂ）に示すような無指向なマイクロホンでの収音信号に対応する。Ｂ－フォーマットのＸ，Ｙ，Ｚの各チャンネルは、図７（Ｃ）～図７（Ｅ）に示すような双指向性のマイクロホンでの収音信号に対応する。式（１）で表されるように、信号間の簡便な演算により、マイクロホン毎の音響データから立体音響データが構成される。

そして、一旦、立体音響データが生成された後は、アンビソニックデコーダにより、スピーカ構成に応じてスピーカ駆動信号が生成されて、音響再生部２６０に入力されて、音響再生部２６０の各ラウドスピーカから放音される。これにより、方向性を含めた音場が再現される。

なお、上述の説明では、音響再生部２６０は、複数のラウドスピーカを含むものとして説明した。しかしながら、音響再生部２６０は、ヘッドホンであってもよく、その場合は、出力部２３４は、一旦、所定の構成を有するラウドスピーカ用の信号にデコードした後、所定の頭部伝達関数（Head-Related Transfer Function：ＨＲＴＦ）を畳み込んで足し合わせることにより、バイノーラル信号として、ヘッドホンである音響再生部２６０に出力することもできる。

また、上述した実施形態では、記録される音響情報として、マイクロホン１４４で収音された音響データ（Ａ－フォーマットのＬＦ，ＬＢ，ＲＦ、ＲＢ）が、傾斜角データに関連付けて記録されるものとして説明した。そして、図６（Ａ）に示すように、マイクロホン１４４毎の音響データ（Ａ－フォーマットのＬＦ，ＬＢ，ＲＦ、ＲＢ）に対し、チャンネル交換により射影変換を施すものとして説明した。しかしながら記録される音響情報や射影変換の態様は、上述した実施形態に限定されるものではない。

図６（Ｂ）は、他の実施形態における音響データの収音から再生までの流れを示す。図６（Ｂ）に示す他の実施形態においては、音響信号処理部２１８で複数のマイクロホン１４４各々で収音された複数の音響信号をエンコードすることとし、記録部２２４は、エンコードされた立体音響データをファイル２４０Ｂに記録する。立体音響としてアンビソニックスを採用する特定の実施形態では、この立体音響データは、いわゆるＢ－フォーマット（Ｗ，Ｘ，Ｙ，Ｚ）と呼ばれるものであり、図６（Ｂ）に示すように、この立体音響データ（Ｗ，Ｘ，Ｙ，Ｚ）が傾斜角データに関連付けてファイル２４０Ｂに記録される。

その場合、図６（Ｂ）に示すように、上述した実施形態では、エンコード後の立体音響データ（Ｂ－フォーマットのＷ，Ｘ，Ｙ，Ｚ）に対し、天頂補正および水平面の回転補正のいずれか一方または両方が施される。例えば、図７（Ａ）に示すように、水平面上でθだけ回転することに相当する回転補正は、典型的には、下記式で表される射影変換により実現することができる。

このように、他の実施形態では、複数のマイクロホン１４４各々で収音された複数の音響信号をエンコードして、立体音響データ２４４が一旦生成される。そして、天頂補正は、この立体音響データ上で適用される。出力部２３４は、天頂補正および水平面の回転補正のいずれか一方まらは両方が施された立体音響データ（Ｗ’，Ｘ’、Ｙ’、Ｚ’）をデコードし、音響再生部２６０の構成に従ったスピーカ駆動信号を出力する。天頂補正の場合は同様にＸまたはＹ軸にそった回転を行い補正する。

以上説明した実施形態によれば、所定時点の音響データに関連付けて対応する時点の傾斜角データが記録される。そのため、音響データに対し鉛直方向に対する傾斜角に応じた天頂補正および所定の正面方向に対する水平面の回転角度に応じた水平面での回転補正のいずれか一方または両方を施すことが可能となる。さらに、利用者は立体音声を記録するマイクロホン１４４の状態を気にすることなく、全天球撮像装置１１０を動かしながら、全天球動画を撮影および録音することができる。そして、視聴時は、音響データに対し傾斜角に応じた天頂補正および回転角度に応じた水平面での回転補正に一方または両方を施されているので、全天球撮像装置１１０の姿勢の変動に起因して、再生時の音場の方向性の不自然さを軽減することができる。

なお、上述した実施形態では、読出部２２６、パラメータ生成部２２８、画像変換部２３０および音響変換部２３２といった再生側の構成も、全天球撮像装置１１０上のコンポーネントとして説明した。しかしながら、他の実施形態では、再生側のコンポーネントを別の外部装置上で実装することもできる。

図８は、他の実施形態による全天球撮像装置上で実現される画像音響記録機能に関連する機能ブロック図である。図８に示す実施形態では、全天球撮像装置１１０の機能ブロック３１０としては、画像取得部３１２と、画像信号処理部３１４と、音響取得部３１６と、音響信号処理部３１８と、センサ情報取得部３２０と、傾斜角計算部３２２と、記録部３２４とが含まれる。そして、再生側の外部装置の機能ブロック２８０としては、読出部３７２と、パラメータ生成部３７４と、画像変換部３７６と、音響変換部３７８と、出力部３８０とが含まれる。この場合、全天球撮像装置１１０側の記録部３２４により保存されたファイル３４０は、ＵＳＢやネットワークなどを介して外部装置側へと伝送されることになる。なお、外部装置は、パーソナル・コンピュータ、タブレット・コンピュータ、ワークステーション、サーバなどの汎用コンピュータとすることができる。

図８に示すように、再生側を外部装置上で構成することによって、立体音響データをスピーカ駆動信号へ変換する際の計算負荷を、外部装置にオフロードすることができる。

以上説明した実施形態によれば、撮影や記録時の装置の姿勢の変動に起因した、再生時の音場の方向性の不自然さを補正可能とすることができる、音響記録装置、音響システム、音響記録方法、プログラムおよびデータ構造を提供することができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（VHSIC（Very High Speed Integrated Circuits）Hardware Description Language））、Ｖｅｒｉｌｏｇ－ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１１０…全天球撮像装置、１１２…ＣＰＵ、１１４…ＲＯＭ、１１６…画像処理ブロック、１１８…動画ブロック、１２０…ＤＲＡＭインタフェース、１２２…外部ストレージインタフェース、１２４…外部センサインタフェース、１２６…ＵＳＢインタフェース、１２８…シリアルブロック、１３０…撮像素子、１３１…光学系、１３２…ＤＲＡＭ、１３４…外部ストレージ、１３６…加速度センサ／ジャイロセンサ／地磁気センサ、１３８…ＵＳＢコネクタ、１４０…無線通信インタフェース、１４２…ＡＤＣ、１４４…マイクロホン、１４６…操作部、１４８…切替スイッチ、１５０…レリーズスイッチ、２１０，３１０…機能ブロック、２１２，３１２…画像取得部、２１４，３１４…画像信号処理部、２１６，３１６…音響取得部、２１８，３１８…音響信号処理部、２２０，３２０…センサ情報取得部、２２２，３２２…傾斜角計算部、２２４，３２４…記録部、２２６，３７２…読出部、２２８，３７４…パラメータ生成部、２３０，３７６…画像変換部、２３２，３７８…音響変換部、２３４，３８０…出力部、２４０，３４０…ファイル、２４２，３４２…全天球画像データ、２４４，３４４…立体音響データ、２４６，３４６…傾斜角データ、２５０，３５０…表示部、２６０，３５０…音響再生部

特許第５７７７１８５号明細書

Claims (27)

1. 音響装置であって、
   光学系を有する撮像手段と、
   音を収音する複数の収音手段と、
   前記音響装置の所定時点の姿勢に基づいて、該所定時点に対応する、前記複数の収音手段各々で収音された音に基づく音響情報に対し、鉛直方向に対する傾きを補正する手段と、
   前記所定時点の姿勢に基づいて、該所定時点に対応する、前記撮像手段により前記光学系を通して撮像された画像信号に基づく画像情報に対し、鉛直方向に対する傾きを補正する手段と
   を含む、音響装置。
2. 前記音響装置の姿勢を計測する計測手段をさらに有し、
   前記計測手段は、前記音響装置の速度、加速度、角加速度、または磁気方位のうち、１以上を計測する、請求項１に記載の音響装置。
3. 前記音響情報は、前記複数の収音手段各々で収音された複数の音響信号から得られる収音手段毎の音響データ、または、前記複数の収音手段各々で収音された複数の音響信号からエンコードされた立体音響データである、請求項１または２に記載の音響装置。
4. 前記音響情報に対し、鉛直方向に対する傾きを補正する手段は、前記音響情報に対し水平面の回転をさらに補正する手段を有する音響変換手段であり、前記画像情報に対し、鉛直方向に対する傾きを補正する手段は、前記画像情報に対し、水平面の回転をさらに補正する手段を有する画像変換手段である、請求項１～３のいずれか１項に記載の音響装置。
5. 前記音響装置は、鉛直方向に対する傾き、または鉛直方向に対する傾きおよび水平面の回転を補正するか否かの選択を受け付ける選択手段をさらに含み、
   前記音響変換手段による補正および前記画像変換手段による補正は、前記選択手段により鉛直方向に対する傾き、または鉛直方向に対する傾きおよび水平面の回転を補正する旨の選択が受け付けられた場合に有効化される、請求項４に記載の音響装置。
6. 前記画像情報と、前記音響情報と、前記姿勢に関する情報とを記録する記録手段をさらに含み、
   前記記録手段により記録される画像情報は、１以上のフレームを含むフレーム集合の単位の画像情報であり、前記姿勢は、前記フレーム集合に対応する時間区間に計測された姿勢であり、前記姿勢に関連付けて記録される音響情報は、前記フレーム集合に対応する時間区間に収音された音に基づく音響情報であり、前記姿勢は、基準方向に対する傾斜角、または基準方向に対する傾斜角および所定の正面方向に対する水平面での回転角度の形で記録される、請求項５に記載の音響装置。
7. 前記光学系は、広角光学系である請求項１～６のいずれか１項に記載の音響装置。
8. 音響装置を含む音響システムであって、
   光学系を有する撮像手段と、
   音を収音する複数の収音手段と、
   前記音響装置の所定時点の姿勢に基づいて、該所定時点に対応する、前記複数の収音手段各々で収音された音に基づく音響情報に対し、鉛直方向に対する傾きを補正する手段と、
   前記所定時点の姿勢に基づいて、該所定時点に対応する、前記撮像手段により前記光学系を通して撮像された画像信号に基づく画像情報に対し、鉛直方向に対する傾きを補正する手段と
   を含む、音響システム。
9. 前記音響装置の姿勢を計測する計測手段をさらに有し、
   前記計測手段は、前記音響装置の速度、加速度、角加速度、または磁気方位のうち、１以上を計測する、請求項８に記載の音響システム。
10. 前記複数の収音手段各々で収音された収音手段毎の音響信号から得られる収音手段毎の音響データに基づいてエンコードを行い、立体音響データを生成するエンコード手段と、
    前記立体音響データに基づいてデコードを行い、スピーカ駆動信号を生成するデコード手段と
    をさらに含む、請求項９に記載の音響システム。
11. 前記画像情報と、前記音響情報と、前記姿勢に関する情報とを記録する記録手段をさらに含み、
    前記記録手段により記録される音響情報は、前記複数の収音手段各々で収音された複数の音響信号から得られる収音手段毎の音響データ、または、前記複数の収音手段各々で収音された複数の音響信号からエンコードされた立体音響データである、請求項１０に記載の音響システム。
12. 前記音響情報に対し、鉛直方向に対する傾きを補正する手段は、前記音響情報に対し水平面の回転をさらに補正する手段を有する音響変換手段であり、前記画像情報に対し、鉛直方向に対する傾きを補正する補正する手段は、前記画像情報に対し水平面の回転をさらに補正する手段を有する画像変換手段である、請求項８～１１のいずれか１項に記載の音響システム。
13. 前記音響システムは、鉛直方向に対する傾き、または鉛直方向に対する傾きおよび水平面の回転を補正するか否かの選択を受け付ける選択手段と
    をさらに含み、前記音響変換手段による補正および前記画像変換手段による補正は、前記選択手段により鉛直方向に対する傾き、または鉛直方向に対する傾きおよび水平面の回転を補正する旨の選択が受け付けられた場合に同時に有効化される、請求項１２に記載の音響システム。
14. 音響装置が実行する方法であって、前記音響装置が、
    複数の収音手段により音を収音するステップと、
    光学系を有する撮像手段により撮像するステップと、
    前記音響装置の所定時点の姿勢に基づいて、該所定時点に対応する、前記複数の収音手段各々で収音された音に基づく音響情報に対し、鉛直方向に対する傾きを補正するステップと、
    前記所定時点の姿勢に基づいて、該所定時点に対応する、前記撮像手段により前記光学系を通して撮像された画像信号に基づく画像情報に対し、鉛直方向に対する傾きを補正するステップと
    を実行する、方法。
15. 前記複数の収音手段各々で収音された複数の音響信号から得られる収音手段毎の音響データを前記音響情報として記録するステップを含むか、または、
    前記複数の収音手段各々で収音された複数の音響信号に基づいてエンコードを行い、立体音響データを生成するステップと、前記立体音響データを前記音響情報として記録するステップとを含む、請求項１４に記載の方法。
16. 音響装置を実現するためのプログラムであって、コンピュータまたはプログラマブルデバイスを、
    撮像手段により光学系を通して撮像された画像信号に基づく画像情報を取得する画像取得手段、
    複数の収音手段により音が収音された音響信号に基づく音響情報を取得する音響取得手段、
    前記音響装置の所定時点の姿勢に基づいて、該所定時点に対応する、前記音響情報に対し、鉛直方向に対する傾きを補正する手段、および
    前記所定時点の姿勢に基づいて、該所定時点に対応する、前記画像情報に対し、鉛直方向に対する傾きを補正する手段
    として機能させるためのプログラム。
17. 撮像装置であって、
    光学系を有する撮像手段と、
    音を収音する複数の収音手段と、
    前記撮像装置の所定時点の姿勢に基づいて、該所定時点に対応する、前記複数の収音手段各々で収音された音に基づく音響情報に対し、鉛直方向に対する傾きを補正する手段と、
    前記所定時点の姿勢に基づいて、該所定時点に対応する、前記撮像手段により前記光学系を通して撮像された画像信号に基づく画像情報に対し、鉛直方向に対する傾きを補正する手段と
    を含む、撮像装置。
18. 前記撮像装置の姿勢を計測する計測手段をさらに有し、
    前記計測手段は、前記撮像装置の速度、加速度、角加速度、または磁気方位のうち、１以上を計測する、請求項１７に記載の撮像装置。
19. 前記計測手段で計測した情報に基づいて、前記撮像装置の鉛直方向に対する傾斜角を算出する傾斜角算出手段を有する、請求項１８に記載の撮像装置。
20. 前記計測手段で計測した姿勢に基づいて、前記音響情報および前記画像情報に対し、前記補正をするためのパラメータを生成するパラメータ生成部を有する、請求項１８または１９に記載の撮像装置。
21. 前記音響情報および前記画像情報に対する前記補正は、前記パラメータ生成部で生成された同一のパラメータに基づく、請求項２０に記載の撮像装置。
22. 前記収音手段は、指向性を有するマイクである、請求項１７～２１のいずれか１項に記載の撮像装置。
23. 前記撮像手段は、２以上の光学系を有する、請求項１７～２２のいずれか１項に記載の撮像装置。
24. 前記撮像手段で撮像された画像を合成する画像合成手段をさらに含む、請求項２３に記載の撮像装置。
25. 前記補正がされる前記画像情報は、前記画像合成手段により合成された画像である、請求項２４に記載の撮像装置。
26. 前記画像合成手段は、前記撮像手段で撮像された２以上の画像のうち、撮像範囲が重複した領域を基準に前記２以上の画像を合成する、請求項２４に記載の撮像装置。
27. 前記画像合成手段により合成された画像は全天球画像である、請求項２４に記載の撮像装置。

Images