JP6882057B2 - 信号処理装置、信号処理方法、およびプログラム - Google Patents

Description

本発明は、再生映像にふさわしい音響を再生する技術に関する。

撮影対象の映像や音に加えて、それを取り巻く環境を含めた音を同時に収録しておき、映像をスロー再生する際に、収録した音響信号に基づいて映像に見合う音を生成して再生する従来技術がある。

特許文献１では、映像撮影時に録音された音声から、打球音などのイベントの音（イベント音）を検知する。そして、スロー映像再生時にイベント音を検知した部分の映像が再生される時間に同期してイベント音が再生されるように、映像と音声の再生開始時間を計算して再生している。

また、特許文献２では、スローモーション動画撮影時に動画と同じ長さの音声を録音する。録音した音源を、人の声とインパルス性の音（打球音、キック音など）と、その他の音に分離する。スロー再生時に、その他の音はそのままスロー再生を行い、人の声はピッチを保持して時間を引き延ばす処理を行う。また、インパルス性の音は、エコー処理を行ってエコーを何度も繰り返して再生するようにしている。

特開２０１０−２０６６４１号公報 特開２０１１−５５３８６号公報

特許文献１の技術では、スロー映像再生時に、イベント音を検知した部分の映像が再生される時間に同期して、イベント音が再生される。しかしながら、映像と同じ長さの期間の音を通常速度で再生するため、イベントの前後のスロー映像が再生されている時間の一部は無音となってしまい、聞こえ方が不自然になるという課題がある。

また、特許文献２の技術では、音にエコーをかけて再生したり、ピッチを保持して再生時間を延ばす処理を行ったり、スロー再生を行うことにより、実際の音とは異なる加工音が再生され、聞こえ方が不自然になるという課題があった。

本発明は、上記課題に鑑みて為されたものであり、再生映像にふさわしい音響を再生できるようにすることを目的とする。

上記目的を達成するための一手段として、本発明の信号処理装置は以下の構成を有する。すなわち、撮影期間における撮影対象領域の撮影に基づく映像と共に再生される再生用音響信号を生成する信号処理装置であって、前記撮影期間よりも短い第１収音期間において収音された前記撮影対象領域内の音を含む第１音響信号を取得する第１取得手段と、前記撮影期間よりも長い第２収音期間において収音された前記撮影対象領域の周辺領域の音を含む第２音響信号を取得する第２取得手段と、前記撮影期間よりも再生期間が長い前記映像と共に再生される前記再生用音響信号を生成する生成手段であって、前記第１取得手段により取得された前記第１音響信号と前記第２取得手段により取得された前記第２音響信号とを、前記映像における前記第１音響信号に含まれる音に対応するイベントのタイミングと前記再生用音響信号における前記第１音響信号に含まれる音の再生タイミングとが合うように合成することで、前記再生用音響信号を生成する生成手段と、を有する。

本発明によれば、再生映像にふさわしい音響を再生することが可能となる。

映像音響再生システムの一構成例を示すブロック図である。 情報処理装置のハードウェア構成例を示すブロック図である。 競技音用マイクロホンと歓声音用マイクロホンの設置イメージを示す模式図である。 情報処理装置のメイン処理のフローチャートである。 スロー再生処理のフローチャートである。 イベント検出処理のフローチャートである。 競技音イベント検出処理のフローチャートである。 歓声音イベント検出処理のフローチャートである。 スロー映像用音響生成処理のフローチャートである。 基準イベント選択処理のフローチャートである。 映像イベント情報、競技音イベント情報、及び歓声音イベント情報のデータ構造を示す図である。 実施形態による音響生成・再生を行った結果を示すタイムチャートのイメージである。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

図１Ａは、実施形態における映像音響再生システムの一構成例を示すブロック図である。なお、本実施形態において、撮影の対象は所定の競技であるとする。また、収音の対象は、撮影対象の競技が行われる競技領域内から発せられる音（例えば選手が発する音）と、撮影対象の競技領域を取り囲む周辺の空間から発せられる環境音（例えば観客の歓声）であるとする。本実施形態における映像音響再生システムは、情報処理装置１００、競技音用マイクロホン１、歓声音用マイクロホン４、カメラ１０、ヘッドホン１７、サラウンドスピーカー１８で構成される。

競技音用マイクロホン１は、対象の競技の音（撮影対象の所定領域から発せられる音）を収音し、電気信号（アナログ信号）に変換して送信する。競技音用マイクロホン１は、対象の競技が行われる方向に向けて設置される。競技音収音部２は、競技音取得手段として機能し、競技音用マイクロホン１から送信される音の電気信号を適宜増幅し、アナログ信号からデジタル信号に変換し、これを競技音信号（第１の音）として競技音蓄積部３に送信する。競技音蓄積部３は、競技音収音部２が送信する競技音信号（以下、単に競技音とも称する）を、時刻情報とともに蓄積する。この時刻情報は、例えば、競技音信号が競技音蓄積部３に入力された時刻の情報である。競技音蓄積部３は、ＣＰＵ２３（図１Ｂ）による指示に従って、指定された時刻の競技音をイベント検出部７に適宜出力する。歓声音用マイクロホン４は、対象の競技が行われる環境における歓声音（撮影対象おｎ所定領域の周辺領域の音）を収音し、電気信号（アナログ信号）に変換して送信する。歓声音用マイクロホン４は、観客の方向を向けて設置される。

ここで、競技音用マイクロホン１と歓声音用マイクロホン４の設置例を、図２を参照して説明する。図２は、競技音用マイクロホン１と歓声音用マイクロホン４の設置イメージを示す模式図である。図２の例では、複数の競技音用マイクロホン１と複数の歓声音用マイクロホン４が、対象の競技が行われる競技場１０４に配置されている。競技場１０４は、競技フィールド１０１、グラウンド１０２、観客席１０３から構成される。競技フィールド１０１では、対象の競技が行われる。グラウンド１０２は、競技フィールド１０１を含む水平面である。図２の例では、競技音用マイクロホン１は、グラウンド１０２に設置される。観客席１０３では、観客が対象の競技を眺め、競技進行に応じて歓声を上げる。

図２に示すように、複数の競技音用マイクロホン１が、競技音を収音するために競技フィールド１０１を取り囲むように配置されている。また、複数の歓声音用マイクロホン４が、観客席から生じる音を収音するために配置されている。なお、図２では、複数の競技音用マイクロホン１および歓声音用マイクロホン４が配置されているが、各々一本ずつ配置してもよい。あるいは、複数のマイクロホンのうち、選択した任意のマイクロホンの収音信号のみを使用して再生用の音響を生成してもよい。また、競技音用マイクロホン１で収音した音響信号に対して、近傍の歓声音用マイクロホン４で収音した信号の抑制を行うことにより、競技音のみを分離した信号を競技音信号として用いてもよい。

なお、以下の説明では、説明の便宜のため、競技音用マイクロホン１と歓声音用マイクロホン４をそれぞれ一つずつ使用する場合を中心に説明を行う。ただし、複数の競技音用マイクロホン１により競技音を生成する場合や、複数の歓声音用マイクロホン４により歓声音を生成する場合も、以下と同様の処理を行うことができる。

図１Ａに戻り、歓声音収音部５は、歓声音取得手段として機能し、歓声音用マイクロホン４から送信される音の電気信号を適宜増幅し、アナログ信号からデジタル信号に変換し、これを歓声音信号（第２の音）として歓声音蓄積部６に送信する。歓声音蓄積部６は、歓声音収音部５が送信する歓声音信号（以下、単に歓声音とも称する）を、時刻情報とともに蓄積する。この時刻情報は、例えば、歓声音信号が歓声音蓄積部６に入力された時刻の情報である。歓声音蓄積部６は、ＣＰＵ２３（図１Ｂ）による指示に従って、指定された時刻の競技音をイベント検出部７に適宜出力する。

イベント検出部７は、操作部１５と映像再生部１３を介して設定された再生映像の時刻区間において、競技音蓄積部３に格納されている競技音、歓声音蓄積部６に格納されている歓声音、映像蓄積部１２に格納されている映像に対して各々解析を行う。そして、設定された時刻区間におけるイベントと、イベントの発生時刻を検出し、音響生成部８へ送信する。

音響生成部８は、操作部１５と映像再生部１３を介して設定された再生映像の時刻区間及び再生速度と、イベント検出部７から受信したイベントの発生時刻に基づき、必要な音響データ（競技音／歓声音）を競技音蓄積部３や歓声音蓄積部６から取り出し、映像に見合う音響信号を生成する。音響生成部８は、生成した音響信号を音響再生部９に出力する。

音響再生部９は、映像再生部１３から受信した再生開始のトリガー信号に同期して、音響生成部から受信した音響信号をステレオやサラウンドなどの各種音響再生フォーマットにレンダリングする。音響再生部９はレンダリングした音響信号（ステレオ信号、バイノーラル信号を含む）を、各種音響再生機器（ヘッドホン１７、サラウンドスピーカー１８）へ出力する、もしくは、ＭＵＸ１６へ送信する。

カメラ１０は、対象の競技の映像を撮影し、映像信号を撮影部へ送信する。撮影部１１は、カメラ１０から受信した映像信号に対して画像補正処理を行って映像データを作成し（映像取得処理）、映像蓄積部へ送信する。映像蓄積部１２は、撮影部１１から受信した映像データ（以下、単に映像とも称する）を時刻情報とともに蓄積、格納する。この時刻情報は、例えば、映像データが映像蓄積部１２に入力された時刻の情報である。

映像再生部１３は、操作部１５を介して指定された再生映像の時刻区間の映像を、映像蓄積部１２から引き出す。また、映像再生部１３は、操作部１５を介して指定された再生映像の時刻区間と再生速度の情報を、イベント検出部７や音響生成部８に送信する。また、映像再生部１３は、映像再生を開始する時に、音響再生部９に再生開始のトリガー信号を送信し、ユーザーに指示された再生速度で映像再生を行う。この再生開始のトリガー信号は、例えば、操作部１５を介したユーザーの指示に応じて、生成される。映像再生部１３は、再生した映像信号を、映像表示部１４やＭＵＸ１６に出力する。

操作部１５は、ユーザーの各種指示を受け付け、受け付けた指示を制御コマンドに変換して映像再生部１３へ送信する。この指示には、実際の速度による通常再生（等倍速、１倍速）か通常再生より速度を落としたスロー再生の何れかの再生指示が含まれる。通常再生の指示には、再生映像の時刻区間（再生期間）や再生速度を特定する情報、スロー再生の指示には、再生時刻区間と再生映像のスロー再生速度を特定する情報が含まれる。

映像表示部１４は、映像再生部１３から受信した映像信号を映像として表示する。ＭＵＸ１６は、音響再生部９から受信した音響信号と、映像再生部から受信した映像信号とを重畳して映像音響ストリームデータを作成し、通信部１９や出力部２１へ出力する。

ヘッドホン１７は、音響再生部９によって出力されるステレオ信号やバイノーラル信号を音に変換して出力する。サラウンドスピーカー１８は、音響再生部９によって出力されるステレオ信号やサラウンド信号などを音に変換して出力する。通信部１９は、ＭＵＸ１６から受信した映像音響ストリーム信号を、通信網２０を介して外部に出力する。

通信網２０は、インターネットや一般電話回線などを示している。本実施形態では、通信網２０を介して、システム外の機器に対して、ＭＵＸ１６により作成された映像音響ストリームを出力することができる。出力部２１は、出力端子に接続した外部機器に、ＭＵＸ１６によって作成された映像音響ストリームを出力する。

図１Ｂは、情報処理装置１００のハードウェア構成例を示すブロック図である。記憶部２２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）から構成される。ＣＰＵ２３は、図１Ａに示す情報処理装置１００における各構成要素の動作を制御する。例えば、ＣＰＵ２３は、図１Ａに示す情報処理装置１００の各構成要素に接続され、当該各構成要素は、ＣＰＵ２３からの以下に説明する処理を行うための命令指示に従って、動作が統合制御される。

以上、映像音響再生システム及び情報処理装置１００の構成例について説明した。なお、情報処理装置の構成は以上で説明したものに限らない。例えば、競技音収音部２、競技音蓄積部３、歓声音収音部５、歓声音蓄積部６、撮影部１１、及び映像蓄積部１２が情報処理装置１００とは別個の装置の内部に存在していてもよい。

続いて、本実施形態の動作について説明する。図３は本実施形態による情報処理装置１００のメイン処理のフローチャートである。本実施形態において、Ｓ１からＳ２までの処理と、Ｓ３からＳ６もしくはＳ７までの処理が並行して行われる。すなわち図３は、撮影と収音を行いながら映像及び音響の再生を行う場合のフローを示している。ただしこれに限らず、情報処理装置１００は、撮影と収音が終了した後に、蓄積された映像データと音響データを用いて映像及び音響の再生を行ってもよい。

まず、Ｓ１からＳ２までの処理について説明する。Ｓ１では、撮影・収音処理を行う。具体的には、撮影部１１が、映像取得処理として、カメラ１０から送られる映像信号に対して現像処理や補正処理を行って映像データを作成する。また、競技音収音部２、歓声音収音部５が、それぞれ競技音用マイクロホン１、歓声音用マイクロホン４から送られるアナログ信号を適宜増幅してデジタル信号（音響信号）に変換する。処理を終えると、Ｓ２へ進む。Ｓ２では、Ｓ１で撮影・収音した映像データや音響信号を、撮影・収音した時刻情報とともに、映像蓄積部１２、競技音蓄積部３、歓声音蓄積部６に各々記録する。処理を終えると、再びＳ１へ戻る。

このように、撮影・収音された映像データ・音響データは、逐次各々の蓄積部（映像蓄積部１２、競技音蓄積部３、歓声音蓄積部６）に格納される。映像データ、音響データは時刻情報とともに各蓄積部に格納されるため、時刻情報を指定することで任意の時刻のデータを取り出すことができる。

次に、Ｓ３からＳ６もしくはＳ７までの処理について説明する。Ｓ３では、操作部１５がユーザーから各種指示を受け付けたかを確認する。続いて、Ｓ４では、操作部１５がユーザーから各種指示を受け付けた場合に、Ｓ５に進み、受け付けていない場合は、Ｓ３に戻る。Ｓ５では、操作部１５は、指示内容を確認する。指示内容が、「通常再生」の場合、Ｓ６の通常再生処理へ進む。上述したように、通常再生の指示には、再生時刻区間が含まれており、情報処理装置１００は、指定された時刻区間の映像を音響信号と同期して再生する。このような再生処理は、一般的な映像再生装置で通常行われている処理であり、公知であるため説明を省略する。処理を終えると、Ｓ３へ戻る。指示内容が、「スロー再生」である場合は、Ｓ７へ進む。上述したように、スロー再生の指示には、再生時刻区間とスロー再生速度が含まれており、情報処理装置１００は、再生時刻区間とスロー再生速度に応じて、スロー再生処理を行う。この処理の詳細は図４を用いて後述する。処理を終えるとＳ３へ戻る。指示内容が「終了」である場合は、すべての処理を終了し、メイン処理を終了する。

続いて、図３のＳ７の処理について、図４を参照して説明する。図４は、図３のＳ７のスロー再生処理を詳細化したフローチャートである。

まず、Ｓ１０１では、映像再生部１３は、スロー再生の指示に含まれる再生時刻区間とスロー再生速度の情報を、イベント検出部７や音響生成部８に送信する。Ｓ１０２では、イベント検出部７は、Ｓ１０１で受信した再生時刻区間の映像、音響データを解析することにより、イベントを検出する。この処理の詳細は図５を用いて後述する。

次に、Ｓ１０３では、音響生成部８は、Ｓ１０１で受信した再生時刻区間とスロー再生速度に対応するスロー映像（スロー再生映像信号）に応じた音響信号（スロー映像用音響信号）を生成する。本実施形態では、音響生成部８は、競技音と歓声音を異なる方法で抽出して結合してスロー映像用音響信号を生成する。この処理の詳細は図８を用いて後述する。次に、Ｓ１０４では、ＭＵＸ１６は、音響生成部８によって生成されたスロー映像用の音響信号と、映像再生部１３によって生成されたスロー再生映像信号の重畳を行い、映像音響ストリームを生成する。次に、Ｓ１０５では、音響再生部９、映像再生部１３、ＭＵＸ１６は、出力先を確認する。なお、出力先の情報は、例えば、記憶部２２に予め記憶されている。また、出力先は、操作部１５を介してユーザーにより指示されてもよい。この確認の結果、出力先が、映像表示部１４と、ヘッドホン１７もしくはサラウンドスピーカー１８といった再生機器である場合は、Ｓ１０６へ進む。出力先が通信網２０である場合は、Ｓ１０７へ進む。出力先が外部機器である場合は、Ｓ１０８へ進む。

Ｓ１０６では、映像再生部１３は、指定された時刻区間の映像に対して、指定された再生速度でスロー映像を再生して映像表示部１４に出力、表示するとともに、再生開始のトリガー信号を音響再生部９に出力する。同時に、音響再生部９は、再生開始のトリガー信号に応じて、音響生成部８により生成されたスロー再生用音響信号をヘッドホン１７もしくはサラウンドスピーカー１８に出力する。このような処理は、一般的な映像再生機器において通常行われており、公知であるため、詳細な説明は行わない。処理を終えると、スロー再生処理を終えてリターンする。

Ｓ１０７では、通信部１９は、Ｓ１０４でＭＵＸ１６により生成された映像音響ストリームデータを、通信網２０へ送信する。処理を終えると、スロー再生処理を終えてリターンする。Ｓ１０８では、出力部２１は、Ｓ１０４でＭＵＸ１６により生成された映像音響ストリームデータを、出力端子に接続した外部機器に出力する。処理を終えると、スロー再生処理を終えてリターンする。

なお、Ｓ１０４でＭＵＸ１６により生成される映像音響ストリームデータは、Ｓ１０７とＳ１０８の処理で用いられるが、Ｓ１０６では用いられないため、Ｓ１０６の判定の後に、Ｓ１０４の処理が行われるようにしてもよい。

続いて、図４のＳ１０２の処理について、図５を参照して説明する。図５は、図４のＳ１０２のイベント検出処理を詳細化したフローである。Ｓ２０１では、イベント検出部７は、映像再生部１３から受信した再生時刻区間に従って、映像蓄積部１２から映像データを取得する。Ｓ２０２では、イベント検出部７は、Ｓ２０１で取得した映像データに対して解析を行うことによって、この時刻区間内で撮影対象の競技に生じたイベントを検出する。例えば、イベント検出部７は、映像中の人物の認識と動作解析を行い、撮影対象の競技特有の特定の動作（例えば、サッカーにおけるキック）をイベントとして検出し、このような特定の動作の時刻（例えばサッカーではボールの方向やスピードが大きく変わる時刻）をイベント発生時刻として抽出する。このような映像によるイベント検出は映像認識分野において広く行われており、公知であるため、詳細な説明はしない。検出したイベントは、イベント発生時刻とともに映像イベント情報として、記憶部２２に記録される。

ここで、映像イベント情報のデータ構造を図１０（ａ）に示す。図１０（ａ）に示すように、映像イベント情報は、映像イベントＩＤ１１１と、映像イベント発生時刻１１２、映像イベント種類１１３によって構成される。映像イベントＩＤ１１１は、映像解析によって検出されたイベント情報を識別する番号である。また、映像イベント発生時刻１１２は、映像イベントＩＤ１１１に対応するイベントの発生時刻である。また、映像イベント種類１１３は、イベントの種類（例えばサッカーの場合は、キック、ヘディング、キャッチなど）である。

次に、Ｓ２０３では、イベント検出部７は、映像再生部１３から受信した再生時刻区間に従って、競技音蓄積部３と歓声音蓄積部６から音響データ（競技音信号／歓声音信号）を取得する。Ｓ２０４では、イベント検出部７は、Ｓ２０３で取得した競技音信号を解析することによって、撮影対象である競技に生じた（競技音に関連する）イベントを検出し、イベント発生、終了時刻とともに競技音イベント情報として記憶部２２に記録する。この処理の詳細は図６を用いて後述する。

ここで、競技音イベント情報のデータ構造を図１０（ｂ）に示す。図１０（ｂ）に示すように、競技音イベント情報は、競技音イベントＩＤ１１４、入力チャンネル番号１１５、競技音イベント開始時刻１１６、競技音イベント終了時刻１１７によって構成される。競技音イベントＩＤ１１４は、競技音イベント情報を識別する番号である。また、入力チャンネル番号１１５は、競技音イベントＩＤ１１４に対応する競技音イベントの音を収録したチャンネルの番号（競技音用マイクロホン１の識別番号）である。また、競技音イベント開始時刻１１６、競技音イベント終了時刻１１７は、競技音イベントＩＤ１１４に対応する競技音イベントの録音時における開始時刻と終了時刻である。

次に、Ｓ２０５では、イベント検出部７は、Ｓ２０２で検出した映像イベント情報（図１０（ａ））を、Ｓ２０４で検出した競技音イベント情報（図１０（ｂ））にマージする。例えば、イベント検出部７は、映像イベントの時刻情報（映像イベント発生時刻１１２）と、競技音イベントの時刻情報（競技音イベント開始時刻１１６、競技音イベント終了時刻１１７）を参照することによって、時刻が重複しているイベントを一つのイベントとしてまとめる。また、イベント検出部７は、映像イベント情報か競技音イベント情報のどちらかにしか存在しないイベント情報は残してもよい。このようなマージ処理によって、映像と競技音の両方から検知された単一のイベントに関するイベント情報の冗長性を排除して、後の音響生成処理にかかる負荷を低減することができる。また、競技音イベントとして検出できなかったイベントでも、映像によって検出することによって、音データからは検出できなくても、聴感上では感知できる可能性のあるイベントに関する情報を残すことができる。

次に、Ｓ２０６では、イベント検出部７は、Ｓ２０３で取得した歓声音信号を解析することにより、歓声音に関連する歓声音イベントを検出し、歓声音イベント情報として記憶部２２に記録する。この処理の詳細は図７を用いて後述する。

ここで、歓声音イベント情報のデータ構造を図１０（ｃ）に示す。図１０（ｃ）に示すように、歓声音イベント情報は、歓声音イベントＩＤ１１８、入力チャンネル番号１０９、歓声音イベント発生時刻１２０、最大音圧１２１によって構成される。歓声音イベントＩＤ１１８は、歓声音イベントを識別する番号である。また、入力チャンネル番号１０９は、歓声音イベントＩＤ１１８に対応する歓声音イベントの音を収録したチャンネル番号（歓声音用マイクロホン４の識別番号）である。また、歓声音イベント発生時刻１２０は、歓声音イベントＩＤ１１８に対応する歓声音イベントが発生した時の録音時の時刻である。また、最大音圧１２１は、歓声音イベントＩＤ１１８に対応する歓声音データの発生時刻後から音圧の盛り上がりが終息するまでの最大音圧レベルである。

Ｓ２０７では、Ｓ２０５でマージされた歓声音イベント情報とＳ２０６で検出された歓声音イベント情報のリスト（イベント情報リスト）を、音響生成部８に出力する。処理を終えると、イベント検出処理を終了してリターンする。

続いて、図５のＳ２０４の処理について、図６を参照して説明する。図６は、図５のＳ２０４の競技音イベント検出処理を詳細化したフローである。Ｓ３０１では、イベント検出部７は、記憶部２２に格納されている競技音イベント情報リストを初期化する。競技音イベント情報リストには、以降の本フローの処理において検出される競技音イベント情報が逐次格納される。Ｓ３０２では、イベント検出部７は、Ｓ２０３で取得した競技音信号の時間振幅の絶対値をとることにより、競技音信号の波形を時間音圧データに変換する。次に、Ｓ３０３では、イベント検出部７は、Ｓ３０２で求めた時間音圧データの時間平均値を計算し、この時間平均値に対して、所定の倍数Ａを掛けることによって、ピーク閾値を計算する。この所定の倍数Ａは、例えば、対象の競技や、競技音用マイクロホン１と歓声音用マイクロホン４の配置位置などによって予め定めた数である。

次に、Ｓ３０４では、イベント検出部７は、Ｓ３０２で求めた時間音圧データに対して、Ｓ３０３で計算したピーク閾値より大きな音圧ピークをすべて探索する。そして、イベント検出部７は、当該検索により発見したピークのピーク開始時刻（ピークに向かって音圧が上昇を開始する時刻）を検出し、記憶部２２に記録する。

Ｓ３０５からＳ３１０までの処理は、Ｓ３０４で記録した各音圧ピークに対するループ処理である。まず、Ｓ３０６では、イベント検出部７は、次のピーク開始時刻、もしくは、競技音データ終了時刻までに、一定値まで音圧が下がるかどうかを判定する。この一定値は任意に決定され得る。一定値まで下がる場合は（Ｓ３０６でＹｅｓ）、Ｓ３０７へ進む。そうでない場合は（Ｓ３０６でＮｏ）、Ｓ３０８へ進む。

Ｓ３０７では、イベント検出部７は、音圧が一定値に下がる時刻を、競技音イベント終了時刻１１７に決定する。一方、Ｓ３０８では、イベント検出部７は、次の音圧ピーク開始直前か、次のピークがない場合は音響データ終了時刻を、競技音イベント終了時刻１１７に決定する。Ｓ３０９では、イベント検出部７は、競技音イベント情報を新規作成し、ピーク開始時間を競技音イベント開始時刻１１６とし、Ｓ３０７、もしくはＳ３０８で決定した競技音イベント終了時刻１１７とともに競技音イベント情報に格納し、競技音イベント情報リストに追加する。この時、イベント検出部７は、入力チャンネル番号１１５を競技音イベント情報に追加する。また、イベント検出部７は、競技音イベント情報リストに新たに競技音イベント情報を追加する際に、競技音イベントＩＤ１１４を発行し、追加する競技音イベント情報に格納する。なお、イベント検出部７は、競技音イベント開始時刻１１６と競技音イベント終了時刻１１７の間の最大音声ピークの情報を、最大音圧として競技音イベント情報に格納してもよい。

全ての音圧ピークに対する処理が終了すると、Ｓ３１０でループ処理が終了となり、競技音イベント検出処理を終了しリターンする。以上のような処理により、例えば選手がボールを蹴った際の音など、特定の被写体が発する音が競技音イベントとして検出される。

続いて、図５のＳ２０６の処理について、図７を参照して説明する。図７は、図５のＳ２０６の歓声音イベント検出処理を詳細化したフローである。まず、Ｓ４０１では、イベント検出部７は、記憶部２２に格納される歓声音イベント情報リストを初期化する。Ｓ４０２では、イベント検出部７は、Ｓ２０３で取得した歓声音信号の時間振幅の絶対値をとることにより、歓声音信号の波形を時間音圧データに変換する。Ｓ４０３では、イベント検出部７は、Ｓ４０２で求めた時間音圧データの時間平均値から決まる値を、音圧閾値として算出する。次に、Ｓ４０４では、イベント検出部７は、音圧がＳ４０３で求めた音圧閾値より大きくなる変化点（音圧増大点）を歓声音データ全体について探索し、当該探索により発見した時刻（音圧増大時刻）を記憶部２２にすべて記録する。

Ｓ４０５からＳ４０９の処理は、Ｓ４０４で検出した各音圧増大時刻に対してループ処理である。まず、Ｓ４０６では、イベント検出部７は、音圧が音圧閾値より大きい状態が、音圧増大時刻から所定の時間区間継続するかどうかを判定する。なお、この時間区間は、例えば、対象の競技や当該競技を行う会場の大きさなどによって決めることができる。この判定の結果、所定の時間区間以上に音圧が大きい状態が継続する場合は（Ｓ４０６でＹｅｓ）、Ｓ４０７へ進む。そうでない場合は（Ｓ４０６でＮｏ）、Ｓ４０９へ進む。

Ｓ４０７では、イベント検出部７は、音圧増大時刻から、音圧が大きい状態が終わるまでの時間区間内における最大音圧を検出する。次に、Ｓ４０８では、イベント検出部７は、処理対象の音圧増大時刻を歓声音イベントの発生時刻として、歓声音イベント情報を新規生成し、入力チャンネル番号１０９、歓声音イベント発生時刻１２０、Ｓ４０７で検出した最大音圧１２１を格納して歓声音イベント情報リストに追加し、記憶部２２に格納する。イベント検出部７は、歓声音イベント情報リストに新たに歓声音イベント情報を追加する際に、歓声音イベントＩＤ１１８を発行し、追加する歓声音イベント情報に格納する。

Ｓ４０９において、すべての音圧増大時刻に対する処理が終了すると、ループ処理を抜けて、歓声音イベント検出処理を終了しリターンする。

このように、イベント検出部７は、音圧増大時刻だけでなく、その後の音圧増大状態が継続するかどうかによって、歓声音イベントを検出する。これにより、突発的に発生した雑音が検出されることを防ぎ、例えば選手がボールを蹴ったことなどに応じて歓声が盛り上がっている部分をイベントとして検出することができる。

続いて、図４のＳ１０３の処理について、図８を参照して説明する。図８は、図４のＳ１０３のスロー映像用音響生成処理を詳細化したフローである。まず、Ｓ５０１では、音響生成部８は、新規の競技音トラックと歓声音トラックを記憶部２２に作成する。ここで、競技音トラックと歓声音トラックとは、それぞれ、競技音信号と歓声音信号の時間波形データを格納するためのバッファである。各トラックの時間長は、スロー映像の再生時間長に合わせる。これは、Ｓ１０１で映像再生部から受信したスロー再生映像の再生時刻区間と再生速度に基づき計算することができる。例えば、スロー再生映像の再生時刻区間が［ｔ１、ｔ２］であるとして、１／Ａの再生速度でスロー再生を行うとすると、各トラックの時間長Ｔは下記の式で求めることができる。
Ｔ＝Ａ×（ｔ２−ｔ１） （１）

Ｓ５０２からＳ５０６の処理は、イベント検出部７から送信された競技音イベント情報リストに含まれる各競技音イベント情報に対するループ処理である。Ｓ５０３では、音響生成部８は、競技音蓄積部３から、競技音イベント開始時刻１１６（開始タイミング）と競技音イベント終了時刻１１７（終了タイミング）までの競技音を、切り出して（抽出して）取得する。次に、Ｓ５０４では、音響生成部８は、図４のＳ１０１で映像再生部から受信した、再生時刻区間とスロー再生速度に基づき、競技音イベントの発生時刻と同じ時刻の映像が、スロー再生時に再生されるタイミングを算出する。例えば、再生時刻区間とスロー再生速度に基づいてスロー再生を行うとする。対象となる競技音イベントの発生時刻をｔｅとすると、スロー映像の再生開始時点を０とした場合の競技音イベントの再生タイミングＴｒは、以下の式で計算できる。
Ｔｒ＝Ａ×（ｔｅ−ｔ１） （２）

次に、Ｓ５０５では、音響生成部８は、Ｓ５０４で求めた再生タイミングから再生が始まるように、競技音トラックに、Ｓ５０３で切り出した競技音を張り付ける。これにより、競技音イベントが発生した時刻の映像が再生されるタイミングに同期して、競技音が再生されるようにできる。

Ｓ５０６で、すべての競技音イベント情報に対する処理が終了したら、ループを抜けてＳ５０７へ進む。Ｓ５０７では、音響生成部８は、競技音イベント情報や歓声音イベント情報に含まれているイベントのうち、スロー再生映像に歓声音を同期させる（対応付ける）基準となるイベント（基準イベント）を選択する。この処理の詳細は図９を用いて後述する。

次に、Ｓ５０８では、音響生成部８は、Ｓ５０７で選択されたイベントの開始時刻を基準として、映像と共に再生すべき歓声音の開始・終了時刻を算出する。前述したスロー再生映像の再生時刻区間とスロー再生速度でスロー再生を行うとする。選択したイベントの開始時刻を起点ｔｓとすると、歓声音の開始時刻ｔｔ、終了時刻ｔｂは、各々次式によって計算される。
ｔｔ＝ｔｓ−Ａ×（ｔｓ−ｔ１）
ｔｂ＝ｔｓ＋Ａ×（ｔ２−ｔｓ） （３）

次に、Ｓ５０８では、音響生成部８は、Ｓ５０７で算出した時刻区間、すなわち、［ｔｔ、ｔｂ］の歓声音信号を歓声音蓄積部６から切り出す。すなわち、切り出される歓声音信号の時刻区間は、スロー再生される映像の時刻区間よりも長くなる。なお、Ｓ５０７で基準イベントとして歓声音イベントが選択された場合は、選択された歓声音イベント情報の入力チャンネル信号から切り出す。Ｓ５０７で基準イベントとして競技音イベントが選択された場合は、予め選択しておいた歓声音チャンネルの信号から切り出すようにする。音響生成部８は、このように切り出した信号を、Ｓ５０９で歓声音トラックに頭から貼りつける。［ｔｔ、ｔｂ］区間の時間長は、ちょうどトラックの時間長と同じになるため、時間の隙間なく貼り付けることができる。よって、スロー映像の再生時間中に途切れることなく歓声音が再生されることになる。

Ｓ５１０では、音響生成部８は、これまでの処理により生成された競技音トラックと歓声音トラックを用いて、ステレオやバイノーラル、サラウンドなどの規定の音響フォーマットにレンダリングする。これは、例えば、競技音、歓声音ごとに位置情報をあらかじめ規定しておき、その位置に音像ができるようにレンダリングを行ってもよい。また、音響生成部８は、各信号の入力チャンネルを収音したマイクロホンの位置情報と、映像を撮影したカメラの位置情報を利用して、映像撮影位置から見た方向に音像を生成するようにレンダリングを行ってもよい。このような処理は音響再生分野において一般的に行われており公知であるため、詳細な説明は行わない。処理を終えると、スロー映像用音響生成処理を終了してリターンする。

続いて、図８のＳ５０８の処理について、図９を参照して説明する。図９は、図８のＳ５０８の基準イベント選択処理を詳細化したフローである。本フローに際し、操作部１５はユーザーから歓声音イベント同期モードまたは競技音イベント同期モードを選択する指示を受け付け、記憶部２２に指示に対応するモードを格納しているものとする。

まず、Ｓ６０１では、音響生成部８は、歓声音イベント情報リストに格納されている歓声音イベント情報のうち、最大音圧１２１が最も大きい歓声音イベント情報を探索する。次に、Ｓ６０２では、音響生成部８は、記憶部２２に格納されている歓声音同期モードを確認する。歓声音同期モードが、歓声音イベント同期モードである場合は、Ｓ６０３へ進む。歓声音同期モードが競技音イベント同期モードである場合は、Ｓ６０４へ進む。

Ｓ６０３では、音響生成部８は、Ｓ６０１で探索した最大音圧１２１を持つ歓声音イベントを基準イベントとして選択する。すなわち、この場合は、最大音圧１２１を持つ歓声音イベント情報に含まれる歓声音イベント発生時刻１２０が、上記式（３）におけるｔｓとなる。処理を終えると、基準イベント選択処理を終了し、リターンする。

一方、Ｓ６０４では、音響生成部８は、Ｓ６０１で探索した最大音圧１２１を持つ歓声音イベントの発生時刻の直前に発生した競技音イベントを、競技音イベント情報から探索し、Ｓ６０５で、その競技音イベントを基準イベントとして選択する。すなわち、この場合は、最大音圧１２１を持つ歓声音イベントに含まれる歓声音イベント発生時刻１２０の直前の競技音イベント開始時刻１１６（または競技音イベント終了時刻１１７）が、上記式（３）におけるｔｓとなる。このように、基準イベントを競技音イベントとすることによって、スロー映像再生時においても、歓声の原因となる競技イベントが生じてから歓声が上がるまでの時間を通常再生の場合と同じように保つことができる。よって、場合によってはスロー再生においてより臨場感のある音響再生ができるようになる。処理を終えると、基準イベント選択処理を終了し、リターンする。

図１１は、本実施形態による音響生成・再生を行った結果を示すタイムチャートのイメージである。図１１において、図１１（ａ）は、スロー映像において表示される画像の一部のフレームを抜き出して時間に沿って表示している。図１１（ｂ）は、競技音信号波形である。また、図１１（ｃ）は、歓声音信号の波形である。図１１では、競技音イベントとして、キック、パンチ、キック、ゴールが各々検出されており、図１１（ａ）にはそのイベントが生じている時刻でのフレームを表示している。また、図１１（ｂ）には各イベントの競技音信号を切り出して、スロー映像再生タイミングに合わせて張り付けている。このように、スロー映像再生でも競技において生じたイベントに応じて映像と音を同期して再生することができる。

一方、図１１（ｃ）には、スロー映像の長さに合わせて切り出した歓声音の波形が表示されている。歓声音イベントとして、四角形で囲んだ部分が検出され、より音圧が大きい二番目のイベントが同期イベントとして選択されている。このように、最も歓声が盛り上がる部分がスロー映像の再生時刻に同期して再生され、かつ、スロー映像の全編に渡って途切れなく音質劣化のない歓声を再生することができる。

なお、本実施形態では、競技音信号と歓声音信号が一つずつの場合について説明したが、図２に示すように複数のマイクにより複数の収音信号が生成されている場合は、競技音ならば競技音に対する処理、歓声音ならば歓声音の処理を各々収音信号の数だけ繰り返してミックスしてもよい。もしくは、際立っている競技音と歓声音を各々一つだけ選択して用いるようにしてもよい。あるいは、スロー再生の対象時刻区間において、競技の焦点となるイベントが生じている場所を特定し、その場所にいちばん近いマイクで収音した競技音や歓声音を使用するようにしてもよい。

また、本実施形態では競技音用マイクロホン１と歓声音用マイクロホン４とがそれぞれ異なる領域の音を別々に収音するように設置されており、競技音用マイクロホン１により競技音を取得し、歓声音用マイクロホン４により歓声音を取得するものとした。ただしこれに限らず、競技音用マイクロホン１と歓声音用マイクロホン４とを区別せずに複数のマイクロホンが設置されていてもよい。そして、複数のマイクロホンによる収音信号から公知の音源分離処理などにより競技音と歓声音とを抽出してもよい。

このように、以上に述べた実施形態では、情報処理装置１００は、再生される映像に対応する時間区間（撮影期間）よりも長い時間区間（収音期間）に対応する音響を、当該映像と共に再生されるべき音響として生成する。これにより、映像がスロー再生される場合においても、等倍速（１倍速）の音響を映像と共に再生することで音質劣化や音響の不自然さを低減しつつ、スロー映像の再生中に無音期間が生じることを抑制することができる。その結果、スロー映像の全編に渡って映像にふさわしい、実際の音声に基づく音響の生成及び再生を行うことができる。

また、情報処理装置１００は、スロー再生される映像と等倍速で再生される音響とが所定のイベントのタイミングで同期するように、スロー映像に対応する音響の時間区間を設定する。これにより、視聴者が注目するイベント部分の映像及び音響が再生される際の臨場感を向上させることができる。

また、情報処理装置１００は、収音される音を、特定の音源から発せられる競技音とそれ以外の歓声音とに区別する。そして情報処理装置１００は、映像に対応する時間区間よりも長い時間区間の歓声音と、映像に対応する時間区間に含まれる時間区間の競技音とを用いて、再生される音響を生成する。

具体的には、歓声音に対しては、最大の盛り上がり部分のタイミングがスロー映像の対応するシーンと同期するように、映像に対応する時間区間よりも前後に長い時間区間の歓声音をスロー再生時間に合わせて切り出す。一方、競技音に対しては、競技音からイベント部分を抽出し、抽出した競技音が映像における対応するイベント部分と同期して再生されるように、音響を生成する。これにより、イベント部分の競技音と映像とのタイミングがずれることを抑制でき、視聴者に与える違和感を低減できる。特に、映像の再生区間内においてイベントが複数生じる場合においても、複数のイベント部分それぞれにおける競技音と映像とのずれを抑制することができる。

［その他の実施形態］
上述の実施形態では、スロー再生指示に応じてイベント検出処理を行っているが、収音信号を蓄積部に蓄積する時点でイベント検出を行うようにしてもよい。また、上述の実施形態では、映像イベント情報と競技音イベント情報をマージする時に、片側のみで検出されたイベントを残しているが、映像イベントが検出されていない競技音イベントについては誤検出とみなして削除するようにしてもよい。

また、上述の実施形態では映像、競技音及び歓声音のそれぞれに対してイベント検知処理を行うものとしたが、映像、競技音及び歓声音の何れか１つまたは２つについてイベント検知処理を行ってもよい。例えば、映像に対してのみイベント検知を行い、競技音及び歓声音のうち映像から検知されたイベントに対応する時刻情報を有する部分をイベント部分として特定してもよい。また、イベント検知処理を行わず、例えば操作部１５を介してユーザーがイベント部分を指定する指示を行い、情報処理装置１００は当該指示に基づいて映像、競技音及び歓声音のイベント部分を特定してもよい。

また、上述の実施形態では競技音からイベント部分を切り出して歓声音と合成するものとしたが、これに限らず、映像と同様にスロー再生される競技音と、等倍速の歓声音とを合成してもよい。また、歓声音は等倍速に限らず、映像よりも速い再生速度であればよい。

また、上述の実施形態では映像がスロー再生されるものとしたが、これに限らず、映像の再生にかかる期間の長さが、等倍速で映像が再生される場合よりも長ければよい。例えば、等倍速で再生される部分とスロー再生される部分との両方が含まれるような映像が再生される場合にも、上述の実施形態を適用することで、映像にふさわしい音響を生成できる。

また、上述の実施形態で説明したものとは逆に、映像が早送りされる場合には、映像に対応する時間区間（撮影期間）よりも短い時間区間の音響を、当該映像と共に再生されるべき音響として生成してもよい。このような方法によっても、映像にふさわしい音響を生成できる。その他、上記実施形態の主旨を逸脱しない範囲において他の実施形態で実施することができる。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 情報処理装置、１ 競技音用マイクロホン、２ 競技音収音部、４ 歓声音用マイクロホン、５ 歓声音収音部、７ イベント検出部、８ 音響生成部、９ 音響再生部、１０ カメラ、１１ 撮影部、１３ 映像再生部

Claims (19)

1. 撮影期間における撮影対象領域の撮影に基づく映像と共に再生される再生用音響信号を生成する信号処理装置であって、
   前記撮影期間よりも短い第１収音期間において収音された前記撮影対象領域内の音を含む第１音響信号を取得する第１取得手段と、
   前記撮影期間よりも長い第２収音期間において収音された前記撮影対象領域の周辺領域の音を含む第２音響信号を取得する第２取得手段と、
   前記撮影期間よりも再生期間が長い前記映像と共に再生される前記再生用音響信号を生成する生成手段であって、前記第１取得手段により取得された前記第１音響信号と前記第２取得手段により取得された前記第２音響信号とを、前記映像における前記第１音響信号に含まれる音に対応するイベントのタイミングと前記再生用音響信号における前記第１音響信号に含まれる音の再生タイミングとが合うように合成することで、前記再生用音響信号を生成する生成手段と、を有することを特徴とする信号処理装置。
2. 前記第１収音期間は前記撮影期間に含まれ、前記第２収音期間は前記撮影期間を含むことを特徴とする請求項１に記載の信号処理装置。
3. 前記再生期間の長さと前記第２収音期間の長さは同一であることを特徴とする請求項１又は２に記載の信号処理装置。
4. 前記撮影期間内におけるイベントを検知する検知手段を有し、
   前記第１取得手段は、前記撮影期間における収音に基づく収音信号から、前記検知手段によるイベントの検知結果に基づいて前記第１音響信号を抽出することで、前記第１音響信号を取得することを特徴とする請求項１乃至３の何れか１項に記載の信号処理装置。
5. 前記検知手段は、前記収音信号に含まれる音の大きさに基づいてイベントを検知することを特徴とする請求項４に記載の信号処理装置。
6. 前記検知手段は、前記撮影期間において撮影された画像に基づいてイベントを検知することを特徴とする請求項４に記載の信号処理装置。
7. 前記撮影期間内におけるイベントを検知する検知手段を有し、
   前記第２取得手段は、前記撮影期間を含む期間であり且つ前記第２収音期間よりも長い期間における収音に基づく収音信号から、前記検知手段による前記イベントの検知結果に基づいて前記第２音響信号を抽出することで、前記第２音響信号を取得することを特徴とする請求項１乃至３の何れか１項に記載の信号処理装置。
8. 前記撮影期間よりも短い第３収音期間であって前記第１収音期間とは異なる前記第３収音期間において収音された音を含む第３音響信号を取得する第３取得手段を有し、
   前記生成手段は、前記第１取得手段により取得された第１音響信号と、前記第２取得手段により取得された第２音響信号と、前記第３取得手段により取得された第３音響信号とを合成することで、前記再生用音響信号を生成することを特徴とする請求項１乃至７の何れか１項に記載の信号処理装置。
9. 前記映像の撮影期間と前記映像の再生速度とを特定するための情報を取得する情報取得手段と、
   前記情報取得手段により取得された情報に基づいて前記第２収音期間を決定する決定手段と、を有し、
   前記第２取得手段は、前記決定手段による決定に応じて前記第２音響信号を取得することを特徴とする請求項１乃至８の何れか１項に記載の信号処理装置。
10. 前記第１取得手段は、第１のマイク群に含まれるマイクによる収音に基づく前記第１音響信号を取得し、
    前記第２取得手段は、前記第１のマイク群とは異なる第２のマイク群に含まれるマイクによる収音に基づく前記第２音響信号を取得することを特徴とする請求項１乃至９の何れか１項に記載の信号処理装置。
11. 前記第１音響信号は、再生速度の変更が行われていない音響信号であることを特徴とする請求項１乃至１０の何れか１項に記載の信号処理装置。
12. 前記第２音響信号は、再生速度の変更が行われていない音響信号であることを特徴とする請求項１１に記載の信号処理装置。
13. 前記撮影対象領域は競技フィールドであり、前記周辺領域は観客席であることを特徴とする請求項１乃至１２の何れか１項に記載の信号処理装置。
14. 前記生成手段により生成された前記再生用音響信号を前記映像と同期させて再生する再生手段を有することを特徴とする請求項１乃至１３の何れか１項に記載の信号処理装置。
15. 前記映像はスローモーション映像であることを特徴とする請求項１乃至１４の何れか１項に記載の信号処理装置。
16. 撮影期間における撮影対象領域の撮影に基づく映像と共に再生される再生用音響信号を生成する信号処理方法であって、
    前記撮影期間よりも短い第１収音期間において収音された前記撮影対象領域内の音を含む第１音響信号を取得する第１取得工程と、
    前記撮影期間よりも長い第２収音期間において収音された前記撮影対象領域の周辺領域の音を含む第２音響信号を取得する第２取得工程と、
    前記撮影期間よりも再生期間が長い前記映像と共に再生される前記再生用音響信号を生成する生成工程であって、前記第１取得工程において取得された前記第１音響信号と前記第２取得工程において取得された前記第２音響信号とを、前記映像における前記第１音響信号に含まれる音に対応するイベントのタイミングと前記再生用音響信号における前記第１音響信号に含まれる音の再生タイミングとが合うように合成することで、前記再生用音響信号を生成する生成工程と、を有することを特徴とする信号処理方法。
17. 前記撮影期間内におけるイベントを検知する検知工程を有し、
    前記第１取得工程においては、前記撮影期間における収音に基づく収音信号から、前記検知工程におけるイベントの検知結果に基づいて前記第１音響信号を抽出することで、前記第１音響信号が取得されることを特徴とする請求項１６に記載の信号処理方法。
18. 前記撮影期間内におけるイベントを検知する検知工程を有し、
    前記第２取得工程においては、前記撮影期間を含む期間であり且つ前記第２収音期間よりも長い期間における収音に基づく収音信号から、前記検知工程における前記イベントの検知結果に基づいて前記第２音響信号を抽出することで、前記第２音響信号が取得されることを特徴とする請求項１６に記載の信号処理方法。
19. コンピュータを、請求項１乃至１５の何れか１項に記載の信号処理装置の各手段として機能させるためのプログラム。

Images