JP5868991B2 - 動画記録中の音声のオーディオ信号再生を向上させる方法およびアセンブリ - Google Patents

Description

本願発明は、動画記録中の、特にスポーツ特有の音声などの音声のオーディオ再生を向上させる方法およびアセンブリに関する。そのような方法およびアセンブリは、ＤＥ１０ ２００８ ０４５ ３９７Ａ１により公知となっている。

マルチチャンネルのテレビ音声を伴うワイドスクリーンフォーマットの高解像度テレビ画像が導入されることにより、より細かな詳細が大幅に知覚可能となり、特にスポーツイベントの放送の間、テレビ視聴者は、従来のテレビ技術と比較し、スポーツの動きとより深く関わることになる。ライブのスポーツイベントの画像およびオーディオの記録においては、十分な数のマイクを設置することが出来ないことも多く、また重要な音声の音源の近くにマイクを設置することが出来ないことも多い。これら重要な音声とは主に、特定のスポーツを特徴づける音声であり、画像コンテンツの再現性を強調するものである。それに応じて、例えばサッカーの試合のテレビ収録においては、スタジアムが騒々しい空間であるのに対し、音源からフィールドを囲む指向性マイクまでの距離が大きすぎることにより、通常、フィールド上で発せられるゲーム特有の音声がわずかしか知覚出来ないか、まったく知覚出来ない。スキーレースのテレビ収録においては、数キロにも及ぶレースコース全体に亘ってマイクを設置するのはコストがかかり過ぎる。その結果、ゲームのシーンまたはレースに接近して収録した場合であっても、音声の記録によってその特徴的な音声は捉えられないのが典型的である。

ＤＥ１０ ２００８ ０４５ ３９７Ａ１は、球技イベントの動画記録中のスポーツ特有の音声を捉えるべく、２以上の指向性マイクを備えた非常に指向性の高いマイクシステムを設けることを開示している。それらの指向性マイクはそれぞれが、空間の全方向に移動可能なガイドエンティティを用いて、ボールの現在位置に近づけて配置される。収録中のマイクのガイドは、ボールトラッキング方法を用いて生成されるボール位置に関するデータに従って自動的に、人為的処理を介さず行われる。

しかし当該公知の音声記録技術はあらゆる動画記録に適用することが出来ず、比較的多大な技術的努力を要する。

本願発明の目的は、軽減された技術的努力により、動画記録中の音声のオーディオ再生を向上させることを可能とする方法およびアセンブリを提供することである。

当該目的を達成する本願発明の方法において、まず画像コンテンツをセンサベースでキャプチャリングし、分析する。取得した情報に対応する音声イベントを、予め定められた基準に従い音声データベースから選択する。選択された音声イベントを、以下で動画を伴う音声と呼ぶこともある、全体の動画オーディオのミキシングの追加的な成分に自動的に加える。

本願発明に係る方法を実施するアセンブリは、３つの主要なコンポーネント、動画像の特徴的な画像コンテンツを検出するセンサエンティティと、検出された画像コンテンツを分析する中央制御装置と、複数の音声（オーディオサンプル）がアーカイブされたオーディオデータベースとからなり、中央制御装置は、動画像内で検出された特徴的な画像コンテンツに基づき、検出された特徴的な画像コンテンツに対応し、動画を伴う音声の成分とミキサーコンソール内でミックスされるオーディオサンプルを、オーディオデータベースから選択する。

本願発明は、添付の図面を参照して説明される、単に例示されるものであり、非限定的な例として示される、以下の詳細な説明により完全に明らかとなるであろう。
図１は、本願発明に係る方法を実施する、３つの主要コンポーネントであるセンサエンティティ、中央制御装置およびオーディオデータベースを有するアセンブリの概略ブロック図を示す。 図２は、図１に示すアセンブリの中央制御装置の詳細を示す。 図３は、オーディオデータベースにおける、オーディオサンプルの異なるカテゴリへの分類（サンプルマッピング）の例を示す。

図１に概略的に示される、本願発明に係る方法を実施するアセンブリ１は、動画像の画像コンテンツを検出するセンサエンティティ１０を有する。検出された画像コンテンツは、データ１１の形態で、センサエンティティ１０により、図２により詳細に示され以下に説明するソフトウェアベースの分析／処理ユニット３０へと供給される。

例えば、テレビカメラにより供給される、スポーツイベントの（図１および以下の説明において「伝達画像」と呼ぶこともある）リアルタイムの画像を、画像コンテンツの検出に用いる動画像として用いてもよい。センサエンティティ１０は例えば、「マシンビジョン」（コンピュータビジョン）の分野で用いられるアルゴリズムを用いて、伝達画像の分析を実行する。とりわけこれらのアルゴリズムにより、運動するオブジェクトを分離して、画像背景に対する相対的なトラッキングを行うことが可能となり、画像セクションに基づくそれらの位置の判断が可能となる。例としてサッカーの試合を取り上げると、フィールド上のボールの位置および、画像セクションに表示される全サッカープレーヤの位置およびサイズが判断され得る。さらに、着ているジャージに基づいてプレーヤの属するチームを区別することが可能であり、ボールの移動方向および移動速度を計算することが可能である。伝達画像の検出（および分析／処理ユニット３０において引き続き行われる分析（図１））によりさらに、複数のテレビカメラを用いたゲームの収録の間、映像ディレクターにより選択（「カット」）されているテレビカメラの位置および焦点距離を推定できるという利点が生まれる。

補足的に、センサエンティティ１０および分析／処理ユニット３０において、伝達画像のシーン内の特定の動きを特徴付ける（図１および以下の説明において「伝達音声」と呼ぶこともある）オーディオ信号の記録および自動的な分析を行うことも可能である。例えば、伝達音声から取得される情報を用いて、動画分析により検出された画像の動きを音響的に確認する。さらに、運動シーケンスに関しより高い解像度を得、より詳細なキャプチャリングを行うべく、伝達画像内に現れる運動者の動きに係る物理的な判断を行うセンサをセンサエンティティ１０に設けてよい。この判断には、例えば、ＧＰＳまたは無線搭載システムを用いた運動者の現在位置の判断が含まれる。データ１１として、当該追加的な情報もソフトウェアベースの分析／処理ユニット３０へ供給される。

より低いコストで画像コンテンツを検出する技術としては、動画の分析に、伝達動画の代わりに、静的に設置された専用トラッキングカメラの信号を用いる技術がある。トラッキングカメラは予め、対応するシーンに合わせてキャリブレーションされていてよく、これにより、動画像内のオブジェクトおよび相対的な動きの自動検出が単純化される。しかしこの場合、（以下に説明される）図面に示されないカメラのメタデータまたは画像ミキサーコンソールのＧＰＩＯ信号などの、実際の伝達画像に関する外部情報が、ユニット２０から供給される必要がある。

センサエンティティ１０により供給されるデータ１１の分析および処理は、図２でより詳細に示すユニット３０で実行される。ユニット３０は、例えばＰＣベースの処理またはＤＳＰベースの処理の一部として、センサエンティティ１０のデータ１１に基づいてオーディオデータベースに対する制御コマンド３１を推定する。（伝達画像とは独立してシーンを分析する）第１分析段階３２でユニット３０において、動画像の記述に関してセンサベースで判断されるパラメータは、予め定められたルールに従って互いに論理的に結合され、結果として得られる情報に基づき、オーディオデータベース４０に格納されるアーカイブされた複数の音声、つまり「オーディオサンプル」を選択するための制御コマンド３１が生成される。当該予め定められたルールはアプリケーションから独立しており、あらゆる目的において、特定的に定められ、予め分析／処理ユニット３０のソフトウェアに組み込まれている必要がある。データベース４０は制御コマンド３１により選択されたオーディオサンプルを、オーディオ信号４１として出力する。オーディオ信号４１はその後、直接、プロダクションミキサーコンソール５０へと供給され、そこで、周囲音声（「オリジナル音声」）および、当てはまる場合、ゲームのコメンテータの「会話音声」などの動画を伴う音声の他の成分とミックスされてよい。なお、オーディオサンプルおよび動画を伴う音声との間では、時間的にずれのある、耳障りなダブリング（ｄｏｕｂｌｉｎｇ）が起こらないように注意する。動画シーンの再現性が高くなるようオーディオ編集を行うべく、動画を伴う音声へ加えられるオーディオサンプルの選択の間、（関連性に基づく順番で）
１．音声の種類、
２．音声の音量（速度）、
３．反響音の追加（空間性）および
４．パン（音声に方向性を割り当てる）を含む特徴に基づいて区別が行われる。

本願発明に係る方法のサッカーの試合への適用例において段階３２におけるルールの特定とは、例えば、動画分析によって抽出された、ボールの動きのベクトル変化に関する情報に基づいて、シュートが新たに蹴られたことが判断されてもよいことを意味する。フィールド上でのボールの加速度および移動ベクトルの長さによって、ロングシュートであるのか、または相違する音声特徴を有するパスであるのか、およびユニット３０により生成される制御コマンド３１に従ってオーディオデータベース４０からプロダクションミキサーコンソール５０（図１）へ供給される対応する音声（オーディオ信号４１）の音量はどの程度の大きさ（「速度」値）でなければならないのか、についての情報が提供される。プロダクションミキサーコンソール５０へ供給される音声の音量は、さらに、フィールド上のボールの位置に応じて変化させられ、これにより、ビューアに対する音源の距離が再現されてよい。

伝達画像に応じてパラメータを分析する第２分析段階３３（図２）において、当該伝達画像の画像セクションに関する情報が、音声選択において考慮される。この情報はユニット２０によりデータ２１として供給される。伝達画像に対し直接、動画分析が行われた場合、分析されるオブジェクトのサイズに基づいて、カメラの位置および焦点距離が判断されてよい。センサエンティティ１０での画像コンテンツの検出に対し、独立したトラッキングカメラ（図１）または他のセンサシステムが用いられた場合、伝達画像の性質に関する外部情報が考慮される。この目的において、テレビカメラの制御装置から抽出されるカメラのメタデータが、とりわけ適用可能である。さらに、伝達画像において複数のテレビカメラのうちどのカメラが現在選択（「カット」）されているのかを特定するミキサーコンソールのＧＰＩＯ信号が適用可能である。このデータに基づき、第２分析段階３３では、プロダクションミキサーコンソール５０へ供給されるオーディオ信号４１０の音量を変化させるための制御コマンド３４が生成される。この変化は、オーディオデータベース４０のオーディオ信号４１のリアルタイム音声編集を行うための、制御コマンド３４に基づいた制御が行われる段階７０において起こる。プロダクションミキサーコンソール５０に供給されるオーディオ信号４１０の音量をさらに変化させることにより、ビューアが画像内の動きの中心に対応して位置しているような、光学距離の再現をある程度行うことが出来る。サッカーの試合を例にとると、ボールに関する音の音量を変化させることにより、タックルに接近した記録、またはフィールド全体のワイドアングルでの記録を再作成することができ、これらの場合において、ビューアが想定する、動きのある位置までの光学距離はそれぞれ異なる。

補足的に、オーディオデータベース４０に依存する、動的にリアルタイム音声編集を行う段階７０では、第２分析段階３３を用いて、動画像内のオブジェクトの位置に基づいたイコライジング（ｅｑｕａｌｉｚｉｎｇ）および反響音成分の追加により、空間への散逸および空間性の影響を再現するよう、制御が行われてよい。

上述した、プロダクションミキサーコンソール５０へのオーディオ信号４１または４１０のリアルタイムの供給の間、画像コンテンツの検出および分析の結果、オーディオ信号４１と動画像との間には、特定の時間的なずれが起こる。しかし、この時間的なずれは、４つの完全な画像よりも小さな範囲のずれであり得る。このため、対応するオーディオ／ビデオイベント間の明確な関連付けが可能である。

図３は、「サンプルマッピング」を用いた、サッカーに関するオーディオデータベース４０の構成例を示す。「サンプルマッピング」は、データベース４０に格納されるオーディオサンプルの、異なる複数のカテゴリへとの分類として理解される。オーディオデータベース４０はハードウェアベースで実装されても、ソフトウェアベースで実装されてもよく、例えば、標準的なハードウェア／ソフトウェアサンプラまたはユニバーサルデータベースフォーマットを用いて実装されてもよい。制御コマンド３１、３４のデータベース４０への送信は、例えば、ＭＩＤＩ規格を用いて行われてもよい。オーディオサンプルの特定の特徴に基づいてオーディオデータベースのオーディオサンプルを分類すべく、適用の必要に応じて「サンプルマッピング」が行われる。

サッカーの試合で再現性の高い音声を合成する例を取り上げると、プレーヤの体、足および頭によるボールのトラップおよびコントロールなど形態の異なる複数の運動技術に関するオーディオサンプルが区別される。体を使った運動技術に関しては、胸、膝および頭によるボールのトラップおよびコントロールがさらに区別される。足によるトラップおよびコントロールは、さらに、「シュート」および「パス」のグループに分けられる。

図３に係る実施形態においては、分析段階３３（図２）において動画像に基づいて判断されたシュートの強さに基づき異なる音量（速度）のオーディオサンプルが選択され、異なるオーディオサンプルを用いることにより、運動の強度毎に異なるトーンの差異も反映される。例えば、強いシュートの弾けるような（ｐｏｐ−ｌｉｋｅ ｓｏｕｎｄ）音は、強さの弱いシュートの音よりも大きな音量であり、かつ異なる周波数構成を持つ。このことにより、強さの弱いシュートの音は、音量が低くなるようミックスされるだけでなく、さらに、異なるオーディオサンプルを用いてミックスされる。この目的において、強いシュートの直接的な音声特徴を再現し、弱いシュートの直接的でない音声特徴を再現する、音源に対する異なる距離毎（２メートル、６メートルまたは１２メートルなど）のオーディオサンプルが記録される。

再生の間、音量、反響音成分、パン、イコライジングなどのパラメータが段階７０において、主にリアルタイムに制御コマンド３４に基づいて変化させられる。このことがもたらす利点としては、パラメータ化の都度、新たなオーディオサンプルを格納する必要がなくなるということがある。これにより、求められる記憶容量およびオーディオデータベースの作成にかかるコストが劇的に軽減させられる。オーディオが編集されたシーンの再現性に関する全体的な印象を向上させるべく、連続する同様の画像コンテンツに関しても異なるオーディオサンプルを用いる必要がある。この目的において、オーディオサンプルをランダムにローテーションで用いてもよい。

Claims (13)

1. スポーツイベントの記録である動画記録中の音声のオーディオ再生を向上させる方法であり、
   前記スポーツイベント中の特定のスポーツの動きを識別すべく、前記スポーツイベントの動画像の画像コンテンツをセンサベースでキャプチャリングし、分析する段階と、
   前記キャプチャリングし、分析する段階で取得した情報に基づいて、前記スポーツの動きに対応するオーディオイベントを、予め定められた基準に従いオーディオデータベースから選択する段階と、
   選択された前記オーディオイベントを、動画を伴う音声の成分に合わせて自動的に再生する段階と
   を備える、方法。
2. 前記方法は、リアルタイムで実行される、請求項１に記載の方法。
3. 前記オーディオデータベースから再生される前記オーディオイベントのリアルタイム音声編集は、前記動画像の分析に基づいて実行される、請求項２に記載の方法。
4. 送信中の前記動画像の画像コンテンツ（伝達画像）をセンサベースでキャプチャリングする間に、「マシンビジョン」の分野で用いられるアルゴリズムを用いて前記伝達画像の分析を行い、
   前記アルゴリズムを用いて、運動するオブジェクトを分離して、画像背景に対する相対的なトラッキングを行い、
   画像セクションに基づく前記運動中のオブジェクトの位置の判断を行う、請求項１に記載の方法。
5. 前記画像コンテンツをセンサベースでキャプチャリングする間に、送信中の動画像（伝達画像）の代わりに、対応する画像シーンに合わせてキャリブレーションされた、静的に設置された専用トラッキングカメラの信号を用い、
   加えて、カメラのメタデータ、または画像ミキサーコンソールのＧＰＩＯ信号などの、前記伝達画像に係る外部情報を用いて前記分析を行う、請求項１に記載の方法。
6. 運動シーケンスに関し高い解像度を得、かつ詳細なキャプチャリングを行うべく、ＧＰＳまたは無線搭載システムを用いて、伝達画像に現れる運動者の現在位置の判断など、前記運動者の動きに係る物理的な判断に用いる追加のパラメータをセンサベースでキャプチャリングする、請求項１から４のいずれか１項に記載の方法。
7. 伝達画像の画像セクションに係る前記情報が、前記選択する段階において考慮される、請求項１から６のいずれか１項に記載の方法。
8. 前記動画像を記述する、センサベースでキャプチャリングされたパラメータは、予め定められたルールに従って互いに論理的に結合され、
   「オーディオサンプル」と呼ばれるアーカイブされた個々の音声を前記選択するための制御コマンドが、論理的に結合された前記パラメータに従って生成される、請求項１から７のいずれか１項に記載の方法。
9. 前記オーディオデータベースからの前記オーディオイベントの選択および前記リアルタイム音声編集の際、音声の種類、音声の音量（速度）、反響音の追加（空間性）およびパン（音声に方向性を割り当てる）を含む特徴に基づいて区別が行われる、請求項３に記載の方法。
10. 前記オーディオサンプルが、前記オーディオサンプルの特定の特徴に基づいて前記オーディオデータベース内で分類される（「サンプルマッピング」）、請求項８に記載の方法。
11. サッカーの試合で再現性の高い音を合成する場合の前記「サンプルマッピング」において、オーディオサンプルは、プレーヤの体または足によるボールのトラップおよびコントロールなど形態の異なる複数の運動技術に関して「体」、「シュート」および「パス」のグループごとに区別される、請求項１０に記載の方法。
12. サッカーの試合で再現性の高い音を合成する場合の前記「サンプルマッピング」において、検出される運動の強度毎に異なる音量のオーディオサンプルが構成され、
    異なるオーディオサンプルは、シュート、パスおよび体を使ったトラップの運動の強度毎に異なるトーンの差異も反映する、請求項１０または１１に記載の方法。
13. 請求項１から１２のいずれか１項に記載の方法を実施するアセンブリであり、
    スポーツイベントの前記動画記録の特徴的な画像コンテンツを検出するセンサエンティティと、
    前記動画記録の検出された前記画像コンテンツを分析する中央制御装置と、
    前記スポーツイベント中の特定のスポーツの動きに対応する個々のオーディオイベントをアーカイブするオーディオデータベースと、
    ミキサーコンソールと
    を備え、
    前記センサエンティティが、前記スポーツイベント中の特定のスポーツの動きを識別し、
    前記中央制御装置が、前記オーディオデータベースでアーカイブされた前記オーディオイベントから、前記動画記録において前記センサエンティティによって識別された前記特定のスポーツの動きに対応するオーディオイベントを選択し、
    前記ミキサーコンソールが、前記中央制御装置によって選択された前記オーディオイベントを、動画を伴う音声にミックスする
    アセンブリ。

Images