JP6966165B2 - 映像音声信号処理装置、その方法とプログラム - Google Patents

Description

本発明は、映像音声信号処理装置、その方法とプログラムに関する。

複数のマイクから取得した音源の位相差から、音声信号処理により、特定の方向の音を抽出する技術が特許文献１に記載されている。

特許文献１の技術は、実空間に対応する画像である実空間対応画像を表示する表示手段と、実空間対応画像に、操作者の操作により指定される少なくとも１つの指定範囲を指定可能とする入力手段と、実空間で収音された音のうち、指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする音響信号処理手段とを含む収音システムである。

特開２０１５-１９８４１３号公報

しかし、対象物が動体となった際には、人手による操作が複雑であり、自動的に対象物の周囲の音声を取得できなかった。

そこで、本発明の課題は、映像中を移動する対象物の周囲の音声を自動的に取得する映像音声信号処理装置、その方法とプログラムを提供することである。

本発明の一態様は、実空間に対応する映像である実空間対応映像からターゲットとなるターゲットオブジェクトを指定する指定部と、前記実空間対応映像中の移動する前記ターゲットオブジェクトを画像認識し、前記ターゲットオブジェクトを追尾し、所定期間毎の前記ターゲットオブジェクトの前記実空間対応映像上の位置情報を算出し、前記実空間対応映像上の位置情報から前記実空間上のターゲットオブジェクトの位置情報を算出する位置情報算出部と、収音手段で収音された前記実空間上の音声の音声信号に対して、前記実空間上のターゲットオブジェクトの位置情報に基づいて信号処理を行い、前記実空間上に存在するターゲットオブジェクトを中心とする所定の範囲の音声を出力する音声信号処理部とを有する映像音声信号処理装置である。

本発明の一態様は、実空間に対応する所定の解像度の映像である実空間対応映像からターゲットとなるターゲットオブジェクトを指定する指定部と、前記実空間対応映像中の移動する前記ターゲットオブジェクトを画像認識し、前記ターゲットオブジェクトを追尾し、所定期間毎の前記ターゲットオブジェクトの実空間対応映像上の位置情報を算出し、前記実空間対応映像上の位置情報から前記実空間上のターゲットオブジェクトの位置情報を算出する位置情報算出部と、前記ターゲットオブジェクトの映像上の位置情報に基づいて、前記実空間対応映像から前記ターゲットオブジェクトを含む所定の領域の映像であり、前記所定の解像度よりも低い解像度のターゲットオブジェクト映像を切り出す映像切り出し部と、収音手段で収音された前記実空間上の音声の音声信号に対して、前記実空間上のターゲットオブジェクトの位置情報に基づいて信号処理を行い、前記実空間上に存在するターゲットオブジェクトを中心とする所定の範囲の音声を出力する音声信号処理部とを有する映像音声信号処理装置である。

本発明の一態様は、実空間に対応する映像である実空間対応映像からターゲットとなるターゲットオブジェクトを指定し、前記実空間対応映像中の移動する前記ターゲットオブジェクトを画像認識し、前記ターゲットオブジェクトを追尾し、所定期間毎の前記ターゲットオブジェクトの実空間対応映像上の位置情報を算出し、前記実空間対応映像上の位置情報から前記実空間上のターゲットオブジェクトの位置情報を算出し、収音手段で収音された前記実空間上の音声の音声信号に対して、前記実空間上のターゲットオブジェクトの位置情報に基づいて信号処理を行い、前記実空間上に存在するターゲットオブジェクトを中心とする所定の範囲の音声を出力する映像音声信号処理方法である。

本発明の一態様は、実空間に対応する所定の解像度の映像である実空間対応映像からターゲットとなるターゲットオブジェクトを指定し、前記実空間対応映像中の移動する前記ターゲットオブジェクトを画像認識し、前記ターゲットオブジェクトを追尾し、所定期間毎の前記ターゲットオブジェクトの実空間対応映像上の位置情報を算出し、前記実空間対応映像上の位置情報から前記実空間上のターゲットオブジェクトの位置情報を算出し、前記ターゲットオブジェクトの映像上の位置情報に基づいて、前記実空間対応映像から前記ターゲットオブジェクトを含む所定の領域の映像であり、前記所定の解像度よりも低い解像度のターゲットオブジェクト映像を切り出し、収音手段で収音された前記実空間上の音声の音声信号に対して、前記実空間上のターゲットオブジェクトの位置情報に基づいて信号処理を行い、前記実空間上に存在するターゲットオブジェクトを中心とする所定の範囲の音声を出力する映像音声信号処理方法である。

本発明の一態様は、実空間に対応する映像である実空間対応映像からターゲットとなるターゲットオブジェクトを指定する処理と、前記実空間対応映像中の移動する前記ターゲットオブジェクトを画像認識し、前記ターゲットオブジェクトを追尾し、所定期間毎の前記ターゲットオブジェクトの実空間対応映像上の位置情報を算出し、前記実空間対応映像上の位置情報から前記実空間上のターゲットオブジェクトの位置情報を算出する処理と、収音手段で収音された前記実空間上の音声の音声信号に対して、前記実空間上のターゲットオブジェクトの位置情報に基づいて信号処理を行い、前記実空間上に存在するターゲットオブジェクトを中心とする所定の範囲の音声を出力する処理とをコンピュータに実行させるプログラムである。

本発明の一態様は、実空間に対応する所定の解像度の映像である実空間対応映像からターゲットとなるターゲットオブジェクトを指定する処理と、前記実空間対応映像中の移動する前記ターゲットオブジェクトを画像認識し、前記ターゲットオブジェクトを追尾し、所定期間毎の前記ターゲットオブジェクトの実空間対応映像上の位置情報を算出し、前記実空間対応映像上の位置情報から前記実空間上のターゲットオブジェクトの位置情報を算出する処理と、前記ターゲットオブジェクトの映像上の位置情報に基づいて、前記実空間対応映像から前記ターゲットオブジェクトを含む所定の領域の映像であり、前記所定の解像度よりも低い解像度のターゲットオブジェクト映像を切り出す処理と、収音手段で収音された前記実空間上の音声の音声信号に対して、前記実空間上のターゲットオブジェクトの位置情報に基づいて信号処理を行い、前記実空間上に存在するターゲットオブジェクトを中心とする所定の範囲の音声を出力する処理とをコンピュータに実行させるプログラムである。

本発明は、映像中を移動する対象物の周囲の音声を自動的に取得することができる。

図１は第１の実施の形態の映像音声信号処理装置１のブロック図である。 図２は第１の実施の形態の映像音声信号処理装置１の動作を説明するための図である。 図３は第１の実施の形態の映像音声信号処理装置１の動作を説明するための図である。 図４は第２の実施の形態の映像音声信号処理装置１の動作を説明するための図である。 図５は第２の実施の形態の映像音声信号処理装置１の動作を説明するための図である。 図６は第３の実施の形態の映像音声信号処理装置２０のブロック図である。 図７は第３の実施の形態の映像音声信号処理装置２０の動作を説明するための図である。

本発明の実施の形態を、図面を参照しながら説明する。

＜第１の実施の形態＞

本発明の第１の実施の形態を説明する。

図１は第１の実施の形態の映像音声信号処理装置１のブロック図である。

図１中、１は映像音声信号処理装置であり、２はカメラ、３は収音部である。

映像音声信号処理装置１には、カメラ２から、実空間を撮影し、実空間に対応する映像である実空間対応映像が入力される。また、収音部３から実空間上の音声の音声信号が入力される。尚、収音部３は複数のマイクを有し、複数のチャンネルの音声信号を取得することができるものであれば、その種類は問わない。

以下の説明では、実空間対応映像はカメラ２から入力され、音声信号は収音部３から入力される例を説明するが、これに限られない。例えば、実空間対応映像及び音声信号は、既に撮影又は録音されて記録媒体に格納されており、映像音声信号処理装置１は、その記録媒体から実空間対応映像及び音声信号を入力するように構成しても良い。

映像音声信号処理装置１は、ターゲットオブジェクト指定部１１と、ターゲットオブジェクト位置情報算出部１２と、音声信号処理部１３とを備える。

ターゲットオブジェクト指定部１１は、実空間対応映像中のオブジェクトのうち、ユーザが希望するオブジェクト（以下、ターゲットオブジェクトと記載する）を指定するものである。

指定方法としては、ディスプレイに実空間対応映像が表示されている状態において、図２に示す如く、実空間対応映像にターゲットカーソルを表示し、そのターゲットカーソルをキーボード、マウス、タッチパネル、視線検出等により、ターゲットオブジェクト上に移動させ、ターゲットオブジェクトを指定する。そして、ターゲットカーソルを含む一定の範囲のオブジェクトをターゲットオブジェクトとして認識する方法がある。

他の方法としては、ターゲットオブジェクトとする対象物の画像特徴を予め登録しておき、その画像特徴を持つ対象物が実空間対応映像に現れた場合、自動的にその対象物をターゲットオブジェクトとして指定する方法である。例えば、サッカーボールや、選手の背番号（例えば、背番号１０等）等の画像特徴を予め登録しておき、その画像特徴を持つ実空間対応映像のサッカーボール、背番号の選手を、ターゲットオブジェクトとして自動的に指定する方法である。

ターゲットオブジェクト位置情報算出部１２は、実空間対応映像中の移動するターゲットオブジェクトを画像認識によりトラッキング（追尾）し、所定期間毎のターゲットオブジェクトの実空間対応映像上の位置情報を算出し、実空間対応映像上のターゲットオブジェクトの位置情報から実空間上のターゲットオブジェクトの位置情報を算出する。

ターゲットオブジェクト位置情報算出部１２のターゲットオブジェクトのトラッキング及び実空間対応映像中の位置情報の算出方法は、例えば、以下のような方法がある。

カメラ２が固定されたカメラである場合、カメラ２で撮影された映像（入力映像）の所定フレームの映像から、指定されたターゲットオブジェクトの画像特徴を抽出する。続いて、トラッキング開始後の時間的に近接する１枚のフレームの映像から同一又は類似する画像特徴を持つターゲットオブジェクトを特定する。そして、特定されたターゲットオブジェクトの映像中の二次元の位置情報を算出する。これを所定のフレーム毎、すなわち、所定の期間毎に行う。

次に、実空間対応映像上の位置情報から、実空間上のターゲットオブジェクトの位置情報を算出する方法であるが、実空間対応映像の中で移動することないオブジェクトの映像中の位置とターゲットオブジェクトの映像中の位置との関係から、実空間上のターゲットオブジェクトの位置情報を算出する方法がある。例えば、サッカーの試合などでは、フィールドのラインやフィールドに設置された看板等は移動することはない。そこで、予めこれらのライン等の実空間対応映像上の位置と実空間上の位置との関係を求めておく。そして、ライン等の実空間対応映像上の位置とライン等の実空間上の位置との関係と、ライン等の実空間対応映像上の位置とターゲットオブジェクトの実空間対応映像上の位置との関係とから、ターゲットオブジェクの実空間対応映像上の位置情報からターゲットオブジェクトの実空間上の位置情報を算出する。

上述したターゲットオブジェクト位置情報算出部１２の算出例は一例であり、他の既知の技術を用いても良いことはいうまでもない。

音声信号処理部１３は、収音部３から音声信号を受信し、実空間上のターゲットオブジェクトの位置情報に基づいて信号処理を行い、実空間上に存在するターゲットオブジェクトを中心とする所定の範囲の音声（以下、ターゲットオブジェクトの周辺音と記載する場合がある）を出力する。尚、例えば、ターゲットオブジェクトが映っていない実空間対応映像である場合等、ターゲットオブジェクト位置情報算出部１２から位置情報を得られない場合には、信号処理を中止しても良い。

音声信号処理部１３は、収音部３の複数のマイクの実空間上の方向及び位置が記憶されており、その複数のマイクの実空間上の方向及び位置と、算出された実空間上のターゲットオブジェクトの位置情報とに基づいて、収音部３の各マイクの音声信号に対して、既知のビームフォーミング等の手法を用いて信号処理を行い、実空間上に存在するターゲットオブジェクトを中心とする所定の範囲の音声を出力する。上述した音声信号処理部１３の処理例は一例であり、他の既知の技術を用いても良いことはいうまでもない。

尚、ターゲットオブジェクトと収音部３との距離によって、収音部３のマイクに届く周波数が異なる場合がある。例えば、ターゲットオブジェクトと収音部３との距離が大きくなると、収音部３のマイクに届く周波数成分のうち低周波成分の割合が小さくなるため、違和感のある音になる。

そこで、音声信号処理部１３は、実空間上のターゲットオブジェクトの位置情報から、ターゲットオブジェクトと収音部３との距離を算出し、その距離に応じて、収音部３のマイクが集音した音声信号の周波数特性を変化させる処理を行っても良い。これにより、出力されるターゲットオブジェクトの周辺音が聞き取りやすい音となる。

次に、第１の実施の形態の動作を説明する。

まず、ユーザは、ターゲットオブジェクト指定部１１より、ターゲットオブジェクトとなる対象を指定する。ここでは、図２に示すように、実空間対応映像とターゲットとをディスプレイに表示し、マウスやキーボート等でターゲットをターゲットオブジェクトとなるサッカーボール上まで移動させ、サッカーボールを指定することにより、サッカーボールをターゲットオブジェクトとして指定する。

ターゲットオブジェクト位置情報算出部１２は、実空間対応映像中の移動するサッカーボールを画像認識して追尾し、所定期間毎のサッカーボールの映像上の位置情報を算出する。ここで、図３に示すように、所定時間経過後に、実空間対応映像中でサッカーボールが移動した場合、その所定時間経過後のサッカーボールの実空間対応映像上の位置情報を算出する。

次に、ターゲットオブジェクト位置情報算出部１２は、サッカーボールの実空間対応映像上の位置情報を元に、実空間対応映像の中で移動することないフィールドのライン位置を元に、実空間上のサッカーボールの位置情報を算出する。

音声信号処理部１３は、収音部３から音声信号を受信し、実空間上のサッカーボールの位置情報に基づいて収音部３から音声信号に対して信号処理を行い、空間上のサッカーボールを中心とする所定の範囲の音声を出力する。

第１の実施の形態は、ターゲットオブジェクトを指定すれば、自動的に移動するターゲットオブジェクトの周辺の音声を抽出することができる。

尚、第１の実施の形態の応用例として、３６０度の全天周映像等をVRヘッドマウントディスプレイ等で視聴する場合にも適用することができる。この場合、３６０度の全天周映像等の一部の映像が、ユーザが装着しているヘッドマウントディスプレイ等に表示されることになる。

ターゲットオブジェクト位置情報算出部１２は、３６０度の全天周映像等の映像でターゲットオブジェクトを追尾し、全天周映像中のターゲットオブジェクトの位置情報を算出するようにする。しかし、ターゲットオブジェクト位置情報算出部１２は、ターゲットオブジェクトの位置情報からユーザが装着しているヘッドマウントディスプレイ等にターゲットオブジェクトを含まない映像が表示されていると判断する場合には、位置情報を音声信号処理部１３に出力せず、音声信号処理部１３に信号処理を中止させるように構成する。

このように構成することにより、ヘッドマウントディスプレイ等にターゲットオブジェクトが表示されている場合にのみ、音声を出力することができ、ユーザに違和感のない音声を提供することができる。

（第２の実施の形態）
第２の実施の形態を説明する。

第２の実施の形態では、所定期間におけるターゲットオブジェクトの位置情報の変化に着目し、その変化に応じてターゲットオブジェクトの音声信号を強調又は抑制する例を説明する。尚、音声信号の強調又は抑制は、音量を大きくする又は小さくする方法が一例としてあるが、これに限られず、他の方法でもよい。

第２の実施の形態では、ターゲットオブジェクト位置情報算出部１２は、第１の実施の形態の動作に加えて、所定期間におけるターゲットオブジェクトの実空間対応映像上の位置情報の変化を算出する。ここで、実空間対応映像上の位置情報の変化とは、ある時刻から所定期間経過後に、ターゲットオブジェクトがどのような位置に変化したかを示す情報である。例えば、図４に示したように、映像の左下を原点とした場合、Ｙ座標が小さい程、映像の下側に表示されることとなる。映像を視聴する視聴者から見ると、ターゲットオブジェクトが映像の下側にあるほど、視聴者から近い位置に、ターゲットオブジェクトが存在するものと認識される。そこで、ターゲットオブジェクト位置情報算出部１２は、前回のターゲットオブジェクトの位置情報のＹ座標に対して、所定期間経過後のターゲットオブジェクトの位置情報のＹ座標がどのように変化したかを算出する。本例では、前回のターゲットオブジェクトの位置情報のＹ座標に対して、所定期間経過後のターゲットオブジェクトの位置情報のＹ座標が小さくなる場合、ターゲットオブジェクトが映像の下側に移動していることがわかる。また、前回のターゲットオブジェクトの位置情報のＹ座標に対して、所定期間経過後のターゲットオブジェクトの位置情報のＹ座標との差分が大きい程、移動が大きいと考えられる。ターゲットオブジェクト位置情報算出部１２は、上下の移動方向とその移動量（差分）とを変化情報として算出する。

音声信号処理部１３は、収音部３から音声信号を受信し、実空間上のサッカーボールの位置情報に基づいて収音部３から音声信号に対して信号処理を行い、空間上のサッカーボールを中心とする所定の範囲の音声を抽出する処理に加え、抽出した音声に対して強調又は抑圧する処理を行う。

上述の例では、ターゲットオブジェクト位置情報算出部１２から与えられる変化情報が、ターゲットオブジェクトの移動方向が下側であることを示す場合、抽出した音声に対して強調する処理を行う。そして、強調量は、移動量（差分）に比例するように行う。一方、ターゲットオブジェクト位置情報算出部１２から与えられる変化情報が、ターゲットオブジェクトの移動方向が上側を示す場合、抽出した音声に対して抑圧する処理を行う。そして、抑圧する大きさは、移動量（差分）に比例するように行う。

このような処理を行うことにより、ターゲットオブジェクトが映像の下側にあるほど、出力されるターゲットオブジェクトの周辺音は大きくなり、ターゲットオブジェクトが映像の上側にあるほど、出力されるターゲットオブジェクトの周辺音は小さくなる。従って、映像を視聴する視聴者から見ると、ターゲットオブジェクトが自分にとって近い位置に存在するときはターゲットオブジェクトの周辺音が大きく聞こえ、ターゲットオブジェクトが自分から離れている位置に存在するときはターゲットオブジェクトの周辺音が小さく聞こえるので、臨場感のある音声信号処理を行える。

上述した例では、視聴する視聴者から見ると、ターゲットオブジェクトが映像の下側にあるほど、視聴者から近い位置にターゲットオブジェクトが存在するものと認識される場合の例を説明したが、これに限られない。ターゲットオブジェクトとカメラの位置関係によって、その移動方向と強調又は抑圧との関係を決定すれば良い。

例えば、ターゲットオブジェクトとカメラの位置関係によっては、ターゲットオブジェクトが映像の上側にあるほど、視聴者から近い位置にターゲットオブジェクトが存在するものと認識される場合（ボールがカメラの上を、前から後ろに通過する場合など）もある。その場合には、上述した例とは逆に、ターゲットオブジェクト位置情報算出部１２から与えられる変化情報が、ターゲットオブジェクトの移動方向が上側であることを示す場合、抽出した音声に対して強調する処理を行う。そして、強調量は、移動量（差分）に比例するように行う。一方、ターゲットオブジェクト位置情報算出部１２から与えられる変化情報が、ターゲットオブジェクトの移動方向が下側を示す場合、抽出した音声に対して抑圧する処理を行う。そして、抑圧する大きさは、移動量（差分）に比例するように行う。

このような処理を行うことにより、上述の例と同様に、臨場感のある音声信号処理を行える。

更に、所定期間のターゲットオブジェクトの映像上の大きさの変化に着目して、抽出したターゲットオブジェクトの周辺音に対して強調又は抑圧する処理を行うようにしても良い。所定時間が経過し、撮影画角等の変化により、実空間対応映像上のターゲットオブジェクトの大きさが変化した場合、映像を視聴する視聴者から見ると、ターゲットオブジェクトの遠近感が異なる。例えば、図５に示すように、ある時刻の映像がターゲットオブジェクトとなるサッカーボールが小さい映像である場合、映像を視聴する視聴者から見ると、サッカーボールは遠い位置にある感覚となる。しかし、その時刻から所定時間経過後に、図５の下図のように、ターゲットオブジェクトとなるサッカーボールが大きい映像となった場合、映像を視聴する視聴者から見ると、サッカーボールは近い位置にある感覚となる。

そこで、ターゲットオブジェクト位置情報算出部１２は、第１の実施の形態の動作に加えて、所定期間におけるターゲットオブジェクトの実空間対応映像上の大きさの変化情報を算出する。

音声信号処理部１３は、収音部３から音声信号を受信し、実空間上のサッカーボールの位置情報に基づいて収音部３から音声信号に対して信号処理を行い、空間上のサッカーボールを中心とする所定の範囲の音声を抽出する処理に加え、抽出した音声に対して強調又は抑圧する処理を行う。

ターゲットオブジェクト位置情報算出部１２から与えられる大きさの変化情報がターゲットオブジェクトの大きさが大きくなったことを示す場合、抽出した音声に対して強調する処理を行う。そして、強調量は、大きさの変化量に比例するように行う。一方、ターゲットオブジェクト位置情報算出部１２から与えられる大きさの変化情報がターゲットオブジェクトの大きさが小さくなったことを示す場合、抽出した音声に対して抑圧する処理を行う。そして、抑圧量は、大きさの変化量に比例するように行う。尚、強調量又は抑圧量は、かならずしも変化量に比例する必要はなく、所定の大きさの変化量毎に予め強調量又は抑圧量を定めておいても良い。

例えば、図５の例では、図５の上図の時よりも、下図の時の音声の方が強調された音声となるようにする。

このような処理を行うことにより、上述の例と同様に、映像を視聴する視聴者から見ると、ターゲットオブジェクトが自分にとって近い位置に存在するときはターゲットオブジェクトの周辺音が大きく聞こえ、ターゲットオブジェクトが自分から離れている位置に存在するときはターゲットオブジェクトの周辺音が小さく聞こえるので、臨場感のある音声信号処理を行える。

第２の実施の形態によれば、映像を視聴する視聴者に、臨場感のある音声を提供することができる。また、映像を編集する側にとっても、音声の処理を自動化できるという利点もある。

（第３の実施の形態）
第３の実施の形態を説明する。

図６は第３の実施の形態のブロック図である。尚、第１の実施の形態と同様な構成のものについては、同じ付番を付する。

第３の実施の形態では、カメラ２で撮影された映像が映像記録部３０に記録され、収音部３で収音された音声が音声記録部４０に記録されている。カメラ２で撮影される映像は、４Ｋや８Ｋといった高画質映像である。また、収音部３で収音された音声は、定点に設置された収音部３の複数のマイクから得たられた複数のチャンネルの音声である。

映像音声信号処理装置２０は、映像記録部３０から映像信号が入力され、音声記録部４０から音声信号が入力され、指定されたターゲットオブジェクトを中心とする所定の範囲の音声を出力すると共に、ターゲットオブジェクトを含む所定範囲の映像を、映像記録部３０の映像から切り出して出力する機能を有する。切り出される映像は、映像記録部３０に記録されている高画質映像に対して低画質の映像（例えば、ＨＤ画質）である。

映像音声信号処理装置２０は、ターゲットオブジェクト指定部１１と、ターゲットオブジェクト位置情報算出部１２と、音声信号処理部１３とを備え、更に、映像切り出し部２１を備える。

ターゲットオブジェクト指定部１１と、ターゲットオブジェクト位置情報算出部１２と、音声信号処理部１３との構成は、第１の実施の形態と同様な構成である。

映像切り出し部２１は、ターゲットオブジェクト位置情報算出部１２からのターゲットオブジェクトの映像中の二次元の位置情報を入力する。入力されたターゲットオブジェクトの映像中の位置情報から、映像記録部３０に記録されている映像のうち、ターゲットオブジェクトを含む所定の範囲の映像を切り出す。尚、切り出す範囲、ターゲットオブジェクトの位置は、予め設定しておく。最も簡単な方法として、ターゲットオブジェクトの映像中の位置情報を中心として、ＨＤ画質の映像の範囲を切り出す方法がある。

次に、第３の実施の形態の動作を説明する。

まず、映像記録部３０に記録されている高画質の映像上で、ユーザは、ターゲットオブジェクト指定部１１より、ターゲットオブジェクトとなる対象を指定する。ここでは、サッカーボールを指定することにより、サッカーボールをターゲットオブジェクトとして指定する。

ターゲットオブジェクト位置情報算出部１２は、実空間対応映像中の移動するサッカーボールを画像認識して追尾し、所定期間毎のサッカーボールの映像上の位置情報を算出する。ここで、所定時間経過後に、実空間対応映像中でサッカーボールが移動した場合、その所定時間経過後のサッカーボールの実空間対応映像上の位置情報を算出する。一方、ターゲットオブジェクト位置情報算出部１２は、算出した所定期間毎のサッカーボールの映像上の位置情報を、映像切り出し部２１に出力する。

映像切り出し部２１は、サッカーボールの映像上の位置情報を中心とする所定の範囲の領域の映像（ＨＤ：1920×1080画素）を、映像記録部３０の映像（４Ｋ：3840×2160画素）から切り出して出力する。本例では、サッカーボールの映像上の位置情報を中心とする1920×1080画素範囲の領域の画像を切り出す。

一方、音声信号処理部１３は、収音部３から音声信号を受信し、実空間上のサッカーボールの位置情報に基づいて収音部３から音声信号に対して信号処理を行い、空間上のサッカーボールを中心とする所定の範囲の音声を出力する。

第３の実施の形態では、高画質映像上のターゲットオブジェクトを自動追尾し、そのターゲットオブジェクトを含む所定の範囲の領域の画像を高画質映像から切り出して出力すると共に、そのターゲットオブジェクトの周辺音も出力される。これにより、ターゲットオブジェクトに注目した映像及び音声を自動的に取得することができる。

尚、上述した例では、ターゲットオブジェクトの位置を中心に映像を切り出したが、これに限られず、切り出す映像上のターゲットオブジェクトの位置（例えば、右上や左上等）を予め決定しておき、そのターゲットオブジェクトを含むように映像を切り出しても良い。

更に、映像は高画質又は低画質な映像等の種類に限られず、例えば、切り出す映像よりも広い範囲を映している映像でも良い。例えば、映像記録部３０に格納されている映像が３６０度の全天周映像であり、切り出す映像が３６０度の全天周映像の一部の範囲の映像である場合等である。このような場合、３６０度の全天周映像中のターゲットオブジェクトを追尾し、そのターゲットオブジェクトを含む一部の範囲の映像を切り出すようにする。

以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ 映像音声信号処理装置
２ カメラ
３ 収音部
１１ ターゲットオブジェクト指定部
１２ ターゲットオブジェクト位置情報算出部
１３ 音声信号処理部
２０ 映像音声信号処理装置
２１ 映像切り出し部
３０ 映像記録部
４０ 音声記録部

Claims (5)

1. 実空間に対応する映像である全天周映像からターゲットとなるターゲットオブジェクトを指定する指定部と、
   前記全天周映像中の移動する前記ターゲットオブジェクトを画像認識し、前記ターゲットオブジェクトを追尾し、所定期間毎の前記ターゲットオブジェクトの前記全天周映像上の位置情報を算出し、前記全天周映像上の位置情報から前記実空間上のターゲットオブジェクトの位置情報を算出する位置情報算出部と、
   前記全天周映像のうちユーザが装着しているヘッドマウントディスプレイに表示されている映像中に、前記ターゲットオブジェクトが存在するかを検出するターゲットオブジェクト検出部と、
   前記ターゲットオブジェクト検出部が前記ヘッドマウントディスプレイに表示されている映像中に前記ターゲットオブジェクトの存在を検出した場合、収音手段で収音された前記実空間上の音声の音声信号に対して、前記実空間上のターゲットオブジェクトの位置情報に基づいて信号処理を行い、前記実空間上に存在するターゲットオブジェクトを中心とする所定の範囲の音声を出力する音声信号処理部と、
   を有する映像音声信号処理装置。
2. 前記位置情報算出部は、前記所定期間における前記ターゲットオブジェクトの実空間対応映像上の位置情報の変化を算出し、
   前記音声信号処理部は、前記位置情報の変化に基づいて、前記音声信号を強調又は抑制する処理を行う
   請求項１に記載の映像音声信号処理装置。
3. 前記位置情報算出部は、前記所定期間における前記ターゲットオブジェクトの実空間対応映像中の大きさの変化を算出し、
   前記音声信号処理部は、前記大きさの変化に基づいて、前記音声信号を強調又は抑制する処理を行う
   請求項１又は請求項２に記載の映像音声信号処理装置。
4. 実空間に対応する映像である全天周映像からターゲットとなるターゲットオブジェクトを指定し、
   前記全天周映像中の移動する前記ターゲットオブジェクトを画像認識し、前記ターゲットオブジェクトを追尾し、所定期間毎の前記ターゲットオブジェクトの全天周映像上の位置情報を算出し、前記全天周映像上の位置情報から前記実空間上のターゲットオブジェクトの位置情報を算出し、
   前記全天周映像のうちユーザが装着しているヘッドマウントディスプレイに表示されている映像中に、前記ターゲットオブジェクトが存在するかを検出し、
   前記ヘッドマウントディスプレイに表示されている映像中に前記ターゲットオブジェクトの存在を検出した場合、収音手段で収音された前記実空間上の音声の音声信号に対して、前記実空間上のターゲットオブジェクトの位置情報に基づいて信号処理を行い、前記実空間上に存在するターゲットオブジェクトを中心とする所定の範囲の音声を出力する
   映像音声信号処理方法。
5. 実空間に対応する映像である全天周映像からターゲットとなるターゲットオブジェクトを指定する処理と、
   前記全天周映像中の移動する前記ターゲットオブジェクトを画像認識し、前記ターゲットオブジェクトを追尾し、所定期間毎の前記ターゲットオブジェクトの実空間対応映像上の位置情報を算出し、前全天周映像上の位置情報から前記実空間上のターゲットオブジェクトの位置情報を算出する処理と、
   前記全天周映像のうちユーザが装着しているヘッドマウントディスプレイに表示されている映像中に、前記ターゲットオブジェクトが存在するかを検出する処理と、
   前記ヘッドマウントディスプレイに表示されている映像中に前記ターゲットオブジェクトの存在を検出した場合、収音手段で収音された前記実空間上の音声の音声信号に対して、前記実空間上のターゲットオブジェクトの位置情報に基づいて信号処理を行い、前記実空間上に存在するターゲットオブジェクトを中心とする所定の範囲の音声を出力する処理と
   をコンピュータに実行させるプログラム。

Images