JP6766707B2 - 映像処理装置、マルチカメラシステム、映像処理方法、及び映像処理プログラム - Google Patents

Description

本発明は、映像処理装置、マルチカメラシステム、映像処理方法、及び映像処理プログラムに関する。

複数のカメラで対象物を撮影し、表示部に複数の映像を表示させるマルチカメラシステムが知られている（例えば、特許文献１参照）。このようなマルチカメラシステムは、例えばサッカー、アメリカンフットボール、バスケットボール、ハンドボール等といった、フィールド又はコート内を選手が自在に移動する競技の試合を撮影する際にも用いられる場合がある。

特開２００２−１７１４９９号公報

上記のマルチカメラシステムでは、表示部に表示される複数の映像から所定の映像を選択する時間を短縮化することが求められている。

本発明は、上記に鑑みてなされたものであり、表示部に表示される複数の映像から所定の映像を選択する時間を短縮化できる映像処理装置、マルチカメラシステム、映像処理方法、及び映像処理プログラムを提供することを目的とする。

本発明に係る映像処理装置は、複数のカメラで撮影した試合場の映像を表示部に並べて表示させる映像表示制御部と、前記表示部に表示される複数の前記映像内の一部に所定の設定領域が設定された場合、前記設定領域の範囲を示す設定領域情報を取得する設定領域情報取得部と、前記映像内において前記設定領域に選手が進入した場合、最初に進入した前記選手の進入時刻及び進入位置を含む進入情報を取得する進入情報取得部と、前記設定領域に最初に進入した前記選手が前記設定領域から退出した場合、前記選手が退出した退出時刻及び退出位置を含む退出情報を取得する退出情報取得部と、前記進入情報及び前記退出情報のうち少なくとも一方に基づいて、前記設定領域を通過する仮想直線を設定する仮想直線設定部と、前記仮想直線の位置と複数の前記カメラの位置とに基づいて、前記表示部に表示された複数の前記映像から１つ以上の前記映像を選択する映像選択部とを備える。

本発明に係るマルチカメラシステムは、互いに異なる角度から試合場を撮影する複数のカメラと、複数の前記カメラで撮影した映像を表示可能な表示部と、前記映像を処理する上記の映像処理装置とを備える。

本発明に係る映像処理方法は、複数のカメラで撮影した試合場の映像を表示部に並べて表示させることと、前記表示部に表示される複数の前記映像内の一部に所定の設定領域が設定された場合、前記設定領域の範囲を示す設定領域情報を取得することと、前記映像内において前記設定領域に選手が進入した場合、最初に進入した前記選手の進入時刻及び進入位置を含む進入情報を取得することと、前記設定領域に最初に進入した前記選手が前記設定領域から退出した場合、前記選手が退出した退出時刻及び退出位置を含む退出情報を取得することと、前記進入情報及び前記退出情報のうち少なくとも一方に基づいて、前記設定領域を通過する仮想直線を設定することと、前記仮想直線の位置と複数の前記カメラの位置とに基づいて、前記表示部に表示された複数の前記映像から１つ以上の前記映像を選択することとを含む。

本発明に係る映像処理プログラムは、複数のカメラで撮影した試合場の映像を表示部に並べて表示させる処理と、前記表示部に表示される複数の前記映像内の一部に所定の設定領域が設定された場合、前記設定領域の範囲を示す設定領域情報を取得する処理と、前記映像内において前記設定領域に選手が進入した場合、最初に進入した前記選手の進入時刻及び進入位置を含む進入情報を取得する処理と、前記設定領域に最初に進入した前記選手が前記設定領域から退出した場合、前記選手が退出した退出時刻及び退出位置を含む退出情報を取得する処理と、前記進入情報及び前記退出情報のうち少なくとも一方に基づいて、前記設定領域を通過する仮想直線を設定する処理と、前記仮想直線の位置と複数の前記カメラの位置とに基づいて、前記表示部に表示された複数の前記映像から１つ以上の前記映像を選択する処理とをコンピュータに実行させる。

本発明によれば、表示部に表示される複数の映像から所定の映像を選択する時間を短縮化できる。

図１は、本実施形態に係るマルチカメラシステムの一例を示す図である。 図２は、本実施形態に係るマルチカメラシステムの一例を示す機能ブロック図である。 図３は、本実施形態に係る表示部に表示される映像の一例を示す図である。 図４は、本実施形態に係る設定領域の一例を模式的に示す図である。 図５は、本実施形態に係る進入情報及び退出情報の一例を示す図である。 図６は、本実施形態に係る仮想直線の設定動作の一例を示す図である。 図７は、本実施形態に係る記憶部に記憶される情報の一例を示すデータテーブルである。 図８は、本実施形態に係るマルチカメラシステムの動作の一例を示すフローチャートである。 図９は、本実施形態に係る試合場における仮想直線の位置を示す図である。 図１０は、本実施形態に係るハイライト表示の一例を示す図である。 図１１は、変形例に係る仮想直線の設定動作を示す図である。 図１２は、変形例に係る仮想直線の設定動作を示す図である。 図１３は、変形例に係る仮想直線の設定動作を示す図である。

以下、本発明に係る映像処理装置、マルチカメラシステム、映像処理方法、及び映像処理プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

図１は、第１実施形態に係るマルチカメラシステム１００の一例を示す図である。マルチカメラシステム１００は、スポーツの試合が行われる試合場１に設置される。本実施形態では、スポーツとしてサッカーを例に挙げて説明するが、これに限定されず、例えばアメリカンフットボール、ラグビー、野球、陸上競技等の屋外競技や、バスケットボール、ハンドボール等の屋内競技等であってもよい。試合場１は、例えば地面２にフィールド３が設置される。フィールド３は、ライン４によって区画される。ライン４は、サイドライン５、エンドライン６、センターライン、ペナルティエリアライン、ゴールライン等を含む。試合場１は、予め位置座標が設定されている。位置座標は、例えばレーザセンサ等の公知の計測装置で計測することにより設定可能である。位置情報は、例えばＸ座標及びＹ座標を用いて表すことができる。図１に示すＸ軸は、例えばエンドライン６に平行に設定される。図１に示すＹ軸は、例えばサイドライン５に平行に設定される。なお、Ｘ軸及びＹ軸の設定については、上記に限定されない。

図２は、マルチカメラシステム１００の一例を示す機能ブロック図である。図１及び図２に示すように、マルチカメラシステム１００は、カメラ１０と、入力部２０と、表示部３０と、映像処理装置４０とを備える。

カメラ１０は、複数台設けられる。本実施形態では、例えば６台のカメラが設けられる場合を例に挙げて説明する。以下、６台のカメラ１０を区別しないで説明する場合にはカメラ１０と表記して説明し、６台のカメラ１０を区別して説明する場合にはカメラ１１〜１６と異なる符号を付して説明する。なお、カメラ１０の台数は、６台に限定されず、５台以下、又は７台以上であってもよい。複数のカメラ１０は、少なくとも２台以上のカメラ１０が試合場１の同一地点を画角に収めるように撮影する。

フィールド３に対して一方のサイドライン５ａの外側には、カメラ１１、１２が配置される。フィールド３に対して他方のサイドライン５ｂの外側には、カメラ１３、１４が配置される。フィールド３に対して一方のエンドライン６ａの外側には、カメラ１５が配置される。フィールド３に対して他方のエンドライン６ｂの外側には、カメラ１６が配置される。カメラ１１〜１６は、上記の試合場１の位置座標に対応付けられた位置座標を有している。カメラ１１〜１６の位置座標については、例えば後述の記憶部６０に記憶させておくことができる。なお、上記カメラ１１〜１６の少なくとも１つ、又は上記カメラ１１〜１６とは別個のカメラを試合場１の上方に配置し、例えば試合場１を上方から撮影する構成であってもよい。

入力部２０は、情報を入力するための所定の入力操作が可能である。入力部２０としては、例えばタッチパネル等の入力装置が用いられる。この場合、入力部２０は、後述の表示部３０と一体で設けられる。なお、入力部２０として、タッチパネルに加えて又はタッチパネルに代えて、ボタン、レバー、ダイヤル、スイッチ又は他の入力装置が用いられてもよい。入力部２０は、所定の入力操作に応じた指示信号を出力する。

表示部３０は、液晶パネル等の表示パネルを有する。表示部３０は、文字及び画像を含む各種情報を表示する。表示部３０は、例えば、各カメラ１０によって撮影された映像や、入力部２０によりタッチ操作を行うための入力操作用画像等を表示可能である。なお、上記の入力部２０は、タッチパネルの表面のうち表示部３０に表示される入力操作用の画像に対応する領域にタッチ操作が行われた場合、タッチ操作が行われた領域の位置情報を含む所定の指示信号を出力する。

映像処理装置４０は、カメラ１０によって撮影された映像を表示部３０に表示させる映像表示処理を行う。映像処理装置４０は、図２に示すように、制御部５０と、記憶部６０とを有する。

制御部５０は、カメラ１０、入力部２０及び表示部３０の各部の制御を行う。制御部５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶装置を有している。制御部５０は、映像表示制御部５１と、設定領域情報取得部５２と、進入情報取得部５３と、退出情報取得部５４と、仮想直線設定部５５と、映像選択部５６と、ハイライト表示制御部５７とを有する。

映像表示制御部５１には、複数のカメラ１０で撮影した映像情報が入力される。映像表示制御部５１は、入力された映像情報を表示部３０に出力し、映像として表示部３０に並べて表示させる。また、映像表示制御部５１は、入力された映像を記憶部６０に記憶させる。この場合、映像表示制御部５１は、各映像を撮影時刻等の時刻情報と対応付けて記憶部６０に記憶させる。

図３は、表示部３０に表示される映像の一例を示す図である。図３に示すように、本実施形態において、表示部３０は、上記の６台のカメラ１０で撮影した６つの映像７０を並べて表示させる。以下、６つの映像７０を区別しないで説明する場合には映像７０と表記して説明し、６つの映像７０を区別して説明する場合には、映像７１〜７６と異なる符号を付して説明する。表示部３０は、２つ以上であってもよい。

設定領域情報取得部５２は、表示部３０に表示される複数の映像７０内の一部に所定の設定領域が設定された場合、設定領域の範囲を示す設定領域情報を取得する。

図４は、設定領域の一例を模式的に示す図である。図４に示すように、設定領域Ａは、映像７０内の一部に設定される。設定領域Ａは、ユーザが入力部２０により入力可能である。例えば、ユーザが入力部２０により直接映像７０内に設定領域Ａを描画して設定してもよいし、予め設定された形状からユーザが選択してもよい。また、設定領域Ａの形状が円形、楕円形、三角形、矩形等に予め設定されている場合、中心位置と設定領域Ａの寸法（径、一辺の長さ等）とを入力部２０等によりユーザに指定させることで、指定の中心位置を中心とする範囲に指定の寸法を有する設定領域Ａを設定することができる。

設定領域情報取得部５２は、映像７０内に設定領域Ａが設定された場合、設定領域Ａの範囲を示す設定領域情報を算出する。設定領域情報は、例えば図１に示す座標系のＸ及びＹの２つの変数により、平面上の領域を示す関数として求めることができる。例えば、設定領域情報取得部５２は、画像処理等により映像７０内における設定領域Ａの外郭線の位置と、試合場１に設定される位置座標とに基づいて、設定領域情報を算出する。なお、設定領域情報取得部５２は、設定領域Ａを閉じた領域として設定する。したがって、設定領域情報取得部５２は、例えばユーザによって描画された領域等が閉じていない領域である場合、直線又は曲線を補うことで閉じた領域として設定してもよい。また、設定領域情報取得部５２は、設定領域Ａの重心位置Ｇを算出する。設定領域情報取得部５２は、算出した設定領域情報及び重心位置Ｇを例えば記憶部６０に記憶させる。

進入情報取得部５３は、映像７０内において設定領域Ａに選手が進入した場合、設定領域Ａに最初に進入した選手である特定選手の進入時刻及び進入位置を含む進入情報を取得する。退出情報取得部５４は、特定選手が設定領域Ａから退出した場合、特定選手が退出した退出時刻及び退出位置を含む退出情報を取得する。

図５は、特定選手Ｐが設定領域Ａに進入した後、設定領域Ａから退出する場合の例を示している。進入情報取得部５３は、選手が設定領域Ａに進入したか否かを判定し、選手が設定領域Ａに進入した場合、最初に設定領域Ａに進入した選手を特定選手Ｐとして検出する。なお、進入情報取得部５３は、特定選手Ｐを検出した後は、選手が設定領域Ａに進入したか否かの判定を行わなくてもよい。また、進入情報取得部５３は、特定選手Ｐが設定領域Ａに進入した進入時刻と、進入位置Ｉの位置情報とを求める。進入情報取得部５３は、進入時刻として、各映像７０に対応付けられた時刻情報を求める。これにより、進入時刻と、映像７０における時刻との間が対応付けされる。なお、進入情報取得部５３は、取得した進入時刻と映像７０における時刻とを対応付けるタグ情報を別途生成してもよい。進入情報取得部５３は、進入位置Ｉの位置情報として、Ｘ座標及びＹ座標を算出する。進入情報取得部５３は、取得した進入情報を記憶部６０に記憶させる。進入情報取得部５３は、特定選手Ｐ以外の選手が設定領域Ａに進入する場合には、進入情報を算出する動作を行わない。

また、退出情報取得部５４は、特定選手Ｐが設定領域Ａから退出した場合、退出時刻と、退出位置Ｅの位置情報とを求める。退出情報取得部５４は、退出時刻として、各映像７０に対応付けられた時刻を求める。これにより、退出時刻と、映像７０における時刻とが対応付けされる。なお、退出情報取得部５４は、取得した退出時刻と映像７０における時刻とを対応付けるタグ情報を別途生成してもよい。退出情報取得部５４は、退出位置Ｅの位置情報として、Ｘ座標及びＹ座標を算出する。退出情報取得部５４は、取得した退出情報を記憶部６０に記憶させる。退出情報取得部５４は、特定選手Ｐ以外の選手が設定領域Ａから退出する場合には、退出情報を求める動作を行わない。

仮想直線設定部５５は、進入情報及び退出情報のうち少なくとも一方に基づいて、設定領域Ａを通過する仮想直線を設定する。図６は、仮想直線の一設定例を示す図である。図６に示すように、仮想直線設定部５５は、設定領域Ａを通過する仮想直線Ｌを設定する。仮想直線設定部５５は、例えば、設定領域Ａの重心位置Ｇと進入位置Ｉとを結ぶ線分ＩＧと、重心位置Ｇと退出位置Ｅとを結ぶ線分ＥＧとがなす角ＩＧＥの二等分線を仮想直線Ｌとして設定することができる。この仮想直線Ｌを設定する場合、仮想直線設定部５５は、進入位置Ｉと重心位置Ｇとを結ぶ線分と、退出位置Ｅと重心位置Ｇとを結ぶ線分とを設定し、設定した線分同士がなす角の二等分線を求める。仮想直線Ｌの設定例としては、これに限定されない。

映像選択部５６は、仮想直線の位置と複数のカメラ１０の位置とに基づいて、表示部３０に表示された複数の映像７０から１つ以上の映像７０を選択する。映像選択部５６は、例えば、複数のカメラ１０のうち仮想直線Ｌとの距離が短い順に１つ以上のカメラ１０を選択してもよい。また、映像選択部５６は、複数のカメラ１０のうち、カメラ１０の光軸と仮想直線Ｌとのなす角度が小さい順に１つ以上のカメラ１０を選択してもよい。映像選択部５６は、検出したカメラ１０により撮影された映像７０を選択する。

ハイライト表示制御部５７は、表示部３０に表示される複数の映像のうち映像選択部５６が選択した１つ以上の映像に対してハイライト表示を行う。

記憶部６０は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部６０として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部６０は、映像処理のオペレーティングシステムや、カメラ１０、入力部２０及び表示部３０の動作を制御するための各種プログラム、映像処理装置４０において処理を行うための各種プログラム及びデータ等を記憶する。

また、記憶部６０は、本実施形態に係る映像処理プログラムを記憶する。この映像処理プログラムは、複数のカメラ１０で撮影した試合場の映像を表示部３０に並べて表示させる処理と、表示部３０に表示される複数の映像７０内の一部に所定の設定領域が設定された場合、設定領域の範囲を示す設定領域情報を取得する処理と、映像７０内において設定領域に選手が進入した場合、最初に進入した選手の進入時刻及び進入位置を含む進入情報を取得する処理と、設定領域に最初に進入した選手が設定領域から退出した場合、選手が退出した退出時刻及び退出位置を含む退出情報を取得する処理と、進入情報及び退出情報のうち少なくとも一方に基づいて、設定領域を通過する仮想直線を設定する処理と、仮想直線の位置と複数のカメラ１０の位置とに基づいて、表示部３０に表示された複数の映像７０から１つ以上の映像７０を選択する処理とを映像処理装置４０に実行させる。

また、記憶部６０は、映像記憶部６１と、設定領域情報記憶部６２と、進入情報記憶部６３と、退出情報記憶部６４と、ハイライト表示情報記憶部６５と、選手情報記憶部６６とを有する。

映像記憶部６１は、映像表示制御部５１から出力された映像情報が入力される。映像記憶部６１は、入力された映像情報を記憶する。映像記憶部６１は、例えば映像情報を時刻情報と対応付けて記憶する。

設定領域情報記憶部６２は、設定領域情報取得部５２で取得された設定領域情報が入力される。設定領域情報記憶部６２は、入力された設定領域情報を記憶する。

進入情報記憶部６３は、進入情報取得部５３で取得された進入情報が入力される。進入情報記憶部６３は、入力された進入情報を記憶する。

退出情報記憶部６４は、退出情報取得部５４で取得された退出情報が入力される。退出情報記憶部６４は、入力された退出情報を記憶する。

ハイライト表示情報記憶部６５は、表示部３０に表示させるハイライト表示の表示データ及び表示プログラム等を記憶する。

選手情報記憶部６６は、試合場１で行われる試合に参加する選手を識別するための選手情報を記憶する。選手情報は、例えば選手が所属するチーム、ポジション、背番号等の所属情報や、顔、身長、体重等の身体情報等が挙げられる。また、選手情報記憶部６６は、設定領域Ａに最初に進入した特定選手についての情報を記憶する。

図７は、記憶部６０に記憶される情報の一例を示すデータテーブルである。図７に示すように、記憶部６０には、例えばユーザにより設定された複数の設定領域Ａ１、Ａ２、Ａ３、…、が記憶されている。記憶部６０は、設定領域情報記憶部６２に記憶される設定領域情報と、進入情報記憶部６３に記憶される進入情報（進入時刻、進入位置）と、退出情報記憶部６４に記憶される退出情報（退出時刻、退出位置）と、選手情報記憶部６６に記憶される特定選手とを対応付けて記憶する。なお、記憶部６０は、進入時刻と映像７０の時刻とを対応付けるタグ情報や、退出時刻と映像７０の時刻とを対応付けるタグ情報等のタグ情報を記憶してもよい。

次に、上記のように構成されたマルチカメラシステム１００の動作を説明する。以下の説明では、複数のカメラ１０により試合場１における試合を撮影し、撮影した映像を映像記憶部６１に記憶させた後、映像記憶部６１に記憶された映像を表示部３０に再生表示させる場合を例に挙げるが、これに限定されない。図８は、本実施形態に係るマルチカメラシステム１００の動作の一例を示すフローチャートである。図８に示すように、映像表示制御部５１は、複数のカメラ１０で撮影された映像を映像記憶部６１から取得し、表示部３０に表示させる（ステップＳ１０）。

次に、設定領域情報取得部５２は、表示部３０に表示される複数の映像７０内の一部に所定の設定領域Ａが設定された場合、設定領域Ａの位置を示す設定領域情報を取得する（ステップＳ２０）。ステップＳ２０において、設定領域情報取得部５２は、表示部３０に表示される複数の映像７０に設定領域Ａが入力されたか否かを判定する。設定領域情報取得部５２は、入力部２０により設定領域Ａが入力されたと判定した場合、入力された設定領域Ａの範囲を示す位置情報を設定領域情報として取得する。

設定領域情報が取得された後、進入情報取得部５３は、映像７０内において設定領域Ａに選手が進入した場合、最初に進入した特定選手の進入時刻及び進入位置を含む進入情報を取得する（ステップＳ３０）。ステップＳ３０において、進入情報取得部５３は、例えば画像処理等により、設定領域Ａに選手が進入したか否かを判定する。進入情報取得部５３は、設定領域Ａに選手が最初に進入したことを判定した場合、最初に進入した選手を特定選手Ｐとして検出する。進入情報取得部５３は、画像処理等により特定選手Ｐの顔、背番号等の情報を抽出し、選手情報記憶部６６に記憶された選手情報と照合させることにより、特定選手Ｐの情報を取得する。また、進入情報取得部５３は、特定選手Ｐが設定領域Ａに進入した進入時刻、進入位置を含む進入情報を取得する。

特定選手が設定領域Ａに進入した後、特定選手が設定領域Ａから退出した場合、退出情報取得部５４は、特定選手が退出した退出時刻及び退出位置を含む退出情報を取得する（ステップＳ４０）。ステップＳ４０において、退出情報取得部５４は、例えば画像処理等により、設定領域Ａから特定選手が退出したか否かを判定する。退出情報取得部５４は、特定選手が設定領域Ａから退出したことを判定した場合、特定選手が設定領域Ａから退出した退出時刻、退出位置を含む退出情報を取得する。

次に、仮想直線設定部５５は、進入情報及び退出情報のうち少なくとも一方に基づいて設定領域Ａを通過する仮想直線Ｌを設定する（ステップＳ５０）。本実施形態において、仮想直線設定部５５は、進入位置Ｉと退出位置Ｅとを用いて仮想直線Ｌの設定を行う。このため、ステップＳ５０において、仮想直線設定部５５は、まず、特定選手が設定領域Ａから退出したか否かを判定し、特定選手が設定領域Ａから退出した場合、仮想直線Ｌの設定を行う。この場合、仮想直線設定部５５は、設定領域Ａの重心位置Ｇと進入位置Ｉとを結ぶ線分ＩＧと、重心位置Ｇと退出位置Ｅとを結ぶ線分ＥＧとがなす角ＩＧＥの二等分線を仮想直線Ｌとして設定する。

映像選択部５６は、仮想直線Ｌの位置と複数のカメラ１０の位置とに基づいて、表示部３０に表示された複数の映像７０から１つ以上の映像７０を選択する（ステップＳ６０）。ステップＳ６０において、映像選択部５６は、例えば複数のカメラ１０のうち仮想直線Ｌとの距離が最も短いカメラ１０を選択する。そして、映像選択部５６は、検出したカメラ１０により撮影された映像７０を選択する。

図９は、試合場１における仮想直線Ｌの位置を示す図である。図９に示すように、本実施形態において、仮想直線Ｌは、例えば設定領域Ａの重心位置Ｇを通過し、カメラ１４上に重なる位置に設定されている。この場合、映像選択部５６は、例えば仮想直線Ｌとの距離が最も短いカメラ１４を選択する。そして、映像選択部５６は、選択したカメラ１４により撮影された映像７４を選択する。

映像７４が選択された場合、映像表示制御部５１は、映像７４のうち、例えば特定選手Ｐが設定領域Ａに進入した進入時刻から、特定選手Ｐが設定領域Ａから退出した退出時刻までのシーンを表示部３０に表示させる。映像表示制御部５１は、進入情報記憶部６３に記憶される進入時刻及び退出情報記憶部６４に記憶される退出時刻と、映像記憶部６１に記憶される映像７４の時刻とを対応させることにより、映像７４のうち進入時刻から退出時刻までのシーンを抽出する。そして、映像表示制御部５１は、抽出シーンを表示部３０に表示させる。

抽出シーンを表示する場合、ハイライト表示制御部５７は、抽出シーンに対してハイライト表示を行う。ハイライト表示制御部５７は、ハイライト表示情報記憶部６５に記憶された表示データを選択して表示させたり、表示プログラム等を実行したりすることで、ハイライト表示を行う。この処理により、表示部３０は、映像選択部５６によって選択された映像７４のうち、進入時刻から退出時刻までの抽出シーンをハイライト表示により表示する。

図１０は、ハイライト表示の一例を示す図である。図１０に示すように、本実施形態においては、選択した映像７４を他の映像７０（７１〜７３、７５、７６）に比べて表示部３０に大きく表示させている。なお、ハイライト表示の例としては、これに限定されるものではなく、映像７０の外縁を目立たせる表示であってもよいし、選択した映像７４を指し示すアイコン等を表示させてもよい。

以上のように、本実施形態に係る映像処理装置４０は、複数のカメラ１０で撮影した試合場１の映像７０を表示部３０に並べて表示させる映像表示制御部５１と、表示部３０に表示される複数の映像７０内の一部に所定の設定領域Ａが設定された場合、設定領域Ａの位置を示す設定領域情報を取得する設定領域情報取得部５２と、映像７０内において設定領域Ａに選手が進入した場合、最初に進入した特定選手の進入時刻及び進入位置を含む進入情報を取得する進入情報取得部５３と、特定選手が設定領域Ａから退出した場合、特定選手が退出した退出時刻及び退出位置を含む退出情報を取得する退出情報取得部５４と、進入情報及び退出情報のうち少なくとも一方に基づいて、設定領域Ａを通過する仮想直線Ｌを設定する仮想直線設定部５５と、仮想直線Ｌの位置と複数のカメラ１０の位置とに基づいて、表示部３０に表示された複数の映像７０から１つ以上の映像７０を選択する映像選択部５６とを備える。

この映像処理装置４０は、特定選手が設定領域Ａに進入及び退出した場合、進入情報及び退出情報の少なくとも一方に基づいて１つ以上の映像７０を自動的に選択するため、特定選手Ｐの動きが判別しやすい映像７０を短時間で選択することができる。これにより、表示部３０に表示される複数の映像７０から特定選手の動きが判別しやすい所定の映像７０を選択する時間を短縮化できる。

また、本実施形態に係る映像処理装置４０において、映像表示制御部５１は、映像選択部５６により選択された映像７４のうち進入時刻から退出時刻までのシーンを表示部３０に表示させるため、映像７４のうちユーザの所望のシーンを抽出して表示させることができる。

また、本実施形態に係る映像処理装置４０は、表示部３０に表示されるシーンに対してハイライト表示を行うハイライト表示制御部５７を更に備えるため、映像７４の抽出シーンを容易にユーザに見つけさせることができる。これにより、表示部３０に表示される複数の映像７０の中からユーザが映像７４の抽出シーンを探し当てる時間を短縮させることができる。

また、本実施形態に係る映像処理装置４０において、仮想直線設定部５５は、設定領域Ａの重心位置Ｇと進入位置Ｉとを結ぶ線分と、重心位置Ｇと退出位置Ｅとを結ぶ線分とがなす角の二等分線を仮想直線Ｌとして設定する。これにより、特定選手Ｐが設定領域Ａに進入してから退出するまでの動きを好適な方向から撮影したカメラ１０を選択することができる。

また、本実施形態に係る映像処理装置４０において、映像７０、設定領域情報、進入情報及び退出情報を記憶する記憶部６０を備えるため、外部の記憶部等を用いなくても、制御部５０と連携した処理を高速で安定的に行うことが可能となる。

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記した実施形態において、仮想直線設定部５５は、設定領域Ａの重心位置Ｇと進入位置Ｉとを結ぶ線分と、重心位置Ｇと退出位置Ｅとを結ぶ線分とがなす角ＩＧＥの二等分線を仮想直線Ｌとして設定する態様を例に挙げて説明したが、これに限定されない。

図１１は、変形例に係る仮想直線の設定動作を示す図である。図１１に示すように、仮想直線設定部５５は、進入位置Ｉと退出位置Ｅとを結ぶ直線を仮想直線ＬＡとして設定してもよい。この場合、特定選手Ｐが移動する方向の前方に配置されるカメラ１０を選択することができる。

図１２は、変形例に係る仮想直線の設定動作を示す図である。図１２に示すように、進入情報取得部５３は、進入情報として、特定選手Ｐが設定領域Ａに進入する進入方向ＤＢを取得する。そして、仮想直線設定部５５は、進入位置Ｉを通過し、進入方向ＤＢに平行な直線を仮想直線ＬＢとして設定する。この場合、特定選手Ｐが設定領域Ａに進入する進入方向の前方に配置されるカメラ１０を選択することができる。

図１３は、変形例に係る仮想直線の設定動作を示す図である。図１３に示すように、退出情報取得部５４は、退出情報として、特定選手Ｐが設定領域Ａから退出する退出方向ＤＣを取得する。そして、仮想直線設定部５５は、退出位置Ｅを通過し、退出方向ＤＣに平行な直線を仮想直線ＬＣとして設定する。この場合、特定選手Ｐが設定領域Ａから退出する退出方向の前方に配置されるカメラ１０を選択することができる。

また、上記した実施形態において、仮想直線設定部５５は、仮想直線Ｌが重心位置Ｇに対して両側に延びる場合を例に挙げて説明したが、これに限定されない。例えば、仮想直線設定部５５は、重心位置Ｇから角ＩＧＥの角度が広角となる側にのみ延びるように仮想直線Ｌを設定してもよい。また、仮想直線設定部５５は、重心位置Ｇから角ＩＧＥの角度が狭角となる側にのみ延びるように仮想直線Ｌを設定してもよい。なお、仮想直線設定部５５は、異なる手法で求められる仮想直線Ｌを複数本同時に設定してもよい。

また、上記実施形態において、映像選択部５６は、仮想直線Ｌに基づいて１つのカメラ１０（カメラ１４）を選択し、映像７０（映像７４）を選択する場合を例に挙げて説明したが、これに限定されない。例えば、映像選択部５６は、仮想直線Ｌに基づいて複数のカメラ１０を選択した後、選択した複数のカメラ１０で撮影した映像７０のうち特定選手Ｐを認識できる時間が長い映像７０を選択してもよい。つまり、映像選択部５６は、複数の映像７０を段階的に選択することとし、その１つの選択段階において仮想直線Ｌを用いる態様であってもよい。

また、上記実施形態において、映像処理装置４０は、映像選択部５６により選択された映像７４を映像表示制御部５１により表示部３０に表示させる態様を例に挙げて説明したが、これに限定されない。例えば、映像処理装置４０は、映像選択部５６により選択された映像７４を表示部３０に表示させることなく、記憶部６０に記憶させてもよい。この場合、映像処理装置４０は、進入時刻から退出時刻までのシーンを抽出して記憶部６０に記憶させてもよい。

また、上記実施形態において、進入情報取得部５３は、設定領域Ａに最初に進入した特定選手Ｐの進入情報を取得する態様を例に挙げて説明したが、これに限定されない。例えば、進入情報取得部５３は、特定選手Ｐの進入情報に加えて、２番目に設定領域Ａに進入した選手の進入情報を取得してもよい。

同様に、上記実施形態において、退出情報取得部５４は、設定領域Ａから退出した特定選手Ｐの退出情報を取得する態様を例に挙げて説明したが、これに限定されない。例えば、退出情報取得部５４は、特定選手Ｐの退出情報に加えて、２番目に設定領域Ａに進入した選手が退出した場合の退出情報を取得してもよい。

このように、進入情報取得部５３及び退出情報取得部５４は、複数の選手の進入情報及び退出情報を取得してもよい。この場合、仮想直線設定部５５は、複数の選手の進入情報及び退出情報に基づいて仮想直線を設定する。この仮想直線は、１本であってもよいし、２本以上であってもよい。

映像選択部５６は、仮想直線が２本以上の場合、２本以上の仮想直線に基づいて映像を選択することができる。この場合、１本の仮想直線毎に１つ以上の映像を選択してもよいし、複数の仮想直線毎に１つ以上の映像を選択してもよい。

Ａ，Ａ１，Ａ２，Ａ３…設定領域、Ｅ…退出位置、Ｇ…重心位置、Ｉ…進入位置、Ｌ，ＬＡ，ＬＢ，ＬＣ…仮想直線、Ｐ…特定選手、ＤＢ…進入方向、ＤＣ…退出方向、ＥＧ，ＩＧ…線分、１…試合場、２…地面、３…フィールド、４…ライン、５，５ａ，５ｂ…サイドライン、６，６ａ，６ｂ…エンドライン、１０，１１〜１６…カメラ、２０…入力部、３０…表示部、４０…映像処理装置、５０…制御部、５１…映像表示制御部、５２…設定領域情報取得部、５３…進入情報取得部、５４…退出情報取得部、５５…仮想直線設定部、５６…映像選択部、５７…ハイライト表示制御部、６０…記憶部、６１…映像記憶部、６２…設定領域情報記憶部、６３…進入情報記憶部、６４…退出情報記憶部、６５…ハイライト表示情報記憶部、６６…選手情報記憶部、７０，７１〜７６…映像、１００…マルチカメラシステム。

Claims (11)

1. 複数のカメラで撮影した試合場の映像を表示部に並べて表示させる映像表示制御部と、
   前記表示部に表示される複数の前記映像内の一部に所定の設定領域が設定された場合、前記設定領域の範囲を示す設定領域情報を取得する設定領域情報取得部と、
   前記映像内において前記設定領域に選手が進入した場合、最初に進入した前記選手である特定選手の進入時刻及び進入位置を含む進入情報を取得する進入情報取得部と、
   前記特定選手が前記設定領域から退出した場合、前記特定選手が退出した退出時刻及び退出位置を含む退出情報を取得する退出情報取得部と、
   前記進入情報及び前記退出情報のうち少なくとも一方に基づいて、前記設定領域を通過する仮想直線を設定する仮想直線設定部と、
   前記仮想直線の位置と複数の前記カメラの位置とに基づいて、前記表示部に表示された複数の前記映像から１つ以上の前記映像を選択する映像選択部と
   を備える映像処理装置。
2. 前記映像表示制御部は、前記映像選択部により選択された前記映像のうち前記進入時刻から前記退出時刻までのシーンを前記表示部に表示させる
   請求項１に記載の映像処理装置。
3. 前記表示部に表示される前記シーンに対してハイライト表示を行うハイライト表示制御部を更に備える
   請求項２に記載の映像処理装置。
4. 前記仮想直線設定部は、前記設定領域の重心位置と前記進入位置とを結ぶ線分と、前記重心位置と前記退出位置とを結ぶ線分とがなす角の二等分線を前記仮想直線として設定する
   請求項１から請求項３のいずれか一項に記載の映像処理装置。
5. 前記仮想直線設定部は、前記進入位置と前記退出位置とを結ぶ直線を前記仮想直線として設定する
   請求項１から請求項３のいずれか一項に記載の映像処理装置。
6. 前記進入情報は、前記特定選手が前記設定領域に進入する進入方向を含み、
   前記進入情報取得部は、前記進入情報として前記進入方向を取得し、
   前記仮想直線設定部は、前記進入位置を通り前記進入方向に平行な直線を前記仮想直線として設定する
   請求項１から請求項３のいずれか一項に記載の映像処理装置。
7. 前記退出情報は、前記特定選手が前記設定領域から退出する退出方向を含み、
   前記退出情報取得部は、前記退出情報として前記退出方向を取得し、
   前記仮想直線設定部は、前記退出位置を通り前記退出方向に平行な直線を前記仮想直線として設定する
   請求項１から請求項３のいずれか一項に記載の映像処理装置。
8. 前記映像、前記設定領域情報、前記進入情報及び前記退出情報を記憶する記憶部を更に備える
   請求項１から請求項７のいずれか一項に記載の映像処理装置。
9. 互いに異なる角度から試合場を撮影する複数のカメラと、
   複数の前記カメラで撮影した映像を表示可能な表示部と、
   前記映像を処理する請求項１から請求項７のいずれか一項に記載の映像処理装置と
   を備えるマルチカメラシステム。
10. 複数のカメラで撮影した試合場の映像を表示部に並べて表示させることと、
    前記表示部に表示される複数の前記映像内の一部に所定の設定領域が設定された場合、前記設定領域の範囲を示す設定領域情報を取得することと、
    前記映像内において前記設定領域に選手が進入した場合、最初に進入した前記選手である特定選手の進入時刻及び進入位置を含む進入情報を取得することと、
    前記特定選手が前記設定領域から退出した場合、前記特定選手が退出した退出時刻及び退出位置を含む退出情報を取得することと、
    前記進入情報及び前記退出情報のうち少なくとも一方に基づいて、前記設定領域を通過する仮想直線を設定することと、
    前記仮想直線の位置と複数の前記カメラの位置とに基づいて、前記表示部に表示された複数の前記映像から１つ以上の前記映像を選択することと
    を含む映像処理方法。
11. 複数のカメラで撮影した試合場の映像を表示部に並べて表示させる処理と、
    前記表示部に表示される複数の前記映像内の一部に所定の設定領域が設定された場合、前記設定領域の範囲を示す設定領域情報を取得する処理と、
    前記映像内において前記設定領域に選手が進入した場合、最初に進入した前記選手である特定選手の進入時刻及び進入位置を含む進入情報を取得する処理と、
    前記特定選手が前記設定領域から退出した場合、前記特定選手が退出した退出時刻及び退出位置を含む退出情報を取得する処理と、
    前記進入情報及び前記退出情報のうち少なくとも一方に基づいて、前記設定領域を通過する仮想直線を設定する処理と、
    前記仮想直線の位置と複数の前記カメラの位置とに基づいて、前記表示部に表示された複数の前記映像から１つ以上の前記映像を選択する処理と
    をコンピュータに実行させる映像処理プログラム。

Images