JP7113193B2 - 選手状態特定方法および選手状態特定装置 - Google Patents

Description

本開示は、選手状態特定方法および装置に関する。

従来から、映像において移動体を追跡する移動体追跡装置が知られている。例えば、特許文献１に記載の技術では、過去のフレーム画像における移動体の位置情報に基づき今回のフレーム画像における移動体の予測位置を求める。そして、今回のフレーム画像における画像データから移動体に特有の所定の特徴を持つ候補物体を抽出し、抽出された候補物体のうち予測位置により近い候補物体を移動体として割り当てる。

特開２００４－４６６４７号公報

本開示は、プールの中に存在する選手の状態を精度よく特定する方法および装置に関する。

本開示における選手状態特定方法および選手状態特定装置は、映像に対して選手を検出する処理を行った結果を参照し、選手がプールの端側の領域に存在した以降の選手の検出の結果に基づいて、選手の進行方向をそれまでの進行方向とは異なる方向であると特定する。

本開示における選手状態特定方法および選手状態特定装置は、プールの中に存在する選手の状態を精度よく特定するのに有効である。

図１は、実施の形態１における選手状態特定装置の使用の様子を示す図である。 図２は、実施の形態１におけるプールにおける水泳競技画像を撮影した映像の例を示す図である。 図３は、実施の形態１における選手状態特定装置の構成を示す図である。 図４は、実施の形態１における選手状態特定装置の基本動作を説明するフローチャートである。 図５は、実施の形態１において映像に進行方向が重畳された例を示す図である。 図６は、実施の形態１において映像に検出結果が重畳された例を示す図である。 図７は、選手位置修正処理を説明するフローチャートである。 図８は、検出結果有効化処理を説明するフローチャートである。 図９は、検出結果無効化処理を説明するフローチャートである。 図１０は、選手位置がプール端に差し掛かった例を示す図である。 図１１は、ターン検知処理を説明するフローチャートである。 図１２は、実施の形態１におけるターン検知の際の表示部の様子を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１～１２を用いて、実施の形態１を説明する。

［１－１．構成］
図１は、実施の形態１における選手状態特定装置の使用の様子を示す図である。

選手状態特定装置１００は、汎用コンピュータに選手状態特定プログラムがインストールされたものである。選手状態特定装置１００は撮像装置２００と通信可能に接続される。選手状態特定装置１００は専用の組込み機器であってもよいし、ハードウェア的に構成されてもよい。選手状態特定装置１００は典型的には映像を編集することで、最終的な映像コンテンツを生成するための装置である。よって、選手状態特定装置１００のユーザは映像の編集作業を担当する作業者であることが想定される。

撮像装置２００は、ビデオカメラである。撮像装置２００はプール３００を図１に示すように俯瞰して撮像する。撮像装置２００が撮像した動画ないし画像は選手状態特定装置１００へ送信される。

プール３００は、複数のレーンを有する。プール３００にはコースロープ３０２が複数張られている。なお、図１においては最上部のコースロープのみに符号を付したが、図１における破線状のものはコースロープを表す。コースロープ３０２はレーンを仕切る目印である。レーンはコースロープ３０２と隣接するコースロープとの間の領域である。

図２は、実施の形態１におけるプールにおける水泳競技画像を撮影した映像の例を示す図である。図１に示すように、実施の形態１においては、撮像装置２００がプール３００を俯瞰するように撮像する。そのため、図２に示すように撮像装置２００が撮像した画像は奥から手前にかけてプール３００が広がって見える画像となる。本実施の形態では処理対象となる映像はプールにおける水泳競技を撮影した映像である。選手３１０はプールの中を泳いでいる。

図３は、実施の形態１における選手状態特定装置の構成を示す図である。選手状態特定装置１００はプロセッサ１０１と、記憶部１０２と、通信部１０３と、入力部１０４と、表示部１０５と、バス１０６とを有する。

プロセッサ１０１は演算を行うことで選手状態特定装置の他の構成要素を制御する。

記憶部１０２は情報を一時的に、あるいは恒久的に記憶する。記憶部１０２は選手状態特定装置のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などに相当する。選手状態特定装置１００は用途やアクセススピードの必要性に応じて記憶部１０２を複数備えても良い。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などを適用することで記憶部１０２を構成することができる。

通信部１０３は、選手状態特定装置１００と撮像装置２００とを接続するインターフェースである。通信部１０３は、有線接続インターフェースでも良いし、無線接続インターフェースでも良い。通信部１０３は、撮像装置２００が撮像した動画または画像を選手状態特定装置１００に送信するためのものである。よって、記憶媒体を用いて動画または画像を撮像装置２００から選手状態特定装置１００へ移動する場合は、通信部１０３は必須の構成ではない。

入力部１０４は外部からの信号を受け付ける。入力部１０４は選手状態特定装置１００の入力装置や入力インターフェースなどに相当する。マウスやキーボードなどの入力装置、通信ポートや無線通信デバイスなどの入力インターフェースを適用することで入力部１０４を構成することができる。

表示部１０５は外部へ情報を表示する。液晶ディスプレイなどを適用することで表示部１０５を構成することができる。

バス１０６は選手状態特定装置１００を構成する各要素を接続する経路である。プロセッサ１０１にバス１０６を統合することでプロセッサ１０１の内部にバス１０６を構成することもできる。バス１０６は各要素を有線で接続しても良いし、各要素を無線で接続しても良い。

以上に述べた選手状態特定装置１００の構成は一例である。したがって以上に述べた構成に別の構成要素を追加することで選手状態特定装置１００を構成してもよい。また、以上に述べた構成から構成要素の一部を必要に応じて削除することで選手状態特定装置１００を構成してもよい。また、以上に述べた構成要素を互いに統合することで選手状態特定装置１００を構成してもよい。また、以上に述べた構成要素を以上の構成要素に分離して選手状態特定装置１００を構成してもよい。

［１－２．動作］
以上に述べた選手状態特定装置１００の動作を説明する。なお、選手状態特定装置１００は主としてプロセッサ１０１が選手状態特定装置１００の各要素と協業してプログラムを実行することで動作するものである。

［１－２－１．基本動作］
図４は、実施の形態１における選手状態特定装置の基本動作を説明するフローチャートである。

ステップＳ４００において、選手状態特定装置１００は、撮像装置２００から通信部１０３を介して映像を受け取る。

プロセッサ１０１はステップＳ４００で受け取った動画内の領域においてレーンを現す領域がどこであるかを定義する。選手状態特定装置１００がレーンを現す領域を定義する方法はさまざまなものが考えられる。たとえば、選手状態特定装置１００の使用者が映像内の所定の範囲を、入力部１０４を介して指定し、当該指定された範囲がレーンであるとプロセッサ１０１が定義してもよい。また、映像内からコースロープ３０２を検出し、当該検出されたコースロープ３０２の間の領域がレーンであると、プロセッサ１０１が定義してもよい。レーンは複数が定義されてもよいし、ひとつのみが定義されてもよい。以降の処理は特に言及しない限りレーン（およびレーン内の選手）毎に独立に処理がされる。

レーン領域の定義が完了するとプロセッサ１０１は、映像を再生して表示部１０５に表示する。以降の処理は映像が再生された状態で行われてもよいし、映像が停止した状態で行われてもよい。プロセッサ１０１は以降の処理で受け付ける入力を、表示部１０５で再生中の映像の一コマ（画像）に対する入力として認識する。

ステップＳ４０２において、プロセッサ１０１は映像におけるレーン領域それぞれに重畳する形で選手の進行方向を、表示部１０５を介して表示する。ステップＳ４０２で表示される進行方向を初期方向と呼ぶ。

図５は、実施の形態１において映像に進行方向が重畳された例を示す図である。進行方向５００は図５において上向きの三角形で表現される。進行方向５００は、図５の中央を縦方向に走るレーン３本に対応する形で、３つが映像中に重畳されている。図５において進行方向５００が指し示す方向は上向きである。本実施の形態においては、スタート直後の選手が泳ぎだす方向は手前から奥に向かう方向であることを前提としている。よって、初期方向は上向きとなっている。

ステップＳ４０４において、プロセッサ１０１は選手状態特定装置１００のユーザから進行方向の変更指示を受け付けたか否かを判定する。水泳競技の種類によってはスタート直後の選手が泳ぎだす方向が奥方向から手前である場合がある。そのような場合に、ユーザは入力部１０４を介して進行方向を変更する旨を入力する。

ステップＳ４０６（ステップＳ４０４でＹｅｓ）において、プロセッサ１０１は選手状態特定装置１００のユーザから受け付けた変更指示に基づいて進行方向を変更する。水泳競技における選手の進行方向は原則２方向（順方向と反対方向）である。よって、本実施の形態では変更指示を受け付けると、プロセッサ１０１は進行方向を反転させる。プロセッサ１０１が進行方向を判定させると表示部１０５にも反映がされる。なお、ステップＳ４０４において行われた変更指示は初期方向に対する変更指示であるから、個別のレーンに対する進行方向を変更する指示ではなくレーン全体に対する進行方向を変更する指示であると考えられる。よって、ステップＳ４０４における方向変更入力は、全レーンを対象とする変更入力として、入力部１０４のショートカットキーの押下などの簡易な入力によって行われる。

ステップＳ４０８において、プロセッサ１０１は選手状態特定装置１００のユーザから追跡開始の指示を受け付けたか否かを判定する。選手状態特定装置１００のユーザは再生中の映像を観ながら所定のタイミングで入力部１０４を用いて追跡指示を入力する。本実施の形態において所定のタイミングとは水泳競技がスタートするタイミングを想定している。追跡指示が入力されると後述するように映像中から選手を検出する処理が開始する。水泳競技がスタートするタイミング以前から選手を検出するとプロセッサ１０１への負荷が高くなり、また選手を検出する処理で得られるデータが競技中以外のものを含むことになるためデータの有用性が落ちるおそれがある。なお、ステップＳ４０８においてプロセッサ１０１が追跡開始の指示を受け付けていない場合（ステップＳ４０８でＮｏ）、処理がステップＳ４０４へとループする。

ステップＳ４１０（ステップＳ４０８でＹｅｓ）において、プロセッサ１０１は映像に対して選手を検出する処理を行う。選手の検出は映像における選手の座標（＝選手位置）を特定することで行われる。

本実施の形態においてプロセッサ１０１は、背景画像（あらかじめ無人のプールを撮像することで得られる）と、現在表示中の画像との差分（＝背景差分）が大きい領域の中心座標を選手位置として検出する。なお、選手を検出するために背景差分を用いることは必須ではなくフレーム間差分（前の画像と後ろの画像との差分）が大きい領域の中心座標を選手位置として検出してもよい。また、表示中の画像の色相成分を用いて、前景の画素を抽出し、前景の画素が繋がって大きな領域となっている領域（前景領域）の中心座標を選手位置として検出しても良い。

本実施の形態では、検出の精度を高めるため、選手の検出を行う領域を限定する。この領域を検出対象領域という。本実施の形態において検出対象領域は、前の画像における選手位置の周囲を占める領域とする。好ましくは検出対象領域の形は、前の画像における選手位置よりも進行方向に偏らせた形とすることが望ましい。本実施の形態において選手の検出はレーン毎に行われる。よって、レーン毎に検出対象領域が設定される。検出対象領域の初期値はスタート地点から（現実のプールにおいて）５～１０ｍ付近の箇所とした。スタート直後の領域は選手が深く潜っている（潜水している）ため、選手の検出が困難であることが多いためである。

映像に対して選手を検出する処理を行っても必ずしも選手が検出されるとは限らない。たとえば背景差分、フレーム間差分、前景領域等がうまく抽出できない場合は選手が検出できない。上述したように選手が深く潜っている場合は背景差分、フレーム間差分、前景領域等がうまく抽出できないことが多い。そこで、後述する検出結果無効化処理や選手位置修正処理を必要に応じて行うと良い。

ステップＳ４１２において、プロセッサ１０１は、映像における選手位置に検出結果を重畳して表示する。

図６は、実施の形態１において映像に検出結果が重畳された例を示す図である。検出結果６００は図６に示すようにレーン毎に選手の位置にほぼ一致して表示される。本実施の形態において検出結果６００は選手位置を中心とする円である。なお、検出結果６００はステップＳ４１０によって得られた選手位置そのものに基づいて表示されるのではなくてもよい。つまり、選手位置をそれまでの選手位置等の履歴等に基づいて補正したものに基づいて表示されてもよい。また、映像編集の便宜のために、ステップＳ４１０によって得られた選手位置そのものに基づいた検出結果と、選手位置を補正したものに基づいた検出結果とを同時に表示してもよい。

ステップＳ４１４において、プロセッサ１０１は検出対象領域の更新を行う。

ステップＳ４１６において、プロセッサ１０１は選手状態特定装置１００のユーザから処理終了の指示を受け付けたか否かを判定する。選手状態特定装置１００のユーザは、映像中の競技が終了したことを確認すると入力部１０４を介して処理終了の指示を入力する。処理終了の指示を受け付ける（ステップＳ４１６でＹｅｓ）と、選手状態特定装置の処理が終了する。

処理終了の指示入力を受け付けていない（ステップＳ４１６でＮｏ）間は処理がＳ４１０へループする。このステップＳ４１０～ステップＳ４１６のループ内に処理が存在する状態を選手検出処理状態という。

以降では、選手検出処理状態中における、選手状態特定装置１００のユーザからの指示に基づいて、選手状態特定装置１００が行う処理を説明する。なお、以降の処理は必ずしも選手検出を実際に動作している最中に並行して行われる必要はない。一連の映像において選手を検出し終わった結果のリスト（選手位置のリスト）をプロセッサ１０１が参照しながら、以降の処理を行うことも可能である。

［１－２－２．選手位置修正処理］
図７は、選手位置修正処理を説明するフローチャートである。

ステップＳ７００において、プロセッサ１０１は、選手状態特定装置１００のユーザから選手位置の修正の指示を受け付けたか否かを判定する。

ステップＳ４１０における選手検出の結果が誤っている場合、選手状態特定装置１００のユーザは、映像中において選手が真に存在する箇所をクリックする。当該クリックを選手位置の修正の指示としてプロセッサ１０１は受け付ける。ここでの入力はクリック操作に限定されず、映像中の座標を特定することができる入力であれば、タッチパネルやキーボードによって入力されてもよい。

ステップＳ７０２（ステップＳ７００でＹｅｓ）において、プロセッサ１０１は、選手位置の修正の指示として受け付けたクリックの映像中における座標で、ステップＳ４１０において得た選手位置を更新する。選手位置が更新されると処理がステップＳ４１２へ戻る。

［１－２－３．検出結果有効化処理］
図８は、検出結果有効化処理を説明するフローチャートである。

ステップＳ８００において、プロセッサ１０１は、選手状態特定装置１００のユーザから検出結果の有効化指示を受け付けたか否かを判定する。

選手状態特定装置１００のユーザが選手状態特定装置１００を用いて映像を編集している際に確認する映像と、編集によって最終的に得られる映像コンテンツの映像とは異なる。映像コンテンツの映像においては、映像における選手の付近に選手の氏名、国籍、泳ぐ速度などの選手の属性などを表す情報（＝選手に関する情報）を表すＣＧなどが重畳されることになる。一方で、今までに述べた進行方向や、検出結果はユーザが選手状態特定装置１００の処理内容を確認する為に表示されるものであるから映像コンテンツには表示されない場合がある。

映像コンテンツを作成するために、ユーザは選手状態特定装置１００を用いることで選手の位置、進行方向、位置に基づく速度などの情報（選手状態）を得る。当該選手状態をＣＧ合成プログラムに渡すことで、当該選手状態に基づいて映像にＣＧを合成することができる。映像にＣＧを合成することで映像コンテンツが生成されることになる。たとえばＣＧ合成プログラムにおいては、選手位置を基準に進行方向とは逆方向に存在する領域にＣＧを合成することで選手の後ろにＣＧが追従する映像コンテンツを作成することが行われる。

検出結果有効化処理は、選手状態特定装置１００の検出結果を有効に設定する処理である。検出結果が有効であるか無効であるかの情報は、ＣＧ合成プログラムに渡される情報の一種である。ＣＧ合成プログラムは、検出結果の有効／無効に基づいて、当該検出結果を有する画像に（１）ＣＧを合成する／しないを決定する、または（２）ＣＧの状態（色、形状、文字など）を変更する、などの処理を行うことでＣＧの表示状態を切り替える。

本実施の形態では、検出結果の有効／無効は選手状態特定装置１００が自律的に切り替える場合もあれば、ユーザの指示に基づいて切り替える場合もある。

本実施の形態では、選手検出処理状態においては、ユーザは入力部１０４を介して随時検出結果の有効／無効を指示することができる。

ステップＳ８０２（ステップＳ８００でＹｅｓ）において、プロセッサ１０１は表示部１０５における検出結果の表示方法を変更する。検出結果の表示方法を変更するにはたとえば検出結果６００の色などを変更することなどが挙げられる。このようにすると、選手状態特定装置１００のユーザにとって検出結果が現在有効であるか否かが明確になり、最終的な映像コンテンツの仕上がりをユーザにとって想定しやすくなる。

本実施の形態において、選手がスタート台にいる間は、遠近法の関係から、選手があたかもスタート台から５ｍほど奥にいるように、選手位置を誤検知してしまうおそれがある。そこで、本実施の形態においては、プロセッサ１０１はデフォルトでは検出結果を無効としている。そして、水泳競技がスタートして選手が５ｍほど泳いだことをユーザが確認した後に、ユーザが検出結果の有効化指示を入力することを本実施の形態では想定している。

なお、プロセッサ１０１が検出結果有効化処理を自動で行うことも可能である。検出結果有効化処理を自動化する方法としては、背景差分が（１）プールのスタート台側端から５ｍ付近以内（あらかじめ映像内で領域を設定する）において（２）所定のサイズ以上（ノイズ除去のため）かつ（３）第２の所定のサイズ以下（スタート台上の選手と区別するため）で存在したことをもって、プロセッサ１０１が検出結果を有効に切り替えることが考えられる。なお、映像ノイズに基づく誤検知を低減するために上記（１）（２）（３）の条件が複数の画像において成立したことを条件として加えてもよい。

検出結果が有効に切り替えられると処理がステップＳ４１２へ戻る。

［１－２－４．検出結果無効化処理］
図９は、検出結果無効化処理を説明するフローチャートである。

上述したように、ステップＳ４１０で述べた選手検出は選手が深く潜っている場合は誤検出をするおそれがある。ここで、水泳競技において選手はプールの端（図２等におけるプールの上側端および下側端）でターンを行うために深く潜る。また、プールの端にはタッチパネルが設置されており、選手がコース端に到達したタイミングなどはタッチパネルのデータから取得可能であるため、映像から位置を取得する需要も低い。

よって、本実施の形態では選手がプールの端にいる場合は検出結果を無効にするべくプロセッサ１０１が図９に示す処理を行う。

ステップＳ９００において、プロセッサ１０１は選手位置がプール端に存在するか否かの判定を行う。図１０は、選手位置がプール端に差し掛かった例を示す図である。図１０に示されるように、映像中においてプール端の領域１０００はあらかじめユーザによって入力部１０４を介して指定されている。図１０に示すように、検出結果６００の中心（≒選手位置）がプール端の領域１０００に存在すると、プロセッサ１０１は選手位置がプール端に存在すると判定する。

ステップＳ９０２（ステップＳ９００でＹｅｓ）において、プロセッサ１０１は選手位置が不詳であるか否かを判定する。選手位置が不詳であるとは選手位置が検出されていないか、または選手位置が以前の選手位置と所定の範囲内にある場合を指す。なお、本ステップの処理を行うと選手位置が連続して端に存在することを改めて確認できるため、ステップＳ９００において、水しぶきや審判などを選手として誤検出した場合であっても、本ステップにてステップＳ９００の結果を校正することができる。結果として本ステップを行うことで、ステップＳ９００において判定した結果の信頼性が向上するという利点がある。しかし、本ステップの処理は検出結果無効化するために必須の処理ではない。

ステップＳ９０４（ステップＳ９０２でＹｅｓ）において、プロセッサ１０１は検出結果を無効へ切り替える。本実施の形態では上述したようにスタート後に検出結果が有効から無効へ切り替えた後に選手がプールの端に侵入することを想定している。

ステップＳ９０６において、プロセッサ１０１は表示部１０５における検出結果の表示方法を変更する。検出結果の表示方法を変更するにはたとえば検出結果６００の色などを変更することなどが挙げられる。このようにすると、選手状態特定装置１００のユーザにとって検出結果が現在無効であるか否かが明確になり、最終的な映像コンテンツの仕上がりをユーザにとって想定しやすくなる。

ステップＳ９０８において、プロセッサ１０１は処理の内部状態をターン判定状態にする。ターン判定状態とは後述するターン検知処理を行う状態である。なお、ターン検出状態は選手検出処理状態でもある。

検出結果が無効に切り替えられると処理がステップＳ４１２へ戻る。

［１－２－４－１．ターン検知処理］
図１１は、ターン検知処理を説明するフローチャートである。

ステップＳ９０８において、ターン判定状態になった際の処理を説明する。なお、ターン検出状態は選手検出処理状態でもあるから、ターン判定状態であってもステップＳ４１０～ステップＳ４１６のループ処理や、その他の処理もターン検知処理と並行して行われる。

ステップＳ１１００において、プロセッサ１０１はターンが検知されたか否かを判定する。プロセッサ１０１は、ターンを選手検出の結果に基づいて検知する。選手検出の結果に基づいてターンを検知する方法は複数のものが考えられる。本実施の形態では、選手検出位置が、ターン検出状態となってから所定の期間（＝所定のフレーム画像）において選手を検出できた回数が、閾値以下の場合にターンを検出する。ターンの最中は選手位置を検知し難い一方で、ターンに要する通常の期間は既知であるため、このような判定基準を用いることでターンを適切に検知することができる。

他のターン検出方法としては、例えば、選手検出の結果に信頼度指標を設けることが考えられる。すなわち、選手検出位置が、ターン検出状態となってから所定の期間（＝所定のフレーム画像）において当該信頼度指標が所定の値を下回る回数が所定の回数以上ある場合にターンを検出することが考えられる。

また、他のターン検出手法としては、例えば選手検出ができなかった場合に選手位置を前フレームと同一のものとするようにすることが考えられる。すなわち、ターン検出状態となってから所定の期間（＝所定のフレーム画像）において、選手位置が、前回ターン検出状態となった場所から所定の範囲内に存在する回数が所定の回数以上ある場合にターンを検出することが考えられる。

ステップＳ１１０２において、プロセッサ１０１はターンを検知したレーンにおける進行方向を変更する。

ステップＳ１１０４において、プロセッサ１０１はプール端の領域１０００以外の領域で選手位置を検知したか否かを判定する。上述したように、ステップＳ９０４においてはＣＧを合成する需要が少ないため一時的に検出結果を無効に切り替えた。一方で、選手がプール端の領域から出た場合は再びＣＧを合成する需要が存在する。よって、ステップＳ１１０４において、プロセッサ１０１はプール端の領域１０００以外の領域で選手位置を検知したか否かを判定する。

ステップＳ１１０６（ステップＳ１１０４でＹｅｓ）において、プロセッサ１０１は検出結果を有効へ切り替える。

ステップＳ１１０８において、プロセッサ１０１はステップＳ８０２と同様に表示方法を変更する。

図１２は、実施の形態１におけるターン検知の際の表示部の様子を示す図である。

図１２に示されるように、左端の選手はプロセッサ１０１によってターンを検知されたため、進行方向５００の向きが下向きへと変更されている。なお進行方向５００は、図１２に示すように、向きに応じて色を変更してもよい。また、左端の選手は検出結果が無効に設定されているため検出結果６００の色が図１０等とは異なる。

図１２に示されるように、中央の選手は、プロセッサ１０１によってターンを検知され、かつ、プール端の領域１０００以外の領域で選手位置を検知されているので、進行方向５００の向きが下向きでかつ、検出結果６００の色が図１０等と同じである。

図１２に示されるように、右端の選手は、プロセッサ１０１によってターンを検知されていない（ターン判定状態ではある）ので、進行方向５００の向きが変更されていない。また、左端の選手は検出結果が無効に設定されているため検出結果６００の色が図１０等とは異なる。

ターンが検知され、検出結果が有効に切り替えられると処理がステップＳ４１２へ戻る。なお、ターン判定状態は終了する。

なお、以上述べたように選手状態特定装置１００は、ターンを検知して進行方向を変更するものであるが、ターンの検知に失敗した場合に備え、選手検出処理状態におけるユーザの入力に基づいて進行方向を変更するようにプロセッサ１０１が処理を行ってもよい。この入力はたとえば、映像上のレーンを入力部１０４としてのマウスを用いて右クリックすることでレーンを特定することで、進行方向を変更するレーンをプロセッサ１０１が認識するようにすると、ユーザの認識結果を即座に進行方向に反映することができるという利点がある。

［１－３．効果等］
以上のように、本実施の形態において、選手状態特定装置１００のプロセッサ１０１は、映像に対して選手を検出する処理を行った結果を参照し、選手がプールの端側の領域に存在した以降の選手の検出の結果に基づいて、選手の進行方向をそれまでの進行方向とは異なる方向であると特定する。

これにより、上述したようにプールの中に存在する選手の状態を精度よく特定することができる。

また、本実施の形態において、プロセッサ１０１は、選手がプールの端側の領域に存在した以降、所定の期間内に選手を検出できた回数が、閾値以下の場合に選手の進行方向をそれまでの進行方向とは異なる方向であると特定する。これにより、上述したようにプールの中に存在する選手の状態をより精度よく特定することができる。

また、本実施の形態において、プロセッサ１０１は、選手がプールの端側の領域に存在した以降、選手を検出できない状態となったプール中の場所から所定の距離以上近接した場所において、選手を検出できた場合に選手の進行方向をそれまでの進行方向とは異なる方向であると特定する。これにより、パターンを算出する精度が向上するため、画像の中に存在するレーンの領域をより精度よく特定することができる。これにより、上述したようにプールの中に存在する選手の状態をより精度よく特定することができる。

また、本実施の形態において、プロセッサ１０１は、映像に選手に関する情報を合成する際の、情報の表示状態を切り替える為の表示制御情報（本実施の形態においては検出結果の有効／無効）を生成し、選手がプールの端側の領域に存在した場合に、表示制御情報を、情報を表示させない旨を表す情報として定める。これにより、選手状態を用いて映像コンテンツを作成する際の効率を向上させることができる。

また、本実施の形態において、プロセッサ１０１は、映像に前記選手に関する情報を合成する際の、情報の表示状態を切り替える為の表示制御情報を生成し、選手の進行方向をそれまでの進行方向とは異なる方向であると特定した後に、プールの端側の領域外で、選手が映像から検出された場合に、表示制御情報を、情報を表示させる旨を表す情報として定める。これによっても、選手状態を用いて映像コンテンツを作成する際の効率を向上させることができる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

同様に、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１では、ステップＳ４１０において映像に対して選手を検出する処理を行った。他の実施の形態として、ステップＳ４１０の処理に以下の処理を付加することで検出の精度を高めても良い。

すなわちＳ４１０に、レーン毎に検出無効領域の座標を記憶部１０２へ記録することで予め定義した上で、当該検出無効領域で選手を検出した場合は当該検出結果を無効とする処理を付加しても良い。検出結果を無効とした場合は、それ以前に選手を検出した位置の履歴に基づいて選手位置を定義すると良い。選手を検出した位置の履歴に基づいて選手位置を定義する処理の一例としては、選手が等速直線運動をしていると仮定して選手位置を定義することが挙げられる。

上述した処理は、選手が誤って検出される傾向のある領域が存在する場合に有効である。選手が誤って検出される傾向のある領域は、カメラの特性、レーンの特性、競技場の特性によって生じうる。このようにすると、誤検出を無効とした上で、選手が存在する蓋然性の高い位置を選手位置と定義できるので、選手検出の精度を高めることができる。

また、実施の形態１ではプール端の領域１０００は固定の領域であったが、これを選手の進行方向に応じてサイズの変化する領域として置き換えても良い。

すなわち、プールの端が選手の進行方向の先に存在する場合は、プールの端が選手の進行方向の後に存在する場合よりもプール端の領域１０００を短く（プールの端寄りに狭く）定義しても良い。具体的には、プール端の領域１０００はユーザによって指定されるので、当該指定された領域のサイズを基準として、上記条件を満たすようにプロセッサ１０１が領域の奥行き方向を算出すればよい。

上述した処理は、選手の検出結果を有効とする期間を長引かせることができるので有効である。プール端の領域１０００を定義した意義の一つは、選手が潜水を行っている場合に誤検出を避ける為である。しかし、プールの端が選手の進行方向に存在する場合に選手が潜水する区間は、プールの端が選手の進行方向の逆に存在する場合に選手が潜水する区間よりも短い。プールの端が選手の進行方向の逆に存在する場合（選手がターンした後）は選手が潜水を行うのに対して、プールの端が選手の進行方向に存在する場合はそのような事情が無いからである。よって、上述したようにプール端の領域１０００のサイズを選手の進行方向に応じて変化させることで、選手の検出結果を有効とする期間を長引かせることができる。選手の検出結果を有効とする期間を長引かせることができるとＣＧを合成することができる期間も長引かせることができる。

また、実施の形態１で説明した処理に加えて、選手の順位を算出する処理を付加してもよい。

選手の順位を算出する方法の一例としては、選手位置および当該選手のターン回数から算出する方法があげられる。選手位置のみでは、ターン前とターン後で同じ位置に存在することが考えられる。そこで、ターン回数を考慮することで正確な順位を算出することが可能になる。

ここで、選手の順位をＣＧ等で表示する場合は選手の順位がめまぐるしく変わることがＣＧ等を視認する者に嫌われる場合がある。そのような場合は、過去の数秒間の順位を合計してもっとも合計値の低い選手を１位、次に合計値の低い選手を２位、・・・、のように過去の順位の履歴から選手の順位を算出すると良い。

なお、算出した選手の順位が同順位となる場合がある。複数の選手が同じ順位に存在するという結果を算出することが望ましくない場合には以下の優先度に従って、算出した順位を補正すると良い。優先度の例としては（１）単位時間当たりの移動量（速度）が比較的高い選手がいればその選手を上位とする（２）中央のレーンに存在する選手を上位とするなどが考えられる。好ましくはまず（１）の優先度に従って順位を補正し、その上で同順位の選手がいれば（２）の優先度に従って順位を補正すると良い。（１）の基準によれば、瞬間的に同じような位置に選手が存在しても、その後すぐに順位の変動が予想されるため、順位を補正しても問題が少ない。（２）の基準によれば、一般的に水泳競技においては中央のレーンに存在する選手の能力が高いと考えられているため、順位を補正しても問題が少ない。

また、実施の形態１においては、映像に写されたままの形状の競技場（プール）に対して処理を行ったが、当該競技場の形状を補正する処理を付加して上で実施の形態１における処理を行ってもよい。

すなわち、映像に写された競技場の上下左右四隅をユーザが指定し、プロセッサ１０１が当該四隅の座標に基づいて映像の座標系を台形補正することで、競技場の形を任意の矩形（例えば十分な大きさの長方形）に変換しても良い。

このようにすると、より選手検出の精度を高めることが可能である。例えば、競技場に設置されるカメラの角度によっては、パースによってレーンの奥側が小さくなりすぎる場合があり、実施の形態１の処理の精度が落ちる場合がある。また、撮影した競技場が横向きである場合は、実施の形態１の処理をそのまま（プログラムの内容を変更せず）行うためには縦向きの競技場に変換する必要がある。上述した映像の座標系を台形補正する処理を行うことにより、撮影された競技場の形状が正規化されるため、実施の形態１の処理を安定して行うことができる。

また、上述した映像の座標系を台形補正する処理を行った場合、撮影されたままの映像と合わせて、台形補正後の競技場映像を表示し、前述の選手位置修正処理を台形補正後の競技場映像上で行うとしても良い。撮影した競技場が横向きである場合は、撮影されたままの映像においてはカメラから遠くに位置するレーンが画像上小さいため、選手位置修正処理において映像中の選手が真に存在する箇所を確認およびクリックすることが困難となる。上述した台形補正後の競技場映像上においては、撮影された競技場の形状が正規化されるため、選手が真に存在する箇所の確認およびクリックを精度良く行うことができる。

本開示は、映像中の選手の状態を特定する方法または装置に適用可能である。たとえばスポーツ映像等の解析を取り扱う為のコンピュータに適用可能である。

１００ 選手状態特定装置
１０１ プロセッサ
１０２ 記憶部
１０３ 通信部
１０４ 入力部
１０５ 表示部
１０６ バス
２００ 撮像装置
３００ プール
３０２ コースロープ
３１０ 選手
５００ 進行方向
６００ 検出結果
１０００ 領域

Claims (12)

1. プールにおける水泳競技を撮影した映像に存在する選手の状態をプロセッサが特定する方法であって、
   前記プロセッサは、
   前記映像に対して前記選手を検出する処理を行った結果を参照し、前記選手が前記プールの端側の領域に存在した以降、所定の期間内に前記選手を検出できた回数に基づいて、前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定する、
   選手状態特定方法。
2. 前記選手が前記プールの端側の領域に存在した以降、所定の期間内に前記選手を検出できた回数が、閾値以下の場合に前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定する、
   請求項１に記載の選手状態特定方法。
3. プールにおける水泳競技を撮影した映像に存在する選手の位置に基づいて前記選手に関する情報を前記映像に合成するために、前記選手の状態をプロセッサが特定する方法であって、
   前記プロセッサは、
   前記映像に前記選手に関する情報を合成する際の、前記情報の表示状態を切り替える為の表示制御情報を生成し、
   前記選手が前記プールの端側の領域に存在した場合に、前記表示制御情報を、前記情報を表示させない旨を表す情報として定める、
   選手状態特定方法。
4. プールにおける水泳競技を撮影した映像に存在する選手の位置に基づいて前記選手に関する情報を前記映像に合成するために、前記選手の状態をプロセッサが特定する方法であって、
   前記プロセッサは、
   前記映像に前記選手に関する情報を合成する際の、前記情報の表示状態を切り替える為の表示制御情報を生成し、
   前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定した後に、前記プールの端側の領域外で、前記選手が前記映像から検出された場合に、前記表示制御情報を、前記情報を表示させる旨を表す情報として定める、
   選手状態特定方法。
5. 前記プロセッサは、
   前記映像に対して前記選手を検出する処理を行った結果を参照し、
   前記選手の位置を特定する、
   請求項３または請求項４に記載の選手状態特定方法。
6. 前記プロセッサは、
   前記選手が前記プールの端側の領域に存在した以降の前記選手の検出結果に基づいて、前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定する、
   請求項３または請求項４に記載の選手状態特定方法。
7. プールにおける水泳競技を撮影した映像に存在する選手の状態をプロセッサが特定する選手状態特定装置であって、
   前記プロセッサは、
   前記映像に対して前記選手を検出する処理を行った結果を参照し、前記選手が前記プールの端側の領域に存在した以降、所定の期間内に前記選手を検出できた回数に基づいて、前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定する、
   選手状態特定装置。
8. 前記選手が前記プールの端側の領域に存在した以降、所定の期間内に前記選手を検出できた回数が、閾値以下の場合に前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定する、
   請求項７に記載の選手状態特定装置。
9. プールにおける水泳競技を撮影した映像に存在する選手の位置に基づいて前記選手に関する情報を前記映像に合成するために、前記選手の状態をプロセッサが特定する選手状態特定装置であって、
   前記プロセッサは、
   前記映像に前記選手に関する情報を合成する際の、前記情報の表示状態を切り替える為の表示制御情報を生成し、
   前記選手が前記プールの端側の領域に存在した場合に、前記表示制御情報を、前記情報を表示させない旨を表す情報として定める、
   選手状態特定装置。
10. プールにおける水泳競技を撮影した映像に存在する選手の位置に基づいて前記選手に関する情報を前記映像に合成するために、前記選手の状態をプロセッサが特定する選手状態特定装置であって、
    前記プロセッサは、
    前記映像に前記選手に関する情報を合成する際の、前記情報の表示状態を切り替える為の表示制御情報を生成し、
    前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定した後に、前記プールの端側の領域外で、前記選手が前記映像から検出された場合に、前記表示制御情報を、前記情報を表示させる旨を表す情報として定める、
    選手状態特定装置。
11. 前記プロセッサは、
    前記映像に対して前記選手を検出する処理を行った結果を参照し、
    前記選手の位置を特定する、
    請求項９または請求項１０に記載の選手状態特定装置。
12. 前記プロセッサは、
    前記選手が前記プールの端側の領域に存在した以降の前記選手の検出結果に基づいて、前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定する、
    請求項９または請求項１０に記載の選手状態特定装置。

Images