JP7066405B2 - 画像識別装置、プログラム及び画像識別方法 - Google Patents

Description

本発明は画像識別装置、プログラム及び画像識別方法に関し、競技の映像から識別対象を識別する画像識別装置、プログラム及び画像識別方法に関する。

近年、画像認識の技術が発達し、競技の映像から選手を識別する技術が提案されている（例えば、特許文献１）。この技術は、映像中の選手が誰であるかの情報を取得するため、選出の顔、ユニフォームの色、背番号、番組用のスーパー（テロップ）などの特徴を認識に使用している。

特開２００２－２３６９１３号公報

ところで、競技には、多数の種類がある。例えば、野球、サッカー、バレーボール、マラソン等の陸上競技などがある。しかし、競技の種類によって、選手のどのような要素に着目するかによって、識別の精度は異なると思われる。

そこで、本発明は、競技毎又は識別対象によって、最適化されたパラメータを選択することによって、映像から精度よく識別対象を識別できる画像識別装置、プログラム及び画像識別方法を提供することにある。

本発明の一態様は、競技を撮影した映像中の識別対象を識別するための、少なくとも一以上のカテゴリーの特徴量が記憶されているカテゴリー特徴量記憶部と、映像中の識別対象を識別する際に用いるカテゴリーに対する重みを規定するパラメータが、競技又は識別対象毎に記憶されているパラメータ記憶部と、前記パラメータ記憶部から競技又は識別対象を選択することにより、競技又は識別対象に対応するパラメータを選択するパラメータ選択部と、選択されたパラメータの重みを参照して、映像中の識別対象を画像識別する画像識別部とを有する画像識別装置である。

本発明の一態様は、競技を撮影した映像中の識別対象を識別するための、少なくとも一以上のカテゴリーの特徴量が記憶されているカテゴリー特徴量記憶部と、映像中の識別対象を識別する際に用いるカテゴリーに対する重みを規定するパラメータが、競技又は識別対象毎に記憶されているパラメータ記憶部と、を備える情報処理システムのプログラムであって、前記パラメータ記憶部から競技又は識別対象を選択することにより、競技又は識別対象に対応するパラメータを選択する処理と、選択されたパラメータを用いて、映像中の識別対象を画像識別する処理とを情報処理システムに実行させるプログラムである。

本発明の一態様は、画像識別方法であって、競技を撮影した映像中の識別対象を識別するための、少なくとも一以上のカテゴリーの特徴量を記憶し、映像中の識別対象を識別する際に用いるカテゴリーに対する重みを規定するパラメータが、競技又は識別対象毎に記憶し、記憶されている競技又は識別対象から所望の競技又は識別対象を選択することにより、競技又は識別対象に対応するパラメータを選択し、選択されたパラメータを用いて、映像中の識別対象を画像識別する画像識別方法である。

本発明は、映像から精度よく識別対象を識別できる。

図１は本実施形態における映像制作システムの構成例を示すブロック図である。 図２は本実施形態における画像識別装置２の構成例を示すブロック図である。 図３はカテゴリー特徴量記憶部２１に記憶されている複数のカテゴリーの一例を示した図である。 図４は重みパラメータ記憶部２２に記憶されているパラメータの一例を示した図である。 図５は時刻ｔにおける画像フレームの画像内に存在する人物を検出した場合の概念図である。 図６は注目領域を説明するための図である。 図７は算出された識別対象（クラス）毎の尤度を、一例を示した図である。 図８は識別された選手の位置情報及びその選手の属性を用いた映像の加工例である。 図９は第１の実施の形態の変形例を説明するための図である。 図１０は第１の実施の形態の変形例を説明するための図である。 図１１は第２の実施の形態における画像識別装置２の構成例を示すブロック図である。 図１２は第２の実施の形態を説明するための図である。 図１３は第３の実施の形態における画像識別装置２の構成例を示すブロック図である。 図１４は第３の実施の形態を説明するための図である。 図１５は第４の実施の形態における画像識別装置２の構成例を示すブロック図である。 図１６は第３の実施の形態を説明するための図である。 図１７は第３の実施の形態を説明するための図である。 図１８は第５の実施の形態における画像識別装置２の構成例を示すブロック図である。

＜第１の実施の形態＞
以下、図面を参照して、本発明の第１の実施の形態における画像識別装置及びプログラムを含む映像制作システムを説明する。図１は、本実施形態における映像制作システムの構成例を示すブロック図である。映像制作システムは、カメラ１と、画像識別装置２とを備える。

カメラ１は、競技中の選手の映像を撮影するカメラである。図１中では、１台のカメラを示しているが、複数のカメラ１を設け、識別対象となる映像を、複数のカメラ１の映像から選択するようにしても良い。

図２は、本実施形態における画像識別装置２の構成例を示すブロック図である。画像識別装置２は、カテゴリー特徴量記憶部２１と、パラメータ記憶部２２と、パラメータ選択部２３と、画像識別部２４とを備える。

カテゴリー特徴量記憶部２１には、画像識別部２４に入力される映像中の識別対象を識別するために用いられる複数のカテゴリーの特徴量が記憶されている。

ここで、識別対象は、例えば、映像中の選手及びその選手の属性である。選手の属性とは、選手個々の氏名や年齢のみならず、例えば、選手の属するチームや大学、役割（野球の場合には投手や野手等、サッカーの場合には、オフェンスやディフェンス）等である。尚、以下の説明では、便宜的に、識別対象をクラスと記載する場合がある。

また、カテゴリーとは、選手及びその選手の属性を識別するために用いられる特徴量の種類である。代表的なカテゴリーとしては、例えば、選手の顔、選手が着ているユニフォーム、背番号、タスキ及びゼッケンに記載されている文字等である。

図３は、カテゴリー特徴量記憶部２１に記憶されている複数のカテゴリーの一例を示した図である。図３では、選手Ａ，Ｂ，Ｃ…毎に、顔、ユニフォーム、ゼッケン（背番号）、シューズ等のカテゴリーに対応する特徴量が記憶されている例を示している。

重みパラメータ記憶部２２は、画像識別部２４で識別対象（クラス）を識別するために用いられる各カテゴリーを重みづけるパラメータである。例えば、カテゴリーＡに対するパラメータが１であり、カテゴリーＢに対するパラメータが０である場合は、カテゴリーＡは識別に用いられるが、カテゴリーＢは用いられないことを意味する。

多数の人物が存在する映像から正しく選手及びその選手の属性を識別するためには、どのカテゴリーに着目して識別するかが重要である。例えば、映像中の選手の位置や選手の属するチームを識別するには、ユニフォームの色や模様、タスキ及びゼッケンに記載されている文字等が重要なカテゴリーとなる。一方、個々の選手（氏名等）まで特定したいのならば、各選手の顔のカテゴリーは重要である。更に、どのようなカテゴリーを用い、そのカテゴリーにどのような重みをかけるかは、競技毎に異なる。例えば、競技がマラソン、駅伝である場合、映像中に選手以外の観客等の人物が多数存在しており、選手が履いているシューズ等の特徴量に重点を置いて用いても、類似するシューズを履いている観客がおり、精度よく識別することはできない。一方、競技が野球やサッカー等の場合、映像中に存在する観客等の位置がほぼ決まっているので、観客等を識別前に識別対象から除くことは比較的容易であり、識別自体は主に選手が着ているユニフォームに着目すれば良い。

上記の理由から、重みパラメータ記憶部２２には、競技毎又は識別対象毎に各カテゴリーに対して異なる重みのパラメータが記憶されている。

図４は、重みパラメータ記憶部２２に記憶されているパラメータの一例を示した図である。図４では、競技毎に、更に、その競技の中で識別対象となる選手の属性毎に、各カテゴリーに対応するパラメータ（重み値）が記憶されている例を示している。

パラメータ選択部２３は、競技及び識別対象を選択することにより、その競技及び識別対象に対応するパラメータを、重みパラメータ記憶部２２から選択する。例えば、映像中の競技が駅伝であり、識別対象がチーム（例えば、大学名）を選択すると、それに対応したパラメータを、重みパラメータ記憶部２２から選択する。

画像識別部２４は、パラメータ選択部２３により選択されたパラメータの重みに従って、各カテゴリーの特徴量を参照し、既知の画像識別の技術を用いて、映像中の選手の位置及び選手の属性を識別する。既知の画像識別方法としては、パターンマッチングや、ディープラニング等の手法を用いた機械学習などがある。尚、属するカテゴリーを直接推定する方式の場合には、各カテゴリーの特徴量を予め学習させるので、カテゴリー特徴量記憶部２１に各カテゴリーの特徴量を、認識処理毎に参照する必要はない。

上述した画像識別装置２は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサと、一時記憶としてのメモリと、不揮発性の記憶装置（ＥＥＰＲＯＭやハードディスク）とを含み構成される。記憶装置に記憶されたプログラムをメモリに読み出して実行することにより、ＣＰＵ等のプロセッサがパラメータ選択部２３及び画像識別部２４として機能する。また、記憶装置は、カテゴリー特徴量記憶部２１とパラメータ記憶部２２として使用される。

次に、本発明の実施の形態における画像識別装置及びプログラムを含む映像制作システムの動作を説明する。尚、以下の説明では、競技が駅伝であり、識別対象が選手の位置及びその選手が所属する大学名である例を説明する。また、カテゴリー特徴量記憶部２１には、駅伝に参加する各選手のカテゴリー毎の特徴量が記憶されているものとし、重みパラメータ記憶部２２には、パラメータが記憶されているものとする。

競技が駅伝であり、識別対象が選手の位置及びその選手が所属する大学名であるので、ユーザは、パラメータ選択部２３により、競技（駅伝）、識別対象（チーム（大学名）のパラメータを選択する。選択されたパラメータは、画像識別部２４に入力される。すなわち、画像識別部２４には、ユニフォームの重み０．８、ゼッケンの重み０．２が入力され、ゼッケンを考慮しつつも、ユニフォームの識別に重みが置かれた識別を行うことになる。

続いて、駅伝の映像が画像識別部２４に入力される。

画像識別部２４は、入力された映像の時刻ｔにおける画像フレームに関して、画像内に存在する人物が、予め学習した識別対象（クラス）に属するかどうかを推定する。まず、画像識別部２４は、フレームの画像中から人物を検出する。人物を検出する方法は限定するものではない。図５は、時刻ｔにおける画像フレームの画像内に存在する人物を検出した場合の概念図である。図５では、四角で囲んだものが人物であると検出されたものであり、選手、観客にかかわらず、人物であると識別できるものを検出している。

次に、画像識別部２４は、検出した人物に関して、図６に示す如く、頭頂部から首中点を結ぶ直線の距離をＬとし、人物の首中心から下方向の位置にＬ×２Ｌの大きさの注目領域を設定する。そして、検出された人物が予め学習した識別対象（クラス）に属する尤度（信頼度）を算出する。この尤度の算出において、選択されたパラメータの重みが使用される。画像識別部２４は、算出された尤度が予め定められた閾値より越え、最も尤度が高い人物をそのクラスに属する人物と判定する。

図７は、算出された識別対象（クラス）毎の尤度を、一例を示した図である。尚、図７の例では、識別対象の大学名以外にも精度を高めるために、白バイと観客のクラスを設けている。図７の例では、人物Ａは観客である確からしさが最も高く、人物Ｂは大学Ｙの選手である確からしさが最も高く、人物Ｃは大学Ｘの選手である確からしさが最も高く、人物Ｄは大学Ｚの選手である確からしさが最も高い。ここで、閾値を０．７とすると、画像識別部２４は、人物Ａは観客のクラスに属し、人物Ｂは大学Ｙのクラスに属し、人物Ｃは大学名Ｘのクラスに属し、人物Ｄは大学名Ｚのクラスに属すると判定する。そして、人物Ｂの映像上の位置情報（例えば、注目領域を特定する座標情報）と大学Ｙとを出力する。同様に、人物Ｃの映像上の位置情報（例えば、注目領域を特定する座標情報）と大学名Ｘとを出力する。同様に、人物Ｄの映像上の位置情報（例えば、注目領域を特定する座標情報）と大学名Ｚとを出力する。尚、人物Ａについては、選手ではないので、出力対象から除外するが、出力することを妨げるものではない。

このようにして、映像から選手及び選手の属性を識別する。識別された選手の位置情報及びその選手の属性（上述した例では大学名）は、映像の加工に用いることができる。例えば、図８に示されるように、識別された選手の大学名の画像をコンピュータグラフィクにより、各識別された選手の上に重畳するようにする。このような形態を取れば、映像制作は、映像を目視により確認して選手を識別する必要がなく、映像制作の自動化を図ることができる。

更に、駅伝では、区間ごとに走者が決まっているので、区間ごとにその区間を走る選手を識別するためのクラスに限定することもできる。更に、識別した選手の大学名が識別できれば、その区間を走る選手名も特定することもでき、その特定した選手名を、映像上の選手の上に表示することもできる。

＜第１の実施の形態の変形例＞
次に、上述した第１の実施の形態の変形例を説明する。

第１の実施の形態の変形例では、上述した第１の実施の形態における識別対象の相違に伴うカテゴリーに対するパラメータの重み付けによる識別に加えて、時間の経過にともなう映像の変化を識別に用いる例を説明する。

例えば、マラソンや駅伝等のスポーツでは、選手を一定の大きさで映るように、カメラは選手と一定の距離を保ちながら移動するケースが多い。この場合、選手はカメラと共に移動するが、観客はその場に留まる傾向が高い。例えば、時刻ｔの画像フレームの映像が図９に示すような場合、時刻ｔ＋１の画像フレームの映像では、観客はその場に留まり、図１０に示すような映像になる。つまり、選手とカメラとの位置は時刻が進んでも維持されるが、各観客とカメラとの距離は離れるため、異なる時刻で得られるフレーム画像中の人物に関して同一人物を対応付ける追跡処理を行うことにより、各人物のカメラとの相対的な移動量を推定することができる。この移動量を用いることで、選手と観客とを判別できる。移動量は、対応付けられた異なる時刻に得られた画像内の人物の座標位置の差分ベクトルで表す。

このような差分ベクトルの移動量と、各フレーム単位で算出された識別対象（クラス）毎の尤度とを関連付けて記憶していく。そして、差分ベクトルの移動量が予め定めた値以上である人物を観客とし、その人物を識別対象の選手の候補から除外する。そして、除外された人物の中から選手として尤度が高いものを選択していくようにする。

このようにすれば、選手と顧客とを精度よく識別可能であり、結果として識別対象の選手を高精度で識別することができる。

＜第２の実施の形態＞
第２の実施の形態は、識別された識別対象の映像上の大きさによって、識別対象の位置関係を識別する画像識別装置及びプログラムを含む映像制作システムを説明する。

２次元の映像では、手前にあるものが大きく映り、遠方にあるものほど小さく映る。これは競技を撮影している場合も同様である。例えば、マラソンや駅伝では、選手を正面から撮影する場合が多い。この場合、手前を走る選手ほど映像上で大きく映り、後方の選手ほど映像上で小さく映る。

第２の実施の形態では、このような性質を利用し、識別した識別対象の位置関係を識別する。

図１１は、第２の実施形態における画像識別装置２の構成例を示すブロック図である。第２の実施形態における画像識別装置２は、第１の実施の形態における画像識別装置２に加えて、位置関係識別部２５を備える。

位置関係識別部２５は、識別した識別対象の映像上の大きさから各識別対象の位置関係を識別する。上述した第１の実施の形態では、識別対象の識別のため、検出した人物に関して、図６に示す如く、頭頂部から首中点を結ぶ直線の距離をＬとし、人物の首中心から下方向にＬ×２Ｌの注目領域を設定した。位置関係識別部２５は、識別した識別対象の映像上の大きさの指標として、この注目領域の大きさに着目する。

例えば、図１２の例では、人物Ｄの注目領域が最も大きく、人物Ｃの注目領域が最も小さい。従って、選手の順位は、人物Ｄ（大学Ｚの選手）、人物Ｂ（大学Ｙの選手）、人物Ｃ（大学Ｘの選手）の順であることが識別できる。

このように、識別された選手の映像上の大きさに着目することにより、識別した選手の位置関係を識別することができる。

尚、上述した例では、識別した選手の注目領域に着目して位置関係を識別したが、これに限られない。例えば、選手自体の映像内での選手の大きさでも良い。また、他の方法として、各選手が共通して装着している装着具に着目する方法がある。例えば、ゼッケン等は、選手間で共通の大きさなので、好適である。

更に、本例の応用例として、位置関係を識別するに用いた大きさから、相対的な距離も求めることが可能である。競技の撮影に用いられカメラには撮影した映像とともに、画角などの撮影情報を取得することができる。従って、画角などに対応付けて位置関係を識別するに用いた大きさと距離との関係を、予め学習しておけば、選手（識別対象）間の距離も算出することが可能である。

また、第２の実施の形態の変形例として、映像が選手をどのような方向から撮影したものであるかを利用する例もある。例えば、選手の進行方向が映像上で左方向の場合、選手の順位は左から映っている順番となる。そこで、この性質を利用して、映像が選手をどのような方向から撮影したものであるかが分かれば、選手の位置情報から、選手の位置関係を求めることが出来る。

＜第３の実施の形態＞
第３の実施の形態を説明する。

第３の実施の形態は、位置関係識別部２５によって識別された識別対象の位置関係を使用して、映像中で所定の状況が発生した場合に、報知する例を説明する。ここで、所定の状況とは、例えば、識別対象の位置関係の変動をいい、マラソンや駅伝で、選手の順位が変更した場合等である。

図１３は、第３の実施の形態における画像識別装置２の構成例を示すブロック図である。第３の実施形態における画像識別装置２は、第１及び第２の実施の形態における画像識別装置２に加えて、報知部２６を備える。

報知部２６は、予め報知したい状況が登録されている。例えば、マラソンや駅伝で、選手の順位が変更した場合等である。そして、位置関係識別部２５からの位置関係情報に基づいて、識別対象の位置関係の変動が検出された場合、アラーム等で報知する。

第３の実施の形態は、図１３のように、単独の映像に用いても効果をあるが、図１４のように、複数の各映像を、それぞれ画像認識装置２が解析し、該当する映像を報知する場合に、特に効果が顕著である。何故なら、複数の映像から一つを選択して放送するような場合、製作者は、複数の映像を目視で監視しなければならず、負担が大きいからである。

＜第４の実施の形態＞
第４の実施の形態を説明する。

第４の実施の形態は、位置関係識別部２５によって識別された識別対象の位置関係を使用して、映像中に、識別対象の位置関係の内容を示す画像を挿入する例を説明する。

図１５は、第４の実施の形態における画像識別装置２の構成例を示すブロック図である。第４の実施形態における画像識別装置２は、第１及び第２の実施の形態における画像識別装置２に加えて、画像生成部２７を備える。

画像生成部２７は、位置関係識別部２５による識別対象の位置関係を用いて、識別対象の位置関係を示す画像を生成し、生成した画像を映像に重畳する。例えば、上述した第2の実施の形態の例では、選手の順位は、人物Ｄ（大学Ｚの選手）、人物Ｂ（大学Ｙの選手）、人物Ｃ（大学Ｘの選手）の順であることが識別されている。そこで、この位置関係を用いて、現在の大学の順位がわかる画像を生成し、映像に重畳する。図１６は、画像生成部２７が生成した画像を映像に重畳した場合の一例を示す図である。更に、位置関係識別部２５により、選手間の相対的な距離が求めることが可能ならば、図１７に示すように、その距離を表示するようにしても良い。

＜第５の実施の形態＞
第５の実施の形態は、画像識別部２４によって識別された選手の顔の変化から、その選手の疲労度を推定する。

図１８は、第５の実施の形態における画像識別装置２の構成例を示すブロック図である。第５の実施形態における画像識別装置２は、第１の実施の形態における画像識別装置２に加えて、疲労度判定部２８を備える。

選手は、競技の経過するにつれ、疲労度が高まっていくのが通常である。そして、その疲労は選手の顔の表情にも出現する。例えば、マラソン等の競技では、スタート直後の選手の顔は、疲労の蓄積もなく、通常時の顔の表情に近い。一方、競技が経過して疲労が蓄積されていくと、通常時の顔の表情とは異なり、苦しい表情となる。

疲労度判定部２８は、上記の性質を利用し、機械学習などで、選手の顔の表情から疲労度を学習しておく。そして、画像識別部２４によって識別された選手の顔の表情から、その識別された選手の疲労度を推定する。別の言い方をすると、選手の顔の時間的変化から疲労度を推定する。

このような選手の疲労度は、映像上の演出に用いることができる。

以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ カメラ
２ 画像識別装置
２１ カテゴリー特徴量記憶部
２２ パラメータ記憶部
２３ パラメータ選択部
２４ 画像識別部
２５ 位置関係識別部
２６ 報知部
２７ 画像生成部
２８ 疲労度判定部

Claims (9)

1. 競技を撮影した映像中の識別対象を識別するための、少なくとも一以上のカテゴリーの特徴量が記憶されているカテゴリー特徴量記憶部と、
   映像中の識別対象を識別する際に用いるカテゴリーに対する重みを規定するパラメータが、競技又は識別対象毎に記憶されているパラメータ記憶部と、
   前記パラメータ記憶部から競技又は識別対象を選択することにより、競技又は識別対象に対応するパラメータを選択するパラメータ選択部と、
   選択されたパラメータの重みを参照して、映像中の識別対象を画像識別する画像識別部と、
   を有し、
   前記カテゴリーは、前記競技の選手が装着する物を少なくとも含み、
   前記競技の選手が装着する物のカテゴリーに対する重みを規定するパラメータは、前記競技又は前記識別対象によって異なる、
   画像識別装置。
2. 前記画像識別部は、時間的変化における映像上の識別対象の相対的な移動量を参照して、映像中の識別対象を識別する
   請求項１に記載の画像識別装置。
3. 前記画像識別部により識別された識別対象の所定部位の大きさに基づいて、映像中の識別対象の位置関係を識別する位置関係識別部
   を有する請求項１又は請求項２に記載の画像識別装置。
4. 前記位置関係識別部は、各識別対象の所定部位の大きさに基づいて、識別対象間の距離を推定する
   請求項３に記載の画像識別装置。
5. 前記位置関係識別部による識別対象の位置関係を用いて、前記識別対象の位置関係を示す画像を生成し、生成した画像を前記映像に重畳する画像生成部
   を有する請求項３又は請求項４に記載の画像識別装置。
6. 映像中で発生する所定の状況の状況検出条件が記憶された状況検出条件記憶部と、
   前記位置関係識別部による識別対象の位置関係と前記状況検出条件とを照合し、前記識別対象の位置関係が前記状況検出条件に合致した場合、映像中に所定の状況が発生したことを検出する状況検出部と、
   映像中に所定の状況が発生したことを報知する報知部と
   を有する請求項２から請求項４のいずれかに記載の画像識別装置。
7. 前記識別対象が競技の選手である場合、前記選手の顔の時間的変化から、選手の疲労度を推定する疲労度推定部
   有する請求項１から請求項６のいずれかに記載の画像識別装置。
8. 競技を撮影した映像中の識別対象を識別するための、少なくとも一以上のカテゴリーの特徴量が記憶されているカテゴリー特徴量記憶部と、映像中の識別対象を識別する際に用いるカテゴリーに対する重みを規定するパラメータが、競技又は識別対象毎に記憶されているパラメータ記憶部と、を備える情報処理システムのプログラムであって、
   前記パラメータ記憶部から競技又は識別対象を選択することにより、競技又は識別対象に対応するパラメータを選択する処理と、
   選択されたパラメータを用いて、映像中の識別対象を画像識別する処理と、
   を情報処理システムに実行させ、
   前記カテゴリーは、前記競技の選手が装着する物を少なくとも含む、
   前記競技の選手が装着する物のカテゴリーに対する重みを規定するパラメータは、前記競技又は前記識別対象によって異なる、
   プログラム。
9. 画像識別方法であって、
   競技を撮影した映像中の識別対象を識別するための、少なくとも一以上のカテゴリーの特徴量を記憶し、
   映像中の識別対象を識別する際に用いるカテゴリーに対する重みを規定するパラメータを、競技又は識別対象毎に記憶し、
   記憶されている競技又は識別対象から所望の競技又は識別対象を選択することにより、競技又は識別対象に対応するパラメータを選択し、
   選択されたパラメータを用いて、映像中の識別対象を画像識別し、
   前記カテゴリーは、前記競技の選手が装着する物を少なくとも含み、
   前記競技の選手が装着する物のカテゴリーに対する重みを規定するパラメータは、前記競技又は前記識別対象によって異なる、
   画像識別方法。

Images