JP7212998B2 - 距離推定装置、距離推定方法及びプログラム - Google Patents

Description

本発明は、距離推定装置、距離推定方法及びプログラムに関する。

近年、画像認識の技術が発達し、競技の映像から選手を識別する技術が提案されている（例えば、特許文献１）。この技術は、映像中の選手が誰であるかの情報を取得するため、選手の顔、ユニフォームの色、背番号、番組用のスーパー（テロップ）などの特徴を認識に使用している。

特開２００２－２３６９１３号公報

ところで、映像中に複数の人物が存在する場合、それらの人物を識別し、その人物間の距離を推定して得ることができれば、有益である。

しかし、現状では、映像中の人物を識別できても、それらの人物間の距離を精度良く推定することは出来なかった。

そこで、本発明は、映像中の特定人物を識別し、その特定人物間の距離を精度良く推定することができる距離推定装置、距離推定方法及びプログラムを提供することにある。

本発明の一態様は、映像中の第１特定人物と第２特定人物との間の距離を推定する距離推定装置であって、映像から人物を認識し、認識された人物の前記映像上の位置を参照し、認識された人物のうち前記第１特定人物及び前記第２特定人物と推定される人物の前記映像上の向きを推定する向き推定部と、前記特定人物の向き毎に、前記特定人物を識別するための学習が行われた複数の特定人物識別部と、前記向き推定部により推定された前記第１特定人物及び前記第２特定人物の向きに対応する前記特定人物識別部を選択し、選択した特定人物識別部により、前記映像から前記第１特定人物及び前記第２特定人物を識別させる制御部と、前記向き推定部により推定された前記特定人物の向きを参照し、前記第１特定人物及び前記第２特定人物の位置関係を推定する位置関係推定部と、識別した前記第１特定人物と前記第２特定人物との間の距離を、推定された前記第１特定人物及び前記第２特定人物の位置関係と、前記映像中の所定オブジェクトを用いて推定する距離推定部とを有する距離推定装置である。

本発明の一態様は、映像中の第１特定人物と第２特定人物との間の距離を推定するコンピュータのプログラムであって、前記プログラムは、前記コンピュータを、映像から人物を認識し、認識された人物の前記映像上の位置を参照し、認識された人物のうち前記第１特定人物及び前記第２特定人物と推定される人物の前記映像上の向きを推定する向き推定部と、前記特定人物の向き毎に、前記特定人物を識別するための学習が行われた複数の特定人物識別部と、前記向き推定部により推定された前記第１特定人物及び前記第２特定人物の向きに対応する前記特定人物識別部を選択し、選択した特定人物識別部により、前記映像から前記第１特定人物及び前記第２特定人物を識別させる制御部と、前記向き推定部により推定された前記特定人物の向きを参照し、前記第１特定人物及び前記第２特定人物の位置関係を推定する位置関係推定部と、識別した前記第１特定人物と前記第２特定人物との間の距離を、推定された前記第１特定人物及び前記第２特定人物の位置関係と、前記映像中の所定オブジェクトを用いて推定する距離推定部として機能させるプログラムである。

本発明の一態様は、映像中の第１特定人物と第２特定人物との間の距離を推定する距離推定方法であって、映像から人物を認識し、認識された人物の前記映像上の位置を参照し、認識された人物のうち前記第１特定人物及び前記第２特定人物と推定される人物の前記映像上の向きを推定し、推定された前記第１特定人物及び前記第２特定人物の向きに対応する前記特定人物識別部を選択し、選択した特定人物識別部により、前記映像から前記第１特定人物及び前記第２特定人物を識別させ、前記推定された前記特定人物の向きを参照し、前記第１特定人物及び前記第２特定人物の位置関係を推定し、識別した前記第１特定人物と前記第２特定人物との間の距離を、推定された前記第１特定人物及び前記第２特定人物の位置関係と、前記映像中の所定オブジェクトを用いて推定する距離推定方法である。

本発明は、映像中の特定人物を識別し、その特定人物間の距離を精度良く推定することができる。

図１は実施の形態における映像制作システムの構成例を示すブロック図である。 図２は実施の形態を説明するための図である。 図３は実施の形態を説明するための図である。 図４は実施の形態を説明するための図である。 図５は実施の形態を説明するための図である。 図６は実施の形態における距離推定装置２の構成例を示すブロック図である。 図７は時刻ｔにおける画像フレームの画像内に存在する人物を検出した場合の概念図である。 図８は時刻ｔ＋１における画像フレームの画像内に存在する人物を検出した場合の概念図である。 図９は時刻ｔにおける画像フレームの画像内に存在する人物を検出した場合の概念図である。 図１０は時刻ｔ＋１における画像フレームの画像内に存在する人物を検出した場合の概念図である。 図１１は注目領域を説明するための図である。 図１２は位置関係推定部２４を説明するための図である。 図１３は位置関係推定部２４を説明するための図である。 図１４は位置関係推定部２４を説明するための図である。 図１５は位置関係推定部２４を説明するための図である。 図１６は映像上のオブジェクトの長さを説明するための図である。 図１７は距離を推定する方法を説明するための図である。 図１８は距離を推定する方法を説明するための図である。 図１９は距離を推定する方法を説明するための図である。 図２０は算出された識別対象（クラス）毎の尤度の一例を示した図である。 図２１は実施の形態の動作を説明するための図である。 図２２は実施の形態の動作を説明するための図である。 図２３は実施の形態の動作を説明するための図である。

以下、図面を参照して、本発明の実施の形態における距離推定装置及びプログラムを含む映像制作システムを説明する。

本発明の実施の形態では、映像から特定の特定人物を識別する例として、多くの観客（人物）が存在する映像から駅伝の競技中の選手（特定人物）を識別する例を説明する。但し、あくまでも例であり、本発明は本例に限定されるものではない。

図１は、本実施形態における映像制作システムの構成例を示すブロック図である。映像制作システムは、複数のカメラ１ａ～１ｄと、距離推定装置２とを備える。

カメラ１ａ～１ｄは、駅伝の競技中の選手の映像を撮影するカメラである。図１中では、４台のカメラを示している。

ここで、カメラ１ａは、図２に示す如く、選手の顔を正面から捉える撮影角度から選手を撮影するカメラである。すなわち、映像上の選手の向きが正面となる映像を撮影するカメラである。カメラ１ｂは、図３に示す如く、選手を背面から捉える撮影角度から選手を撮影するカメラである。すなわち、映像上の選手の向きが背面となる映像を撮影するカメラである。カメラ１ｃは、図４に示す如く、選手の顔を左側から捉える撮影角度から選手を撮影するカメラである。すなわち、映像上の選手の向きが左向きとなる映像を撮影するカメラである。カメラ１ｄは、図５に示す如く、選手の顔を右側から捉える撮影角度から選手を撮影するカメラである。すなわち、映像上の選手の向きが右向きとなる映像を撮影するカメラである。尚、本実施の形態では、カメラ１ａ～１ｄの４台のカメラを用いた例を説明するが、１台のカメラで、選手を様々な撮影角度から撮影するようにしても良い。

図６は、本実施形態における距離推定装置２の構成例を示すブロック図である。距離推定装置２は、向き推定部２１と、制御部２２と、画像識別部２３ａ～２３ｄと、位置関係推定部２４と、距離推定部２５とを備える。

向き推定部２１には、カメラ１ａ～１ｄのいずれか一つの映像が入力される。向き推定部２１は、入力された映像から人物を認識し、認識された人物の映像上の位置を参照し、映像上の選手（特定人物）の向きを推定する。

ここで、映像上の人物の認識であるが、人物であることが認識できればよく、個々の人物の属性等まで認識できる必要はない。すなわち、映像中の木や車等の存在物と人物とが区別できるような認識ができれば良い。そして、認識した人物の個人を特定するような属性（氏名や、属するチーム等）まで、識別する必要はない。

向き推定部２１による向きの推定の具体的な一例を説明すると、向き推定部２１は、入力された映像の時刻ｔにおける画像フレームの画像中から人物を検出する。図７は、時刻ｔにおける画像フレームの画像内に存在する人物を検出した場合の概念図である。図７では、四角で囲んだものが人物であると検出されたものであり、選手、観客にかかわらず、人物であると識別できるものを全て検出している。これらの映像上の人物の認識は、従来の画像認識技術を用いることができる。

次に、向き推定部２１の映像上の選手（特定人物）の向きの推定であるが、認識した人物の映像上の位置から特定する。推定する方法のひとつとして、認識された人物の映像上の位置の時間的変化を参照して、映像上の選手（特定人物）の向きを推定する。例えば、マラソンや駅伝等のスポーツでは、選手を一定の大きさで映るように、カメラは選手と一定の距離を保ちながら移動するケースが多い。この場合、選手はカメラと共に移動するが、観客はその場に留まる傾向が高い。

例えば、選手の顔が見える正面方向から撮影した映像において、特定の観客に着目して考えると、時刻ｔの画像フレームの映像が図７に示すような場合、時刻ｔ＋１の画像フレームの映像では、その特定の観客はその場に留まり、図８に示すような映像になる。つまり、選手とカメラとの位置は時刻が進んでも維持されるが、その特定の観客とカメラとの距離は離れるため、その特定の観客は、映像上後方に移動することになる。このような映像では、選手の向きは正面であると推定することができる。

一方、選手の背面方向から撮影した映像において、特定の観客に着目して考えると、時刻ｔの画像フレームの映像が図９に示すような場合、時刻ｔ＋１の画像フレームの映像では、その特定の観客はその場に留まり、図１０に示すような映像になる。つまり、選手とカメラとの位置は時刻が進んでも維持されるが、その特定の観客とカメラとの距離は近づくため、その特定の観客は、映像上前方に移動することになる。このような映像では、選手の向きは後ろを向いている（背面）であると推定することができる。

このように、異なる時刻で得られるフレーム画像中の人物に関して同一人物を対応付ける追跡処理を行うことにより、各人物のカメラとの相対的な移動ベクトルを推定することができる。そして、この移動ベクトルを用いることで、選手の向きを推定することができる。移動ベクトルは、対応付けられた異なる時刻に得られた画像内の人物の座標位置の差分ベクトルで表す。

具体的には、ある映像において、少数の人物の移動ベクトルの移動量が小さく、多数の人物の移動ベクトルの方向が映像上後方（遠ざかる方向）であり、その多数の人物の移動ベクトルの移動量が予め定めた閾値よりも移動量が大きい場合は、選手の顔が見える正面方向から撮影した映像であることが推定される。すなわち、選手の向きが正面であると推定される。

一方、ある映像において、少数の人物の移動ベクトルの移動量が小さく、多数の人物の移動ベクトルの方向が映像上前方（近づく方向）であり、その多数の人物の移動ベクトルの移動量が予め定めた閾値よりも移動量が大きい場合は、選手の背面から撮影した映像であることが推定される。すなわち、選手の向きが背面であると推定される。

このような移動ベクトルを用いて、選手の向きの推定を行う。

上述の例は、選手の向きが正面と背面との場合を説明したが、選手の向きが左向き、又は右向きの場合も同様の手法により推定することができる。例えば、選手の向きが左向きの場合は、選手以外の観客は、時間的な移動ベクトルが右方向に大きくなる。一方、選手の向きが右向きの場合は、選手以外の観客は、時間的な移動ベクトルが左方向に大きくなる。このようにして、選手の左右の向きを推定することができる。

また、上述の選手（特定人物）の向きの推定方法は一例であり、映像の種類によって適切な方法を選択する。例えば、バレーボールやサッカーなどのフィールド競技の映像では、上述したマラソンや駅伝等のスポーツとは逆に、選手は移動する一方、観客等のその場に留まる（例えば、観客席に座っている）映像が多い。このような競技では、移動量の大きい移動ベクトルの方向を用いることで、選手の向きを推定することができる。

また、移動ベクトルを用いず、識別した人物の映像上の配置から選手の向きを推定するようにしても良い。例えば、バレーボール等において、ネットが映る正面側から撮影した映像では、ネット越しに、前衛（ネットに近い側）として３人の選手（左からフロントレフト(FL)、フロントセンター(FC)、フロントライト(FR)）が立ち、後衛（ネットから遠い側）として３人の選手（左からバックレフト(BL)、バックセンター(BC)、バックライト(BR)）が立つ、特徴的な人物の配置パターンが検出される。このような場合は、選手の向きが正面であると推定することができる。一方、ネットを背面にした映像では、ネットを背面にし、前衛（ネットに近い側）として３人の選手（左からフロントレフト(FL)、フロントセンター(FC)、フロントライト(FR)）が立ち、後衛（ネットから遠い側）として３人の選手（左からバックレフト(BL)、バックセンター(BC)、バックライト(BR)）が立つ人物の配置パターンが検出される。このような場合は、選手の向きが背面であると推定することができる。

このように、選手（特定人物）の向きの推定方法は一例であり、映像の種類によって適切な方法を選択する。

制御部２２は、向き推定部２１の推定結果を受け、推定された選手の向きに対応する画像識別部２３ａ～ｄのいずれかを選択し、選択した画像識別部２３ａ～ｄに映像を出力する。

画像識別部２３ａ～ｄは、選手の向き毎に、選手を識別するための学習が行われた画像識別部である。

本実施の形態では、画像識別部２３ａは、選手を正面から撮影した映像を用いて、選手を識別するための学習が行われた画像識別部である。別の言い方をすると、選手が映像上で正面を向いている（選手の顔が見える向き）映像を教師データとして学習され、選手が映像上で正面を向いている（選手の顔が見える向き）映像から選手を識別するために用いられる画像識別部である。尚、教師データは、選手が映像上で真正面を向いている（選手の顔が見える向き）映像のみを教師データとするものではなく、選手が正面に近い左右方向を向いている（例えば、左右４５度）映像を教師データに加えても良い。

また、画像識別部２３ｂは、選手を背面から撮影した映像を用いて、選手を識別するための学習が行われた画像識別部である。別の言い方をすると、選手が映像上で後ろを向いている（選手の顔が見えない向き）映像を教師データとして学習され、選手が映像上で後ろを向いている（選手の顔が見えない向き）映像から選手を識別するために用いられる画像識別部である。尚、教師データは、選手が映像上で背面を向いている（選手の顔が見えない向き）映像のみを教師データとするものではなく、選手が背面に近い左右方向を向いている（例えば、左右４５度）映像を教師データに加えても良い。

また、画像識別部２３ｃは、選手の左横側から撮影した映像を用いて、選手を識別するための学習が行われた画像識別部である。別の言い方をすると、選手が映像上で左方向を向いている（選手の左顔が見える向き）映像を教師データとして学習され、選手が映像上で左方向を向いている（選手の左顔が見える向き）映像から選手を識別するために用いられる画像識別部である。尚、選手が映像上で左方向を向いている（選手の左顔が見える向き）映像のみを教師データとするものではなく、選手が左方向に近い左右方向を向いている（例えば、左右４５度）映像を教師データに加えても良い。

また、画像識別部２３ｄは、選手の右横側から撮影した映像を用いて、選手を識別するための学習が行われた画像識別部である。別の言い方をすると、選手が映像上で右方向を向いている（選手の右顔が見える向き）映像を教師データとして学習され、選手が映像上で右方向を向いている（選手の右顔が見える向き）映像から選手を識別するために用いられる画像識別部である。尚、選手が映像上で右方向を向いている（選手の右顔が見える向き）映像のみを教師データとするものではなく、選手が右方向に近い左右方向を向いている（例えば、左右４５度）映像を教師データに加えても良い。

画像識別部２３ａ～ｄの学習方法としては、パターンマッチングや、ディープラーニング等の手法を用いた機械学習などがある。

ここで、画像識別部２３ａ～ｄが識別する識別対象は、例えば、映像中の選手（特定人物）及びその選手の属性である。選手の属性とは、選手個々の氏名や年齢のみならず、例えば、選手の属するチームや大学、役割（野球の場合には投手や野手等、サッカーの場合には、オフェンスやディフェンス）等である。尚、以下の説明では、便宜的に、識別対象をクラスと記載する場合がある。また、カテゴリーとは、選手及びその選手の属性を識別するために用いられる特徴量の種類である。代表的なカテゴリーとしては、例えば、選手の顔、選手が着ているユニフォーム、背番号、タスキ及びゼッケンに記載されている文字等である。

多数の人物が存在する映像から正しく選手及びその選手の属性を識別するためには、どのカテゴリーに着目して識別するかが重要である。例えば、映像中の選手の位置や選手の属するチームを識別するには、ユニフォームの色や模様、タスキ及びゼッケンに記載されている文字等が重要なカテゴリーとなる。一方、個々の選手（氏名等）まで特定したいのならば、各選手の顔のカテゴリーは重要である。更に、どのようなカテゴリーを用い、そのカテゴリーにどのような重みをかけるかは、競技毎に異なる。例えば、競技がマラソン、駅伝である場合、映像中に選手以外の観客等の人物が多数存在しており、選手が履いているシューズ等の特徴量に重点を置いて用いても、類似するシューズを履いている観客がおり、精度よく識別することはできない。一方、競技が野球やサッカー等の場合、映像中に存在する観客等の位置がほぼ決まっているので、観客等を識別前に識別対象から除くことは比較的容易であり、識別自体は主に選手が着ているユニフォームに着目すれば良い。

上記の理由から、画像識別部２３ａ～ｄは、競技毎又は識別する選手毎に各カテゴリーに対して異なる重みのパラメータを記憶するように構成しても良い。

位置関係推定部２４は、識別した識別対象（特定人物）の位置関係を推定する。識別対象（特定人物）の位置関係の推定方法は、識別対象（特定人物）の向きによって異なる。

まず、識別対象（特定人物）の向きが正面又は背面の場合について説明する。

識別対象（特定人物）の向きが正面又は背面の場合、位置関係推定部２４は、識別した識別対象（特定人物）の映像上の大きさから各識別対象（特定人物）の位置関係を推定する。２次元の映像では、手前にあるものが大きく映り、遠方にあるものほど小さく映る。これは競技を撮影している場合も同様である。例えば、マラソンや駅伝では、選手を正面から撮影する場合が多い。この場合、手前を走る選手ほど映像上で大きく映り、後方の選手ほど映像上で小さく映る。位置関係推定部２４は、このような性質を利用し、識別した識別対象の位置関係を推定する。

本実施の形態では、識別した特定人物に関して、図１１に示す如く、頭頂部から首中点を結ぶ直線の距離をＬとし、人物の首中心から下方向にＬ×２Ｌの注目領域を設定する。そして、位置関係推定部２４は、識別した特定人物の映像上の大きさの指標として、この注目領域の大きさにより、位置関係を特定人物の間の位置関係を推定する。

更に、位置関係推定部２４は、注目領域の大きさに加えて、向き推定部２１が推定した選手の向き（特定人物）も着目する。

例えば、図１２の例は、選手の向きが正面の場合の映像である。そして、本映像では、人物Ｄの注目領域が最も大きく、人物Ｃの注目領域が最も小さい。従って、選手の順位は、人物Ｄ（大学Ｚの選手）、人物Ｂ（大学Ｙの選手）、人物Ｃ（大学Ｘの選手）の順であり、その順番で走行していることが識別できる。一方、図１３に示すように、選手の向きが背面の場合の映像である場合、図１２と同様な人物の位置状況であっても、注目領域が小さい程、選手の順位が高いことになり、選手の順位は、人物Ｃ（大学Ｘの選手）、人物Ｂ（大学Ｙの選手）、人物Ｄ（大学Ｚの選手）の順であり、その順番で走行していることが識別できる。

このように、識別された選手の映像上の大きさと、識別された選手の向きとを考慮することにより、撮影方向に関係なく、識別した選手の映像上の位置関係を識別することができる。

尚、上述した例では、識別した選手の注目領域に着目して位置関係を識別したが、これに限られない。例えば、選手自体の映像内での選手の大きさでも良い。また、他の方法として、各選手が共通して装着している装着具に着目する方法がある。例えば、ゼッケン等は、選手間で共通の大きさなので、好適である。

一方、識別対象（特定人物）の向きが左右方向を向いている場合、位置関係推定部２４は、注目領域の大きさではなく、識別した識別対象（特定人物）の映像上の位置によって、位置関係を推定する。

例えば、図１４に示すように、特定人物（選手）が左方向を向いている（選手の左顔が見える向き）場合、選手は左方向に進んでいることが分かるため、映像の左に位置する特定人物（選手）ほど、順位が高い。図１４の例では、選手の順位は、人物Ｂ（大学Ｘの選手）、人物Ｃ（大学Ｙの選手）の順であり、その順番で走行していることが識別できる。一方、図１５に示すように、特定人物（選手）が右方向を向いている（選手の右顔が見える向き）場合、選手は右方向に進んでいることが分かるため、映像の右に位置する特定人物（選手）ほど、順位が高い。図１５の例では、選手の順位は、人物Ｃ（大学Ｙの選手）、人物Ｂ（大学Ｘの選手）の順であり、その順番で走行していることが識別できる。

このように、識別された選手の映像上の大きさや、識別された選手の向きを考慮することにより、撮影方向に関係なく、識別した選手の映像上の位置関係を推定することができる。

距離推定部２５は、位置関係推定部２４が推定した位置関係と、映像上のオブジェクトの長さとを用いて、少なくとも二以上の識別対象（特定人物）間の距離を推定する。

本実施の形態では、映像上のオブジェクトの長さとして、映像上の特定人物の顔の長さを用いる。具体的には、図１６に示すように、特定人物の頭頂部から首中点を結ぶ直線の距離Ｌを、映像上のオブジェクトの長さとする。尚、映像上の距離Ｌの単位は、映像のピクセル（pixel）とする。

距離推定部２５は、まず、距離を推定の対象となる第１特定人物と第２特定人物とを特定する。そして、第１特定人物と第２特定人物の間の距離Ｄを求める。

具体的に説明すると、例えば、図１７の例では、選手の向きが右方向を向いている（選手の右顔が見える向き）場合、人物Ｃ（大学Ｙの選手）が先頭、人物Ｂ（大学Ｘの選手）が次順位で走行中の場合を示している。図１７の例では、先頭の人物Ｃ（大学Ｙの選手）が第１特定人物であり、次順位の人物Ｂ（大学Ｘの選手）が第２特定人物である。各映像上の距離Ｌを画像のピクセル単位で計測すると、計算の結果、第１特定人物の映像上の距離ＬはＬ１であり、第２特定人物の映像上の距離ＬはＬ２であるものとする。また、第１特定人物と第２特定人物との間の映像上の距離がｄ（pixel）であるとする。

ここで、第１特定人物と第２特定人物との間の実際の距離Ｄを算出するため、第１特定人物と第２特定人物との頭頂部から首中点を結ぶ直線の実際の距離を、Ｆと仮定する。Ｆは、例えば、識別対象となる特定人物（選手）たちの頭頂部から首中点を結ぶ直線の距離の平均値（例えば、０３ｍ）である。すると、第１特定人物と第２特定人物との間の実際の距離Ｄは、比の関係から、以下の式で算出することができる。

距離Ｄ＝（Ｆ[m]×ｄ[pixel]）／（（Ｌ１[pixel]＋Ｌ２[pixel]）／２） 式（１）
尚、上述の例では、映像上のオブジェクトの長さを、カメラで撮影される確率の高い顔の長さとする例を説明したが、これに限られない。例えば、特定人物の身長でも良い。

このようにして、第１特定人物と第２特定人物との間の実際の距離を算出することができる。

同様に、選手の向きが正面又は背面を向いている場合も同様に適用できる。

図１８は選手の向きが正面の場合を示しており、人物Ｂ（大学Ｘの選手）が先頭、人物Ｃ（大学Ｙの選手）が次順位で走行中の場合を示している。図１８の例では、先頭の人物Ｂ（大学Ｘの選手）が第１特定人物であり、次順位の人物Ｃ（大学Ｙの選手）が第２特定人物である。選手の向きが正面又は背面を向いている場合は、選手の向き左右を向いている場合と異なり、垂直方向の映像上の距離であるｄ[pixel]、Ｌ１[pixel]、Ｌ２[pixel]を算出する。そして、式（１）を適用して、実際の距離Ｄを算出する。

尚、選手の向きが正面又は背面を向いている場合は、状況によっては、算出した距離の誤差が大きくなる可能性がある。そこで、選手の向きが正面又は背面を向いている場合については、映像中の他のオブジェクトの長さも加えると、誤差を少なくすることも可能である。例えば、図１９に示すように、映像中の他のオブジェクトとして、道路の白線に着目する。道路の白線は、一般道路の場合、白線の長さが５ｍで、線の間隔も５ｍである。この性質を利用し、距離の補正に利用することができる。

また、選手の向きが正面又は背面を向いている場合は、頭頂部から首中点を結ぶ直線の長さではなく、例えば、選手の顔を囲む矩形領域の大きさを用いても良い。例えば、第１特定人物の矩形領域の大きさと第２特定人物の矩形領域の大きさとの比と、第１特定人物と第２特定人物との間の実距離との関係性のデータを機械学習しておき、その機械学習のアルゴリズムより、実際の映像の第１特定人物の矩形領域の大きさと第２特定人物の矩形領域の大きさとの比から、第１特定人物と第２特定人物との間の実距離を推定するようにしても良い。この場合、上述した道路の白線も加味して学習すれば、推定の精度は高くなる。

上述した距離推定装置２は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサと、一時記憶としてのメモリと、不揮発性の記憶装置（ＥＥＰＲＯＭやハードディスク）とを含み構成される。記憶装置に記憶されたプログラムをメモリに読み出して実行することにより、ＣＰＵ等のプロセッサが、向き推定部２１と、制御部２２と、画像識別部２３ａ～２３ｄと、位置関係推定部２４と、距離推定部２５として機能する。

次に、本発明の実施の形態における距離推定装置及びプログラムを含む映像制作システムの動作を説明する。尚、以下の説明では、競技が駅伝であり、識別する特定人物が選手である例を説明する。

まず、カメラ１ａ～１ｄは、観客及び選手を含む映像を撮影する。本例では、カメラ１ａは、選手の顔を正面から捉える撮影角度から選手を撮影するカメラである。カメラ１ｂは、選手を背面から捉える撮影角度から選手を撮影するカメラである。カメラ１ｃは、選手の顔を左側から捉える撮影角度から選手を撮影するカメラである。カメラ１ｄは、選手の顔を右側から捉える撮影角度から選手を撮影するカメラである。

これらのカメラ１ａ～１ｄのうち、例えば、放送用にいずれかのひとつが選択されて使用される。ここでは、最初に、カメラ１ａの映像が使用されるものとする。従って、向き推定部２１に入力される映像は、カメラ１ａの映像である。

向き推定部２１は、カメラ１ａの映像を入力し、映像上の選手の向きを推定する。本例では、カメラ１ａの映像の時刻ｔの画像フレームの映像が図７に示すものとする。そして、カメラ１ａの映像の時刻ｔ＋１の画像フレームの映像が図８に示すものとする。すると、上述したように、特定の観客に着目して考えると、選手とカメラとの位置は時刻が進んでも維持されるが、その特定の観客とカメラとの距離は離れるため、その特定の観客は、映像上後方に移動することになる。このような映像では、選手の向きは正面であると推定される。推定された結果（選手の向きが正面）は、制御部２２に出力される。

制御部２２は、向き推定部２１の推定結果（選手の向きが正面）を受信し、選手及びその選手の属性を識別させる画像識別部を、画像識別部２３ａ～ｄのいずれかから選択する。本例では、向き推定部２１の推定結果は選手の向きが正面であるので、選手の向きが正面用の画像識別部２３ａを選択する。そして、カメラ１ａの映像を、画像識別部２３ａに出力する。

画像識別部２３ａは、カメラ１ａの映像から、選手及びその選手の属性を識別する。まず、画像識別部２３ａは、フレームの画像中から人物を検出する。人物を検出する方法は限定するものではない。図７では、四角で囲んだものが人物であると検出されたものであり、選手、観客にかかわらず、人物であると識別できるものを検出している。尚、向き推定部２１により、映像における人物の識別は済んでいるので、これらの人物の識別は向き推定部２１の処理を引き継ぎ、人物の識別自体は行わなくても良いように構成することもできる。

次に、画像識別部２３ａは、検出した人物に関して、図１１に示す如く、頭頂部から首中点を結ぶ直線の距離をＬとし、人物の首中心から下方向の位置にＬ×２Ｌの大きさの注目領域を設定する。そして、その注目領域のユニフォームの色や模様、タイスキに記載された大学名等を認識し、その人物が予め学習した識別対象（クラス）、すなわち特定の選手に属する尤度（信頼度）を算出する。画像識別部２３ａは、算出された尤度が予め定められた閾値より越え、最も尤度が高い人物をそのクラス（特定の選手）に属する人物と判定する。

図２０は、算出された識別対象（クラス）毎の尤度を、一例を示した図である。尚、図２０の例では、識別した選手の大学名以外にも精度を高めるために、白バイと観客のクラスを設けている。図２０の例では、人物Ａは観客である確からしさが最も高く、人物Ｂは大学Ｘの選手である確からしさが最も高く、人物Ｃは大学Ｙの選手である確からしさが最も高く、人物Ｄは大学Ｚの選手である確からしさが最も高い。ここで、閾値を０．７とすると、画像識別部２３ａは、人物Ａは観客のクラスに属し、人物Ｂは大学Ｘのクラスに属し、人物Ｃは大学Ｙのクラスに属し、人物Ｄは大学Ｚのクラスに属すると判定する。そして、人物Ｂの映像上の位置情報（例えば、注目領域を特定する座標情報）と大学名Ｘとを出力する。同様に、人物Ｃの映像上の位置情報（例えば、注目領域を特定する座標情報）と大学名Ｙとを出力する。同様に、人物Ｄの映像上の位置情報（例えば、注目領域を特定する座標情報）と大学名Ｚとを出力する。尚、人物Ａについては、選手ではないので、出力対象から除外するが、出力することを妨げるものではない。

次に、位置関係推定部２４は、識別した選手の映像上の位置関係を推定する。例えば、図２１の例では、注目領域の大きさは、人物Ｂ（大学Ｘの選手）、人物Ｃ（大学Ｙの選手）、人物Ｄ（大学Ｚの選手）の順である。従って、選手の順位は、人物Ｂ（大学Ｘの選手）、人物Ｃ（大学Ｙの選手）、人物Ｄ（大学Ｚの選手）の順である。

距離推定部２５は、距離を推定の対象となる第１特定人物と第２特定人物とを特定し、その間の距離を推定する。ここでは、第１特定人物を先頭の人物Ｂ（大学Ｘの選手）とし、第２特定人物を次順位の人物Ｃ（大学Ｙの選手）とし、人物Ｂ（大学Ｘの選手）と人物Ｃ（大学Ｙの選手）との間の距離Ｄ１と、第１特定人物を先頭の人物Ｂ（大学Ｘの選手）とし、第２特定人物を３位の人物Ｄ（大学Ｚの選手）とし、人物Ｂ（大学Ｘの選手）と人物Ｄ（大学Ｚの選手）との間の距離Ｄ２とを推定する。

すると、式（１）より、物Ｂ（大学Ｘの選手）と人物Ｃ（大学Ｙの選手）との間の距離Ｄ１は、
距離Ｄ１＝（Ｆ[m]×ｄ[pixel]）／（（Ｌ１[pixel]＋Ｌ２[pixel]）／２）と推定することができる。

また、人物Ｂ（大学Ｘの選手）と人物Ｄ（大学Ｚの選手）との間の距離Ｄ２は、
距離Ｄ２＝（Ｆ[m]×ｄ[pixel]）／（（Ｌ１[pixel]＋Ｌ３[pixel]）／２）と推定することができる。

このようにして、映像から選手及び選手の属性を識別するとともに、選手間の距離を算出する。

識別した選手の位置情報及びその選手の属性（上述した例では大学名）、距離は、映像の加工に用いることができる。識別した選手の位置関係、位置情報、向きは、向き推定部２１、位置関係推定部２４により、特定されている。これらの情報を用いて、選手の方向や位置関係に対応した画像をコンピュータグラフィックにより生成することができる。

図２２は選手の方向や位置関係を考慮した選手間の距離の表示の一例である。例えば、図２２では選手の向きが正面方向である場合の距離の表示例を示しており、識別された各選手の大学名と、先頭の大学Ｘの選手から大学Ｙの選手に至る矢印の画像と、先頭の大学Ｘの選手から大学Ｚの選手に至る矢印の画像とを表示している。本例の画像では両方に矢印を設けているが、推定された選手の向きにより選手の進行方向がわかるので、選手の進行方向に対応する手前方向のみに矢印を設けても良い。

更に、駅伝では、区間ごとに走者が決まっているので、区間ごとにその区間を走る選手を識別するためのクラスに限定することもできる。更に、識別した選手の大学名が識別できれば、その区間を走る選手名も特定することもでき、その特定した選手名を、映像上の選手の上に表示することもできる。

続いて、時間が経過し、放送用の映像がカメラ１ｄの映像に切り替えられたものとする。この場合、向き推定部２１に入力される映像は、カメラ１ｄの映像である。

向き推定部２１は、カメラ１ｄの映像を入力し、映像上の選手の向きを推定する。本例では、選手以外の観客は、時間的な移動ベクトルが左方向に大きくなる。このような映像では、選手の向きは右を向いていると推定される。推定された結果（選手の向きが右）は、制御部２２に出力される。

制御部２２は、向き推定部２１の推定結果（選手の向きが右）を受信し、選手及びその選手の属性を識別させる画像識別部を、画像識別部２３ａ～ｄのいずれかから選択する。本例では、向き推定部２１の推定結果は選手の向きが右向きであるので、選手の向きが右向き用の画像識別部２３ｄを選択する。そして、カメラ１ｄの映像を、画像識別部２３ｄに出力する。

画像識別部２３ｄは、カメラ１ｄの映像から、選手及びその選手の属性を識別する。まず、画像識別部２３ｄは、フレームの画像中から人物を検出する。人物を検出する方法は限定するものではない。

次に、位置関係推定部２４は、注目領域の大きさではなく、識別した識別対象（特定人物）の映像上の位置によって、位置関係を推定する。例えば、図１５で説明したように、選手の走行順位を推定する。

最後に、距離推定部２５は、図１７と同様に、選手間の距離を推定する。

このようにして、映像から選手及び選手の属性を識別するとともに、選手間の距離を算出する。識別した選手の位置情報及びその選手の属性（上述した例では大学名）、距離は、映像の加工に用いることができる。

識別した選手の位置関係、位置情報、向きは、向き推定部２１、位置関係推定部２４により、特定されている。これらの情報を用いて、選手の方向や位置関係に対応した画像をコンピュータグラフィックにより生成することができる。

図２３は選手の方向や位置関係を考慮した選手間の距離の表示の一例である。例えば、図２３では選手の向きが右方向である場合の距離の表示例を示しており、識別された各選手の大学名と、先頭の大学Ｙの選手から大学Ｘの選手に至る矢印の画像とを表示している。本例の画像では両方に矢印を設けているが、推定された選手の向きにより選手の進行方向がわかるので、選手の進行方向に対応する右方向のみに矢印を設けても良い。

本実施の形態は、映像の特定人物の向き及びその位置関係を推定して、特定人物間の距離を推定しているので、精度良く特定人物間の距離を推定できる。また、特定人物の映像上の位置関係も分かるので、先頭の選手（特定人物）と各選手（特定人物）との距離や、先頭の選手と３位の選手との距離といった推定も行うことができる。

尚、向き推定部２１の向きの判定によっては、選手（特定人物）の向きが確定することができない場合がある。例えば、選手が真正面を向いておらず、多少左方向を向いている場合等である。この場合、向き推定部２１は、選手の向きが正面であるとの判定結果と、選手の向きが左方向であるとの判定結果が出力される可能性がある。このような場合、制御部２２は、正面用の画像識別部２３ａと左方向の画像識別部２３ｃとの双方を選択し、画像識別部２３ａと画像識別部２３ｃとに画像識別を行わせるようにしても良い。

また、向き推定部２１が選手（特定人物）の向きの確からしさ（例えば、正面の向きの確からしさ＝０．７、左向きの確からしさ＝０．３等）に基づいて、確からしさが高い向き用の画像識別部を選択するようにしても良い。

更に、距離推定部２５は、選手の向きごとに距離の推定方法を変更しても良い。例えば、選手の向きが正面又は背面方向の場合は、第１特定人物の矩形領域の大きさと第２特定人物の矩形領域の大きさとの比と、第１特定人物と第２特定人物との間の実距離と、道路の白線等の他のオブジェクトとの関係性のデータを機械学習しておき、その機械学習のアルゴリズムより、選手間の距離を推定する。一方、選手の向きが左右方向の場合は、上述した式（１）を適用して、選手間の距離を推定する。

また、位置関係推定部２４を設けることにより、特定人物間の位置関係がわかるので、ある所定の特定人物と他の特定人物との間の距離（例えば、先頭の選手と他の選手との間の距離）を、距離推定部２５が推定する処理では有用である。しかし、特定人物間の距離を推定するだけであるならば、位置関係推定部２４を使用することなく、特定人物間の距離を推定することも可能である。

＜実施の形態の変形例１＞
上述した実施の形態では、第１特定人物と第２特定人物との間の実際の距離Ｄを算出するため、第１特定人物と第２特定人物とのＦ値を、識別対象となる特定人物（選手）たちの頭頂部から首中点を結ぶ直線の距離の平均値（例えば、０３ｍ）とした。

一方、駅伝のようなスポーツ等では、運営側は各選手の身長等の個別データを有している。更に、本装置でも、画像識別部２３ａ～ｄにより、各選手の識別が可能である。

そこで、画像識別部２３ａ～ｄにより識別した選手の実際の身長のデータを取得することにより、選手の実際の身長や、その身長に基づく頭頂部から首中点を結ぶ直線の距離（長さ）を、式（１）のＦ値（実際の距離を算出するために用いられる既知の値）としても良い。このようにすれば、より正確なＦ値を取得可能である。そして、そのＦ値を式（１）に適用すれば、より正確な距離を算出することができる。

＜実施の形態の変形例２＞
上述した実施の形態では、向き推定部２１が選手の向きを推定する際に、認識された人物の移動ベクトルとの相違から、選手の向きを推定している。

そこで、第１の実施の形態の変形例２では、認識された人物の移動ベクトルを用いて、観客（人物）と選手（特定人物）とを区別する。

具体的には、向き推定部２１は、移動ベクトルの移動量と、各フレーム単位で算出された人物とを関連付けて記憶していく。そして、移動ベクトルの移動量と各フレーム単位で算出された人物とが関連付けられた情報を、制御部２２に出力する。

制御部２２では、向き推定部２１の向きの推定結果を受信し、選手及びその選手の属性を識別させる画像識別部を、画像識別部２３ａ～ｄのいずれかから選択する。そして、選択した画像識別部２３ａ～ｄに、映像とともに、移動ベクトルの移動量と各フレーム単位で算出された人物とが関連付けられた情報を出力する。

画像識別部２３ａ～ｄは、移動ベクトルの移動量と各フレーム単位で算出された人物とが関連付けられた情報に基づいて、移動ベクトルの移動量が予め定めた値以上である人物を観客とし、その人物を識別対象（特定人物）の候補から除外し、残った人物を識別対象（特定人物）として識別する。

このようにすれば、観客（人物）と選手（特定人物）とを精度よく識別可能であり、結果として、識別対象の選手（特定人物）を高精度で識別することができる。

以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ａ～１ｄ カメラ
２ 画像識別装置
２１ 向き推定部
２２ 制御部
２３ａ～２３ｄ 画像識別部
２４ 位置関係推定部
２５ 距離推定部

Claims (11)

1. 映像中の第１特定人物と第２特定人物との間の距離を推定する距離推定装置であって、
   映像から人物を認識し、認識された人物の前記映像上の位置を参照し、認識された人物のうち前記第１特定人物及び前記第２特定人物と推定される人物の前記映像上の向きを推定する向き推定部と、
   前記第１特定人物及び前記第２特定人物の向き毎に、前記第１特定人物及び前記第２特定人物を識別するための学習が行われた複数の特定人物識別部と、
   前記向き推定部により推定された人物の前記映像上の向きに対応する前記特定人物識別部を選択し、選択した特定人物識別部により、前記映像から前記第１特定人物及び前記第２特定人物を識別させる制御部と、
   前記向き推定部により推定された人物の前記映像上の向きを参照し、前記第１特定人物及び前記第２特定人物の位置関係を推定する位置関係推定部と、
   識別した前記第１特定人物と前記第２特定人物との間の距離を、推定された前記第１特定人物及び前記第２特定人物の位置関係と、前記第１特定人物の所定部位の映像上の長さ及び前記第２特定人物の前記所定部位の映像上の長さと、を用いて推定する距離推定部と
   を有する距離推定装置。
2. 前記距離推定部は、推定された前記第１特定人物及び前記第２特定人物の位置関係と、前記第１特定人物の所定部位の映像上の長さと前記第２特定人物の前記所定部位の映像上の長さとの比と、前記第１特定人物の所定部位の実長さ及び前記第２特定人物の前記所定部位の実長さとを用いて、前記第１特定人物と前記第２特定人物との間の距離を推定する
   請求項１に記載の距離推定装置。
3. 前記所定部位の長さは、前記第１特定人物及び前記第２特定人物の頭頂部から首中点を結ぶ直線の長さの平均値、又は、前記第１特定人物及び前記第２特定人物の平均身長である
   請求項２に記載の距離推定装置。
4. 前記第１特定人物の所定部位の実長さ及び前記第２特定人物の前記所定部位の実長さは、前記特定人物識別部により識別された前記第１特定人物及び前記第２特定人物の個別データより取得する
   請求項２に記載の距離推定装置。
5. 前記距離推定部は、推定された前記第１特定人物及び前記第２特定人物の位置関係と、前記第１特定人物の所定部位を囲む領域の映像上の大きさと、前記第２特定人物の所定部位を囲む領域の映像上の大きさとを用いて、前記第１特定人物と前記第２特定人物との間の距離を推定する
   請求項１に記載の距離推定装置。
6. 前記距離推定部は、前記第１特定人物及び前記第２特定人物以外の他のオブジェクトの長さを用いて、前記第１特定人物と前記第２特定人物との間の距離を補正する
   請求項１から請求項５のいずれかに記載の距離推定装置。
7. 前記向き推定部は、前記第１特定人物と前記第２特定人物と推定される人物の前記映像上の向きとして、映像上の正面、背面、左右のいずれかを推定する
   請求項１から請求項６のいずれかに記載の距離推定装置。
8. 前記向き推定部は、認識された人物の前記映像上の位置の時間的変化を参照し、前記映像中の前記第１特定人物と前記第２特定人物と推定される人物の前記映像上の向きを推定する
   請求項１から請求項７のいずれかに記載の距離推定装置。
9. 前記向き推定部は、前記映像を撮影するカメラの移動可否に応じて、認識された人物の前記映像上の位置の時間的変化を参照し、前記映像上の前記第１特定人物と前記第２特定人物と推定される人物の前記映像上の向きを推定する
   請求項８に記載の距離推定装置。
10. 映像中の第１特定人物と第２特定人物との間の距離を推定するコンピュータのプログラムであって、
    前記プログラムは、前記コンピュータを、
    映像から人物を認識し、認識された人物の前記映像上の位置を参照し、認識された人物のうち前記第１特定人物及び前記第２特定人物と推定される人物の前記映像上の向きを推定する向き推定部と、
    前記第１特定人物及び前記第２特定人物の向き毎に、前記第１特定人物及び前記第２特定人物を識別するための学習が行われた複数の特定人物識別部と、
    前記向き推定部により推定された人物の前記映像上の向きに対応する前記特定人物識別部を選択し、選択した特定人物識別部により、前記映像から前記第１特定人物及び前記第２特定人物を識別させる制御部と、
    前記向き推定部により推定された人物の前記映像上の向きを参照し、前記第１特定人物及び前記第２特定人物の位置関係を推定する位置関係推定部と、
    識別した前記第１特定人物と前記第２特定人物との間の距離を、推定された前記第１特定人物及び前記第２特定人物の位置関係と、前記第１特定人物の所定部位の映像上の長さ及び前記第２特定人物の前記所定部位の映像上の長さと、を用いて推定する距離推定部と
    して機能させるプログラム。
11. 映像中の第１特定人物と第２特定人物との間の距離を推定する距離推定方法であって、
    コンピュータは、
    前記第１特定人物及び前記第２特定人物の向き毎に、前記第１特定人物及び前記第２特定人物を識別するための学習を行った複数の人物識別アルゴリズムを生成し、
    映像から人物を認識し、認識された人物の前記映像上の位置を参照し、認識された人物のうち前記第１特定人物及び前記第２特定人物と推定される人物の前記映像上の向きを推定し、
    前記推定された人物の前記映像上の向きに対応する人物識別アルゴリズムを選択し、選択した人物識別アルゴリズムにより、前記映像から前記第１特定人物及び前記第２特定人物を識別させ、
    前記推定された人物の前記映像上の向きを参照し、前記第１特定人物及び前記第２特定人物の位置関係を推定し、
    識別した前記第１特定人物と前記第２特定人物との間の距離を、推定された前記第１特定人物及び前記第２特定人物の位置関係と、前記第１特定人物の所定部位の映像上の長さ及び前記第２特定人物の前記所定部位の映像上の長さと、を用いて推定する
    距離推定方法。

Images