JPWO2019235350A1 - 情報処理システム、情報処理方法及び記憶媒体 - Google Patents

Abstract

画像の中から画像認識により特定された人物の識別情報を取得する識別情報取得部と、前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得する注目情報取得部と、前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測する行動予測部と、を備える情報処理システムが提供される。

Description

本発明は、情報処理システム、情報処理方法及び記憶媒体に関する。

特許文献１には、ドライバの視線を検出し、視線の動きに基づいて注視対象物を検出するナビゲーション装置が開示されている。当該ナビゲーション装置は、注視行動パターンに基づいて運転行動を予測する機能を備える。

特開２００８−２３２９１２号公報

特許文献１に例示されているナビゲーション装置においては、注視対象に基づく行動の予測において、対象となる人物によって行動の傾向が異なることを十分に考慮できていない場合があった。

本発明は、上述の課題に鑑みてなされたものであって、人物ごとに行動の傾向が異なることを考慮した行動予測を行い得る情報処理システム、情報処理方法及び記憶媒体を提供することを目的とする。

本発明の一観点によれば、画像の中から画像認識により特定された人物の識別情報を取得する識別情報取得部と、前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得する注目情報取得部と、前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測する行動予測部と、を備えることを特徴とする情報処理システムが提供される。

本発明の他の一観点によれば、画像の中から画像認識により特定された人物の識別情報を取得するステップと、前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得するステップと、前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測するステップと、を備えることを特徴とする情報処理方法が提供される。

本発明の他の一観点によれば、コンピュータに、画像の中から画像認識により特定された人物の識別情報を取得するステップと、前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得するステップと、前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測するステップと、を備えることを特徴とする情報処理方法を実行させるためのプログラムが記憶された記憶媒体が提供される。

本発明によれば、人物ごとに行動の傾向が異なることを考慮した行動予測を行い得る情報処理システム、情報処理方法及び記憶媒体を提供することができる。

第１実施形態に係る情報処理システムのハードウェア構成例を示すブロック図である。 第１実施形態に係る情報処理システムの機能ブロック図である。 第１実施形態に係る情報処理システムにより行われる処理の概略を示すフローチャートである。 試合の動画からの人物の顔の検出例を模式的に示す図である。 プレイヤーデータベースの構成例を示す表である。 プレイヤーの顔画像からの視線検出例を模式的に示す図である。 予測画像の表示例を示す図である。 第２実施形態に係る情報処理システムの機能ブロック図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
本実施形態に係る情報処理システムについて、図１乃至図７を参照しつつ説明する。本実施形態の情報処理システムは、画像に出現している人物の行動予測に用いられるシステムである。この画像は、例えば、スポーツの試合の動画であり、人物は、スポーツのプレイヤーである。プレイヤーの行動予測を表示させることにより、プレイヤーの心理、戦略等を可視化することができ、スポーツを観戦する視聴者の満足度を向上させることができる。

なお、本明細書において、画像とは、静止画、動画及、動画に含まれるフレーム画像等を包括する概念である。画像が動画である場合には、音声データを更に含んでもよい。また、本明細書において、スポーツとは、身体運動を伴うフィジカルスポーツを含むが、これに限定されるものではなく、身体運動の要素が少ない競技及び身体運動を伴わない競技をも含み得る。すなわち、スポーツとは、自動車レース、バイクレース、モーターボートレース等のモータースポーツ、コンピュータゲームをプレイするｅスポーツ（Electronic Sports）、囲碁、将棋、チェス、麻雀、ポーカー、バックギャモン等のマインドスポーツを含み得る。

以下に説明する実施形態では、一例としてバレーボールの試合の動画に出現するプレイヤーの視線等を検出してプレイヤーの行動を予測し、予測結果を表示する例を説明するが、これに限定されるものではない。

図１は、情報処理システム１００のハードウェア構成例を示すブロック図である。情報処理システム１００は、例えば、デスクトップＰＣ（Personal Computer）、ノートＰＣ、タブレットＰＣ等のコンピュータであり得る。

情報処理システム１００は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ（Central Processing Unit）１５１、ＲＡＭ（Random Access Memory）１５２、ＲＯＭ（Read Only Memory）１５３及びＨＤＤ（Hard Disk Drive）１５４を備える。また、情報処理システム１００は、通信Ｉ／Ｆ（インターフェース）１５５、表示装置１５６及び入力装置１５７を備える。ＣＰＵ１５１、ＲＡＭ１５２、ＲＯＭ１５３、ＨＤＤ１５４、通信Ｉ／Ｆ１５５、表示装置１５６及び入力装置１５７は、バス１５８を介して相互に接続される。なお、表示装置１５６及び入力装置１５７は、これらの装置を駆動するための不図示の駆動装置を介してバス１５８に接続されてもよい。

図１では、情報処理システム１００を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、表示装置１５６及び入力装置１５７は、ＣＰＵ１５１等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。

ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムに従って所定の動作を行うとともに、情報処理システム１００の各部を制御する機能をも有するプロセッサである。ＲＡＭ１５２は、揮発性記憶媒体から構成され、ＣＰＵ１５１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１５３は、不揮発性記憶媒体から構成され、情報処理システム１００の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１５４は、不揮発性記憶媒体から構成され、処理に必要なデータ、情報処理システム１００の動作用プログラム等の記憶を行う記憶装置である。

通信Ｉ／Ｆ１５５は、イーサネット（登録商標）、Ｗｉ−Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１５６は、液晶ディスプレイ、ＯＬＥＤディスプレイ等であって、画像、文字、インターフェース等の表示に用いられる。入力装置１５７は、キーボード、ポインティングデバイス等であって、ユーザが情報処理システム１００を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。表示装置１５６及び入力装置１５７は、タッチパネルとして一体に形成されていてもよい。

なお、図１に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１５４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。

図２は、本実施形態に係る情報処理システム１００の機能ブロック図である。情報処理システム１００は、画像取得部１０１、顔検出部１０２、特徴量抽出部１０３、照合部１０４、状態判定部１０５、識別情報取得部１０６、注目情報取得部１０７、行動予測部１０８、画像生成部１０９及び記憶部１１０を有する。

ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムをＲＡＭ１５２にロードして実行する。これにより、ＣＰＵ１５１は、画像取得部１０１、顔検出部１０２、特徴量抽出部１０３、照合部１０４、状態判定部１０５、識別情報取得部１０６、注目情報取得部１０７、行動予測部１０８及び画像生成部１０９の機能を実現する。これらの各部で行われる処理については後述する。ＣＰＵ１５１は、ＨＤＤ１５４を制御することにより記憶部１１０の機能を実現する。

図３は、本実施形態に係る情報処理システム１００により行われる処理の概略を示すフローチャートである。図３を参照しつつ、情報処理システム１００により行われる行動予測処理を説明する。なお、以下の説明においては、情報処理システム１００は、バレーボールの試合の動画の中からサーブを打とうとしているプレーヤー（サーバー）を検出し、ボールが飛ぶ方向を予測して予測結果を表示する処理を行うものとする。この処理は、プレイヤーの行動予測を提供することで視聴者の満足度を向上させる観点から、生放送時にリアルタイムで行われることが望ましい。録画放送の場合よりも生放送の場合の方が行動予測の提供に対するニーズが強いためである。なお、本明細書において、生放送とは、撮影と実質的に同時に撮影された動画が放送されるものだけでなく、遅延送出システムを用いて撮影から数秒から数分程度遅延させて放送するものを含む。

ステップＳ１０１において、画像取得部１０１は、バレーボールの試合の動画データ（動画を構成するフレーム画像データ）を取得する。この動画データの取得は、例えば、ビデオカメラ等の情報処理システム１００の外部の装置から受信するものであってもよく、記憶部１１０に一次記憶されている動画データを読み出すものであってもよい。

ステップＳ１０２において、顔検出部１０２は、動画データに含まれるフレーム画像データ内から人物の顔が含まれる領域を検出する。図４は、バレーボールの試合の動画データから人物の顔を検出する例を模式的に示す図である。フレーム画像データ３０１内には、サーブを打とうとしてボールを持って構えているプレイヤー３０２が表示されている。顔検出部１０２は、フレーム画像データ３０１内から自動的に人物の顔を探索して顔を検出する。これにより、図４に示されるようにプレイヤー３０２の顔を含む矩形の顔領域Ｒ１が抽出される。

ステップＳ１０３において、特徴量抽出部１０３は、顔検出部１０２により抽出された顔領域Ｒ１内の画像から特徴量を抽出する。特徴量とは、例えば、瞳、鼻、口端といった特徴的なパーツの位置等の顔の特徴を示す量であり得る。

ステップＳ１０４において、照合部１０４は、ステップＳ１０３の処理で抽出された特徴量と、プレイヤーデータベース（プレイヤーＤＢ）に含まれる照合対象の特徴量とを照合し、一致する組み合わせがあるかどうかを判定する顔照合を行う。プレイヤーデータベース内に特徴量抽出部１０３により抽出された特徴量と一致する特徴量がある場合（ステップＳ１０４においてＹＥＳ）、検出された人物は試合に出場しているプレイヤーであると判定され、処理はステップＳ１０５に移行する。データベース内に特徴量抽出部１０３により抽出された特徴量と一致する特徴量がない場合（ステップＳ１０４においてＮＯ）、検出された人物は、監督等の試合に出場しているプレイヤーとは異なる人物であると判定され、処理は終了する。

ここで、図５を参照して、プレイヤーデータベースの構成について説明する。図５は、プレイヤーデータベースの構成例を示す表である。プレイヤーデータベースの項目には、図５に示されるように、試合に出場可能なプレイヤーの名前、プレイヤーのＩＤ（Identifier）、プレイヤーの顔画像の特徴量、プレイヤーの背番号、プレイヤーの所属チーム並びにプレイヤーのポジションが含まれる。プレイヤーデータベース内において、これらの項目は相互に対応付けられている。なお、図５には、特徴量を識別するための特徴量ＩＤが図示されているが、実際には特徴量ＩＤに対応する特徴量もプレイヤーデータベースに含まれている。

図５に示されているものに加えて、プレイヤーデータベースは、特徴量の抽出に用いられた顔画像そのものを含んでいてもよい。また、特徴量とプレイヤーを識別する情報とが対応付けられていれば本実施形態の処理が可能であるため、図５に示されている項目のうちのプレイヤー名、背番号、チーム、ポジション等は省略されていてもよい。

なお、プレイヤーデータベースは、情報処理システム１００内の記憶部１１０に記憶されたものであってもよく、データサーバ等の情報処理システム１００の外部の装置に記憶されたものであってもよい。プレイヤーデータベースは、情報処理システム１００のユーザが所属する放送局等が自社内に保有するものであり得る。しかしながら、プレイヤーデータベースは、複数の放送局等が共同で利用できるようにクラウド環境で提供されるものであってもよい。

ステップＳ１０５において、状態判定部１０５は、顔検出部１０２により抽出されたプレイヤーがサーバーであるか否かを判定する。当該プレイヤーがサーバーである場合（ステップＳ１０５においてＹＥＳ）、処理はステップＳ１０６に移行する。当該プレイヤーがサーバーではない場合（ステップＳ１０５においてＮＯ）、処理は終了する。

ここで、状態判定部１０５における判定のアルゴリズムは、例えば、当該プレイヤーのコート内における位置、当該プレイヤーの体勢、当該プレイヤーがボールを持っているか否か等に基づくものであり得る。また、状態判定部１０５のアルゴリズムは、プレイヤーの画像と当該プレイヤーがサーバーであるか否かを示す情報とが対応付けられた学習データを入力データとする機械学習により生成された学習モデルを用いたものであってもよい。

また、状態判定部１０５における判定のアルゴリズムは、プレイヤーデータベースを参照して、当該プレイヤーのポジションがリベロである場合に、サーバーではないと判定するものであってもよい。リベロはルール上サーブを打つことができないので、抽出されたプレイヤーがリベロの場合にはそのプレイヤーはサーバーではないためである。

また、状態判定部１０５における判定のアルゴリズムは、コートポジションの情報を参照して判定するものであってもよい。サーブ権の移動に伴うコートポジションの変化（ローテーション）を演算することにより、状態判定部１０５はサーバーを特定することができる。

ステップＳ１０５の処理が行われるタイミングがステップＳ１０４の後であることは必須ではなく、例えば、ステップＳ１０２の後、ステップＳ１０３の後等であってもよい。

ステップＳ１０６において、識別情報取得部１０６は、サーバーとして特定された人物の識別情報を取得する。この識別情報は、プレイヤーデータベース内のプレイヤーＩＤであり得る。しかしながら、識別情報は、特徴量ＩＤ、プレイヤー名、背番号、所属チーム名等、プレイヤーの識別に用いることが可能な情報であればプレイヤーＩＤ以外のものであってもよい。

ステップＳ１０７において、注目情報取得部１０７は、プレイヤーの顔領域Ｒ１内の顔画像からプレイヤーの視線の向きを検出する。図６は、プレイヤーの顔画像からの視線検出例を模式的に示す図である。図６に示されるように、注目情報取得部１０７は、顔画像に基づいて、プレイヤーの視線３０３の向きを検出する。この視線検出のアルゴリズムは、例えば、目頭、目尻等を基準点として、虹彩、瞳孔等の相対的な位置を画像から取得することにより、視線の向きを取得するものであり得る。あるいは、当該アルゴリズムは、光源から射出された光の角膜反射を基準として瞳孔の位置を画像から取得することにより、視線の向きを取得するものであってもよい。プレイヤーの視線３０３の向きは、プレイヤーが注目している方向を示していることから、プレイヤーの注目状態を示す典型的な情報であるといえる。このようにして、注目情報取得部１０７は、プレイヤーの注目状態を示す注目情報を取得する。

なお、注目情報取得部１０７は、プレイヤーの顔の向きを検出するものであってもよく、視線の向きの検出と顔の向きの検出とを併用するものであってもよい。すなわち、注目情報は、視線の向き及び顔の向きの少なくとも１つを含み得る。顔は目よりも面積が大きいので、画像の解像度が低い場合であっても比較的高精度に向きを取得できる利点がある。なお、注目情報に含まれ得る他の例としては、プレイヤーの表情、プレイヤーの口の形等も挙げられる。

ステップＳ１０８において、行動予測部１０８は、識別情報取得部１０６により取得された識別情報と、注目情報取得部１０７により取得された注目情報とに基づいて、プレイヤーの行動を予測する。なお、この処理により得られた予測結果は行動予測情報と呼ばれることもある。

行動予測部１０８により行われる行動予測のアルゴリズムの例を説明する。一般的に、視線等の注目情報と、プレイヤーの行動の間には相関がある。例えば、サーブの例では、プレイヤーの視線は、サーブを打とうとして狙っている方向を向いていることが多い。しかしながら、相手に狙いを読まれることを避けるため、サーブを打とうとする方向とは異なる方向を意図的に又は無意識的に注視するプレイヤーもいる。このように、プレイヤーの視線等の注目情報と、プレイヤーの実際の行動との間の相関には個人差がある、したがって、プレイヤーごとに異なるモデルを用いて行動予測を行うことで予測精度を向上させることができる。

そこで、本実施形態の行動予測部１０８は、プレイヤーごとに異なるモデルによる予測を行うため、識別情報を用いてプレイヤーを特定し、特定されたプレイヤーのモデルを用いて注目情報から当該プレイヤーの行動を予測する。これにより、注目情報と行動との間の相関の個人差を考慮した予測が可能となり、予測精度が向上する。

この注目情報と行動との間の相関の個人差は、各プレイヤーの過去の試合情報を解析することにより得られる。具体的には、注目情報と行動との関係をプレイヤーごとにデータベース化した学習データを入力とする機械学習により、プレイヤーごとに異なる行動予測の学習モデルを得ることができる。この学習モデルを行動予測部１０８に組み込むことにより、プレイヤーごとに行動の傾向が異なることを考慮した行動予測が実現される。機械学習を活用して学習モデルを生成することにより、手動でモデルを作成する場合に比べて手間が軽減されるので、多量のデータを用いた精度の高い学習モデルを容易に構築することができる。

なお、行動予測部１０８において用いられ得るモデルは機械学習により得られるものに限定されず、これ以外のものであってもよい。例えば、データ解析者が注目情報に含まれる視線の向き等を分類し、分類ごとに最も可能性が高い行動を過去のデータから導き出すこと等により手動で行動予測モデルを構築してもよい。手動でモデルを作成することにより、解釈性の高い学習モデルを構築することができる。なお、この場合、行動予測部１０８により行われる処理は、注目情報とプレイヤーの行動とが対応付けられたテーブル等のデータベースを参照するものであり得る。

ステップＳ１０９において、画像生成部１０９は、行動予測部１０８により予測された行動予測情報を含む予測画像を生成する。この予測画像は、例えば、バレーボールの試合の放送用画像に組み込まれて、視聴者に提供される。図７は、予測画像の表示例を示す図である。図７に示される例では、行動予測情報３０４をバレーボールの試合のフレーム画像に重畳させることにより予測画像３０５が生成されている。行動予測情報３０４の破線は、サーバーが打つボールの軌跡を示している。視聴者は、予測画像３０５を見ることにより、サーバーがコートの左下隅を狙っていることを視覚的に把握することができる。

なお、行動予測情報３０４の表示方法は図７に示す矢印のような図形によるものでなくてもよく、例えば、色の変化による表示、文章による表示等であってもよい。また、行動予測情報３０４を試合の画像に重畳させることは必須ではなく、例えば、予測画像３０５は、バレーボールコートの絵にサーブのコースを表示するような模式図であってもよい。

行動予測の結果は、放送用画像に組み込むことにより視聴者に提供する目的以外の目的に用いられてもよく、例えば、戦略立案のために監督等のスポーツチームの関係者に提供されてもよい。この場合、行動予測の結果は、例えば情報処理システム１００の端末から監督が持っているタブレット端末に送信され得る。監督は、行動予測結果を用いて戦略を立案し、プレイヤーに指示を送ることができる。

上述のように、本実施形態では、画像認識により人物を特定し、特定された人物の識別情報と当該人物の注目情報とに基づいて、行動予測が行われる。これにより、人物ごとに行動の傾向が異なることを考慮した行動予測を行い得る情報処理システム１００が提供される。

なお、上述の実施形態において行動予測部１０８が実行する行動予測は、プレイヤーの視線等の不確実な情報に基づいて行われるものであり、プレイヤーの行動を確実に予測するものであるとは限らない。例えば、プレイヤーが従来とは傾向が異なる行動を意識的に行った場合には、行動予測が外れる場合がある。しかしながら、視聴者は、行動予測が実際の行動と合致するか否かを予想しながら試合を楽しむ等の目的で行動予測結果を見るため、行動予測が実際の行動と確実に合致することを求めているわけではない。したがって、本実施形態の情報処理システム１００において、行動予測の精度が高いことは必須ではない。

上述の実施形態において説明したシステムは以下の第２実施形態のようにも構成することができる。

［第２実施形態］
図８は、第２実施形態に係る情報処理システム２００の機能ブロック図である。情報処理システム２００は、識別情報取得部２０１、注目情報取得部２０２及び行動予測部２０３を備える。識別情報取得部２０１は、画像の中から画像認識により特定された人物の識別情報を取得する。注目情報取得部２０２は、前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得する。行動予測部２０３は、前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測する。

本実施形態によれば、人物ごとに行動の傾向が異なることを考慮した行動予測を行い得る情報処理システム２００が提供される。

［変形実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

上述の実施形態においては、バレーボールの試合においてサーバーの視線からサーブの方向を予測する例を示しているが、本実施形態の行動予測は、これ以外の場面にも適用可能である。例えば、セッター又はアタッカーの視線の方向に基づいて、セッターがトスを上げる方向、トスの種類、アタックが打たれる位置等を予測してもよい。

また、本実施形態の行動予測は、バレーボール以外のスポーツの行動予測にも適用可能である。例えば、本実施形態をサッカーのフリーキック又はペナルティキックの場面に適用することもできる。この場合には、キッカーの視線の方向又はゴールキーパーの視線の方向から、ボールが蹴られる方向、キーパーが飛ぶ方向等を予測することができる。

また、本実施形態を野球に適用することもできる。この場合には、ピッチャーの視線の方向又はキャッチャーの視線の方向からピッチャーが投げるボールの球種、コース、スピード等を予測することができる。同様に、バッターの視線の方向からバッターが打とうとしている方向を予測することもできる。

また、本実施形態をスポーツ以外の場面に適用することもできる。例えば、防犯カメラで撮影された画像に映っている人物に対して本実施形態の行動予測を適用してもよい。

上述の実施形態においては、行動予測部１０８は、行動予測のための入力情報として人物を特定する識別情報と、注目情報とを用いているが、これ以外の情報を更に用いて行動予測を行ってもよい。そのような情報の例を例示的に列挙する。

例えば、行動予測に当該試合における過去の行動の履歴を用いてもよい。バレーボールのサーブの例で説明すると、サーバーは、過去のサーブの方向及びその成否を考慮してサーブを打つ向きを決めることがある。左隅にサーブを打った場合に連続して成功している場合（得点できている場合）には、サーバーは、次のサーブを左隅に打つ傾向がある。また、左隅にサーブを打ち続けたものの前回のサーブで失敗した場合（失点した場合）には、サーバーは、次は打つ方向を変えて右隅に打つ傾向がある。あるいは、サーバーの視線の方向とサーブを打つ方向が一致しないことが続いており、これが成功している場合には、サーバーは、次のサーブでも同様に視線の方向と一致しない方向にサーブを打つ傾向がある。一方、サーバーの視線の方向とサーブを打つ方向が一致していなかったが、前回のサーブで失敗した場合には、サーバーは次のサーブでは打ち方を変えて、視線の方向とサーブを打つ方向を一致させる傾向がある。このように、当該試合における過去の行動の履歴が次の行動に影響することがあるため、過去の行動の履歴を行動予測に用いることで、更に行動予測の精度を向上させることができる。なお、上述の傾向は一例であり、別の傾向を持つプレイヤーも存在する。そこで、行動予測において、プレイヤーに応じて過去の履歴の考慮の仕方を変えてもよい。

また、行動予測に、連携プレイに関与するプレイヤーの組み合わせを考慮してもよい。バレーボールのトスとアタックのように、プレイヤー間での連携が存在する場合には、プレイヤーの組み合わせによって、行動に傾向がある場合がある。例えば、セッターとアタッカーがある組み合わせの場合には右隅を狙う場合が多く、別のある組み合わせの場合には、左隅を狙う場合が多いというような傾向が存在することがある。また、セッターとアタッカーがある組み合わせの場合には視線の向きとアタックの向きが一致することが多く、別のある組み合わせの場合には、視線の向きとアタックの向きが異なっていることが多いというような傾向が存在することもある。このように、プレイヤーの組み合わせに依存した傾向がある場合には、これらの傾向を考慮した行動予測を行うことが望ましい。そこで、連携プレイに関与するプレイヤーの組み合わせを行動予測に用いることで、更に行動予測の精度を向上させることができる。

また、行動予測に口角の動き等に基づく表情解析の結果を用いてもよい。表情が平常である場合には、視線と異なる向きを狙ってサーブを打つなどの戦略的行動を行う余裕がある場合が多い。しかしながら、疲労が蓄積している場合等の表情が平常でない場合には、そのような戦略的行動を行う余裕がないことが多い。このような理由により、表情が平常である場合には視線と異なる向きを狙うことが多く、口角等から苦しい表情が見受けられる場合には視線と同じ向きを狙うことが多い、というように表情と行動が相関することがある。そこで、表情解析の結果を行動予測に用いることで、更に行動予測の精度を向上させることができる。

また、行動予測に試合の状況に関する情報を用いてもよい。試合の状況とは、バレーボールの例では、両チームのスコア、両チームのセッター又はエースアタッカーの位置等の行動予測対象のプレイヤーとは別のプレイヤーの状況、プレイヤー間の位置関係等が挙げられる。例えば、エースアタッカーがアタックをしにくくするため、エースアタッカーを狙ってサーブを打つという戦略が知られている。そのため、エースアタッカーの位置を考慮した行動予測を行うことによりサーブの方向の予測精度を向上させることができる。また、スコアが自チームに不利な場合は、精神的な余裕がなくなるため、視線の向きと行動が合致しやすくなる等のスコアと行動に相関がある場合もある。すなわち、自チームのスコアが勝っている場合には視線と異なる向きを狙うことが多く、自チームのスコアが負けている場合には視線と同じ向きを狙うことが多い、というようにスコアと行動が相関することがある。そこで、スコア等の試合の状況を考慮した行動予測を行うことにより、予測精度が向上し得る。

また、行動予測に特定した人物の相手方のチームのプレイヤーの過去の試合情報を用いてもよい。相手チームにフェイントが上手なプレイヤーがいる場合、自チームのフェイントが読まれやすくなるため、あえてフェイントを行わず、視線の向きとボールを打つ向きを合わせる等の戦略があり得る。すなわち、相手チームにフェイントが上手なプレイヤーがいる場合には視線と同じ向きを狙うことが多く、フェイントが上手なプレイヤーがいない場合には視線と異なる向きを狙うことが多い、というように相手方のチームのプレイヤーの過去の試合情報を考慮して戦略を決定することがある。そこで、相手方のチームのプレイヤーの過去の試合情報を行動予測に用いることで、更に行動予測の精度を向上させることができる。

以上のように、行動予測部１０８は、行動予測のための入力情報として人物を特定する識別情報と、注目情報とこれ以外の情報を更に用いて行動予測を行うことで、行動予測の精度を向上させることができる。なお、上述の例のいくつかを組み合わせて行動予測に用いてもよい。

上述の実施形態においては、顔照合により人物の特定を行う例を示しているが、画像認識により人物の識別が可能であればこれ以外の手法を採用してもよい。例えば、プレイヤーのユニフォームに記載されている背番号、名前等を文字認識により取得して人物を特定してもよい。

顔検出、視線検出等を行うための画像を取得する撮像装置（カメラ）の設置位置は特に限定されないが、顔検出、視線検出等の精度を高めるため、プレイヤーに近いことが望ましい。例えば、バレーボールであれば、コート外のカメラではなく、ネットに設置されたカメラで撮影された画像を用いることが望ましい場合がある。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の回路であってもよい。

該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disk）−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Operating System）上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software as a Service）の形態でユーザに対して提供することもできる。

なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
画像の中から画像認識により特定された人物の識別情報を取得する識別情報取得部と、
前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得する注目情報取得部と、
前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測する行動予測部と、
を備えることを特徴とする情報処理システム。

（付記２）
前記注目情報は、前記人物の顔又は目の特徴から抽出された情報を含む
ことを特徴とする付記１に記載の情報処理システム。

（付記３）
前記注目情報は、前記人物の視線の向き及び前記人物の顔の向きの少なくとも１つを含む
ことを特徴とする付記１又は２に記載の情報処理システム。

（付記４）
前記画像認識は、顔照合及び文字認識の少なくとも１つを含む
ことを特徴とする付記１乃至３のいずれか１項に記載の情報処理システム。

（付記５）
前記行動予測部は、前記注目情報と前記人物の行動とを含む学習データを入力とする機械学習により生成された学習モデルを用いて前記人物の行動を予測する
ことを特徴とする付記１乃至４のいずれか１項に記載の情報処理システム。

（付記６）
前記行動予測部は、前記注目情報と前記人物の行動とが対応付けられたデータベースを用いて前記人物の行動を予測する
ことを特徴とする付記１乃至４のいずれか１項に記載の情報処理システム。

（付記７）
前記行動予測部が予測した前記人物の行動を含む行動予測情報を含む予測画像を生成する画像生成部を更に備える
ことを特徴とする付記１乃至６のいずれか１項に記載の情報処理システム。

（付記８）
前記画像生成部は、前記行動予測情報を前記画像に重畳させることにより、前記予測画像を生成する
ことを特徴とする付記７に記載の情報処理システム。

（付記９）
前記画像はスポーツの試合の動画であり、
前記人物は、前記スポーツのプレイヤーである
ことを特徴とする付記１乃至８のいずれか１項に記載の情報処理システム。

（付記１０）
前記行動予測部は、更に前記試合の状況に基づいて、前記人物の行動を予測する
ことを特徴とする付記９に記載の情報処理システム。

（付記１１）
前記行動予測部は、更に前記人物以外のプレイヤーの状況に基づいて、前記人物の行動を予測する
ことを特徴とする付記９又は１０に記載の情報処理システム。

（付記１２）
前記行動予測部は、更に、前記試合における前記人物の行動の履歴に基づいて、前記人物の行動を予測する
ことを特徴とする付記９乃至１１のいずれか１項に記載の情報処理システム。

（付記１３）
前記行動予測部は、更に、前記人物と、前記人物と連携するプレイヤーとの組み合わせに基づいて、前記人物の行動を予測する
ことを特徴とする付記９乃至１２のいずれか１項に記載の情報処理システム。

（付記１４）
前記行動予測部は、更に、前記人物の表情に基づいて、前記人物の行動を予測する
ことを特徴とする付記９乃至１３のいずれか１項に記載の情報処理システム。

（付記１５）
前記行動予測部は、更に、前記試合のスコアに基づいて、前記人物の行動を予測する
ことを特徴とする付記９乃至１４のいずれか１項に記載の情報処理システム。

（付記１６）
前記行動予測部は、更に、前記人物の相手方のチームのプレイヤーの過去の試合情報に基づいて、前記人物の行動を予測する
ことを特徴とする付記９乃至１５のいずれか１項に記載の情報処理システム。

（付記１７）
画像の中から画像認識により特定された人物の識別情報を取得するステップと、
前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得するステップと、
前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測するステップと、
を備えることを特徴とする情報処理方法。

（付記１８）
コンピュータに、
画像の中から画像認識により特定された人物の識別情報を取得するステップと、
前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得するステップと、
前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測するステップと、
を備えることを特徴とする情報処理方法を実行させるためのプログラムが記憶された記憶媒体。

この出願は、２０１８年６月６日に出願された日本出願特願２０１８−１０８３３２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００、２００ 情報処理システム
１０１ 画像取得部
１０２ 顔検出部
１０３ 特徴量抽出部
１０４ 照合部
１０５ 状態判定部
１０６、２０１ 識別情報取得部
１０７、２０２ 注目情報取得部
１０８、２０３ 行動予測部
１０９ 画像生成部
１１０ 記憶部
１５１ ＣＰＵ
１５２ ＲＡＭ
１５３ ＲＯＭ
１５４ ＨＤＤ
１５５ 通信Ｉ／Ｆ
１５６ 表示装置
１５７ 入力装置
１５８ バス
３０１ フレーム画像データ
３０２ プレイヤー
３０３ 視線
３０４ 行動予測情報
３０５ 予測画像
Ｒ１ 顔領域

Claims (18)

1. 画像の中から画像認識により特定された人物の識別情報を取得する識別情報取得部と、
   前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得する注目情報取得部と、
   前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測する行動予測部と、
   を備えることを特徴とする情報処理システム。
2. 前記注目情報は、前記人物の顔又は目の特徴から抽出された情報を含む
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記注目情報は、前記人物の視線の向き及び前記人物の顔の向きの少なくとも１つを含む
   ことを特徴とする請求項１又は２に記載の情報処理システム。
4. 前記画像認識は、顔照合及び文字認識の少なくとも１つを含む
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 前記行動予測部は、前記注目情報と前記人物の行動とを含む学習データを入力とする機械学習により生成された学習モデルを用いて前記人物の行動を予測する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 前記行動予測部は、前記注目情報と前記人物の行動とが対応付けられたデータベースを用いて前記人物の行動を予測する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
7. 前記行動予測部が予測した前記人物の行動を含む行動予測情報を含む予測画像を生成する画像生成部を更に備える
   ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
8. 前記画像生成部は、前記行動予測情報を前記画像に重畳させることにより、前記予測画像を生成する
   ことを特徴とする請求項７に記載の情報処理システム。
9. 前記画像はスポーツの試合の動画であり、
   前記人物は、前記スポーツのプレイヤーである
   ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
10. 前記行動予測部は、更に前記試合の状況に基づいて、前記人物の行動を予測する
    ことを特徴とする請求項９に記載の情報処理システム。
11. 前記行動予測部は、更に前記人物以外のプレイヤーの状況に基づいて、前記人物の行動を予測する
    ことを特徴とする請求項９又は１０に記載の情報処理システム。
12. 前記行動予測部は、更に、前記試合における前記人物の行動の履歴に基づいて、前記人物の行動を予測する
    ことを特徴とする請求項９乃至１１のいずれか１項に記載の情報処理システム。
13. 前記行動予測部は、更に、前記人物と、前記人物と連携するプレイヤーとの組み合わせに基づいて、前記人物の行動を予測する
    ことを特徴とする請求項９乃至１２のいずれか１項に記載の情報処理システム。
14. 前記行動予測部は、更に、前記人物の表情に基づいて、前記人物の行動を予測する
    ことを特徴とする請求項９乃至１３のいずれか１項に記載の情報処理システム。
15. 前記行動予測部は、更に、前記試合のスコアに基づいて、前記人物の行動を予測する
    ことを特徴とする請求項９乃至１４のいずれか１項に記載の情報処理システム。
16. 前記行動予測部は、更に、前記人物の相手方のチームのプレイヤーの過去の試合情報に基づいて、前記人物の行動を予測する
    ことを特徴とする請求項９乃至１５のいずれか１項に記載の情報処理システム。
17. 画像の中から画像認識により特定された人物の識別情報を取得するステップと、
    前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得するステップと、
    前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測するステップと、
    を備えることを特徴とする情報処理方法。
18. コンピュータに、
    画像の中から画像認識により特定された人物の識別情報を取得するステップと、
    前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得するステップと、
    前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測するステップと、
    を備えることを特徴とする情報処理方法を実行させるためのプログラムが記憶された記憶媒体。

Images