JP6939999B2 - Information processing system, information processing method and storage medium - Google Patents
Information processing system, information processing method and storage medium Download PDFInfo
- Publication number
- JP6939999B2 JP6939999B2 JP2020523665A JP2020523665A JP6939999B2 JP 6939999 B2 JP6939999 B2 JP 6939999B2 JP 2020523665 A JP2020523665 A JP 2020523665A JP 2020523665 A JP2020523665 A JP 2020523665A JP 6939999 B2 JP6939999 B2 JP 6939999B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- information
- behavior
- image
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
本発明は、情報処理システム、情報処理方法及び記憶媒体に関する。 The present invention relates to an information processing system, an information processing method and a storage medium.
特許文献1には、ドライバの視線を検出し、視線の動きに基づいて注視対象物を検出するナビゲーション装置が開示されている。当該ナビゲーション装置は、注視行動パターンに基づいて運転行動を予測する機能を備える。
特許文献1に例示されているナビゲーション装置においては、注視対象に基づく行動の予測において、対象となる人物によって行動の傾向が異なることを十分に考慮できていない場合があった。
In the navigation device exemplified in
本発明は、上述の課題に鑑みてなされたものであって、人物ごとに行動の傾向が異なることを考慮した行動予測を行い得る情報処理システム、情報処理方法及び記憶媒体を提供することを目的とする。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide an information processing system, an information processing method, and a storage medium capable of performing behavior prediction in consideration of different behavioral tendencies for each person. And.
本発明の一観点によれば、画像の中から画像認識により特定された人物の識別情報を取得する識別情報取得部と、前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得する注目情報取得部と、前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測する行動予測部と、を備えることを特徴とする情報処理システムが提供される。 According to one aspect of the present invention, the identification information acquisition unit that acquires the identification information of the person specified by image recognition from the image and the attention information indicating the attention state of the person are acquired from the face image of the person. Provided is an information processing system including an attention information acquisition unit for predicting the behavior of the person based on the identification information and the attention information.
本発明の他の一観点によれば、画像の中から画像認識により特定された人物の識別情報を取得するステップと、前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得するステップと、前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測するステップと、を備えることを特徴とする情報処理方法が提供される。 According to another aspect of the present invention, the step of acquiring the identification information of the person specified by the image recognition from the image and the attention information indicating the attention state of the person are acquired from the face image of the person. An information processing method is provided, comprising: a step, and a step of predicting the behavior of the person based on the identification information and the attention information.
本発明の他の一観点によれば、コンピュータに、画像の中から画像認識により特定された人物の識別情報を取得するステップと、前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得するステップと、前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測するステップと、を備えることを特徴とする情報処理方法を実行させるためのプログラムが記憶された記憶媒体が提供される。 According to another aspect of the present invention, a step of acquiring identification information of a person identified by image recognition from an image on a computer, and attention information indicating the attention state of the person from the face image of the person. A storage medium in which a program for executing an information processing method, which comprises a step of acquiring the information processing method and a step of predicting the behavior of the person based on the identification information and the attention information, is stored. Is provided.
本発明によれば、人物ごとに行動の傾向が異なることを考慮した行動予測を行い得る情報処理システム、情報処理方法及び記憶媒体を提供することができる。 According to the present invention, it is possible to provide an information processing system, an information processing method, and a storage medium capable of performing behavior prediction in consideration of different behavior tendencies for each person.
以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。 Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings. Similar elements or corresponding elements may be designated by the same reference numerals in the drawings, and the description thereof may be omitted or simplified.
[第1実施形態]
本実施形態に係る情報処理システムについて、図1乃至図7を参照しつつ説明する。本実施形態の情報処理システムは、画像に出現している人物の行動予測に用いられるシステムである。この画像は、例えば、スポーツの試合の動画であり、人物は、スポーツのプレイヤーである。プレイヤーの行動予測を表示させることにより、プレイヤーの心理、戦略等を可視化することができ、スポーツを観戦する視聴者の満足度を向上させることができる。[First Embodiment]
The information processing system according to the present embodiment will be described with reference to FIGS. 1 to 7. The information processing system of the present embodiment is a system used for predicting the behavior of a person appearing in an image. This image is, for example, a video of a sports match, where the person is a sports player. By displaying the player's behavior prediction, the player's psychology, strategy, etc. can be visualized, and the satisfaction level of the viewer watching the sport can be improved.
なお、本明細書において、画像とは、静止画、動画及、動画に含まれるフレーム画像等を包括する概念である。画像が動画である場合には、音声データを更に含んでもよい。また、本明細書において、スポーツとは、身体運動を伴うフィジカルスポーツを含むが、これに限定されるものではなく、身体運動の要素が少ない競技及び身体運動を伴わない競技をも含み得る。すなわち、スポーツとは、自動車レース、バイクレース、モーターボートレース等のモータースポーツ、コンピュータゲームをプレイするeスポーツ(Electronic Sports)、囲碁、将棋、チェス、麻雀、ポーカー、バックギャモン等のマインドスポーツを含み得る。 In the present specification, the image is a concept including a still image, a moving image, a frame image included in the moving image, and the like. If the image is a moving image, it may further include audio data. Further, in the present specification, the sport includes, but is not limited to, a physical sport accompanied by physical exercise, and may include a sport having few elements of physical exercise and a sport not accompanied by physical exercise. That is, sports may include motor sports such as automobile races, motorcycle races, and motor boat races, e-sports (Electronic Sports) for playing computer games, and mind sports such as go, shogi, chess, mahjong, poker, and back gammon. ..
以下に説明する実施形態では、一例としてバレーボールの試合の動画に出現するプレイヤーの視線等を検出してプレイヤーの行動を予測し、予測結果を表示する例を説明するが、これに限定されるものではない。 In the embodiment described below, as an example, an example of detecting a player's line of sight or the like appearing in a video of a volleyball game, predicting the player's behavior, and displaying the prediction result will be described, but the present invention is limited to this. is not it.
図1は、情報処理システム100のハードウェア構成例を示すブロック図である。情報処理システム100は、例えば、デスクトップPC(Personal Computer)、ノートPC、タブレットPC等のコンピュータであり得る。
FIG. 1 is a block diagram showing a hardware configuration example of the
情報処理システム100は、演算、制御及び記憶を行うコンピュータとして、CPU(Central Processing Unit)151、RAM(Random Access Memory)152、ROM(Read Only Memory)153及びHDD(Hard Disk Drive)154を備える。また、情報処理システム100は、通信I/F(インターフェース)155、表示装置156及び入力装置157を備える。CPU151、RAM152、ROM153、HDD154、通信I/F155、表示装置156及び入力装置157は、バス158を介して相互に接続される。なお、表示装置156及び入力装置157は、これらの装置を駆動するための不図示の駆動装置を介してバス158に接続されてもよい。
The
図1では、情報処理システム100を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、表示装置156及び入力装置157は、CPU151等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。
In FIG. 1, each part constituting the
CPU151は、ROM153、HDD154等に記憶されたプログラムに従って所定の動作を行うとともに、情報処理システム100の各部を制御する機能をも有するプロセッサである。RAM152は、揮発性記憶媒体から構成され、CPU151の動作に必要な一時的なメモリ領域を提供する。ROM153は、不揮発性記憶媒体から構成され、情報処理システム100の動作に用いられるプログラム等の必要な情報を記憶する。HDD154は、不揮発性記憶媒体から構成され、処理に必要なデータ、情報処理システム100の動作用プログラム等の記憶を行う記憶装置である。
The
通信I/F155は、イーサネット(登録商標)、Wi−Fi(登録商標)、4G等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置156は、液晶ディスプレイ、OLEDディスプレイ等であって、画像、文字、インターフェース等の表示に用いられる。入力装置157は、キーボード、ポインティングデバイス等であって、ユーザが情報処理システム100を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。表示装置156及び入力装置157は、タッチパネルとして一体に形成されていてもよい。
The communication I / F 155 is a communication interface based on standards such as Ethernet (registered trademark), Wi-Fi (registered trademark), and 4G, and is a module for communicating with other devices. The
なお、図1に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、HDD154は、半導体メモリを用いたSSD(Solid State Drive)に置換されていてもよく、クラウドストレージに置換されていてもよい。 The hardware configuration shown in FIG. 1 is an example, and devices other than these may be added or some devices may not be provided. Further, some devices may be replaced with another device having the same function. Further, some functions of the present embodiment may be provided by other devices via a network, or the functions of the present embodiment may be distributed and realized by a plurality of devices. For example, the HDD 154 may be replaced with an SSD (Solid State Drive) using a semiconductor memory, or may be replaced with a cloud storage.
図2は、本実施形態に係る情報処理システム100の機能ブロック図である。情報処理システム100は、画像取得部101、顔検出部102、特徴量抽出部103、照合部104、状態判定部105、識別情報取得部106、注目情報取得部107、行動予測部108、画像生成部109及び記憶部110を有する。
FIG. 2 is a functional block diagram of the
CPU151は、ROM153、HDD154等に記憶されたプログラムをRAM152にロードして実行する。これにより、CPU151は、画像取得部101、顔検出部102、特徴量抽出部103、照合部104、状態判定部105、識別情報取得部106、注目情報取得部107、行動予測部108及び画像生成部109の機能を実現する。これらの各部で行われる処理については後述する。CPU151は、HDD154を制御することにより記憶部110の機能を実現する。
The
図3は、本実施形態に係る情報処理システム100により行われる処理の概略を示すフローチャートである。図3を参照しつつ、情報処理システム100により行われる行動予測処理を説明する。なお、以下の説明においては、情報処理システム100は、バレーボールの試合の動画の中からサーブを打とうとしているプレーヤー(サーバー)を検出し、ボールが飛ぶ方向を予測して予測結果を表示する処理を行うものとする。この処理は、プレイヤーの行動予測を提供することで視聴者の満足度を向上させる観点から、生放送時にリアルタイムで行われることが望ましい。録画放送の場合よりも生放送の場合の方が行動予測の提供に対するニーズが強いためである。なお、本明細書において、生放送とは、撮影と実質的に同時に撮影された動画が放送されるものだけでなく、遅延送出システムを用いて撮影から数秒から数分程度遅延させて放送するものを含む。
FIG. 3 is a flowchart showing an outline of processing performed by the
ステップS101において、画像取得部101は、バレーボールの試合の動画データ(動画を構成するフレーム画像データ)を取得する。この動画データの取得は、例えば、ビデオカメラ等の情報処理システム100の外部の装置から受信するものであってもよく、記憶部110に一次記憶されている動画データを読み出すものであってもよい。
In step S101, the
ステップS102において、顔検出部102は、動画データに含まれるフレーム画像データ内から人物の顔が含まれる領域を検出する。図4は、バレーボールの試合の動画データから人物の顔を検出する例を模式的に示す図である。フレーム画像データ301内には、サーブを打とうとしてボールを持って構えているプレイヤー302が表示されている。顔検出部102は、フレーム画像データ301内から自動的に人物の顔を探索して顔を検出する。これにより、図4に示されるようにプレイヤー302の顔を含む矩形の顔領域R1が抽出される。
In step S102, the
ステップS103において、特徴量抽出部103は、顔検出部102により抽出された顔領域R1内の画像から特徴量を抽出する。特徴量とは、例えば、瞳、鼻、口端といった特徴的なパーツの位置等の顔の特徴を示す量であり得る。
In step S103, the feature
ステップS104において、照合部104は、ステップS103の処理で抽出された特徴量と、プレイヤーデータベース(プレイヤーDB)に含まれる照合対象の特徴量とを照合し、一致する組み合わせがあるかどうかを判定する顔照合を行う。プレイヤーデータベース内に特徴量抽出部103により抽出された特徴量と一致する特徴量がある場合(ステップS104においてYES)、検出された人物は試合に出場しているプレイヤーであると判定され、処理はステップS105に移行する。データベース内に特徴量抽出部103により抽出された特徴量と一致する特徴量がない場合(ステップS104においてNO)、検出された人物は、監督等の試合に出場しているプレイヤーとは異なる人物であると判定され、処理は終了する。
In step S104, the collating
ここで、図5を参照して、プレイヤーデータベースの構成について説明する。図5は、プレイヤーデータベースの構成例を示す表である。プレイヤーデータベースの項目には、図5に示されるように、試合に出場可能なプレイヤーの名前、プレイヤーのID(Identifier)、プレイヤーの顔画像の特徴量、プレイヤーの背番号、プレイヤーの所属チーム並びにプレイヤーのポジションが含まれる。プレイヤーデータベース内において、これらの項目は相互に対応付けられている。なお、図5には、特徴量を識別するための特徴量IDが図示されているが、実際には特徴量IDに対応する特徴量もプレイヤーデータベースに含まれている。 Here, the configuration of the player database will be described with reference to FIG. FIG. 5 is a table showing a configuration example of the player database. As shown in Fig. 5, the items in the player database include the names of players who can participate in the match, the player's ID (Identifier), the features of the player's face image, the player's uniform number, the player's team, and the player. Position is included. In the player database, these items are associated with each other. Although the feature amount ID for identifying the feature amount is shown in FIG. 5, the feature amount corresponding to the feature amount ID is actually included in the player database.
図5に示されているものに加えて、プレイヤーデータベースは、特徴量の抽出に用いられた顔画像そのものを含んでいてもよい。また、特徴量とプレイヤーを識別する情報とが対応付けられていれば本実施形態の処理が可能であるため、図5に示されている項目のうちのプレイヤー名、背番号、チーム、ポジション等は省略されていてもよい。 In addition to what is shown in FIG. 5, the player database may include the face image itself used to extract the features. Further, since the processing of the present embodiment is possible if the feature amount and the information for identifying the player are associated with each other, the player name, uniform number, team, position, etc. among the items shown in FIG. May be omitted.
なお、プレイヤーデータベースは、情報処理システム100内の記憶部110に記憶されたものであってもよく、データサーバ等の情報処理システム100の外部の装置に記憶されたものであってもよい。プレイヤーデータベースは、情報処理システム100のユーザが所属する放送局等が自社内に保有するものであり得る。しかしながら、プレイヤーデータベースは、複数の放送局等が共同で利用できるようにクラウド環境で提供されるものであってもよい。
The player database may be stored in the
ステップS105において、状態判定部105は、顔検出部102により抽出されたプレイヤーがサーバーであるか否かを判定する。当該プレイヤーがサーバーである場合(ステップS105においてYES)、処理はステップS106に移行する。当該プレイヤーがサーバーではない場合(ステップS105においてNO)、処理は終了する。
In step S105, the
ここで、状態判定部105における判定のアルゴリズムは、例えば、当該プレイヤーのコート内における位置、当該プレイヤーの体勢、当該プレイヤーがボールを持っているか否か等に基づくものであり得る。また、状態判定部105のアルゴリズムは、プレイヤーの画像と当該プレイヤーがサーバーであるか否かを示す情報とが対応付けられた学習データを入力データとする機械学習により生成された学習モデルを用いたものであってもよい。
Here, the determination algorithm in the
また、状態判定部105における判定のアルゴリズムは、プレイヤーデータベースを参照して、当該プレイヤーのポジションがリベロである場合に、サーバーではないと判定するものであってもよい。リベロはルール上サーブを打つことができないので、抽出されたプレイヤーがリベロの場合にはそのプレイヤーはサーバーではないためである。
Further, the determination algorithm in the
また、状態判定部105における判定のアルゴリズムは、コートポジションの情報を参照して判定するものであってもよい。サーブ権の移動に伴うコートポジションの変化(ローテーション)を演算することにより、状態判定部105はサーバーを特定することができる。
Further, the determination algorithm in the
ステップS105の処理が行われるタイミングがステップS104の後であることは必須ではなく、例えば、ステップS102の後、ステップS103の後等であってもよい。 It is not essential that the processing of step S105 is performed after step S104, and may be, for example, after step S102, after step S103, and so on.
ステップS106において、識別情報取得部106は、サーバーとして特定された人物の識別情報を取得する。この識別情報は、プレイヤーデータベース内のプレイヤーIDであり得る。しかしながら、識別情報は、特徴量ID、プレイヤー名、背番号、所属チーム名等、プレイヤーの識別に用いることが可能な情報であればプレイヤーID以外のものであってもよい。
In step S106, the identification
ステップS107において、注目情報取得部107は、プレイヤーの顔領域R1内の顔画像からプレイヤーの視線の向きを検出する。図6は、プレイヤーの顔画像からの視線検出例を模式的に示す図である。図6に示されるように、注目情報取得部107は、顔画像に基づいて、プレイヤーの視線303の向きを検出する。この視線検出のアルゴリズムは、例えば、目頭、目尻等を基準点として、虹彩、瞳孔等の相対的な位置を画像から取得することにより、視線の向きを取得するものであり得る。あるいは、当該アルゴリズムは、光源から射出された光の角膜反射を基準として瞳孔の位置を画像から取得することにより、視線の向きを取得するものであってもよい。プレイヤーの視線303の向きは、プレイヤーが注目している方向を示していることから、プレイヤーの注目状態を示す典型的な情報であるといえる。このようにして、注目情報取得部107は、プレイヤーの注目状態を示す注目情報を取得する。
In step S107, the attention
なお、注目情報取得部107は、プレイヤーの顔の向きを検出するものであってもよく、視線の向きの検出と顔の向きの検出とを併用するものであってもよい。すなわち、注目情報は、視線の向き及び顔の向きの少なくとも1つを含み得る。顔は目よりも面積が大きいので、画像の解像度が低い場合であっても比較的高精度に向きを取得できる利点がある。なお、注目情報に含まれ得る他の例としては、プレイヤーの表情、プレイヤーの口の形等も挙げられる。
The attention
ステップS108において、行動予測部108は、識別情報取得部106により取得された識別情報と、注目情報取得部107により取得された注目情報とに基づいて、プレイヤーの行動を予測する。なお、この処理により得られた予測結果は行動予測情報と呼ばれることもある。
In step S108, the
行動予測部108により行われる行動予測のアルゴリズムの例を説明する。一般的に、視線等の注目情報と、プレイヤーの行動の間には相関がある。例えば、サーブの例では、プレイヤーの視線は、サーブを打とうとして狙っている方向を向いていることが多い。しかしながら、相手に狙いを読まれることを避けるため、サーブを打とうとする方向とは異なる方向を意図的に又は無意識的に注視するプレイヤーもいる。このように、プレイヤーの視線等の注目情報と、プレイヤーの実際の行動との間の相関には個人差がある、したがって、プレイヤーごとに異なるモデルを用いて行動予測を行うことで予測精度を向上させることができる。
An example of the behavior prediction algorithm performed by the
そこで、本実施形態の行動予測部108は、プレイヤーごとに異なるモデルによる予測を行うため、識別情報を用いてプレイヤーを特定し、特定されたプレイヤーのモデルを用いて注目情報から当該プレイヤーの行動を予測する。これにより、注目情報と行動との間の相関の個人差を考慮した予測が可能となり、予測精度が向上する。
Therefore, in order to make a prediction using a different model for each player, the
この注目情報と行動との間の相関の個人差は、各プレイヤーの過去の試合情報を解析することにより得られる。具体的には、注目情報と行動との関係をプレイヤーごとにデータベース化した学習データを入力とする機械学習により、プレイヤーごとに異なる行動予測の学習モデルを得ることができる。この学習モデルを行動予測部108に組み込むことにより、プレイヤーごとに行動の傾向が異なることを考慮した行動予測が実現される。機械学習を活用して学習モデルを生成することにより、手動でモデルを作成する場合に比べて手間が軽減されるので、多量のデータを用いた精度の高い学習モデルを容易に構築することができる。
The individual difference in the correlation between this attention information and the action can be obtained by analyzing the past game information of each player. Specifically, it is possible to obtain a learning model for behavior prediction that differs for each player by machine learning that inputs learning data in which the relationship between attention information and behavior is stored in a database for each player. By incorporating this learning model into the
なお、行動予測部108において用いられ得るモデルは機械学習により得られるものに限定されず、これ以外のものであってもよい。例えば、データ解析者が注目情報に含まれる視線の向き等を分類し、分類ごとに最も可能性が高い行動を過去のデータから導き出すこと等により手動で行動予測モデルを構築してもよい。手動でモデルを作成することにより、解釈性の高い学習モデルを構築することができる。なお、この場合、行動予測部108により行われる処理は、注目情報とプレイヤーの行動とが対応付けられたテーブル等のデータベースを参照するものであり得る。
The model that can be used in the
ステップS109において、画像生成部109は、行動予測部108により予測された行動予測情報を含む予測画像を生成する。この予測画像は、例えば、バレーボールの試合の放送用画像に組み込まれて、視聴者に提供される。図7は、予測画像の表示例を示す図である。図7に示される例では、行動予測情報304をバレーボールの試合のフレーム画像に重畳させることにより予測画像305が生成されている。行動予測情報304の破線は、サーバーが打つボールの軌跡を示している。視聴者は、予測画像305を見ることにより、サーバーがコートの左下隅を狙っていることを視覚的に把握することができる。
In step S109, the
なお、行動予測情報304の表示方法は図7に示す矢印のような図形によるものでなくてもよく、例えば、色の変化による表示、文章による表示等であってもよい。また、行動予測情報304を試合の画像に重畳させることは必須ではなく、例えば、予測画像305は、バレーボールコートの絵にサーブのコースを表示するような模式図であってもよい。
The method of displaying the
行動予測の結果は、放送用画像に組み込むことにより視聴者に提供する目的以外の目的に用いられてもよく、例えば、戦略立案のために監督等のスポーツチームの関係者に提供されてもよい。この場合、行動予測の結果は、例えば情報処理システム100の端末から監督が持っているタブレット端末に送信され得る。監督は、行動予測結果を用いて戦略を立案し、プレイヤーに指示を送ることができる。
The result of the behavior prediction may be used for a purpose other than the purpose of providing it to the viewer by incorporating it into the broadcast image, and may be provided to a person concerned with a sports team such as a director for strategic planning, for example. .. In this case, the result of the behavior prediction can be transmitted from, for example, the terminal of the
上述のように、本実施形態では、画像認識により人物を特定し、特定された人物の識別情報と当該人物の注目情報とに基づいて、行動予測が行われる。これにより、人物ごとに行動の傾向が異なることを考慮した行動予測を行い得る情報処理システム100が提供される。
As described above, in the present embodiment, a person is identified by image recognition, and behavior prediction is performed based on the identification information of the identified person and the attention information of the person. As a result, the
なお、上述の実施形態において行動予測部108が実行する行動予測は、プレイヤーの視線等の不確実な情報に基づいて行われるものであり、プレイヤーの行動を確実に予測するものであるとは限らない。例えば、プレイヤーが従来とは傾向が異なる行動を意識的に行った場合には、行動予測が外れる場合がある。しかしながら、視聴者は、行動予測が実際の行動と合致するか否かを予想しながら試合を楽しむ等の目的で行動予測結果を見るため、行動予測が実際の行動と確実に合致することを求めているわけではない。したがって、本実施形態の情報処理システム100において、行動予測の精度が高いことは必須ではない。
The action prediction executed by the
上述の実施形態において説明したシステムは以下の第2実施形態のようにも構成することができる。 The system described in the above-described embodiment can also be configured as in the following second embodiment.
[第2実施形態]
図8は、第2実施形態に係る情報処理システム200の機能ブロック図である。情報処理システム200は、識別情報取得部201、注目情報取得部202及び行動予測部203を備える。識別情報取得部201は、画像の中から画像認識により特定された人物の識別情報を取得する。注目情報取得部202は、前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得する。行動予測部203は、前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測する。[Second Embodiment]
FIG. 8 is a functional block diagram of the
本実施形態によれば、人物ごとに行動の傾向が異なることを考慮した行動予測を行い得る情報処理システム200が提供される。
According to the present embodiment, there is provided an
[変形実施形態]
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。[Modification Embodiment]
The present invention is not limited to the above-described embodiment, and can be appropriately modified without departing from the spirit of the present invention.
上述の実施形態においては、バレーボールの試合においてサーバーの視線からサーブの方向を予測する例を示しているが、本実施形態の行動予測は、これ以外の場面にも適用可能である。例えば、セッター又はアタッカーの視線の方向に基づいて、セッターがトスを上げる方向、トスの種類、アタックが打たれる位置等を予測してもよい。 In the above-described embodiment, an example of predicting the direction of the serve from the line of sight of the server in a volleyball game is shown, but the behavior prediction of the present embodiment can be applied to other situations. For example, the direction in which the setter raises the toss, the type of toss, the position where the attack is struck, and the like may be predicted based on the direction of the line of sight of the setter or the attacker.
また、本実施形態の行動予測は、バレーボール以外のスポーツの行動予測にも適用可能である。例えば、本実施形態をサッカーのフリーキック又はペナルティキックの場面に適用することもできる。この場合には、キッカーの視線の方向又はゴールキーパーの視線の方向から、ボールが蹴られる方向、キーパーが飛ぶ方向等を予測することができる。 Further, the behavior prediction of the present embodiment can be applied to the behavior prediction of sports other than volleyball. For example, the present embodiment can be applied to a soccer free kick or penalty kick scene. In this case, the direction in which the ball is kicked, the direction in which the keeper flies, and the like can be predicted from the direction of the line of sight of the kicker or the direction of the line of sight of the goalkeeper.
また、本実施形態を野球に適用することもできる。この場合には、ピッチャーの視線の方向又はキャッチャーの視線の方向からピッチャーが投げるボールの球種、コース、スピード等を予測することができる。同様に、バッターの視線の方向からバッターが打とうとしている方向を予測することもできる。 Moreover, this embodiment can also be applied to baseball. In this case, the type, course, speed, etc. of the ball thrown by the pitcher can be predicted from the direction of the line of sight of the pitcher or the direction of the line of sight of the catcher. Similarly, the direction in which the batter is trying to hit can be predicted from the direction of the batter's line of sight.
また、本実施形態をスポーツ以外の場面に適用することもできる。例えば、防犯カメラで撮影された画像に映っている人物に対して本実施形態の行動予測を適用してもよい。 Further, the present embodiment can be applied to situations other than sports. For example, the behavior prediction of the present embodiment may be applied to a person shown in an image taken by a security camera.
上述の実施形態においては、行動予測部108は、行動予測のための入力情報として人物を特定する識別情報と、注目情報とを用いているが、これ以外の情報を更に用いて行動予測を行ってもよい。そのような情報の例を例示的に列挙する。
In the above-described embodiment, the
例えば、行動予測に当該試合における過去の行動の履歴を用いてもよい。バレーボールのサーブの例で説明すると、サーバーは、過去のサーブの方向及びその成否を考慮してサーブを打つ向きを決めることがある。左隅にサーブを打った場合に連続して成功している場合(得点できている場合)には、サーバーは、次のサーブを左隅に打つ傾向がある。また、左隅にサーブを打ち続けたものの前回のサーブで失敗した場合(失点した場合)には、サーバーは、次は打つ方向を変えて右隅に打つ傾向がある。あるいは、サーバーの視線の方向とサーブを打つ方向が一致しないことが続いており、これが成功している場合には、サーバーは、次のサーブでも同様に視線の方向と一致しない方向にサーブを打つ傾向がある。一方、サーバーの視線の方向とサーブを打つ方向が一致していなかったが、前回のサーブで失敗した場合には、サーバーは次のサーブでは打ち方を変えて、視線の方向とサーブを打つ方向を一致させる傾向がある。このように、当該試合における過去の行動の履歴が次の行動に影響することがあるため、過去の行動の履歴を行動予測に用いることで、更に行動予測の精度を向上させることができる。なお、上述の傾向は一例であり、別の傾向を持つプレイヤーも存在する。そこで、行動予測において、プレイヤーに応じて過去の履歴の考慮の仕方を変えてもよい。 For example, the history of past actions in the game may be used for action prediction. Taking the example of a volleyball serve, the server may decide the direction to hit the serve in consideration of the direction of the past serve and its success or failure. If the server hits the left corner in succession (if it is scoring), the server tends to hit the next serve in the left corner. Also, if you keep hitting the left corner but fail in the previous serve (if you run a goal), the server tends to change the direction of the next hit and hit the right corner. Alternatively, the direction of the server's line of sight and the direction of the serve continue to be inconsistent, and if this is successful, the server will also serve in the direction that does not match the direction of the line of sight on the next serve. Tend. On the other hand, if the direction of the line of sight of the server and the direction of hitting the serve do not match, but if the previous serve fails, the server will change the way of hitting in the next serve, and the direction of the line of sight and the direction of hitting the serve Tends to match. In this way, since the history of past actions in the game may affect the next action, the accuracy of action prediction can be further improved by using the history of past actions for action prediction. The above tendency is an example, and some players have different tendencies. Therefore, in the action prediction, the method of considering the past history may be changed according to the player.
また、行動予測に、連携プレイに関与するプレイヤーの組み合わせを考慮してもよい。バレーボールのトスとアタックのように、プレイヤー間での連携が存在する場合には、プレイヤーの組み合わせによって、行動に傾向がある場合がある。例えば、セッターとアタッカーがある組み合わせの場合には右隅を狙う場合が多く、別のある組み合わせの場合には、左隅を狙う場合が多いというような傾向が存在することがある。また、セッターとアタッカーがある組み合わせの場合には視線の向きとアタックの向きが一致することが多く、別のある組み合わせの場合には、視線の向きとアタックの向きが異なっていることが多いというような傾向が存在することもある。このように、プレイヤーの組み合わせに依存した傾向がある場合には、これらの傾向を考慮した行動予測を行うことが望ましい。そこで、連携プレイに関与するプレイヤーの組み合わせを行動予測に用いることで、更に行動予測の精度を向上させることができる。 In addition, the combination of players involved in cooperative play may be considered in the action prediction. When there is cooperation between players, such as volleyball toss and attack, there may be a tendency to act depending on the combination of players. For example, in the case of a combination of a setter and an attacker, the right corner is often aimed, and in the case of another combination, the left corner is often aimed. Also, in the case of a combination of setter and attacker, the direction of the line of sight and the direction of the attack often match, and in the case of another combination, the direction of the line of sight and the direction of the attack are often different. Such a tendency may exist. In this way, when there is a tendency to depend on the combination of players, it is desirable to perform behavior prediction in consideration of these tendencies. Therefore, by using the combination of players involved in the cooperative play for the action prediction, the accuracy of the action prediction can be further improved.
また、行動予測に口角の動き等に基づく表情解析の結果を用いてもよい。表情が平常である場合には、視線と異なる向きを狙ってサーブを打つなどの戦略的行動を行う余裕がある場合が多い。しかしながら、疲労が蓄積している場合等の表情が平常でない場合には、そのような戦略的行動を行う余裕がないことが多い。このような理由により、表情が平常である場合には視線と異なる向きを狙うことが多く、口角等から苦しい表情が見受けられる場合には視線と同じ向きを狙うことが多い、というように表情と行動が相関することがある。そこで、表情解析の結果を行動予測に用いることで、更に行動予測の精度を向上させることができる。 Further, the result of facial expression analysis based on the movement of the corner of the mouth or the like may be used for the behavior prediction. When the facial expression is normal, it is often possible to afford to take strategic actions such as hitting a serve aiming at a direction different from the line of sight. However, when facial expressions are not normal, such as when fatigue is accumulated, there is often no room for such strategic actions. For this reason, when the facial expression is normal, the person often aims at a different direction from the line of sight, and when a painful facial expression is seen from the corners of the mouth, the person often aims at the same direction as the line of sight. Behavior may correlate. Therefore, by using the result of facial expression analysis for behavior prediction, the accuracy of behavior prediction can be further improved.
また、行動予測に試合の状況に関する情報を用いてもよい。試合の状況とは、バレーボールの例では、両チームのスコア、両チームのセッター又はエースアタッカーの位置等の行動予測対象のプレイヤーとは別のプレイヤーの状況、プレイヤー間の位置関係等が挙げられる。例えば、エースアタッカーがアタックをしにくくするため、エースアタッカーを狙ってサーブを打つという戦略が知られている。そのため、エースアタッカーの位置を考慮した行動予測を行うことによりサーブの方向の予測精度を向上させることができる。また、スコアが自チームに不利な場合は、精神的な余裕がなくなるため、視線の向きと行動が合致しやすくなる等のスコアと行動に相関がある場合もある。すなわち、自チームのスコアが勝っている場合には視線と異なる向きを狙うことが多く、自チームのスコアが負けている場合には視線と同じ向きを狙うことが多い、というようにスコアと行動が相関することがある。そこで、スコア等の試合の状況を考慮した行動予測を行うことにより、予測精度が向上し得る。 In addition, information on the situation of the game may be used for the action prediction. In the case of volleyball, the game situation includes the situation of a player different from the player whose behavior is predicted, such as the scores of both teams and the positions of the setters or ace attackers of both teams, and the positional relationship between the players. For example, in order to make it difficult for an ace attacker to attack, a strategy of hitting a serve aiming at an ace attacker is known. Therefore, it is possible to improve the prediction accuracy of the serve direction by performing the action prediction in consideration of the position of the ace attacker. In addition, if the score is disadvantageous to the own team, there may be a correlation between the score and the behavior, such as the direction of the line of sight and the behavior being easily matched because there is no mental margin. In other words, if your team's score is winning, you often aim in a different direction from your line of sight, and if your team's score is losing, you often aim in the same direction as your line of sight. May correlate. Therefore, the prediction accuracy can be improved by performing the action prediction in consideration of the game situation such as the score.
また、行動予測に特定した人物の相手方のチームのプレイヤーの過去の試合情報を用いてもよい。相手チームにフェイントが上手なプレイヤーがいる場合、自チームのフェイントが読まれやすくなるため、あえてフェイントを行わず、視線の向きとボールを打つ向きを合わせる等の戦略があり得る。すなわち、相手チームにフェイントが上手なプレイヤーがいる場合には視線と同じ向きを狙うことが多く、フェイントが上手なプレイヤーがいない場合には視線と異なる向きを狙うことが多い、というように相手方のチームのプレイヤーの過去の試合情報を考慮して戦略を決定することがある。そこで、相手方のチームのプレイヤーの過去の試合情報を行動予測に用いることで、更に行動予測の精度を向上させることができる。 In addition, the past match information of the player of the team of the opponent of the person specified in the action prediction may be used. If the opponent team has a player who is good at feinting, it will be easier to read the feint of his own team, so there may be a strategy such as matching the direction of the line of sight with the direction of hitting the ball without dare to perform the feint. In other words, if the opponent team has a player who is good at feinting, they often aim at the same direction as the line of sight, and if there is no player who is good at feinting, they often aim at a different direction from the line of sight. The strategy may be decided by considering the past match information of the players of the team. Therefore, by using the past match information of the player of the opponent team for the action prediction, the accuracy of the action prediction can be further improved.
以上のように、行動予測部108は、行動予測のための入力情報として人物を特定する識別情報と、注目情報とこれ以外の情報を更に用いて行動予測を行うことで、行動予測の精度を向上させることができる。なお、上述の例のいくつかを組み合わせて行動予測に用いてもよい。
As described above, the
上述の実施形態においては、顔照合により人物の特定を行う例を示しているが、画像認識により人物の識別が可能であればこれ以外の手法を採用してもよい。例えば、プレイヤーのユニフォームに記載されている背番号、名前等を文字認識により取得して人物を特定してもよい。 In the above-described embodiment, an example of identifying a person by face matching is shown, but other methods may be adopted as long as the person can be identified by image recognition. For example, a person may be identified by acquiring a uniform number, a name, etc. written on a player's uniform by character recognition.
顔検出、視線検出等を行うための画像を取得する撮像装置(カメラ)の設置位置は特に限定されないが、顔検出、視線検出等の精度を高めるため、プレイヤーに近いことが望ましい。例えば、バレーボールであれば、コート外のカメラではなく、ネットに設置されたカメラで撮影された画像を用いることが望ましい場合がある。 The installation position of the image pickup device (camera) for acquiring an image for performing face detection, line-of-sight detection, etc. is not particularly limited, but it is desirable to be close to the player in order to improve the accuracy of face detection, line-of-sight detection, etc. For example, in the case of volleyball, it may be desirable to use an image taken by a camera installed on the net instead of a camera off the court.
上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる1又は2以上の構成要素は、各構成要素の機能を実現するように構成されたASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路であってもよい。 A processing method in which a program for operating the configuration of the embodiment is recorded in a storage medium so as to realize the functions of the above-described embodiment, the program recorded in the storage medium is read out as a code, and the program is executed in a computer is also described in each embodiment. Included in the category. That is, a computer-readable storage medium is also included in the scope of each embodiment. Moreover, not only the storage medium in which the above-mentioned program is recorded but also the program itself is included in each embodiment. Further, one or more components included in the above-described embodiment are circuits such as an ASIC (Application Specific Integrated Circuit) and an FPGA (Field Programmable Gate Array) configured to realize the functions of the components. There may be.
該記憶媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD(Compact Disk)−ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS(Operating System)上で動作して処理を実行するものも各実施形態の範疇に含まれる。 As the storage medium, for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, a CD (Compact Disk) -ROM, a magnetic tape, a non-volatile memory card, or a ROM can be used. In addition, the program recorded on the storage medium is not limited to the one that executes the processing by itself, but the one that operates on the OS (Operating System) and executes the processing in cooperation with the functions of other software and the expansion board. Is also included in the category of each embodiment.
上述の各実施形態の機能により実現されるサービスは、SaaS(Software as a Service)の形態でユーザに対して提供することもできる。 The service realized by the functions of each of the above-described embodiments can also be provided to the user in the form of SaaS (Software as a Service).
なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。 Some or all of the above embodiments may also be described, but not limited to:
(付記1)
画像の中から画像認識により特定された人物の識別情報を取得する識別情報取得部と、
前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得する注目情報取得部と、
前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測する行動予測部と、
を備えることを特徴とする情報処理システム。(Appendix 1)
An identification information acquisition unit that acquires identification information of a person identified by image recognition from an image,
An attention information acquisition unit that acquires attention information indicating the attention state of the person from the face image of the person, and
A behavior prediction unit that predicts the behavior of the person based on the identification information and the attention information.
An information processing system characterized by being equipped with.
(付記2)
前記注目情報は、前記人物の顔又は目の特徴から抽出された情報を含む
ことを特徴とする付記1に記載の情報処理システム。(Appendix 2)
The information processing system according to
(付記3)
前記注目情報は、前記人物の視線の向き及び前記人物の顔の向きの少なくとも1つを含む
ことを特徴とする付記1又は2に記載の情報処理システム。(Appendix 3)
The information processing system according to
(付記4)
前記画像認識は、顔照合及び文字認識の少なくとも1つを含む
ことを特徴とする付記1乃至3のいずれか1項に記載の情報処理システム。(Appendix 4)
The information processing system according to any one of
(付記5)
前記行動予測部は、前記注目情報と前記人物の行動とを含む学習データを入力とする機械学習により生成された学習モデルを用いて前記人物の行動を予測する
ことを特徴とする付記1乃至4のいずれか1項に記載の情報処理システム。(Appendix 5)
The behavior prediction unit predicts the behavior of the person using a learning model generated by machine learning that inputs learning data including the attention information and the behavior of the person. The information processing system according to any one of the above items.
(付記6)
前記行動予測部は、前記注目情報と前記人物の行動とが対応付けられたデータベースを用いて前記人物の行動を予測する
ことを特徴とする付記1乃至4のいずれか1項に記載の情報処理システム。(Appendix 6)
The information processing according to any one of
(付記7)
前記行動予測部が予測した前記人物の行動を含む行動予測情報を含む予測画像を生成する画像生成部を更に備える
ことを特徴とする付記1乃至6のいずれか1項に記載の情報処理システム。(Appendix 7)
The information processing system according to any one of
(付記8)
前記画像生成部は、前記行動予測情報を前記画像に重畳させることにより、前記予測画像を生成する
ことを特徴とする付記7に記載の情報処理システム。(Appendix 8)
The information processing system according to
(付記9)
前記画像はスポーツの試合の動画であり、
前記人物は、前記スポーツのプレイヤーである
ことを特徴とする付記1乃至8のいずれか1項に記載の情報処理システム。(Appendix 9)
The above image is a video of a sports match
The information processing system according to any one of
(付記10)
前記行動予測部は、更に前記試合の状況に基づいて、前記人物の行動を予測する
ことを特徴とする付記9に記載の情報処理システム。(Appendix 10)
The information processing system according to Appendix 9, wherein the behavior prediction unit further predicts the behavior of the person based on the situation of the game.
(付記11)
前記行動予測部は、更に前記人物以外のプレイヤーの状況に基づいて、前記人物の行動を予測する
ことを特徴とする付記9又は10に記載の情報処理システム。(Appendix 11)
The information processing system according to Appendix 9 or 10, wherein the behavior prediction unit further predicts the behavior of the person based on the situation of a player other than the person.
(付記12)
前記行動予測部は、更に、前記試合における前記人物の行動の履歴に基づいて、前記人物の行動を予測する
ことを特徴とする付記9乃至11のいずれか1項に記載の情報処理システム。(Appendix 12)
The information processing system according to any one of Supplementary note 9 to 11, wherein the behavior prediction unit further predicts the behavior of the person based on the history of the behavior of the person in the game.
(付記13)
前記行動予測部は、更に、前記人物と、前記人物と連携するプレイヤーとの組み合わせに基づいて、前記人物の行動を予測する
ことを特徴とする付記9乃至12のいずれか1項に記載の情報処理システム。(Appendix 13)
The information according to any one of Supplementary note 9 to 12, wherein the behavior prediction unit further predicts the behavior of the person based on the combination of the person and the player who cooperates with the person. Processing system.
(付記14)
前記行動予測部は、更に、前記人物の表情に基づいて、前記人物の行動を予測する
ことを特徴とする付記9乃至13のいずれか1項に記載の情報処理システム。(Appendix 14)
The information processing system according to any one of Supplementary note 9 to 13, wherein the behavior prediction unit further predicts the behavior of the person based on the facial expression of the person.
(付記15)
前記行動予測部は、更に、前記試合のスコアに基づいて、前記人物の行動を予測する
ことを特徴とする付記9乃至14のいずれか1項に記載の情報処理システム。(Appendix 15)
The information processing system according to any one of Supplementary note 9 to 14, wherein the behavior prediction unit further predicts the behavior of the person based on the score of the match.
(付記16)
前記行動予測部は、更に、前記人物の相手方のチームのプレイヤーの過去の試合情報に基づいて、前記人物の行動を予測する
ことを特徴とする付記9乃至15のいずれか1項に記載の情報処理システム。(Appendix 16)
The information according to any one of Appendix 9 to 15, wherein the behavior prediction unit further predicts the behavior of the person based on the past game information of the player of the team of the opponent of the person. Processing system.
(付記17)
画像の中から画像認識により特定された人物の識別情報を取得するステップと、
前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得するステップと、
前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測するステップと、
を備えることを特徴とする情報処理方法。(Appendix 17)
The step of acquiring the identification information of the person identified by image recognition from the image,
A step of acquiring attention information indicating the attention state of the person from the face image of the person, and
A step of predicting the behavior of the person based on the identification information and the attention information, and
An information processing method characterized by being provided with.
(付記18)
コンピュータに、
画像の中から画像認識により特定された人物の識別情報を取得するステップと、
前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得するステップと、
前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測するステップと、
を備えることを特徴とする情報処理方法を実行させるためのプログラムが記憶された記憶媒体。(Appendix 18)
On the computer
The step of acquiring the identification information of the person identified by image recognition from the image,
A step of acquiring attention information indicating the attention state of the person from the face image of the person, and
A step of predicting the behavior of the person based on the identification information and the attention information, and
A storage medium in which a program for executing an information processing method, which comprises the above, is stored.
この出願は、2018年6月6日に出願された日本出願特願2018−108332を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority on the basis of Japanese application Japanese Patent Application No. 2018-108332 filed on June 6, 2018, and the entire disclosure thereof is incorporated herein by reference.
100、200 情報処理システム
101 画像取得部
102 顔検出部
103 特徴量抽出部
104 照合部
105 状態判定部
106、201 識別情報取得部
107、202 注目情報取得部
108、203 行動予測部
109 画像生成部
110 記憶部
151 CPU
152 RAM
153 ROM
154 HDD
155 通信I/F
156 表示装置
157 入力装置
158 バス
301 フレーム画像データ
302 プレイヤー
303 視線
304 行動予測情報
305 予測画像
R1 顔領域100, 200
152 RAM
153 ROM
154 HDD
155 Communication I / F
156
Claims (9)
前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得する注目情報取得部と、
前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測する行動予測部と、
前記行動予測部が予測した前記人物の行動を含む行動予測情報を含む予測画像を生成する画像生成部と、
を備えることを特徴とする情報処理システム。 An identification information acquisition unit that acquires identification information of a person identified by image recognition from an image,
An attention information acquisition unit that acquires attention information indicating the attention state of the person from the face image of the person, and
A behavior prediction unit that predicts the behavior of the person based on the identification information and the attention information.
An image generation unit that generates a prediction image including behavior prediction information including the behavior of the person predicted by the behavior prediction unit, and an image generation unit.
An information processing system characterized by being equipped with.
ことを特徴とする請求項1に記載の情報処理システム。 The information processing system according to claim 1, wherein the attention information includes information extracted from the features of the face or eyes of the person.
ことを特徴とする請求項1又は2に記載の情報処理システム。 The information processing system according to claim 1 or 2, wherein the attention information includes at least one of the direction of the line of sight of the person and the direction of the face of the person.
ことを特徴とする請求項1乃至3のいずれか1項に記載の情報処理システム。 The information processing system according to any one of claims 1 to 3, wherein the image recognition includes at least one of face matching and character recognition.
ことを特徴とする請求項1乃至4のいずれか1項に記載の情報処理システム。 The behavior prediction unit is characterized in that the behavior of the person is predicted by using a learning model generated by machine learning that inputs learning data including the attention information and the behavior of the person. The information processing system according to any one of 4.
ことを特徴とする請求項1乃至4のいずれか1項に記載の情報処理システム。 The information according to any one of claims 1 to 4, wherein the behavior prediction unit predicts the behavior of the person using a database in which the attention information and the behavior of the person are associated with each other. Processing system.
ことを特徴とする請求項1乃至6のいずれか1項に記載の情報処理システム。 The information processing system according to any one of claims 1 to 6, wherein the image generation unit generates the predicted image by superimposing the behavior prediction information on the image.
前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得するステップと、
前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測するステップと、
予測された前記人物の行動を含む行動予測情報を含む予測画像を生成するステップと、
を備えることを特徴とする情報処理方法。 The step of acquiring the identification information of the person identified by image recognition from the image,
A step of acquiring attention information indicating the attention state of the person from the face image of the person, and
A step of predicting the behavior of the person based on the identification information and the attention information, and
A step of generating a predicted image including behavior prediction information including the predicted behavior of the person, and
An information processing method characterized by being provided with.
画像の中から画像認識により特定された人物の識別情報を取得するステップと、
前記人物の顔画像から、前記人物の注目状態を示す注目情報を取得するステップと、
前記識別情報と前記注目情報とに基づいて、前記人物の行動を予測するステップと、
予測された前記人物の行動を含む行動予測情報を含む予測画像を生成するステップと、
を備えることを特徴とする情報処理方法を実行させるためのプログラム。 On the computer
The step of acquiring the identification information of the person identified by image recognition from the image,
A step of acquiring attention information indicating the attention state of the person from the face image of the person, and
A step of predicting the behavior of the person based on the identification information and the attention information, and
A step of generating a predicted image including behavior prediction information including the predicted behavior of the person, and
A program for executing an information processing method characterized by being equipped with.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018108332 | 2018-06-06 | ||
JP2018108332 | 2018-06-06 | ||
PCT/JP2019/021505 WO2019235350A1 (en) | 2018-06-06 | 2019-05-30 | Information processing system, information processing method, and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019235350A1 JPWO2019235350A1 (en) | 2021-02-12 |
JP6939999B2 true JP6939999B2 (en) | 2021-09-22 |
Family
ID=68770348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020523665A Active JP6939999B2 (en) | 2018-06-06 | 2019-05-30 | Information processing system, information processing method and storage medium |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6939999B2 (en) |
WO (1) | WO2019235350A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111104925B (en) * | 2019-12-30 | 2022-03-11 | 上海商汤临港智能科技有限公司 | Image processing method, image processing apparatus, storage medium, and electronic device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10360685B2 (en) * | 2007-05-24 | 2019-07-23 | Pillar Vision Corporation | Stereoscopic image capture with performance outcome prediction in sporting environments |
JP4481663B2 (en) * | 2004-01-15 | 2010-06-16 | キヤノン株式会社 | Motion recognition device, motion recognition method, device control device, and computer program |
JP4572889B2 (en) * | 2006-11-20 | 2010-11-04 | 株式会社デンソー | Automotive user hospitality system |
JP2009009413A (en) * | 2007-06-28 | 2009-01-15 | Sanyo Electric Co Ltd | Operation detector and operation detection program, and operation basic model generator and operation basic model generation program |
JP5001930B2 (en) * | 2008-11-21 | 2012-08-15 | 富士通株式会社 | Motion recognition apparatus and method |
-
2019
- 2019-05-30 WO PCT/JP2019/021505 patent/WO2019235350A1/en active Application Filing
- 2019-05-30 JP JP2020523665A patent/JP6939999B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2019235350A1 (en) | 2019-12-12 |
JPWO2019235350A1 (en) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11715303B2 (en) | Dynamically predicting shot type using a personalized deep neural network | |
US11040287B2 (en) | Experience-oriented virtual baseball game apparatus and virtual baseball game control method using the same | |
JP6511537B2 (en) | Dart game cheating determination method and server | |
US11395971B2 (en) | Auto harassment monitoring system | |
CN111542378B (en) | Game system, game control device, and recording medium | |
US20190247747A1 (en) | Sports-based card game systems and methods | |
US20230330485A1 (en) | Personalizing Prediction of Performance using Data and Body-Pose for Analysis of Sporting Performance | |
JP6939999B2 (en) | Information processing system, information processing method and storage medium | |
US20210097289A1 (en) | A method and apparatus for user interaction with a video stream | |
WO2020039473A1 (en) | Image management system, image management method, program, and image management device | |
Hemmingsen | Movement compression, sports and eSports | |
WO2020148448A1 (en) | System and method for fraud prevention in esports | |
Tovar | On fairness, justice, and VAR: Russia 2018 and France 2019 World Cups in a historical perspective | |
US20200094143A1 (en) | Gaming system, gaming method, server device, terminal device, and program | |
JP2020000430A (en) | Operation analysis device, operation analysis method and operation analysis program | |
KR102120711B1 (en) | A system for management and assistance of billiard game | |
KR20090046088A (en) | Virtual reality video-game system and playing method of the same | |
CN114419526A (en) | Foul behavior detection method and apparatus, electronic device and storage medium | |
JP6312269B2 (en) | GAME CONTROL DEVICE, GAME SYSTEM, AND PROGRAM | |
US20240087072A1 (en) | Live event information display method, system, and apparatus | |
JP7514528B2 (en) | Game control device, game system, and program | |
CN112784726B (en) | Method and device for determining target data information | |
JP7039061B2 (en) | Game system and programs | |
JP6940168B2 (en) | Game system, game control device, program, and game control method | |
US20230053181A1 (en) | Motion learning system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200730 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210518 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6939999 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |