JP6462974B1 - 画像管理システム、画像管理方法、プログラム、及び画像管理装置 - Google Patents

Abstract

画像データの検索に用いられる情報付加の高速化、及び情報の高精度化の少なくともいずれかを実現し得る、画像管理システム、画像管理方法、プログラム、及び画像管理装置を提供する。スポーツの試合を含む興行において撮像された画像データを管理する画像管理システム（１０）であって、画像データを登録する画像データ登録部（１４、３０、３２、３３）と、被写体の推定に適用する推定情報を試合の公式記録から抽出し、取得する推定情報取得部（４０）と、画像データを解析し被写体を複数のモデルに分類する解析部（６０）と、被写体を推定する推定部（６２）と、推定結果を画像データと関連付けして記憶する推定結果記憶部（１６）とを備える。

Description

本発明は画像管理システム、画像管理方法、プログラム、及び画像管理装置に関する。

クラウドコンピューティングを利用したファイル管理サービスが知られている。例えば、スポーツの興行において撮像された大量の画像データをストレージ装置に記憶する。画像データの利用希望者は、検索システムを介してストレージ装置に記憶されている画像データを検索する。利用希望者はヒットした画像データを取得して利用する。

画像データに撮像日時などの検索用の情報を付加することで、利用希望者は大量の画像データの中から所望の画像データを検索し得る。画像データの撮像日時、及び撮像条件等の情報は、撮像装置が自動的に画像データに付与し得る。また、画像データに対して様々な検索用の情報を手動で付与することも可能である。

画像データの検索用の情報を画像データに付与する際に人手が用いられることがある。また、画像データの検索用の情報を画像データに自動的に付与する場合であっても、画像データと検索用の情報との整合の検証は、その正確性を確保する観点から人手が用いられる。

特許文献１は、報道カメラマンがスタジアム内で撮像して得られた画像データに対して、試合情報を書き込むデジタルカメラが記載されている。同文献に記載のデジタルカメラは、放送局サーバから送信された試合情報を受信し、撮像した画像のヘッダ部に、試合情報のうち基本情報、及び進行情報を書き込む。

デジタルカメラは、画像に対して顔検出、及び背番号検出を実施し、顔検出、及び背番号の少なくともいずれかが検出された場合、デジタルカメラはデータベースに蓄積されたレコードを順に読み出す。デジタルカメラは、顔、及び背番号の少なくともいずれかが一致するレコードが存在する場合、レコード中の選手名を画像データのヘッダに書き込む。

特許文献２は、興行において撮像して得られた画像データによって構成された写真集を迅速に作成するために、撮像して得られた画像データの選択支援を行う画像選択支援システムが記載されている。同文献に記載の画像データの選択支援システムでは、記録者端末は、興行において発生したイベントが日時に関連付けられたイベント情報、及び試合の進行状況を時刻と関連付けて示す場面情報を生成し、これらを編集者端末へ送信する。

デジタルカメラは、画像データ、撮像日の情報、及び撮像者の情報を編集者端末へ送信する。編集者端末は、画像データのタイムスタンプとイベント情報のタイムスタンプとに基づいて、画像データとイベント情報とを関連付けする。また、場面情報に基づいて試合進行の場面に応じた画像の整理を実施する。編集者端末は、光学文字認識を用いて画像に写っている選手の背番号、及び名前を認識し、認識した文字情報を画像データに付加する。

特許第４６５９５６９号公報 特開２０１６−８６２７９号公報

クラウドコンピューティングを利用したファイル管理サービスでは、管理されるファイルに対して検索用の情報を付加する際の自動化という課題が存在している。特許文献１に記載の発明、及び特許文献２に記載の発明は、スポーツの興行において撮像して得られた画像データに対して、検索用の情報付加の自動化を実現している。しかしながら、さらなる処理の高精度化、及び処理の高速化が望まれる。

本発明はこのような事情に鑑みてなされたもので、画像データの検索に用いられる情報付加の高速化、及び情報の高精度化の少なくともいずれかを実現し得る、画像管理システム、画像管理方法、プログラム、及び画像管理装置を提供することを目的とする。

上記目的を達成するために、次の発明態様を提供する。

第１態様に係る画像管理システムは、スポーツの試合を含む興行において、撮像装置を用いて撮像して得られた画像データを管理する画像管理システムであって、画像データを登録する画像データ登録部と、画像データの被写体の推定に適用する推定情報を試合の公式記録から抽出し、推定情報を取得する推定情報取得部と、複数のモデルを適用して画像データの解析を行い、画像データの被写体をモデルに分類する解析部と、推定情報、及び画像データが分類されたモデルに基づいて、画像データの被写体を推定する推定部と、推定部の推定結果を画像データと関連付けして記憶する推定結果記憶部と、を備えた画像管理システムである。

第１態様によれば、画像データを解析して被写体を、規定の複数のモデルのいずれかに分類する。分類に基づいて画像データの被写体を特定する。これにより、画像データの被写体の情報を高速、高精度に取得し得る。

スポーツの興行における画像データの被写体は、人物、及び風景の少なくともいずれかが含まれ得る。人物は、競技に出場している選手、競技場の観客、及び応援団体の構成員等の少なくともいずれかが含まれ得る。人物は、マスコットキャラクターの人体着用ぬいぐるみを着用した人物が含まれ得る。

画像データが分類されるモデルは、競技に応じて規定し得る。モデル数は二以上であればよく、モデル数の限定はない。モデルを階層化してもよい。

推定情報取得部は、公式記録記憶装置から必要な公式記録を予め抽出して、抽出された一部の公式記録を取得してもよいし、全ての公式記録を取得して、必要な一部の公式記録を抽出してもよい。

第２態様は、第１態様の画像管理システムにおいて、解析部は、被写体が試合中の選手であるか否かを分類する構成としてもよい。

第２態様によれば、画像データの被写体として、試合中の選手を推定し得る。

試合中の選手は、試合に出場している選手、及び試合に出場していない選手の少なくともいずれかが含まれ得る。

第３態様は、第２態様の画像管理システムにおいて、解析部は、被写体が試合中の選手の場合、選手が攻撃側であるか守備側であるかを分類する構成としてもよい。

第３態様によれば、画像データの被写体として、攻撃側の選手、又は守備側の選手のいずれかを推定し得る。

攻撃とは、得点を取得するための選手の行為を意味する。守備とは、失点を防ぐための選手の行為を意味する。

第４態様は、第２態様又は第３態様の画像管理システムにおいて、解析部は、被写体が試合中の選手の場合、選手が担う役割を分類する構成としてもよい。

第４態様によれば、画像データの被写体として、選手の役割を推定し得る。

選手が担う役割は、競技に応じて規定し得る。競技が野球の場合の選手が担う役割の例として、投手、野手、打者、及び走者が挙げられる。

第５態様は、第４態様の画像管理システムにおいて、解析部は、選手の役割が分類された場合、選手の利き手を分類する構成としてもよい。

第５態様によれば、画像データの被写体として、選手の利き手を推定し得る。

選手の利き手とは、主として競技に使用される左右手足を意味する。球技の場合の利き手は、主として球を操作する側とし得る。

第６態様は、第１態様から第５態様のいずれか一態様の画像管理システムにおいて、解析部は、被写体が試合中の選手でない場合、被写体を選手以外の人物、又は競技場の風景のいずれかに分類する構成としてもよい。

第６態様によれば、画像データの被写体として、選手以外の人物、又は競技場の風景を推定し得る。

選手以外の人物の一例として、マスコットキャラクターの人体着用ぬいぐるみを着用した人物、及びチアガール等が挙げられる。競技場の風景は観戦席の観客が含まれ得る。

第７態様は、第１態様から第６態様のいずれか一態様の画像管理システムにおいて、画像データから被写体の顔を検出し、検出結果に基づいて被写体の正解確率を導出する顔検出部を備え、顔検出部を用いて導出された正解確率が規定の基準値未満の場合に、解析部を用いて画像データの解析処理を実施する構成としてもよい。

第７態様によれば、顔検出を併用することにより、推定結果の精度を向上させ得る。

第８態様は、第１態様から第７態様のいずれか一態様の画像管理システムにおいて、画像データの撮像時刻の情報を取得する撮影情報取得部を備え、推定情報取得部は、推定情報として、試合の開始時刻、試合の終了時刻、試合において発生したイベントの時刻範囲の情報を取得し、推定部は、画像データの撮像時刻と、推定情報の時刻に関する情報を照合して、画像データが撮像されたシーンを推定する構成としてもよい。

第８態様によれば、画像データの撮像時刻と推定情報の時刻とを照合することにより、推定結果の精度を向上し得る。

イベントとは、公式記録に記録され得る競技中の事象が含まれる。例えば、競技が野球の場合、投手の投球行為、打者の打撃行為、及び走者の走塁行為等が含まれ得る。

画像データが撮像されたシーンとは、イベントが発生した場面として特定し得る。

第９態様は、第１態様から第８態様のいずれか一態様の画像管理システムにおいて、推定情報取得部は、推定情報として、試合に出場した選手の情報を含む試合情報を取得し、推定部は、解析部の解析結果と試合情報とを照合して、画像データの被写体を推定する構成としてもよい。

第９態様によれば、試合に出場した選手の情報を参照することにより、推定結果の精度を向上し得る。

第１０態様は、第１態様から第９態様のいずれか一態様の画像管理システムにおいて、推定部は、画像データの被写体の候補者リストを作成する構成としてもよい。

第１０態様によれば、候補者リストを参照することにより、推定結果を把握し得る。

第１１態様は、第１０態様の画像管理システムにおいて、候補者リストを表示装置に表示させる信号を表示装置へ送信する信号送信部を備えた構成としてもよい。

第１１態様によれば、候補者リストの視認が可能となる。

第１２態様に係る画像管理方法は、スポーツの試合を含む興行において、撮像装置を用いて撮像して得られた画像データを管理する画像管理方法であって、画像データを登録する画像データ登録工程と、画像データの被写体の推定に適用する推定情報を試合の公式記録から抽出し、推定情報を取得する推定情報取得工程と、複数のモデルを適用して画像データの解析を行い、画像データの被写体をモデルに分類する解析工程と、推定情報、及び画像データが分類されたモデルに基づいて、画像データの被写体を推定する推定工程と、推定工程における推定結果を画像データと関連付けして記憶する推定結果記憶工程と、を含む画像管理方法である。

第１２態様によれば、第１態様と同様の効果を得ることが可能である。

第１２態様において、第２態様から第１１態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像管理システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像管理方法の構成要素として把握することができる。

第１３態様に係るプログラムは、スポーツの試合を含む興行において、撮像装置を用いて撮像して得られた画像データを管理するプログラムであって、コンピュータに、画像データを登録する画像データ登録機能、画像データの被写体の推定に適用する推定情報を試合の公式記録から抽出し、推定情報を取得する推定情報取得機能、複数のモデルを適用して画像データの解析を行い、画像データの被写体をモデルに分類する解析機能、推定情報、及び画像データが分類されたモデルに基づいて、画像データの被写体を推定する推定機能、及び推定機能を用いて導出された推定結果を画像データと関連付けして記憶する推定結果記憶機能を実現させるプログラムである。

第１３態様によれば、第１態様と同様の効果を得ることが可能である。

第１３態様において、第２態様から第１１態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像管理システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。

第１４態様に係る画像管理装置は、スポーツの試合を含む興行において、撮像装置を用いて撮像して得られた画像データを管理する画像管理装置であって、画像データを登録する画像データ登録部と、画像データの被写体の推定に適用する推定情報を試合の公式記録から抽出し、推定情報を取得する推定情報取得部と、複数のモデルを適用して画像データの解析を行い、画像データの被写体をモデルに分類する解析部と、推定情報、及び画像データが分類されたモデルに基づいて、画像データの被写体を推定する推定部と、推定部の推定結果を画像データと関連付けして推定結果記憶部へ記憶する記憶制御部と、を備えた画像管理装置である。

第１４態様によれば、第１態様と同様の効果を得ることが可能である。

第１４態様において、第２態様から第１２態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像管理システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像管理装置の構成要素として把握することができる。

本発明によれば、画像データを解析して被写体を、規定の複数のモデルのいずれかに分類する。分類に基づいて画像データの被写体を特定する。これにより、画像データの被写体の情報を高速、高精度に取得し得る。

図１は実施形態に係る画像管理システムの全体構成図である。 図２は図１に示すサーバ装置のハードウェア構成を示すブロック図である。 図３は図１に示すサーバ装置の機能ブロック図である。 図４は図１に示す画像管理システムにおける処理の手順を示す模式図である。 図５はグループの説明図である。 図６はフェイスリストの模式図である。 図７は顔検出処理の説明図である。 図８は顔検出処理の結果の一例を示す説明図である。 図９は時刻推定を適用した解析処理の模式図である。 図１０は時刻推定に画像解析を併用した解析処理の模式図である。 図１１は試合情報の一例を示す説明図である。 図１２は選手情報の一例を示す説明図である。 図１３は解析結果の一例を示す説明図である。 図１４は候補者リストの一例を示す説明図である。 図１５は機械学習の模式図である。 図１６はグループＩＤ登録の手順を示すフローチャートである。 図１７は顔検出処理の手順を示すフローチャートである。 図１８は解析処理の手順を示すフローチャートである。 図１９は推定処理の手順を示すフローチャートである。

以下、添付図面に従って本発明の好ましい実施形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明を適宜省略する。

［画像管理システムの概略］
図１は実施形態に係る画像管理システムの全体構成図である。本実施形態に示す画像管理システムは、スポーツの興行において撮像された画像の画像データを登録し、画像の利用希望者に対して画像データ提供する。利用希望者は、画像を利用する際に画像を管理する管理者に画像使用の許可を申請する。管理者は利用希望者の申請に応じた画像データを検索して提供する。

また、本実施形態に示す画像管理システムは、画像データを検索する際の検索情報を、画像データの被写体の推定結果に基づき自動的に作成する。検索情報は画像データと関連付けされて規定のデータベースに記憶され、画像データの検索に利用される。画像データの被写体の推定は、公式記録から抽出した試合情報、選手情報が参照される。

以下、本実施形態に示す画像管理システムについて詳細に説明する。本実施形態では、スポーツの興行としてプロ野球の公式戦を例示する。本実施形態には、プロ野球の公式戦において、競技管理者等が契約したカメラマンが撮像し、登録した画像データにおける検索情報の生成について例示する。

本明細書では、画像データという用語は、撮像装置を用いて撮像して得られた電子データを表す。画像という用語は印刷物のオブジェクト、及び表示装置に表示されたオブジェクト等を表す。画像は文字、図形、及び模様等が含まれ得る。なお、本明細書では、画像データと画像とは読み替えが可能な用語として取り扱う。

図１に示す画像管理システム１０は、サーバ装置１２、画像データ記憶装置１４、検索情報記憶装置１６、及び試合情報記憶部１８を備える。サーバ装置１２は、画像データの登録、画像データの処理、及び画像データの検索等を実施する。例えば、撮像装置２０を用いて撮像して得られた画像データは、端末装置２２を用いてサーバ装置１２へ送信される。サーバ装置１２は、画像データを球団ごとに分類して画像データ記憶装置１４へ記憶する。

例えば、画像データを端末装置２２からサーバ装置１２へ送信する際に、画像データが登録される球団ごとのサイトを指定する。サーバ装置１２は指定された球団ごとのサイトに画像データを記憶し得る。なお、図１では画像データの図示を省略する。画像データは符号２３を付して図４等に図示する。

図１に示す画像管理システム１０は、クラウドシステム及びオンプレミスシステムのいずれも適用可能である。クラウドシステムは、ＡＳＰ（Application Service Provider）及びＳａａＳ（Software as a Service）等のネットワークを介してオンラインでソフトウェアを利用する形式を適用し得る。

クラウドシステムは、ＰａａＳ（Platform as a Service）等、ハードウェア及びＯＳ（Operating System）などのプラットフォーム一式を、インターネット上のサービスとして遠隔から利用する形式を適用し得る。

クラウドシステムは、ＩａａＳ（Infrastructure as a Service）等、システムの稼動に必要な機材や回線などのインフラを、インターネット上のサービスとして遠隔から利用する形式を適用し得る。

サーバ装置１２は、登録された画像データについて、画像データの検索用の情報である検索情報を自動的に生成する。検索情報の一例として、画像に写っている選手名が挙げられる。

サーバ装置１２は、自動的に生成した検索情報を画像データと関連付けして検索情報記憶装置１６へ記憶する。検索情報の自動生成の詳細は後述する。

サーバ装置１２は、コンピュータを適用し得る。サーバ装置１２は、プログラムを読み出して実行することにより、サーバ装置１２の機能を実現している。プログラムはサーバ装置１２が備える記憶装置から読み出してもよいし、サーバ装置１２の外部の記憶装置から読み出してもよい。なお、実施形態に示すサーバ装置１２は画像管理装置の一例である。

画像データ記憶装置１４は、画像管理システム１０へ登録された画像データが記憶される。画像データ記憶装置１４は、大容量のストレージ装置を適用し得る。検索情報記憶装置１６、及び試合情報記憶部１８も同様に、大容量のストレージ装置を適用し得る。

検索情報記憶装置１６は、画像データの検索情報が画像データと関連付けして記憶される。試合情報記憶部１８は、画像データの解析、及び画像に写っている人物の推定に適用される試合情報が記憶される。試合情報は、スポーツの興行における競技管理者が管理する公式記録記憶装置２４に記憶される公式記録データベース２４Ａから抽出し、取得し得る。試合情報は符号２５を付して図３等に図示する。

本実施形態では競技管理者が管理する公式記録を例示するが、公式記録はスポーツ興行の主催者が管理するものでもよい。また、公式記録は競技管理者が管理する正式な公式記録から派生し、公式記録との整合が取られた、公式記録に準拠した公式記録準拠記録が、公式記録の概念に含まれてもよい。

公式記録準拠記録の一例として、競技管理者又はスポーツ興行の主催者が管理する公式記録を用いて、報道機関、配信サービス機関、及びゲームメーカー等の外部団体が作成した記録が挙げられる。一方、記録管理者が独自に収集し管理する、公式記録との整合が取られていない記録は、一定の信頼性が得られていないため、公式記録準拠記録に含まれない。なお、競技管理者及び主催者の者は団体の意味を含み得る。

画像管理システム１０は、図示しないネットワークを介してサーバ装置１２と端末装置２２等が通信可能に接続されるネットワークシステムを適用し得る。サーバ装置１２は、ネットワークを介して、画像データ記憶装置１４、検索情報記憶装置１６、及び試合情報記憶部１８の少なくともいずれかと通信可能に接続し得る。

ネットワークは、公知の公衆通信網を適用し得る。ネットワークはＬＡＮ（Local Area Network）等の小規模通信網を適用してもよい。ネットワークに適用される通信規格、及び通信形態は限定されない。

［サーバ装置の構成］
〔ハードウェア構成〕
図２は図１に示すサーバ装置のハードウェア構成を示すブロック図である。図２に示すサーバ装置１２は、制御部１２０、メモリ１２２、ストレージ装置１２４、及びネットワークコントローラ１２６を備える。なお、図２に示すＩ／Ｏは入出力インターフェースを表す。

制御部１２０、メモリ１２２、ストレージ装置１２４、及びネットワークコントローラ１２６は、バス１３６を介してデータ通信が可能に接続される。

〈制御部〉
制御部１２０は、サーバ装置１２の全体制御部、各種演算部、及び記憶制御部として機能する。制御部１２０は、メモリ１２２に具備されるＲＯＭ（read only memory）に記憶されているプログラムを実行する。

制御部１２０は、ネットワークコントローラ１２６を介して、外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク１４０を介してサーバ装置１２と通信可能に接続されていてもよい。

制御部１２０は、メモリ１２２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、画像管理システム１０の各種機能が実現される。

制御部１２０は、ストレージ装置１２４からのデータの読み出し、及びストレージ装置１２４へのデータの書き込みを制御する。制御部１２０は、ネットワークコントローラ１２６を介して、外部の記憶装置から各種データを取得してもよい。制御部１２０は、取得した各種データを用いて、演算等の各種処理を実行可能である。

制御部１２０は、一つ、又は二つ以上のプロセッサ（processor）が含まれてもよい。プロセッサの一例として、ＦＰＧＡ（Field Programmable Gate Array）、及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ、及びＰＬＤは、製造後に回路構成を変更し得るデバイスである。

プロセッサの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。

制御部１２０は、同じ種類の二つ以上のプロセッサを適用可能である。例えば、制御部１２０は二つ以上のＦＰＧＡを用いてもよいし、二つのＰＬＤを用いてもよい。制御部１２０は、異なる種類の二つ以上プロセッサを適用してもよい。例えば、制御部１２０は一つ以上のＦＰＧＡと一つ以上のＡＳＩＣとを適用してもよい。

複数の制御部１２０を備える場合、複数の制御部１２０は一つのプロセッサを用いて構成してもよい。複数の制御部１２０を一つのプロセッサで構成する一例として、一つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて一つのプロセッサを構成し、このプロセッサが複数の制御部１２０として機能する形態がある。なお、本明細書におけるソフトウェアはプログラムと同義である。

複数の制御部１２０を一つのプロセッサで構成する他の例として、複数の制御部１２０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部１２０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。

このように、制御部１２０は、ハードウェア的な構造として、各種のプロセッサを一つ以上用いて構成される。

〈メモリ〉
メモリ１２２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、画像管理システム１０において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及び制御部１２０のワーク領域等として機能する。

〈ストレージ装置〉
ストレージ装置１２４は、各種データを非一時的に記憶する。ストレージ装置１２４は、サーバ装置１２の外部に外付けされてもよい。ストレージ装置１２４に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。

〈ネットワークコントローラ〉
ネットワークコントローラ１２６は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ１２６を介して接続されるネットワーク１４０は、ＬＡＮなどの公知のネットワークを適用し得る。

なお、図２に示すサーバ装置１２のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。

〔画像管理システムの機能ブロック〕
図３は図１に示すサーバ装置の機能ブロック図である。サーバ装置１２は、画像データ取得部３０、事前処理部３２、及び画像データ記憶部３３を備える。

画像データ取得部３０は、端末装置２２から送信された画像データを取得する。画像データ取得部３０は、画像データを画像データ記憶装置１４へ記憶する。また、画像データ取得部３０は、画像データを事前処理部３２へ送信する。実施形態に示す画像データ記憶装置１４、及び画像データ取得部３０は、画像データ登録部の構成要素の一例である。

事前処理部３２は、画像データに対して事前処理を施す。事前処理は、画像データに付加されている撮像日時の情報の取得、画像データのリサイズ処理、画像データの回転処理、及びグループＩＤ（identification）の付与等が含まれる。実施形態に示す事前処理部３２は、画像データの撮像時刻の情報を取得する撮影情報取得部の一例である。

事前処理部３２は、リサイズ処理、及び回転処理を施した画像データを画像データ記憶部３３へ記憶する。事前処理部３２は、撮像日時の情報、撮像条件の情報、及びグループＩＤを画像データと関連付けして、検索情報記憶装置１６へ記憶する。

実施形態に示す事前処理部３２、及び画像データ記憶部３３は、画像データ登録部の構成要素の一例である。実施形態に示す検索情報記憶装置１６は、推定結果記憶部の一例である。

サーバ装置１２は、公式記録情報取得部４０を備える。公式記録情報取得部４０は公式記録データベース２４Ａから画像データの解析処理、及び画像データの推定処理に必要な試合情報２５を抽出して読み出す。なお、図３では図１に示す公式記録記憶装置２４の図示を省略する。

公式記録情報取得部４０は、ＡＰＩ（Application Programming Interface）を適用し得る。公式記録情報取得部４０は、公式記録データベース２４Ａから読み出した試合情報２５を試合情報記憶部１８へ記憶する。

実施形態に示す公式記録情報取得部４０は、推定情報取得部の一例である。実施形態に示す試合情報２５は推定情報の一例である。

公式記録データベース２４Ａは、プロ野球公式戦の競技管理者が作成し、管理するデータベースである。公式記録データベース２４Ａは、試合ごとのイベントの情報、及び成績情報等が記憶される。

サーバ装置１２は、顔検出部５０、選手マスタ取得部５２、及びフェイスリスト取得部５４を備える。顔検出部５０は、処理対象の画像データに対して顔検出処理を施し、画像に写っている選手の顔を検出する。顔検出処理の結果は、特定した選手の正解確率を適用し得る。顔検出処理の結果として、複数の人物が特定されてもよい。

選手マスタ取得部５２は、公式記録データベース２４Ａから選手マスタ２１０を取得する。選手マスタ２１０の詳細は後述する。選手マスタは、選手の顔写真と選手の識別情報が関連付けされた選手のリストである。選手マスタは各球団が予め準備し得る。

フェイスリスト取得部５４は、フェイスリスト２００を取得する。フェイスリスト２００は選手ごとに複数の正解画像が記憶されるリストである。フェイスリスト２００は各球団が予め準備し得る。顔検出部５０は、選手マスタ２１０、及びフェイスリスト２００を参照して、顔検出処理を実施し得る。なお、フェイスリスト２００と選手マスタ２１０とを統合してもよい。

サーバ装置１２は、解析部６０、及び推定部６２を備える。解析部６０は、画像データに対して解析処理を施し、画像のシーン等を解析する。推定部６２は、顔検出部５０の検出結果、解析部６０の解析結果、及び試合情報２５を参照して、画像に写っている人物を推定する。推定結果は、候補者リスト２２０として検索情報記憶装置１６へ記憶される。

公式記録データベース２４Ａから試合情報２５を抽出して読み出す工程、及び機能は、記画像データの被写体の推定に適用する推定情報を前記試合の公式記録から抽出し、前記推定情報を取得する推定情報取得工程、及び推定情報取得機能の一例である。

［画像管理システムの詳細な説明］
図４は図１に示す画像管理システムにおける処理の手順を示す模式図である。

〔画像データの登録〕
カメラマン２１が撮像装置２０を用いて撮像した画像の画像データ２３を画像管理システム１０に登録する。すなわち、画像データ２３は球団ごとのサイトに登録される。球団ごとのサイトは図示しないウェブサーバ装置に準備される。球団ごとのサイトは画像データ記憶装置１４に記憶される画像データ２３を公開する。画像データ２３の利用希望者は、端末装置を用いて球団ごとのサイトにアクセスして、画像で管理システムに登録されている画像データ２３を閲覧し得る。

〔事前処理〕
図３に示す事前処理部３２を用いて登録された画像データ２３に事前処理が施される。事前処理では、画像データ２３に付加されている撮像日時の情報が取得され、撮像日時の情報、及び撮像条件の情報が検索情報記憶装置１６へ記憶される。

また、事前処理では、画像データ２３に対してリサイズ処理が施される。これにより、顔検出処理、及び解析処理において、処理負荷の増加を抑制し得る。また、事前処理では、画像データ２３に対して回転処理が施される。これにより、画像の向きが補正され、顔検出処理、解析処理における検出精度を向上し得る。事前処理が施された画像データ２３は画像データ記憶部３３へ記憶される。

さらに、事前処理では、ソート処理が実行され、グループＩＤが付与される。また、事前処理では、グループごとにファイルリストが生成される。

図５はグループの説明図である。グループ８０とは、連写された複数の画像データ２３の一群を表す。グループＩＤはグループ８０の識別記号を表す。すなわち、連写された複数の画像データ２３は個別にファイル情報が付与され、ファイルとして管理される。

また、連写された複数の画像データ２３の一群はグループＩＤが付与される。事前処理では、グループＩＤを用いて顔検出処理のキュー登録を実施する。顔検出処理は、キュー登録がされた順にグループ８０ごとに処理が実行される。後述する解析処理、及び推定処理も同様である。

事前処理において取得した撮像日時の情報、撮像条件の情報、グループＩＤ、及びグループＩＤごとのファイルリストは、図４に示す検索情報記憶装置１６へ記憶される。事前処理の後に、顔検出処理が実施される。実施形態に示す事前準備は、画像データ登録工程、画像データ登録機能の一例である。

〔顔検出処理〕
顔検出処理では、図３に示す顔検出部５０は、画像データ記憶部３３に記憶されている画像データ２３のそれぞれについて、グループ８０ごとに顔検出処理を実施する。顔検出処理には、フェイスリスト、及び選手マスタが参照される。

図６はフェイスリストの模式図である。フェイスリスト２００は選手ごとの正解画像２０２が登録されたリストである。図６にはＡＢＣ球団に所属するＡ山Ｂ男の正解画像を示す。フェイスリスト２００は、一選手について複数の正解画像２０２を登録し得る。図６には、Ａ山Ｂ男について四つの正解画像２０２が登録される例を示す。

図７は顔検出処理の概念図である。顔検出処理では、画像データ記憶部３３から処理対象の画像データを読み出し、処理対象の画像データ２３から顔領域２３Ａを検出し、顔領域２３Ａを識別する。顔検出処理では、顔領域２３Ａを識別する際に、画像データ２３に対して画像処理を施してもよい。

図７には、画像処理の例として、画像データ２３を複数の領域２３Ｂに分割し、領域２３Ｂごとの特徴量を用いて特徴領域２３Ｃを抽出する例を示す。図７に示す例では、特徴領域２３Ｃとして複数の領域２３Ｂが抽出されている。

顔領域２３Ａの識別は、フェイスリスト２００を参照し、顔領域２３Ａとフェイスリスト２００に登録されている正解画像２０２とを照合し、候補選手の正解確率を算出する。正解確率の算出は公知の技術を適用し得る。

図８は顔検出処理の結果の一例を示す説明図である。図８に示す例では、ＡＢＣ球団に所属する三人の選手が候補として抽出され、選手ごとの正解確率を算出する例を示す。最も正解確率が高い選手を顔検出処理の検出結果としてもよい。顔検出処理の検出結果は、検索情報記憶装置１６に記憶される。顔検出処理の検出結果が規定の正解確率以上の場合は、顔検出処理の結果を画像データ２３の推定結果とし得る。

〔試合情報確認〕
図４に戻り、顔検出処理の後に試合情報確認処理が実施される。試合情報確認処理では、試合情報記憶部１８に撮像当日の試合情報が記憶されているか否かを判定する。

試合情報記憶部１８に撮像当日の試合情報が記憶されていない場合は、規定期間経過後に、再度、撮像当日の試合情報が記憶されているか否かを判定する。試合情報記憶部１８に撮像当日の試合情報が記憶されている場合は解析処理へ進む。

実施形態に示す公式記録データベース２４Ａから試合情報を抽出し、記憶する工程、及び機能は、画像データの被写体の推定に適用する推定情報を前記試合の公式記録から抽出し、前記推定情報を取得する推定情報取得工程、及び推定情報取得機能の一例である。

〔解析処理〕
〈時刻推定を適用した解析処理〉
図９は時刻推定を適用した解析処理の模式図である。上記した顔検出処理において、処理対象の画像に写っている人物の特定が十分でない場合に、顔検出処理に適用した画像データ２３に時刻推定を適用した解析処理が施される。

時刻推定を適用した解析処理は、撮像時刻の情報、及び試合情報２５が用いられる。撮像時刻の情報は、撮像装置２０が画像データ２３へ付与した撮像日時の情報が適用される。画像データ２３へ付与された撮像日時の情報は、事前準備において取得されている。

画像管理システム１０は、試合情報記憶部１８に記憶されている試合情報２５を参照して、撮像日時に出場している選手を、画像データ２３に対応する画像に写っている人物として特定し得る。

図９には、撮像日時の情報、及び試合情報２５を併用して、画像データ２３に対応する画像に写っている人物がＡ山Ｂ男である可能性が８０パーセントという推定結果を導出した例を示す。さらに、時刻推定に画像解析を併用して、推定の精度を向上させることが可能である。

〈時刻推定に画像解析を併用した解析処理〉
図１０は時刻推定に画像解析を併用した解析処理の模式図である。解析処理では、予め複数の解析モデルを規定しておき、解析モデルを用いて画像データ２３を分類する。解析モデルの例として、投手又は打者であるか否かを表す攻守モデル、及び利き手を表す利き手モデルが挙げられる。ここでいう利き手とは、競技における利き手を表す。競技が野球の場合、右投げ左打ちなど、守備における利き手と攻撃における利き手が相違し得る。また、打者の場合右打ち、左打ち、及び両打ちが存在する。

画像解析では画像データから特徴領域を抽出し、特徴領域の形状、サイズ、及び画素値等に基づく画像データの分類が可能である。例えば、打者は手にバットを持っているという特徴的な形状や、耳付きのヘルメットを被るという特徴的な形状がある。頭の位置とバットの位置から右打ち、又は左打ちを特定し得る。

投手であれば、利き手を上方向、斜め上方向、横方向、斜め下方向、又は下方向に伸ばすという特徴的な形状がある。頭の位置と利き手の位置から、右投げ、又は左投げを特定し得る。このようにして、画像データ２３から特徴領域を抽出し、特徴領域を解析することで、画像データ２３を解析モデルのいずれかに分類することが可能である。

図１１は試合情報の一例を示す説明図である。図１１に示す試合情報２５はイニング数、イニング開始時刻、及びイニング終了時刻の情報が含まれる。試合情報２５は、そのイニングに出場した打者を表す打者リスト、そのイニングに出場した走者を表す走者リストが含まれる。さらに、試合情報２５は、そのイニングに出場した野手を表す野手リスト、そのイニングに出場した投手を表す投手リスト、及びそのイニングに出場した捕手を表す捕手リストが含まれる。実施形態に示すイニング開始時刻、及びイニング終了時刻から特定される期間は、試合において発生したイベントの時刻範囲の一例である。

打者リストは右打ち、左打ち、又は両打ちのいずれであるかの情報が含まれる。投手リストは右投げであるか左投げであるかの情報が含まれる。なお、図１１に示す試合情報２５は、試合日、ホーム球団コード、ビジター球団コード、試合開始時刻、試合終了時刻、各ホーム球団の出場選手リスト、及びビジター球団の出場選手リスト等の情報が含まれる。図１１に示す試合情報２５の項目は適宜、追加、及び削除が可能である。

図１０に示す例では、画像データ２３に対応する画像に写っている人物が、右打ちの打者であるという解析結果が得られている。図４に戻り、解析処理の結果は、検索情報記憶装置１６に記憶される。

実施形態に示す投手又は打者であるか否かを表す攻守モデルは、選手が攻撃側であるか守備側であるかの分類の一例である。実施形態に示す投手、野手、打者、走者、及び捕手は、選手が担う役割の分類の一例である。

〔推定処理〕
推定処理では、顔検出処理、及び解析処理の結果に基づき、処理対象の画像に写っている人物を推定する。推定処理は、公式記録データベース２４Ａから抽出された選手情報２４０が参照される。推定結果は、検索情報記憶装置１６に記憶される。推定処理では候補者リストが作成される。

図１２は選手情報の一例を示す説明図である。選手情報２４０は選手情報が適用される年度、及び選手の識別情報である選手コードが含まれる。選手情報２４０は、所属球団コード、背番号、利き手、及び守備位置等の情報が含まれる。選手情報２４０は、選手の身長、体重、及び生年月日等の付帯情報が含まれてもよい。

図１３は解析結果の一例を示す説明図である。図１３に示す解析結果２５０は、グループＩＤ、ファイル情報、撮像日時、顔検出結果、及び解析結果が含まれる。図１３に示す解析結果２５０に基づき、候補者リストが作成される。

図１４は候補者リストの一例を示す説明図である。図１４には、複数の画像データ２３について、一覧表形式を適用した候補者リストの一例を示す。図１４に示す候補者リスト２２０は、画像データ２３に対応する画像２２２、候補者名２２４、分類情報２２６、及び備考２２８が含まれる。

画像２２２は、識別情報として画像データ２３に付与されたファイル情報を用いて管理される。複数の候補者が存在する場合は、候補者名には全ての候補者が含まれる。分類情報２２６は、モデルを表すテキスト情報が含まれる。

例えば、図３に示す推定部６２は、推定結果を表す候補者リストをサーバ装置１２と通信可能に接続された端末装置の表示部に表示させてもよい。図１４には、候補者リスト２２０における列方向の中央の候補者リストが選択されている状態を示す。中央の候補者リストはチェックボックスに選択を表す記号が付され、背景が強調されている。

端末装置の表示部への表示信号は、図示しない信号送信部を用いて実施される。実施形態に示す図示しない信号送信部は、候補者リストを表示装置に表示させる信号を表示装置へ送信する信号送信部の一例である。

端末装置の操作者は、端末装置の表示部に表示された候補者リストの内容を確認し得る。また、候補者リストの内容が正しい場合、画像データ２３に関連付けされる選手名を確定する情報を、端末装置からサーバ装置１２へ送信してもよい。

候補者リストの内容に修正が必要な場合、端末装置の操作者が候補者リストの内容を修正し、修正された候補者リストを端末装置からサーバ装置１２へ送信してもよい。

実施形態に示す推定処理を実施する工程、及び機能は、推定情報、及び画像データが分類されたモデルに基づいて、画像データの被写体を推定する推定工程、及び推定機能の一例である。実施形態に示す推定結果を記憶する工程、及び機能は、推定結果を画像データと関連付けして記憶する推定結果記憶工程、及び推定結果記憶機能の一例である。

本実施形態では、推定結果を得る際に顔検出結果を参照する態様を例示したが、推定結果を得る際に顔検出結果を参照せず、解析結果、及び公式記録から抽出した情報に基づき推定結果を得る態様も可能である。

［機械学習］
図１５は機械学習の模式図である。画像データと推定結果とのセットを正解データとして機械学習を行い、顔検出処理、解析処理、及び推定処理の精度を高めることが可能である。機械学習の例として、畳み込み層、及びプーリング層の繰り返し処理である、コンボリューションニューラルネットワークが挙げられる。

すなわち、フェイスリスト２００として取得される正解画像２０２、公式記録データベース２４Ａから取得される試合情報２５、画像データ２３の解析処理の結果、及び推定結果を正解データとして機械学習を実施し、図３に示す顔検出部５０、解析部６０、及び推定部６２の処理精度を向上させることが可能である。

機械学習では、汎用の学習を実施した学習機に対して、スポーツ競技に特化した正解データを利用した機械学習を実施し得る。このように、二段階の機械学習を実施することで、予め準備する正解データの数を減らすことができる。

［画像管理方法の手順］
図４に示す画像管理システムにおける処理の手順を詳細に説明する。

〔グループＩＤ登録の手順〕
図１６はグループＩＤ登録の手順を示すフローチャートである。グループＩＤ登録は、図４に示す事前準備において実施される。図１６に示すグループＩＤ生成工程Ｓ１０では、図３に示す事前処理部３２はグループＩＤを生成する。また、グループＩＤ生成工程Ｓ１０では、グループ８０ごとのファイルリストが生成される。

データベース登録工程Ｓ１２では、事前処理部３２はグループＩＤを検索情報記憶装置１６に登録する。すなわち、データベース登録工程Ｓ１２では、グループごとにファイルリストが検索情報記憶装置１６に登録される。

キュー登録工程Ｓ１４では、事前処理部３２はグループＩＤのキュー登録を実施する。すなわち、キュー登録工程Ｓ１４では、グループごとに顔検出処理のキュー登録が実施される。キュー登録工程Ｓ１４では、キューを管理する図示しないストレージキューにグループＩＤを登録する。

〔顔検出処理の手順〕
図１７は顔検出処理の手順を示すフローチャートである。ファイルリスト取得工程Ｓ２０では、顔検出部５０は処理対象のグループ８０のファイルリストを取得する。顔検出処理では、ファイルリストに記憶される全てのファイルについて、ファイルごとに処理が実施される。

選手特定工程Ｓ２２では、顔検出部５０は、画像データ２３から顔領域２３Ａを抽出し、フェイスリスト２００、及び選手マスタ２１０を参照して、画像データ２３に対応する画像に写っている人物を特定する。なお、人物が特定できない画像データ２３は、同一のグループ８０に属する画像データ２３において特定された人物を特定結果としてもよい。

すなわち、グループは連写して得られた複数の画像データが含まれる。連写して得られた複数の画像データは、同一の被写体が写っていると考えられる。そこで、同一のグループに属する画像データ２３について、同一の選手を特定してもよい。なお、ここでいう選手が特定できない画像データ２３には、選手が特定されているものの、正解確率が規定の基準よりも低い画像データを含み得る。

特定結果登録工程Ｓ２４では、顔検出部５０は、選手特定工程Ｓ２２における特定結果を検索情報記憶装置１６へ登録する。全てのファイルについて特定結果が登録されると、キュー登録工程Ｓ２６へ進む。

キュー登録工程Ｓ２６では、顔検出部５０は、解析処理のキュー登録を実施する。すなわち、キュー登録工程Ｓ２６において、顔検出処理が実施されたグループは解析処理の待ち行列に登録される。

〔解析処理の手順〕
図１８は解析処理の手順を示すフローチャートである。以下に、図４に示す試合情報確認が解析処理に含まれる態様を示す。ファイルリスト取得工程Ｓ４０では、解析部６０は処理対象のグループ８０のファイルリストを取得する。解析処理は、ファイルリストに記憶される全てのファイルについて、ファイルごとに処理が実施される。

試合情報取得工程Ｓ４２では、解析部６０は公式記録記憶装置２４から、図１１に示す試合情報２５を取得する。試合条件判定工程Ｓ４４では、解析部６０は画像データ２３の撮像日時と試合情報とを照合する。画像データ２３の撮像日時に試合が実施されていないと判定された場合はＮｏ判定となる。Ｎｏ判定の場合は解析結果登録工程Ｓ４６へ進む。

解析結果登録工程Ｓ４６では、解析部６０は、画像データ２３の撮像日時に試合が実施されていないことを表す情報を検索情報記憶装置１６に登録する。一方、試合条件判定工程Ｓ４４において、画像データ２３の撮像日時に試合が実施されていると判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は試合時刻判定工程Ｓ４８へ進む。

試合時刻判定工程Ｓ４８では、解析部６０は、試合情報２５を参照して画像データ２３の撮像時刻が試合中であるか否かを判定する。画像データ２３の撮像時刻が試合中でないと判定された場合はＮｏ判定となる。Ｎｏ判定の場合は試合前後情報付与工程Ｓ５０へ進む。

試合前後情報付与工程Ｓ５０では、解析部６０は画像データ２３に撮像時刻が試合前、又は試合後の時刻であることを表す情報を付与する。試合前後情報付与工程Ｓ５０の後に、マスコットチアモデル解析工程Ｓ５２へ進む。

マスコットチアモデル解析工程Ｓ５２では、解析部６０は、画像データ２３がマスコット、及びチアガールの少なくともいずれかを撮像したものであるか、球場の観客席等を撮像したものであるかを解析する。マスコットチアモデル解析工程Ｓ５２における解析結果は、解析結果登録工程Ｓ４６において検索情報記憶装置１６に登録される。

実施形態に示すマスコット、及びチアガールは、選手以外の一例である。実施形態に示す球場の観客席は、競技場の風景の一例である。

一方、試合時刻判定工程Ｓ４８において、画像データ２３の撮像時刻が試合中であると判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は攻守モデル解析工程Ｓ５４へ進む。

攻守モデル解析工程Ｓ５４では、解析部６０は、画像に写っている人物を投手、打者、及びその他のいずれかに分類する。攻守モデル解析結果判定工程Ｓ５６では、解析部６０は、攻守モデル解析工程Ｓ５４における解析結果に基づいて、画像データ２３が投手、又は打者を撮像したものであるか否かを判定する。画像データ２３が投手、又は打者を撮像したものでないと判定された場合はＮｏ判定となる。Ｎｏ判定の場合はアザーモデル解析工程Ｓ５８へ進む。

アザーモデル解析工程Ｓ５８では、解析部６０は、画像データ２３に写っている人物を走者、野手、捕手、及びその他に分類する。アザーモデル解析結果判定工程Ｓ６０では、解析部６０は、画像データ２３に写っている人物がその他に分類されたか否かを判定する。

アザーモデル解析結果判定工程Ｓ６０において、画像データ２３に写っている人物を走者、野手、又は捕手に分類したと判定された場合はＮｏ判定となる。Ｎｏ判定の場合、解析部６０は解析結果登録工程Ｓ４６において解析結果を登録する。

アザーモデル解析結果判定工程Ｓ６０において、画像データ２３に写っている人物をその他に分類したと判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、マスコットチアモデル解析工程Ｓ５２へ進む。解析部６０は、解析結果登録工程Ｓ４６においてマスコットチアモデル解析工程Ｓ５２の解析結果を登録する。

攻守モデル解析結果判定工程Ｓ５６において、投手、又は打者を撮像したものであると判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は利き手モデル解析工程Ｓ６２へ進む。利き手モデル解析工程Ｓ６２では、解析部６０は、投手が右投げであるか左投げであるか、又は打者が右打ちであるか左打ちであるかを解析する。利き手モデル解析工程Ｓ６２の解析結果は、解析結果登録工程Ｓ４６において登録される。

グループに含まれる全てのファイルについて解析結果が登録されると、キュー登録工程Ｓ６４へ進む。キュー登録工程Ｓ６４では、解析部６０は、推定処理のキュー登録を実施する。

〔推定処理の手順〕
図１９は推定処理の手順を示すフローチャートである。ファイルリスト取得工程Ｓ１００では、推定部６２は、処理対象のグループのファイルリストを取得する。解析処理は、ファイルリストに記憶される全てのファイルについて、ファイルごとに処理が実施される。

顔検出処理結果取得工程Ｓ１０２では、推定部６２は、図８に示す顔検出処理結果を取得する。顔検出処理結果判定工程Ｓ１０４では、推定部６２は、顔検出処理の結果として正解確率が８０パーセント未満の選手のみが特定されているか否かを判定する。なお、正解確率の８０パーセントは例示であり、正解確率は任意の値を適用し得る。正解確率を相対的に高くした場合、顔検出処理の精度を向上させることが可能である。

顔検出処理結果判定工程Ｓ１０４において、正解確率が８０パーセント未満の選手のみが特定されていないと判定された場合はＮｏ判定となる。換言すると、顔検出処理結果判定工程Ｓ１０４において、正解確率が８０パーセント以上の選手が特定され、顔検出処理の結果を推定結果として採用し得る場合はＮｏ判定となる。Ｎｏ判定の場合は候補者リスト作成工程Ｓ１０６へ進む。

候補者リスト作成工程Ｓ１０６では、推定部６２は顔検出処理の結果に基づき図１４に示す候補者リスト２２０を作成する。推定結果登録工程Ｓ１０８では、推定部６２は候補者リスト２２０を登録する。

一方、顔検出処理結果判定工程Ｓ１０４において、正解確率が８０パーセント未満の選手のみが特定されていると判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、顔検出処理の精度が低い場合であり、この場合は解析結果取得工程Ｓ１１０へ進む。解析結果取得工程Ｓ１１０では、推定部６２は図１３に示す解析結果２５０を取得する。実施形態に示す８０パーセント未満は、基準値未満の一例である。

選手判定工程Ｓ１１２では、解析結果２５０が選手を表すか否かを判定する。選手判定工程Ｓ１１２において、解析結果２５０が選手を表していないと判定された場合はＮｏ判定となる。すなわち、解析結果がマスコット、チアガアール、又は球場の観客席等であると判定された場合は、推定結果登録工程Ｓ１０８へ進む。

推定結果登録工程Ｓ１０８では、推定部６２は、画像に写っている人物がマスコット、チアガアール、又は球場の観客席等であることを表す推定結果を登録する。

一方、選手判定工程Ｓ１１２において、解析結果が選手を表すと判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、攻守情報取得工程Ｓ１１４へ進む。攻守情報取得工程Ｓ１１４では、推定部６２は、画像データ２３の撮像日時を用いて、試合情報２５からホームチーム情報、及び攻守情報を取得する。すなわち、攻守情報取得工程Ｓ１１４において、推定部６２はホームチームを特定し、攻守を特定する。

シーン照合工程Ｓ１１６では、試合情報２５に基づくシーンと、解析結果に基づく攻守の分類とが一致するか否かを判定する。例えば、試合情報２５では守備中の場合、解析結果が投手であれば一致と判定される。一方、試合情報２５では守備中の場合、解析結果が打者であれば不一致と判定される。

シーン照合工程Ｓ１１６において不一致の場合はＮｏ判定となる。Ｎｏ判定の場合はシーン判定工程Ｓ１１８へ進む。シーン判定工程Ｓ１１８では、推定部６２は試合情報２５に基づき、撮像時刻のシーンが守備中であるか、攻撃中であるかを判定する。

シーン判定工程Ｓ１１８において攻撃中と判定された場合はＮｏ判定となる。Ｎｏ判定の場合は攻撃選手情報取得工程Ｓ１２０へ進む。攻撃選手情報取得工程Ｓ１２０では、推定部６２は試合情報２５から撮像時刻に基づき特定されるイニング中において打者であった選手の情報、及び走者であった選手の情報を取得する。選手の情報は選手名、選手コード等の選手を特定し得る情報が含まれる。走者が複数の場合は、全ての走者に対応する選手の情報を取得する。

推定部６２は、候補者リスト作成工程Ｓ１０６において、試合情報２５から取得した選手の情報を用いて、候補者リスト２２０を作成する。

一方、シーン判定工程Ｓ１１８において守備中と判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は守備選手情報取得工程Ｓ１２２へ進む。守備選手情報取得工程Ｓ１２２では、推定部６２は試合情報２５から撮像時刻に基づき特定されるイニング中において守備についていた全ての選手の情報を取得する。推定部６２は、試合情報２５から取得した選手の情報を用いて、候補者リスト作成工程Ｓ１０６において候補者リスト２２０を作成する。

シーン照合工程Ｓ１１６において一致と判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、解析結果を用いてさらに詳細な推定を実施する。攻撃判定工程Ｓ１２４では、推定部６２は解析結果に基づく分類が攻撃中であるか否かを判定する。例えば、解析結果が投手、又は野手の場合は守備中と判定され、Ｎｏ判定となる。Ｎｏ判定の場合は、投手判定工程Ｓ１２６へ進む。投手判定工程Ｓ１２６では、推定部６２は解析結果が投手であるか野手であるかを判定する。解析結果が野手の場合はＮｏ判定となる。Ｎｏ判定の場合は守備位置判定工程Ｓ１２８へ進む。

守備位置判定工程Ｓ１２８では、推定部６２は守備位置が捕手以外の野手であるか否かを判定する。捕手と判定された場合はＮｏ判定となる。Ｎｏ判定の場合は捕手情報取得工程Ｓ１３０へ進む。捕手情報取得工程Ｓ１３０では、推定部６２は試合情報２５から撮像時刻に基づき特定されるイニング中において捕手として出場していた選手の情報を取得する。

推定部６２は、試合情報２５から取得した捕手として出場していた選手の情報を用いて、候補者リスト作成工程Ｓ１０６において候補者リスト２２０を作成する。

一方、守備位置判定工程Ｓ１２８において捕手以外の野手である判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は野手情報取得工程Ｓ１３２へ進む。野手情報取得工程Ｓ１３２では、推定部６２は試合情報２５から撮像時刻に基づき特定されるイニング中において捕手以外の野手として出場していた全ての選手の情報を取得する。

推定部６２は、試合情報２５から取得した捕手以外の野手として出場していた全ての選手の情報を用いて、候補者リスト作成工程Ｓ１０６において候補者リスト２２０を作成する。

投手判定工程Ｓ１２６において投手と判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、投手情報取得工程Ｓ１３４へ進む。投手情報取得工程Ｓ１３４では、推定部６２は試合情報２５から撮像時刻に基づき特定されるイニング中において投手として出場していた選手の情報を取得する。また、投手利き手情報取得工程Ｓ１３６において、推定部６２は解析結果から利き手情報を取得する。

推定部６２は、試合情報２５から取得した投手として出場していた選手の情報、及び利き手情報を用いて、候補者リスト作成工程Ｓ１０６において候補者リスト２２０を作成する。

攻撃判定工程Ｓ１２４において、解析結果が攻撃中と判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、打者判定工程Ｓ１３８へ進む。打者判定工程Ｓ１３８では、推定部６２は解析結果が打者であるか否かを判定する。打者判定工程Ｓ１３８において、解析結果が走者であると判定される場合はＮｏ判定となる。Ｎｏ判定の場合は走者情報取得工程Ｓ１４０へ進む。走者情報取得工程Ｓ１４０では、推定部６２は試合情報２５から撮像時刻に基づき特定されるイニング中において走者として出場していた全ての選手の情報を取得する。

推定部６２は、公式記録情報から取得した走者として出場していた全ての選手の情報を用いて、候補者リスト作成工程Ｓ１０６において候補者リスト２２０を作成する。

一方、打者判定工程Ｓ１３８において、解析結果が打者と判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、打者情報取得工程Ｓ１４２へ進む。打者情報取得工程Ｓ１４２では、推定部６２は試合情報２５から撮像時刻に基づき特定されるイニング中において打者として出場していた選手の情報を取得する。さらに、打者利き手情報取得工程Ｓ１４４において、推定部６２は解析結果から打者の利き手情報を取得する。

推定部６２は、試合情報２５から取得した打者として出場していた選手の情報、及び利き手情報を用いて、候補者リスト作成工程Ｓ１０６において候補者リスト２２０を作成する。

グループに属する全てのファイルについて、候補者リスト２２０が作成され、候補者リスト２２０が特録された後に、調整工程Ｓ１４６へ進む。

調整工程Ｓ１４６では、推定部６２はグループに属するファイルについて、推定結果の調整を行う。例えば、同一のグループに属する全てのファイルは、候補者リスト２２０が一致するはずである。しかし、グループにおいて、候補者リスト２２０が不一致のファイルが存在する場合は、不一致のファイルの候補者リスト２２０を調整する。

このようにして導出された推定結果は、ファイルと関連付けされて検索情報記憶装置１６に記憶される。

〔推定結果の検証〕
検索情報記憶装置１６に記憶されたファイルごとの推定結果を検証してもよい。例えば、複数の候補者が存在する場合、オペレータが目視により画像を確認して、複数の候補者の中から画像に写っている人物を特定してもよい。推定結果の検証は、画像管理システム１０と通信可能に接続された端末装置を用いて実施し得る。

すなわち、オペレータは、端末装置を用いて画像管理システム１０にアクセスし、図１３に示す候補者リスト２２０をダウンロードし、画像２２２ごとに画像２２２に写っている人物を特定し、特定結果を画像管理システム１０へ記憶し得る。

［作用効果］
上記の如く構成された画像管理システム、画像管理方法、及びプログラムによれば、以下の作用効果を得ることが可能である。

〔１〕
画像データの被写体を分類する際に、投手、野手、打者、及び走者等のモデルを適用する。これにより、画像データの解析、及び画像データの被写体の推定を高速、かつ高精度に実施し得る。

〔２〕
画像データの被写体が投手、又は打者の場合、利き手を分類する。これにより、画像データの解析、及び画像データの被写体の推定を高精度に実施し得る。

〔３〕
試合開始時刻、及び試合終了時刻と画像データの撮像時刻を参照して、画像データの撮像が試合中であるか否かを特定する。これにより、画像データの解析、及び画像データの被写体の推定を高速、かつ高精度に実施し得る。

〔４〕
イニングの開始時刻、及びイニングの終了時刻と画像データの撮像時刻を参照して、画像データの撮像が攻撃中であるか、守備中であるかを特定する。これにより、画像データのシーン、試合中に発生したイベントを特定し得る。これにより、画像データの被写体の推定を高精度化し得る。

〔５〕
公式記録から試合情報、及び選手情報を取得する。これにより、画像データの解析、画像データの被写体の推定に適用される情報の取得が可能である。

〔６〕
信頼性の高いビッグデータである公式記録を、画像データの解析及び画像データの被写体推定に適用する。これにより、一定の高い精度を有する画像データの解析及び画像データの被写体推定が可能となる。

［他の競技への適用例］
本実施形態では、スポーツの興行としてプロ野球を例示したが、本実施形態に示す画像管理システム、画像管理方法、及びプログラムは、他の競技にも適用可能である。すなわち、公式記録の取得、公式記録から画像データの解析、及び画像データの被写体の推定に適用される情報の抽出が可能な競技は、本実施形態に係る画像管理システム、画像管理方法、及びプログラムを適用し得る。特に、球技、及び攻守が区別し易い競技への適用が比較的容易である。

例えば、本実施形態に示す野球と競技ルールが類似するソフトボールは、本実施形態に示す画像管理システム等の適用が可能である。また、テニス、卓球、及びバドミントンなどのラケットを使用する競技は利き手情報を用いた推定が有効である。フットボール、バレーボール、バスケットボール、ハンドボール、及び水球など、ボールを投げる競技もまた、利き手情報を用いた推定が有効である。

テニス等のネットを挟んで行う競技は、攻守情報としてコート情報を適用することが可能である。コート情報とは、ネットの一方の側の選手であるか、又は他方の側の選手であるかを表す情報を意味する。また、サッカー、バスケットボール、ハンドボール、及び水球など、攻守が区別し難い競技はボールの移動方向、及び選手の移動方向等の情報を取得して攻守を区別し得る。なお、攻撃は得点を取得するための選手の行為を意味し、守備は失点を防ぐための選手の行為を意味する。

［プログラムへの適用例］
上記した画像管理システム１０の各部の機能、画像管理方法の各工程の機能は、コンピュータを用いてプログラムを実行することにより実現し得る。例えば、画像データを登録する画像データ登録機能、画像データの被写体の推定に適用する推定情報を試合の公式記録から抽出し、推定情報を取得する推定情報取得機能、複数のモデルを適用して画像データの解析を行い、画像データの被写体をモデルに分類する解析機能、推定情報、及び画像データが分類されたモデルに基づいて、画像データの被写体を推定する推定機能、及び推定機能を用いて導出された推定結果を画像データと関連付けして記憶する推定結果記憶機能をコンピュータに実現させるプログラムを構成し得る。また、このプログラムを記憶したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、フラッシュＲＯＭ等の非一時的かつコンピュータ読取可能な記録媒体を構成することも可能である。

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有するものにより、多くの変形が可能である。

１０ 画像管理システム
１２ サーバ装置
１４ 画像データ記憶装置
１６ 検索情報記憶装置
１８ 試合情報記憶部
２０ 撮像装置
２１ カメラマン
２２ 端末装置
２３ 画像データ
２３Ａ 顔領域
２３Ｂ 領域
２３Ｃ 特徴領域
２４ 公式記録記憶装置
２４Ａ 公式記録データベース
２５ 試合情報
３０ 画像データ取得部
３２ 事前処理部
３３ 画像データ記憶部
４０ 公式記録情報取得部
５０ 顔検出部
５２ 選手マスタ取得部
５４ フェイスリスト取得部
６０ 解析部
６２ 推定部
８０ グループ
１０２ 画像処理装置
１０４ 表示装置
１０５ 入力装置
１２０ 制御部
１２２ メモリ
１２４ ストレージ装置
１２６ ネットワークコントローラ
１２８ 電源装置
１３０ ディスプレイコントローラ
１３２ 入出力インターフェース
１３４ 入力コントローラ
１３６ バス
１４０ ネットワーク
２００ フェイスリスト
２０２ 正解画像
２１０ 選手マスタ
２２０ 候補者リスト
２２２ 画像
２２４ 候補者名
２２６ 分類情報
２２８ 備考
２４０ 選手情報
Ｓ１０からＳ１４６ 画像管理方法の各工程

Claims (13)

1. スポーツの試合を含む興行において、撮像装置を用いて撮像して得られた画像データを管理する画像管理システムであって、
   画像データを登録する画像データ登録部と、
   前記画像データの撮像時刻の情報を取得する撮影情報取得部と、
   前記画像データの被写体の推定に適用する推定情報を前記試合の公式記録から抽出し、前記推定情報を取得する推定情報取得部と、
   複数のモデルを適用して前記画像データの解析を行い、前記画像データの被写体を前記モデルに分類する解析部と、
   前記推定情報、及び前記画像データが分類されたモデルに基づいて、前記画像データの被写体を推定する推定部と、
   前記推定部の推定結果を前記画像データと関連付けして記憶する推定結果記憶部と、
   を備え、
   前記推定情報取得部は、前記推定情報として、前記試合において発生したイベントの時刻範囲の情報、前記イベントに登場する人物の情報、及び前記人物に適用される前記モデルの情報を含む試合情報を取得し、
   前記推定部は、前記イベントの発生時刻範囲と前記画像データの撮像時刻とを照合して前記画像データに該当する前記イベントを特定し、前記推定情報から特定される前記イベントに登場する人物に適用されるモデルと前記解析部が分類した前記画像データの被写体のモデルとを照合して、前記画像データの被写体を推定する画像管理システム。
2. 前記解析部は、前記被写体が試合中の選手であるか否かを分類する請求項１に記載の画像管理システム。
3. 前記解析部は、前記被写体が試合中の選手の場合、前記選手が攻撃側であるか守備側であるかを分類する請求項２に記載の画像管理システム。
4. 前記解析部は、前記被写体が試合中の選手の場合、前記選手が担う役割を分類する請求項２又は３に記載の画像管理システム。
5. 前記解析部は、前記選手の役割が分類された場合、さらに前記選手の利き手を分類する請求項４に記載の画像管理システム。
6. 前記解析部は、前記被写体が試合中の選手でない場合、前記被写体を選手以外の人物、又は競技場の風景のいずれかに分類する請求項１から５のいずれか一項に記載の画像管理システム。
7. 前記画像データから被写体の顔を検出し、検出結果に基づいて前記被写体の正解確率を導出する顔検出部を備え、
   前記顔検出部を用いて導出された正解確率が規定の基準値未満の場合に、前記解析部を用いて前記画像データの解析処理を実施する請求項１から６のいずれか一項に記載の画像管理システム。
8. 前記推定部は、前記画像データの被写体の候補者リストを作成する請求項１から７のいずれか一項に記載の画像管理システム。
9. 前記候補者リストを表示装置に表示させる信号を前記表示装置へ送信する信号送信部を備えた請求項８に記載の画像管理システム。
10. スポーツの試合を含む興行において、撮像装置を用いて撮像して得られた画像データを管理する画像管理方法であって、
    画像データを登録する画像データ登録工程と、
    前記画像データの撮像時刻の情報を取得する撮影情報取得工程と、
    前記画像データの被写体の推定に適用する推定情報を前記試合の公式記録から抽出し、前記推定情報を取得する推定情報取得工程と、
    複数のモデルを適用して前記画像データの解析を行い、前記画像データの被写体を前記モデルに分類する解析工程と、
    前記推定情報、及び前記画像データが分類されたモデルに基づいて、前記画像データの被写体を推定する推定工程と、
    前記推定工程における推定結果を前記画像データと関連付けして記憶する推定結果記憶工程と、
    を含み、
    前記推定情報取得工程は、前記推定情報として、前記試合において発生したイベントの時刻範囲の情報、前記イベントに登場する人物の情報、及び前記人物に適用される前記モデルの情報を含む試合情報を取得し、
    前記推定工程は、前記イベントの発生時刻範囲と前記画像データの撮像時刻とを照合して前記画像データに該当する前記イベントを特定し、前記推定情報から特定される前記イベントに登場する人物に適用されるモデルと前記解析工程において分類した前記画像データの被写体のモデルとを照合して、前記画像データの被写体を推定する画像管理方法。
11. スポーツの試合を含む興行において、撮像装置を用いて撮像して得られた画像データを管理するプログラムであって、
    コンピュータに、
    画像データを登録する画像データ登録機能、
    前記画像データの撮像時刻の情報を取得する撮影情報取得機能、
    前記画像データの被写体の推定に適用する推定情報を前記試合の公式記録から抽出し、前記推定情報を取得する推定情報取得機能であり、前記推定情報として、前記試合において発生したイベントの時刻範囲の情報、前記イベントに登場する人物の情報、及び前記人物に適用されるモデルの情報を含む試合情報を取得する推定情報取得機能、
    複数の前記モデルを適用して前記画像データの解析を行い、前記画像データの被写体を前記モデルに分類する解析機能、
    前記推定情報、及び前記画像データが分類されたモデルに基づいて、前記画像データの被写体を推定する推定機能であり、前記イベントの発生時刻範囲と前記画像データの撮像時刻とを照合して前記画像データに該当する前記イベントを特定し、前記推定情報から特定される前記イベントに登場する人物に適用されるモデルと前記解析機能を用いて分類した前記画像データの被写体のモデルとを照合して、前記画像データの被写体を推定する推定機能、及び
    前記推定機能を用いて導出された推定結果を前記画像データと関連付けして記憶する推定結果記憶機能を実現させるプログラム。
12. スポーツの試合を含む興行において、撮像装置を用いて撮像して得られた画像データを管理する画像管理装置であって、
    画像データを登録する画像データ登録部と、
    前記画像データの撮像時刻の情報を取得する撮影情報取得部と、
    前記画像データの被写体の推定に適用する推定情報を前記試合の公式記録から抽出し、前記推定情報を取得する推定情報取得部と、
    複数のモデルを適用して前記画像データの解析を行い、前記画像データの被写体を前記モデルに分類する解析部と、
    前記推定情報、及び前記画像データが分類されたモデルに基づいて、前記画像データの被写体を推定する推定部と、
    前記推定部の推定結果を前記画像データと関連付けして推定結果記憶部へ記憶する記憶制御部と、
    を備え、
    前記推定情報取得部は、前記推定情報として、前記試合において発生したイベントの時刻範囲の情報、前記イベントに登場する人物の情報、及び前記人物に適用される前記モデルの情報を含む試合情報を取得し、
    前記推定部は、前記イベントの発生時刻範囲と前記画像データの撮像時刻とを照合して前記画像データに該当する前記イベントを特定し、前記推定情報から特定される前記イベントに登場する人物に適用されるモデルと前記解析部が分類した前記画像データの被写体のモデルとを照合して、前記画像データの被写体を推定する画像管理装置。
13. 非一時的かつコンピュータ読取可能な記録媒体であって、
    前記記録媒体に格納された指令が、スポーツの試合を含む興行において撮像装置を用いて撮像して得られた画像データを管理するコンピュータによって読み取られた場合に、
    画像データを登録する画像データ登録機能、
    前記画像データの被写体の推定に適用する推定情報を前記試合の公式記録から抽出し、前記推定情報を取得する推定情報取得機能であり、前記推定情報として、前記試合において発生したイベントの時刻範囲の情報、前記イベントに登場する人物の情報、及び前記人物に適用されるモデルの情報を含む試合情報を取得する推定情報取得機能、
    複数の前記モデルを適用して前記画像データの解析を行い、前記画像データの被写体を前記モデルに分類する解析機能、
    前記推定情報、及び前記画像データが分類されたモデルに基づいて、前記画像データの被写体を推定する推定機能であり、前記イベントの発生時刻範囲と前記画像データの撮像時刻とを照合して前記画像データに該当する前記イベントを特定し、前記推定情報から特定される前記イベントに登場する人物に適用されるモデルと前記解析機能を用いて分類した前記画像データの被写体のモデルとを照合して、前記画像データの被写体を推定する推定機能、及び
    前記推定機能を用いて導出された推定結果を前記画像データと関連付けして記憶する推定結果記憶機能、
    をコンピュータに実現させる記録媒体。

Images