JP6994224B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来から、事象の異常を判定する際に、ニューラルネットワークが用いられることがある。特許文献１に記載された技術は、エンジンのノッキング（異常燃焼）の発生を、エンジンの音圧及びニューラルネットワークを利用して判定する。

特許６６０５１７０号公報

上述したように、ニューラルネットワークを利用して事象の特徴量を学習し、学習結果である学習モデルによってその事象の異常を判定することがある。しかしながら、事象をカメラ部によって撮像して生成された画像データに基づいて、その事象の異常を判定する場合には、学習の結果である特徴量解析だけでは、事象の異常を判定することができない場合がある。このため、従来の技術では異常か否か判定することができなかった事象についても、異常か否かの判定を行うことができる技術が望まれている。

本発明は、事象が異常か否かの判定することが可能な情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

一態様の情報処理装置は、画像データを受け付ける受付部と、事象の任意の第１状態を学習した第１学習モデルと、受付部によって受け付けた画像データとに基づいて、画像データに記録される事象と第１学習モデルに基づく第１状態との乖離度を取得する取得部と、第１状態とは異なる、少なくとも事象の複数の第２状態を学習した第２学習モデルと、受付部によって受け付けた画像データとに基づいて、画像データに記録される事象を複数の状態に分類に分類する分類部と、取得部によって取得される乖離度と、分類部によって分類された結果とに基づいて、画像データに記録される事象の状態を出力部から出力する出力制御部と、を備える。

一態様の情報処理装置では、取得部は、事象の第１状態を記録した動画を学習することにより得られた第１学習モデルを利用して、乖離度を取得し、分類部は、事象の第１状態及び事象の第２状態のうち、少なくとも事象の第２状態を記録した動画を学習することにより得られた第２学習モデルを利用して、画像データに記録される事象が第２状態か否かに分類することとしてもよい。

一態様の情報処理装置では、出力制御部は、取得部によって取得される乖離度が第１所定値以上であり、且つ、分類部によって分類される第２状態である可能性が第２所定値以上の場合、第２状態を示す情報を出力するよう出力部を制御することとしてもよい。

一態様の情報処理装置では、受付部は、炎を記録した画像データを受け付け、取得部は、事象として通常時の炎を第１状態として学習した第１学習モデルを利用して、画像データに記録される炎が、通常時の炎から乖離しているかを取得し、分類部は、事象として通常時とは異なる非通常時の炎を第２状態として学習した第２学習モデルを利用して、画像データに記録される炎が非通常時の炎になる可能性があるかを分類することとしてもよい。

一態様の情報処理装置では、受付部は、河川の流れを記録した画像データを受け付け、取得部は、事象として通常時の河川の流れを第１状態として学習した第１学習モデルを利用して、画像データに記録される河川の流れが、通常時の河川の流れから乖離しているかを取得し、分類部は、事象として通常時とは異なる非通常時の河川の流れになる以前の河川の流れを第２状態として学習した第２学習モデルを利用して、画像データに記録される河川の流れが非通常時の流れになる可能性があるかを分類することとしてもよい。

一態様の情報処理装置では、受付部は、複数の材料を混合する状態を記録した画像データを受け付け、取得部は、事象として正常な材料の混合状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される材料の混合状態が正常な材料の混合状態から乖離しているかを取得し、分類部は、事象として正常時とは異なる異常時の材料の混合状態を第２状態として学習した第２学習モデルを利用して、画像データに記録される材料の混合状態が異常時の混合状態になる可能性があるかを分類することとしてもよい。

一態様の情報処理装置では、受付部は、発酵途中の食品の状態を記録した画像データを受け付け、取得部は、事象として正常な食品の発酵状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される食品の発酵状態が正常な発酵状態から乖離しているかを取得し、分類部は、事象として正常時とは異なる非正常時の食品の発酵状態を第２状態として学習した第２学習モデルを利用して、画像データに記録される食品の発酵状態が非正常時の発酵状態になる可能性があるかを分類することとしてもよい。

一態様の情報処理装置では、受付部は、１又は複数の人物の通行を記録した画像データを受け付け、取得部は、事象として正常時の人物の通行状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される人物の通行状態が正常時の通行状態から乖離しているかを取得し、分類部は、事象として正常時とは異なる非通常時の通行状態を第２状態として学習した第２学習モデルを利用して、画像データに記録される人物の通行状態が非通常時の通行状態になる可能性があるかを分類することとしてもよい。

一態様の情報処理装置では、受付部は、水処理施設において処理される水の状態を記録した画像データを受け付け、取得部は、事象として正常に処理された水の処理状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される処理水の状態が正常な処理状態から乖離しているかを取得し、分類部は、事象として正常な処理状態とは異なる非正常時の処理状態の水の処理状態を第２状態として学習した第２学習モデルを利用して、画像データに記録される処理水の状態が非正常時の処理状態になる可能性があるかを分類することとしてもよい。

一態様の情報処理装置では、受付部は、施設から排出される煙の状態を記録した画像データを受け付け、取得部は、事象として正常に排出される煙の状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される煙の状態が第１状態から乖離しているかを取得し、分類部は、事象として正常な煙の状態とは異なる非正常時の煙の状態第２状態として学習した第２学習モデルを利用して、画像データに記録される煙の状態が非正常時の煙の状態になる可能性があるかを分類することとしてもよい。

一態様の情報処理装置では、受付部は、道路を走行する車両を記録した画像データを受け付け、取得部は、事象として道路を正常に走行する車両の走行状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される車両の走行状態が第１状態から乖離しているかを取得し、分類部は、事象として正常な車両の走行状態とは異なる非正常時の車両の走行状態を第２状態として学習した第２学習モデルを利用して、画像データに記録される車両の走行状態が非正常時の車両の走行状態になる可能性があるかを分類することとしてもよい。

一態様の情報処理装置では、受付部は、人物又は動物の動きを記録した画像データを受け付け、取得部は、事象として人物又は動物の正常時の動作状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される人物又は動物の動作状態が第１状態から乖離しているかを取得し、分類部は、事象として人物又は動物の正常時の動きとは異なる非正常時の動作状態を第２状態として学習した第２学習モデルとして利用して、画像データに記録される人物又は動物の動作状態が非正常時の動作状態になるかを分類することとしてもよい。

一態様の情報処理方法では、コンピュータが、画像データを受け付ける受付ステップと、事象の任意の第１状態を学習した第１学習モデルと、受付ステップによって受け付けた画像データとに基づいて、画像データに記録される事象と第１学習モデルに基づく第１状態との乖離度を取得する取得ステップと、第１状態とは異なる、少なくとも事象の複数の第２状態を学習した第２学習モデルと、受付ステップによって受け付けた画像データとに基づいて、画像データに記録される事象を複数の状態に分類に分類する分類ステップと、取得ステップによって取得される乖離度と、分類ステップによって分類された結果とに基づいて、画像データに記録される事象の状態を出力ステップから出力する出力制御ステップと、を実行する。

一態様の情報処理プログラムは、コンピュータに、画像データを受け付ける受付機能と、事象の任意の第１状態を学習した第１学習モデルと、受付機能によって受け付けた画像データとに基づいて、画像データに記録される事象と第１学習モデルに基づく第１状態との乖離度を取得する取得機能と、第１状態とは異なる、少なくとも事象の複数の第２状態を学習した第２学習モデルと、受付機能によって受け付けた画像データとに基づいて、画像データに記録される事象を複数の状態に分類に分類する分類機能と、取得機能によって取得される乖離度と、分類機能によって分類された結果とに基づいて、画像データに記録される事象の状態を出力機能から出力する出力制御機能と、を実現させる。

一態様の情報処理装置は、事象の任意の第１状態を学習した第１学習モデルと、画像データとに基づいて、画像データに記録される事象と第１学習モデルに基づく第１状態との乖離度を取得し、第１状態とは異なる、少なくとも事象の複数の第２状態を学習した第２学習モデルと、画像データとに基づいて、画像データに記録される事象を複数の状態に分類に分類し、乖離度と分類された結果とに基づいて、画像データに記録される事象の状態を出力するので、事象が異常か否かの判定することができる。
一態様の情報処理方法及び情報処理プログラムは、上述した一態様の情報処理プログラムと同様の効果を奏することができる。

一実施形態に係る情報処理装置について説明するためのブロック図である。 第１学習モデルを生成する際のステップについて説明するための図である。 第２学習モデルを生成する際のステップについて説明するための図である。 河川の流れが正常な状態の一例を説明するための図である。 河川の流れが異常な状態の例を説明するための図である。（Ａ）は河川が増水している例を示し、（Ｂ）は河川に物体が流れている例を示し、（Ｃ）は堤防が決壊する直前の例を示す。 一実施形態に係る情報処理方法について説明するための第１のフローチャートである。 一実施形態に係る情報処理方法について説明するための第２のフローチャートである。

以下、本発明の一実施形態について説明する。
本明細書では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。

図１は、一実施形態に係る情報処理装置１について説明するためのブロック図である。
情報処理装置１は、複数の学習モデルに基づいて、事象の状態を出力する。情報処理装置１は、事象の任意の第１状態を学習することにより第１学習モデルを生成する。情報処理装置１は、上述した事象の第１状態と、その第１状態とは異なる第２状態とのうち、少なくともその事象の第２状態を学習することにより第２学習モデルを生成する。情報処理装置１は、第２状態として、その第２状態になる以前の状態（第１状態ではないが、第２状態になる以前（直前等）の状態等）を学習して第２学習モデルを生成することとしてもよい。

情報処理装置１は、受付部１２によって画像データを受け付けると、その画像データと第１学習モデルとに基づいて、画像データに記録される事象の状態が第１状態から乖離しているかを判定する。
また、情報処理装置１は、その画像データと第２学習モデルとに基づいて、画像データに記録される事象の状態が第２状態になる可能性があるか判定する。この場合、情報処理装置１は、例えば、第１状態から第２状態までを複数段階に分類しておき、画像データに記録される状態がどの段階かを判定することとしてもよい。
なお、以下では、事象の第１状態としてその事象の正常な状態を例示し、事象の第２状態としてその事象の異常な状態を例示して説明する。

次に、情報処理装置１について詳細に説明する。
情報処理装置１は、通信部１６、記憶部１７、表示部１８、受付部１２、取得部１３、分類部１４及び出力制御部１５を備える。受付部１２、取得部１３、分類部１４及び出力制御部１５は、情報処理装置１の制御部１１（例えば、演算処理装置等）の一機能として実現されてもよい。通信部１６、記憶部１７及び表示部１８は、本発明の「出力部」の一実施形態として実現されてもよい。

通信部１６は、情報処理装置１の外部にある装置（例えば、サーバ、外部カメラ及び携帯端末等）（図示せず）と情報の送受信が可能である。

記憶部１７は、種々の情報及びプログラムを記憶する装置である。

表示部１８は、例えば、文字及び画像等を表示する装置である。

受付部１２は、画像データを受け付ける。すなわち、受付部１２は、例えば、通信部１６を介して画像データを受け付ける。例えば、受付部１２は、情報処理装置１の外部にある外部サーバ（図示せず）に蓄積される画像データ、又は、情報処理装置１の外部にある外部カメラ（図示せず）で生成された画像データを、通信部１６を介して受け付ける。又は、受付部１２は、情報処理装置１に配されるカメラ部（図示せず）で生成された画像データを受け付ける。受付部１２は、画像データとして、動画を受け付けてもよく、時間的に連続する又は所定時間毎の複数の静止画を受け付けてもよい。

取得部１３は、事象の正常な状態を学習した第１学習モデルと、受付部１２によって受け付けた画像データとに基づいて、画像データに記録される事象と第１学習モデルに基づく正常な状態との乖離度を取得する。事象の一例は、後述する実施例で記載するように、燃焼状態（炎の状態）、河川の状態、複数の物質の混合状態、食品の発酵状態、又は、人の流れの状態（通行状態）であってもよく、これら以外の他の事象であってもよい。事象が燃焼状態（炎の状態）の場合には、情報処理装置１は、例えば、異常燃焼等が発生する可能性を検出することとしてもよい。事象が河川の状態の場合には、情報処理装置１は、例えば、河川の氾濫及び堤防が決壊する可能性を検出することとしてもよい。事象が複数の物質の混合状態の場合には、情報処理装置１は、例えば、物質が適切に混合されない可能性を検出することとしてもよい。事象が食品の発酵状態の場合には、情報処理装置１は、例えば、食品が適切に発酵しない可能性を検出することとしてもよい。事象が人の流れの状態（通行状態）の場合には、情報処理装置１は、例えば、人が滞留したり人が転倒したりする可能性を出力することとしてもよい。

取得部１３は、事象の正常な状態を記録した動画を学習することにより得られた第１学習モデルを利用して、乖離度を取得することとしてもよい。また、取得部１３は、例えば、事象が正常である可能性を算出して、その算出の結果（例えば、数値）が低い場合に異常と判定することとしてもよい。ここで、学習される動画は、動画そのものの他に、時間的に連続して取得される複数の静止画、又は、所定時間毎に取得される複数の静止画であってもよい。

図２は、第１学習モデルを生成する際のステップについて説明するための図である。
例えば、制御部１１は、事象の正常な状態を学習して第１学習モデルを生成する。制御部１１は、事象の正常な状態が記録された動画（画像データ）１０１を取得し（図２（Ａ））、その動画（画像データ）１０１を学習し（図２（Ｂ））、第１学習モデルを生成する（図２（Ｃ））。制御部１１は、異なる複数の時間帯毎の正常な状態を学習し、時間帯毎の第１学習モデルを生成してもよい。また、制御部１１は、その事象について、複数パターンの正常な状態を学習して第１学習モデルを生成することとしてもよい。制御部１１によって生成された第１学習モデルは、例えば、記憶部１７に記憶されてもよい。この場合、取得部１３は、乖離度を取得する際に、記憶部１７から第１学習モデルを取得することとしてもよい。また、制御部１１によって生成された第１学習モデルは、例えば、取得部１３に記憶されてもよい。
なお、第１学習モデルは、上述したように制御部１１で生成される例に限定されず、外部サーバ（図示せず）等によって生成されてもよい。この場合、取得部１３は、制御部１１で生成された第１学習モデルを取得する。

取得部１３は、第１学習モデルと画像データとに基づいて、画像データに記録される事象の状態が正常な状態からどれだけ乖離しているかを示す乖離度を取得する。取得部１３は、例えば、乖離度を示す数値を取得することとしてもよい。

分類部１４は、少なくとも事象の複数の異常な状態を学習した第２学習モデルと、受付部１２によって受け付けた画像データとに基づいて、画像データに記録される事象を複数の状態に分類に分類する。この場合、分類部１４は、事象の正常な状態及び事象の異常な状態のうち、少なくとも事象の異常な状態を記録した動画を学習することにより得られた第２学習モデルを利用して、画像データに記録される事象が異常な状態か否かに分類することとしてもよい。

事象の一例は、上述した取得部１３の場合と同様に、後述する実施例で記載するような、燃焼状態（炎の状態）、河川の状態、複数の物質の混合状態、食品の発酵状態、又は、人の流れの状態（通行状態）であってもよく、これら以外の他の事象であってもよい。
学習される動画は、動画そのものの他に、時間的に連続して取得される複数の静止画、又は、所定時間毎に取得される複数の静止画であってもよい。

図３は、第２学習モデルを生成する際のステップについて説明するための図である。
制御部１１は、第１学習モデルを生成する際の事象と同一の事象に基づいて第２学習モデルを生成する。例えば、制御部１１は、上述した事象に関する正常な状態及び異常な状態のうち、少なくとも異常な状態を学習して第２学習モデルを生成する。この場合、制御部１１は、少なくとも複数パターンの異常な状態を学習して第２学習モデルを生成することが好ましい。すなわち、制御部１１は、少なくとも複数のパターンの事象の異常な状態が記録された動画（一例として図３（Ａ）に示す（１）～（３）の動画）（画像データ）１０２ａ～１０２ｃを取得し（図３（Ａ））、その動画（画像データ）１０２ａ～１０２ｃを学習し（図３（Ｂ））、第２学習モデルを生成する（図３（Ｃ））。制御部１１は、異常な状態として、異常な状態になる以前の状態（正常な状態ではないが、異常な状態になる以前の状態等）を学習することとしてもよい。例えば、制御部１１は、正常な状態から異常な状態に遷移する際の状態を学習することとしてもよい。具体的な一例として、制御部１１は、正常な状態から異常な状態に遷移する際の、異常な状態が起こった時を基準（基準時）として所定時間前（基準時よりも時間的に前の所定時間以内）の状態を学習することとしてもよい。所定時間には、事象に応じて種々の時間が設定される。

分類部１４は、例えば、正常な状態から異常な状態までを複数段階に分類しておき、画像データに記録される状態がどの段階かに分類することとしてもよい。
また、分類部１４は、例えば、分類した結果を数値で示すこととしてもよい。例えば、分類部１４は、正常な状態を「０」とし、異常な状態を「１００」としておき、異常か否かを示す分類として「０」から「１００」までのうちのいずれかの数値を出力することとしてもよい。
また、分類部１４は、例えば、正常な状態を「０」とし、異常な状態を「１」としておき、異常か否かを示す分類として「０」及び「１」のいずれかを出力することとしてもよい。

出力制御部１５は、取得部１３によって取得される乖離度と、分類部１４によって分類された結果とに基づいて、画像データに記録される事象の状態（事象の状態が異常か否か）を出力部から出力する。出力部から出力する内容は、例えば、数値であってもよい。一例として、出力制御部１５は、正常な状態を「０」とし、異常な状態を「１００」としておき、画像データに記録される事象な状態が「０」から「１００」までのうちのいずれかの数値を出力することとしてもよい。

ここで、出力制御部１５は、取得部１３によって取得される乖離度が第１所定値以上であり、且つ、分類部１４によって分類される異常な状態である可能性が第２所定値以上の場合、異常な状態を示す情報を出力するよう出力部を制御することとしてもよい。第１所定値及び第２所定値は、事象に応じて適宜値が設定される。
出力部は、上述したように、通信部１６、記憶部１７及び表示部１８であってもよい。すなわち、出力制御部１５は、画像データに記録される事象の状態（事象の状態が異常か否か）を示す情報、又は、事象が異常な状態であることを示す情報を、表示部１８に表示することとしてもよい。出力制御部１５は、画像データに記録される事象の状態（事象の状態が異常か否か）を示す情報、又は、事象が異常な状態であることを示す情報を、記憶部１７に記憶することとしてもよい。出力制御部１５は、画像データに記録される事象の状態（事象の状態が異常か否か）を示す情報、又は、事象が異常な状態であることを示す情報を、外部（例えば、外部サーバ及び携帯端末等（図示せず））に送信するよう通信部１６を制御することとしてもよい。
携帯端末は、企業、国の機関及び地方公共団体が所有する端末、並びに、市民が所有する端末であってもよい。出力制御部１５は、事象に応じて異常な状態を示す情報の送信先が設定されているため、その設定に応じて携帯端末に適宜情報を送信する。

次に、上述した情報処理装置１が利用される具体的な事例（事象）について説明する。

［実施例１］
受付部１２は、炎を記録した画像データを受け付ける。例えば、受付部１２は、物質が燃焼する際の炎を撮像することにより生成された画像データを受け付ける。一例として、受付部１２は、現在の炎の状態をカメラ部（図示せず）によって撮像することにより生成された画像データを受け付ける。

取得部１３は、事象として通常時の炎を正常な状態として学習した第１学習モデルを利用して、画像データに記録される炎が、通常時の炎から乖離しているかを取得する。取得部１３は、例えば、画像データが動画の場合には、画像データ（動画）を構成する複数のフレームを所定数のフレーム（フレーム群）毎に分割し、フレーム群と第１学習モデルとに基づいて、順次、フレーム群に記録される炎が通常時の炎から乖離しているかを取得する。

フレーム群を構成するフレームの数（所定数）は適宜設定されることができる。フレーム数が相対的に少ないとノイズの影響が大きくなる。フレーム数が相対的に多いと炎の本当の異常の影響が弱くなり、乖離度を識別できない恐れがある。具体的な一例の場面での物質が燃焼する際の炎の判定では、１秒間に１５フレームを有するフレーム群に分割することが、最適であることが実験で求められている。しかし、取得部１３には、例えば、物質が燃焼する際の具体的な事例ごと、及び、フレームレート等に基づいて、フレーム群を構成するフレーム数が適宜設定される。フレーム群を構成するフレーム数については、後述する実施例の事象それぞれの場合についても、適宜設定される。

なお、上述した場合では、画像データが動画の例について説明したが、画像データが複数の静止画であっても、取得部１３は、上記と同様に処理することが可能である。

通常時の炎（正常な状態）は、例えば、異常燃焼がない時の炎の状態等である。非通常時の炎（異常な状態）は、例えば、異常燃焼の時の炎の状態であり、炎が通常時よりも揺らいでいる、炎が通常時に対して暗い（又は、明るい）、及び、炎が通常時に対して色が異なる等の状態等である。

分類部１４は、事象として通常時とは異なる非通常時の炎を異常な状態として学習した第２学習モデルを利用して、画像データに記録される炎が非通常時の炎になる可能性があるかを分類する。分類部１４は、物質が燃焼する際の炎の正常な状態及び異常な状態のうち、少なくとも異常な状態を学習した第２学習モデルと、画像データとに基づいて、画像データに記録される炎が現在よりも先の時点で異常な状態になる可能性があるかを分類する。第２学習モデルを生成する際に学習される炎の「異常な状態」には、正常な状態から異常な状態に遷移する際の遷移状態、及び、異常な状態になる直前の遷移状態が含まれてもよい。
なお、分類部１４は、上述した取得部１３と同様に、例えば、画像データが動画の場合には、画像データ（動画）を構成する複数のフレームを所定数のフレーム（フレーム群）毎に分割し、フレーム群と第２学習モデルとに基づいて、順次、フレーム群に記録される炎が非通常時になる可能性があるか分類することとしてもよい。フレーム群を構成するフレーム数については、本実施例の事象及び後述する実施例の事象それぞれの場合についても、適宜設定される。なお、画像データが複数の静止画であっても、分類部１４は、上記と同様に処理することが可能である。

出力制御部１５は、取得部１３による取得結果と、分類部１４による分類結果とに基づいて、炎の状態が異常か否か（炎の状態が時間的に先の時点で異常になる可能性があるか否か）を上述した出力部から出力するよう制御する。例えば、出力制御部１５は、物質が異常燃焼をする可能性があるか（炎の状態が異常になる可能性があるか）を出力部から出力するよう制御する。

［実施例２］
図４は、河川の流れが正常な状態の一例を説明するための図である。
図５は、河川の流れが異常な状態の例を説明するための図である。図５（Ａ）は河川が増水している例を示し、図５（Ｂ）は河川に物体（ここでは「木」）が流れている例を示し、図５（Ｃ）は堤防が決壊する直前の例を示す。

受付部１２は、河川の流れを記録した画像データを受け付ける。受付部１２は、例えば、河川を監視するカメラ部（図示せず）によって生成された画像データを受け付ける。一例として、受付部１２は、現在の河川の流れをカメラ部によって撮像することにより生成された画像データを受け付ける。

取得部１３は、事象として通常時の河川の流れを正常な状態として学習した第１学習モデルを利用して、画像データに記録される河川の流れが、通常時の河川の流れから乖離しているかを取得する。取得部１３は、河川の流れの正常な状態として、氾濫している、増水している、河川に物体が流れている及び堤防が決壊している等の異常な状態を除いた河川２０１の状態（図４参照）を学習した第１学習モデルと、画像データに記録される河川の流れとに基づいて、画像データに記録される河川の状態（例えば、現在の河川の状態）が正常な状態から乖離しているかを取得する。

分類部１４は、事象として通常時とは異なる非通常時の河川の流れになる以前の河川の流れを異常な状態として学習した第２学習モデルを利用して、画像データに記録される河川の流れが非通常時の流れになる可能性があるかを分類する。分類部１４は、河川の流れが正常な状態及び異常な状態のうち、少なくとも異常な状態を学習した第２学習モデルと、画像データとに基づいて、画像データに記録される河川の流れが現在よりも先の時点で異常な状態になる可能性があるかを分類する。第２学習モデルを生成する際に学習される河川の流れの「異常な状態」には、正常な状態から異常な状態に遷移する遷移状態、及び、異常な状態になる直前の遷移状態が含まれてもよい。河川の流れが異常な状態になる直前の遷移状態として、例えば、河川２０１が増水している（図５（Ａ）参照）、河川２０１に増水に伴った物体２０２が流れている（図５（Ｂ）参照）、堤防２０３が決壊する直前（図５（Ｃ）参照）の状態、及び、河川が氾濫する直前の状態等の遷移状態である。

出力制御部１５は、取得部１３による取得結果と、分類部１４による分類結果とに基づいて、河川の状態が異常か否か（河川の状態が時間的に先の時点で異常になる可能性があるか否か）を上述した出力部から出力するよう制御する。例えば、出力制御部１５は、河川が氾濫する可能性があるか、及び、堤防が決壊する可能性があるか（河川の状態が異常になる可能性があるか）を出力部から出力するよう制御する。

［実施例３］
受付部１２は、複数の材料を混合する状態を記録した画像データを受け付ける。一例として、受付部１２は、現在の混合している状態をカメラ部（図示せず）によって撮像することにより生成された画像データを受け付ける。

取得部１３は、事象として正常な材料の混合状態を学習した第１学習モデルを利用して、画像データに記録される材料の混合状態が正常な材料の混合状態から乖離しているかを取得する。取得部１３は、例えば、混合状態の正常な状態として、複数の材料が分離している、複数の材料に偏りが出ている及び材料の塊ができている等の異常な状態を除いた混合状態を学習した第１学習モデルと、画像データに記録される混合状態とに基づいて、画像データに記録される混合状態（例えば、現在の混合状態）が正常な状態から乖離しているかを取得する。

分類部１４は、事象として正常時とは異なる異常時の材料の混合状態を学習した第２学習モデルを利用して、画像データに記録される材料の混合状態が異常時の混合状態になる可能性があるかを分類する。分類部１４は、複数の材料の混合状態が正常な状態及び異常な状態のうち、少なくとも異常な状態を学習した第２学習モデルと、画像データとに基づいて、画像データに記録される混合状態が現在よりも先の時点で異常な状態になる可能性があるかを分類する。第２学習モデルを生成する際に学習される複数の材料の混合の「異常な状態」には、正常な状態から異常な状態に遷移する遷移状態、及び、異常な状態になる直前の遷移状態が含まれてもよい。

出力制御部１５は、取得部１３による取得結果と、分類部１４による分類結果とに基づいて、複数の材料の混合状態が異常か否か（混合状態が時間的に先の時点で異常になる可能性があるか否か）を上述した出力部から出力するよう制御する。例えば、出力制御部１５は、複数の材料が分離する可能性があるか、材料に偏りができてしまう可能性があるか、及び、材料の塊ができてしまう可能性があるか（混合状態が異常になる可能性があるか）を出力部から出力するよう制御する。

［実施例４］
受付部１２は、発酵途中の食品の状態を記録した画像データを受け付ける。一例として、受付部１２は、現在の発酵させている食品をカメラ部（図示せず）によって撮像することにより生成された画像データを受け付ける。

取得部１３は、事象として正常な食品の発酵状態を学習した第１学習モデルを利用して、画像データに記録される食品の発酵状態が正常な発酵状態から乖離しているかを取得する。取得部１３は、食品の正常な発酵状態として、例えば、食品が分離している、及び、食品から不純物が出ている等の異常な状態を除いた発酵状態を学習した第１学習モデルと、画像データに記録される食品とに基づいて、画像データに記録される食品の発酵状態（例えば、現在の食品の発酵状態）が正常な状態から乖離しているかを取得する。

分類部１４は、事象として正常時とは異なる非正常時の食品の発酵状態を学習した第２学習モデルを利用して、画像データに記録される食品の発酵状態が非正常時の発酵状態になる可能性があるかを分類する。分類部１４は、食品の正常な発酵状態及び異常な発酵状態のうち、少なくとも異常な発酵状態を学習した第２学習モデルと、画像データとに基づいて、画像データに記録される食品の発酵状態が現在よりも先の時点で異常な状態になる可能性があるかを分類する。第２学習モデルを生成する際に学習される食品の「異常な発酵状態」には、正常な発酵状態から異常な発酵状態に遷移する遷移状態、及び、異常な発酵状態になる直前の遷移状態が含まれてもよい。

出力制御部１５は、取得部１３による取得結果と、分類部１４による分類結果とに基づいて、食品の発酵状態が異常か否か（食品の発酵状態が時間的に先の時点で異常になる可能性があるか否か）を上述した出力部から出力するよう制御する。例えば、出力制御部１５は、食品が分離する可能性があるか、及び、食品から不純物が出る可能性があるか（食品の発酵状態が異常になる可能性があるか）を出力部から出力するよう制御する。

［実施例５］
受付部１２は、１又は複数の人物の通行を記録した画像データを受け付ける。一例として、受付部１２は、現在の人物の通行（人の流れ）をカメラ部（図示せず）によって撮像することにより生成された画像データを受け付ける。

取得部１３は、事象として正常時の人物の通行状態を学習した第１学習モデルを利用して、画像データに記録される人物の通行状態が正常時の通行状態から乖離しているかを取得する。取得部１３は、人物の通行状態として、複数の人物が滞留している（混雑していて人が前方に進めない）、及び、複数の人物が転倒している（将棋倒しになっている）等の異常な状態を除いた人物の通行状態を学習した第１学習モデルと、画像データに記録される人物の通行状態とに基づいて、画像データに記録される人物の通行状態（例えば、現在の人物の通行状態）が正常な状態から乖離しているかを取得する。

分類部１４は、事象として正常時とは異なる非通常時の通行状態を学習した第２学習モデルを利用して、画像データに記録される人物の通行状態が非通常時の通行状態になる可能性があるかを分類する。分類部１４は、人物の通行状態が正常な状態及び異常な状態のうち、少なくとも異常な状態を学習した第２学習モデルと、画像データとに基づいて、画像データに記録される人物の通行状態が現在よりも先の時点で異常な状態になる可能性があるかを分類する。第２学習モデルを生成する際に学習される人物の流れの「異常な状態」には、正常な状態から異常な状態に遷移する遷移状態、及び、異常な状態になる直前の遷移状態が含まれてもよい。

出力制御部１５は、取得部１３による取得結果と、分類部１４による分類結果とに基づいて、人物の通行状態が異常か否か（通行状態が時間的に先の時点で異常になる可能性があるか否か）を上述した出力部から出力するよう制御する。例えば、出力制御部１５は、複数の人物が滞留する可能性があるか、及び、複数の人物が転倒する可能性があるか（通行状態が異常になる可能性があるか）を出力部から出力するよう制御する。

［実施例６］
受付部１２は、水処理施設において処理される水の状態を記録した画像データを受け付ける。一例として、受付部１２は、現在の水の処理状態をカメラ部（図示せず）によって撮像することにより生成された画像データを受け付ける。施設は、種々の施設であってよく、一例として、工場、プラント、浄水場及び下水処理場等であってもよい。

取得部１３は、事象として正常に処理された水の状態を学習した第１学習モデルを利用して、画像データに記録される処理水の状態が正常な状態から乖離しているかを取得する。取得部１３は、水の処理状態として、通常時とは異なる処理水の色、及び、通常時には処理水に含まれることがない異物の存在、及び、通常時には処理水に含まれることがない気泡（又は、気泡の量）の存在等の異常な状態を除いた処理水の排出状態を学習した第１学習モデルと、画像データに記録される処理水の状態とに基づいて、画像データに記録される処理水の状態（例えば、現在の処理水の状態）が正常な状態から乖離しているかを取得する。

分類部１４は、事象として正常な状態とは異なる非正常時の状態の水の状態を学習した第２学習モデルを利用して、画像データに記録される処理水の状態が非正常時の状態になる可能性があるかを分類する。分類部１４は、処理水の状態が正常な状態及び非正常時の（異常な）状態のうち、少なくとも非正常時の状態を学習した第２学習モデルと、画像データとに基づいて、画像データに記録される処理水の状態が現在よりも先の時点で非正常時の（異常な）状態になる可能性があるかを分類する。第２学習モデルを生成する際に学習される処理水の「非正常時の（異常な）状態」には、正常な状態から非正常時の状態に遷移する遷移状態、及び、非正常時の状態になる直前の遷移状態が含まれてもよい。

出力制御部１５は、取得部１３による取得結果と、分類部１４による分類結果とに基づいて、処理水の状態が異常か否か（処理水の状態が時間的に先の時点で異常になる可能性があるか否か）を上述した出力部から出力するよう制御する。例えば、出力制御部１５は、処理水の色が変わる可能性があるか、処理水に異物が含まれる可能性があるか、及び、処理水に気泡が含まれる（処理水から出る気泡の量が増える）可能性があるか（処理水の状態が異常になる可能性があるか）を出力部から出力するよう制御する。

［実施例７］
受付部１２は、施設から排出される煙の状態を記録した画像データを受け付ける。一例として、受付部１２は、現在の煙の排出状態をカメラ部（図示せず）によって撮像することにより生成された画像データを受け付ける。施設は、種々の施設であってよく、一例として、清掃工場、工場及びプラント等であってもよい。

取得部１３は、事象として正常に排出される煙の状態を学習した第１学習モデルを利用して、画像データに記録される煙の状態が正常な状態から乖離しているかを取得する。取得部１３は、煙の状態として、例えば、通常時とは異なる煙の色、通常時には煙には含まれることがない異物の存在、及び、通常時には煙に含まれることがない炎（火の粉）の存在等の異常な状態を除いた煙の排出状態を学習した第１学習モデルと、画像データに記録される煙の状態とに基づいて、画像データに記録される煙の状態（例えば、現在の煙の状態）が正常な状態から乖離しているかを取得する。

分類部１４は、事象として正常な煙の状態とは異なる非正常時（異常時）の煙の状態を学習した第２学習モデルを利用して、画像データに記録される煙の状態が非正常時の煙の状態になる可能性があるかを分類する。分類部１４は、煙の状態が正常な状態及び非正常時の（異常な）状態のうち、少なくとも非正常時の状態を学習した第２学習モデルと、画像データとに基づいて、画像データに記録される煙の状態が現在よりも先の時点で非正常時の（異常な）状態になる可能性があるかを分類する。第２学習モデルを生成する際に学習される煙の「非正常時の（異常な）状態」には、正常な状態から非正常時の状態に遷移する遷移状態、及び、非正常時の状態になる直前の遷移状態が含まれてもよい。

出力制御部１５は、取得部１３による取得結果と、分類部１４による分類結果とに基づいて、煙の状態が異常か否か（煙の状態が時間的に先の時点で異常になる可能性があるか否か）を上述した出力部から出力するよう制御する。例えば、出力制御部１５は、煙の色が変わる可能性があるか、煙と共に異物が排出される可能性があるか、及び、煙と共に炎（火の粉）が排出される可能性があるか（煙の状態が異常になる可能性があるか）を出力部から出力するよう制御する。

［実施例８］
受付部１２は、道路を走行する車両を記録した画像データを受け付ける。一例として、受付部１２は、現在の道路を走行する車両の走行状態をカメラ部（図示せず）によって撮像することにより生成された画像データを受け付ける。上述したカメラ部は、例えば、道路の監視カメラ等であってもよい。

取得部１３は、事象として道路を正常に走行する車両の走行状態を第１状態として学習した学習モデルを利用して、画像データに記録される車両の走行状態が第１状態から乖離しているかを取得する。取得部１３は、車両の走行状態として、例えば、車両が逆走している、車両が渋滞している、緊急停止車両（ハザードランプを点灯させた車両）が停止している、車両による事故が発生している、車両が蛇行運転している等の異常（非正常時）な状態を除いた通常時の車両の走行状態を学習した第１学習モデルと、画像データに記録される車両の走行状態とに基づいて、画像データに記録される車両の走行状態が（例えば、現在の道路を走行する車両の走行状態）が通常（正常）な状態から乖離しているかを取得する。

分類部１４は、事象として正常な車両の走行状態とは異なる非正常時の車両の走行状態を学習した第２学習モデルを利用して、画像データに記録される車両の走行状態が非正常時の車両の走行状態になる可能性があるかを分類する。分類部１４は、車両の走行状態が正常な状態及び非正常時の（異常な）状態のうち、少なくとも非正常時の状態を学習した第２学習モデルと、画像データとに基づいて、画像データに記録される車両の走行状態が現在よりも先の時点で非正常時の（異常な）状態になる可能性があるかを分類する。第２学習モデルを生成する際に学習される車両の「非正常時の（異常な）走行状態」には、正常な状態から非正常時の状態に遷移する遷移状態、及び、非正常時の状態になる直前の遷移状態が含まれてもよい。

出力制御部１５は、取得部１３による取得結果と、分類部１４による分類結果とに基づいて、車両の走行状態が異常か否か（車両の走行状態が時間的に先の時点で異常になる可能性があるか否か）を上述した出力部から出力するよう制御する。例えば、出力制御部１５は、車両が逆走する可能性があるか、車両が渋滞する可能性があるか、及び、車両が事故を起こす可能性があるか（車両の走行状態が非正常（異常）になる可能性があるか）を出力部から出力するよう制御する。

［実施例９］
受付部１２は、人物又は動物の動きを記録した画像データを受け付ける。一例として、受付部１２は、室内、室外、公共施設及び公共交通機関等で人物又は動物をカメラ部（図示せず）によって撮像することにより生成された画像データを受け付ける。

取得部１３は、事象として人物又は動物の正常時の動作状態を第１状態として学習した学習モデルを利用して、画像データに記録される人物又は動物の動作状態が乖離しているかを取得する。取得部１３は、人物又は動物の動作状態として、例えば、病気の人物又は動物の動き、身体的な障害を持つ人物の動き、妊婦の動き、及び、酒に酔った人物の動き等の非正常の動作状態を除いた正常時の動作状態（一例として、健常者の動作状態）を学習した第１学習モデルと、画像データに記録される人物又は動物の動作状態とに基づいて、画像データに記録される人物又は動物の動作状態が正常（通常）の状態から乖離しているかを取得する。

分類部１４は、事象として人物又は動物の正常時の動きとは異なる非正常時の動作状態を第２状態として学習した学習モデルとして利用して、画像データに記録される人物又は動物の動作状態が非正常時の動作状態になるかを分類する。分類部１４は、人物又は動物の動作状態が正常な状態及び非正常時の（異常な）状態のうち、少なくとも非正常時の状態を学習した第２学習モデルと、画像データとに基づいて、画像データに記録される人物又は動物の動作状態が現在よりも先の時点で非正常時の（異常な）状態になる可能性があるかを分類する。第２学習モデルを生成する際に学習される人物又は動物の「非正常時の（異常な）状態」には、正常な状態から非正常時の状態に遷移する遷移状態、及び、非正常時の状態になる直前の遷移状態が含まれてもよい。

出力制御部１５は、取得部１３による取得結果と、分類部１４による分類結果とに基づいて、人物又は動物の動作状態が非正常（異常）か否か（人物又は動物の動作状態が時間的に先の時点で（非正常）異常になる可能性があるか否か）を上述した出力部から出力するよう制御する。例えば、出力制御部１５は、認知症の人物、妊婦、介助が必要な人物、酒に酔った人物、狂牛病にかかった動物等を特定して出力部から出力するよう制御する。また、出力制御部１５は、人物又は動物の状態が異常になる可能性があるか（例えば、酒に酔った人物がプラットホームから転落する可能性があるか等）を出力部から出力するよう制御する。

次に、一実施形態に係る情報処理方法について説明する。
まず、第１学習モデル及び第２学習モデルを生成する方法について説明する。
図６は、一実施形態に係る情報処理方法について説明するための第１のフローチャートである。

ステップＳＴ１０１において、制御部１１は、事象の正常な状態を学習して第１学習モデルを生成する。制御部１１は、事象の正常な状態が記録された画像データ（動画又は複数の静止画）を取得し、その画像データを学習することにより第１学習モデルを生成する。この場合、制御部１１は、その事象について、複数パターンの正常な状態を学習して第１学習モデルを生成することとしてもよい。

ステップＳＴ１０２において、制御部１１は、ステップＳＴ１０１と同じ事象に関する正常な状態及び異常な状態のうち、少なくとも異常な状態を学習して第２学習モデルを生成する。この場合、制御部１１は、少なくとも複数パターンの異常な状態を学習して第２学習モデルを生成することが好ましい。すなわち、制御部１１は、少なくとも複数のパターンの事象の異常な状態が記録された画像データ（動画又は複数の静止画）を取得し、その画像データを学習することにより第２学習モデルを生成する。制御部１１は、正常な状態から異常な状態に遷移する際の状態を学習することとしてもよい。具体的な一例として、制御部１１は、正常な状態から異常な状態に遷移する際の、異常な状態が起こった時を基準（基準時）として所定時間前（基準時よりも時間的に前の所定時間以内）の状態を学習することとしてもよい。所定時間には、事象に応じて種々の時間が設定される。

次に、事象が異常か否かを示す情報を出力する方法について説明する。
図７は、一実施形態に係る情報処理方法について説明するための第２のフローチャートである。

ステップＳＴ２０１において、受付部１２は、画像データを受け付ける。一例として、受付部１２は、情報処理装置１に配されるカメラ部（図示せず）又は情報処理装置１の外部に配される外部カメラ（図示せず）で撮像されることにより生成された画像データ（現在撮像されることにより生成された画像データ）を受け付けてもよい。又は、一例として、受付部１２は、外部サーバ（図示せず）に蓄積される画像データを、通信部１６を介して受け付けてもよい。

ステップＳＴ２０２において、取得部１３は、図６に示すステップＳＴ１０１で生成された第１学習モデルと、ステップＳＴ２０１で受け付けた画像データとに基づいて、画像データに記録される事象と第１学習モデルに基づく正常な状態との乖離度を取得する。すなわち、取得部１３は、第１学習モデルと画像データとに基づいて、画像データに記録される事象の状態が正常な状態からどれだけ乖離しているかを示す乖離度を取得する。取得部１３は、例えば、乖離度を示す数値を取得することとしてもよい。

ステップＳＴ２０３において、分類部１４は、図６のステップＳＴ１０２で生成された第２学習モデルと、ステップＳＴ２０１で受け付けた画像データとに基づいて、画像データに記録される事象を複数の状態に分類に分類する。この場合、分類部１４は、第２学習モデルを利用して、画像データに記録される事象が異常な状態か否かに分類することとしてもよい。例えば、分類部１４、正常な状態から異常な状態までを複数段階に分類しておき、画像データに記録される状態がどの段階かに分類することとしてもよい。

ステップＳＴ２０４において、出力制御部１５は、ステップＳＴ２０２で取得される乖離度と、ステップＳＴ２０３で分類された結果とに基づいて、ステップＳＴ２０１で受け付けた画像データに記録される事象の状態（事象の状態が異常か否か）を出力するよう出力部を制御する。
ここで、出力制御部１５は、乖離度が第１所定値以上であり、且つ、分類結果が異常な状態である可能性が第２所定値以上の場合、異常な状態を示す情報を出力するよう出力部を制御することとしてもよい。
また、出力制御部１５は、乖離度及び分類結果に基づいて、事象が異常か否か（事象の状態が時間的に先の時点で異常になる可能性があるか否か）を出力部から出力するよう制御することとしてもよい。
上述した「出力部」の一実施形態は、通信部１６、記憶部１７及び表示部１８等であってよい。

次に、本実施形態の効果について説明する。
情報処理装置１は、画像データを受け付ける受付部１２と、事象の正常な状態を学習した第１学習モデルと、受付部１２によって受け付けた画像データとに基づいて、画像データに記録される事象と第１学習モデルに基づく正常な状態との乖離度を取得する取得部１３と、少なくとも事象の複数の異常な状態を学習した第２学習モデルと、受付部１２によって受け付けた画像データとに基づいて、画像データに記録される事象を複数の状態に分類に分類する分類部１４と、取得部１３によって取得される乖離度と、分類部１４によって分類された結果とに基づいて、画像データに記録される事象の状態を出力部から出力する出力制御部１５と、を備える。
これにより、情報処理装置１は、事象が異常な状態か（又は、事象が正常な状態か）を判定することができる。
また、情報処理装置１は、取得部１３によって取得される乖離度と、分類部１４によって分類される結果との２つを利用するので、いずれか一方のみを利用する場合に比べて判定の精度を高くすることができる。さらに、情報処理装置１は、取得部１３及び分類部１４の２つを備えることにより、事象が正常な状態から異常な状態に遷移している際に、これよりも時間的に先の段階において事象が異常な状態になることを取得することができる。

情報処理装置１では、取得部１３は、事象の正常な状態を記録した動画を学習することにより得られた第１学習モデルを利用して、乖離度を取得する。この場合、分類部１４は、事象の正常な状態及び事象の異常な状態のうち、少なくとも事象の異常な状態を記録した動画を学習することにより得られた第２学習モデルを利用して、画像データに記録される事象が異常な状態か否かに分類することとしてもよい。
これにより、情報処理装置１は、特に、事象が正常な状態から異常な状態に遷移している際に、これよりも時間的に先の段階において事象が異常な状態になることを取得することができる。

情報処理装置１では、出力制御部１５は、取得部１３によって取得される乖離度が第１所定値以上であり、且つ、分類部１４によって分類される異常な状態である可能性が第２所定値以上の場合、異常な状態を示す情報を出力するよう出力部を制御することとしてもよい。
これにより、情報処理装置１は、異常な状態を示す情報（例えば、異常な状態の度合い又は異常な状態に遷移している度合い）を出力することができる。

情報処理装置１では、受付部１２は、炎を記録した画像データを受け付け、取得部１３は、事象として通常時の炎を正常な状態として学習した第１学習モデルを利用して、画像データに記録される炎が、通常時の炎から乖離しているかを取得し、分類部１４は、事象として通常時とは異なる非通常時の炎を異常な状態として学習した第２学習モデルを利用して、画像データに記録される炎が非通常時の炎になる可能性があるかを分類することとしてもよい。
これにより、情報処理装置１は、炎の異常な状態を出力することができる。すなわち、情報処理装置１は、物質の燃焼状態に異常が有るか否かを出力することができる。又は、情報処理装置１は、物質の燃焼状態に異常が発生する可能性を出力することができる。

情報処理装置１では、受付部１２は、河川の流れを記録した画像データを受け付けることとしてもよい。この場合、取得部１３は、事象として通常時の河川の流れを正常な状態として学習した第１学習モデルを利用して、画像データに記録される河川の流れが、通常時の河川の流れから乖離しているかを取得することとしてもよい。分類部１４は、事象として通常時とは異なる非通常時の河川の流れになる以前の河川の流れを異常な状態として学習した第２学習モデルを利用して、画像データに記録される河川の流れが非通常時の流れになる可能性があるかを分類することとしてもよい。
これにより、情報処理装置１は、河川の異常な状態、例えば、河川の氾濫又は堤防の決壊等が起こる可能性を出力することができる。

情報処理装置１では、受付部１２は、複数の材料を混合する状態を記録した画像データを受け付けることとしてもよい。この場合、取得部１３は、事象として正常な材料の混合状態を学習した第１学習モデルを利用して、画像データに記録される材料の混合状態が正常な材料の混合状態から乖離しているかを取得することとしてもよい。分類部１４は、事象として正常時とは異なる異常時の材料の混合状態を学習した第２学習モデルを利用して、画像データに記録される材料の混合状態が異常時の混合状態になる可能性があるかを分類することとしてもよい。
これにより、情報処理装置１は、物質の混合が異常な状態かを出力することができる。例えば、情報処理装置１は、物質が均等に混ざっていない状態、又は、物質が均等に混ざらない可能性を出力することができる。

情報処理装置１では、受付部１２は、発酵途中の食品の状態を記録した画像データを受け付けることとしてもよい。この場合、取得部１３は、事象として正常な食品の発酵状態を学習した第１学習モデルを利用して、画像データに記録される食品の発酵状態が正常な発酵状態から乖離しているかを取得することとしてもよい。分類部１４は、事象として正常時とは異なる非正常時の食品の発酵状態を学習した第２学習モデルを利用して、画像データに記録される食品の発酵状態が非正常時の発酵状態になる可能性があるかを分類することとしてもよい。
これにより、情報処理装置１は、食品の異常な発酵状態を出力することができる。例えば、情報処理装置１は、食品が正常に発酵していない、又は、食品が正常に発酵しない可能性を出力することができる。

情報処理装置１では、受付部１２は、１又は複数の人物の通行を記録した画像データを受け付けることとしてもよい。この場合、取得部１３は、事象として正常時の人物の通行状態を学習した第１学習モデルを利用して、画像データに記録される人物の通行状態が正常時の通行状態から乖離しているかを取得することとしてもよい。分類部１４は、事象として正常時とは異なる非通常時の通行状態を学習した第２学習モデルを利用して、画像データに記録される人物の通行状態が非通常時の通行状態になる可能性があるかを分類することとしてもよい。
これにより、情報処理装置１は、道路等における人物の通行が異常な状態かを出力することができる。例えば、情報処理装置１は、人物の異常な通行状態（具体的な一例として、混雑によって複数の人物が転倒している異常状態）、又は、人物の通行状態が異常になる可能性（一例として、混雑により複数の人物が転倒する可能性）を出力することができる。

情報処理装置１では、受付部１２は、水処理施設において処理される水の状態を記録した画像データを受け付けることとしてもよい。この場合、取得部１３は、事象として正常に処理された水の状態を学習した第１学習モデルを利用して、画像データに記録される処理水の状態が正常な状態から乖離しているかを取得することとしてもよい。分類部１４は、事象として正常な状態とは異なる非正常時の状態の水の状態を学習した第２学習モデルを利用して、画像データに記録される処理水の状態が非正常時の状態になる可能性があるかを分類することとしてもよい。
これにより、情報処理装置１は、水処理施設において処理される水の状態が異常な状態かを出力することができる。例えば、情報処理装置１は、水の異常な状態（具体的な一例として、処理水の色が変色した異常状態、処理水に異物が含まれる異常状態、及び、処理水に気泡が含まれる（処理水に含まれる気泡の量が通常時よりも多い）異常状態、又は、処理水の状態が異常になる可能性を出力することができる。

情報処理装置１では、受付部１２は、施設から排出される煙の状態を記録した画像データを受け付けることとしてもよい。この場合、取得部１３は、事象として正常に排出される煙の状態を学習した第１学習モデルを利用して、画像データに記録される煙の状態が正常な状態から乖離しているかを取得することとしてもよい。分類部１４は、事象として正常な煙の状態とは異なる非正常時の煙の状態を学習した第２学習モデルを利用して、画像データに記録される煙の状態が非正常時の煙の状態になる可能性があるかを分類することとしてもよい。
これにより、情報処理装置１は、施設から排出される煙の状態が異常な状態かを出力することができる。例えば、情報処理装置１は、排出される煙の異常な状態（具体的な一例として、通常時とは異なる煙の色、通常時には煙には含まれることがない異物の存在、及び、通常時には煙に含まれることがない炎（火の粉）の存在等の異常な状態）、又は、煙の状態が異常になる可能性を出力することができる。

情報処理装置１では、受付部１２は、道路を走行する車両を記録した画像データを受け付けることとしてもよい。この場合、取得部１３は、事象として道路を正常に走行する車両の走行状態を学習した第１学習モデルを利用して、画像データに記録される車両の走行状態が正常な走行状態から乖離しているかを取得することとしてもよい。分類部１４は、事象として正常な車両の走行状態とは異なる非正常時の車両の走行状態を学習した第２学習モデルを利用して、画像データに記録される車両の走行状態が非正常時の車両の走行状態になる可能性があるかを分類することとしてもよい。
これにより、情報処理装置１は、道路を走行する車両の走行状態が異常な状態かを出力することできる。例えば、情報処理装置１は、車両が逆走する可能性があるか、車両が渋滞する可能性があるか、及び、車両が事故を起こす可能性があるか等を出力することができる。

情報処理装置１では、受付部１２は、人物又は動物の動きを記録した画像データを受け付けることとしてもよい。この場合、取得部１３は、事象として人物又は動物の正常時の動作状態を学習した第１学習モデルを利用して、画像データに記録される人物又は動物の動作状態が正常時の動作状態から乖離しているかを取得することとしてもよい。分類部１４は、事象として人物又は動物の正常時の動きとは異なる非正常時の動作状態を学習した第２学習モデルとして利用して、画像データに記録される人物又は動物の動作状態が非正常時の動作状態になるかを分類することとしてもよい。
これにより、情報処理装置１は、人物又は動物の動作状態が非正常（異常）な状態か、又は、非通常（異常）の状態になる可能性があるかを出力することができる。

情報処理方法では、コンピュータが、画像データを受け付ける受付ステップと、事象の正常な状態を学習した第１学習モデルと、受付ステップによって受け付けた画像データとに基づいて、画像データに記録される事象と第１学習モデルに基づく正常な状態との乖離度を取得する取得ステップと、少なくとも事象の複数の異常な状態を学習した第２学習モデルと、受付ステップによって受け付けた画像データとに基づいて、画像データに記録される事象を複数の状態に分類に分類する分類ステップと、取得ステップによって取得される乖離度と、分類ステップによって分類された結果とに基づいて、画像データに記録される事象の状態を出力ステップから出力する出力制御ステップと、を実行する。
これにより、情報処理方法は、事象が異常な状態か（又は、事象が正常な状態か）を判定することができる。
また、情報処理方法は、取得ステップによって取得される乖離度と、分類ステップによって分類される結果との２つを利用するので、いずれか一方のみを利用する場合に比べて判定の精度を高くすることができる。さらに、情報処理方法は、取得ステップ及び分類ステップの２つを備えることにより、事象が正常な状態から異常な状態に遷移している際に、これよりも時間的に先の段階において事象が異常な状態になることを取得することができる。

情報処理プログラムは、コンピュータに、画像データを受け付ける受付機能と、事象の正常な状態を学習した第１学習モデルと、受付機能によって受け付けた画像データとに基づいて、画像データに記録される事象と第１学習モデルに基づく正常な状態との乖離度を取得する取得機能と、少なくとも事象の複数の異常な状態を学習した第２学習モデルと、受付機能によって受け付けた画像データとに基づいて、画像データに記録される事象を複数の状態に分類に分類する分類機能と、取得機能によって取得される乖離度と、分類機能によって分類された結果とに基づいて、画像データに記録される事象の状態を出力機能から出力する出力制御機能と、を実現させる。
これにより、情報処理プログラムは、事象が異常な状態か（又は、事象が正常な状態か）を判定することができる。
また、情報処理プログラムは、取得機能によって取得される乖離度と、分類機能によって分類される結果との２つを利用するので、いずれか一方のみを利用する場合に比べて判定の精度を高くすることができる。さらに、情報処理プログラムは、取得機能及び分類機能の２つを備えることにより、事象が正常な状態から異常な状態に遷移している際に、これよりも時間的に先の段階において事象が異常な状態になることを取得することができる。

上述した情報処理装置１の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置１の受付部１２、取得部１３、分類部１４及び出力制御部１５（制御部１１）は、コンピュータの演算処理装置等による受付機能、取得機能、分類機能及び出力制御機能（制御機能）としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、外部メモリ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理装置１の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置１の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置１の受付部１２、取得部１３、分類部１４及び出力制御部１５（制御部１１）は、コンピュータの演算処理装置等を構成する受付回路、取得回路、分類回路及び出力制御回路（制御回路）として実現されてもよい。
また、情報処理装置１の通信部１６、記憶部１７及び表示部１８（出力部）は、例えば、演算処理装置等の機能を含む通信機能、記憶機能及び表示機能（出力機能）として実現されもよい。また、情報処理装置１の通信部１６、記憶部１７及び表示部１８（出力部）は、例えば、集積回路等によって構成されることにより通信回路、記憶回路及び表示回路（出力回路）として実現されてもよい。また、情報処理装置１の通信部１６、記憶部１７及び表示部１８（出力部）は、例えば、複数のデバイスによって構成されることにより通信装置、記憶装置及び表示装置（出力装置）として構成されてもよい。

１ 情報処理装置
１１ 制御部
１２ 受付部
１３ 取得部
１４ 分類部
１５ 出力制御部
１６ 通信部
１７ 記憶部
１８ 表示部

Claims (14)

1. 画像データとして動画を受け付ける受付部と、
   事象の任意の第１状態を学習した第１学習モデルと、前記受付部によって受け付けた画像データとに基づいて、画像データに記録される事象と第１学習モデルに基づく第１状態との乖離度を取得する取得部と、
   前記第１状態とは異なる、少なくとも前記事象の複数の第２状態を学習した第２学習モデルと、前記受付部によって受け付けた画像データとに基づいて、画像データに記録される事象を複数の状態に分類に分類する分類部と、
   前記取得部によって取得される乖離度と、前記分類部によって分類された結果とに基づいて、画像データに記録される事象の状態を出力部から出力する出力制御部と、を備え、
   前記取得部は、前記事象の第１状態を記録した動画を学習することにより得られた第１学習モデルを利用して、乖離度を取得し、
   前記分類部は、前記事象の第１状態及び前記事象の第２状態のうち、少なくとも前記事象の第２状態であって、第１状態から第２状態に遷移する際の、第２状態が起こった時を基準にして所定時間前の遷移状態及び第２状態になる直前の遷移状態を記録した動画を学習することにより得られた第２学習モデルを利用して、画像データに記録される事象が第１状態から第２状態までのいずれの状態かに分類する
   情報処理装置。
2. 前記取得部は、第１学習モデルと、前記受付部によって受け付けた画像データとしての動画を構成する複数のフレームを所定数のフレーム群毎に分割したフレーム群とに基づいて、画像データに記録される事象と第１学習モデルに基づく第１状態との乖離度を取得し、
   前記分類部は、第２学習モデルと、前記受付部によって受け付けた画像データとしての動画を構成する複数のフレームを所定数のフレーム群毎に分割したフレーム群とに基づいて、画像データに記録される事象を複数の状態に分類に分類する
   請求項１に記載の情報処理装置。
3. 前記出力制御部は、前記取得部によって取得される乖離度が第１所定値以上であり、且つ、前記分類部によって分類される状態が第２所定値以上の場合、第２状態を示す情報を出力するよう前記出力部を制御する
   請求項１又は２に記載の情報処理装置。
4. 前記受付部は、炎を記録した画像データを受け付け、
   前記取得部は、前記事象として通常時の炎を第１状態として学習した第１学習モデルを利用して、画像データに記録される炎が、通常時の炎から乖離しているかを取得し、
   前記分類部は、前記事象として通常時とは異なる非通常時の炎を第２状態として学習した第２学習モデルを利用して、画像データに記録される炎が非通常時の炎になる可能性があるかを分類する
   請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記受付部は、河川の流れを記録した画像データを受け付け、
   前記取得部は、前記事象として通常時の河川の流れを第１状態として学習した第１学習モデルを利用して、画像データに記録される河川の流れが、通常時の河川の流れから乖離しているかを取得し、
   前記分類部は、前記事象として通常時とは異なる非通常時の河川の流れになる以前の河川の流れを第２状態として学習した第２学習モデルを利用して、画像データに記録される河川の流れが非通常時の流れになる可能性があるかを分類する
   請求項１～３のいずれか１項に記載の情報処理装置。
6. 前記受付部は、複数の材料を混合する状態を記録した画像データを受け付け、
   前記取得部は、前記事象として正常な材料の混合状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される材料の混合状態が正常な材料の混合状態から乖離しているかを取得し、
   前記分類部は、前記事象として正常時とは異なる異常時の材料の混合状態を第２状態として学習した第２学習モデルを利用して、画像データに記録される材料の混合状態が異常時の混合状態になる可能性があるかを分類する
   請求項１～３のいずれか１項に記載の情報処理装置。
7. 前記受付部は、発酵途中の食品の状態を記録した画像データを受け付け、
   前記取得部は、前記事象として正常な食品の発酵状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される食品の発酵状態が正常な発酵状態から乖離しているかを取得し、
   前記分類部は、前記事象として正常時とは異なる非正常時の食品の発酵状態を第２状態として学習した第２学習モデルを利用して、画像データに記録される食品の発酵状態が非正常時の発酵状態になる可能性があるかを分類する
   請求項１～３のいずれか１項に記載の情報処理装置。
8. 前記受付部は、１又は複数の人物の通行を記録した画像データを受け付け、
   前記取得部は、前記事象として正常時の人物の通行状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される人物の通行状態が正常時の通行状態から乖離しているかを取得し、
   前記分類部は、前記事象として正常時とは異なる非通常時の通行状態を第２状態として学習した第２学習モデルを利用して、画像データに記録される人物の通行状態が非通常時の通行状態になる可能性があるかを分類する
   請求項１～３のいずれか１項に記載の情報処理装置。
9. 前記受付部は、水処理施設において処理される水の状態を記録した画像データを受け付け、
   前記取得部は、前記事象として正常に処理された水の状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される処理水の状態が正常な状態から乖離しているかを取得し、
   前記分類部は、前記事象として正常な状態とは異なる非正常時の状態の水の状態を第２状態として学習した第２学習モデルを利用して、画像データに記録される処理水の状態が非正常時の状態になる可能性があるかを分類する
   請求項１～３のいずれか１項に記載の情報処理装置。
10. 前記受付部は、施設から排出される煙の状態を記録した画像データを受け付け、
    前記取得部は、前記事象として正常に排出される煙の状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される煙の状態が第１状態から乖離しているかを取得し、
    前記分類部は、前記事象として正常な煙の状態とは異なる非正常時の煙の状態を第２状態として学習した第２学習モデルを利用して、画像データに記録される煙の状態が非正常時の煙の状態になる可能性があるかを分類する
    請求項１～３のいずれか１項に記載の情報処理装置。
11. 前記受付部は、道路を走行する車両を記録した画像データを受け付け、
    前記取得部は、前記事象として道路を正常に走行する車両の走行状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される車両の走行状態が第１状態から乖離しているかを取得し、
    前記分類部は、前記事象として正常な車両の走行状態とは異なる非正常時の車両の走行状態を第２状態として学習した第２学習モデルを利用して、画像データに記録される車両の走行状態が非正常時の車両の走行状態になる可能性があるかを分類する
    請求項１～３のいずれか１項に記載の情報処理装置。
12. 前記受付部は、人物又は動物の動きを記録した画像データを受け付け、
    前記取得部は、前記事象として人物又は動物の正常時の動作状態を第１状態として学習した第１学習モデルを利用して、画像データに記録される人物又は動物の動作状態が第１状態から乖離しているかを取得し、
    前記分類部は、前記事象として人物又は動物の正常時の動きとは異なる非正常時の動作状態を第２状態として学習した第２学習モデルとして利用して、画像データに記録される人物又は動物の動作状態が非正常時の動作状態になるかを分類する
    請求項１～３のいずれか１項に記載の情報処理装置。
13. コンピュータが、
    画像データとして動画を受け付ける受付ステップと、
    事象の任意の第１状態を学習した第１学習モデルと、前記受付ステップによって受け付けた画像データとに基づいて、画像データに記録される事象と第１学習モデルに基づく第１状態との乖離度を取得する取得ステップと、
    前記第１状態とは異なる、少なくとも前記事象の複数の第２状態を学習した第２学習モデルと、前記受付ステップによって受け付けた画像データとに基づいて、画像データに記録される事象を複数の状態に分類に分類する分類ステップと、
    前記取得ステップによって取得される乖離度と、前記分類ステップによって分類された結果とに基づいて、画像データに記録される事象の状態を出力ステップから出力する出力制御ステップと、を実行し、
    前記取得ステップは、前記事象の第１状態を記録した動画を学習することにより得られた第１学習モデルを利用して、乖離度を取得し、
    前記分類ステップは、前記事象の第１状態及び前記事象の第２状態のうち、少なくとも前記事象の第２状態であって、第１状態から第２状態に遷移する際の、第２状態が起こった時を基準にして所定時間前の遷移状態及び第２状態になる直前の遷移状態を記録した動画を学習することにより得られた第２学習モデルを利用して、画像データに記録される事象が第１状態から第２状態までのいずれの状態に分類する
    情報処理方法。
14. コンピュータに、
    画像データとして動画を受け付ける受付機能と、
    事象の任意の第１状態を学習した第１学習モデルと、前記受付機能によって受け付けた画像データとに基づいて、画像データに記録される事象と第１学習モデルに基づく第１状態との乖離度を取得する取得機能と、
    前記第１状態とは異なる、少なくとも前記事象の複数の第２状態を学習した第２学習モデルと、前記受付機能によって受け付けた画像データとに基づいて、画像データに記録される事象を複数の状態に分類に分類する分類機能と、
    前記取得機能によって取得される乖離度と、前記分類機能によって分類された結果とに基づいて、画像データに記録される事象の状態を出力機能から出力する出力制御機能と、を実現させ、
    前記取得機能は、前記事象の第１状態を記録した動画を学習することにより得られた第１学習モデルを利用して、乖離度を取得し、
    前記分類機能は、前記事象の第１状態及び前記事象の第２状態のうち、少なくとも前記事象の第２状態であって、第１状態から第２状態に遷移する際の、第２状態が起こった時を基準にして所定時間前の遷移状態及び第２状態になる直前の遷移状態を記録した動画を学習することにより得られた第２学習モデルを利用して、画像データに記録される事象が第１状態から第２状態までのいずれの状態かに分類する
    情報処理プログラム。
    

Images