JP7219834B1 - 状態判定装置、状態判定方法及び状態判定プログラム - Google Patents

Abstract

【課題】処理を複雑化することなく、対象物の状態を適切に判定可能にする。【解決手段】モデル実行部２１３は、複数の状態それぞれを対象の状態として設けられた学習済モデルであって、対象の状態であるか、又は、対象の状態以外の状態であるかを判定する学習済モデルから、画像データから抽出された特徴量を入力とした場合の判定結果を取得する。組合判定部２１４は、複数の状態それぞれについての判定結果から、複数の状態と、複数の状態のいずれでもない不明状態とのうちのどの状態であるかを判定する。【選択図】図３

Description

本開示は、画像データから２つ以上の状態のいずれであるかを判定する技術に関する。

複数の状態が切り替わる対象物がどの状態であるかを、監視カメラ等で得られた画像データから判定することが行われている。対象物は、具体例としては、扉と照明と信号機とである。対象物が扉の場合には、扉が開いている状態と閉じている状態とが切り替わる。対象物が照明の場合には、点灯している状態と消灯している状態とが切り替わる。対象物が信号機である場合には、青が点灯している状態と黄が点灯している状態と赤が点灯している状態とが切り替わる。

特許文献１には、監視カメラで得られた画像データから、エレベータの扉の開閉状態を判定することが記載されている。特許文献１では、余計な物が何も映っていない、扉が閉じた状態の画像データが基準画像として予め取得される。そして、監視カメラで得られた画像データについて、基準画像と差分が規定値以上であるか否かにより、扉の開閉状態が判定される。

ディープラーニングを用いた学習済モデルにより、２つ以上の状態のどの状態であるかを判定することも考えられる。ディープラーニングを用いた学習済モデルでは、２つ以上の状態それぞれについて該当する確率が０～１００％で計算される。この際、全ての状態についての確率の和が１００％になるように計算される。例えば、扉の開閉状態を判定する場合には、開状態の確率と閉状態の確率との和が１００％になるように、開状態の確率と閉状態の確率とが計算される。つまり、開状態の確率が２０％、かつ、閉状態の確率が１０％というような、確率の和が１００％にならない計算がされることはない。

特開２０１１－１６２３１２号公報

特許文献１では、いわゆる背景差分を用いた判定が行われている。背景差分を用いた判定では、外光及び照明の影響を受けやすい。また、扉の前に異物が映っている場合には、別途処理を加えて対応しなければならず、処理が複雑化してしまう。

ディープラーニングを用いた学習済モデルを用いた判定は、背景差分を用いた判定よりも、外光及び照明の影響には強い傾向がある。しかし、ディープラーニングを用いた学習済モデルを用いた判定は、全ての状態についての確率の和が１００％になるように計算される。そのため、いずれの状態にも該当しないような状態であっても、いずれかの状態であると判定されてしまう。

本開示は、処理を複雑化することなく、対象物の状態を適切に判定可能にすることを目的とする。

本開示に係る状態判定装置は、
複数の状態それぞれを対象の状態として設けられた学習済モデルであって、前記対象の状態であるか、又は、前記対象の状態以外の状態であるかを判定する学習済モデルから、画像データから抽出された特徴量を入力とした場合の判定結果を取得するモデル実行部と、
前記モデル実行部によって取得された前記複数の状態それぞれについての前記判定結果から、前記複数の状態と、前記複数の状態のいずれでもない不明状態とのうちのどの状態であるかを判定する組合判定部と
を備える。

前記判定結果は、前記対象の状態である確率を示し、
前記組合判定部は、前記複数の状態それぞれについての前記判定結果が示す確率が閾値未満である場合には、前記不明状態であると判定する。

前記組合判定部は、
前記複数の状態のうちの１つの状態についての前記判定結果が示す確率だけが閾値以上である場合には、前記１つの状態であると判定し、
前記複数の状態のうちの２つ以上の状態についての前記判定結果が示す確率が前記閾値以上である場合には、前記２つ以上の状態についての前記判定結果が示す確率の比較により、前記２つ以上の状態のうちのどの状態であるかを判定する。

前記モデル実行部は、映像データを構成する複数のフレームの画像データについて順に、前記複数の状態それぞれを対象の状態として設けられた前記学習済モデルから前記判定結果を取得し、
前記状態判定装置は、さらに、
前記組合判定部によって判定された結果を通知する通知部であって、前記不明状態であると判定された場合には、前記組合判定部によって前に判定された結果を通知する通知部を備える。

前記モデル実行部は、映像データを構成する複数のフレームの画像データについて順に、前記複数の状態それぞれを対象の状態として設けられた前記学習済モデルから前記判定結果を取得し、
前記状態判定装置は、さらに、
直近基準回に前記組合判定部によって判定された結果を総合して、前記複数の状態と、前記不明状態とのうちのどの状態であるかを判定する総合判定部
を備える。

前記閾値は、前記複数の状態それぞれについて別々に定められた。

本開示に係る状態判定方法は、
コンピュータが、複数の状態それぞれを対象の状態として設けられた学習済モデルであって、前記対象の状態であるか、又は、前記対象の状態以外の状態であるかを判定する学習済モデルから、画像データから抽出された特徴量を入力とした場合の判定結果を取得し、
コンピュータが、前記複数の状態それぞれについての前記判定結果から、前記複数の状態と、前記複数の状態のいずれでもない不明状態とのうちのどの状態であるかを判定する。

本開示に係る状態判定プログラムは、
複数の状態それぞれを対象の状態として設けられた学習済モデルであって、前記対象の状態であるか、又は、前記対象の状態以外の状態であるかを判定する学習済モデルから、画像データから抽出された特徴量を入力とした場合の判定結果を取得するモデル実行処理と、
前記モデル実行処理によって取得された前記複数の状態それぞれについての前記判定結果から、前記複数の状態と、前記複数の状態のいずれでもない不明状態とのうちのどの状態であるかを判定する組合判定処理と
を行う状態判定装置としてコンピュータを機能させる。

本開示では、複数の状態それぞれを対象の状態として、対象の状態であるか、又は、対象の状態以外の状態であるかを判定する学習済モデルによる判定結果を組み合わせて、複数の状態と不明状態とのうちのどの状態であるかを判定する。これにより、処理を複雑化することなく、複数の状態ではないような状態も含めたどの状態であるかを適切に判定可能である。

実施の形態１に係る状態判定システム１００の構成図。 実施の形態１に係る学習装置１０の構成図。 実施の形態１に係る状態判定装置２０の構成図。 実施の形態１に係る学習装置１０による学習フェーズの処理を示すフローチャート。 実施の形態１に係る学習フェーズの説明図。 実施の形態１に係る状態判定装置２０による実行フェーズの処理を示すフローチャート。 実施の形態１に係るモデル実行処理の説明図。 実施の形態１に係る学習済モデルの説明図。 実施の形態１に係る学習済モデルの説明図。 実施の形態１に係る組合判定処理の説明図。 実施の形態１に係る切り替わる状態が３つ以上の場合の説明図。 変形例２に係る通知処理の説明図。 変形例３に係る状態判定装置２０の構成図。 変形例３に係る組合判定処理の説明図。 変形例３に係る組合判定処理の説明図。 変形例６に係る学習装置１０の構成図。 変形例６に係る状態判定装置２０の構成図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る状態判定システム１００の構成を説明する。
状態判定システム１００は、学習装置１０と、状態判定装置２０と、モデル記憶装置３０とを備える。学習装置１０及び状態判定装置２０は、モデル記憶装置３０と伝送路９０を介して接続されている。伝送路９０は、具体例としては、ＬＡＮである。ＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。
学習装置１０は、ディープラーニングにより学習済モデルを生成するコンピュータである。状態判定装置２０は、学習装置１０によって生成された学習済モデルを用いて、対象物の状態を判定するコンピュータである。モデル記憶装置３０は、学習装置１０によって生成された学習済モデルを記憶する装置である。

図２を参照して、実施の形態１に係る学習装置１０の構成を説明する。
学習装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

学習装置１０は、機能構成要素として、画像登録部１１１と、モデル学習部１１２と、モデル出力部１１３とを備える。学習装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、学習装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、学習装置１０の各機能構成要素の機能が実現される。

図３を参照して、実施の形態１に係る状態判定装置２０の構成を説明する。
状態判定装置２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信インタフェース２４とのハードウェアを備える。プロセッサ２１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
状態判定装置２０は、通信インタフェース２４を介して、カメラ２４１と、表示装置２４２と接続されている。

状態判定装置２０は、機能構成要素として、映像受信部２１１と、領域切出部２１２と、モデル実行部２１３と、組合判定部２１４と、通知部２１５とを備える。状態判定装置２０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ２３には、状態判定装置２０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ２１によりメモリ２２に読み込まれ、プロセッサ２１によって実行される。これにより、状態判定装置２０の各機能構成要素の機能が実現される。

プロセッサ１１，２１は、プロセッシングを行うＩＣである。ＩＣはＩｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。プロセッサ１１，２１は、具体例としては、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。

メモリ１２，２２は、データを一時的に記憶する記憶装置である。メモリ１２，２２は、具体例としては、ＳＲＡＭ、ＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＤＲＡＭは、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ストレージ１３，２３は、データを保管する記憶装置である。ストレージ１３，２３は、具体例としては、ＨＤＤである。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。また、ストレージ１３，２３は、ＳＤ（登録商標）メモリカード、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤといった可搬記録媒体であってもよい。ＳＤは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略である。

通信インタフェース１４，２４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４，２４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）のポートである。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。ＨＤＭＩは、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅの略である。

図２では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。同様に、図３では、プロセッサ２１は、１つだけ示されていた。しかし、プロセッサ２１は、複数であってもよく、複数のプロセッサ２１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図４から図９を参照して、実施の形態１に係る状態判定システム１００の動作を説明する。
状態判定システム１００は、複数の状態が切り替わる対象物がどの状態であるかを、カメラ２４１等で得られた画像データから判定する。状態判定システム１００の動作は、学習装置１０による学習フェーズと、状態判定装置２０による実行フェーズとに分けられる。

図４を参照して、実施の形態１に係る学習装置１０による学習フェーズを説明する。
実施の形態１に係る学習装置１０の動作手順は、実施の形態１に係る学習方法に相当する。また、実施の形態１に係る学習装置１０の動作を実現するプログラムは、実施の形態１に係る学習プログラムに相当する。

（ステップＳ１１：画像登録処理）
画像登録部１１１は、複数の画像データそれぞれを学習用データとしてストレージ１３に登録する。学習用データには、対象物の状態を示す属性が設定される。属性は、ユーザ等により対象物の状態が判断され、設定される。複数の状態それぞれと、複数の状態のいずれでもない状態との属性が設定された学習用データが登録される。
図５に示すように、対象物が扉であるとする。この場合には、扉を撮影した画像データが学習用データになる。扉の状態としては、扉が開いた開状態と、扉が閉じた閉状態とがある。画像登録部１１１は、開状態と、閉状態と、開状態及び閉状態以外の状態との属性が設定された学習用データを登録する。開状態及び閉状態以外の状態としては、扉の前に遮蔽物があり、扉の大部分が隠れてしまっている遮蔽状態等がある。

（ステップＳ１２：モデル学習処理）
モデル学習部１１２は、ステップＳ１１で登録された複数の学習用データを用いて、学習済モデルを生成する。この際、モデル学習部１１２は、対象物の各状態を対象の状態として、対象の状態であるか、対象の状態以外の状態であるかを判定する学習済モデルを生成する。
具体的には、モデル学習部１１２は、対象物の各状態を対象の状態に設定する。モデル学習部１１２は、対象の状態を示す属性が設定された学習用データを対象の状態の学習用データとする。モデル学習部１１２は、対象の状態以外を示す属性が設定された学習用データを他の状態の学習用データとする。そして、モデル学習部１１２は、対象の状態の学習用データと、他の状態の学習用データとを入力として、ディープラーニングにより、対象の状態についての学習済モデルを生成する。つまり、モデル学習部１１２は、対象の状態についての２属性モデルを学習済モデルとして生成する。

図５に示すように、対象物が扉であるとする。この場合には、モデル学習部１１２は、開状態と閉状態とをそれぞれ対象の状態に設定する。
開状態を対象の状態とする場合には、モデル学習部１１２は、開状態の属性が設定された学習用データを開状態の学習用データに設定する。モデル学習部１１２は、閉状態の属性が設定された学習用データと、開状態及び閉状態以外の状態の属性が設定された学習用データとを他の状態の学習用データに設定する。そして、モデル学習部１１２は、ディープラーニングにより、開状態であるか、開状態以外の状態であるかを判定する学習済モデルである開判定モデルを生成する。
閉状態を対象の状態とする場合には、モデル学習部１１２は、閉状態の属性が設定された学習用データを閉状態の学習用データに設定する。モデル学習部１１２は、開状態の属性が設定された学習用データと、開状態及び閉状態以外の状態の属性が設定された学習用データとを他の状態の学習用データに設定する。そして、モデル学習部１１２は、ディープラーニングにより、閉状態であるか、閉状態以外の状態であるかを判定する学習済モデルである閉判定モデルを生成する。

（ステップＳ１３：モデル出力処理）
モデル出力部１１３は、ステップＳ１２で生成された各状態についての学習済モデルをモデル記憶装置３０に出力する。

図６を参照して、実施の形態１に係る状態判定装置２０による実行フェーズを説明する。
実施の形態１に係る状態判定装置２０の動作手順は、実施の形態１に係る状態判定方法に相当する。また、実施の形態１に係る状態判定装置２０の動作を実現するプログラムは、実施の形態１に係る状態判定プログラムに相当する。

（ステップＳ２１：映像受信処理）
映像受信部２１１は、カメラ２４１によって取得された映像データを構成する最新フレームの画像データを受信する。ここでは、カメラ２４１は、固定されており、同じ領域を撮影領域として、撮影領域の映像データを取得するものとする。

（ステップＳ２２：領域切出処理）
領域切出部２１２は、ステップＳ２１で受信された画像データから、対象物がある領域の部分画像を切り出す。対象物がある領域は、ユーザ等によって事前に設定される。対象物がある領域は、画像データにおける対象物を包含する矩形領域である。対象物が扉である場合には、対象物がある領域は、画像データにおける扉が映る部分を包含する矩形領域である。

（ステップＳ２３：モデル実行処理）
モデル実行部２１３は、複数の状態それぞれを対象の状態として設けられた学習済モデルから、画像データから抽出された特徴量を入力とした場合の判定結果を取得する。
具体的には、モデル実行部２１３は、学習フェーズで生成された各状態についての学習済モデルをモデル記憶装置３０から取得する。モデル実行部２１３は、ステップＳ２２で切り出された部分画像から特徴量を抽出する。モデル実行部２１３は、各状態についての学習済モデルを対象の学習済モデルとして、特徴量を対象の学習済モデルに入力して、判定結果を取得する。学習済モデルは、対象の状態であるか、又は、対象の状態以外の状態であるかを判定する。そのため、判定結果は、対象の状態である確率と、対象の状態以外の状態である確率とを示す。対象の状態である確率と、対象の状態以外の状態である確率との和は１００％になる。

図５に示すように、対象物が扉であるとする。この場合には、図７に示すように、モデル実行部２１３は、開判定モデルと、閉判定モデルとのそれぞれに特徴量を入力して判定結果を取得する。
開判定モデルは、開状態である確率と、開状態以外の状態である確率とを示す判定結果を出力する。開状態である確率と、開状態以外の状態である確率との和は１００％である。開状態以外の状態には、閉状態だけでなく、遮蔽状態等も含まれる。
閉判定モデルは、閉状態である確率と、閉状態以外の状態である確率とを示す判定結果を出力する。閉状態である確率と、閉状態以外の状態である確率との和は１００％である。閉状態以外の状態には、開状態だけでなく、遮蔽状態等も含まれる。

ここでは、学習済モデルは、特徴量を入力とした。しかし、学習済モデルの作りによっては、部分画像から特徴量を抽出する処理を含んだ構成とすることも考えられる。つまり、ここでは、図８の（Ａ）に示すように、モデル実行部２１３が部分画像から特徴量を抽出し、学習済モデルは特徴量を入力として判定結果を出力した。しかし、図８の（Ｂ）に示すように、学習済モデルが、部分画像から特徴量を抽出する処理を含んでいる場合もある。しかし、いずれの場合であっても、モデル実行部２１３は、学習済モデルから、画像データから抽出された特徴量を入力とした場合の判定結果を取得する点には変わりはない。

学習済モデルが、部分画像から特徴量を抽出する処理を含んでいる場合には、図９の（Ａ）及び（Ｂ）に示すように２つの構成が考えられる。図９の（Ａ）では、状態毎の学習済モデルにそれぞれ特徴量を抽出する処理を含む。図９の（Ｂ）では、特徴量を抽出する処理は共通化され、状態の判定処理だけが分かれている。

（ステップＳ２４：組合判定処理）
組合判定部２１４は、ステップＳ２３で取得された複数の状態それぞれについての判定結果から、複数の状態と、複数の状態のいずれでもない不明状態とのうちのどの状態であるかを判定する。
具体的には、組合判定部２１４は、複数の状態のうちの１つの状態についての判定結果が示す確率だけが閾値以上である場合には、その１つの状態であると判定する。組合判定部２１４は、複数の状態のうちの２つ以上の状態についての判定結果が示す確率が閾値以上である場合には、２つ以上の状態についての判定結果が示す確率の比較により、２つ以上の状態のうちのどの状態であるかを判定する。ここでは、組合判定部２１４は、２つ以上の状態についての判定結果が示す確率のうち最も高い確率の状態であると判定する。組合判定部２１４は、複数の状態それぞれについての判定結果が示す確率が閾値未満である場合には、不明状態であると判定する。

図１０に示すように、対象物が扉であるとする。ここでは、閾値を５０％としている。
（Ａ）では、開判定モデルの判定結果は、開状態である確率が８０％であり、開状態以外の状態である確率が２０％である。閉判定モデルの判定結果は、閉状態である確率が３０％であり、閉状態以外の状態である確率が７０％である。したがって、組合判定部２１４は、開状態であると判定する。
（Ｂ）では、開判定モデルの判定結果は、開状態である確率が６５％であり、開状態以外の状態である確率が３５％である。閉判定モデルの判定結果は、閉状態である確率が５５％であり、閉状態以外の状態である確率が４５％である。したがって、組合判定部２１４は、開状態である確率と、閉状態である確率とを比較して、開状態であると判定する。
（Ｃ）では、開判定モデルの判定結果は、開状態である確率が３０％であり、開状態以外の状態である確率が７０％である。閉判定モデルの判定結果は、閉状態である確率が２５％であり、閉状態以外の状態である確率が７５％である。したがって、組合判定部２１４は、不明状態であると判定する。

（ステップＳ２５：通知処理）
通知部２１５は、ステップＳ２４で判定された結果を通知する。
具体例としては、通知部２１５は、ステップＳ２１で取得された画像データに、判定された状態を示す情報を示して、表示装置２４２に表示する。例えば、通知部２１５は、画像データの隅に状態を示す印を表示する。通知部２１５は、対象物が信号機である場合には、画像データに映った信号機における点灯していると判定された色の発光部を枠で囲ってもよい。

その後、処理がステップＳ２１に戻される。そして、ステップＳ２１で、一定時間経過後に、次のフレームの画像データが取得される。

上記説明では、対象物が扉である場合を主な具体例として説明した。扉は２つの状態が切り替わった。しかし、切り替わる状態は３つ以上であってもよい。
例えば、図１１に示すように、対象物は信号機であってもよい。図１１に示す信号機では、青が点灯している状態と黄が点灯している状態と赤が点灯している状態とが切り替わる。

この場合には、図４のステップＳ１１では、青状態と黄状態と赤状態とそれ以外の状態との属性が設定された学習用データが登録される。ステップＳ１２では、青状態と黄状態と赤状態とのそれぞれについて、その状態であるか、その状態以外の状態であるかを判定する学習済モデルが生成される。
図６のステップＳ２３では、青状態と黄状態と赤状態とのそれぞれについて、その状態である確率と、その状態以外の状態である確率とを示す判定結果が取得される。ステップＳ２４では、青状態と黄状態と赤状態とのうちいずれか１つの状態についての判定結果が示す確率だけが閾値以上である場合には、その１つの状態であると判定される。青状態と黄状態と赤状態とのうちの２つ以上の状態についての判定結果が示す確率が閾値以上である場合には、最も高い確率の状態であると判定される。青状態と黄状態と赤状態との判定結果が示す確率がいずれも閾値未満である場合には、不明状態であると判定される。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る状態判定システム１００は、複数の状態それぞれを対象の状態として、対象の状態であるか、又は、対象の状態以外の状態であるかを判定する学習済モデルによる判定結果を組み合わせて、複数の状態と不明状態とのうちのどの状態であるかを判定する。これにより、処理を複雑化することなく、複数の状態ではないような状態も含めたどの状態であるかを適切に判定可能である。

実施の形態１に係る状態判定システム１００は、学習済モデルを用いた判定を行う。そのため、背景差分を用いた判定に比べて、外光及び照明の影響に強い。また、背景差分を用いた判定では、差分の有無による２状態の判定だけしかできない。つまり、３状態以上の判定はできない。しかし、実施の形態１に係る状態判定システム１００は、３状態以上の判定も可能である。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、対象物は扉や信号機のように固定されたものであるとした。しかし対象物は動体でもよい。例えば対象物が人の場合、対象の状態として人が手を挙げている、手を挙げていないという２つの状態が考えられる。このとき、図４のステップＳ１２で手を挙げている状態、手を挙げていない状態の２属性モデルを学習済みモデルとして生成する。
また図６のステップＳ２２では領域切出部２１２は、対象物が含まれるように事前に設定された領域の部分画像を切り出すように動作した。対象物が動体のとき、領域切出部２１２は、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｓｔｅｃｔｏｒ）を用いて、画像データから対象物が含まれる領域を検知しその領域を部分画像として切り出すように動作する。
また危険予知の判定等をするために、対象物が人、対象の状態として車椅子に座っている、車椅子に座っていないの２つの状態が考えられる。また対象物が人、対象の状態としてベビーカに座っている、ベビーカに座っていないの２つの状態が考えられる。また対象物が人、対象の状態として白杖を持っている、白杖を持っていないの２つの状態が考えられる。またこれらの状態を組み合わせて、対象の状態として車椅子に座っているか、ベビーカに座っているかのいずれかの状態と、車椅子に座っていないし、ベビーカにも座っていない状態の２つの状態が考えられる。対象の状態として車椅子に座っているか、ベビーカに座っているか、白杖を持っているかのいずれかの状態と、車椅子に座っていないし、ベビーカにも座っていないし、白杖も持っていない状態の２つの状態も考えられる。
このように判定したい状態に合わせて学習済みモデルを生成することにより、対象物が動体であり、対象の状態が２つ以上の状態のいずれかと、２つ以上の状態のいずれかでもないとする場合であっても状態を判定することができる。
また対象物が人で、対象の状態を性別や、大人か子供とすることも可能である。

＜変形例２＞
図６のステップＳ２５で通知部２１５は、ステップＳ２４で判定された結果が不明状態である場合には、前の状態を通知してもよい。言い換えると、結果が不明状態である場合には、通知を保留してもよい。
図１２に示すように、対象物の前を何らかの物体が通る場合がある。この場合には、対象物が一時的に遮蔽されてしまい、不明状態と判定される可能性がある。そこで、不明状態と判定された場合には、通知部２１５は、直前で判定された不明状態以外の結果を通知する。

＜変形例３＞
直近基準回に実行された図６のステップＳ２４の処理で判定された結果を総合して、複数の状態と、不明状態とのうちのどの状態であるかが判定されてもよい。
この場合には、図１３に示すように、状態判定装置２０は、機能構成要素として、総合判定部２１６を備える。総合判定部２１６は、直近基準回おける組合判定部２１４に判定された結果を総合して、状態を判定する。通知部２１５は、総合判定部２１６によって判定された結果を通知する。

具体的には、総合判定部２１６は、図１４に示すように、多数決により判定を行う。つまり、総合判定部２１６は、直近基準回の結果のうち、最も多い結果が示す状態と判定する。図１４の例では、基準回を５回とし、時刻ｔ０からｔ５のタイミングでステップＳ２４の判定がされるものとする。時刻ｔ４では、時刻ｔ０から時刻ｔ４の結果のうち最も多い開状態であると判定される。時刻ｔ５では、時刻ｔ１から時刻ｔ５の結果のうち最も多い開状態であると判定される。

また、総合判定部２１６は、結果の連続性を考慮してもよい。総合判定部２１６は、図１５に示すように、基準回連続して同じ状態を示す結果であった場合に、その状態であると判定する。図１５では、基準回を３回としている。つまり、時刻ｔ４では、時刻ｔ２から時刻ｔ４のうち、時刻ｔ２が不明状態を示すため、開状態と判定されない。この場合には、判定が保留される。その結果、通知部２１５は、前に判定された結果を通知する。これに対して、時刻ｔ５では、時刻ｔ３から時刻ｔ５の結果がいずれも開状態を示すため、開状態であるとは判定される。

総合判定部２１６は、多数決による判定と、結果の連続性を考慮した判定とを組み合わせて用いてもよい。例えば、総合判定部２１６は、多数決による判定と結果の連続性を考慮した判定との結果が同一でない場合には判定を保留してもよい。

＜変形例４＞
図６のステップＳ２４では、閾値が用いられた。閾値は、複数の状態それぞれについて別々に定められてもよい。
具体例としては、複数の状態のうち優先的に判定される状態がある場合には、その状態の閾値だけを低くすることが考えられる。例えば、対象物が信号機であるとする。そして判定結果に従い移動体が制御されているとする。赤状態であるにも関わらず、誤って青状態であると判定されると事故が発生する可能性が高くなる。そこで、赤状態と判定され易くなるように、青状態及び黄状態よりも赤状態の閾値を低く設定することが考えられる。
また、複数の状態それぞれについての学習済モデルの判定精度に応じて閾値を設定することが考えられる。判定精度が低く、確率が低く出てしまう状態については閾値を低くする。これにより、その状態と判定されづらくなることを防止できる。

＜変形例５＞
図１を用いて説明した状態判定システム１００は、学習装置１０と、状態判定装置２０と、モデル記憶装置３０とが別の装置として構成していた。しかし、学習装置１０と、状態判定装置２０と、モデル記憶装置３０とは同一装置でもよい。また学習装置１０とモデル記憶装置３０とが同一装置でもよいし、状態判定装置２０とモデル記憶装置３０とが同一装置でもよい。

＜変形例６＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例６として、各機能構成要素はハードウェアで実現されてもよい。この変形例６について、実施の形態１と異なる点を説明する。

図１６を参照して、変形例６に係る学習装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、学習装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

図１７を参照して、変形例６に係る状態判定装置２０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、状態判定装置２０は、プロセッサ２１とメモリ２２とストレージ２３とに代えて、電子回路２５を備える。電子回路２５は、各機能構成要素と、メモリ２２と、ストレージ２３との機能とを実現する専用の回路である。

電子回路１５，２５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各機能構成要素を１つの電子回路１５，２５で実現してもよいし、各機能構成要素を複数の電子回路１５，２５に分散させて実現してもよい。

＜変形例７＞
変形例７として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１，２１とメモリ１２，２２とストレージ１３，２３と電子回路１５，２５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

また、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

１００ 状態判定システム、１０ 学習装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、１１１ 画像登録部、１１２ モデル学習部、１１３ モデル出力部、２０ 状態判定装置、２１ プロセッサ、２２ メモリ、２３ ストレージ、２４ 通信インタフェース、２５ 電子回路、２１１ 映像受信部、２１２ 領域切出部、２１３ モデル実行部、２１４ 組合判定部、２１５ 通知部、２１６ 総合判定部、２４１ カメラ、２４２ 表示装置、３０ モデル記憶装置、９０ 伝送路。

Claims (8)

1. 複数の状態それぞれを対象の状態として設けられた学習済モデルであって、前記対象の状態であるか、又は、前記対象の状態以外の状態であるかを判定する学習済モデルから、画像データから抽出された特徴量を入力とした場合の判定結果を取得するモデル実行部と、
   前記モデル実行部によって取得された前記複数の状態それぞれについての前記判定結果から、前記複数の状態と、前記複数の状態のいずれでもない不明状態とのうちのどの状態であるかを判定する組合判定部と
   を備える状態判定装置。
2. 前記判定結果は、前記対象の状態である確率を示し、
   前記組合判定部は、前記複数の状態それぞれについての前記判定結果が示す確率が閾値未満である場合には、前記不明状態であると判定する
   請求項１に記載の状態判定装置。
3. 前記組合判定部は、
   前記複数の状態のうちの１つの状態についての前記判定結果が示す確率だけが閾値以上である場合には、前記１つの状態であると判定し、
   前記複数の状態のうちの２つ以上の状態についての前記判定結果が示す確率が前記閾値以上である場合には、前記２つ以上の状態についての前記判定結果が示す確率の比較により、前記２つ以上の状態のうちのどの状態であるかを判定する
   請求項１又は２に記載の状態判定装置。
4. 前記モデル実行部は、映像データを構成する複数のフレームの画像データについて順に、前記複数の状態それぞれを対象の状態として設けられた前記学習済モデルから前記判定結果を取得し、
   前記状態判定装置は、さらに、
   前記組合判定部によって判定された結果を通知する通知部であって、前記不明状態であると判定された場合には、前記組合判定部によって前に判定された結果を通知する通知部
   を備える請求項１から３までのいずれか１項に記載の状態判定装置。
5. 前記モデル実行部は、映像データを構成する複数のフレームの画像データについて順に、前記複数の状態それぞれを対象の状態として設けられた前記学習済モデルから前記判定結果を取得し、
   前記状態判定装置は、さらに、
   直近基準回に前記組合判定部によって判定された結果を総合して、前記複数の状態と、前記不明状態とのうちのどの状態であるかを判定する総合判定部
   を備える請求項１から４までのいずれか１項に記載の状態判定装置。
6. 前記閾値は、前記複数の状態それぞれについて別々に定められた
   請求項２に記載の状態判定装置。
7. コンピュータが、複数の状態それぞれを対象の状態として設けられた学習済モデルであって、前記対象の状態であるか、又は、前記対象の状態以外の状態であるかを判定する学習済モデルから、画像データから抽出された特徴量を入力とした場合の判定結果を取得し、
   コンピュータが、前記複数の状態それぞれについての前記判定結果から、前記複数の状態と、前記複数の状態のいずれでもない不明状態とのうちのどの状態であるかを判定する状態判定方法。
8. 複数の状態それぞれを対象の状態として設けられた学習済モデルであって、前記対象の状態であるか、又は、前記対象の状態以外の状態であるかを判定する学習済モデルから、画像データから抽出された特徴量を入力とした場合の判定結果を取得するモデル実行処理と、
   前記モデル実行処理によって取得された前記複数の状態それぞれについての前記判定結果から、前記複数の状態と、前記複数の状態のいずれでもない不明状態とのうちのどの状態であるかを判定する組合判定処理と
   を行う状態判定装置としてコンピュータを機能させる状態判定プログラム。

Images