JP7266145B2 - 情報処理システム、情報処理プログラム及び監視カメラシステム - Google Patents

Description

本発明は、機械学習を用いた画像解析技術における学習データを生成する情報処理システムに係り、特に、人による学習対象の画像の検知結果の正誤判断を支援し、学習データ作成の効率化を図る情報処理システム、情報処理プログラム及び監視カメラシステムに関する。

［従来の技術］
近年、監視カメラなどの映像から自動で特定の人物や物体を検知する目的で、ディープラーニングなどの機械学習の適用が進んでいる。
ディープラーニングなどの機械学習を用いた物体検知では、教師有り学習と呼ばれる手法が多く用いられている。

これは、画像（フレーム）とフレーム内に映る検知対象物の領域（例えば、矩形領域の場合は左上の座標と幅、高さ情報）と、それに映る物体とを紐づけた学習データを用意することで、自動で物体検知できるように学習が行われる。

ディープラーニングの場合、物体検知には数千枚から数十万枚の学習データを準備する必要があるが、学習データが十分に準備できない場合には十分な検知精度が得られないことがある。
このような場合は、検知結果をそのまま使うことはせずに、人による判断を加えて最終的な結果とするような検知結果補正を行った上で記録映像として保存するといった監視業務の支援ツールとしての使い方が為されることがある。

このような処理フローの中に、人による判断を含めたシステムは、Human-In-The-Loop型の機械学習として知られており、運用時に得られたデータに改めて正解付け（タグ付け）を行い学習データとすることで、画像検知の精度を向上させるものである。
すなわち、運用時に人による最終判断を行う際に検知結果の補正を行い、映像と領域情報を保存することで、学習データとして再利用できる。

［関連技術］
尚、関連する先行技術として、国際公開第２０１９／１５０６４９号「画像処理装置および画像処理方法」（特許文献１）がある。
特許文献１には、入力画像の背景領域に対応する位置の画素値として背景領域を示す値を設定し、入力画像の前景領域に対応する位置の画素値として入力画像上の画素値を設定した前景抽出画像を生成し、生成された前景抽出画像に対して畳み込みニューラルネットワーク処理を行って特定オブジェクトを検出又は識別する画像処理装置が示されている。

国際公開第２０１９／１５０６４９号

しかしながら、従来の画像処理技術では、検知精度が低い場合には人が介入した判断や補正の作業が多くなるため、作業効率が悪くなり、画像の検知精度の向上が期待できないという問題点があった。

つまり、人が介在した作業の効率化を図りつつ再学習のデータを蓄積していくことが望ましい。
尚、学習データが不足する場合には、Data Augmentationと呼ばれる方法で取得した学習データを加工して疑似的なデータを生成することで機械学習の精度を向上させることができる。しかしながら、この方法は実際に得られるデータとは厳密には一致しないため、誤った特徴を学習する恐れがあり、精度向上には限界があった。

尚、特許文献１には、人による画像の検知結果の正誤判断を支援し、検知結果の補正や学習データの作成効率を向上させるための構成が記載されていない。

本発明は上記実情に鑑みて為されたもので、機械学習を用いた画像解析の技術において、人による画像の検知結果の正誤判断を支援し、検知結果の補正や学習データの作成効率を向上させる情報処理システム、情報処理プログラム及び監視カメラシステムを提供することを目的とする。

上記従来例の問題点を解決するための本発明は、評価画像から検知対象物の領域と当該検知対象物の種類を表すクラスの情報とを検知結果として取得する主制御装置を有する情報処理システムであって、主制御装置が、同一クラスの検知対象物の領域が重複している場合で、重複度が特定の閾値以上の場合に、検知対象物の存在する確率又は尤度を示す確信度が高い方の領域を検知結果として採用し、主制御装置が、確信度についても閾値を設定可能とし、確信度が閾値以上の領域における検知対象物を検知してユーザに当該検知対象物の承認又は拒絶を選択させるものであり、当該閾値を下げて検知感度を高めた場合に、新たに検知された検知対象物の領域が閾値を下げる前に承認又は拒絶を選択された同一クラスの検知対象物の領域と重複する場合で、重複度が特定の閾値以上の場合には、新たに検知された検知対象物の領域を表示しないようにしたものである。

本発明は、上記情報処理システムにおいて、主制御装置が、重複度の特定の閾値を変更可能としたものである。

本発明は、監視カメラシステムにおいて、上記情報処理システムに、取得された検知結果に基づいて機械学習された人工知能のモデルを組み込んだ画像解析装置と、評価画像を撮影して取得する監視カメラとを備えるものである。

本発明は、評価画像から検知対象物の領域と当該検知対象物の種類を表すクラスの情報とを検知結果として取得する主制御装置で動作する情報処理プログラムであって、主制御装置を、同一クラスの検知対象物の領域が同一クラスで重複している場合で、重複度が特定の閾値以上の場合に、検知対象物の存在する確率又は尤度を示す確信度が高い方の領域を検知結果として採用するよう機能させ、主制御装置を、確信度についても閾値を設定可能とし、確信度が閾値以上の領域における検知対象物を検知してユーザに当該検知対象物の承認又は拒絶を選択させるよう機能させ、当該閾値を下げて検知感度を高めた場合に、新たに検知された検知対象物の領域が閾値を下げる前に承認又は拒絶を選択された同一クラスの検知対象物の領域と重複する場合で、重複度が特定の閾値以上の場合には、新たに検知された検知対象物の領域を表示しないよう機能させるものである。

本発明は、上記情報処理プログラムにおいて、主制御装置を、重複度の特定の閾値を変更可能に機能させるものである。

本発明によれば、評価画像から検知対象物の領域と当該検知対象物の種類を表すクラスの情報とを検知結果として取得する主制御装置を有する情報処理システムであって、主制御装置が、同一クラスの検知対象物の領域が重複している場合で、重複度が特定の閾値以上の場合に、検知対象物の存在する確率又は尤度を示す確信度が高い方の領域を検知結果として採用し、主制御装置が、確信度についても閾値を設定可能とし、確信度が閾値以上の領域における検知対象物を検知してユーザに当該検知対象物の承認又は拒絶を選択させるものであり、当該閾値を下げて検知感度を高めた場合に、新たに検知された検知対象物の領域が閾値を下げる前に承認又は拒絶を選択された同一クラスの検知対象物の領域と重複する場合で、重複度が特定の閾値以上の場合には、新たに検知された検知対象物の領域を表示しないようにしたものとしているので、領域が重複する場合に、確信度によって適正な領域を選択でき、検知結果を容易に取得できる効果がある。

本システムの構成ブロック図である。 検知結果の確認と修正の画面を示す概略図である。 閾値変更時の重複の確認と表示・非表示の関係を示す説明図である。 主制御装置の処理（１）を示すフロー図である。 主制御装置の処理（２）を示すフロー図である。 設定閾値と検知状況の関係を示す説明図である。 設定閾値を変更しながら補正する処理を示す説明図である。

本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
本発明の実施の形態に係る情報処理システム（本システム）は、特定のクラスの検知対象物が特定の領域内に存在するか否かを判定するための検知対象物の存在の確率又は尤度となる確信度について閾値（第１の閾値）を設定及び変更可能とし、検知対象が存在する候補領域について、当該候補領域と別の候補領域が重複しているか否かを判定するための重複度について閾値（第２の閾値）を設定及び変更可能とし、候補領域が重複している場合には、確信度が高い方の候補領域を検知結果として採用し、更に採用した候補領域を修正可能とするものであり、候補領域が重複しても容易に候補領域を特定できると共に、第１の閾値を変更することで検知感度を調整でき、第２の閾値を変更することで重複感度を調整できるので、特に検知感度及び重複感度を低い状態から高い状態に変更して再検知することで、検知漏れを防止できると共に人手の操作を容易にして、人による画像の検知結果の正誤判断を支援し、検知結果の補正や学習データの作成効率を向上させることができるものである。

［本システム：図１］
本システムについて図１を参照しながら説明する。図１は、本システムの構成ブロック図である。
本システムは、図１に示すように、画像解析装置１１と、主制御装置１２と、表示装置１３と、入力装置１４と、記録装置１５と、学習装置１６とを基本的に有している。
主制御装置１２に監視カメラ１７を接続し、監視カメラ１７で撮影された画像を評価画像として主制御装置１２に入力して、監視カメラシステムを構築してもよい。

まず、本システムの各部を簡単に説明する。
画像解析装置１１は、監視カメラで撮影された画像データを入力し、検知対象について画像解析処理を行い、検知結果（確信度、候補領域、クラス情報等）を主制御装置１２に出力し、主制御装置１２から第１及び第２の閾値が設定される。

表示装置１３は、主制御装置１２から検知結果の画像を入力し、検知結果画像を表示する。
記録装置１５は、主制御装置１２から検知結果を入力し、記憶する。
入力装置１４は、第１の閾値（確信度閾値）と第２の閾値（重複度閾値）を主制御装置１２に設定し、検知感度と重複感度の調整を行うと共に、検知領域の削除と再描画を指示する。

学習装置１６は、記録装置１５に記憶された検知結果を学習データ（教師データ）として深層学習させてＡＩモデルを生成し、その学習済モデルが画像解析装置１１に組み込まれるようになっている。

主制御装置１２は、外部から学習用の評価画像を入力し、その評価画像を画像解析装置１１で画像解析を行い、画像解析装置１１からの検知結果を入力し、評価画像に検知結果を重ねて検知結果画像を生成し、検知結果を記録装置１５に出力すると共に検知結果画像を表示装置１３に出力する。
また、主制御装置１２は、入力装置１４から第１及び第２の閾値を入力し、それら閾値を画像解析装置１１に設定する。図２では、第１及び第２の閾値を、評価画像閾値と記載することがある。

［本システムの各装置の詳細］
本システムの各装置について具体的に説明する。
［画像解析装置１１］
画像解析装置１１は、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）などで構成される計算機で実現される。

画像解析装置１１は、主制御装置１２から評価画像（画像解析の対象となる画像）が入力されるとディープラーニングなどの機械学習や画像解析アルゴリズム（以降、まとめて「画像解析アルゴリズム」と呼ぶ）によって検知対象の物体の検知を行い、評価画像のどの部分にどのクラス（例えば、人、車など）の物体が検知対象として存在するか、クラス情報に対応する領域（候補領域）の特定を行う。
領域は、検知対象の領域を囲む矩形領域の情報（例えば矩形の左上の座標（ｘ、ｙ）と幅（ｗ：wide）と高さ（ｈ：high）の情報）と、画素の座標として定義される。

［確信度の閾値：第１の閾値］
また、画像解析装置１１における画像解析アルゴリズムは、確信度として検知対象の物体が存在する確率や尤度を示す確信度を算出するものであり、その確信度に対して閾値（第１の閾値：確信度の閾値）が主制御装置１２から設定される。
つまり、設定した第１の閾値以上の確信度である領域が、物体が存在する領域として特定され、例えば、人、車などの物体種別情報（クラス情報）と共に検知結果として出力される。

［重複度の閾値：第２の閾値］
更に、画像解析装置１１における画像解析アルゴリズムにおいて、設定した第１の閾値以上の確信度であっても同一クラスと推定される物体領域が重複する場合にはＮＭＳ（Non Maximum Suppression）法などによって１つの領域に絞り込みが行われる。
ＮＭＳ法は、重複度がＩＯＵ（Intersection Over Union）と呼ばれる指標に基づき、重複の高い領域を除外する。

そして、画像解析装置１１は、主制御装置１２から物体領域の重複度の閾値（第２の閾値）が設定され、ＩＯＵが第２の閾値以上の場合（重複の度合が大きい場合）に、確信度が高い領域を採用し、確信度が低い領域を除外する。従って、重複領域において検知対象の物体の存在確率又は尤度の高い方が選択されるものである。
画像解析装置１１は、画像解析処理の結果、検知結果（クラス情報、領域情報、確信度）を主制御装置１２に出力する。

また、画像解析装置１１は、主制御装置１２から第１の閾値又は／及び第２の閾値の変更が入力されると、変更された閾値に基づいて上記処理が為される。
例えば、第１の閾値を低くして検知感度を高くすると、検知対象の候補が多く検知されることになる。また、第２の閾値を低くして重複感度を高くすると、独立した領域として検知されるので、重複領域が小さい領域も多く検出されることになる。このように、２つの閾値を変更することで、検知対象物の見過ごしを防止することができるようになっている。見過ごし防止については後述する。

更に、後述するが、表示装置１３に表示された検知結果画像を参照しながら、入力装置１４から検出結果の補正を行うことができるようになっている。この場合、評価画像閾値が画像解析装置１１に主制御装置１２から出力され、入力装置１４からの補正指示により検知結果が補正され、主制御装置１２に補正検知結果が出力され、記録装置１５で記録される。

［主制御装置１２］
主制御装置１２は、パーソナルコンピュータなどの計算機で実現され、画像解析装置１１が出力した検知結果と修正された検知結果に基づき再計算を行って検知結果を出力し、検知結果画像の生成処理を行う。
表示装置１３に表示される検知結果画像は、評価画像に検知された物体の領域を重畳したものであり、単色又は確信度毎に色分けされた矩形の描画など任意の表示方法でよい。

主制御装置１２は、この他に検知結果の補正を行うため、入力装置１４からの領域情報を受け付けて検知結果画像を生成する処理や、確信度に関する閾値設定情報及び重複度に関する閾値設定情報を受け付けて検知感度及び重複感度の再設定値として画像解析装置１１に通知する。
画像解析装置１１と主制御装置１２はいずれも計算機であるから、１つの装置に画像解析装置１１と主制御装置１２の機能が実装されていてもよい。

［表示装置１３］
表示装置１３は、液晶ディスプレイなど表示装置であり、主制御装置１２が生成した検知結果画像の表示と、第１の閾値と第２の閾値の再設定と、検知結果の修正を行うためのＧＵＩ（グラフィカルユーザインタフェース）の表示を行う。

［入力装置１４］
入力装置１４は、マウス、キーボードやタッチパネルなどで実現され、検知の感度を変更するための確信度に関する閾値の再設定値を入力する機能を備える。また、入力装置１４は、第２の閾値の変更も入力可能になっている。

マウスやタッチパネルの場合は、ＧＵＩ画面上に表示された閾値設定のためのスライダを操作することで実現され、キーボードの場合は、設定値を直接入力することで実現される。
更に、入力装置１４は、検知結果の採択（Accept）と拒絶（Reject）を選択し、検知結果に見逃しがある場合には領域を追加入力するために用いられる。採択と拒絶については後述する。

［記録装置１５］
記録装置１５は、ハードディスクなどのストレージで実現され、検知結果と評価画像の保存を行う機能を備える。検知結果は、検知した物体の領域情報、クラス情報及び確信度の情報が含まれる。

［学習装置１６］
学習装置１６は、深層学習を行う畳み込みニューラルネットワークのＡＩモデルを備え、記録装置１５に記憶された検知結果を学習データ（教師データ）として学習させ、学習済モデルを生成する。
そして、学習装置１６は、学習済モデルを主制御装置１２に出力する。更に、主制御装置１２は、学習済モデルを画像解析装置１１に出力して搭載させる。

［検知結果の確認と修正の画面：図２］
次に、検知結果の確認と修正を行うための表示装置１３における表示画面について図２を参照しながら説明する。図２は、検知結果の確認と修正の画面を示す概略図である。尚、図２に示す検知結果画像は、検知途中の状態を示したものとなっており、実線の枠は承認済又は拒絶済の領域を示しており、破線の枠はまだ承認又は拒絶が確定していない領域を示している。尚、承認済と拒絶済では枠の色を異なるよう表示すれば区別が分かりやすい。

表示画面は、図２に示すように、左側に読み込み（Read）ボタン２１、保存（Save）ボタン２２、終了（Exit）ボタン２３が設けられている。
読み込みボタン２１を選択すると、評価画像を読み込む処理が為され、保存ボタン２２を選択すると検知結果を保存する処理が為され、終了ボタン２３を選択すると、検知結果の確認と修正の処理が終了するようになっている。

また、表示画面の上部にフレーム番号表示・操作欄２４が設けられ、その表示・操作欄２４でフレーム番号（Frame no.）が表示され、その下に、前（Prev.）ボタン、スライダ、次（Next）ボタンが表示されている。
前ボタンで前のフレームの画像を、次ボタンで次のフレームの画像を表示し、また、スライダを移動させることで任意のフレーム番号の画像を表示させることができる。

フレーム番号表示・操作欄２４の右側に、閾値表示・操作欄２５が設けられ、その表示・操作欄２５で確信度（Confidence）の閾値と重複度（IOU）の閾値が表示され、それぞれの閾値の下側に閾値を変更するための上下ボタンとスライダが設けられている。

閾値表示・操作欄２５の下側に、結果（Result）表示・操作欄２７が設けられ、その表示・操作欄２７で検知ＩＤ（Detection ID）、クラス（Class）、領域情報（Rectangle）が表示される。検知ＩＤは、検知された領域毎に対応して主制御装置１２で付与されるものである。
図２では、検知ＩＤは「１」で、クラスは「人（Person）」で、領域情報は矩形領域の左上の座標（ｘ，ｙ）、幅（ｗ）、高さ（ｈ）が表示されている。

また、結果表示・操作欄２７で、前（Prev.）ボタン、次（Next）ボタン、新規（New）ボタンが設けられ、前ボタンで前の検知ＩＤの検知結果を、次ボタンで次の検知ＩＤの検知結果を表示させるものである。

画像解析アルゴリズムでは検知されなかった検知対象物を操作者（ユーザ）が任意に検知する場合には、ユーザが新規ボタンを選択すると、新たな検知ＩＤが付与され、ユーザがクラスを選択してマウスで矩形領域を指定すると領域情報に反映されるようになっている。

結果表示・操作欄２７の右側に、結果表示・操作欄２７に表示されている結果について取り得る行動を指示する行動（Action）操作欄２６が設けられ、承認（Accept）ボタン、拒絶（Reject）ボタン、描画（Draw）ボタン、全て承認（All Accept）ボタン、全て拒絶（All Reject）ボタンが表示されている。

表示されている結果、つまり、検知されている矩形領域における検知対象物が、表示されたクラスに合致している場合は「承認ボタン」を選択し、合致していない場合は「拒絶ボタン」を選択し、領域情報を再定義する場合は「描画ボタン」を選択してマウスで矩形領域を描き、表示されている検知対象物を全て承認する場合は「全て承認ボタン」を選択し、全て拒絶する場合は「全て拒絶ボタン」を選択する。

［閾値変更時の重複の確認と矩形領域の表示・非表示：図３］
次に、第１の閾値、第２の閾値を変更したために、新たな検知対象物の矩形領域が表示された場合の処理について図３を参照しながら説明する。図３は、閾値変更時の重複の確認と矩形領域の表示・非表示を示す説明図である。
ここで、ドットの矩形領域は、閾値変更で新たに検知された物体領域であり、実線の矩形領域は、閾値変更前に既に承認済の物体領域であり、破線の矩形領域は、閾値変更前に既に拒絶済の物体領域である。
尚、図３では、説明のために画面上に（ａ）～（ｄ）が表示されている状態を模式的に示しているが、実際には主制御装置１２が行う処理であって表示装置１３に表示されるものではない。

図３の（ａ）のケースは、重複がないため新たな検知領域とされたものである。
図３の（ｂ）のケースは、新たに検知された物体領域と承認済の物体領域との重複領域が大きいため、新たに検知された物体領域は、既に承認済と判断して図２の評価画像では非表示とする。

図３の（ｃ）のケースは、新たに検知された物体領域と拒絶済の物体領域との重複領域が大きいため、新たに検知された物体領域は、既に拒絶済と判断して図２の評価画像では非表示とする。
図３の（ｄ）のケースは、新たに検知された物体領域と拒絶済の物体領域との重複領域が小さいため、新たに検知された物体領域は、既に拒絶済の検知対象物とは別物と判断して図２の評価画像では表示する。また、新たに検知された物体領域と承認済の物体領域との重複領域が小さい場合も、表示する。表示された矩形領域は、改めて承認、拒絶の選択（行動／Action）を行うことになる。

尚、矩形領域の重複度を示すＩＯＵの算出方法は、重複部分の面積を２つの矩形領域が成す面積（２つの矩形領域の合計面積－重複面積）で割った値がＩＯＵとなる。
このＩＯＵ（重複度）の値に対して、第２の閾値を設定することで、第２の閾値以上なら２つの矩形領域が重複していると判定し、第２の閾値未満なら２つの矩形領域は重複していないと判定する。

［本システムでの処理動作］
次に、本システムでの処理動作について説明する。
［検知処理］
監視カメラ等で撮影された画像を評価画像データとして主制御装置１２に入力すると、評価画像データを画像解析装置１１に出力する。尚、図２では、画面左側の読み込みボタンを選択することで、評価画像のリストを読み込む。評価画像は、全画像ファイルをリストとして読み込んでもよいし、一つずつ画像ファイルを読み込んでもよい。また、動画ファイルを読み込むようにしてもよい。
そして、主制御装置１２は、読み込まれたリストから順次画像（動画フレーム）を読み込み、表示装置１３に画像を表示する。

主制御装置１２は、評価画像データを画像解析するために第１の閾値と第２の閾値を画像解析装置１１に送信して設定する。送信される閾値は、１回目の検知であれば予め設定されたデフォルト値を用い、２回目以降の検知であれば入力装置１４で設定された閾値が用いられる。

画像解析装置１１は、画像解析アルゴリズムを実行し、物体検知の処理を行い、検知結果を主制御装置１２に出力する。
主制御装置１２は、画像解析装置１１から入力した検知結果を基に検知された物体の領域を評価画像に重畳した画像を、検知結果画像として生成して表示装置１３で表示する。

２回目以降の検知であれば、既に承認された検知結果が存在するので、承認された検知結果とそれに重複する画像解析装置１１の検知結果は除外し、拒絶済の結果とそれに重複する結果についても除外して検知結果画像を生成する。
図３で第１の閾値と第２の閾値変更による重複の確認と削除の概要を示したように、ＩＯＵが第２の閾値以上の場合に画像解析装置１１の検知結果を削除する。

物体領域はクラス毎に矩形の色を分けた画像を生成することで、ユーザの確認を容易にすることができる。また、以降のステップで検知結果に対する承認又は拒絶の判定を効率的に行うため、判定済みの検知結果を実線、未判定の検知結果を破線で表示するようにする。判定を行っていない場合は全て破線となる。

［承認又は拒絶の判定処理］
ユーザは画面に表示された全ての検知結果に対して承認又は拒絶の判定を行う。
具体的には、入力装置１４を用いて、検知領域の選択と行動（Action）操作欄２６にある承認（Accept）ボタン又は拒絶（Reject）ボタンの押下を、検知結果毎に繰り返し行う。

主制御装置１２は、拒絶（Reject）の場合には検知結果の削除を行う。
領域は正しいが、クラスが異なる場合には、ユーザは、結果（Result）領域２７のクラス（Class）の修正を行ってから承認（Accept）ボタンを押下する。
また、クラス（Class）は正しいが領域の修正が必要な場合には、ユーザは、描画（Draw）ボタンを押下してマウスカーソルを描画モードに変更してから矩形の再描画を行い、承認（Accept）ボタンを押下する。このとき、結果（Result）表示・操作欄２７の領域（Rectangle）に矩形の座標情報をキーボードから直接入力してもよい。

承認（Accept）ボタン又は拒絶（Reject）ボタンが押下された後に、主制御装置１２が検知領域の選択動作を連続して自動で行ってもよく、これによって効率的に作業を行うことができる。
また、選択を行った領域（アクティブな領域）を特定色に変えることで、ユーザはどの結果の判定を行っているのか容易に認識することができる。

この他、未処理の検知結果全てを承認する場合は、全て承認（All Accept）ボタンを、全て拒絶する場合は、全て拒絶（All Reject）ボタンを押下することで効率的に作業を行うことができる。

［見逃し対応処理］
また、見逃しが発生しており検知枠が表示されていない場合には、ユーザが、結果（Result）表示・操作欄２７にある新規（New）ボタンを押下すると、主制御装置１２によって新しい検知ＩＤ（Detection ID）が付加される。そして、主制御装置１２は、クラスと矩形の描画を行い、承認（Accept）ボタンが押下されることで、見逃した物体があったとしても修正することができる。

尚、確信度の閾値設定を下げることで検知感度を上げることができるため、見逃した全ての物体に対して修正を行わずとも、閾値の設定を変更して検知することも可能である。
具体的には、ユーザは全ての検知結果に対する判定を終えると、見逃しがないか確認するために第１の閾値と第２の閾値を下げて再検知を行う。
主制御装置１２は、変更されて再設定された閾値に基づいて検知処理を行う。

［検知結果の確認と修正：図４～５］
次に、本システムの主制御装置１２における処理について図４～５を参照しながら説明する。図４～５は、主制御装置１２における処理を示すフロー図である。尚、図４～５は、一連の処理であるが、紙面の制限により２つに分けているものである。よって、接続点（Ａ）～（Ｄ）で各図が接続されるものである。

主制御装置１２は、図４に示すように、画像解析アルゴリズムを開始すると、評価画像のリストを選択し（Ｓ１１）、選択した評価画像のリストからＮフレーム目の評価画像を読み込む（Ｓ１２）。
次に、Ｎフレーム目の検知結果画像を生成し（Ｓ１３）、表示装置１３にＮフレーム目の検知結果画像を表示する（Ｓ１４）。
そして、全検知結果に対する承認／拒絶の判定入力と未検知物体領域の入力が為される（Ｓ１５，Ａ）。

更に、主制御装置１２は、図５に示すように、ユーザから入力された指示を判別し（Ｓ１６）、ユーザから次の画像へ進むの指示が入力された場合（Ｎｅｘｔボタンが押下された場合）、主制御装置１２は、全検知結果に対する判定が完了したか否かを判定し（Ｓ１８）、完了していなければ（Ｎｏの場合）、処理Ｓ１５に戻る（Ｄ）。ここで、全検知結果に対する「判定」とは、図３に示した処理である。

全検知結果に対する判定が完了したのであれば（Ｙｅｓの場合）、全画面（フレーム）の処理が完了したか否かを判定し（Ｓ１９）、完了していなければ（Ｎｏの場合）、処理Ｓ１２に戻る（Ｂ）。
判定処理Ｓ１９で全画面の処理が完了したなら（Ｙｅｓの場合）、Ｓａｖｅボタンが押下されることになり、作業結果を保存し（Ｓ２０）、処理を終了する。

もし、判定処理Ｓ１６でユーザから作業を終了する指示が入力された場合（Ｓａｖｅボタンが押下された場合）、全検知結果に対する判定が完了したか否かを判定し（Ｓ２１）、完了していなければ（Ｎｏの場合）、処理Ｓ１５に戻る（Ｄ）。
判定処理Ｓ２１で全検知結果に対する判定が完了したのであれば（Ｙｅｓの場合）、作業結果を保存し（Ｓ２０）作業を終了する。

もし、判定処理Ｓ１６で確信度の閾値とＩＯＵの閾値を変更する入力が為された場合（閾値変更の場合）、全検知結果に対する判定が完了したか否かを判定し（Ｓ２２）、完了していなければ（Ｎｏの場合）、処理Ｓ１５に戻る（Ｄ）。
判定処理Ｓ２２で全検知結果に対する判定が完了していれば（Ｙｅｓの場合）、確信度の閾値とＩＯＵの閾値を設定する処理が為され（Ｓ２３）、処理Ｓ１３に戻る（Ｃ）。

［第１の閾値（感度）と検知状況の関係：図６］
次に、設定閾値（感度）と検知状況の関係について図６を参照しながら説明する。図６は、設定閾値（感度）と検知状況の関係を示す説明図である。
第１の閾値（確信度の閾値）を高くすると、検知感度は低くなり、（ａ）のように検知対象物が検知されない状況になり、第１の閾値を徐々に低くして感度を上げると、（ｂ）（ｃ）のように検知物が増える。第１の閾値を更に低くすると（ｄ）のように誤検知を含め多くの検知物が検知されることになる。
従って、初めは閾値を高めに設定して検知処理を行い、その後に閾値を徐々に下げて検知処理を行うと、検知漏れを防止することができる。

［設定閾値を変更しながら補正する処理：図７］
次に、設定閾値を変更しながら補正する処理について図７を参照しながら説明する。図７は、設定閾値を変更しながら補正する処理を示す説明図である。図７では、クラス「人」を検知対象とした例で説明する。
図７（ａ）は、図６（ｂ）の閾値の状態（画面）で、一番大きいクラス「人」の矩形を承認する。

図７（ｂ）は、図６（ｃ）の閾値の状態で、クラス「木」と「人」の小さい矩形が検知されるので、クラス「木」の小さい矩形は拒絶し、クラス「人」の小さい矩形を承認する。
図７（ｃ）は、図６（ｄ）の閾値の状態で、クラス「人」の更に小さい矩形が検知されるので、クラス「人」の更に小さい矩形を承認する。このとき、図７（ｂ）で拒絶したクラス「木」の矩形は表示されない。また、図６（ｄ）の右下の小さい矩形は拒絶して表示されないようにしている。

［第２の閾値と検知状態の関係］
次に、第２の閾値と検知状況を説明する。
第２の閾値を低くすると、重複感度が高くなり、重複度が小さい領域でも除外の対象となる。そのため、検知対象物が少なくなる。そして、その中から確信度の高い領域が選択され、確信度の低い領域は選択されない。
また、第２の閾値を高くすると、重複感度が低くなり、重複度が大きい領域しか除外の対象とはならない。そのため、個別独立に検知される対象物が増えることになる。
従って、第２の閾値は、初めは低めに設定して検知処理を行い、その後に第２の閾値を高く設定して再検知処理を行えば、処理を効率化でき、検知漏れを防止できる。

［効率的な検知方法］
最初は、第１の閾値を高く、第２の閾値を低く設定して検知処理を行うと、確信度の高く重複領域が少ない領域が先ず検知されて、図２の表示画面で承認又は拒絶が確定されるので、その後、第１の閾値を低くし、第２の閾値を高く設定して検知処理を行うと、既に確信度の高い検知対象物についての承認又は拒絶の処理が終了しているので、確信度の低い検知対象物を拾うように検知でき、無駄なく検知処理を実現できる効果がある。

［実施の形態の効果］
本システムによれば、特定のクラスの検知対象物が特定の領域内に存在するか否かを判定するための確信度について第１の閾値と、検知対象が存在する候補領域について当該候補領域と別の候補領域が重複しているか否かを判定するための重複度について第２の閾値とを設定及び変更可能とし、候補領域が重複している場合には、確信度が高い方の候補領域を検知結果として採用し、更に採用した候補領域を修正可能とするものであり、候補領域が重複しても容易に候補領域を特定できると共に、第１の閾値を変更することで検知感度を調整し、第２の閾値を変更することで重複感度を調整して、検知感度及び重複感度を低い状態から高い状態に変更して再検知処理を行うと、検知漏れを防止できると共に人手の操作を容易にして、人による画像の検知結果の正誤判断を支援し、検知結果の補正や学習データの作成効率を向上させることができる効果がある。

本発明は、機械学習を用いた画像解析の技術において、人による画像の検知結果の正誤判断を支援し、検知結果の補正や学習データの作成効率を向上させる情報処理システム、情報処理プログラム及び監視カメラシステムに好適である。

１１…画像解析装置、 １２…主制御装置、 １３…表示装置、 １４…入力装置、 １５…記録装置、 １６…学習装置、 １７…監視カメラ、 ２１…読み込み（Read）ボタン、 ２２…保存（Save）ボタン、 ２３…終了（Exit）ボタン、 ２４…フレーム番号表示・操作欄、 ２５…閾値表示・操作欄、 ２６…行動（Action）操作欄、 ２７…結果（Result）表示・操作欄

Claims (5)

1. 評価画像から検知対象物の領域と当該検知対象物の種類を表すクラスの情報とを検知結果として取得する主制御装置を有する情報処理システムであって、
   前記主制御装置は、同一クラスの前記検知対象物の領域が重複している場合で、重複度が特定の閾値以上の場合に、前記検知対象物の存在する確率又は尤度を示す確信度が高い方の領域を検知結果として採用し、
   前記主制御装置は、前記確信度についても閾値を設定可能とし、前記確信度が前記閾値以上の領域における前記検知対象物を検知してユーザに当該検知対象物の承認又は拒絶を選択させるものであり、
   当該閾値を下げて検知感度を高めた場合に、新たに検知された検知対象物の領域が前記閾値を下げる前に承認又は拒絶を選択された同一クラスの検知対象物の領域と重複する場合で、重複度が特定の閾値以上の場合には、前記新たに検知された検知対象物の領域を表示しないようにした情報処理システム。
2. 前記主制御装置は、前記重複度の特定の閾値を変更可能とした請求項１記載の情報処理システム。
3. 請求項１又は２記載の情報処理システムに、取得された検知結果に基づいて機械学習された人工知能のモデルを組み込んだ画像解析装置と、評価画像を撮影して取得する監視カメラとを備える監視カメラシステム。
4. 評価画像から検知対象物の領域と当該検知対象物の種類を表すクラスの情報とを検知結果として取得する主制御装置で動作する情報処理プログラムであって、
   前記主制御装置を、同一クラスの前記検知対象物の領域が同一クラスで重複している場合で、重複度が特定の閾値以上の場合に、前記検知対象物の存在する確率又は尤度を示す確信度が高い方の領域を検知結果として採用するよう機能させ、
   前記主制御装置を、前記確信度についても閾値を設定可能とし、前記確信度が前記閾値以上の領域における前記検知対象物を検知してユーザに当該検知対象物の承認又は拒絶を選択させるよう機能させ、
   当該閾値を下げて検知感度を高めた場合に、新たに検知された検知対象物の領域が前記閾値を下げる前に承認又は拒絶を選択された同一クラスの検知対象物の領域と重複する場合で、重複度が特定の閾値以上の場合には、前記新たに検知された検知対象物の領域を表示しないよう機能させる情報処理プログラム。
5. 前記主制御装置を、前記重複度の特定の閾値を変更可能に機能させる請求項４記載の情報処理プログラム。

Images