JP7446060B2 - 情報処理装置、プログラム及び情報処理方法 - Google Patents

情報処理装置、プログラム及び情報処理方法 Download PDF

Info

Publication number
JP7446060B2
JP7446060B2 JP2019059587A JP2019059587A JP7446060B2 JP 7446060 B2 JP7446060 B2 JP 7446060B2 JP 2019059587 A JP2019059587 A JP 2019059587A JP 2019059587 A JP2019059587 A JP 2019059587A JP 7446060 B2 JP7446060 B2 JP 7446060B2
Authority
JP
Japan
Prior art keywords
inference
unit
image
additional learning
appearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019059587A
Other languages
English (en)
Other versions
JP2020160804A (ja
Inventor
絢子 永田
弘紀 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2019059587A priority Critical patent/JP7446060B2/ja
Publication of JP2020160804A publication Critical patent/JP2020160804A/ja
Application granted granted Critical
Publication of JP7446060B2 publication Critical patent/JP7446060B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報処理装置、プログラム及び情報処理方法に関する。
近年、機械学習による画像認識技術の開発が盛んに行われている。機械学習による画像認識では、例えば画像に何が映っているのかを判定する物体識別、又は、複数の物体が映る画像に対してどの位置に何が映っているのかを判定する物体検出が知られている。そして、これらの技術を映像監視システムに組込んでカメラに映る不審物又は特定属性の人物等を検出するサービスが普及している。
機械学習による画像認識を行うためには、大量の教師データから特徴を抽出して推論を行うためのモデル(以降、推論モデルという)を生成する必要がある。精度の高い推論モデルを生成するためには質の良い教師データを大量に用意して、推論モデルを学習させる必要がある。
教師データは、入力されたデータに対して得たい推論結果の正解を付与したデータである。物体識別であれば、教師データは、画像に何が映っているかを示すラベルを付与したデータであり、物体検出であれば、教師データは、画像中のどこに何が映っているかを示す矩形の座標情報と、その物体が何かを示すラベルとを付与したデータである。このような教師データを、人手で用意するには膨大な工数が必要になる。
さらに、前述の映像監視システムにおける画像認識において、実際の設置環境で高い認識精度を得るためには、一般的な撮影環境で撮影した画像の教師データだけではなく、設置環境に応じた教師データを用意することが望ましい。
しかしながら、カメラの設置環境は様々であり、設置角度又は照度等によって認識対象となる物体の見え方が変わるため、予めこれらのすべてを想定して教師データを用意して推論モデルを構築することは困難である。また、推論モデルを設置環境に適応させるために、各々のカメラから画像を収集して、正解ラベル付けを行った教師データを生成するには膨大な工数がかかり現実的ではない。
以上のような状況において、特許文献1に記載された技術は、人物の顔を検出して表情識別を行う場合に、顔検出領域の見え方を判定し、角度又は照度等を変換した複数の推論対象画像を生成する。そして、特許文献1に記載された技術によれば、生成された複数の推論対象画像に対して機械学習推論を用いた表情識別を行うことで、予め想定していない角度又は照度で撮影された顔画像についても表情識別を行うことができる。また、特許文献1に記載された技術によれば、表情識別により得られた識別結果を先に生成された複数の認識対象画像に正解ラベルとして付与したデータを教師データとして収集し、推論モデルを追加学習させることで、様々な環境を想定した推論モデルを生成することができる。
特開2018-116589号公報
特許文献1に記載された技術により、カメラの設置環境に応じた教師データで推論モデルの学習をしていない場合でも、物体識別精度を向上させることができる。しかしながら、その技術は、物体領域の検出ができていることを前提としている。
近年では、画像認識時の機械学習推論処理高速化及び処理負荷の軽減のため、物体領域の検出と、物体識別とを一つの畳み込みニューラルネットワークで同時に行う物体検出アルゴリズムである、YOLO(You Only Look Once)又はSSD(Single Shot Multibox Detector)等が用いられるが、特許文献1に記載された技術は、これらには適用することができない。
そこで、本発明の一又は複数の態様は、容易に画像の認識精度を向上させることができるようにすることを目的とする。
本発明の一態様に係る情報処理装置は、画像データにより示される画像の見え方を判定した結果に基づいて、前記画像の変換に使用される補正パラメータを生成する見え方判定部と、前記補正パラメータを用いて前記画像を変換し、前記変換された画像を示す推論対象データを生成する推論対象データ生成部と、前記推論対象データに対して、機械学習による推論を実行することで、推論結果を生成する推論実行部と、前記推論結果と前記画像データとを関連付けることで、教師データを生成する教師データ生成部と、前記教師データを使用して推論モデルの追加学習を行う追加学習実行部と、を備えることを特徴とする。
本発明の一態様に係るプログラムは、コンピュータを、画像データにより示される画像の見え方を判定した結果に基づいて、前記画像の変換に使用される補正パラメータを生成する見え方判定部、前記補正パラメータを用いて前記画像を変換し、前記変換された画像を示す推論対象データを生成する推論対象データ生成部、前記推論対象データに対して、機械学習による推論を実行することで、推論結果を生成する推論実行部、前記推論結果と前記画像データとを関連付けることで、教師データを生成する教師データ生成部、及び、前記教師データを使用して推論モデルの追加学習を行う追加学習実行部、として機能させることを特徴とする。
本発明の一態様に係る情報処理方法は、見え方判定部が、画像データにより示される画像の見え方を判定した結果に基づいて、前記画像の変換に使用される補正パラメータを生成し、推論対象データ生成部が、前記補正パラメータを用いて前記画像を変換し、前記変換された画像を示す推論対象データを生成し、推論実行部が、前記推論対象データに対して、機械学習による推論を実行することで、推論結果を生成し、教師データ生成部が、前記推論結果と前記画像データとを関連付けることで、教師データを生成し、追加学習実行部が、前記教師データを使用して推論モデルの追加学習を行うことを特徴とする。
本発明の一又は複数の態様によれば、容易に画像の認識精度を向上させることができる。
映像監視システムの構成を概略的に示すブロック図である。 実施の形態1に係る映像解析装置の構成を概略的に示すブロック図である。 (A)及び(B)は、ハードウェア構成例を示すブロック図である。 実施の形態1における機械学習を使用した画像認識及び追加学習の動作を示すフローチャートである。 実施の形態2に係る映像解析装置の構成を概略的に示すブロック図である。 実施の形態2における機械学習を使用した画像認識及び追加学習の動作を示すフローチャートである。 実施の形態3に係る映像解析装置の構成を概略的に示すブロック図である。 実施の形態3における機械学習を使用した画像認識及び追加学習の動作を示すフローチャートである。 実施の形態4に係る映像解析装置の構成を概略的に示すブロック図である。 最適な補正パラメータを探索する動作を示すフローチャートである。
実施の形態1.
図1は、実施の形態1に係る映像解析装置を含む映像監視システムの構成を概略的に示すブロック図である。
映像監視システム100は、管理サーバ110と、複数のカメラ120-1~120-N(Nは、2以上の整数)と、複数の映像解析装置130-1~130-Nとを備える。管理サーバ110と、複数の映像解析装置130-1~130-Nとは、ネットワーク101に接続されている。
管理サーバ110は、ネットワーク101を介して、複数のカメラ120-1~120-Nを管理する。
また、複数のカメラ120-1~120-Nの各々には、複数の映像解析装置130-1~130-Nの各々が接続されている。
ここで、複数のカメラ120-1~120-Nの各々を特に区別する必要がない場合には、単に、カメラ120といい、複数の映像解析装置130-1~130-Nの各々を特に区別する必要がない場合には、単に、映像解析装置130という。
カメラ120は、画像を撮像する撮像装置である。撮像された画像を示す画像データは、接続されている映像解析装置130に与えられる。ここで、カメラ120で撮像される画像は、静止画像でもよく、動画像でもよい。また、カメラ120は、監視カメラであってもよい。
映像解析装置130は、接続されているカメラ120から入力される画像データで示される画像に対して、画像認識等の解析処理を行う情報処理装置である。その解析結果は、ネットワーク101を介して、管理サーバ110に送信され、管理サーバ110は、解析結果の表示又は管理を行う。例えば、カメラ120に接続されている映像解析装置130は、不審物の検出を行い、その検出結果を、カメラ120を識別するためのカメラ識別情報であるカメラIDとともに、管理サーバ110に送信することで、警告表示又は発報が行われる。
映像監視システム100では、映像解析装置130で実行される機械学習による推論での画像認識に使用する推論モデルとして、初期段階では標準的な設置環境に対応する教師データを使用して学習された同一の推論モデルが全ての映像解析装置130に組み込まれている。そして、映像解析装置130及びカメラ120が設置された後に、映像解析装置130が、現地で取得される画像を使用した追加学習を行うことで、推論モデルの設置場所への適応を行う。
なお、図1では、カメラ120と映像解析装置130とが1対1で接続され、一つの映像解析装置130は、一つのカメラ120で取得された画像を処理しているが、実施の形態1は、このような例に限定されない。一つの映像解析装置130に複数のカメラ120が接続され、その一つの映像解析装置130が、複数のカメラ120で取得された複数の画像をまとめて処理してもよい。また、映像解析装置130に、解析結果を表示する表示装置等が接続されていてもよい。
図2は、実施の形態1に係る映像解析装置130の構成を概略的に示すブロック図である。
映像解析装置130は、入力インターフェース部(以下、入力I/F部という)131と、見え方判定部132と、データ処理部133と、推論モデル記憶部138と、推論実行部139と、追加学習実行部140と、出力インターフェース部(以下、出力I/F部という)141とを備える。
入力I/F部131は、接続されたカメラ120から画像データの入力を受ける接続インターフェースである。
見え方判定部132は、カメラ120から入力される画像データで示される画像の見え方を判定し、その結果に基づいて、その画像の変換に使用される補正パラメータを生成する。
データ処理部133は、各種データを処理する。
データ処理部133は、推論対象データ生成部134と、教師データ生成部135とを備える。
推論対象データ生成部134は、カメラ120から入力される画像データで示される画像を、見え方判定部132で生成された補正パラメータを用いて変換を行うことにより、機械学習による推論の対象となる推論対象画像を示す推論対象データを生成する。
教師データ生成部135は、推論実行部139から与えられる推論結果と、推論対象データ生成部134で変換する前の画像を示す画像データ、言い換えると、カメラ120から与えられた画像データとを関連付けることで、教師データを生成する。
教師データ生成部135は、推論結果処理部136と、生成実行部137とを備える。
推論結果処理部136は、推論実行部139からの推論結果を、推論対象データ生成部134で変換する前の画像を示す画像データ、言い換えると、カメラ120から与えられた画像データで示される画像に対応するように変換等することにより、認識結果を生成する。
生成実行部137は、推論結果処理部136が出力する認識結果を、元の画像を示す画像データに付与することで、教師データを生成する。
推論モデル記憶部138は、推論モデルを記憶する。
推論実行部139は、推論対象データ生成部134で生成された推論対象データに対して、機械学習による推論を実行し、その推論の結果である推論結果を生成する。
追加学習実行部140は、生成実行部137が生成した教師データを使用して推論モデルの追加学習を行う。追加学習で生成された推論モデルは、推論モデル記憶部138に記憶される。
出力I/F部141は、推論結果処理部136で生成された認識結果を管理サーバ110に出力するための通信インターフェースである。
以下、接続されたカメラ120から入力された画像データで示される画像に対して、映像解析装置130が、どこに何が映っているかを機械学習により推論する物体検出を使用した画像認識を行う場合を例に説明を行う。
なお、実施の形態1は、カメラ120以外の情報入力装置から入力される画像データ又は画像データ以外のデータの解析を行ってもよく、物体検出以外の画像認識を行ってもよい。
また、以下の説明における物体検出処理においては画像内のどの位置に物体があるかを示す物体領域情報と、その物体が何であるかを示すラベル情報と、検出結果の確からしさを示す尤度情報とが得られるものとする。
まず、入力I/F部131は、カメラ120から入力された画像データを見え方判定部132に与える。
次に、見え方判定部132は、与えられた画像データで示される画像の見え方を判定し、その判定結果から画像の変換が必要か否かを判定する。そして、見え方判定部132は、画像の変換が必要と判定した場合には、画像データで示される画像を、画像認識しやすくするために変換する画像変換処理に使用する補正パラメータを生成する。なお、見え方判定部132は、画像の変換が必要ないと判定した場合には、画像変換を行わないように、補正パラメータを生成する。
画像変換処理の例としては、画像からノイズを除去するためのフィルタリング、物体と背景との区別をつきやすくするためのコントラスト補正、エッジ強調、又は、傾き補正等がある。
また、予め推論モデルの学習に使用された教師データの画像がわかっていれば、教師データの画像の撮影状況に近づけるための補正パラメータを生成することもできる。例えば、推論モデルの学習に物体の正対画像が使用されていた場合、画像データで示されている画像が俯瞰画像であると、画像認識しにくいため、見え方判定部132は、俯瞰画像を正対画像に変換するための補正パラメータを生成する。補正パラメータの生成にあたっては、既知の射影変換技術を使用することができる。
推論対象データ生成部134は、推論対象データ生成部134で生成された補正パラメータを用いて、画像データで示される画像の色、明るさ、傾き又は角度等を変換して、変換された推論対象画像を示す推論対象データを生成する。生成された推論対象データは、推論実行部139に与えられる。
推論実行部139は、推論対象データ生成部134により生成された推論対象データに対し、推論モデル記憶部138に記憶されている推論モデルを使用して、機械学習による推論により物体検出処理を行う。ここでは、専用装置等で一般的な環境向けの教師データを使用して学習された推論モデルが使用されてもよく、ネットワーク101に接続された管理サーバ110等の他の機器から配信された推論モデルが使用されてもよい。
ここで、推論実行部139で得られる推論結果は、推論対象データ生成部134による画像変換後の推論対象データに対しての物体領域情報とラベル情報とになっている。そのため、推論結果処理部136は、推論実行部139から与えられる推論結果を、推論対象データの生成に用いた補正パラメータを用いて、画像変換前の元の画像に対応するように変換等することで、認識結果を生成する。
認識結果は、ネットワーク101で接続されている管理サーバ110に送られて、管理サーバ110がその情報を活用してもよい。また、認識結果は、画像データとともに図示しない表示装置に送られて、その表示装置が認識結果を表示してもよい。
推論結果処理部136で得られた認識結果は、生成実行部137にも送信され、画像変換前の元の画像データに対して認識結果を付与することで、教師データが生成される。生成された教師データは、追加学習実行部140に送られ、追加学習実行部140で、推論モデルの追加学習が実行される。
以上に記載された見え方判定部132、データ処理部133、推論実行部139及び追加学習実行部140の一部又は全部は、例えば、図3(A)に示されているように、メモリ10と、メモリ10に格納されているプログラムを実行するCPU(Central Processing Unit)等のプロセッサ11とにより構成することができる。言い換えると、映像解析装置130は、コンピュータにより実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
また、見え方判定部132、データ処理部133、推論実行部139及び追加学習実行部140の一部又は全部は、例えば、図3(B)に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)又はFPGA(Field Programmable Gate Array)等の処理回路12で構成することもできる。
なお、推論モデル記憶部138は、HDD(Hard Disc Drive)等の記憶装置で構成することができる。
図4は、実施の形態1における機械学習を使用した画像認識及び追加学習の動作を示すフローチャートである。
まず、入力I/F部131は、接続されているカメラ120から画像データを取得すると、その画像データを見え方判定部132に与える。見え方判定部132は、その画像データで示される画像の全体の明るさ、彩度、コントラスト、色の偏り、又は、画像に含まれている物の傾き等の情報に基づいて、その画像データで示される画像が、画像認識しにくい見え方であるか否かの見え方判定を行う(S10)。
そして、見え方判定部132は、見え方判定の結果により、画像変換が必要か否かを判定する(S11)。例えば、画像のコントラストが低い場合、全体が明るすぎて物体が見えにくい場合、又は、ノイズがのっている場合は、画像認識しにくい見え方であるため、これらの場合には、見え方判定部132は、画像変換が必要と判定する。
具体的には、設置環境が変更された場合、輝度値が想定の範囲外にある場合、f値が想定の範囲外にある場合、k-means法等のクラスタリング手法を用いて、既に与えられているデータ間の距離が予め定められた閾値を超えている場合、又は、機械学習を用いた異常判定により異常と判定された場合に、見え方判定部132は、画像変換が必要と判定する。
また、予め推論モデルの学習に使用された教師データの画像の見え方(例えば、画像の明るさ、コントラスト比又は被写体の撮影角度等)がわかっている場合は、与えられた画像データで示される画像の見え方との乖離度から画像変換要否判定を行うこともできる。
画像変換が必要と判定された場合(S11でYes)には、処理はステップS12に進み、画像変換が必要ではないと判定された場合(S11でNo)には、処理はステップS13に進む。
ステップS12では、見え方判定部132は、画像変換に使用する補正パラメータを生成する。そして、見え方判定部132は、補正パラメータ及び画像データを推論対象データ生成部134に与えて、処理はステップS14に進む。
一方、ステップS13では、見え方判定部132は、画像変換なしとする補正パラメータを生成する。そして、見え方判定部132は、補正パラメータ及び画像データを推論対象データ生成部134に与えて、処理はステップS14に進む。
ステップS14では、推論対象データ生成部134は、見え方判定部132から与えられた補正パラメータを用いて、画像データで示される画像の色、明るさ、傾き又は角度等を変換すること等により、推論対象画像を生成し、その推論対象画像を示す推論対象データを生成する。
次に、推論実行部139は、推論対象データ生成部134で生成された推論対象データに対して、推論モデル記憶部138に記憶されている学習済みの推論モデルを用いた機械学習による推論を実行する(S15)。そして、その機械学習推論の推論結果は、推論結果処理部136に与えられる。
ここで、推論結果は、物体識別であれば、物体が何であるかを示すラベルと推論の確からしさを示す尤度情報とを含み、物体検出であれば、物体領域を示す座標情報と、その物体が何であるかを示すラベルと、推論の確からしさを示す尤度情報とを含む。なお、ここで得られる推論結果は、画像変換後の推論対象データに対しての推論結果となる。例えば、物体検出結果を元の画像データで示される画像に重畳して表示したい場合、推論結果をそのまま重畳すると座標位置にずれが生じ正しい表示が得られない。このため、次のステップS16での処理が行われる。
ステップS16では、推論結果処理部136は、推論実行部139から与えられる推論結果を、推論対象データの生成に用いた補正パラメータを用いて、画像変換前の元の画像に対応するように変換等することで、元の画像データに対応した推論結果である認識結果を生成する。認識結果は、出力I/F部141を介して、管理サーバ110に送信されるとともに、生成実行部137に与えられる。
生成実行部137は、画像変換前の元の画像データに、認識結果を付与することで、教師データを生成する(S17)。ここで、教師データに使用されるデータは、認識結果の尤度により採用の可否が選択されてもよい。
教師データが生成されると、追加学習実行部140は、推論モデルの追加学習を実行する(S18)。追加学習で生成された推論モデルは、推論モデル記憶部138に記憶され、カメラ120から入力された画像データを教師データとした推論モデルの設置環境適応学習が行われる。
以上のように、実施の形態1によれば、入力された画像データで示される画像に対する見え方を判定し、画像認識しやすく変換してから機械学習による推論を行うことで、画像認識精度を向上でき、かつ、物体領域の検出とラベル付与とを一度に行うYOLO又はSSD等の幅広いアルゴリズムに同じ枠組みで適用することができる。また、画像の認識結果については、元の画像データに合うように推論結果に変換等を行うことで、元の画像データに対する正しい認識結果を得ることができる。
さらに、カメラ120から入力される画像データを教師データとして推論モデルの追加学習を行うことで、推論モデルの設置環境適応が自動でできるようになる。このため、人手で教師データを用意する手間を省くことができる。これにより、各々のカメラ120に対する個別の推論モデルを用意する手間を省くことができ、個別の推論モデルを個々に設定及び管理する手間も省くことができる。
以上のように、実施の形態1では、一つの映像解析装置130内で、画像の見え方判定、各種情報変換処理、推論実行処理及び追加学習処理を行うよう構成したが、実施の形態1は、このような例に限定されない。これらの処理は、他の装置で分担して行われてもよい。この場合、推論対象データ生成部134で生成される推論対象データ、推論実行部139から出力される推論結果、又は、生成実行部137で生成される追加学習用の教師データは、ネットワーク101を介してそれぞれの装置に送受信されることとなる。
なお、入力された画像データで示される画像の変換、推論実行又は追加学習等の実行を、周辺機器又はサーバ等の他の装置で行わせるようにした場合、推論対象データ又は追加学習用の教師データは、ネットワークを介して送受信されることになるため、不要なデータの送受信を抑止する必要がある。実施の形態1では、単に様々なパターンの推論対象データ又は追加学習用の教師データを追加するのではなく、設置環境に適応して認識精度を向上させるために必要なデータのみが送受信対象となるため、通信負荷を抑制することができる。
実施の形態2.
図1に示されているように、実施の形態2における映像監視システム200は、管理サーバ110と、複数のカメラ120-1~120-Nと、複数の映像解析装置230-1~230-Nとを備える。
実施の形態2における映像監視システム200の管理サーバ110及びカメラ120は、実施の形態1における映像監視システム100の管理サーバ110及びカメラ120と同様である。
なお、映像解析装置230-1~230-Nの各々を特に区別する必要がない場合には、映像解析装置230という。
図5は、実施の形態2に係る映像解析装置230の構成を概略的に示すブロック図である。
映像解析装置230は、入力I/F部131と、見え方判定部232と、データ処理部133と、推論モデル記憶部138と、推論実行部139と、追加学習実行部140と、出力I/F部141と、精度低下状態検出部242とを備える。
実施の形態2における映像解析装置230における入力I/F部131、データ処理部133、推論モデル記憶部138、推論実行部139、追加学習実行部140及び出力I/F部141は、実施の形態1における映像解析装置130における入力I/F部131、データ処理部133、推論モデル記憶部138、推論実行部139、追加学習実行部140及び出力I/F部141と同様である。
見え方判定部232は、初期状態として、画像変換なしとする補正パラメータを生成する。この場合、推論対象データ生成部134は、カメラ120から入力される画像データを推論対象データとして、推論実行部139に与える。なお、画像変換なしとする補正パラメータを、補正パラメータの初期値とする。
そして、見え方判定部232は、精度低下状態検出部242からの指示があった場合に、カメラ120から入力される画像データで示される画像の見え方を判定し、その画像に対する補正パラメータを生成して、補正パラメータを更新する。なお、見え方判定部232は、精度低下状態検出部242からの指示があった場合には、再度、補正パラメータを初期値に戻してもよい。
精度低下状態検出部242は、推論実行部139から与えられる推論結果の精度が低下した状態である精度低下状態を検出する。例えば、精度低下状態検出部242は、推論実行部139が出力する推論結果を監視し、機械学習による推論を用いた物体検出が正常にできているか否かを判定する。具体的には、精度低下状態検出部242は、予め定められた推論結果が、予め定められた期間得られない場合に、精度低下状態を検出する。予め定められた推論結果は、例えば、予め定められた閾値以上の尤度で物体が一つ以上検出されることとすることができる。
推論が正常にでき、精度低下状態が検出されていない場合には、カメラ120から入力される画像データを変換しなくても、学習済の推論モデルによる物体検出ができる状態であるため、精度低下状態検出部242は、見え方判定部232に、補正パラメータを変換なしに設定した状態である初期状態のまま処理を継続させる。
一方、精度低下状態が検出されている場合には、ノイズ、照度又はカメラ設置角度等の影響によりカメラ120から入力される画像データで示される画像の見え方の特性と、推論モデルの学習に使用された画像の見え方の特性とに乖離があり、うまく推論ができないと考えられる。そのため、精度低下状態検出部242は、精度低下状態を検出したことを示す精度低下状態検出通知を見え方判定部232に与える。これにより、見え方判定部232は、カメラ120から入力される画像データで示される画像の見え方を判定し、補正パラメータを生成する。推論対象データ生成部134は、補正パラメータに基づいて、入力された画像データを変換して、推論対象データを生成する。以降は、実施の形態1と同様に、推論実行、推論結果の変換、教師データの生成及び追加学習が実行される。
以上に記載された見え方判定部232及び精度低下状態検出部242も、例えば、図3(A)に示されているように、メモリ10と、プロセッサ11とにより構成することができる。
また、見え方判定部232及び精度低下状態検出部242の一部又は全部は、例えば、図3(B)に示されているように、処理回路12で構成することもできる。
図6は、実施の形態2における機械学習を使用した画像認識及び追加学習の動作を示すフローチャートである。
なお、図6に示されているフローチャートに含まれているステップの内、図4に示されているフローチャートと同様の処理を行っているステップについては、図4と同じ符号を付し、詳細な説明を省略する。
まず、入力I/F部131は、接続されているカメラ120から画像データを取得すると、その画像データを見え方判定部232に与える。そして、見え方判定部232は、初期状態として、画像変換なしとする補正パラメータを生成する(S20)。
次に、精度低下状態検出部242は、精度低下状態を検出したか否かを判定する(S21)。精度低下状態が検出された場合(S21でYes)には、精度低下状態検出部242は、精度低下状態検出通知を見え方判定部232に与えて、処理はステップS22に進む。精度低下状態が検出されていない場合(S21でNo)には、処理はステップS14に進む。
ステップS22では、見え方判定部232は、精度低下状態検出通知を受けて、接続されているカメラ120からの画像データで示される画像が、画像認識しにくい見え方であるか否かの見え方判定を行う。
そして、見え方判定部232は、見え方判定の結果により、画像変換が必要か否かを判定する(S23)。画像変換が必要と判定された場合(S23でYes)には、処理はステップS24に進み、画像変換が必要ではないと判定された場合(S23でNo)には、処理はステップS14に進む。
ステップS24では、見え方判定部232は、画像変換に使用する補正パラメータを生成して、補正パラメータを初期値から生成された値に更新する。そして、見え方判定部232は、補正パラメータ及び画像データを推論対象データ生成部134に与えて、処理はステップS14に進む。
図6のステップS14~S18での処理は、図4のステップS14~S18での処理と同様である。
なお、見え方判定部232は、例えば、物体検出であれば特定の閾値以上の尤度の物体領域が一つ以上検出される状態等のように、一定期間、推論処理がうまくできる状態が続いた場合には、ステップS24で更新された補正パラメータを初期値に戻すようにしてもよい。このような場合、精度低下状態検出部242は、精度回復状態検出通知を見え方判定部232に与えることで、補正パラメータを初期値に戻させる。
以上のように、実施の形態2によれば、画像データを変換しなくても画像認識ができる環境、又は、カメラ120から入力された画像データから生成した教師データよる追加学習が十分に進んだ状況において不要となる見え方判定処理及び画像変換処理を無駄に実行することがなくなる。このため、無駄な処理負荷をかけることなく、認識精度の改善ができ、かつ、画像認識速度の向上も図ることができる。
実施の形態3.
図1に示されているように、実施の形態3における映像監視システム300は、管理サーバ110と、複数のカメラ120-1~120-Nと、複数の映像解析装置330-1~330-Nとを備える。
実施の形態3における映像監視システム300の管理サーバ110及びカメラ120は、実施の形態1における映像監視システム100の管理サーバ110及びカメラ120と同様である。
なお、映像解析装置330-1~330-Nの各々を特に区別する必要がない場合には、映像解析装置330という。
図7は、実施の形態3に係る映像解析装置330の構成を概略的に示すブロック図である。
映像解析装置330は、入力I/F部131と、見え方判定部332と、データ処理部133と、推論モデル記憶部138と、推論実行部139と、追加学習実行部340と、出力I/F部141と、処理制御部343とを備える。
実施の形態3における映像解析装置330における入力I/F部131、データ処理部133、推論モデル記憶部138、推論実行部139及び出力I/F部141は、実施の形態1における映像解析装置130における入力I/F部131、データ処理部133、推論モデル記憶部138、推論実行部139及び出力I/F部141と同様である。
見え方判定部332は、カメラ120から入力される画像データで示される画像の見え方を判定し、その画像に対する補正パラメータを生成する。
ここで、見え方判定部332は、処理制御部343から停止命令を受けると、カメラ120から入力される画像データで示される画像の見え方を判定する見え方判定処理、及び、補正パラメータを生成する補正パラメータ生成処理を停止する。
また、見え方判定部332は、処理制御部343から停止解除命令を受けると、見え方判定処理及び補正パラメータ生成処理を再開する。
追加学習実行部340は、生成実行部137が生成した教師データを使用して推論モデルの追加学習を行う。
ここで、追加学習実行部340は、処理制御部343から停止命令を受けると、生成実行部137が生成した教師データを使用して推論モデルの追加学習を行う追加学習処理を停止する。
また、追加学習実行部340は、処理制御部343から停止解除命令を受けると、追加学習処理を再開する。
処理制御部343は、見え方判定部332又は追加学習実行部340に処理を行わせるか否かを制御する。
処理制御部343は、処理負荷監視部344と、学習進度判定部345とを備える。
処理負荷監視部344は、映像解析装置330の処理負荷を監視し、その処理負荷が予め定められた閾値以上になった場合に、見え方判定部132及び追加学習実行部140に停止命令を与える。
また、処理負荷監視部344は、その処理負荷が予め定められた閾値未満になると、見え方判定部132及び追加学習実行部140に停止解除命令を与える。
ここで、処理負荷は、映像解析装置330に備えられているCPU、GPU(Graphics Processing Unit)等のプロセッサの使用率、FPGA等の処理回路の使用率、処理待ちタスクの数、又は、その時点での処理応答性能から判定することができる。処理応答性能は、タスクの開始からその終了までの時間により判定することができる。
学習進度判定部345は、追加学習の成熟度を判定し、追加学習の成熟度が予め定められた閾値以上になると、推論モデルの設置環境適用が十分に進んだとみなし、見え方判定部332及び追加学習実行部340に停止命令を与える。
追加学習の成熟度は、入力される画像データを変換せずに推論を行った場合に、予め定められた閾値以上の尤度の物体検出結果が、予め定められた期間以上出力されるか否かにより判定することができる。
また、追加学習の成熟度は、追加学習実行部340で実行した追加学習に使用した教師データの数が予め定められた数以上になったか否かにより判定することもできる。
以上に記載された見え方判定部332、追加学習実行部340及び処理制御部343も、例えば、図3(A)に示されているように、メモリ10と、プロセッサ11とにより構成することができる。
また、見え方判定部332、追加学習実行部340及び処理制御部343の一部又は全部は、例えば、図3(B)に示されているように、処理回路12で構成することもできる。
図8は、実施の形態3における機械学習を使用した画像認識及び追加学習の動作を示すフローチャートである。
なお、図8に示されているフローチャートに含まれているステップの内、図4又は図6に示されているフローチャートと同様の処理を行っているステップについては、図4又は図6と同じ符号を付し、詳細な説明を省略する。
図8のステップS20での処理は、図6のステップS20での処理と同様である。但し、図8においては、ステップS20での処理の後に、処理はステップS30に進む。
ステップS30では、学習進度判定部345は、追加学習の成熟度が予め定められた閾値以上であるか否かを判断する。追加学習の成熟度が予め定められた閾値未満である場合(S30でNo)には、処理はステップS31に進み、追加学習の成熟度が予め定められた閾値以上である場合(S30でYes)には、処理はステップS32に進む。
ステップS31では、処理負荷監視部344は、映像解析装置330の処理負荷を監視し、その処理負荷が予め定められた閾値以上であるか否かを判定する。処理負荷が予め定められた閾値以上である場合(S31でYes)には、処理はステップS32に進み、処理負荷が予め定められた閾値未満である場合(S31でNo)には、処理はステップS33に進む。
ステップS32では、処理負荷監視部344又は学習進度判定部345は、見え方判定部332及び追加学習実行部340に、停止命令を発行する。そして、処理はステップS34に進む。
一方、ステップS33では、処理負荷監視部344は、見え方判定部332及び追加学習実行部340に、停止解除命令を発行する。そして、処理はステップS34に進む。
ステップS34では、見え方判定部332は、見え方判定処理の停止中であるか否かを判定する。見え方判定処理の停止中である場合(S34でYes)には、処理はステップS14に進み、見え方判定処理の停止中ではない場合(S34でNo)には、処理はステップS22に進む。
図8におけるステップS22~S24での処理は、図6におけるステップS22~S24での処理と同様である。
また、図8におけるステップS14~S17での処理は、図4におけるステップS14~S17での処理と同様である。但し、図8においては、ステップS17での処理の後に、処理はステップS35に進む。
ステップS35では、追加学習実行部340は、追加学習実行処理の停止中であるか否かを判定する。追加学習実行処理の停止中である場合(S35でYes)には、処理はステップS36に進み、追加学習実行処理の停止中ではない場合(S35でNo)には、処理はステップS37に進む。
ステップS36では、追加学習実行部340は、推論モデル記憶部138に教師データの蓄積のみを行う。
一方、ステップS37では、追加学習実行部340は、蓄積された追加学習による推論モデルの追加学習を実行する。
以上のように、実施の形態3によれば、映像解析装置330の処理負荷に余裕がある時にのみ、各処理が行われるため、物体検出処理の応答処理速度を阻害することなく推論精度の改善が可能になる。
また、追加学習が十分に進んだ時点では不要となる処理を停止させることで、余計な処理を実行することで映像解析装置330の処理負荷が無駄に高くなることを抑止できる。
なお、ステップS32で停止命令が発行されると、見え方判定部332は、画像データで示される画像に対する見え方判定、並びに、それに基づく補正パラメータの生成及び更新処理を停止するが、停止を行う際に、補正パラメータを初期値に戻してもよい。画像変換を行わないように補正パラメータを初期値に戻すことで、推論対象データ生成部134が画像データの変換を行わないようにすることができる。
また、見え方判定部332は、明るさ、色又は傾き等の種別毎に補正パラメータを管理し、停止命令が発行された際に、種別毎に補正パラメータの更新可否を設定できるようにしてもよい。例えば、物体の見える角度を変更するために行う射影変換のように、重い変換処理に関するパラメータ(例えば、傾き又は角度)については、見え方判定部332は、補正パラメータを初期値のまま更新しないようにし、明るさ調整等の比較的軽い変換処理に関するパラメータについては更新するようにしてもよい。
言い換えると、見え方判定部332は、停止命令を受けると、補正パラメータの内、予め定められた少なくとも一つの値を生成する一部生成処理を停止するようにしてもよい。このような場合、見え方判定部332は、停止解除命令を受けると、その一部生成処理を再開する。
このようにすることで、処理負荷状況に応じて実行可能な画像変換ができるようになるため、画像認識精度の改善と処理負荷上昇の抑止を両立した制御が可能になる
映像解析装置330の動作モードを設定できるようにして、処理負荷監視部344及び学習進度判定部345の判定結果に、映像解析装置330の各部の処理条件を設定できるようにしてもよい。
なお、実施の形態3においては、処理制御部343には、処理負荷監視部344及び学習進度判定部345の両方が設けられているが、これらの何れか一方のみが設けられていてもよい。
ここで、処理制御部343に学習進度判定部345のみが設けられている場合には、学習進度判定部345は、追加学習の成熟度が予め定められた閾値以上であるか否かを判断する。追加学習の成熟度が予め定められた閾値未満の間は停止解除命令を見え方判定部332及び追加学習実行部340に与え、習熟度が閾値以上となった場合に、停止命令を見え方判定部332及び追加学習実行部340に与えてもよい。
実施の形態4.
図1に示されているように、実施の形態4における映像監視システム400は、管理サーバ110と、複数のカメラ120-1~120-Nと、複数の映像解析装置430-1~430-Nとを備える。
実施の形態4における映像監視システム400の管理サーバ110及びカメラ120は、実施の形態1における映像監視システム100の管理サーバ110及びカメラ120と同様である。
なお、映像解析装置430-1~430-Nの各々を特に区別する必要がない場合には、映像解析装置430という。
図9は、実施の形態4に係る映像解析装置430の構成を概略的に示すブロック図である。
映像解析装置430は、入力I/F部131と、見え方判定部432と、データ処理部133と、推論モデル記憶部138と、推論実行部139と、追加学習実行部140と、出力I/F部141とを備える。
実施の形態4における映像解析装置430における入力I/F部131、データ処理部133、推論モデル記憶部138、推論実行部139、追加学習実行部140及び出力I/F部141は、実施の形態1における映像解析装置130における入力I/F部131、データ処理部133、推論モデル記憶部138、推論実行部139、追加学習実行部140及び出力I/F部141と同様である。但し、推論実行部139は、推論結果を見え方判定部432にも与える。
実施の形態4における見え方判定部432は、推論実行部139で行う、機械学習による推論で推論精度が高くなるように、推論対象データを生成するのに最適な補正パラメータを探索する。そして、見え方判定部432は、探索された補正パラメータを推論対象データ生成部134に与える。推論対象データ生成部134は、見え方判定部432から与えられた最適な補正パラメータで画像変換し、推論対象データを生成する。
図10は、最適な補正パラメータを探索する動作を示すフローチャートである。
まず、見え方判定部432は、補正パラメータ及び補正パラメータ候補を、画像変換なしとする初期値に設定する(S40)。
見え方判定部432は、最適な補正パラメータ候補を識別するための識別番号Nを「0」に設定する(S41)。
見え方判定部432は、識別番号Nに「1」をインクリメントする(S42)。
次に、見え方判定部432は、補正パラメータの全ての組み合わせで推論を実行したか否かを判定する(S43)。補正パラメータの全ての組み合わせで推論を実行した場合(S43でYes)には、処理を終了し、推論を行っていない組み合わせが残っている場合(S43でNo)には、処理はステップS44に進む。
ステップS44では、見え方判定部432は、補正パラメータの、既に推論を行った組み合わせから、少なくとも一つの値を変化させることにより、識別番号Nに対応する補正パラメータ候補を生成する。そして、見え方判定部432は、識別番号Nに対応する補正パラメータ候補を推論対象データ生成部134に与える。
なお、N=1の場合には、見え方判定部432は、補正パラメータ候補を初期値とし、補正パラメータの推論結果の尤度を「0」に設定する。
推論対象データ生成部134は、見え方判定部432から与えられた補正パラメータ候補を用いて画像データで示される画像を画像変換することで、推論対象データを生成する(S45)。推論対象データ生成部134は、生成された推論対象データを推論実行部139に与える。
推論実行部139は、推論対象データ生成部134から与えられた推論対象データに対して推論を実行し、識別番号Nに対応する推論結果を生成する(S46)。推論実行部139は、生成された推論結果を見え方判定部432に与える。
見え方判定部432は、識別番号Nに対応する推論結果の尤度が、補正パラメータに対応する推論結果の尤度よりも大きいか否かを判定する(S47)。識別番号Nに対応する推論結果の尤度が、補正パラメータに対応する推論結果の尤度よりも大きい場合(S47でYes)には、処理はステップS48に進み、識別番号Nに対応する推論結果の尤度が、補正パラメータに対応する推論結果の尤度以下である場合(S47でNo)には、処理はステップS42に戻る。
ステップS48では、識別番号Nに対応する補正パラメータ候補を補正パラメータに設定する。そして、処理はステップS42に戻る。
以上のように、実施の形態4によれば、推論精度が高くなるように、最適な補正パラメータを設定することができるため、予め推論モデルの学習に使用した教師データの画像の見え方特性がわかっていない場合でも、推論精度を高くすることができる。
なお、以上の最適な補正パラメータの探索方法は一例であり、例えば、見え方判定部432は、推論結果の尤度が予め定められた閾値以上になる補正パラメータを見つけた時点で処理を打ち切るようにしてもよい。
また、見え方判定部432は、最適な補正パラメータ探索処理を一定時間間隔で行うようにして、時刻毎の最適な補正パラメータを生成するようにしてもよい。このような時刻毎の最適な補正パラメータを記憶しておくことで、推論対象データ生成部134は、時刻毎に、最適な補正パラメータを用いて画像変換を行うことができるため、日光による照度の変化等、周期的に変化する状況に対しては、毎回、見え方判定処理の負荷をかけなくても認識精度を向上させることができる。
100,200,300,400 映像監視システム、 110 管理サーバ、 120 カメラ、 130,230,330,430 映像解析装置、 131 入力I/F部、 132,232,332,432 見え方判定部、 133 データ処理部、 134 推論対象データ生成部、 135 教師データ生成部、 136 推論結果処理部、 137 生成実行部、 138 推論モデル記憶部、 139 推論実行部、 140,340 追加学習実行部、 141 出力I/F部、 242 精度低下状態検出部、 343 処理制御部、 344 処理負荷監視部、 345 学習進度判定部。

Claims (13)

  1. 画像データにより示される画像の見え方を判定した結果に基づいて、前記画像の変換に使用される補正パラメータを生成する見え方判定部と、
    前記補正パラメータを用いて前記画像を変換し、前記変換された画像を示す推論対象データを生成する推論対象データ生成部と、
    前記推論対象データに対して、機械学習による推論を実行することで、推論結果を生成する推論実行部と、
    前記推論結果と前記画像データとを関連付けることで、教師データを生成する教師データ生成部と、
    前記教師データを使用して推論モデルの追加学習を行う追加学習実行部と、を備えること
    を特徴とする情報処理装置。
  2. 前記推論結果の精度が低下した状態である精度低下状態を検出する精度低下状態検出部をさらに備え、
    前記見え方判定部は、前記精度低下状態が検出された場合に、前記画像の見え方を判定した結果に基づいて、前記補正パラメータを生成すること
    を特徴とする請求項1に記載の情報処理装置。
  3. 前記精度低下状態検出部は、予め定められた推論結果が、予め定められた期間得られない場合に、前記精度低下状態を検出すること
    を特徴とする請求項2に記載の情報処理装置。
  4. 前記情報処理装置の処理負荷を監視し、前記処理負荷が予め定められた閾値以上である場合に、前記見え方判定部及び前記追加学習実行部に停止命令を与える処理負荷監視部をさらに備え、
    前記見え方判定部は、前記停止命令を受けると、前記画像の見え方を判定する見え方判定処理及び前記補正パラメータを生成する補正パラメータ生成処理を停止し、
    前記追加学習実行部は、前記追加学習を行う追加学習処理を停止すること
    を特徴とする請求項1から3の何れか一項に記載の情報処理装置。
  5. 前記処理負荷監視部は、前記停止命令を与えた後に、前記処理負荷が前記予め定められた閾値未満となった場合には、前記見え方判定部及び前記追加学習実行部に停止解除命令を与え、
    前記見え方判定部は、前記停止解除命令を受けると、前記見え方判定処理及び前記補正パラメータ生成処理を再開し、
    前記追加学習実行部は、前記停止解除命令を受けると、前記追加学習処理を再開すること
    を特徴とする請求項4に記載の情報処理装置。
  6. 前記情報処理装置の処理負荷を監視し、前記処理負荷が予め定められた閾値以上である場合に、前記見え方判定部及び前記追加学習実行部に停止命令を与える処理負荷監視部をさらに備え、
    前記補正パラメータは、複数の種別の値を含み
    前記見え方判定部は、前記停止命令を受けると、前記補正パラメータの内、予め定められた少なくとも一つの値を生成する一部生成処理を停止し、
    前記追加学習実行部は、前記追加学習を行う追加学習処理を停止すること
    を特徴とする請求項1から3の何れか一項に記載の情報処理装置。
  7. 前記処理負荷監視部は、前記停止命令を与えた後に、前記処理負荷が前記予め定められた閾値未満となった場合には、前記見え方判定部及び前記追加学習実行部に停止解除命令を与え、
    前記見え方判定部は、前記停止解除命令を受けると、前記一部生成処理を再開し、
    前記追加学習実行部は、前記停止解除命令を受けると、前記追加学習処理を再開すること
    を特徴とする請求項6に記載の情報処理装置。
  8. 前記追加学習の成熟度を判定し、前記成熟度が予め定められた閾値以上である場合に、前記見え方判定部及び前記追加学習実行部に停止命令を与える学習進度判定部をさらに備え、
    前記見え方判定部は、前記停止命令を受けると、前記画像の見え方を判定する見え方判定処理及び前記補正パラメータを生成する補正パラメータ生成処理を停止し、
    前記追加学習実行部は、前記追加学習を行う追加学習処理を停止すること
    を特徴とする請求項1から3の何れか一項に記載の情報処理装置。
  9. 前記学習進度判定部は、前記停止命令を与えた後に、前記成熟度が予め定められた閾値未満となった場合には、前記見え方判定部及び前記追加学習実行部に停止解除命令を与え、
    前記見え方判定部は、前記停止解除命令を受けると、前記見え方判定処理及び前記補正パラメータ生成処理を再開し、
    前記追加学習実行部は、前記停止解除命令を受けると、前記追加学習処理を再開すること
    を特徴とする請求項8に記載の情報処理装置。
  10. 前記見え方判定部は、前記推論結果の精度が高くなるように、最適な補正パラメータを探索すること
    を特徴とする請求項1に記載の情報処理装置。
  11. 前記見え方判定部は、時刻毎に、前記最適な補正パラメータを探索し、
    前記推論対象データ生成部は、時刻毎に、前記最適な補正パラメータを用いて前記画像を変換することで、前記推論対象データを生成すること
    を特徴とする請求項10に記載の情報処理装置。
  12. コンピュータを、
    画像データにより示される画像の見え方を判定した結果に基づいて、前記画像の変換に使用される補正パラメータを生成する見え方判定部、
    前記補正パラメータを用いて前記画像を変換し、前記変換された画像を示す推論対象データを生成する推論対象データ生成部、
    前記推論対象データに対して、機械学習による推論を実行することで、推論結果を生成する推論実行部、
    前記推論結果と前記画像データとを関連付けることで、教師データを生成する教師データ生成部、及び、
    前記教師データを使用して推論モデルの追加学習を行う追加学習実行部、として機能させること
    を特徴とするプログラム。
  13. 見え方判定部が、画像データにより示される画像の見え方を判定した結果に基づいて、前記画像の変換に使用される補正パラメータを生成し、
    推論対象データ生成部が、前記補正パラメータを用いて前記画像を変換し、前記変換された画像を示す推論対象データを生成し、
    推論実行部が、前記推論対象データに対して、機械学習による推論を実行することで、推論結果を生成し、
    教師データ生成部が、前記推論結果と前記画像データとを関連付けることで、教師データを生成し、
    追加学習実行部が、前記教師データを使用して推論モデルの追加学習を行うこと
    を特徴とする情報処理方法。
JP2019059587A 2019-03-27 2019-03-27 情報処理装置、プログラム及び情報処理方法 Active JP7446060B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019059587A JP7446060B2 (ja) 2019-03-27 2019-03-27 情報処理装置、プログラム及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019059587A JP7446060B2 (ja) 2019-03-27 2019-03-27 情報処理装置、プログラム及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2020160804A JP2020160804A (ja) 2020-10-01
JP7446060B2 true JP7446060B2 (ja) 2024-03-08

Family

ID=72643501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019059587A Active JP7446060B2 (ja) 2019-03-27 2019-03-27 情報処理装置、プログラム及び情報処理方法

Country Status (1)

Country Link
JP (1) JP7446060B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023008983A1 (ko) 2021-07-30 2023-02-02 주식회사 딥엑스 이미지 신호 프로세서의 제어 방법 및 이를 수행하는 제어 장치
WO2023175727A1 (ja) * 2022-03-15 2023-09-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理方法及びプログラム
WO2024069886A1 (ja) * 2022-09-29 2024-04-04 株式会社ニコン 演算装置、演算システム、ロボットシステム、演算方法及びコンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353231A (ja) 1999-06-10 2000-12-19 Mitsubishi Electric Corp 画像処理装置
WO2006129601A1 (ja) 2005-06-03 2006-12-07 Nikon Corporation 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
WO2015145917A1 (ja) 2014-03-28 2015-10-01 日本電気株式会社 画像補正装置、画像補正方法およびプログラム記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3329202B2 (ja) * 1996-08-07 2002-09-30 ケイディーディーアイ株式会社 ニューラルネットワーク学習方式

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353231A (ja) 1999-06-10 2000-12-19 Mitsubishi Electric Corp 画像処理装置
WO2006129601A1 (ja) 2005-06-03 2006-12-07 Nikon Corporation 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
WO2015145917A1 (ja) 2014-03-28 2015-10-01 日本電気株式会社 画像補正装置、画像補正方法およびプログラム記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sayanan Sivaraman et al.,A General Active-Learning Framework for On-Road Vehicle Recognition and Tracking,IEEE Transactions on Intelligent Transportation Systems,2010年6月,Vol.11,No.2,p.267-276

Also Published As

Publication number Publication date
JP2020160804A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
US11380232B2 (en) Display screen quality detection method, apparatus, electronic device and storage medium
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
CN111246091B (zh) 一种动态自动曝光控制方法和装置及电子设备
CN104966304B (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
US10445590B2 (en) Image processing apparatus and method and monitoring system
US20150262068A1 (en) Event detection apparatus and event detection method
JP4811653B2 (ja) 物体検出装置
US11830251B2 (en) Video monitoring apparatus, method of controlling the same, computer-readable storage medium, and video monitoring system
JP2018026115A (ja) 火炎検出方法、火炎検出装置及び電子機器
JP2018205900A (ja) 監視システム及び監視方法
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
US10455144B2 (en) Information processing apparatus, information processing method, system, and non-transitory computer-readable storage medium
JP2008259161A (ja) 目標追尾装置
US20200311440A1 (en) Image processing apparatus and image processing method for image analysis process
KR101396838B1 (ko) 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
US10997398B2 (en) Information processing apparatus, authentication system, method of controlling same, and medium
EP3543902B1 (en) Image processing apparatus and method and storage medium storing instructions
JP5142416B2 (ja) 物体検出装置
JP2007510994A (ja) ビデオ画像内でのオブジェクトトラッキング
JP2020071717A (ja) 情報処理装置、情報処理方法及びプログラム
US20220157050A1 (en) Image recognition device, image recognition system, image recognition method, and non-transitry computer-readable recording medium
KR20220151130A (ko) 영상 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램
JP5505936B2 (ja) 画像処理ユニット、および画像処理プログラム
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230131

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230330

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240227

R150 Certificate of patent or registration of utility model

Ref document number: 7446060

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150