JPWO2017047494A1

JPWO2017047494A1 - 画像処理装置

Info

Publication number: JPWO2017047494A1
Application number: JP2017539866A
Authority: JP
Inventors: 佑一郎小宮; 山口　宗明; 宗明山口
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2015-09-18
Filing date: 2016-09-08
Publication date: 2018-07-12
Anticipated expiration: 2036-09-08
Also published as: WO2017047494A1; US20180352177A1; JP6505237B2; SG11201801781RA

Abstract

入力画像が受けた外乱の影響に対して適応的に補正処理と事象検知を行う画像処理装置が開示される。装置は、外乱検出部102と画像補正部103と事象検知部104とを有する。外乱検出部は、入力画像を解析し、前記入力画像が受けた複数の外乱の影響を検出し、外乱情報として出力する、画像補正部は、外乱情報に応じて入力映像に補正処理を施し、補正された画像114と実際に施された補正処理を示す補正情報とを出力する。外乱検出部は、外乱情報と補正情報とから、補正された画像に残留する複数の外乱の度合いを推定し、外乱の度合いに応じて選択した検知処理を用いて前記特定の事象を検知する。複数の外乱は、例えば、霞、陽炎及びノイズの３つである。

Description

本発明は、画像処理装置に関するものである。

近年、監視カメラの映像から、起こった事象を自動検知する機能の需要が高まっている。自動検知機能には、例えば、映像内の被写体の異常動作を検知する技術や、監視カメラに映った特定の人物のみを検知する技術などがある。

これらの検知技術の性能を引き出すには、高画質な入力映像が望ましいと考えられている。しかし、実際に監視カメラが設置される場所は様々であり、特に野外に設置された場合は天候や時刻変化による照明条件の変化や、霞や陽炎など外乱の影響により、その映像が劣化する場合がある。また、カメラの設置場所やレンズの焦点距離（ズーム倍率）によっては、本来観測したい被写体に対して十分な解像度が得られない。このような場合、検知技術の精度が下がり、見逃し等が発生してしまう場合がある。

このような問題に対しては、画像が受けた劣化を補正する技術や、画質を向上する技術の開発が行われている。例えば、霞補正技術、陽炎補正技術、画像鮮鋭化技術などが挙げられる。霞補正技術は霞等の影響によって、低下したコントラストを復元することのできる技術である。陽炎補正技術は陽炎等によって生じた被写体の歪みを補正する技術である。画像鮮鋭化技術は適応的なエッジ強調処理によって画像の解像度や解像感を向上させる技術である。

これらの技術は監視カメラの視認性向上のための技術であるが、必ずしも良い効果を生むわけでは無い。霞補正技術はコントラスト強調によって、ノイズ成分を強調してしまうこともある。陽炎補正技術は動く物体が存在する領域にボヤケを生じさせてしまう場合がある。画像鮮鋭化技術はノイズ成分の多い画像に対しては、ノイズ成分を強調してしまう場合がある。

また、これらの画像処理技術は画面の局所ごとの状態に応じて、処理を適応的に変更させるため、その演算量は必ずしも小さく無い。処理能力の低い演算器を用いてすべての処理を実行しようとすると、リアルタイム性を失ってしまう場合がある。

先行技術文献としては、例えば、特許文献１に自然環境の変化等によって入力映像が監視システムの運用に不適応な状況になっても、映像状態の異常を検知でき、かつ、監視環境の異常を認識する発明が開示されている。
また、他の先行技術文献としては、例えば、特許文献２に全体的又は部分的に画像のコントラストが低下した画像に対し階調補正を施すことで安定して物体を検知する発明が開示されている。また、特許文献３及び４に時間平滑化をベースとした陽炎補正の発明が開示されている。

特許第５７１０２３０号公報特開２０１３−１８６６３５号公報特開２０１４−２０６７７２号公報特許第５７８７４５６号公報

上述したように、事象検知の性能向上を意図して行われる入力画像の補正処理は、無視できない処理コストがかかる上、入力映像が外乱を受けていない場合などには不要であり、或いは画質や検知性能を逆に劣化させる可能性もあった。これらを限られたハードウェア資源で最適に実現する方法は、十分に確立されていない。更に、その最適化は映像源毎に自動的に為されることが望まれるところ、予め映像状態を診断する項目を定める特許文献１の方法では、多数の要因を網羅的に考慮することは困難である。またセキュリティ監視などの応用では、誤報率と見逃し率という、トレードオフの関係にある特有のファクタを考慮すべきである。一般的に、より危機的な事象ほど、低い見逃し率であることが好ましいとされる。

更に、多数のクラスに識別するような用途や、ディープラーニングを用いる場合では、所望の事象の検知性能を維持或いは向上させるように、入力画像補正処理を設計することが困難である。そのような識別器は、人の視覚ではほとんど感じられないような画像特徴を内部的に用いている可能性があり、視覚的な画質の向上は全く無意味かもしれない。むしろ、ズームや絞りなどの光学的撮影環境や、カメラ内部で希望せず行われる画像処理などの違いが、検知に重大な悪影響を及ぼし得る。
本発明は、前提となるハードウェアを用いて画像からの事象検知をするために、前処理を適切に行うことを目的とする。

本発明の画像処理装置は、外乱検出部と画像補正部と事象検知部を有する画像処理装置であって、画像補正部は外乱検出部から出力される外乱情報に基づいて画像の補正方法を切り替える。外乱情報は、例えば、外乱レベルであり、外乱レベルと各補正方法とから、残留外乱、もしくはそれが事象検知に与える影響（誤検知や見逃し）が評価される。そして、許容できる残留外乱もしくは影響であり、且つ与えられたハードウェアで処理可能であるような最適な補正方法が、自動的に決定される。
なお、外乱には、例えば霞によるコントラストの低下、陽炎による被写体の歪み、低照度下のゲインアップが原因となるノイズの強調などがあげられるが、これらに限定されず、撮影対象や環境の変化に伴いカメラが間接的に受ける影響を含みうる。

一例として、霞の影響は、画面を複数に分割したものであるブロック毎のコントラストの偏りから、推定されうる。陽炎の影響は、ブロックごとのヒストグラムの差分情報と画素値の差分情報の比較によって、推定されうる。ノイズの影響は、撮像部のパラメータから推定されうる。これらの推定は、それ自体の処理コストが十分低いことが望ましく、リアルタイム性や全てのフレームの処理は要求されない。
検知部は、畳み込みニューラルネットによっても実装することができ、動作中に学習してもよい。

本発明によれば、入力画像が受けた外乱の影響に応じて適切な補正処理をし、事象検知を実行できる。

一実施例に係る画像処理装置 1のブロック図。画像処理装置 1の外乱検出部 102のブロック図。外乱検出部 102で解析される画像について説明するための図。解析画像抽出部 201による解析画像の取得のフローチャート。画像処理装置 1の霞の影響検出部 202のブロック図。画像処理装置 1の陽炎の影響検出部 203のブロック図。画像処理装置 1の外乱レベルの決定法のフローチャート。画像処理装置 1の事象検知部 104のブロック図。検知処理部 503における閾値関数T()の作用を説明する図第2実施例に係る画像処理装置 101のブロック図。画像処理装置 101の事象検知部134のブロック図。

以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は一実施例に係る画像処理装置 1のブロック図である。画像処理装置 1は、外乱検出部 102、画像補正部103、事象検知部 104で構成されている。
画像処理装置 1は、撮像部 101からの入力画像（画像信号） 111から事象を検知して出力する。画像処理装置 1は、例えば、機能の一部を撮像部 101に持たせて分散的に処理したり、複数の撮像部 101からの入力画像を1つの統合サーバ等で集中的に処理したりする様態で実現することもできる。

撮像部 101は、被写体を動画として撮影し、外乱検出部102と画像補正部 103の入力画像 111として出力する。また、撮影時の設定パラメータ 112を外乱検出部 102に出力する。
外乱検出部 102は、入力画像 111を解析し、入力画像 111が受けた外乱の影響を検出し、外乱情報 113として画像補正部 103と事象検知部 104に出力する。

外乱には、例えば、霞、陽炎、ノイズ等がある。外乱の推定には、撮像部 101の設定パラメータ 112を用いても良い。
出力される外乱情報 113は、例えば、外乱の強さ（入力画像111の劣化の度合い）を３段階のレベル（高・中・低）等で表すものである。

画像補正部 103は、外乱情報 113に応じて、入力映像 111に補正処理を行い、補正画像 114と補正情報 115を事象検知部 104に出力する。
補正処理には霞補正や陽炎補正などの外乱の影響を軽減する処理や、鮮鋭化（超解像）などの画質の向上を図る技術を使用する。必要な画像補正処理の処理量がリアルタイム化のための許容処理量を超える場合は、外乱情報 113を元に処理に優先順位をつけて、優先順位の高いもののみを処理する。優先順位は、例えば、外乱が強いほど高くなるように決定される。
補正情報 115は、その入力映像111に対して実際に為された補正処理を示す情報であり、補正の有無だけでなく、補正の強度或いは改善の程度、適用された領域範囲等の情報も含みうる。

事象検知部 104は、外乱情報 113と補正情報115に応じて、補正画像 114から事象検知する。
まず、事象検知部 104は、外乱情報 113と補正情報 115から、補正画像に残留した外乱の影響を推定する。推定した結果に応じて、検知処理もしくはそれらのパラメータを適応的に切り替える。

次に、入力画像 111が受けた外乱の影響を検出する方法について、図２〜図６を用いて説明する。
図２は本例の画像処理装置 1の外乱検出部 102のブロック図である。
図２において、外乱検出部 102は、解析画像抽出部 201と、霞の影響検出部 202と、陽炎の影響検出部 203と、外乱レベル判定部 204で構成されている。
解析画像抽出部 201は、入力画像 111から霞と陽炎の影響を検出するための画像ブロックを抽出し、霞解析対象画像 211と陽炎解析対象画像 212として出力する。

外乱レベル判定部 204は、入力した霞検出結果 213と陽炎検出結果 214と設定パラメータ 112から、霞によるコントラストの低下、陽炎による被写体の歪み、低照度下のゲインアップが原因となるノイズの影響を判定し、外乱情報 113として出力する。
入力画像のノイズの影響は、撮像部 101の設定パラメータ112によって推定できる。撮像部 101のＳＮ比（Signal to Noise ratio）は、撮像センサ自体の性能などに依存し、NMVA1288によれば、測定可能なパラメータを用いて以下の様に計算される。

ここで、μ_p：入射光子数、η：量子効率、σ_d：暗時ノイズ（熱雑音σ_dcと読出しノイズσ_d0）、σ_o：空間オフセットノイズ、S_g：空間ゲインノイズである。照度の低いシーンは、分母においてσ_dやσ_oが支配的になる。中程度の照度のシーンでは、分母の中のημ_pが相対的に大きいいため、SNR≒(ημ_p)^1/2となる。これはいわゆる光ショットノイズが支配する領域である。より高い照度では、SNR≒1/S_gに飽和する。

なお、AGCなどを受けた入力画像111の明るさから、ημ_p或いはSNRを正確に求めることは難しい。例えば、撮像部 101で信号をゲインアップしている場合、見た目の明るさに反してノイズレベルは高くなる。従って、撮像部101の内部で用いられる、AGCを受ける前の入力画像 111の明るさに関連する値、例えばアナログAGC制御値（AGCゲイン）などが設定パラメータ 112に利用され得る。AGCゲインはフレーム毎に取得することが望ましい。SNRは、AE（自動露出）の制御を考慮しても、基本的にはAGCゲインに対して単調減少の関数として記述できる。

図３は外乱検出部 102で解析される画像について説明するための図である。入力画像 111は、複数のブロックに均等に分割される。
図３（ａ）は、そのブロックの一つ（左上隅）を、時刻ｔ−１時の解析対象画像（時刻ｔ−１）に用いることを示している。図３（ｂ）は、時刻ｔ−１に用いたブロックとは別のブロック（例えば右隣り）を、時刻ｔの解析対象画像（時刻ｔ）に用いることを示している。図３（ｃ）は、更に別のブロック（例えば右隣り）を、時刻ｔ＋１時の解析対象画像（時刻ｔ＋１）に用いることを示している。

図２の解析画像抽出部 201は、例えば、図３のように、入力画像 111をブロックに分割し、順次走査によってそれらブロックの一つを解析対象画像として抽出してもよい。入力画像１枚（１フレーム）当たりの時間に置いて解析するのを、１ブロックのみとすることにより、外乱検知による演算量を抑えることができる。複数のフレームの時間をかけて、入力画像全体の解析を行うことになるが、外乱の発生状況は通常、時間的変化が緩やかなので問題ない。

図４は、解析画像抽出部 201による解析画像の取得のフローチャートである。
図４において、解析画像抽出部 201は、処理を開始し（Start）、入力画像 111を取得し（Ｓ４０１）、入力画像 111を所定数のブロックに分割し（Ｓ４０２）、解析対象ブロックを抽出し（Ｓ４０３）、図示していない画像メモリ内に記憶している比較用ブロックを取得し（読み出し）（Ｓ４０４）、解析対象ブロックと過去ブロック（比較用ブロック）を解析画像として出力し（Ｓ４０５）、次の入力画像 111の解析対象ブロックと同じ位置のブロックを比較用ブロックとして図示していない画像メモリに保存し（書き込む）（Ｓ４０６）、処理を終了（End）する。

なお、外乱の種類によっては、検知処理に時間の異なる複数のフレームの情報が必要となる場合もある。
その場合、解析画像抽出部 201は、例えば、図示していない画像メモリ等に、次の入力フレームで解析を行う画像ブロックの位置と同位置の画像ブロックを保存してもよい。

図５は、画像処理装置 1の霞の影響検出部202のブロック図である。
霞の影響検出部 202は、解析画像抽出部 201から与えられた霞解析対象画像 211のコントラストの偏りから霞の影響を検出して、その影響を霞検出結果 213として出力する。
霞の影響検出部 202は、霞補正処理部 301と画像比較部 302と霞影響算出部 303で構成される。

霞補正処理部 301は、霞解析対象画像 211に霞補正処理を施し、霞補正画像 311として出力する。霞補正処理は一般的に、階調補正と空間フィルタ処理とで構成される。
画像比較部 302は、霞解析対象画像 211と霞補正画像 312の比較を行い、その差分情報 312を出力する。差分情報 312は、例えば、ＳＡＤ（Sum of Absolute Difference）等の処理結果で良い。
霞影響算出部 303は、入力した差分情報 312から霞検出結果 213を算出し出力する。差分情報 312が大きい値を持つということは、霞補正処理が強くかかったことを意味し、霞解析対象画像 211がコントラストの低下による劣化を受けていることを表す。なお、霞検出結果 213は上記で得られるものに限らず、霞解析対象画像 211の画素輝度値のヒストグラム上での偏り或いは統計学的な分散であったり、空間周波数スペクトル分析に基づいて算出してもよい。

図６は画像処理装置 1の陽炎の影響検出部 203のブロック図である。
陽炎の影響検出部 203は、特許文献３や４の技術と同様に、入力した陽炎解析対象画像 212から動体が存在しない背景領域の揺らぎを検出することにより陽炎の影響を検出して、陽炎検出結果 214として出力する。
陽炎の影響検出部 203は、揺らぎにロバストな動体検出部401と背景領域比較部 402と陽炎影響算出部 403で構成される。

揺らぎにロバストな動体検出部 401は、入力した陽炎解析対象画像 212から、動体の検出を行い、動体領域情報 411として出力する。陽炎解析対象画像 212は、現在（時刻 t）の入力画像の解析対象画像ブロックと、一つ前の（時刻 t-1の）入力画像の同位置の画像ブロックから構成される。
例えば、揺らぎにロバストな動体検出部 401は、陽炎解析対象画像 212を３２ｘ３２画素のサブブロックに分割し、そのそれぞれのサブブロックに対してｋ階調で量子化したヒストグラムｈ₁、ｈ₂を作成する。二つの入力サブブロック間で下記の式の比較を行い、Ｃ＞Ｔの領域を動体として判定する。

これは揺らぎの影響がヒストグラムに対してロバストである特性を用いている。上式（式１）によって揺らぎがある環境に置いても、動体領域のみを抽出することが可能となる。

背景領域比較部 402は、入力した動体領域情報 411によって、陽炎解析対象画像 212の二つのブロックのうち、動体が存在しない領域（サブブロック）の差分を計算し、背景領域差分情報 412として出力する。なお、全ての領域で導体が存在する場合、背景領域差分情報 412は一時的に利用できない。
陽炎影響算出部 403は、入力された背景領域差分情報 412を平均化するなどし、陽炎の影響を算出し、陽炎検出結果 214として出力する。なお、全ての領域で導体が存在する場合、背景領域差分情報 412は一時的に利用できない。

次に、陽炎や霞など画像ブロックの解析結果から外乱レベルを判定する手順について図７を用いて説明する。
図７は、外乱レベル判定部204による外乱レベルの決定法を説明するフローチャートである。
図７の手順は、ブロック数の閾値Ｘ、外乱値の閾値Ｔを適切に設定することにより、陽炎と霞のどちらの判定も行うことができる。

図７において、外乱レベル判定部 204は、処理を開始（Start）すると、解析画像の外乱検出結果である霞検出結果 213または陽炎検出結果 214等を取得する（Ｓ７０１）。
外乱レベル判定部 204は、全ブロック分の外乱検出結果を保持しており、Ｓ７０１で取得した外乱検出を用いて更新し（Ｓ７０２）、外乱が検出されたブロックを数える（Ｓ７０３）。なお外乱検出結果が取得できなかったときは更新しない。また、事象検知部 104が行う検知でマスク領域を適用している場合、そのマスク領域に該当する位置のブロックの外乱検出結果は保持する必要が無い。
Ｓ７０４の処理では、外乱が検出されたブロックがＸ以上であるか否かを判定し、Ｘ以上である場合（ＹＥＳ）にはＳ７０５の処理に進み、Ｘ未満の場合（ＮＯ）にはＳ７０９の処理に進む。

外乱レベル判定部 204は、外乱が検出されたブロックの平均外乱値を計算し（Ｓ７０５）、外乱値の平均がＴ以上であるか否かを判定し（Ｓ７０６）、外乱値の平均がＴ以上である場合（ＹＥＳ）にはＳ７０７の処理に進み、外乱値の平均がＴ未満の場合（ＮＯ）にはＳ７０８の処理に進む。

Ｓ７０７の処理では、外乱レベルを“高”に設定して処理を終了（End）する。
Ｓ７０８の処理では、外乱レベルを“中”に設定して処理を終了（End）する。
Ｓ７０９の処理では、外乱レベルを“低”に設定して処理を終了（End）する。

次に、画像補正部 103の動作を説明する。
本例の画像補正部 103は、上述したように、霞補正、陽炎補正、鮮鋭化（超解像）の処理を行う能力を有しており、少なくとも1種類の処理で有ればリアルタイムでフルフレーム映像について処理できる。霞補正は霞に限らず鮮鋭化（超解像）は遠方の小さな被写体などから事象検知を行う際に有用であり、
画像補正部 103は、入力された外乱情報 113に含まれる霞、陽炎、ノイズの外乱レベルから、補正の重要度を導き出し、重要度が高い順にソートして、重要度が高い順に処理量の許す範囲で処理を行う。画像処理装置 1は、例えば、霞の外乱レベルから霞補正処理の重要度を算出する関数ｇ_Fog()と、陽炎の外乱レベルから霞補正処理の重要度を算出する関数ｇ_HeatHaze()と、ノイズの外乱レベルから鮮鋭化（超解像）処理の重要度を算出する関数ｇ_Sharpen()と、を用いることができ、３段階の外乱レベルに対しては、以下の表の様にも定義できる。

この表は、それぞれの外乱レベルを考慮して、現在の入力映像画像にどの画像補正処理が必要なのかについての知見に基づいて作成される。本例では、外乱レベルと画像補正の効果を考慮して、各画像補正処理に優先順位が付けられる。つまり、たとえ事象検知への悪影響が大きくても、補正処理によってほとんど改善しない外乱は手当てされない。超解像処理はノイズを強調してしまうので、ノイズの外乱レベルが高いほど、その重要度が下がる。また、リアルタイム性を確保するためには、優先順位の高いものから順に処理量の許す範囲で処理を行えばよい。

次に、事象検知部について図８を用いて説明する。
図８は画像処理装置 1の事象検知部 104のブロック図である。
事象検知部 104は、残留外乱レベル算出部 501と画像解析部 502と検知処理部 503で構成されている。

残留外乱レベル算出部 501は、入力された外乱情報 113と補正情報 115から、補正画像 114に残留しているであろう外乱レベルを算出し、残留外乱情報 511として出力する。
残留外乱情報 511は、例えば、霞、陽炎等のノイズの影響をそれぞれ“高”、“中”、“小”の３段階で表してもよい。

一例として、霞の影響は、画像補正部 103で霞補正が行われた場合は“小”、或いは、元のレベルから1段階下げたレベルにする。霞補正が行われなかった場合は、外乱情報 113の霞レベルをそのまま用いれば良い。
陽炎の影響は、画像補正部 103で霞補正が行われた場合は“小” 、或いは、元のレベルから1段階下げたレベルにする。陽炎補正が行われなかった場合は、外乱情報 113の陽炎レベルをそのまま用いれば良い。
ノイズの影響は、画像補正部 103で鮮鋭化処理が行われた場合、外乱情報 113のノイズレベルが“小”である場合は“小”、外乱情報 113のノイズレベルが“中”か“高”であった場合は“高”を出力し、画像補正部で鮮鋭化処理が行われていなかった場合、外乱情報 113のノイズレベルをそのまま出力する。
或いは、外乱情報 113が連続量の外乱レベルを示し、補正情報 115が連続量の外乱除去量（補正による改善の程度）を示している場合、それぞれの残留外乱レベルは、それらの差によっても算出することができる。

画像解析部 502は、補正画像 114を解析して得た特徴量ｘを解析情報 512として出力する。
検知処理部 503は、残留外乱情報 511に応じて解析情報 512から事象の検知を行い、検知結果 116を出力する。例えば、検知処理部 503は下記（式２）の式が成り立つときに事象を検知する。

ここでg()は、ある特定の事象検知を行うための検知関数であり、特定の事象が確からしいほど０に近くなり（若しくは負数となって更に小さくなり）、確からしくないほど大きくなるものとする。またT(Fog, HeatHaze, Noise)は、閾値関数であり、残留外乱レベルに応じて閾値を大きくすれば、誤検知の割合はふえるが見逃しを減らすことができるようになる。なお、線形判別やＳＶＭ等、検知関数に予めしきい値が組み込まれている場合は、そのしきい値に上記T（）を加算又は減算して適用すればよい。

図９は、検知処理部 503における閾値関数T()の作用を説明する模式図である。
画像解析部 502が出力する特徴量ｘは、特徴量空間上に分布する。特に計量空間として最適化されている場合、ある事象Ａに該当する特徴量ｘは、ある狭い領域に密集する。そして、外乱レベルが大きくなるほど、特徴量ｘは散乱されて、より広い領域に分布すると考えられる。本例では、残留外乱が小さい時に、小さな閾値T()に対応する小さな領域531が適用され、その内部の特徴量が事象Ａと判定される。同様に、外乱レベルが中程度のときは中程度の領域532が、外乱レベルが大きいときは大きな領域533が適用される。

なお、画像処理装置 1は、本画像補正処理をＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ(Field-Programmable Gate Array)を用いて行うことができる。画像処理装置 1の許容される演算量は、ＣＰＵ等の利用率から決定される。
また、画像処理装置 1は、外乱のレベルに応じた処理を記憶する、いわゆる学習機能を付加することにより、最適な特徴量を用いた検知が可能となる。

［第２の実施例］
本例では、画像補正部が撮像部の中にあり、かつその動作を自由に制御できない場合を想定して説明する。
図９は第２の実施例に係る画像補正部 130及びその周辺の構成を示すブロック図である。
撮像部 131は、画像補正部 133を内蔵した点で撮像部 101と異なる。撮像部 131は、露光時間、絞り、ズーム倍率、光学フィルタの挿抜等の撮影パラメータやＡＧＣゲイン値を含む設定パラメータ 112を出力する画像補正部 133は、撮像部 131への設定や、撮影状況などから、撮像画像に自動的に適切な画像処理を施して、補正画像 114として出力する。また画像補正部 133は、撮像部 131の撮像素子から読み出されたRAW画像に対して施された全ての補正処理を記述する完全な補正情報 115を出力する。なお、補正情報 115は、解像度やＳＮ比等に影響を与える主要な補正処理に関するものに絞ってもよく、コントラスト補正の一種である逆光補正や霞霧補正、画角揺れ補正、陽炎補正、超解像処理などの他、魚眼レンズ等の画像歪み補正などが含まれ得る。

外乱推定部 132は、設定パラメータ 112、補正画像114、補正情報 115を入力され、全結合パーセプトロン、あるいはサポートベクターマシン(SVM)によって、補正画像 114に残留する外乱レベルを推定し、残留外乱情報 531として出力する。残留外乱情報 531は、複数の成分を有し、残留外乱情報 511と同様に霞、陽炎、ノイズの３成分でもよく、或いは別の基準、例えば輝度の誤差（ノイズ）、空間的な誤差、時間的な揺らぎ、色の誤差の４成分に集約されてもよく、或いはそれらの混合である特徴量でもよい。また、残留外乱情報 511と同様に３段階にクラス分けされたものでも、連続量でも、どちらでもよい。
画像補正部133が霧霞や陽炎等の必要とされる補正能力を有している場合、外乱推定部 132は、補正画像114からそれらを検出する必要はなく、設定パラメータ 112と補正情報 115を、単純にパーセプトロン等に入力すればよい。
パーセプトロン等は、予め学習されているものとし、更に、カメラの設置状況や撮影環境に対する汎化能力を向上させるために、オンライン学習を行ってもよい。オンライン学習は、残留外乱情報 531の各成分に対応する外乱レベルを、別の方法、例えば補正画像 114から霞の影響検出部 202のような手段で算出したり、人が補正画像 114を評価して与えたりし、それらを教師データに用いて行う。

事象検知部 134は、補正画像114と残留外乱情報 531を入力され、残留外乱情報 531を考慮した最適な誤報率及び見逃し率となるように、補正画像114から事象検知を行う。
図１０に示されるように、本例の事象検知部 134は、畳み込みニューラルネットワーク（CNN）151と、サポートベクターマシン(SVM)識別器152と、危険率制御器153と、を有する。

CNN 151は、事象検知部134の画素値が入力され、局所畳み込み層と最大値プーリング層を、データ数を減らしながら複数回繰り返し、その後もし必要であれば全結合層を経て、複数の値（特徴ベクトル）を出力する。この特徴ベクトルは、先の実施例の解析情報 512に相当する。なおCNN 151の途中の層（例えば全結合層）に、補正情報 115を入力してもよい。

SVM識別器152は、ソフトマージンSVMであり、検知すべき特定の事象のそれぞれについての識別結果（真又は偽の硬判定値）を出力する。SVM識別器152は、各事象に対する2クラスSVM若しくは１クラスSVMを複数用いて構成されうる。学習においては、ヒンジ関数のような、不正解にペナルティを課す損失関数を用いる。

危険率制御器153は、残留外乱情報531が示す複数の外乱レベルの組合せの夫々について、SVM識別器152の学習を管理する。一例として危険率制御器153は、SVM識別器152のカーネルやサポートベクターを、外乱レベルに関わらず共通にして学習した結果を、代表学習結果若しくは外乱レベルが最も低い場合の学習結果として設定し、その他の外乱レベルに対しては、代表学習結果等を基準にして学習する。その際、学習に用いた全てのサンプルを記憶するか、C-SVMやνトリック等の損失関数のパラメータや関数値を保持する。そして、PAC（Probably Approximately Correct）モデルを用いて、SVM識別器152が誤って識別してしまう（より正確にいえば、汎化誤差が大きい誤った分類を学習してしまう）危険率を、上記外乱レベルの組合せ毎に評価し、チューニングする。チューニングは、先の実施形態における閾値関数T()に相当する働きであり、見逃し率の低さを重視しているので、危険率が、所望の見逃し率と同等かそれ以下になるように行われる。例えば、SVM識別器152の識別関数のしきい値ｂを調整したり、Cやν,σ等のパラメータを更新して学習し直したりする。危険率の制御は、誤報率が許容限界を超えないように、制限できる。本例のチューニングは、検知すべき事象毎に独立に行うことが可能であり、事象の脅威の程度に応じて、見逃し率と誤報率を最適化できる。

本発明は、監視カメラ等で撮影された映像から、迷惑もしくは危険な状況を検知したり、テレビ番組素材から所望のイベント若しくはメタデータを抽出したりするビデオ内容分析等の映像処理に、広く適用できる。

1, 100：画像処理装置、 101：撮像部、 102：外乱検出部、 103：画像補正部、 104:事象検知部、
111：入力画像、 112：設定パラメータ、 113：画像劣化情報、 114：補正画像、 115：補正情報、 116：解析結果、
201：解析画像抽出部、 202：霧の影響検出部、 203：陽炎の影響検出部、 204：外乱レベル判定部、
211：霧解析対象画像、 212：陽炎解析対象画像、 213：霧検出結果、 214：陽炎検出結果、
301：霧補正処理部、 302：画像比較部、 303：霧影響算出部、 311：霧補正画像、 312：差分情報、
401：揺らぎにロバストな動体検出部、 402：背景領域比較部、 403：陽炎影響算出部、
411：動体領域情報、 412：背景領域差分情報、
501:残留外乱レベル算出部、 502：画像解析部、 503：検知処理部、 511：残留外乱情報、 512：解析情報。

Claims

画像から特定の事象を検知する画像処理装置において、
入力画像を解析し、前記入力画像が受けた複数の外乱の影響を検出し、外乱情報として出力する外乱検出器と、
前記外乱情報に応じて前記入力画像に補正処理を施し、補正された画像と実際に施された補正処理を示す補正情報とを出力する画像補正器と、
前記外乱情報と補正情報とから、前記補正された画像に残留する複数の外乱の度合いを推定し、前記外乱の度合いに応じて選択した検知処理を用いて前記特定の事象を検知する事象検知器と、を備えた画像処理装置。
請求項１に記載の画像処理装置において、
前記外乱検出器は、前記入力画像が入力されるごとに、位置を変えながら抽出した部分領域の範囲内で、複数の外乱の影響を検出して更新し、前記入力画像の全体が受けている複数の外乱の影響のそれぞれを、多段階に評価することを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記画像補正器は、前記多段階に評価されたそれぞれの前記外乱の影響を、補正の重要度に変換し、前記複数の外乱に対応する補正処理を、前記重要度の高い順に処理量の許す範囲で実行するものであり、
前記重要度は、補正を行った場合の改善効果を考慮して定められることを特徴とする画像処理装置。
請求項３に記載の画像処理装置において、前記事象検知部は、
前記外乱情報と前記補正情報とから、前記残留する複数の外乱の度合いを算出する残留外乱レベル算出器と、
前記補正された画像から特徴量を抽出する画像解析器と、
前記残留する複数の外乱の度合いの関数であって、特徴量空間上で前記特定の事象が検出されるべき領域を変化させる前記関数を用いて、前記特徴量から前記特定の事象を判定する検知処理器と、を備えたことを特徴とする画像処理装置。
前記関数は、前記残留するいずれかの外乱の度合いが大きいほど、前記検出されるべき領域を広げるように作用し、外乱の度合いに関わらず前記検知処理器の見逃し率を小さく維持することを特徴とする画像処理装置。
請求項５に記載の画像処理装置において、
前記検知処理器はサポートベクターマシンであり、前記関数は前記サポートベクターマシンの識別関数の中のしきい値を変化させることを特徴とする画像処理装置。