JP7272626B2 - 照合システム、照合方法およびカメラ装置 - Google Patents

Description

本開示は、監視カメラにより撮像された対象物と予め登録されている対象物とを照合する照合システムおよび照合方法と、対象物を撮像するカメラ装置とに関する。

特許文献１には、記録媒体から認証対象者の識別情報および顔画像を読み取る認証端末と、認証を行う認証装置と、認証装置の照合結果に基づいて扉の開閉を制御する扉制御装置とを備えた入退室管理システムが開示されている。この入退室管理システムでは、認証装置は、認証端末が識別情報を読み取った時点を含む所定期間において、監視カメラにより撮像された映像データから人物の顔を検出して顔周辺の画像を切り出し、認証対象者の顔画像と切り出された画像との合致度を算出する。認証装置は、識別情報が許可情報と一致し、かつ、合致度が所定の閾値以上の場合に扉制御装置を駆動させて扉を開く制御を行う。

特開２０１７－２５６２１号公報

しかし、特許文献１では、屋内での認証対象者の顔を認証することが想定されており、屋外での認証対象者の顔を認証することは困難であるという課題があった。これは、例えば屋外で認証対象者の顔を監視カメラで撮像する際には、太陽光、雨、霧、雪等の天候条件、朝、昼、夜等の時間帯条件の影響をそれぞれ受け易く、顔認証の精度が撮像状況によっては劣化するためである。このため、監視業務の利便性が低下する可能性があった。

本開示は、上述した従来の状況に鑑みて案出され、対象物が屋外で撮像される環境下であっても、撮像された対象物の撮像画像と予めデータベースに登録された監視対象物とが一致するか否かの照合処理の精度を的確に向上し、監視業務の利便性の低下を抑制する照合システム、照合方法およびカメラ装置を提供することを目的とする。

本開示は、サーバ装置との間で通信可能に接続されたカメラ装置であって、屋外の監視対象エリアを撮像する撮像部と、前記撮像された前記監視対象エリアの撮像画像に映る対象物を検出し、前記対象物の切り出し画像を生成する検出部と、前記対象物の切り出し画像と画像補正モデルとを用いて、前記サーバ装置での前記対象物の照合処理に用いられる画質鮮明化画像を生成する画像補正部と、前記対象物の切り出し画像と前記画質鮮明化画像とを、前記対象物の識別情報と対応付けて前記サーバ装置に送る通信部と、を備える、カメラ装置を提供する。

また、本開示は、互いに通信可能に接続されたカメラ装置とサーバ装置とを含む照合システムであって、前記カメラ装置は、屋外の監視対象エリアの撮像に基づく撮像画像に映る対象物を検出し、前記対象物の切り出し画像を生成し、前記対象物の切り出し画像と画像補正モデルとを用いて、前記サーバ装置での前記対象物の照合処理に用いられる画質鮮明化画像を生成し、前記対象物の切り出し画像と前記画質鮮明化画像とを、前記対象物の識別情報と対応付けて前記サーバ装置に送り、前記サーバ装置は、特定の対象物に関する画像を格納する登録データベースと、不特定多数の対象物に関する画像を格納する第１画像セットと、前記画像補正モデルを用いた学習処理により得られ、かつ、前記不特定多数の対象物の屋外での撮像により生じる画質劣化要因に対応した１つ以上の画像鮮明化画像を格納する第２画像セットと、を保持し、前記カメラ装置から送られた前記対象物の切り出し画像と前記画質鮮明化画像とを受信すると、前記画質鮮明化画像と前記登録データベースと前記第１画像セットと前記第２画像セットとを用いて、前記画質鮮明化画像に対応する前記撮像画像に映る前記対象物の照合処理を実行し、前記撮像画像に映る前記対象物の識別情報を含む前記照合処理の実行結果を外部装置に送る、照合システムを提供する。

また、本開示は、互いに通信可能に接続されたカメラ装置とサーバ装置とを含む照合システムにより実行される照合方法であって、前記カメラ装置は、屋外の監視対象エリアの撮像に基づく撮像画像に映る対象物を検出し、前記対象物の切り出し画像を生成し、前記対象物の切り出し画像と画像補正モデルとを用いて、前記サーバ装置での前記対象物の照合処理に用いられる画質鮮明化画像を生成し、前記対象物の切り出し画像と前記画質鮮明化画像とを、前記対象物の識別情報と対応付けて前記サーバ装置に送り、前記サーバ装置は、特定の対象物に関する画像を格納する登録データベースと、不特定多数の対象物に関する画像を格納する第１画像セットと、前記画像補正モデルを用いた学習処理により得られ、かつ、前記不特定多数の対象物の屋外での撮像により生じる画質劣化要因に対応した１つ以上の画像鮮明化画像を格納する第２画像セットと、を保持し、前記カメラ装置から送られた前記対象物の切り出し画像と前記画質鮮明化画像とを受信すると、前記画質鮮明化画像と前記登録データベースと前記第１画像セットと前記第２画像セットとを用いて、前記画質鮮明化画像に対応する前記撮像画像に映る前記対象物の照合処理を実行し、前記撮像画像に映る前記対象物の識別情報を含む前記照合処理の実行結果を外部装置に送る、照合方法を提供する。

本開示によれば、対象物が屋外で撮像される環境下であっても、撮像された対象物の撮像画像と予めデータベースに登録された監視対象物とが一致するか否かの照合処理の精度を的確に向上でき、監視業務の利便性の低下を抑制できる。

実施の形態１に係る照合システムの構成例を示すブロック図 監視カメラのハードウェア構成例を示すブロック図 照合サーバのハードウェア構成例を示すブロック図 照合サーバが予め実行する学習処理の概要を模式的に描写する図 実施の形態１に係る照合システムの動作手順を時系列に示すシーケンス図 クライアントＰＣに表示される照合結果画面の一例を示す図

以下、適宜図面を参照しながら、本開示に係る照合システム、照合方法およびカメラ装置の構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１の概要）
実施の形態１に係る照合システムは、互いに通信可能に接続されたカメラ装置とサーバ装置とを少なくとも含む構成である。カメラ装置は、屋外の監視対象エリアの撮像に基づく撮像画像に映る対象物を検出し、対象物の切り出し画像を生成し、対象物の切り出し画像と画像補正モデルとを用いて、サーバ装置での対象物の照合処理に用いられる画質鮮明化画像を生成し、対象物の切り出し画像と画質鮮明化画像とを、対象物の識別情報と対応付けてサーバ装置に送る。サーバ装置は、カメラ装置から送られた対象物の切り出し画像と画質鮮明化画像とを受信すると、画質鮮明化画像と画像補正モデルとを用いて、画質鮮明化画像に対応する対象物の照合処理を実行し、対象物の識別情報を含む照合処理の実行結果を外部装置に送る。

なお、以下の説明において、対象物はカメラ装置により撮像される撮像画像中に映る物体であり、サーバ装置における照合処理の対象となる物体でもある。分かり易く説明するために、対象物の一例として、人物の顔を例示する。ただし、対象物は人物の顔に限定されず、人物そのもの、車両等であってもよい。

（照合システムの構成）
図１は、実施の形態１に係る照合システム１の構成例を示すブロック図である。照合システム１は、少なくとも１台の監視カメラ１０と、照合サーバ２０と、クライアントＰＣ（Personal Computer）３０と、レコーダ４０とを含む構成である。なお、レコーダ４０は、照合システム１の構成に含まれなくてもよい。監視カメラ１０と、照合サーバ２０と、クライアントＰＣ（Personal Computer）３０と、レコーダ４０とは、それぞれネットワーク網ＮＷ１を介して互いにデータあるいは情報の送受信が可能に接続される。

ネットワーク網ＮＷ１は、有線ネットワークあるいは無線ネットワークである。有線ネットワークは、例えば有線ＬＡＮ（Local Area Network）等のイントラネットもしくはインターネットである。無線ネットワークは、例えば無線ＬＡＮ、４Ｇ（第４世代移動通信方式）あるいは５Ｇ（第５世代移動通信方式）である。

監視カメラ１０（カメラ装置の一例）は、屋外に設置され、例えば時間帯あるいは天候等の条件によって撮像環境が変動し易い屋外の監視対象エリアを、昼夜問わずに常時撮像している。なお、監視カメラ１０は、屋外に設置されることに限定されず、例えばカジノネオン前等のように屋内であっても屋外と同様に撮像環境が変動し易い箇所を撮像対象の監視対象エリアとして撮像してもよい。監視カメラ１０は、画角が固定の固定カメラでもよいし、パン回転およびはチルト回転のうち少なくとも一方によって姿勢（言い換えると、内蔵されるレンズの光軸方向）を変更可能であってかつズーム処理によってズーム倍率を変更可能なＰＴＺ（Pan Tilt Zoom）カメラであってもよい。

監視カメラ１０は、監視対象エリアの撮像により得られた撮像画像中に映る対象物（例えば人物の顔）を検出し、その検出された対象物を切り出した切り出し画像を生成する。また、監視カメラ１０は、例えばディープラーニング等の機械学習を実現可能なニューラルネットワークにより構成される画像補正モデル（後述参照）を使用可能であり、画像補正モデルを用いて対象物の切り出し画像を補正したり推定したりした補正画像（画質鮮明化画像の一例）を生成する。監視カメラ１０は、対象物の切り出し画像および補正画像のそれぞれを対象物の識別情報に対応付けて、ネットワーク網ＮＷ１を介して照合サーバ２０およびレコーダ４０にそれぞれ送信する。なお、対象物の識別情報には、対象物の種類を特定する情報の他に、その対象物が監視カメラ１０により撮像された日時情報および監視カメラ１０の場所情報が含まれてもよい。

ここで、本明細書において、屋外とは、例えば施設等の建物の屋外（外側）を意味する。監視対象エリアは、照合サーバ２０に保持されている登録データベース（後述参照）に登録されている不審人物（例えば事件あるいは事故の被疑者、犯人あるいは前科者。以下同様。）が立ち寄り易い場所であり、例えば、店舗外側の出入口付近、駐車場、道路等であるがこれらに限定されない。図１に示す照合システム１において監視カメラ１０は１台に限定されないが、説明を簡単にするために図１では１台だけ図示されている。監視カメラ１０の内部構成は図２を参照して後述する。

照合サーバ２０（サーバ装置の一例）は、照合システム１の運営者あるいは管理者が所属する会社等の建物内の監視室（図示略）に設置されるオンプレミス型のサーバ、あるいはクラウドサーバとして構成される。照合サーバ２０は、監視カメラ１０が使用可能な画像補正モデル（上述参照）と同一の画像補正モデルを使用可能であり、監視カメラ１０から送られた２種類の画像（具体的には、対象物の切り出し画像および補正画像）を受信すると、画像補正モデルと対象物の補正画像とを用いて、対象物の照合処理を実行する。照合サーバ２０は、その照合結果を、ネットワーク網ＮＷ１を介してクライアントＰＣ３０に送信して表示させる。照合サーバ２０の内部構成は図３を参照して後述する。

クライアントＰＣ３０（外部装置の一例）は、ＰＣの通常のハードウェア構成を有するコンピュータ装置により構成され、照合システム１のユーザ（例えば監視対象エリアの監視業務を実務的に行っている監視業者）により使用される。クライアントＰＣ３０は、照合サーバ２０から送られた照合結果（例えば図６参照）を受信すると、その照合結果を、クライアントＰＣ３０に内蔵されるディスプレイ（図示略）に表示する。

レコーダ４０は、データあるいは情報を記録可能なストレージを備える。レコーダ４０は、監視カメラ１０から送られた対象物の識別情報を含む撮像画像（例えば、監視カメラ１０により撮像された生の撮像画像）を受信すると、その撮像画像を対象物の識別情報に対応付けてストレージに記録する。つまり、レコーダ４０は、証拠性が認められる（つまり、証拠能力を有する）オリジナルの監視カメラ１０の撮像画像のデータを記録できる。また、レコーダ４０は、対象物の識別情報を含む撮像画像ともに対象物の切り出し画像も受信すると、対象物の識別情報と撮像画像とを対象物の識別情報と対応付けてストレージに記録してもよい。

図２は、監視カメラ１０のハードウェア構成例を示すブロック図である。監視カメラ１０は、撮像部１１と、メモリ１２と、信号処理部１３と、検出処理部１４と、補正推定部１５と、照明制御部１６と、通信インターフェース部１７と、ＩＲ－ＬＥＤ１８と、センサＳ１とを含む構成である。信号処理部１３と検出処理部１４と補正推定部１５と照明制御部１６とは、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）あるいはＧＰＵ（Graphical Processing Unit）のいずれかあるいは２つ以上が組み合わされて構成されるプロセッサＰＲＣ１により実現される。

センサＳ１は、監視カメラ１０の周囲の照度（明るさ）を検出するセンサ素子で構成され、照度の検出値を照明制御部１６に出力する。センサＳ１は、例えば周囲の照度により現在時刻が昼間であるか夜間であるかを照明制御部１６が判別するために照度を検出する。なお、プロセッサＰＲＣ１は、現在時刻を計時可能なタイマーを保持しており、タイマーにより計時された現在時刻に応じて夜間と判別した場合に、ＩＲ－ＬＥＤ１８からＩＲ光を照射するようにしてもよい。この場合には、センサＳ１は省略されても構わない。

撮像部１１は、焦点距離を調節可能フォーカスレンズ、ズーム倍率を変更可能なズームレンズ、撮像素子としてのＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）、撮像素子の感度を調整可能なゲイン調整部をそれぞれ有する。撮像部１１は、監視対象エリアを撮像し、撮像により得られた画像信号を信号処理部１３に出力する。

メモリ１２は、例えばＲＡＭ（Random Access Memory）とＲＯＭ（Read Only Memory）とを含み、監視カメラ１０の動作の実行に必要なプログラム、動作中にプロセッサＰＲＣ１により生成されたデータあるいは情報を一時的に格納する。ＲＡＭは、例えばプロセッサＰＲＣ１の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサＰＲＣ１を制御するためのプログラムおよびデータを予め記憶する。

プロセッサＰＲＣ１は、監視カメラ１０の各部の動作を制御する。プロセッサＰＲＣ１は、監視カメラ１０の制御部として機能し、監視カメラ１０の各部の動作を全体的に統括するための制御処理、監視カメラ１０の各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。プロセッサＰＲＣ１は、メモリ１２内のＲＯＭに記憶されたプログラムの実行に従って動作する。

監視カメラ１０がＰＴＺカメラである場合、プロセッサＰＲＣ１は、メモリ１２に記憶されたプリセット値を読み出して、監視カメラ１０の姿勢をプリセット値に対応する位置に制御（例えばパン回転、チルト回転）したり、ズーム倍率を変更するように制御したりする。プリセット値は、パン回転角度、チルト回転角度およびズーム倍率が対応付けられたデータである。また、プロセッサＰＲＣ１は、検出処理部１４により生成された対象物の切り出し画像（オリジナル画像の一例）と、補正推定部１５により生成された対象物の補正画像（照合処理用画像の一例）とを対象物の識別情報に対応付けて、通信インターフェース部１７を介して、照合サーバ２０に送信する。また、上述したように、プロセッサＰＲＣ１は、検出処理部１４により生成された対象物の切り出し画像（オリジナル画像の一例）を対象物の識別情報に対応付けて、通信インターフェース部１７を介して、レコーダ４０に送信してもよい。

信号処理部１３は、撮像部１１により撮像された撮像画像の画像信号に対し、各種の信号処理（例えば、アナログデジタル変換、解像度変換、アパーチャ―変換、ガンマ補正、雑音除去、輪郭強調）を行って監視対象エリアの撮像画像のデータを生成する。信号処理部１３は、監視対象エリアの撮像画像のデータを検出処理部１４に出力する。

検出処理部１４（検出部の一例）は、信号処理部１３から出力された撮像画像のデータを受け取ると、その撮像画像に映る対象物（例えば人物の顔）を検出し、撮像画像から検出された対象物の部分を切り出した切り出し画像（オリジナル画像）を生成して補正推定部１５および通信インターフェース部１７のそれぞれに出力する。

補正推定部１５（画像補正部の一例）は、画像補正モデルを使用可能であり、検出処理部１４から出力された対象物の切り出し画像を用いて対象物の補正画像を生成する。画像補正モデルは、例えばディープラーニング等の機械学習を実現可能なニューラルネットワーク（以下「補正推定ネットワーク」という）により構成される。ネットワークは必要に応じて「ＮＮ」と略記する場合がある。補正推定部１５は、対象物の切り出し画像と画像補正モデルとを用いて、対象物の屋外での撮像により生じる撮像画像の画質劣化要因に対応した高画質な画質鮮明化画像を生成する。画像補正モデルは、照合システム１の実運用前に照合サーバ２０により予め学習されて構成されており、照合サーバ２０から送られて監視カメラ１０において使用可能となっている。

画質劣化要因の第１例は、太陽光による対象物の一部の領域に生じるムラ（例えば顔の凹凸の差により生じるムラ）である。補正推定部１５は、画像補正モデルを用いて、屋外での撮像時に対象物の一部の領域にムラが生じることを加味して対象物の全体あるいは一部の画質を高画質化（鮮明化）した（つまり、ムラが発生し易い部分である画質劣化部分を推定して補正した高画質を有する）画質鮮明化画像（補正画像の一例）を生成する。ここでいう高画質とは、例えば対象物の一部の領域にムラが生じても対象物が照合サーバ２０での照合処理に使用可能な程度に高い画質を有することを意味する。

画質劣化要因の第２例は、太陽光による対象物の一部の領域に生じる影（例えば帽子を被ったことで生じる影）である。補正推定部１５は、画像補正モデルを用いて、屋外での撮像時に対象物の一部の領域に影が生じることを加味して対象物の全体あるいは一部の画質を高画質化（鮮明化）した（つまり、影が発生し易い部分である画質劣化部分を推定して補正した高画質を有する）画質鮮明化画像（補正画像の一例）を生成する。ここでいう高画質とは、例えば対象物の一部の領域に影が生じても対象物が照合サーバ２０での照合処理に使用可能な程度に高い画質を有することを意味する。

画質劣化要因の第３例は、夜間の撮像による対象物に生じる低照度ノイズである。補正推定部１５は、画像補正モデルを用いて、屋外での撮像時に対象物に低照度ノイズが生じることを加味して対象物の全体の画質を高画質化（鮮明化）した（つまり、低照度ノイズの発生する部分である画質劣化部分を推定して補正した高画質を有する）画質鮮明化画像（補正画像の一例）を生成する。ここでいう高画質とは、例えば対象物に低照度ノイズが生じても対象物が照合サーバ２０での照合処理に使用可能な程度に高い画質を有することを意味する。

画質劣化要因の第４例は、夜間によるＩＲ－ＬＥＤ１８から照射されたＩＲ光による対象物に生じる白飽和（いわゆる白飛び）である。なお、この白飽和は、例えば夜間に車両等のヘッドライトの照射によって生じることも考えられる。補正推定部１５は、画像補正モデルを用いて、屋外での撮像時に対象物に白飽和が生じることを加味して対象物の全体の画質を高画質化（鮮明化）した（つまり、白飽和が発生する部分である画質劣化部分を推定して補正した高画質を有する）画質鮮明化画像（補正画像の一例）を生成する。ここでいう高画質とは、例えば対象物に白飽和が生じても対象物が照合サーバ２０での照合処理に使用可能な程度に高い画質を有することを意味する。

なお、画質劣化要因は、上述した第１例～第４例に限定されず、他の例であっても同様に、補正推定部１５は、その画質劣化要因に対応した画質鮮明化画像を生成することが可能である。

照明制御部１６は、センサＳ１からの輝度の検出値を受け取ると、現在時刻が昼間であるか夜間であるかを判別する。照明制御部１６は、現在時刻が夜間であると判別した場合に、ＩＲ－ＬＥＤ１８からＩＲ光を照射するようにＩＲ－ＬＥＤ１８の照射を制御する。照明制御部１６は、現在時刻が夜間ではない（例えば現在時刻が朝方である）と判別した場合に、ＩＲ－ＬＥＤ１８からのＩＲ光の照射を実行しない（言い換えると、中断する）ようにＩＲ－ＬＥＤ１８の照射を制御する。

通信インターフェース部１７は、ネットワーク網ＮＷ１に接続され、ネットワーク網ＮＷ１に接続される外部装置との間でデータあるいは情報の送受信を行う。通信インターフェース部１７は、検出処理部１４から出力された対象物の切り出し画像（オリジナル画像）と補正推定部１５から出力された対象物の補正画像とを受け取ると、対象物の切り出し画像および補正画像からなる撮像画像セットを対象物の識別情報とともに照合サーバ２０およびレコーダ４０のそれぞれに送信する。なお、図２では図示を簡略化するために、「インターフェース」を「ＩＦ」と略記している。

ＩＲ－ＬＥＤ（Light Emitting Diode）１８（ＩＲ照明部の一例）は、照明制御部１６の制御の下で、撮像部１１の画角内の監視対象エリアに近赤外光（いわゆるＩＲ（infrared radiation ）光）を照射する。これにより、夜間においても、撮像部１１は、監視対象エリアを撮像可能である。なお、照明制御部１６およびＩＲ－ＬＥＤ１８は、監視カメラ１０の内部に設けられずに、監視カメラ１０とは別体の外部照明装置として設けられてもよい。ただし、この場合でも、照明制御部１６およびＩＲ－ＬＥＤ１８は、例えば通信ＩＦ１７を介して監視カメラ１０のプロセッサＰＲＣ１からの制御により、ＩＲ光の照射が制御される。さらに、照明制御部１６およびＩＲ－ＬＥＤ１８は、単に監視カメラ１０の構成から省略されてもよい。

図３は、照合サーバ２０のハードウェア構成例を示すブロック図である。照合サーバ２０は、通信インターフェース部２１と、メモリ２２と、登録データベース２３と、学習データベース２４と、照合処理部２５と、照合結果出力処理部２６とを含む構成である。照合処理部２５と照合結果出力処理部２６とは、例えばＣＰＵ、ＤＳＰ、ＦＰＧＡあるいはＧＰＵのいずれかあるいは２つ以上が組み合わされて構成されるプロセッサＰＲＣ２により実現される。

通信インターフェース部２１は、ネットワーク網ＮＷ１に接続され、ネットワーク網ＮＷ１に接続される外部装置との間でデータあるいは情報の送受信を行う。通信インターフェース部２１は、監視カメラ１０から送られた撮像画像セット（対象物の識別情報を含む）を受信すると、その撮像画像セットのデータを対象物の切り出し画像（オリジナル画像）と対象物の補正画像とに分離する。通信インターフェース部２１は、対象物の切り出し画像（オリジナル画像）を照合結果出力処理部２６に出力し、対象物の補正画像を照合処理部２５に出力する。なお、図３では図示を簡略化するために、「インターフェース」を「ＩＦ」と略記している。

メモリ２２は、例えばＲＡＭとＲＯＭとを含み、照合サーバ２０の動作の実行に必要なプログラム、動作中にプロセッサＰＲＣ２により生成されたデータあるいは情報を一時的に格納する。ＲＡＭは、例えばプロセッサＰＲＣ２の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサＰＲＣ２を制御するためのプログラムおよびデータを予め記憶する。

登録データベース２３は、監視対象エリアに出現する可能性の高い複数の異なる不審人物の顔画像とその不審人物に関する個人識別情報（例えば氏名、年齢、住所、職業）とを対応付けて登録して格納するデータベースである。登録データベース２３に蓄積される不審人物の顔画像とその不審人物に関する個人識別情報とは対応付けて適宜、追加あるいは削除等の更新がなされる。

学習データベース２４は、照合システム１の実運用前に照合サーバ２０において実行される学習処理（図４参照）の結果として登録された既存学習セットＳＥＴ１、追加学習セットＳＥＴ２および補正推定ネットワークＭＤＬ１（画像補正モデルの一例）を格納するデータベースである。なお、後述するように、照合サーバ２０における学習処理は照合システム１の実運用中に実行されてもよく、この場合には実運用中でも学習データベース２４の内容は適宜更新（追加、変更等）がなされる。

既存学習セットＳＥＴ１（第１画像セットの一例）は、照合サーバ２０における学習処理に用いられる、不特定多数の異なる人物のそれぞれの顔画像が登録された画像データ記憶装置である。異なる人物のそれぞれの顔画像には、例えばそれぞれの人物の顔画像として、その人物の正面顔、側面視の顔、下を向いた顔、上を向いた顔、屋外の様々な条件の下で予め撮像された顔あるいは屋外で撮像されたように擬似的に複数種類の画像処理が施された顔（例えば太陽光によるムラが生じた顔、太陽光により顔の一部に影が生じた顔、夜間の撮像により低照度ノイズが生じた顔、ＩＲ－ＬＥＤ１８の照射により白飛びした顔）の各画像が含まれる。このような擬似的な画像処理は、例えば照合サーバ２０のプロセッサＰＲＣ２により実行される。

追加学習セットＳＥＴ２（第２画像セットの一例）は、照合サーバ２０による学習処理中に、既存学習セットＳＥＴ１に格納されている人物の顔画像の生成時に用いた画質劣化要因とは異なる（つまり新たな）画質劣化要因に対応可能に生成された画質鮮明化画像が登録された画像データ記憶装置である。追加学習セットＳＥＴ２に登録されている画質鮮明化画像のデータは、プロセッサＰＲＣ２による学習処理により生成された画像データである。

補正推定ネットワークＭＤＬ１（画像補正モデルの一例）は、例えばディープラーニング等の機械学習を実現可能なニューラルネットワークにより構成される。補正推定ネットワークＭＤＬ１は、入力画像（例えば対象物の切り出し画像に相当する画像）に対し、自身を構成するニューラルネットワークにより、その入力画像と高い確率で一致しかつ屋外での撮像により生じる撮像画像の画質劣化要因に対応可能な高画質な画質鮮明化画像を生成する。ここで、補正推定ネットワークＭＤＬ１を構成するニューラルネットワークは、例えば入力層、中間層、出力層をそれぞれ構成する１つ以上のニューロンにより構成されたネットワーク（画像補正モデル）である。それぞれのニューロンには、屋外での撮像により生じる撮像画像の画質劣化要因に対応可能な高画質な画質鮮明化画像の生成用の演算を行うための学習済みパラメータがそれぞれ設定されている。

プロセッサＰＲＣ２は、照合サーバ２０の各部の動作を制御する。プロセッサＰＲＣ２は、照合サーバ２０の制御部として機能し、照合サーバ２０の各部の動作を全体的に統括するための制御処理、照合サーバ２０の各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。プロセッサＰＲＣ２は、メモリ２２内のＲＯＭに記憶されたプログラムの実行に従って動作する。

照合処理部２５は、通信インターフェース部２１から対象物の補正画像を受け取ると、登録データベース２３と学習データベース２４とを用いて、その補正画像と略一致（一致も含む）する人物の顔画像が登録データベース２３内に存在するか否かを照合する処理（つまり照合処理）を実行する。照合処理部２５は、照合処理の結果（照合結果）を照合結果出力処理部２６に出力する。

照合結果出力処理部２６は、照合処理部２５から出力された照合結果を受け取るとともに、通信インターフェース部２１から出力された対象物の切り出し画像（オリジナル画像）を受け取る。照合結果出力処理部２６は、照合処理に用いられた補正画像と略一致（上述参照）する人物の顔画像が存在した旨の照合結果を得た場合には、その人物に対応する対象物の切り出し画像と登録データベース２３内の一致した人物の顔画像とを対象物の識別情報に対応付けた照合結果画面（図６参照、照合結果の一例）を生成する。照合結果出力処理部２６は、照合結果画面を通信インターフェース部２１に出力する。

ここで、図６を参照して照合結果画面ＲＳＴ１を説明する。図６は、クライアントＰＣ３０に表示される照合結果画面ＲＳＴ１の一例を示す図である。照合結果画面ＲＳＴ１は、照合サーバ２０による照合処理（Face Matching）の結果として照合サーバ２０により生成される表示用画面である。照合結果画面ＲＳＴ１は、照合処理の対象物に関する書誌情報ＢＩＢ１と、監視カメラ１０により撮像されたオリジナル画像である対象物の切り出し画像ＤＴＦ１と、その切り出し画像ＤＴＦ１と略一致すると判断された登録データベース２３に登録されている顔画像（登録顔画像ＲＧＦ１）とを対応付けて示す。

書誌情報ＢＩＢ１は、例えば、照合処理の対象物となる人物が監視カメラ１０により撮像された日時（例：２０１８年２月７日、１４時２５分２４秒）および監視カメラ１０の設置場所（例：エントランス）を示す。この書誌情報ＢＩＢ１が示す情報は、例えば監視カメラ１０から照合サーバ２０に送信される撮像画像セットのデータに対象物の識別情報として含まれている。これにより、クライアントＰＣ３０のユーザは、照合サーバ２０による照合処理の結果を照合結果画面ＲＳＴ１により簡易に把握できる。

次に、照合サーバ２０による学習処理の概要について、図４を参照して説明する。図４は、照合サーバ２０が予め実行する学習処理の概要を模式的に描写する図である。なお、照合サーバ２０は、ハイスペックな仕様を有するプロセッサＰＲＣ２が実装されれば、図４に示される学習処理を実運用中に照合処理と同時並行的に実行してよい。

図４において、既存学習セットＳＥＴ１には、不特定多数の異なる人物のそれぞれの顔画像が登録されている。なお、上述したように、異なる人物のそれぞれの顔画像には、例えばそれぞれの人物の顔画像として、その人物の正面顔、側面視の顔、下を向いた顔、上を向いた顔、屋外の様々な条件の下で撮像された顔（上述参照）の各画像が含まれてよい。

既存学習セットＳＥＴ１に対応するグラフには、例えば人物Ａさんそのものの顔画像Ｒｓａ２と、Ａさんが屋外の様々な条件の下で撮像された顔画像あるいは屋外で撮像されたように擬似的に複数種類の画像処理が施された顔画像Ｒｓａ１とが、人物（例えばＡさん）を区別可能にマッピングされている。なお、図４に示すように、顔画像Ｒｓａ１は、屋外の様々な条件の下で撮像された顔の分だけ複数設けられてよく、顔画像Ｒｓａ２は、Ａさんが正面、側面、下、上等に向いた方向の数だけ複数設けられてよい。

同様に、例えば人物であるＢさんそのものの顔画像Ｒｓｂ２と、Ｂさんが屋外の様々な条件の下で撮像された顔画像あるいは屋外で撮像されたように擬似的に複数種類の画像処理が施された顔画像Ｒｓｂ１とが、人物（例えばＢさん）を区別可能にマッピングされている。同様に、図４に示すように、顔画像Ｒｓｂ１は、屋外の様々な条件の下で撮像された顔の分だけ複数設けられてよく、顔画像Ｒｓｂ２は、Ｂさんが正面、側面、下、上等に向いた方向の数だけ複数設けられてよい。図４に示すように、分類線ＣＬ１（Classification）により、ＡさんとＢさんとを区別可能である。

既存学習セットＳＥＴ１には、不特定多数の異なる人物のそれぞれの顔画像が登録されている。異なる人物のそれぞれの顔画像には、例えばそれぞれの人物の顔画像として、その人物の正面顔、側面視の顔、下を向いた顔、上を向いた顔、屋外の様々な条件の下で予め撮像された顔（以下、「屋外撮像顔」という）あるいは屋外で撮像されたように擬似的に複数種類の画像処理が施された顔の各画像である。
照合サーバ２０は、既存学習セットＳＥＴ１に格納された不特定多数の異なる人物のそれぞれの顔画像に対し、既存学習セットＳＥＴ１に格納された屋外撮像顔とは異なる新たな屋外での撮像時の画質劣化要因を適用した画像を擬似的に生成する。そして、照合サーバ２０は、その擬似的に生成された画像に対応する画質鮮明化画像（つまり、屋外での撮像による画質劣化を補償する画質鮮明化画像）を学習して追加した上で蓄積する。新たな屋外での撮像時の画質劣化要因は、例えば、冬場にマフラーあるいはニット帽を装着したことで対象物の一部の領域が隠れてしまう部分的消失である。

具体的には、照合サーバ２０は、その新たな屋外での撮像時の画質劣化要因に基づいて既存学習セットＳＥＴ１に格納された人物（例えばＡさんそのもの）の顔画像Ｒｓａ２の画質を屋外での撮像時に適合するように擬似的に劣化させた画質劣化画像Ｒｓａｍ２をプロセッサＰＲＣ２において生成する。更に、照合サーバ２０は、補正推定ネットワークＭＤＬ１を用いて、顔画像Ｒｓａ２から画質劣化画像Ｒｓａｍ２に画質を劣化させる原因となった画質劣化要因に対応した高画質な画質鮮明化画像Ｒｓａｍ２ｃをプロセッサＰＲＣ２において生成する。照合サーバ２０は、この画質鮮明化画像Ｒｓａｍ２ｃを追加学習セットＳＥＴ２に追加して格納する。

既存学習セットＳＥＴ１および追加学習セットＳＥＴ２に対応するグラフには、例えば人物であるＡさんそのものの顔画像Ｒｓａ２と、Ａさんが屋外の様々な条件の下で撮像された顔画像Ｒｓａ１（上述参照）と、学習処理中に新たな画質劣化要因に対応するように生成された画質鮮明化画像Ｒｓａｍ２ｃ，Ｒｓａｍ１ｃとが、人物（例えばＡさん）を区別可能にマッピングされている。

同様に、例えば人物であるＢさんそのものの顔画像Ｒｓｂ２と、Ｂさんが屋外の様々な条件の下で撮像された顔画像Ｒｓｂ１（上述参照）と、学習処理中に新たな画質劣化要因に対応するように生成された画質鮮明化画像Ｒｓｂｍ２ｃ，Ｒｓｂｍ１ｃとが、人物（例えばＢさん）を区別可能にマッピングされている。図４に示すように、分類線ＣＬ１ｕ（Classification）により、ＡさんとＢさんとを区別可能である。

このように、照合サーバ２０は、既存学習セットＳＥＴ１に格納された顔画像に対して屋外での撮像時の各種条件（例えば図４参照）に適合するように新たな画質劣化要因に対応した補正画像（画質鮮明化画像）を生成して追加学習セットＳＥＴ２に格納する。これにより、照合サーバ２０は、事前の学習処理によって、登録データベース２３との照合処理を行う際に、不審人物が誰であるかを区別可能に分類するための分類線（Classification Line）を学習処理の状況に応じて適応的に更新できる。つまり、照合サーバ２０は、屋外での撮像時に画質を劣化させるための要因に対応可能な画質鮮明化画像を充実化して照合処理時に使用できるので、照合精度の向上を図ることが可能となる。なお、上述したように、照合サーバ２０は、照合システム１の実運用中においても同様な学習処理を実行して追加学習セットＳＥＴ２の内容および蓄積量を充実化することが可能であり、照合処理の精度をより一層向上できる。

（照合システムの動作）
次に、実施の形態１に係る照合システム１の動作手順について、図５を参照して説明する。図５は、実施の形態１に係る照合システム１の動作手順を時系列に示すシーケンス図である。なお、図５の説明を簡単にするために、照合サーバ２０による学習処理は照合システム１の実運用開始前に事前に実行されるとして説明するが、上述したように学習処理は実運用中にも実行されて構わない。

図５において、照合システム１の実運用の開始前の時点で、照合サーバ２０は、図４を参照して説明した学習処理を実行する。具体的には、照合サーバ２０は、既存学習セットＳＥＴ１に格納された顔画像に対して屋外での撮像時の各種条件（例えば図４参照）に適合するように新たな画質劣化要因に対応した補正画像（画質鮮明化画像）をプロセッサＰＲＣ２において生成する（Ｓｔ０－１）。照合サーバ２０は、ステップＳｔ０－１の処理結果として生成された補正画像（画質鮮明化画像）を追加学習セットＳＥＴ２に登録して蓄積する（Ｓｔ０－１）。

照合サーバ２０は、ステップＳｔ０－１の学習処理により、画像補正モデル（例えばニューラルネットワークにより構成される補正推定ネットワークＭＤＬ１）を構成して学習データベース２４内に格納する（Ｓｔ０－２）。なお図５では、照合サーバ２０は、ステップＳｔ０－１，Ｓｔ０－２からなる学習処理を実運用の開始前に実行しているが、学習処理の実行タイミングは実運用の開始前の時点に限定されなくてもよい。例えば、実運用中に照合システム１を構成する各装置の動作が一時的に中断され、照合サーバ２０はステップＳｔ０－１，Ｓｔ０－２からなる学習処理を実行して追加学習セットＳＥＴ２の内容や補正推定ネットワークＭＤＬ１のパラメータを更新（アップデート）してもよい。その学習後に、照合システム１を構成する各装置の動作が再開されればよい。

なお、ステップＳｔ０－２の後、照合サーバ２０の学習データベース２４に格納された補正推定ネットワークＭＤＬ１は、ネットワーク網ＮＷ１を介して監視カメラ１０に送信され、監視カメラ１０において実行可能に設定されてよい（Ｓｔ０－３）。なお、このステップＳｔ０－３の処理は、人為的な作業によって実行されても構わない。

照合システム１の設置された環境下における実運用が開始されると、監視カメラ１０は、監視対象エリアを撮像部１１において撮像し（Ｓｔ１）、各種の信号処理を信号処理部１３において実行する（Ｓｔ２）。監視カメラ１０は、信号処理部１３による信号処理が施された監視対象エリアの撮像画像に映る対象物（例えば人物の顔）を検出処理部１４において検出し（Ｓｔ３）、検出された対象物の切り出し画像を生成する。監視カメラ１０は、検出処理部１４により生成された対象物の切り出し画像を用いて、対象物の補正画像（画質鮮明化画像）を補正推定部１５において生成する（Ｓｔ４）。

監視カメラ１０は、ステップＳｔ３において生成された対象物の切り出し画像とステップＳｔ４において生成された対象物の補正画像（画質鮮明化画像）とを対象物の識別情報と対応付けた撮像画像セットのデータを照合サーバ２０に送信するとともに（Ｓｔ５）、同様にレコーダ４０にも送信する（Ｓｔ６）。レコーダ４０は、監視カメラ１０から送られた撮像画像セットのデータを受信すると、内蔵されるストレージに保存する（Ｓｔ７）。

照合サーバ２０は、監視カメラ１０から送られた撮像画像セットのデータを受信すると、対象物の切り出し画像（オリジナル画像）と対象物の補正画像とに分離する（Ｓｔ８）。照合サーバ２０は、対象物の補正画像と登録データベース２３と学習データベース２４とを用いて、その対象物の補正画像に映る顔が登録データベース２３に登録されている人物の顔と一致するか否かを照合処理部２５において照合する（Ｓｔ９、照合処理）。

照合サーバ２０は、対象物の補正画像に映る顔が登録データベース２３に登録されている人物の顔と一致すると判定した場合（Ｓｔ１０、ＹＥＳ）、対象物の切り出し画像と登録データベース２３内の一致した人物の顔画像とを対象物の識別情報に対応付けた照合結果画面（図６参照、照合結果の一例）を照合結果出力処理部２６において生成する（Ｓｔ１１）。なお、対象物の補正画像に映る顔が登録データベース２３に登録されている人物の顔と一致しないと判定された場合には（Ｓｔ１０、ＮＯ）、照合サーバ２０は、ステップＳｔ１１の処理を省略し、ステップＳｔ９の照合処理の判定結果を照合結果として生成する。ステップＳｔ９の照合処理の判定結果は、例えば、対象物の補正画像に映る顔が登録データベース２３に登録されている人物の顔と一致しない旨のメッセージである。照合サーバ２０は、生成された照合結果をクライアントＰＣ３０に送信する（Ｓｔ１２）。

クライアントＰＣ３０は、照合サーバ２０から送られた照合結果を受信すると、その照合結果を、例えばクライアントＰＣ３０に内蔵されるディスプレイに表示する（Ｓｔ１３）。

以上により、実施の形態１に係る監視カメラ１０は、照合サーバ２０との間で通信可能に接続され、屋外の監視対象エリアを撮像し、撮像された監視対象エリアの撮像画像に映る対象物（例えば人物の顔）を検出し、対象物の切り出し画像を生成する。監視カメラ１０は、対象物の切り出し画像と画像補正モデル（例えば補正推定ネットワークＭＤＬ１）とを用いて、照合サーバ２０での対象物の照合処理に用いられる画質鮮明化画像を生成し、同一の対象物の切り出し画像および画質鮮明化画像を、その対象物の識別情報と対応付けて照合サーバ２０に送る。

これにより、監視カメラ１０は、対象物（例えば人物の顔）を屋外で撮像する環境下であっても、屋外での撮像時に撮像画像の画質を劣化させる各種の要因に対応した画質鮮明化画像を照合サーバ２０に送る前に予め生成できる。従って、監視カメラ１０は、撮像された対象物の画質鮮明化画像と予め登録データベース２３に登録された監視対象物（例えば不審人物の顔）とが一致するか否かの照合サーバ２０での照合処理の照合精度を的確に向上させることができる。つまり、監視カメラ１０は、監視業務の利便性の低下を抑制できる。

また、実施の形態１に係る照合システム１では、監視カメラ１０は、屋外の監視対象エリアの撮像に基づく撮像画像に映る対象物（例えば人物の顔）を検出して対象物の切り出し画像を生成する。監視カメラ１０は、対象物の切り出し画像と画像補正モデル（例えば補正推定ネットワークＭＤＬ１）とを用いて、照合サーバ２０での対象物の照合処理に用いられる画質鮮明化画像を生成し、同一の対象物に対応する切り出し画像および画質鮮明化画像を、対象物の識別情報と対応付けて照合サーバ２０に送る。照合サーバ２０は、監視カメラ１０から送られた対象物の切り出し画像と画質鮮明化画像とを受信すると、その画質鮮明化画像と画像補正モデルとを用いて、画質鮮明化画像に対応する対象物の照合処理を実行する。照合サーバ２０は、対象物の識別情報を含む照合処理の実行結果をクライアントＰＣ３０に送る。

これにより、監視カメラ１０は、対象物（例えば人物の顔）を屋外で撮像する環境下であっても、屋外での撮像時に撮像画像の画質を劣化させる各種の要因に対応した画質鮮明化画像を照合サーバ２０に送る前に予め生成できる。従って、監視カメラ１０は、撮像された対象物の画質鮮明化画像と予め登録データベース２３に登録された監視対象物（例えば不審人物の顔）とが一致するか否かの照合サーバ２０での照合処理の照合精度を的確に向上させることができる。つまり、監視カメラ１０は、監視業務の利便性の低下を抑制できる。また、監視カメラ１０は、照合サーバ２０で使用される補正推定ネットワークＭＤＬ１により構成される画像補正モデルと同一の画像補正モデルを用いて、対象物の照合処理に用いられる画質鮮明化画像を生成する。これにより、照合サーバ２０は、例えば監視カメラ１０から対象物の補正画像を受信しない場合に比べて、照合処理時に対象物の画質鮮明化画像を生成する処理を省くことができる点で迅速に照合処理を実行できる。

また、照合サーバ２０は、対象物に関する画像を格納する既存学習セットＳＥＴ１を有し、対象物に関する画像と画像補正モデルとを用いて、対象物の屋外での撮像により生じる画質劣化要因に対応した画質鮮明化画像を生成し、生成された画質鮮明化画像を追加学習セットＳＥＴ２に格納する。これにより、照合サーバ２０は、照合処理時に既存学習セットＳＥＴ１だけでなく、既存学習セットＳＥＴ１に格納された画質鮮明化画像の生成時に参照された画質劣化要因に対応した画質鮮明化画像を別に生成して格納した追加学習セットＳＥＴ２も併せて使用できる。従って、照合サーバ２０は、既存学習セットＳＥＴ１と追加学習セットＳＥＴ２との両方を用いること照合処理を迅速に実行できる。

また、照合サーバ２０は、既存学習セットＳＥＴ１と追加学習セットＳＥＴ２と画像補正モデルとを用いて、照合処理を実行する。これにより、照合サーバ２０は、照合処理の際に、屋外での撮像時の画質劣化要因に対応するように監視カメラ１０により生成された画質鮮明化画像を基に、登録データベース２３に登録されている人物の顔画像との照合処理に用いる顔画像を早期かつ高精度に特定でき、照合処理の信頼性を向上できる。

また、既存学習セットＳＥＴ１は、ｋ（ｋ：２以上の整数）個の異なる対象物に関する画像を格納する。追加学習セットＳＥＴ２は、既存学習セットＳＥＴ１に格納されたそれぞれの対象物に関する画像に対応した、ｋ個の異なる画質鮮明化画像を格納する。これにより、照合サーバ２０は、照合処理の際に既存学習セットＳＥＴ１だけを使用する場合に比べて、２倍（つまり２ｋ個）の画質鮮明化画像を使用可能となるので、照合処理をより迅速に実行できる。なお、追加学習セットＳＥＴ２に格納される画質鮮明化画像の個数は、ｋ個に限定されないことは言うまでもない。

また、画質劣化要因は、太陽光による対象物の一部の領域に生じるムラである。照合サーバ２０は、既存学習セットＳＥＴ１から読み出した対象物に関する画像中の一部の領域にムラを擬似的に生成し、画像補正モデルを用いて、生成された擬似画像に対応する画質鮮明化画像を生成して追加学習セットＳＥＴ２に格納する。これにより、照合サーバ２０は、屋外で太陽光が強く照射されている環境下において対象物（例えば人物の顔）の窪み等によって生じるムラが生じる場合でも、画像補正モデルによってそのムラによる画質劣化を補償する画質鮮明化画像（例えばムラの生じる画質劣化部分の明るさや輝度値を他の部分よりも所定割合ほど増加した画像）を生成して追加学習セットＳＥＴ２にて保持できる。従って、監視カメラ１０から送られた補正画像が追加学習セットＳＥＴ２に格納された画質鮮明化画像と同一或いは同様である場合に、照合サーバ２０での照合処理の照合精度が向上可能となる。

また、画質劣化要因は、太陽光による対象物の一部の領域に生じる影である。照合サーバ２０は、既存学習セットＳＥＴ１から読み出した対象物に関する画像中の一部の領域に影を擬似的に生成し、画像補正モデルを用いて、生成された擬似画像に対応する画質鮮明化画像を生成して追加学習セットＳＥＴ２に格納する。これにより、照合サーバ２０は、屋外で太陽光が強く照射されている環境下において帽子等の装着によって対象物（例えば人物の顔）の一部の領域に影が生じる場合でも、画像補正モデルによってその影による画質劣化を補償する画質鮮明化画像（例えば影で消失した部分を周囲の画像領域から公知技術によって推定あるいは補間した画像）を生成して追加学習セットＳＥＴ２にて保持できる。従って、監視カメラ１０から送られた補正画像が追加学習セットＳＥＴ２に格納された画質鮮明化画像と同一或いは同様である場合に、照合サーバ２０での照合処理の照合精度が向上可能となる。

また、画質劣化要因は、夜間の撮像による対象物に生じる低照度ノイズである。照合サーバ２０は、既存学習セットＳＥＴ１から読み出した対象物に関する画像全体に低照度ノイズを擬似的に生成し、画像補正モデルを用いて、生成された擬似画像に対応する画質鮮明化画像を生成して追加学習セットＳＥＴ２に格納する。これにより、照合サーバ２０は、屋外で夜間の薄暗いあるいは暗い環境下において対象物全体に低照度ノイズが生じる場合でも、画像補正モデルによってその低照度ノイズによる画質劣化を補償する画質鮮明化画像（例えば低照度ノイズの部分をノイズリダクション処理等の公知技術によって抑圧した画像）を生成して追加学習セットＳＥＴ２にて保持できる。従って、監視カメラ１０から送られた補正画像が追加学習セットＳＥＴ２に格納された画質鮮明化画像と同一或いは同様である場合に、照合サーバ２０での照合処理の照合精度が向上可能となる。

また、画質劣化要因は、夜間に監視カメラ１０が備えるＩＲ－ＬＥＤ１８から照射されたＩＲ光による対象物に生じる白飽和である。照合サーバ２０は、既存学習セットＳＥＴ１から読み出した対象物に関する画像全体に白飽和を擬似的に生成し、画像補正モデルを用いて、生成された擬似画像に対応する画質鮮明化画像を生成して追加学習セットＳＥＴ２に格納する。これにより、照合サーバ２０は、屋外で監視カメラ１０が備えるＩＲ－ＬＥＤ１８から高強度のＩＲ光が照射される環境下において対象物全体に白飽和（白飛び）が生じる場合でも、画像補正モデルによってその白飽和による画質劣化を補償する画質鮮明化画像（例えば対象物を構成するエッジや輪郭部分を強調処理した画像）を生成して追加学習セットＳＥＴ２にて保持できる。従って、監視カメラ１０から送られた補正画像が追加学習セットＳＥＴ２に格納された画質鮮明化画像と同一或いは同様である場合に、照合サーバ２０での照合処理の照合精度が向上可能となる。

また、照合サーバ２０は、複数の不審人物のそれぞれの顔画像が予め登録された登録データベース２３を有し、照合処理に用いられた画質鮮明化画像と一致する顔画像を抽出した場合に、抽出された顔画像と対象物の切り出し画像とを対象物の識別情報に対応付けた照合処理をクライアントＰＣ３０に送る。これにより、クライアントＰＣ３０のユーザ（例えば照合システム１の運営者あるいは管理者）は、照合サーバ２０による照合処理の結果を照合結果画面ＲＳＴ１により簡易に把握できる。

また、照合サーバ２０は、既存学習セットＳＥＴ１に格納されたそれぞれの対象物に関する画像に対応した、例えばｋ個の異なる画質鮮明化画像を生成するための学習処理を、照合システム１の実運用開始前に実行する。これにより、照合システム１の実運用開始前に、照合サーバ２０における照合処理の精度を高めるための学習結果を事前に照合サーバ２０に蓄積できる。

また、照合サーバ２０は、既存学習セットＳＥＴ１に格納されたそれぞれの前記対象物に関する画像に対応した、例えばｋ個の異なる画質鮮明化画像を生成するための学習処理を、照合システム１の実運用中に実行する。これにより、照合サーバ２０は、照合システム１の実運用中においても同様な学習処理を実行して追加学習セットＳＥＴ２の内容および蓄積量を充実化することが可能であり、照合処理の精度をより一層向上できる。

また、監視カメラ１０は、対象物の切り出し画像と補正画像（画質鮮明化画像）と撮像画像の生成時に実行した画像処理に関するパラメータとを対象物の識別情報と対応付けて照合サーバ２０に送る。ここで、画像処理に関するパラメータは、例えば監視カメラ１０により実行される画像処理の種類およびその画像処理において使用された各種の数値等のパラメータである。画像処理の種類には、例えば、アナログデジタル変換、解像度変換、アパーチャ変換、ガンマ補正、雑音除去、輪郭（エッジ）強調が含まれる。照合サーバ２０は、監視カメラ１０から送られたパラメータを対象物の画質鮮明化画像と対応付けて学習処理用に記録するとともに、そのパラメータを用いて学習処理を実行する。これにより、照合サーバ２０は、学習処理において追加学習セットＳＥＴ２に追加するべき画像として監視カメラ１０で実行された画像処理の種類および数値等のパラメータを参照でき、どのような画像（画質鮮明化画像）を追加するべきか効率的に判断した上で学習処理を実行できる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

また、本開示は、上記実施形態のＰＣ３０の機能を実現するプログラムを、ネットワークあるいは各種記憶媒体を介して装置に供給し、この装置内のコンピュータが読み出して実行するプログラムも適用範囲である。

本開示は、対象物が屋外で撮像される環境下であっても、撮像された対象物の撮像画像と予めデータベースに登録された監視対象物とが一致するか否かの照合処理の精度を的確に向上し、監視業務の利便性の低下を抑制する照合システム、照合方法およびカメラ装置として有用である。

１ 照合システム
１０ 監視カメラ
１１ 撮像部
１２、２２ メモリ
１３ 信号処理部
１４ 検出処理部
１５ 補正推定部
１６ 照明制御部
１７、２１ 通信インターフェース部
２０ 照合サーバ
２３ 登録データベース
２４ 学習データベース
２５ 照合処理部
２６ 照合結果出力処理部
３０ クライアントＰＣ
４０ レコーダ
ＭＤＬ１ 補正推定ネットワーク
ＰＲＣ１、ＰＲＣ２ プロセッサ
ＳＥＴ１ 既存学習セット
ＳＥＴ２ 追加学習セット

Claims (13)

1. サーバ装置との間で通信可能に接続されたカメラ装置であって、
   屋外の監視対象エリアを撮像する撮像部と、
   前記撮像された前記監視対象エリアの撮像画像に映る対象物を検出し、前記対象物の切り出し画像を生成する検出部と、
   前記対象物の切り出し画像と画像補正モデルとを用いて、前記サーバ装置での前記対象物の照合処理に用いられる画質鮮明化画像を生成する画像補正部と、
   前記対象物の切り出し画像と前記画質鮮明化画像とを、前記対象物の識別情報と対応付けて前記サーバ装置に送る通信部と、を備える、
   カメラ装置。
2. 互いに通信可能に接続されたカメラ装置とサーバ装置とを含む照合システムであって、
   前記カメラ装置は、
   屋外の監視対象エリアの撮像に基づく撮像画像に映る対象物を検出し、前記対象物の切り出し画像を生成し、
   前記対象物の切り出し画像と画像補正モデルとを用いて、前記サーバ装置での前記対象物の照合処理に用いられる画質鮮明化画像を生成し、
   前記対象物の切り出し画像と前記画質鮮明化画像とを、前記対象物の識別情報と対応付けて前記サーバ装置に送り、
   前記サーバ装置は、
   特定の対象物に関する画像を格納する登録データベースと、不特定多数の対象物に関する画像を格納する第１画像セットと、前記画像補正モデルを用いた学習処理により得られ、かつ、前記不特定多数の対象物の屋外での撮像により生じる画質劣化要因に対応した１つ以上の画像鮮明化画像を格納する第２画像セットと、を保持し、
   前記カメラ装置から送られた前記対象物の切り出し画像と前記画質鮮明化画像とを受信すると、前記画質鮮明化画像と前記登録データベースと前記第１画像セットと前記第２画像セットとを用いて、前記画質鮮明化画像に対応する前記撮像画像に映る前記対象物の照合処理を実行し、
   前記撮像画像に映る前記対象物の識別情報を含む前記照合処理の実行結果を外部装置に送る、
   照合システム。
3. 前記サーバ装置は、
   前記第１画像セットと前記画像補正モデルとを用いて、前記画質鮮明化画像を生成し、前記生成された前記画質鮮明化画像を前記第２画像セットに格納する、
   請求項２に記載の照合システム。
4. 前記第１画像セットは、ｋ（ｋ：２以上の整数）個の異なる前記不特定多数の対象物に関する画像を格納し、
   前記第２画像セットは、前記第１画像セットに格納されたそれぞれの前記不特定多数の対象物に関する画像に対応した、ｋ個の異なる前記画質鮮明化画像を格納する、
   請求項３に記載の照合システム。
5. 前記画質劣化要因は、太陽光による前記対象物の一部の領域に生じるムラであり、
   前記サーバ装置は、
   前記第１画像セットから読み出した前記不特定多数の対象物に関する画像中の一部の領域に前記ムラを擬似的に生成し、前記画像補正モデルを用いて、前記生成された擬似画像に対応する前記画質鮮明化画像を生成して前記第２画像セットに格納する、
   請求項３に記載の照合システム。
6. 前記画質劣化要因は、太陽光による前記対象物の一部の領域に生じる影であり、
   前記サーバ装置は、
   前記第１画像セットから読み出した前記不特定多数の対象物に関する画像中の一部の領域に前記影を擬似的に生成し、前記画像補正モデルを用いて、前記生成された擬似画像に対応する前記画質鮮明化画像を生成して前記第２画像セットに格納する、
   請求項３に記載の照合システム。
7. 前記画質劣化要因は、夜間の撮像による前記対象物に生じる低照度ノイズであり、
   前記サーバ装置は、
   前記第１画像セットから読み出した前記不特定多数の対象物に関する画像全体に前記低照度ノイズを擬似的に生成し、前記画像補正モデルを用いて、前記生成された擬似画像に対応する前記画質鮮明化画像を生成して前記第２画像セットに格納する、
   請求項３に記載の照合システム。
8. 前記画質劣化要因は、夜間に前記カメラ装置が備えるＩＲ照明部から照射されたＩＲ光による前記対象物に生じる白飽和であり、
   前記サーバ装置は、
   前記第１画像セットから読み出した前記不特定多数の対象物に関する画像全体に前記白飽和を擬似的に生成し、前記画像補正モデルを用いて、前記生成された擬似画像に対応する前記画質鮮明化画像を生成して前記第２画像セットに格納する、
   請求項３に記載の照合システム。
9. 前記登録データベースは、複数の不審人物のそれぞれの顔画像を予め登録し、
   前記サーバ装置は、前記照合処理に用いられた前記画質鮮明化画像と一致する顔画像を前記登録データベースから抽出した場合に、前記抽出された前記顔画像と前記撮像画像に映る前記対象物の切り出し画像とを前記撮像画像に映る前記対象物の識別情報に対応付けた前記照合処理を前記外部装置に送る、
   請求項２に記載の照合システム。
10. 前記サーバ装置は、
    前記第１画像セットに格納されたそれぞれの前記不特定多数の対象物に関する画像に対応した、ｋ個の異なる前記画質鮮明化画像を生成するための学習処理を、前記照合システムの実運用開始前に実行する、
    請求項４に記載の照合システム。
11. 前記サーバ装置は、
    前記第１画像セットに格納されたそれぞれの前記不特定多数の対象物に関する画像に対応した、ｋ個の異なる前記画質鮮明化画像を生成するための学習処理を、前記照合システムの実運用中に実行する、
    請求項４に記載の照合システム。
12. 前記カメラ装置は、
    前記撮像画像に映る前記対象物の切り出し画像と前記画質鮮明化画像と前記撮像画像の生成時に実行した画像処理に関するパラメータとを前記撮像画像に映る前記対象物の識別情報と対応付けて前記サーバ装置に送り、
    前記サーバ装置は、
    前記カメラ装置から送られた前記パラメータを前記画質鮮明化画像と対応付けて記録するとともに、前記パラメータを用いて前記学習処理を実行する、
    請求項１１に記載の照合システム。
13. 互いに通信可能に接続されたカメラ装置とサーバ装置とを含む照合システムにより実行される照合方法であって、
    前記カメラ装置は、
    屋外の監視対象エリアの撮像に基づく撮像画像に映る対象物を検出し、前記対象物の切り出し画像を生成し、
    前記対象物の切り出し画像と画像補正モデルとを用いて、前記サーバ装置での前記対象物の照合処理に用いられる画質鮮明化画像を生成し、
    前記対象物の切り出し画像と前記画質鮮明化画像とを、前記対象物の識別情報と対応付けて前記サーバ装置に送り、
    前記サーバ装置は、
    特定の対象物に関する画像を格納する登録データベースと、不特定多数の対象物に関する画像を格納する第１画像セットと、前記画像補正モデルを用いた学習処理により得られ、かつ、前記不特定多数の対象物の屋外での撮像により生じる画質劣化要因に対応した１つ以上の画像鮮明化画像を格納する第２画像セットと、を保持し、
    前記カメラ装置から送られた前記対象物の切り出し画像と前記画質鮮明化画像とを受信すると、前記画質鮮明化画像と前記登録データベースと前記第１画像セットと前記第２画像セットとを用いて、前記画質鮮明化画像に対応する前記撮像画像に映る前記対象物の照合処理を実行し、
    前記撮像画像に映る前記対象物の識別情報を含む前記照合処理の実行結果を外部装置に送る、
    照合方法。

Images