JP4410755B2 - 画像処理装置および監視システム - Google Patents

Description

本発明は、監視用カメラおよび認識用カメラにより車両の監視を行う監視システムに関する。

従来から、各地に設置されたカメラで走行中の車両を撮像し、予め登録しているナンバーの車両の移動経路をトレースしたり、車種や車色、車両の特徴等を記録したりして盗難車、犯罪車両検出等を行う監視システムがある。

この監視システムには、（１）車両の全体を撮像する監視用カメラ（カラーカメラ等）と、（２）車両のナンバープレート部分を撮像する認識用カメラとの２種類のカメラ併用するものがある。
（１）の監視用カメラは車両の全体像（車種や車色、車両の特徴）を撮像することを目的としているので、カラーで撮像するが画素数（解像度）は比較的低いものとしている。一方、（２）の認識用カメラは車両のナンバープレート部分の文字情報を精度高く撮像することを目的としているのでモノクロで撮像するが画素数（解像度）は比較的高いものとしている。なお、（２）の認識用カメラは、比較的暗い場所であっても正確に文字情報を認識できるように近赤外線カメラ等を用いている。このように、監視システムにおいて、監視用カメラと認識用カメラとを併用することで、車両のナンバーを正確に認識しつつ、車両の全体像（車種や車色、車両の特徴）も捉えることを可能としている。

しかし、このような監視システムにより撮像された車両の画像には、個人情報的な要素も多く含まれるため、このような個人情報的な要素が本来の目的以外の用途に使用されないようにする必要がある。そこで、画像に含まれる個人情報的な要素である、ナンバープレートの領域を隠蔽したり、限られた利用者のみが使用できるようにしたりする技術が提案されている（特許文献１等参照）。
特開２００１−２３０７２号公報

しかし、前記した技術において用いられる監視用カメラの画像は画素数が低いものであるので、ナンバープレートの領域を正確に特定し、隠蔽できるとは限らない。また、前記した技術は、監視用カメラで撮像したナンバープレート全体を隠蔽するものに過ぎない。
すなわち、今後、監視システムに多数の利用者が関与することになると、ナンバープレート等についても、その利用者の権限に応じて、個人情報として隠蔽すべき領域と、個人情報であっても監視のため隠蔽しない領域（あるいは隠蔽を復元できる領域）とを細かに分け、表示制御することが必要になる。ところが、前記したとおり監視用カメラの画像は画素数が低いものであるので、例えば、監視用カメラの画像におけるナンバープレートのコードごとに細かに分けて表示制御することはできない。
そこで、本発明は、前記した問題を解決する、監視システム等を提供することを目的とする。

前記した課題を解決するため、本発明は、車両の全体像の画像データである第１の画像データと、前記車両のフロント部分の画像である第２の画像データとを取得して画像処理を行う画像処理装置であって、前記第１の画像データと前記第２の画像データとの入力を受け付けるデータ入力部と、前記第２の画像データにおける前記車両のナンバープレートの領域を特定する領域特定部と、前記第１の画像データおよび前記第２の画像データのワールド座標を一致させ、前記特定したナンバープレートの領域が前記第１の画像データのどの領域に位置するか特定する領域位置特定部と、前記監視システムの利用者のレベルごとに、開示を許可するナンバープレートの領域を示した開示領域情報を格納する記憶部と、前記特定した第１の画像データにおけるナンバープレートの領域を隠蔽する画像処理を行った画像データを作成するとともに、前記開示領域情報を参照して、前記画像処理を行った画像データにおいて前記隠蔽の復元を許可するナンバープレートの領域を前記レベルごとに示した復元用データを作成する画像処理部と、前記画像処理を行った画像データおよび前記復元用データを送信する送信部とを備える構成とした。その他の構成については、後記する実施の形態で述べる。

本発明により、監視システムは、撮像した画像のうちナンバープレート等の個人情報的な領域を、利用者のレベルに応じて表示制御することができる。したがって、今後、監視システムに多数の利用者が関与することになった場合でも、画像に写った個人情報を適切に保護することができる。

本発明を実施するための最良の形態（以下、実施の形態とする）を、図面を用いて詳細に説明する。図１は、本実施の形態の監視システムの全体構成を示す図である。
図１に示すように、監視システムは、ナンバープレートを含む車両のフロント部分の画像を撮像する認識用カメラ（第２のカメラ）２と、車両全体の画像を撮像する監視用カメラ（第１のカメラ）１と、それぞれのカメラから出力された画像データの所定の画像処理（例えば、モザイク処理）を行う画像処理装置３と、各拠点の画像処理装置３からのデータを受信し、利用者のレベルに応じて画像処理の復元を行う管理装置４と、各画像処理装置３と管理装置４とを接続するネットワーク５とを含んで構成される。

監視用カメラ１は車両の色や外見的特徴が分かりやすいようカラーカメラ等を用いる。認識用カメラ２は、比較的暗い場所でも車両のナンバープレートを撮像しやすいように近赤外線対応のモノクロカメラ等を用いる。
画像処理装置３は、車両の監視を行う拠点ごとに設置される。この画像処理装置３は、複数の認識用カメラ２および監視用カメラ１からの画像データの画像処理を行うようにしてもよい。管理装置４は、ネットワーク５経由で通信を行う通信機能を備えたコンピュータにより実現される。

次に、画像処理装置３のハードウェア構成を説明する。図２は、図１の画像処理装置のハードウェア構成を示した図である。

画像処理装置３は、モザイク処理等の画像処理を行う処理装置５０と、ネットワーク５経由で処理装置５０が図１の管理装置４と通信を行うための通信制御装置６０とを含んで構成される。

この処理装置５０は、認識用カメラ２や監視用カメラ１から出力されるアナログ信号をディジタル信号に変換するＡ／Ｄ（Analog to Digital）変換器５２、ディジタル信号を格納する画像メモリ５３、画像処理をするための画像処理プロセッサ５４、この画像処理プロセッサ５４による処理結果等を表示するためのディジタル信号をアナログ信号に変換するＤ／Ａ（Digital to Analog）変換器５５、このＤ／Ａ変換器５５から出力された画像データを出力し、表示するモニタ５６等を備える。
また、この処理装置５０は、画像メモリ５３とは別に、記憶部（図示せず）をさらに備える。この記憶部には、画像処理プロセッサ５４が画像処理を行う際に参照する各種データが格納される。
さらに、この処理装置５０と通信制御装置６０とは、図示しない入出力インターフェースにより接続されている。この通信制御装置６０は、ＣＰＵ（Central Processing Unit）５７と、通信用プログラムを格納するＲＡＭ（Random Access Memory）５８と、通信インタフェース５９とを備えるＰＣ（Personal Computer）により実現されるものとする。なお、この通信制御装置６０の機能は、処理装置５０の一部に組み込むようにしてもよい。

また、処理装置５０における画像処理は、画像処理プロセッサ５４が画像メモリ５３を用いて実行するものとして説明するが、処理装置５０の図示しないＣＰＵがＲＡＭに格納されたプログラムを実行するようにしてもよい。

次に、図１および図２を参照しつつ、図３を用いて、画像処理装置３および管理装置４の機能を説明する。図３は、図１の画像処理装置および管理装置を機能展開して示したブロック図である。なお、以下の説明では画像処理装置３が行う画像処理はモザイク処理であるものとして説明するが、これに限定されるものではない。

＜画像処理装置＞
画像処理装置３は、監視用カメラ１から出力される監視用カメラ画像（第１の画像データ）および認識用カメラ２から出力される認識用カメラ画像（第２の画像データ）の入力を受け付けるデータ入力部３１と、ナンバー認識部３４の文字認識結果から認識用カメラ画像におけるナンバープレートの領域の特定を行う領域特定部３２と、監視用カメラ画像および認識用カメラ画像のワールド座標を一致させ、特定した監視用カメラ画像におけるナンバープレートの領域が監視用カメラ画像のどの領域に位置するか特定する領域位置特定部３３と、認識用カメラ画像のナンバープレートのナンバー認識を行うナンバー認識部３４と、各画像データにモザイク処理を行った画像データを作成する画像処理部３５と、前記画像処理を行った画像データと、ナンバー認識部３４によるナンバー認識結果とをネットワーク５経由で送信する送信部３６と、監視システムの利用者のレベルごとに、前記レベルの利用者に対し開示する画像領域を示した開示領域情報を記憶する開示領域情報記憶部３７とを備える。

なお、前記した画像処理部３５は、監視用カメラ画像にモザイク処理を行った画像データを作成するとともに、このモザイク処理の復元に用いる復元用データを作成する。この復元用データは、各利用者のレベルごとにモザイクの復元を許可するナンバープレートの領域に関する情報、このモザイク処理の種別に関する情報等を含むものである。例えば、画像処理部３５は、復元用データとして、レベル１の利用者に対してはナンバープレートの事業コード特定領域（後記する図１４の符号１１参照）のモザイクの復元を許可する、というような情報を作成する。

なお、領域特定部３２、領域位置特定部３３および画像処理部３５は、前記した図２の画像処理プロセッサ５４により実現され、データ入力部３１は図２のＡ／Ｄ変換器５２により実現される。また送信部３６は、図２の通信制御装置６０により実現される。

管理装置４は、画像処理装置３からの送信データを受信する受信部４１と、この送信データに含まれる画像データのモザイクを復元する復元部４２と、モザイク処理を復元した画像データを表示する画像表示部４３と、送信データを管理装置４の記憶部（図示せず）に保存するデータ保存部４４とを備える。

なお、この復元部４２は、前記した復元用データに基づき、各利用者のレベルに応じて、モザイク処理された画像データの復元を行う。例えば、復元部４２が、管理装置４の入力部（図示せず）経由で、利用者のＩＤの入力を受け付け、利用者ＩＤごとに利用者のレベルを示した情報等を参照して、このＩＤの利用者のレベルを判断する。そして、このレベルに応じたモザイク処理の復元を行う。なお、ここでいう利用者のレベルとは、情報を閲覧できる権限をいくつかの段階で示したものである。本実施の形態の監視システムは、レベルが高い（レベル値が小さい）利用者に対してはより多くの情報を閲覧できるようにし、レベルが低い（レベル値が大きい）利用者に対しては閲覧できる情報を少なくするように制御している。

なお、この管理装置４は、ＣＰＵ、記憶部、入出力インタフェース、通信インタフェース等を備えるコンピュータにより実現される。前記した受信部４１は、管理装置４の通信インタフェースにより実現される。また、管理装置４の記憶部には、復元用データに基づきモザイクを復元するモザイク復元プログラムや、液晶モニタ等の画像表示装置に画像を表示するための画像表示プログラムが格納される。前記した復元部４２、画像表示部４３およびデータ保存部４４は、管理装置４のＣＰＵが記憶部のプログラムを実行することにより実現される。

＜カメラの説明＞
ここで、図４〜図１０を用いて、本実施の形態の監視用カメラ１および認識用カメラ２を説明する。図４は、図１の監視用カメラおよび認識用カメラの配置を説明する図である。図４に示すように、監視用カメラ１の視野は、車両１００全体を撮像できるよう符合７に示す領域とする。また、認識用カメラ２の視野は、ナンバープレートのナンバー認識ができるよう符号６に示す領域（車両のフロント部近傍の領域）とする。
図５は、図４の認識用カメラにより撮像された画像を例示した図であり、図６は図５の画像におけるナンバープレートを詳細に示した図である。
一般に、認識用カメラ２の視野における高さおよび幅は２〜３ｍ程度であり、認識用カメラ２が図４の車両１００を撮像すると、図５の画像８のようになる。つまり、認識用カメラ２が撮像した画像は、図５の符号８０に示すナンバープレートに含まれる各コード（図６の陸支コード９、車種コード１０、事業コード１１および一連番号１２等）を文字認識したり、人間が目視で確認したりできる程度の解像度の画像とする。

また、このときの認識用カメラ２の設置を、図７を用いて説明する。図７は、図４の認識用カメラの設置位置を説明する図である。
図７に示すように、カメラ設置高さＨ、カメラ俯角θ、認識用カメラ２がナンバープレートを認識するとナンバープレートの位置が求まるので、その検出位置からおおよそのカメラからの位置Ｌ１が分かる。

一方、図４の監視用カメラ１の視野は、車両全体を撮像できる範囲とし、車種・車両形状等の把握できるようにする。例えば、図４の監視用カメラ１が車両１００を撮像すると図８の画像１３のようになる。図８は、図４の監視用カメラにより撮像された画像を例示した図である。図９は、図４の監視用カメラの視野を説明する図である。図１０は、図４の監視用カメラの画像におけるナンバープレートの位置を説明する図である。
図９に示すように、監視用カメラ１の視野（実線の領域）は、認識用カメラ２の視野（破線の領域）に比べて大きくなる。また、図１０に示すように、監視用カメラ１が撮像した画像１３において車両１００のナンバープレートの位置（高さ）は、符号Ｌ２に示す位置になる。

＜動作説明＞
次に、図１〜図１０を参照しつつ、図１１および図１７を用いて監視システムの動作を説明する。図１１は、図１の画像処理装置の動作を示したフローチャートである。図１７は、図１の管理装置の動作を説明するフローチャートである。

図３の画像処理装置３のデータ入力部３１は、監視用カメラ１および認識用カメラ２から出力された画像（監視用カメラ画像および認識用カメラ画像）の入力を受け付ける（Ｓ１５０）。

次に、ナンバー認識部３４は車両検知処理を実行し（Ｓ１６０）、認識用カメラ２から出力された認識用カメラ画像にナンバープレートがあるか否かを判断する（Ｓ１７０）。ここで、認識用カメラ画像にナンバープレートがない場合（Ｓ１７０のＮｏ）、Ｓ１５０へ戻り、再度画像データが入力されるのを待つ。
一方、認識用カメラ画像にナンバープレートが含まれていれば（Ｓ１７０のＹｅｓ）、このナンバープレートの各コードの文字認識を行う（Ｓ１８０）。なお、ナンバープレートのナンバー認識処理については、特開平６−２１５２９３号公報「車番認識装置」等に記載される技術を用いることができる。次に、領域特定部３２は、Ｓ１８０の文字認識結果から認識用カメラ画像におけるナンバープレート領域を特定する（Ｓ１９０）。

次に、領域位置特定部３３は、監視用カメラ画像および認識用カメラ画像のワールド座標を一致させ、Ｓ１９０で領域特定部３２が特定したナンバープレート領域の座標変換を行う（Ｓ２００）。つまり、領域位置特定部３３は、認識用カメラ画像におけるナンバープレート領域が監視用カメラ画像のどの領域に位置するか特定する。例えば、図１２に示すように監視用カメラ画像２４上においてナンバープレート領域は、符号２４０に示す領域であると特定する。

この座標変換については、透視変換等の技術を用いる。透視変換は「コンピュータビジョン」：新技術コミュニケーションズ発行：ｐｐ.７７−５３にカメラキャリブレーションとして記載されている。本実施の形態における座標変換の詳細については、図面を用いて後記する。

次に、画像処理部３５は、監視用カメラ画像におけるナンバープレート領域にモザイク処理を行う（Ｓ２２０）。このときのモザイク処理の方法は、文字情報が目視で識別不可能なように隠蔽でき、かつ管理装置４側で復元可能であれば、前記したモザイク処理に限定されない。

また、画像処理部３５がＳ２２０でモザイク処理を行う際、復元用データも作成する。この復元用データは、その画像データにおいてモザイクの復元を許可する領域と、そのモザイクの種別（手法）とを示した情報である。このモザイクの復元を許可する領域は、監視システムの管理者等が開示領域情報に基づき利用者のレベル（利用者の権限）ごとに、設定する。この開示領域情報については、図面を用いて後記する。
なお、復元用データにおいてモザイクの復元を許可する領域のかわりに、モザイクの復元を許可しない領域、つまり隠蔽したままにする領域に関する情報を記述するようにしてもよい。

画像処理部３５は、ナンバープレートの画像の全領域をモザイク処理した後、前記した開示領域情報を参照して、この画像の復元用データを作成する。そして、モザイク処理した画像データ、復元用データ、文字認識結果等（以下、まとめて送信データとする）を送信部３６経由で、管理装置４へ送信する（Ｓ２３０）。この後、Ｓ１５０へ戻り、画像処理装置３は、次の画像データが入力されるのを待つ。
このようにして画像処理装置３は、各画像データのモザイク処理を行う。

ここで、図１１のＳ２００における座標変換について、図１３を用いて説明する。図１３（ａ）はワールド座標系を説明する図であり、（ｂ）はカメラ座標系を説明する図である。図１３（ａ）のＧｘ,Ｇｙはワールド座標系における座標を示し、図１３（ｂ）のＣｘ,Ｃｙはカメラ座標系における座標を示す。なお、このカメラ座標は、カメラの視野内における相対的な座標であり、ワールド座標はカメラの設置位置を原点とした絶対的な座標である。
この座標変換は、（１）カメラパラメータの算出、（２）カメラ座標→ワールド座標の変換、（３）ワールド座標→カメラ座標の変換という３つのステップからなる。以下の説明では監視用カメラ１および認識用カメラ２の設置位置は、ほぼ同じものとして説明する。

まず、路面上に設置した図１３（ａ）の基準点Ａ〜Ｄからカメラ（監視用カメラ１と認識用カメラ２）を原点としたワールド座標（Ｇｘ,Ｇｙ）と、カメラ画像の図１３（ｂ）の座標ａ〜ｄの座標（Ｃｘ,Ｃｙ）との対応から、監視用カメラ１および認識用カメラ２のカメラパラメータ（透視変換の変換行列パラメータ）を算出しておく。

次に、式（１）により求めた認識用カメラ２のカメラパラメータを用いて、認識用カメラ２におけるカメラ座標をワールド座標に変換する。つまり、以下の式（２）に認識用カメラ２のカメラパラメータおよび認識用カメラ２のカメラ座標を代入して、ワールド座標を計算する。例えば、認識用カメラ画像におけるナンバープレート領域の座標を、ワールド座標に変換する。

続いて、式（１）により求めた監視用カメラ１のカメラパラメータを用いて、認識用カメラ２におけるワールド座標を、監視用カメラ１のカメラ座標に変換する。つまり、以下の式（３）に、監視用カメラ１のカメラパラメータおよびワールド座標を代入して、監視用カメラ１のカメラ座標を計算する。つまり、ナンバープレート領域のワールド座標を、監視用カメラ画像における座標に変換する。

なお、前記した座標変換は、監視用カメラ１および認識用カメラ２の高さ、設置位置、俯角、側写角、視野幅等から計算するようにしてもよい。

領域位置特定部３３は、前記したような計算により座標変換を行った後、監視用カメラ画像のナンバープレート領域における各コード領域の特定を行う。この各コード領域の特定は、ナンバー認識部３４が文字認識を行う際に特定した各コード領域に関する情報を用いる。この各コード領域の特定は、ナンバープレートごとに実施する。図１４は、本実施の形態における各コード領域の特定例を示した図である。図１４に示すように、領域位置特定部３３は、陸支コードの領域（符号９）、車種コードの領域（符号１０）、事業コードの領域（符号１１）および一連番号の領域（符号１２）を特定する。この後さらに、一連番号の領域（符号１２）を、文字ごとに区分して特定するようにしてもよい。

次に、図１５を用いて、開示領域情報を説明する。図１５は、本実施の形態における開示領域情報を説明する図である。図１５に示すように、開示領域情報に設定されるレベルは、２つ、もしくはそれ以上の段階とする。つまり、レベル０とそれ以外のレベルというように２段階のレベルを設定してもよいし、レベル０〜レベル４までというように２段階以上のレベルを設定するようにしてもよい。図中の例では、レベル０(高)〜レベル４(低)の５段階のレベルを設定し、レベルが低くなるとともにモザイク領域（隠蔽する領域）を増やしている。つまり、逆にいうと、レベルが高くなるとともに開示する領域（隠蔽しない領域）を増やしている。

例えば、図１５において、レベル０は、ナンバープレートのすべてのコード領域を閲覧可能にすることを示す。
レベル１は、一連番号の領域（符号１２）は隠蔽し、その他の領域（陸支コード「足立」、車種コード「５００」、事業コード「お」）は開示することを示す。
レベル２は、一連番号の領域（符号１２）および車種コードの領域（符号１０）は隠蔽するが、その他の領域（陸支コード「足立」、事業コード「お」）は開示することを示す。
レベル３は、一連番号の領域（符号１２）、車種コードの領域（符号１０）および事業コードの領域（符号１１）は隠蔽するが、その他の領域（陸支コード「足立」）は開示することを示す。
レベル４は、すべての領域（符号９〜符号１２）を隠蔽することを示す。
なお、この開示領域情報は画像処理装置３の入力部（図示せず）経由で入力することができる。
また、図１５の符号３１０に示す平滑化の例については、後記する。

続いて、図１６を用いて、送信部３６から送信される送信データを説明する。図１６は、図３の送信部が送信する送信データを例示した図である。図１６に示すように、送信データは、モザイク処理をした画像データ１６１、復元用データ１６２、文字認識結果１６３等を含む。この復元用データ１６２は、モザイクの手法に関する情報であるモザイク手法１６５およびモザイクの復元を許可する領域に関する情報であるモザイク領域１６６を含む。このモザイクの復元を許可する領域に関する情報は、画像データにおける位置座標等により記述される。
また、モザイク処理をした画像データ１６１と復元用データ１６２とは、セキュリティ保持のため別々に送信するようにしてもよい。

次に、適宜図１〜図１６を参照しつつ、図１７を用いて画像処理装置３からの送信データを受信した管理装置４の動作を説明する。
管理装置４の受信部４１は、ネットワーク５経由で画像処理装置３からの送信データを受信し（Ｓ４２０）、図示しない入力部経由でデータ保存を要求する入力があれば（Ｓ４３０のＹｅｓ）、データ保存部４４が管理装置４の受信した送信データを記憶部（図示せず）に保存する（Ｓ４４０）。一方、データ保存を要求する入力がなければ（Ｓ４３０のＮｏ）、Ｓ４５０へ進む。Ｓ４５０では、送信データに含まれる画像データの表示を要求する入力があるか否かを判断する。画像データの表示を要求する入力があれば（Ｓ４５０のＹｅｓ）、Ｓ４６０へ進み、復元部４２は、レベルの判定を行う（Ｓ４６０）。例えば、復元部４２は、入力部経由で入力された利用者のＩＤ等をキーとして、この画像データの表示を要求する利用者のレベルを判断する。一方、画像データの表示を要求する入力がなければ（Ｓ４５０のＮｏ）、Ｓ４２０へ戻る。そして、復元部４２は、利用者のレベルに応じた画像データのモザイク復元処理を行う（Ｓ４７０）。このときのモザイク復元処理は、復元用データに含まれるモザイク手法１６５およびモザイク領域１６６の情報を参照して行う。

例えば、復元部４２が、利用者のレベルは「１」であると判定したときには、画像データ１６１のナンバープレートの領域について、図１５の符号２７に示すような画像に復元する。つまり、符号１２の一連番号の領域は隠蔽したままで、それ以外の領域はモザイクを復元した画像を作成する。そして、画像表示部４３は、復元部４２で復元した画像データの表示処理を行う（Ｓ４８０）。例えば、管理装置４に接続される表示装置（図示せず）に復元した画像データを表示する。そして、Ｓ４２０へ戻る。
管理装置４は、前記した処理を画像処理装置３から送信データを受信するたびに繰り返す。

このようにして、監視システムは、撮像した車両のナンバープレートについて、利用者のレベルに応じた表示制御をすることができる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態を説明する。第２の実施の形態は、画像処理装置３が監視用カメラ画像に認識用カメラ画像の一部を合成して、管理装置４へ送信することを特徴とする。つまり、画像処理装置３が監視用カメラ画像である車両全体の画像と、認識用カメラ画像におけるナンバープレート部分の領域の拡大画像とを送信する。したがって、管理装置４において利用者が目視でナンバープレートを確認したい場合、車両全体の画像ではナンバープレート領域が小さすぎて、文字情報が確認できないようなときでも、拡大画像の部分を見ることでナンバープレートの文字情報を確認しやすくなる。

図１８は、第２の実施の形態における画像処理装置の動作を示したフローチャートである。図１８のＳ１５０〜Ｓ１９０までの処理は、図１１のＳ１５０〜Ｓ１９０までの処理と同様なので説明を省略し、本実施の形態の特徴となるＳ１９１以降の処理から説明する。

図３の画像処理部３５は、Ｓ１９０で特定した認識用カメラ画像におけるナンバープレート領域の画像を読み出し（Ｓ１９１）、この画像を監視用カメラ画像に合成する（Ｓ１９２）。図１９は、第２の実施の形態の画像処理部が作成した合成画像を例示した図である。図１９に示すように、画像処理部３５は、認識用カメラ画像におけるナンバープレート領域の画像を、監視用カメラ画像の領域３９の位置に合成する。なお、この領域３９の位置は、車両の進行方向や道路状況に応じて、変更してもよい。また、領域３９におけるナンバープレートの大きさは、利用者が画面上で見やすいよう、領域４０におけるナンバープレートの大きさよりも大きくなるよう適宜拡大処理をするのが好ましい。

次に、領域位置特定部３３は、図１１のＳ２００と同様に監視用カメラ画像と認識用カメラ画像との座標変換を行う（Ｓ２００）。そして、画像処理部３５は、Ｓ１９２で合成した画像のモザイク処理を行う（Ｓ３２０）。すなわち、画像処理部３５は、車両の全体像におけるナンバープレート領域（図１９の領域４０）と、合成したナンバープレート領域（領域３９）と、両方の領域にモザイク処理を行う。

このとき、監視用カメラ画像における領域３９の位置および領域３９における各文字情報（陸支コード、車種コード、事業コードおよび一連番号等）の領域は、領域位置特定部３３が、監視用カメラ画像の合成領域始点１９０の座標と、認識用カメラ画像の文字認識時に求めた各文字情報の相対座標とに基づき特定する。また、画像処理部３５は、前記した第１の実施の形態と同様にモザイク処理の復元用データを作成する。ここでの復元用データは、領域４０のナンバープレート領域に関する復元用データに加え、領域３９のナンバープレート領域に関する復元用データも含むものである。

そして、画像処理部３５は、図１１のＳ２３０と同様に、モザイク処理をした画像データ、復元用データおよび認識結果を含む送信データを管理装置４へ送信する（図１８のＳ３３０）。
この後、管理装置４は送信データを受信し、第１の実施の形態と同様の手順により、図１９の領域４０および領域３９のナンバープレート領域のモザイクの復元処理や、画像表示処理を行う。

このように、画像処理装置３が、監視用カメラ画像に認識用カメラ画像に写ったナンバープレートの拡大画像を合成して送信するので、監視用カメラ画像が不鮮明でも、利用者が目視でナンバープレートの各コードの情報を確認しやすくなる。

なお、画像処理装置３は、前記したナンバープレートのかわりに、監視用カメラ画像から抽出したドライバーの画像を合成するようにしてもよい。図２０は、第２の実施の形態の変形例における合成画像を例示した図である。例えば、画像処理部３５は、監視用カメラ画像からドライバーが写っている領域（領域２００）を抽出し、この抽出した画像を拡大して、監視用カメラ画像の脇（例えば、図２０の領域６１等）に合成する。そして、画像処理部３５は、ドライバーが写っている領域（領域２００および領域６１）と、ナンバープレート領域（領域４０）とについて、モザイク処理を行う。

このように画像処理装置３が、監視用カメラ画像のナンバープレート領域およびドライバーが写っている領域にモザイク処理を行い、管理装置４へ送信するので、ドライバーのプライバシーを保護しつつ、管理装置４の利用者はドライバーの特徴を確認できるようになる。したがって、利用者は、本システムを用いて犯罪捜査等をしやすくなる。なお、前記したドライバーの写っている領域は、車両のフロントガラスの領域であってもよい。

また、監視用画像データにおいてドライバーが写っている領域については、領域位置特定部３３がナンバープレート領域を特定した後、このナンバープレート領域の上方領域を水平・垂直微分等してフロントガラス部分における特徴量を抽出し、この特徴量における濃淡情報等から特定するものとする。

また、画像処理部３５は、監視用カメラ画像に認識用カメラ画像から抽出した車両のフロントグリル部分の画像を合成するようにしてもよい。図２１は、第２の実施の形態の変形例における合成画像を例示した図である。例えば、画像処理部３５は、認識用カメラ画像からフロントグリル部分の領域を抽出し、この抽出した画像を拡大して、監視用カメラ画像の脇（例えば、図２１の領域６２等）に合成する。そして、画像処理部３５は、この合成画像における車両のフロントグリル部分（領域６３および領域６２）について、モザイク処理を行う。

このように画像処理装置３が、監視用カメラ画像のフロントグリル部分にモザイク処理を行い管理装置４へ送信するので、ドライバーのプライバシーを保護しつつ、管理装置４の利用者は車両のフロントグリル部分の様子を確認することができる。つまり、利用者は、車両のフロントグリル部分の特徴（例えば、フロントグリル部分の傷や、へこみ等）を細かに確認できるので、犯罪捜査等をしやすくなる。

なお、この認識用カメラ画像におけるフロントグリル部分の抽出は、ナンバー認識部３４によるナンバープレートの認識結果から、車種や大まかな車両サイズを特定することで可能である。あるいは、前記したドライバーの写っている領域の特定と同様に、水平・垂直微分を用いて、車両幅を特定したり、予め車種ごとにフロント部分の形を登録しておき、この形のパターンマッチングにより特定したりすることでも抽出可能である。
このように、画像処理装置３は、車両のナンバープレート以外でも、車両の特徴となる部分の画像データについてモザイク処理を行い、管理装置４へ送信するようにしてもよい。

＜その他の実施の形態＞
本発明は、前記した実施の形態に限定されず、広く変形可能である。例えば、前記した開示領域情報は、各レベルごとに開示する領域を示した情報としたが、各領域ごとに、当該領域はどのレベルか（つまり、どのレベルの利用者までモザイク復元を許可するか）を示した情報としてもよい。このようにすることで、監視システムの管理者は、各領域ごとのレベルの調整を行いやすくなる。

また、画像処理部３５が行うモザイク処理は、例えば、図１５の符号３１０に示すような平滑化手法を用いるようにしてもよい。さらに、画像処理部３５の用いるモザイク処理の手法は領域ごとに異なるものとしてもよい。また、このモザイク処理の方法については、暗号キーによる暗号化、濃度値のビットローテート等を用いるようにしてもよい。この場合、画像処理部３５が復元用データに暗号キー、ビットローテートキー等を含めるようにする。

さらに、画像処理装置３は、複数のモザイク処理の手法から所定の手法を選択できるようにしてもよい。つまり、画像処理装置３の記憶部にモザイク処理を行うプログラムを複数格納しておき、前記した図１１のＳ２２０や図１８のＳ３２０において、画像処理部３５がモザイク処理を行う前に、どのモザイク処理の手法を用いるかの選択できるようにする。例えば、画像処理装置３の入力部経由で、監視システムの管理者からどのモザイク処理の手法を用いるかに関する選択入力を受け付け、この選択入力に基づき画像処理部３５が所定のモザイク処理のプログラムを実行するようにする。

さらに、画像処理部３５が実行するモザイク処理は不可逆変換の平滑化、部分画素塗りつぶし等の手法を用いてもよい。この場合には、画像処理部３５は復元用データに、モザイク処理を行った領域の現画像（モザイク処理前の画像データ）を暗号化して付加するようにする。このような方法によっても画像処理装置３は、画像にモザイク処理を行い、かつ管理装置４側でこのモザイク処理を復元できるようにすることができる。

本実施の形態に係る画像処理装置３は、前記したような処理を実行させる画像処理プログラムによって実現するようにしてもよい。また、そのプログラムをコンピュータによる読み取り可能な記憶媒体（ＣＤ-ＲＯＭ等）に記憶して提供することも可能である。また、そのプログラムを、インターネット等の通信ネットワークを通して提供することも可能である。

本実施の形態の監視システムの全体構成を示す図である。 図１の画像処理装置のハードウェア構成を示した図である。 図１の画像処理装置および管理装置を機能展開して示したブロック図である。 図１の監視用カメラおよび認識用カメラの配置を説明する図である。 図４の認識用カメラにより撮像された画像を例示した図である。 図５の画像におけるナンバープレートを詳細に示した図である。 図４の認識用カメラの設置位置を説明する図である。 図４の監視用カメラにより撮像された画像を例示した図である。 図４の監視用カメラの視野を説明する図である。 図４の監視用カメラの画像におけるナンバープレートの位置を説明する図である。 図１の画像処理装置の動作を示したフローチャートである。 図４の監視用カメラにより撮像された画像を例示した図である。 （ａ）はワールド座標系を説明する図であり、（ｂ）はカメラ座標系を説明する図である。 本実施の形態における各コード領域の特定例を示した図である。 本実施の形態における開示領域情報を説明する図である。 図３の送信部が送信する送信データを例示した図である。 図１の管理装置の動作を示したフローチャートである。 第２の実施の形態における画像処理装置の動作を示したフローチャートである。 第２の実施の形態の画像処理部が作成した合成画像を例示した図である。 第２の実施の形態の変形例における合成画像を例示した図である。 第２の実施の形態の変形例における合成画像を例示した図である。

符号の説明

１ 監視用カメラ
２ 認識用カメラ
３ 画像処理装置
４ 管理装置
５ ネットワーク
３１ データ入力部
３２ 領域特定部
３２ ナンバー認識部
３３ 領域位置特定部
３４ ナンバー認識部
３５ 画像処理部
３６ 送信部
３７ 開示領域情報記憶部
４１ 受信部
４２ 復元部
４３ 画像表示部
４４ データ保存部

Claims (7)

1. 車両の全体像の画像データである第１の画像データと、前記車両のフロント部分の画像である第２の画像データとを取得して画像処理を行う画像処理装置であって、
   前記第１の画像データと前記第２の画像データとの入力を受け付けるデータ入力部と、
   前記第２の画像データにおける前記車両のナンバープレートの領域を特定する領域特定部と、
   前記第１の画像データおよび前記第２の画像データのワールド座標を一致させ、前記特定したナンバープレートの領域が前記第１の画像データのどの領域に位置するか特定する領域位置特定部と、
   利用者のレベルごとに、開示を許可するナンバープレートの領域を示した開示領域情報を格納する記憶部と、
   前記特定した第１の画像データにおけるナンバープレートの領域を隠蔽する画像処理を行った画像データを作成するとともに、前記開示領域情報を参照して、前記画像処理を行った画像データにおいて前記隠蔽の復元を許可するナンバープレートの領域を前記レベルごとに示した復元用データを作成する画像処理部と、
   前記画像処理を行った画像データおよび前記復元用データを送信する送信部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置と、
   前記画像処理装置から送信された画像データおよび復元用データを受信する受信部、
   前記復元用データに基づき、前記利用者のレベルに応じて、前記画像データの隠蔽を復元する復元部、
   および
   前記隠蔽を復元した画像データを表示する画像表示部、
   を備える管理装置と、
   を有することを特徴とする監視システム。
3. 前記画像処理部は、前記第１の画像データに、前記特定した第２の画像データにおけるナンバープレートの領域の画像を貼り付けた画像データを作成し、前記作成した画像データにおけるナンバープレートの領域を隠蔽する画像処理を行った画像データを作成し、前記開示領域情報を参照して、前記画像処理を行った画像データにおいて前記隠蔽の復元を許可するナンバープレートの領域を示した復元用データを作成することを特徴とする請求項２に記載の監視システム。
4. 前記隠蔽する画像処理は、前記各画像データにおける隠蔽すべき箇所のモザイク化、暗号化、平滑化または塗りつぶし処理であり、
   前記画像処理部は、入力部からの指示入力に基づき前記画像処理のいずれかの処理を選択し、前記復元用データに前記選択された画像処理の種別をさらに含めることを特徴とする請求項２に記載の監視システム。
5. 前記第１の画像データはカラーカメラから出力された画像データであり、前記第２の画像データは近赤外線対応のモノクロカメラから出力された画像データであることを特徴とする請求項２に記載の監視システム。
6. 前記第２の画像データにおけるナンバープレートの領域の画像に代えて、前記車両のフロントグリルの領域の画像を用いることを特徴とする請求項３に記載の監視システム。
7. 前記開示領域情報は、前記監視システムの利用者のレベルごとに、開示を許可する車両の画像領域を示した情報であり、
   前記領域位置特定部は、前記特定した第１の画像データにおけるナンバープレートの領域に基づき、前記第１の画像データにおける車両のフロントガラスの領域をさらに特定し、
   前記画像処理部は、前記第１の画像データに、前記特定したフロントガラスの領域の画像をコピーして貼り付けた画像データを作成し、前記作成した画像データにおけるナンバープレートの領域およびフロントガラスの領域を隠蔽する画像処理を行った画像データを作成し、前記開示領域情報を参照して、前記画像処理を行った画像データにおいて前記隠蔽の復元を許可する画像領域を示した復元用データを作成することを特徴とする請求項２に記載の監視システム。

Images