WO2010106627A1

WO2010106627A1 - 画像処理装置、画像処理方法、画像処理プログラム、および、監視装置

Info

Publication number: WO2010106627A1
Application number: PCT/JP2009/055081
Authority: WO
Inventors: 英吾瀬川; 守人塩原
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2009-03-16
Filing date: 2009-03-16
Publication date: 2010-09-23
Anticipated expiration: 2011-09-16
Also published as: JP5310840B2; JPWO2010106627A1

Abstract

ナンバープレートにカバーが装着されているか否かを判定する画像処理装置であって、ナンバープレートの表面のカラー撮影画像から、前記表面中の所定領域の色特徴量を算出する算出部と、前記色特徴量がカバーが装着されていない場合における色を示す場合には、前記ナンバープレートの表面にカバーが装着されていないと判定し、そうでない場合には、前記ナンバープレートの表面にカバーが装着されていると判定する判定部とを備えた画像処理装置とした。

Description

画像処理装置、画像処理方法、画像処理プログラム、および、監視装置

　本件は、自動車登録番号標の画像処理装置、その画像処理方法、その画像処理プログラム、および、自動車登録番号標の監視装置に関する。

　近年、道路や駐車場などで、自動車（自動二輪、原動機付き自転車を含む）の自動車登録番号標（ナンバープレート、以下、プレートともいう）を自動的に読み取るプレート読み取りシステムが普及している。プレート読み取りシステムのタイプの多くは、近赤外線領域に感度を有する近赤外線カメラを採用している。これに対して、プレート読み取りシステムによる読み取り妨害用のナンバープレートカバー（以下、カバーともいう）が流通している。このようなカバーには、近赤外線領域の透過率が可視光領域よりも低い特性を持つように作製されたタイプがある。このタイプのカバーが装着されたプレートを近赤外線カメラで撮影した場合、その撮影画像からナンバープレートの文字を判読することが困難となる。
特開２００８－４１０１７号公報尾上ほか，"自動車画像からのナンバープレートの抽出とその漢字を含む全文字の切り出しと認識"，電子情報通信学会論文誌，Vol.J77-D-II, No.3, pp.483-492, 1994

　従来、撮影された画像におけるプレートの輝度が所定のしきい値よりも低い場合に、カバーがプレートに装着されていると判定する方法がある。しかしながら、日照変化などによって撮影部分の照明光量が変化した場合にもプレートの輝度が低下する。このため、輝度値に基づく判断ではカバーの装着と照明光量の低下との区別ができず、判定を正しく行うことが難しい場合があった。さらに、プレートとして、装着される自動車のタイプに応じて用意された異なる塗装色を有する複数種類のプレートがある。例えば、プレートの文字部分の輝度が高く背景部分の輝度が低い場合には、プレート全体としての輝度が低いため、輝度値に基づく判断ではカバーの有無の判定が困難となる。

　本発明は、プレートにカバーが装着されているか否かを検出する技術を提供することを目的とする。

　開示の監視装置は、上記課題を解決するために、以下の手段を採用する。

　即ち、開示の態様は、
　ナンバープレートにカバーが装着されているか否かを判定する画像処理装置であって、
　ナンバープレートの表面のカラー撮影画像から、前記表面中の所定領域の色特徴量を算出する算出部と、
　前記色特徴量がカバーが装着されていない場合における色を示す場合には、前記ナンバープレートの表面にカバーが装着されていないと判定し、そうでない場合には、前記ナンバープレートの表面にカバーが装着されていると判定する判定部とを備えた
画像処理装置とした。

　開示によれば、プレートにカバーが装着されているか否かを検出する技術を提供することができる。

図１は、近赤外線領域の透過率が低いナンバープレートカバーの透過率の例を示す図である。図２は、監視システムの例を示す図である。図３は、画像処理装置の機能ブロックの例を示す図である。図４は、画像処理装置の全体の動作フローの例を示す図である。図５は、抽出されたプレート部分の画像の例を示す図である。図６は、マスク画像の例を示す図である。図７は、記憶部に格納される情報の例を示す図である。図８は、文字部分及び背景部分のうちどちらの部分の色特徴量を使用して判定するかを決定する際の、カバー識別部の算出部の動作フローの具体例（１）を示す図である。図９は、文字部分及び背景部分のうちどちらの部分の色特徴量を使用して判定するかを決定する際の、カバー識別部の算出部の動作フローの具体例（２）を示す図である。図１０は、プレート部分の画像の背景部分のＲ成分、Ｇ成分、Ｂ成分の平均値及び色特徴量を算出する際の、カバー識別部２２０の算出部２２１の動作フローの例を示す図である。図１１は、プレートにカバーが装着されていないと判定する色特徴量の条件の具体例を示す図である。図１２は、カバー識別部の判定部２２２の判定の動作フローの例を示す図である。図１３は、カバーが装着されていないと判定される色特徴量の条件を座標平面に示した図である。

符号の説明

　１０　　監視システム
　１００　撮像装置
　１Ａ　　カラーカメラ
　１Ｂ　　照明装置
　１Ｃ　　画像データ生成回路
　２００　画像処理装置
　２Ａ　　ＣＰＵ
　２Ｂ　　メモリ
　２Ｃ　　記憶部
　２Ｄ　　ＩＦ
　２１０　プレート認識部
　２２０　カバー識別部
　２２１　算出部
　２２２　判定部

　以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の実施形態の構成に限定されない。

　〔実施形態〕
　図１は、近赤外線領域の透過率が低いナンバープレートカバーの透過率の例を示す図である。図１の座標平面の横軸は波長であり、縦軸は透過率である。

　図１の座標平面上のグラフに示されるように、近赤外線領域の透過率が低いナンバープレートカバー（以下、カバーともいう）の可視光領域における透過率は、光の波長によって異なる。従って、可視光領域で撮影するカラーカメラで、カバーが装着されたプレートを撮影すると、撮影画像上でのプレートの色は、カバーが装着されていない状態でプレートを撮影した場合の色と異なる色で撮影される。そこで、カラーカメラで撮影した画像上でのプレートの色が本来のプレートの色（カバーの非装着時の色）か否かを調べることで、プレートにカバーが装着されているか否かを判定することができる。カバーが装着されていない場合のプレートの色は、既知であるとする。

　図２は、監視システムの実施形態の一例を示す図である。図２の監視システム１０は、撮像装置１００、画像処理装置２００を含む。監視システム１０は、撮像装置１００、画像処理装置２００を含む監視装置としてもよい。　撮像装置１００は、カラーカメラ１Ａと、照明装置１Ｂと、画像データ生成回路１Ｃとを含む。カラーカメラ１Ａは、プレートＰが装着された自動車Ｃが走行する道路や駐車場等において、プレートＰを良好に撮影可能な位置に設置される。

　カラーカメラ１Ａは、少なくとも可視光領域に感度を有する。カラーカメラ１Ａは、静止画像を撮影するスチルカメラであっても良く、動画（ビデオ）撮影を行うビデオカメラであっても良い。ここでは、カラーカメラ１Ａとしてビデオカメラが適用されている。

　カラーカメラ１Ａは、ビデオ撮影を行う。ビデオ撮影は例えば１秒間に３０フレームで行われる。カラーカメラ１Ａによる撮影で得られた所定の信号形式の映像信号（映像データ）は、画像データ生成回路１Ｃに送られる。

　照明装置１Ｂは、カラーカメラ１Ａで良好な撮影映像を得るために、カラーカメラ１Ａの撮影動作に連動して被写体（プレートＰ）を照明する。照明装置１Ｂとして、ライトが適用される。但し、静止画像を撮影するためにストロボが適用されても良い。

　画像データ生成回路１Ｃは、カラーカメラ１Ａに接続されており、カラーカメラ１Ａから映像信号を受け取る。画像データ生成回路１Ｃは、映像信号から所定フォーマットを有する画像データを生成する。画像データとして、例えば、画素毎にＲＧＢ（Red Green Blue）を有する画像データ、すなわち、ＲＧＢ（Red Green Blue）フォーマットのカラー画像が生成される。

　ＲＧＢフォーマットでは、１画素が、ＲＧＢ表色系の赤色、緑色、および、青色の３色で表現される。画像として、他のフォーマットのカラー画像が使用されてもよい。以下の説明では、ＲＧＢ表色系のパラメータ（赤成分（Ｒ成分）、緑成分（Ｇ成分）、および、青成分（Ｂ成分））が使用されるが、他の表色系（例えば、ＹＵＶ表色系）によるパラメータが使用されてもよい。ＹＵＶ表色系によるパラメータが使用された場合、輝度値として、Ｙ成分が使用されてもよい。

　画像データ生成回路１Ｃで生成された画像データは、信号線を介して画像処理装置２００に送られる。画像データは、カラーカメラ１Ａで撮影された日時の情報を含む。

　画像処理装置２００は、ＣＰＵ（Central Processing Unit）２Ａ、メモリ２Ｂ、記憶部２Ｃ、ＩＦ（Interface）２Ｄを含む。

　ＣＰＵ２Ａは、記憶部２Ｃ内のプログラムに従って処理を行う。メモリ２Ｂは、ＣＰＵ２Ａがプログラムやデータをキャッシュしたり作業領域を展開したりする。

　記憶部２Ｃは、各種のプログラム及び各種のデータを読み書き自在に記録媒体に記録する。記憶部２Ｃとしては、ソリッドステートドライブ装置、ハードディスクドライブ装置、ＤＶＤ（Digital Versatile Disk）ドライブ装置、＋Ｒ／＋ＲＷドライブ装置、または、ＢＤ（Blu-ray Disk）ドライブ装置がある。また、記録媒体としては、不揮発性半導体メモリ（フラッシュメモリ）を含むシリコンディスク、ハードディスク、ＤＶＤ、＋Ｒ／＋ＲＷ、または、ＢＤがある。ＤＶＤとしては、ＤＶＤ－Ｒ（Recordable）、ＤＶＤ－ＲＡＭ（Random Access Memory）がある。ＢＤとしては、ＢＤ－Ｒ、ＢＤ－ＲＥ（Rewritable）、ＢＤ－ＲＯＭがある。記憶部２Ｃは、画像処理装置２００とネットワークを介して接続される外部記憶装置としてもよい。

　ＩＦ２Ｄは、外部装置とデータの送受信を行う。ＩＦ２Ｄは、信号線を介して、撮像装置１００と接続される。

　図３は、画像処理装置の機能ブロックの例を示す図である。画像処理装置２００は、プレート認識部２１０、カバー識別部２２０を含む。カバー識別部２２０は、算出部２２１、判定部２２２を含む。プレート認識部２１０及びカバー識別部２２０は、画像処理装置２００で実行されるプログラムによって実現されてもよい。

　プレート認識部２１０は、ＣＰＵ２Ａ等のハードウェアと、記憶部２Ｃに格納されるプログラムとが協働して、実現される。カバー識別部２２０は、ＣＰＵ２Ａ等のハードウェアと、記憶部２Ｃに格納されるプログラムとが協働して、実現される。

　プレート認識部２１０は、撮像装置１００から受信される画像データからプレート部分の画像を抽出する。プレート認識部２１０は、抽出したプレート部分を、文字部分と背景部分とに分離する。プレート認識部２１０は、プレート部分の画像の文字部分の文字を読み取る。

　カバー識別部２２０は、算出部２２１及び判定部２２２を含む。カバー識別部２２０の算出部２２１は、プレート部分の画像から、色特徴量を算出する。カバー識別部２２０の判定部２２２は、プレートにカバーが装着されているか否かを判定する。カバー識別部２２０の判定部２２２は、撮影された画像のプレート部分の画像における文字部分の輝度または背景部分の色特徴量を使用して、判定を行うことができる。

　（動作例）
　ここで、画像処理装置２００の動作例について説明する。

　図４は、画像処理装置の全体の動作フローの例を示す図である。

　画像処理装置２００のプレート認識部２１０は、撮像装置１００から、所定時間毎に、画像データを受信する（Ｓ１０２）。

　画像処理装置２００のプレート認識部２１０は、撮像装置１００から受信された画像データから、プレート部分の画像を抽出する（Ｓ１０４）。プレート部分の画像の抽出方法として、どのような方法が使用されてもよい。プレート部分の画像の抽出方法として、例えば、非特許文献１に記載される方法が使用されてもよい。プレート認識部２１０は、撮像装置１００から受信された画像データからプレート部分の画像を抽出できない場合、当該画像データを廃棄し、次に受信された画像について、プレート部分の画像の抽出を行う。

　図５は、抽出されたプレート部分の画像の例を示す図である。画像処理装置２００のプレート認識部２１０は、図５のように、撮像装置１００から受信された画像データから、プレート部分の画像を抽出することができる。

　画像処理装置２００のプレート認識部２１０は、抽出したプレート部分の画像を、文字部分と背景部分とに分離する（Ｓ１０６）。抽出したプレート部分の画像を、文字部分と背景部分とに分離する方法として、どのような方法が使用されてもよい。抽出したプレート部分の画像を、文字部分と背景部分とに分離する方法として、例えば、非特許文献１に記載される方法が使用されてもよい。プレート認識部２１０は、文字部分の領域を示す情報を生成する。プレート認識部２１０は、文字部分の領域を示す情報として、例えば、背景部分の画素値が値０、文字部分の画素値が値１である画像（以下、マスク画像ともいう）を生成することができる。マスク画像は、プレート部分の画像における文字部分の領域を、明示する画像である。マスク画像は、プレート部分の画像と同じ大きさである。マスク画像とプレート部分の画像とでは、同じ座標が使用される。プレート認識部２１０は、文字部分の領域を示す情報を、マスク画像によらずに他の方法で、生成してもよい。

　図６は、マスク画像の例を示す図である。図６の例では、背景部分を黒色、文字部分を白色として、表示している。画像処理装置２００のプレート認識部２１０は、例えば、背景部分の画素値が値０、文字部分の画素値が値１であるマスク画像を生成することができる。

　画像処理装置２００のプレート認識部２１０は、プレート部分の画像の文字部分から文字情報を読み取り、文字、文字の位置、文字の大きさなどの読み取った文字に関する情報を、記憶部２Ｃに格納する。プレート認識部２１０がプレート部分の画像の文字部分から文字情報を読み取る方法として、どのような方法が使用されてもよい。プレート部分の画像の文字部分は、主に、自動車登録番号である。プレート認識部２１０は、撮像装置１００から受信された画像が撮影された日時と、読み取った文字に関する情報とを対応付けて、記憶部２Ｃに格納する。

　画像処理装置２００のカバー識別部２２０の算出部２２１は、プレート認識部２１０が抽出したプレート部分の画像から、文字部分または背景部分の色特徴量を使用して判定を行うことを決定し、決定された部分の色特徴量を算出する（Ｓ１０８）。算出部２２１の動作については、後に説明する。

　画像処理装置２００のカバー識別部２２０は、および、文字部分の領域を示す情報から、プレートにカバーが装着されているか否かを判定する（Ｓ１１０）。カバー識別部２２０の判定部２２２が、プレートにカバーが装着されているか否かの判定を行う。カバー識別部２２０の判定部２２２は、判定結果を、判定に用いたプレート部分の画像の元の画像が撮影された日時及びプレート認識部２１０が当該プレート部分の画像から読み取った文字に対応付けて、記憶部２Ｃに格納する。判定部２２２の動作については、後に説明する。

　図７は、記憶部に格納される情報の例を示す図である。記憶部２Ｃは、撮像装置１００から受信された画像が撮影された日時、プレート認識部２１０がプレート部分の画像から読み取った文字、及び、カバー識別部２２０の判定部２２２が判定した当該プレートにカバーが装着されているか否かを、対応付けて格納する。これらの情報が対応付けられて格納されることで、プレートにカバーを装着していた自動車とその日時が、特定される。

　図８及び図９は、文字部分及び背景部分のうちどちらの部分の色特徴量を使用して判定するかを決定する際の、カバー識別部の算出部の動作フローの具体例を示す図である。図８の「Ａ」は、図９の「Ａ」に接続する。

　カバー識別部２２０の算出部２２１は、プレート部分の画像の文字部分及び背景部分の輝度の平均値をそれぞれ求め、どちらの部分の色特徴量を使用してカバー装着の有無の判定を行うかを決定する。画像の輝度が低い部分でプレートの色を正しく判定することは難しい。算出部２２１は、文字部分及び背景部分の輝度の平均値を比較し、輝度の平均値が高い方で判定することを決定する。

　算出部２２１は、使用する変数の初期化を行う（図８：Ｓ２０２）。算出部２２１は、プレート部分の画像における文字部分の画素数Ｎｃ、プレート部分の画像における文字部分の輝度の積算値Ｓｃに、値０を代入する。また、算出部２２１は、プレート部分の画像における背景部分の画素数Ｎｂ、プレート部分の画像における背景部分の輝度の積算値Ｓｂに、値０を代入する。

　算出部２２１は、プレート部分の画像の画素のうち、すべての画素を処理したかを確認する（Ｓ２０４）。算出部２２１は、プレート部分の画像の画素のうち、すべての画素を処理していない場合（Ｓ２０４；ＮＯ）、未処理の画素の座標（ｉ，ｊ）を選択する（Ｓ２０６）。算出部２２１は、プレート部分の画像の画素のうち、処理した画素の座標（ｉ，ｊ）を記憶することができる。

　算出部２２１は、マスク画像等の文字部分の位置を示す情報により、プレート部分の画像の座標（ｉ，ｊ）が文字部分か否かを確認する（Ｓ２０８）。算出部２２１は、座標（ｉ，ｊ）が文字部分である場合（Ｓ２０８；ＹＥＳ）、文字部分の画素数Ｎｃに値１を加算する。また、算出部２２１は、文字部分の輝度の積算値Ｓｃに、プレート部分の画像の座標（ｉ，ｊ）の緑成分（Ｇ成分）の値を、輝度値として、加算する（Ｓ２１０）。算出部２２１は、座標（ｉ，ｊ）が文字部分でない場合（Ｓ２０８；ＮＯ）、背景部分の画素数Ｎｂに値１を加算する。また、算出部２２１は、背景部分の輝度の積算値Ｓｂに、プレート部分の画像の座標（ｉ，ｊ）の緑成分（Ｇ成分）の値を、輝度値として、加算する（Ｓ２１２）。

　ここでは、輝度値として緑成分を使用したが、他の値が使用されてもよい。例えば、輝度値として、赤成分、緑成分、および、青成分の和が使用されてもよい。

　算出部２２１は、ステップＳ２１０又はステップＳ２１２の処理の後、再び、プレート部分の画像の画素のうち、すべての画素を処理したかを確認する（Ｓ２０４）。

　算出部２２１は、プレート部分の画像の画素のうち、すべての画素を処理した場合（Ｓ２０４；ＹＥＳ）、背景部分の輝度の平均値ＩｂにＳｂ／Ｎｂを代入し、文字部分の輝度の平均値ＩｃにＳｃ／Ｎｃを代入する（Ｓ２２０）。

　算出部２２１は、プレート部分の画像の背景部分の輝度の平均値Ｉｂとプレート部分の画像の文字部分の輝度の平均値Ｉｃとを比較する（図９：Ｓ２２２）。

　算出部２２１は、平均値Ｉｂが平均値Ｉｃ以上の場合（Ｓ２２２；ＮＯ）、平均値Ｉｂが第１閾値Ｔｈ１より大きいか、又は、平均値Ｉｂが第２閾値Ｔｈ２より小さいかを確認する（Ｓ２２４）。平均値Ｉｂが第１閾値Ｔｈ１より大きいことは、プレート部分の画像の背景部分が非常に明るいことを意味する。プレート部分の画像の背景部分が非常に明るいと、プレート部分の画像の背景部分の色の判定を行うことが難しい。また、平均値Ｉｂが第２閾値Ｔｈ２より小さいことは、プレート部分の画像の背景部分が非常に暗いことを意味する。プレート部分の画像の背景部分が非常に暗いと、プレート部分の画像の背景部分の色の判定を行うことが難しい。よって、算出部２２１は、平均値Ｉｂが第１閾値より大きい場合、若しくは、平均値Ｉｂが第２閾値より小さい場合（Ｓ２２４；ＹＥＳ）、プレートにカバーが装着されているか否か不明であると判定する（Ｓ２２６）。算出部２２１は、平均値Ｉｂが第１閾値以下、かつ、平均値Ｉｂが第２閾値以上の場合（Ｓ２２４；ＮＯ）、背景部分の色特徴量を使用してカバー装着の有無の判定を行うことを決定する（Ｓ２２８）。ここで、第１閾値Ｔｈ１は、第２閾値Ｔｈ２よりも大きい。

　算出部２２１は、平均値Ｉｂが平均値Ｉｃより小さい場合（Ｓ２２２；ＹＥＳ）、平均値Ｉｃが第１閾値Ｔｈ１より大きいか、又は、平均値Ｉｃが第２閾値Ｔｈ２より小さいかを確認する（Ｓ２３０）。平均値Ｉｃが第1閾値より大きい、もしくは、第２閾値より小さい場合（Ｓ２３０；ＹＥＳ）、プレートにカバーが装着されているか否か不明であると判定する（Ｓ２３２）。算出部２２１は、平均値Ｉｃが第１閾値以下、かつ、平均値Ｉｃが第２閾値以上の場合（Ｓ２３０；ＮＯ）、文字部分の色特徴量を使用してカバー装着の有無の判定を行うことを決定する（Ｓ２３４）。

　算出部２２１は、プレートにカバーが装着されているか否かが不明であると判断した場合（Ｓ２２６及びＳ２３２）、不明である旨を、記憶部２Ｃに格納する。算出部２２１は、不明である旨を、プレート部分の画像の元の画像が撮影された日時、および、プレート部分の画像から読み取られた文字に対応付けて、記憶部２Ｃに格納する。

　図１０は、プレート部分の画像の背景部分のＲ成分、Ｇ成分、Ｂ成分の平均値及び色特徴量を算出する際の、カバー識別部２２０の算出部２２１の動作フローの例を示す図である。ここでは、図８及び図９の動作フローにより、背景部分の色特徴量を使用してカバー装着の有無の判定を行うことが、決定されているとする。文字部分の色特徴量を使用してカバー装着の有無の判定を行うことが決定されている場合も、同様の動作フローにより、プレート部分の画像の文字部分のＲ成分、Ｇ成分、Ｂ成分の平均値が求められる。ここで求めた各成分の平均値は、プレートにカバーが装着されているか否かの判定の際に使用される。

　算出部２２１は、色特徴量を使用してカバー装着の有無の判定を行う部分を決定した後、その部分の平均値及び色特徴量を算出する。

　算出部２２１は、プレート部分の画像、および、文字部分の領域を示す情報から、プレート部分の画像上の背景部分の領域における各色（赤色、緑色、および、青色）の輝度値を求める。プレート部分の画像上の背景部分の領域における赤色、緑色、および、青色の輝度値の平均値は、それぞれ、Ａｒ、Ａｇ、および、Ａｂとする。

　算出部２２１は、使用する変数の初期化を行う（Ｓ３０２）。算出部２２１は、プレート部分の画像における背景部分の画素数Ｎに、値０を代入する。また、算出部２２１は、プレート部分の画像における背景部分の赤成分（Ｒ成分）の積算値Ｒ、緑成分（Ｇ成分）の積算値Ｇ、青成分（Ｂ成分）の積算値Ｂに、値０を代入する。

　算出部２２１は、プレート部分の画像の画素のうち、すべての画素を処理したかを確認する（Ｓ３０４）。算出部２２１は、プレート部分の画像の画素のうち、すべての画素を処理していない場合（Ｓ３０４；ＮＯ）、未処理の画素の座標（ｉ，ｊ）を選択する（Ｓ３０６）。

　算出部２２１は、マスク画像等の文字部分の位置を示す情報により、プレート部分の画像の座標（ｉ，ｊ）が背景部分か否かを確認する（Ｓ３０８）。算出部２２１は、座標（ｉ，ｊ）が文字部分である場合（Ｓ３０８；ＮＯ）、再び、プレート部分の画像の画素のうち、すべての画素を処理したかを確認する（Ｓ３０４）。算出部２２１は、座標（ｉ，ｊ）が背景部分である場合（Ｓ３０８；ＹＥＳ）、背景部分の画素数Ｎに値１を加算する。また、算出部２２１は、積算値Ｒ、積算値Ｇ、及び、積算値Ｂに、それぞれ、プレート部分の画像の座標（ｉ，ｊ）の赤成分、緑成分、青成分の値を、加算する（Ｓ３１０）。

　算出部２２１は、ステップＳ３１０の処理の後、再び、プレート部分の画像の画素のうち、すべての画素を処理したかを確認する（Ｓ３０４）。

　算出部２２１は、プレート部分の画像の画素のうち、すべての画素を処理した場合（Ｓ３０４；ＹＥＳ）、赤成分の輝度の平均値ＡｒにＲ／Ｎ、緑成分の輝度の平均値ＡｇにＧ／Ｎ、青成分の輝度の平均値ＡｂにＢ／Ｎを代入する（Ｓ３２０）。

　算出部２２１は、平均値Ａｒ、Ａｇ、および、Ａｂから、色特徴量を算出する（Ｓ３２２）。色特徴量として、例えば、緑色の輝度値Ａｇに対する赤色の輝度値Ａｒの割合Ａｒ／Ａｇ、および、緑色の輝度値Ａｇに対する青色の輝度値Ａｂの割合Ａｂ／Ａｇが使用される。また、背景部分の領域を代表する輝度値として、緑色の輝度値Ａｇが使用される。

　ここでは、色特徴量が、緑色の輝度値に対する割合として規定されている。人間の目は、可視光領域のうち、赤色付近の領域、緑色付近の領域、および、青色付近の領域に、感度を有する。このうち赤色の波長と緑色の波長とは近接しているため、緑色の領域から赤色の領域までの間では、波長の変化に対する色の変化が大きい。緑色の輝度値に対する割合として色特徴量を規定すると、色の変化の識別が容易になる。撮影を行うカメラ周辺の照明光量が低くなること等により、画像の全体の輝度値が低下した場合でも、当該画像の色特徴量は大きく変化しない。従って、カバー識別部２２０は、カメラ周辺の照明光量の増減によって、カバーが装着されているか否かの判定条件を変更しなくてもよい。

　ここで算出された色特徴量は、カバー識別部２２０の判定部２２２によって、プレートにカバーが装着されているか否かの判定の際に使用される。

　図１１は、プレートにカバーが装着されていないと判定する色特徴量の条件の具体例を示す図である。プレートにカバーが装着されていないと判定する色特徴量の条件は、記憶部２Ｃに格納されている。ここでは、色特徴量として、緑色の輝度値Ａｇに対する赤色の輝度値Ａｒの割合Ａｒ／Ａｇ、および、緑色の輝度値Ａｇに対する青色の輝度値Ａｂの割合Ａｂ／Ａｇが使用される。図１１の例では、２種類の条件が設定されている。図１１の番号１の条件は、白色であることを示す色特徴量の条件である。また、図１１の番号２の条件は、黄色であることを示す色特徴量の条件である。日本のプレートの背景部分及び文字部分の色は、主に、それぞれ、白色及び濃緑色、濃緑色及び白色、黄色及び黒色、黒色及び黄色のいずれかである。ここで、輝度が大きいのは、白色もしくは黄色である。よって、ここでは、色特徴量の条件として、白色、及び、黄色を示す条件が採用されている。仮に、プレートが他の色の組み合わせによる場合、当該色の組み合わせのうち輝度が高い方の色の色特徴量が条件とされる。

　また、カメラが設置される周辺の環境の条件（例えば、光源、場所、時刻など）により、色特徴量の条件が変更されてもよい。例えば、夕方の時刻には、自然光における青色および緑色に対する赤色の量が大きくなる。また、トンネルなどの照明によっては、特定の波長領域の光の輝度が他の領域の光の輝度と比較して大きくなることがある。これらのような事象が、プレートにカバーが装着されていないと判定する色特徴量の条件として、考慮されてもよい。

　図１２は、カバー識別部の判定部２２２の判定の動作フローの例を示す図である。カバー識別部の判定部２２２は、算出部２２１で、色特徴量が算出された後、判定を行う。カバー識別部２２０の判定部２２２は、算出部２２１で判定に使用すると決定された部分の色特徴量に基づいて、プレートにカバーが装着されているか否かを判定する。

　判定部２２２は、１または複数の、プレートにカバーが装着されていないと判定する条件を、記憶部２Ｃから取り出す。

　判定部２２２は、１または複数の判定条件のうち、すべての判定条件について調べたか否かを確認する（Ｓ４０２）。判定部２２２は、まだ調べていない判定条件が存在する場合（Ｓ４０２；ＮＯ）、まだ調べていない判定条件の１つを選択する（Ｓ４０４）。

　判定部２２２は、判定に使用すると決定された部分（背景部分または文字部分）の色特徴量がステップＳ４０４で選択された判定条件を満たすか否かを確認する（Ｓ４０６）。判定部２２２は、判定に使用すると決定された部分の色特徴量がステップＳ４０４で選択された判定条件を満たす場合（Ｓ４０６；ＹＥＳ）、プレートにカバーが装着されていないと判定する（Ｓ４０８）。判定部２２２は、判定結果を、判定に用いたプレート部分の画像の元の画像が撮影された日時、及び、当該プレート部分の画像から読み取った文字に対応付けて、記憶部２Ｃに格納する。

　判定部２２２は、判定に使用すると決定された部分の色特徴量がステップＳ４０４で選択された判定条件を満たさない場合（Ｓ４０６；ＮＯ）、ここでは、プレートにカバーが装着されていないとは判定できない。判定部２２２は、ステップＳ４０２に戻り、別の判定条件を調べる。

　判定部２２２は、１または複数の判定条件のうち、すべての判定条件について調べた場合（Ｓ４０２；ＹＥＳ）、プレートにカバーが装着されていると判定する（Ｓ４１０）。判定部２２２は、判定結果を、判定に用いたプレート部分の画像の元の画像が撮影された日時及び当該プレート部分の画像から読み取った文字に対応付けて、記憶部２Ｃに格納する。

　図１３は、カバーが装着されていないと判定される色特徴量の条件を座標平面に示した図である。ここでは、色特徴量として、緑色の輝度値Ａｇに対する赤色の輝度値Ａｒの割合Ａｒ／Ａｇ、および、緑色の輝度値Ａｇに対する青色の輝度値Ａｂの割合Ａｂ／Ａｇが使用される。図１３の座標平面の横軸は色特徴量Ａｂ／Ａｇであり、縦軸は色特徴量Ａｒ／Ａｇである。

　図１３の例では、白色と判定される範囲、及び、黄色と判定される範囲が、示されている。図１３の例では、白色と判定される範囲、及び、黄色と判定される範囲は、実線で囲まれる範囲である。判定部２２２は、プレート部分の画像の色特徴量が白色と判定される条件の範囲内若しくは黄色と判定される条件の範囲内に存在する場合、当該プレートにカバーが装着されていないと判定する。また、判定部２２２は、プレート部分の画像の色特徴量が白色と判定される条件の範囲内及び黄色と判定される条件の範囲内に存在しない場合、当該プレートにカバーが装着されていると判定する。

　図１に示されるようなカバーの赤色の透過率及び青色の透過率は、緑色の透過率よりも小さい。よって、プレート部分の画像の、緑色の輝度に対する青色の輝度及び緑色の輝度に対する赤色の輝度は、図１に示されるような透過率を有するカバーがプレートに装着されると、共に小さくなる。カバーが装着されたプレートのプレート部分の画像の色特徴量は、図１３の点線で囲まれる範囲に、存在すると考えられる。ここで、図１３の座標平面における、白色又は黄色と判定される色特徴量の範囲（実線で囲まれる範囲）は、カバーが装着された場合のプレート部分の画像の色特徴量の範囲（点線で囲まれる範囲）と重複しない。従って、判定部２２２は、色特徴量を使用して、カバー装着の有無を判定することができる。

　ここでは、判定に使用する色特徴量の条件として２種類の色特徴量（Ａｒ／Ａｇ及びＡｂ／Ａｇ）が使用されているが、１種類の色特徴量のみが使用されても、３種類以上の色特徴量が使用されてもよい。１種類の色特徴量が使用される場合は、プレートにカバーが装着されているか否かの判定の演算が容易になる。２種類以上の色特徴量が使用される場合は、より詳細にプレートの色の条件が設定され得るため、プレートにカバーが装着されているか否かの判定の精度がよくなる。

　（実施形態の作用効果）
　本実施形態によると、プレート部分の画像の文字部分及び背景部分のうち、輝度が高い方の部分を使用して、プレートにカバーが装着されているか否かを判定することができる。本実施形態によれば、カバー識別部が輝度の高い部分を使用することで、プレート部分の画像の全体の輝度が低い場合でも、判定を行うことができる。

　本実施形態によると、画像の色成分の比である色特徴量を使用して、プレートにカバーが装着されているか否かを判定することができる。本実施形態によれば、色特徴量を使用することで、プレートを撮影するカメラの周辺の明るさが変化した場合であっても、判定条件を変えることなく判定を行うことができる。

　本実施形態によると、可視光領域で撮影された１つのプレート部分の画像を使用して、プレートにカバーが装着されているか否かを判定することができる。このプレート部分の画像は、プレートの文字を読み取る際に使用されてもよい。本実施形態によれば、１つプレート部分の画像を使用して、プレートにカバーが装着されているか否かの判定及びプレートの文字の読み取りを行うことができる。

　《コンピュータ可読媒体に関する説明》
　以上に説明した本実施形態における何れかの機能は、コード化されてコンピュータ可読媒体の記憶領域に格納されていてもよい。この場合、その機能を実現するためのプログラムが、このコンピュータ可読媒体を介して、コンピュータ、又は、機械若しくは装置に組み込まれたコンピュータに、提供され得る。コンピュータ、又は、機械若しくは装置に組み込まれたコンピュータは、コンピュータ可読媒体の記憶領域からプログラムを読み出してそのプログラムを実行することによって、その機能を実現することができる。

　ここで、コンピュータ可読媒体とは、電気的、磁気的、光学的、化学的、物理的又は機械的な作用によって、プログラム及びデータ等の情報を蓄積するとともに、コンピュータに読み取られ得る状態でその情報を保持する記録媒体をいう。

　電気的又は磁気的な作用としては、ヒューズによって構成されるＲＯＭ［Read Only Memory］上の素子へのデータの書き込みが、例示できる。磁気的又は物理的な作用としては、紙媒体上の潜像へのトナーの現像が、例示できる。なお、紙媒体に記録された情報は、例えば、光学的に読み取ることができる。光学的且つ化学的な作用としては、基盤上での薄膜形成又は凹凸形成が、例示できる。なお、凹凸の形態で記録された情報は、例えば、光学的に読み取ることができる。化学的な作用としては、基板上での酸化還元反応、又は、半導体基板上での酸化膜形成、窒化膜形成、若しくは、フォトレジスト現像が、例示できる。物理的又は機械的な作用としては、エンボスカードへの凹凸形成、又は、紙媒体へのパンチの穿孔が、例示できる。

　また、コンピュータ可読媒体の中には、コンピュータ、又は、機械若しくは装置に組み込まれたコンピュータに着脱自在に装着できるものがある。着脱自在なコンピュータ可読媒体としては、ＤＶＤ（ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭを含む）、＋Ｒ／＋ＷＲ、ＢＤ（ＢＤ－Ｒ、ＢＤ－ＲＥ、ＢＤ－ＲＯＭを含む）、ＣＤ［Compact Disk］（ＣＤ－Ｒ、ＣＤ－ＲＷ、ＣＤ－ＲＯＭを含む）、ＭＯ［Magneto Optical］ディスク、その他の光ディスク媒体、フレキシブルディスク（フロッピーディスク（フロッピーは日立製作所社の商標）を含む）、その他の磁気ディスク媒体、メモリーカード（コンパクトフラッシュ（米国サンディスク社の商標）、スマートメディア（東芝社の商標）、ＳＤカード（米国サンディスク社、松下電器産業社、東芝社の商標）、メモリースティック（ソニー社の商標）、ＭＭＣ（米国ジーメンス社、米国サンディスク社の商標）など）、磁気テープ、及び、その他のテープ媒体、並びに、これらのうちの何れかを内蔵した記憶装置が、例示できる。記憶装置には、ＤＲＡＭ［Dynamic Random Access Memory］又はＳＲＡＭ［Static Random Access Memory］がさらに内蔵されたものもある。

　また、コンピュータ可読媒体の中には、コンピュータ、又は、機械若しくは装置に組み込まれたコンピュータに固定的に装着されたものがある。この種のコンピュータ可読媒体としては、ハードディスク、ＤＲＡＭ、ＳＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ［Electronically Erasable and Programmable Read Only Memory］、フラッシュメモリなどが、例示できる。

Claims

　ナンバープレートにカバーが装着されているか否かを判定する画像処理装置であって、
　ナンバープレートの表面のカラー撮影画像から、前記表面中の所定領域の色特徴量を算出する算出部と、
　前記色特徴量がカバーが装着されていない場合における色を示す場合には、前記ナンバープレートの表面にカバーが装着されていないと判定し、そうでない場合には、前記ナンバープレートの表面にカバーが装着されていると判定する判定部とを備えた
画像処理装置。
　前記ナンバープレートの表面は、文字部分と背景部分とを有し、
　前記算出部は、前記文字部分と前記背景部分の輝度が高い方の部分を前記所定領域として決定する、
請求項１に記載の画像処理装置。
　前記色特徴量として、複数種類の前記色特徴量を使用する、
請求項１または２に記載の画像処理装置。
　前記色特徴量として、緑成分に対する赤成分の割合、および、緑成分に対する青成分の割合を使用する、
請求項１から３のいずれか１つに記載の画像処理装置。
　コンピュータが、
　ナンバープレートにカバーが装着されているか否かを判定する画像処理方法であって、
　ナンバープレートの表面のカラー撮影画像から、前記表面中の所定領域の色特徴量を算出し、
　前記色特徴量が前記所定領域にカバーが装着されていない場合における色を示す場合には、前記ナンバープレートの表面にカバーが装着されていないと判定し、そうでない場合には、前記ナンバープレートの表面にカバーが装着されていると判定する
ことを実行する画像処理方法。
　前記ナンバープレートの表面は、文字部分と背景部分とを有し、
　前記所定領域は、前記文字部分と前記背景部分の輝度が高い方の部分として決定される、
請求項５に記載の画像処理方法。
　前記色特徴量として、複数種類の前記色特徴量を使用する、
請求項５または６に記載の画像処理方法。
　前記色特徴量として、緑成分に対する赤成分の割合、および、緑成分に対する青成分の割合を使用する、
請求項５から７のいずれか１つに記載の画像処理方法。
　コンピュータに、
　ナンバープレートにカバーが装着されているか否かを判定させることを実行させる画像処理プログラムであって、
　コンピュータに、
　ナンバープレートの表面のカラー撮影画像から、前記表面中の所定領域の色特徴量を算出させ、
　前記色特徴量が前記所定領域にカバーが装着されていない場合における色を示す場合には、前記ナンバープレートの表面にカバーが装着されていないと判定し、そうでない場合には、前記ナンバープレートの表面にカバーが装着されていると判定させる
ことを実行させる画像処理プログラム。
　前記ナンバープレートの表面は、文字部分と背景部分とを有し、
　前記所定領域は、前記文字部分と前記背景部分の輝度が高い方の部分として決定させる、
請求項９に記載の画像処理プログラム。
　前記色特徴量として、複数種類の前記色特徴量を使用する、
請求項９または１０に記載の画像処理プログラム。
　前記色特徴量として、緑成分に対する赤成分の割合、および、緑成分に対する青成分の割合を使用する、
請求項９から１１のいずれか１つに記載の画像処理プログラム。
　プレートの表面を撮影する撮像装置と、
　前記撮像装置によって撮影されたプレートの表面のカラー撮影画像から、前記表面中の所定領域の色特徴量を算出する算出部，前記色特徴量が前記所定領域にカバーが装着されていない場合における色を示す場合には、前記プレートの表面にカバーが装着されていないと判定し、そうでない場合には、前記プレートの表面にカバーが装着されていると判定する判定部，前記文字部分に示された情報を読みとる読み取り部，及び、前記判定部の判定結果と前記読み取り部の読み取り結果とを関連づけて記憶装置に書き込む書き込み部とを含む画像処理装置と
を備える監視装置。