JP7464252B2 - ナンバープレート画像補正方法、ナンバープレート画像補正プログラム、パスポート画像補正方法、およびパスポート画像補正プログラム - Google Patents

Description

本開示は、ナンバープレート画像補正方法、ナンバープレート画像補正プログラム、パスポート画像補正方法、およびパスポート画像補正プログラムに関する。

特許文献１には、車両のナンバープレートである被写体を撮像し、撮像素子と被写体との間の傾きに起因する撮像画像の歪みを補正する画像補正方法が開示されている。画像補正方法は、固定された撮像素子を有するカメラによって被写体を撮像し、撮像画像全体から車両のエッジを抽出し、抽出されたエッジから水平に近い方のエッジを選択して直線成分を抽出し、撮像素子の辺と直線成分との傾き角と、撮像素子における水平面と平行な辺とナンバープレートの水平方向の線とのなす角度とを算出し、撮像画像の歪みを補正した画像に変換するとともに、この補正された撮像画像からナンバープレートの番号を認識する。

特開２０１３－２５１００５号公報

上述した特許文献１の画像補正方法の構成では、撮像画像の歪みを補正し、補正後の撮像画像からナンバープレートの番号を画像処理により認識することができる。しかし、特許文献１では、例えば近年使用が開始された図柄入りナンバープレート等のように文字および絵の両方が描かれたナンバープレートを対象としてナンバープレートの番号を認識することは考慮されていない。ナンバープレートの情報を正しく認識できず、このため車両の監視精度が低下する可能性があった。

本開示は、上述した従来の事情に鑑みて案出され、撮像画像に映る対象物の文字情報を的確に認識し、カメラの撮像エリアの監視精度の低下を抑制するナンバープレート画像補正方法、ナンバープレート画像補正プログラム、パスポート画像補正方法、およびパスポート画像補正プログラムの提供することを目的とする。

本開示は、車両を撮像するカメラによって行われるナンバープレート画像補正方法であって、撮像された撮像画像からナンバープレートを含むナンバープレート領域を抽出し、前記ナンバープレート領域に含まれる複数の画素のそれぞれを抽出して、前記複数の画素の色空間における画素値を、均等色空間であるＬ＊ｕ＊ｖ＊色空間における画素値に変換し、変換された前記複数の画素の前記Ｌ＊ｕ＊ｖ＊色空間における画素値をｕ＊ｖ＊平面上にプロットし、前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値のそれぞれに基づく近似直線を算出し、前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値と前記近似直線との間の距離が所定距離内であるか否かを判定し、前記所定距離内でないと判定された前記Ｌ＊ｕ＊ｖ＊色空間における画素値を有する画素を前記ナンバープレートの背景画素と判定して、前記背景画素の画素を白色または前記白色に近しい色の画素値に変換して出力する、ナンバープレート画像補正方法を提供する。

また、本開示は、車両を撮像するカメラに、撮像された撮像画像からナンバープレートを含むナンバープレート領域を抽出するステップと、前記ナンバープレート領域に含まれる複数の画素のそれぞれを抽出して、前記複数の画素の色空間における画素値を、均等色空間であるＬ＊ｕ＊ｖ＊色空間における画素値に変換するステップと、変換された複数の画素の前記Ｌ＊ｕ＊ｖ＊色空間における画素値をｕ＊ｖ＊平面上にプロットするステップと、前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値のそれぞれに基づく近似直線を算出するステップと、前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値と前記近似直線との間の距離が所定距離内であるか否かを判定するステップと、前記所定距離内でないと判定された前記Ｌ＊ｕ＊ｖ＊色空間における画素値を有する画素を前記ナンバープレートの背景画素と判定して、前記背景画素の画素を白色または前記白色に近しい色の画素値に変換して出力するステップと、を実現させるための、ナンバープレート画像補正プログラムを提供する。

また、本開示は、パスポートを撮像するカメラによって行われるパスポート画像補正方法であって、撮像された撮像画像から前記パスポートを含むパスポート領域を抽出し、前記パスポート領域に含まれる複数の画素のそれぞれを抽出して、前記複数の画素の色空間における画素値を、均等色空間であるＬ＊ｕ＊ｖ＊色空間における画素値に変換し、変換された前記複数の画素の前記Ｌ＊ｕ＊ｖ＊色空間における画素値をｕ＊ｖ＊平面上にプロットし、前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値のそれぞれに基づく近似直線を算出し、前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値と前記近似直線との間の距離が所定距離内であるか否かを判定し、前記所定距離内でないと判定された前記画素値を有する画素を前記パスポートの背景画素と判定して、前記背景画素の画素を白色または前記白色に近しい色の画素値に変換して出力する、パスポート画像補正方法を提供する。

また、本開示は、パスポートを撮像するカメラに、撮像された撮像画像から前記パスポートを含むパスポート領域を抽出するステップと、前記パスポート領域に含まれる複数の画素のそれぞれを抽出して、前記複数の画素の色空間における画素値を、均等色空間であるＬ＊ｕ＊ｖ＊色空間における画素値に変換するステップと、変換された前記複数の画素のＬ＊ｕ＊ｖ＊色空間における画素値をｕ＊ｖ＊平面上にプロットするステップと、前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値のそれぞれに基づく近似直線を算出するステップと、前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値と前記近似直線との間の距離が所定距離内であるか否かを判定するステップと、前記所定距離内でないと判定された前記Ｌ＊ｕ＊ｖ＊色空間における画素値を有する画素を前記パスポートの背景画素と判定して、前記背景画素の画素を白色または前記白色に近しい色の画素値に変換して出力するステップと、を実現させるための、パスポート画像補正プログラムを提供する。

本開示によれば、撮像画像に映る対象物の文字情報を的確に認識し、カメラの撮像エリアの監視精度の低下を抑制できる。

実施の形態１に係るカメラの内部構成例を示す図 実施の形態１に係るカメラの動作手順例を示すフローチャート Ｌ＊値の正規化手順例を示すフローチャート Ｌ＊値の正規化手順例を説明する図 ｕ＊ｖ＊平面上における近似直線の算出手順例を示すフローチャート ナンバープレートにおける近似直線の算出手順例を説明する図 パスポートにおける近似直線の算出手順例を説明する図 実施の形態１に係るカメラの画像処理手順例を示すフローチャート ナンバープレートにおける画像処理例を示す図 パスポートにおける画像処理例を示す図

以下、適宜図面を参照しながら、本開示に係るナンバープレート画像補正方法、ナンバープレート画像補正プログラム、パスポート画像補正方法、およびパスポート画像補正プログラムの構成および作用を具体的に開示した実施の形態１を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、実施の形態１に係るカメラＣ１の内部構成例を示す図である。実施の形態１に係るカメラＣ１は、文字認識を実行したい対象物（ナンバープレート、パスポート等の文字情報を含むもの）を撮像可能に設置されたカメラであり、例えば監視カメラ、あるいはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末、スマートフォン等に設けられたカメラであってもよい。なお、実施の形態１におけるカメラＣ１について、ナンバープレートまたはパスポートの撮像画像を画像処理して文字認識を実行する例を示すが、対象物はこれに限定されないことは言うまでもない。

実施の形態１に係るカメラＣ１は、撮像された撮像画像に映る対象物（例えば、ナンバープレートあるいはパスポート）を検出し、検出された対象物の全体（全域）が映る領域を画像処理する。カメラＣ１は、画像処理後の対象領域に含まれる文字情報を認識し、認識結果を出力する。なお、認識される文字情報は、予めユーザにより指定あるいは設定された場所の文字情報であってもよいし、対象物に含まれるすべての文字情報であってもよい。さらに文字情報は、文字に限定されず、数字、記号等を含んでよい。カメラＣ１は、通信部１０と、プロセッサ１１と、メモリ１２と、撮像部１３とを備える。

通信部１０は、外部接続装置（例えば、レコーダ、ＰＣ、タブレット端末、スマートフォン等）との間でデータ通信可能に接続される。通信部１０は、プロセッサ１１から入力された画像処理された対象画像、あるいはこの対象画像と文字認識結果とを外部接続端末（不図示）へ送信する。

プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成され、メモリ１２と協働して、各種の処理および制御を行う。具体的には、プロセッサ１１はメモリ１２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。

プロセッサ１１は、撮像部１３によって撮像され、入力された撮像画像から対象物を検出し、この対象物の全体を含む対象領域を切り出す。例えば、プロセッサ１１は、対象物がナンバープレートである場合には、車両が撮像された撮像画像から対象物としてのナンバープレートを検出し、検出されたナンバープレートの対象領域（ナンバープレート領域の一例）を切り出す。また、例えばプロセッサ１１は、対象物がパスポートである場合には、撮像画像からパスポートを検出し、検出されたパスポートの対象領域（パスポート領域の一例）を切り出す。

プロセッサ１１は、切り出された対象物の対象領域に含まれる複数の画素のそれぞれに基づいて、対象領域に含まれる複数の画素のそれぞれが文字または背景のいずれであるかを判定する。ここで、プロセッサ１１は、対象領域に含まれる複数の画素をＲＧＢ色空間（第１の色空間の一例）の画素値からＬ＊ｕ＊ｖ＊色空間（第２の色空間の一例）の画素値に変換する。プロセッサ１１は、複数の画素のそれぞれをＲＧＢ色空間の画素値からＬ＊ｕ＊ｖ＊色空間の画素値に変換することで、上述した判定処理において画素ごとの色差を色の距離（数値）として算出できる。

ここで、Ｌ＊ｕ＊ｖ＊色空間について説明する。Ｌ＊ｕ＊ｖ＊色空間は、所謂ＣＩＥ １９７６ 色空間、またはＣＩＥ Ｌｕｖ色空間であって、国際照明委員会（ＣＩＥ＝Ｃｏｍｍｉｓｓｉｏｎ ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ’ｅｃｌａｉｒａｇｅ（フランス語））によって採択された色空間であり、色差の均一性を有する。Ｌ＊ｕ＊ｖ＊色空間の画素値は、ＸＹＺ色空間（所謂、ＣＩＥ １９３１ ＸＹＺ色空間）の画素値を所定の数式を用いて変換することにより、算出できる。

また、ＸＹＺ色空間の画素値は、ｓＲＧＢ色空間の画素値を所定の変換行列により変換することにより算出できる。ここで、ｓＲＧＢ色空間は、国際電気標準会議（ＩＥＣ＝Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）により標準化された色空間である。さらにｓＲＧＢ色空間の画素値は、ＲＧＢ色空間の画素値を所定の変換行列により変換することで算出できる。

つまり、プロセッサ１１は、ＲＧＢ色空間の画素値を複数の色空間への変換処理を介してＬ＊ｕ＊ｖ＊色空間の画素値に変換できる。具体的に、プロセッサ１１は、ＲＧＢ色空間の画素値をｓＲＧＢ色空間の画素値に変換し、さらにｓＲＧＢ色空間の画素値をＸＹＺ色空間の画素値に変換した後、ＸＹＺ色空間の画素値をＬ＊ｕ＊ｖ＊色空間の画素値に変換することで、ＲＧＢ色空間の画素値をＬ＊ｕ＊ｖ＊色空間の画素値に変換できる。

なお、実施の形態１に係るカメラＣ１は、ＲＧＢ色空間の画素値をＬ＊ｕ＊ｖ＊色空間の画素値に変換する例について説明するが、撮像画像から抽出されるＹＵＶ色空間の画素値をＲＧＢ色空間の画素値に変換し、ＲＧＢ色空間の画素値を上述した手順でＬ＊ｕ＊ｖ＊色空間の画素値に変換してもよい。

プロセッサ１１は、Ｌ＊ｕ＊ｖ＊色空間における画素値および色の距離に基づいて、複数の画素のそれぞれが文字部分または背景部分のいずれの画素であるかを判定する。プロセッサ１１は、判定の結果、対象領域に含まれる画素のうち背景部分と判定された画素を、文字の色と識別可能な色な白色または白色に近しい色の画素値に階調変換する画像処理を実行する。なお、ここで実行される階調変換は、例えばガンマ変換である。プロセッサ１１は、対象物の対象領域に含まれる文字情報を認識し、認識結果を通信部１０に出力する。なお、プロセッサ１１は、画像処理後の対象物の対象領域の画像と認識結果とを対応付けて通信部１０に出力してもよい。

メモリ１２は、例えばプロセッサ１１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、プロセッサ１１の動作を規定したプログラムおよびデータを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有する。ＲＡＭには、プロセッサ１１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ１１の動作を規定するプログラムが書き込まれている。また、メモリ１２は、カメラＣ１の初期設定として算出された近似直線に関する情報を記憶する。

撮像部１３は、少なくともレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。イメージセンサは、例えばＣＣＤ（Ｃｈａｒｇｅｄ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。撮像部１３は、撮像された撮像画像をプロセッサ１１に出力する。

図２は、実施の形態１に係るカメラＣ１の動作手順例を示すフローチャートである。なお、図２のステップＳｔ４に示す画像処理は、図３、図６および図８に示すフローチャートを用いて詳細に説明する。

プロセッサ１１は、撮像された対象物（例えば、ナンバープレート、パスポート等）の撮像画像を、撮像部１３からの入力により取得する（Ｓｔ１）。

プロセッサ１１は、撮像画像からユーザにより予め設定された対象物を検出する（Ｓｔ２）。

プロセッサ１１は、撮像画像から検出された対象領域を切り出し（Ｓｔ３）、切り出された対象物の対象領域に画像処理を実行する（Ｓｔ４）。

プロセッサ１１は、画像処理後の対象物の対象領域から予めユーザ操作により設定された各文字塊（例えば、図９および図１０に示すテーブルＴＢｎ２１，ＴＢｐ２１に含まれる項目情報であって、ナンバープレートの車両番号、パスポートの旅券情報等）を抽出して、文字認識を実行する（Ｓｔ５）。

プロセッサ１１は、認識された文字情報を認識結果として通信部１０に出力する（Ｓｔ６）。なお、ここでプロセッサ１１は、画像処理後の対象物の対象領域の画像と認識結果とを対応付けて出力してもよい。

図３および図４を参照して、Ｌ＊ｕ＊ｖ＊色空間に変換された画素の画素値について、Ｌ＊値を正規化する正規化手順について説明する。図３は、Ｌ＊値の正規化手順例を示すフローチャートである。図４は、Ｌ＊値の正規化手順例を説明する図である。

まず、プロセッサ１１は、図２に示すステップＳｔ３の処理において切り出された対象物（ナンバープレート）の対象領域ＡＲｎ１において、対角線の交点（中央）位置（不図示）と、対象物の対象領域ＡＲｎ１（ナンバープレート領域の一例）の幅Ｗおよび高さＨとを算出する。

プロセッサ１１は、対象領域ＡＲｎ１の中央位置を同じく中央位置として、例えば幅Ｗ／２および高さＨ／２の領域を部分領域ＡＲｎ２として設定し、部分領域ＡＲｎ２に含まれる複数の画素を抽出する（Ｓｔ４－１１）。なお、部分領域ＡＲｎ２の大きさは、幅Ｗ／２および高さＨ／２に限定されない。部分領域ＡＲｎ２は、対象物（ナンバープレートあるいはパスポート等）以外の部分の画素（つまり、車体、パスポートを載置するテーブル等）を含まない領域、かつ文字部分の画素を含む領域が設定されることが好ましい。よって、カメラＣ１は、文字認識を行いたい対象物ごとに部分領域の大きさ、部分領域の中央位置等を任意に設定されてよい。

なお、部分領域ＡＲｎ２として設定される領域は、上述した対象領域ＡＲｎ１の幅Ｗ／２および高さＨ／２の領域に限定されないことは言うまでもない。部分領域ＡＲｎ２は、例えば対象領域ＡＲｎ１の幅Ｗ／３および高さＨ／３の領域であってもよいし、対象領域ＡＲｎ１の幅Ｗ／３および高さＨ／２の領域であってもよい。

また、部分領域ＡＲｎ２は、カメラＣ１が撮像する対象物によって領域の位置を変更してもよい。例えば、部分領域は、対象領域の四隅のうち右下の角から幅Ｗ／３および高さＨ／３の領域であってもよい。

カメラＣ１は、部分領域ＡＲｎ２を設定することにより、対象物以外の領域の画素を抽出することを抑制できる。さらに、カメラＣ１は、部分領域ＡＲｎ２を設定することにより、対象物が斜めに歪んで撮像された撮像画像であっても、同様に対象物以外の領域の画素を抽出することを抑制できる。

プロセッサ１１は、抽出された各画素の画素値をＲＧＢ色空間の画素値からＬ＊ｕ＊ｖ＊色空間の画素値に変換する（Ｓｔ４－１２）。

プロセッサ１１は、変換された部分領域ＡＲｎ２に含まれる画素のＬ＊ｕ＊ｖ＊色空間における画素値のうち、明度を示すＬ＊値について、ヒストグラムＨＧ０を作成する（Ｓｔ４－１３）。なお、図５に示すヒストグラムＨＧ０は、部分領域ＡＲｎ２に含まれる画素のＬ＊値に基づく明度の分布を示す。ヒストグラムＨＧ０は、横軸が明度（Ｌ＊値）を示し、右端に近づくほど明るく、左端に近づくほど暗くなる。

プロセッサ１１は、部分領域ＡＲｎ２に含まれる画素のうちＬ＊値のヒストグラムＨＧ０に用いられていない未処理の画素があるか否かを判定する（Ｓｔ４－１４）。

プロセッサ１１は、ステップＳｔ４－１４の処理において、部分領域ＡＲｎ２に含まれる画素のうちＬ＊値のヒストグラムＨＧ０に用いられていない未処理の画素がある場合（Ｓｔ４－１４，ＹＥＳ）、部分領域ＡＲｎ２における未処理の画素を抽出し（Ｓｔ４－１６）、この抽出された未処理の画素の画素値をＲＧＢ色空間の画素値からＬ＊ｕ＊ｖ＊色空間の画素値に変換する。

一方、プロセッサ１１は、ステップＳｔ４－１４の処理において、部分領域ＡＲｎ２含まれる画素のうちＬ＊値のヒストグラムＨＧ０に用いられていない未処理の画素がない場合（Ｓｔ４－１４，ＮＯ）、作成されたＬ＊値のヒストグラムＨＧ０における最小階調値Ｌ＊ｍｉｎおよび最大階調値Ｌ＊ｍａｘをそれぞれ抽出する（Ｓｔ４－１５）。

プロセッサ１１は、対象領域内に含まれるすべての画素を抽出し、抽出されたすべての画素をＲＧＢ色空間の画素値からＬ＊ｕ＊ｖ＊色空間の画素値に変換する（Ｓｔ４－１７）。

プロセッサ１１は、抽出された最小階調値Ｌ＊ｍｉｎおよび最大階調値Ｌ＊ｍａｘに基づいて、すべての画素のＬ＊値について、最小階調値Ｌ＊ｍｉｎをＬ＊＝０（ゼロ）、最大階調値Ｌ＊ｍａｘをＬ＊＝１００として正規化する（Ｓｔ４－１８）。図５には、ヒストグラムＨＧ０を正規化した正規化ヒストグラムＨＧ１のイメージ図を示す。

ここで、Ｌ＊値の正規化処理の効果について説明する。実施の形態１に係るカメラＣ１によって撮像された撮像画像に映る対象物は、時間，天候等の条件により、文字部分の明度（つまりＬ＊値）が異なる。よって、カメラＣ１は、実際に撮像された撮像画像のうち、部分領域ＡＲｎ２に含まれる画素についてＬ＊値のヒストグラムＨＧ０を作成して正規化することにより、画素が対象物の文字部分の画素か背景部分の画素かをより的確に判定できる。

図５を参照して、対象物の文字の色を示す近似直線を算出する算出手順について説明する。図５は、Ｌ＊ｕ＊ｖ＊色空間の画素値のうちｕ＊ｖ＊平面上における文字部分の色を示す近似直線の算出手順例を示すフローチャートである。算出された近似直線は、図８に示すフローチャートのステップＳｔ４－３１における処理において、画素が文字部分であるか否かの判定に用いられる。

プロセッサ１１は、メモリ１２に既に算出済みの近似直線に関する情報が記憶されているか否かを判定する（Ｓｔ４－２１）。プロセッサ１１は、メモリ１２に算出済みの近似直線に関する情報が記憶されていると判定した場合（Ｓｔ４－２１，ＹＥＳ）、ステップＳｔ４－１７の処理において変換されたすべての画素について、画素の画素値（ｕ＊，ｖ＊）と算出された近似直線との間の距離を画素ごとに算出する（Ｓｔ４－２７）。

一方、プロセッサ１１は、メモリ１２に算出済みの近似直線に関する情報が記憶されていないと判定した場合（Ｓｔ４－２１，ＮＯ）、ステップＳｔ４－２２の処理に移行し、近似直線を算出する。ここで、図５に示す対象物の文字の色を示す近似直線を算出する処理（ステップＳｔ４－２２～ステップＳｔ４－２６の処理）は、カメラＣ１が設置された際の初期設定として算出されてメモリ１２に記憶される。ここで、メモリ１２に記憶される近似直線に関する情報は、算出された近似直線の式および線分である近似直線の両端の座標（ｕ＊，ｖ＊）情報であり、次回以降の撮像画像の画像処理においてプロセッサ１１により参照される。

プロセッサ１１は、図２に示すステップＳｔ３の処理において切り出された対象物の対象領域に文字認識処理を実行し、文字であると識別された文字部分に含まれる画素を抽出する（Ｓｔ４－２２）。

プロセッサ１１は、抽出された文字部分に含まれる画素の画素値を、ＲＧＢ色空間の画素値からＬ＊ｕ＊ｖ＊色空間の画素値に変換する（Ｓｔ４－２３）。

プロセッサ１１は、Ｌ＊ｕ＊ｖ＊色空間におけるｕ＊ｖ＊平面上に、変換された画素をプロットする（Ｓｔ４－２４）。

なお、ここでプロセッサ１１は、画素のＬ＊ｕ＊ｖ＊色空間における画素値のうち、明度を示すＬ＊値が文字部分の明度を示す所定の閾値（例えば４０）以下であるか否か（つまり、画素の色が暗いかどうか）を判定してもよい。プロセッサ１１は、Ｌ＊値が所定の閾値（例えばＬ＊値≦４０）であると判定された画素のみをｕ＊ｖ＊平面上にプロットしてよい。

さらに、実施の形態１に係るカメラＣ１が撮像する対象物の文字の色は、例えばナンバープレート、パスポート等のように黒に近い暗い色である例を示すが、これに限定されないことは言うまでもない。例えば、背景が黒色であって文字が白色、背景が赤であって文字が暗い緑等の場合、上述した閾値４０はユーザにより設定が適宜変更されてよい。

プロセッサ１１は、対象物の対象領域のうち、２つ以上の複数の画素のそれぞれがプロットされたか否かを判定する（Ｓｔ４－２５）。

プロセッサ１１は、ステップＳｔ４－２５の処理において、２つ以上の複数の画素のそれぞれがプロットされている（Ｓｔ４－２５，ＹＥＳ）場合、ｕ＊ｖ＊平面上にプロットされた複数の画素の画素値（ｕ＊，ｖ＊）のそれぞれに基づいて、これらの画素の画素値の近似直線を算出する（Ｓｔ４－２６）。

一方、プロセッサ１１は、ステップＳｔ４－２５の処理において、２つ以上の複数の画素のそれぞれがプロットされていない（Ｓｔ４－２５，ＮＯ）場合、ステップＳｔ４－２２における処理に移行し、対象物の対象領域の文字部分に含まれる画素を抽出する（Ｓｔ４－２６）。

プロセッサ１１は、ステップＳｔ４－１７の処理において変換されたすべての画素について、画素の画素値（ｕ＊，ｖ＊）と算出された近似直線との間の距離を画素ごとに算出する（Ｓｔ４－２７）。

ここで、図６および図７を参照して、図５に示す対象物の文字の色を示す近似直線の算出手順をより詳細に説明する。図６は、ナンバープレートにおける近似直線ＳＬｎの算出手順例を説明する図である。図７は、パスポートにおける近似直線ＳＬｐの算出手順例を説明する図である。なお、図６および図７に示す各数値は一例であって、これに限定されないことは言うまでもない。

まず、ナンバープレートにおける近似直線ＳＬｎの算出手順例について説明する。カメラＣ１は、車両を撮像し、撮像された撮像画像からナンバープレートを検出するとともに、ナンバープレートの全体を含んで切り出した対象領域画像を生成する。プロセッサ１１は、対象領域画像の文字部分を検出し、検出された文字部分から任意の９画素を抽出する。なお、抽出される画素数は、文字と判定されるＬ＊値を有する２以上の画素数であればよい。

変換テーブルＴＢｎは、抽出された９画素についてＲＧＢ色空間の画素値、および変換されたＬ＊ｕ＊ｖ＊色空間の画素値のそれぞれを、Ｌ＊ｕ＊ｖ＊色空間の画素値のＬ＊値について降順にソートしたテーブルである。Ｌ＊値は、変換テーブルＴＢｎの右側に示すＬ＊値（明度）の指標のように、Ｌ＊値（明度）が大きくなるほど明るくなり、Ｌ＊値が小さくなるほど暗くなる。

ここで、実施の形態１に係るカメラＣ１がナンバープレートを撮像する例において、対象物としてのナンバープレートの文字の色は一般的に黒色等の暗い色である。よって、変換テーブルＴＢｎに含まれる９画素（Ｌ＊ｕ＊ｖ＊色空間）のうちＬ＊値が所定の閾値４０より大きい画素は、ナンバープレートの背景部分の画素であると判定する。なお、背景部分の画素と判定されるＬ＊値の閾値は、４０に限定されないことは言うまでもない。閾値は、カメラＣ１の性能あるいは周囲の環境（日当たり等）に応じてユーザにより任意の値に設定されてよい。

グラフＧＰｎは、Ｌ＊ｕ＊ｖ＊色空間におけるｕ＊ｖ＊平面を示し、変換テーブルＴＢｎに示す９画素をプロットしたグラフである。なお、Ｌ＊ｕ＊ｖ＊色空間におけるｕ＊軸は、ｕ＊の値（以降、「ｕ＊値」と表記）が－（マイナス）方向に大きくなるほど緑色が濃くなる。また、Ｌ＊ｕ＊ｖ＊色空間におけるｖ＊軸は、ｖ＊の値（以降、「ｖ＊値」と表記）が＋（プラス）方向に大きくなるほど黄色が濃くなる。ここで、グラフＧＰｎ上にプロットされた９つの画素点Ｐｔ１，Ｐｔ２，Ｐｔ３，Ｐｔ４，Ｐｔ５，Ｐｔ６，Ｐｔ７，Ｐｔ８，Ｐｔ９のそれぞれについて説明する。

画素点Ｐｔ１は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（１００．００，０．００，０．００）で示される画素である。

画素点Ｐｔ２は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（２１０，２２０，２１２）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（８６．８２，－５．１６，５．０２）で示される画素である。

画素点Ｐｔ３は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（７５，８８，７８）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（３６．０３，－６．４５，６．０８）で示される画素である。

画素点Ｐｔ４は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（２７，４３，３０）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（１５．７７，－６．２０，６．４５）で示される画素である。

画素点Ｐｔ５は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（４５，６６，４９）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（２５．７９，－９．４９，９．８０）で示される画素である。

画素点Ｐｔ６は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（３１，５４，３４）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（２０．２２，－９．５４，１０．７８）で示される画素である。

画素点Ｐｔ７は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（３９，６３，４１）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（２４．１５，－１０．５６，１２．５３）で示される画素である。

画素点Ｐｔ８は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（３７，５９，３８）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（２２．５２，－９．５４，１１．７８）で示される画素である。

画素点Ｐｔ９は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（１９，４０，２１）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（１３．８９，－７．４９，８．８５）で示される画素である。

プロセッサ１１は、複数の画素点Ｐｔ１～Ｐｔ９のそれぞれのうち、Ｌ＊値＞４０である複数の画素点Ｐｔ１，Ｐｔ２のそれぞれをナンバープレートの背景部分の画素と判定する。また、プロセッサ１１は、複数の画素点Ｐｔ１～Ｐｔ９のそれぞれのうち、Ｌ＊値≦４０である複数の画素点Ｐｔ３～Ｐｔ９のそれぞれをナンバープレートの文字部分の画素と判定する。

プロセッサ１１は、ナンバープレートの文字部分の画素であると判定された複数の画素点Ｐｔ３～Ｐｔ９のそれぞれに基づく近似直線ＳＬｎを算出する。図６に示す例において、近似直線ＳＬｎは、ｖ＊＝－１．３９１２×（ｕ＊）－２．３１３３と算出される。

エリアＡＲＮは、近似直線ＳＬｐから所定の距離Ｄｐを示す範囲であって、図８に示すステップＳｔ４－３１で用いられる閾値ＴＨ４である。距離Ｄｐは、近似直線ＳＬｎが示す文字の色からの距離Ｄｐ内の色弁域（同じ色に見える領域）を示す。これにより、エリアＡＲＰに含まれない画素は、文字部分の画素に基づいて算出された近似直線ＳＬｎの色弁域外の画素であるため、ナンバープレートの背景部分の画素であると判定される。一方、エリアＡＲＰに含まれる画素は、文字部分の画素に基づいて算出された近似直線ＳＬｎの色弁域内の画素であるため、ナンバープレートの文字部分の画素であると判定される。

プロセッサ１１は、ナンバープレートの対象領域において抽出された画素について、エリアＡＲＮ内、つまり閾値ＴＨ４（距離Ｄｎ）である場合、その画素をナンバープレートの文字部分と判定する。なお、距離Ｄｎおよび閾値ＴＨ４は、図６に示す例において閾値ＴＨ４（距離Ｄｎ）＝３０であるが、これに限定されないことは言うまでもない。

次に、パスポートにおける近似直線ＳＬｐの算出手順例について説明する。カメラＣ１は、撮像された撮像画像からパスポートを検出するとともに、パスポートの全体を含んで切り出した対象領域画像を生成する。プロセッサ１１は、対象領域画像の文字部分を検出し、この文字部分から任意の９画素を抽出する。なお、抽出される画素数は、文字と判定されるＬ＊値を有する２以上の画素数であればよい。

変換テーブルＴＢｐは、抽出された９画素についてＲＧＢ色空間の画素値、および変換されたＬ＊ｕ＊ｖ＊色空間の画素値のそれぞれを、Ｌ＊ｕ＊ｖ＊色空間の画素値のＬ＊値について降順にソートしたテーブルである。Ｌ＊値は、変換テーブルＴＢｐの右側に示すＬ＊値（明度）の指標のように、Ｌ＊値（明度）が大きくなるほど明るくなり、Ｌ＊値が小さくなるほど暗くなる。

グラフＧＰｐは、Ｌ＊ｕ＊ｖ＊色空間におけるｕ＊ｖ＊平面を示し、変換テーブルＴＢｎに示す９画素をプロットしたグラフである。なお、Ｌ＊ｕ＊ｖ＊色空間におけるｕ＊軸は、ｕ＊値が＋（プラス）方向に大きくなるほど赤色が濃くなる。また、Ｌ＊ｕ＊ｖ＊色空間におけるｖ＊軸は、ｖ＊値が＋（プラス）方向に大きくなるほど黄色が濃くなる。ここで、グラフＧＰｐ上にプロットされていない２つの画素点と、グラフＧＰｐ上にプロットされた７つの画素点Ｐｔ１１，Ｐｔ１２，Ｐｔ１３，Ｐｔ１４，Ｐｔ１５，Ｐｔ１６，Ｐｔ１７のそれぞれについて説明する。

なお、図７に示す例においてプロセッサ１１は、抽出された画素について、Ｌ＊ｕ＊ｖ＊色空間のＬ＊値を算出した後、Ｌ＊値＞４０であるか否かを判定する。プロセッサ１１は、Ｌ＊値＞４０と判定された画素を背景部分の画素と判定し、ｕ＊ｖ＊平面上にプロットしない。

変換テーブルＴＢｐのうち最もＬ＊値が大きい画素は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（１００．００，０．００，０．００）で示される画素である。この画素は、Ｌ＊値＞４０であるため、グラフＧＰｎにおいてプロットが省略されている。

変換テーブルＴＢｐのうち２番目にＬ＊値が大きい画素は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（１８２，１７４，１５３）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（７１．２３，５．９９，１６．７９）で示される画素である。この画素は、Ｌ＊値＞４０であるため、グラフＧＰｎにおいてプロットが省略されている。

画素点Ｐｔ１１は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（７９，７０，４８）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（３０．０５，６．５５，１５．４６）で示される画素である。

画素点Ｐｔ１２は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（５０，４０，１７）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（１６．６８，６．４２，１２．５１）で示される画素である。

画素点Ｐｔ１３は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（４３，３２，１５）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（１３．１１，６．１６，８．９１）で示される画素である。

画素点Ｐｔ１４は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（３９，２９，１０）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（１１．５０，５．４３，８．８２）で示される画素である。

画素点Ｐｔ１５は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（２６，１７，０）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（５．６１，３．４９，５．７９）で示される画素である。

画素点Ｐｔ１６は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（２０，１０，０）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（３．３０，２．８１，３．３２）で示される画素である。

画素点Ｐｔ１７は、ＲＧＢ色空間における画素値（Ｒ，Ｇ，Ｂ）＝（１４，５，０）、およびＬ＊ｕ＊ｖ＊色空間における画素値（Ｌ＊，ｕ＊，ｖ＊）＝（１．８２，１．９９，１．７８）で示される画素である。

プロセッサ１１は、複数の画素点Ｐｔ１１～Ｐｔ１７のそれぞれをパスポートの文字部分の画素と判定する。

プロセッサ１１は、ナンバープレートの文字部分の画素であると判定された複数の画素点Ｐｔ１１～Ｐｔ１７のそれぞれに基づく近似直線ＳＬｐを算出する。図７に示す例において、近似直線ＳＬｎは、ｖ＊＝－２．４１８６×（ｕ＊）－３．２６５と算出される。

エリアＡＲＰは、近似直線ＳＬｐから所定の距離Ｄｐを示す範囲であって、図８に示すステップＳｔ４－３１で用いられる閾値ＴＨ４である。距離Ｄｐは、近似直線ＳＬｐが示す文字の色からの距離Ｄｐ内の色弁域（同じ色に見える領域）を示す。これにより、エリアＡＲＰに含まれない画素は、文字部分の画素に基づいて算出された近似直線ＳＬｐの色弁域外の画素であるため、パスポートの背景部分の画素であると判定される。一方、エリアＡＲＰに含まれる画素は、文字部分の画素に基づいて算出された近似直線ＳＬｐの色弁域内の画素であるため、パスポートの文字部分の画素であると判定される。

プロセッサ１１は、パスポートの対象領域から抽出された画素について、エリアＡＲＰ内、つまり閾値ＴＨ４（距離Ｄｐ）である場合、その画素をパスポートの文字部分と判定する。なお、距離Ｄｐおよび閾値ＴＨ４は、図７に示す例において閾値ＴＨ４（距離Ｄｐ）＝３０であるが、これに限定されないことは言うまでもない。

図８を参照して、プロセッサ１１による対象物の対象領域への画像処理手順について説明する。図８は、実施の形態１に係るカメラＣ１の画像処理手順例を示すフローチャートである。

プロセッサ１１は、図３に示すステップＳｔ４－１７で変換された画素のｕ＊値、ステップＳｔ４－１８で正規化されたＬ＊値、およびメモリ１２に記録された近似直線と各画素との間の距離のそれぞれを用いて、対象物の対象領域に含まれるすべての画素について、以下の４つの判定処理を実行する（Ｓｔ４－３１）。

プロセッサ１１は、１つ目の判定処理として、ステップＳｔ４－１８において正規化されたＬ＊値が閾値ＴＨ１より大きいか否かを判定する。ここで、閾値ＴＨ１は、ユーザ操作により設定された明度であって、例えば閾値ＴＨ１＝４５である。なお、この閾値ＴＨ１は、上述の例に限定されず、対象物ごとに設定されてよい。これにより、プロセッサ１１は、Ｌ＊値が示す明度が文字の色でないか否かを判定する。

プロセッサ１１は、２つ目の判定処理として、ステップＳｔ４－１７において変換されたｕ＊値が閾値ＴＨ２より小さいか否かを判定する。ここで、閾値ＴＨ２は、ユーザ操作により設定された値であって、例えば対象物がナンバープレートの場合では閾値ＴＨ２＝－２５、対象物がナンバープレートの場合では閾値ＴＨ２＝－５である。なお、この閾値ＴＨ２は、上述の例に限定されず、対象物ごとに設定されてよい。これにより、プロセッサ１１は、ｕ＊値が文字の色でないか否かを判定する。

プロセッサ１１は、３つ目の判定処理として、ステップＳｔ４－１７において変換されたｕ＊値が閾値ＴＨ３より大きいか否かを判定する。ここで、閾値ＴＨ３は、ユーザ操作により設定された値であって、例えば対象物がナンバープレートの場合では閾値ＴＨ３＝２０、対象物がナンバープレートの場合では閾値ＴＨ３＝５である。なお、この閾値ＴＨ３は、上述の例に限定されず、対象物ごとに設定されてよい。これにより、プロセッサ１１は、ｕ＊値が文字の色でないか否かを判定する。

プロセッサ１１は、４つ目の判定処理として、対象領域に含まれる画素の画素値と近似直線との間の距離が閾値ＴＨ４より大きいか否かを判定する。ここで、閾値ＴＨ４は、ユーザ操作により設定された色弁域であって、例えば閾値ＴＨ４＝３０である。なお、この閾値ＴＨ４は、上述の例に限定されず、対象物ごとに設定されてよい。これにより、プロセッサ１１は、抽出された画素が文字の色でないか否かを判定する。

プロセッサ１１は、上述した４つの判定処理の結果、画素がＬ＊値＞閾値ＴＨ１、ｕ＊値＜閾値ＴＨ２、ｕ＊値＞閾値ＴＨ３、または距離＞閾値ＴＨ４のいずれかの条件を満たすと判定した場合（Ｓｔ４－３１，ＹＥＳ）、この画素を背景の画素と判定し、白色または白色に近しい色に変換して出力する（Ｓｔ４－３２）。なお、ここでいう距離は、最短距離を示し、ｕ＊ｖ＊平面上における画素から近似直線に向かって引かれた垂線の長さである。

プロセッサ１１は、上述した４つの判定処理の結果、画素がＬ＊値＞閾値ＴＨ１、ｕ＊値＜閾値ＴＨ２、ｕ＊値＞閾値ＴＨ３、または距離＞閾値ＴＨ４のいずれの条件も満たさないと判定した場合（Ｓｔ４－３１，ＮＯ）、この画素を文字部分の画素と判定し、そのまま出力する（Ｓｔ４－３３）。

プロセッサ１１は、対象領域に含まれるすべての画素のうち、ステップＳｔ４－３１における判定処理が未処理の画素があるか否かを判定する（Ｓｔ４－３４）。

プロセッサ１１は、判定処理が未処理の画素があると判定した場合（Ｓｔ４－３４，ＹＥＳ）、この未処理の画素を抽出して、ステップＳｔ４－３１の処理に戻る。プロセッサ１１は、抽出された画素への４つの判定処理を実行する。

一方、プロセッサ１１は、判定処理が未処理の画素がないと判定した場合（Ｓｔ４－３４，ＮＯ）、対象領域への画像処理を終了するとともに、ステップＳｔ５の処理に移行し、画像処理後の対象物の対象領域の画像を用いて各文字塊を抽出する。

以上により、実施の形態１に係るカメラＣ１は、対象物の文字認識する文字部分の背景に図柄、イラスト、色等があっても、対象領域に含まれる画素のうち背景部分の画素を白色または白色に近しい色に変換した画像を生成できる。これにより、実施の形態１に係るカメラＣ１は、撮像画像に映る対象物の文字情報をより的確に文字認識できる。

図９は、ナンバープレートにおける画像処理例を示す図である。図９には、対象物としてのナンバープレートの対象領域ＡＲｎ１０、画像処理後のナンバープレートの対象領域ＡＲｎ２１および文字認識結果としてのテーブルＴＢｎ２１を示す。

対象領域ＡＲｎ１０は、ユーザ操作により設定された文字認識対象としての複数の文字情報ＡＲｎ１１，ＡＲｎ１２，ＡＲｎ１３，ＡＲｎ１４のそれぞれを含む。

文字情報ＡＲｎ１１は、車両が使用される本拠の管轄地域の情報である。文字情報ＡＲｎ１２は、車両の車種を示す分類番号である。文字情報ＡＲｎ１３は、分類番号が示す車種の用途を示す用途種別文字である。文字情報ＡＲｎ１４は、所謂車両番号であって、車両を識別するための一連指定番号である。なお、これらの文字情報が示す情報は、国によって異なるため、上述した例に限定されない。

カメラＣ１は、対象領域ＡＲｎ１０に含まれるすべての画素について、背景と判定された画素を白色または白色に近しい色に変換した対象領域ＡＲｎ２１を生成して出力するとともに、複数の文字情報ＡＲｎ１１～ＡＲｎ１４のそれぞれの文字を認識した認識結果を出力する。対象領域ＡＲｎ２１は、画像処理後のナンバープレートの対象領域の画像である。また、テーブルＴＢｎ２１は、対象領域ＡＲｎ２１を用いて文字認識された認識結果である。

テーブルＴＢｎ２１は、各文字情報ＡＲｎ１１～ＡＲｎ１４のそれぞれに対応する項目「地域」、項目「分類番号」、項目「用途種別文字」、項目「一連指定番号（車両番号）」を含む。図９に示す例においてカメラＣ１は、文字認識の結果、項目「地域」を「高知」、項目「分類番号」を「５９９」、項目「用途種別文字」を「あ」、項目「一連指定番号（車両番号）」を「２０－４６」と認識し、出力する。

なお、図９では説明を簡単にするために文字認識結果をテーブルＴＢｎ２１で示すが、カメラＣ１は、各項目の認識結果を項目の情報と対応付けて出力してよい。

図１０は、パスポートにおける画像処理例を示す図である。図１０には、対象物としてのパスポートの対象領域ＡＲｐ１０、画像処理後のパスポートの対象領域ＡＲｐ２１および文字認識結果としてのテーブルＴＢｐ２１を示す。

対象領域ＡＲｐ１０は、ユーザ操作により設定された文字認識対象としての文字情報ＡＲｐ１１を含む。

文字情報ＡＲｐ１１は、パスポートに記載された文書の種類、発行国のコード、パスポートの番号、姓、名、国籍、生年月日等の各情報をまとめた旅券情報である。

カメラＣ１は、対象領域ＡＲｐ１０に含まれるすべての画素について、背景と判定された画素を白色または白色に近しい色に変換した対象領域ＡＲｐ２１を生成して出力するとともに、文字情報ＡＲｐ１１の文字を認識した認識結果を出力する。対象領域ＡＲｐ２１は、画像処理後のパスポートの対象領域の画像である。また、テーブルＴＢｐ２１は、対象領域ＡＲｐ２１を用いて文字認識された認識結果である。

テーブルＴＢｐ２１は、文字情報ＡＲｐ１１を「Ｐ＜ＪＰＮＧＡＩＭＵ＜＜ＨＡＮＡＫＯ＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜ＮＨ１１０６００２９ＪＰＮ８８０５０５６Ｆ２０１１０７９＜＜＜＜＜＜＜＜＜＜＜＜＜＜０８」と認識し、出力する。なお、カメラＣ１は、各情報のそれぞれに対応する項目ごとに文字認識してもよい。例えば、カメラＣ１は、項目「文書の種類」を「Ｐ」、項目「発行国のコード」を「ＪＰＮ」、項目「パスポートの番号」を「ＮＨ１１０６００２９」、項目「姓」を「ＧＡＩＭＵ」、項目「名」を「ＨＡＮＡＫＯ」、項目「国籍」を「ＪＰＮ」のように認識し、各項目の認識結果を項目の情報と対応付けて出力してよい。

以上により、実施の形態１に係るカメラＣ１による車両あるいはパスポートを撮像した撮像画像の画像補正方法は、撮像された撮像画像から対象物（ナンバープレートあるいはパスポート）を含む対象領域ＡＲｎ１０，ＡＲｐ１０を抽出し、対象領域ＡＲｎ１０，ＡＲｐ１０に含まれる複数の画素のそれぞれを抽出して、複数の画素のＲＧＢ色空間（第１の色空間の一例）における画素値をＬ＊ｕ＊ｖ＊色空間（第２の色空間の一例）における画素値に変換し、変換されたＬ＊ｕ＊ｖ＊色空間における画素値が所定の条件（例えば、閾値ＴＨ１～ＴＨ４のうち少なくともいずれか）を満たすか否かを判定し、所定の条件を満たすと判定されたＬ＊ｕ＊ｖ＊色空間における画素値を有する画素を対象領域の背景画素と判定して、背景画素の画素を白色に近しい色の画素値に階調変換して出力する。

これにより、実施の形態１に係るカメラＣ１は、撮像画像の背景画素を白色または白色に近しい色の画素に変換し、文字部分の画素をそのまま出力することで、撮像画像に映るナンバープレートまたはパスポート等の対象物の文字情報を的確に認識可能な画像を生成できる。よって、カメラＣ１は、生成された撮像画像に基づいて、撮像エリアの監視精度の低下を抑制できる。

また、Ｌ＊ｕ＊ｖ＊色空間の一例としての第２の色空間は、均等色空間である。実施の形態１に係るカメラＣ１は、画像処理において、対象領域に含まれる複数の画素をＲＧＢ色空間の画素値から均等色空間であるＬ＊ｕ＊ｖ＊色空間の画素値に変換することで、画素ごとの色差を色の距離（数値）として算出できる。これにより、実施の形態１に係るカメラＣ１は、色の違いを色の距離（数値）として画像処理できるため、背景画素をより高精度に検出可能になるとともに、文字認識により適した画像処理を実行できる。

また、実施の形態１に係るカメラＣ１は、変換された複数の画素のＬ＊ｕ＊ｖ＊色空間における画素値をｕ＊ｖ＊平面上にプロットし、ｕ＊ｖ＊平面上にプロットされた複数の画素値のそれぞれに基づく近似直線（例えば、図６に示す近似直線ＳＬｎ、図７に示す近似直線ＳＬｐ）を算出し、ｕ＊ｖ＊平面上にプロットされた複数の画素値と近似直線との間の距離が閾値ＴＨ４を満たすか否か（つまり、ｕ＊ｖ＊平面上においてプロットされた画素がエリアＡＲＮ，ＡＲＰ内に位置するか否か）を判定する。なお、実施の形態１に係るカメラＣ１の例において、閾値ＴＨ４は、対象物が車両のナンバープレートであってもパスポートであっても閾値ＴＨ４＝３０であるが、これに限定されないことは言うまでもない。カメラＣ１は、所定距離内でないと判定した画素値を有する画素を対象物（ナンバープレートあるいはパスポート）の背景画素と判定して、この背景画素を白色に近しい色の画素値に変換して出力する。これにより、実施の形態１に係るカメラＣ１は、撮像画像の背景画素をより高精度に検出し、検出された背景画素を白色に近しい色の画素に変換して出力することで、撮像画像に映るナンバープレートまたはパスポート等の対象物の文字情報を的確に認識可能な画像を生成できる。また、カメラＣ１は、生成された画像に基づく文字認識を実行することで、より的確にナンバープレートの情報あるいはパスポートの情報を取得できるため、撮像エリア内の監視精度の低下を抑制できる。

また、実施の形態１に係るカメラＣ１は、変換された複数の画素のＬ＊ｕ＊ｖ＊色空間における画素値のうち、Ｌ＊値が４０以下の画素（Ｌ＊ｕ＊ｖ＊色空間）をプロットする。これにより、実施の形態１に係るカメラＣ１は、近似直線の算出に用いられる複数の画素のそれぞれから文字の色でないと容易に予測される色を示す画素を取り除くことができる。したがって、カメラＣ１は、閾値ＴＨ４を満たすか否かの判定の際に用いられる近似直線（例えば、図６に示す近似直線ＳＬｎ、図７に示す近似直線ＳＬｐ）が示す文字情報の色の検出精度を高めることができる。

また、実施の形態１に係るカメラＣ１において、ｕ＊ｖ＊平面上における距離が３０以内に位置する画素を文字部分の画素を判定する。これにより、実施の形態１に係るカメラＣ１は、均等色空間であるＬ＊ｕ＊ｖ＊色空間に変換された複数の画素のそれぞれが、文字部分の色の画素に基づいて算出された近似直線（例えば、図６に示す近似直線ＳＬｎ、図７に示す近似直線ＳＬｐ）と近しい色であるか否かを判定できる。

また、実施の形態１に係るカメラＣ１は、対象領域ＡＲｎ１０，ＡＲｐ１０の一部の領域を含む部分領域（図４に示す部分領域ＡＲｎ２）に含まれる複数の部分画素を抽出して、複数の部分画素のＲＧＢ色空間における画素値をＬ＊ｕ＊ｖ＊色空間における画素値に変換し、変換されたＬ＊ｕ＊ｖ＊色空間における画素値のＬ＊値に基づくヒストグラムを作成し、ヒストグラムにおいて最小階調値および最大階調値を抽出し、抽出された最小階調値および最大階調値に基づいて、対象領域ＡＲｎ１０，ＡＲｐ１０に含まれるＬ＊ｕ＊ｖ＊色空間における画素値のＬ＊値を正規化する。これにより、実施の形態１に係るカメラＣ１は、撮像画像に映る対象物が撮像された際の周囲の環境（例えば、朝、昼、夕方、晴天、雨天）等の影響を受けていても、対象物の文字部分の画素をより的確に抽出できる。また、カメラＣ１は、部分領域に含まれる部分画素に基づいて、Ｌ＊値のヒストグラムを作成できるため、対象領域外の誤抽出された画素に基づくＬ＊値のヒストグラムの作成をより抑制できる。

また、実施の形態１に係るカメラＣ１は、対象領域ＡＲｎ１０，ＡＲｐ１０の短辺および長辺の長さの少なくとも１／２を含む部分領域ＡＲｎ２を設定する。これにより、実施の形態１に係るカメラＣ１は、カメラＣ１の設置角度あるいは被写体として対象物の位置等により、撮像画像に映る対象物が歪んでいる場合であっても、対象領域以外の画素の誤抽出をより抑制して、Ｌ＊値のヒストグラムを作成できる。

また、実施の形態１に係るカメラＣ１は、正規化されたＬ＊値のヒストグラムにおいて、Ｌ＊値＞４５（つまり、閾値ＴＨ１）を満たす画素を背景部分の画素と判定する。これにより、実施の形態１に係るカメラＣ１は、撮像画像に映る対象物が撮像された際の周囲の環境（例えば、朝、昼、夕方、晴天、雨天）等の影響を受けていても、対象物の背景部分の画素を撮像画像ごとに抽出できる。なお、実施の形態１に係るカメラＣ１の例において、閾値ＴＨ１は、対象物が車両のナンバープレートであってもパスポートであっても閾値ＴＨ１＝４５であるが、これに限定されないことは言うまでもない。

また、実施の形態１に係るカメラＣ１は、変換されたＬ＊ｕ＊ｖ＊色空間における画素値において、対象物がナンバープレートの場合にはｕ＊値＜－２５（つまり、ナンバープレートにおける閾値ＴＨ２）またはｕ＊値＞５（つまり、ナンバープレートにおける閾値ＴＨ３）を満たす画素を背景部分の画素と判定し、対象物がパスポートの場合にはｕ＊値＜－５（つまり、パスポートにおける閾値ＴＨ２）またはｕ＊値＞２０（つまり、パスポートにおける閾値ＴＨ３）を満たす画素を背景部分の画素と判定する。これにより、実施の形態１に係るカメラＣ１は、背景画素と判定する画素値のうちｕ＊値を対象物ごとに設定して判定できる。

本開示は、撮像画像に映る対象物の文字情報を的確に認識し、カメラの撮像エリアの監視精度の低下を抑制するナンバープレート画像補正方法、ナンバープレート画像補正プログラム、パスポート画像補正方法、およびパスポート画像補正プログラムの提示として有用である。

１０ 通信部
１１ プロセッサ
１２ メモリ
１３ 撮像部
Ｃ１ カメラ
ＳＬｐ，ＳＬｎ 近似直線
Ｐｔ１，Ｐｔ２，Ｐｔ３，Ｐｔ４，Ｐｔ５，Ｐｔ６，Ｐｔ１１，Ｐｔ１２，Ｐｔ１３，Ｐｔ１４，Ｐｔ１５，Ｐｔ１６，Ｐｔ１７ 画素点
ＡＲｎ１，ＡＲｎ１０，ＡＲｐ１０ 対象領域
ＡＲｎ２ 部分領域

Claims (16)

1. 車両を撮像するカメラによって行われるナンバープレート画像補正方法であって、
   撮像された撮像画像からナンバープレートを含むナンバープレート領域を抽出し、
   前記ナンバープレート領域に含まれる複数の画素のそれぞれを抽出して、前記複数の画素の色空間における画素値を、均等色空間であるＬ＊ｕ＊ｖ＊色空間における画素値に変換し、
   変換された前記複数の画素の前記Ｌ＊ｕ＊ｖ＊色空間における画素値をｕ＊ｖ＊平面上にプロットし、
   前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値のそれぞれに基づく近似直線を算出し、
   前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値と前記近似直線との間の距離が所定距離内であるか否かを判定し、
   前記所定距離内でないと判定された前記Ｌ＊ｕ＊ｖ＊色空間における画素値を有する画素を前記ナンバープレートの背景画素と判定して、前記背景画素の画素を白色または前記白色に近しい色の画素値に変換して出力する、
   ナンバープレート画像補正方法。
2. 変換された前記複数の画素の前記Ｌ＊ｕ＊ｖ＊色空間における画素値のうち、Ｌ＊値が４０以下の画素をプロットする、
   請求項１に記載のナンバープレート画像補正方法。
3. 前記所定距離は、前記ｕ＊ｖ＊平面上における３０である、
   請求項１に記載のナンバープレート画像補正方法。
4. 前記ナンバープレート領域の一部の領域を含む部分領域に含まれる複数の部分画素を抽出して、前記複数の部分画素の色空間における画素値を前記Ｌ＊ｕ＊ｖ＊色空間における画素値に変換し、
   変換された前記Ｌ＊ｕ＊ｖ＊色空間における画素値のＬ＊値に基づくヒストグラムを作成し、
   前記ヒストグラムにおいて最小階調値および最大階調値を抽出し、
   抽出された前記最小階調値および前記最大階調値に基づいて、前記ナンバープレート領域に含まれる前記Ｌ＊ｕ＊ｖ＊色空間における画素値のＬ＊値を正規化する、
   請求項１に記載のナンバープレート画像補正方法。
5. 前記部分領域は、前記ナンバープレート領域の短辺および長辺の長さの少なくとも１／２を含む領域である、
   請求項４に記載のナンバープレート画像補正方法。
6. 変換された前記Ｌ＊ｕ＊ｖ＊色空間における画素値が正規化された前記Ｌ＊値＞４５であるか否かを判定し、前記Ｌ＊値＞４５であると判定された前記Ｌ＊ｕ＊ｖ＊色空間における画素値を有する画素を、前記ナンバープレートの背景画素と判定する、
   請求項４に記載のナンバープレート画像補正方法。
7. 変換された前記Ｌ＊ｕ＊ｖ＊色空間における画素値がｕ＊値＜－２５またはｕ＊値＞５であるか否かを判定し、前記ｕ＊値＜－２５または前記ｕ＊値＞５であると判定された前記Ｌ＊ｕ＊ｖ＊色空間における画素値を有する画素を、前記ナンバープレートの背景画素と判定する、
   請求項１に記載のナンバープレート画像補正方法。
8. 車両を撮像するカメラに、
   撮像された撮像画像からナンバープレートを含むナンバープレート領域を抽出するステップと、
   前記ナンバープレート領域に含まれる複数の画素のそれぞれを抽出して、前記複数の画素の色空間における画素値を、均等色空間であるＬ＊ｕ＊ｖ＊色空間における画素値に変換するステップと、
   変換された複数の画素の前記Ｌ＊ｕ＊ｖ＊色空間における画素値をｕ＊ｖ＊平面上にプロットするステップと、
   前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値のそれぞれに基づく近似直線を算出するステップと、
   前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値と前記近似直線との間の距離が所定距離内であるか否かを判定するステップと、
   前記所定距離内でないと判定された前記Ｌ＊ｕ＊ｖ＊色空間における画素値を有する画素を前記ナンバープレートの背景画素と判定して、前記背景画素の画素を白色または前記白色に近しい色の画素値に変換して出力するステップと、を実現させるための、
   ナンバープレート画像補正プログラム。
9. パスポートを撮像するカメラによって行われるパスポート画像補正方法であって、
   撮像された撮像画像から前記パスポートを含むパスポート領域を抽出し、
   前記パスポート領域に含まれる複数の画素のそれぞれを抽出して、前記複数の画素の色空間における画素値を、均等色空間であるＬ＊ｕ＊ｖ＊色空間における画素値に変換し、
   変換された前記複数の画素の前記Ｌ＊ｕ＊ｖ＊色空間における画素値をｕ＊ｖ＊平面上にプロットし、
   前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値のそれぞれに基づく近似直線を算出し、
   前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値と前記近似直線との間の距離が所定距離内であるか否かを判定し、
   前記所定距離内でないと判定された前記画素値を有する画素を前記パスポートの背景画素と判定して、前記背景画素の画素を白色または前記白色に近しい色の画素値に変換して出力する、
   パスポート画像補正方法。
10. 変換された前記複数の画素の前記Ｌ＊ｕ＊ｖ＊色空間における画素値のうち、Ｌ＊値が４０以下の画素をプロットする、
    請求項９に記載のパスポート画像補正方法。
11. 前記所定距離は、前記ｕ＊ｖ＊平面上における３０である、
    請求項９に記載のパスポート画像補正方法。
12. 前記パスポート領域の一部の領域を含む部分領域に含まれる複数の部分画素を抽出して、前記複数の部分画素の色空間における画素値を前記Ｌ＊ｕ＊ｖ＊色空間における画素値に変換し、
    変換された前記Ｌ＊ｕ＊ｖ＊色空間における画素値のＬ＊値に基づくヒストグラムを作成し、
    前記ヒストグラムにおいて最小階調値および最大階調値を抽出し、
    抽出された前記最小階調値および前記最大階調値に基づいて、前記パスポート領域に含まれる前記Ｌ＊ｕ＊ｖ＊色空間における画素値のＬ＊値を正規化する、
    請求項９に記載のパスポート画像補正方法。
13. 前記部分領域は、前記パスポート領域の短辺および長辺の長さの少なくとも１／２を含む領域である、
    請求項１２に記載のパスポート画像補正方法。
14. 変換された前記Ｌ＊ｕ＊ｖ＊色空間における画素値が正規化された前記Ｌ＊値＞４５であるか否かを判定し、前記Ｌ＊値＞４５であると判定された前記Ｌ＊ｕ＊ｖ＊色空間における画素値を有する画素を、前記パスポートの背景画素と判定する、
    請求項１２に記載のパスポート画像補正方法。
15. 変換された前記Ｌ＊ｕ＊ｖ＊色空間における画素値がｕ＊値＜－２５またはｕ＊値＞５であるか否かを判定し、前記ｕ＊値＜－２５または前記ｕ＊値＞５であると判定された前記Ｌ＊ｕ＊ｖ＊色空間における画素値を有する画素を、前記パスポートの背景画素と判定する、
    請求項９に記載のパスポート画像補正方法。
16. パスポートを撮像するカメラに、
    撮像された撮像画像から前記パスポートを含むパスポート領域を抽出するステップと、
    前記パスポート領域に含まれる複数の画素のそれぞれを抽出して、前記複数の画素の色空間における画素値を、均等色空間であるＬ＊ｕ＊ｖ＊色空間における画素値に変換するステップと、
    変換された前記複数の画素のＬ＊ｕ＊ｖ＊色空間における画素値をｕ＊ｖ＊平面上にプロットするステップと、
    前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値のそれぞれに基づく近似直線を算出するステップと、
    前記ｕ＊ｖ＊平面上にプロットされた前記複数の画素値と前記近似直線との間の距離が所定距離内であるか否かを判定するステップと、
    前記所定距離内でないと判定された前記Ｌ＊ｕ＊ｖ＊色空間における画素値を有する画素を前記パスポートの背景画素と判定して、前記背景画素の画素を白色または前記白色に近しい色の画素値に変換して出力するステップと、を実現させるための、
    パスポート画像補正プログラム。

Images