JP5442408B2 - 画像補正方法 - Google Patents

Description

この発明は、ＣＣＤカメラなどの撮像装置によって撮像された画像の歪みを補正して、後の画像認識における精度を向上させる画像補正方法に関する。

従来、例えば駐車場等における車両のナンバープレート認識において、特許文献１に開示されている認識装置がある。このナンバープレート認識装置は、ナンバープレートが傾いている場合、ナンバープレートの傾き角度と、このナンバープレートを正規化する補正パラメータとを対応づけた正規化テーブルを設けたものである。ナンバープレートの傾きは、撮像画像であるナンバープレートに記載されている文字を切り出す縦横の切出線を設定したときに、設定した縦および横の切出線の交差角から検出している。そして、ここで検出したナンバープレートの傾きに応じた補正パラメータを用いて、撮像画像におけるナンバープレート部分の画像を正規化し、正規化した画像を処理して、ナンバープレート番号を認識するものである。

また、より認識精度を上げるために、特許文献２には、対象車両について、撮像領域における走行方向を検出する走行方向検出手段と、撮像画像入力手段に入力された撮像画像に撮像されている対象車両のナンバープレート部分の画像を切り出す切出手段と、前記走行方向検出手段が検出した前記撮像領域における対象車両の走行方向に応じて、前記切出手段が切り出した対象車両のナンバープレート部分の画像の傾きを補正する補正手段と、前記補正手段が補正したナンバープレート部分の画像を処理し、表記されているナンバープレート番号を認識する認識手段とを備えたナンバープレート番号認識装置が開示されている。さらに、前記走行方向検出手段は、対象車両が撮像されている複数枚の撮像画像を用いて、前記撮像領域における対象車両の位置の時間的変化に基づいて、前記撮像領域における対象車両の走行方向を検出する手段認識手段である。前記補正手段により、ナンバープレートの位置の時間的変化に基づいて対象車両の走行方向を検出するので、補正により略正面から撮像したようなナンバープレートの画像を一層確実に得ることができ、ナンバープレート番号の認識精度を一層向上させることができる。

特開２０００−４０１９８号公報 特開２００７−２９３４９２号公報

しかしながら、ナンバープレート認識装置の用途を、道路上で一定方向を向いた車に限定しないならば、カメラの撮像素子に映る車両の姿勢は様々であり、ナンバープレートは道路に設置したカメラと比較して大きく歪んで映る。また、車両姿勢による傾きは、車両ごとに変化するため、あらかじめ固定値を入力して補正を行うことは不可能であり、車両のナンバープレートの傾きを迅速に正確に検出することは難しいものであった。従って、特許文献１に記載されているように、文字を切り出す縦横の切出線を設定して、設定した縦横の切出線の交差角から、その画像の撮像素子に対する傾きを検出する方法では、傾きの検出精度が悪く、後の画像認識精度の向上に限界があった。

この発明は、上記背景技術の問題に鑑みて成されたもので、簡単な方法で正確に撮像画像の傾き角を検出し、画像の補正を可能にすることができる画像補正方法を提供することを目的とする。

この発明は、固定された撮像素子により、車両のナンバープレートである被写体を撮像し、前記撮像素子に対する前記被写体の傾きに起因する撮像画像の歪みを補正する画像補正方法において、前記撮像素子が設けられたカメラで撮影される画像中の重力方向を、前記撮像素子の一方の辺の方向と一致させ、水平方向軸の傾きを既知とし、前記被写体である前記ナンバープレートは平面で、その平面は垂直に対する前記カメラの撮像レンズの光方向に設けられ、前記被写体が取り付けられた車両の、前記被写体以外の撮像画像全体を用いて、前記車両の撮像画像のエッジ抽出を行い、抽出したエッジの中から水平に近い方向のエッジのみをフィルタによって選択し、前記選択により得られたエッジから直線成分を抽出し、所定の閾値以上の長さの前記直線成分について、前記撮像素子の固定された設置位置を基にした既知の基準線である前記撮像素子の辺であって水平面と平行な辺に対する前記閾値以上の直線成分の傾きを求め、前記直線成分の前記傾きのヒストグラムを作成し、そのヒストグラム値が最も高い傾きの値を、前記車両の画面上の傾きであって、前記ナンバープレートの画面上の傾き角θとして求め、この傾き角θと、前記撮像素子が設けられた前記カメラの光軸の水平方向に対する既知の角度ψのみを基にして、前記ナンバープレートの水平方向の線と前記撮像素子の前記基準線とのなす角度αを求めて、前記撮像画像の歪みを補正することにより、前記車両を正面から撮像した画像に変換し、補正された前記車両の撮像画像から、前記車両に設けられた前記ナンバープレートの補正撮像画像を得て、前記ナンバープレートの番号を認識する画像補正方法である。

この発明の画像補正方法によれば、補正するための情報をナンバープレート等の直接の被写体自体から拾っているものではなく、被写体が設けられた部分の周囲の撮像画像上の特徴的データを基に傾き角を求め、補正するので、ノイズに対して強く、被写体の規格等が変更されても容易に対応することができる。また、大きな歪みに対しても対応することができる。

この発明の一実施形態の画像補正方法の一実施形態の適用例を示す概略図である。 この実施形態の画像補正方法の撮像素子と被写体の関係を示す模式図である。 この実施形態により撮像した画像（ａ）と、エッジ抽出した画像（ｂ）である。 この実施形態により撮像した画像（ａ）と、補正後の画像（ｂ）である。 この実施形態により撮像した画像からナンバープレートを除去した画像（ａ）と、ナンバープレートを除去した補正後の画像（ｂ）である。

以下、この発明の実施形態について図面に基づいて説明する。図１〜図５は、この発明の一実施形態を示すもので、この実施形態の画像補正方法は、図１に示すように、車両１０のナンバープレート１２の番号を認識する際に撮像画像の歪みを補正するものである。この実施形態のシステムでは、車両１０のナンバープレート１２を読み取るＣＣＤ等の撮像素子１４を備えたカメラ１６を有し、ＬＡＮ回線やその他の通信手段を介して、カメラ１６の出力が接続されたパソコン等からなる画像認識装置２０が設けられている。さらに、画像認識装置２０は、その他のパソコン１８等にも接続されている。画像認識装置２０は、画像処理を行うＣＰＵ２２と、画像処理したデータ等を記録するメモリ２４を備えている。

この実施形態の画像補正方法は、ナンバープレート１２に記載された番号を認識するための前処理としての補正方法である。まず、被写体であるナンバープレート画像の取得について説明する。認識するための画像は、例えば監視用の動画の１フレーム、又は静止画像を用いる。静止画像を用いると、より高精度に又は安価に画像を取得することができる。

ここで、認識対象であるナンバープレート１２およびナンバープレート１２の撮影環境は、以下のi〜ivの特徴を有している。
i．カメラ撮影画像中の、重力方向が判明している。
ii．水平方向（水平面）に対するカメラ光軸の傾きが既知である。
iii．カメラから被写体までの距離は被写体大きさに対して十分長い（一般には１０倍以上）。
iv．被写体は平面で、その平面は地面に垂直である。
上記ｉとiiは、ナンバープレート認識用のカメラ１６が移動をしない、もしくは長時間（数時間、数日）固定される環境で利用されるため、この２つの条件をあらかじめ測定して設定することが可能である。上記iiiは、ナンバープレート１２の幅が３０ｃｍ程度であるため、車〜カメラ間が３ｍ以上あればこの条件を満たす。通常はカメラ１６の位置が、車両１０の位置に対して一定距離以上を離して設置されるため、上記iiiの条件が定まる。さらに、上記ivの条件は、一般的にそのように取り付けられている。従って、ナンバープレート１２は、上記i〜ivの条件となる特徴を備えると言える。

次に、上記i〜ivの条件を満たす場合において、画像傾きを補正するために必要なアフィン変換のためのパラメータの導出過程を、図２を基にして以下に示す。図２はナンバープレート１２を撮影したときに、カメラ撮像素子１４に画像が平行射影される様子を示したものである。アフィン射影はこの後、被写体である車両１０とカメラ１６の距離によって画像全体の拡大縮小処理を行う。この処理については、公知の処理技術を利用する。さらに、画像全体の拡大縮小に対応して、この後の番号認識処理において、画像の大きさによらないマッチングアルゴリズムを使用する。このマッチングアルゴリズムも公知のものを用いることができる。

先ず、条件iによって画像中の重力方向が、条件iiによってカメラ光軸の水平面に対する傾きψが各々判明しているため、図２に示すように、撮像素子１４を、ナンバープレート１２を含む実空間上に重ね合わせることが可能である。以下は、図２(b)中の、撮像素子１４に撮影されている縦方向が重力方向と一致している。すなわち、図２（ａ）（ｂ）の長方形である撮像素子１４の下辺１４ａが実空間の水平面Ｈと平行である、ということを前提とする。なお、もし長方形である撮像素子１４の下辺１４ａが実空間の水平面Ｈと平行でなかった場合は、撮像素子１４の平面上にあり、実空間の水平面と平行な基準線を設定し、これを撮像素子の下辺１４aとして扱えばよい。

ナンバープレート１２と撮像素子１４の位置関係は、図２（ｂ）に示すように、撮像画像１４上の基準線である下辺１４ａに対する、撮像画面上のナンバープレート画像１２ｃの下辺１２ａの傾き角をθとして表される。この発明はこの傾き角θを簡単且つ正確に求める方法を利用して、簡単且つ正確な画像補正を可能とした画像補正方法である。

さらに、撮像素子１４と、ナンバープレート１２の垂直方向のなす角度はψで表せる。これは条件iiのカメラ光軸のナンバープレート１２上の平面に対する垂直方向の傾きと同じ角度であり、したがって既知である。ナンバープレート１２とカメラ１６との水平方向傾きαは、撮像素子１４の下辺（基準線）１４ａとナンバープレート１２の下辺１２ａのなす角度と定義できる。この角度は、傾き角θを式（１）に適用することによって求めることができる。
以上より、α、ψ、θが求まれば、下記の式（２）を使い、撮像素子１４上に撮影されたナンバープレート像１２ｃを逆アフィン変換することにより、ナンバープレート１２を正面から撮影した画像に変換することが可能である。

ここで（ｘ、ｙ）は変換前の撮像素子１４上の点を表し、（ｘ’、ｙ’）は変換後の画像の点を表す。

次に、ナンバープレート画像１２ｃの撮像画面上の傾き角θの計測について説明する。上記条件ｉ〜ivは、設備設置の際の条件であるため、ナンバープレート番号認識には、ナンバープレート１２の画面上の傾き角θの値一つを求めることによって、撮像画像の補正を行うことができる。

ナンバープレート１２の撮像画面上の傾き角θの測定方法は、車両１０のエッジ分布状況を求め、これをナンバープレート１２の画像上の傾き角θと等しいとすることにより、これを求める。傾き角θを求める方法は、以下のａ〜ｄの手順により行う。
ａ．画像に平滑化フィルタをかけ、画像に含まれる高周波成分を落とす。
ｂ．水平に近い方向のエッジのみをフィルタ(実際にはSobelフィルタ)によって抽出する。
ｃ．得られたエッジを直線抽出する(実際にはHough変換を使用)。
ｄ．閾値以上の直線の傾きのヒストグラムを作成し、ヒストグラム値が最も高い傾きの値を車体の画面上の傾き＝ナンバープレートの画面上の傾き角θとする。

なお、上記ｄのヒストグラム作成の際、一定の幅(画像提示例では±４度)の領域で矩形波の畳み込み積分を行い、車体前部によく見られる、ゆるやかな曲線に対応させている。ここで、上記ｂまでのエッジ抽出結果および直線抽出結果を図４に示す。図３（ａ）、（ｂ）によれば、道路の模様等に左右されず、車体の方向にかかわりやすいデータのみ選択的にエッジ抽出されている様子がわかる。

また、図４に、補正前と補正後の画像を示す。変換前画像の線は、検出された傾き角θの線である。式（２）の変換は画像全体に対して行われるため、変換前画像と比較して、道路、背景、車体後部は歪むが、ナンバープレート１２を含む車体最前部のみは、平行四辺形に写っていた画像が長方形に補正されていることが分かる。また、単に長方形に補正されただけでなく、ナンバープレート１２のアスペクト比が正しくなるように自動的に横幅も補正されている。

この発明の実施形態による補正方法は、ナンバープレート１２等の局所状態の特徴を抽出するのではなく、撮像画像全体の大局的印象を持って決定されるため、ノイズに強い。また、当技術の頑健性を示すために、ナンバープレート周辺の情報をすべて隠ぺいした画像を用意し、これを補正した結果を図５（ａ）（ｂ）に示す。従来の補正方法では「ナンバープレートに関連する各種情報」を用いているのに対して、この発明では、一切ナンバープレートによる情報を必要とせずに、ナンバー領域の歪み補正が可能である。これは、カメラ方向に対してナンバープレートが強く傾斜している、等の理由で、「ナンバープレートに関連する各種情報」が取得できない場合でも、当技術は補正が可能であり、その結果、認識不可能画像を認識可能画像に補正できることを示している。

これと前述の逆アフィン変換手段を組み合わせることにより、ナンバープレートが実際にどこにあるかをシステムが意識することなく、ナンバープレート領域の画像を補正することを可能とする。

なお、この発明の画像補正方法は、上記実施形態に限定されるものではなく、補正後の画像の認識手段は、公知の適宜の画像認識方法を利用することができる。また、ナンバープレート画像１２ｃの撮像画面上の傾き角θの検出方法は、既述の直線分布ヒストグラムを見る方法に限定されるものではない。車体進行方向を見る方法や、ナンバープレートの文字やプレート下辺を検出する方法等の公知の方法を組み合わせて、傾き各θを求め、画像補整を行うことが可能である。

１０ 車両
１２ ナンバープレート
１４ 撮像素子
１６ カメラ
２０ 認識装置

Claims (1)

1. 固定された撮像素子により、車両のナンバープレートである被写体を撮像し、前記撮像素子に対する前記被写体の傾きに起因する撮像画像の歪みを補正する画像補正方法において、
   前記撮像素子が設けられたカメラで撮影される画像中の重力方向を、前記撮像素子の一方の辺の方向と一致させ、水平方向に対する前記カメラの撮像レンズの光軸の傾きを既知とし、前記被写体である前記ナンバープレートは平面で、その平面は垂直方向に設けられ、
   前記被写体が取り付けられた車両の、前記被写体以外の撮像画像全体を用いて、前記車両の撮像画像のエッジ抽出を行い、
   抽出したエッジの中から水平に近い方向のエッジのみをフィルタによって選択し、
   前記選択により得られたエッジから直線成分を抽出し、
   所定の閾値以上の長さの前記直線成分について、前記撮像素子の固定された設置位置を基にした既知の基準線である前記撮像素子の辺であって水平面と平行な辺に対する前記閾値以上の直線成分の傾きを求め、前記直線成分の前記傾きのヒストグラムを作成し、そのヒストグラム値が最も高い傾きの値を、前記車両の画面上の傾きであって、前記ナンバープレートの画面上の傾き角θとして求め、
   この傾き角θと、前記撮像素子が設けられた前記カメラの光軸の水平方向に対する既知の角度ψのみを基にして、前記ナンバープレートの水平方向の線と前記撮像素子の前記基準線とのなす角度αを求めて、前記撮像画像の歪みを補正することにより、前記車両を正面から撮像した画像に変換し、補正された前記車両の撮像画像から、前記車両に設けられた前記ナンバープレートの補正撮像画像を得て、前記ナンバープレートの番号を認識することを特徴とする画像補正方法。