JP4187458B2

JP4187458B2 - 画像処理におけるアフィン変換係数算出方法および画像処理装置

Info

Publication number: JP4187458B2
Application number: JP2002121117A
Authority: JP
Inventors: 賢一西澤
Original assignee: Ikegami Tsushinki Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd
Priority date: 2002-04-23
Filing date: 2002-04-23
Publication date: 2008-11-26
Anticipated expiration: 2022-04-23
Also published as: JP2003317033A

Description

【０００１】
【発明の属する技術分野】
本発明は、幾何学的歪みを含む画像、例えば２つの文字列からなる画像をアフィン変換により補正する画像処理におけるアフィン変換係数算出方法、およびその画像処理装置に関するものであ。
【０００２】
【従来の技術】
画像処理装置は、各種検査装置、組立ロボット或いは事務機器等広く利用されている。その画像処理装置の一例として、テレビカメラで撮影された画像から文字や番号を認識する画像処理がある。この種の画像処理装置には、例えば、駐車場等に監視カメラを設置して、撮影した車両のナンバープレートの画像を画像処理して車両番号を認識する装置、所謂車両番号認識装置がある。
【０００３】
【発明が解決しようとする課題】
車両番号認識装置等の画像処理装置では、駐車場等の定位置に監視カメラを固定して、駐車する車両を撮影して監視する。監視カメラで撮影された車両映像は、監視室内のモニターに表示され、またビデオテープ・レコーダ（ＶＴＲ）に記録される。撮影された車両のナンバープレートは、駐車位置や車種によりナンバープレートの取り付けられている位置等が異なるため、撮影するカメラ視野の中心に車両番号が撮影されるとは限らない。従って、車両番号がレンズの中心にくることもあれば、画像の端に撮影されることもあり、このような場合には歪みを伴った画像となる。
【０００４】
また、複数のカメラの設置箇所から得られる画像を一つの画像処理装置で処理する場合は、車種の相違により撮影位置が異なるのみならず、カメラの設置箇所の高さ、撮影角度と言った条件等によって、車両のナンバープレートの撮影位置が異なり、複雑に歪みが発生して、車両番号を認識できないことがある。
【０００５】
さらに、駐車場で監視に使用されるカメラは、撮影のための照明が施されていない場所での撮影であり、光学的に貧弱な条件で撮影されており、しかも安価なテレビカメラが使用される場合が多い。従って、このような監視カメラから得られる画像は幾何学的に歪んだ画像となり易く、ナンバープレートの車両番号を認識が困難になることが多い。
【０００６】
本発明は、上述した課題に鑑みなされたものであって、対象画像の幾何学的歪みを補正するためのアフィン変換係数算出方法およびその画像処理装置を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
本発明は、上記の目的を達成するためになされており、請求項１の発明は、撮影された少なくとも２つの文字列の画像を２値化処理して該文字列の各文字の外接長方形を抽出する手順と、
前記文字列に対応する基準図形の外接長方形間の中心点距離と、前記２値化処理した文字列の外接長方形の幾何学的位置関係とによって、アフィン変換行列の一部の係数を算出する手順と、
前記文字列の一方の文字画像の第１モーメント行列を求める手順と、
前記第１モーメント行列を求めた文字に対応する基準画像の第２モーメント行列を求める手順と、
前記アフィン変換行列の一部の係数と、前記第１と第２モーメント行列とによって、前記アフィン変換行列の残りの係数を求める手順とを有することを特徴とする画像処理におけるアフィン変換係数算出方法である。
【０００８】
請求項１の発明では、入力された対象画像をアフィン変換して歪みを補正する際に、対象画像のアフィン変換行列の各係数（ａ，ｂ，ｃ，ｄ，ｔｘ，ｔｙ）を算出するアフィン変換係数算出方法であって、撮影された少なくとも２つの文字列からなる画像を２値化処理して文字列の各文字の外接長方形を抽出し、この文字列に対応する基準図形の外接長方形間の中心点距離と、２値化処理した文字列の外接長方形の幾何学的位置関係とによって、アフィン変換行列の一部の係数（ａ，ｃ）を算出し、続いて、２値化処理して得られた文字列の一方の文字画像の第１モーメント行列を求め、かつこの文字画像に対応する基準画像の第２モーメント行列を求めて、第１モーメント行列、第２モーメント行列およびアフィン変換行列の一部の係数（ａ，ｃ）により、対象画像のアフィン変換行列の残りの係数（ｂ，ｄ）を求めるアフィン変換係数算出方法である。なお、アフィン変換行列の係数（ｔｘ，ｔｙ）は、基準図形の中心点を原点とするｘ，ｙ座標をすると、その基準図形の中心点のｘ，ｙ成分に相当する。
【０００９】
また、請求項２の発明は、請求項１に記載の画像処理におけるアフィン変換係数算出方法において、
前記アフィン変換行列の残りの係数は、前記第２モーメント行列をＭ、前記第１モーメント行列をＭ′、前記アフィン変換行列をＡおよびその転置行列をＡ^ｔとした場合、下記（１）式のノルムを最小とする係数によって求める手順によることを特徴とする画像処理におけるアフィン変換係数算出方法である。
【００１０】
【数２】

【００１１】
また、請求項３の発明は、請求項１又は２に記載の画像処理におけるアフィン変換係数算出方法において、
前記少なくとも２つの文字列がナンバープレートの車両番号であることを特徴とする画像処理におけるアフィン変換係数算出方法である。
【００１２】
請求項３の発明では、撮影対象が不特定の位置に存在する駐車場の車両のナンバープレートの車両番号を認識する際、対象画像が明確であるので、ナンバープレートの対象画像文字の歪み補正して認識する際の処理として、アフィン変換係数算出方法による画像処理が好ましい。
【００１３】
また、請求項４の発明は、少なくとも２つの文字列の画像を２値化して該文字列の一文字づつの外接長方形を算出する外接長方形抽出部と、
前記文字列に対応する基準図形の外接長方形間の中心点距離と、前記２値化処理した文字列の外接長方形の幾何学的位置関係とによって、アフィン変換行列の一部の係数を算出する第１アフィン変換行列係数算出部と、
前記文字列の一方の文字画像の第１モーメント行列を算出する第１モーメント行列算出部と、
前記第１モーメント行列を求めた文字に対応する基準画像の第２モーメント行列を算出する第２モーメント行列算出部と、
前記第１アフィン変換行列の一部の係数と、前記第１と第２モーメント行列とにより、前記アフィン変換行列の残りの係数を算出する第２アフィン変換行列係数算出部とを備えることを特徴とする画像処理装置である。
【００１４】
請求項４の発明では、少なくとも２つの文字列の画像を２値化処理部で２値化処理して、外接長方形抽出部でその画像の一文字づつの外接長方形を算出し、アフィン変換行列係数算出部で、文字列に対応する基準図形の外接長方形間の中心点距離と、２値化処理した文字列の外接長方形の幾何学的位置関係とによって、アフィン変換行列の一部の係数（ａ，ｃ）を算出する。第１モーメント行列算出部で、文字列の一方の文字画像の第１モーメント行列を算出する。続いて、第２モーメント行列算出部で、第１モーメント行列を求めた文字に対応する基準画像の第２モーメント行列を算出する。なお、基準画像の第２モーメント行列は、予め算出することができる。その場合、対象の基準画像のモーメント行列を記憶手段から読み出すようにしてもよい。第１と第２モーメント行列算出部は、同一の演算手段である。続いて、アフィン変換行列係数算出部によって、アフィン変換行列の一部の係数と、第１と第２モーメント行列とにより、アフィン変換行列の残りの係数（ｂ，ｄ）を算出する。
【００１５】
【発明の実施の形態】
以下、本発明に係る実施の形態について、図面を参照して説明する。なお、図１は、本発明に係る実施形態の画像処理装置を示すブロック図であり、図２は、本実施形態のアフィン変換係数算出方法の概要を示す流れ図である。本実施形態では、駐車場に駐車する車両のナンバープレートなどの車両番号から構成される複数の文字列を撮影した場合を想定して説明する。
【００１６】
本実施形態では、車両のナンバープレートの２つの文字として、「１」，「０」を撮影した場合を説明する。因みに、図３はテレビカメラで得られた入力画像、図４は基準画像図形であり、図５は入力画像のアフィン変換の説明図である。
【００１７】
図１は、本発明の画像処理装置の実施形態を示し、駐車場に駐車する車両のナンバープレートを撮影する監視カメラ（テレビカメラ）１、テレビカメラ１からの映像信号，ＶＴＲに録画された映像信号或いはメモリカードに記憶された映像信号をデジタル化するＡ／Ｄ変換器２、Ａ／Ｄ変換器２からのデジタル信号を記憶される対象画像を記憶する画像メモリ３、２値化処理した２値化画像を記憶する２値化画像メモリ３ａ、基準図形を記憶する画像メモリ４、デジタル信号を画像処理する画像処理部５、Ｄ／Ａ変換器６、表示部（モニター）７、キーボード等の入力装置８から構成されている。なお、画像メモリは、２値化画像メモリ３ａと画像メモリ３とを共用してもよい。また、画像処理装置は、概ねテレビカメラ１を除く部分が含まれる。
【００１８】
画像処理部５には、対象画像を２値化処理する２値化処理部５ａを含み、図形歪み補正部としては、外接長方形抽出部５ｂ、第１のアフィン変換行列係数算出部５ｃ、対象画像のモーメント行列算出部５ｄ、基準図形のモーメント行列算出部５ｅ、第２のアフィン変換行列係数算出部５ｆが含まれる。なお、モーメント行列算出部５ｄとモーメント行列算出部５ｅとは、対象は異なるが同一の演算手段により演算処理がなされるで、画像処理部５に１つの演算手段を備えればよい。
【００１９】
続いて、本実施形態の画像処理装置によるアフィン変換係数算出方法について、図２の流れ図を参照して説明する。一例として、車両のナンバープレートの文字（「１」，「０」）の歪み補正する場合について説明する。
【００２０】
先ず、ステップＳ１では、監視カメラ１より画像を取得し、画像メモリ３に記憶する。なお、監視カメラ１で撮影された画像をＶＴＲ１ａやカードメモリ１ｂ等に記憶して、必要な画像を画像メモリ３に記憶してもよい。画像メモリ３に記憶した画像の内の対象画像，文字列（「１」と「０」）は、図３に示すように歪んだ画像である。これらの番号認識における画像処理には、基準となる辞書パターンと比較して幾何学的補正をする必要がある。辞書パターン（基準図形）は画像メモリ４に記憶されている。
【００２１】
ステップＳ２では、取得した画像に対して２値化処理部５ａにより２値化を行って、図３に示す歪みのある図形を抽出して、２値化画像メモリ３ａに記憶し、ステップＳ３に進む。ステップＳ３では、２値化処理された処理対象の文字列（「１」と「０」）に対して、外接長方形抽出部５ｂで演算処理して、図３に示す外接長方形ｏｂｊ１，ｏｂｊ２を抽出する。
【００２２】
続いて、ステップＳ４に進み、第１のアフィン変換行列係数算出部５ｃにより、アフィン変換行列係数（ａ，ｃ）を算出する。アフィン変換行列係数は、下記１式（数３）に示すように、ａ，ｂ，ｃ，ｄ，ｔ_ｘ，ｔ_ｙの６つの係数があり、ステップＳ４では、アフィン変換行列係数（ａ，ｃ）を算出する。
【００２３】
アフィン変換行列係数（ａ，ｃ）の算出について、詳細に説明すると、まず、下記１式（数１）で示すように、図４の基準図形から図５の歪みを有する画像へのアフィン変換を定義する。この１式のアフィン変換行列は、２次元座標系でベクトル・マトリックス表現で表している。
【００２４】
【数３】

【００２５】
図５の外接長方形ｏｂｊ０およびｏｂｊ１の中心点ｃ０およびｃ１を定めて、ベクトルｃ０−ｃ１から下記２式（数４）を用いて、上記アフィン変換行列係数（ａ，ｃ）を求める。なお、中心点ｃ０のｘ成分およびｙ成分をｃ０ｘおよびｃ０ｙとし、中心点ｃ１のｘ成分およびｙ成分をｃ１ｘおよびｃ１ｙとする。また、本実施形態の場合は、車両のナンバープレートの文字の歪み補正であるので、ナンバープレートの文字間隔Ｄは一定であり、５．５ｃｍか、８．５ｃｍである。これらの値からアフィン変換行列係数（ａ，ｃ）は、文字列が水平配列のため下記２式（数４）から算出することができる。
【００２６】
【数４】

【００２７】
次に、ステップＳ４に続いて、ステップＳ５に進み、モーメント行列算出部５ｃによって、対象画像のモーメント行列Ｍ′を求める。ステップＳ５では、文字列の「１」と「０」のうち、「０」の文字画像のモーメント行列を求める。ある領域Ｒにおける重心を原点としたξ−η座標系における画像ｆ_Ｒ（ξ，η）のモーメントｍ_ｐｑとモーメント行列Ｍ_０を３式（数５）と４式（数６）で定義する。３式および４式に則り、文字「０」のモーメント行列、すなわち、図５の図形ｏｂｊ０のモーメント行列Ｍ′を算出する。
【００２８】
【数５】

【００２９】
【数６】

【００３０】
ステップＳ６では、文字「０」の基準となる画像のモーメント行列Ｍを求める。算出方法については、ステップＳ５と同様にして、３式（数５）および４式（数６）を用いて求める。文字０の基準図形のモーメント行列Ｍを算出する。なお、モーメント行列Ｍは、基準パターンであるので、予め算出してもよい。
【００３１】
ステップＳ７では、第２のアフィン変換行列係数算出部５ｆに基づいて、アフィン変換行列係数（ｂ，ｄ）を求める。第２のアフィン変換行列係数算出部５ｆでは、ステップＳ５で算出したモーメント行列Ｍ′と、ステップＳ６で算出したモーメント行列Ｍと、ステップＳ４で求めた係数ａ，ｃとにより、下記５式（数７）のノルム（norm）から演算処理して算出する。なお、アフィン変換行列Ａについての既知の係数ａおよびｃと、未知の係数ｂおよびｄとによって、転置行列Ａ^ｔを求める。
【００３２】
【数７】

【００３３】
アフィン変換の残りの係数（ｂ，ｄ）は、反復法を用いて、５式のノルムが最小の値になるように求める。なお、反復法について説明すると、第１に係数にある値を代入してノルムを算出し、第２に第１よりはノルムが小さくなるような別の係数を代入していく。この動作を繰り返して、ノルムの最小値を検出したとき、演算処理を終了して、その時の係数値を最終値とする。このようにして、アフィン変換行列係数ａ，ｂ，ｃおよびｄを算出することができる。
【００３４】
なお、アフィン変換行列係数ｔｘおよびｔｙについては、図４のようにｏｂｊ０に対応する基準図形の中心点を原点とした時、ｃ０のｘ，ｙ成分に一致する。
【００３５】
本実施形態では、上記のような方法でアフィン変換行列係数（ａ，ｂ，ｃ，ｄ，ｔ_ｘ，ｔ_ｙ）を求めることができ、この算出した係数を用いて文字画像を逆変換することで、歪みを補正した画像を得ることができる。この画像からナンバープレートの文字「１」，「０」を認識することができる。このような画像処理を行うことによって、ナンバープレートの全ての文字を認識することができる。
【００３６】
なお、本実施形態では、処理対象文字が既知としている場合を説明した。しかし、実際の画像認識では、撮影された対象画像が未知である場合が多く、このような場合には、全ての数字の基準画像に対して係数の算出を行い、ファイン変換行列係数算出後、逆変換を行って基準画像との誤差を算出し、誤差の小さいものを変換係数とする。また、対象画像と基準画像の大きさが異なる場合についても同様に、基準ベクトルと対象画像との特徴ベクトルとのノルムが最小値となるように演算処理して求めることができる。
【００３７】
なお、本発明では、ナンバープレートの文字の認識について説明したが、この実施形態に限定することなく、種々の用途、例えば図形処理等に応用できることは明らかである。
【００３８】
【発明の効果】
上述のように、本発明によれば、処理対象画像のモーメントと、アフィン変換行列との演算結果の差のノルムの最小値よりアフィン変換行列係数を求めているので、基準図形との誤差を最小にすることができる。そのため、幾何学補正の誤差を最小にすることができるので、後の文字認識等の画像処理の精度を高めることができる効果を有する。
【００３９】
また、モーメントを使用することにより、低解像度画像にも使用できる。従って、認識処理を含む監視システムなどに好適な画像処理におけるアフィン変換係数算出方法およびその画像処理装置を提供できる利点がある。
【図面の簡単な説明】
【図１】本発明に係る実施形態の画像処理装置の概要を示すブロック図である。
【図２】本実施形態のアフィン変換係数算出方法の概要を示す流れ図である。
【図３】本実施形態のテレビカメラで得られた入力画像を示し図である。
【図４】基準画像図形を示す図である。
【図５】入力画像に対するアフィン変換の説明図である。
【符号の説明】
１テレビカメラ
２Ａ／Ｄ変換部
３対象画像を記憶する画像メモリ
３ａ２値化画像メモ
４基準図形画像メモ
５画像処理部
５ａ２値化処理部
５ｂ外接長方形抽出部
５ｃ第１アフィン変換行列係数算出部
５ｄ対象画像モーメント行列算出部
５ｅ基準画像モーメント行列算出部
５ｆ第２アフィン変換行列係数算出部
６Ｄ／Ａ変換部
７表示部
８入力装置

Claims

撮影された少なくとも２つの文字列の画像を２値化処理して該文字列の各文字の外接長方形を抽出する手順と、
前記文字列に対応する基準図形の外接長方形間の中心点距離と、前記２値化処理した文字列の外接長方形の幾何学的位置関係とによって、アフィン変換行列の一部の係数を算出する手順と、
前記文字列の一方の文字画像の第１モーメント行列を求める手順と、
前記第１モーメント行列を求めた文字に対応する基準画像の第２モーメント行列を求める手順と、
前記アフィン変換行列の一部の係数と、前記第１と第２モーメント行列とによって、前記アフィン変換行列の残りの係数を求める手順とを有することを特徴とする画像処理におけるアフィン変換係数算出方法。
請求項１に記載の画像処理におけるアフィン変換係数算出方法において、
前記アフィン変換行列の残りの係数は、前記第２モーメント行列をＭ、前記第１モーメント行列をＭ′、前記アフィン変換行列をＡおよびその転置行列をＡ^ｔとした場合、下記（１）式のノルムを最小とする係数によって求める手順によることを特徴とする画像処理におけるアフィン変換係数算出方法。
請求項１又は２に記載の画像処理におけるアフィン変換係数算出方法において、
前記少なくとも２つの文字列がナンバープレートの車両番号であることを特徴とする画像処理におけるアフィン変換係数算出方法。
少なくとも２つの文字列の画像を２値化して該文字列の一文字づつの外接長方形を算出する外接長方形抽出部と、
前記文字列に対応する基準図形の外接長方形間の中心点距離と、前記２値化処理した文字列の外接長方形の幾何学的位置関係とによって、アフィン変換行列の一部の係数を算出する第１アフィン変換行列係数算出部と、
前記文字列の一方の文字画像の第１モーメント行列を算出する第１モーメント行列算出部と、
前記第１モーメント行列を求めた文字に対応する基準画像の第２モーメント行列を算出する第２モーメント行列算出部と、
前記第１アフィン変換行列の一部の係数と、前記第１と第２モーメント行列とにより、前記アフィン変換行列の残りの係数を算出する第２アフィン変換行列係数算出部とを備えることを特徴とする画像処理装置。