WO2018061997A1

WO2018061997A1 - 媒体認識装置および媒体認識方法

Info

Publication number: WO2018061997A1
Application number: PCT/JP2017/034184
Authority: WO
Inventors: 中村　宏
Original assignee: 日本電産サンキョー株式会社
Priority date: 2016-09-29
Filing date: 2017-09-22
Publication date: 2018-04-05
Also published as: US20190279392A1; EP3522115A1; JP2018055496A; EP3522115A4

Abstract

媒体認識装置１０のデータ処理部６０は、処理対象画像の水平軸および垂直軸のそれぞれに対して輝度投影による画素値の射影を生成する射影生成部６３０、水平軸への射影および垂直軸への射影のそれぞれについて、その射影波形の台形パターンの両端点を決定する端点検出部６４０、水平軸に関する射影波形の台形パターンの両端点の間隔Ｗおよび、垂直軸に関する台形パターンの両端点の間隔Ｈを求め、そのデータと、カード１００の幅と高さを用いて所定の評価値を取得する評価値取得部６５０、および評価値取得部６５０による評価値に基づいてカード１００の回転角度を決定する回転角度決定部６６０と、を有する。

Description

媒体認識装置および媒体認識方法

　本発明は、矩形状した媒体上の情報を認識する媒体認識装置および媒体認識方法である。

　デジタル画像を用いて、処理対象となる矩形状した媒体上の直線あるいは直線で構成される特定の幾何学図形を検出し、認識する手法として、ハフ（Hough）変換がよく知られており、さまざまな産業分野で広く用いられている。

　この方法は、一般には、認識対象図形を含む画像にノイズ除去やエッジ強調等の前処理を施したのち、抽出された画像パターンに対してハフ変換を施して累積点に変換し、その後、最大の累積度数をもつ累積点に関して逆ハフ変換を行い、画像空間上の直線を求める、という手順をとる（たとえば、特許文献１，２参照）。

　特許文献１に記載の技術では、半導体デバイスの製造工程におけるワークの位置決めについて、位置座標をハフ変換を用いて検出し、位置補正に用いるものであるが、最大累積点を求めて、不要パターン除去を行った後、逆ハフ変換して基準となる直線を求め、ワークの角度補正を得るようにしている。

　特許文献２に記載の技術では、多角形形状の形状特徴量を算出する場合に、物体の周囲の一部を構成する線分を推定するためにハフ変換を適用している。極座標に変換される点の個数を数え上げ、頻度が多い極座標を選択する。選択された極座標毎に逆ハフ変換で直線の式を算出するとともに回転角の検出を行っている。

特開平１１－９７５１２号公報特開２０１０－７９６４３号公報

　しかしながら、特許文献１および特許文献２に示す技術では、ハフ空間上の最大累積点を求めている。このように、ハフ空間上の最大累積点を求めることは、二次元空間上の極大点を求めることであり、不要パターンに起因するノイズを除去する必要があるなど、一般には容易ではなく、かつ演算負荷が大きい。そのため高速処理を行おうとすると、高性能なプロセッサを用いる必要があり、コスト上昇につながるという問題がある。

　そこで、上記問題点を鑑みて、本発明の課題は、演算負荷を軽減することが可能な媒体認識装置および媒体認識方法を提供することにある。

　上記した課題を解決するため、本発明の画像処理装置は、デジタル画像を用いて、矩形状した媒体の画像上の回転角度を検出し、検出した回転角度を参照して矩形状した媒体上の情報を認識する媒体認識装置であって、処理対象画像の水平軸および垂直軸のそれぞれに対して輝度投影による画素値の射影を生成する射影生成部と、前記水平軸への射影および前記垂直軸への射影のそれぞれについて、その射影波形の射影パターンの両端点を決定する端点検出部と、前記水平軸に関する射影波形の射影パターンの両端点の間隔および前記垂直軸に関する射影波形の射影パターンの両端点の間隔を求め、その間隔データと前記矩形状した媒体の幅と高さに関連付けて所定の評価値を取得する評価値取得部と、前記評価値取得部による評価値に基づいて媒体の回転角度を決定する回転角度決定部とを有することを特徴とする。

　本発明では、水平軸および垂直軸への射影のそれぞれについて、その射影波形の射影パターンの両端点を決定する端点検出部と、水平軸および垂直軸に関する射影波形の射影パターンの両端点の間隔を求め、その間隔データと矩形状した媒体の幅と高さに関連付けて所定の評価値を取得する評価値取得部と、前記評価値取得部による評価値に基づいて矩形状した媒体の回転角度を決定する回転角度決定部とを有し、射影波形パターンの間隔データと矩形状した媒体の幅と高さに関連付けされた評価値に基づいて矩形状した媒体の回転角度を決定しているので、従来のようなハフ変換を用いることなく、演算負荷を低減することが可能になる。すなわち、従来のように、ハフ変換行列から極大点を解析的に抽出する必要もない。

　本発明において、前記回転角度決定部は、前記評価値取得部による評価値に基づいて、あらかじめ設定しておいた参照テーブルから評価値に対応する角度を検索し、その結果をもって矩形状した媒体の回転角度とすることが好ましい。

　このように構成すると、あらかじめ設定しておいた参照テーブルから評価値に対応する角度を検索し、矩形状した媒体の回転角度を決定しているので、さらに演算負荷を軽減することが可能となる。

　本発明において、前記評価値取得部は、前記矩形状した媒体の幅と前記水平軸に関する射影波形の射影パターンの両端点の間隔に基づく第１値と前記矩形状した媒体の高さと前記垂直軸に関する射影波形の射影パターンの両端点の間隔に基づく第２値との差に応じた評価値を求めることが好ましい。

　このように構成すると、高い精度で評価値を取得することができる。

　本発明において、前記評価値取得部は、前記矩形状した媒体の幅と前記水平軸に関する射影波形の射影パターンの両端点の間隔に基づく第１値と前記矩形状した媒体の高さと前記垂直軸に関する射影波形の射影パターンの両端点の間隔に基づく第２値との差に応じた第１評価値と、前記認識対象媒体の高さと前記水平軸に関する射影波形の射影パターンの両端点の間隔に基づく第３値と前記認識対象媒体の幅と前記垂直軸に関する射影波形の射影パターンの両端点の間隔に基づく第４値との差に応じた第２評価値との割合に応じて回転角度を求め、前記回転角度決定部は、前記評価値取得部による評価値としての回転角度を媒体の回転角度として決定することが好ましい。

　このように構成すると、演算負荷が若干大きくなるものの、実際の回転角度を高い精度で取得することが可能となる。

　また、本発明の画像処理方法は、デジタル画像を用いて、矩形状した媒体の画像上の回転角度を検出する画像処理方法であって、処理対象画像の水平軸および垂直軸のそれぞれに対して輝度投影による画素値の射影を生成する射影生成ステップと、前記水平軸への射影および前記垂直軸への射影のそれぞれについて、その射影波形の射影パターンの両端点を決定する端点検出ステップと、前記水平軸に関する射影波形の射影パターンの両端点の間隔および前記垂直軸に関する射影波形の射影パターンの両端点の間隔を求め、その間隔データと認識対象媒体の幅と高さに関連付けて所定の評価値を取得する評価値取得ステップと、前記評価値取得ステップによる評価値に基づいて媒体の回転角度を決定する回転角度決定ステップとを有することを特徴とする。

　本発明では、水平軸および垂直軸への射影のそれぞれについて、その射影波形の射影パターンの両端点を決定する端点検出ステップと、水平軸および垂直軸に関する射影波形の射影パターンの両端点の間隔を求め、その間隔データと矩形状した媒体の幅と高さに関連付けて所定の評価値を取得する評価値取得ステップと、前記評価値取得部による評価値に基づいて矩形状した媒体の回転角度を決定する回転角度決定ステップとを有し、射影波形パターンの間隔データと矩形状した媒体の幅と高さに関連付けされた評価値に基づいて矩形状した媒体の回転角度を決定しているので、従来のようなハフ変換を用いることなく、演算負荷を低減することが可能になる。すなわち、従来のように、ハフ変換行列から極大点を解析的に抽出する必要もない。

　本発明において、前記回転角度決定ステップは、前記評価値取得ステップによる評価値に基づいて、あらかじめ設定しておいた参照テーブルから評価値に対応する角度を検索し、その結果をもって矩形状した媒体の回転角度とすることが好ましい。

　本発明において、前記評価値取得ステップは、前記矩形状した媒体の幅と前記水平軸に関する射影波形の射影パターンの両端点の間隔に基づく第１値と前記矩形状した媒体の高さと前記垂直軸に関する射影波形の射影パターンの両端点の間隔に基づく第２値との差に応じた評価値を求めることが好ましい。

　本発明において、前記評価値取得ステップは、前記矩形状した媒体の幅と前記水平軸に関する射影波形の射影パターンの両端点の間隔に基づく第１値と前記矩形状した媒体の高さと前記垂直軸に関する射影波形の射影パターンの両端点の間隔に基づく第２値との差に応じた第１評価値と、前記矩形状した媒体の高さと前記水平軸に関する射影波形の射影パターンの両端点の間隔に基づく第３値と前記矩形状した媒体の幅と前記垂直軸に関する射影波形の射影パターンの両端点の間隔に基づく第４値との差に応じた第２評価値との割合に応じて回転角度を求め、前記回転角度決定ステップは、前記評価値取得ステップによる評価値としての回転角度を矩形状した媒体の回転角度として決定することが好ましい。

　本発明によれば、媒体認識装置および媒体認識方法は、射影波形パターンの間隔データと矩形状した媒体の幅と高さに関連付けされた評価値に基づいて矩形状した媒体の回転角度を決定しているので、従来のようなハフ変換を用いることなく、演算負荷を低減することが可能になる。

本発明の第１の実施形態に係る媒体認識装置の主要部の構成例を示す図である。矩形状した媒体の一例であるカード媒体の外観を模式的に示す図である。本第１の実施形態に係る媒体認識装置におけるデータ処理部の構成例を示すブロック図である。カードを撮像した画像の一例を示す図である。図４の画像にエッジ強調処理、二値化処理を行った後の画像の一例を示す図である。本第１の実施形態に係る射影生成部による射影プロファイルを示す図である。図４の画像にエッジ強調処理、二値化処理を行った後の画像に対して評価値取得に適用される各射影パターンの間隔、カードの幅と高さの幾何学的関係を示す図である。本第１の実施形態に係るデータ処理部の処理を回転角度検出処理の具体例を中心に説明するためのフローチャートである。本第１の実施形態に係る媒体認識装置の全体的な動作を説明するためのフローチャートである。本第２の実施形態に係る媒体認識装置におけるデータ処理部の構成例を示すブロック図である。本第３の実施形態に係る射影生成部による射影プロファイルを示す図である。

　以下、本発明の実施形態を図面に関連付けて説明する。

（第１の実施形態）
　図１は、本発明の第１の実施形態に係る媒体認識装置の主要部の構成例を示す図である。図２は、矩形状した媒体の一例であるカードの外観を模式的に示す図である。

　本実施形態に係る媒体認識装置１０は、デジタル画像を用いて、矩形状した媒体１００の画像上の回転角度を検出し、検出した回転角度を参照して矩形状した媒体１００上に記録されている文字あるいはバーコード等の情報１１０を認識する。

　矩形状した媒体１００は、ＪＩＳに準拠している一般的なカード（以下、「カード」という。）である。このカード１００は、矩形（長辺と短辺とを有する長方形）しており、たとえば、幅（a）１２６ｍｍ，高さ(b)８０ｍｍ，厚み０．７６ｍｍというサイズのプラスチックカードである。なお、矩形状した媒体は、上述したカードに限定されるものではなく、たとえば、幅８６ｍｍ，高さ５４ｍｍ，厚み０．７６ｍｍというサイズのプラスチックカードでもよい。また、カードに限定されるものではなく、ＩＤカードやパスポートブック、あるいは運転免許証などでもよい。なお、本実施形態では、図２において、カード１００の幅方向をＸ軸方向としている。このＸ軸方向に直交する方向をＹ軸方向とする。また、本実施形態では、説明を簡単にするために、図２に示すように、情報（たとえばＯＣＲ文字）記録領域１２０に形成されている文字列等の情報１１０の方向、すなわち、文字が並んでいる方向をＸ軸方向としている。そして、Ｘ軸方向に直交する方向をＹ軸方向としている。具体的には、文字が並んでいる方向と直交する方向はＹ軸方向である。

　図１に示すように、媒体認識装置１０は、カード１００が載置されるテーブル２０、画像データ入力部としての画像読取部３０、アナログデジタルコンバータ（Ａ／Ｄコンバータ）４０、画像メモリ５０、およびデータ処理部６０を有している。

　画像読取部３０は、光を検出して電荷を発生させる光電変換素子を用いた固体撮像装置（イメージセンサ）としてのＣＣＤ（Charge Coupled Device）イメージセンサ、イメージセンサの画素領域に入射光を導く（被写体像を結像する）光学系（レンズ等）を有し、テーブル２０上に載置され、照明光源３１で照明されるカード１００の全体を含む所定の領域を撮像する。なお、固体撮像装置（イメージセンサ）として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いてもよい。

　Ａ／Ｄコンバータ４０は、画像読取部３０によって撮像されたカード１００を含む画像をデジタル画像データに変換し、画像メモリ５０に格納する。なお、Ａ／Ｄコンバータ４０は、画像読取部３０にその機能を含ませることも可能である。

　画像メモリ５０は、画像読取部３０で撮像されたＯＣＲ文字列等の情報１１０を含むカード１００のデジタル化された画像データを記憶（格納）する。画像メモリ５０に格納される原画像は、複数の画素がマトリクス状に配列されて形成され、具体的には、図示していないが、Ｘ軸方向にＭ行、Ｙ軸方向にＮ列の画素が配置されている。各画素はそれぞれ画素値（輝度値）を有する。本実施形態では、各画素値は、たとえば８ビットで表現すると０～２５５の間のいずれかの値をとり、画素値は黒に近いほど小さく、白に近いほど大きな値をとる。なお、この画像メモリ５０は、ＲＡＭ，ＳＤＲＡＭ，ＤＤＲＳＤＲＡＭ，ＲＤＲＡＭなど、画像データを記憶しうるものであれば如何なるものであってもよい。

　データ処理部６０は、デジタル画像を用いて、カード１００の画像上の回転角度を検出し、検出した回転角度を参照してカード１００上に記録されている文字あるいはバーコード等の情報１１０を認識する機能を有する。データ処理部６０は、画像処理装置１０の全体的な制御を司るＣＰＵ等の一部として構成される。

［データ処理部６０の各部の構成および機能］
　次に、データ処理部６０の各部の基本的な構成および機能について説明する。
　データ処理部６０は、画像メモリ５０から多値化された画像データ（多階調の濃淡画像、たとえば、２５６階調）を読み出す。

　図３は、本第１の実施形態に係る媒体認識装置１０におけるデータ処理部６０の構成例を示すブロック図である。図４は、カードを撮像した画像の一例を示す図である。図５は、図４の画像にエッジ強調処理、二値化処理を行った後の画像の一例を示す図である。

　データ処理部６０は、エッジ強調部６１０、二値化処理部６２０、射影生成部６３０、端点検出部６４０、評価値取得部６５０、回転角度決定部６６０、情報認識部６７０、および角度参照テーブルＲＴＢＬを有する。

　ここでは、図４に示すような、画像空間上に描かれた長方形を例にあげて、回転角度の検出処理およびカード１００上の情報の認識処理について説明する。図４の長方形はカード１００を撮像した画像ＩＭＧを例示しているが、画像ＩＭＧは撮像条件によってノイズやひずみが存在することがあり、前処理段階でノイズ除去処理が行われることが多い。そのうえでエッジ強調処理が行われ、さらに二値化処理が行われ、図５の画像ＩＭＧが得られる。この例では直線が黒に背景が白として二値化されている。直線が白、背景が黒という設定もされることもある。

　以上を踏まえて、エッジ強調部６１０は、画像メモリ５０から読み出された２５６階調の濃淡画像データに対するエッジ強調処理を施し、その画像を二値化処理部６２０に出力する。

　二値化処理部６２０は、画像メモリ５０から読み出され、エッジ強調処理が施された２５６階調の濃淡画像データに対する二値化処理を施し、その画像情報をたとえば端点検出部６４０に供給する。二値化処理部６２０は、適当な方法によってしきい値を求め、元の多値の濃淡画像を白黒２値の画像に変換する。

　射影生成部６３０は、図６に例示するような、画像ＩＭＧの水平軸（Ｘ軸）および垂直軸（Ｙ軸）のそれぞれに対して輝度投影による画素値の第１射影ｐｒｊＸおよび第２射影ｐｒｊＹを生成する。

　ここで、第１射影ｐｒｊＸとは、Ｘ軸に垂直方向にラインごとの輝度値の平均をとったものである。第２射影ｐｒｊＹとは、Ｙ軸に垂直方向にラインごとの輝度値の平均をとったものである。

　図６は、本第１の実施形態に係る射影生成部による射影プロファイルを示す図である。図６（Ａ）が処理対象画像を示し、図６（Ｂ）はＸ軸への第１射影ｐｒｊＸのプロファイルを示し、図６（Ｃ）はＹ軸への第２射影ｐｒｊＹのプロファイルを示している。なお、射影プロファイルは、射影波形の射影パターンに相当する。

　本形態において、第１射影ｐｒｊＸには出力が増加し始める点Ｘｉとして左右に２個の端点Ｘ１（＝３０）、Ｘ２（＝１８４）が存在し、第１射影ｐｒｊＸは台形状（台形パターン）に形成されている。第２射影ｐｒｊＹには出力が増加し始める点Ｙｉとして上下に２個の端点Ｙ１（＝２０）、Ｙ２（＝１４３）が存在し、第２射影ｐｒｊＹは台形状（台形パターン）に形成されている。

　端点検出部６４０は、Ｘ軸（水平軸）への第１射影ｐｒｊＸおよびＹ軸（垂直軸）への第２射影ｐｒｊＹのそれぞれについて、その射影波形の射影パターン（射影プロファイル）の両端点を決定する。本形態では、端点検出部６４０は、第１射影ｐｒｊＸについては２個の端点Ｘ１（＝３０）、Ｘ２（＝１８４）を決定し、第２射影ｐｒｊＹについては２個の端点Ｙ１（＝２０）、Ｙ２（＝１４３）を決定する。

　評価値取得部６５０は、Ｘ軸（水平軸）に関する第１射影ｐｒｊＸの射影波形の射影パターンの両端点Ｘ１，Ｘ２の間隔Ｗ（＝Ｘ２－Ｘ１）およびＹ軸（垂直軸に関する第２射影ｐｒｊＹの射影波形の射影パターンの両端点Ｙ１、Ｙ２の間隔Ｈ（＝Ｙ２－Ｙ１）を求め、その間隔データＷ，Ｈと認識対象媒体１００の幅ａと高さｂに関連付けて所定の評価値を取得する。

　図７は、図４の画像にエッジ強調処理、二値化処理を行った後の画像に対して評価値取得に適用される各射影パターンの間隔Ｗ，Ｈ、カード１００の幅ａと高さｂの幾何学的関係を示す図である。この図７の各射影パターンの間隔Ｗ，Ｈ、カード１００の幅ａと高さｂの幾何学的関係は、たとえば端点検出部６４０、評価値取得部６５０等において参照される。

　評価値取得部６５０は、カード１００の幅ａとＸ軸（水平軸）に関する第１射影ｐｒｊＸの射影波形の射影パターンの両端点Ｘ１，Ｘ２の間隔Ｗに基づく第１値（ａ・Ｗ）とカード１００の高さｂとＹ軸（垂直軸）に関する第２射影ｐｒｊＹの射影波形の射影パターンの両端点Ｙ１，Ｙ２の間隔Ｈに基づく第２値（ｂ・Ｈ）との差（ａ・Ｗ－ｂ・Ｈ）に応じた評価値を求める。評価値取得部６５０は、取得した評価値を回転角度決定部６６０に供給する。

　回転角度決定部６６０は、評価値取得部６５０による評価値に基づいてカード１００の回転角度ν（θ）を決定する。回転角度決定部６６０は、評価値取得部６５０による評価値に基づいて、あらかじめ設定しておいた角度参照テーブルＲＴＢＬから評価値に対応する角度を検索し、その結果をもってカード１００の回転角度として決定する。

　情報認識部６７０は、回転角度決定部６６０で決定された回転角度ν（θ）を参照してカード１００上の情報１１０の認識処理を行う。たとえば、情報認識部６７０は、図４または図５の画像データからカード１００における情報記録領域１２０の画像上の傾きを、検出された回転角度ν（θ）に応じて修正（補正）し、修正後の画像における情報記録領域１２０の情報、たとえば文字認識処理を行う。

　文字認識処理においては、撮像された画像内の文字列の文字間の区切り位置を検索して文字を認識する。

　情報認識部６７０においては、たとえば、二値化しきい値に基づき文字区切り位置が求められる。文字切り出し処理が終了すると、認識対象となっている文字の外接矩形領域（上下左右の座標値）が求められる。そして、特徴抽出処理として、上述した外接矩形領域を任意のサブ領域に分割、たとえば１個の外接矩形領域を５×５の領域に分割し、そのうち１個の領域をサブ領域とし、各サブ領域において、サブ領域内の全画素数に占める黒画素数の割合が求められ、それらを要素とする特徴ベクトルが生成される。次いで、求められた特徴ベクトルと、あらかじめこの記録媒体で使用される全文字について求めておいた基準特徴ベクトルとが比較されて、類似度（たとえば正規化相関係数）が最も高いものをその文字が該当する候補文字に設定される。なお、基準特徴ベクトルは、あらかじめ格納されているものであって、特徴比較が行われる際に、格納部から類似度が高い文字のデータが読み出され、特徴比較が行われる。そして、基本的に、特徴比較によって設定された候補文字が、記録媒体に用いられた文字として認識される。

　ここで、本第１の実施形態に係るデータ処理部６０の処理を回転角度検出処理の具体例を中心に、図４～図８に関連付けて説明する。図８は、本第１の実施形態に係るデータ処理部６０の処理を回転角度検出処理の具体例を中心に説明するためのフローチャートである。

　データ処理部６０は、エッジ強調部６１０で、画像メモリ５０から読み出された２５６階調の濃淡画像データに対してエッジ強調処理が施され（ステップＳＴ１）、二値化処理部６２０で、画像メモリ５０から読み出され、エッジ強調処理が施された２５６階調の濃淡画像データに対して二値化処理され（ステップＳＴ２）、その画像情報は端点検出部６４０に供給される。

　次に、射影生成部６３０において、図６に例示するような、処理対象画像ＩＭＧのＸ軸（水平軸）およびＹ軸（垂直軸）のそれぞれに対して輝度投影による画素値の第１射影ｐｒｊＸおよび第２射影ｐｒｊＹが生成される（ステップＳＴ３）。前述したように、第１射影ｐｒｊＸとは、Ｘ軸に垂直方向にラインごとの輝度値の平均をとったものである。第２射影ｐｒｊＹとは、Ｙ軸に垂直方向にラインごとの輝度値の平均をとったものである。

　端点検出部６４０において、Ｘ軸（水平軸）への第１射影ｐｒｊＸおよびＹ軸（垂直軸）への第２射影ｐｒｊＹのそれぞれについて、その射影波形の射影パターン（射影プロファイル）の両端点が検出される（ステップＳＴ４）。第１射影ｐｒｊＸにおいて、出力値が増加し始める点Ｘｉが求められる。図６（Ｂ）に示すように、点Ｘｉは左右に２個存在し、それを左から順にＸ１，Ｘ２とすると、この例ではＸ１＝３０，Ｘ２＝１８４となる。同様に、第２ｐｒｊＹにおいて、出力値が増加し始める点Ｙｊが求められる。点Ｙｉは上下に２個存在し、それを上からＹ１，Ｙ２とすると、この例ではＹ１＝２０，Ｙ２＝１４３となる。本形態では、端点検出部６４０では、第１射影ｐｒｊＸについては２個の端点Ｘ１（＝３０）、Ｘ２（＝１８４）が決定され、第２射影ｐｒｊＹについては２個の端点Ｙ１（＝２０）、Ｙ２（＝１４３）が決定される。

　評価値取得部６５０において、Ｘ軸（水平軸）に関する第１射影ｐｒｊＸの射影波形の射影パターンの両端点Ｘ１，Ｘ２の間隔Ｗ（＝Ｘ２－Ｘ１）およびＹ軸（垂直軸に関する第２射影ｐｒｊＹの射影波形の射影パターンの両端点Ｙ１、Ｙ２の間隔Ｈ（＝Ｙ２－Ｙ１）が求められ、その間隔データＷ，Ｈとカード１００の幅ａと高さｂに関連付けて所定の評価値が取得される（ステップＳＴ５）。

　評価値取得部６５０では、カード１００の幅ａとＸ軸（水平軸）に関する第１射影ｐｒｊＸの射影波形の射影パターンの両端点Ｘ１，Ｘ２の間隔Ｗに基づく第１値（ａ・Ｗ）と認識対象媒体１００の高さｂとＹ軸（垂直軸）に関する第２射影ｐｒｊＹの射影波形の射影パターンの両端点Ｙ１，Ｙ２の間隔Ｈに基づく第２値（ｂ・Ｈ）との差（ａ・Ｗ－ｂ・Ｈ）に応じた評価値が求められる。

　回転角度決定部６６０において、評価値取得部６５０による評価値に基づいてカード１００の回転角度ν（θ）が決定される。回転角度決定部６６０は、評価値取得部６５０による評価値に基づいて、あらかじめ設定しておいた参照テーブルＲＴＢＬから評価値に対応する角度が検索され（ステップＳＴ６）、その結果をもって媒体の回転角度として決定される（ステップＳＴ７）。

　評価値取得部６５０では、まず図７において、画像内の長方形の長辺長さをａ、短辺長さをｂとし、

とおくと、幾何学的考察から、次式が得られる。

　式３と式４を変形して、次式を得る。

　ゆえに次式より角度θが求められる。

また、式３、式４より、次式が導かれる。

　よって、角度θは次式によっても求められる。

　ここで、ａ＝１２６、ｂ＝８０、Ｗ＝１８４－３０＝１５４、Ｈ＝１４３－２０＝１２３を式７に代入すると、θ＝１８．４が得られる。

　角度決定は、式７または式６によって算術的に行ってもよいが、本第１の実施形態においては、機器への実装を考慮すると、ｔａｎ－１の計算はコストを要するため、次に示すような角度決定処理を行うように構成されている。

　式５の左辺をν（θ）とおくと、ν(θ)はθの関数であり、たとえば１０度刻みで、ν(θ)を計算し、次のような数値リストを作成し、角度参照テーブルＲＴＢＬとしてメモリ等に保存しておく。

　式５の右辺に実際のＷ，Ｈの値を代入して計算した結果、

　　　ａＷ　－　ｂＨ　＝８９５６

となったとすると、この値はν（２０)に近いので、回転角度はθ＝２０°であることがわかる。すなわち、ν（１０)＝（ａ^２－ｂ^２）ｃｏｓ１０°＝（１２６^２－８０^２）＊０．９８＝９３３２となる。そのため、今回求めた値８９５６は、ν（１０)＝９３３２よりも、ν（２０)＝８９０７に近い値となっている。

　ＣＰＵの性能も飛躍的に向上しているので、直接ｃｏｓ－１から求めてもよいが、上述の方法も実装条件に制約がある場合には有効な代替手段となりうる。

　そして、情報認識部６７０において、回転角度決定部６６０で決定された回転角度ν（θ）を参照してカード１００上の情報１１０の認識処理が行われる（ステップＳＴ８）。たとえば、情報認識部６７０では、図４または図５の画像データからカード１００における情報記録領域１２０の画像上の傾きが、検出された回転角度ν（θ）に応じて修正され、修正後の画像における情報記録領域１２０の情報、たとえば文字認識処理が行われる。

　このように、データ処理部６０は、デジタル画像を用いて、カード１００の画像上の回転角度を検出するに際し、処理対象画像のＸ軸（水平軸）および垂直軸のそれぞれに対して輝度投影による画素値の射影を生成する射影生成部６３０、Ｘ軸（水平軸）への射影およびＹ軸（垂直軸）への射影のそれぞれについて、その射影波形の台形パターンの両端点を決定する端点検出部６４０、Ｘ軸（水平軸）に関する射影波形の台形パターンの両端点の間隔Ｗおよび、Ｙ軸（垂直軸）に関する台形パターンの両端点の間隔Ｈを求め、そのデータと、対象媒体の幅と高さを用いて所定の評価値を取得する評価値取得部６５０、およびこの評価値をキーとして、あらかじめ設定しておいた参照テーブルＲＴＢＬから評価値に対応する角度を検索し、その結果をもってカード１００の回転角度とする回転角度決定部６６０を有している。このように構成すると、ハフ変換行列から極大点を解析的に抽出する、ハフ変換を用いることなく、従来よりも演算負荷を軽減でき、低コストでカードの回転角度を検出できる。

［媒体認識装置１０の全体的な動作］
　次に、本第１の実施形態に係る媒体認識装置１０の全体的な動作について図９に関連付けて説明する。図９は、本第１の実施形態に係る媒体認識装置１０の全体的な動作を説明するためのフローチャートである。

　まず、カード１００がテーブル２０に載置される（ステップＳＴ１１）。

　この状態で、画像読取部３０において、照明光源３１で照明されるカード１００の全体を含む所定の領域が撮像される（ステップＳＴ１２）。そして、Ａ／Ｄコンバータ４０において画像読取部３０によって撮像されたカード１００を含む画像がデジタル画像データに変換され、画像メモリ５０に格納される（ステップＳＴ１３）。

　次いで、データ処理部６０において、画像メモリ５０に格納されたデジタル画像を用いて、カード１００の画像上の回転角度が検出される（ステップＳＴ１４）。

　この回転角度の検出処理は、主として以下の処理ステップで行われる。
　最初に処理対象画像のＸ軸（水平軸）およびＹ軸（垂直軸）のそれぞれに対して輝度投影を行って射影を形成する（射影生成ステップ）。次に，Ｘ軸（水平軸）への射影および垂直軸への射影のそれぞれについて、その両端点を決定する（端点検出ステップ）。さらにＸ軸（水平軸）に関する両端点の間隔Ｗおよび、Ｙ軸（垂直軸）に関する両端点の間隔Ｈを求め、そのデータと、あらかじめわかっている対象媒体の幅と高さを用いて所定の評価値を取得（計算）する（評価値取得ステップ）。最後に、この評価値をキーとして、あらかじめ用意しておいた参照テーブルＲＴＢＬから評価値に対応する角度を検索し、その結果をもって媒体の回転角度とする（角度決定ステップ）。

　そして、データ処理部６０において、検出した回転角度を参照してカード１００上に記録されている文字あるいはバーコード等の情報１１０が認識される（ステップＳＴ１５）。

（本形態の主な効果）
　以上説明したように、媒体認識装置１０は、デジタル画像を用いて、矩形状した媒体としてのカード１００の画像上の回転角度を検出するに際し、ハフ変換行列から極大点を解析的に抽出する代わりに、処理対象画像のＸ軸（水平軸）およびＹ軸（垂直軸）のそれぞれに対して輝度投影による画素値の射影を生成する射影生成部６３０、Ｘ軸（水平軸）への射影およびＹ軸（垂直軸）への射影のそれぞれについて、その射影波形の台形パターンの両端点を決定する端点検出部６４０、Ｘ軸（水平軸）に関する射影波形の台形パターンの両端点の間隔Ｗおよび、Ｙ軸（垂直軸）に関する台形パターンの両端点の間隔Ｈを求め、そのデータと、カード１００の幅と高さを用いて所定の評価値を取得する評価値取得部６５０、およびこの評価値をキーとして、あらかじめ設定しておいた参照テーブルＲＴＢＬから評価値に対応する角度を検索し、その結果をもってカード１００の回転角度とする回転角度決定部６６０を有している。

　したがって、媒体認識装置１０によれば、以下の効果を得ることができる。
　媒体認識装置１０では、ハフ変換行列から極大点を解析的に抽出する必要もなく、ハフ変換を用いることなく、従来よりも演算負荷を低減し、カード１００の回転角度を検出することが可能となる。すなわち、画像処理装置１０は、ハフ変換行列から極大点を解析的に抽出する必要もなく、ハフ変換を用いることなく、従来よりも低コストで処理時間を短く、カード１００の回転角度を検出することが可能となる。

　また、回転角度決定部６６０は、評価値取得部６５０による評価値に基づいて、あらかじめ設定しておいた参照テーブルから評価値に対応する角度を検索し、その結果をもってカード１００の回転角度を決定している。これにより、さらに演算負荷を軽減することが可能になる。すなわち、演算負荷を軽減でき、安価な処理系を実現することが可能となる。

　また、評価値取得部６５０は、カード１００の幅ａとＸ軸（水平軸）に関する射影波形の射影パターンの両端点Ｘ１，Ｘ２の間隔Ｗに基づく第１値（ａ・Ｗ）とカード１００の高さｂとＹ軸（垂直軸）に関する射影波形の射影パターンの両端点Ｙ１，Ｙ２の間隔Ｈに基づく第２値（ｂ・Ｈ）との差（ａ・Ｗ－ｂ・Ｈ）に応じた評価値を求めることから、高い精度で評価値を取得することが可能となる。

（第２の実施形態）
　図１０は、本第２の実施形態に係る媒体認識装置におけるデータ処理部の構成例を示すブロック図である。

　本第２の実施形態のデータ処理部６０Ａが上述した第１の実施形態のデータ処理部６０と異なる点は以下のとおりである。
　第１の実施形態のデータ処理部６０では、回転角度決定部６６０は、評価値取得部６５０による評価値に基づいて、あらかじめ設定しておいた参照テーブルから評価値に対応する角度を検索し、その結果をもってカード１００の回転角度としている。これに対して、本第２の実施形態のデータ処理部６０Ａでは、評価値取得部６５０Ａが計算により回転角度ν（θ）を求め、回転角度決定部６６０Ａは、評価値取得部６５０Ａによる評価値としての回転角度をカード１００の回転角度として決定する。

　評価値取得部６５０Ａは、上述した式７に示すように（下記式７）、カード１００の幅ａとＸ軸（水平軸）に関する射影波形の射影パターンの両端点Ｘ１，Ｘ２の間隔Ｗに基づく第１値（ａ・Ｗ）とカード１００の高さｂとＹ軸（垂直軸）に関する射影波形の射影パターンの両端点Ｙ１，Ｙ２の間隔Ｈに基づく第２値（ｂ・Ｈ）との差（ａ・Ｗ－ｂ・Ｈ）に応じた第１評価値と、認識対象媒体１００の高さｂとＸ軸（水平軸）に関する射影波形の射影パターンの両端点Ｘ１，Ｘ２の間隔Ｗに基づく第３値（ｂ・Ｗ）とカード１００の幅ａとＹ軸（垂直軸）に関する射影波形の射影パターンの両端点Ｙ１，Ｙ２の間隔Ｈに基づく第４値（ａ・Ｈ）との差に応じた第２評価値との割合に応じて回転角度を求める。

　本第２の実施形態によれば、演算負荷が若干大きくなるものの、実際の回転角度を高い精度で取得することができ、回転角度決定処理の高速化を図ることが可能となる。

（第３の実施形態）
　図１１は、本第３の実施形態に係る射影生成部による射影プロファイルを示す図である。図１１（Ａ）が処理対象画像を示し、図１１（Ｂ）はＸ軸への第１射影ｐｒｊＸのプロファイルを示し、図１１（Ｃ）はＹ軸への第２射影ｐｒｊＹのプロファイルを示している。

　本第３の実施形態が上述した第１および第２の実施形態と異なる点は、以下のとおりである。

　第１および第２の実施形態における射影生成の対象画像は、カード１００が白で背景が黒に設定されている。これに対して、本第３の実施形態における射影生成の対象画像は、カード１００が黒で背景が白に設定されている。

　本第２の実施形態によれば、このような画像であっても、第１の実施形態と同様の射影プロファイルを得ることができ、上述した第１および第２の実施形態と同様の効果を得ることが可能となる。

（応用例）
　本実施形態の媒体認識装置１０では、ハフ変換を用いることなく、画像の水平軸・垂直軸の射影を用いた直線・図形パターン角度の検出方法は、単独で用いることのほか、ハフ変換を使った直線・図形パターン検出処理において、累積点を探索する処理に先行して、おおよその角度を求めておく、といった使い方も可能である。

　これにより、回転角度の検出精度を高く保持することが可能となる。

　なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

　１０・・・媒体認識装置、２０・・・テーブル、３０・・・画像読取部、４０・・・アナログデジタルコンバータ（Ａ／Ｄコンバータ）、５０・・・画像メモリ、６０，６０Ａ・・・データ処理部、６１０・・・エッジ強調部、６２０・・・二値化処理部、６３０・・・射影生成部、６４０・・・端点検出部、６５０，６５０Ａ・・・評価値取得部、６６０，６６０Ａ・・・回転角度決定部、６７０・・・情報認識部、ＲＴＢＬ・・・角度参照テーブル、１００・・・カード（矩形状した媒体）、１１０・・・情報。

Claims

　デジタル画像を用いて、矩形状した媒体の画像上の回転角度を検出し、検出した回転角度を参照して前記矩形状した媒体上の情報を認識する媒体認識装置であって、
　処理対象画像の水平軸および垂直軸のそれぞれに対して輝度投影による画素値の射影を生成する射影生成部と、
　前記水平軸への射影および前記垂直軸への射影のそれぞれについて、その射影波形の射影パターンの両端点を決定する端点検出部と、
　前記水平軸に関する射影波形の射影パターンの両端点の間隔および前記垂直軸に関する射影波形の射影パターンの両端点の間隔を求め、その間隔データと前記矩形状した媒体の幅と高さに関連付けて所定の評価値を取得する評価値取得部と、
　前記評価値取得部による評価値に基づいて前記矩形状した媒体の回転角度を決定する回転角度決定部と、を有することを特徴とする媒体認識装置。
　前記回転角度決定部は、前記評価値取得部による評価値に基づいて、あらかじめ設定しておいた参照テーブルから評価値に対応する角度を検索し、その結果をもって前記矩形状した媒体の回転角度とすることを特徴とする請求項１記載の媒体認識装置。
　前記評価値取得部は、前記矩形状した媒体の幅と前記水平軸に関する射影波形の射影パターンの両端点の間隔に基づく第１値と前記矩形状した媒体の高さと前記垂直軸に関する射影波形の射影パターンの両端点の間隔に基づく第２値との差に応じた評価値を求めることを特徴とする請求項２記載の媒体認識装置。
　前記評価値取得部は、前記矩形状した媒体の幅と前記水平軸に関する射影波形の射影パターンの両端点の間隔に基づく第１値と前記矩形状した媒体の高さと前記垂直軸に関する射影波形の射影パターンの両端点の間隔に基づく第２値との差に応じた第１評価値と、前記矩形状した媒体の高さと前記水平軸に関する射影波形の射影パターンの両端点の間隔に基づく第３値と前記矩形状した媒体の幅と前記垂直軸に関する射影波形の射影パターンの両端点の間隔に基づく第４値との差に応じた第２評価値との割合に応じて回転角度を求め、
　前記回転角度決定部は、前記評価値取得部による評価値としての回転角度を前記矩形状した媒体の回転角度として決定することを特徴とする請求項１記載の媒体認識装置。
　デジタル画像を用いて、矩形状した媒体の画像上の回転角度を検出し、検出した回転角度を参照して前記矩形状した媒体上の情報を認識する媒体認識方法であって、
　処理対象画像の水平軸および垂直軸のそれぞれに対して輝度投影による画素値の射影を生成する射影生成ステップと、
　前記水平軸への射影および前記垂直軸への射影のそれぞれについて、その射影波形の射影パターンの両端点を決定する端点検出ステップと、
　前記水平軸に関する射影波形の射影パターンの両端点の間隔および前記垂直軸に関する射影波形の射影パターンの両端点の間隔を求め、その間隔データと前記矩形状した媒体の幅と高さに関連付けて所定の評価値を取得する評価値取得ステップと、
　前記評価値取得ステップによる評価値に基づいて前記矩形状した媒体の回転角度を決定する回転角度決定ステップと、を有することを特徴とする媒体認識方法。
　前記回転角度決定ステップは、前記評価値取得ステップによる評価値に基づいて、あらかじめ設定しておいた参照テーブルから評価値に対応する角度を検索し、その結果をもって前記矩形状した媒体の回転角度とすることを特徴とする請求項５記載の媒体認識方法。
　前記評価値取得ステップは、前記矩形状した媒体の幅と前記水平軸に関する射影波形の射影パターンの両端点の間隔に基づく第１値と前記矩形状した媒体の高さと前記垂直軸に関する射影波形の射影パターンの両端点の間隔に基づく第２値との差に応じた評価値を求めることを特徴とする請求項６記載の媒体認識方法。
　前記評価値取得ステップは、前記矩形状した媒体の幅と前記水平軸に関する射影波形の射影パターンの両端点の間隔に基づく第１値と前記矩形状した媒体の高さと前記垂直軸に関する射影波形の射影パターンの両端点の間隔に基づく第２値との差に応じた第１評価値と、前記矩形状した媒体の高さと前記水平軸に関する射影波形の射影パターンの両端点の間隔に基づく第３値と前記矩形状した媒体の幅と前記垂直軸に関する射影波形の射影パターンの両端点の間隔に基づく第４値との差に応じた第２評価値との割合に応じて回転角度を求め、
　前記回転角度決定ステップは、前記評価値取得ステップによる評価値としての回転角度を前記矩形状した媒体の回転角度として決定することを特徴とする請求項５記載の媒体認識方法。