JP4774390B2 - 文字切り出し装置、方法およびプログラム - Google Patents

Description

本発明は、撮影画像から文字領域を切り出す技術に関する。

商品や製品に印字された文字を撮像し、画像処理装置において文字認識処理を行うこと
で、印刷内容の確認工程を自動化させることができる。この文字認識処理を精度よく行う
ためには、その前工程としての文字の切り出し工程が重要である。

文字の切り出し工程は、撮像画像の中に含まれる文字の領域を決定する工程である。撮
像画像の中に、複数の文字からなる文字列が含まれている場合、この文字列の中から、各
文字の領域を決定する必要がある。

文字列を切り出す方法としては、画像の投影データを利用する方法がある。つまり、撮
像画像の画素値を切り出し方向について積算した波形データを作成し、この波形データを
分析するのである。そして、背景部分に比べて、文字部分の画素積算値が大きいことを利
用し（文字が黒色の場合は、白黒反転させることで、文字部分の画素積算値が大きくなる
ように扱えばよい。）、画素積算値が所定の閾値を超える領域を文字領域として認識する
のである。

図１８は、文字「Ｔ６Ｏ」が印字された媒体を撮像した画像９０と、その画像９０から
生成された波形データ９１を示す図である。波形データ９１は、画像９０の文字列方向Ｘ
に関する各座標位置において、文字の切り出し方向Ｙについて画素値を積算したデータで
ある。説明を分かり易くするために、波形データ９１と文字「Ｔ６Ｏ」を含む画像９０を
、文字列方向Ｘに関して位置関係を合わせて表示している。この図から、文字部分の画素
積算値が大きくなっていることが分かる。ここで、たとえば、図に示すような位置に閾値
９２を設定することにより、画素値の積算値が閾値９２を超える領域を文字領域として判
定することが可能である。

特許第２８７２７６８号公報

撮像された画像に含まれる文字のコントラストがはっきりしている場合や、文字以外の
領域に模様や汚れがなくきれいな状態であれば、図１８を用いて説明したように、比較的
、文字領域を正確に切り出すことが可能である。

しかし、文字のコントラストが低い場合や、あるいは、背景部分が汚れていたり、ざら
ついていたりして、ランダムノイズが発生している場合には、上記の方法では、文字領域
を正確に切り出すことができない。

図１９は、同様に文字「Ｔ６Ｏ」を含む画像９３と、その画像９３から生成された波形
データ９４を示す図である。この画像９３は、文字のコントラストが低く、また、背景部
分には、ランダムノイズが発生している。このような場合、図１８で生成された波形デー
タ９１と同様な扱いで、図に示すような位置に閾値９５を設定すると、文字領域が誤って
認識されることになる。たとえば、「Ｔ」という文字の横線のみからなる領域や、「Ｏ」
という文字の中央部分においては、画素値の積算値が小さいため、背景部分との差が小さ
くなり、文字領域として認識されない状況が発生する。

上記特許文献１は、画像中に探索始点と探索終点を設定し、この始点と終点を結ぶ経路
上で、通過する各画素の画素値を積算し、その積算値が最小となる経路を見つけるように
している。特許文献１の方法によれば、精度のよい文字領域の抽出が可能としているが、
特許文献１の方法は、探索始点と探索終点およびそれらを結ぶ探索領域を予め設定する必
要がある。つまり、特許文献１の方法は、そもそも、文字境界位置が、ある程度予測でき
ることが条件となっている。

そこで、本発明は前記問題点に鑑み、文字のコントラストが低い場合や、背景部分にラ
ンダムノイズが発生している場合であっても、撮像画像に含まれる文字の領域を精度よく
切り出す技術を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、画像に含まれる第１の方向に配列された複数の文字からなる文字列から各々の文字を切り出す装置であって、前記画像の前記第１の方向の各座標位置において、前記第１の方向と直交する第２の方向に沿って全ての画素値を積算するための積算手段と、前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って画素値に関連する値の標準偏差値を算出する算出手段と、前記画像の前記第１の方向の各座標位置において、前記積算手段により積算された画素値と前記算出手段によって算出された標準偏差値とを合成する合成手段と、しきい値を設定する手段と、前記設定手段によって設定されたしきい値より高い、前記合成手段よって合成された値を有する前記画像の前記第１の方向の座標位置に対応する部分を判断するとともに、前記しきい値より高い、合成された値を有する前記第１の方向の座標位置に対応する部分を切り出すべき文字領域として認識する判定手段と、を備えることを特徴とする。

請求項２記載の発明は、請求項１に記載の文字切り出し装置において、画素値を積算するための前記積算手段は、前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って前記画素値を積算するための第１の積算手段と、前記画像の前記第１の方向の各座標位置において、前記第１の方向に沿って前記第１の積算手段にて積算された画素値に基づいて移動平均値を得るための移動平均値取得手段と、前記画像の前記第１の方向の各座標位置において、前記移動平均値取得手段にて取得された移動平均値を前記第１の積算手段にて積算された画素値から減算するための減算手段からなることを特徴とする。

請求項３記載の発明は、請求項１に記載の文字切り出し装置において、画素値を積算するための前記積算手段は、前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って前記画素値を積算するための第１の積算手段と、前記画像の前記第１の方向の各座標位置において、前記第１の方向に沿って前記第１の積算手段にて積算された画素値に基づいて移動最小値を得るための移動最小値取得手段と、前記画像の前記第１の方向の各座標位置において、前記移動最小値取得手段にて取得された移動最小値を前記第１の積算手段にて積算された画素値から減算するための減算手段からなることを特徴とする。

請求項４記載の発明は、請求項１に記載の文字切り出し装置において、前記算出手段は、前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って前記画素値の標準偏差値を算出することを特徴とする。

請求項５記載の発明は、請求項１に記載の文字切り出し装置において、前記算出手段は、前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って前記画素値の微分値の標準偏差値を算出することを特徴とする。

請求項６記載の発明は、請求項１に記載の文字切り出し装置において、前記算出手段は、前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って前記画素値の二回微分値の標準偏差値を算出することを特徴とする。

請求項７記載の発明は、請求項１に記載の文字切り出し装置において、前記算出手段は、前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って前記画素値の第１の標準偏差値、前記画素値の微分値の第２の標準偏差値ならびに前記画素値の二回微分値の第３の標準偏差値を算出するとともに、前記第１、第２ならびに第３の標準偏差値の中から少なくとも二つの標準偏差値を組み合わせることを特徴とする。

請求項８記載の発明は、請求項２に記載の文字切り出し装置において、さらに、前記画像の前記第１の方向の各座標位置において、前記移動平均値を算出するための区間の幅を設定する幅設定手段と、前記区間の幅とともに、前記合成手段にて合成された値に基づく波形を表示する表示手段を有することを特徴とする。

請求項９記載の発明は、請求項３に記載の文字切り出し装置において、さらに、前記画像の前記第１の方向の各座標位置において、前記移動最小値を算出するための区間の幅を設定する幅設定手段と、前記区間の幅とともに、前記合成手段にて合成された値に基づく波形を表示する表示手段を有することを特徴とする。

請求項１０記載の発明は、請求項８または請求項９に記載の文字切り出し装置において、
前記表示手段は、前記区間の幅と前記波形に対する区間の位置を示すマークとともに、前記波形を表示することを特徴とする。

請求項１１記載の発明は、請求項1または請求項２に記載の文字切り出し装置において、さらに、前記画像から複数の文字を有する文字列を切り出すための文字列切り出し手段を有することを特徴とする。

請求項１２記載の発明は、請求項８に記載の文字切り出し装置において、さらに、前記画像から複数の文字を有する文字列を切り出すための文字列切り出し手段を有することを特徴とする。

請求項１３記載の発明は、請求項１２に記載の文字切り出し装置において、さらに、前記文字列切り出し手段によって切り出された文字の高さと文字の高さに対する文字の幅の予め定められた割合に基づいて、自動的に区間の幅を設定するための幅設定手段とを有するとともに、前記区間は、前記画像の前記第１の方向の各座標位置において、該区間内の積算された画素値に基づく前記移動平均値を算出するためのものであることを特徴とする。

請求項１４記載の発明は、請求項９に記載の文字切り出し装置において、さらに、前記画像から複数の文字を有する文字列を切り出すための文字列切り出し手段を有することを特徴とする。

請求項１５記載の発明は、請求項１４に記載の文字切り出し装置において、さらに、前記文字列切り出し手段によって切り出された文字の高さと文字の高さに対する文字の幅の予め定められた割合に基づいて、自動的に区間の幅を設定するための幅設定手段とを有するとともに、前記区間は、前記画像の前記第１の方向の各座標位置において、該区間内の積算された画素値に基づく前記移動最小値を算出するためのものであることを特徴とする。

請求項１６記載の発明は、請求項１に記載の文字切り出し装置において、さらに、前記積算手段により積算された画素値と前記算出手段によって算出された標準偏差値との間の合成する割合を調整する合成割合調整手段を有することを特徴とする。

請求項１７記載の発明は、請求項１６に記載の文字切り出し装置において、さらに、前記合成割合調整手段の調整に対応する前記合成手段によって合成された値に基づく波形を表示するための表示手段を有することを特徴とする。

請求項１８記載の発明は、画像に含まれる第１の方向に配列された複数の文字からなる文字列から各々の文字を切り出す方法であって、前記画像の前記第１の方向の各座標位置において、前記第１の方向と直交する第２の方向に沿って全ての画素値を積算するための積算ステップと、前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って画素値に関連する値の標準偏差値を算出する算出ステップと、前記画像の前記第１の方向の各座標位置において、前記積算ステップにおいて積算された画素値と前記算出ステップにおいて算出された標準偏差値とを合成する合成ステップと、予め定められたしきい値より高い、前記合成ステップにおいて合成された値を有する前記画像の前記第１の方向の座標位置に対応する部分を判断するとともに、前記しきい値より高い、合成された値を有する前記第１の方向の座標位置に対応する部分を切り出すべき文字領域として認識する判定ステップとを備えることを特徴とする。

請求項１９記載の発明は、画像に含まれる第１の方向に配列された複数の文字からなる文字列から各々の文字を切り出すプログラムであって、コンピュータを、前記画像の前記第１の方向の各座標位置において、前記第１の方向と直交する第２の方向に沿って全ての画素値を積算するための積算手段と、前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って画素値に関連する値の標準偏差値を算出する算出手段と、前記画像の前記第１の方向の各座標位置において、前記積算手段により積算された画素値と前記算出手段によって算出された標準偏差値とを合成する合成手段と、しきい値を設定する手段と、前記設定手段によって設定されたしきい値より高い、前記合成手段よって合成された値を有する前記画像の前記第１の方向の座標位置に対応する部分を判断するとともに、前記しきい値より高い、合成された値を有する前記第１の方向の座標位置に対応する部分を切り出すべき文字領域として認識する判定手段として機能させることを特徴とする。

本発明の文字切り出し装置は、画素値積算評価値と画素値ばらつき評価値を利用し、こ
の２つの評価値を合成した評価値から文字領域を認識する。これにより、文字のコントラ
ストが低い場合や、背景部分にランダムノイズが含まれるような場合であっても、精度の
よい文字の切り出しが行える。

たとえば、文字の中で、横線のみからなるような領域は、縦方向の画素値積算値が小さ
くなる。このため、コントラストが低い場合や、背景部分にノイズがある場合には、背景
部分との積算値の差異が小さくなり、文字領域として認識されない可能性がある。しかし
、画素ばらつき評価値を加味することで、画素の積算値が小さい領域であっても、評価値
を押し上げることが可能であり、精度のより文字切り出しが可能である。

｛システムの概要｝
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本実施の形態
に係る画像処理システムの全体図である。この画像処理システムは、画像処理装置１と、
カメラ２と、モニタ３とから構成されている。カメラ２は、ＣＣＤやＣＭＯＳなどの撮像
センサや光学系ユニットを備えている。モニタ３は、たとえば、液晶表示ディスプレイな
どが用いられる。また、画像処理装置１には、画像処理システムの処理結果に応じて制御
される制御機器４が接続されている。

この画像処理システムは、カメラ２により、媒体８０に印字されている文字８１の画像
を撮像し、画像処理装置１において、カメラ２が撮像した画像を解析する。解析結果や、
処理内容は、適宜、モニタ３に表示される。画像処理装置１において、撮像画像から最終
的に文字認識が行われると、その認識結果に応じて制御機器４が制御されるのである。

文字８１が印字された媒体８０は、たとえば、製品に貼付された媒体である場合や、商
品の包装自体である場合がある。画像処理装置１は、これら製品や商品に印字されている
文字８１を認識することにより、製品、商品の製造工程、搬送工程などの確認作業を行う
のである。

図２は、画像処理装置１の機能ブロックを示す図である。画像処理装置１は、図に示す
ように、画像入力部１１、画像記憶部１２、画像処理部１３、操作部１４、処理結果記憶
部１５、出力部１６を備えている。

カメラ２で撮像された画像は、画像入力部１１より画像処理装置１に入力され、一旦、
画像記憶部１２に蓄積される。画像処理部１３は、画像記憶部１２に蓄積された撮像画像
から、文字の切り出し処理、文字認識処理を実行する。本発明は、この文字の切り出し処
理に特徴があり、文字の切り出し処理の詳細については、後で説明する。文字認識処理に
ついては、公知の方法が利用される。文字認識結果は、処理結果記憶部１５に格納される
。そして、出力部１６より、処理結果データが外部に出力され、たとえば、制御機器４が
処理結果データに応じて制御されるのである。

また、画像処理装置１は、操作部１４を備えている。操作部１４は、たとえば、ダイヤ
ルやキーボタンなどから構成される。ユーザは、操作部１４を操作することで、画像処理
装置１に対する各種の指示を与えることができる。たとえば、画像処理の処理パラメータ
の設定などを行うことができる。モニタ３には、処理パラメータの設定画面や、処理結果
などが表示される。ユーザは、モニタ３に表示された画面を参照しつつ、パラメータの設
定や、処理結果の確認などを行う。

｛文字切り出し方法の内容｝
次に、図３を参照しながら、本発明の特徴部である文字の切り出し方法について説明す
る。文字の切り出しとは、撮像画像に含まれる文字認識を行う前工程であって、撮像画像
に含まれる１つ１つの文字の領域を抽出する処理である。文字の切り出し工程として、ま
ず、撮像画像から文字列を含む行の切り出しが行われ、続いて、文字列に含まれる個々の
文字を切り出す処理が行われる。本発明は、文字列から文字を切り出す処理に特徴がある
ので、文字列が切り出された後の処理を中心に説明する。

図３（ａ）は、行の切り出しが行われた画像６１を示す図である。つまり、文字列を含
む画像６１である。切り出されるべき文字列の全体を囲むための矩形形状のウインドウのサイズは、以下の状況に基づいて、自動的に決定される。矩形形状のウインドウの幅は、切り出し方向における切り出し開始文字の位置と、切り出し終了文字の位置によって決定される。例えば、切り出し方向が、図３（ａ）において左側から右側に向いている場合、その切り出し開始文字の位置は、文字列の中で最も左側に位置する文字「Ｔ」の最も左に位置する部分であり、切り出し終了文字の位置は、文字列の中で最も右側に位置する文字「０」の最も右に位置する部分である。これらの位置情報に基づき、矩形形状のウインドウの幅が決定される。なお、切り出し開始文字や切り出し終了文字の位置は、後述する画素積算値により、決定することが好ましい。さらに、矩形形状のウインドウの高さは、切り出されるべき文字列に含まれる全ての文字の中で最も高い文字の部分と最も低い文字の部分の位置によって決定される。これにより、文字高さよりも少し大きめの縦方向の長さ（高さ）をもつ画像となる。図に示すように、この画像６１には、文字列「Ｔ６０」が含まれている。

ここで、図に示すように、方向Ａ、Ｂを定義する。そして、方向Ａを文字列方向Ａと呼
ぶことにし、方向Ｂを、文字切り出し方向Ｂと呼ぶことにする。方向Ａは、切り出されるべき文字列の配列する方法を示す行の切り出し方向Ａと呼ぶこともできる。図に示すように、方向Ａは、方向Ｂに対して直交している。言い換えれば、文字列が切り出された後、方向Ｂは、既に決定されている方向Ａに対して直交方向に定義される。つまり、画像６１は、複数の文字を含む文字列を有するとともに、撮像画像から行の切り出し方向Ａについて切り出された画像であり、この後の工程で、文字切り出し方向Ｂについて切り出しを行うことで、画像６１から、個々の文字に対応する文字領域が切り出される。

図３（ｂ）は、画像６１の文字切り出し方向Ｂについて画素値を積算した画素値積算評
価値を示す図である。文字列方向Ａの各画素位置（各座標位置）で画素値積算評価値を算
出し、これらを波形データ６２として表している。この波形データ６２は、文字領域を評
価するためのデータとして用いられる。つまり、背景部分とは異なり、文字が存在する領
域では、画素値積算評価値が大きくなり、文字領域を評価することが可能である。

ただし、文字領域の波形データ６２が大きくなるように表現するために、文字が黒色の
場合には、白黒反転させた上で画素値積算評価値を求めている。つまり、画像６１の各画
素は、その画素値（濃度）が、たとえば０〜２５５の値をとる白黒画像である。背景が黒
色で文字色が白色の場合には、文字部分が高輝度となるため、そのまま画素値を積算した
値を画素値積算評価値とすればよい。逆に、背景が白色で文字色が黒色の場合には、文字
部分が低輝度となるため、画素値０〜２５５を、画素値２５５〜０となるように変換する
のである。そして、白黒反転させた画素値を積算したものを画素値積算評価値として採用
するのである。これにより、文字色が黒、白どちらの場合であっても、文字部分について
は、画素値積算評価値の値が大きくなるように統一的に扱うことができる。

なお、本実施の形態においては、画素値積算評価値として、上記のように、文字切り出
し方向Ｂに関して、画素値を積算した結果をそのまま用いるほか、画素積算値から移動最
小値あるいは移動平均値を減算した結果が用いられる。これら移動最小値あるいは移動平
均値を用いる方法については、後で詳しく説明する。

図３（ｃ）は、画像６１の文字切り出し方向Ｂについて画素値のばらつき度合いを示す
画素値ばらつき評価値を示す図である。文字列方向Ａの各画素位置（各座標位置）におい
て、文字切り出し方向Ｂに関する画素値の標準偏差を算出し、これらを波形データ６３と
して表している。したがって、波形データ６３は、別の観点から文字領域を評価するため
の波形データである。つまり、背景部分とは異なり、文字が存在する領域では、画素値の
ばらつきが大きくなることを利用して、文字領域を評価するのである。

なお、本実施の形態においては、画素値ばらつき評価値として、上記のように、文字切
り出し方向Ｂに関して、画素値の標準偏差をそのまま用いるほか、微分画像の標準偏差あ
るいは微分画像の画素微分値の標準偏差が用いられる。あるいは、これら３つの方法を合
成したばらつき評価値が用いられる。これらの方法については、後で詳しく説明する。

図３（ｄ）は、図３（ｂ）で示す画素値積算評価値と、図３（ｃ）で示す画素値ばらつ
き評価値を合成した合成波形データ６４を示す図である。つまり、合成波形データ６４は
、文字列方向Ａの各画素位置において、画素値積算評価値と画素値ばらつき評価値を加算
した総合評価値を示すデータである。合成の方法としては、単純に、画素値積算評価値と
画素値ばらつき評価値を加算する方法や、それぞれに重み付けを行った上で合成割合を調
整して加算する方法が用いられる。

｛処理の流れ｝
次に、図４ないし図１６を参照しながら、文字切り出し処理の流れを説明する。図４は
、文字切り出しの全体処理のフローチャートである。図５、図６、図８は、図４のフロー
チャートのうち、画素値積算評価値の算出処理をさらに詳しく説明するフローチャートで
ある。図１０、図１２、図１４、図１６は、図４のフローチャートのうち、画素値ばらつ
き評価値の算出処理をさらに詳しく説明するフローチャートである。

図４の全体処理フローを参照する。まず、カメラ２が媒体８０に印字された文字８１を
撮像し、画像入力部１１が、撮像画像を入力し、画像記憶部１２に格納する（ステップＳ
１）。

ステップ２以降の処理は、画像処理部１３による処理である。次に、画像処理部１３は
、撮像画像を入力し、行の切り出しを行う（ステップＳ２）。つまり、撮像画像の中で、
文字列が存在する領域を抽出し、行の切り出し方向Ａについて画像の切り出しを行う。こ
の切り出された画像は、図３（ａ）の画像６１に対応している。

次に、画像処理部１３は、画素値積算評価値を算出する（ステップＳ３）。つまり、文
字列方向Ｂの各画素位置において、画素値積算評価値を演算する。このようにして演算さ
れた画素値積算評価値を示すのが、図３（ｂ）の波形データ６２である。本実施の形態に
おいては、上述したように、この画素値積算評価値を算出する方法として、図５、図６、
図８のフローチャートで示す３つの方法のいずれかが利用される。

まず、図５を参照しながら、第１の方法について説明する。まず、文字切り出し方向Ｂ
について、画素値の総和を計算し、投影データを作成する（ステップＳ１１）。つまり、
文字列方向Ａの各画素位置について、文字切り出し方向Ｂの画素値を積算することで、各
画素位置での画素値積算評価値を求めるのである。そして、算出した投影データを正規化
する（ステップＳ１２）。正規化とは、演算された画素値積算評価値のうち最大の値が、
予め設定されている最大値と一致するように、評価値のレンジを調整する処理である。こ
の第１の方法は、画素値の積算値を、そのまま画素値積算評価値として採用する方法であ
る。

図６は、第２の方法を示すフローチャートである。まず、文字切り出し方向Ｂについて
、画素値の総和を計算し、投影データを作成する（ステップＳ２１）。つまり、文字列方
向Ａの各画素位置について、文字切り出し方向Ｂの画素値を積算する。このようにして演
算された積算値を示す波形６２Ａを図７（ａ）に示す。

次に、移動最小値データを作成する（ステップＳ２２）。図７（ａ）に示すように、ス
テップＳ２１で作成した波形６２Ａに対して、文字列方向Ａに関して、スキャン区間６２
１を移動させ、各移動位置において、スキャン区間６２１内における画素積算値の最小値
を求める。このようにして求められた最小値を示す波形６２Ｂを図７（ｂ）に示す。

次に、文字列方向Ａの各画素位置において、投影データである波形６２Ａから移動最小
値データである波形６２Ｂを減算する（ステップＳ２３）。そして、投影データから移動
最小値データを減算することにより算出された評価データを正規化する（ステップＳ２４
）。正規化処理は、上記（ステップＳ１２）と同様である。第２の方法では、投影データ
から移動最小値データを減算した評価値を画素値積算評価値として採用するのである。第
２の方法であれば、撮像装置のレンズ特性や照明の影響などに起因して生じるシェーディ
ングの影響や、撮像画像中に生じる明暗ムラを取り除き、文字領域と背景領域で画素値積
算評価値の差異が明確となるように補正することができる。

図８は、第３の方法を示すフローチャートである。まず、文字切り出し方向Ｂについて
、画素値の総和を計算し、投影データを作成する（ステップＳ３１）。つまり、文字列方
向Ａの各画素位置について、文字切り出し方向Ｂの画素値を積算する。このようにして演
算された積算値を示す波形６２Ａを図９（ａ）に示す。

次に、移動平均値データを作成する（ステップＳ３２）。図９（ａ）に示すように、ス
テップＳ３１で作成した波形６２Ａに対して、文字列方向Ａに関して、スキャン区間６２
２を移動させ、各移動位置において、スキャン区間６２２内における画素積算値の平均値
を求める。このようにして求められた平均値を示す波形６２Ｃを図９（ｂ）に示す。

次に、文字列方向Ａの各画素位置において、投影データである波形６２Ａから移動平均
値データである波形６２Ｃを減算する（ステップＳ３３）。そして、投影データから移動
平均値データを減算することにより算出された評価データを正規化する（ステップＳ３４
）。正規化処理は、上記（ステップＳ２１）と同様である。第３の方法では、投影データ
から移動平均値データを減算した評価値を画素値積算評価値として採用するのである。第
３の方法においても、シェーディングや撮像画像中の明暗ムラの影響を取り除き、文字領
域と背景領域で画素値積算評価値の差異が明確となるように補正することができる。

図４のフローチャートに戻る。次に、画像処理部１３は、画素値ばらつき評価値を算出
する（ステップＳ４）。ステップＳ４で算出された画素値ばらつき評価値を示すのが、図
３（ｃ）の波形データ６３である。本実施の形態においては、上述したように、この画素
値ばらつき評価値を算出する方法として、図１０、図１２、図１４、図１６のフローチャ
ートで示す４つの方法のいずれか（またはその合成）が利用される。

まず、図１０を参照しながら、第１の方法について説明する。まず、文字切り出し方向
Ｂについて、画素値の標準偏差を計算し、投影データを作成する（ステップＳ４１）。つ
まり、図１１に示すように、文字列方向Ａの各画素位置について、文字切り出し方向Ｂの
画素列の標準偏差を算出することで、各画素位置での画素値ばらつき評価値を求めるので
ある。そして、生成した投影データを正規化する（ステップＳ４２）。正規化とは、演算
された画素値ばらつき評価値のうち最大の値が、予め設定されている最大値と一致するよ
うに、評価値のレンジを調整する処理である。この第１の方法は、文字切り出し方向Ｂの
画素列の標準偏差を、画素値ばらつき評価値として採用する方法である。

図１２は、第２の方法を示すフローチャートである。まず、文字切り出し方向Ｂについ
て、微分画像を生成する（ステップＳ５１）。つまり、図１３に示すように、文字列方向
Ａの各画素位置について、文字切り出し方向Ｂの画素列の微分画像を生成するのである。
言い換えると、文字切り出し方向Ｂの各画素列についてエッジ画像を生成する。

次に、文字切り出し方向Ｂに関して、ステップＳ５１で生成した微分画像の標準偏差を
算出し、投影データを作成する（ステップＳ５２）。つまり、文字列方向Ａの各画素位置
について、微分画像の画素列の標準偏差を求めるのである。そして、求めた投影データを
正規化する（ステップＳ５３）。正規化は、ステップＳ４２と同様である。第２の方法で
は、微分画像の標準偏差を画素値ばらつき評価値として採用する。つまり、画像の変化の
ある部分や、変化のない平坦な部分が、混在している度合いを、ばらつき評価値として採
用しているのである。

図１４は、第３の方法を示すフローチャートである。まず、文字列を含む画像の微分画
像を生成する（ステップＳ６１）。第２の方法のステップＳ５１では、文字の切り出し方
向Ｂについて微分画像を生成したが、このステップＳ６１では、Ａ方向、Ｂ方向の２方向
についてＳｏｂｅｌフィルタを用いて微分画像を生成している。つまり、図１５に示すよ
うに、文字列を含む画像に対してＡ，Ｂ両方向の微分画像を生成するのである。

次に、文字切り出し方向Ｂに関して、ステップＳ６１で生成した微分画像をさらに微分
し、２回微分した画像の標準偏差を算出し、投影データを作成する（ステップＳ６２）。
つまり、図１５に示すように、文字列方向Ａの各画素位置について、２回微分画像を生成
し、２回微分画像の画素列の標準偏差を求めるのである。そして、求めた投影データを正
規化する（ステップＳ６３）。正規化は、ステップＳ４２と同様である。第３の方法では
、２回微分画像の標準偏差を画素値ばらつき評価値として採用する。つまり、画像の変化
のある部分や、変化のない平坦な部分が、混在している度合いを、ばらつき評価値として
採用しているのである。しかも、２回微分に関する標準偏差を利用しているので、画素値
のある１つの局所的変化に対して、複数のばらつき（変化）を生成させることが可能であ
り、画像の変化をより際立たせて評価することができる。

図１６は、第４の方法を示すフローチャートである。まず、第１から第３の画素値ばら
つき評価値の演算方法で得られた投影データのうち、２つ以上の投影データを加算する（
ステップＳ７１）。つまり、図１０で説明した方法により求めた画素値ばらつき評価値を
第１ばらつき評価値、図１２で説明した方法により求めた画素値ばらつき評価値を第２ば
らつき評価値、図１４で説明した方法により求めた画素値ばらつき評価値を第３ばらつき
評価値とすると、この第４の方法では、第１〜第３ばらつき評価値のうち、いずれか２つ
、あるいは３つ全ての方法で算出された評価値を加算するのである。あるいは、重み付け
を行って加算してもよい。そして、第１〜第３ばらつき評価値のうち、いずれか２つ、あ
るいは３つを加算することで、合成ばらつき評価値を求め、これを正規化する（ステップ
Ｓ７２）。第４の方法では、このようにして合成された評価値を、画素値ばらつき評価値
として採用するのである。第４の方法によれば、画像の変化、微分画像の変化、２回微分
画像の変化のそれぞれの特徴を生かして、総合的なばらつき評価を行うことができる。第
１〜第３のどのばらつき評価値を用いて合成するのか、どのような重み付けを行うかを調
整することで、撮像対象に応じた評価値を設定すればよい。

再び、図４の全体フローに戻る。ステップＳ３において、画素値積算評価値が算出され
、ステップＳ４において、画素値ばらつき評価値が算出されると、文字列方向Ａの各画素
位置において、画素値積算評価値と画素値ばらつき評価値が合成され、総合評価値が算出
される（ステップＳ５）。文字列方向Ａの各画素位置において算出された総合評価値を示
す合成波形データ６４を図３（ｄ）に示す。合成方法としては、画素値積算評価値と画素
値ばらつき評価値とを単純に加算してもよいし、重み付けを行うことで合成割合を調整し
て加算するようにしてもよい。

次に、画像処理部１３は、閾値６５を用いて切り出し位置を決定する（ステップＳ６）
。なお、閾値６５は、予め設定されている値を持ちいればよい。あるいは、後述するよう
に、ユーザが、操作部１４を操作して、閾値６５の値を設定できるようにすればよい。

そして、画像処理部１３は、設定された閾値６５に従い、文字切り出し位置を出力する
（ステップＳ７）。つまり、図３（ｄ）に示すように、総合評価値を示す合成波形データ
６４と閾値６５とを比較し、閾値６５よりも総合評価値が大きい領域を文字領域として切
り出すのである。文字領域が切り出されると、以降、画像処理部１３により、文字認識処
理が行われる。

このように、本実施の形態の画像処理システムによれば、画素値積算評価値と画素値ば
らつき評価値の２つの評価値を合成して文字領域を決定する。たとえば、画素値積算評価
値だけで文字領域を判定した場合、図１９で示したように、画素値積算値が小さい部分は
、文字領域として認識されない場合があった。しかし、画素値積算評価値に加えて、画素
値ばらつき評価値を文字領域の判定要素に加えることで、画素値積算値が小さい部分につ
いても、総合評価値を押し上げることが可能であり、精度のよい文字切り出しが可能とな
るのである。

図３で示した例であれば、「Ｔ」という文字の横線のみの部分は、波形データ６２が示
すように、文字領域の中では画素積算値が小さい。しかし、横線のみの部分であっても、
波形データ６３が示すように、背景部分と比べて画素ばらつき評価値が大きくなっている
。そして、これらを合成することによって、合成波形データ６４が示すように、文字領域
の全域について、評価値を押し上げることができるのである。これは、「Ｏ」という文字
についても同様である。本実施の形態の画像処理システムは、このような方法により、コ
ントラストの低い文字や、背景部分にランダムノイズが発生している場合であっても、文
字の切り出し精度を高くすることができるのである。

｛ユーザインタフェース｝
図１７は、上記の文字切り出し処理を実行する際に、モニタ３に表示される設定確認画
面５を示す図である。この設定確認画面５は、画面の右方向に配列された設定部５０１〜
５０３と、画面の中央に配置された画像処理領域５２０と波形表示部５３０とを備えてい
る。ユーザは、画像処理領域５２０に表示された画像および波形表示部５３０に表示され
た波形５３１を参照しながら、操作部１４を操作して、設定部５０１〜５０３の各パラメ
ータを変更し、文字の切り出し処理の調整を行うことができるのである。画像処理領域５
２０内の矩形５２１は、行切り出し領域を示している。

画像処理領域５２０は、処理対象の文字を含む画像を表示する領域である。この図では
、日付（０６．１０．２９）が印字された媒体を撮像した画像が表示されている。そして
、画像処理領域５２０には、切り出された文字領域が矩形５２２で囲まれるようにして表
示されている。図では、それぞれの文字「０」や「６」などが、それぞれ個別の矩形５２
２で囲まれており、文字領域として切り出されている状態を示している。ユーザは、この
表示を見ることで、文字の切り出し状態を確認することができる。

波形表示部５３０には、図では、合成波形データ５３１（図３（ｄ）の合成波形データ
６４に対応）が表示されている。つまり、画素値積算評価値と画素値ばらつき評価値を合
成した波形が表示されている。また、合成波形データ５３１に、重ねるようにして閾値５
３２が表示されている。この表示を見ることで、ユーザは、合成された波形と閾値との関
係を知ることができ、閾値との関係で、どのような領域が文字領域として抽出されるかを
感覚的に知ることができる。

また、波形表示部５３０の下部には、スキャン区間５３３が表示されている。このスキ
ャン区間５３３は、図７あるいは図９で説明したスキャン区間６２１，６２２に対応して
いる。つまり、図７あるいは図９で説明したように、スキャン区間６２１，６２２を移動
させつつ、移動最小値あるいは移動平均値を求めたが、スキャン幅と画像や波形５３１と
の関係を分かり易くするために、スキャン区間５３３を波形表示部５３０に表示させてい
るのである。ここで、ユーザは、設定部５０１に設定値を入力することで、スキャン区間
５３３の幅（文字幅上限）を自由に変更することができる。このスキャン区間５３３が変
更されると、それに応じて、移動最小値あるいは移動平均値などの値が変更され、最終的
な合成波形も変化する。そこで、波形表示部５３０は、この変更操作に応答して、修正さ
れた合成波形データ５３１をリアルタイムで表示するのである。これにより、ユーザは、
合成波形の様子も見ながらスキャン区間５３３を変更させることができる。

また、ユーザは、設定部５０２に設定値を入力することで、閾値５３２（切出し閾値）
の値を変更することが可能である。ユーザにより閾値５３２が変更されると、これにより
、文字の切り出し位置も変更されるので、画像処理領域５２０に表示されている矩形５２
２の位置や大きさが変化する。このように、ユーザは、閾値５３２を変更しながら、文字
の切り出し位置を確認することが可能である。

なお、スキャン区間５３３は、設定部５０１によりユーザが設定可能であると説明した
が、デフォルト状態では、文字の高さから自動的に決定するようにしてもよい。上述した
ように、ステップＳ２において、撮像画像は、行の方向に切り出されている。この行の高
さを文字の高さとして、それに対して、所定の比率を乗算することで、スキャン区間５３
３の幅（移動最小値あるいは移動平均値を求めるためのスキャン区間の幅）を決定するの
である。これにより、撮像により文字が拡大、縮小した場合であっても、適切なスキャン
区間の幅を自動設定させることができる。たとえば、撮像対象である商品や製品によって
文字の縦横比がある程度決まれば、その縦横比に応じて比率を決めるようにすればよい。
この比率については、ユーザが設定可能とすればよい。さらに、スキャン区間の第一の方向Aに沿った各シフト量は、精度の高い値を得るために、ピクセルサイズと同じであることが好ましい。しかしながら、このスキャンの効率と精度のバランスを考慮して、ユーザによって所望のシフト量をマニュアルにて入力することによりこのシフト量を決定することも可能である。

また、ユーザは、設定部５０３に合成割合を設定することで、画素値積算評価値と画素
値ばらつき評価値の合成割合を調整することが可能である。設定部５０３には、たとえば
、画素値積算評価値の合成割合が設定される。そして、ユーザにより合成割合が変更され
ると、これにより、合成波形データ５３１も変化するので、波形表示部５３０は、リアル
タイムで合成波形データ５３１の変化の様子を表示する。また、文字の切り出し位置も変
更されるので、画像処理領域５２０に表示されている矩形５２２の位置や大きさが変化す
る。このように、ユーザは、合成割合を変更しながら、合成波形の形状や文字の切り出し
位置を確認することが可能である。

本実施の形態に係る画像処理システムの全体図である。 画像処理装置のブロック図である。 文字切り出し工程の処理手順を示す図である。 文字切り出し処理の全体フローチャートである。 画素値積算評価値を算出する第１の方法のフローチャートである。 画素値積算評価値を算出する第２の方法のフローチャートである。 画素値積算評価値を算出する第２の方法を示す図である。 画素値積算評価値を算出する第３の方法のフローチャートである。 画素値積算評価値を算出する第３の方法を示す図である。 画素値ばらつき評価値を算出する第１の方法のフローチャートである。 画素値ばらつき評価値を算出する第１の方法を示す図である。 画素値ばらつき評価値を算出する第２の方法のフローチャートである。 画素値ばらつき評価値を算出する第２の方法を示す図である。 画素値ばらつき評価値を算出する第３の方法のフローチャートである。 画素値ばらつき評価値を算出する第３の方法を示す図である。 画素値ばらつき評価値を算出する第４の方法のフローチャートである。 文字切り出し処理のユーザインタフェースを示す図である。 従来の文字切り出し処理を示す図である。 従来の文字切り出し処理による問題点を示す図である。

符号の説明

１ 画像処理装置
２ カメラ
３ モニタ
１３ 画像処理部
６１ （行切り出しされた）画像
６２ 波形データ（画素値積算評価値）
６３ 波形データ（画素値ばらつき評価値）
６４ 合成波形データ（総合評価値）
６５ 閾値

Claims (19)

1. 画像に含まれる第１の方向に配列された複数の文字からなる文字列から各々の文字を切り出す装置であって、
   前記画像の前記第１の方向の各座標位置において、前記第１の方向と直交する第２
   の方向に沿って全ての画素値を積算するための積算手段と、
   前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って画素値に関連する値の標準偏差値を算出する算出手段と、
   前記画像の前記第１の方向の各座標位置において、前記積算手段により積算された画素値と前記算出手段によって算出された標準偏差値とを合成する合成手段と、
   しきい値を設定する手段と、
   前記設定手段によって設定されたしきい値より高い、前記合成手段よって合成された値
   を有する前記画像の前記第１の方向の座標位置に対応する部分を判断するとともに、前記しきい値より高い、合成された値を有する前記第１の方向の座標位置に対応する部分を切り出すべき文字領域として認識する判定手段と
   を備えることを特徴とする文字切り出し装置。
2. 請求項１に記載の文字切り出し装置において、
   画素値を積算するための前記積算手段は、
   前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って前記画素値を積算するための第１の積算手段と、
   前記画像の前記第１の方向の各座標位置において、前記第１の方向に沿って前記第１の積算手段にて積算された画素値に基づいて移動平均値を得るための移動平均値取得手段と、
   前記画像の前記第１の方向の各座標位置において、前記移動平均値取得手段にて取得された移動平均値を前記第１の積算手段にて積算された画素値から減算するための減算手段からなることを特徴とする文字切り出し装置。
3. 請求項１に記載の文字切り出し装置において、
   画素値を積算するための前記積算手段は、
   前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って前記画素値を積算するための第１の積算手段と、
   前記画像の前記第１の方向の各座標位置において、前記第１の方向に沿って前記第１の積算手段にて積算された画素値に基づいて移動最小値を得るための移動最小値取得手段と、
   前記画像の前記第１の方向の各座標位置において、前記移動最小値取得手段にて取得された移動最小値を前記第１の積算手段にて積算された画素値から減算するための減算手段からなることを特徴とする文字切り出し装置。
4. 請求項１に記載の文字切り出し装置において、
   前記算出手段は、前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って前記画素値の標準偏差値を算出することを特徴とする文字切り出し装置。
5. 請求項１に記載の文字切り出し装置において、
   前記算出手段は、前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って前記画素値の微分値の標準偏差値を算出することを特徴とする文字切り出し装置。
6. 請求項１に記載の文字切り出し装置において、
   前記算出手段は、前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って前記画素値の二回微分値の標準偏差値を算出することを特徴とする文字切り出し装置。
7. 請求項１に記載の文字切り出し装置において、
   前記算出手段は、前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って前記画素値の第１の標準偏差値、前記画素値の微分値の第２の標準偏差値ならびに前記画素値の二回微分値の第３の標準偏差値を算出するとともに、前記第１、第２ならびに第３の標準偏差値の中から少なくとも二つの標準偏差値を組み合わせることを特徴とする文字切り出し装置。
8. 請求項２に記載の文字切り出し装置において、さらに、
   前記画像の前記第１の方向の各座標位置において、前記移動平均値を算出するための区間の幅を設定する幅設定手段と、前記区間の幅とともに、前記合成手段にて合成された値に基づく波形を表示する表示手段を有することを特徴とする文字切り出し装置。
9. 請求項３に記載の文字切り出し装置において、さらに、
   前記画像の前記第１の方向の各座標位置において、前記移動最小値を算出するための区間の幅を設定する幅設定手段と、前記区間の幅とともに、前記合成手段にて合成された値に基づく波形を表示する表示手段を有することを特徴とする文字切り出し装置。
10. 請求項８または請求項９に記載の文字切り出し装置において、
    前記表示手段は、前記区間の幅と前記波形に対する区間の位置を示すマークとともに、前記波形を表示することを特徴とする文字切り出し装置。
11. 請求項1または請求項２に記載の文字切り出し装置において、さらに、
    前記画像から複数の文字を有する文字列を切り出すための文字列切り出し手段を有することを特徴とする文字切り出し装置。
12. 請求項８に記載の文字切り出し装置において、さらに、
    前記画像から複数の文字を有する文字列を切り出すための文字列切り出し手段を有することを特徴とする文字切り出し装置。
13. 請求項１２に記載の文字切り出し装置において、さらに、
    前記文字列切り出し手段によって切り出された文字の高さと文字の高さに対する文字の幅の予め定められた割合に基づいて、自動的に区間の幅を設定するための幅設定手段とを有するとともに、前記区間は、前記画像の前記第１の方向の各座標位置において、該区間内の積算された画素値に基づく前記移動平均値を算出するためのものであることを特徴とする文字切り出し装置。
14. 請求項９に記載の文字切り出し装置において、さらに、
    前記画像から複数の文字を有する文字列を切り出すための文字列切り出し手段を有することを特徴とする文字切り出し装置。
15. 請求項１４に記載の文字切り出し装置において、さらに、
    前記文字列切り出し手段によって切り出された文字の高さと文字の高さに対する文字の幅の予め定められた割合に基づいて、自動的に区間の幅を設定するための幅設定手段とを有するとともに、前記区間は、前記画像の前記第１の方向の各座標位置において、該区間内の積算された画素値に基づく前記移動最小値を算出するためのものであることを特徴とする文字切り出し装置。
16. 請求項１に記載の文字切り出し装置において、さらに、
    前記積算手段により積算された画素値と前記算出手段によって算出された標準偏差値との間の合成する割合を調整する合成割合調整手段を有することを特徴とする文字切り出し装置。
17. 請求項１６に記載の文字切り出し装置において、さらに、
    前記合成割合調整手段の調整に対応する前記合成手段によって合成された値に基づく波形を表示するための表示手段を有することを特徴とする文字切り出し装置。
18. 画像に含まれる第１の方向に配列された複数の文字からなる文字列から各々の文字を切り出す方法であって、
    前記画像の前記第１の方向の各座標位置において、前記第１の方向と直交する第２
    の方向に沿って全ての画素値を積算するための積算ステップと、
    前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って画素値に関連する値の標準偏差値を算出する算出ステップと、
    前記画像の前記第１の方向の各座標位置において、前記積算ステップにおいて積算された画素値と前記算出ステップにおいて算出された標準偏差値とを合成する合成ステップと、
    予め定められたしきい値より高い、前記合成ステップにおいて合成された値
    を有する前記画像の前記第１の方向の座標位置に対応する部分を判断するとともに、前記しきい値より高い、合成された値を有する前記第１の方向の座標位置に対応する部分を切り出すべき文字領域として認識する判定ステップと
    を備えることを特徴とする文字切り出し方法。
    
19. 画像に含まれる第１の方向に配列された複数の文字からなる文字列から各々の文字を切り出すプログラムであって、
    コンピュータを、
    前記画像の前記第１の方向の各座標位置において、前記第１の方向と直交する第２
    の方向に沿って全ての画素値を積算するための積算手段と、
    前記画像の前記第１の方向の各座標位置において、前記第２の方向に沿って画素値に関連する値の標準偏差値を算出する算出手段と、
    前記画像の前記第１の方向の各座標位置において、前記積算手段により積算された画素値と前記算出手段によって算出された標準偏差値とを合成する合成手段と、
    しきい値を設定する手段と、
    前記設定手段によって設定されたしきい値より高い、前記合成手段よって合成された値
    を有する前記画像の前記第１の方向の座標位置に対応する部分を判断するとともに、前記しきい値より高い、合成された値を有する前記第１の方向の座標位置に対応する部分を切り出すべき文字領域として認識する判定手段
    として機能させることを特徴とする文字切り出しプログラム。
    
    

Images