JP6451440B2 - ラベル領域検知装置、ラベル領域検知方法、ラベル領域検知プログラム、及びラベル領域検知システム - Google Patents

Description

本発明は、ラベル領域検知装置、ラベル領域検知方法、ラベル領域検知プログラム、及びラベル領域検知システムに関する。

郵便物表面から得られる多色画像のうち予め定められた色画素からなる色画像ブロック情報を抽出する一方、郵便物表面から得られるモノクロ画像からモノクロ画像ブロックを抽出し、色画像ブロック情報およびモノクロ画像ブロック情報に基づいて、郵便番号や宛名が記載された領域を決定する文字読取装置が知られている（例えば、特許文献１を参照）。

また、ラベル領域を検出すべき検出対象物（封書、はがき、雑誌、新聞、小包など）の宛名面全体の画像を取り込み、ラベルの背景である雑誌表面の図柄や文様を除去し、ラベルの色成分だけの画像データを作成し、ＲＧＢで表される１画素の有無を、画像の縦方向、横方向それぞれについてカウントすることによりヒストグラムを作成し、縦方向、横方向それぞれの値があるしきい値以上である領域を候補とし、その候補の大きさや位置などが妥当と見なされれば、ラベル領域であると判定し、ラベル領域を検出するラベル領域検出装置が知られている（例えば、特許文献２を参照）。

また、フルカラーの入力画像の中から、出現頻度が最も高い所定範囲内の色を背景色の領域を抽出し、入力画像の画素を背景色の画素と背景色以外の画素とに分類し、２値画像に変換する。２値画像中の背景色以外の画素を抽出し、画像構成要素領域の画像の種類を判定し、画像の種類に応じた画像処理を画像構成要素領域の画像に施す画像処理装置が知られている（例えば、特許文献３を参照）。

特開平０９−０５０４８７号公報 特開２００１−３１２６９５号公報 特開２００９−３０１０９０号公報

しかし、上記のような装置では、封筒に貼付された宛名ラベルの文字を読み取る処理を行う場合、様々な背景色や模様の封筒が混在すると、封筒に貼付された宛名ラベルの貼付位置を検出することが困難になる場合があった。

本発明は、上記問題を解決するためになされたものであり、様々な背景色や模様の封筒が混在しても封筒に貼付された宛名ラベルの貼付位置を検出すること容易にするラベル検知装置、ラベル検知方法、ラベル領域検知プログラム、及びラベル領域検知システムを提供することを目的とする。

上記目的を達成するために、本発明のラベル領域検知装置は、宛名ラベルが貼付された物品を撮影した画像から前記宛名ラベルの画像領域を推定するラベル領域検知装置であって、
前記画像に対して色空間をＨＳＶ色空間に変換するＨＳＶ変換を行うことによって白色成分を抽出する白色抽出部と、
前記白色抽出部で抽出された白色成分に基づき、前記物品が白色か否かを判定する白色物品判定部と、
前記白色物品判定部が前記物品を白色で無いと判定した場合に、前記画像の濃度分布が一様性であるか否かを判定する一様性判定部と、
前記一様性判定部が前記画像の濃度分布が一様性であると判定した場合、前記濃度分布のヒストグラムを測定する濃度ヒストグラム部と、
前記一様性判定部が前記画像の濃度分布が一様性でないと判定した場合、前記白色抽出部で抽出された白色成分を含む穴判定領域に占める白色の面積が所定値より大きいか否かを判定する穴判定部と、
前記穴判定部で前記穴判定領域に占める白色の面積が所定値より大きいと判断された白色領域に対して穴埋め処理を行うラベル内穴埋め部と、
前記濃度ヒストグラム部で測定した前記濃度分布のヒストグラム又はラベル内穴埋め部で穴埋め処理された白色領域に基づき、宛名ラベルの画像領域を推定する宛名ラベル領域推定部とを備える。

また、上記目的を達成するために、本発明のラベル領域検知方法は、宛名ラベルが貼付された物品を撮影した画像から前記宛名ラベルの画像領域を推定するラベル領域検知方法であって、
前記画像に対して色空間をＨＳＶ色空間に変換するＨＳＶ変換を行うことによって白色成分を抽出するステップと、
抽出された白色成分に基づき、前記物品が白色か否かを判定するステップと、
前記物品が白色で無いと判定された場合に、前記画像の濃度分布が一様性であるか否かを判定するステップと、
前記画像の濃度分布が一様性であると判定された場合、前記濃度分布のヒストグラムを測定するステップと、
前記画像の濃度分布が一様性でないと判定された場合、抽出された白色成分を含む穴判定領域に占める白色の面積が所定値より大きいか否かを判定するステップと、
前記穴判定領域に占める白色の面積が所定値より大きいと判断された白色領域に対して穴埋め処理を行うステップと、
測定された前記濃度分布のヒストグラム又はラベル内穴埋め部で穴埋め処理された白色領域に基づき、宛名ラベルの画像領域を推定するステップとを有する。

また、上記目的を達成するために、本発明のラベル領域検知プログラムは、宛名ラベルが貼付された物品を撮影した画像から前記宛名ラベルの画像領域を推定するラベル領域検知プログラムであって、
前記画像に対して色空間をＨＳＶ色空間に変換するＨＳＶ変換を行うことによって白色成分を抽出する処理と、
抽出された白色成分に基づき、前記物品が白色か否かを判定する処理と、
前記物品が白色で無いと判定された場合に、前記画像の濃度分布が一様性であるか否かを判定する処理と、
前記画像の濃度分布が一様性であると判定された場合、前記濃度分布のヒストグラムを測定する処理と、
前記画像の濃度分布が一様性でないと判定された場合、抽出された白色成分を含む穴判定領域に占める白色の面積が所定値より大きいか否かを判定する処理と、
前記穴判定領域に占める白色の面積が所定値より大きいと判断された白色領域に対して穴埋め処理を行う処理と、
測定された前記濃度分布のヒストグラム又はラベル内穴埋め部で穴埋め処理された白色領域に基づき、宛名ラベルの画像領域を推定する処理と
をコンピュータに実行させる。

また、上記目的を達成するために、ラベル領域検知システムは、上記のラベル領域検知装置と、
宛名ラベルが貼付された物品を撮影して、撮影した画像を前記ラベル領域検知装置に出力する撮影装置と、
前記ラベル領域検知装置で検知されたラベルの画像領域の文字を読取るＯＣＲ部と、
前記ＯＣＲ部で読取った文字に基づき、区分先を決定する、区分先決定機と
を備える。

本発明によれば、様々な背景色や模様の封筒が混在しても封筒に貼付された宛名ラベルの貼付位置を検出すること容易にするラベル検知装置、ラベル検知方法、ラベル領域検知プログラム、及びラベル領域検知システムを提供することができる。

本実施形態におけるラベル領域検知装置を含むラベル領域検知システムの構成例を示す図である。 本実施形態におけるラベル領域検知装置の構成例を示す図である。 本実施形態におけるラベル領域検知装置の動作例を示すフローチャートである。 本実施形態におけるラベル領域検知装置に入力される処理前のサンプル画像１を示す図である。 本実施形態におけるラベル領域検知装置において白色抽出されて二値化かれたサンプル画像１を示す図である。 本実施形態におけるラベル領域検知装置から出力される処理後のサンプル画像１を示す図である。 本実施形態におけるラベル領域検知装置に入力される処理前のサンプル画像１を示す図である。 本実施形態におけるラベル領域検知装置において白色抽出されて二値化かれたサンプル画像１を示す図である。 本実施形態におけるラベル領域検知装置から出力される処理後のサンプル画像１を示す図である。 本実施形態におけるラベル領域検知装置の最小構成例を示す図である。

以下、図面を用いて本実施形態におけるラベル領域検知装置を説明する。
図１は、本実施形態におけるラベル領域検知装置を含むラベル領域検知システムの構成例を示す図である。図１において、ラベル領域検知システム１は、ラベル領域検知装置１０、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）２０、区分先決定機３０、カラーカメラ４０、搬送制御装置５０、及び容器６０ａ〜６０ｄを備える。

大型封筒１００は、読取り対象の宛名ラベルが貼付されて、搬送制御装置５０に載置されている。搬送制御装置５０は、載置された大型封筒１００を、図１図示右方向に示す封筒搬送方向に、カラーカメラ４０の撮影位置まで搬送する。カラーカメラ４０で撮影された画像は、ラベル領域検知装置１０及びＯＣＲ２０で処理されて宛名が読取られる。搬送制御装置５０は、読み取られた宛名に基づき、大型封筒１００を容器６０ａ〜６０ｄに分別して収納する。

本実施形態における物品とは、宛名ラベルが貼付されて、貼付された宛名ラベルの記載を基に区分先が決定されるものをいう。物品の形状は、例えば、封筒、厚紙、箱等の形状であり、少なくとも宛名ラベルが貼付可能な形状である。搬送制御装置５０に載置された物品に貼付されている宛名ラベルをカラーカメラ４０で読取可能であれば、その形状は限定されない。物品には、郵便物、宅配物等を含む。区分先は、その物品が区分される先であり、本実施形態では搬送制御装置５０に載置された物品を収納する容器６０ａ〜６０ｄが区分先となる。

宛名ラベルが貼付され得る物品の面積は、宛名ラベルの面積に比べて十分大きいものとする。すなわち、宛名ラベルが貼付される物品上の位置は、物品毎に異なる可能性がある。本実施形態では、宛名ラベルの面積に対して大きな面積を持つ物品として大型封筒１００を例示して説明する。例えば、宛名ラベルは、大型封筒の中心に貼付される場合、大型封筒の左上に貼付される場合、左上に貼付される場合等が考えられる。また、宛名ラベルは、縦方向に貼付される場合、横方向に貼付される場合等が考えられる。

宛名ラベル等に記載された文字を読取る技術として、ＯＣＲが知られている。宛名は、カメラで撮影可能な文字列、バーコード、２次元コード等であって、宛名によって物品の区分先を認識できるものであればよい。本実施形態では、宛名ラベルに文字が記載されており、記載されている文字をＯＣＲで読取る場合を例示する。宛名ラベルは、人間が文字を視認しやすいように、白地に黒色の文字で宛名が記載されている場合が多い。本実施形態においても、宛名ラベルは、白地に黒色の文字で宛名が記載されているものとして説明する。白地に黒色で宛名が記載されている宛名ラベル上の文字は、コントラストが高く、ＯＣＲにおいても認識しやすい。
ところで、ＯＣＲは、読取対象の位置がある程度特定されれば、文字の大きさ、文字の向き（縦書きか横書きか）、文字の傾き等を自動で認識して読取った画像を補正して文字を認識することができる。
しかし、上記の通り大型封筒１００の様に読取対象となる宛名ラベルの位置が大きく異なる可能性がある場合、ＯＣＲで読取るべき宛名ラベルの文字列が大型封筒１００のどこに存在するのか認識できず、読取りエラーとなる場合がある。本実施形態にけるラベル領域検知装置１０は、大型封筒１００に発布された宛名ラベルの貼付位置を検出して、ＯＣＲの読み取り対象を特定することにより、読取りエラーを低減させることができる。

カラーカメラ４０は、搬送制御装置５０上に載置されて図示しない宛名ラベルが貼付された大型封筒１００を撮影する。カラーカメラ４０は、撮影した画像をラベル領域検知装置１０に出力する。カラーカメラ４０は、２次元の撮像素子を用いた撮影装置で次元の画像を出力する。しかし、例えば、ラインスキャナ等の直線走査装置を用いて２次元の画像を出力するようにしてもよい。

ラベル領域検知装置１０は、カラーカメラ４０から入力された画像を基に、大型封筒１００に発布された宛名ラベルの貼付位置を検出して、検出した貼付位置の情報をＯＣＲ２０に出力する。なお、ラベル領域検知装置１０の詳細は図２を用いて後述する。

ＯＣＲ２０は、ラベル領域検知装置１０で検出された宛名ラベルの貼付位置に対して宛名の文字の読取りを行い、読取った文字を区分先決定機３０に出力する。ＯＣＲ２０は、例えば郵便番号の記号等を認識するようにしてもよい。

区分先決定機３０は、ＯＣＲ２０から入力された文字に従い、容器６０ａ〜６０ｄの区分先を決定し、決定した区分先の情報を搬送制御装置５０に出力する。区分先決定機３０は、例えば、内部に容器６０ａ〜６０ｄの区分先と、それぞれの区分先毎に対応する文字を登録しておく。区分先決定機３０は、ＯＣＲ２０から入力された文字が登録された文字に該当するか否かを判断し、登録された文字に該当するときには、その文字に対応した区分先を決定するようにしてもよい。例えば、ＯＣＲ２０から入力される文字が郵便番号を示す７ケタの文字であった場合、区分先決定機３０は、入力された郵便番号に従い、対応する区分先を決定する。なお、本実施形態では、区分先として容器６０ａ〜６０ｄの４種類に大型封筒１００を区分する場合を例示したが、区分先の数はこれに限定されない。例えば、郵便番号の上３ケタに合せて区分先の数を決定するようにしてもよい。

搬送制御装置５０は、搬送制御装置５０上に載置された大型封筒１００を、カラーカメラ４０による撮影位置から図１図示右方向に移動させて、区分先決定機３０から入力された区分先に従い、容器６０ａ〜６０ｅの何れかに仕分ける。大型封筒１００の仕分けは、例えば、搬送制御装置５０上に設置された図示しない仕分け機構によって搬送制御装置５０上に載置された大型封筒をはじき、容器６０ａ〜ｅにはじき入れるようにしてもよい。
以上で、図１を用いた、ラベル領域検知システム１の説明を終了する。

次に、図２を用いて、ラベル領域検知装置１０の詳細を説明する。図２は、本実施形態におけるラベル領域検知装置の構成例を示す図である。
図２において、ラベル領域検知装置１０は、白色抽出部１０１、二値化部１０２、白色物品判定部１０３、グレー画像変換部１０４、分散値計算部１０５、一様性判定部１０６、第１のラベリング処理部１０７−１と第２のラベリング処理部１０７−２を有するラベリング処理部１０７、ラベル内穴判定部１０８、ラベル内穴埋め部１０９、プロファイル部１１０、濃度ヒストグラム部１１１、閾値決定部１１２、宛名ラベル領域推定部１１３、及び宛名領域候補出力部１１４を備える。

白色抽出部１０１は、カラーカメラ４０で撮影されて入力されたカラー画像の色空間をＨＳＶ変換し、白色画像を抽出する。カラーカメラ４０で撮影されて入力されたカラー画像の色空間は、例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）色空間である。ＲＧＢ色空間は、ＲＧＢ三原色のそれぞれの明度を所定の階調で表される。白色抽出部１０１は、入力されたＲＧＢ色空間の画像をＨＳＶ色空間に変換する。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ・Ｃｈｒｏｍａ）、及び明度（Ｖａｌｕｅ・Ｌｉｇｈｔｎｅｓｓ・Ｂｒｉｇｈｔｎｅｓｓ）の３つのパラメータで表現される。本実施形態では、ＨＳＶ変換された画像の中で、明度（Ｖ）と彩度（Ｓ）が一定以上高い画素を白色画像として抽出する。ＨＳＶ色空間においては、明度（Ｖ）と彩度（Ｓ）は、例えば０〜１００％の値とすることができる。本実施形態では、白色として抽出する明度（Ｖ）及び彩度（Ｓ）の値は任意に設定できるものとする。例えば、明度（Ｖ）及び彩度（Ｓ）がそれぞれ９０％以上の画素を白色として抽出するように設定してもよい。

二値化部１０２は、グレー画像を白色及び黒色に二値化する。二値化の閾値は、任意に設定することができる。

白色物品判定部１０３は、入力された物品の画像に含まれる白色画素数をカウントし、白色画素数（白色面積）と入力された画像の全画素数（画像面積）とを比較し、白色面積が全画面積に対して所定の割合以上であるか否かを算出し、白色面積が全画面積に対して所定の割合以上である場合には、入力された画像の物品は、白色物品であると判定する。本実施形態において白色物品判定部１０３は、大型封筒１００が白色封筒であるか否かを判定する。

グレー画像変換部１０４は、カラーカメラ４０から入力されたカラー画像をグレー画像に変換する。グレー画像とは、画像を白から黒までの明暗だけで表現したものであり、色の情報を含まない。グレー画像は、グレー（灰色）を所定の階調で表現する。

分散値計算部１０５は、グレー画像変換部１０４から出力されるグレー画像の階調の分散値を計算する。グレー画像の階調は、例えば大型封筒１００が、無地の様に一様な色であった場合、階調は所定の値に集中する。一方、大型封筒１００の表面に模様や写真がある場合、グレー画像の階調は所定の分散（例えば、ガウス分布のような分散）をもって計算される。分散値計算部１０５は、例えば、階調のヒストグラムの尖度と歪度を算出することにより、分布値を計算することができる。

一様性判定部１０６は、分散値計算部１０５で計算された分散値から、大型封筒１００の一様性を判定し、大型封筒１００が無地封筒であるか否かを判定する。大型封筒１００には、例えば、灰色、薄い水色、薄い黄色、薄い緑色等の無地封筒が存在するものとする。すなわち、一様性判定部１０６は、分散値が所定値以下である場合に、大型封筒１００が無地封筒であると判定する。なお、このような薄い色を持つ無地の封筒は、グレー画像では同一の階調となる。しかし、白色物品判定部１０３において判定するＨＳＶ色空間上では、異なる色相として白色封筒と区別することができる。
一方、一様性判定部１０６は、分散値が所定値より大きい場合、大型封筒１００が無地封筒で無い、すなわち、大型封筒１００の表面に模様や写真があると判定する。

ラベリング処理部１０７は、白色抽出部１０１によって抽出された白色画像に対してラベリング処理を行う。ラベリング処理とは、抽出された白色画像に対して、抽出された白色画像であることを示す識別可能な符号（ラベル）を付与する処理である。ラベリング処理部１０７によって付与されるラベルは任意である。例えば、抽出された白色画像を識別するユニークな番号を付与するようにしてもよい。また、ラベルには、大型封筒１００における宛名ラベルの貼付位置を示すデータを含ませるようにしてもよい。
ラベリング処理部１０７は、第１のラベリング処理部１０７−１と第２のラベリング処理部１０７−２を有する。第１のラベリング処理部１０７−１は、大型封筒１００が、一様性判定部１０６によって無地と判定されたときに用いられる。一方、第２のラベリング処理部１０７−２は、大型封筒１００が、一様性判定部１０６によって無地ではないと判定されたときに用いられる。

ラベル内穴判定部１０８は、第２のラベリング処理部１０７−２でラベリング処理された白色画像に含まれる黒画素（穴）を判定する。白色の宛名ラベルに含まれる文字等の黒色部分は、宛名ラベルの面積に比べて小さく、白色画像に含まれる黒画素の面積は所定値以下となる。一方、絵柄の多い封筒に四角い枠で囲んだ注意書きや会社名は、宛名ラベルに比べて白色画像に含まれる黒画素の面積が所定値より大きくなる。ラベル内穴判定部１０８は、白色画像に含まれる黒画素の面積が所定値より大きい場合、ラベリングされた白色画像は宛名ラベルではないとして、処理対象から排除する。
したがって、大型封筒１００の表面にテキスト等が書き込まれた長方形の図柄や模様があった場合であっても、宛名ラベルとの識別が可能となる。

ラベル内穴埋め部１０９は、ラベル内穴判定部１０８で宛名ラベルではないとして排除された白色画像以外の白色画像に対して、穴埋め処理を行う。ラベル内穴埋め部１０９は、膨張処理と収縮処理を行うことによりラベル内の穴を埋め処理を実行する。すなわち、ラベル内穴埋め部１０９は、二値化部１０２によって二値化された注目画素の周辺に白色の画素がある場合に注目画素を白色に置き換える膨張処理を行う。また、ラベル内穴埋め部１０９は、注目画素の周辺に黒色の画素がある場合に注目画素を黒色に置き換える収縮処理を行う。また、ラベル内穴埋め部１０９は、注目画素の周辺の画素の最大輝度値を注目画素の輝度値に置き換える膨張処理と、注目画素の周辺の画素の最小輝度値を注目画素の輝度値に置き換える収縮処理とを実行するようにしてもよい。ラベル内穴埋め部１０９は、上記のような膨張処理と収縮処理とを繰り返して行うようにしてもよい。例えば、ラベル内穴埋め部１０９は、同じ回数分だけ膨張処理と収縮処理とを繰り返すクロージング処理を実行するようにしてもよい。また、ラベル内穴埋め部１０９は、同じ回数分だけ収縮処理と膨張処理とを繰り返すクロージング処理を実行するようにしてもよい。また、ラベル内穴埋め部１０９は、入力される白色画像からオープニングした画像を差し引いたトップハット処理を実行するようにしてもよい。

プロファイル部１１０は、ラベル内穴埋め部１０９が出力する画像における縦軸方向の白色画素数と横軸方向の白色画素数をそれぞれ計数し、縦軸方向のプロファイルと横軸方向のプリファイルを求める。すなわち、プロファイル部１１０は、画像の縦軸方向及び横軸方向に白色画素のヒストグラムを生成する。

濃度ヒストグラム部１１１は、一様性判定部１０６において無地封筒であると判定された画像全体に対して白色抽出部１０１で抽出された白色画像の濃度ヒストグラムを生成する。濃度ヒストグラムは無地封筒の濃度においてピークを示す。

閾値決定部１１２は、濃度ヒストグラム部１１１で検出された濃度を閾値として決定する。すなわち、閾値決定部１１２によって決定される閾値以上の濃度は、大型封筒１００の地合とすることができる。閾値決定部１１２で決定された閾値は、二値化部１０２に出力されて、二値化部１０２によって大型封筒１００の地合が消去可能になる。

宛名ラベル領域推定部１１３は、入力された画像の中で、所定の面積を持つ矩形（長方形）に近い形状の画像の領域を宛名ラベルであると判断し、その領域の情報を宛名領域候補出力部１１４に出力する。宛名ラベル領域推定部１１３が出力する領域の情報は、例えば、Ｘ軸及びＹ軸で表される座標領域の情報であってもよい。なお、本実施形態では、宛名ラベル領域推定部１１３は、矩形を宛名ラベルの領域として推定する場合を説明したが、宛名ラベルの領域は他の形状であってもよい。例えば、宛名ラベルの形状が予め判っている場合、その形状に近い形状の画像領域を宛名ラベルの領域として推定するようにしてもよい。

宛名領域候補出力部１１４は、宛名ラベル領域推定部１１３から入力された領域の情報を、図１で説明したＯＣＲ２０に出力する。宛名ラベルの領域の情報は、カラーカメラ４０から入力された画像とともに出力するようにしてもよい。また、宛名領域候補出力部１１４は、白色物品判定部１０３において大型封筒１００が白色封筒であると判定されたときには、宛名ラベルの領域の情報を含まないカラーカメラ４０から入力された画像をＯＣＲ２０に出力する。
以上で、図２を用いた、ラベル領域検知装置１０の説明を終了する。

次に、図３を用いて、ラベル領域検知装置１０の動作の説明をする。図３は、本実施形態におけるラベル領域検知装置の動作例を示すフローチャートである。
図３において、ラベル領域検知装置１０は、白色抽出部１０１において、カラーカメラ４０から入力された画像に対して白色抽出処理を実行し、白色画像を抽出する（ステップＳ１１）。
ステップＳ１１の処理を実行後、ラベル領域検知装置１０は、二値化部１０２において、抽出された白色画像に対して二値化部１０２において、二値化処理を実行する（ステップＳ１２）。
ステップＳ１２の処理を実行後、ラベル領域検知装置１０は、白色物品判定部１０３において、大型封筒１００が白色封筒か否かの判断を行う（ステップＳ１３）。

大型封筒１００が白色封筒であると判断されたとき（ステップＳ１３；ＹＥＳ）、ラベル領域検知装置１０は、宛名領域候補出力部１１４において、カラーカメラ４０から入力された画像をＯＣＲ２０に出力する（ステップＳ３２）。

一方、大型封筒１００が白色封筒ではないと判断されたとき（ステップＳ１３；ＮＯ）、ラベル領域検知装置１０は、グレー画像変換部１０４において、カラーカメラ４０から入力されたカラー画像をグレー画像に変換する（ステップＳ１４）。
ステップＳ１４を実行後、ラベル領域検知装置１０は、分散値計算部１０５において、変換されたグレー画像の分散値を計算する（ステップＳ１５）。
ステップＳ１５の処理を実行後、ラベル領域検知装置１０は、一様性判定部１０６において、大型封筒１００が無地封筒であるか否かを判定する（ステップＳ１６）。

大型封筒１００が無地封筒であると判定した場合（ステップＳ１６；ＮＯ）、ラベル領域検知装置１０は、白色抽出部１０１において白色画像抽出処理を実行し、白色画像を抽出する（ステップＳ１７）。
ステップＳ１７の処理を実行後、ラベル領域検知装置１０は、二値化部１０２において、抽出された白色画像に対して二値化処理を実行する（ステップＳ１８）。
ステップＳ１８の処理を実行後、ラベル領域検知装置１０は、第２のラベリング処理部１０７−２において、二値化された白色画像に対してラベリング処理を実行する（ステップＳ１９）。
ステップＳ１９の処理を実行後、ラベル領域検知装置１０は、ラベル内穴判定部１０８において、ラベル内穴判定処理を実行する（ステップＳ２０）。
ステップＳ２０の処理を実行後、ラベル領域検知装置１０は、ラベル内穴埋め部１０９において、ラベル内穴埋め処理を実行する。
ステップＳ２１の処理を実行後、ラベル領域検知装置１０は、プロファイル部１１０において、プロファイル処理を実行する（ステップＳ２２）。
ステップＳ２２の処理を実行後、ラベル領域検知装置１０は、宛名ラベル領域推定部１１３において、宛名ラベル領域推定処理を実行する（ステップＳ３１）。

一方、大型封筒１００が無地封筒であると判定した場合（ステップＳ１６；ＹＥＳ）、ラベル領域検知装置１０は、白色抽出部１０１において白色画像抽出処理を実行する（ステップＳ２３）。
ステップＳ２３の処理を実行後、ラベル領域検知装置１０は、濃度ヒストグラム部１１１において、抽出された白色画像の濃度ヒストグラムを生成する（ステップＳ２４）。
ステップＳ２４の処理を実行後、ラベル領域検知装置１０は、閾値決定部１１２において、大型封筒１００の地合いの濃度に基づく閾値を決定する（ステップＳ２５）。
ステップＳ２５の処理を実行後、ラベル領域検知装置１０は、二値化部１０２において、決定された閾値に基づき、ステップＳ２３において抽出された白色画像に対して二値化処理を実行する（ステップＳ２６）。
ステップＳ２６の処理を実行後、ラベル領域検知装置１０は、第１のラベリング処理部１０７において、二値化された白色画像の領域にラベリング処理を実行する（ステップＳ２７）。
ステップＳ２７の処理を実行後、ラベル領域検知装置１０は、宛名ラベル領域推定部１１３において、宛名ラベル領域推定処理を実行する（ステップＳ３１）。

一方、大型封筒１００が無地封筒であると判定した場合（ステップＳ１３；ＮＯ）、ラベル領域検知装置１０は、白色抽出部１０１において白色画像抽出処理を実行し、白色画像を抽出する（ステップＳ１７）。
ステップＳ１７の処理を実行後、ラベル領域検知装置１０は、二値化部１０２において、抽出された白色画像に対して二値化処理を実行する（ステップＳ１８）。
ステップＳ１８の処理を実行後、ラベル領域検知装置１０は、第２のラベリング処理部１０７−２において、二値化された白色画像に対してラベリング処理を実行する（ステップＳ１９）。
ステップＳ１９の処理を実行後、ラベル領域検知装置１０は、ラベル内穴判定部１０８において、ラベル内穴判定処理を実行する（ステップＳ２０）。
ステップＳ２０の処理を実行後、ラベル領域検知装置１０は、ラベル内穴埋め部１０９において、ラベル内穴埋め処理を実行する。
ステップＳ２１の処理を実行後、ラベル領域検知装置１０は、プロファイル部１１０において、プロファイル処理を実行する（ステップＳ２２）。
ステップＳ２２の処理を実行後、ラベル領域検知装置１０は、宛名ラベル領域推定部１１３において、宛名ラベル領域推定処理を実行する（ステップＳ３１）。

ステップＳ３１の処理を実行後、ラベル領域検知装置１０は、宛名領域候補出力部１１４において、カラーカメラ４０から入力された画像と宛名ラベル領域推定処理（ステップＳ３１）で推定した宛名ラベル領域の情報をＯＣＲ２０に出力する（ステップＳ３２）。
以上で、図３を用いた、ラベル領域検知装置１０の動作の説明を終了する。

次に、図４〜図９を用いて、ラベル領域検知装置１０によって処理される画像の説明をする。図４は、本実施形態におけるラベル領域検知装置に入力される処理前のサンプル画像１を示す図である。図５は、本実施形態におけるラベル領域検知装置において白色抽出されて二値化かれたサンプル画像１を示す図である。図６は、本実施形態におけるラベル領域検知装置から出力される処理後のサンプル画像１を示す図である。図７は、本実施形態におけるラベル領域検知装置に入力される処理前のサンプル画像１を示す図である。図８は、本実施形態におけるラベル領域検知装置において白色抽出されて二値化かれたサンプル画像１を示す図である。図９は、本実施形態におけるラベル領域検知装置１０から出力される処理後のサンプル画像１を示す図である。
ここで、図４及び図７は、ラベル領域検知装置１０に入力されるカラー画像（元画像）を示す。図５及び図８は、図３におけるステップＳ１８の二値化処理の処理後の画像を示す。また、図６及び図９は、図３におけるステップＳ３２の宛名領域候補出力処理の処理後の画像を示す。

図４において、大型封筒１００を撮影した画像には、図示左下に、宛名ラベルの画像を含む。また、図４に示す画像には、宛名ラベルの上部にコメントが記載された矩形の領域と、図示右上に郵便の料金に関する方法と郵便の種類が記載された２つの矩形領域（以下、「宛名ラベルではない矩形領域」という。）が含まれる。宛名ラベルではない矩形領域は、例えば、矩形領域に占める文字（穴）の割合が宛名ラベルの矩形領域に占める文字（穴）の割合に比べて大きい、すなわち、白色画像に含まれる黒画素の面積が所定値より大きいものとする。また、図４図示左上には、本の形状をした白色の模様がある。
図４に示す大型封筒は、文字や図形が印刷されており、図３のステップＳ１３で判断される白色封筒ではなく、またステップＳ１６で判断される無地の封筒でもない。したがって、図４に示す元画像に対しては、図３のステップＳ１７以下の処理が実行されることになる。

図５において、元画像から抽出された二値化された白色画像は、白色と黒色が反転されて表されている。図４で説明した矩形領域は、白色画像として抽出されている。本実施形態における宛名ラベルではない矩形領域は、上述したように、白色画像に含まれる黒画素の面積が所定値より大きいため、図３のステップＳ２０の処理によって宛名ラベルではないと判定される。また、図５図示左上の本の形状は、図３のステップＳ３１の宛名ラベル領域推定処理において、矩形ではないとして宛名ラベルではないと判定される。

図６において、図３のステップＳ３１において宛名ラベルと判定された領域は、図示太線で囲まれている。なお、本実施形態では宛名ラベルと判定された領域を図６に示す太線で表現しているが、図３のステップＳ３２において出力される宛名ラベル領域の情報は、座標値等の数値データであってもよい。

以上の処理によって、宛名ラベルの画像領域を特定することにより、ＯＣＲ２０は、図４で示す画像全体の中で図６で示す太線で囲んだ部分のみを読取ればよい。したがって、ＯＣＲ２０による認識率が向上するとともに、ＯＣＲ処理に掛る処理時間の短縮を図ることができる。

図７、図８及び図９に示す図は、図４、図５、及び図６に示す図と同じ処理が実行されたものを示している。すなわち、図７は、ラベル領域検知装置１０に入力される元画像を示し、図８は、ステップＳ１８の処理の出力を示し、また、図９はラベル領域検知装置１０から出力される元画像を示す。
但し、図７に示す、宛名ラベルの図示左側にあるスタンプ画像の白色画像に含まれる黒画素の面積は所定値以下であるものとする。したがって、図８に示す画像に対して、ラベル領域検知装置１０は、図９に示すように、２つの矩形領域を宛名ラベル領域として検出している。

図７に示すサンプル画像では、上記のとおり、２つの矩形領域を宛名ラベル領域として検出したが、ＯＣＲ２０が読取る部分は、図７で示す画像全体の中で特定される。したがって、ＯＣＲ２０による認識率が向上するとともに、ＯＣＲ処理に掛る処理時間の短縮を図ることができる。また、ＯＣＲ処理によって、スタンプ画像の部分には、宛名の情報を含まないことは容易に判断可能である。
以上で、図４〜図９を用いた、ラベル領域検知装置１０によって処理される画像の説明を終了する。

次に、図１０を用いて、ラベル領域検知装置の最小構成を説明する。図１０は、本実施形態におけるラベル領域検知装置の最小構成例を示す図である。
図１０において、ラベル領域検知装置１２は、宛名ラベルが貼付された物品を撮影した画像から前記宛名ラベルの画像領域を推定するラベル領域検知装置であって、前記画像に対して色空間をＨＳＶ色空間に変換するＨＳＶ変換を行うことによって白色成分を抽出する白色抽出部１２１と、前記白色抽出部１２１で抽出された白色成分に基づき、前記物品が白色か否かを判定する白色物品判定部１２２と、前記白色物品判定部１２２が前記物品を白色で無いと判定した場合に、前記画像の濃度分布が一様性であるか否かを判定する一様性判定部１２３と、前記一様性判定部１２３が前記画像の濃度分布が一様性であると判定した場合、前記濃度分布のヒストグラムを測定する濃度ヒストグラム部１２４と、前記一様性判定部１２３が前記画像の濃度分布が一様性でないと判定した場合、前記白色抽出部１２１で抽出された白色成分を含む穴判定領域に占める白色の面積が所定値より大きいか否かを判定するラベル内穴判定部１２５と、前記ラベル内穴判定部１２５で前記穴判定領域に占める白色の面積が所定値より大きいと判断された白色領域に対して穴埋め処理を行うラベル内穴埋め部１２６と、前記濃度ヒストグラム部１２４で測定した前記濃度分布のヒストグラム又はラベル内穴埋め部１２６で穴埋め処理された白色領域に基づき、宛名ラベルの画像領域を推定する宛名ラベル領域推定部１２７とを備える。
以上で、図１０を用いて、ラベル領域検知装置の最小構成の説明を終了する。

その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。

１ ラベル領域検知システム
１０、１２ ラベル領域検知装置
１０１、１２１ 白色抽出部
１０２ 二値化部
１０３、１２２ 白色物品判定部
１０４ グレー画像変換部
１０５ 分散値計算部
１０６、１２３ 一様性判定部
１０７ ラベリング処理部
１０７−１ 第１のラベリング処理部
１０７−２ 第２のラベリング処理部
１０８、１２５ ラベル内穴判定部
１０９、１２６ ラベル内穴埋め部
１１０ プロファイル部
１１１、１２４ 濃度ヒストグラム部
１１２ 閾値決定部
１１３、１２７ 宛名ラベル領域推定部
１１４ 宛名領域候補出力部
２０ ＯＣＲ
３０ 区分先決定機
４０ カラーカメラ
５０ 搬送制御装置
６０ａ、６０ｂ、６０ｃ、６０ｄ 容器
１００ 大型封筒

Claims (8)

1. 宛名ラベルが貼付された物品を撮影した画像から前記宛名ラベルの画像領域を推定するラベル領域検知装置であって、
   前記画像に対して色空間をＨＳＶ色空間に変換するＨＳＶ変換を行うことによって白色成分を抽出する白色抽出部と、
   前記白色抽出部で抽出された白色成分に基づき、前記物品が白色か否かを判定する白色物品判定部と、
   前記白色物品判定部が前記物品を白色で無いと判定した場合に、前記画像の濃度分布が一様性であるか否かを判定する一様性判定部と、
   前記一様性判定部が前記画像の濃度分布が一様性であると判定した場合、前記濃度分布のヒストグラムを測定する濃度ヒストグラム部と、
   前記一様性判定部が前記画像の濃度分布が一様性でないと判定した場合、前記白色抽出部で抽出された白色成分を含む穴判定領域に占める白色の面積が所定値より大きいか否かを判定する穴判定部と、
   前記穴判定部で前記穴判定領域に占める白色の面積が所定値より大きいと判断された白色領域に対して穴埋め処理を行うラベル内穴埋め部と、
   前記濃度ヒストグラム部で測定した前記濃度分布のヒストグラム又はラベル内穴埋め部で穴埋め処理された白色領域に基づき、宛名ラベルの画像領域を推定する宛名ラベル領域推定部と
   を備える、ラベル領域検知装置。
2. 濃度ヒストグラム部で測定された濃度分布のヒストグラムから白色の閾値を決定する閾値決定部と、
   前記閾値決定部で決定された白色の閾値に基づき、前記白色抽出部で抽出された白色成分を二値化する二値化部と
   をさらに備え、
   前記宛名ラベル領域推定部は、前記二値化部で二値化された白色成分に基づき宛名ラベルの画像領域を推定する、請求項１に記載のラベル領域検知装置。
3. 前記白色物品判定部は、前記白色抽出部で抽出された白色成分の面積と前記物品の画像の面積とを比較して前記物品が白色物品か否かを判定する、請求項１または２に記載のラベル領域検知装置。
4. 前記ラベル内穴埋め部は、二値化された注目画素の周辺に白色の画素がある場合に前記注目画素を白色に置き換える膨張処理と、前記注目画素の周辺に黒色の画素がある場合に前記注目画素を黒色に置き換える収縮処理とを実行する、請求項１から３のいずれか１項に記載のラベル領域検知装置。
5. 前記ラベル内穴埋め部は、注目画素の周辺の画素の最大輝度値を前記注目画素の輝度値に置き換える膨張処理と、前記注目画素の周辺の画素の最小輝度値を前記注目画素の輝度値に置き換える収縮処理とを実行する、請求項１から３のいずれか１項に記載のラベル領域検知装置。
6. 宛名ラベルが貼付された物品を撮影した画像から前記宛名ラベルの画像領域を推定するラベル領域検知方法であって、
   前記画像に対して色空間をＨＳＶ色空間に変換するＨＳＶ変換を行うことによって白色成分を抽出するステップと、
   抽出された白色成分に基づき、前記物品が白色か否かを判定するステップと、
   前記物品が白色で無いと判定された場合に、前記画像の濃度分布が一様性であるか否かを判定するステップと、
   前記画像の濃度分布が一様性であると判定された場合、前記濃度分布のヒストグラムを測定するステップと、
   前記画像の濃度分布が一様性でないと判定された場合、抽出された白色成分を含む穴判定領域に占める白色の面積が所定値より大きいか否かを判定するステップと、
   前記穴判定領域に占める白色の面積が所定値より大きいと判断された白色領域に対して穴埋め処理を行うステップと、
   測定された前記濃度分布のヒストグラム又はラベル内穴埋め部で穴埋め処理された白色領域に基づき、宛名ラベルの画像領域を推定するステップと
   を有する、ラベル領域検知方法。
7. 宛名ラベルが貼付された物品を撮影した画像から前記宛名ラベルの画像領域を推定するラベル領域検知プログラムであって、
   前記画像に対して色空間をＨＳＶ色空間に変換するＨＳＶ変換を行うことによって白色成分を抽出する処理と、
   抽出された白色成分に基づき、前記物品が白色か否かを判定する処理と、
   前記物品が白色で無いと判定された場合に、前記画像の濃度分布が一様性であるか否かを判定する処理と、
   前記画像の濃度分布が一様性であると判定された場合、前記濃度分布のヒストグラムを測定する処理と、
   前記画像の濃度分布が一様性でないと判定された場合、抽出された白色成分を含む穴判定領域に占める白色の面積が所定値より大きいか否かを判定する処理と、
   前記穴判定領域に占める白色の面積が所定値より大きいと判断された白色領域に対して穴埋め処理を行う処理と、
   測定された前記濃度分布のヒストグラム又はラベル内穴埋め部で穴埋め処理された白色領域に基づき、宛名ラベルの画像領域を推定する処理と
   をコンピュータに実行させる、ラベル領域検知プログラム。
8. 請求項１から請求項５のいずれか１項に記載のラベル領域検知装置と、
   宛名ラベルが貼付された物品を撮影して、撮影した画像を前記ラベル領域検知装置に出力する撮影装置と、
   前記ラベル領域検知装置で検出されたラベルの画像領域の文字を読取るＯＣＲ部と、
   前記ＯＣＲ部で読取った文字に基づき、区分先を決定する、区分先決定機と
   を備える、ラベル領域検知システム。