JP5950317B1

JP5950317B1 - コード認識システム、コード認識方法、コード認識プログラム、及び荷物仕分システム

Info

Publication number: JP5950317B1
Application number: JP2016034810A
Authority: JP
Inventors: 好則坂部; 松尾　健; 健松尾; 昌之藤井
Original assignee: Ics Sakabe
Current assignee: Ics Sakabe
Priority date: 2016-02-25
Filing date: 2016-02-25
Publication date: 2016-07-13
Anticipated expiration: 2036-02-25
Also published as: JP2017148751A

Abstract

【課題】向きが定まっていないコードを認識できるコード認識システム、コード認識方法、コード認識プログラム、及び荷物仕分システムを提供する。【解決手段】コード認識方法は、複数の記号から構成され荷物の行き先を示すコードが表示されたラベルを撮像し、撮像画像を得るステップＳａ１と、撮像画像を処理した処理画像を複数のブロブＢ１に分割するステップＳａ４と、各ブロブＢ１の傾きを打ち消す方向にブロブＢ１を回転させ、ブロブＢ１が数字である確率Ｐｒ１を求めるステップＳａ５と、複数のブロブＢ１の中から、確率Ｐｒ１が予め決められた大きさ以上となるブロブＢ１を抽出するステップＳａ５と、抽出されたブロブＢ１の傾きの代表値に基づいて記号が並ぶ方向及び間隔を求め、方向及び間隔が予め決められた条件を満たすブロブＢ１をコードとして認識するステップＳａ６〜Ｓａ１０と、を含む。【選択図】図１

Description

本発明は、コード認識システム、コード認識方法、コード認識プログラム、及び荷物仕分システムに関する。

特許文献１には、小荷物の自動分類用装置が記載されている。
この自動分類用装置は、分類されるべき一連の品物であって、そのような各品物にそれぞれの機械可読識別コードがマーク付けされており、かつ、その一連の品物で品物ごとに異なるそのコードに対する位置にそれぞれの文字がマーク付けされている一連の品物の１つの品物を受け取るように構成された自動分類用装置であって、品物上のコードの場所を確定し、そのコードの場所に応じてその品物上の文字の位置を見つけ、その文字を処理してその品物の宛先を確定するように構成されたプロセッサを含む。

特表２００４−５００９７４号公報

ここで一般に、荷物に貼付されたラベルの向きが定まっていないため、ラベルに表記された荷物の行き先を示すコードを画像認識することは困難であった。なお、このコードは、宅配業者によって「宅配コード」や「仕分けコード」などと呼ばれ、複数の記号から構成されている。
本発明は、向きが定まっていないコードを認識できるコード認識システム、コード認識方法、コード認識プログラム、及び荷物仕分システムを提供することを目的とする。

前記目的に沿う第１の発明に係るコード認識システムは、複数の記号から構成され荷物の行き先を示すコードが表示されたラベルを撮像する撮像部と、
前記撮像部によって撮像された前記ラベルの撮像画像を処理する画像処理部と、を備え、
前記画像処理部が、前記撮像画像を処理し、複数のブロブに分割するステップと、
前記各ブロブの傾きを打ち消す方向に当該ブロブを回転させ、当該ブロブが数字である確率Ｐｒ１を求めるステップと、
前記複数のブロブの中から、前記確率Ｐｒ１が予め決められた大きさ以上となる前記ブロブを抽出するステップと、
抽出された前記ブロブの傾きの代表値に基づいて前記記号が並ぶ方向及び間隔を求め、当該方向及び当該間隔が予め決められた条件を満たす前記ブロブを前記コードとして認識するステップと、を実行する。

前記目的に沿う第２の発明に係るコード認識システムは、複数の記号から構成され荷物の行き先を示すコードが表示されたラベルを撮像する撮像部と、
前記撮像部によって撮像された前記ラベルの撮像画像を処理する画像処理部と、を備え、
前記画像処理部が、前記撮像画像を処理した処理画像を複数のブロブ分割するステップと、
前記各ブロブの傾きを打ち消す方向に当該ブロブを回転させ、当該ブロブが数字である確率Ｐｒ１を求めるステップと、
前記複数のブロブの中から、前記確率Ｐｒ１が予め決められた大きさ以上となる前記ブロブを抽出するステップと、
抽出された前記ブロブの傾きの代表値に基づいて、前記処理画像の傾きを打ち消す方向に回転させた補正処理画像を求めるステップと、
前記補正処理画像に基づいて、前記コードを認識するステップと、を実行する。

前記目的に沿う第３の発明に係るコード認識方法は、複数の記号から構成され荷物の行き先を示すコードが表示されたラベルの撮像画像を処理し、複数のブロブに分割するステップと、
前記各ブロブの傾きを打ち消す方向に当該ブロブを回転させ、当該ブロブが数字である確率Ｐｒ１を求めるステップと、
前記複数のブロブの中から、前記確率Ｐｒ１が予め決められた大きさ以上となる前記ブロブを抽出するステップと、
抽出された前記ブロブの傾きの代表値に基づいて前記記号が並ぶ方向及び間隔を求め、当該方向及び当該間隔が予め決められた条件を満たす前記ブロブを前記コードとして認識するステップと、を含む。

前記目的に沿う第４の発明に係るコード認識システムは、複数の記号から構成され向きが不定のコードが表示された対象物を撮像する撮像部と、
前記撮像部によって撮像された前記対象物の撮像画像を処理する画像処理部と、を備え、
前記画像処理部が、前記撮像画像を処理し、複数のブロブに分割するステップと、
前記各ブロブの傾きを打ち消す方向に当該ブロブを回転させ、当該ブロブが前記記号である確率を求めるステップと、
前記複数のブロブの中から、前記確率が予め決められた大きさ以上となる前記ブロブを抽出するステップと、
抽出された前記ブロブの傾きの代表値に基づいて、前記コードの並ぶ方向及び間隔を求め、当該方向及び当該間隔が予め決められた条件を満たす前記ブロブを前記コードとして認識するステップと、を実行する。

前記目的に沿う第５の発明に係るコード認識方法は、複数の記号から構成され向きが不定のコードを認識するコード認識方法であって、
前記コードを含む画像を複数のブロブに分割するステップと、
前記各ブロブの傾きを打ち消す方向に当該ブロブを回転させ、当該ブロブが前記記号である確率を求めるステップと、
前記複数のブロブの中から、前記確率が予め決められた大きさ以上となる前記ブロブを抽出するステップと、
抽出された前記ブロブの傾きの代表値に基づいて、前記コードの並ぶ方向及び間隔を求め、当該方向及び当該間隔が予め決められた条件を満たす前記ブロブを前記コードとして認識するステップと、を含む。

前記目的に沿う第６の発明に係る荷物仕分システムは、複数の記号から構成され荷物の行き先を示すコードが表示されたラベルを撮像する撮像部と、
前記撮像部によって撮像された前記ラベルの撮像画像を処理し、前記コードを認識する画像処理部と、
前記画像処理部が認識した前記コードに基づいて、前記荷物を仕分ける仕分部と、を備え、
前記画像処理部が、前記撮像画像を処理し、複数のブロブに分割するステップと、
前記各ブロブの傾きを打ち消す方向に当該ブロブを回転させ、当該ブロブが数字である確率Ｐｒ１を求めるステップと、
前記複数のブロブの中から、前記確率Ｐｒ１が予め決められた大きさ以上となる前記ブロブを抽出するステップと、
抽出された前記ブロブの傾きの代表値に基づいて前記記号が並ぶ方向及び間隔を求め、当該方向及び当該間隔が予め決められた条件を満たす前記ブロブを前記コードとして認識するステップと、を実行する。

前記目的に沿う第７の発明に係るコード認識プログラムは、第３又は第５の発明に係るコード認識方法をコンピュータに実行させる。

本発明によれば、向きが定まっていないコードを認識できるコード認識システム、コード認識方法、コード認識プログラム、及び荷物仕分システムを提供できる。

本発明の第１の実施の形態に係る宅配コード認識システムの構成図である。同宅配コード認識システムの動作を示すフローチャートである。（Ａ）、（Ｂ）はそれぞれ、ブロブ処理Ａ及びブロブ処理Ｂを示すフローチャートである。同宅配コード認識システムの動作のステップＳａ２にて処理された処理画像である。同宅配コード認識システムの動作のステップＳａ４にて処理された画像である。同宅配コード認識システムの動作のステップＳａ５−１における処理を示す説明図である。同宅配コード認識システムの動作のステップＳａ５−３にて並べ替えられたブロブを示す説明図である。同宅配コード認識システムの動作のステップＳａ６にて処理された画像である。同宅配コード認識システムの動作のステップＳａ８にて処理された画像である。同宅配コード認識システムの動作のステップＳ１０における処理を示す説明図である。本発明の第２の実施の形態に係る宅配コード認識システムの動作を示すフローチャートである。

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。なお、図において、説明に関連しない部分は図示を省略する場合がある。

〔第１の実施の形態〕
本発明の第１の実施の形態に係る宅配コード認識システム（コード認識システム）１０は、図１に示すコンベヤＣＶ上を流れる荷物Ｐに貼付されたラベル（図４参照）を撮像し、ラベルに表示された、荷物の行き先を示すコード（以下、「宅配コード」という。）を認識できる。
ここで、宅配コードは、例えば、図４に示すコード「０８１４０５」のように、全６桁の数字（複数の記号の一例）で構成されており、右側の３桁の数字は左側の３桁の数字よりも大きさが小さくなっている。

宅配コード認識システム１０は、図１に示すように、撮像部２０及び画像処理部３０を備えている。
撮像部２０は、図示しないカメラも含めた複数のカメラ２０２を有し、荷物Ｐの底面以外のいずれかの面に貼付されたラベル（対象物の一例）を撮像できる。

画像処理部３０は、撮像部２０に接続され、撮像部２０が撮像した撮像画像を処理できる。画像処理部３０はＣＰＵ（不図示）を有し、このＣＰＵが実行するソフトウェア（コンピュータプログラム）によって実現される。

次に、宅配コード認識システム１０の動作（コードの認識方法）について説明する。宅配コード認識システム１０は、図２及び図３に示すステップＳａ１〜Ｓａ１０に従って実行される。
なお、これらのステップＳａ１〜Ｓａ１０は、画像処理部３０にて実行されるコンピュータプログラム（コード認識プログラム）により実現される。

（ステップＳａ１）
図１に示すように、撮像部２０がコンベヤＣＶ上を搬送される荷物Ｐのラベルを撮像する。撮像された画像データは、画像処理部３０に送信される。

（ステップＳａ２）
画像処理部３０が、撮像されたラベルの撮像画像に対して必要な前処理を行い、図４に示す処理画像を得る。
具体的には、画像処理部３０が、撮像画像をグレースケール化する。また、画像処理部３０が、必要に応じて照明及び光学系をシェーディング補正したり、ダイナミックレンジを伸長したりする。更に、画像処理部３０が、例えばメディアンフィルターによりノイズを低減する。
前処理は、これらの処理に限定されるものではなく、撮像画像に応じて適切な前処理が採用される。

（ステップＳａ３）
画像処理部３０が、前ステップＳａ２にて前処理された処理画像を基に、数字を含む文字領域を切り出す。本ステップにより、背景と認識対象となる文字領域とが分けられる。
具体的には、画像処理部３０が、例えば固定しきい値によりグレースケール画像を２値化する。

（ステップＳａ４）
画像処理部３０が、切り出された文字領域を複数のブロブＢ１に分割する。なお、図５において矩形状の枠で示された各部分がブロブＢ１であり、ラベル上部左側に表示された宅配コード「０８１４０５」を構成する数字がそれぞれ矩形状の枠で囲まれている。
なお、画像処理部３０は、分割された複数のブロブＢ１を大きさや形状等に基づいてフィルタリングし、数字が含まれていない可能性が高いブロブＢ１を排除する。

（ステップＳａ５）
（１）各ブロブの傾き補正（ステップＳａ５−１）
画像処理部３０が、各ブロブＢ１に外接する長方形を求める。画像処理部３０は、その長方形の基準座標軸に対する長辺が延びる方向の傾きθがゼロとなるように、ブロブＢ１の傾きをそれぞれ補正する。なお、図６は、宅配コード「０８１４０５」を構成する数字「０」についての補正を示している。
すなわち、画像処理部３０は、各ブロブＢ１の傾きを打ち消す方向にそのブロブＢ１を回転させる。
（２）確率計算（ステップＳａ５−２）
画像処理部３０が、例えばニューラルネットワークを用いたパターン認識により、各ブロブＢ１が０〜９のいずれかの数字である確率Ｐｒ１を求める。
（３）ブロブＢ１の抽出（ステップＳａ５−３）
画像処理部３０が、確率Ｐｒ１が予め決められた大きさ以上となる各ブロブＢ１を抽出した後、確率Ｐｒ１が大きい順に並べ替え、例えば図７に示すような処理結果を得る。図７は、数字である確率Ｐｒ１が高い順に上から並べられたブロブを示している。この処理により、数字を表すブロブと数字以外を表すブロブとが区別される。
（４）傾き推定（ステップＳａ５−４）
画像処理部３０が、抽出したブロブＢ１の補正前の長辺の傾きθをそれぞれ調べる。画像処理部３０は、これら長辺の傾きθの平均値θａｖｅを、ステップＳａ２にて得られた処理画像の傾きとして推定する。
なお、処理画像の傾きとして推定される値は、長辺の傾きθの平均値θａｖｅに限定されるものではない。処理画像の傾きとして推定される値は、そのグループの長辺の傾きの傾向を表す適切な代表値であれば任意でよい。他の代表値の一例として、中央値や最頻値が挙げられる。

（ステップＳａ６）
画像処理部３０が、推定された傾きに基づいて、ステップＳａ２にて得られた処理画像全体の傾きを補正し、傾きが補正された補正処理画像（図８参照）を得る。本ステップにより、基準座標軸に対する宅配コードの位置及び向きが定まる。

（ステップＳａ７）
画像処理部３０が、前ステップＳａ６にて得られた補正処理画像を基に、数字を含む文字領域を切り出す。本ステップにより、背景と認識対象となる文字領域とが分けられる。
具体的には、画像処理部３０が、例えば固定しきい値によりグレースケール画像を２値化する。

（ステップＳａ８）
画像処理部３０が、切り出された文字領域を複数のブロブＢ２に分割する。なお、図９において矩形状の枠で示された各部分がブロブＢ２であり、ラベル上部左側に表示された宅配コード「０８１４０５」を構成する数字がそれぞれ矩形状の枠で囲まれている。
なお、画像処理部３０は、分割された複数のブロブＢ２を大きさや形状等に基づいてフィルタリングし、数字が含まれていない可能性が高いブロブＢ２を排除する。

（ステップＳａ９）
（１）確率計算（ステップＳａ９−１）
画像処理部３０が、例えばニューラルネットワークを用いたパターン認識により、各ブロブＢ２が０〜９のいずれかの数字である確率Ｐｒ２を求める。
（２）ブロブＢ２の抽出（ステップＳａ９−２）
画像処理部３０が、確率Ｐｒ２が大きい各ブロブＢ２について、そのｙ座標が予め決められた範囲にある各ブロブＢ２を抽出する。

（ステップＳａ１０）
画像処理部３０が、抽出したブロブＢ２をｘ座標の順に並べ替えることで、全６桁の宅配コードが得られる。例えば、図１０に示すように、ｙ座標ｙ_１が予め決められた範囲にある「０」、「８」、「１」、「４」、「０」、「５」を示すブロブＢ２をｘ座標ｘ_１、ｘ_２、ｘ_３、ｘ_４、ｘ_５、ｘ_６の順に並べ替えることで、宅配コード「０８１４０５」が認識される。
すなわち、本ステップにおいて、画像処理部３０は、宅配コードを構成する数字が並ぶ方向及び間隔を調べ、この数字が並ぶ方向及び間隔が予め決められた条件を満たすブロブＢ２を宅配コードとして認識する。

このように、本実施の形態に係る宅配コード認識システム１０によれば、向きが定まっていない宅配コードを認識できる。
付言すると、宅配コードが認識できれば、認識した宅配コードに基づいて、荷物Ｐを行き先毎に仕分けをすることが容易となる。すなわち、図１に示すように、本実施の形態に係る宅配コード認識システム１０と、画像処理部３０によって認識された宅配コードに基づいて荷物を仕分ける仕分部４０と、を備えた荷物仕分システム５０を構成することもできる。

〔第２の実施の形態〕
続いて、本発明の第２の実施の形態に係る宅配コード認識システムについて説明する。第１の実施の形態に係る宅配コード認識システム１０と同一の構成要素については、同じ符号を付して詳しい説明を省略する。

本実施の形態に係る宅配コード認識システム１０は、第１の実施の形態に係る宅配コード認識システム１０とその動作（コードの認識方法）のみが相違する。
宅配コード認識システム１０は、図１１に示すステップＳｂ１〜Ｓｂ７に従って実行される。ただし、ステップＳｂ１〜Ｓｂ５については、それぞれ第１の実施の形態に係るステップＳａ１〜Ｓａ５（図２及び図３参照）と同一であるためその説明は省略し、以下、ステップＳｂ６、Ｓｂ７についてのみ説明する。
なお、ステップＳｂ１〜Ｓｂ７は、画像処理部３０にて実行されるコンピュータプログラム（コード認識プログラム）により実現される。

（ステップＳｂ６）
画像処理部３０が、抽出されたブロブＢ１について、推定された傾きに基づいて処理画像全体の傾きを補正したと仮定した場合にそのブロブＢ１の移動先となる移動後の座標をそれぞれ演算する。演算された座標は、移動後座標（ｘ_ｍ，ｙ_ｍ）として求められる。
すなわち、本ステップにおいては、画像処理部３０が、処理画像全体を補正することなく、補正によって移動する各ブロブＢ１の座標のみを演算する。
続いて画像処理部３０が、移動後座標のｙ座標ｙ_ｍが予め決められた範囲にある各ブロブＢ１を抽出する。

（ステップＳｂ７）
画像処理部３０が、抽出したブロブＢ１を移動後座標のｘ座標ｘ_ｍの順に並べ替えることで、全６桁の宅配コード「０８１４０５」が得られる。
すなわち、画像処理部３０は、宅配コードを構成する数字が並ぶ方向及び間隔を調べ、この数字が並ぶ方向及び間隔が予め決められた条件を満たすブロブＢ１を宅配コードとして認識する。

なお、本実施の形態においては、画像処理部３０が、抽出された各ブロブＢ１について、移動後の座標をそれぞれ演算したが、ブロブＢ１の座標を規定する基準座標系自体を、推定された傾きの分だけ回転させ、回転後の基準座標系におけるブロブＢ１の座標に基づいて宅配コードを認識してもよい。すなわち、画像処理部３０は推定された傾きに基づいて、宅配コードを構成する数字が並ぶ方向及び間隔を調べ、この数字が並ぶ方向及び間隔が予め決められた条件を満たすブロブＢ１を宅配コードとして認識できればよい。

以上、本発明の実施の形態を説明したが、本発明は、上記した形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
宅配コードは、全６桁の数字に限定されるものではなく、任意の桁数であってもよい。また、宅配コードは数字や文字を含む任意の記号であってもよく、宅配コードを構成する記号が、前述のコードの認識方法におけるステップＳａ５又はステップＳｂ５にてパターン認識されればよい。
更に、認識対象は宅配コードに限定されず、任意の対象物に表示された向きが不定の任意のコードであってもよい。

１０宅配コード認識システム
２０撮像部
３０画像処理部
４０仕分部
５０荷物仕分システム
２０２カメラ
ＣＶコンベヤ
Ｐ荷物

Claims

複数の記号から構成され荷物の行き先を示すコードが表示されたラベルを撮像する撮像部と、
前記撮像部によって撮像された前記ラベルの撮像画像を処理する画像処理部と、を備え、
前記画像処理部が、前記撮像画像を処理し、複数のブロブに分割するステップと、
前記各ブロブの傾きを打ち消す方向に当該ブロブを回転させ、当該ブロブが数字である確率Ｐｒ１を求めるステップと、
前記複数のブロブの中から、前記確率Ｐｒ１が予め決められた大きさ以上となる前記ブロブを抽出するステップと、
抽出された前記ブロブの傾きの代表値に基づいて前記記号が並ぶ方向及び間隔を求め、当該方向及び当該間隔が予め決められた条件を満たす前記ブロブを前記コードとして認識するステップと、を実行するコード認識システム。
複数の記号から構成され荷物の行き先を示すコードが表示されたラベルを撮像する撮像部と、
前記撮像部によって撮像された前記ラベルの撮像画像を処理する画像処理部と、を備え、
前記画像処理部が、前記撮像画像を処理した処理画像を複数のブロブに分割するステップと、
前記各ブロブの傾きを打ち消す方向に当該ブロブを回転させ、当該ブロブが数字である確率Ｐｒ１を求めるステップと、
前記複数のブロブの中から、前記確率Ｐｒ１が予め決められた大きさ以上となる前記ブロブを抽出するステップと、
抽出された前記ブロブの傾きの代表値に基づいて、前記処理画像の傾きを打ち消す方向に回転させた補正処理画像を求めるステップと、
前記補正処理画像に基づいて、前記コードを認識するステップと、を実行するコード認識システム。
複数の記号から構成され荷物の行き先を示すコードが表示されたラベルの撮像画像を処理し、複数のブロブに分割するステップと、
前記各ブロブの傾きを打ち消す方向に当該ブロブを回転させ、当該ブロブが数字である確率Ｐｒ１を求めるステップと、
前記複数のブロブの中から、前記確率Ｐｒ１が予め決められた大きさ以上となる前記ブロブを抽出するステップと、
抽出された前記ブロブの傾きの代表値に基づいて前記記号が並ぶ方向及び間隔を求め、当該方向及び当該間隔が予め決められた条件を満たす前記ブロブを前記コードとして認識するステップと、を含むコード認識方法。
複数の記号から構成され向きが不定のコードが表示された対象物を撮像する撮像部と、
前記撮像部によって撮像された前記対象物の撮像画像を処理する画像処理部と、を備え、
前記画像処理部が、前記撮像画像を処理し、複数のブロブに分割するステップと、
前記各ブロブの傾きを打ち消す方向に当該ブロブを回転させ、当該ブロブが前記記号である確率を求めるステップと、
前記複数のブロブの中から、前記確率が予め決められた大きさ以上となる前記ブロブを抽出するステップと、
抽出された前記ブロブの傾きの代表値に基づいて、前記コードの並ぶ方向及び間隔を求め、当該方向及び当該間隔が予め決められた条件を満たす前記ブロブを前記コードとして認識するステップと、を実行するコード認識システム。
複数の記号から構成され向きが不定のコードを認識するコード認識方法であって、
前記コードを含む画像を複数のブロブに分割するステップと、
前記各ブロブの傾きを打ち消す方向に当該ブロブを回転させ、当該ブロブが前記記号である確率を求めるステップと、
前記複数のブロブの中から、前記確率が予め決められた大きさ以上となる前記ブロブを抽出するステップと、
抽出された前記ブロブの傾きの代表値に基づいて、前記コードの並ぶ方向及び間隔を求め、当該方向及び当該間隔が予め決められた条件を満たす前記ブロブを前記コードとして認識するステップと、を含むコード認識方法。
複数の記号から構成され荷物の行き先を示すコードが表示されたラベルを撮像する撮像部と、
前記撮像部によって撮像された前記ラベルの撮像画像を処理し、前記コードを認識する画像処理部と、
前記画像処理部が認識した前記コードに基づいて、前記荷物を仕分ける仕分部と、を備え、
前記画像処理部が、前記撮像画像を処理し、複数のブロブに分割するステップと、
前記各ブロブの傾きを打ち消す方向に当該ブロブを回転させ、当該ブロブが数字である確率Ｐｒ１を求めるステップと、
前記複数のブロブの中から、前記確率Ｐｒ１が予め決められた大きさ以上となる前記ブロブを抽出するステップと、
抽出された前記ブロブの傾きの代表値に基づいて前記記号が並ぶ方向及び間隔を求め、当該方向及び当該間隔が予め決められた条件を満たす前記ブロブを前記コードとして認識するステップと、を実行する荷物仕分システム。
請求項３又は５記載のコード認識方法をコンピュータに実行させるコード認識プログラム。