JP5140820B2 - シンボル情報読取装置及びシンボル情報読取方法 - Google Patents

シンボル情報読取装置及びシンボル情報読取方法 Download PDF

Info

Publication number
JP5140820B2
JP5140820B2 JP2008182184A JP2008182184A JP5140820B2 JP 5140820 B2 JP5140820 B2 JP 5140820B2 JP 2008182184 A JP2008182184 A JP 2008182184A JP 2008182184 A JP2008182184 A JP 2008182184A JP 5140820 B2 JP5140820 B2 JP 5140820B2
Authority
JP
Japan
Prior art keywords
symbol information
correlation
barcode
information reading
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008182184A
Other languages
English (en)
Other versions
JP2009266190A (ja
Inventor
宏 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidec Sankyo Corp
Original Assignee
Nidec Sankyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidec Sankyo Corp filed Critical Nidec Sankyo Corp
Priority to JP2008182184A priority Critical patent/JP5140820B2/ja
Priority to US12/415,431 priority patent/US8146818B2/en
Publication of JP2009266190A publication Critical patent/JP2009266190A/ja
Application granted granted Critical
Publication of JP5140820B2 publication Critical patent/JP5140820B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image

Description

本発明は、バーコード等のシンボル情報を光学的に読み取るシンボル情報読取装置及びシンボル情報読取方法に関する。
従来より、紙やプラスチック等の媒体に固有の情報を付与し、これを自動認識するための手段として、バーコードが普及している。商品管理や物流管理などでは、レーザスキャナやCCDカメラ等のバーコード読取装置によって、商品に添付されたバーコードの情報読み取りが行われる。近年になって、IDカードに個人番号をバーコードで記録しておき、IDカードの全面をスキャンして画像を取り込み、その画像に基づいてバーコードを認識するタイプのバーコード読取装置が登場してきている。このようなタイプのバーコード読取装置の場合、二次元画像空間からバーコードシンボルを正確に検出できることが重要となり、その手法としてはいくつかある(特許文献1,2参照)。
特許文献1には、画像空間の局所領域で平行する走査線の導関数の類似度を評価値として、その領域がバーコードイメージを含んでいるかどうかを判定するものである。ここでの導関数は、微分演算によって導出されている。また、特許文献2には、バーコード候補領域の微分波形を求め、この波形のもついくつかの特徴量を数値化し、その数値の大小によって各領域がバーコードイメージを有しているか否かを判定している。ここでの微分波形も、微分演算によって求められている。
特開平4−225487号公報 特開2004−252897号公報
しかしながら、特許文献1や特許文献2に開示された技術では、バーコードシンボル位置の特定を行うにあたって、上述のとおり微分演算を含む複雑な計算処理が必要になるため、多くの演算量を必要とする。これは、処理時間を短縮化する際の弊害となる可能性がある。一方、処理時間の短縮化を目指して高性能の演算素子を使うことは可能であるが、そのような演算素子は高価であり、結果として読取装置全体のコストアップに繋がってしまう虞がある。
本発明は、このような点に鑑みてなされたものであり、その目的は、バーコード等のシンボル情報を読み取るのに必要な演算量を低減することが可能なシンボル情報読取装置及びシンボル情報読取方法を提供することにある。
以上のような課題を解決するために、本発明は、以下のものを提供する。
(1) シンボル情報が記録された媒体を撮像する撮像手段と、前記撮像手段により得られた前記媒体の画像データを記憶する画像メモリと、前記画像データを取り込んで、前記シンボル情報が媒体に記録された位置を検出する位置検出処理部と、を有するシンボル情報読取装置であって、前記位置検出処理部は、前記画像データを所定の領域で前記シンボル情報の走査線の走査方向に沿って輝度値の変動量を計算して、前記シンボル情報に該当する可能性のある仮領域を判定する仮領域判定部と、前記仮領域について、前記走査線の走査方向に対して直交する方向に隣接する隣接領域との相関を求めて、相関値の高い領域を示すマップを作成する相関マップ作成部と、前記相関マップについて、基本バーコードの有無を検索し、前記基本バーコードが存在すると判断した領域をラベリングするラベリング部と、ラベリングされた領域に基づき、前記シンボル情報が媒体に記録された位置を検出する位置決定部と、を備えることを特徴とするシンボル情報読取装置。
本発明によれば、撮像手段と、画像メモリと、この画像メモリ内の画像データを取り込んで、シンボル情報が媒体に記録された位置を検出する位置検出処理部と、を有するシンボル情報読取装置において、位置検出処理部に含まれる仮領域判定部によって、画像データを所定の領域でシンボル情報の走査線の走査方向に沿って輝度値の変動量(例えば分散や標準偏差など)が計算され、シンボル情報に該当する可能性のある仮領域が判定され、位置検出処理部に含まれる相関マップ作成部によって、その仮領域について、走査線の走査方向に対して直交する方向に隣接する隣接領域との相関が求められ、相関値の高い領域を示すマップが作成され、位置検出処理部に含まれるラベリング部によって、相関マップについて、基本バーコード(原始バーコードパターン)の有無が検索され、基本バーコードが存在すると判断した領域がラベリングされ、位置検出処理部に含まれる位置決定部によって、ラベリングされた領域に基づき、シンボル情報が媒体に記録された位置が検出されることとしたので、微分演算を必要とすることなくシンボル情報が媒体に記録された位置を検出することができ、ひいてはシンボル情報を読み取る際の演算量を低減することができる。
(2) 前記撮像手段は、密着型の一次元撮像素子であることを特徴とするシンボル情報読取装置。
本発明によれば、上述した撮像手段が、密着型の一次元撮像素子であったとしても、1次元バーコードなどのシンボル情報を読み取る際の演算量を減らすことができる。特に、上述した相関マップ作成部によれば、仮領域について、シンボル情報の走査線の走査方向に対して直交する方向に隣接する隣接領域との相関が求められ、相関値の高い領域を示すマップが作成されるが、これにより、シンボル情報が記録された位置のみを特徴付けることができる。
(3) シンボル情報が記録された媒体を撮像する撮像手段と、前記撮像手段により得られた前記媒体の画像データを記憶する画像メモリと、前記画像データを取り込んで、前記シンボル情報が媒体に記録された位置を検出する位置検出処理部と、を有するシンボル情報読取装置で使用されるシンボル情報読取方法であって、前記位置検出処理部において、前記画像データを所定の領域で前記シンボル情報の走査線の走査方向に沿って輝度値の変動量を計算して、前記シンボル情報に該当する可能性がある仮領域か否かを判定する第1ステップと、前記仮領域について、前記走査線の走査方向に対して直交する方向に隣接する隣接領域との相関を求めて、相関値の高い領域を示す相関マップを作成する第2ステップと、前記相関マップについて、基本バーコードの有無を検索し、前記基本バーコードが存在すると判断した領域をラベリングする第3ステップと、ラベリングされた領域に基づき、前記シンボル情報が媒体に記録された位置を検出する第4ステップと、を含むことを特徴とするシンボル情報読取方法。
本発明によれば、上述した(1)と同様に、撮像手段と画像メモリと位置検出処理部を有するシンボル情報読取装置で、シンボル情報に該当する可能性がある仮領域が否かを判定し(第1ステップ)、相関値の高い領域を示す相関マップを作成し(第2ステップ)、基本バーコードが存在すると判断した領域をラベリングした後(第3ステップ)、シンボル情報が媒体に記録された位置を検出することとしたので、シンボル情報を読み取る際の演算量を低減することができる。
(4) 前記第2ステップは、前記仮領域について、前記走査線の走査方向に対して直交する方向に隣接する2つの隣接領域との相関を求めて、これら2つの相関値の双方が所定の閾値よりも高い相関値を示した場合と、これら2つの相関値のいずれか一方が所定の閾値よりも高い相関値を示した場合とを区別して、前記相関マップを作成することを特徴とするシンボル情報読取方法。
本発明によれば、上述した第2ステップにおいて、仮領域について、走査線の走査方向に対して直交する方向に隣接する2つの隣接領域との相関を求めて、これら2つの相関値の双方が所定の閾値よりも高い相関値を示した場合と、これら2つの相関値のいずれか一方が所定の閾値よりも高い相関値を示した場合とを区別して(例えば前者と後者で、相関マップの要素になるポイントを変える等)、相関マップを作成することとしたので、シンボル情報の上下の中央部付近と上下端部付近とを相関マップ上で分けることができる。これにより、シンボル情報の位置をより正確に認識することができる。
(5) 前記第3ステップにおいて、前記2つの相関値の双方が所定の閾値よりも高い相関値を示す領域が、前記基本バーコードが存在すると判断した領域としてラベリングされることを特徴とするシンボル情報読取方法。
本発明によれば、第3ステップにおいて、2つの相関値の双方が所定の閾値よりも高い相関値を示す領域が、基本バーコードが存在すると判断した領域としてラベリングされることとしたので、位置決定部による位置検出において、より確度の高い部分(シンボル情報である確率が高い部分)を用いることができ、ひいては読取精度を向上させることができる。
(6) 前記第4ステップにおいて、ラベリングされた領域に基づいてシンボル情報が媒体に記録された上下左右の概略位置を決定し、当該概略位置で形成される矩形領域内のラベリング総数をカウントし、これを予めカウントされた前記相関マップ全体でのラベリング総数と一致するか否かを判定した後、前記シンボル情報が媒体に記録された位置を検出することを特徴とするシンボル情報読取方法。
本発明によれば、上述したステップ4において、ラベリングされた領域に基づいてシンボル情報が媒体に記録された上下左右の概略位置を決定し、その概略位置で形成される矩形領域内のラベリング総数をカウントし、これを予めカウントされた相関マップ全体でのラベリング総数と一致するか否かを判定した後、シンボル情報が媒体に記録された位置を検出することとしたので、概略上下左右位置情報の確度を高めることができ、ひいては読取精度を高めることができる。
(7) 前記ラベリング部には、複数の基本バーコードパターンが記憶されていることを特徴とするシンボル情報読取装置。
本発明によれば、上述したラベリング部には、複数の基本バーコードパターンが記憶されていることとしたので、1つの媒体に複数種類のバーコードが用いられている場合であっても、微分演算を必要とすることなくシンボル情報が媒体に記録された位置を検出することができる。
(8) 前記第3ステップにおいて、複数の基本バーコードパターンが前記位置検出処理部に記憶されており、当該複数の基本バーコードパターンを順次切り替えながら、基本バーコードパターンの検索を行うことを特徴とするシンボル情報読取方法。
本発明によれば、上述した第3ステップにおいて、複数の基本バーコードパターンが位置検出処理部に記憶されており、複数の基本バーコードパターンを順次切り替えながら、基本バーコードパターンの検索を行うこととしたので、1つの媒体に複数種類のバーコードが用いられている場合であっても、バーコードごとに基本バーコードパターンを適用し、目的のバーコードを選択的に検出できるので、シンボル情報の読み取り過程がシンプルとなり、ひいてはシンボル情報を読み取る際の演算量を低減することができる。
すなわち、近年、1つの記録媒体に複数種類のバーコードが用いられることがあり、この場合、複雑な処理計算でバーコード種類の特定及びバーコードシンボル位置の特定を行うと、時間が掛かったりコストアップに繋がったりする虞があるが、本発明によれば、シンボル情報の読み取り過程をシンプルにすることができ、ひいてはシンボル情報を読み取る際の演算量を低減することができる。
(9) 前記複数の基本バーコードパターンの順番を出現頻度に基づいて変更するようにしたことを特徴とするシンボル情報読取方法。
本発明によれば、上述した複数の基本バーコードパターンの順番を出現頻度に基づいて変更するようにしたので、必要とされる基本バーコードパターンの切り替え回数を減らし、シンボル情報を読み取る際の演算量を低減しつつ、情報読取の効率性を高めることができる。
本発明に係るシンボル情報読取装置及びシンボル情報読取方法によれば、微分演算の処理を行わなくてよいので、バーコード等のシンボル情報を読み取るのに必要な演算量を低減するができる。また、1つの媒体に複数種類のバーコードが用いられている場合であっても、シンボル情報の読み取り過程が複雑化するのを防ぐことができ、ひいてはシンボル情報を読み取る際の演算量を低減することができる。
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
[シンボル情報読取装置]
図1は、本発明の実施の形態に係るシンボル情報読取装置1の電気的構成を示すブロック図である。
図1において、シンボル情報読取装置1は、密着型の一次元撮像素子11aと、カード搬送機構(搬送ガイドを含む)11bと、を有する撮像装置11と、画像メモリ12と、データ処理装置20と、を備えている。また、データ処理装置20は、位置検出処理部13と復号処理部14から構成され、位置検出処理部13は、分散マップ計算部13aと、上下ライン間の相関計算部13bと、基本パターン検索部13cと、シンボル位置判定部13dとを備えている。なお、位置検出処理部13を構成する各要素は、CPUやROM,RAMといったハードウェアにより実現することができる。また、本実施形態では、位置検出処理部13と復号処理部14は別要素として図示しているが、復号処理部14が位置検出処理部13内に組み込まれていてもよい。また、カード等の記録媒体2には、シンボル情報の一例として、一次元バーコードのバーコードシンボル21が印刷されている。なお、符号Dは記録媒体2の搬送方向を示し、符号Lは、一次元バーコードのバーコードシンボル21の走査線を示す。
撮像装置11の撮像素子11aは、記録媒体2に印刷(記録)されたバーコードシンボル21を、光電変換によって撮像する。画像メモリ12は、撮像素子11aによって撮像されたバーコードシンボル21の画像データを記憶する。データ処理装置20は、バーコードシンボル21の画像データを画像メモリ12から取り込み、取り込んだ画像データに基づいて様々な処理を施す。特に、本実施形態では、データ処理装置20のうちの位置検出処理部13によって、バーコードシンボル21が記録媒体2に記録された位置が検出される。
このような電気的構成からなるシンボル情報読取装置1において、本発明の実施の形態に係るシンボル情報読取方法について説明する。
[シンボル情報読取方法]
図2は、本発明の実施の形態に係るシンボル情報読取方法の流れを示すフローチャートである。図2を用いて、本発明の実施の形態に係るシンボル情報読取方法の流れを概説する。
まず、処理プランの指定が行われる(ステップS1)。具体的には、記録媒体2に記録されているバーコードの種類、或いは読み取るべきバーコードの種類に応じて使用するバーコード検出器(検出フィルタ)の種類と適用順番の設定を行う。デフォルトでは、第一の検出フィルタ(後述する基本バーコードパターンの一つ)が指定されるが(ステップS2)、たとえば、バーコードの出現頻度に応じて順番を変えてもよい。
次に、シンボル検出(ステップS3)が行われる。具体的には、シンボル情報読取装置1の撮像素子11aは、カード搬送機構(搬送ガイド)11bに沿って所定位置まで移動した記録媒体2のバーコードシンボル21を、光電変換によって撮像する。そして、撮像されたバーコードシンボル21の画像データは、画像メモリ12において記憶される。なお、この画像メモリ12は、RAM,SDRAM,DDRSDRAM,RDRAMなど、画像データを記憶しうるものであれば如何なるものであってもよい。
その後、データ処理装置20における位置検出処理部13は、画像メモリ12に記憶された画像データを読み込み、分散マップ計算部13a→上下ライン間の相関計算部13b→基本パターン検索部13c→シンボル位置判定部13dを経由して、上述した第一の検出フィルタが担当するバーコードシンボル21の有無が決定され、有りと判定された場合には、その位置が決定される。
そして、データ処理装置20の復号処理部14において、復号の処理が行われる(ステップS4)。より具体的には、データ処理装置20の復号処理部14は、ステップS3において解析されたバーコードシンボル21の位置等に基づき、バーコードシンボル21の復号処理(走査線Lに沿ったデータ復号)を行う。
ここで、仮に検出すべきバーコードが残っている場合、すなわち未適用の検出フィルタがある場合には(ステップS5:YES)、次の検出フィルタが適用され(ステップS6)、処理はステップS3に移され、新たなシンボル検出及びシンボル復号が行われる(ステップS3及びステップS4)。一方で、未適用の検出フィルタがない場合には(ステップS5:NO)、一連のシンボル情報の読取処理は終了する。なお、検出フィルタの切り替え処理は、たとえば、位置検出処理部13の基本パターン検索部13cが行ってもよいし、復号処理部14が行ってもよい。また、検出フィルタを切り替える順番は、たとえば出現頻度に基づいて決めてもよい。これにより、シンボル情報読取処理の効率化を図ることができる。さらに、本実施形態では、1つの媒体に複数種類のバーコードが用いられている可能性を考慮して、処理プランの指定(ステップS1)や検出フィルタの更新(ステップS6)などを行うこととしたが、これらを省くことも可能である。すなわち、ステップS3及びステップS4のみで処理を行うことも可能である。
図3は、図2におけるステップS1のシンボル検出に関する情報処理の流れを示すフローチャートである。
図3において、最初に、記録媒体2の上下左右のエッジ位置が検出される(ステップS11)。より具体的には、分散マップ計算部13aは、分散マップを計算するための前処理として、画像メモリ12に記憶された記録媒体2の画像データより、上下左右のエッジ位置を検出する。図4は、画像メモリ12に記憶された記録媒体2の画像データの一例を示す。図4における周囲の実線は、エッジ検出によって得られた記録媒体2のエッジ位置を表している。
次に、分散マップの計算が行われる(ステップS12)。より具体的には、分散マップ計算部13aは、エッジラインを基準として、画像空間全体を図4に示すような格子状の小区画に分割し、区画ごとに区画内の一つのラインに沿って輝度値の変動量(例えば分散や標準偏差など)を計算する。この区画内の一つのラインとは、図1に示すバーコードシンボル21の走査線Lの走査方向と同じ方向に形成されており、例えば、図4に示す符号A0(B0)で示すラインである。なお、従来技術では、小区画内で複数ラインを指定して、まず微分演算した上で対応点ごとの積和演算を行う方法をとっている一方、本実施形態に係るシンボル情報読取方法では、単一ラインかつ分散(又は標準偏差等)の演算が行われる。そのため、本実施形態に係るシンボル情報読取方法は、従来技術と比べて演算量の少ない方法となっている。
全格子区画について同様の演算を行うと、格子座標に基づく変動量マップを得ることができる。図5は、マップ数値を画像で表現した図である。白い部分は変動が大きい部分を表し、黒い部分は変動が小さい部分を表している。そして、この変動量が大きい部分については、図4に示すバーコードシンボル21の位置に対応している。次に、図5に示すマップを2値化すると、図6に示すようになる。2値化の閾値は、変動量の分布状態から適したものを設定することができる。図6は、図5に示すマップを2値化した図である。
図6について詳述すると、例えば、右から4列目は、上から[0,0,0,0,0,0,1,1,1,0,0]という順で数値が並んでいるが(点線枠Xで示す部分)、これは、図4におけるA1〜A11という各単一ラインの分散を所定の閾値で2値化したものに相当する。図6に示すように、図4におけるバーコードシンボル21の位置には、1の値が9箇所、正方形状に並んでいることが分かる(そのうちの1辺が、図4に示すA7,A8及びA9である)。このように、上下左右のエッジ位置を検出し(図3のステップS11)、分散マップ(図5,図6)の計算(図3のステップS12)を行う分散マップ計算部13aは、画像データを所定の領域で走査線に沿って輝度値の変動量を計算して、シンボル情報に該当する可能性のある仮領域を判定する「仮領域判定部」の一例として機能する(請求項記載の第1ステップを実行する)。なお、ここでいう「仮領域」は、上述した1が9箇所並んでいる領域である。
ここで、図6に示すマップにおいて、1に該当するイメージ部分は、バーコード領域に合致している見込みが高い一方、必ずしもバーコード領域になるとは限らない。すなわち、バーコードシンボル21が位置する領域ではないが1となる領域が存在しており、その領域が「仮領域」として判定されることも考えられる。具体的には、図6において、点線枠Y内に存在する4個の1は、図4に示すように記録媒体2の表面に印字された文字が位置する領域に合致しているのであって、バーコードシンボル21が位置する領域に合致しているわけではない。
したがって、図3のステップS13として上下ライン相関の処理が行われる。これは、上下ライン間の相関計算部13bによって、バーコードシンボル21とそうでない部分とを分離するための処理である。具体的には、格子マップ上の1の各要素について、該当する区画のすぐ上とすぐ下に隣接する区画のライン相互の輝度の相関を計算する。それらの区画がバーコードシンボル21を含んでいれば、この相関値は大きな値を示すはずである。
図7は、上下ライン相関の処理結果を示す図である。具体的には、バーコードシンボル21の走査線の走査方向に沿って形成されたラインにおいて、注目ラインと上又は下のいずれかのラインとの相関値が高ければ、その要素に1ポイントが加算され、注目ラインと上及び下の両方のラインとの相関値が高ければ、その要素に2ポイントが加算される。ここで注意すべき点は、図6に示す値(0と1の2値)が処理対象ではない点である。図4に示す実際の画像データが処理対象になる。
たとえば、図6における点線枠Y内の4箇所のポイントを生成するため使われたラインは、図4でいえば、B2,B6,B3,B7の4ラインとなる。よって、これらが注目ラインとなる。B2のラインについての上下ライン相関の処理は、B2とB1の相関値と、B2とB3の相関値とが計算される。そして、いずれかが高ければ1ポイントが付与され、両方ともが高ければ2ポイントが付与される。一般的に、文字の領域では、バーコードシンボル21の領域と比べて、これらの相関値は高くならない(そのため、相関値が高いか低いかを決める閾値は、バーコードシンボル21の領域のみを特定できるような値に設定しておく)。同様に、図4に示すB6のラインについての上下ライン相関の処理は、B6とB5の相関値と、B6とB7の相関値とが計算され、B3のラインについての上下ライン相関の処理は、B3とB2の相関値と、B3とB4の相関値とが計算され、B7のラインについての上下ライン相関の処理は、B7とB6の相関値と、B7とB8の相関値とが計算されるが、いずれも高い値とはならない。その結果、図7の点線枠Y'に示すように、図6の点線枠Yに相当する箇所のポイントは、全て0となる。
同様にして、図6に示す点線枠Z内の9箇所のポイントを生成するために使われたラインは、図4でいえば、バーコードシンボル21を包含する9ラインとなる。たとえば、図6に示す点線枠Z内の左列の各ポイント(上から[1,2,1]の部分)を生成するために使われた3ラインに着目すると、図4でいえば、A7〜A9のラインとなる。A7を注目ラインとした場合、上下ライン相関の処理は、A7とA6の相関値と、A7とA8の相関値とが計算されるところ、バーコードシンボル21の性質上、A7とA8の相関値は極めて大きく(限りなく1に)なる。その結果、ポイントは1が加算される。また、A9を注目ラインとした場合も同様に、ポイントは1が加算される。そして、A8を注目ラインとした場合には、A8とA7の相関値も、A8とA9の相関値も、極めて大きくなることから、ポイントは2が加算される。このようにして、点線枠Z内の左列の各ポイント[1,2,1]が決まる。点線枠Z内の中央列の各ポイント[1,2,1]も、右列の各ポイント[1,2,1]も、同様に決まる。
図7に示すように、ポイント2をもつ要素は、特に上下の相関が強いことを表している。そして、このような要素は、同一ラインパターンが上下に積層しているバーコードの特徴を反映していると考えられ、バーコード領域である可能性が高いことが分かる。このように、上下ライン相関の処理(図3のステップS13)を行う上下ライン間の相関計算部13bは、上述した仮領域について、バーコードシンボル21の走査線(図1に示す符号L参照)の走査方向に対して直交する方向(図4や図6でいえば上下)に隣接する隣接領域との相関を求めて、相関値の高い領域を示すマップを作成する「相関マップ作成部」の一例として機能する(請求項記載の第2ステップを実行する)。また、本実施形態では、図7の点線枠Zを用いて説明したように、上下方向に隣接する2つの隣接領域(隣接するライン)との相関を求めた後、これら2つの相関値の双方が所定の閾値よりも高い相関値を示した場合(ポイント2が加算された場合)と、これら2つの相関値のいずれか一方が所定の閾値よりも高い相関値を示した場合(ポイント1が加算された場合)とを区別して、相関マップを作成するようにしている。これにより、バーコードシンボル21が存在する位置を的確に認識できる相関マップを作成することができる(図7参照)。
次に、基本パターン検索が行われる(図3のステップS14)。具体的には、相関マップを用いて、原始バーコードパターンの存在を調べる。たとえば、検出した最小のバーコードサイズが、相関マップ上で走査方向に[2,2,2]のマスクパターン(ポイント列)に対応する場合において、図7の相関マップをサーチして、このマスクパターン[2,2,2]が検出されたら、そのマスクパターンによって占有されるマップ要素に1を立て、それ以外は0とする。図7に示す相関マップに対して、このような処理を実行すると、図8に示すようなバーコードマップを得ることができる。図8は、図7に示す相関マップから得られたバーコードマップを示す図である。このように、基本パターン検索の処理(図3のステップS14)を行う基本パターン検索部13cは、相関マップについて、基本バーコード(本実施形態では上述したマスクパターン[2,2,2])の有無を検索し、その基本バーコードが存在すると判断した領域をラベリングする(本実施形態ではマップ要素に1を立てる)「ラベリング部」の一例として機能する(請求項記載の第3ステップを実行する)。
なお、本実施形態では、3要素からなるマスクパターンを考えたが、一列4要素からなるマスクパターンや、上下各3要素の計6要素からなるマスクパターンなど、「基本バーコード」(基本バーコードパターン)の態様としては種々変更可能である。また、本実施形態では、注目ラインについて、走査線の走査方向に対して直交する方向に隣接する隣接領域(隣接するライン)との相関を求め、これら2つの相関値の双方が所定の閾値よりも高い相関値を示す領域が、基本バーコードが存在すると判断した領域としてラベリングされるようにしている。これにより、文字部分を適切に排除し、より確度の高い部分(バーコードシンボル21が存在する部分のみ)を検索対象とすることができる。
また、位置検出処理部13の基本パターン検索部13cには、一又は複数の基本バーコードパターン(検出フィルタ)が記憶されている。そして、図2のフローチャートを用いて説明したように、一連のシンボル情報の読取処理の中で、基本バーコードパターンが順次切り替わるので(図2のステップS5,ステップSS6)、結果的に、基本パターン検索部13cは、複数の基本バーコードパターンを用いて基本パターン検索を行うことになる。
次に、シンボル位置判定が行われる(図3のステップS15)。具体的には、シンボル位置判定部13dにより、バーコードマップの重心(ycog,xcog)を求めることから開始される(重心は、一般的な定義に基づいて計算)。次に、バーコードマップの左端・右端・上端・下端位置を求める。左右位置は、バーコードマップ上でxcogを起点として、左右に要素和(加算範囲はycog±2)がゼロとなる座標xstartおよびxstopを検出し、そこで打ち切る。上下位置は、バーコードマップ上でycogを起点として、上下に要素和(加算範囲[xstart, xstop])がゼロとなる座標yupperおよびylowerを検出したら打ち切る。このようにして、格子座標上において、バーコードの4辺位置が特定される。そして、4辺の座標から画像空間上の座標を求める。格子区画ごとに画像空間との対応関係をもっているので、バーコードの左端BCDLは、区画(ycog, xstart)における区画開始点である。バーコードの右端BCDRは、区画(ycog, xstop)における区画終了点である。したがって、バーコードの左右範囲は、BCDL〜BCDRとなる。なお、この左右範囲については、マージンをみて、左右それぞれ一定画素数拡張することも可能である。バーコードの上下端の画像空間上の位置は、区画(yupper, xcog)のy座標と、区画(ylower, xcog)のy座標とで挟まれた領域の平均輝度のプロファイルから求められる。具体例を図9に示す(なお、図8のバーコードマップを用いることなく、全ての領域についてプロファイルを計算するとなると、ある程度の演算量・計算時間が必要になる)。
図9は、バーコードシンボル21付近における平均輝度のプロファイルを示す図である。図9に示すように、上下エッジのサーチ開始点は、重心区画のy座標であり、その輝度に基づいてエッジ判定閾値(図9参照)を決める。そして、上下にサーチして、エッジ判定閾値を超えたところをエッジと判定し、それらをBimgtop及びBimgbottomとする。これにより、バーコードの画像空間上の位置を確定することができる。なお、最後に、走査線の決定(図3のステップS16)が行われる。図9に示す例でいえば、バーコードシンボル21中の5ライン(図中の一点鎖線)をスキャンするために、BimgtopからBimgbottomまでの区間を6等分している。
このように、シンボル位置判定部13dは、図8に示すようにラベリングされた領域に基づき、バーコードシンボル21が記録媒体2に記録された位置を検出する「位置決定部」の一例として機能する(請求項記載の第4ステップを実行する)。また、たとえば、このシンボル位置判定部13dの機能として、ラベリングされた領域に基づいてバーコードシンボル21が記録媒体2に記録された上下左右の概略位置を決定し、その概略位置で形成される矩形領域内のラベルリング総数をカウントし、これを予めカウントされた前記相関マップ全体でのラベリング総数と一致するか否かを判定した後、バーコードシンボル21が記録媒体2に記録された位置を検出するようにしてもよい。これにより、上下左右の概略位置の精度を高めることが可能である。
[実施形態の主な効果]
以上説明したように、本実施形態に係るシンボル情報読取方法によれば、イメージの所定の領域でシンボル情報の走査線の走査方向に沿った変動量(ここでは分散)を求め、分散の大きさによってその領域がバーコード領域に該当する可能性があるか否かを判定する第1ステップと(図3のステップS12)、バーコード領域に該当する可能性があると判定された領域について、上下に隣接する局所領域の走査線間の相関をとって相関値の高い領域に得点を与える第2ステップと(図3のステップS13)、その得点マップに対して、検出すべき最小のバーコードシンボルに相当する得点配列パターンが存在するかを調べるとともに、その得点配列パターンに合致するマップ上の領域をラベリングする第3ステップと(図3のステップS14)、マップ上のラベリングパターンに基づいてバーコードシンボル21の上下左右の概略位置を決定し、その概略位置情報より画像空間座標上のバーコードシンボル21の上下左右位置を最終決定する第4ステップと(図3のステップS15)、からなることとしているので、微分演算を行うことなく、バーコードシンボル21の上下左右位置を決定することができ、ひいては演算量を削減することができる。また、演算量が削減されれば、処理時間の短縮化に貢献することができる。さらに、安価な撮像素子を用いても十分な速度を出すことができれば、高価な撮像素子を控えることで、製造コスト削減に寄与することができる。
また、上述の第2ステップにおいて、隣接する局所領域の走査線の走査方向に沿って形成されたライン間の相関演算は、上側若しくは下側のいずれか一方のみ高い相関値を示したときはポイント1、いずれも高い相関値を示したときはポイント2を与えるようにしているので、バーコードシンボル21の上下端部の効果(上下端部では相関値が低くなる効果)を反映させることができる。
また、上述の第3ステップにおいて、最小バーコードシンボルパターンのマップ上のポイント2を示す要素に限定しているので、より確度の高い部分を検索対象とすることができる。
さらに、上述した第4ステップにおいて、上下左右概略位置で形成される矩形領域内のラベリング総数をカウントし、これを予めカウントされたマップ全体でのラベリング総数と一致するか否かをチェックするようにしてもよい。これにより、概略上下左右位置情報の確度を高めることができる。
[応用例]
本発明では、代表的な2次元バーコードであるPDF417の位置検出にも利用可能である。図10は、2次元バーコード31が印刷された媒体画像例を示す図である。図10に示す画像に対して、上述した位置検出の各処理ステップを適用すれば、各ラインの相関マップは図11のようになる。1次元バーコードの場合には、シンボル全体に亘って値(ポイント)2が出現していたが(図8参照)、図11では、左端と右端の部分に対応する要素にのみ値2が現れ、中間部分は0となっている。この場合、上述のマスクパターンを検索する処理によって、2次元バーコードを検出することができないため、一旦1次元バーコードとしての検索は打ち切り、相関マップを起点として2次元バーコードを想定した検索を行う。すなわち、相関マップにおいて左端・右端の類似パターン対の検索を行い、検出されたらこの部分に挟まれた矩形領域を画像空間座標にマッピングし、2次元バーコードの特徴に基づいて位置決定を行うようにすればよい。
また、図12は、1つの媒体に複数種類のバーコードが用いられている例を示す図である。図12に示すように、1つの媒体上に、1次元バーコードCODE128(符号32で示す)と2次元バーコードPDF417(符号33で示す)とが存在する場合を考える。予めそれぞれのシンボル検出器を用意しておき、入力画像に対し、まずCODE128に対応した第一のシンボル検出器を適用する。図12に関し、上で述べた図7に相当する相関マップは、図13のようになる。図13は、図12に基づき得られた相関マップを示す図である。図13の相関マップに対してマスクパターン[2,2,2]を作用させると、CODE128に反応して、上で述べた図8と同様のバーコードマップが得られ、CODE128の存在が検出される。それ以後は、バーコードマップに基づいてCODE128シンボルの画像空間上の位置を決定し、復号処理を行えばよい。
次に、同一の入力画像に対し、PDF417に対応した第二のシンボル検出器を適用する。検出器のパラメータとしては、格子区画の寸法をPDF417の形状に最適なものに設定しておくとよい。ここでは、CODE128と同じ格子区画を用いることとする。すると、相関マップは、上述したように図13に示すようになる。1次元バーコードの場合は、シンボル全体にわたって値2が出現したが、PDF417では、左端と右端の部分に対応する要素にのみ値2が現れ、中間部分は0となっている。この場合は、2次元バーコードを想定したマスクパターン検索を行う。すなわち、相関マップにおいて、左端・右端の類似パターン対の検索を行い、これが検出されたら、この部分に挟まれた矩形領域を画像空間座標にマッピングし、2次元バーコードの特徴に基づいた画像空間上の位置決定を行った上で、復号処理に移行すればよい。
また、本実施形態では、一次元撮像素子やリニア搬送機構の組合せに対して本発明を適用することとしたが、本発明はこれに限られることなく、例えば、二次元CCDやCMOSイメージャなどのエリアセンサと被写体支持機構との組合せや、また1次元撮像素子と手動による媒体駆動を組合せ等に対して本発明を適用することとしてもよい。
さらに、上述の変形例では、バーコードラベルにPDF417フォーマットを用いることとしたが、本発明はこれに限られることなく、例えば、バーコードラベルにCode49その他のスタック型バーコードを用いてもよい。
本発明に係るシンボル情報読取方法及びシンボル情報読取装置は、シンボル情報を読み取る際の演算量を減らすことが可能なものとして有用である。
本発明の実施の形態に係るシンボル情報読取装置の電気的構成を示すブロック図である。 本発明の実施の形態に係るシンボル情報読取方法の流れを示すフローチャートである。 図2におけるステップS1のシンボル検出に関する情報処理の流れを示すフローチャートである。 画像メモリに記憶された記録媒体の画像データの一例を示す図である。 マップ数値を画像で表現した図である。 図5に示すマップを2値化した図である。 上下ライン相関の処理結果を示す図である。 図7に示す相関マップから得られたバーコードマップを示す図である。 バーコードシンボル付近における平均輝度のプロファイルを示す図である。 2次元バーコードが印刷された媒体画像例を示す図である。 図10に示す画像に対して、位置検出の各処理ステップを適用したときの様子を示す図である。 1つの媒体に複数種類のバーコードが用いられている例を示す図である。 図12に基づき得られた相関マップを示す図である。
符号の説明
1 シンボル情報読取装置
2 記録媒体
11 撮像装置
11a 撮像素子
12 画像メモリ
13 位置検出処理部
13a 分散マップ計算部(仮領域判定部)
13b 上下ライン間の相関計算部(相関マップ部)
13c 基本パターン検索部(ラベリング部)
13d シンボル位置判定部(位置決定部)
20 データ処理装置

Claims (9)

  1. シンボル情報が記録された媒体を撮像する撮像手段と、
    前記撮像手段により得られた前記媒体の画像データを記憶する画像メモリと、
    前記画像データを取り込んで、前記シンボル情報が媒体に記録された位置を検出する位置検出処理部と、を有するシンボル情報読取装置であって、
    前記位置検出処理部は、前記画像データを所定の領域で前記シンボル情報の走査線の走査方向に沿って輝度値の変動量を計算して、前記シンボル情報に該当する可能性のある仮領域を判定する仮領域判定部と、
    前記仮領域について、前記走査線の走査方向に対して直交する方向に隣接する隣接領域との相関を求めて、相関値の高い領域を示すマップを作成する相関マップ作成部と、
    前記相関マップについて、基本バーコードの有無を検索し、前記基本バーコードが存在すると判断した領域をラベリングするラベリング部と、
    ラベリングされた領域に基づき、前記シンボル情報が媒体に記録された位置を検出する位置決定部と、を備えることを特徴とするシンボル情報読取装置。
  2. 前記撮像手段は、密着型の一次元撮像素子であることを特徴とする請求項1記載のシンボル情報読取装置。
  3. シンボル情報が記録された媒体を撮像する撮像手段と、前記撮像手段により得られた前記媒体の画像データを記憶する画像メモリと、前記画像データを取り込んで、前記シンボル情報が媒体に記録された位置を検出する位置検出処理部と、を有するシンボル情報読取装置で使用されるシンボル情報読取方法であって、
    前記位置検出処理部において、前記画像データを所定の領域で前記シンボル情報の走査線の走査方向に沿って輝度値の変動量を計算して、前記シンボル情報に該当する可能性がある仮領域か否かを判定する第1ステップと、
    前記仮領域について、前記走査線の走査方向に対して直交する方向に隣接する隣接領域との相関を求めて、相関値の高い領域を示す相関マップを作成する第2ステップと、
    前記相関マップについて、基本バーコードの有無を検索し、前記基本バーコードが存在すると判断した領域をラベリングする第3ステップと、
    ラベリングされた領域に基づき、前記シンボル情報が媒体に記録された位置を検出する第4ステップと、を含むことを特徴とするシンボル情報読取方法。
  4. 前記第2ステップは、前記仮領域について、前記走査線の走査方向に対して直交する方向に隣接する2つの隣接領域との相関を求めて、これら2つの相関値の双方が所定の閾値よりも高い相関値を示した場合と、これら2つの相関値のいずれか一方が所定の閾値よりも高い相関値を示した場合とを区別して、前記相関マップを作成することを特徴とする請求項3記載のシンボル情報読取方法。
  5. 前記第3ステップにおいて、前記2つの相関値の双方が所定の閾値よりも高い相関値を示す領域が、前記基本バーコードが存在すると判断した領域としてラベリングされることを特徴とする請求項4記載のシンボル情報読取方法。
  6. 前記第4ステップにおいて、ラベリングされた領域に基づいてシンボル情報が媒体に記録された上下左右の概略位置を決定し、当該概略位置で形成される矩形領域内のラベリング総数をカウントし、これを予めカウントされた前記相関マップ全体でのラベリング総数と一致するか否かを判定した後、前記シンボル情報が媒体に記録された位置を検出することを特徴とする請求項3から5のいずれか記載のシンボル情報読取方法。
  7. 前記ラベリング部には、複数の基本バーコードパターンが記憶されていることを特徴とする請求項1又は2記載のシンボル情報読取装置。
  8. 前記第3ステップにおいて、複数の基本バーコードパターンが前記位置検出処理部に記憶されており、当該複数の基本バーコードパターンを順次切り替えながら、基本バーコードパターンの検索を行うことを特徴とする請求項3から6のいずれか記載のシンボル情報読取方法。
  9. 前記複数の基本バーコードパターンの順番を出現頻度に基づいて変更するようにしたことを特徴とする請求項8記載のシンボル情報読取方法。
JP2008182184A 2008-03-31 2008-07-14 シンボル情報読取装置及びシンボル情報読取方法 Expired - Fee Related JP5140820B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008182184A JP5140820B2 (ja) 2008-03-31 2008-07-14 シンボル情報読取装置及びシンボル情報読取方法
US12/415,431 US8146818B2 (en) 2008-03-31 2009-03-31 Apparatus and method for symbol information reading

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008090583 2008-03-31
JP2008090583 2008-03-31
JP2008182184A JP5140820B2 (ja) 2008-03-31 2008-07-14 シンボル情報読取装置及びシンボル情報読取方法

Publications (2)

Publication Number Publication Date
JP2009266190A JP2009266190A (ja) 2009-11-12
JP5140820B2 true JP5140820B2 (ja) 2013-02-13

Family

ID=41115607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008182184A Expired - Fee Related JP5140820B2 (ja) 2008-03-31 2008-07-14 シンボル情報読取装置及びシンボル情報読取方法

Country Status (2)

Country Link
US (1) US8146818B2 (ja)
JP (1) JP5140820B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5255027B2 (ja) * 2010-08-26 2013-08-07 東芝テック株式会社 コード読取装置およびプログラム
JP5321610B2 (ja) * 2011-02-04 2013-10-23 カシオ計算機株式会社 スキャナ装置及びプログラム
JP5923244B2 (ja) * 2011-03-29 2016-05-24 Kyb株式会社 ラベルチェック装置
US8733656B2 (en) * 2012-05-22 2014-05-27 Cognex Corporation Code and part associating method and apparatus
JP6075850B2 (ja) * 2012-12-17 2017-02-08 Kddi株式会社 情報端末装置及びプログラム並びに認識システム
JP6078399B2 (ja) * 2013-03-29 2017-02-08 日本電産サンキョー株式会社 シンボル情報読取装置、シンボル情報読取方法、およびプログラム
JP6434354B2 (ja) * 2015-03-31 2018-12-05 日本電産サンキョー株式会社 シンボル情報読取装置およびシンボル情報読取方法
US9576231B1 (en) * 2015-09-02 2017-02-21 International Business Machines Corporation Interpreting a matrix code with increased information density
JP6677037B2 (ja) * 2016-03-23 2020-04-08 富士ゼロックス株式会社 情報処理装置、画像読み取り装置、および、プログラム
CN108764781A (zh) * 2018-05-07 2018-11-06 陕西东沃物流信息服务有限公司 一种在物流过程中包裹防丢失监管系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5979768A (en) * 1988-01-14 1999-11-09 Intermec I.P. Corp. Enhanced bar code resolution through relative movement of sensor and object
US5155343A (en) 1990-03-28 1992-10-13 Chandler Donald G Omnidirectional bar code reader with method and apparatus for detecting and scanning a bar code symbol
JP2957727B2 (ja) * 1990-03-28 1999-10-06 オムニプラナー,インコーポレーテッド バーコードロケーション及びオリエンテーションのための二重メモリを有する二重プロセッサ全方向型バーコードリーダ
US5468945A (en) * 1994-02-25 1995-11-21 Intermec Corporation Method and apparatus for locating and decoding a postnet forwarding bar code in a field of postnet bar codes
JP3279099B2 (ja) * 1994-10-25 2002-04-30 三菱電機株式会社 マーク認識装置およびマーク認識方法
JP3591184B2 (ja) * 1997-01-14 2004-11-17 松下電器産業株式会社 バーコード読み取り装置
US6176428B1 (en) * 1999-04-07 2001-01-23 Symbol Technologies, Inc. Techniques for reading postal code
JP4288756B2 (ja) * 1999-04-08 2009-07-01 株式会社デンソー 情報コード概略存在領域推定方法、情報コード読取方法及び装置、記録媒体
JP2002150213A (ja) * 2000-11-14 2002-05-24 Matsushita Electric Ind Co Ltd バーコード読み取り装置
JP4257131B2 (ja) 2003-02-21 2009-04-22 富士通株式会社 バーコード読取装置およびバーコード読取方法
JP4180497B2 (ja) * 2003-12-05 2008-11-12 富士通株式会社 コード種類判別方法、およびコード境界検出方法
JP4265526B2 (ja) * 2004-11-08 2009-05-20 株式会社デンソーウェーブ 光学的情報読取装置
JP4403063B2 (ja) * 2004-12-21 2010-01-20 日本電産サンキョー株式会社 シンボル情報読取方法及びシンボル情報読取装置
JP4652201B2 (ja) * 2005-09-30 2011-03-16 日本電産サンキョー株式会社 バーコードシンボル情報読取方法及びバーコードシンボル情報読取装置
EP1868137B1 (en) * 2005-03-18 2011-06-29 Fujitsu Ltd. Code image processing method
JP4442512B2 (ja) * 2005-05-24 2010-03-31 株式会社デンソーウェーブ 情報コード読取装置および情報コード読取方法
JP4967488B2 (ja) * 2006-07-11 2012-07-04 富士通株式会社 コード画像処理方法、コード画像処理装置及びコード画像処理プログラム

Also Published As

Publication number Publication date
US20090242643A1 (en) 2009-10-01
US8146818B2 (en) 2012-04-03
JP2009266190A (ja) 2009-11-12

Similar Documents

Publication Publication Date Title
JP5140820B2 (ja) シンボル情報読取装置及びシンボル情報読取方法
JP5591578B2 (ja) 文字列認識装置および文字列認識方法
JP2835274B2 (ja) 画像認識装置
JP6078399B2 (ja) シンボル情報読取装置、シンボル情報読取方法、およびプログラム
JP4658848B2 (ja) 文字列認識方法及び文字列認識装置
US7380718B2 (en) Method for reading out symbol information and device for reading out symbol information
EP3462372B1 (en) System and method for detecting optical codes with damaged or incomplete finder patterns
JP2788604B2 (ja) 2次元情報パターンを有する情報表示タグ、それを用いた画像処理方法及び画像処理装置
JP2010123090A (ja) 文字列認識方法及び文字列認識装置
JP2014130415A (ja) 文字認識装置、文字認識方法、及び文字認識プログラム
JPH07120389B2 (ja) 光学的文字読取装置
JP2746501B2 (ja) バーコードリーダ
JP4652201B2 (ja) バーコードシンボル情報読取方法及びバーコードシンボル情報読取装置
JP5379626B2 (ja) スタック型バーコード情報読取方法及びスタック型バーコード情報読取装置
JP6434354B2 (ja) シンボル情報読取装置およびシンボル情報読取方法
JP4853313B2 (ja) 文字認識装置
JP6144892B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20160350928A1 (en) System And Method For Reading Machine Readable Codes In Transportation And Logistic Applications
WO2012057962A1 (en) Method and apparatus for capturing form document with imaging scanner
JP5683891B2 (ja) スタック型バーコード読取装置およびスタック型バーコード読取方法
JP5657987B2 (ja) スタック型バーコード読取装置およびスタック型バーコード読取方法
JP3302057B2 (ja) シンボル情報読取装置
JPH0469788A (ja) 光学的情報読取装置
Tseng et al. Retrospective tracking for barcode reading
JP4403063B2 (ja) シンボル情報読取方法及びシンボル情報読取装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121009

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121023

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5140820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees