JP3716527B2 - 2次元コードの読取方法 - Google Patents

2次元コードの読取方法 Download PDF

Info

Publication number
JP3716527B2
JP3716527B2 JP01403497A JP1403497A JP3716527B2 JP 3716527 B2 JP3716527 B2 JP 3716527B2 JP 01403497 A JP01403497 A JP 01403497A JP 1403497 A JP1403497 A JP 1403497A JP 3716527 B2 JP3716527 B2 JP 3716527B2
Authority
JP
Japan
Prior art keywords
cell
positioning
dimensional code
symbol
symbols
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP01403497A
Other languages
English (en)
Other versions
JPH10208001A (ja
Inventor
久志 重草
忠雄 野尻
有伺 辻本
元秋 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP01403497A priority Critical patent/JP3716527B2/ja
Publication of JPH10208001A publication Critical patent/JPH10208001A/ja
Application granted granted Critical
Publication of JP3716527B2 publication Critical patent/JP3716527B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、2次元コードの読取方法に関する。
【0002】
【従来の技術】
従来、提案されている2次元コードの例としては特開平7−254037号公報記載のものがあり、この2次元コードの読取装置の例としては特開平8−180125号記載のものがある。
【0003】
2次元コードは、図12(b)に一例を示すごとく情報が2次元的な広がりを持ち、図12(a)に示すバーコードに比べて格段に大量の情報を記録できるが、構造は複雑なものとなっている。
すなわち、図13に示すごとく、2次元コード300の存在位置の確定を容易にするために、例えば、特定寸法比率の正方形を組み合わせた位置決め用シンボル310a,310b,310cを3個を持つている。また、3個の位置決め用シンボル310a,310b,310c相互の間には白と黒とが交互に組み合わせられた各データセル位置の指標となる基準パターンであるタイミングセル320a,320bがある。
【0004】
2次元コード300の内部は、n×nの正方形の升目(以下、これをセルという)に区切られており、位置決め用シンボル310a,310b,310cは、例えば、一辺の長さが7セルに相当する黒い正方形312、一辺の長さが5セルに相当する白い正方形314、一辺の長さが3セルに相当する黒い正方形316を同心状に重ね合わせた時にできる図形である。
【0005】
この位置決め用シンボル310a,310b,310cの中心付近を直線的に横切ると、黒、白、黒、日、黒のパターンが1:1:3:1:1の比率で検出されるので、この性質を利用して、前記比率で黒と白が交互に検出された場合、そのパターンを位置決め用シンボル310a,310b,310cの有力な候補と判断し、2次元コード300の存在位置を確定するために優先的に検査する。
【0006】
そして、2次元コード300の形状は、3個の位置決め用シンボル310a,310b,310cで一義的に決まる平行四辺形の範囲であると推定できる。なお、データは、位置決め用シンボルや基準パターンなどを除外した領域330のセル(すなわち、データセル)で表され、各データセルを白あるいは黒に色分けすることにより、各データセルを1ビットのデータに対応させている。ただし、図13ではデータセルの白黒のパターンは判り易くするために省略されている。
【0007】
各データセルの位置は、3個の位置決め用シンボル310a,310b,310cの中心と2つのタイミングセル320a,320bを、それぞれ縦方向と横方向の座標の指標として、簡単な計算により求めることができる。
このように位置が決定した、各データセルの中心付近が黒であるか白であるかを判定して、黒を例えば1,白を例えば0に対応させることにより、2値データとして認識でき、解読することができる。
【0008】
【発明が解決しようとする課題】
しかしながら、2次元コード300の画像をその中心で垂直な方向から捉えることができず、斜めの方向から捉えた場合や、2次元コード300が曲面上に付けられているなどの場合、得られた画像が、図14(a)に示すごとく、元の形状に比べて大きく歪んでいることがある。
【0009】
また、例えば円筒形のビンの表面などに付けられた2次元コード300は、図14(b)に示すごとく中心から外れるほど歪みを生じている。
したがって、歪み量が大きく、前述の方法で各データセルの中心を求めた場合、実際のデータセルの中心と計算で求めたデータセルの中心とのずれがデータセルのサイズの半分より大きくなっていた場合には、正しい結果が得られなくなる。
【0010】
このような読み取りミスを生じる歪み量は、情報量を多くするために2次元コード300を大きくするほど大きなものとなる。
2次元コードの応用分野として、画像の検出時に2次元コードが正面を向いていなかったり、ビンや缶容器などの曲面に付されていたりすることは、現実の問題であり、何等かの対策が望まれていた。
【0011】
本発明は、前記例示したごとくの歪みがあっても正しく情報を読み取ることができる2次元コードの読取方法を提供しようとするものである。
【0012】
【課題を解決するための手段及び発明の効果】
本発明の2次元コードの読取方法(2次元コード読取装置において2次元コードを読み取るための読取方法)による読み取り対象となる2次元コードは、セルの分布パターンにより情報を表現するデータセルと、矩形形状の2次元コードの4つの頂点の内の3つにそれぞれ配置され、2次元コードの位置を特定するために、自身のパターンに基づいて最初に位置検出される位置決め用シンボル以外に、2次元コード内をこの2次元コードの縦横の辺に沿った境界にて区画た複数の矩形領域の内、位置決め用シンボルが存在しない矩形領域に各1つ配置され、位置決め用シンボルの位置と自身のパターンとに基づいて位置検出される補助シンボルを備えている。そして、位置決め用シンボルは、1セル幅の黒部からなる枠状正方形内の中心部分に、1セル幅の白部からなる縮小した枠状正方形が形成され、その内側の中心部分に黒部からなる3セル×3セルの大きさの正方形が形成されているパターンのセルの明暗配置からなっており、補助シンボルは、1セル幅の黒部からなる枠状正方形内の中心部分に、1セル幅の白部からなる縮小した枠状正方形が形成され、その内側の中心部分に1セルの黒部からなる正方形が形成されているパターンのセルの明暗配置からなっている。
【0013】
このように位置決め用シンボル以外に、2次元コード内に補助シンボルが分布されているために、データセルの位置を検出するための基準となるシンボルが、増加して、2次元コードの画像が歪んでいても、データセルの位置決めが、位置決め用シンボルのみ用いた場合よりも正確に行われる。したがって、そのデータセルが表している情報も正確に読み取ることができる。
【0014】
また、追加されている補助シンボルは、位置決め用シンボルのごとく、最初に2次元コードを位置決めするための基準としては用いられないので、2次元コードの位置決め自体も処理量が徒に増加することなく迅速に行うことができる。
なお、補助シンボルが、位置決め用シンボルよりも小さく形成されていれば、データセルの領域がそれだけ大きく確保できるので好ましい。補助シンボルは、2次元コードの位置決めを行う位置決め用シンボルほど大きなパターンを用いなくても、既に位置決め用シンボルにより2次元コードの位置は確定されているので、位置決め用シンボルよりも小さくても正確に位置が決定できる。
【0015】
なお、位置決め用シンボルは、複数の異なる方向または複数の異なる位置において走査した場合に特定の周波数成分比が得られるパターンであれば、走査によりハード的にもソフト的にも迅速に位置決め用シンボルが検出できるので、2次元コードの迅速な解読のために好ましい。
【0016】
同様に、補助シンボルも、複数の異なる方向または複数の異なる位置において走査した場合に特定の周波数成分比が得られるパターンであっても良く、位置決め用シンボルの検出の後、ソフト的に迅速に位置決め用シンボルが検出できるので、2次元コードの迅速な解読のために好ましい。
【0017】
2次元コードの形状としては、例えば正方形を挙げることができる。
【0018】
また、補助シンボル、2次元コード内を、この2次元コードの縦横の辺に沿った境界にて区画した複数の矩形領域を想定し、この複数の矩形領域の内、位置決め用シンボルが存在しない矩形領域に各1つ配置されるため、位置決め用シンボルと補助シンボルとが2次元コード内にほぼ均等に分布するので、これら位置決め用シンボルと補助シンボルとに基づいて行うデータセルの位置の決定が一層正確なものとなる。
【0019】
そして、本発明の2次元コードの読取方法では、まず、2次元コード位置決め処理にて、2次元コードの走査等により、2次元コードの画像を得るとともに、この画像中での位置決め用シンボルの位置を検出する。次に、補助シンボル位置決め処理にて、位置決め用シンボルの位置と補助シンボルのパターンとに基づいて、画像中での補助シンボルの位置を検出する。次に、セル位置決め処理にて、位置決め用シンボルまたは補助シンボルが配置されている各矩形領域内に存在するデータセルの位置を、この矩形領域内に配置されている位置決め用シンボルまたは補助シンボルの位置及びその形状から求められたセルの形状およびセルの配列方向に応じて検出する。そして、次に、デコード処理にて、位置が検出されたデータセルに基づいて、2次元コードの情報を読み取る。
【0020】
このように、セル位置決め処理において、位置決め用シンボルのみでなく、補助シンボルも加えて、矩形領域内に配置されている位置決め用シンボルまたは補助シンボルの位置を用いているので、2次元コードが歪んでいても、位置決め用シンボルのみを基準としてデータセルを位置決めする場合に比較して、データセルが正確に位置決めされる。
【0021】
しかも、セル位置決め処理においては、各位置決め用シンボルおよび各補助シンボルの形状に基づいて、位置決め用シンボルまたは補助シンボルが配置されている各矩形領域内に存在するデータセルの位置を検出するようにしており、2次元コードの歪みは、位置決め用シンボルおよび補助シンボルの形状に反映されているので、データセルの位置決めにも、2次元コードの歪みが反映され、正確にデータセルの位置決めができる。
【0025】
なお、このような2次元コードの読取方法を実行する機能は、例えば、デジタル回路やコンピュータシステム側で起動するプログラムとして備えられる。プログラムで実現する場合、例えば、フロッピーディスク、光磁気ディスク、CD−ROM、ハードディスク等の機械読み取り可能な記憶媒体に記憶し、必要に応じてコンピュータシステムにロードして起動することにより用いることができる。この他、ROMやバックアップRAMを機械読み取り可能な記憶媒体として前記プログラムを記憶しておき、このROMあるいはバックアップRAMをコンピュータシステムに組み込んで用いても良い。
【0026】
【発明の実施の形態】
[実施の形態1]
図1のブロック図に、上述した発明が適用された2次元コード読取装置2の概略構成を示す。
【0027】
2次元コード読取装置2は、CCD4、2値化回路6、画像メモリ8、クロック信号出力回路14、アドレス発生回路16、変化点検出回路18、比検出回路20、アドレス記憶メモリ22および制御回路28から構成されている。
制御回路28は、CPU、ROM、RAM、I/O等を備えたコンピュータシステムとして構成され、ROMに記憶されているプログラムに従って、後述する2次元コード読み取り処理等を実行し、2次元コード読取装置2の各構成を制御している。
【0028】
ここで、2次元コード読取装置2にて検出される2次元コードの一例の概略図を図2に示す。この2次元コード52は、白色の台紙53の上に印刷されており、3個の位置決め用シンボル54A,54B,54C、データ領域56、および6個の補助シンボル60A,60B,60C,60D,60E,60Fから構成されている。これら全体のサイズは、41セル×41セルの正方形状とされている。各セルは、光学的に異なった2種類のセルから選ばれており、図および説明上では白(明)・黒(暗)で区別して表す。なお、図2では便宜上、データ領域56のデータセルの白黒のパターンは省略している。実際の2次元コード52は、図3に一例として示すごとくである。
【0029】
3つの位置決め用シンボル54A,54B,54Cは、2次元コード52の4つの頂点の内、3つに配置されている。この位置決め用シンボル54A,54B,54Cのセルの明暗配置は、図4(A)に示すごとく、1セル幅の黒部からなる枠状正方形55a内の中心部分に、1セル幅の白部からなる縮小した枠状正方形55bが形成され、その内側の中心部分に黒部からなる3セル×3セルの大きさの正方形55cが形成されているパターンである。
【0030】
また、6つの補助シンボル60A〜60Fは、図6に示すごとく、2次元コード52内を2次元コード52の縦横の辺S1,S2,S3,S4のいずれかに沿った境界L1,L2,L3,L4にてセルを分けて区画することで想定した9つの矩形領域R1,R2,R3,R4,R5,R6,R7,R8,R9の内、位置決め用シンボル54A,54B,54Cが存在しない6つの矩形領域R2,R4,R5,R6,R8,R9に各1つ配置されている。
【0031】
これらの補助シンボル60A〜60Fのセルの明暗配置は、図4(C)に示すごとく、1セル幅の黒部からなる枠状正方形61a内の中心部分に、1セル幅の白部からなる縮小した枠状正方形61bが形成され、その内側の中心部分に1セルの黒部からなる正方形61cが形成されているパターンである。
【0032】
なお矩形領域R1〜R9のサイズは、ほぼ同一に設定されている。例えば、矩形領域R1,R2,R4,R5が横14セル×縦14セル、矩形領域R3,R6が横13セル×縦14セル、矩形領域R7,R8が横14セル×縦13セル、矩形領域R9が横13セル×縦13セルである。
【0033】
制御回路28は、以下に述べるごとくの読み取り制御を行う。
まず制御回路28の指示により、2次元画像検出手段としてのCCD4にて2次元コード52が通過する場所の2次元画像を検出する。CCD4は、2次元画像を検出すると、図5(a)に示すごとくの多段階のレベルからなる信号にて2次元画像データを出力する。この2次元画像データを、2値化回路6が制御回路28から指示された閾値にて2値化して、図5(b)に示すごとくの1(ハイ)/0(ロー)の2つのレベルからなる信号に変換する。
【0034】
一方、CCD4から出力される同期パルスに応じて、クロック信号出力回路14がCCD4から出力される2次元画像データのパルスより十分に細かいクロックパルスを出力する。アドレス発生回路16はこのクロックパルスをカウントして、画像メモリ8に対するアドレスを発生させる。2値化された2次元画像データは、このアドレス毎に8ビット単位で書き込まれる。
【0035】
一方、2値化回路6からの信号における「1」から「0」への変化あるいは「0」から「1」への変化時に、変化点検出回路18は、比検出回路20にパルス信号を出力する。比検出回路20は、変化点検出回路18からのパルス信号入力から次のパルス信号入力までに、クロック信号出力回路14から出力されたクロックパルスをカウントすることにより、2次元画像の中の明(1)の連続する長さおよび暗(0)の連続する長さを求める。この長さの比から、2次元コード52の位置決め用シンボル54A,54B,54Cに該当するパターンを検出する。
【0036】
図4(A)に示したごとく、位置決め用シンボル54A,54B,54Cのほぼ中心を代表的な角度で横切るCCD4の走査線(a),(b),(c)での明暗パターンは、図4(B)に示すごとく、すべて同じ明暗成分比を持つ構造になっている。すなわち、位置決め用シンボル54A,54B,54Cの中心を横切るそれぞれの走査線(a),(b),(c)の明暗成分比は暗:明:暗:明:暗=1:1:3:1:1となっている。勿論、走査線(a),(b),(c)の中間の角度の走査線においても比率は1:1:3:1:1である。また、図4(A)の図形が、CCD4側から見て斜めの面に配置されていたとしても、前記走査線(a),(b),(c)の明暗成分比は暗:明:暗:明:暗=1:1:3:1:1を維持する。なお、図4(B)は、2値化回路6からの2値化された信号に該当する。
【0037】
このことにより、比検出回路20は、この「1:1:3:1:1」なる明暗成分比を検出し、検出した場合は、そのタイミングにアドレス発生回路16にて発生されている画像メモリ8のアドレスをアドレス記憶メモリ22に記憶する。
したがって、CCD4が1フレーム分の2次元画像データを検出すると、画像メモリ8には、2値化された2次元画像データが記憶され、アドレス記憶メモリ22には、検出された分の位置決め用シンボル54A,54B,54Cのアドレスが記憶されている。2値化された2次元画像データの一例を図9に示す。
【0038】
なお、最初の2次元画像の1フレーム分の画像が得られると、制御回路28は、画像メモリ8およびアドレス記憶メモリ22のデータに基づいて後述する2次元コード読み取り処理を行い、この処理が終了すれば、制御回路28は、続けて、CCD4に次の1フレームの2次元画像の検出を指示する。したがって、CCD4からは、再度、2次元画像が2値化回路6に出力され、上述したごとくの処理が繰り返される。
【0039】
次に、1フレーム分の2次元コード52の画像とその位置決め用シンボル54A,54B,54Cのアドレスが、画像メモリ8とアドレス記憶メモリ22とにそれぞれ記憶された後に、制御回路28は、2次元コード読み取り処理を実行する。この2次元コード読み取り処理を図7のフローチャートに示す。なお画像は図9に示したごとく、歪みのあるデータが得られているものとする。
【0040】
処理が開始されると、まず、位置決め用シンボル54A,54B,54Cの検出処理が行われる(S100)。
この処理では、画像メモリ8およびアドレス記憶メモリ22に対してアクセスし、その記憶内容から位置決め用シンボル54A,54B,54Cが適切な位置に、3つ存在しているか否かの判断と位置決め用シンボル54A,54B,54Cの画像上での正確な形状と中心位置とを決定する。
【0041】
この処理は、まずアドレス記憶メモリ22に多数検出された位置決め用シンボル54A,54B,54Cのアドレスが、位置的に3つのグループに分けられるかを、そのアドレス値と画像メモリ8の画像とを参照しつつ判断する。更に、各位置決め用シンボル54A,54B,54Cの形状と中心位置とを、画像メモリ8の画像の1(白)/0(黒)のパターンから決定し、その3つが図2に示したごとく3つの頂点に存在する配置状態になっているかを判断する。
【0042】
次に、ステップS100にて適切な3つの位置決め用シンボル54A,54B,54Cが検出されたか否かが判定され(S110)、検出されていなければ(S110で「NO」)、次の画像の検出をCCD4に指示して(S180)、処理を終了する。
【0043】
適切な3つの位置決め用シンボル54A,54B,54Cが検出されると(S110で「YES」)、次に新しい2次元コード52か否かが判定される(S120)。この処理は、前回以前に検出された2次元コード52がいまだCCD4により検出され続けている場合に、別の2次元コードとして解読するのを防止するためである。例えば、前回または所定回数前の本処理にて、適切な3つの位置決め用シンボル54A,54B,54Cが検出され、更にそのコード内容も既に適切に読み取られていた場合には、同一の2次元コード52を検出しているものとして(S120で「NO」)、次の画像の検出をCCD4に指示して(S180)、処理を終了する。
【0044】
新しい2次元コード52であると判定すると(S120で「YES」)、次に位置決め用シンボル54A,54B,54Cの形状に応じて、各位置決め用シンボル54A,54B,54Cを構成する各セルの形状と中心位置が計算される(S121)。
【0045】
すなわち、まず、位置決め用シンボル54A,54B,54Cについては、図8に示すごとく、黒の枠状正方形55aの幅が1セル分、白の枠状正方形55bの幅が1セル分、および黒の正方形55cの幅が3セル分の形状であることから、画像メモリ8内の各位置決め用シンボル54A,54B,54C全体の高さLyと幅Lxとから、次式のごとく、その高さLyと幅Lxとをそれぞれ7で割ることにより、各位置決め用シンボル54A,54B,54Cの位置におけるセルの高さWyと幅Wxの値、すなわちセルの形状を各3つ得る。
【0046】
【数1】
Figure 0003716527
【0047】
次に、このようにして求められた各位置決め用シンボル54A,54B,54Cにおけるセルの高さWyと幅Wxに基づいて、各位置決め用シンボル54A,54B,54Cにおける各セル位置を決定する。
すなわち、まず、位置決め用シンボル54A,54B,54Cの外形とセルの高さWyと幅Wxとが判明していることから、位置決め用シンボル54A,54B,54Cの縁からセルの半分の高さおよび半分の幅分内側の位置を求めることにより、3つの位置決め用シンボル54A,54B,54Cの黒の枠状正方形55aの各4つの各頂点セルa1,a2,a3,a4,b1,b2,b3,b4,d1,d2,d3,d4の中心位置を決定する(図9)。
【0048】
そして、位置決め用シンボル54Aについて、頂点セルa2と頂点セルa4との中心位置の距離を6等分することにより、頂点セルa2から頂点セルa4までの各セルの中心位置を決定する。更に、頂点セルa3と頂点セルa4との中心位置の距離を6等分することにより、頂点セルa3から頂点セルa4までの各セルの中心位置を決定する。他の位置決め用シンボル54B,54Cについても同様に、頂点セルb2と頂点セルb4の間の各セルの中心位置、頂点セルb3と頂点セルb4の間の各セルの中心位置、頂点セルd2と頂点セルd4の間の各セルの中心位置、および頂点セルd3と頂点セルd4の間の各セルの中心位置を検出する。
【0049】
次に、位置決め用シンボル54A,54B,54Cに対して所定の位置に配置されている補助シンボル60A〜60Fの中心位置を、前述のごとく得られている位置決め用シンボル54A,54B,54Cを構成しているセルの形状と中心位置とに基づいて計算で求め、更に計算位置周辺にて画像を精査して正確に形状と位置とを決定する(S122)。
【0050】
例えば、図9における、左上の位置決め用シンボル54Aの外側の黒色の枠状正方形55aの内の右下角から上へ2番目のセルの中心位置71と、右上の位置決め用シンボル54Bの黒色の枠状正方形55aの内の左下角から上へ2番目のセルの中心位置72とを結ぶ直線を均等に1/28して、1セルの横方向の長さを想定し、中心位置71から中心位置72方向へ15セル移動した位置を補助シンボル60Aの中心位置73と想定する。同様にして、左上の位置決め用シンボル54Aの黒色の枠状正方形55aの内の右下角から左へ2番目のセルの中心位置74と、左下の位置決め用シンボル54Cの黒色の枠状正方形55aの内の右上角から左へ2番目のセルの中心位置75とを結ぶ直線を均等に1/28して、1セルの縦方向の長さを想定し、中心位置74から中心位置75方向へ15セル移動した位置を補助シンボル60Bの中心位置76と想定する。
【0051】
こうして想定された補助シンボル60Aの中心位置73および補助シンボル60Bの中心位置76周辺の画像を精査して、図4(C)に示した形状のパターンを見つけ、そのパターンから、各補助シンボル60A,60Bの正確な形状と正確な中心位置73,76とを検出する。
【0052】
なお、図4(D)に示すごとく、補助シンボル60A〜60Fの中心を横切るそれぞれの直線(a),(b),(c)の明暗成分比は暗:明:暗:明:暗=1:1:1:1:1となる性質は本質的に図4(A),(B)に示した位置決め用シンボル54A,54B,54Cと同じである。
【0053】
次に、正確に求められた中心位置73から、左上の位置決め用シンボル54Aにおける前記中心位置74と左下の位置決め用シンボル54Cにおける前記中心位置75とを結ぶ直線に平行に直線を伸ばし、更に、正確に求められた中心位置76から、左上の位置決め用シンボル54Aにおける前記中心位置71と右上の位置決め用シンボル54Bにおける前記中心位置72とを結ぶ直線に平行に直線を伸ばし、その交叉点を2次元コード52の中央の補助シンボル60Cの中心位置85と想定する。そして、補助シンボル60Cの中心位置85周辺の画像を精査して正確な形状と正確な中心位置85とを検出する。
【0054】
次に、正確に求められた中心位置85から、左上の位置決め用シンボル54Aにおける前記中心位置71と右上の位置決め用シンボル54Bにおける前記中心位置72とを結ぶ直線に平行に直線を伸ばし、更に、右上の位置決め用シンボル54Bにおける前記中心位置78から、左上の位置決め用シンボル54Aにおける前記中心位置74と左下の位置決め用シンボル54Cにおける前記中心位置75とを結ぶ直線に平行に直線を伸ばし、その交叉点を2次元コード52の右側中央の補助シンボル60Dの中心位置83と想定する。そして、補助シンボル60Dの中心位置83周辺の画像を精査して正確な形状と正確な中心位置83とを検出する。
【0055】
次に、正確に求められた中心位置85から、左上の位置決め用シンボル54Aにおける前記中心位置74と左下の位置決め用シンボル54Cにおける前記中心位置75とを結ぶ直線に平行に直線を伸ばし、更に、左下の位置決め用シンボル54Cにおける前記中心位置77から、左上の位置決め用シンボル54Aにおける前記中心位置71と右上の位置決め用シンボル54Bにおける前記中心位置72とを結ぶ直線に平行に直線を伸ばし、その交叉点を2次元コード52の下側中央の補助シンボル60Eの中心位置84と想定する。そして、補助シンボル60Eの中心位置84周辺の画像を精査して正確な形状と正確な中心位置84とを検出する。
【0056】
次に、正確に求められた中心位置83から、左上の位置決め用シンボル54Aにおける前記中心位置74と左下の位置決め用シンボル54Cにおける前記中心位置75とを結ぶ直線に平行に直線を伸ばし、更に、正確に求められた中心位置84から、左上の位置決め用シンボル54Aにおける前記中心位置71と右上の位置決め用シンボル54Bにおける前記中心位置72とを結ぶ直線に平行に直線を伸ばし、その交叉点を2次元コード52の右下の補助シンボル60Fの中心位置81と想定する。そして、補助シンボル60Fの中心位置81周辺の画像を精査して正確な形状と正確な中心位置81とを検出する。
【0057】
そして、このように正確に形状と正確な中心位置とが決定された各補助シンボル60A〜60Fに対して、ステップS121で各位置決め用シンボル54A,54B,54Cにて行ったと同様にして、各補助シンボル60A〜60Fを構成する各セルの形状と中心位置とを決定する(S125)。
【0058】
次に、上述のごとく得られた位置決め用シンボル54A,54B,54Cおよび補助シンボル60A〜60Fのデータに基づいて、他のセル、すなわち、データ領域56内のデータセルの中心位置を、前述した矩形領域R1〜R9毎に決定する(S140)。
【0059】
すなわち、矩形領域R1については、位置決め用シンボル54Aを構成するセルの中心位置、形状、およびセルの配列方向により、矩形領域R1内をセル単位に分割することで、矩形領域R1内の全てのデータセル中心位置のxy座標位置を決定する。矩形領域R3は位置決め用シンボル54Bに基づき、また矩形領域R7は位置決め用シンボル54Cに基づき、同様にして矩形領域R3,R7内の全てのデータセル中心位置のxy座標位置を決定する。
【0060】
矩形領域R2,R4,R5,R6,R8,R9については、それぞれに配置されている補助シンボル60A,60B,60C,60D,60E,60Fを構成するセルの中心位置、形状、およびセルの配列方向により、同様にして、矩形領域R2,R4,R5,R6,R8,R9内の全てのデータセル中心位置のxy座標位置を決定する。
【0061】
そして、全てのデータセルの中心位置の画素から2値を読み取り、各セルの種類を決定しコード内容を得る(S142)。こうして、2次元コード52が表している情報が得られる。
次にこのコード内容が正常なものか否かが判定される(S160)。例えば、白と黒とのセル数が予め決められている特定の数になっているか否か、あるいは表されているデータを所定の計算方法で計算した結果が2次元コード52内の所定範囲に表示されているチェック用データと一致しているか否か等により、正常にコードが読み取られているか否かが判定される。
【0062】
正常なコードでなければ(S160で「NO」)、次の画像の検出をCCD4に指示して(S180)、処理を終了する。
正常なコードであれば(S160で「YES」)、そのコード内容をホストコンピュータ等の他の装置へ出力したり、そのコード内容を特定のメモリに記憶したり、そのコード内容に対応した処理を実行したり、あるいはそのコード内容に対応した指示を出力したりする処理が行われる(S170)。
【0063】
そして、次の新たな2次元コードの読み取りのために、画像の検出をCCD4に指示して(S180)、処理を終了する。
本実施の形態1は、上述したごとく、各矩形領域R1〜R9において、その矩形領域R1〜R9内に配置されている位置決め用シンボル54A,54B,54Cまたは補助シンボル60A〜60Fのセルの中心位置、セル形状、セル配列に基づいて、データセルの位置が決定されている。このため2次元コード52の読み取り画像に歪みが存在しても、矩形領域R1〜R9毎の歪みは、その矩形領域R1〜R9に配置されている位置決め用シンボル54A,54B,54Cまたは補助シンボル60A〜60Fのセルの中心位置、セル形状、セル配列に現れているので、データセルの位置決定に画像の歪みが反映されて、正確にデータセルの中心位置が決定でき、2次元コード52が表すコードを正確に読み取ることができる。
【0064】
本実施の形態1において、CCD4、2値化回路6、クロック信号出力回路14、タイミングにアドレス発生回路16、変化点検出回路18および比検出回路20が行う処理と制御回路28が行うステップS100とが2次元コード位置決め処理に該当し、ステップS121,S122が補助シンボル位置決め処理に該当し、ステップS125,S140がセル位置決め処理に該当し、ステップS142がデコード処理に該当する。
【0065】
[実施の形態2]
前述した実施の形態1のステップS140においては、図6に示したごとく、9つの矩形領域R1〜R9において、それぞれ配置されている位置決め用シンボル54A,54B,54Cまたは補助シンボル60A〜60Fに基づいて、矩形領域R1〜R9内の各データセルの中心位置を決定しているのに対し、本実施の形態2では、図10に示すごとく、位置決め用シンボル54A,54B,54Cまたは補助シンボル60A〜60F間の距離と方向とに基づいて、間に存在するデータセルの中心位置を決定している点が異なる。他の構成は実施の形態1と同じである。
【0066】
本実施の形態2におけるステップS140では、例えば、図9に示した左上の位置決め用シンボル54Aの外側の黒色の枠状正方形55aの内の右下角から上へ2番目のセルの中心位置71と補助シンボル60Aの中心位置73とを結ぶ直線D1(図10)を、中心位置71と中心位置73との間に存在するセル数(ここではセル数15)で均等に分割した位置を求めて、直線D1上における位置未決定のセルのxy座標位置を決定する。
同様にして、右上の位置決め用シンボル54Bの黒色の枠状正方形55aの内の左下角から上へ2番目のセルの中心位置72と補助シンボル60Aの中心位置73とを結ぶ直線D2を、中心位置72と中心位置73との間に存在するセル数(ここではセル数13)で均等に分割した位置を求めて、直線D2上における位置未決定のセルのxy座標位置を決定する。以下、直線D3については補助シンボル60Bの中心位置76と補助シンボル60Cの中心位置85との間に存在するセル数(ここではセル数16)で均等に分割して直線D3上における位置未決定のセルのxy座標位置を決定し、直線D4については補助シンボル60Cの中心位置85と補助シンボル60Dの中心位置83との間に存在するセル数(ここではセル数16)で均等に分割して直線D4上における位置未決定のセルのxy座標位置を決定し、直線D5については位置決め用シンボル54Cの黒色の枠状正方形55aの内の右辺の中央のセルの中心位置77と補助シンボル60Eの中心位置84との間に存在するセル数(ここではセル数15)で均等に分割して直線D5上における位置未決定のセルのxy座標位置を決定し、直線D6については補助シンボル60Eの中心位置84と補助シンボル60Fの中心位置81との間に存在するセル数(ここではセル数16)で均等に分割して直線D6上における位置未決定のセルのxy座標位置を決定し、直線D7については位置決め用シンボル54Aの黒色の枠状正方形55aの内の右下角から左へ2番目のセルの中心位置74と補助シンボル60Bの中心位置76との間に存在するセル数(ここではセル数15)で均等に分割して直線D7上における位置未決定のセルのxy座標位置を決定し、直線D8については補助シンボル60Bの中心位置76と位置決め用シンボル54Cの黒色の枠状正方形55aの内の右上角から左へ2番目のセルの中心位置75との間に存在するセル数(ここではセル数13)で均等に分割して直線D8上における位置未決定のセルのxy座標位置を決定し、直線D9については補助シンボル60Aの中心位置73と補助シンボル60Cの中心位置85との間に存在するセル数(ここではセル数16)で均等に分割して直線D9上における位置未決定のセルのxy座標位置を決定し、直線D10については補助シンボル60Cの中心位置85と補助シンボル60Eの中心位置84との間に存在するセル数(ここではセル数16)で均等に分割して直線D10上における位置未決定のセルのxy座標位置を決定し、直線D11については位置決め用シンボル54Bの黒色の枠状正方形55aの下辺の中央のセルの中心位置78と補助シンボル60Dの中心位置83との間に存在するセル数(ここではセル数15)で均等に分割して直線D11上における位置未決定のセルのxy座標位置を決定し、直線D12については補助シンボル60Dの中心位置83と補助シンボル60Fの中心位置81との間に存在するセル数(ここではセル数16)で均等に分割して直線D12上における位置未決定のセルのxy座標位置を決定する。
【0067】
そして、直線D1,D7,D3,D9に囲まれた領域は、直線D1,D3上の同じ列のセル同士の中心位置を直線で結び、直線D7,D9上の同じ行のセル同士の中心位置を直線で結び、これらの直線の交点をデータセルの中心位置とする。直線D2,D9,D4,D11に囲まれた領域、直線D3,D8,D5,D10に囲まれた領域、および直線D4,D10,D6,D12に囲まれた領域についても、同様にしてデータセルの中心位置を決定する。
【0068】
また、直線D1,D7の外側のデータセルについては、直線D1,D7,D3,D9に囲まれた領域のセルの配列方向とセルの間隔(セルの形状でも良い)に基づいて、直線D1,D7,D3,D9に囲まれた領域から外挿処理することにより中心位置を決定する。直線D2,D11の外側のデータセル、直線D8,D5の外側のデータセル、および直線D6,D12の外側のデータセルについても同様である。
【0069】
本実施の形態2では、隣接するシンボル54A〜54C,60A〜60Fの間の距離および方向に基づいて、隣接するシンボル54A〜54C,60A〜60Fの間に存在するデータセルの位置を検出している。
図14に示したような、2次元コード52の画像の歪みは、シンボル54A〜54C,60A〜60F間の距離および方向に反映されているので、この距離を位置決めに反映すれば、データセルの位置決めにも、2次元コード52の画像の歪みが反映され、正確にデータセルの画像上での位置決めができる。
【0070】
本実施の形態2では、シンボル54A〜54C,60A〜60F間に存在するセルの数で、シンボル54A〜54C,60A〜60F間の距離を均等に分割することにより、各セルの位置を決定していたが、これ以外に、一方のシンボル側ではこのシンボルの形状から求められたセルの大きさに近くし、他方のシンボル側ではこのシンボルで求められた大きさに近くするように、距離をセル単位に分割して、データセルの中心位置を決定しても良く、一層、2次元コード52における画像の歪み分布を精密に反映させることができる。
【0071】
[その他]
前記各実施の形態では、位置決め用シンボル54A〜54Cを二重の正方形で、中心を横切る周波数成分比が黒:白:黒:白:黒=1:1:3:1:1の図形で表し、補助シンボル60A〜60Fは位置決め用シンボル54A〜54Cよりもサイズの小さい類似の図形で表していたが、図11(a)のように円形でもよく、図11(b)のように六角形でもよく、また他の正多角形でも良い。即ち、同心状に相似形の図形が重なり合う形に形成したものであればよい。さらに、中心を横切る周波数成分比があらゆる角度で同じならば、図11(c)に示すごとく、図形を何重にしても良い。さらに、前記各実施の形態では、2次元コード52の外形を正方形で示したが、長方形でも良い。
【0072】
なお、位置決め用シンボルまたは補助シンボルの配置間隔は、シンボルの検出し易さや歪みの反映の程度、必要なデータ量の確保の点から、セルの大きさの10〜50倍程度が好ましい。また、特に、補助シンボルの配置数は2次元コード52が小さい場合は少なく、例えば1つであり、2次元コード52が大きくなれば、対応して補助シンボルの配置数も増加させる。
【0073】
また、前記各実施の形態では位置決め用シンボル54A〜54Cは、2次元コード52の4つの頂点の内、3つに配置されていたが、2次元コード52内での配置は任意である。また1つの2次元コード52に4つ以上の位置決め用シンボルを設けても良い。
【0074】
また位置決め用シンボルは2つでも良い。この場合に対角の2頂点に位置決め用シンボルを配置すれば2次元コード52の配置は決定する。また、対角以外の2頂点に、あるいは頂点以外に位置決め用シンボルを配置した場合にも、補助シンボルのパターンを検出することで、データ領域56の配置を検出することができる。このように補助シンボルのパターンの検出を利用すれば、位置決め用シンボルは1つでも良く、例えば、2次元コード52の中心に位置決め用シンボルが1つ存在し、その周囲に補助シンボルが配置されているようにしても良く、2次元コード52内の何れの位置に位置決め用シンボルを配置してもデータセルの位置を求めることができる。
【0075】
前記実施の形態1では、矩形領域R1〜R9は正方形または正方形に近い矩形であったが、長方形でも良く、三角形でも六角形でも必要に応じて適宜分割する。また、各矩形領域R1〜R9内にシンボル54A〜54C,60A〜60Fは1つであったが、複数でも良い。
【0076】
前記実施の形態2では、隣接するシンボル54A〜54C,60A〜60Fの内、2次元コード52の縦横の辺S1,S2,S3,S4に沿った方向に隣接するシンボル54A〜54C,60A〜60F同士を直線で結んで処理していたが、縦横の辺S1,S2,S3,S4に沿わずに、斜めに存在するシンボル54A〜54C,60A〜60F同士を直線で結んで処理しても良い。また、縦横の辺S1,S2,S3,S4に沿った方向に隣接するシンボル54A〜54C,60A〜60F同士と、斜めに存在するシンボル54A〜54C,60A〜60F同士とを直線で結んで処理しても良い。
【0077】
また、前記実施の形態では、位置決め用シンボル54A〜54Cは比検出回路20によりハード的に検出し、補助シンボル60A〜60Fについてはソフト的に検出していたが、補助シンボル60A〜60Fについても比検出回路を設けてハード的に検出しても良く、処理が一層迅速となる。
【図面の簡単な説明】
【図1】 実施の形態1,2における2次元コード読取装置の概略構成を表すブロック図である。
【図2】 実施の形態1,2における2次元コードの概略構成説明図である。
【図3】 実施の形態1,2における2次元コードの詳細構成説明図である。
【図4】 実施の形態1,2における位置決め用シンボルおよび補助シンボルを走査した場合の明暗検出の説明図である。
【図5】 実施の形態1,2におけるCCDと2値化回路との出力信号の説明図である。
【図6】 実施の形態1における矩形領域の配置説明図である。
【図7】 実施の形態1における2次元コード読み取り処理のフローチャートである。
【図8】 実施の形態1,2における位置決め用シンボルからセルのサイズを求める場合の説明図である。
【図9】 実施の形態1,2において処理される2次元コード画像の説明図である。
【図10】 実施の形態2における隣接シンボルの配置説明図である。
【図11】 位置決め用シンボルの他の形状の例を示す説明図である。
【図12】 従来のバーコードおよび2次元コードの説明図である。
【図13】 従来の2次元コードの概略構成説明図である。
【図14】 2次元コードの歪み状態の説明図である。
【符号の説明】
2…2次元コード読取装置 4…CCD 6…2値化回路
8…画像メモリ 14…クロック信号出力回路
16…アドレス発生回路 18…変化点検出回路 20…比検出回路
22…アドレス記憶メモリ 28…制御回路 52…2次元コード
54A,54B,54C…位置決め用シンボル 56…データ領域
60A,60B,60C,60D,60E,60F…補助シンボル
D1,D2,D3,D4,D5,D6,D7,D8,D9,D10,D11,D12…直線
L1,L2,L3,L4…境界
R1,R2,R3,R4,R5,R6,R7,R8,R9…矩形領域

Claims (1)

  1. セルの分布パターンにより情報を表現するデータセルと、
    矩形形状の2次元コードの4つの頂点の内の3つにそれぞれ配置され、2次元コードの位置を特定するために、自身のパターンに基づいて最初に位置検出される位置決め用シンボルと、
    2次元コード内を該2次元コードの縦横の辺に沿った境界にて区画た複数の矩形領域の内、前記位置決め用シンボルが存在しない矩形領域に各1つ配置され、前記位置決め用シンボルの位置と自身のパターンとに基づいて位置検出される補助シンボルと、
    を備え
    前記位置決め用シンボルが、1セル幅の黒部からなる枠状正方形内の中心部分に、1セル幅の白部からなる縮小した枠状正方形が形成され、その内側の中心部分に黒部からなる3セル×3セルの大きさの正方形が形成されているパターンのセルの明暗配置からなっており、
    前記補助シンボルが、1セル幅の黒部からなる枠状正方形内の中心部分に、1セル幅の白部からなる縮小した枠状正方形が形成され、その内側の中心部分に1セルの黒部からなる正方形が形成されているパターンのセルの明暗配置からなっている、
    2次元コードを読み取る2次元コード読取装置において前記2次元コードを読み取るための読取方法であって、
    前記2次元コードの画像を得るとともに、前記画像中での前記位置決め用シンボルの位置を検出する2次元コード位置決め処理を行い、
    次に、前記位置決め用シンボルの位置と前記補助シンボルのパターンとに基づいて、前記画像中での前記補助シンボルの位置を検出する補助シンボル位置決め処理を行い、
    次に、前記位置決め用シンボルまたは補助シンボルが配置されている各矩形領域内に存在するデータセルの位置を、該矩形領域内に配置されている位置決め用シンボルまたは補助シンボルの位置及びその形状から求められたセルの形状およびセルの配列方向に応じて検出するセル位置決め処理を行い、
    次に、前記位置が検出されたデータセルに基づいて、2次元コードの情報を読み取るデコード処理を行うことを特徴とする2次元コードの読取方法。
JP01403497A 1997-01-28 1997-01-28 2次元コードの読取方法 Expired - Lifetime JP3716527B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01403497A JP3716527B2 (ja) 1997-01-28 1997-01-28 2次元コードの読取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01403497A JP3716527B2 (ja) 1997-01-28 1997-01-28 2次元コードの読取方法

Publications (2)

Publication Number Publication Date
JPH10208001A JPH10208001A (ja) 1998-08-07
JP3716527B2 true JP3716527B2 (ja) 2005-11-16

Family

ID=11849869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01403497A Expired - Lifetime JP3716527B2 (ja) 1997-01-28 1997-01-28 2次元コードの読取方法

Country Status (1)

Country Link
JP (1) JP3716527B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3361419A1 (en) 2017-02-09 2018-08-15 Aitek S.P.A. Tamper-proof barcode, system and method for generating and authenticating credentials on the basis of said code
US11900208B2 (en) 2021-04-07 2024-02-13 Ingamo, Llc Scannable code having a unique identifier

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3458737B2 (ja) 1998-11-27 2003-10-20 株式会社デンソー 2次元コードの読取方法及び記録媒体
US7082225B2 (en) 2001-08-28 2006-07-25 Nippon Telegraph And Telephone Corporation Two dimensional image recording and reproducing scheme using similarity distribution
CN1792077B (zh) 2003-05-19 2011-10-26 沃达丰集团股份有限公司 移动体通信终端
JP4444684B2 (ja) * 2004-02-12 2010-03-31 日本電信電話株式会社 対象物の撮影画像の処理方法、画像表示システム、プログラム、および、記録媒体
GB2416894B (en) * 2004-07-29 2009-04-29 Hewlett Packard Development Co Products with data encoding pattern
EP1801735B1 (en) 2004-10-15 2011-01-26 Sony Computer Entertainment Inc. Card and image data transmission method
JP4539340B2 (ja) * 2005-01-17 2010-09-08 株式会社デンソーウェーブ 認証システム
KR101177589B1 (ko) 2006-04-19 2012-08-27 에이ㆍ티 코뮤니케이숀즈 가부시키가이샤 로고 부착 이차원 코드
US7478746B2 (en) * 2006-05-31 2009-01-20 Konica Minolta Systems Laboratory, Inc. Two-dimensional color barcode and method of generating and decoding the same
KR100837887B1 (ko) 2006-06-19 2008-06-13 김택진 이미지처리를 통한 광학마크 표시카드 판독 방법 및 이를위한 광학마크 표시카드
JP2009129269A (ja) * 2007-11-26 2009-06-11 Nec Soft Ltd 情報読取装置及び情報読取方法
JP4951735B2 (ja) * 2007-11-26 2012-06-13 株式会社デンソーウェーブ 光学情報読取装置
JP5756947B2 (ja) * 2011-05-10 2015-07-29 国立大学法人 鹿児島大学 2次元コード、画像読取装置、画像読取方法、プログラム及び記憶媒体
JP5895511B2 (ja) * 2011-12-21 2016-03-30 富士ゼロックス株式会社 二次元コード、記録装置、識別装置及びプログラム
JP2013131058A (ja) * 2011-12-21 2013-07-04 Fuji Xerox Co Ltd 二次元コード、記録装置、位置特定装置、識別装置及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3361419A1 (en) 2017-02-09 2018-08-15 Aitek S.P.A. Tamper-proof barcode, system and method for generating and authenticating credentials on the basis of said code
US11900208B2 (en) 2021-04-07 2024-02-13 Ingamo, Llc Scannable code having a unique identifier

Also Published As

Publication number Publication date
JPH10208001A (ja) 1998-08-07

Similar Documents

Publication Publication Date Title
JP3716527B2 (ja) 2次元コードの読取方法
JP3458737B2 (ja) 2次元コードの読取方法及び記録媒体
JP2938338B2 (ja) 二次元コード
EP1456811B1 (en) Reconstruction of virtual raster
WO2014077184A1 (ja) 二次元コード
JPH07234915A (ja) 画像認識装置
JP5791826B2 (ja) 二次元コード
JP3726395B2 (ja) 2次元コードおよび2次元コードの読取方法
JP3758266B2 (ja) コード読取装置
JP3676948B2 (ja) 画素数変換回路及びこれを用いた画像表示装置
JP3887947B2 (ja) 2次元コードの読取方法及び記録媒体
JP3627416B2 (ja) 2次元コード読取装置および記憶媒体
JP3339392B2 (ja) 2次元コード読取装置および記憶媒体
JPH11328301A (ja) 2次元コード
JPH11312215A (ja) 二次元コードデコード装置、及び記憶媒体
JPS6057264B2 (ja) 2値パタ−ンの拡大方式
JP2726969B2 (ja) データ読取装置
JPH07107691B2 (ja) 画像信号処理装置
JP2000276564A (ja) 2次元コード
JP4105376B2 (ja) 図形検出回路
JPH02125381A (ja) 画像信号処理装置
JP2755249B2 (ja) 2次元バーコードの読み取り方法
JPH08272980A (ja) 閉領域抽出装置
JP2697085B2 (ja) 画信号処理装置
JPH0581430A (ja) エツジ検出方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050308

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050822

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110909

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120909

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120909

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120909

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130909

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130909

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130909

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130909

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term