JP3964390B2 - グラフィカルバーコードの生成および復号化 - Google Patents

グラフィカルバーコードの生成および復号化 Download PDF

Info

Publication number
JP3964390B2
JP3964390B2 JP2003504315A JP2003504315A JP3964390B2 JP 3964390 B2 JP3964390 B2 JP 3964390B2 JP 2003504315 A JP2003504315 A JP 2003504315A JP 2003504315 A JP2003504315 A JP 2003504315A JP 3964390 B2 JP3964390 B2 JP 3964390B2
Authority
JP
Japan
Prior art keywords
graphics
template
graphical barcode
graphical
barcode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003504315A
Other languages
English (en)
Other versions
JP2004533072A (ja
Inventor
ドロン・シェイケッド
アヴィ・レヴィ
ジョナサン・エン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JP2004533072A publication Critical patent/JP2004533072A/ja
Application granted granted Critical
Publication of JP3964390B2 publication Critical patent/JP3964390B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、グラフィカルバーコードを生成し復号化するシステムおよび方法に関する。
本願は、参照により本明細書にそれぞれ援用される以下の同時係属中の出願に関連する。
Doron Shaked他による「A Method and Apparatus for Generating and Decoding a Visually Significant Bar Code」と題する2000年5月25日出願の米国特許出願第09/579,070号、Renato Kresch他による「System and Method for Counterfeit Protection」と題する1999年10月28日出願の米国特許出願第09/429,515号、Jonathan Yen他による「Authenticable Graphical Bar Codes」と題する2000年12月1日出願の米国特許出願第09/728,292号、Doron Shaked他による「Geometric Deformation Correction Method and System for Dot Pattern Images」と題する2000年5月25日出願の米国特許出願第09/578,843号、Doron Shaked他による「Fiducial Mark Patterns for Graphical Bar Codes」と題する本願と同日出願の米国特許出願第09/877517号(代理人整理番号10016689−1)、およびJonathan Yen他による「Automatically Extracting Graphical Bar Codes」と題する本願と同日出願の米国特許出願第09/877581号(代理人整理番号10015191−1)。
[背景]
一般的なバーコードシンボルは、データ要素またはキャラクタを表す、様々な幅の棒と空間が並列になったパターンである。
棒はバイナリ1のストリングを表し、空間はバイナリ0のストリングを表す。
従来の「一次元」バーコードシンボルは、一次元においてのみ変化する一連の棒と空間を含む。
一次元バーコードシンボルは、比較的小さい情報記憶容量を有する。
「二次元」バーコードは、一次元バーコードシンボルよりも多くの情報を含む機械可読シンボルに対する増えつつあるニーズに応えるために開発された。
二次元バーコードシンボルの情報記憶容量は、バーコードパターンを二次元で変化させることによって一次元バーコードに比して増えている。
一般的な二次元バーコード規格としては、PDF417、Code1、およびMaxicodeが挙げられる。
一次元および二次元バーコードシンボルは通常、プリントされているバーコードシンボルを電気信号に変換する光学走査技法によって(たとえば、機械的に走査されるレーザービームにより、または自己走査電荷結合素子(CCD)により)読み取られる。
電気信号はデジタル化されて復号化され、プリントされているバーコードシンボルに符号化されたデータが復元される。
バーコードは、低情報コンテンツ用途(たとえば、自動価格タグ付けおよび在庫管理)および比較的高情報コンテンツの用途(たとえば、自動郵便読み取りおよび郵便分配システム用に郵便の住所および郵便料金を符号化すること、またプリントされたページの圧縮した内容を符号化すること)を含む様々な用途に使用することができる。
EP672994 米国特許第5745589号 WO 11599
[概要]
本明細書で使用される場合、「グラフィカルバーコード」という用語は、埋め込み情報を符号化する、目立たないグラフィックス変調を含む画像を広く指す。
本発明は、比較的大きい情報容量と、各基本画像パターンに実質的に対応する満足のいく外観とを特徴とするグラフィカルバーコードを生成し復号化する本発明の方式(システムおよび方法)を特徴とする。
本発明の一態様では、可逆グラフィックス演算が、基本画像の領域と、予め定義されたテンプレートセットから選択される情報符号化グラフィックステンプレートとの間に適用されて、グラフィカルバーコード領域と対応する基本画像領域との間に逆のグラフィックス演算を適用することでグラフィックステンプレートを復元可能な領域を有するグラフィカルバーコードが生成される。
本発明のこの態様による実施形態は、以下の特徴の1つまたは複数を含みうる。
実施形態によっては、可逆グラフィックス演算が排他的論理和(XOR)演算に対応するものもある。
これら実施形態では、XOR演算がグラフィカルバーコード領域と対応する基本画像領域との間に適用されて、グラフィックステンプレートが生成される。
実施形態によっては、基本画像領域およびグラフィックステンプレートはそれぞれ同数のピクセルを有するものもある。
基本画像領域およびグラフィックステンプレートはそれぞれ、好ましくは、同じピクセルレイアウト(たとえば、矩形または非矩形ピクセルアレイ)を有する。
各グラフィックステンプレートは、好ましくは、明ピクセルおよび暗ピクセルのパターンを含む。
明ピクセルの数は、好ましくは暗ピクセルの数よりも多い。
好ましくは、予め定義されたテンプレートセット内の各ピクセル位置が暗ピクセルである確率は等しい。
実施形態によっては、グラフィックステンプレートは、不評のグラフィックステンプレートシーケンスに関連する1つまたは複数の予め定義された規則に従って適応的に順序付けることができるものもある。
本発明の別の態様では、可逆グラフィックス演算が、グラフィカルバーコードの領域と対応する基本画像の領域との間に適用されて、測定ブロックセットが生成され、また最も高い推定確率を有する測定ブロックセットに対応する情報符号化グラフィックステンプレートが、予め定義されたテンプレートセットから選択される。
本発明のこの態様による実施形態は、以下の特徴の1つまたは複数を含みうる。
可逆グラフィックス演算は、好ましくはXOR演算に対応する。
実施形態によっては、好ましくは、ピクセル値確率が測定ブロック毎に計算されるものもある。
ピクセル値確率は、所与の測定ブロックにわたるグレー値測定の加重平均に基づいて所与の測定ブロックについて計算することができる。
グレー値の加重平均は、所与の測定ブロックにわたるドット位置にマスク(たとえば、トランケートされたガウスプロファイルを有するマスク)を合わせることによって計算することができる。
グレー値測定の加重平均のヒストグラムに合う確率分布(たとえば、非対称ラプラス分布)のパラメータを推定することができる。
本発明の他の特徴および利点は、図面および特許請求の範囲を含む、以下の説明から明らかになろう。
[詳細な説明]
以下の説明において、同様の参照番号を使用して同様の要素を識別する。
さらに、図面は例示的な実施形態の主な特徴を図で示すことを意図する。
図面は、実際の実施形態のあらゆる特徴を示すことも、また図示の要素の相対的な寸法を示すことも意図しておらず、一定の比率で描かれたものではない。
図1を参照すると、一実施形態では、グラフィカルバーコード10を符号化モジュール12で生成し、文書処理チャネル14を通過させ、復号化モジュール16で復号化することができる。
符号化モジュール12は、符号化段階18およびグラフィックス変調段階20を含む。
符号化モジュール12は、コンピュータまたは他のプログラム可能なプロセッサ上で実行可能な1つまたは複数のプログラムモジュールとして実施することができる。
動作にあたり、符号化モジュール12は、情報22を符号化メッセージ24中に符号化する。
たとえば、情報22は、従来の圧縮アルゴリズムに従って圧縮し、誤り修正コードを使用して符号化することができる。
誤り修正符号化は、文書処理チャネル14によって導入される劣化による誤りに対する堅牢性を提供する。
誤り修正コードをインタリーブして、バーストエラーから守ることも可能である。
実施形態によっては、符号化モジュール12は、Jonathan Yen他による「Authenticable Graphical Bar Codes」と題する2000年12月1日出願の米国特許出願第09/728,292号に記載の符号化プロセスに従って、情報22から確証となる署名付きメッセージを生成するようにプログラムすることができるものもある。
以下に詳細に説明するように、符号化段階18の中で、圧縮され誤り修正符号化されたメッセージが、順序付きの情報符号化グラフィックステンプレートシーケンスに変換される。
グラフィックス変調段階20の中で、基本画像26が順序付きグラフィックステンプレートシーケンスに従って変調され、グラフィカルバーコード10が生成される。
特に、可逆グラフィックス演算が、基本画像26の領域と順序付き情報符号化グラフィックステンプレートシーケンスとの間に適用され、グラフィカルバーコード10が生成される。
基本画像26は、ロゴ(たとえば、企業ロゴ)、グラフィックス、ピクチャ、テキスト、画像、または視認性を有する任意のパターンを含む任意の2値離散グラフィックスパターンであることができる。
情報22は、テキスト、ピクチャ、画像、ボーダーまたは基本画像26の背景のグラフィカルデザイン中に埋め込み、グラフィカルバーコード10を生成することが可能である。
情報22は、2値画像(たとえば、明暗ドットパターン)、マルチレベル画像(たとえば、グレーレベル画像)またはマルチレベルカラー画像の形のグラフィカルバーコード10に埋め込むことができる。
文書処理チャネル14において、グラフィカルバーコード10は、プリント段階28によって1つまたは複数のハードコピー30に変換することができる。
ハードコピー30は、走査段階34により電子走査画像36に変換する前に、処理段階32を通して処理することが可能である。
グラフィカルバーコード10は、従来のプリンタ(たとえば、米国カリフォルニア州パロアルトに所在のHewlett-Packard社から市販されているLaserJet(登録商標)プリンタ)または専用ラベルプリント装置によってプリントしうる。
ハードコピー30は、預金引き出し認可署名のグラフィカルバーコードが記された銀行為替手形(または小切手)、認証証明書のグラフィカルバーコードが記された株券または債券、および料金別納郵便物の証印のグラフィカルバーコードが記された封筒を含む多種多様なプリントされた材料のいずれか1つの形であることができる。
ハードコピー30は、従来のデスクトップ光学スキャナ(たとえば、米国カリフォルニア州パロアルトに所在のHewlett-Packard社から市販されているScanJet(登録商標)スキャナ)またはポータブルスキャナ(たとえば、米国カリフォルニア州パロアルトに所在のHewlett-Packard社から市販されているCapShare(登録商標)ポータブルスキャナ)で走査することが可能である。
スキャナによって得られ、復号化モジュール16に導入される走査画像36は、元のグラフィカルバーコード10を劣化させたものである。
こうした劣化は、プリント段階28、処理段階32(たとえば、コピー劣化、しみ、折り曲げ、ステープルおよびマーキング)および走査段階34を含む文書処理チャネル段階の1つまたは複数で生じうる。
概して、復号化モジュール16は、事前処理段階40、位置合わせ段階42、ジオメトリック修正段階44、確率解析段階46、グラフィックス復調段階48および復号化段階50を含む。
復号化モジュール16は、コンピュータまたは他のプログラム可能なプロセッサ上で実行可能な1つまたは複数のプログラムモジュールとして実施することができる。
事前処理段階40の中で、走査グラフィカルバーコード画像52を走査画像36上に配置することができ、非バーコード領域を走査画像36からクロッピングし、かつトリミングすることができる。
位置合わせ段階42の中で、走査バーコード画像52中の基準目印が検出される。
検出された基準目印の構成により、文書処理チャネル14を通してハードコピー30の伝送中にグラフィカルバーコードに導入された可能性のある全体の変形のタイプが示される。
これら全体の変形(たとえば、平行移動、回転、アフィン、およびスキュー的な歪みをジオメトリック修正段階44の中で修正することができ、これは、Doron Shaked他による「A Method and Apparatus for Generating and Decoding a Visually Significant Bar Code」と題する2000年5月25日出願の米国特許出願第09/579,070号に記載されている。
確率解析段階46の中で、確率モデルが、位置合わせされ幾何学的形状が修正された走査バーコード画像53から得られるピクセル値測定に適用され、確率パラメータ54のセットが生成される。
以下に詳細に説明するように、確率パラメータ54は、グラフィックス変調段階48の中で、基本画像26中に最初に符号化されたグラフィックステンプレートシーケンスに対応する情報符号化グラフィックステンプレートの最も起こりうるシーケンスを選択するために使用される。
選択されたグラフィックステンプレートシーケンスが符号化メッセージ56に変換され、符号化メッセージ56が復号化段階50によって情報22に復号化される。
図2、図3Aおよび図3Bを参照すると、以下のグラフィックス符号化方式に従って基本画像26をグラフィックス変調することによって、グラフィカルバーコード10を生成することができる。
基本画像26は複数のサブマトリックス(またはサブ画像)に分割される(ステップ60)。
たとえば、基本画像26がM×Nピクセル画像の場合、規則正しい配列のOK×Kピクセルサブマトリックスに分割することができる。
但し、O=M×N/(K×K)である。
基本画像26の中の1つまたは複数の領域が基準目印用に確保される(ステップ62)。
一実施形態では、基本画像26の4つの角を基準目印用に確保しうる。
他の実施形態では、基準目印は、Doron Shaked他による「Fiducial Mark Patterns for Graphical Bar Codes」と題する本願と同日出願の米国特許出願第 号(代理人整理番号10016689−1)に記載のように、基本画像26に外接しうる。
残りの非確保サブマトリックスはラスタ走査順に並べられ、可逆グラフィックス演算(たとえば、XORグラフィックス演算)を非確保サブマトリックスと、符号化すべき情報22に従って順序付けられた情報符号化グラフィックステンプレートシーケンスとに適用することにより、2値バーコードマトリックスに変換される(ステップ64)。
概して、可逆グラフィックス演算により、基本画像サブマトリックス(BIi)およびグラフィックステンプレート(Tj)からグラフィカルバーコード領域(GBCi)へのマッピング(f)が生成され、このグラフィカルバーコード領域は逆(f)にすることができ、基本画像サブマトリックス(BIi)およびグラフィカルバーコード領域(GBCi)からグラフィックステンプレート(Tj)を復元することができる。
すなわち、
f(BIi,Tj)→GBCi 式1
f'(BIi,GBCi)→Tj 式2
である。
一実施形態では、可逆グラフィックス演算は、一対の入力ピクセル値に対して演算を行い、以下のXOR関数に従って出力ピクセル値を生成するXORグラフィックス演算に対応する。
Figure 0003964390
このXORグラフィックス演算は、以下の式3および式4に示すように、上記の可逆特徴を満たしている。
XOR(BIi,Tj)→GBCi 式3
XOR(BIi,GBCi)→Tj 式4
このグラフィックス符号化手法によれば、Kピクセルの基本画像サブマトリックスが、K×Kピクセルグラフィカルバーコード領域として変調されレンダリングされる。
言い換えれば、各基本画像ピクセルがグラフィカルバーコード10中の単一ドットとしてレンダリングされるため、基本画像26の元の解像度がグラフィカルバーコード10において保存される。
さらに、2つの同一の基本画像領域があり、2つの異なるテンプレートを使用して符号化するものと想定する。
得られる符号化グラフィカルバーコード領域間の違いは、2つの対応するテンプレートパターン間の違いと同じである。
すなわち、XOR出力パターン間のハミング距離は、対応するコード間の距離と同一である。
そのため、十分に異なるテンプレートパターンは、十分に異なるXOR出力パターンを生じさせる。
図3Aに示すように、グラフィックス符号化の一実施形態では、情報22を、グラフィックステンプレート66(またはハーフトーンパターン)のセットに基づいて2値レベルグラフィックスバーコード画像に符号化することができる。
この実施形態では、基本画像26から分割された非確保サブマトリックス68が、XORグラフィックス演算を基本画像サブマトリックス68とグラフィックステンプレート66との間に適用することによって変調される。
グラフィックステンプレート66は、3×3パターン中の2つの暗ドットに可能な36個の配置に対応する3×3ピクセルパターンである(36個のグラフィックステンプレートのうちの5個のみを図3Aに示す)。
実施形態によっては、36個すべてのグラフィックステンプレートをメッセージ24の符号化に使用しうる。
他の実施形態では、テンプレートパターンのうちの32個のみを5ビットの符号化に使用しうる。
予め定義されたコードセットの選択によって偏りが生じないように、符号化に選択された特定のテンプレートは、36個のテンプレートを通して循環しうる。
たとえば、コードC36(36個のうちの1つ)を、式5に従って所望のコードC32(32個のうちの1つ)から得ることができる。
36=mod36(C32+カウンタ) 式5
式中、カウンタは各使用後に増分される。復号化中、C32が式6に従ってC36から復号化される。
32=mod32(C36−カウンタ) 式6
図3Bに示すように、テンプレートピクセルを規則正しい矩形アレイに配置する必要はない。
この実施形態では、グラフィックステンプレート72は、スキューした4×2ピクセル配列中の1つあるいは2つの暗ドットの可能な36個の配置のセットに対応する。
概して、グラフィックス符号化プロセスはnビット符号化マッピングに拡張することが可能である。
但し、nは2以上の整数である。
この手法の情報密度は、logLに従ってグラフィックステンプレートの数(L)とともに増大する。
したがって、図3Aおよび図3Bの各テンプレートセットは、5ビットを越える情報密度を有する。
概して、グラフィカルバーコード10の外観品質は、グラフィックステンプレートパターンのコントラストレベルとともに向上する。
真に暗い領域と真に明るい領域との間のコントラストが1であると仮定すると、暗と明のグラフィカルバーコード領域70間の平均コントラスト(C)は、
C=1−2・(D/K) 式7
によって与えられる。
式中、Dは各テンプレートパターン中の暗ドットの数であり、Kは各テンプレートパターン中のドット位置の総数である。
図3Aおよび図3Bの実施形態では、コントラストレベルは5/9である。
比較的高いコントラストレベルを特徴とするテンプレートセットを構築することに加えて、グラフィックステンプレート10の外観品質は、所与のテンプレートセット内の各ピクセル位置が暗ピクセルである確率が等しいテンプレートセットを構築することによって向上させることが可能である。
グラフィカルバーコード10の外観品質は、暗ドットの局所密度が均一であるテンプレートを構築することによっても向上させることが可能である。
図3Aおよび図3Bの実施形態では、実質的な局所暗密度均一性は、各テンプレートパターン中の暗ピクセルの数を、ピクセル総数の比較的小さい関数に制限することによって達成される。
実施形態によっては、局所暗密度均一性は、テンプレートコードブックの適応可能性を変更することによって向上させることができるものもある。
すなわち、グラフィックステンプレートは、不評なグラフィックステンプレートシーケンスに関連する1つまたは複数の予め定義された規則に従って適応的に順序付けることができる。
たとえば、この手法によれば、復号化プロセス中に、連結したときに局所暗ドット密度を増大させるパターンを有するグラフィックステンプレート対を適応的に回避することができる。
図4、図5、図6および図7を参照すると、一実施形態では、グラフィカルバーコード10は以下のように復号化することができる。
まず図4を参照すると、走査しかつ位置合わせされたバーコード画像中のピクセルアレイが、元のバーコード画像10中の個々のピクセルを識別する(ステップ80)。
通常、グラフィカルバーコードが、元の各ピクセルがr×r走査ピクセルアレイに対応するように高解像度で走査される。
文書処理チャネル14のプリント、処理、および走査プロセスに起因する場合が多い外観の劣化により、得られる走査ピクセルアレイはもはや均質ではなく、その代わりに異なるグレーレベルの走査ピクセルを含む。
こういった状況下で、元のグラフィカルバーコード10中の各ピクセルに対応する走査ピクセルアレイの境界は、Doron Shaked他による「Geometric Deformation Correction Method and System for Dot Pattern Images」と題する2000年5月25日出願の米国特許出願第09/578,843号に記載の方法に従って識別される。
以下に詳細に説明するように、走査バーコード画像52中の各r×rピクセルアレイを、元の単一のグラフィカルバーコードピクセルで識別した後、アレイはマスクに関連し(ステップ82)、確率密度関数パラメータが推定され(ステップ83)、ピクセル値確率(すなわち、暗(または明)ピクセルである確率)が元の各ピクセル毎に求められる(ステップ84)。
以下の説明において、sは元の1つのピクセルに対応する走査ピクセルアレイとして定義され、その走査ピクセルのグレーレベルはsi,jで表される。
但し、i、j=1,・・・、rである。
図5を参照すると、グレー値の加重平均が各測定ブロックのピクセル毎に計算される(ステップ86)。
このため、元の暗ピクセルに対応するアレイと元の明ピクセルに対応するアレイとを判別するsi,jの関数が、走査ピクセルアレイに適用される。
一実施形態では、式8の線形判別関数が走査ピクセルアレイに適用されて、暗ピクセルと明ピクセルとを判別する。
Figure 0003964390
式中、係数ci,jは、式9の2次元のトランケートされたガウス形状表面の格子値として解釈される。
pos(exp(−(x−c)2/s)−Δ) 式9
式中、xはマスク座標を示し、cはドットパターンの中心、Δはトランケーション係数、sはスカラー係数を示し、x>0の場合pos(x)=xであり、x≦0の場合pos(x)=0である。
スカラーsおよびΔは、走査解像度および期待される変形強度に従って調整される。
一実施形態では、sおよびΔは、幅が約1/3ドットサイズのバンドに沿ってマスクが0であり、中心から約1/3ドットサイズ離れたところではその大きさの半分に上がるようにセットされる。
測定を集めて解析して、測定パターンに対応する元のピクセルが暗かそれとも明かを示すしきい値を見つける。
このために、判別関数のヒストグラムが、走査されたハーフトーン画像中のピクセル毎に計算される(ステップ88)。
ヒストグラム測定は、所与の画像にわたる、位置合わせされ幾何学的形状の修正が行われたドット位置のグレー値の加重平均である。
横軸はグレー値の加重平均の線形関数であり、縦軸はヒストグラム計数軸である。
右側の集団が「明」ピクセルに属し、また左側の集団が「暗」ピクセルに属する。
このようなヒストグラムの形状に基づいて、f(s)の分布を双峰非対称指数分布でモデリングすることができる。
たとえば、一実施形態では、暗(明)ピクセルy=f(s)は、式10の非対称ラプラス分布に従って分布するものと仮定することが可能である。
Figure 0003964390
分布関数のパラメータが推定される(ステップ90)。
パラメータαL、αLおよびμは暗ピクセル集団と明ピクセル集団とで異なるため、この確率手法で推定すべきパラメータの総数は6である。
以下の説明において表記を簡略化するため、暗ピクセルを0で示し、明ピクセルを1で示し、これに従ってパラメータにインデックスを付す。
図7に示すように、計算負荷を低減するために、パラメータ推定プロセス(ステップ90)は2つのステップ、すなわち(1)μ0、μ1、α0Lおよびα1Rの推定と、(2)α1Lおよびα0Rの推定と、に分けられる。
まず、測定値yi=f(gi)が、「暗」ピクセル(N0)および「明」ピクセル(N1)の既知の期待数に基づいて2つの集団に分けられる(ステップ92)。
「暗」集団は最も小さいN0測定値を含み、「明」集団は残り(最も大きなN1)を含む。
これら集団毎に、以下の最尤近似法(maximum likelihood approximated method)によって、最頻数(μ)が推定される。
μの最尤推定量を最大化するμの値(簡単にするために、0/1の下付きを無視する)が式11から計算される。
Figure 0003964390
式中、ILはμよりも小さな測定値のセットであり、ILはμよりも大きな測定値のセットである。
αLおよびαLの真の値はわからないため、式12および式13によるμの各テスト値毎に推定される(ステップ94)。
Figure 0003964390
Figure 0003964390
式中、NL=|IL|かつNL=|IL|である。
式12および式13を式11に代入し、得られる式を簡単にした後、
Figure 0003964390
を以下のように表すことができる。
Figure 0003964390
(ILおよびIL、ひいてはNLおよびNLがμの関数であることに留意する)
μの最尤値が式14から計算される(ステップ98)。
α0Lおよびα1Rの推定値は、μ0およびμ1に計算された推定値を使用して、式12および式13から直接導き出される(ステップ100)。
μ0、μ1、α0Lおよびα1Rを推定した後、パラメータα1Lおよびα0Rを推定することができる(ステップ102)。
(以下、α1Lおよびα0Rそれぞれに表記α1およびα0を用いる)。
μ0よりも低く、μ1よりも高いすべての測定値は無視され、IMおよびNMはIM={y|μ0≦y≦μ1}およびNM=|IM|と定義される。
測定値{y1:i∈IM}は、以下の分布を有するランダムベクトルからサンプリングされるべきである。
Figure 0003964390
式中、xiは確率P0およびP1それぞれで値0または1をとる。
EMパラダイムを使用してα1およびα0を推定する。
EMアルゴリズムは、パラメータの初期値で開始され、平均最尤目的関数の(局所)極大に収束する一連の更新段階を実行する。
α1およびα0の値を推定するため、式16の条件付き期待値がアルゴリズムの各段階で最大化される。
Figure 0003964390
α1Lおよびα0Rの推定値は、最後の更新段階におけるα1およびα0の推定値である。
EMアルゴリズムは、初期化ステップおよび更新ステップを含む。
初期化ステップ中、yi毎に、元のピクセルのグレーレベルがgiで表される。
再び図4を参照すると、XOR演算が、走査画像測定ブロックと対応する基本画像領域との間に適用されて、測定ブロックに埋め込まれたテンプレートを復元する(ステップ104)。
上に述べたXOR変調方式によれば、giに対応するハーフトーンピクセルは、0である確率giおよび1である確率(1−gi)を有する。
値p0(0|yi)=giが各i∈IM毎に定義される。
更新ステップ中、式17および式18が計算される。
Figure 0003964390
Figure 0003964390
式中、pj(1=yi)=1−pj(0|yi)である。
次に、α0(j)、α1(j)およびpj+1(0|yi)が式19、式20および式21それぞれから計算される。
α0(j)=1/E0(j) 式19
α1(j)=1/E1(j) 式20
Figure 0003964390
次に、復元されたテンプレートシーケンスに対応する最尤テンプレートシーケンスが選択される(ステップ106)。
走査画像S中の各ピクセルが暗(明)ピクセルからのものである確率が与えられると、適切なコードワードを、以下の最尤アルゴリズムに従ってスコアを付けることができる。
w=(w1,・・・,wL)をI中の所与のサブ画像p=(p1,・・・,pL)のコードブックからのコードワードとする。
S中の対応する走査サブ画像が判別関数値y=(y1,・・・,yL)を有するものと仮定する。
wの最尤スコアはs(w)=P(w|y)によって与えられる。各コードワードは等しい事前確率を有するため、測定値は統計学的に独立しているという仮定の下で、このスコアは、
Figure 0003964390
に等しい。
対数尤度スコアは、
Figure 0003964390
により与えられる。
式中、
Figure 0003964390
はwに依存しない定数まで等しいことを意味する。
上で推定した双峰非対称指数分布の式について、P(yi|0)およびP(yi|1)を式22に代入すると、wのスコアは、
Figure 0003964390
になる。
式中、F(yi)は、
Figure 0003964390
により与えられる。
最高スコアscr(w)を達成するコードワードが、埋め込まれたメッセージの復号化に選ばれる(ステップ106)。
最後に、選択された順序のグラフィックステンプレートシーケンスが、適切なグラフィックステンプレートコードブックに従ってシンボルに変換される。
シンボルは、復号化モジュール16の復号化段階50により情報22に復号化される。
要約すれば、上記実施形態は、高情報容量およびグラフィカルバーコードが生成される元の基本画像に実質的に対応する外観を特徴とするグラフィカルバーコードを生成し復号化する新規の手法を提供する。
本明細書に述べたシステムおよび方法は、任意の特定のハードウェア構成またはソフトウェア構成に限定されず、むしろ、デジタル電子回路内、またはコンピュータハードウェア、ファームウェア、またはソフトウェア内を含む、任意の計算または処理環境で実施することができる。
符号化および復号化モジュールは、部分的に、コンピュータプロセッサによる実行のために機械可読記憶装置に有形に具体化されたコンピュータプログラム製品に実施することができる。
実施形態によっては、これらモジュールは、好ましくは、高水準手続き型またはオブジェクト指向プログラミング言語で実施されるが、所望であれば、アルゴリズムはアセンブリ言語または機械語で実施してもよい。
いずれの場合でも、プログラミング言語はコンパイル言語またはインタープリタ言語であることができる。
本明細書に述べた符号化および復号化の方法は、たとえば、プログラムモジュールに編成された命令をコンピュータプロセッサが実行して、入力データに対して動作することによってこれら方法を実行し、出力を生成することによって行うことができる。
適切なプロセッサとしては、たとえば、汎用および専用マイクロプロセッサの両方が挙げられる。
概して、プロセッサは命令およびデータを読み取り専用メモリおよび/またはランダムアクセスメモリから受け取る。
コンピュータプログラム命令を有形に具体化するために適した記憶装置としては、たとえば、EPROM、EEPROM、およびフラッシュメモリデバイス等の半導体メモリ素子を含むすべての形の不揮発性メモリ、すなわち内部ハードディスクおよび取り外し可能ディスク等の磁気ディスク、磁気光学ディスクおよびCD−ROMが挙げられる。
上記技術はいずれも、特別に設計されたASIC(特性用途向け集積回路)によって捕捉するか、または組み込むことができる。
他の実施形態も特許請求の範囲内にある。
符号化モジュール、復号化モジュール、および1つまたは複数のグラフィカルバーコードを伝送可能な文書処理チャネルのブロック図である。 情報をグラフィックス符号化した基本画像をレンダリングする方法の流れ図である。 基本画像の領域と情報符号化グラフィックステンプレートのセットとの間に適用されるXORグラフィックス演算に従って、情報を2値レベルグラフィックスコードにマッピングするテーブルである。 基本画像の領域と代替の情報符号化グラフィックステンプレートのセットとの間に適用されるXORグラフィックス演算に従って、情報を2値レベルグラフィックスコードにマッピングするテーブルである。 最尤原理の適用に基づいてグラフィカルバーコードを復号化するプロセスの流れ図である。 ピクセル値の確率関数パラメータを計算するプロセスのブロック図である。 図5のブロック88において計算されるヒストグラムの一例である。 図6のヒストグラムに合う一対の確率分布関数のパラメータを推定する方法の流れ図である。
符号の説明
10・・・グラフィカルバーコード、
12・・・符号化モジュール、
14・・・チャネル、
16・・・復号化モジュール、
18・・・符号化、
20・・・グラフィックス変調、
22・・・情報、
26・・・基本画像、
28・・・プリント、
32・・・処理、
34・・・走査、
40・・・事前処理、
42・・・位置合わせ、
44・・・ジオメトリック修正、
46・・・確率解析、
48・・・グラフィックス復調、
50・・・復号化、
66・・・グラフィックステンプレート、
68・・・非確保サブマトリックス、
70・・・グラフィカルバーコード領域、

Claims (18)

  1. グラフィカルバーコード(10)生成方法であって、
    基本画像(26)の領域と、予め定義されたテンプレートセットから選択される情報符号化グラフィックステンプレート(66、72)との間に可逆グラフィックス演算を適用することであって、それによって、グラフィカルバーコード領域と対応する基本画像領域との間で逆のグラフィックス演算を適用することで、前記グラフィックステンプレート(66、72)を復元可能な領域を有する当該グラフィカルバーコード(10)を生成する、可逆グラフィックス演算を適用すること
    含み、
    前記グラフィックステンプレート(66、72)は、不評のグラフィックステンプレートシーケンスに関連する1つまたは複数の予め定義された規則に従って適応的に順序付けられる
    グラフィカルバーコード生成方法。
  2. 前記可逆グラフィックス演算は、排他的論理和(XOR)演算に対応する 請求項1記載のグラフィカルバーコード生成方法。
  3. XOR演算を前記グラフィカルバーコード領域と対応する基本画像領域との間に適用することであって、それによって前記グラフィックステンプレート(66、72)が生成される適用すること
    をさらに含む請求項2記載のグラフィカルバーコード生成方法。
  4. 前記基本画像領域および前記グラフィックステンプレート(66、72)は、それぞれ同数のピクセルを有する
    請求項1記載のグラフィカルバーコード生成方法。
  5. 前記基本画像領域および前記グラフィックステンプレート(66、72)は、それぞれ共通のピクセルレイアウトを有する
    請求項4記載のグラフィカルバーコード生成方法。
  6. 前記共通のピクセルレイアウトは、矩形ピクセルアレイに対応する
    請求項5記載のグラフィカルバーコード生成方法。
  7. グラフィックスステンプレートは、それぞれ明ピクセルおよび暗ピクセルのパターンを含む
    請求項1記載のグラフィカルバーコード生成方法。
  8. 前記明ピクセルの数は、前記暗ピクセルの数よりも多い
    請求項7記載のグラフィカルバーコード生成方法。
  9. 前記予め定義されたテンプレートセット内の各ピクセル位置が、暗ピクセルである確率は等しい
    請求項7記載のグラフィカルバーコード生成方法。
  10. コンピュータ可読媒体に存在し、コンピュータ可読命令を含むコンピュータプログラムであって、
    前記コンピュータ可読命令は、
    コンピュータに、基本画像(26)の領域と、予め定義されたテンプレートセットから選択される情報符号化グラフィックステンプレート(66、72)との間に可逆グラフィックス演算を適用し、
    グラフィカルバーコード領域と対応する基本画像領域との間に逆のグラフィックス演算を適用することで、グラフィックステンプレート(66、72)を復元可能な領域を有するグラフィカルバーコード(10)を生成させ
    前記グラフィックステンプレート(66、72)は、不評のグラフィックステンプレートシーケンスに関連する1つまたは複数の予め定義された規則に従って適応的に順序付けられる
    コンピュータプログラム。
  11. グラフィカルバーコード(10)復元方法であって、グラフィカルバーコード(10)の領域と対応する基本画像(26)の領域との間に可逆グラフィックス演算を適用することであって、それによって測定ブロックセットが生成される、可逆グラフィックス演算を適用することと、
    予め定義されたテンプレートセットから、最も高い推定確率を有する前記測定ブロックセットに対応する情報符号化グラフィックステンプレート(66、72)を選択することと、
    前記測定ブロック毎にピクセル値確率を計算することと
    を含むグラフィカルバーコード復号化方法。
  12. 前記可逆グラフィックス演算はXOR演算に対応する
    請求項11記載のグラフィカルバーコード復号化方法。
  13. ピクセル値確率は、前記所与の測定ブロックのグレー値測定の加重平均に基づいて、所与の測定ブロックについて計算される
    請求項11記載のグラフィカルバーコード復号化方法。
  14. 前記グレー値の加重平均は、前記所与の測定ブロックにわたるドット位置にマスクをあわせることによって計算される
    請求項13記載のグラフィカルバーコード復号化方法。
  15. 前記マスクはトランケートされたガウスプロファイルを有する
    請求項14記載のグラフィカルバーコード復号化方法。
  16. 前記グレー値の測定値の加重平均のヒストグラムに合う確率分布のパラメータを推定することをさらに含む
    請求項13記載のグラフィカルバーコード復号化方法。
  17. 前記確率分布は非対称ラプラス分布である
    請求項16記載のグラフィカルバーコード復号化方法。
  18. コンピュータ可読媒体に存在し、コンピュータ可読命令を含むコンピュータプログラムであって、前記コンピュータ可読命令は、コンピュータに、
    グラフィカルバーコード(10)の領域と対応する基本画像(26)の領域との間に可逆グラフィックス演算を適用し、それによって測定ブロックセットを生成させ、また、
    予め定義されたテンプレートセットから、最も高い推定確率を有する前記測定ブロックセットに対応する情報符号化グラフィックステンプレート(66、72)を選択させ、前記測定ブロック毎にピクセル値確率を計算させる
    コンピュータプログラム。
JP2003504315A 2001-06-07 2002-06-03 グラフィカルバーコードの生成および復号化 Expired - Fee Related JP3964390B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/877,516 US6722567B2 (en) 2001-06-07 2001-06-07 Generating and decoding graphical bar codes
PCT/US2002/017304 WO2002101634A1 (en) 2001-06-07 2002-06-03 Generating and decoding graphical bar codes

Publications (2)

Publication Number Publication Date
JP2004533072A JP2004533072A (ja) 2004-10-28
JP3964390B2 true JP3964390B2 (ja) 2007-08-22

Family

ID=25370135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003504315A Expired - Fee Related JP3964390B2 (ja) 2001-06-07 2002-06-03 グラフィカルバーコードの生成および復号化

Country Status (4)

Country Link
US (1) US6722567B2 (ja)
EP (1) EP1393240A1 (ja)
JP (1) JP3964390B2 (ja)
WO (1) WO2002101634A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058841A (ja) * 2001-08-09 2003-02-28 Satoshi Mizoguchi 二次元コード
US7328847B1 (en) * 2003-07-30 2008-02-12 Hewlett-Packard Development Company, L.P. Barcode data communication methods, barcode embedding methods, and barcode systems
US7017816B2 (en) * 2003-09-30 2006-03-28 Hewlett-Packard Development Company, L.P. Extracting graphical bar codes from template-based documents
US8363282B2 (en) 2003-10-31 2013-01-29 Hewlett-Packard Development Company, L.P. Halftone screening and bitmap based encoding of information in images
TWI288892B (en) * 2005-12-28 2007-10-21 Inst Information Industry Content protection method for vector graph format
US7909256B2 (en) * 2005-12-31 2011-03-22 Motorola Mobility, Inc. Method and system for automatically focusing a camera
US20100098323A1 (en) * 2008-07-18 2010-04-22 Agrawal Amit K Method and Apparatus for Determining 3D Shapes of Objects
DE102009025869A1 (de) 2009-05-27 2010-12-02 Wincor Nixdorf International Gmbh Verfahren und Vorrichtung zum Erkennen von Strichcodezeichen
US8162224B2 (en) * 2009-07-29 2012-04-24 Symbol Technologies, Inc. Method of setting amount of exposure for photodetector array in barcode scanner
US8593697B2 (en) * 2010-01-11 2013-11-26 Hewlett-Packard Development Company, L.P. Document processing
EP2393036B1 (en) * 2010-06-01 2016-03-02 Fujian Newland Computer Co., Ltd. Barcode decoding chip
US8555065B2 (en) 2011-08-24 2013-10-08 Jeffrey Thomas CESNIK Method and apparatus for transmitting, receiving and decoding data using encoded patterns of changing colors
US20150104184A1 (en) * 2013-09-16 2015-04-16 Clutch Authentication Systems, Llc System and method for communication over color encoded light patterns
US9787404B2 (en) * 2013-09-16 2017-10-10 Clutch Authentication Systems, Llc System and method for communication over color encoded light patterns
US20150155938A1 (en) * 2013-09-16 2015-06-04 Clutch Authentication Systems, Llc System and method for communication over color encoded light patterns
US9548814B2 (en) * 2013-09-16 2017-01-17 Clutch Authentication Systems, Llc System and method for communication over color encoded light patterns
US20150155937A1 (en) * 2013-09-16 2015-06-04 Clutch Authentication Systems, Llc System and method for communication over color encoded light patterns
US9965915B2 (en) * 2013-09-24 2018-05-08 Robert Bosch Gmbh System and method for document and article authentication
US10248825B2 (en) 2014-08-29 2019-04-02 Hewlett-Packard Development Company, L.P. Image processing
EP3016018A1 (en) * 2014-10-30 2016-05-04 Thomson Licensing Apparatus and method for detecting a symbol on a two-dimensional storage medium
CN107567639B (zh) * 2015-07-09 2021-09-10 惠普发展公司,有限责任合伙企业 多维循环符号
US9659202B2 (en) * 2015-08-13 2017-05-23 International Business Machines Corporation Printing and extraction of 2D barcode on 3D objects
US10984205B1 (en) * 2018-09-10 2021-04-20 Amazon Technologies, Inc. Error tolerant system for reading tags
CN109344676B (zh) * 2018-11-22 2021-09-24 福州图腾易讯信息技术有限公司 一种基于哈希算法的自动感应触发方法及其系统
WO2020131077A1 (en) * 2018-12-20 2020-06-25 Hewlett-Packard Development Company, L.P. Read curved visual marks
US10997448B2 (en) * 2019-05-15 2021-05-04 Matterport, Inc. Arbitrary visual features as fiducial elements

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3898689A (en) * 1974-08-02 1975-08-05 Bell Telephone Labor Inc Code converter
US4245152A (en) * 1979-10-23 1981-01-13 International Business Machines Corporation Decoding method and system for ETAB bar code
US5091966A (en) * 1990-07-31 1992-02-25 Xerox Corporation Adaptive scaling for decoding spatially periodic self-clocking glyph shape codes
US5591956A (en) * 1995-05-15 1997-01-07 Welch Allyn, Inc. Two dimensional data encoding structure and symbology for use with optical readers
JP2938338B2 (ja) 1994-03-14 1999-08-23 株式会社デンソー 二次元コード
US5726435A (en) * 1994-03-14 1998-03-10 Nippondenso Co., Ltd. Optically readable two-dimensional code and method and apparatus using the same
JP3623003B2 (ja) 1995-03-10 2005-02-23 シャープ株式会社 デジタル情報記録方法および解読方法
JP3209108B2 (ja) 1996-08-23 2001-09-17 松下電器産業株式会社 2次元コード読み取り装置
US5946415A (en) * 1996-10-24 1999-08-31 The United States Of America As Represented By The Secretary Of The Army Method and apparatus to process drawing images
US6064738A (en) * 1996-12-10 2000-05-16 The Research Foundation Of State University Of New York Method for encrypting and decrypting data using chaotic maps
US6000614A (en) * 1996-12-20 1999-12-14 Denso Corporation Two-dimensional code reading apparatus
US5974200A (en) * 1997-03-20 1999-10-26 Matsushita Electric Industrial Company, Ltd. Method of locating a machine readable two dimensional barcode within an image
US5996893A (en) * 1997-10-28 1999-12-07 Eastman Kodak Company Method and apparatus for visually identifying an area on a photograph or image where digital data is stored
US6201901B1 (en) * 1998-06-01 2001-03-13 Matsushita Electronic Industrial Co., Ltd. Border-less clock free two-dimensional barcode and method for printing and reading the same
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
US6457651B2 (en) * 1999-10-01 2002-10-01 Xerox Corporation Dual mode, dual information, document bar coding and reading system

Also Published As

Publication number Publication date
US20030047612A1 (en) 2003-03-13
WO2002101634A1 (en) 2002-12-19
US6722567B2 (en) 2004-04-20
EP1393240A1 (en) 2004-03-03
JP2004533072A (ja) 2004-10-28

Similar Documents

Publication Publication Date Title
JP3964390B2 (ja) グラフィカルバーコードの生成および復号化
JP4000316B2 (ja) 埋め込み型図形符号化を用いたハーフトーン化による図形コードの生成
US6742708B2 (en) Fiducial mark patterns for graphical bar codes
US7936901B2 (en) System and method for encoding high density geometric symbol set
US6895116B2 (en) Automatically extracting graphical bar codes
US7305131B2 (en) Extracting graphical bar codes from an input image
JP4495908B2 (ja) 図形的二次元コードに基いて機械で符号化を実施する方法
JP4173994B2 (ja) 画像に埋め込まれたハーフトーン変調の検出
US20050067496A1 (en) Extracting graphical bar codes from template-based documents
US6655592B2 (en) Graphically demodulating graphical bar codes without foreknowledge of the original unmodulated base image
US20030190056A1 (en) System and method for encoding and decoding data and position information using angular symbology and beacons
US20030026448A1 (en) Data encoding and decoding using angular symbology
Shaked et al. Graphical indicia
Shaked et al. A visually significant two dimensional barcode

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070320

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070328

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070523

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100601

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees