JP2764224B2 - 補足目標の位置を求める方法および装置 - Google Patents
補足目標の位置を求める方法および装置Info
- Publication number
- JP2764224B2 JP2764224B2 JP6520094A JP52009494A JP2764224B2 JP 2764224 B2 JP2764224 B2 JP 2764224B2 JP 6520094 A JP6520094 A JP 6520094A JP 52009494 A JP52009494 A JP 52009494A JP 2764224 B2 JP2764224 B2 JP 2764224B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- capture target
- template
- determining
- ideal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
- G06K7/1092—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing by means of TV-scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06046—Constructional details
- G06K19/06168—Constructional details the marking being a concentric barcode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1421—Circular bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
はピクセル画像中の2次元シンボルの位置を求める方法
および装置に関する。
6号およびチャンドラー(Chandler)氏他の米国特許第
4,896,029号には、情報を複数の多角形セルと捕捉目標
(acquisition target)とからなる2次元シンボル(図
形)の形に符号化する多角形情報符号化のための物品、
方法およびシステムが記載されている。捕捉目標を用い
る目的は、目印情報となる既知のパターンまたは容易に
認識できるパターンを用いることによって、検出器(se
nsing device)の視野(field of view)内で2次元シ
ンボルの位置を求め(locate)易くすることである。
6,029号に記載されている捕捉目標の1つは、光学的セ
ンサで捕捉目標の幾何学的中心を通る直線的走査線上を
走査した場合に、他と容易に識別できるビデオ信号を発
生させ得るような光学的特性を有する幾何学的形状のパ
ターンである。例えば、その捕捉目標は、コントラスト
のある相異なる反射率を呈する複数の同心リング、即ち
同心円的な複数の環状形(例、図3の蛇の目パターン
(bull's−eye pattern))であり、その同心リングの
中心を通って直線的に走査すると周期的なビデオ信号が
生成されるようなパターンである。
6,029号には、複数の同心リングからなる捕捉目標の位
置を求めるためのアナログ的方法およびディジタル的方
法が記載されている。これらの方法によれば、符号化さ
れた情報を有するラベルは、所定の照明領域を通って、
電子的に動作する光学的センサによって光学的に走査さ
れる。また、この走査方法に代えて、手持式光学的走査
器をラベルの上を通過させる構成にしてもよい。いずれ
の場合においても、光学的センサは、その個々のピクセ
ルにより蓄積・記録されて得られた、ラベルの各領域の
個々の反射特性に応じた光の各強度(レベル)に対応す
るアナログ電気信号の出力を生成する。
ば、光学的センサによって生成されたアナログ信号はア
ナログ帯域通過フィルタを用いて濾波される。次いで、
そのフィルタ出力は、理想的捕捉目標の中心を通るライ
ンに対応する所定の信号と比較される。アナログ帯域通
過フィルタの出力が理想的捕捉目標に対応する所定の信
号に最も近い場合に、その捕捉目標の中心の位置が求め
られる。一方、この処理と並行して、アナログ信号はア
ナログ−ディジタル(A−D)変換器によって連続的に
ディジタル化されて、そのディジタルデータが画像バッ
ファに記憶される。捕捉目標の位置が求められた後に、
ラベル全体を表すその記憶ディジタルデータはその後の
復号処理に用いられる。
れば、ラベル全体を表す記憶ディジタルデータは、初め
に理想的捕捉目標の中心を通るラインに対応する1次元
ディジタル帯域通過フィルタを用いて濾波される。この
1次元ディジタル帯域通過フィルタを用いることによっ
て捕捉目標の概略(coarse)位置が見つけられる。捕捉
目標の概略位置が見つけられた後で、1個または2個の
2次元ディジタルフィルタを用いて捕捉目標の正確な位
置が見つけられる。
6,029号に記載されているているアナログ的方法とディ
ジタル的方法は、両方とも、その理想的捕捉目標のサイ
ズ(大きさ)が画像として読取った(imaged)捕捉目標
のサイズと同じであることを必要条件としている。ま
た、その理想的捕捉目標と最も良く整合(一致)する画
像中の領域を見つけ出すことによって、画像として読取
った捕捉目標の位置が決定される。
が高いが、より多くの計算を必要とするのでその処理速
度は遅い。1次元フィルタは高速であるが、精度が低
く、捕捉目標の位置として誤った(偽の)位置を生成す
ることもある。即ち、1次元フィルタは、ピクセル画像
中のある特定の位置が本当の捕捉目標に対応していない
場合であっても、その特定の位置が捕捉目標に対応して
いるという誤った表示を行う可能性がある。これは、2
次元シンボル中のデータ符号化エレメント(例、六角形
セル)のサイズが捕捉目標の同心リングの幅のサイズと
同程度である場合に生じることがある。この粗い1次元
フィルタで処理した後に、2次元フィルタが、(1)1
次元フィルタから捕捉目標として得られた誤った位置を
拒絶(除去)し、(2)本当の(真の)捕捉目標位置に
ある捕捉目標の正確な位置を見つける、という2つの目
的のために用いられる。
ル画像中の画像として読取った捕捉目標の位置を求める
方法と装置の発明である。また、本発明の好ましい実施
態様に従えば、画像と、理想的捕捉目標に対応する二重
テンプレートとのたたみこみが行われ(convolve)、画
像中における画像として読取った捕捉目標の位置がその
たたみこみ処理(convolution)に応じて求められる。
96,029号に記載されている捕捉目標を有する2次元シン
ボルを示す。
捉目標の位置を求めるのに用いられる二重テンプレート
を示す。
た図2の二重テンプレートを示す。
重テンプレートを用いて図1の捕捉目標の位置を求める
ためのシステムのプロセス・フロー図を示す。
handler)氏他)および米国特許第4,896,029号(チャン
ドラー(Chandler)氏他)に記載されているシンボルの
ような、ピクセル画像中の2次元シンボルの画像として
読取った捕捉目標の位置を求めるための方法と装置に関
する。上記の米国特許第4,874,936号および米国特許第
4,896,029号の記載全体を関連する基礎的技術の説明と
して本明細書中に引用する。本発明の好まし実施態様に
従えば、ピクセル画像を表す情報と理想的捕捉目標を表
す二重テンプレート(double template)とのたたみこ
みが行われる。次いで、そのたたみこみ処理の結果が分
析されて、ピクセル画像における画像として読取った捕
捉目標の位置が求められる。本発明の好ましい実施態様
を用いれば、1つの二重テンプレートを用いることによ
り、画像として読取った捕捉目標の各サイズが種々のサ
イズであってもその捕捉目標の位置を求めることができ
る。
第4,874,936号および米国特許第4,896,029号に記載され
ているような2次元シンボル100が示されている。2次
元シンボル100は、捕捉目標102と六角形セル104の配列
(アレイ)とからなり、ラベルの背景(図示せず)上に
位置している。英数字(alpha−numeric)情報が、白ま
たは黒のような相対的陰影を付けた複数の六角形セル10
4の形式で表現されたシンボル100として符号化されてい
る。捕捉目標102は、シンボル100の中心に位置すること
が好ましく、3本の黒いリング106と3本の白いリング1
08からなる蛇の目パターンで構成される。その中心の白
い円は上記3本の白いリング108の中の1つである。
6,029号に詳細に記載されているように、シンボル100を
有するラベルを読取るための好ましい方法は、ラベルを
照明するステップ(段階)と、反射された画像(画像情
報)をセンサで光学的に検出するステップと、その反射
画像を処理するステップと、シンボル100を復号するス
テップとを含んでいる。その反射画像を処理するステッ
プは、画像中の捕捉目標102の位置を求めるステップを
含んでいることが好ましい。捕捉目標102はシンボル100
の中心に位置することが好ましく、従ってその場合には
捕捉目標102の位置を求めるそのステップにおいてはシ
ンボル100の中心の位置を求めることも行われる。シン
ボル100の中心の位置が求められた後で、上記の米国特
許第4,874,936号および米国特許第4,896,029号に記載さ
れているように、その画像はさらに処理され、シンボル
100が復号される。
含む画像は、例えば、カリフォルニア州94086、サニー
ベール(Sunnyvale)のプルニクス・アメリカ社(Pulni
x America,Inc)製のPulnix 7−CN白黒CCDカメラのよう
な、CCD(即ち、電荷結合素子)型のリニア(線)アレ
イ型カメラを用いてそのラベルを走査して発生された2
次元ピクセル画像である。
い実施態様に従う、図1の捕捉目標102の位置を求める
のに用いる二重テンプレート200が示されている。二重
テンプレート200は、互いに平行に並んだ2つの同形
(同じパターン)の1次元の単一テンプレート(singal
e template)202からなる。各単一テンプレート202は、
3つの白いピクセル・セグメント206と、この3つの白
いピクセル・セグメント206によって互いに隔てられた
4つの黒いピクセル・セグメント204とで構成されるピ
クセルのシーケンス(列)からなり、そのシーケンスに
おいて種々の長さの各ピクセル・セグメントが存在す
る。例えば、単一テンプレート202は次のような30個の
ピクセルのシーケンスで構成される。
白いピクセルに相当する。また、二重テンプレート200
の2つの単一テンプレート202は、捕捉目標102の中心か
ら互いに等距離だけ逆方向に隔てられた位置で捕捉目標
102を横切る2本の平行線のパターンに対応している。
中心の上に重畳された二重テンプレート200が示されて
いる。二重テンプレート200が捕捉目標102の中心に対し
て完全に位置合わせされた場合は、二重テンプレート20
0の黒いセグメント204の位置が捕捉目標102の黒いリン
グ106の位置と一致し、白いセグメント206の位置が白い
リング108の位置と一致する。図3に示されているよう
に、二重テンプレート200が捕捉目標102の中心に対して
完全に位置合わせされた場合に、二重テンプレート200
と捕捉目標102との間の相関性が最大になることは、こ
の技術分野の専門家にとって容易に理解できるであろ
う。
を行い、このたたみこみ処理において各位置における相
関係数を計算し、捕捉目標の中心に対応する最大の相関
係数が得られる位置を選択することによって、捕捉目標
102の位置が求められる。二重テンプレート200の2つの
単一テンプレート202は互いに同形なので、ピクセル画
像に対して1つの単一テンプレート202だけのたたみこ
みを行い、1組の集合の単一テンプレート相関係数を生
成するようにすることが好ましい。次いで、各位置にお
ける各二重テンプレート200に対応する適当な2つの単
一テンプレート相関係数を加算することによって、相異
なる位置における二重テンプレート200の二重テンプレ
ート相関係数が生成される。
レート200を用いることにより、捕捉目標102の位置とし
て誤った位置を見つける可能性を減らすことができる。
その理由は、一般的に、二重テンプレート200と捕捉目
標102以外のピクセル画像の領域との間に高い相関性が
見つかる確率(chance)は、単一テンプレート202と捕
捉目標102以外のピクセル画像の領域との間に高い相関
性が見つかる確率よりも低いからである。
を用いても捕捉目標102の位置を求めることができるこ
とは、この技術分野の専門家にとって容易に理解できる
であろう。二重テンプレートの配列構成(即ち、二重テ
ンプレートの各半分を形成する各単一テンプレート中の
黒いセグメントと白いセグメントのシーケンス)は、捕
捉目標の中心から各単一テンプレート上の各位置までの
距離の関数である。同様に、各黒いセグメントと各白い
セグメント中のピクセル数は、位置を求めようとする画
像として読取った捕捉目標のピクセルの解像度の関数で
あることは、この技術分野の専門家にとって容易に理解
できるであろう。
に従う、二重テンプレート200を用いて捕捉目標102の位
置を求めるためのシステムのプロセス・フロー図が示さ
れている。このプロセスは、シンボル100のピクセル画
像に対応するディジタルデータを受け入れる手段402か
ら開始する。
置のシーケンスを選択することによってピクセル画像に
おける単一テンプレート202(即ち、二重テンプレート2
00の半分)のたたみこみを制御する。手段404はピクセ
ル画像の行を順次選択し、手段406はピクセル画像の各
行の列を順次選択する。各たたみこみ位置において、単
一テンプレート202はピクセル画像の行(またはこれに
代えて、列にしてもよい)の一部分(セグメント)と位
置合わせされる。例えば、128行、1行当たり64個のピ
クセルからなる画像と、30個のピクセルからなる単一テ
ンプレート202とを仮定した場合に、単一テンプレート2
02はピクセル画像の端辺を越えて延びることはないの
で、単一テンプレート202がピクセル画像中において取
り得る位置、即ち単一テンプレート202とピクセル画像
の各行の一部分との位置合わせが可能な位置として、12
8×(64−30+1)通り、即ち4480通りの位置が存在す
る。この例において、手段404および406は4480通りの全
位置を順次選択するか、または高速処理が望ましい場合
は、その4480通りの位置の部分集合を順次選択するよう
にしてもよいことは、この技術分野の専門家にとって容
易に理解できるであろう。
ピクセル画像の各位置は、二重テンプレートが取り得る
相異なる2つの二重テンプレート位置、即ち、ピクセル
画像中の或る位置に二重テンプレート200の上側半分を
形成している単一テンプレート202が置かれた状態とな
る1つの二重テンプレート位置と、その或る位置に二重
テンプレート200の下側半分を形成している単一テンプ
レート202が置かれた状態となる別の二重テンプレート
位置と、に対応することは、この技術分野の専門家にと
って容易に理解できるであろう。
200の2つの単一テンプレート202の間の距離はピクセル
画像における10行分に相当する。即ち、二重テンプレー
ト200の上側の単一テンプレート202がピクセル画像の行
1のセグメントに位置合わせされた場合は、二重テンプ
レート200の下側の単一テンプレート202はピクセル画像
の行11の対応するセグメントと同じ位置に来る。従っ
て、この例においては、二重テンプレート200の取り得
る位置として(128−10+1)×(64−30+1)通り、
即ち4165通りの位置が存在する。但し、二重テンプレー
ト200はピクセル画像の頂部と底部を越えて置かれるこ
とはない。
おいて単一テンプレート202が取り得る各位置は二重テ
ンプレート200の上側半分が取り得る位置に対応する。
行11〜行118における各位置は、二重テンプレート200の
2つの相異なる二重テンプレート位置、即ち、ピクセル
画像中の或る位置に二重テンプレート200の頂部(上側
半分)が置かれた状態となる1つの二重テンプレート位
置と、その或る位置に二重テンプレート200の底部(下
側半分)が置かれた状態となる別の二重テンプレート位
置と、に対応する。行119〜行128における各位置は二重
テンプレート200の下側半分が取り得る位置に対応す
る。
て、手段408は次の式(1)を用いて単一テンプレート
相関係数ρ(i,j)を生成する。
セル画像の行のセグメントと単一テンプレート202との
間の相互相関(cross−correlation)または相互分散
(cross−variance)を、σf(i,j)は、ピクセル画像
のそのセグメントの自己相関(auto−correlation)ま
たは自己分散(auto−variance)を、σtは、単一テン
プレート202の自己相関または自己分散を表す。Cft(i,
j)、σf(i,j)およびσtは次の式(2)〜(4)に
従って決定される。
j)におけるピクセルのレベル(intensity)値を、t
(x)は単一テンプレート202の位置(x)におけるピ
クセルのレベル値を、(i,j)は位置(i,j)に対応す
るピクセル画像の行のセグメントの平均ピクセルレベル
値を、は単一テンプレート202の平均ピクセルレベル
値を表す。白いピクセルと黒いピクセルがそれぞれ“1"
と“0"で表される2進値(2値)画像においては、白い
ピクセルに対するf(i,j)は“1"となり、黒いピクセ
ルに対するf(i,j)は“0"となる。(i,j)および
は次の式(5)および(6)に従って決定される。
単一テンプレート中のピクセル数)を表す。
で、値1は単一テンプレート202と位置(i,j)に対応す
るピクセル画像の行のセグメントの間の完全な整合(一
致)に対応する。従って、相関係数ρ(i,j)が高けれ
ば高いほど、単一テンプレート202とピクセル画像のそ
のセグメントとの間の整合性(一致性)が高くなる。
係数ρ(i,j)は、ピクセル画像中の現在のたたみこみ
位置(i,j)に応じて、第1の二重テンプレート位置に
おける二重テンプレートの底部または第2の二重テンプ
レート位置における二重テンプレートの頂部、またはそ
の両方に対応した値となる。手段404がピクセル画像の
頂部から底部までの各位置をたたみこみ位置として選択
する場合は、第1の二重テンプレート位置における二重
テンプレートの上側半分に対する単一テンプレート相関
係数が先に計算される。同様に、その処理において、第
2の二重テンプレート位置における二重テンプレートの
下側半分に対する単一テンプレート相関係数が後に計算
される。
現在の単一テンプレート相関係数が最大値(MAX)であ
るかどうかを判断する。もし、その判断が否定(N)
(即ち、最大値でない)であれば、処理は次の手段414
へと進む。一方、その判断が肯定(Y)(即ち、最大値
である)であれば、手段412は、現在の行の新しい最大
値として現在の単一テンプレート相関係数をセーブ(保
存)する。また、手段412は、その最大の相関係数に対
応する位置として現在の選択された行および列をセーブ
する。
き最後の列であったかどうかを判断する。もし、その判
断が否定(N)(即ち、最後の列でない)であれば、処
理は次に手段406へと戻って、現在の行中の次の列を選
択する。一方、その判断が肯定(Y)(即ち、最後の列
である)であれば、処理は手段416へと進む。また、手
段416は、現在の選択行がピクセル画像の最後の行かど
うかを判断する。もし、その判断が否定(N)(即ち、
最後の行でない)であれば、処理は手段404に戻って、
次いでピクセル画像中の次の行を選択する。一方、その
判断が肯定(Y)(即ち、最後の行である)であれば、
ピクセル画像中における単一テンプレート202のたたみ
こみが全て完了し、処理は手段418へと進む。ピクセル
画像における単一テンプレート202のたたみこみが完了
したときには、ピクセル画像の各行についての、1つの
最大の単一テンプレート相関係数と、その対応する
(行,列)位置とがメモリに記憶されている。
ト200に対応する画像の各1対の行について二重テンプ
レート相関係数を生成する。例えば、二重テンプレート
200の2つの単一テンプレート202の間の距離がピクセル
画像中の10行分に相当する場合は、手段418は、行1の
最大単一テンプレート相関係数を行11の最大単一テンプ
レート相関係数に加算して、ピクセル画像の行1に対応
する二重テンプレート相関係数を生成する。同様に、手
段418は、行2および行12の各最大単一テンプレート相
関係数を加算して、ピクセル画像の行2に対応する二重
テンプレート相関係数を生成する。ここで、手段418
は、その行11の最大単一テンプレート相関係数を、行21
の最大単一テンプレート相関係数にも加算して、行11に
対応する二重テンプレート相関係数を生成することに留
意すべきである。
数を生成した後で、手段420は最大値の二重テンプレー
ト相関係数を選択する。次いで、手段420は、その最大
値の二重テンプレート相関係数をテストして、加算され
てその最大の二重テンプレート相関係数を生成したその
2つの単一テンプレート相関係数が近似的に互いに同じ
列に対応するものであることを確認する。
ート相関係数が最大値を有すると仮定する。さらに、そ
の行1の単一テンプレート相関係数が列位置j1に対応
し、その行11の単一テンプレート相関係数が列位置j11
に対応すると仮定する。nを特定の閾値(例、n=4)
としたときに、j1とj11とが互いにn個のピクセルの範
囲内にある場合は、手段420は、捕捉目標102の位置とし
て行6(行1と行11との中心行位置)と、列(j1+j1
1)/2(列j1と列j11との中心列位置)とを選択する。
11の各単一テンプレート相関係数に対応する各位置は
(列間の方向に、即ち行方向に)互いに距離が離れ過ぎ
ており、従って、行1と行11の単一テンプレート相関係
数は同一の二重テンプレート200に対応するものではな
い。その場合は、手段420は、その行1の二重テンプレ
ート相関係数を、捕捉目標102の位置として誤った位置
を表すものとして拒絶する。そして、手段420は、或る
二重テンプレート相関係数が列の差(距離)のテストに
通って(パスして)、捕捉目標102として本当の位置が
見つかるまで、次の最大二重テンプレート相関係数に対
する列の差のテストを順次行う。
6,029号に詳細に記載されているように、その後の処理
が、2次元テンプレートを用いて捕捉目標102のより正
確な位置を決定するステップを含んでいることは、この
技術分野の専門家にとって容易に理解できるであろう。
る。2進値のピクセル画像中の捕捉目標の位置を求める
ための本発明のこの別の実施態様においては、単一テン
プレートとのたたみこみを行う前に2進値ピクセル画像
はランレングス符号化される。ランレングス符号化にお
いては、2進値ピクセル画像の各行における連続する白
または黒のピクセルの各シーケンスはそのシーケンス中
のピクセル数によって表される。例えば、30個のピクセ
ルの2進値シーケンスを次の通りとする。
白いピクセルに対応する。そして、このシーケンスはグ
レースケール(多階調)で表現された次のような7個の
ピクセルのシーケンス形式にランレングス符号化され
る。
れに対応して、2進値ピクセル画像の行数と同じ行数
と、一般的にその画像の各列数より少ない各列数とから
なるグレースケールのピクセル“画像”が得られる。さ
らに、一般的に、列数は行ごとに変化する。
標の位置を求める手順は、ランレングス符号化されたグ
レースケールのピクセル画像と単一テンプレート202の
ランレングス符号化表現のデータとのたたみこみが行わ
れることを除けば、図4に関連して本明細書中に前述し
た手順と類似している(同様である)。再び図4を参照
すると、この場合は、手段402は、2進値ピクセル画像
をランレングス符号化するステップを実行する。次い
で、ランレングス符号化画像とランレングス符号化テン
プレートとをグレースケールのピクセル画像として処理
して、式(1)〜式(6)の関係を適用する。
ーブされる列位置は、元の(ランレングス符号化の前
の)ピクセル画像中の列位置である。この列位置は、ラ
ンレングス符号化画像中の現在の選択行における現在の
選択ピクセルに先行する各ピクセルのグレースケール値
を加算することにより決定される。従って、ランレング
ス符号化が各ピクセル行において左から右へと実行され
る場合は、先行するピクセルとは現在の選択ピクセルの
左にある複数のピクセルのことである。
ピクセル画像中の捕捉目標の位置を求めるために必要な
計算量を減少させることができ、従って、その計算プロ
セスを高速化できることは、この技術分野の専門家にと
って容易に理解できるであろう。また、ランレングス符
号化を行ってから、たたみこみプロセスにおいて相関係
数を計算すると、単一テンプレートのサイズは、位置を
求めようとする画像として読取った捕捉目標のサイズと
同じである必要がなくなることも、この技術分野の専門
家にとって容易に理解できるであろう。従って、ピクセ
ル画像中の画像として読取った捕捉目標のサイズが相異
なる場合でも、理想的捕捉目標を表す単一テンプレート
を用いてその捕捉目標の位置を求めることができる。
た捕捉目標のサイズには種々のサイズがあるので、二重
テンプレートの2つの単一テンプレートを隔てている行
の行数にも種々の行数があることになる。二重テンプレ
ートの2つの単一テンプレートを隔てている行の行数
は、2つの単一テンプレートの中心点と中心点の間にあ
る黒/白遷移の数を計数して決定するとができる。例え
ば、図3に示されている二重テンプレートでは、上側の
単一テンプレートの白の中心点と、下側の単一テンプレ
ートの白の中心点との間に4つの黒/白遷移が存在す
る。従って、2つの単一テンプレートが同じ二重テンプ
レートの各部分に相当すると考えられる場合には、2つ
の単一テンプレートの各中心点の間には正確に4つの黒
/白遷移が存在し、かつその各中心点は白となるはずで
ある。
置合わせをしてテンプレートのたたみこみを行う一方
で、ピクセル画像の列の部分と位置合わせをしてテンプ
レートのたたみこみを行うようにしてもよいことは、こ
の技術分野の専門家にとって容易に理解できるであろ
う。本発明の更に別の好ましい実施態様においては、類
似した2つのたたみこみ手順、即ち、画像の各行に対す
る1つのたたみこみ手順と、画像の各列に対する他の1
つのたたみこみ手順が実行される。そして、この2つの
たたみこみ手順の処理結果が捕捉目標の中心位置を決定
するのに用いられる。
ンスツルメンツ社(Texas Instruments,Inc.)製のC−
30のようなディジタル信号処理(DSP)用チップ上で実
行されるC言語のソフトウエアとしてプログラム化され
ていることが好ましい。本発明は2進値またはグレース
ケールのいずれのピクセル画像においてもその捕捉目標
の位置を求めるのに用いることができる。
以外のシステムの形で具体化できることも、この技術分
野の専門家にとって容易に理解できるであろう。例え
ば、本発明は、2次元シンボルを含むラベルを生成する
のに使用されるプリンタの品質を判別する(characteri
ze)システム中に組込んで構成することもできる。さら
に、本発明は、単に2次元シンボルに関連する捕捉目標
だけでなく、画像中の任意の対称な捕捉目標の位置を求
めるためのシステムの形で構成することができる。
載した本発明の原理および範囲を逸脱することなく、本
発明の特徴を説明するために記載し例示した部分構成の
細部、材料および構成について種々の変形を行うことが
できることは、明らかである。
Claims (22)
- 【請求項1】ピクセル画像中の画像として読取った捕捉
目標の位置を求める方法であって、 (a)上記画像と理想的捕捉目標に対応する二重テンプ
レートとのたたみこみを行うステップと、 (b)上記たたみこみに応じて上記画像中の上記画像と
して読取った捕捉目標の位置を求めるステップと、 を含む捕捉目標の位置を求める方法。 - 【請求項2】位置が求められた上記画像として読取った
捕捉目標に対応する2次元シンボルを復号するステップ
をさらに含む請求項1に記載の捕捉目標の位置を求める
方法。 - 【請求項3】上記ピクセル画像の少なくとも一部の品質
を判別するステップをさらに含む請求項1に記載の捕捉
目標の位置を求める方法。 - 【請求項4】上記ステップ(a)が上記二重テンプレー
トと上記画像中の複数の位置における上記画像との間の
複数の相関係数を計算するステップを含み、上記ステッ
プ(b)が上記複数の相関係数に応じて上記画像中の上
記画像として読取った捕捉目標の位置を求めるステップ
を含むものである、請求項1に記載の捕捉目標の位置を
求める方法。 - 【請求項5】上記ステップ(b)が、上記画像中の上記
画像として読取った捕捉目標の位置として上記複数の相
関係数の中の最大の相関係数に対応する位置を選択する
ステップを含むものである、請求項4に記載の捕捉目標
の位置を求める方法。 - 【請求項6】上記理想的捕捉目標が同心的な一連のリン
グからなるものである請求項1に記載の捕捉目標の位置
を求める方法。 - 【請求項7】上記理想的捕捉目標が複数の多角形セルを
有する2次元シンボルと関係付けられて用いるものであ
る請求項6に記載の捕捉目標の位置を求める方法。 - 【請求項8】上記二重テンプレートが上記理想的捕捉目
標の2つの行に対応するものである請求項1に記載の捕
捉目標の位置を求める方法。 - 【請求項9】上記理想的捕捉目標が上記理想的捕捉目標
の中心に対して対称であり、上記二重テンプレートが同
形の2つの単一テンプレートからなり、この2つの単一
テンプレートが上記理想的捕捉目標の同形の2つの行に
対応するものである、請求項1に記載の捕捉目標の位置
を求める方法。 - 【請求項10】上記ステップ(a)が、 (1)上記2つの単一テンプレートの一方と上記画像中
の複数の位置における上記画像との間の複数の単一テン
プレート相関係数を計算するステップと、 (2)上記複数の単一テンプレート相関係数に応じて複
数の二重テンプレート相関係数を計算するステップと、 を含み、 上記ステップ(b)が、上記複数の二重テンプレート相
関係数に応じて、上記画像中の上記画像として読取った
捕捉目標の位置を求めるステップを含むものである、 請求項9に記載の捕捉目標の位置を求める方法。 - 【請求項11】上記ステップ(a)が、 (1)上記画像をランレングス符号化して、ランレング
ス符号化画像を生成するステップと、 (2)上記ランレングス符号化画像と上記理想的捕捉目
標に対応するランレングス符号化二重テンプレートとの
たたみこみを行うステップと、 を含むものである請求項1に記載の捕捉目標の位置を求
める方法。 - 【請求項12】ピクセル画像中の画像として読取った捕
捉目標の位置を求める装置であって、 (a)上記画像と理想的捕捉目標に対応する二重テンプ
レートとのたたみこみを行う手段と、 (b)上記たたみこみに応じて上記画像中の上記画像と
して読取った捕捉目標の位置を求める手段と、 を具える捕捉目標の位置を求める装置。 - 【請求項13】位置が求められた上記画像として読取っ
た捕捉目標に対応する2次元シンボルを復号する手段を
さらに具える請求項12に記載の捕捉目標の位置を求める
装置。 - 【請求項14】上記ピクセル画像の少なくとも一部の品
質を判別する手段をさらに具える請求項12に記載の捕捉
目標の位置を求める装置。 - 【請求項15】上記手段(a)が上記二重テンプレート
と上記画像中の複数の位置における上記画像との間の複
数の相関係数を計算する手段を具え、上記手段(b)が
上記複数の相関係数に応じて上記画像中の上記画像とし
て読取った捕捉目標の位置を求める手段を具えるもので
ある、請求項12に記載の捕捉目標の位置を求める装置。 - 【請求項16】上記手段(b)が、上記画像中の上記画
像として読取った捕捉目標の位置として上記複数の相関
係数の中の最大の相関係数に対応する位置を選択する手
段を具えるものである、請求項15に記載の捕捉目標の位
置を求める装置。 - 【請求項17】上記理想的捕捉目標が同心的な一連のリ
ングからなるものである請求項12に記載の捕捉目標の位
置を求める装置。 - 【請求項18】上記理想的捕捉目標が複数の多角形セル
を有する2次元シンボルと関係付けられて用いるもので
ある請求項17に記載の捕捉目標の位置を求める装置。 - 【請求項19】上記二重テンプレートが上記理想的捕捉
目標の2つの行に対応するものである請求項12に記載の
捕捉目標の位置を求める装置。 - 【請求項20】上記理想的捕捉目標が上記理想的捕捉目
標の中心に対して対称であり、上記二重テンプレートが
同形の2つの単一テンプレートからなり、この2つの単
一テンプレートが上記理想的捕捉目標の同形の2つの行
に対応するものである、請求項12に記載の捕捉目標の位
置を求める装置。 - 【請求項21】上記手段(a)が、 (1)上記2つの単一テンプレートの一方と上記画像中
の複数の位置における上記画像との間の複数の単一テン
プレート相関係数を計算する手段と、 (2)上記複数の単一テンプレート相関係数に応じて複
数の二重テンプレート相関係数を計算する手段と、 を具え、 上記手段(b)が、上記複数の二重テンプレート相関係
数に応じて、上記画像中の上記画像として読取った捕捉
目標の位置を求める手段を具えるものである、 請求項20に記載の捕捉目標の位置を求める装置。 - 【請求項22】上記手段(a)が、 (1)上記画像をランレングス符号化して、ランレング
ス符号化画像を生成する手段と、 (2)上記ランレングス符号化画像と上記理想的捕捉目
標に対応するランレングス符号化二重テンプレートとの
たたみこみを行う手段と、 を具えるものである請求項12に記載の捕捉目標の位置を
求める装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US024,386 | 1979-03-27 | ||
US2438693A | 1993-03-01 | 1993-03-01 | |
US08/024,386 | 1993-03-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08503319A JPH08503319A (ja) | 1996-04-09 |
JP2764224B2 true JP2764224B2 (ja) | 1998-06-11 |
Family
ID=21820320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6520094A Expired - Lifetime JP2764224B2 (ja) | 1993-03-01 | 1994-03-01 | 補足目標の位置を求める方法および装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6122410A (ja) |
JP (1) | JP2764224B2 (ja) |
AU (1) | AU6251894A (ja) |
WO (1) | WO1994020925A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6604682B2 (en) | 2000-04-06 | 2003-08-12 | Seiko Epson Corporation | Method of and apparatus for reading a two-dimensional bar code symbol and data storage medium |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5655030A (en) * | 1993-12-27 | 1997-08-05 | Uht Corporation | Method for detecting the center of target marks by image processing |
US5515447A (en) * | 1994-06-07 | 1996-05-07 | United Parcel Service Of America, Inc. | Method and apparatus for locating an acquisition target in two-dimensional images by detecting symmetry in two different directions |
DE69831181T2 (de) * | 1997-05-30 | 2006-05-18 | British Broadcasting Corp. | Positionsbestimmung |
US6561428B2 (en) * | 1997-10-17 | 2003-05-13 | Hand Held Products, Inc. | Imaging device having indicia-controlled image parsing mode |
US6637882B1 (en) | 1998-11-24 | 2003-10-28 | Welch Allyn, Inc. | Eye viewing device for retinal viewing through undilated pupil |
US6728391B1 (en) | 1999-12-03 | 2004-04-27 | United Parcel Service Of America, Inc. | Multi-resolution label locator |
US6997387B1 (en) * | 2001-03-28 | 2006-02-14 | The Code Corporation | Apparatus and method for calibration of projected target point within an image |
US7111787B2 (en) | 2001-05-15 | 2006-09-26 | Hand Held Products, Inc. | Multimode image capturing and decoding optical reader |
US6834807B2 (en) | 2001-07-13 | 2004-12-28 | Hand Held Products, Inc. | Optical reader having a color imager |
US6878896B2 (en) | 2002-07-24 | 2005-04-12 | United Parcel Service Of America, Inc. | Synchronous semi-automatic parallel sorting |
US7090134B2 (en) * | 2003-03-04 | 2006-08-15 | United Parcel Service Of America, Inc. | System for projecting a handling instruction onto a moving item or parcel |
US7063256B2 (en) | 2003-03-04 | 2006-06-20 | United Parcel Service Of America | Item tracking and processing systems and methods |
US7293712B2 (en) | 2004-10-05 | 2007-11-13 | Hand Held Products, Inc. | System and method to automatically discriminate between a signature and a dataform |
US8657200B2 (en) | 2011-06-20 | 2014-02-25 | Metrologic Instruments, Inc. | Indicia reading terminal with color frame processing |
CN106951812B (zh) * | 2017-03-31 | 2018-12-07 | 腾讯科技(深圳)有限公司 | 识别二维码的方法、装置和终端 |
US10471478B2 (en) | 2017-04-28 | 2019-11-12 | United Parcel Service Of America, Inc. | Conveyor belt assembly for identifying an asset sort location and methods of utilizing the same |
WO2019022807A1 (en) | 2017-07-28 | 2019-01-31 | The Coca-Cola Company | METHOD AND APPARATUS FOR ENCODING AND DECODING CIRCULAR SYMBOLIC CODES |
CN115049705B (zh) * | 2022-06-21 | 2024-04-30 | 北京理工大学 | 多模板网络框架的目标跟踪方法及装置 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4330833A (en) * | 1978-05-26 | 1982-05-18 | Vicom Systems, Inc. | Method and apparatus for improved digital image processing |
JPS6016673B2 (ja) * | 1978-12-25 | 1985-04-26 | 川崎重工業株式会社 | サ−ボ系における被検体認識装置 |
JPS55124117A (en) * | 1979-03-19 | 1980-09-25 | Toshiba Corp | Pattern inspecting apparatus |
US4747069A (en) * | 1985-03-18 | 1988-05-24 | Hughes Aircraft Company | Programmable multistage lensless optical data processing system |
US4776464A (en) * | 1985-06-17 | 1988-10-11 | Bae Automated Systems, Inc. | Automated article handling system and process |
US4858026A (en) * | 1986-04-14 | 1989-08-15 | U.S. Philips Corporation | Image display |
US4736109A (en) * | 1986-08-13 | 1988-04-05 | Bally Manufacturing Company | Coded document and document reading system |
US4891750A (en) * | 1986-10-29 | 1990-01-02 | Pitney Bowes Inc. | Optical character recognition by forming and detecting matrices of geo features |
GB8701364D0 (en) * | 1987-01-22 | 1987-07-29 | British Aerospace | Correlation techniques |
US5063602A (en) * | 1987-04-14 | 1991-11-05 | Nippon Sheet Glass Co., Ltd. | Image correlation calculation apparatus |
US4924078A (en) * | 1987-11-25 | 1990-05-08 | Sant Anselmo Carl | Identification symbol, system and method |
US4874936A (en) * | 1988-04-08 | 1989-10-17 | United Parcel Service Of America, Inc. | Hexagonal, information encoding article, process and system |
US4896029A (en) * | 1988-04-08 | 1990-01-23 | United Parcel Service Of America, Inc. | Polygonal information encoding article, process and system |
US4939354A (en) * | 1988-05-05 | 1990-07-03 | Datacode International, Inc. | Dynamically variable machine readable binary code and method for reading and producing thereof |
US5053609A (en) * | 1988-05-05 | 1991-10-01 | International Data Matrix, Inc. | Dynamically variable machine readable binary code and method for reading and producing thereof |
US4949392A (en) * | 1988-05-20 | 1990-08-14 | Eastman Kodak Company | Document recognition and automatic indexing for optical character recognition |
EP0356727A3 (en) * | 1988-08-09 | 1991-06-05 | Schlumberger Technologies Inc | Symmetrie-based target position measurement |
JPH07104944B2 (ja) * | 1988-10-05 | 1995-11-13 | 富士写真フイルム株式会社 | 放射線画像分割パターン認識正誤判定方法 |
JP2582640B2 (ja) * | 1989-04-14 | 1997-02-19 | 富士写真フイルム株式会社 | 放射線画像の分割パターン認識方法 |
US5077809A (en) * | 1989-05-30 | 1991-12-31 | Farshad Ghazizadeh | Optical character recognition |
JPH03218589A (ja) * | 1990-01-24 | 1991-09-26 | Syst Yamato:Kk | ファクシミリを利用したコンピュータ入力システム |
US4992650A (en) * | 1990-03-29 | 1991-02-12 | International Business Machines Corporation | Method and apparatus for barcode recognition in a digital image |
JPH0467275A (ja) * | 1990-07-06 | 1992-03-03 | Matsushita Electric Ind Co Ltd | 認識方法及び認識装置 |
US5086478A (en) * | 1990-12-27 | 1992-02-04 | International Business Machines Corporation | Finding fiducials on printed circuit boards to sub pixel accuracy |
US5237622A (en) * | 1991-12-04 | 1993-08-17 | Micron Technology, Inc. | Semiconductor pick-and-place machine automatic calibration apparatus |
-
1994
- 1994-03-01 AU AU62518/94A patent/AU6251894A/en not_active Abandoned
- 1994-03-01 WO PCT/US1994/002170 patent/WO1994020925A1/en active Application Filing
- 1994-03-01 JP JP6520094A patent/JP2764224B2/ja not_active Expired - Lifetime
- 1994-12-30 US US08/367,683 patent/US6122410A/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6604682B2 (en) | 2000-04-06 | 2003-08-12 | Seiko Epson Corporation | Method of and apparatus for reading a two-dimensional bar code symbol and data storage medium |
Also Published As
Publication number | Publication date |
---|---|
US6122410A (en) | 2000-09-19 |
WO1994020925A1 (en) | 1994-09-15 |
AU6251894A (en) | 1994-09-26 |
JPH08503319A (ja) | 1996-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2764224B2 (ja) | 補足目標の位置を求める方法および装置 | |
US5616905A (en) | Two-dimensional code recognition method | |
US5189292A (en) | Finder pattern for optically encoded machine readable symbols | |
US6364209B1 (en) | Data reading apparatus | |
US5515447A (en) | Method and apparatus for locating an acquisition target in two-dimensional images by detecting symmetry in two different directions | |
US6088482A (en) | Techniques for reading two dimensional code, including maxicode | |
US5854478A (en) | Method and apparatus for reading machine-readable symbols having surface or optical distortions | |
US6173893B1 (en) | Fast finding algorithm for two-dimensional symbologies | |
US20050242186A1 (en) | 2D rectangular code symbol scanning device and 2D rectangular code symbol scanning method | |
EP0484132A2 (en) | Multiple resolution machine readable symbols | |
JP2001273461A (ja) | ナンバープレート読取装置及び方法 | |
US5581635A (en) | Method and system for fast rotation of run-length encoded images | |
EP1416421A1 (en) | Barcode detection system and corresponding method | |
US6000618A (en) | Method of reading an object-applied bar code | |
US5902987A (en) | Apparatus and method of rapidly locating edges of machine-readable symbols or other linear images | |
JP2734638B2 (ja) | データ読取方法及び装置 | |
EP0651337A1 (en) | Object recognizing method, its apparatus, and image processing method and its apparatus | |
JP2726969B2 (ja) | データ読取装置 | |
JP3128901B2 (ja) | 画像読取・処理装置及び画像読取・処理方法 | |
JPH05172535A (ja) | ピーク点検出方法及びキャリブレーション方法 | |
EP1178665A2 (en) | Optical scanner and image reader including one and two dimensional symbologies at variable depth of field | |
JP2002063575A (ja) | 画像処理を利用した海難捜索方法及び海難捜索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JPH0311484A (ja) | データ読取方法及び装置 | |
JPH0376066B2 (ja) | ||
JPH06266825A (ja) | 画像追尾装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080403 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090403 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100403 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110403 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130403 Year of fee payment: 15 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140403 Year of fee payment: 16 |
|
EXPY | Cancellation because of completion of term |