JP4783535B2 - 仮想ラスターパターンの特定 - Google Patents

仮想ラスターパターンの特定 Download PDF

Info

Publication number
JP4783535B2
JP4783535B2 JP2001573385A JP2001573385A JP4783535B2 JP 4783535 B2 JP4783535 B2 JP 4783535B2 JP 2001573385 A JP2001573385 A JP 2001573385A JP 2001573385 A JP2001573385 A JP 2001573385A JP 4783535 B2 JP4783535 B2 JP 4783535B2
Authority
JP
Japan
Prior art keywords
image
vector
spatial frequency
main
main vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001573385A
Other languages
English (en)
Other versions
JP2003529853A5 (ja
JP2003529853A (ja
Inventor
ペッター・エリクソン
トマス・エドソ
Original Assignee
アノト アクティエボラーク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from SE0001235A external-priority patent/SE516310C2/sv
Priority claimed from SE0004132A external-priority patent/SE518866C2/sv
Application filed by アノト アクティエボラーク filed Critical アノト アクティエボラーク
Publication of JP2003529853A publication Critical patent/JP2003529853A/ja
Publication of JP2003529853A5 publication Critical patent/JP2003529853A5/ja
Application granted granted Critical
Publication of JP4783535B2 publication Critical patent/JP4783535B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431Frequency domain transformation; Autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/19Image acquisition by sensing codes defining pattern positions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/247Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Input (AREA)
  • Complex Calculations (AREA)
  • Image Generation (AREA)
  • Pinball Game Machines (AREA)
  • Holo Graphy (AREA)

Description

【0001】
【発明の技術分野】
本発明は、主として、ラスターパターンの特定に関し、特に複数の位置符号化マークを備えた面における位置符号化関する。特に、本発明は、この面のイメージにおける仮想ラスターパターンの特定に関し、その面の上では、仮想ラスターパターンに属するラスター線の交点に各マークが関連付けられている。
【0002】
【発明の背景】
多くの関連において、面の絶対位置の決定を可能にすることが望まれている。一例は、図のデジタル化である。別の例は、手書き情報の電子化バージョンの作成である。
【0003】
公知の位置決定のための装置は、米国特許5,852,434に見られる。この文献では、絶対位置を決定する装置について説明がなされている。この装置は、x−y座標を決定するための位置符号化パターンを備えた書き込み面と、この位置符号化パターンを検出する検出装置と、検出された位置符号化パターンに基づき書き込み面との関連で検出装置の位置を決定する処理装置とを備えている。この装置により、ユーザが手で記入又は描画した情報を、当該情報が書き込み面に記入又は描画されている間にコンピュータに入力することが可能になる。
【0004】
米国特許5,852,434には、位置符号化の3つの例が示されている。第1の例は、複数のシンボルからなり、シンボルの各々が3つの同心円により構成されている。最外縁の円はx座標を表し、中央の円はy座標を表す。外側の円はさらに16の部分に分けられ、それぞれ中実か否かにより異なる数字を示すようになっている。これは、各座標対x、yが、複雑且つ特別な形状のシンボルによって符号化されることを意味する。
【0005】
第2の例では、x座標のバーコードがy座標のバーコードの上側に表された積み重ねバーコードによって、書き込み面の各点の座標が表されている。
【0006】
第3の例では、書き込み面の各点が、x座標及びy座標の符号化に使用可能なチェックパターンからなっている。しかしながら、どのようにしてチェックパターンを構成し、座標に変換するかについては、説明が無い。
【0007】
米国特許5,852,434の位置符号化パターンの問題は、位置符号パターンが複雑なシンボルにより構成されていることから、シンボルが小さくなるほどパターン付き書き込み面の製造が難しくなり、又、位置の決定を誤る危険性が大きくなることである。一方、シンボルを大きくするほど、位置の解像度が低下するという問題もある。
【0008】
更なる問題は、複雑なシンボルを解読しなければならないため、検出した位置符号化パターンの処理装置における処理が複雑することである。
【0009】
また別の問題は、少なくとも1つのシンボルの全体を確実に含むようにして4つのシンボルを同時に記録できるようにセンサーを設計しなければならないことである。位置決定を実行するために必要だからである。必要な検出エリアと、位置を規定する位置符号化パターンのエリアとの比は、それゆえ大きくなる。
【0010】
本出願人の国際特許出願PCT/SE00/01895では、上述した問題を解決する位置符号について説明がなされている。この位置符号は、ラスターと、各ラスター点に位置するマークとを備えている。マークはいずれも同じサイズで丸く、ラスター点に対して互いに直交する4方向に変位していることが好ましい。ラスターは、仮想のものであり、それゆえ肉眼に対してもセンサーに対しても不可視のものである。
【0011】
上述した位置を復号化するためには、仮想ラスターを特定することが必要である。このラスターの特定が、本発明の目的である。
【0012】
【発明の概要】
本発明の目的は、それゆえ、導入部にて説明したタイプのイメージにおける仮想ラスターパターンを特定する方法を示すことである。
【0013】
特有の目的は、未知の回転及び/又は未知の遠近を持って記録されたイメージにおいて、規則的な仮想ラスターパターンの特定を可能にすることである。
【0014】
以下の説明で明らかになるであろうこれらの目的及び他の目的は、請求項1及び26に係る方法、請求項27に係るコンピュータプログラム製品、及び請求項28に係る位置決定のための装置によって、完全に又は部分的に達成される。好ましい実施の形態は、従属請求項において規定されている。
【0015】
本発明によれば、仮想ラスターパターンの特定には、何らかの形式のフーリエ解析が用いられる。これにより重要な複数の利益が得られる。フーリエ変換の間、イメージ全体又はそのサブセットが1つのユニットとして処理される。これにより、例えばイメージ中のノイズや対象面の塵などの局所的な障害に対する感度を低くして、仮想ラスターパターンの特定を行うことができる。また、フーリエ解析を用いることにより、イメージセンサと対象面との間の未知の回転及び/又は未知の遠近について、効率的で明確な補正が可能になる。
【0016】
上述したフーリエ解析は、伝統的なフーリエ解析を含むが、この伝統的なフーリエ解析は計算を多く行うものであるため、代わりに、しばしばFFTすなわち高速フーリエ変換が用いられる。この高速フーリエ変換も本発明に用いることができる。
【0017】
好ましい実施の形態としては、イメージのフーリエ解析が行われる前に、イメージが、イメージ中のマークの位置に配置された離散的なユニットパルスの集合に変換される。それゆえ、少なくとも計算に関しては単純化されるため、伝統的なフーリエ解析が使用可能である。二重積分が離散的なユニットパルスの和に置き換えられるため、必要な演算の数が減少する。それゆえ、フーリエ解析を利用した特定は、計算に関しては効率的な方法で実行され、又、小電流で作動する処理装置によりリアルタイムで実行可能な高速なプログラムコードで実行することができる。
【0018】
各ユニットパルスは、好ましくは、対応するマークの重心に配置されている。これは、各マークが、明確で且つ実質的にマーク形状に依存しない一つの位置に対応していることを意味する。これにより、移動や、イメージが光学系の焦点からずれたことにより生じるイメージのぼけの効果が最小限になる。
【0019】
好ましい実施の形態によると、フーリエ解析は、イメージに基づいて二次元の空間周波数スペクトルを計算する工程と、イメージ中の少なくとも2つのメインベクトルを周波数スペクトルに基づいて特定する工程と、メインベクトルに基づくラスターパターンのラスター線を特定する工程とを含んでいる。フーリエ解析により得られるメインベクトルは、イメージにおける支配的な方向(特に、ラスター線の方向に対する垂線)を表す。又、ベクトルの長さは、メインベクトルの方向に沿ったイメージの支配的な空間周波数に対応する。それゆえ、均一な直交ラスターパターンでは、メインベクトルは、長さがラスター線の間隔に対応する互いに直交する2つのベクトルである。
【0020】
本発明の範囲内においては、「空間周波数スペクトル」という用語は、その逆、すなわち「空間波長スペクトル」も含むことに留意すべきである。
【0021】
空間周波数スペクトルは、イメージの中心部分に基づいて計算されることが好ましい。これにより、イメージの遠近による不利な効果を最小限にできる。イメージが遠近を含んでいる、イメージに亘って(特に、イメージの周縁部分において)空間周波数が変化してしまうまた、イメージのサブセット(一部分)の評価を行うので、計算時間短縮される。あるケースでは、イメージの中心部分を選択すれば、イメージの質及び/又は対象面の照明に対する要求は低くなる
【0022】
好ましい実施の形態によれば、メインベクトルの特定は、空間周波数スペクトルにおいて所定の閾値を越えたピークの位置を見つけ出し、これらの位置に基づくメインベクトルを選択することにより行われる
【0023】
二次元空間周波数スペクトルを、完全に、すなわちイメージにおける全ての可能な方向及び空間周波数について計算することは、仮に可能であったとしても、不要であることに留意すべきである。空間周波数スペクトルは、イメージにおける少なくとも2方向に沿った2次元フーリエ変換に基いて計算又は抽出されることが好ましい。
【0024】
更なる好ましい実施の形態によれば、空間周波数スペクトルの計算及びそのメインベクトルの特定は、方向ベクトルの方向を角度幅内において段階的に変化させ、各方向ベクトルに基づいてイメージの2次元フーリエ変換の少なくとも一つの絶対値を計算し、この閾値を越えた絶対値を特定することによって行われる。角度幅は、主として180°以下(これ以上大きいと不要な情報になるため)であり、約2°〜4°の段階毎にサーチされる。但し、ある特定のアプリケーションにおいては、より小さい又は大きい角度幅を用いてもよい。閾値は、典型的には理論上の最大絶対値の30〜70%である。最大絶対値は、フーリエ解析の対象となるイメージのサブセットにおけるマークの数に比例する。このようにして、各サブセットについて最大絶対値が計算される。
【0025】
角度幅をサーチしている間、方向ベクトルの長さが、ラスターパターンの基準空間周波数(すなわち、対象面におけるラスターパターンの空間周波数)を含む周波数帯域で変化することが好ましい。この周波数帯域は、イメージセンサと対象面との間の像関係(回転/遠近)の結果として生じ得る全ての可能な空間周波数を含むよう適切に選択される。ユニットパルスの集合という形式のイメージにとって、ある一定の方向のベクトルの各新しい長さについてのフーリエ変換の計算は、一つの工程の追加にすぎない。この追加工程は、計算に関する限り、効率的な方法で実行することができる。方向ベクトルの長さは、2の適当なべき数に反比例する。段階の長さが時間効率の良いビットシフトにより計算される場合には、例えば1/8(2-3)である。1又は2以上の絶対値を特定するときに、方向ベクトルの長さの順次変化を中止することが可能である。又、2次元フーリエ変換の新しい絶対値の計算のために、方向ベクトルの方向を角度幅内で変化させることも可能である。
【0026】
ピークのそれぞれの位置は、閾値を越え且つ空間周波数スペクトルにおいて隣り合う絶対値の重心を計算することにより、決定される。これにより、角度幅のサーチが粗くても、比較的正確なピークの位置決定が行われる。
【0027】
好ましい実施の形態によると、少なくとも2つのメインベクトルを選択する部分工程が、各ピーク位置により候補ベクトルを特定すること、2つのベクトルの関係を変化させる少なくとも一つのイメージ変換(現在のイメージ変換)が候補ベクトルに対して作用するようにすること、前記少なくとも一つの現在のイメージ変換のために必要な相互関係を獲得した候補ベクトルをメインベクトルとして選択すること、を含む。この部分工程は、決定したピーク位置のどれがメインベクトルを表すかを確定するために実行される。このピーク位置は、メインベクトルだけでなく、イメージにおける2次の支配的なパターン(例えば、斜めのパターンや干渉/ノイズによるパターンなど)を表す
【0028】
イメージ変換は、ベクトル同士の長さ比及び角度比を両方とも変化させる変換(例えば楕円)であることが適当である。この場合、必要な相互関係は、もとのラスターパターン(すなわち、対象面における仮想ラスターパターン)におけるラスター線同士の相互関係である長さ比及び角度比である。例えば、もとのラスターパターンが均一な直交ラスターパターンの場合、イメージ変換は、メインベクトルを長さ比が1:1で角度比が直角となるように変換しなければならない。候補ベクトルの一つが斜め方向に対応している場合には、角度比は45°で長さ比は1:√2でなければならない。
【0029】
複数の異なる現在のイメージ変換を、順に、候補ベクトルに対して作用させることは、少なくとも候補ベクトル間における必要な相互関係が得られるまで行うことができる。代わりに、先行するイメージについて必要な関係を生じた先行するイメージ変換に基づいて、現在のイメージ変換を適宜選択することも可能である。
【0030】
現在のイメージ変換の各々が、イメージセンサと対象面との間の所定の像関係に対応することが好ましい。計算に関して効率的であるが比較的不正確であるような実施の形態においては、どのイメージ変換により必要な候補ベクトルの相互関係が得られるかによって像関係が求められ、この像関係に基づいてイメージの回転及び遠近最小にされる
【0031】
別な実施の形態によると、メインベクトルは、先行するイメージにより決定される先行するメインベクトルに基づいて選択される。メインベクトルを、先行するメインベクトルと同一にすることも可能である。又、メインベクトルを特定する間、例えば、空間周波数スペクトルのピークを効率良く決定するために、これら先行するメインベクトルについての加重した情報を用いることも可能である。
【0032】
好ましい実施の形態によると、マークは、当該マークのイメージ平面上での回転が実質的に除去された回転補正済みのイメージを生成するための基礎となる特定のメインベクトルに変換される。
【0033】
更なる好適な実施の形態によると、回転補正済みイメージにおいて、遠近の補償が実行される。この補償に先立って、必要性のテストが行われる。この必要性テストでは、前記回転補正済みイメージの空間周波数スペクトルにおけるメインベクトルに相当するピークの幅が求められる。幅が所定の値を越えた場合には、遠近の補償を実行する。空間周波数スペクトルにおけるピークの位置は、先行する処理工程において実質的に既に知られているため、ピークの幅は、計算に関する限り効率よく求めることができる
【0034】
遠近補償は、回転補正済みイメージの各メインベクトルに沿ったラスターパターンの傾き変動の測定と、測定された傾き変動に基づいて当該傾き変動を実質的に除去する遠近変換と、遠近変換を利用した遠近補正済みイメージの生成と、を含む。これは、高い正確性で遠近補正済みイメージを計算する上で、効率的な方法である。
【0035】
これに関連して、選択したメインベクトルに沿ったラスターパターンの傾きの変化を測定することは、(選択したメインベクトルに沿って分布する回転補正イメージの少なくとも2つのサブセットについてのフーリエ解析を利用して)各サブセットについて少なくとも一つのサブセットメインベクトルを計算すること、各サブセットメインベクトルに関連するサブセットにおける初期位置を特定すること、及び、サブセットメインベクトル及び初期位置に基づき、選択したメインベクトルに沿う傾き変動を計算すること、を含む。フーリエ解析を利用したサブセットメインベクトルの特定は、既に知られているメインベクトルから開始すると、すばやく行うことができる。一般に、サブセットメインベクトルは、メインベクトルの近傍に位置している。
【0036】
初期位置は、好ましくは、それぞれのサブセットに含まれるマークの重心に基づいて特定される。これにより、初期位置の特定が、イメージ誤差(例えば、高程度の遠近、マークの欠損、マークの過剰、ノイズなど)によって僅かに影響を受けるにすぎないことになる。代わりに、初期位置を、サブセットの中間点として設定することもでき、これにより、必要な計算は最小限になる。
【0037】
更に好ましい実施の形態は、回転補正済みで遠近補正済みのイメージにおける各メインベクトルの位相ずれをフーリエ解析を介して測定する工程を含む。この位相ずれを測定する工程は、イメージ中のマークに関連したラスターパターンの位置を見つけ出す位相ずれ(測定された位相ずれに基づいて行われる。この位相ずれは、イメージのメインベクトル方向における二次元フーリエ変換のための位相角度として得られ、変換処理によって簡単に除去され得るものである。ラスター線の方向は、メインベクトルの垂線によって与えられる。ラスター線の交点間の、メインベクトルに沿った方向の距離は、メインベクトルの長さによって与えられる。
【0038】
あるケースでは、ラスターパターンの交点を所定距離だけ離して(例えば、整数座標に)配置する正規化変換を計算することが望まれる。又、正規化されたイメージを生成するために、イメージの正規化変換を行うことも望まれる。
【0039】
本発明の別の局面によると、本発明は、コンピュータに上述した特定のための方法を実行させるコンピュータプログラムを含む、コンピュータによる読み取り可能なプログラム製品に関する。このコンピュータプログラム製品は、例えばコンピュータのための不揮発メモリ、例えばフロッピーディスク(登録商標)若しくはCD−ROM、又は、コンピュータ内の揮発メモリを含むことができる。あるいは、コンピュータプログラム製品は、伝播信号(例えばインターネットなどを介したパケット送信のためのビットストリーム)、又は、ケーブルを用いた若しくはワイヤレスの手段を介してコンピュータに伝送される搬送波を含むこともできる。
【0040】
本発明の更なる局面によると、本発明は、位置決定のための装置に関する。この装置は、それぞれが仮想ラスターパターンの複数の交点の一つに関連付けられている複数のマークの形式の位置符号を備えた面における部分面のイメージを生成するセンサと、面のサブセットに基づいて部分面の位置を計算するよう構成されたイメージ処理手段と、を含んでいる。イメージ処理手段は、上の方法に従って仮想ラスターパターンを特定するよう設計されている。
【0041】
コンピュータプログラム製品及び位置決定のための装置の利点は、上述した説明から明らかである。仮想ラスターパターンを特定するための方法について説明した特徴は、もちろん、位置決定のための装置にも応用することができる。
【0042】
【好適な実施形態の説明】
図1aは、面2の少なくとも一部に、位置決定を可能にする光学的に読み取り可能な位置符号化パターン3を備えた製品1の一部を示す。位置符号化パターン3は、パターンの形状を備えるよう、面上に体系的に配列されたマーク4を含んでいる。位置決定は、製品の全面において行うことが可能である。他のケースでは、位置決定が可能な面は、製品のより小さい部分を構成していてもよい。製品は、例えば、面上に記載され又は描画された情報の電子的な表現を生成するために用いられる。この電子的な表現は、ペンを用いて面に書き込みをしている間、位置符号化パターンを読み取ることで、断続的に紙上におけるペンの位置を決定することにより生成することができる。
【0043】
より具体的には、位置符号化パターンは、仮想ラスター5(図9に破線で示す)と、複数のマーク4を備えている。仮想ラスター5は、人の肉眼では見えず、又、面上での位置決定のための装置によっても直接は検出されない。各マーク4は、その配置によって4つの値のうちの一つを表すマーク4の値は、基準位置6(図9)に対する位置によって決まる。基準位置6は、仮想ラスター点と呼ばれラスター線7(図9)の交点によって表されるマーク4は円形の点(ドット)の形状を有している。図9に示した例では、基準位置6から延びるラスター線7上における4つのとり得る位置がある。基準位置6からの変位量はどの値についても同様である。この場合、仮想ラスター5は直交型であり、どの主たる方向すなわちラスター方向においても、同じピッチを有している。これに関連し、図1及び図9に示した位置符号化パターンは、明確のため、拡大して示されていることに留意すべきである。更に、示されているのは、製品の一部だけである。
【0044】
位置符号化パターンの生成に関する詳細及び位置決定のための符号化の詳細については、本出願人のスウェーデン特許出願PCT/SE00/01895を参照のこと。
【0045】
位置符号を検出可能にするためには、仮想ラスターを決定しなければならない。これは、多数のマーク4を備えた部分面におけるイメージに基づいて、高い精度で且つリアルタイムで実行されなければならない。図1Bに、図1Aに示した部分面8におけるイメージを示す。明確のため、イメージとして撮像されたマークは、図1A中の他のマークよりも大きく示している。図1Bに示したイメージでは、センサーが、対象となる部分面に対して平行に持たれていなかったため、パターンがゆがんでいる。このイメージは、それゆえ、センサーの部分面に対する傾きに起因する未知の遠近と、センサーの垂直軸周りの回転や斜行に起因する対象面における未知の回転とを有している。
【0046】
図2は、もとの点パターンの再生、及び、記録されたイメージに基づく仮想ラスターの特定のためのメイン工程を示すものである。このメイン工程は、イメージの予備処理(工程100)と、フーリエ解析を利用したイメージにおけるメインベクトルの検出(工程101)と、メインベクトルに沿ったマークの投影によるイメージ面における回転補償(工程102)と、回転補正済みイメージにおけるフーリエ解析を利用した遠近の検出(工程103)と、検出された遠近の変換による除去(工程104)と、遠近補正済みイメージにおける位相成分のフーリエ解析による検出(工程105)と、点パターン及びそれに付属する仮想ラスターの再生のための変換による位相成分の除去(工程106)とを含んでいる。
【0047】
以下では、メイン工程のそれぞれについて更に詳細に説明する。
【0048】
<予備処理(工程100)>
予備処理の目的は、イメージにおけるマーク4の全てを特定することである。これは、閾値を利用して、所定の又は計算による閾値を越えた値を持つ1又は2以上の画素(ピクセル)によってマークが特定されるようにして実行されることが可能である。マークに属する全ての画素についての重心が計算され、これが、後の処理で使用される。それゆえ、イメージ中のマークの形状は、引き続き計算されるマークの基準位置からのずれには極めて小さな影響しかもたらさない。ついで、イメージは、ユニットパルス(いわゆるディラックパルスδ)に置き換えたマークに基づいて、マークの重心に位置する点(ドット)の集合に変換される。
【0049】
点の集合が規定されると、イメージすなわち上述した点の集合についてのフーリエ変換に基づき、多くの部分工程が実行される。
【0050】
イメージf(x、y)についての一般的な2次元フーリエ変換は、以下のような形式で表される。
【0051】
【数1】
Figure 0004783535
【0052】
イメージが点の集合に変換されるため、フーリエ変換に、以下の表現が与えられる。
【0053】
【数2】
Figure 0004783535
【0054】
ここで、点の集合は{xj,yk}で、(u,v)は方向ベクトルである。ディラックパルスの積分は1で、ディラックパルス相互の像関数は0だからである。
【0055】
この表現は、比較的迅速に計算することができる。演算の数が検出された点の数と同じであり、一般に100のオーダーだからである。
【0056】
<メインベクトルの検出(工程101)>
イメージの予備処理の後、支配的な方向で且つ支配的な空間周波数であるメインベクトルすなわちラスターベクトルを検出するために、点の集合の解析が行われる。これは、相異なる方向のベクトル(u,v)についての点の集合のフーリエ変換の計算によって実行される。計算されたフーリエ変換の絶対値|F(u,v)|により、2次元の空間周波数スペクトルが得られる。
【0057】
図3に、図1bに示した点の集合についての空間周波数スペクトルを示す。暗いエリアは、高いスペクトル振幅を示している。中央の暗いエリアは、原点、すなわち(u,v)=(0,0)を形成する。図3に示した全体の二次元周波数スペクトルを計算する代わりに、フーリエ変換は、多数の点すなわち多数の相異なる方向ベクトル(u,v)について計算される。これらの点は図3に示されている。特に、周波数領域の半分の面における帯状のエリアが段階的に「走査」される。1又は同じサーチ方向に沿って、幾つかの合計が計算される。計算をより効率的にする目的で、サーチ方向においてのみスケーリングが行われる。内積(u0・xj,v0・yk)が、方向ベクトル(u0,v0)につき1度だけ計算される。スケーリングは繰り返して実行され、各サーチ方向において段階的に及び点毎に一つだけの追加加算を生じさせる。
【0058】
擬似コードにおいて、これは以下のように書かれる。
【0059】
【数3】
Figure 0004783535
【0060】
各サーチ方向において、2の適切なべき乗(2n)に反比例するステップ(段階幅)を使用することが適当である。例えば、上述したように1/8である。ステップ(dα0)の計算が、計算に関しては効率的なビットシフトになるからである。
【0061】
周波数平面におけるサーチバンドの幅は、もとのパターン(図1A)のメインベクトルに沿った空間周波数を変化させるために想定されるイメージのゆがみの程度によって決まる。これは、イメージセンサがどこに置かれたかに依存する。通常は、サーチバンドは、パターンの基準空間周波数の両側に延びる。これは、元のパターンのラスター線の間隔に相当する。もちろん、各サーチ方向におけるステップ及び走査方向におけるステップの大きさは、利用できる処理装置の能力、必要な計算時間及び必要な正確さによって変化する。
【0062】
上記から、周波数平面でのサーチは、多数の独立した合計を計算することにより実行されることが分かる。それゆえ、サーチは並列的な性質を有し、従ってASICなどのハードウェアで実行するのに適している。
【0063】
この抽出された二次元空間周波数スペクトルの計算の後又は計算中において、候補ベクトルc1〜c3が、計算点の値に基づいて特定される。閾値を越える値を有する全ての計算点は有意なもの(図3において黒の十字で示す)と認められ、これらは、候補ベクトルc1〜c3の座標の計算に用いられる。閾値は、理論上の最大振幅値のパーセンテージ(例えば50%)として決定され、イメージ中のマークの数に比例する。マークの数は、予備処理工程で既に知られている。幾つかの有意な計算点が周波数平面において隣り合っている場合、これらの重心が、候補ベクトルc1〜c3の周波数平面内の座標を与えるものとする。後工程でメインベクトル又は斜めベクトルであることが分かる候補ベクトルは、図3において白及び黒の星でそれぞれ示されている。
【0064】
点の集合における全ての点が上の計算に用いられるわけではなく、イメージの中心の近傍の点のみが上の計算で用いられる。主として、利用可能な点の約50%が使用される。これは、主に2つの理由によるものである。全ての点を含めなければならないとすると、周波数平面(図3)のピークが広がりすぎ、それゆえ検出(特に高精度な検出)が難しくなる危れがある。遠近のため、イメージの周縁部で大きな周波数変化が生じるからである。しかしながら、イメージの中央部では、空間周波数は、イメージの空間平均周波数によく対応している。更に、イメージの周縁部の照明が不十分になり、ノイズレベルが上昇してしまうという問題も回避される。更に、点の数に応じて計算時間が減少する。
【0065】
上の計算工程の後、周波数平面における多くのピークが検出される。しかしながら、検出されたピークのどれがメインベクトルに対応するかが決定されなければならない。イメージの記録が、センサーとパターン付き製品との間の遠近なしで行われた場合には、メインベクトルの√2倍の長さであって且つ互いに直交しているという点において、斜めベクトルが優れている。しかしながら、この斜めベクトルは、図1Bに示したようにメインベクトル同士が直交しておらず、且つ斜めベクトルとメインベクトルとの長さの比が√2でないような極端な遠近には適用されない。加えて、例えばイメージ中の障害やノイズにより、1又は2以上の無効な最大値が、周波数平面において検出される可能性がある。
【0066】
メインベクトルの特定のため、センサーと製品との所定の像関係の数に対応する多くの(典型的には約25の)イメージ変換が利用される。ペンの場合、製品に対し、限られた方法で物理的に傾斜し回転され得る。イメージ変換は、所定のゆがんだ周波数領域を、直交且つ均一な(すなわち、メインベクトル同士が互いに直交し、斜めベクトルとメインベクトルとの比が√2である)周波数領域に変換する。イメージ変換は、主として、いわゆる楕円変換を生じる。
【0067】
候補ベクトルc1〜c3を特定したのち、これら候補ベクトルc1〜c3に対してイメージ変換が実行される。更に、候補ベクトルの属性(方向及び長さ)が真のメインベクトルの属性にどれだけ対応しているかが測定される。
【0068】
上記は、全てのイメージ変換全候補ベクトルc1〜c3作用させることと、相互関係に基づいて評価が付された変換済み候補ベクトルと、最も高い評価を受けた変換済み候補ベクトルとして特定されたメインベクトルとにより行うことができる。必要な場合には、最も高い評価を生じるイメージ変換を特定することもできる。
【0069】
計算に関して効率的な代替方法は、計算を2つの部分工程に分けることである。工程の第1の部分では、複数のイメージ変換を候補ベクトルc1〜c3の全てのペアについて作用させて、全ての可能性のあるペアを生じさせる。変換後、メインベクトルの可能性のあるペアは、相互の角度比が直角であり、長さ比が1:1であり、所定の長さを有している。これらの基準は、もちろん許容幅を持って定められている。変換後のベクトルが所定の長さを有するようにしたのは、メインベクトルと誤認される相互に直交する2つの斜めベクトルを排除するためのものである。この第1の部分工程では、所定の候補ベクトルのペアに対するイメージ変換の作用は、この所定のペアが可能なメインベクトルであると特定された時点で中止されることが適切である。これにより、必要な作用の数が減少する。第2の部分工程では、可能性のあるペアを生じるイメージ変換、どのような追加の候補ベクトルに対しても作用させる。これにより、これら追加の候補ベクトルは、それらの対応する斜めベクトルに従って評価を与えられる。メインベクトルは、最も高い評価を受けた候補ベクトルのペアとして特定される。このように2つの部分工程に分けることは、少ないペア数の候補ベクトルと、少ない数のイメージ変換について比較的計算の多い評価を実行すればよいことを意味する。
【0070】
更なる変形例によると、複数のイメージ変換全てのペアの候補ベクトルに作用させるようにすることができる。イメージ変換について十分高い評価が得られた場合には、それが選択され、他の場合には、複数のイメージ変換の連続した並び(シーケンス)における次のイメージ変換がテストされる。
【0071】
この関連において、例えばユーザの同一性及び/又は先行するイメージ用に選択されたイメージ変換に基づいて、イメージ変換を補助的にテストすることができる。連続したイメージが同じ条件のもので撮像されることが、事実上起こり得る。一人の及び同じユーザが、毎回同じ方法で撮像を行うこともあり得る。
【0072】
点の集合の全てではなく、実際の候補ベクトルだけを変換することから、イメージ変換及び対応する計算が簡単に実行されることは、注目に値する。イメージ変換は2×2のマトリクスであってもよく、それゆえ、各イメージ変換及び各候補ベクトルにつき、作用の数は4となる。
【0073】
各イメージ変換がセンサーと製品との間の既知の関係に対応するため、上の検出工程から、センサーが製品に対してどのようにして持たれているかについての指標が得られる。要求精度が低い場合には、この情報は、イメージの遠近及び回転の補償のために直ちに用いることができる。しかしながら、しばしば、より高い精度の補償が求められる。
【0074】
別の手順によると、周波数平面におけるピークのサーチは実行されない。その代わりに、最初にイメージ変換が選択され、点の集合又はそのサブセットに対して実行される。そののち、変換された点の集合のメインベクトルが、フーリエ解析を介して、周波数平面におけるピークの上述したサーチによって特定される。もし満足できる結果が得られなければ、新たにイメージ変換を選択し、フーリエ解析によるメインベクトルの新たな特定を実行する。この方法は、しかしながら、連続するイメージ間において像条件が頻繁に変化する場合には特に、比較的多くの計算を要する。テストしなければならないイメージ変換の数を減少させるため、イメージ変換の選択はユーザの同一性及び/又は先行するイメージ用に選択されたイメージ変換に基づくことが適切である。
【0075】
<回転補償(工程102)>
イメージ平面における点(ドット)の集合(以下、点集合ともいう)の回転を補償するために、点集合、上述したようにして検出されたメインベクトルに沿うように投影する。それゆえ、イメージ中に遠近などの非線形の障害が残っていたとしても、ほぼ一列に並べられた点集合が得られる。
【0076】
図4に、図1Bに示した点集合にこのような調整を行った後の状態を示す。残存する遠近を明確に表すため、仮想ラスターは破線により示されている。このラスターは、すぐ後の工程で行われる遠近の検出により決定されるパラメータに基づいて計算される(工程103)ことに留意すべきである。
【0077】
<遠近の検出及びその補償(工程103〜104)>
遠近の一般的な性質は、本来の直線が、消失点に向けて収束する線として撮像されることである。これについては、付録Aを参照のこと。これらの線は、線の傾き(Δxs/Δys,Δys/Δxs)が各座標軸に沿って線形的に大きくなるように、センサー(イメージ)の座標軸(xs,ys)と交叉する:
【0078】
【数4】
Figure 0004783535
【0079】
付録Aには、又、この遠近を生じる傾斜面が、以下の式に従って変化するz座標を有していることが示されている。
【0080】
【数5】
Figure 0004783535
【0081】
ここで、x,yは傾斜面すなわち製品の面における空間座標であり、Cはスケーリング要素である。
【0082】
更に、付録Aには、遠近変換によって遠近が補償されることが示されている。
【0083】
【数6】
Figure 0004783535
【0084】
ここで、
【0085】
【数7】
Figure 0004783535
【0086】
このような変換が実行される前に、回転補正済みの点集合(上の座標軸xs,ysに相当)のメインベクトルに沿って、ラスターパターンの傾斜がどのように変化しているかを測定する必要がある。この傾斜の変化は、要求される値mkx,mky,kkx,kkyを与えるものである。
【0087】
傾斜の変化は、フーリエ解析によって測定される。点集合は、イメージの/センサーの水平及び鉛直の対称軸(実際には、メインベクトルとほぼ一致する)の周りにおいて4つのサブセットに分けられる。各サブセットは、半平面(水平対称軸の上側、水平対称軸の下側,鉛直対称軸の右側、鉛直対称軸の左側)において、複数の点を含んでいる。上述のメインベクトルの検出(工程101)とは異なり、ここでは、点の全集合がサブセットに分けられる。各サブセットについてのフーリエ変換は、メインベクトルの検出について対応する方法で計算される。周波数平面の走査は、メインベクトルに沿って実行され、全ての有意な隣り合うピーク値が検出されるまで続けられる。メインベクトルの検出について対応する方法で、周波数平面において隣り合う全計算点の重心としてピーク位置が計算される。
【0088】
図5A〜5Dには、各半平面、すなわち上側(図5A)、下側(図5B)、左側(図C)、右側(図D)についての計算を示す。黒い点は、有効なピーク値が検出されなかったときの計算点を示す。黒いクロスは、有効なピーク値が検出されたときの計算点を示す。白い星は、各ピークについての重心を示す。これら受信は、サブセットメインベクトルを規定し、その方向は、各半平面における点集合の傾き(Δxs/Δys,Δys/Δxs)を与える。完全な二次元周波数スペクトルは計算されないことに留意すべきである。しかしながら、明確化のため、中心の黒い領域により原点すなわち(u,v)=(0,0)が形成されている図5A〜5Dの背景には、全体が示されている。
【0089】
mk,mk,kk,kkを決定するため、半平面のサブセットメインベクトルについての期位置が計算される。この初期位置は、各半平面におけるユニットパルスの集合の重心として適切に計算される。重心は、センサー位置の変化、点の欠損、高い度合いの遠近に対して、比較的感度が鈍いからである。しかしながら、代わりに、初期位置を、各半平面の幾何的な中心に位置させることも可能である。左半平面及び右半平面に関連付けられたサブセットメインベクトルについては、サブセットメインベクトルと水平対称軸との交点が計算され、サブセットメインベクトルと鉛直対称軸との交点も計算される。傾き及び交点は直線に対応しており、そこからmk,mk,kk,kkが計算される。図6に、対称軸に沿った傾斜を、この対称軸に沿った位置の関数として示す表を示す。黒いクロスは、図4に示した点集合に基づいてフーリエ解析により得られる測定点を示している。
【0090】
mk,mk,kk,kkが既知の場合には、遠近の補償は、上の遠近変換によって実行される。図7には、図4に示した点集合であって遠近補正後のものを示す。対応する仮想ラスターは、破線で表されている。
【0091】
もちろん、傾斜の変化を計算するために、点集合を、上述したサブセットでなく他のサブセットに分けることも可能である。精度を向上するためには、メインベクトルにつき3以上のサブセットを使ってもよい。
【0092】
遠近を補正するために他の変換を用いてもよいことは言うまでもない。例えば、上の遠近変換の代わりに、以下の近似変換を用いてもよい。
【0093】
【数8】
Figure 0004783535
【0094】
回転補正済みイメージについての傾きの変化は、フーリエ解析以外の他の方法、例えば、最小二乗法によるラインフィッティングにより行うこともできる。点集合を一つの存在として扱う上述したフーリエ基準の方法と異なり、ラインフィッティング法は、障害に対して感度が高いため、個々の点についての局所的な決定を必要とする。
【0095】
<ずれの検出及びその補償(S105〜S106)>
遠近の補正ののち、原則として、メインベクトルに沿った一定のずれが残っている。図7に示したように、ラスターは原則直線であり、イメージ面での回転もほぼしていない。変位は、フーリエ解析における位相として測定される。残るは、この位相を測定し、それを補償することである。
【0096】
全ての点集合のフーリエ変換は、メインベクトルの検出についての方法に対応して計算される。周波数平面の走査は、工程101で特定されたメインベクトルの周囲で実行され、有意な隣り合うピーク値が検出されるまで続けられる。メインベクトルの検出(工程101)に対応した方法により、周波数平面において隣合う全ての計算点の重心として、ピーク位置が決定される。図7の点集合の結果を、図8に示す。ここでは、黒い点は、有意なピーク値が検出されなかったときの計算点を示し、白い点は、各ピークの重心を示す。完全な二次元振動スペクトルは計算しないことに留意すべきである。しかしながら、分かりやすくため、中央の暗い領域により原点すなわち(u,v)=(0,0)が形成される図8の背景には、全体が示されている。図8には、又、周波数平面におけるピークが、遠近補正後は細くなっていることが示されている。ピークの幅は、それゆえ、イメージの遠近補正が実際に必要か否かを決定するために用いることができる。
【0097】
フーリエ変換の絶対値を利用した各メインベクトルの位置の特定と同時に、フーリエ変換の位相角度からの各メインベクトルに沿った位相のずれが得られる。これは、その実数の部分と虚数の部分との間の比により与えられる。この位相ずれは点集合の位相変換によって除去されて、最も新しく決定されたメインベクトルに沿った新たな投影が行われる。更に、ラスターが整数座標に基づくことを確実にするため、メインベクトルの長さに基づいてスケーリングを行ってもよい。
【0098】
図9に、位相補償を経て再生されたイメージを示す。図示したように、仮想ラスター5は、位置情報のために復号化され得るマーク/ユニットパルスに対し、正しく配置されている。
【0099】
改変例によると、周波数平面において新たなメインベクトルのサーチは行わない。工程101〜102を経ることで、これらが良好に規定されているからである。その代わり、メインベクトルの検出(工程101)用に計算されるフーリエ変換のために、位相角度が用いられる。
【0100】
随意的には、上述した位相補償の後で、特定したラスターパターンの補助的な微調整を実行することもできる。各マークが、その基準位置から既知の距離にあるため、各メインベクトルに沿ったマークのつながりを、例えば、最小二乗法により線に適合させ、これにより微調整されたラスター線を形成することができる。
【0101】
<位置決定のための装置>
図10に、位置決定のための装置が図式的に示す。この装置は、ペンと同じ形状のケーシング11を有している。ケーシングの短い方の側には、開口12がある。この短い方の側は、位置決定を実行しようとしている面に押し当てられ、あるいは、当該面から短い距離だけ離れた位置で保持されている。
【0102】
ケーシングは、主として、光学部分、電気回路及び電源を含んでいる。
【0103】
光学部分は、対象面を照明するための少なくとも一つの発光ダイオード13と、2次元イメージを記録するためのCCDやCMOSセンサなどの感光性エリアセンサ14とを含んでいる。随意的には、この装置は、ミラー及び/又はレンズ系などの光学系を備えていても良い。発光ダイオードは、赤外線ダイオードであってもよく、センサは赤外線に感応するもので
あってもよい。
【0104】
この装置の電力は、ケーシングの離れた区画に搭載されたバッテリー15から供給される。
【0105】
電気回路部は、センサ14により記録されたイメージに基づき位置を決定するためのイメージ処理手段16と、センサからのイメージを読み取り、これらのイメージに基づいて位置決定を行うべくプログラムされたプロセッサを備えたプロセッサユニットとを含んでいる。
【0106】
この実施の形態では、装置は、ペン先17を備えている。このペン先17により、位置決定を実行しようとしている面上に通常の染料ベースの書き込みが行われる。ペン先17は、使用するかしないかをユーザが制御できるよう伸縮可能で且つ格納可能である。ある応用例においては、この装置は、ペン先を全く持っていなくてもよい。
【0107】
染料ベースの書き込みは、赤外線を透過するものであることが適当であり、マークは、赤外線を吸収するものであることが好ましい。赤外線を発する発光ダイオードを用い、赤外線に感応するセンサを用いることにより、書き込みがパターンの障害となることなく、パターンの検出を行うことができる。
【0108】
この装置は、又、装置を作動させ又制御するためのボタン18を含んでいる。この装置は、又、例えば赤外線、ラジオ波又は超音波などを用いて情報をワイヤレス通信するためのトランシーバー19を有している。この装置は、又、位置及び記録された情報を表示するためのディスプレイ20を含んでいてもよい。
【0109】
テキストを記録するための装置は、本出願人によるスウェーデン特許第9604008−4に説明されている。この装置は、適当にプログラムすることにより、位置決定に用いることが可能になる。この装置を染料ベースの書き込みに使用する場合には、ペン先を設けなければならない。
【0110】
この装置は、相異なる物理的なケーシングに分けられる。第1ケーシングには、位置符号化パターンを記録すると共にこれを第2ケーシング内に収容された構成機器に送信する構成機器が収容されている。第2ケーシング内の構成機器は、記録されたイメージに基づいて位置決定を実行する。
【0111】
既に述べたように、位置決定は、イメージ中のマークの位置を特定し、それらを復号化し、得られた符号から位置決定を行うためのソフトウェアを有するプロセッサにより実行される。上の例では、当業者は、位置符号化パターンの一部におけるイメージに基づき、仮想ラスターパターンの上述した特定を実行するソフトウェアを設計することができる。
【0112】
この装置は、所定の制限の範囲内の撮像条件で用いられることが好ましい。撮像条件は、対象面に対する装置(センサ14)の許容される傾斜(例えば、最大約60°)として、又、装置の長軸周りの許容される回転及び斜行(例えば、基準位置から±約30°)として定義される。
【0113】
上の実施の形態では、パターンは、光学的に読み取り可能であり、それゆえセンサーは光学的なものである。しかしながら、パターンは、光学パラメータ以外のパラメータに基づいてもよい。このような場合、センサーは、もちろん、パラメータを読み取ることができるタイプでなければならない。このようなパラメータは、化学的、音響的又は電磁気的なマークである。容量式又は誘導式のマークを用いてもよい。
【0114】
本発明の範囲内において、多数の変形が可能であることが認められる。上の工程101〜106の順序は、本発明の範囲内において変更することができる。例えば、ずれの検出及び補償は、回転及び/又は遠近の検出及び補償の前に行ってもよい。しかしながら、ずれの工程は、回転及び/又は遠近の検出及び補償の後で行うことがより好ましい。このようにすれば、計算に関する限り、ずれの工程が特に簡単になるからである。
【0115】
又、遠近の処理工程を回転の処理工程の前に、より適当にはイメージを点集合に変換した後に、行うことも可能である。このような遠近の検出工程は、例えば、イメージを複数のサブセットに分割する工程と、例えば各サブセットのフーリエ解析を介して各サブセットにおける少なくとも一つの方向を検出する工程とを含むことができる。この後、イメージにおいて検出された方向の変化が、イメージ中の遠近を補正する変換の計算によって評価される。同じ変換により、イメージ平面における回転の補償も行うことができる。評価の結果、例えばイメージの消失点の特定が行われ、イメージの対称軸における無限遠位置に変換される。ここでは、例えば上の工程104において用いられるタイプの遠近変換が利用される。変換により遠近だけしか補償されない場合には、引き続き、回転の検出とその補償を行うことが適当である。これは、例えば、上の工程101〜102によって行われる。
【0116】
更に、マークは、上の例で説明したものと異なる形状を有していてもよい。各マークは、仮想ラスター点から始まり特定の位置まで延びる例えば線又は長円からなっていてもよい。代わりに、正方形、長方形、三角形、円又は楕円など(中実又は中空)、他のシンボルを用いてもよい。
【0117】
マークは、直交ラスターのラスター線に沿って配置されていなくてもよく、例えば角度が60度のラスターにおけるラスター線に沿って配列されるなど、他の配列であってもよい。
【0118】
図11及び図12に示したような三角形又は六角形のラスターを用いてもよい。例えば、図11に示したように三角形のラスターでは、各マークを相異なる6方向に配置することができる。図12に示した六角形のラスター(ハニカムラスター)では、マークをラスター線に沿って相異なる3方向に配置することができる。これらの場合には、イメージのメインベクトルはより多くなる。図11では、3つの支配的なラスター方向があり、図12では、3つの支配的なラスター方向がある。
【0119】
既に述べたように、マークは、ラスター線に沿った方向に変位させて配置する必要はなく、他の方向に変位させてもよい。例えば、正方形のラスターパターンの四分円に配置してもよい。六角形のラスターパターンの場合には、マークは、4又は5以上の相異なる方向に変位させることができる。例えば、60°の線に沿ったラスター線の6つの相異なる方向に配置することができる。直交ラスターでは、必要とあれば、2つの変位を用いることもできる。
【0120】
利用可能な処理能力によっては、センサーにより記録された実際のイメージ情報の全てに基づく上述したフーリエ解析を行うことも可能である。同様に、プロセッサの能力が十分であれば、図3,5,8に背景として示した完全な二次元空間周波数スペクトルを計算してもよい。
【0121】
当業者は、上述した周波数帯域における解析が、波長帯域における相当の方法によって実行できることを理解するであろう。
【0122】
<付録A>
倍率mの光学系は、センサ座標を(xs、ys)として、以下の投影式に基づいて、空間座標(x、y、z)を撮像する。
【0123】
【数9】
Figure 0004783535
【0124】
今、空間に2つの点P1,P2があるものとする。これらは傾斜面にあり、そのz座標はz=z0+ax+byと記載される。2つの点P1,P2は、x軸の各側に位置x0として対象に配置されており、以下の座標を有している。
【0125】
【数10】
Figure 0004783535
【0126】
(1)に基づく投影の後、点P1,P2は、センサ座標Ps1,Ps2上に達する。
【0127】
【数11】
Figure 0004783535
【0128】
我々は、今、Ps1,Ps2の間のセンサの傾きΔxs/Δysを計算する。
【0129】
【数12】
Figure 0004783535
【0130】
x軸の中心、位置x0のポイントP3、すなわちP3=(x0,0,z0+ax0)が、(1)に従い、以下によってイメージが取得される。
【0131】
【数13】
Figure 0004783535
【0132】
(3)を(2)との比較から、我々は、センサの傾斜が以下のように線形的に変化していることを知る。
【0133】
【数14】
Figure 0004783535
【0134】
対称性のため、y方向の傾斜についても同様の方程式が適用される。それゆえ、我々は、以下を知る。
【0135】
【数15】
Figure 0004783535
【0136】
この厳格な線形要素に加え、傾斜した平面に位置するラスターは、(ラスターが完全に中心にない場合には)一定の傾斜も有する。そこで、我々は、以下のような、より一般的な方程式を得る。
【0137】
【数16】
Figure 0004783535
【0138】
一般的な遠近は、それゆえ、4つの変数mkx,mky,kks,kkyにより記載される。ここで、mks,mky,kks,kkyが与えられたときに、イメージ座標を直角状態に戻すための変換を見つけなければならない。このため、我々は、まず、座標軸における傾斜がゼロになるように、傾斜の一定部分(残っている回転による)を差し引く。
【0139】
【数17】
Figure 0004783535
【0140】
これら回転補正済み座標の逆変換のため(1)を用いる。これは座標のスケーリングにのみ影響することなので、一般性を失うことなく、z0=mと置くことができる。我々は、(1)及び(5)から以下の式を得る。
【0141】
【数18】
Figure 0004783535
【数19】
Figure 0004783535
【0142】
又、z=m+ax+byという仮定を得る。これにより、我々は、以下の非線形の方程式を得る。
【0143】
【数20】
Figure 0004783535
【0144】
この解は、
【0145】
【数21】
Figure 0004783535
【0146】
ここで、(6)によると、
【0147】
【数22】
Figure 0004783535

【図面の簡単な説明】
以下では、本発明は、例示の目的で、現在好ましいと思われる実施の形態を示す添付の図面を参照して説明する。
【図1A−1B】位置符号化パターンを備えた面の例及びそのイメージの例をそれぞれ示す。
【図2】図1Bに示したイメージの仮想ラスターパターンを特定するために実行される処理工程の幾つかを示す。
【図3】図1Bに示したイメージの二次元フーリエ変換を示すものであり、実際の計算点は黒いシンボルで示されている。
【図4】図1Bに示したシンボルであって、回転補正後のものを示す。
【図5A−5D】図4に示したイメージのサブセットの2次元フーリエ変換を示すものであり、実際の計算点は黒のシンボルで示されている。
【図6】図4に示したイメージにおける2つのメインベクトルに沿った、計算された傾き変動を示す表である。
【図7】図4に示したイメージであって、遠近除去後のものを示す。
【図8】図7に示したイメージの二次元フーリエ変換を示すものであり、実際の計算点はシンボルで表されている。
【図9】図7に示したイメージであって、メインベクトルの方向におけるずれを補償した後のものを示すものであり、オリジナルの直交ラスターパターンは特定されている。
【図10】位置決定のために使用することができる装置を示す。
【図11】三角形のラスターパターンを備えた位置符号化パターンを示す。
【図12】六角形のラスターパターンを備えた位置符号化パターンを示す。

Claims (29)

  1. 複数のマークを含むイメージにおける仮想ラスターパターンを特定する方法において、前記各マークが、前記仮想ラスターパターンを構成するラスター線の交点に関連づけられており、
    前記方法は、
    前記イメージのフーリエ解析により得られる空間周波数スペクトルに基づいて、前記仮想ラスターパターンを特定することと、
    前記イメージを、前記フーリエ解析に先立って、前記イメージにおける前記マークの位置に配置されたユニットパルスの集合に変換することと、
    を含むことを特徴とする方法。
  2. 前記ユニットパルスのそれぞれが、対応するマークの重心に配置されている請求項1に記載の方法。
  3. 前記フーリエ解析が、
    前記イメージに基づく二次元の空間周波数スペクトルを計算することと、
    前記空間周波数スペクトルに基づいて、前記イメージにおける少なくとも2つのメインベクトルを特定することと、
    を含み、
    前記メインベクトルは、ベクトルの方向が、前記空間周波数スペクトルにおいて支配的な方向に対応し、ベクトルの大きさが、前記空間周波数スペクトルにおいて支配的な空間周波数に対応するものであり、
    前記フーリエ解析が、さらに
    前記メインベクトルに基づいて、前記仮想ラスターパターンを特定することを含む請求項1又は2に記載の方法。
  4. 前記空間周波数スペクトルが、前記イメージにおける少なくとも2方向に沿った二次元フーリエ変換によって計算される請求項3に記載の方法。
  5. 前記空間周波数スペクトルが、前記イメージの中心部分に基づいて計算される請求項3又は4に記載の方法。
  6. 前記少なくとも2つのメインベクトルを特定することが、
    空間周波数において所定の閾値を越えるピークの位置を決定することと、
    前記位置に基づいて、前記少なくとも2つのメインベクトルを選択することと、
    を含む請求項3〜5のいずれか1つに記載の方法。
  7. 空間周波数スペクトルを計算し、その中のメインベクトルを特定することが、
    ある角度幅内において段階的に方向ベクトルの方向を変化させることと、
    そのような各方向ベクトルに基づいて、前記イメージについての二次元フーリエ解析の少なくとも一つの絶対値を計算することと、
    閾値を超えた絶対値を特定することと、
    を含む請求項3〜6のいずれか1つに記載の方法。
  8. 前記方向ベクトルの長さが、前記仮想ラスターパターンの基準空間周波数を含む周波数帯域内において変化される請求項7に記載の方法。
  9. 前記方向ベクトルの長さが、段階的に変化される請求項8に記載の方法。
  10. 前記ピークのそれぞれの位置が、前記閾値を超え且つ前記空間周波数スペクトルにおいて隣り合う前記絶対値についての重心を計算することにより決定される請求項7〜9のいずれか1つに記載の方法。
  11. 少なくとも2つのメインベクトルを選択することが、
    各位置が候補ベクトルを特定するようにさせることと、
    2つのベクトルの間に所定の変化を与える少なくとも一つの現在のイメージ変換が、前記候補ベクトルに作用するようにさせることと、
    前記少なくとも一つの現在のイメージ変換のための、必要な相互の関係を与える候補ベクトルを、メインベクトルとして選択することと、
    を含む請求項6〜10のいずれか1つに記載の方法。
  12. それぞれの現在のイメージ変換が、前記イメージを記録するセンサーと、前記複数のマークを備えた対象物との間の所定の像関係に対応する請求項11に記載の方法。
  13. 前記候補ベクトル間における必要な相互関係が得られるまで、相異なるイメージ変換が、前記候補ベクトルに順次作用するようにすることを含む請求項11又は12に記載の方法。
  14. 前記仮想ラスターパターンが、候補ベクトルの間における必要な関係を生じるイメージ変換に基づいて特定される請求項11〜13に記載の方法。
  15. 前記現在のイメージ変換が、先行するイメージについての必要な関係を生じる先行するイメージ変換に基づいて選択される請求項11又は12に記載の方法。
  16. 前記メインベクトルは、ある先行するイメージについて決定された先行するメインベクトルに基づいて決定される請求項3〜15のいずれか1つに記載の方法。
  17. 前記マークを、イメージ平面におけるマークの回転が実質的に除去された回転補正済みイメージを生産するための基礎としてのメインベクトルを用いて変換することを含む請求項1〜16のいずれか1つに記載の方法。
  18. 回転補正済みイメージの遠近を補償することをさらに含む請求項17に記載の方法。
  19. 前記回転補正済みイメージにおける空間周波数スペクトルにおけるメインベクトルに対応するピークの幅を決定することと、
    前記幅が所定の幅の値を超えた場合に前記回転補正済みイメージの遠近を補償することと、
    をさらに含む請求項17又は18に記載の方法。
  20. 前記遠近を補償することが、
    前記回転補正済みイメージにおける各メインベクトルに沿った仮想ラスターパターンについての傾きの変動を測定することと、
    測定した傾き変動に基づいて、実質的に前記傾き変動を除去する遠近変換を行う工程と、前記遠近変換により遠近補正済みイメージを生成することと、
    をさらに含む請求項17又は18に記載の方法。
  21. 選択されたメインベクトルに沿った前記仮想ラスターパターンについての前記傾きの変動の測定が、
    選択されたメインベクトルに沿った回転補正済みイメージの少なくとも2つのサブセットのフーリエ解析を利用して、各サブセットについての少なくとも一つのサブセットメインベクトルを計算することと、
    各サブセットメインベクトルに関連付けられたサブセットにおける初期位置を特定することと、
    前記サブセットメインベクトル及び初期位置に基づいて、選択されたメインベクトルに沿った傾き変動を計算することと、
    を含む請求項20に記載の方法。
  22. 前記初期位置は、対応するサブセットに組み込まれたマークの重心に基づいて特定される請求項21に記載の方法。
  23. それぞれのメインベクトルに沿った、回転補正又は遠近補正がなされたイメージにおける位相差を、前記回転補正又は遠近補正がなされたイメージのフーリエ解析により計算することと、
    前記測定された位相差に基づいて、前記イメージ中の前記マークに関連する前記仮想ラスターパターンの位置を決定することと、
    をさらに含む請求項17〜22のいずれか1つに記載の方法。
  24. 仮想ラスターパターンの交点を所定の距離だけ離して配置する規格化変換の計算を行うことと、
    前記イメージに対して前記規格化変換を行って規格化イメージを生成することと、
    をさらに含む請求項23に記載の方法。
  25. 複数のマークを含むイメージにおける仮想ラスターパターンを特定する方法において、前記各マークが前記仮想ラスターパターンを構成するラスター線の各交点に関連づけられており、
    前記方法は、
    前記イメージを、前記イメージにおける前記マークの位置に配置されたユニットパルスの集合に変換することと、
    フーリエ解析を介して、前記イメージのメインベクトルを検出することと、
    を含み、
    前記メインベクトルは、ベクトルの方向が、前記空間周波数スペクトルにおいて支配的な方向に対応し、ベクトルの大きさが、前記空間周波数スペクトルにおいて支配的な空間周波数に対応するものであり、
    前記方法は、さらに
    前記メインベクトルに基づいて、前記イメージの前記平面内における回転を補償することと、
    前記イメージにおける遠近を検出することと、
    必要な場合には、前記遠近を補償して、前記仮想ラスターパターンを特定することと、
    を含むことを特徴とする方法。
  26. 請求項1〜25のいずれか1つに記載の方法をコンピュータに実行させる命令を有することを特徴とするプログラム。
  27. 仮想ラスターパターンに属する複数の交点の一つに関連づけられた複数のマークの形式を有する位置符号を備えた面における部分面のイメージを生成するイメージセンサーと、
    請求項1〜25のいずれか1つに記載の方法に基づいて仮想ラスターパターンを特定し、面のサブセットに基づく部分面の位置を計算するイメージ処理手段と、
    を備えることを特徴とする位置決定のための装置。
  28. 前記装置が携帯型である請求項27に記載の装置。
  29. 位置情報のワイヤレス送信を行うための手段を有する請求項27又は28に記載の装置。
JP2001573385A 2000-04-05 2001-03-21 仮想ラスターパターンの特定 Expired - Fee Related JP4783535B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
SE0001235-1 2000-04-05
SE0001235A SE516310C2 (sv) 2000-04-05 2000-04-05 Produkt med två kodningsmönster, innefattande rasterpunkter; samt förfarande, datorprogram och anordning för att avläsa kodningsmönstren
SE0004132A SE518866C2 (sv) 2000-11-10 2000-11-10 Identifiering av virtuellt rastermönster
SE0004132-7 2000-11-10
PCT/SE2001/000604 WO2001075783A1 (en) 2000-04-05 2001-03-21 Identification of a virtual raster pattern

Publications (3)

Publication Number Publication Date
JP2003529853A JP2003529853A (ja) 2003-10-07
JP2003529853A5 JP2003529853A5 (ja) 2011-07-07
JP4783535B2 true JP4783535B2 (ja) 2011-09-28

Family

ID=26655061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001573385A Expired - Fee Related JP4783535B2 (ja) 2000-04-05 2001-03-21 仮想ラスターパターンの特定

Country Status (6)

Country Link
EP (1) EP1272972B1 (ja)
JP (1) JP4783535B2 (ja)
AT (1) ATE472778T1 (ja)
AU (1) AU2001244915A1 (ja)
DE (1) DE60142468D1 (ja)
WO (1) WO2001075783A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129171B2 (en) 2012-07-31 2015-09-08 Panasonic Intellectual Property Management Co., Ltd. Code reading device and code reading method

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6667695B2 (en) 2001-06-25 2003-12-23 Anoto Ab Position code
SE519277C2 (sv) 2001-06-25 2003-02-11 Anoto Ab Anordning och förfarande för positionskodning och för avkodning av en positionskod
US6732927B2 (en) 2001-06-26 2004-05-11 Anoto Ab Method and device for data decoding
US6966495B2 (en) 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
US7145556B2 (en) 2001-10-29 2006-12-05 Anoto Ab Method and device for decoding a position-coding pattern
SE520682C2 (sv) 2001-12-06 2003-08-12 Anoto Ab Rekonstruering av ett virtuellt raster
SE0203853D0 (sv) 2002-12-23 2002-12-23 Anoto Ab Informationskod
EP1620828B1 (en) 2003-04-29 2014-12-24 Anoto AB Methods, apparatus, computer program and storage medium for position decoding
GB0321174D0 (en) * 2003-09-10 2003-10-08 Hewlett Packard Development Co Products with position identification pattern
US6962450B2 (en) * 2003-09-10 2005-11-08 Hewlett-Packard Development Company L.P. Methods and apparatus for generating images
SE0303370D0 (sv) 2003-12-16 2003-12-16 Anoto Ab Method, apparatus, computer program and storage medium for recording a movement of a user unit
SE0401647D0 (sv) 2004-06-28 2004-06-28 Anoto Ab Coding and decoding of data
EP1913526A4 (en) 2005-06-17 2014-05-07 Anoto Ab METHOD AND SYSTEM FOR COMBINING A POSITION AND INFORMATION CODE
US10620754B2 (en) 2010-11-22 2020-04-14 3M Innovative Properties Company Touch-sensitive device with electrodes having location pattern included therein

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06129835A (ja) * 1992-10-15 1994-05-13 Sumitomo Metal Ind Ltd 画像解析装置
JPH1021322A (ja) * 1996-02-16 1998-01-23 Intermec Corp 機械読取り可能なシンボルを探し、エンコードするための方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5091966A (en) * 1990-07-31 1992-02-25 Xerox Corporation Adaptive scaling for decoding spatially periodic self-clocking glyph shape codes
US5852434A (en) 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
US5566245A (en) * 1993-03-09 1996-10-15 United Parcel Service Of America, Inc. The performance of a printer or an imaging system using transform-based quality measures
US5661506A (en) 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06129835A (ja) * 1992-10-15 1994-05-13 Sumitomo Metal Ind Ltd 画像解析装置
JPH1021322A (ja) * 1996-02-16 1998-01-23 Intermec Corp 機械読取り可能なシンボルを探し、エンコードするための方法及び装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129171B2 (en) 2012-07-31 2015-09-08 Panasonic Intellectual Property Management Co., Ltd. Code reading device and code reading method

Also Published As

Publication number Publication date
EP1272972B1 (en) 2010-06-30
DE60142468D1 (de) 2010-08-12
AU2001244915A1 (en) 2001-10-15
JP2003529853A (ja) 2003-10-07
WO2001075783A1 (en) 2001-10-11
EP1272972A1 (en) 2003-01-08
ATE472778T1 (de) 2010-07-15

Similar Documents

Publication Publication Date Title
US7050653B2 (en) Identification of virtual raster pattern
JP4783535B2 (ja) 仮想ラスターパターンの特定
JP6773302B2 (ja) 方法、装置及びコンピュータ可読媒体
JP4428766B2 (ja) ナビゲーション位置取得方法
US7543753B2 (en) Reconstruction of virtual raster
US20210217127A1 (en) Generating artistic designs encoded with robust, machine-readable data
US7403658B2 (en) Direct homography computation by local linearization
JP4731608B2 (ja) 掃引型撮像装置を用いた生体情報検出
JP2018163096A (ja) 情報処理方法および情報処理装置
KR20040025568A (ko) 슬라이스 데이터의 이동량 및 기울기에 기초한 재구성화상 데이터의 생성
JP6064211B2 (ja) 手書き入力システム
CN100372089C (zh) 图形评价装置、图形评价方法
JP2013005258A (ja) ブレ補正装置、ブレ補正方法及び帳票
JP4527885B2 (ja) フーリエ変換の相関による回転の修正および重複イメージの識別
JP2019074478A (ja) 識別装置、識別方法およびプログラム
JP4147528B2 (ja) 位置コーディングパターンをデコードするための方法およびデバイス
WO2017142408A1 (en) Displacement sensor
JP6019939B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2007272710A (ja) 手書き筆跡入力システム
JP2005091115A (ja) 奥行計測装置
JP2002077578A (ja) 歪み補正装置およびその方法ならびに歪み補正プログラムを記録したコンピュータ読み取り可能な記録媒体
JP6249958B2 (ja) 超音波診断装置
JP2010203826A (ja) 測定方法、測定装置、測定制御プログラム
KR100269512B1 (ko) CCD카메라의 이미지 포커스 방법에 있어서 곡면윈도우를 사용한 삼차원형상의 측정방법(Method for Measuring 3-Dementional Shape from Image Focus using Curved Window in CCD Camera)
JP2007052471A (ja) 2次元パターン読み取り装置、2次元パターン読み取り方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050207

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20060428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060629

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070824

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080321

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101006

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101014

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101110

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101117

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101209

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101216

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20110113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20110520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110711

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4783535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees