JPH11298923A - 画像アライメント検出方法 - Google Patents
画像アライメント検出方法Info
- Publication number
- JPH11298923A JPH11298923A JP11051754A JP5175499A JPH11298923A JP H11298923 A JPH11298923 A JP H11298923A JP 11051754 A JP11051754 A JP 11051754A JP 5175499 A JP5175499 A JP 5175499A JP H11298923 A JPH11298923 A JP H11298923A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- shift
- value
- alignment pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 ２つの画像内の基準パターンを高精度にアラ
イメントさせる。 【解決手段】 画像をピクセル単位でシフトして、大雑
把な一致を求めた後、終了条件を満足するまで１ピクセ
ル未満のシフトを繰り返し、１ピクセル未満のシフト量
の累積と、ピクセル単位のシフト量との和が、一致のた
めの高精度のシフト値となる。
イメントさせる。 【解決手段】 画像をピクセル単位でシフトして、大雑
把な一致を求めた後、終了条件を満足するまで１ピクセ
ル未満のシフトを繰り返し、１ピクセル未満のシフト量
の累積と、ピクセル単位のシフト量との和が、一致のた
めの高精度のシフト値となる。
Description
【０００１】
【発明の属する技術分野】本発明は、デジタル・ビデオ
の試験及び測定に関し、特に、２つの画像を合わせるた
めに、画像のアライメント（位置合わせ）状態を検出す
る方法に関する。
の試験及び測定に関し、特に、２つの画像を合わせるた
めに、画像のアライメント（位置合わせ）状態を検出す
る方法に関する。
【０００２】
【従来の技術】ビデオ信号の従来の測定は、従来の波形
モニタ及びベクトルスコープを用いてアナログ及び広帯
域領域で行われていた。シリアル・デジタル・フォーマ
ット及び圧縮を用いて、ビデオ信号をデジタル領域に移
すと、従来の典型的なビデオ測定では、デジタル信号が
アナログの広帯域領域に変換された。しかし、特に、圧
縮されたビデオ信号においては、ビデオ信号の測定に付
加的な条件があった。これは、圧縮／逆圧縮（伸張）技
術の重要な観点が、画像品質の劣化の範囲を制御された
レベルに保証しているためである。すなわち、逆圧縮さ
れたビデオ信号が、圧縮前のビデオ信号に関連して期待
された表示品質を示さなければならないためである。
モニタ及びベクトルスコープを用いてアナログ及び広帯
域領域で行われていた。シリアル・デジタル・フォーマ
ット及び圧縮を用いて、ビデオ信号をデジタル領域に移
すと、従来の典型的なビデオ測定では、デジタル信号が
アナログの広帯域領域に変換された。しかし、特に、圧
縮されたビデオ信号においては、ビデオ信号の測定に付
加的な条件があった。これは、圧縮／逆圧縮（伸張）技
術の重要な観点が、画像品質の劣化の範囲を制御された
レベルに保証しているためである。すなわち、逆圧縮さ
れたビデオ信号が、圧縮前のビデオ信号に関連して期待
された表示品質を示さなければならないためである。
【０００３】アメリカ合衆国オレゴン州ウィルソンビル
のテクトロニクスが製造しているＰＱＡ２００型画像品
質分析システムは、圧縮されたビデオの品質を自動的に
測定するプログラマブル測定機器であり、例えば、ボジ
ダー・ジェンコ等のアメリカ合衆国特許第５８１８５２
０号（特開平９−２３３５０２号に対応）などに記載さ
れている。このＰＱＡ２００型測定機器は、ビデオ信号
のアクティブ・ビデオ部分（動きのあるビデオ部分）に
ストライプ及び登録用マークを付加するので、ビデオ信
号を圧縮し、逆圧縮した場合に、受信し逆圧縮したビデ
オ信号内の画像を、圧縮する前のビデオ信号内の対応画
像とアライメント（位置合わせ）することができる。こ
のアライメント処理の精度は、画像品質を最高精度に求
めるためには重要である。
のテクトロニクスが製造しているＰＱＡ２００型画像品
質分析システムは、圧縮されたビデオの品質を自動的に
測定するプログラマブル測定機器であり、例えば、ボジ
ダー・ジェンコ等のアメリカ合衆国特許第５８１８５２
０号（特開平９−２３３５０２号に対応）などに記載さ
れている。このＰＱＡ２００型測定機器は、ビデオ信号
のアクティブ・ビデオ部分（動きのあるビデオ部分）に
ストライプ及び登録用マークを付加するので、ビデオ信
号を圧縮し、逆圧縮した場合に、受信し逆圧縮したビデ
オ信号内の画像を、圧縮する前のビデオ信号内の対応画
像とアライメント（位置合わせ）することができる。こ
のアライメント処理の精度は、画像品質を最高精度に求
めるためには重要である。
【０００４】
【発明が解決しようとする課題】よって、入力画像と基
準画像とを位置合わせして、画像品質を最高精度で測定
するために、画像のアライメント状態を高精度で検出す
る技術が望まれている。
準画像とを位置合わせして、画像品質を最高精度で測定
するために、画像のアライメント状態を高精度で検出す
る技術が望まれている。
【０００５】したがって、本発明は、２つの対応する画
像を高精度に位置合わせるための画像アライメント検出
方法を提供する。
像を高精度に位置合わせるための画像アライメント検出
方法を提供する。
【０００６】
【課題を解決するための手段】本発明によれば、入力画
像を及び基準画像のアライメントをとるのに必要な画像
シフトの値を検出する方法は、４段階の処理であり、最
初の２段階において、相互相関により、アライメント
（位置合わせ）パターンに対応する基準画像に対して、
受信画像内のアライメント・パターンを探す。これによ
り、単位ピクセル（完全なピクセル）に対して＋／−
０．５ピクセルだけシフトした状態を検出する。受信し
たアライメント・パターンから選択したライン（走査
線）を基準画像と共に用いて、次の２段階で、部分ピク
セルのシフト（１ピクセル未満のシフト）を行う。これ
らの段階の最初では、部分ピクセル・シフトの最初の値
を求め、最終段階で、相互相関を用いる反復法により、
部分ピクセルの細かな（微調な）シフトの値を求めて、
ピクセル単位のシフト及び連続的な部分ピクセル・シフ
トの値を再度求めて、以前の測定に基づく測定で、でき
るだけ正確に部分ピクセルのシフトの値を微調する。最
終的なピクセル・シフトは、受信した画像と基準画像と
の間のアライメント誤差に対応するが、これは、ピクセ
ル単位のシフトの値と、部分ピクセルのシフトの値との
和となる。
像を及び基準画像のアライメントをとるのに必要な画像
シフトの値を検出する方法は、４段階の処理であり、最
初の２段階において、相互相関により、アライメント
（位置合わせ）パターンに対応する基準画像に対して、
受信画像内のアライメント・パターンを探す。これによ
り、単位ピクセル（完全なピクセル）に対して＋／−
０．５ピクセルだけシフトした状態を検出する。受信し
たアライメント・パターンから選択したライン（走査
線）を基準画像と共に用いて、次の２段階で、部分ピク
セルのシフト（１ピクセル未満のシフト）を行う。これ
らの段階の最初では、部分ピクセル・シフトの最初の値
を求め、最終段階で、相互相関を用いる反復法により、
部分ピクセルの細かな（微調な）シフトの値を求めて、
ピクセル単位のシフト及び連続的な部分ピクセル・シフ
トの値を再度求めて、以前の測定に基づく測定で、でき
るだけ正確に部分ピクセルのシフトの値を微調する。最
終的なピクセル・シフトは、受信した画像と基準画像と
の間のアライメント誤差に対応するが、これは、ピクセ
ル単位のシフトの値と、部分ピクセルのシフトの値との
和となる。
【０００７】本発明のその他の目的、利点及び新規な特
徴は、添付図を参照した以下の説明から明らかになろ
う。
徴は、添付図を参照した以下の説明から明らかになろ
う。
【０００８】
【発明の実施の形態】上述のＰＱＡ２００型測定機器に
おいては、受信したビデオ・シーケンスを元（オリジナ
ル）のビデオ・シーケンスと比較して、画像品質を求め
る、即ち、オリジナル・ビデオ・シーケンスの処理及び
伝送により、受信したビデオ・シーケンスがオリジナル
・ビデオ・シーケンスからどの程度劣化したかを求めて
いる。この際、受信したビデオ・シーケンスの画像と、
オリジナル・ビデオ・シーケンスの画像とを正確に位置
合わせする必要がある。本発明におけるアライメント
（位置合わせ）とは、上述のアメリカ合衆国特許に記載
したように、挿入されたアライメント検出パターンを有
する画像に基づいている。この検出を画像に対して行う
には、画像を水平にシフトすると共に、垂直にもシフト
して、これら水平及び垂直の両方向に対するシフトを非
常な高精度で検出する。以下の説明では、説明を容易に
するため、水平方向のシフトの検出についてのみ説明す
るが、垂直方向のシフト検出も同じ原理である。
おいては、受信したビデオ・シーケンスを元（オリジナ
ル）のビデオ・シーケンスと比較して、画像品質を求め
る、即ち、オリジナル・ビデオ・シーケンスの処理及び
伝送により、受信したビデオ・シーケンスがオリジナル
・ビデオ・シーケンスからどの程度劣化したかを求めて
いる。この際、受信したビデオ・シーケンスの画像と、
オリジナル・ビデオ・シーケンスの画像とを正確に位置
合わせする必要がある。本発明におけるアライメント
（位置合わせ）とは、上述のアメリカ合衆国特許に記載
したように、挿入されたアライメント検出パターンを有
する画像に基づいている。この検出を画像に対して行う
には、画像を水平にシフトすると共に、垂直にもシフト
して、これら水平及び垂直の両方向に対するシフトを非
常な高精度で検出する。以下の説明では、説明を容易に
するため、水平方向のシフトの検出についてのみ説明す
るが、垂直方向のシフト検出も同じ原理である。
【０００９】本発明の高精度画像アライメント検出方
法、即ち、入力画像を及び基準画像のアライメントをと
るのに必要な画像シフトの値を求める方法は、多数の段
階を含んでおり、最終段階の連続反復アルゴリズムによ
り、２つの画像を位置合わせするのに必要なシフトの値
の内、部分ピクセル（１ピクセル未満）のシフトの値を
非常に高精度に検出する。この検出には、基準画像（オ
リジナル・ビデオ・シーケンスの画像、又はこのオリジ
ナル・ビデオ・シーケンスに正確に対応する画像）又
は、その一部、例えば、その単一のライン（走査線）に
アクセスする必要がある。例えば、既知のアライメント
・パターンがオリジナル・ビデオ・シーケンスに挿入さ
れていれば、挿入されたアライメント・パターンに正確
に対応した基準画像を測定機器にて発生する。かかるア
ライメント・パターンは、黒ブロック及び白ブロックが
交互になる高さ方向に７本のライン（走査線）であり、
各ブロックの幅は、水平方向にエッジからエッジまでが
１４ピクセルである。このアライメント・パターンを図
２に示す。これらエッジは、図３、図４及び図５に示す
ように、ナイキストの条件を満たすように滑らかになっ
ている。なお、図３は、アライメント・パターンのライ
ンの波形を示す図であり、図４は、アライメント・パタ
ーンの立ち上がりエッジにおけるデータ点を示す図であ
り、図５は、アライメント・パターンの立ち下がりエッ
ジにおけるデータ点を示す図である。このパターンを振
幅変調して、黒ブロック及び白ブロックの値を、各ブロ
ックにおいて、このパターンのラインの一端から他端に
わたって、細かく増加させてもよい。
法、即ち、入力画像を及び基準画像のアライメントをと
るのに必要な画像シフトの値を求める方法は、多数の段
階を含んでおり、最終段階の連続反復アルゴリズムによ
り、２つの画像を位置合わせするのに必要なシフトの値
の内、部分ピクセル（１ピクセル未満）のシフトの値を
非常に高精度に検出する。この検出には、基準画像（オ
リジナル・ビデオ・シーケンスの画像、又はこのオリジ
ナル・ビデオ・シーケンスに正確に対応する画像）又
は、その一部、例えば、その単一のライン（走査線）に
アクセスする必要がある。例えば、既知のアライメント
・パターンがオリジナル・ビデオ・シーケンスに挿入さ
れていれば、挿入されたアライメント・パターンに正確
に対応した基準画像を測定機器にて発生する。かかるア
ライメント・パターンは、黒ブロック及び白ブロックが
交互になる高さ方向に７本のライン（走査線）であり、
各ブロックの幅は、水平方向にエッジからエッジまでが
１４ピクセルである。このアライメント・パターンを図
２に示す。これらエッジは、図３、図４及び図５に示す
ように、ナイキストの条件を満たすように滑らかになっ
ている。なお、図３は、アライメント・パターンのライ
ンの波形を示す図であり、図４は、アライメント・パタ
ーンの立ち上がりエッジにおけるデータ点を示す図であ
り、図５は、アライメント・パターンの立ち下がりエッ
ジにおけるデータ点を示す図である。このパターンを振
幅変調して、黒ブロック及び白ブロックの値を、各ブロ
ックにおいて、このパターンのラインの一端から他端に
わたって、細かく増加させてもよい。
【００１０】最初の２段階では、受信した画像内で、ア
ライメント・パターンを探すが、第１段階のシフト検出
は、大雑把なピクセルの検出段階である。画像を広い範
囲にわたって画像をシフトすることにより、画像の比較
的大きな部分で、アライメント・パターンを検索する。
アライメント・パターンが現れると期待される画像の領
域にわたって、入力画像と基準画像との相互相関を探知
する。この相互相関の探知は、上述の期待画像領域から
開始するが、１ライン毎に、又は３ライン毎に飛ばし
て、受信した画像内の位置決めパターンのラインの１つ
を検出してもよい。最良の一致（マッチ）が、相互相関
の最大和として現れる。いくつかの点が同じ結果を示せ
ば、その点の最小のライン番号（スクリーン上で最とも
高い位置のライン番号）を用いる。一致が全くなけれ
ば、これは、画像がないか、又は、画像にアライメント
・パターンがないことを意味する。この場合、検出処理
は終了する。
ライメント・パターンを探すが、第１段階のシフト検出
は、大雑把なピクセルの検出段階である。画像を広い範
囲にわたって画像をシフトすることにより、画像の比較
的大きな部分で、アライメント・パターンを検索する。
アライメント・パターンが現れると期待される画像の領
域にわたって、入力画像と基準画像との相互相関を探知
する。この相互相関の探知は、上述の期待画像領域から
開始するが、１ライン毎に、又は３ライン毎に飛ばし
て、受信した画像内の位置決めパターンのラインの１つ
を検出してもよい。最良の一致（マッチ）が、相互相関
の最大和として現れる。いくつかの点が同じ結果を示せ
ば、その点の最小のライン番号（スクリーン上で最とも
高い位置のライン番号）を用いる。一致が全くなけれ
ば、これは、画像がないか、又は、画像にアライメント
・パターンがないことを意味する。この場合、検出処理
は終了する。
【００１１】次の段階は、中精度のピクセル検出であ
り、基本的には大雑把なピクセル検出と同じである。し
かし、相違点は、（１）検索する領域が狭いことと、
（２）相互相関の探知結果を画像の広い部分から、例え
ば、アライメント・パターンの総てのラインにわたって
求めることである。これは、大雑把なピクセル検出段階
で一致が見つかったときにのみ実行される。最良の一致
は、相互相関の最大和として現れる。この結果は、正確
なライン番号を検出するのに充分に精密であり、＋／−
０．５ピクセルの精度で水平ピクセル位置を検出するの
に充分である。アライメント・パターンの反復の初めに
対応するアライメント・パターンの第１ライン内のピク
セルは、この方法で入力画像から探す。
り、基本的には大雑把なピクセル検出と同じである。し
かし、相違点は、（１）検索する領域が狭いことと、
（２）相互相関の探知結果を画像の広い部分から、例え
ば、アライメント・パターンの総てのラインにわたって
求めることである。これは、大雑把なピクセル検出段階
で一致が見つかったときにのみ実行される。最良の一致
は、相互相関の最大和として現れる。この結果は、正確
なライン番号を検出するのに充分に精密であり、＋／−
０．５ピクセルの精度で水平ピクセル位置を検出するの
に充分である。アライメント・パターンの反復の初めに
対応するアライメント・パターンの第１ライン内のピク
セルは、この方法で入力画像から探す。
【００１２】次の２段階では、受信した画像（入力画
像）における基準パターンと基準画像における基準パタ
ーンとを一致させるのに必要なシフト量の内、部分ピク
セル・シフト値（１ピクセル未満のシフト値）を正確に
検出する。これら段階の第１段階は、部分ピクセルの検
出（１ピクセル未満での検出）である。図１は、本発明
による高精度画像アライメント検出方法を説明する流れ
図である。探索段階で求めた相互相関により、ピクセル
単位のシフト（完全なピクセルのシフト）を行う（ステ
ップ５２）。このピクセル単位のシフトにより、アライ
メント・パターンの目立つ特徴部分、例えば、立ち上が
りエッジ及び／又は立ち下がりエッジの中心になってい
る画像部分のデータを探す。図４及び図５に示すよう
に、アライメント・パターン内のアライメント・シーケ
ンスのエッジを表す傾斜から、部分ピクセルのシフトを
検出する情報を計算してもよい。大雑把に言えば、アラ
イメント・パターンの総てのラインを測定に用いる必要
はなく、アライメント・パターンの多数ラインの内の内
側のラインのみを用いてもよい。選択したラインは、総
てであっても、その内のいくつかであっても、画像レジ
スタ内に保持（蓄積）される。バッファ・レジスタは、
アライメント・ブロックの立ち上がりエッジ及び立ち下
がりエッジの両方を囲むピクセルのグループの値を蓄積
するが、図４及び図５では、説明のために１４個のピク
セルが示されている。各エッジにおいて、図示の如く０
〜１３の各ピクセル位置用のバッファ・レジスタ内にピ
クセル値を累積する。理論的には、図４及び図５に示す
ように、正確な位置合わせには、バッファ内のピクセル
６及び７の間の中間の値を求めなければならない。立ち
上がりエッジに対するシフト量は、バッファ内の１４個
の値の平均から、ピクセル６の値を引いたものを、ピク
セル７及び６の間の差で除算した値に等しい。すなわ
ち、［立ち上がりエッジのシフト量］＝（［平均値］−
［ピクセル６の値］）／（［ピクセル７の値］−［ピク
セル６の値］）となる。同様に、立ち下がりエッジに対
するシフト量は、バッファ内の１４個の値の平均から、
ピクセル７の値を引いたものを、ピクセル６及び７の間
の差で除算した値に等しい。すなわち、［立ち下がりエ
ッジのシフト量］＝（［平均値］−［ピクセル７の
値］）／（［ピクセル６の値］−［ピクセル７の値］）
となる。画像の総合シフト量は、立ち上がりエッジのシ
フト量と、立ち下がりエッジのシフト量の補数との和を
２で除算した値に等しい。すなわち、［シフト量］＝
｛［立ち上がりエッジのシフト量］＋（１−［立ち下が
りエッジのシフト量］）｝／２となる。部分ピクセル・
シフトの値は、シフト値と０．５との差に等しく、［部
分ピクセル・シフト値］＝［シフト量］−０．５とな
る。
像）における基準パターンと基準画像における基準パタ
ーンとを一致させるのに必要なシフト量の内、部分ピク
セル・シフト値（１ピクセル未満のシフト値）を正確に
検出する。これら段階の第１段階は、部分ピクセルの検
出（１ピクセル未満での検出）である。図１は、本発明
による高精度画像アライメント検出方法を説明する流れ
図である。探索段階で求めた相互相関により、ピクセル
単位のシフト（完全なピクセルのシフト）を行う（ステ
ップ５２）。このピクセル単位のシフトにより、アライ
メント・パターンの目立つ特徴部分、例えば、立ち上が
りエッジ及び／又は立ち下がりエッジの中心になってい
る画像部分のデータを探す。図４及び図５に示すよう
に、アライメント・パターン内のアライメント・シーケ
ンスのエッジを表す傾斜から、部分ピクセルのシフトを
検出する情報を計算してもよい。大雑把に言えば、アラ
イメント・パターンの総てのラインを測定に用いる必要
はなく、アライメント・パターンの多数ラインの内の内
側のラインのみを用いてもよい。選択したラインは、総
てであっても、その内のいくつかであっても、画像レジ
スタ内に保持（蓄積）される。バッファ・レジスタは、
アライメント・ブロックの立ち上がりエッジ及び立ち下
がりエッジの両方を囲むピクセルのグループの値を蓄積
するが、図４及び図５では、説明のために１４個のピク
セルが示されている。各エッジにおいて、図示の如く０
〜１３の各ピクセル位置用のバッファ・レジスタ内にピ
クセル値を累積する。理論的には、図４及び図５に示す
ように、正確な位置合わせには、バッファ内のピクセル
６及び７の間の中間の値を求めなければならない。立ち
上がりエッジに対するシフト量は、バッファ内の１４個
の値の平均から、ピクセル６の値を引いたものを、ピク
セル７及び６の間の差で除算した値に等しい。すなわ
ち、［立ち上がりエッジのシフト量］＝（［平均値］−
［ピクセル６の値］）／（［ピクセル７の値］−［ピク
セル６の値］）となる。同様に、立ち下がりエッジに対
するシフト量は、バッファ内の１４個の値の平均から、
ピクセル７の値を引いたものを、ピクセル６及び７の間
の差で除算した値に等しい。すなわち、［立ち下がりエ
ッジのシフト量］＝（［平均値］−［ピクセル７の
値］）／（［ピクセル６の値］−［ピクセル７の値］）
となる。画像の総合シフト量は、立ち上がりエッジのシ
フト量と、立ち下がりエッジのシフト量の補数との和を
２で除算した値に等しい。すなわち、［シフト量］＝
｛［立ち上がりエッジのシフト量］＋（１−［立ち下が
りエッジのシフト量］）｝／２となる。部分ピクセル・
シフトの値は、シフト値と０．５との差に等しく、［部
分ピクセル・シフト値］＝［シフト量］−０．５とな
る。
【００１３】この部分ピクセル値の検出段階は、低品質
の画像においてさえ、大雑把であるが、２つの不確実性
がある。すなわち、（１）相互相関が、＋／−０．５ピ
クセル・シフトの点で問題を有し、完全に失敗するこ
と、即ち、１個の全体のピクセルの検出を誤るかもしれ
ないことと、（２）検出精度が、＋／−０．１ピクセル
・シフト未満の範囲においては高いが、大きいシフト値
において下がること、即ち、＋／−０．５のシフト値に
おいて、実際には＋／−０．３３であるかもしれないこ
とである。
の画像においてさえ、大雑把であるが、２つの不確実性
がある。すなわち、（１）相互相関が、＋／−０．５ピ
クセル・シフトの点で問題を有し、完全に失敗するこ
と、即ち、１個の全体のピクセルの検出を誤るかもしれ
ないことと、（２）検出精度が、＋／−０．１ピクセル
・シフト未満の範囲においては高いが、大きいシフト値
において下がること、即ち、＋／−０．５のシフト値に
おいて、実際には＋／−０．３３であるかもしれないこ
とである。
【００１４】これら潜在的な不確実性により、特に、相
互相関の検知を完全に失敗する可能性があるので、本発
明は、連続反復を用いた超細かな部分ピクセルの検出段
階を付加して、検出精度を上げている。図１において、
部分ピクセル・シフトに対する第１測定値（ステップ５
４）を、＋／−０．３３などのしきい値ｔと比較する
（ステップ５６）。しきい値を超えていれば（ステップ
５６でイエスならば）、画像を０．５ピクセルだけシフ
トする（ステップ５８）。そうでなければ（ノーなら
ば）、１．５の如く、１よりも大きいオプションの補正
数と部分ピクセル・シフト値とを乗算して得た値だけ、
画像をシフトする（ステップ６０）。オプションの乗算
補正係数を用いて、０．５ピクセルの正確なシフトに迅
速に収束させることにより、必要な反復回数を減らして
いる。ステップ５８及び６０は、ステップ６２に進む。
互相関の検知を完全に失敗する可能性があるので、本発
明は、連続反復を用いた超細かな部分ピクセルの検出段
階を付加して、検出精度を上げている。図１において、
部分ピクセル・シフトに対する第１測定値（ステップ５
４）を、＋／−０．３３などのしきい値ｔと比較する
（ステップ５６）。しきい値を超えていれば（ステップ
５６でイエスならば）、画像を０．５ピクセルだけシフ
トする（ステップ５８）。そうでなければ（ノーなら
ば）、１．５の如く、１よりも大きいオプションの補正
数と部分ピクセル・シフト値とを乗算して得た値だけ、
画像をシフトする（ステップ６０）。オプションの乗算
補正係数を用いて、０．５ピクセルの正確なシフトに迅
速に収束させることにより、必要な反復回数を減らして
いる。ステップ５８及び６０は、ステップ６２に進む。
【００１５】線形フィルタ又は（ｓｉｎＸ）／Ｘフィル
タなどの適切なフィルタを用いて、図６に示すように、
補間により、画像のシフトを行う。各部分ピクセル・シ
フトの値に対して、例えば、適切なルックアップ・テー
ブルをアクセスして、補間用のフィルタ係数を与えても
よい。代わりに、部分ピクセル・シフトの各値に対して
フィルタ係数を計算してもよい。画像レジスタからの画
像を補間し、シフトした画像として、シフト後用レジス
タ（シフトした後の画像を蓄積するレジスタ）に蓄積す
る。このシフト後用レジスタ内の画像に対して、測定を
行う。
タなどの適切なフィルタを用いて、図６に示すように、
補間により、画像のシフトを行う。各部分ピクセル・シ
フトの値に対して、例えば、適切なルックアップ・テー
ブルをアクセスして、補間用のフィルタ係数を与えても
よい。代わりに、部分ピクセル・シフトの各値に対して
フィルタ係数を計算してもよい。画像レジスタからの画
像を補間し、シフトした画像として、シフト後用レジス
タ（シフトした後の画像を蓄積するレジスタ）に蓄積す
る。このシフト後用レジスタ内の画像に対して、測定を
行う。
【００１６】シフト後用レジスタ内の画像に対して他の
相互相関を求め、ピクセル単位のシフト値を再度求める
（ステップ６２）。ピクセル単位のシフトに応じて抽出
したデータ値により、シフトした画像に対して他の測定
を実行する（ステップ６４）。例えば、特定の反復回
数、又は特定のしきい値未満の測定の範囲などの如き特
定の終了条件が満たされなければ（即ち、判断ステップ
６６でノーならば）、前の測定の和を別のオプション補
正係数で乗算した値だけ、画像レジスタから画像をシフ
トさせて、シフト後用レジスタに蓄積する（ステップ６
８）。その後、ステップ６２又は６４に戻り、相互相関
及び測定を実行して、終了条件に一致するまで（即ち、
判断ステップ６６がイエスになるまで）、この処理を繰
り返す。ピクセル単位のシフトが変化しないならば、こ
の反復ループにおいて、相互相関のステップ６２を省い
てもよい。画像の最終のシフト値は、部分ピクセル・シ
フトの総ての測定値の和（ステップ７０）に、ピクセル
単位のシフトを加算したものである。
相互相関を求め、ピクセル単位のシフト値を再度求める
（ステップ６２）。ピクセル単位のシフトに応じて抽出
したデータ値により、シフトした画像に対して他の測定
を実行する（ステップ６４）。例えば、特定の反復回
数、又は特定のしきい値未満の測定の範囲などの如き特
定の終了条件が満たされなければ（即ち、判断ステップ
６６でノーならば）、前の測定の和を別のオプション補
正係数で乗算した値だけ、画像レジスタから画像をシフ
トさせて、シフト後用レジスタに蓄積する（ステップ６
８）。その後、ステップ６２又は６４に戻り、相互相関
及び測定を実行して、終了条件に一致するまで（即ち、
判断ステップ６６がイエスになるまで）、この処理を繰
り返す。ピクセル単位のシフトが変化しないならば、こ
の反復ループにおいて、相互相関のステップ６２を省い
てもよい。画像の最終のシフト値は、部分ピクセル・シ
フトの総ての測定値の和（ステップ７０）に、ピクセル
単位のシフトを加算したものである。
【００１７】例として、画像が３．７ピクセルだけシフ
トされた場合、最初の３段階で、＋４ピクセルのシフト
（ピクセル単位のシフト）から、０．３ピクセル・シフ
ト（部分ピクセル・シフト）を引いた値を発生する。し
かし、第３段階の実際の測定は、−０．２２の部分ピク
セル・シフトの値を実際には検出するかもしれない。最
終の超微細の部分ピクセル検出は、−０．２２ピクセル
に対して行われる。各反復において、初めに蓄積された
受信画像に対してシフトを行う、即ち、画像レジスタか
ら補間を介してシフト後用レジスタに入れる。すなわ
ち、画像の既にシフトしたラインは、再度、シフトされ
ない。ピクセル単位のシフトは、上述の如く、相互相関
により決まり、部分ピクセル・シフトは、上述の如く、
反復処理により決まる。例えば、部分ピクセル・シフト
は、０．２８の測定したシフト値の結果である。画像
は、−０．２２だけシフトされ、測定が再度行われる。
その結果の部分ピクセル・シフト値は、−０．２８の総
合部分ピクセル・シフトに対して、−０．０６である。
画像は、−０．２８だけシフトされ、測定が再度行われ
る。今度の部分ピクセル・シフト値は、−０．０１７で
ある。これが充分な精度ならば、最終の部分ピクセル・
シフトの総合は−０．２９７であるので、高精度画像シ
フト値（即ち、入力画像と基準画像の基準部分を位置合
わせするために必要なシフト量）が、＋３．７０３とし
て求まる。
トされた場合、最初の３段階で、＋４ピクセルのシフト
（ピクセル単位のシフト）から、０．３ピクセル・シフ
ト（部分ピクセル・シフト）を引いた値を発生する。し
かし、第３段階の実際の測定は、−０．２２の部分ピク
セル・シフトの値を実際には検出するかもしれない。最
終の超微細の部分ピクセル検出は、−０．２２ピクセル
に対して行われる。各反復において、初めに蓄積された
受信画像に対してシフトを行う、即ち、画像レジスタか
ら補間を介してシフト後用レジスタに入れる。すなわ
ち、画像の既にシフトしたラインは、再度、シフトされ
ない。ピクセル単位のシフトは、上述の如く、相互相関
により決まり、部分ピクセル・シフトは、上述の如く、
反復処理により決まる。例えば、部分ピクセル・シフト
は、０．２８の測定したシフト値の結果である。画像
は、−０．２２だけシフトされ、測定が再度行われる。
その結果の部分ピクセル・シフト値は、−０．２８の総
合部分ピクセル・シフトに対して、−０．０６である。
画像は、−０．２８だけシフトされ、測定が再度行われ
る。今度の部分ピクセル・シフト値は、−０．０１７で
ある。これが充分な精度ならば、最終の部分ピクセル・
シフトの総合は−０．２９７であるので、高精度画像シ
フト値（即ち、入力画像と基準画像の基準部分を位置合
わせするために必要なシフト量）が、＋３．７０３とし
て求まる。
【００１８】オプションの乗算係数は、各反復において
異なっているが、好ましくは、１．１及び１．５の間の
範囲である。このオプションの乗算係数を上述の例で用
いた場合、例えば、−０．２２の値が１．４５の乗算係
数で補正されて、−０．３１９になる。画像レジスタか
らの画像を−０．３１９だけシフトして、シフト後用レ
ジスタに入れ、他の測定を行う。新たな測定が＋０．０
１５ならば、その測定結果を１．３５の如き別の補正係
数と乗算して、＋０．０２０２５とする。この値を前に
補正した測定結果に加算して、新たなシフト値−０．２
９８７５を発生する。他のシフト及び測定により、−
０．００２５の値を発生する。終了条件を満たせば、測
定結果を前の和に加算して、最終部分ピクセル・シフト
値−０．３０１２５を発生し、総合ピクセル・シフトが
３．６９８７５になる。
異なっているが、好ましくは、１．１及び１．５の間の
範囲である。このオプションの乗算係数を上述の例で用
いた場合、例えば、−０．２２の値が１．４５の乗算係
数で補正されて、−０．３１９になる。画像レジスタか
らの画像を−０．３１９だけシフトして、シフト後用レ
ジスタに入れ、他の測定を行う。新たな測定が＋０．０
１５ならば、その測定結果を１．３５の如き別の補正係
数と乗算して、＋０．０２０２５とする。この値を前に
補正した測定結果に加算して、新たなシフト値−０．２
９８７５を発生する。他のシフト及び測定により、−
０．００２５の値を発生する。終了条件を満たせば、測
定結果を前の和に加算して、最終部分ピクセル・シフト
値−０．３０１２５を発生し、総合ピクセル・シフトが
３．６９８７５になる。
【００１９】特定パターンを説明のために用いたが、種
々の周波数パターン又は画像自体から得たパターンなど
の任意の既知のパターンを用いてもよい。エッジの１つ
のデータのみを用いて部分ピクセル・シフトの測定を行
ったが、上述の如く、アライメント・パターンを変更し
てもよいという事実により、又は、対向するエッジの非
対称な処理により、これら両方のエッジからのデータを
用いることは、高精度部分ピクセル・シフトにおいて、
一層正確な結果が得られる。
々の周波数パターン又は画像自体から得たパターンなど
の任意の既知のパターンを用いてもよい。エッジの１つ
のデータのみを用いて部分ピクセル・シフトの測定を行
ったが、上述の如く、アライメント・パターンを変更し
てもよいという事実により、又は、対向するエッジの非
対称な処理により、これら両方のエッジからのデータを
用いることは、高精度部分ピクセル・シフトにおいて、
一層正確な結果が得られる。
【００２０】
【発明の効果】よって、本発明は、アライメント・パタ
ーンに対応する基準画像に対する入力画像（受信した画
像）との相互相関を用いて、入力画像内からアライメン
ト・パターンを探し、＋／−０．５ピクセル以内でのピ
クセル単位のシフトを行い、反復処理により、部分ピク
セルのシフト値（１ピクセル未満のシフト値）を正確に
検出することによって、高精度の画像アライメント検出
を行える。
ーンに対応する基準画像に対する入力画像（受信した画
像）との相互相関を用いて、入力画像内からアライメン
ト・パターンを探し、＋／−０．５ピクセル以内でのピ
クセル単位のシフトを行い、反復処理により、部分ピク
セルのシフト値（１ピクセル未満のシフト値）を正確に
検出することによって、高精度の画像アライメント検出
を行える。
【図１】本発明による高精度画像アライメント検出方法
を説明する流れ図である。
を説明する流れ図である。
【図２】アライメント・パターンを示す図である。
【図３】アライメント・パターンのラインの波形を示す
図である。
図である。
【図４】アライメント・パターンの立ち上がりエッジに
おけるデータ点を示す図である。
おけるデータ点を示す図である。
【図５】アライメント・パターンの立ち下がりエッジに
おけるデータ点を示す図である。
おけるデータ点を示す図である。
【図６】本発明による高精度画像アライメント検出方法
における補間を用いて画像をシフトする際の説明図であ
る。
における補間を用いて画像をシフトする際の説明図であ
る。
５２〜７０ ステップ
Claims (1)
- 【請求項１】 入力画像を基準画像に合わせるための画
像アライメント検出方法であって、 複数のラインから成るアライメント・パターンに対応す
る基準画像との相互相関により、上記入力画像内の上記
アライメント・パターンを探すステップと、 上記基準画像と上記入力画像から探した上記アライメン
ト・パターンの一部との相互相関に応じて行ったピクセ
ル単位のシフトの値により決まる上記入力画像のデータ
点を用いて、上記入力画像の部分的ピクセルのシフトの
値を反復的に検出するステップとを具え、 上記データ点を測定して上記ピクセル単位のシフトの値
を求め、 特定の終了条件により決まる上記部分的ピクセル・シフ
トの値に達するまで、以前の反復から求めた上記部分的
ピクセル・シフトの値の和に応じてシフトを行う際、上
記入力画像に対する上記データ点に対して上記連続した
反復の各々を実行することを特徴とする画像アライメン
ト検出方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/032,640 US6295083B1 (en) | 1998-02-27 | 1998-02-27 | High precision image alignment detection |
| US09/032,640 | 1998-02-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11298923A true JPH11298923A (ja) | 1999-10-29 |
| JP3610255B2 JP3610255B2 (ja) | 2005-01-12 |
Family
ID=21866021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05175499A Expired - Fee Related JP3610255B2 (ja) | 1998-02-27 | 1999-02-26 | 画像アライメント検出方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6295083B1 (ja) |
| EP (1) | EP0939557B1 (ja) |
| JP (1) | JP3610255B2 (ja) |
| DE (1) | DE69911279T2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005515527A (ja) * | 2002-01-04 | 2005-05-26 | アメリカ オンライン インコーポレイテッド | セパレーションのレジストレーション |
| WO2005101313A1 (ja) * | 2004-04-13 | 2005-10-27 | Nikon Corporation | テンプレートマッチング装置 |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6836818B1 (en) * | 1999-09-29 | 2004-12-28 | Emc Corporation | Central processing unit |
| WO2001075799A2 (en) * | 2000-03-31 | 2001-10-11 | British Telecommunications Public Limited Company | Image processing |
| US6947607B2 (en) | 2002-01-04 | 2005-09-20 | Warner Bros. Entertainment Inc. | Reduction of differential resolution of separations |
| US6956976B2 (en) * | 2002-01-04 | 2005-10-18 | Warner Bros. Enterianment Inc. | Reduction of differential resolution of separations |
| US7127125B2 (en) * | 2002-01-04 | 2006-10-24 | Warner Bros. Entertainment Inc. | Registration of separations |
| GB0314161D0 (en) * | 2003-06-18 | 2003-07-23 | British Telecomm | Edge analysis in video quality assessment |
| CA2646808C (en) * | 2003-08-22 | 2013-01-22 | Nippon Telegraph And Telephone Corporation | Video aligning apparatus, video aligning method, and video quality assessing apparatus |
| US20050285947A1 (en) * | 2004-06-21 | 2005-12-29 | Grindstaff Gene A | Real-time stabilization |
| US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US7586515B2 (en) * | 2005-05-23 | 2009-09-08 | Tektronix, Inc. | Instrument for real-time video quality measurement |
| US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP5196725B2 (ja) * | 2006-02-09 | 2013-05-15 | 株式会社 ソキア・トプコン | 測量機の自動視準装置 |
| US20090005948A1 (en) * | 2007-06-28 | 2009-01-01 | Faroog Abdel-Kareem Ibrahim | Low speed follow operation and control strategy |
| KR101546850B1 (ko) * | 2008-06-27 | 2015-08-24 | 삼성전자주식회사 | 디스플레이장치의 화질평가방법 및 화질평가장치 |
| US8392507B2 (en) * | 2009-07-21 | 2013-03-05 | Honeywell International Inc. | Image validation system for remote displays |
| US9241128B2 (en) | 2013-02-14 | 2016-01-19 | Warner Bros. Entertainment Inc. | Video conversion technology |
| CN106502045B (zh) * | 2016-10-31 | 2019-09-27 | 京东方科技集团股份有限公司 | 用于设备的方法、制造掩膜版或显示基板的方法及系统 |
| US10997712B2 (en) | 2018-01-18 | 2021-05-04 | Canon Virginia, Inc. | Devices, systems, and methods for anchor-point-enabled multi-scale subfield alignment |
| US10997462B2 (en) | 2018-04-04 | 2021-05-04 | Canon Virginia, Inc. | Devices, systems, and methods for clustering reference images for non-destructive testing |
| CN113469190B (zh) * | 2021-06-10 | 2023-09-15 | 电子科技大学 | 基于域适应的单阶段目标检测算法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5020116A (en) * | 1989-12-13 | 1991-05-28 | Hughes Aircraft Company | Image registration method and apparatus |
| DE69215760T2 (de) * | 1991-06-10 | 1998-02-05 | Eastman Kodak Co | Kreuzkorrelationsausrichtsystem für einen Bildsensor |
| US5446492A (en) * | 1993-01-19 | 1995-08-29 | Wolf; Stephen | Perception-based video quality measurement system |
| US5475428A (en) * | 1993-09-09 | 1995-12-12 | Eastman Kodak Company | Method for processing color image records subject to misregistration |
| US5548326A (en) * | 1993-10-06 | 1996-08-20 | Cognex Corporation | Efficient image registration |
| US5499050A (en) * | 1993-11-01 | 1996-03-12 | Intel Corporation | Method and apparatus for monitoring video compression processing |
| EP0679313A1 (en) * | 1993-11-16 | 1995-11-02 | International Business Machines Corporation | Method and apparatus for alignment of images for template elimination |
| US5602586A (en) * | 1994-05-03 | 1997-02-11 | Honeywell Inc. | Built-in test for dynamic raster video output |
| JPH0896129A (ja) * | 1994-09-21 | 1996-04-12 | Omron Corp | モデル画像登録方法 |
| US5818520A (en) * | 1996-02-12 | 1998-10-06 | Tektronix, Inc. | Programmable instrument for automatic measurement of compressed video quality |
| DE19611059A1 (de) * | 1996-03-21 | 1997-09-25 | Thomson Brandt Gmbh | Verfahren zur Signalgewinnung in elektronischen Geräten mittels Interpolation zwischen Stützstellenwerten |
| US6009212A (en) * | 1996-07-10 | 1999-12-28 | Washington University | Method and apparatus for image registration |
-
1998
- 1998-02-27 US US09/032,640 patent/US6295083B1/en not_active Expired - Lifetime
-
1999
- 1999-02-10 EP EP99300969A patent/EP0939557B1/en not_active Expired - Lifetime
- 1999-02-10 DE DE69911279T patent/DE69911279T2/de not_active Expired - Lifetime
- 1999-02-26 JP JP05175499A patent/JP3610255B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005515527A (ja) * | 2002-01-04 | 2005-05-26 | アメリカ オンライン インコーポレイテッド | セパレーションのレジストレーション |
| WO2005101313A1 (ja) * | 2004-04-13 | 2005-10-27 | Nikon Corporation | テンプレートマッチング装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0939557B1 (en) | 2003-09-17 |
| JP3610255B2 (ja) | 2005-01-12 |
| US6295083B1 (en) | 2001-09-25 |
| EP0939557A2 (en) | 1999-09-01 |
| DE69911279D1 (de) | 2003-10-23 |
| EP0939557A3 (en) | 2001-01-10 |
| DE69911279T2 (de) | 2004-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11298923A (ja) | 画像アライメント検出方法 | |
| US6483538B2 (en) | High precision sub-pixel spatial alignment of digital images | |
| US7995108B2 (en) | Image processing apparatus, image processing program, electronic camera, and image processing method for image analysis of magnification chromatic aberration | |
| US8014632B2 (en) | Super-resolution device and method | |
| JP4741483B2 (ja) | 映像品質評価方法及びシステム | |
| US8368751B2 (en) | Measure display SFR using a camera and phase shifting | |
| US5170441A (en) | Apparatus for detecting registration error using the image signal of the same screen | |
| CN101283578A (zh) | 视频运动检测 | |
| KR100266466B1 (ko) | 디스플레이 장치의 표시 화상 왜곡의 보정 방법, 왜곡 검출장치, 왜곡 보정 장치 및 그 왜곡 보정장치를 구비한디스플레이 장치 | |
| US7978933B2 (en) | Systems and methods for robust video temporal registration | |
| JP3924796B2 (ja) | パターン位置の計測方法および計測装置 | |
| US20100040304A1 (en) | Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program | |
| JP2005328215A (ja) | 画像処理装置および画像処理プログラム | |
| JPH09229635A (ja) | 撮像手段による実空間長測定方法及び光学系の校正方法、並びに光学系の校正に用いる基準ゲージ | |
| KR20030011311A (ko) | 움직임 추정을 용이하게 하는 방법 및 장치 | |
| JPH07200832A (ja) | 画像間の大域変位の検出方法 | |
| US5481376A (en) | Method and apparatus for improving image quality | |
| KR100456632B1 (ko) | 영상 기반 렌즈 왜곡 보정 장치 및 방법 | |
| JP4823981B2 (ja) | 表示装置の動画解像度評価装置 | |
| WO2006033084A2 (en) | Image interpolation. | |
| KR20020033766A (ko) | 결함 보정 방법 및 장치 및 이를 포함하는 카메라 | |
| US5142588A (en) | Method of and apparatus for measuring track displacement on a magnetic tape | |
| EP0919951B1 (en) | Apparatus and method for detecting englarging ratio or reducing ratio of image data | |
| US20050062680A1 (en) | Method and apparatus for compensating for difference in picture quality caused by burn-in effect on screen of display device | |
| JPH07222143A (ja) | 画像間の大域変位の検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041018 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071022 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111022 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |