JPH1163953A - 画像計測装置及びその画像表示方法 - Google Patents
画像計測装置及びその画像表示方法Info
- Publication number
- JPH1163953A JPH1163953A JP9240463A JP24046397A JPH1163953A JP H1163953 A JPH1163953 A JP H1163953A JP 9240463 A JP9240463 A JP 9240463A JP 24046397 A JP24046397 A JP 24046397A JP H1163953 A JPH1163953 A JP H1163953A
- Authority
- JP
- Japan
- Prior art keywords
- image
- measurement
- image data
- display
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
でも、計測対象の画像に対する計測などの指示を容易に
する。 【解決手段】 プログラム53Bは、メモリ41D内に
取り込まれた対象物27の全体の生の画像データ51B
に一定画素数毎に所定の画素数減少処理を施して表示画
面に表示可能な画素数の画像データ51Dを作成し、こ
の画像データ51Dがプログラム53Dによってディス
プレイ43の表示画面上に表示される。このため、表示
画面に表示された画像データ51Dによる対象物27の
全体の画像に対し、マウス42b等による計測すべき領
域の指示を含む計測条件の入力が容易になる。
Description
その画像表示方法に係り、更に詳しくは、対象物の像を
撮像し画像表示装置の表示画面に表示するとともに、撮
像して得た2次元の画像データを用いて対象物の形状認
識、輪郭検出その他の所定の計測処理を行う画像計測装
置、及びこの画像計測装置において画像データが表示画
素数を超える場合に対象物の画像の計測指示のため画像
を表示画面に表示する画像表示方法に関する。
画像計測システムでは、パーソナルコンピュータ(以
下、適宜「パソコン」という)に専用の画像計測装置を
接続し、この専用の装置に撮像して得た対象物の画像デ
ータを取り込んで画像処理及び計測処理を行い、その結
果のみをパソコン側に転送して表示することがなされて
いた。
では、パソコン上に画像データを直接取り込み、パソコ
ン上で画像処理及び計測処理を行うことが可能となり、
例えば撮像デバイスに2次元CCDを用いた画像入力装
置の場合、画素数600×400即ち240000画素
程度の画像データが取り扱われている。現在のパーソナ
ルコンピュータのディスプレイは1024×1280程
度の画素まで表示でき、上記画像入力装置で入力された
画像データは全領域にわたってディスプレイ上に表示可
能である。
を行おうとすると、上記の240000画素程度の画素
数の画像データでは必ずしも十分でない場合があること
から、より多くの画素数の画像データの取り込みが可能
な1次元CCD(即ちラインセンサ)を用いた画像入力
装置が最近になって開発され、かかる装置により、画素
数6000×6000=36000000程度の非常に
大きなデータ量の画像データが扱われるようになった。
大きなデータ量の画像データを取り扱う画像計測装置で
は、画像データの画素数がディスプレイの表示限界を越
えているため、計測対象の画像の全領域を一度に表示す
ることができない。かかる場合、従来はその画像の一部
分毎に画面を切り換えてディスプレイ上に表示する以外
に方法はなく、対象物の全体形状を表示することができ
なかった。
示は、ディスプレイに表示された画像上の所望の位置を
マウスで指示することにより行われることから、上述し
たように、画像のある一部分のみがディスプレイ上に表
示される場合には、表示されない残りの部分をマウスで
指定することができず、画面を順次切り換えてその計測
したい領域部分をディスプレイ上に表示させ計測指示を
行う必要があった。このため、計測指示が面倒であると
いう不都合があった。この場合、画像の各部分と全体と
の関係を常に考慮することも必須である。
で、その目的は表示装置の表示限界を越えるような大き
なデータ量の画像データの場合でも、対象物の画像に対
して計測などの指示を容易に行うことができる画像計測
装置及びその画像表示方法を提供することにある。
は、表示装置(43)の表示画面に表示された画像を用
いて所定の計測処理を行う画像計測装置であって、対象
物(27)の像を撮像し、表示画面に表示可能な画素数
より大きな画素数の第1の画像データ(51B)を取り
込む画像取り込み部(25)と;第1の画像データ(5
1B)が記憶されるメモリ(41D)と;メモリ(41
D)内に記憶された第1の画像データ(51B)に対し
一定画素数毎に所定の画素数減少処理を施して表示画面
に表示可能な画素数の第2の画像データ(51D)を作
成する表示データ作成手段(53B)と;表示データ作
成手段(53B)で作成された第2の画像データ(51
D)による第2の画像を表示画面に表示する表示制御手
段(53D)と;表示画面に表示された画像に対して少
なくとも計測すべき領域の指示を含む計測条件を入力す
るための計測条件入力手段(42a、42b、53F)
とを有する。
物の像が撮像され、表示画面に表示可能な画素数より大
きな画素数の第1の画像データが取り込まれると、該第
1の画像データがメモリに記憶される。次に、表示デー
タ作成手段では、メモリ内に記憶された第1の画像デー
タに対し一定画素数毎に所定の画素数減少処理を施して
表示画面に表示可能な画素数の第2の画像データを作成
し、この作成された第2の画像データによる第2の画像
が表示制御手段によって表示画面に表示される。このた
め、対象物の全体形状を表示することが可能となる。よ
って、計測条件入力手段により、表示画面に表示された
画像に対して少なくとも計測すべき領域の指示を含む計
測条件を入力することが容易になる。
第2の画像データによる画像に対して計測すべき領域等
の指示が可能になるので、第1の画像データ(生の画像
データ)は必ずしも表示画面上に表示する必要はない
が、請求項2に記載の発明の如く、表示制御手段(53
D)は、上記計測条件に応じて、第1の画像データ(5
1B)による第1の画像の一部を、第2の画像と同時又
は別々に表示画面上に表示するとともに、計測条件入力
手段(42a、42b、53F)は、表示画面に表示さ
れた第1の画像に対して計測条件を入力するためにも用
いられるようにしても良い。このようにすると、対象物
が細かな構造であり、画素数の少ない第2の画像データ
による画像では計測位置を正確に指示できない場合に
も、表示画面上に表示された第1の画像データによる画
像に対して正確な計測位置を指示することが可能にな
る。
発明の如く、計測条件に応じた計測処理を計測条件で指
示された領域の第1の画像データ(51B)を用いて行
う計測制御手段(53H)を更に有することが望まし
い。かかる場合には、計測手段により計測条件に応じた
計測処理が計測条件で指示された領域の第1の画像デー
タ(51B)を用いて行われるので、より多くの情報を
含む第1の画像データ(生の画像データ)を用いてより
高精度な計測処理が行われることとなる。
て、請求項4に記載の発明の如く、計測制御手段(53
H)は、第2の画像データ(51D)に基づき対象物
(27)の概略形状を認識後、計測条件に応じた計測処
理を計測条件で指示された領域の第1の画像データ(5
1B)を用いて行うようにしても良い。
ータで形状を認識するため処理速度が速く、しかも計測
条件に応じた計測処理を計測条件入力手段で指示された
領域の第1の画像データを用いて行うので、対象物の高
精度な計測処理ができるようになる。
求項5に記載の発明の如く、前記計測条件入力手段(4
2a、42b、53F)により計測すべき形状が指示さ
れると、前記計測制御手段(53H)は、前記第2の画
像データ(51D)を用いて形状抽出のための画像処理
を行って該当する形状を抽出し、計測すべき形状に対し
て予め記憶してある計測方法に従って計測条件を設定す
るようにしても良い。
測すべき形状を指示するだけで、その形状が自動的に抽
出され、その形状の計測条件が自動的に設定される。ま
た、この場合も、データ量の小さな第2の画像データを
用いて形状抽出のための画像処理、計測条件の設定を行
うことにより、処理速度を速くすることができる。そし
て、設定された計測条件に従って第1の画像データを用
いて高精度な計測が行われる。
3)の表示画面に表示可能な画素数より大きな画素数の
画像を計測指示のために表示する画像計測装置の画像表
示方法であって、表示画面に表示可能な画素数より大き
な画素数の第1の画像データ(51B)を取り込み記憶
する第1工程と;第1の画像データ(51B)の一定画
素数の画素毎に所定の画素数減少処理を施して表示画面
に表示可能な画素数の第2の画像データ(51D)を作
成し、計測指示のため表示画面に表示する第2工程とを
含む。
数より大きな画素数の第1の画像データが取り込まれ記
憶され、その第1の画像データの一定画素数の画素毎に
所定の画素数減少処理が施され、表示画面に表示可能な
画素数の第2の画像データが作成され、計測指示のため
表示画面に表示される。このため、第1の画像データが
表示装置の表示限界を越えるような大きなデータ量であ
ってもそのデータに画素数減少処理が施された第2の画
像データによる対象物全体の画像を計測指示のため表示
画面に表示することが可能になる。従って、表示画面に
表示された第2の画像データによる対象物全体の画像に
対し計測指示を容易に行うことができる。
ないし図7に基づいて説明する。
の全体構成が概略的に示されている。この図1の画像計
測装置は、撮像ユニット21、光源ユニット21J及び
インターフェイスユニット23で構成された画像取り込
み部25と、ホストコンピュータ40とを備えている。
えば半導体チップや液晶ディスプレイパネルなど)と1
次元光電変換素子(ラインセンサ)21Hとを該ライン
センサ21Hを構成する受光素子の配列方向であるX方
向(図1における紙面直交方向)に直交するY方向(図
1における紙面内左右方向)に相対的に移動させながら
ラインセンサ21Hにより対象物27の画像を1ライン
づつ撮像する構成部分である。この撮像ユニット21
は、対象物27を載置してベース21D上をY方向に移
動可能なステージ21Bと、このステージ21Bの上方
に配置され、ベース21D上に植設された支柱28に保
持された光学系ユニット21Cと、この光学系ユニット
21Cの上方に固定された保持部材21Eと、この保持
部材21Eに保持されるとともに光学系ユニット21C
内の対物レンズ21Fの結像面に配置されたラインセン
サ21Hとを備えている。このラインセンサ21Hは、
6000画素を有し、対象物27の像のうちX方向の1
ライン分6000画素の画像信号を単位として出力する
ようになっている。なお、光学系ユニット21C内に
は、対物レンズ21Fの他に落射照明用のハーフミラー
等が収容されている。
フェイスユニット23内の制御部23Bによって制御さ
れる不図示のリニアアクチュエータを含む駆動系を介し
て、ベース21D上をラインセンサ13の素子配列方向
と直交するY方向に一定の速度で移動するようになって
おり、これにより対象物27とラインセンサ21Hと
が、該ラインセンサ21Hの素子配列方向と直交する方
向に相対移動するようになっている。このステージ21
BのY方向の移動量は、ベース21Dとステージ21B
との間に設けられたエンコーダ21Lによって計測され
る。
と同様の所定ピッチの光学格子パターンを有するエンコ
ーダスケールを含む光学式のリニアエンコーダが用いら
れており、このエンコーダ21Lはステージ21BがY
方向に1スケールピッチ移動するごとに位相が360度
変化するA相の信号(擬似正弦波)とこれと90度位相
がずれたB相の信号(擬似正弦波)を出力し、このA
相、B相の位相変化から、ステージ21BのY方向の移
動量即ちラインセンサ21Hと対象物27との相対移動
の距離を検出する。
源ユニット21J内の不図示の光源からの光によって対
象物27が図1の上方から落射照明(又は下方からの透
過照明)で照明され、対象物27の像が光学系ユニット
21C内の対物レンズ21Fによって結像面に結像さ
れ、この像が結像面に配置されたラインセンサ21Hに
よって撮像される。
どを介して撮像ユニット21に落射又は透過の照明光を
出力するものであり、光源を含み光量が調節可能な調光
装置とこの調光装置からの光を前記光ファイバに導くた
めの光学系とを有する。また、落射照明、透過照明の選
択及びこれらの光の光量の調整は後述するインターフェ
イスユニット23内部の制御部23Bによって制御され
るようになっている。
23B、撮像同期回路23D、及びラインセンサの撮像
制御部23Fを含んで構成されている。
からの制御信号を受けてステージ21Bのリニアアクチ
ュエータを制御してステージ21Bを一定速度で移動さ
せたり、落射照明、透過照明を選択したり、光源ユニッ
ト21Jから出力される光の光量を制御するための構成
部分であり、マイクロプロセッサとそのファームウェア
で構成される。
の検出出力であるA相、B相の2相の擬似正弦波が所定
の位相角になったときに撮像同期信号を撮像制御部23
Fに出力する回路である。
から撮像同期信号を受けてラインセンサ21Hに所定の
撮像制御信号を送ってその撮像タイミングを制御すると
共に、ラインセンサ21Hからの画像信号をA/D変換
して画像データ信号をホストコンピュータ40に出力す
る回路である。また、この撮像制御部23Fは、ホスト
コンピュータ40からの制御信号に基づきラインセンサ
21Hの撮像可能状態、撮像停止状態などの制御をも行
うようになっている。
部25によると、対象物27とラインセンサ21Hとの
相対移動が所定距離進むごとに撮像同期回路23Dから
撮像同期信号が出力され、撮像制御部23Fの制御によ
りラインセンサ21Hで対象物27の画像を1ラインづ
つ撮像する。この1ライン分の画像信号は撮像制御部2
3FでA/D変換され画像データとしてホストコンピュ
ータ40に送出される。ステージ21Bを移動させ、対
象物27の像の1ライン分を順次撮像していくことによ
って、対象物27の2次元の画像を撮像しその2次元の
画像の画像データ(第1の画像データ)が得られる。こ
こでは、1画素に1バイト(白黒256階調)、600
0ラインで対象物27の2次元の画像が構成される。こ
のようにして、画像取り込部25により6000×60
00という大きな画素数をもつ第1の画像データが取り
込まれ、後述するホストコンピュータ40のメモリに記
憶される。
ンピュータ」という)40は、本実施形態では、所定の
オペレーティングシステム(例えば、Windows
95)で動作するパーソナルコンピュータを用いて構成
され、コンピュータ本体41に入力デバイスであるキー
ボード42a,マウス42bと表示装置としてのディス
プレイ43とを接続した構成になっている。コンピュー
タ本体41は、マイクロプロセッサ41B、メモリ41
D、PCIバス41Fを有し、PCIバス41Fを介し
てキーボード42a,マウス42bを接続するためのキ
ーボードインターフェイス(キーボードコントローラ)
41H、ディスプレイ43を接続するためのビデオイン
ターフェイス41J、シリアルインターフェイス41
L、ハードディスク41P、画像入力ボード41Rが接
続されている。この他、このコンピュータ40には、デ
ジタルシグナルプロセッサボード41Tも必要に応じて
接続可能であり、マイクロプロセッサ41Bで行う画像
処理の一部をこのボード41Tでもできるようになって
いる。
フェイス(RS422)には、インターフェイスユニッ
ト23の撮像制御部23Fが接続され、ホストコンピュ
ータ40でラインセンサ21Hの撮像可能状態、撮像停
止状態などのコントロールを行うとともに、撮像制御部
23FでA/D変換して得た第1の画像データを画像入
力ボード41Rのバッファメモリ(2MB×2)に一旦
貯えてメモリ41Dに転送する(これについては更に後
述する)。
格納された制御プログラムをメモリ41Dにロードして
プログラムを起動させることによって、シリアルインタ
ーフェイス(RS232C)を介してインターフェイス
ユニット23の制御部23Bに制御信号を送ってステー
ジ21Bのリニアアクチュエータの制御、光学系の倍率
制御、光量制御等ができるようになっており、また、こ
れらの設定はハードディスク41Pに記憶できるように
なっている。また、ハードディスク41Pには、エッジ
(輪郭)検出、ピッチ計測など計測対象物の画像データ
に対して様々な画像処理・計測処理を行うための様々な
プログラム、その他の制御プログラムが格納され、これ
らをメモリ41Dにロードしてプログラムを起動させる
ことによって画像処理・計測処理が行えるようになって
いる。
(データ量36MB)だけでなく第2の画像データ51
Dや制御プログラム、画像処理・計測処理を行うプログ
ラム等を格納するため、十分の大きな容量を持たせてあ
る。上記の画像処理・計測処理を行うプログラムには、
具体的には、アライメント設定/補正プログラム53
A、表示データ作成のためのプログラム53B、表示制
御のためのプログラム53D、計測条件入力のためのプ
ログラム53F、計測制御のためのプログラム53H等
が含まれる。上記各プログラムは、それぞれを一つの実
行モジュール(あるいは実行ファイル)で構成すること
が勿論できるが、任意の複数を一つの実行モジュールで
構成したり、全てを単一の実行モジュールで構成するこ
とも可能である。どのような構成にするかは、オペレー
ティングシステム、開発言語等に基づいて決定すれば良
い。
は、後述するように対象物の設置位置のずれを補正する
ためのプログラムである。
は、メモリ41D内に記憶された第1の画像データ51
Bに対し一定画素数の画素毎に所定の画素数減少処理を
施してディスプレイ43の表示画面に表示可能な画素数
の第2の画像データ51Dを作成しメモリ41Dに記憶
するためのプログラムであり、これによって表示データ
作成手段が実現されている。ここでは、ディスプレイ4
3に、VGA(640×480)、SVGA(1024
×768)、XGA(1280×1024)の表示がで
きるマルチスキャンディスプレイが用いられている。前
記表示データ作成のためのプログラム53Bは、デフォ
ルトでは、6000×6000画素の第1の画像データ
51Bに10×10画素(即ち100画素)毎に、所定
の画素数減少処理、例えば間引き処理、あるいは上記1
00画素の階調の平均化処理等を施してディスプレイ4
3の表示画面に表示可能な600×600画素の第2の
画像データ51D(360KB)を作成するようになっ
ているが、この設定はディスプレイ43の表示モードに
応じて変更できるようになっている。
デオインターフェイス41Jにメモリ41D上の画像デ
ータを転送するとともにビデオインターフェイス41J
に制御コマンドを送って、画素数減少処理後の第2の画
像データ51Dによる画像をディスプレイ43の表示画
面の所定の領域に表示し、また、第1の画像データ51
Bの一部による画像を、第2の画像データ51Dによる
画像と同時又は別々に表示画面上の所定の領域に表示す
るためのプログラムであり、これによって表示制御手段
が構成されている。
は、ディスプレイ43の表示画面上に計測条件のメニュ
ー(タスクバーやツールバー、ツールボックスなどで表
示される)及びメモリ41D内の画像データの画像が表
示された状態において、マウス42b(又はキーボード
42a)の操作によりマウスカーソル(又はグラフィッ
クカーソル、カーソル)の位置を検出することによっ
て、計測条件やディスプレイ43の表示画面に表示され
た画像上の位置及び領域などを入力するためのプログラ
ムである。本実施形態では、上記のマウス42b(及び
キーボード42a)及び計測条件入力のためのプログラ
ム53Fによって、ディスプレイ43の表示画面に表示
された画像に対して少なくとも計測すべき領域の指示を
含む計測条件を入力するための計測条件入力手段が実現
され、この計測条件入力手段はディスプレイ43の表示
画面に表示された第1の画像データ51Bによる画像に
対して計測すべき領域の指示を含む計測条件を入力をす
るためにも用いられる。
記計測条件入力手段により計測条件を入力した後、該計
測条件により指示された領域について入力された計測条
件に応じた計測処理を行うためのプログラムであり、計
測処理の内容としては、エッジ検出(輪郭検出)、形状
認識、長さ計測、面積計測、誤差検出などがある。表示
された画像が第1の画像データの一部によるものである
場合は勿論、第2の画像データによるものである場合に
も、計測条件の入力に応じその計測条件で指示された領
域の第1の画像データを用いて計測処理が行われる。こ
れによって、計測条件に応じた計測処理を計測条件で指
示された領域の第1の画像データ51Bを用いて行う計
測制御手段が実現される。なお、この計測制御のための
プログラム53Hでは第2の画像データ51Dに基づい
て対象物27の概略形状を認識後、計測条件に応じた計
測処理を計測条件で指示された領域の第1の画像データ
51Bを用いて行うことができるようになっている。
形態に係る画像計測装置の全体的な動作について説明す
る。
載置して、コンピュータ40の入力デバイスを操作し、
対象物27の撮像を開始する。このとき、コンピュータ
40からの制御信号により、ラインセンサ21Hは撮像
可能状態になり、ステージ21Bが一定速度で移動す
る。撮像範囲内でラインセンサ21Hの撮像位置が移動
し、その移動の所定距離間隔毎にラインセンサ21Hで
対象物27の1ライン分の像の撮像が行われる。1ライ
ン分の画像信号は撮像制御部23FでA/D変換され画
像データとしてホストコンピュータ40に出力され、コ
ンピュータ本体41のメモリに記憶される。ラインセン
サ21Hの位置が開始時とは反対側の端になると対象物
27の走査撮像が完了し、対象物21の2次元画像に対
応する第1の画像データ51Dが、コンピュータ本体4
1のメモリ41Dに記憶される。
7の像を読み取って得た第1の画像データ51Bが画像
入力ボード41Rを経て、コンピュータ40のメモリ4
1Dへ格納されるまでの状態が示されている。画像入力
ボード41Rには2メガバイトのバッファメモリ41S
が2個、合計4メガ用意され、ラインセンサ21Hで撮
像して得た1ライン分の画像データ51Bはバッファメ
モリ41Sの一方(例えばバッファメモリ(1))に記
憶される。この一方のバッファメモリ41Sが第1の画
像データの2メガバイト分でいっぱいになると、画像デ
ータ51Bはバッファメモリ41Sの他方(例えばバッ
ファメモリ(2))に記憶される。いっぱいになった一
方のバッファメモリ41Sの画像データ51Bは、PC
Iバス41F経由でメモリ41Dにブロック転送され
る。このとき転送速度は30MHz以上で行われ、この
速度を確保するために、マイクロプロセッサ41Bは、
転送以外の他のジョブを行わないようになっている。
21Hで撮像して得た1ライン分の画像データ51Bを
記憶する他方のバッファメモリがいっぱいになる前に、
メモリ41Dへの転送を終了する。そして、いっぱいに
なると、画像データ51Bを記憶するバッファメモリを
切り替える。このバッファメモリの切り替えの繰り返し
即ちバッファメモリ41Sのインターリーブによって、
ラインセンサ21で撮像して得た36メガバイトの画像
データ51Bを転送し終える。これによって、ラインセ
ンサ21Hによる対象物27の像の読み取りとほぼ同時
にメモリ41Dへの転送も行われ、対象物27の像の読
み取り終了に要する時間(約2.5秒)でメモリ41D
への転送も終える。
への転送を終了すると、表示データ作成のためのプログ
ラム53Bによって、メモリ41D内に記憶された60
00×6000画素の第1の画像データ51Bに対し前
述した画素数減少処理を施してディスプレイ43に表示
可能な第2の画像データ51Dを作成してメモリ41D
内に記憶し、表示制御のためのプログラム53Dで、ビ
デオインターフェイス41Jにメモリ41D上の第2の
画像データ51Dを転送して第2の画像データ51Dに
よる画像をディスプレイ43の表示画面の所定の領域
(ウインドウ)に表示する。
象物の全体画像を見ながら、対象物の画像の計測すべき
箇所を略指示できるようになっている。計測条件のメニ
ューに応じて、指示された位置を生画像である第1の画
像データ51Bにおける計測場所に置き換えて、この第
1の画像データ51Bで画像処理や計測処理が行われ
る。
素数の少ない第2の画像では計測位置が正確に指示でき
ない場合には、前記第2の画像の計測したい場所近傍を
マウス42bで指示することにより、表示制御のための
プログラム53Dによって、指示された場所近傍の部分
に該当する対象物27の第1の画像データによる第1の
画像が拡大されて所定の領域(ウィンドウ)43Aに表
示される。この場合、場所を複数指示すれば、それぞれ
の指示された場所についてその場所近傍の対象物27の
前記第1の画像が拡大されてそれぞれ別のウィンドウに
表示される。このため、マウス42b、キーボード42
a及び計測条件入力のためのプログラム53Fにより、
表示画面に表示された画像上の位置(又は領域)の指
示、計測内容等の計測条件の入力・指示はそれぞれのウ
ィンドウ43A等に拡大表示された対象物27の像に対
して行えるようになっている。そして、入力された計測
条件に応じて、計測制御のためのプログラム53Hによ
って、そのウィンドウに表示が行われている画像に対応
する第1の画像データを用いて入力された計測条件及び
指示された領域に応じた計測処理が行われる。
イ43の表示画面に表示可能な画素数より大きな画素数
の画像を取扱う場合に、表示画面に表示可能な画素数よ
り大きな画素数の第1の画像データ51Bを取り込み記
憶し、この第1の画像データ51Dの一定画素数の画素
毎に所定の画素数減少処理を施して表示画面に表示可能
な画素数の第2の画像データ51Dを作成し、計測指示
のため表示画面に表示する、という画像表示方法をとっ
ている。そのため、第2の画像データ51Dにより対象
物27の画像全体が表示画面に表示可能になり、対象物
27の像全体が把握し易くなる。
全体の画像に対し、コンピュータ40の入力デバイス
(マウス42b)を操作することにより計測すべき領域
の指示を含む計測条件の入力を計測条件入力のためのプ
ログラム53Fによって容易に行うことが可能になって
いる。
動作が非常に速くなる。例えば、6000×60000
=36000000(36MB)の生画像の第1の画像
データに対して、画素数減少処理を行い600×600
=360000(360KB)の第2の画像データを作
成すると、取り扱いデータ量は1/100に縮小し、処
理時間は数百分の1となる。
複数あり同じ計測を繰り返し行う場合、操作性及び計測
効率の向上のためには、最初の対象物の撮像を行った
後、この最初の対象物についてティーチングデータ(測
定手順ファイル)を作成し、そのティーチングデータを
2番目以降の対象物の計測の際に用いてエッジ検出等の
計測処理を行うことが望ましい。
ーチングデータの作成及びエッジ検出を行う場合の概略
の流れが示されている。以下、図3を用いてティーチン
グデータの作成等について簡単に説明する。
000×6000画素の像43Bが第1の画像データ5
1Bとして取り込まれると、表示データ作成のためのプ
ログラム53Bによって、36000000(6000
×6000)画素の第1の画像データ51Bに間引き
(抜き取り)などの画素数減少処理が施され、3600
00(600×600)画素の画像43Dの第2の画像
データ51Dが作成され、前記画像43Dがディスプレ
イ43の表示画面上に表示される。
に先立って対象物の基準設置位置を設定するために対象
物の所定の箇所を計測する。これをアライメントとい
う。
ンピュータ40の入力デバイスを操作しアライメント設
定/補正のプログラム53Aを介してアライメント設定
を入力すると、マイクロプロセッサ41Bによって計測
条件入力のためのプログラム53Fが起動される。
る第2の画像43Dを見ながらコンピュータ40のマウ
ス42bを操作して、表示画面との対話形式で前記所定
の箇所を計測するための計測条件を入力する。次いで、
計測制御のためのプログラム53Hが起動されて前述の
如く、第1の画像データを用いて所定箇所の座標値を含
む計測結果が求められる。そして、この計測結果に基づ
いて対象物27上に設定したワーク座標系の情報をアラ
イメントデータとして記憶する。
象物の本来の計測箇所に対して前記と同様にして計測条
件の入力を行う。この計測条件の入力終了によって、そ
の時のステージ21Bの座標、画面上に表示されるキャ
リパ(エッジ検出の中心位置、そのエッジの法線方向、
その位置近傍のエッジ検出の対象となる範囲を示すマー
ク)の設定情報(エッジ検出の初期設定)と、対物レン
ズ21Fの倍率、照明条件(照明方法、明るさなど)等
の対象物27の撮像を行ったときのデータとがティーチ
ングデータとして構成され、測定手順ファイル51Fと
してハードディスク41Pに保存される。この時、位置
に関するデータはワーク座標系の値として保存される。
以上の作業をティーチングという。
複数の対象物が設置されている場合や、対象物が極めて
大きく、一画像内に収める事が困難である場合に、所定
の対象物又は対象物の所定の箇所を画像内に収めるため
に移動させる。この移動した位置が座標系として保存さ
れる。
により計測制御のためのプログラム53Hが起動され
る。このプログラム53Hによって、測定手順ファイル
51Fに記録された前記諸条件に従って第1の画像デー
タを用いてエッジ検出が行われ、対象物の輪郭が検出さ
れる。この結果は、ディスプレイ43の画面の所定の領
域に表示される。そして、この画面上に表示された結果
に修正すべき点がなければ、操作を終了し、修正すべき
点があれば、再ティーチングの入力をして計測条件入力
のためのプログラム53Fでの操作に戻り、計測条件を
再度入力して上述した操作を繰り返す。保存されたティ
ーチングデータは、再測定時のデータに更新される。
場合は、ステージ21Bを移動させ、その時の第2の画
像に対して計測条件の入力を行う。
定するための計測箇所の指示のための表示も、データ量
の小さな第2の画像データ51Dを用いて処理が行われ
るので、処理速度が速くなる。
測処理(エッジ検出)が行われる場合の流れが概略的に
示されている。以下、この図4を用いて2番目以降の対
象物に対する計測処理の一例について説明する。
力デバイスを操作しアライメント補正の指令を入力する
と、まず、測定手順ファイル51Fが読み込まれ、これ
に記録された測定手順に従って対物レンズ21Fの倍
率、ステージ21Bの位置決めが自動的に行われた後
に、2番目の対象物(以下、便宜上「対象物27’」と
言う)の6000×6000画素の像43B’が第1の
画像データ(以下、便宜上「第1の画像データ51
B’」と言う)として取り込まれる。次いで、表示デー
タ作成のためのプログラム53Bによって、36000
000(6000×6000)画素の第1の画像データ
51B’に間引きなどの画素数減少処理が施され、36
0000(600×600)画素の画像43D’の第2
の画像データ(以下、便宜上「第2の画像データ51
D’」言う)が作成され、画像43D’がディスプレイ
43の表示画面上に表示される。
て計測条件入力のためのプログラム53Fが起動され、
それによってオペレータが、画面上に表示された第2の
画像データ51D’による第2の画像43D’を見なが
らコンピュータ40のマウス42bを操作して前記ティ
ーチング時にアライメント設定のために計測した対象物
の所定の箇所に対する計測位置の指示等の計測条件入力
を行う。
プロセッサ41Bにより計測制御のためのプログラム5
3Hが起動され、前記入力された計測条件に従って、前
記所定箇所の第1の画像データを用いて前記所定の箇所
が計測される。そして、この計測結果に基づいて前記ア
ライメント設定時と同様のワーク座標系が求められる。
前記アライメント設定時に設定したワーク座標系と、こ
こで求めたワーク座標系とのズレ量が、対象物の基準設
置位置に対する2番目の対象物の設置位置のズレ量に相
当する。
ライメント補正結果に基づいて先に作成した測定手順フ
ァイル51Fを補正(より具体的には、上記で求めた2
つのワーク座標系のズレ量に従い測定手順ファイル51
F内の第2の画像データ51Dの座標に平行移動、回転
を与える)した測定手順ファイル51F’が作成されハ
ードディスク41Pに保存される。
ファイル51F’に記録された補正された測定手順に従
ってエッジ検出の開始の設定に基づきキャリパの位置、
方向が補正され、第1の画像データを用いてエッジ検出
が行われ、2番目の対象物27’の輪郭が検出される。
この結果は、ディスプレイ43の画面の所定の領域に表
示される。
後にマウス42bを用いて行う場合について説明した
が、前記アライメント設定時の計測条件を測定手順ファ
イル51Fの一部として保存すると共に、ステージ21
B上の決められた位置に対象物を置くための位置当て治
具を使用することで対象物の位置ずれを小さく抑え、ア
ライメント補正の計測を自動的に行う処理を選択するこ
とも可能である。図5には、その場合の処理の流れが概
念的に示されている。
に2番目の対象物27’を載せる際に、位置当て治具を
用いて、その位置が最初の対象物27とほぼ同じ位置に
なるようにする。
開始が指令されると、予め作成した測定手順ファイル5
1Fが読み込まれ、測定手順の内容に従った投影レンズ
21Fの倍率やステージ21Bの位置決めの設定が自動
的に行われた後に、2番目の対象物27’の6000×
6000画素の像43B’が第1の画像データ51B’
として取り込まれる。そして、表示データ作成のための
プログラム53Bによって、36000000(600
0×6000)画素の第1の画像データ51B’に間引
き等の画素数減少処理が施され360000(600×
600)画素の第2の画像データ51D’が作成され、
これに対応する画像43D’がディスプレイ43の表示
画面上に表示される。
の場合、予め測定手順ファイルに記憶されているアライ
メントの為の計測位置(図5中の点線44参照)の指
示、その他の計測条件が入力されるので、マウス等によ
る入力は不要である。
の表示画面上に表示された後、マイクロプロセッサ41
Bにより計測制御のためのプログラム53Hが起動され
る。このプログラム53Hによって、前記測定手順ファ
イル51Fから読み込んだ計測条件による計測がなされ
る。これ以降は、図4の場合と同様である。
ーン)と同じパターンを予めメモリ41D内に記憶し、
このパターンによる検索を行うことでアライメント補正
を自動的に行うように測定条件を設定することも可能で
ある。図6には、その設定の場合の処理の流れが概念的
に示されている。
いて、対象物27の36000000(6000×60
00)画素の像43Bを取り込んだ第1の画像データ5
1Bから表示データ作成のためのプログラム53Bによ
って、間引きなどの画素数減少処理が施され、3600
00(600×600)画素の画像43Dの第2の画像
データ51Dが作成され、前記画像43Dがディスプレ
イ43の表示画面上に表示される。
コンピュータ40のマウス42bを操作して、対象物の
基準設置位置を設定するために対象物の所定の範囲を指
定する。前記所定の範囲は必要に応じて複数箇所として
も良い。この指定された範囲に該当する第2の画像デー
タがパターン比較用画像データ43Hとして測定手順フ
ァイル51Fの一部としてメモリ41Dに記憶される。
図6では、前記所定の範囲として対象物27の全体を含
む一つの範囲が指定されている。
形を示したCADデータ等とすることもできる。
7’を載せる。上述したように測定手順ファイル51F
を読み込んで測定手順の内容にしたがった設定が自動的
に行われた後に、2番目の対象物27’の6000×6
000画素の画像43B’が第1の画像データ51B’
として取り込まれる。そして、表示データ作成のための
プログラム53Bによって、36000000(600
0×6000)画素の第1の画像データ51B’に間引
きなどの画素数減少処理が施され、360000(60
0×600)画素の第2の画像データ51D’が作成さ
れ、これに対応する画像43D’がディスプレイ43の
表示画面上に表示される。
き、計測制御のためのプログラム53Hによって、所定
のパターン比較用の画像データ43Hと2番目の対象物
27’の第2の画像データ51D’とが比較され、パタ
ーンマッチング処理が行われ、パターンが一致するとき
の平行移動量、回転角度が求められる。これが前記ワー
ク座標系のズレ量に該当する。次いで、計測制御のため
のプログラム53Hによって、上記ズレ量(平行移動
量、回転角度)を用いて予め作成した測定手順ファイル
51Fを補正をした測定手順ファイル51F’が作成さ
れハードディスク41Pに保存される。
れた測定手順ファイル51F’の測定手順に従ってエッ
ジ検出の開始の設定によりキャリパの位置を補正して第
1の画像データを用いてエッジ検出が行われ、2番目の
対象物27’の輪郭が検出される。この結果は、ディス
プレイ43の画面の所定の領域に表示される。
ント補正を行った後に、更に図3、図4で説明したよう
なアライメント補正を行うようにしても良い。2番目以
降の対象物の設置位置・姿勢が、基準設置位置から大き
く異なっていても正確なアライメント補正をすることが
できる。
タを使い、ラベリング等の画像処理を行い、概略の図形
を認識するという処理を選択することも可能である。
いるときに、マウス42bを操作して計測条件入力のた
めのプログラム53Fを用いて、計測すべき幾何形状の
指示を入力すると、計測制御のためのプログラム53H
によって第2の画像データを用いてラベリング(画像中
の閉ループ、例えば矩形、円等を構成する画素を検出
し、その各画素の画像データに別々の識別符号を割り当
てる)などの計測処理によって形状抽出が行われ、入力
された計測条件に応じて前記画素に対応する第1の画像
データを用いてその形状の寸法や位置・姿勢の計測が行
われる。
を指示し、この形状の計測を行う場合、第2の画像デー
タ51Dを用いてラベリングされた閉ループの周長や面
積等が計算される。そして、求めた周長や面積から各閉
ループの真円度を求め、求めた真円度が所定値以下の閉
ループを選択することにより、円を画像から抽出するこ
とができる。この時、円の直径も求めることができるの
で、計測すべき幾何形状の指示に直径の範囲を含めるこ
とによって所定の直径範囲の円のみを抽出することもで
きる。そして、抽出された閉ループ(円)の識別符号と
その識別符号が付された各画素の座標を参照しながら第
1の画像データを用いて以下のような計測処理を行うこ
とによって精度の高い計測結果が得られる。
画像(a)と第1の画像データ51Bによる画像(b)
の一例が示されている。
てマウス42bにより「円」の形状を指示し、この指示
内容をラベリング及び計測条件として計測条件入力のた
めのプログラム53Fを介して入力したとき、計測制御
のためのプログラム53Hにより、画素数の少ない第2
の画像データを用いて図7(a)のような10個の円が
抽出され、各円を構成する画素に例えば1、2、……、
10の識別符号が付される。なお、図7(a)において
は便宜上それぞれの円を構成する各画素に付される識別
符号がそれぞれの円に付随して示されている。
て予め定めた計測方法に従い、前記円を計測するための
キャリパの位置を算出する。そして、表示制御のための
プログラム53Dを介して画素数の多い第1の画像デー
タによる画像と共に前記キャリパ(同図(b)の矢印参
照)をディスプレイ43の表示画面上に表示する。この
場合、特定の円の識別符号例えば6を入力すると、この
識別符号に該当する円のみにキャリパが設定されるよう
にしても良い。
素数を減らした第2の画像データを用いてラベリング、
キャリパ設定位置の計算を行うことにより、処理速度を
速くすることができる。そして、第1の画像データを用
いて第1の画像の前記キャリパ位置におけるエッジ座標
を検出し、さらに該検出した座標によって円の直径、中
心座標を求める。このように、計測場所の略指示といっ
た精度が要求されない場合は、第2の画像データを使う
とともに画素数の大きな第1の画像データを使って高精
度で計測することで効率的で迅速な処理を行っている。
識して得た図形の位置・形状を用いることにより、形状
のモーメントや重心、周長、面積等が迅速に求まる。そ
のため、回転を含んだパターンマッチング、パターンサ
ーチ、輪郭形状の誤差評価におけるベストフィット処理
等にも、計測の目安として利用できる。
めマウスを用いる場合について説明したが、キーボード
でも良く、トラックボール、ライトペンといった様々な
ポインティングデバイスを用いても良いことは勿論であ
る。
撮像・画像の取り込みの例として、ラインセンサを用い
る場合について説明したが、これに限らず、ハイビジョ
ン用など画素数の多い2次元CCDを用いるようにして
も良い。
の移動によりラインセンサ21Hと対象物27の相対移
動を行う場合について説明したが、これに限らず、ステ
ージ21Bに代えて対象物を載置するための固定のステ
ージを設け、ラインセンサの方を移動可能に構成してラ
インセンサと対象物の相対移動を行うようにしても良
く、あるいはステージとラインセンサの双方を移動させ
るようにしても良い。また、上記実施形態のように、対
象物とラインセンサとを直線的に相対移動させる場合に
限らず、いずれか一方を回転させることにより相対移動
を実現しても良い。かかる場合には、エンコーダをロー
タリーエンコーダとし、その角度を計測することによっ
て位置を計測する必要がある。
は、ソフトウェアによる場合を説明したが、これに限ら
ずデジタルシグナルプロセッサ41Tやその他ほかのハ
ードウェアを用いて第2の画像データを作成するように
してもよい。また、第1の画像データを画像入力ボード
41Rからメモリ41Dへ転送するのに並行して第2の
画像データを作成するようにしても良い。
発明によれば、表示データ作成手段によりメモリ内に記
憶された第1の画像データに一定画素数毎に所定の画素
数減少処理を施して表示画面に表示可能な画素数の第2
の画像データが作成され、この作成された第2の画像デ
ータによる画像が表示制御手段によって表示画面に表示
されることから、計測条件入力手段により、表示画面に
表示された画像に対して少なくとも計測すべき領域の指
示を含む計測条件を入力することが容易になる。従っ
て、表示装置の表示分解能を越えるような大きなデータ
量の画像データを取り扱う場合でも、対象物の画像に対
する計測などの指示を容易行うことができるという従来
にない優れた効果がある。
記効果に加え、対象物が細かな構造であり、画素数の少
ない第2の画像データによる画像では計測位置を正確に
指示できない場合にも、表示画面上に表示された第1の
画像データによる画像に対して正確な計測位置を指示す
ることが可能になるという効果がある。
記各発明の効果に加え、より多くの情報を含む第1の画
像データ(生の画像データ)を用いてより高精度な計測
処理を行うことが可能になる。
記請求項3に記載の発明の効果に加え、データ量の小さ
な第2の画像データで形状を認識するため処理速度が速
く、しかも対象物の高精度な計測処理ができるようにな
るという効果もある。
記請求項3に記載の発明の効果に加え、計測条件入力手
段により計測すべき形状を指示するだけで、その形状を
自動的に抽出し、その形状の計測条件を自動的に設定す
ることができるという効果もある。
に表示された対象物全体の画像に対して計測すべき領域
の指示が容易になるという優れた画像計測装置の画像表
示方法が提供される。
略的に示す図である。
1のデータが画像入力ボードを経て、コンピュータのメ
モリ41へ格納されるまでの様子を示す図である。
成とエッジ検出処理を行う際の流れを概略的に示す図で
ある。
概略的に示す図である。
う処理を選択した場合の処理の流れを概略的に示す図で
ある。
に行うようにした場合の処理の流れを概略的に示す図で
ある。
像データによる画像(b)との一例を示す図である。
タ作成手段) 53D 表示制御のためのプログラム(表示制御手段) 53F 計測条件入力のためのプログラム(計測条件入
力手段の一部) 53H 計測制御のためのプログラム(計測制御手段)
Claims (6)
- 【請求項1】 表示装置の表示画面に表示された画像を
用いて所定の計測処理を行う画像計測装置であって、 対象物の像を撮像し、前記表示画面に表示可能な画素数
より大きな画素数の第1の画像データを取り込む画像取
り込み部と;前記第1の画像データが記憶されるメモリ
と;前記メモリ内に記憶された前記第1の画像データに
対し一定画素数の画素毎に所定の画素数減少処理を施し
て前記表示画面に表示可能な画素数の第2の画像データ
を作成する表示データ作成手段と;前記表示データ作成
手段で作成された第2の画像データによる第2の画像を
前記表示画面に表示する表示制御手段と;前記表示画面
に表示された画像に対して少なくとも計測すべき領域の
指示を含む計測条件を入力するための計測条件入力手段
とを有する画像計測装置。 - 【請求項2】 前記表示制御手段は、前記計測条件に応
じて、前記第1の画像データによる第1の画像の一部
を、前記第2の画像と同時又は別々に前記表示画面上に
表示するとともに、前記計測条件入力手段は、前記表示
画面に表示された前記第1の画像に対して前記計測条件
を入力するためにも用いられることを特徴とする請求項
1に記載の画像計測装置。 - 【請求項3】 前記計測条件に応じた計測処理を前記計
測条件により指示された領域の前記第1の画像データを
用いて行う計測制御手段を更に有することを特徴とする
請求項1又は2に記載の画像計測装置。 - 【請求項4】 前記計測制御手段は、前記第2の画像デ
ータに基づき前記対象物の概略形状を認識後、前記計測
条件に応じた計測処理を前記計測条件により指示された
領域の前記第1の画像データを用いて行うことを特徴と
する請求項3に記載の画像計測装置。 - 【請求項5】 前記計測条件入力手段により計測すべき
形状が指示されると、前記計測制御手段は、前記第2の
画像データを用いて形状抽出のための画像処理を行って
該当する形状を抽出し、計測すべき形状に対して予め記
憶してある計測方法に従って計測条件を設定することを
特徴とする請求項3に記載の画像計測装置。 - 【請求項6】 表示装置の表示画面に表示可能な画素数
より大きな画素数の画像を取扱う画像計測装置の画像表
示方法であって、 前記表示画面に表示可能な画素数より大きな画素数の第
1の画像データを取り込み記憶する第1工程と;前記第
1の画像データに対し一定画素数の画素毎に所定の画素
数減少処理を施して前記表示画面に表示可能な画素数の
第2の画像データを作成し、計測指示のため前記表示画
面に表示する第2工程とを含む画像計測装置の画像表示
方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24046397A JP3900319B2 (ja) | 1997-08-21 | 1997-08-21 | 画像計測装置及びその画像表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24046397A JP3900319B2 (ja) | 1997-08-21 | 1997-08-21 | 画像計測装置及びその画像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1163953A true JPH1163953A (ja) | 1999-03-05 |
JP3900319B2 JP3900319B2 (ja) | 2007-04-04 |
Family
ID=17059888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24046397A Expired - Lifetime JP3900319B2 (ja) | 1997-08-21 | 1997-08-21 | 画像計測装置及びその画像表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3900319B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002365026A (ja) * | 2001-06-07 | 2002-12-18 | Sigma Technos Kk | 基板検査装置 |
JP2006258809A (ja) * | 2005-03-15 | 2006-09-28 | Mitsutoyo Corp | 表面変位トランスデューサ |
JP2011216124A (ja) * | 2011-07-22 | 2011-10-27 | Ge Healthcare Japan Corp | 画像取扱方法および装置 |
JP2014197004A (ja) * | 2014-04-21 | 2014-10-16 | 株式会社キーエンス | 画像計測装置 |
-
1997
- 1997-08-21 JP JP24046397A patent/JP3900319B2/ja not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002365026A (ja) * | 2001-06-07 | 2002-12-18 | Sigma Technos Kk | 基板検査装置 |
JP2006258809A (ja) * | 2005-03-15 | 2006-09-28 | Mitsutoyo Corp | 表面変位トランスデューサ |
JP2011216124A (ja) * | 2011-07-22 | 2011-10-27 | Ge Healthcare Japan Corp | 画像取扱方法および装置 |
JP2014197004A (ja) * | 2014-04-21 | 2014-10-16 | 株式会社キーエンス | 画像計測装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3900319B2 (ja) | 2007-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5798750A (en) | Image display apparatus | |
JP5725796B2 (ja) | 工具の測定方法及び測定装置、並びに工作機械 | |
KR100785594B1 (ko) | 화상 처리 장치 | |
US6349245B1 (en) | Method of and apparatus for registration of a robot | |
CN109556510B (zh) | 位置检测装置以及计算机可读存储介质 | |
US20040246229A1 (en) | Information display system, information processing apparatus, pointing apparatus, and pointer cursor display method in information display system | |
JP5370398B2 (ja) | 画像処理装置および画像処理プログラム | |
EP1986154A1 (en) | Model-based camera pose estimation | |
JPH06217081A (ja) | 光学的走査システム | |
JP3963975B2 (ja) | 実装位置データ作成方法および実装検査方法 | |
JP2001264037A (ja) | カメラキャリブレーション方法及び装置及びカメラキャリブレーションプログラムを格納した記憶媒体 | |
JP3900319B2 (ja) | 画像計測装置及びその画像表示方法 | |
JPH11132740A (ja) | 画像計測装置 | |
KR20050028847A (ko) | 결함검출기 및 결함검출방법 | |
JP2002204342A (ja) | 画像入力装置および記録媒体、並びに画像合成方法 | |
JP3853658B2 (ja) | 画像測定装置及び画像測定用プログラム | |
JP2003203216A (ja) | 画像測定装置用パートプログラム生成装置及び画像測定装置用パートプログラム生成用プログラム | |
JP2008135996A (ja) | 情報処理方法、情報処理装置 | |
JP3697780B2 (ja) | 画像測定装置 | |
JPH07225121A (ja) | 外観検査装置 | |
JPH09250909A (ja) | 非接触画像計測方法及びシステム | |
JPH11184526A (ja) | 3次元位置補正方法ならびに同方法を用いたリモートマニピュレータシステム | |
JPH10197224A (ja) | 画像測定装置 | |
JP7188481B2 (ja) | 位置検出装置およびプログラム | |
CN107948497A (zh) | 用于优化视场的系统、方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060511 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061220 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130112 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130112 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130112 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140112 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |