JP5125500B2 - X線断層撮影のシミュレーション方法およびシミュレーション用のプログラム - Google Patents

X線断層撮影のシミュレーション方法およびシミュレーション用のプログラム Download PDF

Info

Publication number
JP5125500B2
JP5125500B2 JP2007341523A JP2007341523A JP5125500B2 JP 5125500 B2 JP5125500 B2 JP 5125500B2 JP 2007341523 A JP2007341523 A JP 2007341523A JP 2007341523 A JP2007341523 A JP 2007341523A JP 5125500 B2 JP5125500 B2 JP 5125500B2
Authority
JP
Japan
Prior art keywords
solder
model data
ray
defective
simulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007341523A
Other languages
English (en)
Other versions
JP2009162597A (ja
Inventor
良樹 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2007341523A priority Critical patent/JP5125500B2/ja
Publication of JP2009162597A publication Critical patent/JP2009162597A/ja
Application granted granted Critical
Publication of JP5125500B2 publication Critical patent/JP5125500B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Analysing Materials By The Use Of Radiation (AREA)

Description

この発明は、プリント基板に実装された部品を対象にしたX線断層撮影により、当該部品を基板電極に接続するはんだの状態を検査する技術分野に属するもので、特に、はんだ付け部位に対するX線断層撮影をシミュレートする方法およびこのシミュレーション用のプログラムに関する。
X線断層撮影は、部品本体と基板との間のはんだ電極や、ICのリードの裏側に形成されるフィレット(バックフィレット)など、外観検査が困難な箇所を検査する用途に適している。この種の検査のための断層撮影の具体的な手法として、X線CTを用いた方法(特許文献1参照。)、およびトモシンセシスの原理を用いた方法(特許文献2参照。)が知られている。
特許第3694833号公報 特表2004−515762号公報
トモシンセシスによる断層画像の生成処理では、X線源およびX線検出器を対象物を挟むように配置し、両者間の関係を変更しながら複数回の投影処理を実行し、生成された画像をディジタル処理により平均化する。この場合の投影処理は、断層画像の生成対象とする複数の平面の中の1つを基準にして、この基準平面内の任意の点が常にX線検出器の同一座標に投影されるように、毎時の投影におけるX線源およびX線検出器の位置を調整して行われるので、基準平面内の点は画像の平均化によって強調されるが、その他の平面の点は種々の位置にばらついて投影され、平均化された画像ではボケた状態になる。また基準平面以外の各平面についても、その平面内の各点の座標が同一になるように基準平面につき生成された画像を補正して平均化処理を行うので、同様に、平面内の各点が強調され、その他の平面の点がぼけた状態の画像を得ることができる。よって、いずれの平面についても、多少のノイズは残るが、平面が明瞭化された画像を得ることができる。
またトモシンセシスによる画像再構成として、処理対象の平面を基準に画像間における画素の対応関係を調整した後に、対応する画素の組毎にX線透過率が最大になる画素のデータを選択する方法もある。
一方、X線CTを実施する場合には、平面毎に、対向配備されたX線源およびX線検出器の間に、両者を結ぶ軸線が目標の平面の法線に直交する関係になるようにして対象物を配備し、この対象物に対するX線源およびX線検出器の方位を微小角度単位で変更しながら投影を繰り返す。そして、生成された多数のX線透視画像を用いて、平面の各点のX線吸収係数を求める演算を実行する。
また特許文献1に開示された方法では、厚みの薄い基板を対象に、その厚み方向に直交する断面を生成する点や、一部領域の拡大断面を生成する点などを考慮して、上記の一般的手法とは若干異なる処理を行っている。簡単に説明すると、基板を回転テーブルにより回転させるとともに、この回転軸に対して斜めに交わる方向に、X線源およびX線検出器を対向配備して撮影を行い、生成された各X線透視画像を、回転軸に対して垂直になる方向から透過を行った画像に変換し、変換後の画像を用いて吸収係数の算出のための演算を実行する。
X線による断層画像を用いてはんだの検査を行う場合、ユーザは、あらかじめ、どのような形状の不良が検出されるべきかを認識し、その不良について、良好なはんだとは外観が異なる画像が生成されることを確認するのが望ましい。また、自動検査を行う場合には、良好な形状のはんだと良好でない形状のはんだとを正しく判別できるように、良否判定の基準を設定する必要がある。
上記の確認や設定処理を行うには、実際に、良/不良のモデルを用いた断層撮影を行って、断層画像を再構成するのが望ましい。
ところが、生産現場では、良品モデルであれば、まず問題なく用意することができるが、不良モデルとして適切なものが常に存在するとは限らない。優良な生産ラインでは、不良が起こることはまれであり、また不良が生じたものが保管されるとは限らないからである。また、ボイドの存在等による内部形状の不良に関しては、外観からは殆ど認識できず、不良モデルを準備することは困難である。
この発明は上記の問題点に着目してなされたもので、はんだの形状不良を示す不良モデルを準備しなくとも、不良のはんだ付け部位に対するX線断層撮影のシミュレーションを容易に行うようにすることを、目的とする。
この発明によるシミュレーション方法では、以下の第1〜第4の各ステップを実行することを特徴とする。
まず、ステップ1では、はんだの形状が良好な部品を対象にしたX線CTによって、はんだを含む所定大きさの部位を構成する複数の点の空間座標と各点におけるX線吸収率を示す数値とを対応づけた良品モデルデータを生成する。第2ステップでは、良品モデルデータに基づく3次元画像を表示して、その表示中のはんだの形状を変更する編集操作を受け付け、この操作に応じて良品モデルデータ中のはんだのX線吸収率を示す点の分布状態を変更することにより、はんだの不良モデルデータを作成する。
第3ステップでは、第2ステップで作成された不良モデルデータを用いた仮想のX線透視撮影を、不良モデルデータが表すはんだに対するX線源の相対位置が毎回変更されると仮定して複数回実行し、各撮影の結果を用いて不良モデルデータが示すはんだの断層画像を生成する。第4ステップでは、第3ステップで生成された断層画像または断層画像から求めた3次元画像を表示する。
上記の方法では、「良品モデルデータ」は、X線CTによる断層撮影を行う機能を具備する装置に、実物の良品モデルを導入することによって、生成することができる。一方、「不良モデルデータ」は、良品モデルデータを編集操作に応じて加工することにより生成されるので、具体的な不良モデルを準備する必要はない。また、良品モデルデータが表すはんだ対応箇所の形状をユーザが自由に編集することによって、所望の不良形状を表す不良モデルデータを設定することができるので、実物のモデルを準備するのが困難な不良形状についても、容易に不良モデルデータを得ることができる。
なお、「はんだの形状」は、外形に限らず、内部形状も含むものとする。
「良品モデルデータ」を作成する際には、必ずしも、撮影対象の部品のはんだ形状が良好であることまで認識して3次元画像の再構成を行わなくともよい。たとえば、部品全体の3次元画像を再構成した後に、その3次元画像を表示し、各はんだ付け部位の中からはんだの形状が最も良好なものを選択し、その選択範囲を良品モデルデータとしてもよい。
上記の方法において、第1〜第4の各ステップは、それぞれX線CTによる断層撮影を行う機能を具備する装置において実行することができる。ただしこれに限らず、第1のステップのみを上記の装置で実行し、第2〜第4の各ステップを、良品モデルデータの入力を受け付けたコンピュータ(複数台のコンピュータによるコンピュータシステムを含む。)において実行することもできる。このようにすれば、あらかじめ第1ステップを実行して、作成された良品モデルデータをコンピュータに入力することにより、断層撮影のための装置がない場所でも、シミュレーションを実施することが可能になる。
上記のシミュレーション方法の好ましい態様では、第3ステップにおいて、少なくとも前記不良モデルデータが表すはんだ内の一平面を処理対象として、トモシンセシスによる断層撮影の原理に基づく処理を実行することにより、処理対象の平面の断層画像を生成する。
トモシンセシスとX線CTとを比較すると、生成される断層画像の精度の面では、X線CTの方が圧倒的に優れている。しかし、X線CTでは、多数の投影処理が必要である上に、演算が複雑になるため、断層画像を再構成するのにかなりの時間が必要になる。これに対し、トモシンセシスによれば、投影処理の回数は、X線CTに比べるとはるかに少なく、また演算も簡単であるので、短い時間で処理を完了することができ、基板のような工業製品の検査に向いている。ただし、あくまでも、検査の精度を確保できることが前提となるので、不良を精度良く検出できることを確認する必要がある。
上記の態様によれば、編集操作に応じて作成された不良モデルデータを用いて、トモシンセシスによる断層撮影の原理に基づき、仮想のX線透視撮影を実行し、断層画像の再構成を行うので、トモシンセシスによって不良のはんだを検出することができるか否かを、容易に判断することが可能になる。
この発明によるX線断層撮影のシミュレーション用プログラムは、表示装置が接続されたコンピュータに以下の第1〜4の各ステップを実行させるものである。
第1ステップでは、シミュレーションの対象部品におけるはんだの良好な立体形状を表す良品モデルデータとして、前記良好な形状のはんだを含む所定大きさの部位を構成する複数の点の空間座標と各点におけるX線吸収率を示す数値とを対応づけたデータを入力する。第2ステップでは、入力した良品モデルデータに基づく3次元画像を表示装置の画面に表示して、その表示中のはんだの形状を変更する編集操作を受け付け、この操作に応じて良品モデルデータ中のはんだのX線吸収率を表す点の分布状態を変更することにより、はんだの不良モデルデータを作成する。第3ステップでは、第2ステップで作成された不良モデルデータを用いた仮想のX線透視撮影を、不良モデルデータが表すはんだに対するX線源の相対位置が毎回変更されると仮定して複数回実行し、各撮影の結果を用いて不良モデルデータが示すはんだの断層画像を生成する。第4ステップでは、第3ステップで生成された断層画像または断層画像から求めた3次元画像を表示装置の画面に表示する。
上記のプログラムによれば、X線CTによる断層撮影により生成された良品モデルデータを、当該処理を実行した装置から直接、またはリムーバブル媒体等を介して入力し、この入力データから不良モデルデータを作成して、シミュレーションを実行することが可能になる。
上記のシミュレーション方法およびシミュレーション用のプログラムによれば、はんだの形状が良好な実物の部品を用いて良品モデルデータを作成した後に、この良品モデルデータから形状が良好でないはんだを表す不良モデルデータを作成して、シミュレーションを行うことができるので、不良モデルを用意することができなくとも、はんだの形状が良好でない場合の断層撮影結果を容易に確認することが可能になる。よって、検査の前に、目的とする不良を検出することができるかどうかを確認したり、検査基準を定める処理を、容易かつ的確に行うことができる。
図1は、X線利用の基板検査装置の撮影に関する構成を示す。
この基板検査装置は、ICのリードに形成されたバックフィレットや、BGAを構成するはんだ電極など、部品と基板側の電極(図示せず。)とを接続するはんだのうち外観検査が困難なものを対象に、X線による断層画像を生成し、生成された画像を用いて検査を行うものである。具体的には、検査対象の基板1を支持する基板支持テーブル2、X線管3、フラットパネルディテクタ4(以下、「FPD4」と略す。)、および図2に示すXYステージ8,9、ならびにコントローラ20などにより構成される。
なお、図1では、具体的な検査対象部品の例としてのICを符号5で示し、そのリードを符号6で示す。
X線管3は、円錐状のX線ビーム(コーンビーム)を出射するタイプのもので、所定高さ位置に、X線の出射面を真下に向けて固定配備される。基板支持テーブル2は、X線管3より低い位置で、基板1を水平な姿勢で支持する。
固定配備される。
FPD4は、基板1を透過したX線を受けて2次元のX線透視画像を生成するもので、図示しない支持ホルダにより、通常は、検出面4Aが真上を向くように、水平な姿勢で支持されている。ただし、X線CT用の撮影を行う場合には、図1中に一点鎖線で示すように、FPD4は、検出面4AがX線管3の方を向くように傾いた姿勢で支持される。
上記の基板支持テーブル2およびFPD4を支持する支持ホルダは、それぞれXYステージ8,9により、X軸方向(図1の左右方向とする。)およびY軸方向(図1の紙面に直交する方向とする。)に移動可能に支持される。これらXYステージ8,9の移動量を制御することによって、基板1に対するX線管3およびFPD4の位置関係が調整される。
図2は、上記基板検査装置のブロック図である。この装置のコントローラ20にはCPUを含む制御部21、メモリ22、演算処理装置23、モニタ24、操作部25などが設けられる。
メモリ22は、ハードディスク等の大容量メモリであって、制御および検査、ならびに後記するモデルデータの作成やシミュレーションに関するプログラムが格納される。さらに、検査対象の基板のCADデータ、および検査の実行に必要な各種設定データ、検査に用いられた断層画像を保存するための画像データベースなども、メモリ22内に保存される。
演算処理装置23は、X線CTによる断層画像の再構成に係る演算を実行するためのもので、高性能のCPUを含む演算回路が搭載された基板として構成される。
モニタ24や操作部25は、主として、検査の前の各種設定を行うために使用される。またモニタ24には、後記するシミュレーションの結果や検査結果ならびに検査に使用された画像なども表示される。
上記構成において、検査対象の基板1は、図示しない上流の搬送機構から基板支持テーブル2に搬入される。各基板1に対する検査では、被検査部位の内部を精度良く観察できるように、あらかじめ登録された検査領域毎に、当該領域とX線管3およびFPD4の三者の位置関係を変更しながら複数回の透視撮影を実行し、生成された各X線透視画像を用いて被検査部位の断層画像を再構成するようにしている。なお、透視撮影では、FPD4に達したX線の量が多いほど(X線の透過率が高いほど)輝度の高い画像が生成されるが、この実施例では、断層画像や3次元画像を再構成する際に、この明暗の関係を反転させて、X線の吸収率が高い部位ほど輝度が高い(白みが強められた)画像にする。また、検査領域は、被検査部位(バックフィレット、はんだ電極など)の大きさや間隔などに基づき、1つの部品に対して1または複数設定される。
この実施例の基板検査装置には、X線CTの手法を用いて撮影および断層画像の再構成を行う機能と、トモシンセシスの手法を用いて撮影および断層画像の再構成を行う機能とが設定され、被検査部位毎に、いずれかの機能を選択することが可能である。以下では、前者の機能が選択された状態を「X線CTモード」と呼び、後者の機能が選択された状態を「トモシンセシスモード」と呼ぶ。
まず図3〜5を用いて、双方のモードで実行される処理について簡単に説明する。なお、図3〜5では、図示や説明の便宜上、はんだ電極を検査対象とし、また、基板1を両面実装基板であるものとする。
図3は、基板1の一部を拡大して、トモシンセシスによる断層撮影の原理を示したものである。図中、10がはんだ電極であり、このはんだ電極10により基板1に接続される部品を符号11で示す。Tは、被検査部位であるはんだ電極10を水平方向に沿って横切る平面であり、透視撮影の際の基準として使用される。点Oはこの平面Tの所定位置に設定された基準点(この例では平面Tの中心点とする。)である。以下、この点Oを「基準点O」という。
さらに、図中の12は、基板1を挟んではんだ電極10に対向する位置に実装されている部品である(以下、「裏面部品12」という。)。
この実施例では、基準点Oが、X線管3の光軸Lを基準に点対称の関係にある2点P1,P2にそれぞれ位置合わせされるように、基板1を移動させる。また、この基板1の移動に合わせて、位置決めされた基準点OがFPD4の検出面4Aの中心点Rに投影される位置(点Q1,Q2で示す。)にFPD4を移動し、撮影を行うようにしている。X線管3からは、円錐状のビームが出射されているので、各位置での基準点Oに対するX線の照射角度は均一になる。また光軸Lに対する点P1,P2の距離が等しいので、FPD4の中心点Rが位置合わせされる点Q1,Q2の光軸Lに対する距離も等しくなる。したがって、基板1が移動して基準点Oの位置が変わっても、この基準点Oを含む平面T内の各点は、検出面4Aの同一座標に投影される。これに対し、裏面部品12など、平面Tとは異なる高さにある点は、毎回異なる高さに投影される。
したがって、図示の2とおりの位置関係において生成されたX線透視画像A1,A2では、平面T内にあるはんだ電極10の構成点の投影範囲(図中S1,S2で示す。)は一致するが、裏面部品12の構成点の投影範囲(この図および図4とも、基板1に接する面の投影範囲U1,U2に限定して示す。)は、撮影毎に位置が変化する。
この実施例では、X軸方向およびY軸方向において、それぞれ図3に示した2通りの撮影を行うことによって、図4に示すような4枚のX線透視画像A1〜A4を生成する。そして、これらの画像A1〜A4の構成画素を座標が対応する関係にあるもの毎に組み合わせ、これらの組み合わせ毎に、それぞれその組に属する画素の中で、最も小さなX線吸収率を示す画素(明暗を反転させた後のX線透過画像では最も輝度が低くなる画素)の画像データを選択する。そして、各組に共通する座標に選択された画像データをあてはめることによって、平面Tの断層画像を生成する。
図4は、各X線透視画像A1,A2,A3,A4を、毎時の撮影における平面Tの位置に対応づけて配置するとともに、これらの画像の中央に、各画像により再構成された断層画像Bを配置している。なお、図示の便宜上、各画像とも、X線吸収率の高い部位を斜線パターンで示す。
各画像A1〜A4中のS1〜S4は、はんだ電極10の投影範囲であり、U1〜U4は裏面部品12の投影範囲である。図3を用いて説明したように、平面Tにおけるはんだ電極10の構成点は、いずれのX線透視画像A1〜A4でもそれぞれ同一の座標に投影されるが、裏面部品12の構成点が投影される座標は、画像によって変動する。
したがって、対応関係にある4画素の中から最も輝度が低い画素のデータを選択する方法によれば、画像間で一致するはんだ電極10の投影範囲S1〜S4については、いずれの画像のデータが選択されたとしても、はんだ電極10を表すデータが選択される。これに対し、はんだ電極10の投影範囲以外の場所については、いずれかの画像で裏面部品12が投影されたとしても、他の画像における裏面部品12が投影されていない画像データが選択されるため、裏面部品12の投影状態を表すデータが選択されることがない。よって、断層画像Bには、はんだ電極10の画像Sが明瞭に現れるが、点線枠で示す位置に裏面部品12の画像が現れることはない。
さらに、撮影の際の基準とされた平面Tとは異なる高さにある平面についても、この平面と基準の平面Tとの距離に基づき、当該平面内の各点の投影点の座標が一致する関係になるように画像A1〜A4を補正し、補正後の4枚の画像を用いて、図4に示したのと同様の処理を行うことによって、同様の断層画像を生成することができる。
つぎに、X線CTモードでは、図5に示すように、FPD4の検出面4Aを傾けることによって、FPD4の中心点RとX線管3とを結ぶ直線mが平面Tを基準点Oの位置で斜めに横切る状態にする。また、基板1、X線管3、およびFPD4の位置関係が、X線管3およびFPD4の位置を固定し、基板1を基準点Oを通る垂直軸Gを中心に所定の角度単位ずつ回転させた場合と同様に変化するように、基板1およびFPD4の位置を変更し、変更の都度、透視撮影を実行する。
毎時の撮影により生成されたX線透視画像は、演算処理装置23に入力され、前出の特許文献1に開示されたのと同様の方法、すなわち各入力画像を、基板1の法線方向に直交する方向から透視を行った状態を表す画像に変換し、変換後の各画像を用いて、平面T内の複数点のX線吸収率を算出する方法により、平面Tの断層画像が生成される。なお、X線CTでは、上記の手法による複数回の透視撮影および画像再構成を、平面Tの高さを変更しながら、平面毎に実行する必要がある。
この実施例の検査装置では、被検査部位毎に、上記のトモシンセシスモード、またはX線CTモードによる断層撮影を行うことによって、被検査部位のはんだの形状を認識し、その良・不良を判別するようにしている。たとえば、各断層画像に含まれるはんだを2値化により検出して、その面積、幅などを計測し、さらに計測値をあらかじめ登録された基準値と比較することにより、はんだの形状が良好であるか否かを判別する。
X線CTモードでは処理に時間がかかるが、複雑な演算によって、1つ1つの平面毎に、その平面におけるX線吸収率の分布パターンを示す画像を生成するので、高精度の断層画像を得ることができる。また、各断層画像に基づき、各構成点の空間座標とX線吸収率とを対応づけた3次元画像データを生成することにより、構成物の立体形状を精度良く表すことができる。
これに対し、トモシンセシスモードでは、X線CTモードに比べると、透視撮影の回数がはるかに少ないため、短時間で撮影を完了することができる。また画像再構成のための演算も簡単で、制御部21のみで実行することができる。さらに、複数の面の断層画像が必要な場合でも、いずれか1つの面を対象に透視撮影を行えば、その撮影により得たX線透視画像を用いて、他の高さにおける断層画像を再構成することもできる。
このように、トモシンセシスモードを選択すれば、処理時間を大幅に短縮することができるので、現場のユーザは、できるだけトモシンセシスモードを使用することを希望している。しかし、トモシンセシスモードによる断層画像では、被検査部位の近傍の構成物(部品本体、電極など)がノイズとして現れ、検査の目的に適した画像を生成できない可能性がある。
この点に鑑み、この実施例では、検査に先立ち、トモシンセシスモードによって、はんだの不良形状を識別することができるかどうかを、モデルデータを用いたシミュレーションによって確認するようにしている。このシミュレーションは、メモリ22内に格納された専用のプログラムに基づき、制御部21によって実施される。
上記のモデルデータは、検査対象の部品の1つのはんだ付け部位の不良の形状を表す3次元画像データである(以下、これを、「不良モデルデータ」という。)。この実施例では、実物の部品で、はんだの形状が良好なものをモデルとして、X線CTモードによる処理を実行することにより、良好なはんだ形状を表す3次元画像データ(以下、これを「良品モデルデータ」という。)を生成し、この良品モデルデータ中のはんだの形状を編集することによって、不良モデルデータを作成するようにしている。この編集は、ユーザの操作に従って行われる。
図6は、上記の編集作業用の画面の一例を示す。
この画面の主要部には、編集作業のためのウィンドウ100(以下、「編集ウィンドウ100」という。)が設けられる。この実施例では、編集ウィンドウ100内に、良品モデルデータが示す良品の形状を3次元的に表示し、その表示中のはんだを消去する操作やはんだを追加する操作を受け付けるようにしている。図6の例の編集ウィンドウには、IC中の1本のリード6およびこれに対応するバックフィレット7の立体形状を表す画像が示されている(バックフィレット7以外のはんだについては、図示を省略する。)。
編集ウィンドウ100内に表示される画像は、良品モデルデータを構成する3次元画像を、所定の視点位置から仮想の2次元平面に投影する処理によって、生成されたものである。なお、良品モデルデータの各画素には、それぞれ後記する標準のX線吸収率が設定されるが、表示される画像では、適宜、明るさが調整される。また、はんだのX線吸収率を示す部分を着色表示するなど、はんだの部分を確認しやすい表示を行うこともできる。
編集ウィンドウ100の下方には、3次元画像の投影処理の視点の位置を変更するための操作ボタン101(以下、「視点変更ボタン101」という。)が配列されたツールボックス102が設けられ、右側には、マウスカーソルの形状を選択するためのアイコン103およびクリックされた位置の材料を指定するためのボタン104(以下、「材料ボタン104」という。)が配列されたツールボックス105が設けられる。
さらに、この実施例の編集画面には、編集内容を保存するための保存ボタン106、編集内容を破棄するためのキャンセルボタン107、編集内容を確定してシミュレーションの開始を指示するためのボタン108(以下、「シミュレーション開始ボタン108」という。)が設けられる。
ユーザは、アイコン103および材料ボタン104を選択した後に、編集ウィンドウ100内の所望の位置でクリック操作やドラッグ操作を行うことにより、表示されている画像のはんだの形状を変更することができる。たとえば、図6の例において、材料ボタン104中の「空気」を選択してバックフィレット7の所定位置をクリックまたはドラッグすることにより、表示されているはんだを消去して、空白部に置き換えることができる。また、はんだが消去されると基板等が露出する場合には、その露出する部位に対応する材料ボタン104を選択して、同様の操作を行えばよい。反対に、材料ボタン104中の「はんだ」を選択して編集操作を行えば、はんだでない部位をはんだに変更することができる。
さらに、必要に応じて、いずれかの視点変更ボタン101を操作することにより、編集ウィンドウ100内の表示状態を変更することができるので、変更したい部位が的確に現れた表示を設定して編集作業を行うことができる。
また、ここでは図示していないが、編集ウィンドウ100内のはんだを、所定位置でスライスする操作を受け付けて、その指定された位置の切断面が現れた画像を表示し、その断面より内側の内部形状を変更する操作(たとえばボイドの設定)を行うこともできる。
このように、実物による確認が困難な内部形状の不良に関しても、良品モデルデータを用いた編集によって、簡単に不良モデルデータを作成することができる。
図7,8は、上記の編集ウィンドウ100内の編集前の画像と編集後の画像とを対比させて示したものである(いずれも変更箇所を点線円で囲んで示す。)。
図7は、図6に示したバックフィレット7を対象に編集を行った例を示すもので、フィレットの上端部が欠落した形状に変更されている。
図8は、はんだ電極を対象に編集を行った例を示す(この図でも、便宜上、はんだ電極を10とし、部品本体を11とする。)もので、はんだ電極10の下端部の一部が欠落した形状に変更されている。
図9は、良品モデルデータの作成において、X線CTにより求められたX線吸収率を標準値に置き換えるために参照されるテーブルを示す。このテーブルは、空気、部品本体、基板、リード、はんだの各材料毎に、X線CTにより求められるX線吸収率の範囲と標準値となるX線吸収率とが対応づけたもので、あらかじめメモリ22内に登録されている。 なお、このテーブルに示す数値は一例であって、X線管3の性能やFPD4の感度等によってばらつくので、装置毎にキャリブレーションを行って、適切な値を登録するのが望ましい。
制御部21は、実物のモデルに対するX線CTにより求めた3次元画像の各画素データをこのテーブルと照合することにより、X線吸収率を示す数値が材質毎に一定の値に揃えられた3次元データを設定し、これを良品モデルデータとして確定する。たとえば、X線吸収率が0〜0.1の範囲の数値が設定されている画素では、空気に対応するものと判断されて、X線吸収率が0に変更される。またX線吸収率が5.0〜17.0の範囲の数値が設定されている画素では、はんだに対応するものと判断されて、X線吸収率が10.0に変更される。部品本体、基板、リードに対応する画素も同様に、それぞれテーブル内の標準値に基づきX線吸収率が変更される。
不良モデルデータを編集する作業でも同様に、3次元画像中の編集された部位に対応する画素のデータを、上記のテーブルに基づく標準値により変更する。たとえば、材料ボタン104のうちの「空気」が選択されてはんだの部分がクリックされると、そのクリック箇所に対応する画素のデータは、10.0から0に変更される。
このような処理によって、3次元画像中のX線吸収率を示す点の分布状態を変更することができる。
なお、この場合の変更処理では、元の良品モデルデータは、変更されずにメモリ22に保存され、良品モデルデータをコピーしたデータが変更されて、不良モデルデータに設定される。元の良品モデルデータは、必要に応じて編集ウィンドウ100に呼び出すことができるので、編集をやり直すことや、1つの良品モデルデータから複数の不良モデルデータを作成することが可能である。
さらに、上記の例では、1つのはんだ付け部位を対象にして、良・不良の各モデルデータを作成したが、複数のはんだ付け部位を含む範囲の3次元画像データによりモデルデータを設定してもよい。たとえば、IC5については、複数のリード6とそれらのバックフィレット7を含む範囲を対象に良品モデルデータを作成した後に、リード6間にはんだを追加する編集作業によって、ブリッジの発生を示す不良モデルデータを作成することができる。
上記のように、検出すべきはんだの不良には種々の形状のものが考えられるが、この実施例では、これらの不良形状を表す不良モデルデータをすべて良品モデルデータから作成することができる。よって、実物の不良モデルがなくとも、検査前の確認作業を問題なく行うことができる。
以下、図10を用いて、検査前の確認処理時に実施される処理の一連の流れを説明する。まず、ユーザにより、シミュレーションの対象となる部品の良品モデル(以下、「良品部品」という。)が実装された基板が基板支持テーブル2にセットされる(ステップ1)。
さらに、ユーザが、良品部品の位置を指定して、処理の開始操作を行うと、この部品に対し、X線管3およびFPD4が図5に示した関係をもって配置されるように基板1およびFPD4の位置を調整して、X線CTモードによる処理を開始する。以下、三者の位置関係を変更しながら複数回の透視撮影を実行し、生成された各X線透視画像を用いて複数の断層画像を再構成する。さらにこれらの断層画像に基づき、良品部品の各構成点の空間座標とX線吸収率を表す数値とを対応づけることにより、良品部品の3次元画像データを生成する(ステップ2)。この3次元画像データが良品モデルデータの基本形となる。
つぎに、上記の3次元画像データの全体または一部に対してステップ3,4を実行する。ステップ3では、図9に示したテーブルに基づき、3次元画像中の各画素に設定された数値(X線吸収率)を、それぞれ対応する材質に応じた標準のX線吸収率に置き換える。ステップ4では、FPD4の感度のばらつき等によって生じた微小なノイズを、モフォロジー演算などの手法を用いて除去する。なお、ステップ3,4の処理を実行する対象となる範囲を限定する場合には、ステップ2で生成された3次元画像データによる全画像を表示して、ユーザに処理対象部位を選択させるようにしてもよい。
上記の処理により、X線吸収率を表す数値が材料毎に統一され、ノイズが除去された3次元画像データが生成されると、ステップ5では、この3次元画像データを良品モデルデータとして確定し、メモリ22に保存する(ステップ5)。
ステップ6では、この良品モデルデータのコピーを作業メモリにセットするとともに、先の図6に示した編集画面を立ち上げ、編集ウィンドウ100内に、コピーされたデータに基づく3次元表示を行う。そして、この3次元表示に対するユーザの編集操作に応じて表示を変更し、これに合わせて、作業メモリ内のデータも変更する。
編集操作が終了し、シミュレーション開始ボタン108が操作されると(ステップ7が「YES」)、その時点で作業用メモリに保存されているデータを不良モデルデータとして確定する(ステップ8)。さらに、確定した不良モデルデータを用いて、トモシンセシスモードのシミュレーションを実行し、複数の断層画像を生成する(ステップ9)。最後に、ユーザに確認させるために、各断層画像、またはこれらの画像から生成した3次元画像をモニタ24に表示し(ステップ10)、処理を終了する。
なお、先に述べたように、この実施例では、1つの良品モデルデータから複数の不良モデルデータを作成することができるので、シミュレーションも、作成された不良モデルデータ毎に実施することができる。また、良品モデルデータについても、同様にシミュレーションを実施することができるので、良品モデルデータのシミュレーション結果と不良モデルデータのシミュレーション結果とを照合できるような画面を示すこともできる。
よって、ユーザは、良品モデルデータから検出すべき不良形状を表す不良モデルデータを作成した後、この不良モデルデータが示す不良をトモシンセシスモードによる撮影で検出することができるかどうかを、容易に判断することができる。さらに、検出が可能な場合には、不良モデルデータによるシミュレーション結果を良品モデルデータによる結果と対比することにより、検査の判定基準に適したパラメータ(面積、はんだ断面の幅など)の選定や、具体的な判定基準値を設定する処理を、容易かつ的確に行うことができる。
つぎに、上記の例では、トモシンセシスモードのシミュレーションを実施するようにしたが、これに限らず、X線CTモードのシミュレーションも実施することができる。たとえば、同じモデルデータを用いて各モードのシミュレーションを順に実施し、双方の結果を比較すれば、検査に適した方法を確認する上での利便性をより向上することができる。また、X線CTモードによる検査を実施すると決めた後でも、判定基準のパラメータや判定基準値を設定するために、シミュレーションを利用することができる。
さらに、上記の例では、はんだの検査を行うことを前提に、はんだの不良形状を示す不良モデルデータを作成してシミュレーションを実施したが、はんだ以外の構成物(電極など)を検査する目的で装置を使用する場合にも、同様の方法で不良モデルデータを作成し、シミュレーションを実施することができる。
さらに、上記の例では、図10に示したすべてのステップを検査装置内で実施したが、ステップ3より後の処理は、検査装置とは別体のコンピュータで実施することも可能である。たとえば、検査装置でステップ1,2を実行することにより基本形の良品モデルデータを生成した後に、これを別体のコンピュータに入力してステップ3〜5を実行し、完成した良品モデルデータを当該コンピュータのメモリに保存しておけば、必要に応じて、この保存データを呼び出して、ステップ6以下の処理を実行することができる。このような方法は、ユーザに検査内容をデモストレーションする目的や、検査に用いられるパラメータの設定値を確認する目的にも利用することができる。
上記の点に関連する実施例として、図11および図12を用いて、上記のシミュレーションを実施するコンピュータシステムについて説明する。このシステムは、検査に先立ち、検査に必要な各種パラメータを設定し、その設定に基づくシミュレーションを実施して、正しい検査結果が得られるかどうかを確認するためのもので、基板検査装置201、端末装置202、およびシミュレーション実行用のサーバ203(以下、単に「サーバ203」)という。)などにより構成される。
基板検査装置201は、図1および図2に示した構成を具備する。端末装置202は、キーボードやマウス等の操作部やモニタが接続されたコンピュータであり、基板検査装置201およびサーバ203の双方に接続される。サーバ203は、端末装置202より高い性能のCPUが搭載されたコンピュータにより構成される。
基板検査装置201は、検査対象部品の3次元画像データを生成する処理(図10のステップ1,2に相当する。)を実行する。端末装置202では、この3次元画像データの配信を受けて、モデルデータの編集に関する処理を実行するほか、検査用のパラメータを設定したり、シミュレーション結果を確認する目的に使用される。
サーバ203には、X線CTおよびトモシンセシスの双方に関して、3次元画像データを用いて断層画像を再構成する処理をシミュレーションするためのプログラムが格納されており、端末装置202から指定された内容に応じたシミュレーションを実行する。
上記構成において、基板検査装置201では、ユーザにより準備された良品モデルおよび不良モデルを対象にX線CTモードによる処理を実行して、モデルデータの基本となる3次元データを作成し、端末装置202に配信する。端末装置202では、配信された3次元データに対し、図10のステップ3,4に相当する処理を実行することにより良品モデルデータや不良品モデルデータを確定し、これらのモデルデータが表す3次元形状をモニタに表示する。
上記の3次元形状の表示画面において、ユーザが、所定のモデルおよび断層撮影のモード(X線CTまたはトモシンセシス)を選択してシミュレーションの開始を指定すると、選択されたモデルデータがサーバ203に送信され、選択されたモードによるシミュレーションが実行される。シミュレーションの結果は端末装置202に送信され、そのシミュレーションにより生成された断層画像がモニタに表示される。
この実施例でも、実物の不良モデルを準備できない場合には、端末装置202に図6に示したのと同様の編集作業用画面を立ち上げて、不良モデルデータを編集することができる。この場合には、良品モデルデータのほか、実物の不良モデルから作成した不良モデルデータを編集の対象にすることもできる。
さらにこの実施例では、サーバ203側で、モデルデータを対象にした断層撮影をシミュレートした後に、端末装置202側でそのシミュレーション結果を表示しながら、検査用の各種パラメータを設定する操作を受け付け、設定された各パラメータを用いた検査をシミュレートすることもできる。この検査のシミュレーションの結果は、図12に示すような画面構成により表示される。
図12の表示例は、BGA中の4個のはんだ電極を対象に、それぞれのはんだ電極につき作成されたモデルデータを用いてX線CTモードをシミュレートした後、さらに検査用シミュレーションを実行した結果を示すものである。
画面の左側には、断層画像の表示用ウィンドウ210と判定結果の表示用ウィンドウ211が示されている。また画面の右側には、断層撮影用のパラメータの表示用ウィンドウ212と、検査用パラメータの表示用ウィンドウ213がそれぞれ示され、さらに、画面の右下には、設定確定および設定変更のためのボタン214,215が表示されている。
断層画像の表示ウィンドウ210内には、3つの領域s1,s2,s3が設定され、このうちの領域s1に各はんだ電極の横断層画像が表示される。領域s2には、図中の直線m1に対応する縦断層画像が、領域s3には、直線m2に対応する縦断層画像が、それぞれ表示される。
なお、領域s2,s3内の直線m3,m4は、横断層画像に対応する平面を示すものである。
判定結果の表示ウィンドウ211には、各はんだ電極に対する判定結果(OK/NG)が表示される。なお、この例では、領域s1内の4つのはんだ電極のうち、左下のものが不良モデルデータにより生成されており、ウィンドウ211内でも、この不良モデルデータに対応する「ボール3」の判定結果として、「NG」が表示されている。
ウィンドウ212には、断層撮影に関するパラメータとして、選択されたモード、透視撮影の回数(プロジェクション数)、投影角度(図5の直線Lとmとがなす角度)が表示されている。ウィンドウ213には、検査用のパラメータとして、判定対象の断層画像に対応する平面の高さ(検査断層高さ)、断層画像中のはんだ電極の面積(断面面積)および当該はんだ電極の真円度(断面真円度)が表示されている。
なお、断面面積および断面真円度の値は、良品として判定できる範囲の最小値(しきい値)を示すもので、この例では最適な値に対する割合(%)として表されている。ウィンドウ211内の判定結果は、これらのしきい値による判定の結果を示すものである。
また断面面積や断面真円度は、各はんだ電極毎に設定された検査領域内の画像を処理することにより求められる。ウィンドウ210中の横断層画像の表示領域s1では、各はんだ電極の断層画像に対し、それぞれ検査領域を表す矩形枠rが示されている。
なお、上記のウィンドウ210〜213のうち、断層画像の表示用ウィンドウ210およパラメータの表示用のウィンドウ212,213は、検査用パラメータの設定用画面にも表示される。ただし、ウィンドウ212,213中の設定データは、当初は空白であり、ユーザの入力を受け付ける状態に設定される。また、ウィンドウ210の領域s1には、当初は検査領域を示す矩形枠rは表示されておらず、ユーザによる領域設定操作に応じて矩形枠rが表示される。
図12の検査シミュレーションの結果表示画面によれば、ユーザは、各はんだ電極の形状に適合する判定が行われているかや、設定した各種パラメータが適切であったかなどを容易に確認することができる。ここで、ユーザがシミュレーションの結果が適切であると判断して設定確定ボタン214を操作すると、端末装置202では、各種パラメータの設定を確定し、基板検査装置201に送信する。基板検査装置201は、これらのパラメータを検査に使用するためにメモリ22に登録する。
一方、設定が不適切であるとして、設定変更ボタン215が操作された場合には、各種パラメータの設定がキャンセルされ、パラメータの設定用画面に戻る。ここで、ウィンドウ213内のパラメータまたは検査領域の設定データが変更された場合には、変更されたパラメータを用いて検査のシミュレーションを再度実行した後、その結果を表示する。またウィンドウ212内の撮影用のパラメータも変更された場合には、変更されたパラメータをサーバ203に送信し、サーバ203側で断層撮影のシミュレーションを再実行する。この後、端末装置202において、新たに作成された断層画像を対象にした検査シミュレーションを実行する。
上記の検査シミュレーションによれば、ユーザは、正確な検査結果が得られるかどうかを確認してから設定を確定することができるので、検査に適したパラメータを容易に設定することができる。また、このシミュレーションに際しても、編集作業により各種形状の不良モデルデータを作成して、これらの不良を正しく検出できるかどうかをチェックすることができるから、設定されるパラメータの信頼度を高めることができる。
X線利用の基板検査装置の撮影に関する構成を示す図である。 上記の基板検査装置のブロック図である。 トモシンセシスによる断層撮影の原理を示す図である。 トモシンセシスによる画像再構成の具体例を示す図である。 X線CTによる断層撮影時の基板、X線管、FPDの関係を示す図である。 不良モデルデータの編集画面の例を示す図である。 バックフィレットを対象にした編集例を示す図である。 はんだ電極を対象にした編集例を示す図である。 材料毎のX線吸収率の数値範囲および標準値の例を示すテーブルである。 検査前に実行される処理の流れを示すフローチャートである。 基板検査装置外でシミュレーションを実施する場合のシステム構成を示すブロック図である。 検査シミュレーションの結果表示画面の例を示す図である。
符号の説明
1 基板
3 X線管
4 フラットパネルディテクタ(FPD4)
7 バックフィレット
10 はんだ電極
21 制御部
22 メモリ
24 モニタ
25 操作部
100 編集ウィンドウ

Claims (4)

  1. 基板に実装された部品のはんだ付け部位に対するX線断層撮影をシミュレートする方法であって、
    はんだの形状が良好な部品を対象にしたX線CTによって、前記はんだを含む所定大きさの部位を構成する複数の点の空間座標と各点におけるX線吸収率を示す数値とを対応づけた良品モデルデータを生成する第1ステップ、
    前記良品モデルデータに基づく3次元画像を表示して、その表示中のはんだの形状を変更する編集操作を受け付け、この操作に応じて前記良品モデルデータ中のはんだのX線吸収率を表す点の分布状態を変更することにより、前記はんだの不良モデルデータを作成する第2ステップ、
    前記不良モデルデータを用いた仮想のX線透視撮影を、不良モデルデータが表すはんだに対するX線源の相対位置が毎回変更されると仮定して複数回実行し、各撮影の結果を用いて前記不良モデルデータが示すはんだの断層画像を生成する第3ステップ、
    第3ステップで生成された断層画像または断層画像から求めた3次元画像を表示する第4ステップ、の各ステップを実行する、
    ことを特徴とする、X線断層撮影のシミュレーション方法。
  2. 前記第1ステップは、X線CTによる断層撮影を行う機能を具備する装置において実行され、
    前記第2〜4の各ステップは、前記第1ステップにより生成された良品モデルデータの入力を受け付けたコンピュータにより実行される、請求項1に記載されたX線断層撮影のシミュレーション方法。
  3. 前記第3ステップでは、少なくとも前記不良モデルデータが表すはんだ内の一平面を処理対象として、トモシンセシスによる断層撮影の原理に基づく処理を実行することにより、処理対象の平面の断層画像を生成する、請求項1または2に記載されたX線断層撮影のシミュレーション方法。
  4. 基板に実装された部品のはんだ付け部位に対するX線断層撮影を、表示装置が接続されたコンピュータにシミュレートさせるためのプログラムであって、
    シミュレーションの対象部品におけるはんだの良好な立体形状を表す良品モデルデータとして、前記良好な形状のはんだを含む所定大きさの部位を構成する複数の点の空間座標と各点におけるX線吸収率を示す数値とを対応づけたデータを入力する第1ステップ、
    前記良品モデルデータに基づく3次元画像を前記表示装置の画面に表示して、その表示中のはんだの形状を変更する編集操作を受け付け、この操作に応じて前記良品モデルデータ中のはんだのX線吸収率を表す点の分布状態を変更することにより、前記はんだの不良モデルデータを作成する第2ステップ、
    前記不良モデルデータを用いた仮想のX線透視撮影を、不良モデルデータが表すはんだに対するX線源の相対位置が毎回変更されると仮定して複数回実行し、各撮影の結果を用いて前記不良モデルデータが示すはんだの断層画像を生成する第3ステップ、
    第3ステップで生成された断層画像または断層画像から求めた3次元画像を前記表示装置の画面に表示する第4ステップ、
    の各ステップを前記コンピュータに実行させることを特徴とする、X線断層撮影のシミュレーション用プログラム。
JP2007341523A 2007-12-29 2007-12-29 X線断層撮影のシミュレーション方法およびシミュレーション用のプログラム Active JP5125500B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007341523A JP5125500B2 (ja) 2007-12-29 2007-12-29 X線断層撮影のシミュレーション方法およびシミュレーション用のプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007341523A JP5125500B2 (ja) 2007-12-29 2007-12-29 X線断層撮影のシミュレーション方法およびシミュレーション用のプログラム

Publications (2)

Publication Number Publication Date
JP2009162597A JP2009162597A (ja) 2009-07-23
JP5125500B2 true JP5125500B2 (ja) 2013-01-23

Family

ID=40965385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007341523A Active JP5125500B2 (ja) 2007-12-29 2007-12-29 X線断層撮影のシミュレーション方法およびシミュレーション用のプログラム

Country Status (1)

Country Link
JP (1) JP5125500B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5432795B2 (ja) * 2010-03-29 2014-03-05 株式会社サキコーポレーション 検査装置
JP6969149B2 (ja) 2017-05-10 2021-11-24 富士フイルムビジネスイノベーション株式会社 三次元形状データの編集装置、及び三次元形状データの編集プログラム
EP3982260A4 (en) * 2019-06-07 2022-12-28 Nippon Telegraph And Telephone Corporation DIGITAL TWIN IMPLEMENTATION DEVICE, DIGITAL TWIN IMPLEMENTATION METHOD, PROGRAM AND DATA STRUCTURE
EP4119055A4 (en) 2020-03-13 2023-08-09 FUJIFILM Corporation IMAGE GENERATING DEVICE AND PROGRAM, LEARNING DEVICE AND PROGRAM, AND IMAGE PROCESSING DEVICE AND PROGRAM
CN113219552B (zh) * 2021-04-21 2023-12-26 核工业二一六大队 一种松散覆盖层下伏地下水补给窗口的识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003240736A (ja) * 2002-02-21 2003-08-27 Shimadzu Corp X線断層面検査方法、及びx線断層面検査装置
JP2005249426A (ja) * 2004-03-01 2005-09-15 Toyota Motor Corp 鋳造内部欠陥検査支援装置及び方法
JP4211704B2 (ja) * 2004-07-27 2009-01-21 トヨタ自動車株式会社 鋳巣計測方法
JP2006177760A (ja) * 2004-12-22 2006-07-06 Nagoya Electric Works Co Ltd X線検査装置、x線検査方法およびx線検査プログラム
JP2007170926A (ja) * 2005-12-20 2007-07-05 Matsushita Electric Ind Co Ltd X線検査装置、断層画像異常表示装置、x線検査方法、断層画像異常表示方法、プログラム、および記録媒体

Also Published As

Publication number Publication date
JP2009162597A (ja) 2009-07-23

Similar Documents

Publication Publication Date Title
JP5125423B2 (ja) X線断層画像によるはんだ電極の検査方法およびこの方法を用いた基板検査装置
KR102052873B1 (ko) 촬영 시스템을 사용하여 관심 영역의 3차원 모델을 생성하기 위한 방법 및 장치
US10054432B2 (en) X-ray inspection apparatus and control method
JP5246187B2 (ja) X線検査装置、x線検査方法およびプログラム
JP6131606B2 (ja) 放射線撮影装置およびそれにおける画像処理方法
JP5125500B2 (ja) X線断層撮影のシミュレーション方法およびシミュレーション用のプログラム
JP6680470B2 (ja) 画像取得装置及び画像取得方法並びに画像補正プログラム
JP7164524B2 (ja) X線ct装置
JPWO2009078415A1 (ja) X線検査装置および方法
JP5830928B2 (ja) 検査領域設定方法およびx線検査システム
JP2004045212A (ja) コンピュータ断層撮影装置
US20160133031A1 (en) Radiation ct apparatus
JP2009162596A (ja) 画像確認作業の支援方法およびこの方法を用いたx線利用の基板検査装置
JP2006334319A (ja) X線ct装置とその前処理方法、及びデータ作成装置とその方法、並びに制御プログラム
CN112444565A (zh) 显示控制系统、检查管理系统、显示控制方法及存储介质
JP2007170926A (ja) X線検査装置、断層画像異常表示装置、x線検査方法、断層画像異常表示方法、プログラム、および記録媒体
WO2011089658A1 (ja) 補正用治具を用いた検査装置の補正方法、補正用治具を搭載した検査装置
JP6858391B2 (ja) X線ct装置、画像補正方法及び画像補正プログラム
JP2009237704A (ja) 3次元画像化方法およびx線断層像撮影装置
JP2022010384A (ja) X線ct装置
JP2011080944A (ja) X線ct装置
JP2017205483A (ja) マーキング方法およびコンピュータ断層撮影装置
JP2005127886A (ja) 傾斜型x線ct装置における回転中心軸の較正方法および傾斜型x線ct装置
WO2021181792A1 (ja) 検査システム、検査方法及びプログラム
TWI818349B (zh) 工件高度計測裝置及使用其之安裝基板檢查裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121015

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5125500

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151109

Year of fee payment: 3