JP6107008B2 - 画像測定用プログラム、画像測定機、及び画像測定方法 - Google Patents

画像測定用プログラム、画像測定機、及び画像測定方法 Download PDF

Info

Publication number
JP6107008B2
JP6107008B2 JP2012196266A JP2012196266A JP6107008B2 JP 6107008 B2 JP6107008 B2 JP 6107008B2 JP 2012196266 A JP2012196266 A JP 2012196266A JP 2012196266 A JP2012196266 A JP 2012196266A JP 6107008 B2 JP6107008 B2 JP 6107008B2
Authority
JP
Japan
Prior art keywords
image
measurement
touch panel
point
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012196266A
Other languages
English (en)
Other versions
JP2014052256A (ja
Inventor
理司 梅▲崎▼
理司 梅▲崎▼
勇作 橘
勇作 橘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012196266A priority Critical patent/JP6107008B2/ja
Publication of JP2014052256A publication Critical patent/JP2014052256A/ja
Application granted granted Critical
Publication of JP6107008B2 publication Critical patent/JP6107008B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、画像により試料の2点間の距離や特定範囲の面積等を測定するために用いる画像測定用プログラム、画像測定機、及び画像測定方法に関する。
従来、画像により試料の任意の2点間の距離や特定範囲の面積等を測定する画像測定機において、測定の基準点となる測定点を使用者が指定する操作のためにタッチパネルを用いたものが提案されている(例えば、特許文献1参照)。これによれば、使用者が画像上の任意の点を直感的に指定することができ、画像測定機の操作に熟達していない者でも容易に画像測定機を使用することが出来る。
特開2004−177325号公報
しかしながら、ペンや指による入力ではタッチパネルに接触する面積が大きいため、画像表示部に表示されている画像の特定のピクセル位置を入力することが困難であり、使用者が意図する通りの正確な測定を行うのが困難であるという問題がある。
このような問題に鑑みて、本発明は、タッチパネルを用いて正確な測定を可能とする画像測定用プログラム、画像測定機、及び画像測定方法を提供することを目的とする。
上記課題を解決するために本発明では、コンピュータに、
使用者が画像測定の基準点となる測定点を指定する前に試料画像の拡大表示のためのタッチパネルの操作を行うことを可能とし、これによって該タッチパネルから出力されたデータに基づいて、前記使用者が前記操作によって指定した点を中心として拡大した前記試料画像を含む画像データを前記タッチパネルへ出力する画像出力機能と、
前記使用者が前記測定点が未指定の拡大した前記試料画像を見ながら行う前記タッチパネルの操作によって前記測定点が未指定の拡大した前記試料画像に対して前記測定点を指定することを可能とし、これによって該タッチパネルから出力された前記測定点の指定に対応するデータに基づいて、前記測定点を確定する測定点確定機能と、
前記測定点を用いて前記画像測定を行う画像測定機能と、
前記画像測定機能によって測定された結果を出力する結果出力機能と、
を実現させることを特徴とする画像測定用プログラムを提供する。
また、上記課題を解決するために本発明では、コンピュータが備える画像出力機能が、使用者が画像測定の基準点となる測定点を指定する前に試料画像の拡大表示のためのタッチパネルの操作を行うことを可能とし、これによって該タッチパネルから出力されたデータに基づいて、前記使用者が前記操作によって指定した点を中心として拡大した前記試料画像を含む画像データを前記タッチパネルへ出力するステップと、
コンピュータが備える測定点確定機能が、前記使用者が前記測定点が未指定の拡大した前記試料画像を見ながら行う前記タッチパネルの操作によって前記測定点が未指定の拡大した前記試料画像に対して前記測定点を指定することを可能とし、これによって前記タッチパネルから出力された前記測定点の指定に対応するデータに基づいて、前記測定点を確定するステップと、
コンピュータが備える画像測定機能が、前記測定点を用いて前記画像測定を行うステップと、
コンピュータが備える結果出力機能が、前記画像測定機能によって測定された結果を出力するステップと、
を実行することを特徴とする画像測定方法を提供する。
本発明によれば、タッチパネルを用いて正確な測定を可能とする画像測定用プログラム及び画像測定機を提供することができる。
本願の第1実施形態に係る画像測定機を示す概略構成図である。 本願の第1実施形態に係る画像測定機を示すブロック図である。 本願の第1実施形態に係る画像測定機のタッチパネルに表示される画像の表示例を示すイメージ図である。(a)測長メニューのツールバーが表示された状態を示すイメージ図である。(b)画像拡大アイコンと測定点指定アイコンが表示された状態を示すイメージ図である。(c)拡大操作による画像の拡大を示すイメージ図である。(d)測定結果が表示された画像のイメージ図である。 本願の第1実施形態に係る画像測定機の特徴点の表示例を示すイメージ図である。(a)特徴点が表示された状態を示すイメージ図である。(b)円を描くようにドラッグすることにより特徴点の表示と非表示を切り替える動作を示すイメージ図である。(c)特徴点以外の部分を押下することで、特徴点の表示と非表示を切り替える動作を示すイメージ図である。 本願の第2実施形態に係る画像測定機のタッチパネルに表示される画像の表示例を示すイメージ図である。(a)測長メニューのツールバーが表示された状態を示すイメージ図である。(b)測定点を指示する際の画像を示すイメージ図である。(c)測定結果が表示された画像のイメージ図である。 本願の第2実施形態の情報処理装置による測定開始から測定完了までの処理の流れを示すフローチャートである。 本願の第2実施形態に係る画像測定機の特徴点の表示例を示すイメージ図である。(a)注目範囲内に特徴点が表示された状態を示すイメージ図である。(b)円を描くようにドラッグすることにより特徴点の表示と非表示を切り替える動作を示すイメージ図である。(c)注目範囲の外を押下することで、特徴点の表示と非表示を切り替える動作を示すイメージ図である。 本願の第3実施形態に係る画像測定機による測定開始から測定完了までの処理の流れを示すフローチャートである。 本願の第4実施形態に係る画像測定機による測定開始から測定完了までの処理の流れを示すフローチャートである。 本願の第5実施形態に係る画像測定機による測定開始から測定完了までの処理の流れを示すフローチャートである。
(第1実施形態)
以下、本願の第1実施形態に係る画像測定機について説明する。
図1は第1実施形態に係る画像測定機1の概略構成図である。画像測定機1は、情報処理装置2と、試料観察装置3と、タッチパネル4とから構成されており、各構成要素は、シリアル接続やパラレル接続などの有線、又は、電波や赤外線などを用いた無線により接続されている。この他、情報処理装置2には、マウス、キーボード、プリンター、外付けハードディスク等が接続されていても良い。
情報処理装置2は、後述する記憶装置11、中央処理装置12、インターフェース13(試料観察装置3及びタッチパネル4等との接続部分)を備え、試料観察装置3及びタッチパネル4の制御や、制御に必要なプログラムの保存、画像の保存等を行う。
試料観察装置3は、撮像装置6と、撮像装置6をテーブル等に支持する電動スタンド5とを備え、画像測定する試料を撮像して画像データを情報処理装置2へ出力する。
電動スタンド5は、スタンド台7と、スタンド台7の上部に装備された試料を載せるための電動ステージ8と、スタンド台7から垂直方向で上方へ延びる撮像装置支柱9とから構成されている。撮像装置支柱9は、ステージ8側の面から水平方向にステージ8側へ延び、撮像装置支柱9に沿って上下方向に平行移動することができる電動アーム10を備えている。電動ステージ8及び電動アーム10は情報処理装置2に有線又は無線により接続されており、情報処理装置2によって制御される。電動ステージ8としては、水平方向に試料を移動させることができるスライディングステージや、水平方向に対して傾斜をつけることで試料を斜め方向から観察できるようにするティルティングステージ等を用いることができる。なお、試料を動かすのが適当でない場合等においては、撮像装置6を水平方向に動かしたり、撮像装置6の角度を変化させるように動かしたりする構成とすることもできる。
撮像装置6は、アーム10に固定されており、撮像装置6は情報処理装置2と有線又は無線により接続され、情報処理装置2により制御されており、撮像装置6で撮像した画像データは、情報処理装置2へ出力され、情報処理装置2において記憶、編集等の処理がなされる。
タッチパネル4は、情報処理装置2と有線又は無線により接続されており、情報処理装置2から出力された画像データに基づいて画像を表示し、使用者が指先などによりパネル表面に接触することにより入力した指示を情報処理装置2へ出力する。タッチパネルとしては、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等の動作原理に基づくものを用いる事が出来る。タッチパネル4を押下するものとしては、タッチパネル4の種類に応じて、使用者の指、通常のペン、電磁誘導ペン等の専用のタッチペン等を用いることができる。
なお、図1において情報処理装置2、試料観察装置3、タッチパネル4は、別体として構成されているが、これらの構成要素のうちいずれか2つを一体的に構成することも可能であり、また、全てを一体的に構成することも可能である。さらに、各装置の機能を実現する部分のうち一部を他の装置が備える構成とすることもできる。
図2は、本願の第1実施形態に係る画像測定機を示すブロック図である。
〔情報処理装置2〕
情報処理装置2は、記憶装置11、中央処理装置12及びインターフェース13を有している。
記憶装置11には、使用者が測定点等を指定するために用いる後述の画像測定プログラムがインストールされている。また、記憶装置11は、試料観察装置3で撮像した画像データ、測定結果のデータ等のデータ保存等を行う。記憶装置11は、主記憶装置としてRAM(ランダムアクセスメモリ)、補助記憶装置としてハードディスク等の磁気ディスク、CD、DVD等の光ディスク、光磁気ディスク(MO)、USBメモリ、フラッシュメモリ等の半導体メモリを用いる事が出来る。
中央処理装置12は、使用者の指示に従ってプログラムを実行し、数値計算や情報処理、他の装置の制御等を行う。例えば、使用者が画像測定を行う場合、画像測定プログラムを実行し、使用者が測定点を指定するために必要な画像を撮像するように試料観察装置3へ指示を出し、試料観察装置3によって撮像された画像データに使用者の操作用のアイコンなどを付加した画像データをインターフェース13を介してタッチパネル4へ出力する。使用者がタッチパネル4に表示された画像を見ながら測定点を指定して測定の指示をした場合には、その指示に従って画像測定を行い、測定結果をインターフェース13を介してタッチパネル4へ出力する。なお、中央処理装置12は、測定結果をプリンターや外付けの記憶媒体などへ出力しても良い。
〔試料観察装置3〕
試料観察装置3は、撮像装置6、電動ステージ8、及び、撮像装置支柱9を備えており、中央処理装置12の指示を受けて試料の画像を撮像する。
撮像装置6は、CCD(電荷結合素子)撮像デバイス14と、CCD撮像デバイス14のCCD16上に像を結ぶための光学系15と、照明装置21とを有している。なお、照明装置21は撮像装置6と別体として構成しても良い。
CCD撮像デバイス14は、撮像素子としてのCCD16と、CCD16を制御するCCD制御回路17とを有しており、中央処理装置12からの指示により試料からの光をデジタルデータに変換して情報処理装置2へ出力する。
光学系15は、レンズ系18と、合焦機構19と、ズーム機構20とを備えている。
合焦機構19は、オートフォーカス機能と、マニュアルフォーカス機能とを有することが好ましい。
ズーム機構20は、情報処理装置2からの指示に従って電動により駆動するものであり、これにより、使用者が測定点付近を拡大して観察することができ、測定点を正確に指定することが可能となる。
照明装置21は、撮像装置6が撮像するために試料を照らすためのものである。照明装置21は撮像装置6のレンズ鏡筒前端部に円周方向に並べて配置されたLEDライトとし、円周方向の全周のみならず特定の部分のみを点灯することもできるように構成することが好ましい。例えば、円周方向に並んだLEDライトを隣り合うもの同士で8つのグループに分割し、グループごとに点灯と消灯をすることができるものとする。これにより、使用者の意図した向きから試料に照明光を当てることができ、試料の陰影のある画像を撮像することが可能となる。
電動ステージ8は、ステージ22と、ステージ用モータ23と、ステージ用モータ制御部24と、ステージ位置検出部32とを備えており、ステージ位置検出部32からの信号に基づく中央処理装置12からの指示を受けたモータ制御部24がステージ用モータ23を制御してステージ22を所望の位置へ移動させる。ステージ用モータ23として、ステッピングモータを用いる事が出来る。ステージ位置検出部32としては、XY方向それぞれに、例えば、エンコーダ、ポテンショメータ、レーザ距離センサなどを設置することができる。
撮像装置支柱9は、アーム10と、アーム用モータ25と、アーム用モータ制御部26とアーム位置検出部(不図示)とを備えており、アーム位置検出部からの信号に基づく中央処理装置12からの指示を受けたアーム用モータ制御部26がアーム用モータ25を制御し、アーム20を指示された高さへ移動させる。アーム用モータ25として、ステッピングモータを用いる事が出来る。アーム位置検出部としては、例えば、エンコーダ、ポテンショメータ、レーザ距離センサなどを設置することができる。
〔タッチパネル4〕
タッチパネル4は、表示装置27と、位置入力装置28とを備えており、情報処理装置2から出力された画像データを表示装置27において表示し、その画像を見ながら使用者がタッチパネル4の表面を押下し、それを位置入力装置28が感知して、入力された指示を情報処理装置2へ出力する。
〔操作方法〕
次に図3を参照しつつ、本第1実施形態に係る画像測定機1の操作とそれに伴う画像測定機1の作動について説明する。図3は、本第1実施形態に係る画像測定機1のタッチパネル4に表示される画像の表示例を示すイメージ図である。
使用者が情報処理装置2の電源を入れると、オペレーティングシステム(OS)が起動し、タッチパネル4の電源を入れると、タッチパネル4の画面上に画像を拡大するためのアイコンや、画面の色補正をするためのアイコンなど、複数のアイコンが表示される。その中から画像測定メニューを示すアイコンを使用者が押下すると、記憶装置11に保存された画像測定プログラムが起動する。
以下、画像測定プログラムに基づく使用者の操作と画像測定機1の作動とについて説明する。
画像測定プログラムが起動すると、図3(a)に示すような画像測定のツールバー29と試料観察装置3によって撮像された電動ステージ8上の試料の画像P1が表示される。
ツールバー29には、2点間距離の測定、円の径・円周等の測定、角度の測定、一の直線からの複数の点までの距離の測定などを行う機能を示すアイコンが表示される。図面においてアイコンの表示は詳細を省略しているが、使用者がそのアイコンを押下して用いる機能の内容を容易に理解することができる記号や図形とすることが好ましい。なお、ツールバー29の位置や大きさは図3(a)に示すものに限られず、また、設定によって使用者が位置や大きさを変更することが出来るものとしても良い。
ツールバー29の複数のアイコンから使用者が実行する測定機能を示すアイコンを押下すると、図1(b)に示すように、画面右側に画像拡大アイコン30と、測定点指定アイコン31とが表示される。表示された時点においては、情報処理装置2は、画像拡大アイコンが選択されたものと認識しており、画像拡大アイコン30が押下されて凹んでいるようにタッチパネル4に表示される。なお、画像拡大アイコン30と測定点指定アイコン31の位置や大きさはこれに限られるものではなく、また、設定によって使用者が位置や大きさを変更することができるものとしても良い。
この状態で使用者が画像を拡大したい位置を押下すると、図3(c)に示すように、押下した点を中心に画像が拡大される。図3(c)においては、図面に向かって左側が拡大前の画像、右側が押下した点を中心として拡大された画像を示している。
画像の拡大率はあらかじめ決められていても良いが、使用者が1回の拡大をどの程度の拡大率とするかを設定できるようにしても良い。また、タッチパネル4を感圧式のタッチパネルとして、タッチパネル4が感知した押下の圧力に応じて拡大率を変化させても良い。例えば、押下する圧力が高い場合には表示倍率が高く、押下する圧力が低い場合には表示倍率が低いものとすることができる。
指定したい部分が十分に拡大され、使用者が、測定点指定アイコン31を押下した後に測定点とする部分を押下すると、情報処理装置2が測定点を確定し、タッチパネル4に測定点を示す目印33を表示させる。一方、使用者が指定したい部分が十分に拡大されていないと判断した場合、測定点指定アイコン31を押下しなければ画像拡大アイコン30が選択されたままとなり、使用者が再度拡大したい点を押下して、十分に拡大されてから測定点指定アイコン31を押下して測定点とする位置を押下する。測定点指定アイコン31を押下したものの、使用者が十分に画像が拡大されていないと判断した場合には、画像拡大アイコン30を押下すると、情報処理装置2によって再度画像を拡大することができる状態に戻される。なお、測定点を指定した後に測定点を示す目印をドラッグすること等により測定点の位置を調整できるようにしても良い。ドラッグによる調整を可能とする場合、下記第2実施形態において説明するように、タッチパネルの感知した座標と使用者が指定する点とのずれを調整する機能を有してもよい。
測定点の指定は、例えば、2点間測定であれば、その2点を指定し、円の径・円周等の測定であれば、円上の点を3点指定するなど、測定内容に応じて行う。使用者が測定点指定アイコン31にタッチして測定点を指定する段階で、情報処理装置2によってタッチパネル4に測定点をどのように指定する必要があるのかを表示することが好ましい。
測定点を複数指定する場合、一つ目の測定点の指定が終わるとタッチパネル4に表示された画像が再び拡大する前の図3(b)に示す状態に戻り、使用者は一つ目の測定点の指定と同様の操作を全ての測定点を指定するまで繰り返す。
全ての測定点が指定されると、情報処理装置2によって画像測定が行われ、図3(d)に示すように、タッチパネル4に拡大前の試料の画像が表示され測定結果が試料の画像上に重ねて表示(オーバーレイ)される。画像測定は、例えば、2点間の距離の測定においては、CCDのピクセル間距離と画像の倍率から画像の1ピクセルあたりの長さを計算し、その長さに2点間に存在する画像のピクセルの数を掛けることにより行うことができる。又は、前もってスケールを使用して基準倍率の画像の1ピクセルあたりの基準長さを測定しておき、その基準長さと実際の画像の倍率とから1ピクセルあたりの長さを計算し、その長さに2点間に存在するピクセルの数を掛けることにより行うことが出来る。また、面積の測定においては、面積の計算に必要な距離を測定して計算することができる他、画像の倍率を掛け合わせることで1ピクセル当たりの面積を算出し、その面積に測定の対象となっている面の中に含まれるピクセルの数を掛けることで計算することができる。
〔試料画像の拡大〕
上述した試料画像の拡大は、光学ズーム又は電子ズームを単独で用いる方法と、光学ズーム及び電子ズームを併用する方法の、いずれも用いる事ができる。光学ズームの例として、デジタルマイクロスコープ「ShuttlePix」(登録商標)では、光学ズーム倍率が20倍のものが市販されている。
光学ズームを用いる場合、使用者が拡大の中心点としてその時点で撮像装置6が撮像している中心点以外を指定した場合、情報処理装置2は、両中心点間の(X、Y)座標の差分を算出し、情報処理装置2から電動ステージ8へ、試料の指定された部分が撮像装置6が撮像する画像の中心に位置するように動かす向き及び動かす距離の指示が出され、電動ステージ8が試料を動かすとともに、ステージ位置検出部32にて位置検出が行われ、位置調整が行われる。また、情報処理装置2から電動ズーム機構20へズーム倍率を上げるように指示が出され、電動ズーム機構20がズーム倍率を上げ、撮像装置6が試料を撮像して、撮像した画像データを情報処理装置2へ出力する。
一方、電子ズームを用いる場合、使用者が拡大の中心点としてタッチパネル4にタッチした部分を中心として、中央処理装置12が電子ズームを行う。本第1実施形態に係る画像測定機1は試料観察装置3を備えているが、電子ズームのみを用いる場合には、試料観察装置3を備えなくても良く、例えば、既に撮像された画像データを記憶した記憶装置11から読み出して、その画像データを電子ズームによって拡大して用いることもできる。
光学ズームと電子ズームを併用する場合は、タッチパネル4の解像度と画像の解像度が等しくなる倍率までは電子ズームを用い、解像度が等しくなった後は光学ズームを用いて画像を拡大する。光学ズームが最高倍率になった後は、再び電子ズームを用いる。これにより、光学的な分解能と画像の分解能を効率的に利用する事が出来る。
〔エッジ検出〕
測定点の指定に際し、タッチパネル4にエッジ検出により得られた特徴点を測定点の候補として表示することもできる。例えば、図4(a)に示すように、エッジ検出の特徴点を番号と共に目印によって表示し、使用者が番号が付された目印を押下することで、測定点がその特徴点の位置に確定する。又は、画像測定機がキーボードを備える場合には、キーボードによって番号を指定することで、測定点がその特徴点の位置に確定する。なお、目印の形状はこれに限られず、キーボードを用いない場合には番号が付されていなくても良い。エッジ検出法としては、キャニー法や微分エッジ検出法など公知の方法を用いる事が出来る。
当該特徴点の表示は、タッチパネル上の操作によって表示と非表示とを切り替えられるようにする事が好ましい。例えば、図4(b)に示すように、タッチパネル4の表面に丸を描くようにドラッグすると特徴点の表示と非表示が切り替わるようにすることができる。また、図4(c)に示すように、タッチパネル4の特徴点以外の部分を連続して2回押下(ダブルタッチ)することで、特徴点の表示と非表示が切り替わるようにすることができる。
(第2実施形態)
次に、本願の第2実施形態に係る画像測定機について説明する。本第2実施形態に係る画像測定機のハードウェアの構成は上記第1実施形態に係る画像測定機1と同様である。本第2実施形態に係る画像測定機は、画像測定プログラムに基づく使用者の操作と画像測定機の作動において第1実施形態に係る画像測定機と異なるため、以下、これについて説明する。なお、図1及び図2に記載された参照符号は第2実施形態の説明においても同じ番号を使用する。
図5は、本第2実施形態に係る画像測定機のタッチパネル4に表示される画像の表示例を示すイメージ図である。
使用者が情報処理装置2の電源を入れると、オペレーティングシステム(OS)が起動し、タッチパネル4の電源を入れると、タッチパネル4の画面上に画像を拡大するためのアイコンや、画面の色補正をするためのアイコンなど、複数のアイコンが表示される。その中から画像測定メニューを示すアイコンを押下すると、記憶装置11に保存された画像測定プログラムが起動する。
画像測定プログラムが起動すると、撮像装置はフレームレート毎に高解像度のライブ画像P1を情報処理装置2内のRAMに取り込む(以降、このライブ画像を「フレーム画像」という)。RAMに取り込まれたフレーム画像のデータは、図5(a)に示すような画像測定のツールバー32の画像と合成されて情報処理装置2からタッチパネル4へ出力され、タッチパネル4に表示される。一般に、タッチパネル4はフレーム画像より解像度の低い場合が多いが、その場合、フレーム画像はタッチパネル4の寸法と解像度に合わせて、フレーム画像全体が表示される。
使用者が、タッチパネル4に表示された画像を見ながら、測定点にしようとする部分が表示されているタッチパネル4の部分を押下すると、図5(b)に示すように、例えば、タッチパネル4から出力されたデータに基づいて、情報処理装置2が使用者の指定する点であると判断した座標を中心とする円とその円の中心を通る破線の十字線(以降、この円と十字線を「指定点の表示」と呼ぶ。)がタッチパネル4上に描画され、使用者はその座標の位置を正確に認識することができる。これにより、タッチパネル4において使用者の意図する座標とタッチパネル4が感知した座標との間にずれが生じたとしても、使用者は画像測定機1が指定点と判断した位置を正確に知ることができる。なお、指定点の表示は円と破線の十字線に限らず、例えば、四角とその対角線でも、円や四角が無くても良く、種々変更が可能である。
使用者がタッチパネル4を指やペンで押下した場合、通常、タッチパネル4に対してある程度の面積をもって接触することになるが、その場合、情報処理装置2は、その中心点が指定されたものとして処理しても良いし、その範囲内の所定の部分が指定されたものとして処理しても良い。ただし、使用者が指等で押下するような場合、使用者は指等に隠れた部分の画像を見ることができないため、情報処理装置2は、接触範囲から所定の方向に所定の距離離れた位置が指定されたものとして処理しても良い。例えば、情報処理装置2は、接触範囲のうち最も上側の部分から上方へ3cm程度離れた位置が指定されたものとして処理する事が出来る。この場合、接触範囲からどの程度離れた位置とするか、及び、接触範囲からどの方向へ離れた位置とするかは、使用者が設定により種々変更することができるようにしても良い。
また、使用者がタッチパネル4に表示された画像の中で測定点とする部分を押下すると、情報処理装置2は、タッチパネルが押下された時点でのフレーム画像をRAM上に保持する(以降、このフレーム画像を「保持フレーム画像」と呼ぶ。)。そして、タッチパネル4から押下された座標のデータが情報処理装置2へ出力され、その座標のデータから情報処理装置2が指定点であると判断した点を中心として拡大画像を撮像するように撮像装置6へ指示が出され、指示を受けた撮像装置6は、光学倍率を高倍にして、指示された点を中心とする試料の拡大画像を撮像し、画像データを情報処理装置2へ出力する。画像の撮像位置の移動、調整については上記第1実施形態と同様である。
タッチパネル4が拡大画像を表示するためには、上記のように光学倍率を高倍にして撮像する他、撮像装置の出力解像度を高解像度に操作したり、情報処理装置2において電子ズームによって画像を拡大したりすることもできる。
撮像装置6から出力された画像データを受け取った情報処理装置2は、以降撮像装置6からフレームレート毎に都度出力される拡大画像(ライブ画像)を、保持フレーム画像上の指定点の表示と共に合成した画像データとして出力し、タッチパネル4は、図5(b)に示すように、その画像を表示する(以下、保持フレーム画像よりも拡大された範囲を「注目範囲」と呼ぶ。)。
指定点の表示と注目範囲の大きさ(以下、単に「注目範囲の広さ」として説明する。)は、タッチパネル4を圧力感知機能付きのものとしておき、情報処理装置2が、タッチパネル4が感知した押下の圧力に応じて変化させるようにしても良い。例えば、強く押されている時は注目範囲を広く、弱い時は注目範囲を狭くすることで、使用者は直感的な操作によって注目範囲の広さを調整することが可能となる。どの程度の押下の圧力によってどの程度注目範囲の広さが変化するのかは、使用者が設定によって調整できるようにしておく事が好ましい。
又は、タッチパネル4を圧力感知機能付きのものとしておき、注目範囲の画像の表示倍率は、情報処理装置2が、タッチパネル4が感知した押下の圧力に応じて変化させるようにしても良い。例えば、強く押されている時は注目範囲の表示倍率が高く、弱い時は注目範囲の表示倍率は低くすることで、使用者は直感的な操作によって表示倍率を調整することが可能となる。どの程度の押下の圧力によってどの程度表示倍率が変化するのかは、使用者が設定によって調整できるようにしておく事が好ましい。
若しくは、これらを組み合わせて、注目範囲の広さと表示倍率は、強く押されている時には注目範囲が広く表示倍率が高く、弱く押されている時には注目範囲が狭く表示倍率が低くなるように、情報処理装置2が処理しても良い。
なお、光学ズームと電子ズームを併用する場合、画像の拡大は、第1実施形態と同様にタッチパネル4の解像度と画像の解像度が等しくなる倍率までは電子ズームを用い、解像度が等しくなると光学ズームを用いて画像を拡大し、光学ズームが最高倍率になると、再び電子ズームを用いるようにする事ができる。
使用者は、タッチパネル4を押下して表示された指定点が意図する位置と異なる場合には、タッチパネル4を押下している指等をタッチパネル4を押下したままタッチパネル4上をずらす(ドラッグする)と、情報処理装置2によって、それに追従して指定点の表示と注目範囲が移動するように処理される。そして、使用者が、指定点が意図する点に重なったと判断した場合に、タッチパネル4から指を離すと、情報処理装置2がその時の指定点の位置を測定点として確定し、タッチパネル4に測定点を示す目印を表示する。本第2実施形態によれば、画像全体が表示された上に注目範囲が表示されるため、注目範囲が画像全体のどの部分を示しているのかを使用者が認識し易いものとなる。
情報処理装置2は、使用者の意図する指定点と、タッチパネルの感知した座標とのずれを調整する機能を有することが好ましい。具体的には、使用者が最初に測定点の指示としてタッチパネル4を押下した時点での指定点の位置(位置1)と、その後使用者がドラッグ操作で移動して押下した指をタッチパネル4から離して確定した測定点の位置(位置2)を記憶しておき、位置1と位置2のペアの記憶が複数個記憶でき、位置1と位置2の移動方向と距離に傾向が確認できた場合に、情報処理装置2は、タッチパネルの認識点と使用者の意図している指定点にずれがあるとみなして指定点の位置を調整する。例えば、測定点の指定を3回行った時に、3回とも位置1に対して位置2が右にずれている場合は、次回からタッチパネルの認識点は、位置1と位置2の右へのずれの3回の平均分、右にずらした点が指示されたものとして処理する。上下方向も同様である。
本第2実施形態に於ける測定開始から測定完了までのフローを図6に示す。
情報処理装置2は、図7(a)に示すように、注目範囲内でエッジ検出により得られた特徴点を測定点の候補として表示した画像データをタッチパネル4へ出力してもよい。例えば、エッジ検出の特徴点を番号と共に表示し、タッチパネル4のドラッグ操作によって指定点を特徴点の番号に重ね合わせると、指定点は特徴点へ移動する。その状態でパネルから押下している指等を離すと、情報処理装置2がその特徴点の位置を測定点として確定し、タッチパネル4上に目印を表示させる。指定点の表示が特徴点に移動した後に他の特徴点や特徴点以外の部分を指定するためには、タッチパネル4を押下している指等を一定距離以上ドラッグすれば、指定点の表示が特徴点から離れて、特徴点の番号に重ね合わせる前の状態に戻るように情報処理装置2によって処理される。
特徴点の表示と非表示は、使用者の指示によって切り替えられるようにしても良い。例えば、図7(b)に示すように、測定点の指定のために押下している指等でタッチパネル4上に丸を描かれたと感知した場合に、情報処理装置2が特徴点の表示と非表示を切り替えるようにしても良い。または、タッチパネル4を複数の接触点を検出することができるマルチタッチパネルやタッチFLO等としておき、図7(c)に示すように、測定点付近の注目範囲の外を、指定点を指定している指等以外の指等によってダブルタッチ等することで、特徴点の表示と非表示を切り替えられるようにしても良い。
必要な測定点が全て指定されると、上記第1実施形態と同様に、情報処理装置2によって長さ等の計算が成され、測定結果をフレーム画像上にオーバーレイした画像データが出力され、図5(c)に示すようにタッチパネル4に表示される。
(第3実施形態)
次に、本願の第3実施形態に係る画像測定機について説明する。本第3実施形態に係る画像測定機のハードウェアの構成は、上記第1実施形態に係る画像測定機と同様である。本第3実施形態に係る画像測定機は、画像測定プログラムに基づく使用者の操作と画像測定機の作動において第1実施形態に係る画像測定機と異なるため、以下、これについて説明する。なお、図1及び図2に記載された参照符号は本第3実施形態の説明においても同じ番号を使用する。
本第3実施形態は、画像測定プログラムに基づいて使用者が測定点を指定する操作と画像測定機1の作動が部分的に上記第2実施形態と異なるが、それ以外は上記第2実施形態と同様である。したがって、第2実施形態と異なる部分について以下説明する。
図8は、本第3実施形態に係る画像測定機の測定開始から測定完了までの処理の流れを示すフローチャートである。
本第3実施形態においては、使用者はメニュー画面から画像測定メニューを示すアイコンを押下して、画像測定プログラムを起動させた後、例えば、使用者は左手の指でタッチパネル4を押下する(1回目の押下)。この左手での押下は、測定点の位置とは関係が無く、単に測定点の指定が継続されていることを情報処理装置2に認識させるものである。使用者が、左手での押下を継続しながら、右手の指で測定点となる点を押下する(2回目の押下)。2回目の押下がされたと認識した情報処理装置2は、第2実施形態と同様に指定点の表示と注目範囲の画像を保持フレーム画像に合成した画像データをタッチパネル4へ出力する。
情報処理装置2は、左手の押下がタッチパネル4から離れない限り測定点を確定させない。したがって、使用者は、右手を一度タッチパネル4から離しても良い。右手をタッチパネル4から離しても注目範囲は右手が最後にタッチパネル4を押下していた位置に表示され続け、使用者が指定点を移動させる場合には再度右手でタッチパネル4を押下して移動させることができる。
使用者は、指定点が測定点とすべき位置に重なったと判断した時に、左手をタッチパネル4から離すと、それによって情報処理装置2がその時の指定点の位置を測定点として確定する。このように構成することで、第2実施形態と異なり、指定点を動かす指や手、腕等にタッチパネル4が隠れずに、タッチパネル4に表示された画像全体を見ながら測定点の位置を指定することができる。
なお、ドラッグを一度離した後の2回目以降のドラッグにおいては、1回目のドラッグと同様に、指等で最初に押圧した位置、又は、そこから一定の方向で一定の距離を離した位置を指定点として、その後はドラッグに追従して注目範囲が移動するように、情報処理装置2がしても良いし、若しくは、1回目のドラッグとは異なり、1回目のドラッグにおいて指定した指定点と2回目以降のドラッグの際に最初に押圧した位置との位置関係を保ちつつ注目範囲がドラッグに連動して移動するように、情報処理装置2が処理しても良い。
第2実施形態において説明したように、タッチパネル4の押下の圧力に応じて注目範囲の広さ又は表示倍率を変化させる場合、若しくは、注目範囲の広さ及び表示倍率を変化させる場合、上記の例において、指定点を動かす右手によってタッチパネル4が押下されている圧力が一定の変化率以上で低下して離れた場合、情報処理装置2は、注目範囲の広さや表示倍率を変化させる指示ではないと認識し、押下圧力が低下する前の注目範囲の広さ又は表示倍率の画像を維持するようにしても良い。又は、指定点を動かす右手が離れた場合には、情報処理装置2は、あらかじめ設定された注目範囲の広さ又は表示倍率の画像データを出力するようにしても良い。
(第4実施形態)
次に、本願の第4実施形態に係る画像測定機について説明する。本第4実施形態に係る画像測定機のハードウェアの構成は、上記第1実施形態に係る画像測定機と同様である。本第4実施形態に係る画像測定機は、画像測定プログラムに基づく使用者の操作と画像測定機の作動において上記第1乃至第3実施形態に係る画像測定機と異なるため、以下、これについて説明する。なお、図1及び図2に記載された参照符号は本第4実施形態の説明においても同じ番号を使用する。
本第4実施形態は、画像測定プログラムに基づいて使用者が測定点を指定する操作と画像測定機1の作動が部分的に上記第2実施形態と異なるが、それ以外は上記第2実施形態と同様である。したがって、第2実施形態と異なる部分について以下説明する。
図9は、本第4実施形態に係る画像測定機の測定開始から測定完了までの処理の流れを示すフローチャートである。
本第4実施形態においては、使用者が、メニュー画面から画像測定メニューを示すアイコンを押下して、画像測定プログラムを起動させた後、タッチパネル4を押下すると、情報処理装置2は、押下した点が指定されたものとして指定点の表示と注目範囲の画像とを合成した画像データを出力し、タッチパネル4はその画像を表示する。ここまでは、上記第2実施形態と同様である。
しかし、本第4実施形態においては、上記第2実施形態と異なり、タッチパネル4がダブルタッチされた時に、情報処理装置2がその時点の指定点を測定点として確定する点において異なっている。したがって、一度タッチパネル4を押下している指等をタッチパネル4から離しても測定点が確定しないため、使用者は、タッチパネル4から指等を離して画像全体を見ることができる状態で指定点の位置を確認し、意図する位置からずれている場合には再度タッチパネル4をドラッグして、指定点を移動することができる。そして、使用者が意図する位置に指定点の表示が重なったと判断した時に、タッチパネル4上にダブルタッチすると、情報処理装置2がその時点の指定点の位置を測定点として確定する。
なお、ドラッグを一度離した後の2回目以降のドラッグにおける指定点の移動と、タッチパネル4の押下の圧力に応じて注目範囲の広さ又は表示倍率を変化させる場合については、上記第3実施形態と同様である。
(第5実施形態)
次に、本願の第5実施形態に係る画像測定機について説明する。本第5実施形態に係る画像測定機のハードウェアの構成は、上記第1実施形態に係る画像測定機と同様である。本第5実施形態に係る画像測定機は、画像測定プログラムに基づく使用者の操作と画像測定機の作動において上記第1乃至第4実施形態に係る画像測定機と異なるため、以下、これについて説明する。なお、図1及び図2に記載された参照符号は本第5実施形態の説明においても同じ番号を使用する。
本第5実施形態は、画像測定プログラムに基づいて使用者が測定点を指定する操作と画像測定機1の作動が部分的に上記第2実施形態と異なるが、その他は上記第2実施形態と同様である。したがって、第2実施形態と異なる部分について以下説明する。
図10は、本第5実施形態に係る画像測定機の測定開始から測定完了までの処理の流れを示すフローチャートである。
本第5実施形態においては、使用者が、メニュー画面から画像測定メニューを示すアイコンを押下して、画像測定プログラムを起動させた後、タッチパネル4を押下すると、情報処理装置2は、押下した点が指定されたものとして指定点の表示と注目範囲の画像とをフレーム画像に合成した画像データを出力し、その画像がタッチパネル4に表示される。ここまでは、上記第2実施形態と同様である。
しかし、本第5実施形態においては、上記第2実施形態と異なり、1回目に押下した指等をタッチパネル4から離しても測定点は確定されない。使用者が2回目の押下を行ってドラッグすると、情報処理装置2は、指定点の表示と注目範囲とを2回目に最初に押下した位置との位置関係を保ちながらドラッグに連動して移動させ、2回目の押下によるドラッグをしている指等がタッチパネル4から離れた時に、その時点の指定点の位置を測定点として確定し、測定点をタッチパネル4に表示させる。これにより、使用者は、一度タッチパネル4から指等を離して、タッチパネル4に表示された画像全体を見てから指定点の位置を調整することが可能となる。
タッチパネル4の押下の圧力に応じて注目範囲の広さ又は表示倍率を変化させる場合については、上記第3実施形態と同様である。
上記第2実施形態乃至第5実施形態において、部分的に試料の拡大画像を表示する画像測定プログラムに基づく使用者の操作と画像測定機の作動について具体的な実施形態を示したが、本発明はこれに限られるものではない。上記の第2乃至第5実施形態から、測定点の確定のためには、画像測定プログラムにおいて、情報処理装置2が、使用者の操作によって(ア)測定点を指定する作業を開始すること、(イ)指定点の位置を調整するドラッグを開始すること、(ウ)指定点の位置を調整するドラッグを終了すること、(エ)指定点の位置を調整する作業を終了したこと、を認識できるように構成すれば良いということが理解できる。また、上記(ア)と(イ)、並びに、上記(ウ)と(エ)は、例えば、第2実施形態のように、使用者による一つの操作によって認識されるものとしても良いことが理解できる。
画像測定機は、上記第1乃至第5実施形態に係る画像測定プログラムや上記のように第2乃至第5実施形態から理解される画像測定プログラムを複数備え、使用者が設定によってどの画像測定プログラムによって画像測定を行うかを選択できるようにしても良いし、一つの画像測定プログラムにおいて上記異なる操作を選択できるようにしても良い。
なお、上記全ての実施形態におけるタッチパネル4の操作方法において、押下(シングルタッチ)、ダブルタッチ、トリプルタッチ、丸を描くなどのアクション等を相互に入れ替えても良い。
以上のように、本発明によれば、タッチパネルを用いて正確な測定を可能とする画像測定用プログラム、画像測定機、及び画像測定方法を提供することができる。
1 画像測定機
2 情報処理装置
3 試料観察装置
4 タッチパネル
5 電動スタンド
6 撮像装置
7 スタンド台
8 電動ステージ
9 撮像装置支柱
10 電動アーム
11 記憶装置
12 中央処理装置
13 インターフェース
14 CCD撮像デバイス
15 光学系
16 CCD
17 CCD制御回路
18 レンズ系
19 合焦機構
20 ズーム機構
21 照明装置
22 ステージ
23 ステージ用モータ
24 ステージ用モータ制御部
25 アーム用モータ
26 アーム用モータ制御部
27 表示装置
28 位置入力装置
29 ツールバー
30 試料画像
31 測定点指定アイコン
32 ステージ位置検出部
33 目印
P1 試料の画像

Claims (6)

  1. コンピュータに、
    使用者が画像測定の基準点となる測定点を指定する前に試料画像の拡大表示のためのタッチパネルの操作を行うことを可能とし、これによって該タッチパネルから出力されたデータに基づいて、前記使用者が前記操作によって指定した点を中心として拡大した前記試料画像を含む画像データを前記タッチパネルへ出力する画像出力機能と、
    前記使用者が前記測定点が未指定の拡大した前記試料画像を見ながら行う前記タッチパネルの操作によって前記測定点が未指定の拡大した前記試料画像に対して前記測定点を指定することを可能とし、これによって該タッチパネルから出力された前記測定点の指定に対応するデータに基づいて、前記測定点を確定する測定点確定機能と、
    前記測定点を用いて前記画像測定を行う画像測定機能と、
    前記画像測定機能によって測定された結果を出力する結果出力機能と、
    を実現させることを特徴とする画像測定用プログラム。
  2. 請求項1に記載の画像測定用プログラムを記憶した記憶媒体。
  3. 請求項2に記載の記憶媒体を備えたコンピュータと、
    該コンピュータに接続されたタッチパネルと、を有し、
    前記画像測定用プログラムを用いて画像測定を行うことを特徴とする画像測定機。
  4. 請求項2に記載の記憶媒体を備えたコンピュータと、
    該コンピュータに接続されたタッチパネルと、
    該コンピュータに接続された撮像装置と、を有し、
    前記画像測定用プログラムの前記画像出力機能は、前記使用者が前記測定点を指定する操作を開始した時点における前記試料のフレーム画像と、前記使用者が指定した点を中心として拡大した前記撮像装置が撮像している前記試料のライブ画像とを合成した画像を前記タッチパネルに表示させることを特徴とする画像測定機。
  5. 請求項2に記載の記憶媒体を備えたコンピュータと、
    該コンピュータに接続されたタッチパネルと、
    該コンピュータに接続された撮像装置と、
    該コンピュータに接続され、前記撮像装置と前記試料を支持し、前記撮像装置と前記試料を相対移動させる電動支持装置と、を有し、
    請求項1に記載の画像測定プログラムを用いて、前記画像出力機能において、前記電動支持装置が前記撮像装置と前記試料とを相対移動させて、前記撮像装置が撮像している前記試料の画像を拡大した前記試料画像として画像測定することを特徴とする画像測定機。
  6. コンピュータが備える画像出力機能が、使用者が画像測定の基準点となる測定点を指定する前に試料画像の拡大表示のためのタッチパネルの操作を行うことを可能とし、これによって該タッチパネルから出力されたデータに基づいて、前記使用者が前記操作によって指定した点を中心として拡大した前記試料画像を含む画像データを前記タッチパネルへ出力するステップと、
    コンピュータが備える測定点確定機能が、前記使用者が前記測定点が未指定の拡大した前記試料画像を見ながら行う前記タッチパネルの操作によって前記測定点が未指定の拡大した前記試料画像に対して前記測定点を指定することを可能とし、これによって前記タッチパネルから出力された前記測定点の指定に対応するデータに基づいて、前記測定点を確定するステップと、
    コンピュータが備える画像測定機能が、前記測定点を用いて前記画像測定を行うステップと、
    コンピュータが備える結果出力機能が、前記画像測定機能によって測定された結果を出力するステップと、
    を実行することを特徴とする画像測定方法。
JP2012196266A 2012-09-06 2012-09-06 画像測定用プログラム、画像測定機、及び画像測定方法 Active JP6107008B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012196266A JP6107008B2 (ja) 2012-09-06 2012-09-06 画像測定用プログラム、画像測定機、及び画像測定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012196266A JP6107008B2 (ja) 2012-09-06 2012-09-06 画像測定用プログラム、画像測定機、及び画像測定方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017045072A Division JP2017106932A (ja) 2017-03-09 2017-03-09 画像測定用プログラム、画像測定機、及び画像測定方法

Publications (2)

Publication Number Publication Date
JP2014052256A JP2014052256A (ja) 2014-03-20
JP6107008B2 true JP6107008B2 (ja) 2017-04-05

Family

ID=50610857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012196266A Active JP6107008B2 (ja) 2012-09-06 2012-09-06 画像測定用プログラム、画像測定機、及び画像測定方法

Country Status (1)

Country Link
JP (1) JP6107008B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6419471B2 (ja) * 2014-07-07 2018-11-07 オリンパス株式会社 測定顕微鏡、試料の傾き補正を支援する方法
JP2018112573A (ja) * 2017-01-06 2018-07-19 オリンパス株式会社 顕微鏡システム
US10656780B2 (en) 2018-01-12 2020-05-19 Mitutoyo Corporation Position specifying method and program
JP2019124996A (ja) * 2018-01-12 2019-07-25 株式会社ミツトヨ 画像測定機、画像測定方法、及び画像測定用プログラム
US20240200939A1 (en) * 2021-06-14 2024-06-20 Hitachi High-Tech Corporation Computer system, dimension measurement method, and storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09237156A (ja) * 1996-02-29 1997-09-09 Canon Inc グラフィック・ユーザ・インタフェース装置
JP2001265777A (ja) * 2000-03-15 2001-09-28 Canon Inc 記録画像表示装置および記録画像表示方法および記憶媒体
JP2011138096A (ja) * 2009-12-01 2011-07-14 Aska Company 測定顕微鏡
JP2012100125A (ja) * 2010-11-04 2012-05-24 Nec Corp 高周波回路
JP2013228267A (ja) * 2012-04-25 2013-11-07 Panasonic Corp 表示装置、表示方法、及びプログラム

Also Published As

Publication number Publication date
JP2014052256A (ja) 2014-03-20

Similar Documents

Publication Publication Date Title
CN105988710B (zh) 用于利用触摸显示来协助用户输入的方法、设备和装置
US10360655B2 (en) Apparatus and method for controlling motion-based user interface
JP6107008B2 (ja) 画像測定用プログラム、画像測定機、及び画像測定方法
JP6062416B2 (ja) 情報入力装置及び情報表示方法
US20160283054A1 (en) Map information display device, map information display method, and map information display program
US9544556B2 (en) Projection control apparatus and projection control method
KR20100030388A (ko) 터치 스크린
JP2010055510A (ja) 情報処理装置及び情報処理方法
JP6171643B2 (ja) ジェスチャ入力装置
CN101308428B (zh) 将图形输入板映射到显示器的设备、方法和计算机可读介质
KR20130097567A (ko) 화면에 표시된 개체의 크기 조정 방법 및 장치
US20150002433A1 (en) Method and apparatus for performing a zooming action
JP2017106932A (ja) 画像測定用プログラム、画像測定機、及び画像測定方法
JP5628991B2 (ja) 表示装置、表示方法、及び表示プログラム
US20150052477A1 (en) Enlargement and reduction of data with a stylus
JP2009265835A (ja) 画面表示装置、画面表示方法およびプログラム
WO2018179552A1 (ja) タッチパネル装置、その表示制御方法、及びプログラム
US20150020024A1 (en) Zoom control of screen image in electronic device
JP2010272036A (ja) 画像処理装置
JP6662441B2 (ja) 画像測定用プログラム、画像測定機、及び画像測定方法
US8731824B1 (en) Navigation control for a touch screen user interface
US20170351423A1 (en) Information processing apparatus, information processing method and computer-readable storage medium storing program
JP6971573B2 (ja) 電子機器、その制御方法およびプログラム
CN102789358A (zh) 图像输出显示方法、装置以及一种显示设备
US11010045B2 (en) Control apparatus, control method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170220

R150 Certificate of patent or registration of utility model

Ref document number: 6107008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250