JP6680560B2 - 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム - Google Patents

共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム Download PDF

Info

Publication number
JP6680560B2
JP6680560B2 JP2016028265A JP2016028265A JP6680560B2 JP 6680560 B2 JP6680560 B2 JP 6680560B2 JP 2016028265 A JP2016028265 A JP 2016028265A JP 2016028265 A JP2016028265 A JP 2016028265A JP 6680560 B2 JP6680560 B2 JP 6680560B2
Authority
JP
Japan
Prior art keywords
image
confocal microscope
omnifocal
images
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016028265A
Other languages
English (en)
Other versions
JP2017146466A (ja
Inventor
藤井　章弘
章弘 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016028265A priority Critical patent/JP6680560B2/ja
Priority to US15/423,879 priority patent/US10234673B2/en
Publication of JP2017146466A publication Critical patent/JP2017146466A/ja
Application granted granted Critical
Publication of JP6680560B2 publication Critical patent/JP6680560B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Description

本発明は、共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラムに関する。
物体の３次元形状を非接触で測定する装置として、従来から共焦点顕微鏡装置が知られている。その中でも、例えば、特許文献１に記載されているような、光源にレーザを使用したレーザ走査型共焦点顕微鏡装置は、現在、産業界で広く利用されるに至っている。
レーザ走査型共焦点顕微鏡装置は、対物レンズによってスポット状に集光したレーザ光を被検物に照射して被検物を２次元方向（XY平面方向）に走査する。そして、被検物を反射した光を、共焦点絞りを介してディテクタで受光する。共焦点絞りの開口は対物レンズの焦点位置と光学的に共役な位置に形成されているため、焦点の合った部分からの反射光しか共焦点絞りを通過せずディテクタで受光されない。そのため、レーザ走査型共焦点顕微鏡装置は、通常の光学顕微鏡に比べて浅い焦点深度を有し、合焦部分のみが画像化された輝度画像を得ることができる。この画像は、一般に共焦点画像と呼ばれている。以降では、浅い焦点深度を有する装置で取得された画像を焦点深度の浅い画像と記す。
レーザ走査型共焦点顕微鏡装置で被検物の表面形状を測定する際には、この焦点深度の浅さが利用される。具体的には、対物レンズと被検物との光軸方向（Z方向）の相対距離を変えながら焦点深度の浅い共焦点画像を複数取得する。そして、複数の共焦点画像から各画素位置における最大輝度を与えるZ位置（つまり、合焦位置）を求めることで、被検物全面の表面形状の測定が行われる。また、複数の共焦点画像から特定される各画素位置における最大輝度値を各画素の輝度値とした新たな画像を構築することで、被検物表面の全ての場所に焦点のあった画像を得ることができる。この画像は、全焦点画像、又は、エクステンドフォーカス画像と呼ばれる。全焦点画像の画像データは、様々な場面において、表面形状の測定データとともに利用される。なお、表面形状の測定データは、高さ測定データともいう。
一般に、共焦点顕微鏡装置でZ方向について精密な測定を行うためには、焦点深度が浅い設定で、つまり、対物レンズの倍率が高い設定で、測定することが望ましい。しかしながら、対物レンズの倍率が高くなると一度に測定可能な領域（以降、測定視野領域と記す）が小さくなってしまう。このため、広い領域をZ方向に精密に測定するために、画像貼り合せ技術が利用される。なお、「貼り合せ」という用語の代わりに、「つなぎ合わせ」、「ステッチング」、「タイリング」などの用語も同様の意味で用いられる。
画像貼り合せ技術を用いた測定方法としては、例えば、特許文献２に示す方法が知られている。この方法では、ある測定視野領域の一部が隣接する他の測定視野領域の一部と重複するようにステージをX方向及びY方向に適当なピッチで移動させながら測定を実行する。そして、測定時に取得された複数の測定視野領域に対応する複数の画像を繋ぎ合わせることで、各測定視野領域よりも広い領域の貼り合せ画像を構築し、その広い領域の高さデータを得るものである。この方法によれば、顕微鏡装置の観察倍率が高い場合であっても、所望の広さの領域を測定することができる。以降、測定すべき対象である領域全体のことを測定対象領域と記す。
特許第３８４７４２２号公報 特開２００４−１７０５７２号公報
ところで、画像貼り合せ技術を用いて、全焦点画像などの輝度画像間のつなぎ目が自然で違和感のない貼り合せ画像を得るためには、貼り合せ画像を構成する全ての輝度画像を同一の明るさ設定で取得することが望ましい。しかしながら、同一の明るさ設定で全ての輝度画像を取得した場合、貼り合せ対象領域（即ち、測定対象領域）に大きな傾斜角をもつ部分、又は、反射率が低い部分が含まれると、それらの部分からの反射光の検出光量が不足することになる。そのため、当該部分の高さ測定データにノイズ成分が多く含まれるようになり、高さ測定データの信頼性が低下してしまう。図１には、この現象の具体例が示されている。
図１は、被検物であるボールベアリング用の剛球の貼り合せ画像Ｅ０と剛球の高さ測定結果とを例示した図である。図１（ａ）には、同一の明るさ設定で取得した、剛球が存在している３行３列の合計９個の測定視野領域の全焦点画像を貼り合せた貼り合せ画像Ｅ０が示されている。また、図１（ｂ）には、貼り合せ画像Ｅ０のP-P断面における高さ測定結果が示されている。なお、図１（ａ）に示す貼り合せ画像Ｅ０上の格子状の線は、各測定視野領域の位置を示すために便宜的に設けられている。
図１（ａ）に示す貼り合せ画像Ｅ０は、同一の明るさ設定で取得された複数の画像から構築されているため、画像間のつなぎ目が自然で違和感のない画像となっている。さらに、剛球の面頂が位置する貼り合せ対象領域の中心付近については、図１（ａ）に示すように十分な明るさの画像が得られ、また、図１（ｂ）に示すように高さも正しく測定されている。しかしながら、貼り合せ対象領域の端部については、剛球表面の傾斜角が大きいため、十分な明るさの画像が得られていない。また、高さ測定データにはノイズ成分が多く含まれ、信頼性の低い測定結果となってしまっている。
図１に示すような現象を避けるためには、大きな傾斜角をもつ部分、又は、反射率が低い部分からの反射光の検出光量が適切な量となるような明るさ設定で画像を取得するといった対処が考えられる。しかしながら、その場合、小さな傾斜角をもつ部分、又は、反射率が高い部分で画像の輝度が飽和してしまう。また、画像の輝度が飽和すると、高さ測定データの信頼性も低下してしまう。
以上のような実情を踏まえ、本発明は、信頼性の高い高さ測定とつなぎ目が自然で違和感のない貼り合せ画像の構築とを両立する技術を提供することを課題とする。
本発明の一態様は、共焦点顕微鏡装置であって、測定すべき対象である測定対象領域を構成する複数の測定視野領域の各々の第１の全焦点画像を、当該測定視野領域に応じた明るさ設定で取得する画像取得手段と、基準とする明るさ設定で前記複数の測定視野領域を撮像したときに得られる複数の基準全焦点画像に近づくように前記画像取得手段で取得された前記複数の第１の全焦点画像が変換された複数の第２の全焦点画像に基づいて貼り合せ画像を構築する貼り合せ画像構築手段と、を備え、前記共焦点顕微鏡装置は、レーザ走査型共焦点顕微鏡装置であり、前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定は、前記レーザ走査型共焦点顕微鏡装置が有する光源の出射光量に関する設定、前記レーザ走査型共焦点顕微鏡装置が有する光検出器から出力する信号又は出力した信号を増幅する増幅率に関する設定、前記レーザ走査型共焦点顕微鏡装置が有するレーザ光源の駆動電流に関する設定、又は、前記レーザ走査型共焦点顕微鏡装置が有するフォトマルチプライヤ若しくはアバランシェフォトダイオードへの印加電圧に関する設定、の少なくとも一つを含み、前記貼り合せ画像構築手段は、少なくとも前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定に基づいて、前記複数の基準全焦点画像に近づくように、前記複数の第１の全焦点画像を前記複数の第２の全焦点画像に変換する第１の画像変換手段を備える共焦点顕微鏡装置を提供する。
本発明の別の態様は、測定すべき対象である測定対象領域を構成する複数の測定視野領域の各々の第１の全焦点画像を、当該測定視野領域に応じた明るさ設定で取得し、基準とする明るさ設定で前記複数の測定視野領域を撮像したときに得られる複数の基準全焦点画像に近づくように、少なくとも前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定とに基づいて、前記複数の第１の全焦点画像を複数の第２の全焦点画像に変換し、前記複数の第２の全焦点画像に基づいて貼り合せ画像を構築し、前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定は、レーザ走査型共焦点顕微鏡装置が有する光源の出射光量に関する設定、前記レーザ走査型共焦点顕微鏡装置が有する光検出器から出力する信号又は出力した信号を増幅する増幅率に関する設定、前記レーザ走査型共焦点顕微鏡装置が有するレーザ光源の駆動電流に関する設定、又は、前記レーザ走査型共焦点顕微鏡装置が有するフォトマルチプライヤ若しくはアバランシェフォトダイオードへの印加電圧に関する設定、の少なくとも一つを含む貼り合せ画像構築方法を提供する。
本発明の更に別の態様は、測定すべき対象である測定対象領域を構成する複数の測定視野領域の各々の第１の全焦点画像を、当該測定視野領域に応じた明るさ設定で取得し、基準とする明るさ設定で前記複数の測定視野領域を撮像したときに得られる複数の基準全焦点画像に近づくように、少なくとも前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定とに基づいて、前記複数の第１の全焦点画像を複数の第２の全焦点画像に変換し、前記複数の第２の全焦点画像に基づいて貼り合せ画像を構築し、前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定は、レーザ走査型共焦点顕微鏡装置が有する光源の出射光量に関する設定、前記レーザ走査型共焦点顕微鏡装置が有する光検出器から出力する信号又は出力した信号を増幅する増幅率に関する設定、前記レーザ走査型共焦点顕微鏡装置が有するレーザ光源の駆動電流に関する設定、又は、前記レーザ走査型共焦点顕微鏡装置が有するフォトマルチプライヤ若しくはアバランシェフォトダイオードへの印加電圧に関する設定、の少なくとも一つを含む処理をコンピュータに実行させるプログラムを提供する。
本発明によれば、信頼性の高い高さ測定とつなぎ目が自然で違和感のない貼り合せ画像の構築とを両立する技術を提供することができる。
被検物であるボールベアリング用の剛球の貼り合せ画像Ｅ０と剛球の高さ測定結果とを例示した図である。 本発明の第１の実施形態に係る共焦点顕微鏡装置１００の構成を例示した図である。 共焦点顕微鏡装置１００で取得した複数の共焦点画像の画像データを例示した図である。 共焦点顕微鏡装置１００で生成される輝度変化曲線を例示した図である。 共焦点顕微鏡装置１００の機能ブロック図である。 共焦点顕微鏡装置１００で行われる処理のフローチャートである。 明るさ設定と輝度変化曲線の関係について説明するための図である。 複数の第１の全焦点画像を貼り合せた画像Ｅ１と高さ測定結果とを例示した図である。 画像変換処理のフローチャートである。 共焦点顕微鏡装置１００における光検出器１１に入射する入射光量と画像の輝度値の関係を明るさ設定毎に示した図である。 複数の第２の全焦点画像を貼り合せて構築された貼り合せ画像Ｅ２を例示した図である。 第２の画像変換手段１２３で行われる階調変換処理の特性を示した図である。 複数の第３の全焦点画像を貼り合せて構築された貼り合せ画像Ｅ３を例示した図である。 共焦点顕微鏡装置１００で行われる別の画像変換処理のフローチャートである。 隣接する２つの第１の全焦点画像を例示した図である。 隣接する２つの第１の全焦点画像を輝度値の補正後に貼り合せた様子を例示した図である。 本発明の第２の実施形態に係る共焦点顕微鏡装置２００の機能ブロック図である。 共焦点顕微鏡装置２００で行われる処理のフローチャートである。 本発明の第３の実施形態に係る共焦点顕微鏡装置２００の機能ブロック図である。 共焦点顕微鏡装置３００で行われる処理のフローチャートである。 本発明の第４の実施形態に係る共焦点顕微鏡装置２００の機能ブロック図である。 共焦点顕微鏡装置４００で行われる処理のフローチャートである。
［第１の実施形態］
図２は、本実施形態に係る共焦点顕微鏡装置１００の構成を例示した図である。共焦点顕微鏡装置１００は、被検物１４の３次元形状を非接触で測定する装置であり、画像貼り合せ技術を用いることで視野よりも広い領域の高さを測定することができる。被検物１４は、例えば、半導体基板などである。まず、図２を参照しながら、共焦点顕微鏡装置１００の構成について説明する。
共焦点顕微鏡装置１００は、レーザ１を備えるレーザ走査型共焦点顕微鏡装置である。共焦点顕微鏡装置１００は、図２に示すように、共焦点顕微鏡本体２０と、共焦点顕微鏡本体２０を制御する制御装置３０と、制御装置３０に接続されたコンピュータ４０と、コンピュータ４０に接続された表示装置５０及び指示入力装置６０と、を備える。
共焦点顕微鏡本体２０は、レーザ１から出射したレーザ光が被検物１４へ至る照明光路上に、ビームスプリッタ２、二次元偏向器３、投影レンズ４、Zスキャナ５、対物レンズ７、及び、被検物１４が配置されるステージ８を備える。
レーザ１は、レーザ光を平行光として出射する光源である。レーザ１から出射されるレーザ光の光量は、制御装置３０からの入力に基づいて制御される。具体的には、例えば、レーザ１の駆動電流が制御装置３０によって変更されることで、レーザ１からの出射光量が変化する。
ビームスプリッタ２は、例えば、偏光ビームスプリッタ、ハーフミラーなどである。また、被検物１４が生体試料などである場合には、ダイクロイックミラーであってもよい。ビームスプリッタ２は、レーザ１からのレーザ光を透過させ、被検物１４からの反射光を反射する。
二次元偏向器３は、レーザ１からのレーザ光を所望の方向に偏向させる装置であり、レーザ光で被検物１４を対物レンズ７の光軸１５と直交する二次元方向に走査するスキャナである。二次元偏向器３は、対物レンズ７の瞳と光学的に共役な位置又はその近傍に配置された、例えば、ガルバノミラー、レゾナントスキャナ、音響光学素子などである。二次元偏向器３は、レーザ光をX方向とY方向にそれぞれ独立に偏向するように構成されている。二次元偏向器３は、制御装置３０からの偏向タイミングの指示に基づいて、レーザ光のX方向についての偏向角度θｘとY方向についての偏向角度θｙを変更する。なお、図２では、偏向角度θｘが異なる複数の光束が図示されている。
投影レンズ４は、対物レンズ７の瞳を二次元偏向器３又はその近傍へ投影するレンズである。投影レンズ４は、投影レンズ４の物体側の焦点位置が対物レンズ７の後側焦点位置１６近傍に位置するように配置される。投影レンズ４は、レーザ１から出射した平行光であるレーザ光の径を拡大して、対物レンズ７へ入射させる。
Zスキャナ５は、対物レンズ７とステージ８との相対距離を変更する装置であり、被検物１４を対物レンズ７の光軸１５に沿った方向（以降、光軸方向、又はZ方向と記す）に走査するスキャナである。Zスキャナ５は、Z方向に移動するように構成されている。Zスキャナ５には、Zスキャナ５のZ方向への移動によって生じる変位量、即ち、対物レンズ７とステージ８との相対距離の変化量を測定する変位計６が設けられている。変位計６は、例えば、光学式のリニアエンコーダである。また、静電容量式の変位計、その他の変位計であってもよい。変位計６で測定された変位量は、制御装置３０へ出力される。
対物レンズ７は、Zスキャナ５に装着されていて、Zスキャナ５がZ方向へ移動することでZ方向へ移動する。被検物１４は、ステージ８上で対物レンズ７の前側焦点位置付近に配置される。ステージ８は、対物レンズ７の光軸１５と直交するX方向とY方向に移動する可動ステージである。ステージ８は、電動ステージであっても手動ステージであってもよい。
共焦点顕微鏡本体２０は、さらに、被検物１４を反射したレーザ光がAD変換器１３に至る検出光路上に、対物レンズ７、Zスキャナ５、投影レンズ４、二次元偏向器３、ビームスプリッタ２、結像レンズ９、共焦点絞り１０、光検出器１１を備える。
結像レンズ９、共焦点絞り１０、光検出器１１は、ビームスプリッタ２で反射したレーザ光が進行する反射光路上に設けられている。共焦点絞り１０は、結像レンズ９の焦点位置に、共焦点絞り１０に設けられたピンホールが位置するように配置される。共焦点絞り１０の後段に配置された光検出器１１は、例えば、フォトマルチプライヤ（PMT）、アバランシェフォトダイオード（APD）などである。
共焦点顕微鏡本体２０は、さらに、光検出器１１から出力されるアナログ信号を増幅する増幅器１２と、増幅器１２で増幅されたアナログ信号をデジタル信号に変換するAD変換器１３を備える。
増幅器１２での増幅率は、制御装置３０からの入力によって決定される。具体的には、例えば、増幅器１２への印加電圧によって決定される。また、ここでは、光検出器１１とは別体の増幅器１２によって光検出器１１から出力したアナログ信号の増幅率を変更する例が示されている。しかしながら、アナログ信号の増幅率は、光検出器１１内での増幅率、即ち、光検出器１１から出力するアナログ信号の増幅率を変更することで、変更されてもよい。例えば、制御装置３０は、光検出器１１であるフォトマルチプライヤ又はアバランシェフォトダイオードへの印加電圧を変更することで、増幅率を変更してもよい。AD変換器１３は、増幅器１２で増幅されたアナログ信号を、例えば、１２ビット或いは１６ビットのデジタル信号に変換し、制御装置３０へ出力する。
上述した構成を有する共焦点顕微鏡本体２０は、制御装置３０の制御下で被検物１４を走査して、光検出器１１で検出した被検物１４からの反射光量に応じた信号と変位計６で測定された変位量を制御装置３０へ出力する。
制御装置３０は、共焦点顕微鏡本体２０からの信号に基づいて共焦点画像の画像データを生成し、コンピュータ４０へ出力する。また、変位計６で測定された変位量についても、コンピュータ４０へ出力する。さらに、制御装置３０は、顕微鏡利用者が指示入力装置６０を用いてコンピュータ４０へ入力した指示に従って、共焦点顕微鏡本体２０を制御する。例えば、制御装置３０は、被検物１４の走査のため、二次元偏向器３及びZスキャナ５を制御する。また、制御装置３０は、共焦点顕微鏡装置１００で取得される被検物１４の共焦点画像の明るさに関する設定（以降、明るさ設定と記す）を変更するため、レーザ１、光検出器１１、及び増幅器１２を制御する。
明るさ設定は、レーザ１の出射光量に関する設定、又は、光検出器１１から出力する信号又は出力した信号を増幅する増幅率に関する設定、の少なくとも一方を含むことが望ましい。より具体的には、レーザ１の駆動電流に関する設定、又は、光検出器１１であるフォトマルチプライヤ若しくはアバランシェフォトダイオードへの印加電圧に関する設定の少なくとも一方を含むことが望ましい。
コンピュータ４０は、画像入力部４１、記憶部４２、演算処理部４３、インターフェース部４４を備える。画像入力部４１は、制御装置３０から共焦点画像の画像データの入力を受け付ける。記憶部４２は、例えば、ハードディスク装置、半導体メモリなどである。記憶部４２には、共焦点画像、全焦点画像などの画像データ、その他のデータが記憶される。演算処理部４３は、例えば、中央演算処理装置（ＣＰＵ）などであり、記憶部４２に記憶されているプログラムを実行することで、各種の演算を行う。例えば、制御装置３０から入力された共焦点画像の画像データ及びZ方向の変位量に基づいて、被検物１４の三次元形状（表面高さ）の測定と貼り合せ画像の構築とを行う。インターフェース部４４は、コンピュータ４０と他の装置との間で必要なデータをやり取りする。
表示装置５０は、後述する貼り合せ画像、測定結果などを表示する装置である。表示装置５０は、例えば、液晶ディスプレイ、有機EL（Electro-Luminescence）ディスプレイ、CRT（Cathode Ray Tub）ディスプレイなどである。指示入力装置６０は、顕微鏡利用者がコンピュータ４０に指示を入力するための装置であり、例えば、キーボード、マウスなどである。表示装置５０及び指示入力装置６０は、コンピュータ４０と一体に構成されていても良く、コンピュータ４０の一部であってもよい。
次に、共焦点顕微鏡装置１００における共焦点画像の画像データの取得方法について説明する。レーザ１から出射したレーザ光は、ビームスプリッタ２を透過して二次元偏向器３を介して投影レンズ４に入射する。投影レンズ４に入射した平行光であるレーザ光は、投影レンズ４によりその光束径が拡大されて、対物レンズ７に入射する。その後、レーザ光は、対物レンズ７の屈折力により、対物レンズ７の前側焦点面上にスポット状に集光し、対物レンズ７の前側焦点位置近傍に配置された被検物１４に照射される。
前側焦点面上におけるレーザ光の集光位置は、二次元偏向器３でレーザ光が偏向された方向によって決定される。このため、二次元偏向器３におけるレーザ光の偏向角度θｘと偏向角度θｙを制御することで、レーザ光の集光位置が焦点面上でX方向とY方向に変化する。共焦点顕微鏡装置１００では、例えば、ラスタスキャンが行われるように、制御装置３０が二次元偏向器３を制御する。これにより、被検物１４が二次元に走査される。
被検物１４から反射したレーザ光は、対物レンズ７、投影レンズ４を介して二次元偏向器３へ入射する。二次元偏向器３でビームスプリッタ２に向けて偏向されたレーザ光は、ビームスプリッタ２で反射し、結像レンズ９を介して共焦点絞り１０に入射する。そして、共焦点絞り１０に設けられたピンホールを通過したレーザ光のみが光検出器１１で検出される。
光検出器１１は、検出したレーザ光の光量に応じたアナログ信号を増幅器１２へ出力する。AD変換器１３は、増幅器１２で増幅されたアナログ信号をデジタル信号に変換して制御装置３０へ出力する。なお、AD変換器１３から制御装置３０に入力されたデジタル信号は、現在のレーザ光の集光位置に対応する輝度値を表す。
共焦点顕微鏡装置１００では、制御装置３０が二次元偏向器３を制御することで変化した集光位置毎に輝度値を取得し、取得した輝度値を二次元にマッピングすることで、共焦点画像が取得される。即ち、制御装置３０は、集光位置毎に取得した輝度値を、その集光位置に対応する画素の画素値に設定することで、共焦点画像の画像データを生成する。制御装置３０で生成された共焦点画像の画像データは、コンピュータ４０の画像入力部４１に出力されて、その後、表示装置５０に表示される。
次に、共焦点顕微鏡装置１００における高さ測定方法と全焦点画像取得方法について、図３及び図４を参照しながら説明する。図３は、共焦点顕微鏡装置１００で取得した複数の共焦点画像の画像データを例示した図である。図４は、共焦点顕微鏡装置１００で生成される輝度変化曲線を例示した図である。
制御装置３０は、Zスキャナ５で対物レンズ７とステージ８との相対距離を変更するZ走査を行い、各Z位置で共焦点画像を取得する。これにより、それぞれ異なるZ位置で取得した複数の共焦点画像が取得され、それら複数の共焦点画像の画像データが記憶部４２に記憶される。図３には、記憶部４２に記憶された、k枚の共焦点画像の画像データが例示されている。なお、各共焦点画像には1からk（kは自然数）の画像番号が付される。画像番号nの共焦点画像の各画素の輝度値は、輝度値In(x,y)で表される。ここで、x,yは対象とする画素の、X方向の位置（X位置）、Y方向の位置（Y位置）を示す。
相対距離を変更すると、光検出器１１で検出される被検物１４上の点からの反射光量（即ち、輝度）が変化する。この輝度変化の軌跡は、対物レンズ７の開口数、レーザ光の波長、共焦点絞り１０の開口（ピンホール）の大きさによって概ね決まった形となる。以降では、この輝度変化の軌跡を輝度変化曲線と呼ぶ。演算処理部４３は、異なるZ位置で取得した複数の共焦点画像の画像データに基づいて、XY位置毎に輝度変化曲線を推定する。
ある位置（x0,y0）の輝度変化曲線を推定する場合について、図４を参照しながら説明する。まず、取得したk枚の共焦点画像の各々から位置（x0,y0）の画素の輝度値を取得する。そして、それらの輝度値を、縦軸が輝度値(I)を示し横軸がZ位置(Z)を示すI-Z空間上にプロットする。図４に示す黒丸は、プロットされた点を示している。なお、これらの点のZ位置は、共焦点画像を取得する際に変位計６から受信した変位量によって決定される。その後、プロットされた最も高い輝度値を示す点とその近傍の数点から数十点を抽出する。さらに、抽出した点のデータ（輝度値とZ位置）を使用して近似曲線ＡＣを算出し、算出した近似曲線ＡＣを輝度変化曲線として推定する。なお、近似曲線の算出では、近似対象の曲線として２次多項式あるいはさらに高次の多項式又はガウス曲線などが用いられる。また、使用される近似手法としては、最小二乗法が代表的である。
演算処理部４３は、さらに、推定した輝度変化曲線から輝度値が最大となるピーク輝度値とそのピーク輝度値が得られるZ位置（以降、ピークZ位置と記す）を推定する。この処理も、輝度変化曲線の推定処理と同様に、XY位置毎に行われる。その結果、全てのXY位置でのピークZ位置の集合を示すピークZ位置分布Zp(x,y)と、全てのXY位置でのピーク輝度値の集合を示すピーク輝度値分布Ip(x,y)が算出される。
共焦点顕微鏡装置１００では、レーザ光の集光位置に被検物１４の表面がある（換言すると、被検物１４の表面の位置が合焦位置である）ときに輝度値が最大になる。従って、ピークZ位置分布Zp(x,y)は被検物１４の表面の高さ分布（即ち、表面形状）を示しているため、ピークZ位置分布Zp(x,y)を算出する上述の方法により、被検物１４の高さを測定することができる。なお、以降では、ピークZ位置分布Zp(x,y)を高さデータ又は高さ測定データと記す。
また、ピークZ位置分布Zp(x,y)と共に算出されるピーク輝度値分布Ip(x,y)は、合焦位置であるピークZ位置における輝度値の集合である。従って、ピーク輝度値分布Ip(x,y)は、被検物１４の表面の全て位置に焦点の合った全焦点画像の画像データそのものである。このため、ピーク輝度値分布Ip(x,y)を算出する上述した方法により、全焦点画像を取得し、全焦点画像の画像データを生成することができる。
次に、被検物１４が３行３列の合計９個の測定視野領域内に存在するボールベアリング用の剛球である場合を例にして、信頼性の高い高さ測定とつなぎ目が自然で違和感のない貼り合せ画像の構築とを両立する方法について説明する。
図５は、共焦点顕微鏡装置１００の機能ブロック図である。共焦点顕微鏡装置１００は、信頼性の高い高さ測定とつなぎ目が自然で違和感のない貼り合せ画像の構築とを両立するため、図５に示すように、画像取得手段１１０と、貼り合せ画像構築手段１２０を備えている。また、貼り合せ画像構築手段１２０は、第１の画像変換手段１２１と、画像貼り合せ手段１２２と、第２の画像変換手段１２３を備えている。
図６は、共焦点顕微鏡装置１００で行われる処理のフローチャートである。共焦点顕微鏡装置１００では、高さ測定と貼り合せ画像の構築が開始されると、まず、画像取得手段１１０が、測定対象領域を構成する複数の測定視野領域の各々の全焦点画像を、その測定視野領域に応じた明るさ設定で取得する（ステップＳ１０）。これにより、全焦点画像の画像データと高さ測定データが測定対象領域毎に生成される。
なお、複数の測定視野領域は、全体で測定対象領域を満たすような領域であればよく、複数の測定視野領域の各々は、その一部が隣接する他の測定視野領域と重複していることが望ましい。
ステップＳ１０では、画像取得手段１１０は、まず、ステージ８で被検物１４をXY方向に移動させて、複数の測定視野領域に順番に共焦点顕微鏡装置１００の視野を合わせる。そして、複数の測定視野領域の全焦点画像を順番に取得する。このとき、画像取得手段１１０は、視野に収まっている測定視野領域に応じた明るさ設定で全焦点画像を取得する。以降、画像取得手段１１０が取得した全焦点画像を第１の全焦点画像と記す。なお、上述するように、第１の全焦点画像を取得すると、第１の全焦点画像データとともに高さ測定データが生成される。
図７は、明るさ設定と輝度変化曲線の関係について説明するための図である。測定視野領域に応じた明るさ設定は、その測定視野領域の中で最も反射光量が多い部分が適正な明るさになるような設定である。より詳細には、最も反射光量が多いXY位置の輝度変化曲線が、図７（ａ）に示すように低すぎるピークを有さず、且つ、図７（ｃ）に示すように高すぎて輝度値が飽和した状態でない明るさ設定のことである。図７（ｂ）に示すような最も反射光量が多いXY位置の輝度変化曲線のピーク値が飽和輝度値の７０％から９０％程度となる設定であることが望ましい。
測定視野領域に応じた明るさ設定は、例えば、レーザ１の駆動電流値、光検出器１１又は増幅器１２への印加電圧値として、予め記憶部４２に記憶されている。この明るさ設定は、共焦点顕微鏡装置１００の利用者が、測定視野領域毎に指示入力装置６０を用いた明るさ設定の指定と表示装置５０に表示される全焦点画像の明るさの確認とを繰り返し、適切な明るさ設定を予め特定することにより、記憶部４２に記憶される。
なお、本実施形態では、記憶部４２に測定視野領域毎に増幅器１２への印加電圧値が記憶されている例が示されている。画像取得手段１１０は、測定視野領域に応じて増幅器１２への印加電圧値を変更し、増幅器１２の増幅率を変更することで、明るさ設定を変更する。
図８は、画像取得手段１１０で取得した複数の第１の全焦点画像を貼り合せた画像Ｅ１と高さ測定結果とを例示した図である。図８（ａ）に示す複数の第１の全焦点画像Ｅ１１からＥ１９はいずれも１２ビットのデジタル画像であり、それぞれの画像の輝度階調数は4096階調である。また、中心に位置する第１の全焦点画像Ｅ１５は最も暗い明るさ設定（増幅率A）で取得した画像である。第１の全焦点画像Ｅ１２、Ｅ１４、Ｅ１６、Ｅ１８は中間的な明るさ設定（増幅率B）で取得した画像である。第１の全焦点画像Ｅ１１、Ｅ１３、Ｅ１７、Ｅ１９は最も明るい明るさ設定（増幅率C）で取得した画像である。ここでは、増幅率A＜増幅率B＜増幅率Cの関係が成り立っている。
図８（ａ）に示す複数の第１の全焦点画像Ｅ１１からＥ１９は、それぞれ適切な明るさ設定で取得されているため、画像に含まれるノイズ成分の割合が少ない。このため、ステップＳ１０では、図８（ｂ）に示すように、測定対象領域全域で剛球の形状が正しく表された信頼性の高い測定結果を得ることができる。その一方で、図８（ａ）に示すように、明るさ設定が異なる複数の第１の全焦点画像Ｅ１１からＥ１９をそのまま貼り合せると、つなぎ目が不自然な貼り合せ画像Ｅ１が構築されてしまう。
そこで、共焦点顕微鏡装置１００では、複数の第１の全焦点画像が取得されて信頼性の高い高さ測定データが生成されると、第１の画像変換手段１２１が画像取得手段１１０で取得された複数の第１の全焦点画像を複数の第２の全焦点画像に変換する画像変換処理を行う（ステップＳ２０）。
上述したように、貼り合せ画像を構成する全ての画像が同一の明るさ設定で取得された画像であれば、画像間のつなぎ目は自然である。このため、ステップＳ２０では、基準とする明るさ設定（つまり、ある同一の明るさ設定）で複数の測定視野領域を撮像したときに得られる複数の全焦点画像に近づくように、第１の画像変換手段１２１が複数の第１の全焦点画像を複数の第２の全焦点画像に変換する。これにより、画像を貼り合せた際に不自然なつなぎ目によって生じる違和感が緩和される。なお、以降では、基準とする明るさ設定（単に基準明るさ設定と記す。）で撮像したときに得られる全焦点画像を基準全焦点画像と記す。
図９は、共焦点顕微鏡装置１００で行われる画像変換処理のフローチャートである。以下、図９を参照しながら、図６のステップＳ２０で行われる画像変換処理の一例について具体的に説明する。
画像変換処理が開始されると、第１の画像変換手段１２１は、まず、基準明るさ設定を決定する（ステップＳ２１）。ここでは、例えば、ステップＳ１０で第１の全焦点画像Ｅ１１、Ｅ１３、Ｅ１７、Ｅ１９を取得した際の明るさ設定である最も明るい明るさ設定（増幅率C）が、基準明るさ設定に決定される。
基準明るさ設定は、複数の測定視野領域に対応する複数の明るさ設定から選択された一の明るさ設定であることが望ましい。これは、選択された一の明るさ設定で取得された第１の全焦点画像については、後述する輝度補正が必要ないため、補正対象の画像の数を少なくすることができるからである。更に、基準明るさ設定は、複数の測定視野領域に対応する複数の明るさ設定のうちの最も明るい明るさ設定であることが望ましい。これは、後述する輝度補正によって画像情報が失われることを回避することができるからである。
次に、第１の画像変換手段１２１は、複数の第１の全焦点画像から１つの第１の全焦点画像を選択する（ステップＳ２２）。以降では、選択した第１の全焦点画像を、単に選択全焦点画像と記す。
その後、第１の画像変換手段１２１は、選択全焦点画像の輝度値を、明るさ設定に関する設定値と画像取得手段１１０で取得される第１の全焦点画像の輝度値との対応関係に基づいて補正する（ステップＳ２３）。なお、補正後の画像と補正処理が行われなかった画像とを第２の全焦点画像と記す。また、補正により輝度値は１２ビットの輝度階調数（4096階調）を越える大きな値を取り得る。このため、第２の全焦点画像は、１２ビットよりも大きなビット数、例えば、１６ビットのデジタル画像として管理される。
図１０は、共焦点顕微鏡装置１００における光検出器１１に入射する入射光量と画像の輝度値の関係を、明るさ設定毎に示した図である。なお、図１０では、明るさ設定に関する設定値として増幅率（gain）が示されている。
図１０に示すように、共焦点顕微鏡装置１００では、入射光量が増加すると、輝度値は飽和輝度（4096）に達するまで入射光量及び増幅率に比例して増加する。また、入射光量が０のときには、増幅率によらず輝度値はIoffsetとなり、０にはならない。画像中に輝度値が０の画素が含まれるとその画像の解析や加工において様々な不都合が生じる。Ioffsetは、そのような事態を回避するために意図的に設けられたオフセット成分である。従って、共焦点顕微鏡装置１００では、オフセット成分を除く輝度値は、一定の入射光量を想定すると、増幅率（明るさ設定）に比例するという関係がある。この関係は、共焦点顕微鏡装置１００に固有のものであり、予め記憶部４２に記憶されている。ステップＳ２３では、この関係に基づいて、選択全焦点画像が基準全焦点画像に近づくように、選択全焦点画像の輝度値を補正する。
具体的には、選択全焦点画像の輝度値がIaであり、選択全焦点画像を取得した際の増幅率がAであれば、補正後の輝度値Ia´は、以下の式で算出される。
Ia´ = (C/A)(Ia−Ioffset)+Ioffset
また、選択全焦点画像の輝度値がIbであり、選択全焦点画像を取得した際の増幅率がBであれば、補正後の輝度値Ib´は、以下の式で算出される。
Ib´ = (C/B)(Ib-Ioffset)+Ioffset
また、選択全焦点画像を取得した際の増幅率がCであれば、補正後の輝度値Ic´は、補正前の輝度値（選択全焦点画像の輝度値）Icと同じである。このため、ステップＳ２３の処理は省略される。
なお、この様な補正が可能な理由は、共焦点顕微鏡装置では、焦点から外れた位置からの像（ボケ像）が共焦点画像及び全焦点画像に重畳せず、注目位置の輝度値がその周辺位置の反射率、形状（傾斜度合い）などの影響を受けないからである。つまり、隣接する測定視野領域が注目する測定視野領域の全焦点画像に影響を及ぼすことがないため、測定視野領域の異なる全焦点画像毎に独立して補正することができる。
輝度補正が終了すると、第１の画像変換手段１２１は、全ての第１の全焦点画像が選択済みか否かを判定し（ステップＳ２４）、全ての第１の全焦点画像が選択されるまで、ステップＳ２２からステップＳ２４の処理を繰り返し、ステップＳ２０の画像変換処理を終了する。
これにより、画像取得手段１１０で取得された複数の第１の全焦点画像のうちの少なくとも１つの画像の輝度が補正されて、複数の第１の全焦点画像が複数の第２の全焦点画像に変換される。
画像変換処理が終了すると、共焦点顕微鏡装置１００では、画像貼り合せ手段１２２が、複数の第２の全焦点画像を貼り合せる（ステップＳ３０）。ここでは、既存の画像貼り合せ技術が用いられる。例えば、隣接する第２の全焦点画像の重複領域のテクスチャを比較して、テクスチャが最も一致するように、隣接する第２の全焦点画像を貼り合せる。
図１１は、複数の第２の全焦点画像を貼り合せて構築された貼り合せ画像Ｅ２を例示した図である。図１１に示す貼り合せ画像Ｅ２では、つなぎ目が自然で違和感のない貼り合せが実現されている。なお、貼り合せ画像Ｅ２を構成する複数の第２の全焦点画像Ｅ２１からＥ２９は、いずれも１６ビットのデジタル画像であり、それぞれの画像の輝度階調数は65536階調である。
貼り合せが終了すると、第２の画像変換手段１２３は、貼り合せ画像Ｅ２を構成する複数の第２の全焦点画像の画像データの各々に対して所定の階調変換処理を行って、複数の第２の全焦点画像を複数の第３の全焦点画像に変換する（ステップＳ４０）。
所定の階調変換処理は、例えば、貼り合せ画像Ｅ２の見た目を改善又は調整するために行われる。このような処理の一例は、処理対象である画像データが表す画像の低階調領域をその画像の高階調領域よりも相対的に強調する階調変換処理である。また、顕微鏡利用者の好みに応じた変換を行う階調変換処理であってもよい。さらに、所定の階調変換処理は、例えば、画像変換処理で拡大した画像のビット数を元のビット数に戻すために行われてもよい。このような処理の一例は、複数の第２の全焦点画像を複数の第１の全焦点画像の階調数と同じ階調数を有するように圧縮する画像圧縮処理である。
図１２は、第２の画像変換手段１２３で行われる階調変換処理の特性を示した図であり、入力に対して対数的に変化する出力特性を示している。図１２に示す特性を有する階調変換処理は、１６ビットの画像データを１２ビットの画像データに圧縮しながら、画像の低階調領域をその画像の高階調領域よりも相対的に強調する階調変換処理である。
ステップＳ４０では、第２の画像変換手段１２３は、貼り合せ画像Ｅ２の画像データに対して一括して図１２に示す階調変換特性を有する階調変換処理を行う。これにより、貼り合せ画像Ｅ２を構成する複数の第２の全焦点画像の画像データの各々に対して図１２に示す階調変換特性を有する階調変換処理が行われて、複数の第２の全焦点画像が複数の第３の全焦点画像に変換される。
図１３は、複数の第３の全焦点画像を貼り合せて構築された貼り合せ画像Ｅ３を例示した図である。図１３に示す貼り合せ画像Ｅ３でも、図１１に示す階調変換処理前の貼り合せ画像Ｅ２と同様に、つなぎ目が自然で違和感のない貼り合せが実現されている。これは、図１１に示す貼り合せ画像Ｅ２を構成する複数の全焦点画像の各々に対して同じ階調変換処理が行われたためである。また、貼り合せ画像Ｅ３では、貼り合せ画像Ｅ２に比べて低輝度領域が相対的に強調されているため、貼り合せ画像Ｅ２では暗すぎて視認しにくかった剛球の周辺部も良好に視認することができる。さらに、貼り合せ画像Ｅ３が制御装置３０から出力される共焦点画像と同じビット数の画像となっているため、画像データの扱いが容易である。
以上のように、本実施形態に係る共焦点顕微鏡装置１００では、測定視野領域に応じた明るさ設定で全焦点画像を取得することで高さ測定を行う。そして、その後、取得した全焦点画像をそのまま貼り合せて貼り合せ画像を構築するのではなく、明るさ設定の違いを緩和するような画像変換処理を第１の全焦点画像に施し、その結果得られる第２の全焦点画像を貼り合せることで貼り合せ画像を構築する。このため、信頼性の高い高さ測定とつなぎ目が自然で違和感のない貼り合せ画像の構築とを両立することができる。また、測定視野領域に応じた明るさ設定で全焦点画像を取得することで、実質的に広いダイナミックレンジを実現することができる。このため、反射光量に大きな差が生じるような被検物であっても被検物全体を良好に観察及び測定することができる。
なお、本実施形態では、画像取得手段１１０が、測定視野領域に応じて増幅器１２への印加電圧値を変更することで、明るさ設定を変更する例を示したが、測定視野領域に応じて光検出器１１への印加電圧値を変更することで、明るさ設定を変更してもよい。また、画像取得手段１１０は、測定視野領域に応じてレーザ１の駆動電流値を変更することで、明るさ設定を変更してもよい。即ち、アナログ信号の増幅率の代わりに、レーザ１からの出射光量を変更することで、明るさ設定を変更してもよい。例えば、光検出器１１への入射光量がレーザ１からの出射光量に比例する場合であれば、第１の全焦点画像の輝度値は飽和輝度に達するまで出射光量に比例して増加することになる。この関係に基づいて、第１の画像変換手段１２１は、第１の全焦点画像の輝度値を補正してもよい。
また、本実施形態では、共焦点顕微鏡装置１００の利用者が、明るさ設定の指定と表示装置５０に表示される全焦点画像の明るさの確認を繰り返することで、測定視野領域に応じた明るさ設定を予め記憶部４２に記憶させる例を示したが、測定視野領域に応じた明るさ設定を特定する処理は、共焦点顕微鏡装置１００により自動的に行われてもよい。共焦点顕微鏡装置１００は、制御プログラムに従って、測定視野領域毎に明るさ設定の指定と全焦点画像の取得を繰り返すことで、測定視野領域に応じた適切な明るさ設定を特定し、記憶部４２に記憶させてもよい。
図１４は、共焦点顕微鏡装置１００で行われる別の画像変換処理のフローチャートである。本実施形態では、共焦点顕微鏡装置１００で行われる画像変換処理として、図９に示す画像変換処理を例示したが、図９に示す画像変換処理の代わりに、図１４に示す画像変換処理が行われてもよい。
図１４に示す画像変換処理は、基準とする明るさ設定で複数の測定視野領域を撮像したときに得られる複数の全焦点画像に近づくように、第１の画像変換手段１２１が複数の第１の全焦点画像を複数の第２の全焦点画像に変換する点は、図９に示す画像変換処理と同様である。ただし、具体的な手順が異なっているため、以下では、図１４を参照しながら具体的に説明する。
画像変換処理が開始されると、第１の画像変換手段１２１は、まず、１つの第１の全焦点画像を選択する（ステップＳ２５）。ここでは、例えば、最も明るい明るさ設定で取得した第１の全焦点画像を選択する。次に、選択済みの第１の全焦点画像に隣接する未選択の第１の全焦点画像を選択する（ステップＳ２６）。
その後、第１の画像変換手段１２１は、ステップＳ２６で新たに選択した第１の全焦点画像の輝度値を補正する（ステップ２７）。ここでは、新たに選択した第１の全焦点画像の測定視野領域とその画像に隣接する選択済みの第１の全焦点画像の測定視野領域とが重複する領域について新たに選択した第１の全焦点画像の輝度値と選択済みの第１の全焦点画像の輝度値が近づくように、新たに選択した第１の全焦点画像の輝度値を補正する。
図１５は、隣接する２つの第１の全焦点画像を例示した図である。図１５を参照しながら、ステップＳ２７で行う輝度補正の一例について具体的に説明する。まず、図１５（ａ）に示す補正対象となる第１の全焦点画像Ｅ４１と図１５（ｂ）に示す第１の全焦点画像Ｅ４１に隣接する第１の全焦点画像Ｅ４２とが重複する重複領域（領域Ｅ４１ａ、Ｅ４２ａ）中にある特徴的な領域（領域Ｅ４１ｂ、Ｅ４２ｂ）を特定する。特徴的な領域は、既存の画像貼り合せ技術において貼り合せのための位置決めの目安となる領域である。次に、領域Ｅ４１ｂの平均輝度値Idと領域Ｅ４２ｂの平均輝度値Ieを算出する。その後、これらの平均輝度値に基づいて、補正対象の第１の全焦点画像Ｅ４１の輝度値を補正する。
具体的には、補正対象である第１の全焦点画像Ｅ４１の補正前の輝度値がILであれば、補正後の輝度値がIL´は、以下の式で算出される。なお、Ioffsetが十分に小さい場合には、Ioffsetを無視してもよい。
IL´={(Ie-Ioffset)/(Id-Ioffset)}(IL-Ioffset)+Ioffset
図１６は、隣接する２つの第１の全焦点画像を輝度値の補正後に貼り合せた様子を例示した図である。図１６に示すように、上述した補正により、特徴的な領域の輝度値が近づき、その結果、重複領域の輝度値も近づくことになる。
第１の画像変換手段１２１は、全ての第１の全焦点画像を選択済みか否かを判定し（ステップＳ２８）、全ての第１の全焦点画像が選択されるまでステップＳ２６とステップＳ２７の処理を繰り返す。以上の方法によっても、最初に選択した第１の全焦点画像の明るさ設定で撮像したときに得られるであろう基準全焦点画像に近づくように、その他の第１の全焦点画像が変換される。
［第２の実施形態］
図１７は、共焦点顕微鏡装置２００の機能ブロック図である。共焦点顕微鏡装置２００は、貼り合せ画像構築手段１２０の代わりに貼り合せ画像構築手段２２０を備える点が、図５に示す共焦点顕微鏡装置１００とは異なっている。貼り合せ画像構築手段２２０は、第１の画像変換手段２２１と、第２の画像変換手段２２２と、画像貼り合せ手段２２３を備えている。
図１８は、共焦点顕微鏡装置２００で行われる処理のフローチャートである。共焦点顕微鏡装置２００では、高さ測定と貼り合せ画像の構築が開始されると、まず、画像取得手段１１０が、複数の測定視野領域の各々の全焦点画像を、その測定視野領域に応じた明るさ設定で取得し（ステップＳ１１０）、第１の画像変換手段１２１が複数の第１の全焦点画像を複数の第２の全焦点画像に変換する（ステップＳ１２０）。これらの処理は、図６に示すステップＳ１０及びステップＳ２０の処理と同様である。
その後、第２の画像変換手段２２２が、複数の第２の全焦点画像の画像データの各々に対して所定の階調変換処理を行って、複数の第２の全焦点画像を複数の第３の全焦点画像に変換する（ステップＳ１３０）。なお、ステップＳ１３０で行われる所定の階調変換処理は、図６に示すステップＳ４０の処理と同様である。最後に、画像貼り合せ手段２２３が、複数の第３の全焦点画像を貼り合せて、貼り合せ画像を構築する（ステップＳ１４０）。
共焦点顕微鏡装置２００でも、第１の実施形態に係る共焦点顕微鏡装置１００と同様に、信頼性の高い高さ測定とつなぎ目が自然で違和感のない貼り合せ画像の構築とを両立することができる。
［第３の実施形態］
図１９は、共焦点顕微鏡装置３００の機能ブロック図である。共焦点顕微鏡装置３００は、貼り合せ画像構築手段１２０の代わりに貼り合せ画像構築手段３２０を備える点が、図５に示す共焦点顕微鏡装置１００とは異なっている。貼り合せ画像構築手段３２０は、画像貼り合せ手段３２１と、第１の画像変換手段３２２と、第２の画像変換手段３２３を備えている。
図２０は、共焦点顕微鏡装置３００で行われる処理のフローチャートである。共焦点顕微鏡装置３００では、高さ測定と貼り合せ画像の構築が開始されると、まず、画像取得手段１１０が、複数の測定視野領域の各々の全焦点画像を、その測定視野領域に応じた明るさ設定で取得する（ステップＳ２１０）。この処理は、図６に示すステップＳ１０の処理と同様である。次に、画像貼り合せ手段３２１が、複数の第１の全焦点画像を貼り合せて、貼り合せ画像を構築する（ステップＳ２２０）。
その後、第１の画像変換手段３２２が、貼り合せ画像を構成する複数の第１の全焦点画像を複数の第２の全焦点画像に変換する（ステップＳ２３０）。この変換処理は、図６のステップＳ２０の処理と同様である。最後に、貼り合せ画像を構成する複数の第２の全焦点画像の画像データの各々に対して所定の階調変換処理を行って、複数の第２の全焦点画像を複数の第３の全焦点画像に変換する（ステップＳ２４０）。なお、ステップＳ２４０で行われる所定の階調変換処理は、図６に示すステップＳ４０の処理と同様である。
共焦点顕微鏡装置３００でも、第１の実施形態に係る共焦点顕微鏡装置１００と同様に、信頼性の高い高さ測定とつなぎ目が自然で違和感のない貼り合せ画像の構築とを両立することができる。
［第４の実施形態］
図２１は、共焦点顕微鏡装置４００の機能ブロック図である。共焦点顕微鏡装置４００は、貼り合せ画像構築手段１２０の代わりに貼り合せ画像構築手段４２０を備える点が、図５に示す共焦点顕微鏡装置１００とは異なっている。また、貼り合せ画像構築手段４２０は、第２の画像変換手段を有しない点が、貼り合せ画像構築手段１２０とは異なっている。
図２２は、共焦点顕微鏡装置４００で行われる処理のフローチャートである。共焦点顕微鏡装置４００では、高さ測定と貼り合せ画像の構築が開始されると、まず、画像取得手段１１０が、複数の測定視野領域の各々の全焦点画像を、その測定視野領域に応じた明るさ設定で取得し（ステップＳ３１０）、第１の画像変換手段１２１が複数の第１の全焦点画像を複数の第２の全焦点画像に変換する（ステップＳ３２０）。これらの処理は、図６に示すステップＳ１０及びステップＳ２０の処理と同様である。その後、貼り合せ画像構築手段１２０が、複数の第２の全焦点画像を貼り合せて、貼り合せ画像を構築し（ステップＳ３３０）、処理を終了する。
共焦点顕微鏡装置４００でも、第１の実施形態に係る共焦点顕微鏡装置１００と同様に、信頼性の高い高さ測定とつなぎ目が自然で違和感のない貼り合せ画像の構築とを両立することができる。
上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明の実施形態は上述した実施形態に限定されるものではない。本発明の共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラムは、特許請求の範囲に記載した範囲内で、さまざまな変形、変更が可能である。例えば、図２では、工業用途で使用される工業系の共焦点顕微鏡装置を例示したが、本発明の共焦点顕微鏡装置は、蛍光顕微鏡などの生物系の共焦点顕微鏡装置にも適用可能である。
また、貼り合せ画像構築手段は、複数の第１の全焦点画像が複数の基準全焦点画像に近づくように変換された複数の第２の全焦点画像に基づいて貼り合せ画像を構築するようなものであれば、上述した実施形態に示すものに限られない。最終的な貼り合せ画像が複数の第２の全焦点画像に基づいて構築されていればよいため、複数の基準全焦点画像に近づくように行われる変換処理は、画像貼り合せ後に行われても画像貼り合せ前に行われてもよい。また、“複数の第２の全焦点画像に基づいて貼り合せ画像を構築する”とは、複数の第２の全焦点画像が貼り合せられた貼り合せ画像を構築する場合に限られず、複数の第２の全焦点画像に対して更に階調変換処理が施された複数の第３の全焦点画像が貼り合せられた貼り合せ画像を構築する場合も含まれる。
また、第１の画像変換手段は、複数の第１の全焦点画像が、結果的に、複数の基準全焦点画像に近づくように変換されればよく、その具体的な方法は問わない。即ち、明るさ設定に関する設定値と第１の全焦点画像の輝度値との対応関係に基づいて第１の全焦点画像の輝度値を補正する方法以外の方法であってもよい。また、２以上の測定視野領域に重複して含まれる領域に対応する２以上の第１の全焦点画像の輝度値が近づくように第１の全焦点画像の輝度値を補正する方法以外の方法であってもよい。
また、第１の全焦点画像は、主に精度の高い高さ測定を行うために取得される。このため、画像取得手段は、複数の第１の全焦点画像の各々が一定の測定精度を確保することが可能な所定の範囲内の明るさを有するような明るさ設定で、複数の第１の全焦点画像を取得すればよい。
１・・・レーザ、２・・・ビームスプリッタ、３・・・二次元偏向器、４・・・投影レンズ、５・・・Ｚスキャナ、６・・・変位計、７・・・対物レンズ、８・・・ステージ、９・・・結像レンズ、１０・・・共焦点絞り、１１・・・光検出器、１２・・・増幅器、１３・・・ＡＤ変換器、１４・・・被検物、１５・・・光軸、１６・・・後側焦点位置、２０・・・共焦点顕微鏡本体、３０・・・制御装置、４０・・・コンピュータ、４１・・・画像入力部、４２・・・記憶部、４３・・・演算処理部、４４・・・インターフェース部、５０・・・表示装置、６０・・・指示入力装置、１００、２００、３００、４００・・・共焦点顕微鏡装置、１１０・・・画像取得手段、１２０、２２０、３２０、４２０・・・貼り合せ画像構築手段、１２１、２２１、３２２・・・第１の画像変換手段、１２２、２２３、３２１・・・画像貼り合せ手段、１２３、２２２、３２３・・・第２の画像変換手段

Claims (12)

  1. 共焦点顕微鏡装置であって、
    測定すべき対象である測定対象領域を構成する複数の測定視野領域の各々の第１の全焦点画像を、当該測定視野領域に応じた明るさ設定で取得する画像取得手段と、
    基準とする明るさ設定で前記複数の測定視野領域を撮像したときに得られる複数の基準全焦点画像に近づくように前記画像取得手段で取得された前記複数の第１の全焦点画像が変換された複数の第２の全焦点画像に基づいて貼り合せ画像を構築する貼り合せ画像構築手段と、を備え、
    前記共焦点顕微鏡装置は、レーザ走査型共焦点顕微鏡装置であり、
    前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定は、前記レーザ走査型共焦点顕微鏡装置が有する光源の出射光量に関する設定、前記レーザ走査型共焦点顕微鏡装置が有する光検出器から出力する信号又は出力した信号を増幅する増幅率に関する設定、前記レーザ走査型共焦点顕微鏡装置が有するレーザ光源の駆動電流に関する設定、又は、前記レーザ走査型共焦点顕微鏡装置が有するフォトマルチプライヤ若しくはアバランシェフォトダイオードへの印加電圧に関する設定、の少なくとも一つを含み、
    前記貼り合せ画像構築手段は、少なくとも前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定に基づいて、前記複数の基準全焦点画像に近づくように、前記複数の第１の全焦点画像を前記複数の第２の全焦点画像に変換する第１の画像変換手段を備える
    ことを特徴とする共焦点顕微鏡装置。
  2. 請求項１に記載の共焦点顕微鏡装置において、
    前記貼り合せ画像構築手段は、さらに、前記複数の第２の全焦点画像の画像データの各々に対して所定の階調変換処理を行うことで、前記複数の第２の全焦点画像を複数の第３の全焦点画像に変換する第２の画像変換手段を備える
    ことを特徴とする共焦点顕微鏡装置。
  3. 請求項２に記載の共焦点顕微鏡装置において、
    前記所定の階調変換処理は、前記複数の第２の全焦点画像の低階調領域を前記複数の第
    ２の全焦点画像の高階調領域よりも相対的に強調する階調変換処理である
    ことを特徴とする共焦点顕微鏡装置。
  4. 請求項２又は請求項３に記載の共焦点顕微鏡装置において、
    前記所定の階調変換処理は、前記複数の第２の全焦点画像を前記複数の第１の全焦点画像の階調数と同じ階調数を有する前記複数の第３の全焦点画像に変換する階調変換処理である
    ことを特徴とする共焦点顕微鏡装置。
  5. 請求項１乃至請求項４のいずれか１項に記載の共焦点顕微鏡装置において、
    前記第１の画像変換手段は、前記測定視野領域に応じた明るさ設定に関する設定値と前記画像取得手段で取得される第１の全焦点画像の輝度値との対応関係に基づいて、前記複数の第１の全焦点画像のうちの少なくとも１つの第１の全焦点画像の輝度値を補正する
    ことを特徴とする共焦点顕微鏡装置。
  6. 請求項１乃至請求項４のいずれか１項に記載の共焦点顕微鏡装置において、
    前記第１の画像変換手段は、２以上の第１の全焦点画像の輝度値であって２以上の測定視野領域に重複して含まれる領域に対応する輝度値が近づくように、前記複数の第１の全焦点画像のうちの少なくとも１つの第１の全焦点画像の輝度値を補正する
    ことを特徴とする共焦点顕微鏡装置。
  7. 請求項２乃至請求項４のいずれか１項に記載の共焦点顕微鏡装置において、
    前記貼り合せ画像構築手段は、さらに、
    前記複数の第１の全焦点画像、前記複数の第２の全焦点画像、又は、前記複数の第３の全焦点画像を貼り合せる画像貼り合せ手段を備える
    ことを特徴とする共焦点顕微鏡装置。
  8. 請求項１乃至請求項７のいずれか１項に記載の共焦点顕微鏡装置において、
    前記基準とする明るさ設定は、前記複数の測定視野領域に対応する複数の明るさ設定から選択された一の明るさ設定である
    ことを特徴とする共焦点顕微鏡装置。
  9. 請求項８に記載の共焦点顕微鏡装置において、
    前記基準とする明るさ設定は、前記複数の測定視野領域に対応する前記複数の明るさ設定のうちの最も明るい明るさ設定である
    ことを特徴とする共焦点顕微鏡装置。
  10. 請求項１乃至請求項９のいずれか１項に記載の共焦点顕微鏡装置において、
    前記第１の画像変換手段は、前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定と輝度値のオフセット成分に基づいて、前記複数の基準全焦点画像に近づくように、前記複数の第１の全焦点画像を前記複数の第２の全焦点画像に変換する
    ことを特徴とする共焦点顕微鏡装置。
  11. 測定すべき対象である測定対象領域を構成する複数の測定視野領域の各々の第１の全焦点画像を、当該測定視野領域に応じた明るさ設定で取得し、
    基準とする明るさ設定で前記複数の測定視野領域を撮像したときに得られる複数の基準全焦点画像に近づくように、少なくとも前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定とに基づいて、前記複数の第１の全焦点画像を複数の第２の全焦点画像に変換し、
    前記複数の第２の全焦点画像に基づいて貼り合せ画像を構築し、
    前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定は、レーザ走査型共焦点顕微鏡装置が有する光源の出射光量に関する設定、前記レーザ走査型共焦点顕微鏡装置が有する光検出器から出力する信号又は出力した信号を増幅する増幅率に関する設定、前記レーザ走査型共焦点顕微鏡装置が有するレーザ光源の駆動電流に関する設定、又は、前記レーザ走査型共焦点顕微鏡装置が有するフォトマルチプライヤ若しくはアバランシェフォトダイオードへの印加電圧に関する設定、の少なくとも一つを含む
    ことを特徴とする貼り合せ画像構築方法。
  12. 測定すべき対象である測定対象領域を構成する複数の測定視野領域の各々の第１の全焦点画像を、当該測定視野領域に応じた明るさ設定で取得し、
    基準とする明るさ設定で前記複数の測定視野領域を撮像したときに得られる複数の基準全焦点画像に近づくように、少なくとも前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定とに基づいて、前記複数の第１の全焦点画像を複数の第２の全焦点画像に変換し、
    前記複数の第２の全焦点画像に基づいて貼り合せ画像を構築し、
    前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定は、レーザ走査型共焦点顕微鏡装置が有する光源の出射光量に関する設定、前記レーザ走査型共焦点顕微鏡装置が有する光検出器から出力する信号又は出力した信号を増幅する増幅率に関する設定、前記レーザ走査型共焦点顕微鏡装置が有するレーザ光源の駆動電流に関する設定、又は、前記レーザ走査型共焦点顕微鏡装置が有するフォトマルチプライヤ若しくはアバランシェフォトダイオードへの印加電圧に関する設定、の少なくとも一つを含む
    処理をコンピュータに実行させることを特徴とするプログラム。
JP2016028265A 2016-02-17 2016-02-17 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム Active JP6680560B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016028265A JP6680560B2 (ja) 2016-02-17 2016-02-17 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム
US15/423,879 US10234673B2 (en) 2016-02-17 2017-02-03 Confocal microscope apparatus, stitched image construction method and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016028265A JP6680560B2 (ja) 2016-02-17 2016-02-17 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2017146466A JP2017146466A (ja) 2017-08-24
JP6680560B2 true JP6680560B2 (ja) 2020-04-15

Family

ID=59559629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016028265A Active JP6680560B2 (ja) 2016-02-17 2016-02-17 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム

Country Status (2)

Country Link
US (1) US10234673B2 (ja)
JP (1) JP6680560B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6768289B2 (ja) * 2015-12-01 2020-10-14 キヤノン株式会社 走査型顕微鏡
JP6680560B2 (ja) * 2016-02-17 2020-04-15 オリンパス株式会社 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム
CN111505816B (zh) * 2020-04-09 2022-05-31 揽华智慧医疗科技(江苏)有限公司 高通量电子显微镜成像方法及系统
CN113344834B (zh) * 2021-06-02 2022-06-03 深圳兆日科技股份有限公司 图像拼接方法、装置及计算机可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5932871A (en) * 1995-11-08 1999-08-03 Olympus Optical Co., Ltd. Microscope having a confocal point and a non-confocal point, and a confocal point detect method applied thereto
JP3847422B2 (ja) 1997-08-28 2006-11-22 オリンパス株式会社 高さ測定方法及びその装置
JP2004170572A (ja) 2002-11-19 2004-06-17 Keyence Corp 画像つなぎ合わせ機能を有する共焦点顕微鏡システム、光量偏心補正方法及びコンピュータプログラム
EP2318875B1 (en) * 2008-07-25 2019-11-06 Sloan Kettering Institute For Cancer Research Rapid confocal microscopy to support surgical procedures
US20100150472A1 (en) * 2008-12-15 2010-06-17 National Tsing Hua University (Taiwan) Method for composing confocal microscopy image with higher resolution
US8509565B2 (en) * 2008-12-15 2013-08-13 National Tsing Hua University Optimal multi-resolution blending of confocal microscope images
JP5365407B2 (ja) * 2009-08-17 2013-12-11 ソニー株式会社 画像取得装置及び画像取得方法
TWI414817B (zh) * 2010-07-23 2013-11-11 Univ Nat Taipei Technology 線型彩色共焦顯微系統
JP2012155010A (ja) * 2011-01-24 2012-08-16 Keyence Corp 顕微鏡システム、表面状態観察方法および表面状態観察プログラム
JP2013011856A (ja) * 2011-06-01 2013-01-17 Canon Inc 撮像システムおよびその制御方法
JP5732353B2 (ja) * 2011-08-31 2015-06-10 株式会社キーエンス 拡大観察装置、拡大観察方法および拡大観察プログラム
JP2013148856A (ja) * 2011-12-22 2013-08-01 Canon Inc 撮像装置、表示画面生成装置、撮像システム、及びその制御方法
JP2013152334A (ja) * 2012-01-25 2013-08-08 Olympus Corp 顕微鏡システムおよび顕微鏡観察方法
DE102012217967A1 (de) * 2012-10-01 2014-04-03 Carl Zeiss Microscopy Gmbh Konfokales Mikroskop mit frei einstellbarer Probenabtastung
JP6680560B2 (ja) * 2016-02-17 2020-04-15 オリンパス株式会社 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム
JP6811950B2 (ja) * 2016-12-09 2021-01-13 オリンパス株式会社 走査型共焦点顕微鏡装置、走査制御方法、及び、プログラム

Also Published As

Publication number Publication date
JP2017146466A (ja) 2017-08-24
US20170235119A1 (en) 2017-08-17
US10234673B2 (en) 2019-03-19

Similar Documents

Publication Publication Date Title
JP6680560B2 (ja) 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム
JP5356728B2 (ja) エッジ抽出装置、測量機、およびプログラム
JP5164754B2 (ja) 走査型荷電粒子顕微鏡装置及び走査型荷電粒子顕微鏡装置で取得した画像の処理方法
JP5940383B2 (ja) 顕微鏡システム
JP5287385B2 (ja) 計測装置
JP5447516B2 (ja) 画像処理装置、画像処理方法、プログラム、および、顕微鏡
JP4865271B2 (ja) 共焦点走査型顕微鏡
JP6132650B2 (ja) 共焦点顕微鏡装置
JP2018096760A (ja) 走査型共焦点顕微鏡装置、走査制御方法、及び、プログラム
JP2001082935A (ja) 三次元測定装置
JP4542302B2 (ja) 共焦点顕微鏡システム
WO2023276326A1 (ja) 光学画像処理方法、機械学習方法、学習済みモデル、機械学習の前処理方法、光学画像処理モジュール、光学画像処理プログラム、及び光学画像処理システム
JP6660774B2 (ja) 高さデータ処理装置、表面形状測定装置、高さデータ補正方法、及びプログラム
JP2004069795A (ja) 共焦点顕微鏡システム及びパラメータ設定用コンピュータプログラム
JP2010262104A (ja) 走査型共焦点顕微鏡
JP5340820B2 (ja) 共焦点レーザ顕微鏡
JP2004170572A (ja) 画像つなぎ合わせ機能を有する共焦点顕微鏡システム、光量偏心補正方法及びコンピュータプログラム
JP2004138947A (ja) 走査モード選択可能な共焦点顕微鏡システム
JP4536845B2 (ja) 共焦点顕微鏡
US11900574B2 (en) Image processing system and image processing method
JP2004145153A (ja) 光量飽和表示機能付共焦点顕微鏡
JP2005291720A (ja) 蛍光検出装置、濃淡情報補正方法および濃淡情報補正プログラム
US11867496B2 (en) Measurement system, measurement support method, and computer-readable medium
JP2000310734A (ja) 共焦点顕微鏡および調節方法
JP2017083790A (ja) 画像取得装置、及びそれを用いた画像取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191113

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200319

R151 Written notification of patent or utility model registration

Ref document number: 6680560

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250