JP6905932B2 - デジタル病理学スキャンにおける照明 - Google Patents

デジタル病理学スキャンにおける照明 Download PDF

Info

Publication number
JP6905932B2
JP6905932B2 JP2017522650A JP2017522650A JP6905932B2 JP 6905932 B2 JP6905932 B2 JP 6905932B2 JP 2017522650 A JP2017522650 A JP 2017522650A JP 2017522650 A JP2017522650 A JP 2017522650A JP 6905932 B2 JP6905932 B2 JP 6905932B2
Authority
JP
Japan
Prior art keywords
excitation
lens array
illumination
sample
receiving device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017522650A
Other languages
English (en)
Other versions
JP2018509640A5 (ja
JP2018509640A (ja
Inventor
マリウス イオシフ ボームファ
マリウス イオシフ ボームファ
レインホルド ウィムバーガー‐フリードル
レインホルド ウィムバーガー‐フリードル
テオドール バスティアーン ヨハネス ハデマン
テオドール バスティアーン ヨハネス ハデマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018509640A publication Critical patent/JP2018509640A/ja
Publication of JP2018509640A5 publication Critical patent/JP2018509640A5/ja
Application granted granted Critical
Publication of JP6905932B2 publication Critical patent/JP6905932B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/082Condensers for incident illumination only
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/12Condensers affording bright-field illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/005Arrays characterized by the distribution or form of lenses arranged along a single direction only, e.g. lenticular sheets
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N2021/6463Optics
    • G01N2021/6471Special filters, filter wheel
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N2021/6463Optics
    • G01N2021/6478Special lenses

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、デジタル病理学に関し、特に、デジタル病理学スキャナーに関する。
例えば病院の臨床決定支援システムに病理画像を統合するため、病理スライドが、デジタル形式で利用可能にされる。従って、これはデジタル病理学と呼ばれる。病理学スライドは通常、画像をデジタル形式で更に検査できるようにするため、この目的のために提供されるデジタル病理学スキャナーによりスキャンされる。画像を取得できるようにするため、病理学スライドは照らされる必要がある。WO2011/080670号は、デジタル病理学のためのデジタルスキャナにおける顕微鏡検査のためのセンサを記載する。照明の質は、要求の厳しいトピックであることが示される。スキャンのため、プレビュー目的の低解像度スキャンが提供され、実際の画像取得のためには高解像度スキャンが提供されることができる。プレビューは例えば、関心領域を特定するために提供される。高解像度スキャンは、利用可能な光の制限により主に決定される速度で、高解像度で関心領域をスキャンするために提供される。
しかしながら、光源からの利用可能な光の効率的な使用は、高いスキャン速度の中心的な側面であることが示される。
従って、利用可能な撮像放射線の使用を増強したデジタル病理学スキャナーを提供する必要性が存在する。
本発明の目的は、独立請求項の主題により解決される。更なる実施形態は、従属項に含まれる。
本発明によれば、放射線装置と、サンプル受容デバイスと、光学装置と、センサユニットとを有するデジタル病理学スキャナーが提供される。上記放射線装置が、サンプル受容デバイスにより受けられるサンプルを放射する電磁放射を提供するソースを有する。上記光学装置は、上記サンプル受容デバイスと上記センサユニットとの間に配置されるレンズ及びフィルタのグループの少なくとも1つを有する。上記センサユニットが、上記放射されたサンプルの画像データを提供するよう構成される。上記ソースと上記サンプル受容デバイスとの間に配置された少なくとも1つのレンズアレイを有するレンズアレイ装置が提供される。上記少なくとも1つのレンズアレイは、上記ソースからの上記電磁放射を変調する複数の線形シリンドリカルレンズを含み、その結果、対象平面において、増強された放射線の複数の第1の部分と弱放射線の複数の第2の部分とを備える放射線分布パターンが生成される。
上述したレンズアレイ装置を提供することにより、提供される放射の集中が実現され、従って、照明目的のために提供された放射を効率的に使用することができる。強化された放射部分では、より多くの放射、例えば光が、レンズアレイ装置を使用しない場合よりも提供される。こうして、提供される強化された放射部分の形態における光(照明)の集中が、光(照明)のより効率的な使用を可能にし、従って、高いスキャン速度をサポートする。
一例では、2つ又はこれ以上、例えば4、5、6、7、8、9、10又はこれ以上のレンズアレイがスキャナーに提供される。
一例によれば、線形シリンドリカルレンズは、互いに隣接して配置され、ソースからの電磁放射線の連続変調を提供する。
これは、すべての放射線、例えばソースにより提供されるすべての光の最適な使用を可能にする。
一例によれば、放射装置は、ソースを備える照明ユニットを有する。上記レンズアレイ装置は、上記ソースと上記サンプル受容デバイスとの間に配置され、上記ソースからの光を変調する照明レンズアレイを有し、増強された照明の複数の第1の部分と弱い照明の複数の第2の部分とを備える照明分布パターンが生成される。
これは、照明光が、例えば透過的な態様で、サンプルをスキャンするためにサンプルに供給されることができることを提供する。
一例によれば、光学装置は、明視野モードスキャンに関する透過照明モードのために構成され、上記透過照明モードでは、上記照明ユニットからの光は、直接センサユニットに向かって透過される。
一例によれば、放射装置は、励起光源と、励起光源の前の励起フィルタとを備える蛍光励起ユニットを有する。上記レンズアレイ装置は、上記励起光源と上記サンプル受容デバイスとの間に配置され、上記励起光源からの励起光を変調する励起レンズアレイを有し、増強された励起光の複数の第1の部分と弱い励起光の複数の第2の部分とを持つ励起分布パターンが生成される。
従って、サンプルは、蛍光画像情報を提供するという点で画像化されることもできる。
一例によれば、上記光学装置が、蛍光モードスキャンに関する反射照明モードのために構成され、上記反射照明モードでは、上記蛍光励起ユニットからの光が、サンプルに向かって送出され、上記反射照明モードでは、生成された蛍光放射が集められ、上記センサユニットに向けて送出される。
一例では、照明レンズアレイを備える照射ユニットと、励起レンズアレイを備える蛍光励起ユニットとを提供することにより、透過照明モードと蛍光モードとの両方のモードが提供される。
一例によれば、上記センサユニットが、線形光活性領域の複数の第1の部分、及びその間にある光不活性領域の複数の第2の部分のセンサパターンを持つセンサを有する。複数の線形シリンドリカルレンズの数は、複数の線形光活性領域の数に一致する。
これは、光源により提供される光の効率的な使用を可能にし、効率が大幅に増加され、より高速なスキャンを可能にする。
一例によれば、1つの線形光活性領域は、1つ又は複数の画素ラインを有し、例えば1つの線形光活性領域は、4つの画素ラインを有することができる。線形光活性領域のこれらの画素ラインは、時間遅延及び積分モード(TDIモード)で動作する。これは、時間遅延及び積分スキャンとも呼ばれ、感度を高めることができる。
一例によれば、センサパターンは、1:1より小さい光不活性領域に対する光活性領域の比を具備し、例えば4:13の比を持つ。
一例によれば、対象平面における放射分布パターン又は照明分布パターン又は励起分布パターンは、センサパターンに対応する。
別の例では、対象平面における放射分布パターン、照明分布パターン、及び励起分布パターンの2つ又はこれ以上が、センサパターンに対応する。
1つの側面によれば、対象平面における増強された領域を提供するため、既に対象平面にある電磁放射線、即ち光を変調するためにレンズアレイが提供され、これは、これらの領域を少なくとも参照することにより、光のより効率的な使用を可能にし、従ってより速いスキャン速度を可能にする。レンズアレイの提供と、対象平面における強化された部分の分布は、個別の画像データを提供するセンサセグメントの個別のパターンとマッチすることができる。
デジタル病理学スキャナーの例の概略的なセットアップを示す図である。 図1のスキャナーに使用されるレンズアレイの断面を示す図である。 図2のレンズアレイの上面表示を示す図である。 図2のレンズアレイによりもたらされる光分布パターンを示す図である。 更なるオプションを持つデジタル病理学スキャナーの更なる例のセットアップを示す図である。 図1のスキャナーの対象平面を横切る光分布パターンを示す図である。 図1のスキャナーに使用されるセンサユニットの例を示す図である。
本発明のこれら及び他の側面は、本書において述べられる実施形態から明らかとなり、及び実施形態を参照して説明されることになる。
本発明の例示的な実施形態が、以下の図面を参照して以下に説明される。
図1は、デジタル病理学スキャナー10の図を示す。図1はまた、例として提供されるオプションを示すが、以下に説明されるデジタル病理学スキャナー10には必須ではない点に留意されたい。
デジタル病理学スキャナー10は、放射装置12と、サンプル受容デバイス14と、光学装置16とを有する。更にセンサユニット18が提供される。
放射装置12は、サンプル受容デバイス14により受けられるサンプルを放射する電磁放射22を提供するソース20を有する。光学装置16は、サンプル受容デバイス14とセンサユニット18との間に配置されたレンズ24及びフィルタ26のグループの少なくとも1つを有する。センサユニット18は、放射されたサンプルの画像データを提供するよう構成される。更に、ソース20とサンプル受容デバイス14との間に配置された少なくとも1つのレンズアレイ30を有するレンズアレイ装置28が提供される。少なくとも1つのレンズアレイ30は、ソース20からの電磁放射22を変調する複数の線形シリンドリカルレンズ32を有する。その結果、対象平面(図示省略)、即ち対象が配置される平面において、強化された放射線の複数の第1の部分と弱い放射線の複数の第2の部分とを備える放射線分布パターン(以下も参照)が生成される。
レンズアレイ装置は、放射線、即ちスキャンに使用される光の特定の領域への集中を提供し、これらの領域における改善されたスキャンを可能にする。これは、効率性を向上させ、例えば、より高速なスキャンを可能にする。
以下において、ソース20の構成に関するより詳細な例も提供される点に留意されたい。
図2には、少なくとも1つのレンズアレイ30の詳細な断面が提供される。複数の線形シリンドリカルレンズ32が示される。
図3には、少なくとも1つのレンズアレイ30の上面図が示される。空の部分33は、レンズアレイが、線形シリンドリカルレンズ32の更なる線を持ち、サイズ及び比率において変化することができることを示す。即ち、レンズアレイ30は、線形シリンドリカルレンズ32のより多い又はより少ない線を持ち、シリンドリカルレンズ32は、直線方向においてより長い又はより短い延在部を持つことができることを示す。
図3に続いて図4において、複数の線形シリンドリカルレンズ32から生じる強度分布パターン34が示される。示されるように、符号38で示される弱い放射の複数の第2の部分に加えて、符号36で示される増強された放射の第1の部分の交互のパターンが提供される。点線35は、グラフが、レンズアレイに基づき更に変化することができることを示す。レンズアレイ装置28は、対象平面における光分布の変更を提供する。対象平面は、サンプル平面とも呼ばれることができる。
電磁放射線は、例えば可視光として、又は例えば赤外線若しくは紫外線といった不可視光として提供されることができる。
「変調する」という用語は、放射線を集束させることとして参照されることもできる。
「デジタル病理学」という用語は、サンプル又はプローブからの情報をデジタルスライドの形態で提供することに関する。「サンプル」又は「プローブ」という用語は、画像化されるために提供される例に関する。例えば、プローブは、スライドの形態で提供される染色された組織である。画像は、組織又は体液又は他のサンプルのスライスからプローブとして取られ、画像はその後、デジタル形式で画像管理システムに提供される。取得された画像は、顕微鏡法により提供されるものと同様の病理画像(又は病理スライド)として提供される。こうして、デジタル顕微鏡法又はバーチャル顕微鏡法という用語が使用されることもできる。デジタルスライドは、コンピュータ環境におけるデータの表示、分析及び管理を可能にする。「デジタル病理学スキャナー」という用語は、デジタルスライドとして画像データを生成するため、プローブをスキャンするために提供されるデバイスに関する。プローブは、デジタル形式の画像データを取得するために照射及びスキャンされるよう、例えば準備された又は前処理されたプローブとして提供されることができる。多数のスライドの取得を容易にするのに適したスキャナーが提供されることができる。
「放射線装置」という用語は、実際のスキャンプロセス、例えばプリスキャン手順又はメインスキャン手順のため、光(人間の目に可視又は不可視)を提供するスキャナーの部分に関する。「放射線装置」は、撮像ユニットとして機能するセンサユニットにより個別の画像情報を検出できるようにプローブを照らす「照明ユニット」として提供されることができる。「照明ユニット」という用語は、更なる目的に関する光を生成するためのユニット又は要素に関する。
「対象平面」という用語は、スキャン手順の間にサンプルが配置される平面に関する。「対象平面」は、サンプル平面とも呼ばれる。対象平面は従って、撮像面とは異なる。なぜなら、センサユニットは、対象、即ちサンプル又はプローブと同じ面内に配置されないからである。
「サンプル受容デバイス」は、スキャン手順のためのサンプルを一時的に保持する手段に関する。一例では、サンプルホルダを受けるインサート又はレセプタクルが提供される。サンプルホルダは、スキャンされるサンプルを支持するガラスプレート(又は2つのガラスプレート)として提供されることができる。このプレートも、サンプルホルダに一時的に固定されることができる。別の例では、撮像目的のためにサンプルを配置するための指定された空間が、例えばサンプル受容スペースとして提供される。
「光学構成」は、電磁放射線、即ち可視光及び/又は不可視光の誘導、偏向、集束及び反射を提供するために設けられる。
一例では、光学装置は、サンプル受容デバイスの近傍に対物レンズを有する。光学装置は、サンプルからの光をセンサユニットに集束させるチューブレンズを更に有することができる。例えば、コンパクトな構成を可能にするため、集束された光をセンサユニットに向けて偏向させる鏡が提供されることができる。
シリンドリカルレンズ32は、一方向における放射線を複数のラインに、例えば平行シリンドリカルレンズの場合は複数の平行線に集束させることにより放射線を変調する。増強された放射の複数の第1の部分及び弱い放射の複数の第2の部分は、上述したように交互に配置される。
一例では、図2に示されるように、線形シリンドリカルレンズ32は、互いに隣接して配置され、ソース20からの電磁放射の連続変調を提供する。「線形」という用語は、レンズアレイ30の上面図を示す図3に示されるように、レンズの直線的な延在部に関する。
一例では、図5に示されるように、更なるオプションと共に、放射装置12は、光源42を備える照明ユニット40を有する。レンズアレイ装置28は、少なくとも1つの照明レンズアレイ44を有する。これは、光源42とサンプル受容デバイス14との間に配置され、光源からの光を、強化された照明の複数の第1の部分と弱い照明の複数の第2の部分とを備える照明分布パターンが生成されるよう変調する。照明ユニット40は、照明レンズアレイ44とサンプル受容デバイス14との間に配置されるコンデンサー(図5には明示されていない)(condenser)を有することもできる。コンデンサーは、照明レンズアレイ44と共に、所望の照明分布パターンを形成するよう機能する。
1つではなく、2つ又はこれ以上の照明レンズアレイ44が提供される。一例によれば、光学装置16は、明視野モードスキャンに関する透過照明モード用に構成される。そこでは、照明ユニット40からの光が、サンプル受容デバイス14に保持されるサンプルを通して透過され、次いで直接センサユニット18に向けて透過される。
一例では、放射装置12は、照明ユニット40のみを有する。従って、レンズアレイは、照明レンズアレイとして提供される。図5は、以下に説明されるように、更なるオプションも示す点に留意されたい。
図5の更なるオプションとして示され、しかしながら、照明ユニット40の上述したオプションなしでも提供される別の例によれば、放射装置12は、励起光源52を備える蛍光励起ユニット50と、励起光源52の前の励起フィルタ54とを有する。レンズアレイ装置28は、励起光源52とサンプル受容デバイス14との間に配置され、励起光源52からの励起光を変調する少なくとも1つの励起レンズアレイ56を有する。その結果、増強された励起光の複数の第1の部分と、弱い励起光の複数の第2の部分とを備える励起分布パターンが生成される。
1つではなく、2つ又はこれ以上の励起レンズアレイ56が提供される。
上述したように、一例では、放射装置12は、蛍光励起ユニット50のみを有する。従って、レンズアレイは、励起レンズアレイとして提供される。図5は、上述したように更なるオプションも示す点に留意されたい。
一例では、図5に示されるように、放射装置12は、照明ユニット40と蛍光励起ユニット50とを有する。従って、レンズアレイ装置は、照明レンズアレイと励起レンズアレイとを有する。
一例では、光学装置16は、ダイクロイック鏡60を有する。これは、励起光のサンプルに向かう反射を可能にし、サンプルから発する光のセンサユニット18への透過を可能にする。
一例では、励起レンズアレイ56は、照明レンズアレイ44のレンズとは異なる焦点距離を持つレンズを具備する。
一例では、励起レンズアレイは、励起光源52と励起フィルタ54との間、即ち、(励起光放射方向又は伝播の点で)励起光源52の後だが、(励起光の照射方向の点で)励起フィルタ54の前に配置される。別の例では、励起レンズアレイ56は、励起フィルタ54とサンプル受容デバイス14(即ちスライド)との間に、即ち(励起光放射方向に関して)励起フィルタ54の後に配置される。例えば、励起フィルタ54と更なる光学要素との間に配置される。
一例では、光学装置は、蛍光モードスキャンに関する反射照明モード用に構成され、そこでは、蛍光励起ユニットからの励起光が、サンプルに向かって送出され、生成された蛍光放射が収集され、光学装置16によりセンサユニットに向けて送出される。この場合、サンプルにおいて照射された励起光と、照射されたサンプルから収集された生成された蛍光放射とは、サンプル受容デバイス16の同じ側にある。
図5において、オプションとして、センサユニット18に向かって放射を反射する更なる鏡62が提供される。更なるオプションとして、図5は、サンプル受容デバイス14の近くに配置された対物レンズ64を備えることも示す。
図6において、強化された放射部分70及び弱い放射部分72を備える個別の放射分布パターン68を示す対象空間66の図が示される。
図7は、一例によるセンサユニット18の一部であるセンサ74の上面図又は正面図を示す。センサ74は、線形光活性領域76の複数の第1の部分と、その間にある光不活性領域78の複数の第2の部分のセンサパターンを具備する。光活性領域76は、(線形)センサセグメントと呼ばれることもできる。なぜなら、これらのセグメントは、センサユニット18の検出効果を提供するからである。光不活性領域78は、セグメント又は非アクティブセグメントと呼ばれることもできる。なぜなら、これらのセグメントは、検出効果に寄与しないからである。領域又はセグメントの代わりに、部分又はパーツという用語が使用されることもできる。
ドット75は、より多くの又は少ないラインの光活性領域76が提供されることができることを示す。空の部分77は、光活性領域76が、線形方向に更に長い又は短い延在部を持つことができることを示す。従って、センサは、サイズ及び比率において変化することができる。
光活性領域76は、(センサ)画素ラインとして構成される複数のセンサ要素80を有する。従って、センサ要素80は、画素と呼ばれることもできる。従って、センサパターンは、画像空間、即ち、画像データが測定される領域、即ち(センサ)画素ラインにより検出される領域を提供する。1つの光活性領域76は、1つ又は複数の画素ラインを有することができ、例えば1つの光活性領域は4つの画素ラインを有する。光活性領域のこれらの画素ラインは、時間遅延及び積分モード(TDIモード)で機能する。これは、時間遅延及び積分スキャンとも呼ばれ、感度を高めることができる。
一例によれば、少なくとも1つのレンズアレイの複数の線形シリンドリカルレンズの数は、センサの複数の線形光活性領域の数にマッチする。
従って、画像空間は、サンプルのスキャン領域サイズを規定する対象空間に対応する。対象空間は、サンプル受容デバイスにより提供される領域であり、この領域を横切り、スキャンの間、画像データが検出されることができる。
対象空間における(照明モード、例えば明視野モード及び/又は蛍光モードでの)光の変調は、センサユニット18の画像空間におけるセンサ又は画素ライン配置に対応する。
センサパターンの形態で構成された線形光活性領域と組み合わせて、対象平面における放射線分布パターンを提供するため、放射線を変調するレンズアレイ装置28を提供することで、放射線装置からの光の最大量の利用、即ち光源からの出力の最大限の使用がもたらされる。理論的に(又は事実上)100%の光が、スキャン目的に使用される。
こうして、シリンドリカルレンズ32を備えたレンズアレイ装置が、対象平面及び撮像面における光分布を調整するために提供される。その結果、光分布が、センサ(カメラ又はカメラユニットとも呼ばれる)の画素ライン分布とマッチする。
シリンドリカルレンズの焦点力は、(デジタル病理学)スキャナーと(顕微鏡として作用するデジタル病理学スキャナーの)コンデンサー設計のシステム距離に従う必要がある。例えば、1μm(マイクロメートル)×1μmの対象空間の領域は、4×4ピクセルに関連する。別の例では、1025μm×540μmの対象空間は、4096×2160ピクセルに関連する。
一例では、アレイにおけるレンズの数は、検出器における線形光活性領域の数に対応する。一例として、レンズアレイ装置の個々のシリンドリカルレンズの焦点距離を近似又は決定するために、以下の式
Figure 0006905932
が使用されることができ、ここで、瞳孔入口(pupil entrance)は、明視野モードのコンデンサーの入射瞳又は蛍光モードの目標の入射瞳であり、fcylは、アレイにおける個々のレンズの焦点距離であり、feffは、明視野モードにおけるコンデンサー又は蛍光モードにおける目標の実効焦点距離であり、「対象空間幅」(object space width)は、対象空間において得られる所望の幅であり、例えば、それは、540μm(マイクロメートル)よりも大きくする必要がある。
この式は、明視野及び蛍光モードに関して、異なるレンズアレイが提供されることを示す。
一例において、レンズの規則的で反復的なパターンが、即ち、同じピッチで提供される。別の例では、レンズのパターンは、不規則なピッチを具備する。一般に、パターン(及び従ってピッチ)は、センサユニットのセンシティブ領域のパターンに関連する。
一例として、センサパターンは、約1:1より小さい光活性領域と光不活性領域との比を具備する。一例では、光活性領域と光不活性領域との比は4:13である。他の例では、1:2より小さい、1:3より小さい、1:4より小さいか、若しくは1:5より小さいか、又はその間の値を持つ比といった他の比率が提供される。
従って、一例では、線形光活性領域は、4ラインの画素を有し、光不活性領域は、13ラインの画素の幅に対応する非検出空間として提供される。
照明ユニットを有する放射装置の例では、照明レンズアレイの複数の線形シリンドリカルレンズの数は、複数の線形光活性領域の数にマッチする。
蛍光励起ユニットを有する放射線配置の例では、励起レンズアレイの複数の線形シリンドリカルレンズの数は、複数の線形光活性領域の数にマッチする。
照明ユニット及び蛍光励起ユニットを有する放射配置の例では、照明レンズアレイ及び励起レンズアレイ両方における複数の線形シリンドリカルレンズの数は、複数の線形光活性領域の数にマッチする。レンズアレイ装置の提供により、光の効率的な使用は、改善を提供することができ、これは例えば、全スキャン時間を短縮する、スキャン速度をより速くするためより多くの光が提供されることを可能にする、又は照明ユニットの仕様を緩和するのに使用されることができる。
一実施形態に属する特徴の組み合わせに加えて、異なる実施形態に関連する特徴間の任意の組み合わせも、本願で開示されると考えられる。すべての特徴は、組み合わせられることができ、それは、これらの特徴の単純な合計より多くの共同効果を提供する。
本発明が図面及び前述の説明において詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、実行されることができる。
請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「a」又は「an」は複数性を除外するものではない。シングルプロセッサ又は他のユニットが、請求項に記載される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。

Claims (14)

  1. デジタル病理学スキャナーであって、
    放射線装置と、
    サンプル受容デバイスと、
    光学装置と、
    センサユニットと
    を有し、
    前記放射線装置が、サンプル受容デバイスにより受けられるサンプルを放射する電磁放射を提供するソースを含み、
    前記光学装置は、前記サンプル受容デバイスと前記センサユニットとの間に配置され、
    前記センサユニットが、前記放射されたサンプルの画像データを提供するよう構成され、
    前記ソースと前記サンプル受容デバイスとの間に配置される少なくとも1つのレンズアレイを含むレンズアレイ装置が提供され、
    前記少なくとも1つのレンズアレイは、対象平面において、増強された放射線の複数の第1の部分と弱放射線の複数の第2の部分とを備える放射線分布パターンが生成されるように前記ソースからの前記電磁放射を変調する複数の線形シリンドリカルレンズを有し、
    前記増強された放射線部分では、より多くの放射線が、前記レンズアレイ装置を使用しない場合よりも提供され、
    前記センサユニットが、線形光活性領域の複数の第1の部分と、その間にある光不活性領域の複数の第2の部分とのセンサパターンを持つセンサを含み、
    前記複数の線形シリンドリカルレンズの数は、前記複数の線形光活性領域の数に一致し、
    前記対象平面における前記放射線分布パターンが、前記センサパターンに対応する、
    デジタル病理学スキャナー。
  2. 線形シリンドリカルレンズは、互いに隣接して配置され、前記ソースからの電磁放射の連続的な変調を提供する、請求項1に記載のデジタル病理学スキャナー。
  3. 前記ソースが、光源を備える照明ユニットを含み、
    前記複数の線形シリンドリカルレンズは、前記光源と前記サンプル受容デバイスとの間に配置され、増強された照明の複数の第1の部分と弱い照明の複数の第2の部分とを備える照明分布パターンが生成されるように前記光源からの光を変調する照明レンズアレイを形成する、請求項1に記載のデジタル病理学スキャナー。
  4. 前記光学装置が、明視野モードスキャンに関する透過照明モードのために構成され、前記透過照明モードでは、前記照明ユニットからの光は、サンプル受容デバイスにより受けられるサンプルを通して透過され、直接センサユニットに向かって透過される、請求項3に記載のデジタル病理学スキャナー。
  5. 前記ソースが、励起光源と、前記励起光源の前の励起フィルタとを備える蛍光励起ユニットを含み、
    前記複数の線形シリンドリカルレンズは、前記励起光源と前記サンプル受容デバイスとの間に配置され、増強された励起光の複数の第1の部分と弱い励起光の複数の第2の部分とを持つ励起分布パターンが生成されるように前記励起光源からの励起光を変調する励起レンズアレイを形成する、請求項1に記載のデジタル病理学スキャナー。
  6. 前記光学装置が、蛍光モードスキャンに関する反射照明モードのために構成され、前記反射照明モードでは、前記蛍光励起ユニットからの励起光が、サンプルに向かって送出され、前記反射照明モードでは、生成された蛍光放射が集められ、かつ前記光学装置により前記センサユニットに向けて送出され、
    前記サンプルに照射された励起光と、前記照射されたサンプルから収集された前記生成された蛍光放射線とが、前記サンプル受容デバイスの同じ側にある、請求項5に記載のデジタル病理学スキャナー。
  7. 各線形光活性領域が、1つ又は複数の画素ラインを含み、これらの画素ラインは、時間遅延及び積分モードで機能する、請求項1に記載のデジタル病理学スキャナー。
  8. 前記センサパターンが、1:1よりも小さい前記線形光活性領域と前記光不活性領域との比を具備する、請求項1に記載のデジタル病理学スキャナー。
  9. 前記光不活性領域に対する前記線形光活性領域の比が、4:13である、請求項8に記載のデジタル病理学スキャナー。
  10. デジタル病理学スキャナーであって、
    放射線装置と、
    サンプル受容デバイスと、
    レンズアレイ装置と、
    光学装置と、
    センサユニットと
    を有し、
    前記光学装置が、前記サンプル受容デバイスと前記センサユニットとの間に配置され、
    前記センサユニットは、前記サンプルの画像データを提供するよう構成され、
    前記放射線装置が、前記サンプル受容デバイスにより受けられるサンプルを照らす光源を備える照明ユニットを含み、
    前記レンズアレイ装置は、対象平面において、増強された照明の複数の第1の部分と弱い照明の複数の第2の部分とを備える照明分布パターンが生成されるように前記光源と前記サンプル受容デバイスとの間に配置され、前記光源からの光を変調する照明レンズアレイの複数の線形シリンドリカルレンズを有し、
    前記光学装置が、明視野モードスキャンに関する透過照明モードのために構成され、前記透過照明モードでは、前記照明ユニットからの光は、サンプル受容デバイスにより受けられるサンプルを通して透過され、直接センサユニットに向かって透過され、
    前記センサユニットが、線形光活性領域の複数の第1の部分と、その間にある光不活性領域の複数の第2の部分とのセンサパターンを持つセンサを含み、
    前記複数の線形シリンドリカルレンズの数は、前記複数の線形光活性領域の数に一致し、
    前記サンプル受容デバイスの対象平面における前記照明レンズアレイの複数の線形シリンドリカルレンズの前記照明分布パターンが、前記センサパターンに対応する、
    デジタル病理学スキャナー。
  11. 前記放射線装置が、励起光源と、前記励起光源の前の励起フィルタとを備える蛍光励起ユニットを含み、
    前記レンズアレイ装置は、前記励起光源と前記サンプル受容デバイスとの間に配置され、増強された励起光の複数の第1の部分と弱い励起光の複数の第2の部分とを持つ励起分布パターンが生成されるように前記励起光源からの励起光を変調する励起レンズアレイを有し、
    前記光学装置が、蛍光モードスキャンに関する反射照明モードのために構成され、前記反射照明モードでは、前記蛍光励起ユニットからの励起光が、サンプルに向かって送出され、前記反射照明モードでは、生成された蛍光放射が集められ、かつ前記光学装置により前記センサユニットに向けて送出され、
    前記サンプルに照射された励起光と、前記照射されたサンプルから収集された前記生成された蛍光放射線とが、前記サンプル受容デバイスの同じ側にある、
    請求項10に記載のデジタル病理学スキャナー。
  12. 各線形光活性領域が、1つ又は複数の画素ラインを含み、これらの画素ラインは、時間遅延及び積分モードで機能する、請求項10に記載のデジタル病理学スキャナー。
  13. デジタル病理学スキャナーであって、
    放射線装置と、
    サンプル受容デバイスと、
    レンズアレイ装置と、
    光学装置と、
    センサユニットと
    を有し、
    前記光学装置が、前記サンプル受容デバイスと前記センサユニットとの間に配置され、
    前記センサユニットは、前記サンプルの画像データを提供するよう構成され、
    前記放射線装置が、前記サンプル受容デバイスにより受けられるサンプルを照らす光源を備える照明ユニットを含み、
    前記レンズアレイ装置は、対象平面において、増強された照明の複数の第1の部分と弱い照明の複数の第2の部分とを備える照明分布パターンが生成されるように前記光源と前記サンプル受容デバイスとの間に配置され、前記光源からの光を変調する照明レンズアレイの複数の線形シリンドリカルレンズを有し、
    前記放射線装置が、励起光源と、前記サンプル受容デバイスにより受けられるサンプルを照らすため、前記励起光源の前の励起フィルタとを備える蛍光励起ユニットを更に含み、
    前記レンズアレイ装置は、前記励起光源と前記サンプル受容デバイスとの間に配置され、増強された励起光の複数の第1の部分と弱い励起光の複数の第2の部分とを持つ励起分布パターンが生成されるように前記励起光源からの励起光を変調する励起レンズアレイの複数の線形シリンドリカルレンズを更に有し、
    前記センサユニットが、線形光活性領域の複数の第1の部分と、その間にある光不活性領域の複数の第2の部分とのセンサパターンを持つセンサを含み、
    前記照明レンズアレイの前記複数の線形シリンドリカルレンズの数は、前記複数の線形光活性領域の数に一致し、
    前記励起レンズアレイの前記複数の線形シリンドリカルレンズの数は、前記複数の線形光活性領域の数に一致し
    前記サンプル受容デバイスの対象平面における前記照明レンズアレイの複数の線形シリンドリカルレンズの前記照明分布パターンが、前記センサパターンに対応する、及び
    前記サンプル受容デバイスの対象平面における前記励起レンズアレイの複数の線形シリンドリカルレンズの前記励起分布パターンが、前記センサパターンに対応する、
    デジタル病理学スキャナー。
  14. 各線形光活性領域が、1つ又は複数の画素ラインを含み、これらの画素ラインは、時間遅延及び積分モードで機能する、請求項13に記載のデジタル病理学スキャナー。
JP2017522650A 2015-03-19 2016-03-07 デジタル病理学スキャンにおける照明 Active JP6905932B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15159793.7 2015-03-19
EP15159793 2015-03-19
PCT/EP2016/054724 WO2016146411A1 (en) 2015-03-19 2016-03-07 Illumination in digital pathology scanning

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020071627A Division JP7072015B2 (ja) 2015-03-19 2020-04-13 デジタル病理学スキャンにおける照明

Publications (3)

Publication Number Publication Date
JP2018509640A JP2018509640A (ja) 2018-04-05
JP2018509640A5 JP2018509640A5 (ja) 2019-12-19
JP6905932B2 true JP6905932B2 (ja) 2021-07-21

Family

ID=52726994

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017522650A Active JP6905932B2 (ja) 2015-03-19 2016-03-07 デジタル病理学スキャンにおける照明
JP2020071627A Active JP7072015B2 (ja) 2015-03-19 2020-04-13 デジタル病理学スキャンにおける照明

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020071627A Active JP7072015B2 (ja) 2015-03-19 2020-04-13 デジタル病理学スキャンにおける照明

Country Status (7)

Country Link
US (1) US10268031B2 (ja)
EP (1) EP3191885B1 (ja)
JP (2) JP6905932B2 (ja)
CN (1) CN107076882B (ja)
BR (1) BR112017007137A2 (ja)
RU (1) RU2718149C2 (ja)
WO (1) WO2016146411A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816473B2 (en) * 2018-01-22 2020-10-27 Verily Life Sciences Llc High-throughput hyperspectral imaging systems
EP3637240B1 (en) * 2018-10-10 2023-06-07 Robert Bosch GmbH Scanning device with improved efficiency and household appliance comprising said scanning device

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61139746A (ja) * 1984-12-13 1986-06-27 Diesel Kiki Co Ltd 噴霧形状判定装置
JP3438855B2 (ja) * 1997-01-23 2003-08-18 横河電機株式会社 共焦点装置
JP3816632B2 (ja) * 1997-05-14 2006-08-30 オリンパス株式会社 走査型顕微鏡
AU2001288228A1 (en) 2000-07-27 2002-02-13 Zetetic Institute Multiple-source arrays for confocal and near-field microscopy
JP3576523B2 (ja) * 2000-12-26 2004-10-13 オリンパス株式会社 蛍光輝度測定方法及び装置
JP5058815B2 (ja) * 2004-11-24 2012-10-24 バッテル メモリアル インスティチュート 細胞撮像用の光学システム
US7715001B2 (en) * 2006-02-13 2010-05-11 Pacific Biosciences Of California, Inc. Methods and systems for simultaneous real-time monitoring of optical signals from multiple sources
DE102007009550B4 (de) * 2007-02-27 2008-12-18 Ludwig-Maximilian-Universität Verfahren und Mikroskopvorrichtung zur Beobachtung einer bewegten Probe
JP5307353B2 (ja) * 2007-04-26 2013-10-02 オリンパス株式会社 多光子励起レーザ走査型顕微鏡および多光子励起蛍光画像取得方法
ES2561937T3 (es) * 2009-12-30 2016-03-01 Koninklijke Philips N.V. Sensor para microscopia
JP2011216863A (ja) 2010-03-17 2011-10-27 Hitachi Via Mechanics Ltd ビームサイズ可変照明光学装置及びビームサイズ変更方法
EP2572226A1 (en) * 2010-05-18 2013-03-27 Koninklijke Philips Electronics N.V. Autofocus imaging
JP2012163920A (ja) * 2011-02-09 2012-08-30 Nikon Corp 顕微鏡装置
JP2012220558A (ja) * 2011-04-05 2012-11-12 Nikon Corp 顕微鏡装置
CA2837226A1 (en) 2011-05-25 2012-11-29 Huron Technologies International Inc. 3d pathology slide scanner
JP2013015762A (ja) * 2011-07-06 2013-01-24 Sony Corp 照明光学系および画像表示装置
DE102011114500B4 (de) * 2011-09-29 2022-05-05 Fei Company Mikroskopvorrichtung
CN103874917B (zh) * 2011-10-12 2017-05-24 文塔纳医疗系统公司 多焦点干涉图像获取
US9575304B2 (en) 2012-06-25 2017-02-21 Huron Technologies International Inc. Pathology slide scanners for fluorescence and brightfield imaging and method of operation
US9563044B2 (en) * 2012-07-17 2017-02-07 Ecole Polytechnique Federale De Lausanne Reflective optical objective
US9304280B2 (en) 2013-03-14 2016-04-05 The Regents Of The University Of Michigan Compact lens system and array
US9163928B2 (en) 2013-04-17 2015-10-20 Kla-Tencor Corporation Reducing registration error of front and back wafer surfaces utilizing a see-through calibration wafer
JP2014228321A (ja) 2013-05-20 2014-12-08 ウシオ電機株式会社 検査方法

Also Published As

Publication number Publication date
US20170299852A1 (en) 2017-10-19
CN107076882B (zh) 2020-10-30
RU2017113461A3 (ja) 2019-09-20
RU2718149C2 (ru) 2020-03-30
JP2020129118A (ja) 2020-08-27
JP2018509640A (ja) 2018-04-05
JP7072015B2 (ja) 2022-05-19
EP3191885B1 (en) 2022-08-17
US10268031B2 (en) 2019-04-23
RU2017113461A (ru) 2018-10-19
CN107076882A (zh) 2017-08-18
EP3191885A1 (en) 2017-07-19
WO2016146411A1 (en) 2016-09-22
BR112017007137A2 (pt) 2017-12-19

Similar Documents

Publication Publication Date Title
JP6416887B2 (ja) 構造化照明を用いた組織試料の顕微鏡観察
ES2959361T3 (es) Escaneo con enfoque automático en tiempo real
CN102575928B (zh) 用于对对象进行三维测量的方法以及测量装置
JP6985506B2 (ja) リアルタイムオートフォーカス合焦アルゴリズム
US8633432B2 (en) Reflective focusing and transmissive projection device
JP2002257730A (ja) 蛍光輝度測定方法及び装置
JP2001500986A (ja) 微小画像結像システム
JP7072015B2 (ja) デジタル病理学スキャンにおける照明
WO2009081498A1 (ja) 生体画像取得装置
EP3051276B1 (en) Analysis device, microscope device, analysis method, and program
JP2007172612A (ja) コンピューテッドラジオグラフィーシステムおよび使用方法
JP2021193459A (ja) 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
CN110114709A (zh) 确定荧光强度的方法和显微镜
JP2020535478A (ja) 2回通過式マクロ画像
US11042016B2 (en) Multi-Z confocal imaging system
JP4883936B2 (ja) 走査型サイトメータの画像処理方法及び装置
EP2533033A1 (en) Device for analyzing luminescent bio-microchips
EP3779557B1 (en) Sample observation device and sample observation method
Bianco et al. Orthogonalization of far-field detection in tapered optical fibers for depth-selective fiber photometry in brain tissue
JP7483603B2 (ja) ハイスループットな実験室環境において複数の走査装置を管理するためのシステムおよび方法
US20230221178A1 (en) Apparatus and a method for fluorescence imaging
Cha et al. Non-descanned multifocal multiphoton microscopy with a multianode photomultiplier tube
WO2019148008A1 (en) Apparatuses and methods for multi-direction digital scanned light sheet microscopy
Van Der Graaff et al. Fluorescence imaging for whole slide scanning using LED-based color sequential illumination
Woo et al. High-throughput high-dynamic range imaging by spatiotemporally structured illumination

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190117

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190117

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190805

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20191106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200413

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200427

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200428

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200722

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200728

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200929

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20201105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210430

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210511

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210610

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210628

R150 Certificate of patent or registration of utility model

Ref document number: 6905932

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250