JP6897665B2 - 画像処理装置、観察装置、及びプログラム - Google Patents

画像処理装置、観察装置、及びプログラム Download PDF

Info

Publication number
JP6897665B2
JP6897665B2 JP2018503966A JP2018503966A JP6897665B2 JP 6897665 B2 JP6897665 B2 JP 6897665B2 JP 2018503966 A JP2018503966 A JP 2018503966A JP 2018503966 A JP2018503966 A JP 2018503966A JP 6897665 B2 JP6897665 B2 JP 6897665B2
Authority
JP
Japan
Prior art keywords
image
image processing
observation
processing method
pixel values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018503966A
Other languages
English (en)
Other versions
JPWO2017154203A1 (ja
Inventor
宏昭 紀伊
宏昭 紀伊
泰次郎 清田
泰次郎 清田
魚住　孝之
孝之 魚住
洋一 山嵜
洋一 山嵜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2017154203A1 publication Critical patent/JPWO2017154203A1/ja
Application granted granted Critical
Publication of JP6897665B2 publication Critical patent/JP6897665B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48—Automatic or computerized control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/24765—Rule-based classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/435—Computation of moments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Organic Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Sustainable Development (AREA)
  • Biotechnology (AREA)
  • Genetics & Genomics (AREA)
  • Microbiology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Food Science & Technology (AREA)
  • Hematology (AREA)
  • Medicinal Chemistry (AREA)
  • Immunology (AREA)
  • Urology & Nephrology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)

Description

本発明は、画像処理装置、観察装置、及びプログラムに関するものである。
一般的に、細胞の培養状態を評価する技術は、再生医療などの先端医療分野や医薬品のスクリーニングを含む幅広い分野での基盤技術となっている。例えば、再生医療分野では、in vitroで細胞を増殖、分化させるプロセスが存在する。そして、上述のプロセスでは、細胞の分化の成否、細胞の癌化や感染の有無などの、細胞の培養状態を的確に評価することが求められる。一例として、細胞が撮像された画像を画像処理することによって、細胞の培養状態を判定する方法が開示されている（特許文献１参照）。
米国特許出願公開第２０１１／０２０６６４３号明細書
細胞の培養状態について評価する場合に、例えば、細胞数を計数したい場合がある。この場合には、複数の細胞が撮像された画像についてそれぞれの細胞を識別することが求められる。ところが、細胞の構造の形態は、細胞の培養段階に応じて変化する。上述したような従来技術では、細胞の培養段階に応じた細胞の画像処理を行うことまではできない。このため従来技術では、細胞の培養段階によっては、画像処理を誤る場合があった。つまり、上述したような従来技術では、細胞の培養状態の評価の精度を向上させることが困難であるという問題があった。
本発明は、上記問題に鑑みてなされたものであり、細胞の培養状態の評価の精度を向上させることができる画像処理装置、観察装置及びプログラムを提供することを課題とする。
上記問題を解決するために、本発明の一態様は、神経幹細胞が撮像された観察画像に対して、解像度を低下させる画像処理を行う画像処理部と、前記画像処理部による画像処理がなされた処理後画像の画素値の分散に基づいて前記観察画像に撮像されている前記神経幹細胞の画像を識別するための複数の画像処理方法から前記画素値の分散に応じた画像処理方法を選択する画像処理方法選択部とを備え、前記画素値の分散が所定の基準値より小さい前記処理後画像は培養初期状態を示し、前記画素値の分散が前記基準値より大きい前記処理後画像は培養終期状態を示し、前記画像処理部は、前記観察画像に撮像されている前記神経幹細胞の神経突起の形状に基づいて、前記画像処理の処理単位画像の大きさを決定し、前記画像処理方法選択部は、前記画素値の分散が前記基準値より小さい場合には、前記観察画像に撮像されている面積が所定の値より大きい及び／又は密度が所定の値より低い前記神経幹細胞の画像を識別するための第１の画像処理方法を培養初期状態用の画像処理方法として選択し、及び／又は、前記画素値の分散が前記基準値より大きい場合には、前記第１の画像処理方法とは異なる、前記観察画像に撮像されている面積が所定の値より小さい及び／又は密度が所定の値より高い前記神経幹細胞の画像を識別するための第２の画像処理方法を培養終期状態用の画像処理方法として選択する画像処理装置である。
また、上記問題を解決するために、前記観察画像を出力する撮像部と、上述の画像処理装置とを備える観察装置である。
また、上記問題を解決するために、本発明の一態様は、コンピュータに、複数の神経幹細胞が撮像された観察画像に対して、解像度を低下させる画像処理を行う画像処理ステップと、前記画像処理ステップによる画像処理がなされた処理後画像の画素値の分散に基づいて前記観察画像に撮像されている前記神経幹細胞の画像を識別するための複数の画像処理方法から前記画素値の分散に応じた画像処理方法を選択する手順選択ステップと、前記手順選択ステップにおいて選択される前記画素値の分散に応じた画像処理方法に基づいて前記観察画像に撮像されている前記神経幹細胞の画像を識別して当該画像解析する細胞画像解析ステップとを実行させるためのプログラムであって、前記画素値の分散が所定の基準値より小さい前記処理後画像は培養初期状態を示し、前記画素値の分散が前記基準値より大きい前記処理後画像は培養終期状態を示し、前記画像処理ステップにおいて、前記観察画像に撮像されている前記神経幹細胞の神経突起の形状に基づいて、前記画像処理の処理単位画像の大きさを決定し、前記手順選択ステップにおいて、前記画素値の分散が前記基準値より小さい場合には、前記観察画像に撮像されている面積が所定の値より大きい及び／又は密度が所定の値より低い前記神経幹細胞の画像を識別するための第１の画像処理方法を培養初期状態用の画像処理方法として選択し、及び／又は、前記画素値の分散が前記基準値より大きい場合には、前記第１の画像処理方法とは異なる、前記観察画像に撮像されている面積が所定の値より小さい及び／又は密度が所定の値より高い前記神経幹細胞の画像を識別するための第２の画像処理方法を培養終期状態用の画像処理方法として選択するプログラムである。
本発明によれば、細胞の培養状態の評価の精度を向上させることができる。
本発明の実施形態による観察装置の構成の一例を示す模式図である。 本実施形態の画像処理装置の機能構成を示すブロック図である。 本実施形態の画像処理装置の動作の一例を示す図である。 本実施形態の撮像部が撮像する観察画像の一例を示す図である。 本実施形態の画像処理部が生成する処理後画像の一例を示す図である。 本実施形態の撮像部が撮像する観察画像の一例を示す図である。 本実施形態の画像処理部が生成する処理後画像の一例を示す図である。 本実施形態の処理後画像の画素値の分布の一例を示す図である。 本実施形態の識別結果画像の第１の例を示す図である。 本実施形態の識別結果画像の第２の例を示す図である。 本実施形態の識別結果画像の第３の例を示す図である。 本実施形態の識別結果画像の第４の例を示す図である。
［観察装置１の構成］
以下、図面を参照して、本実施形態に係る観察装置１の構成について説明する。
図１は、本発明の実施形態による観察装置１の構成の一例を示す模式図である。
観察装置１は、細胞等を撮像することにより取得される画像に対して、画像処理を行う。以下の説明において、細胞等を撮像することにより取得される画像を、単に細胞画像とも記載する。観察装置１は、画像処理装置１０と、顕微鏡装置２０と、表示部３０と、操作検出部４０とを備える。
顕微鏡装置２０は、生物顕微鏡であり、電動ステージ２１と、撮像部２２とを備える。電動ステージ２１は、所定の方向（例えば、水平方向の二次元平面内のある方向）に、撮像対象物の位置を任意に稼働可能である。撮像部２２は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary MOS）などの撮像素子を備えており、電動ステージ２１上の撮像対象物を撮像する。なお、顕微鏡装置２０に電動ステージ２１を備えていなくてもよく、ステージが所定方向に稼働しないステージとしても構わない。
より具体的には、顕微鏡装置２０は、例えば、微分干渉顕微鏡（Differential Interference Contrast microscope；DIC）や位相差顕微鏡、蛍光顕微鏡、共焦点顕微鏡、超解像顕微鏡等の機能を有する。顕微鏡装置２０は、電動ステージ２１上に載置された培養容器を撮像する。この培養容器とは、例えば、ウェルプレートＷＰである。顕微鏡装置２０は、ウェルプレートＷＰが有する多数のウェルＷの中に培養された細胞に光を照射することで、細胞を透過した透過光を細胞の画像として撮像する。これによって、細胞の透過ＤＩＣ画像や、位相差画像、暗視野画像、明視野画像等の画像を取得することができる。さらに、細胞に蛍光物質を励起する励起光を照射することで、生体物質から発光される蛍光を細胞の画像として撮像する。また、顕微鏡装置２０は、生体物質内に取り込まれた発色物質そのものから発光される蛍光や、発色団を持つ物質が生体物質に結合することによって発光される蛍光を、上述した細胞の画像として撮像してもよい。これにより、観察装置１は、蛍光画像、共焦点画像、超解像画像を取得することができる。なお、細胞の画像を取得する方法は、光学顕微鏡に限られない。
ウェルプレートＷＰは、複数のウェルＷを有する。この一例では、ウェルプレートＷＰは、１２×８の９６個のウェルＷを有する。細胞は、ウェルＷの中において、特定の実験条件のもと培養される。特定の実験条件とは、温度、湿度、培養期間、刺激が付与されてからの経過時間、付与される刺激の種類や強さ、刺激の有無、生物学的特徴の誘導等を含む。刺激とは、例えば、電気、音波、磁気、光等の物理的刺激や、物質や薬物の投与による化学的刺激等である。また、生物学的特徴とは、細胞の分化の段階や、形態、細胞数等を示す特徴である。
表示部３０は、液晶ディスプレイなどを備えており、画像処理装置１０による演算結果を表示する。
操作検出部４０は、キーボードや不図示のマウスなどを備えており、画像処理装置１０に対する操作を検出する。
［画像処理装置１０の機能構成］
図２は、本実施形態の画像処理装置１０の機能構成を示すブロック図である。画像処理装置１０は、演算部１００と、記憶部２００とを備えている。
記憶部２００は、画像処理手順記憶部２１０を備えている。
画像処理手順記憶部２１０には、画像処理装置１０において処理される画像の処理手順が記憶されている。
また、記憶部２００には、顕微鏡装置２０の制御プログラムが予め記憶されている。
演算部１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えており、記憶部２００に記憶されている制御プログラムに従って、顕微鏡装置２０の各部を駆動する。この演算部１００による顕微鏡装置２０の制御の具体的な内容については、既知であるため、その説明を省略する。
また、演算部１００は、画像処理部１１０と、手順選択部１２０と、細胞画像識別部１３０とを、その機能部として備えている。
画像処理部１１０は、撮像部２２が撮像した観察画像ＯＰを取得する。撮像部２２は、ウェルプレートＷＰのウェルＷにおいて培養されている細胞を撮像する。つまり、この撮像部２２が撮像した画像には、細胞の画像が含まれている。画像処理部１１０は、観察画像ＯＰの状態に基づいて、観察画像ＯＰに対して画像処理を行う。この一例では、画像処理部１１０は、観察画像ＯＰに撮像されている細胞の構造の形態に基づいて、観察画像ＯＰに対して画像処理を行う。ここで、細胞の構造の形態には、細胞の大きさ、細胞の密度、細胞の形状、細胞の色彩等が含まれる。この一例での細胞は、神経系の細胞であって、細胞の培養が進行するにしたがって突起（例えば、神経突起）が細胞の本体部分から伸張する。位相差顕微鏡による観察画像ＯＰには、この神経突起などの細胞の構造が撮像される。画像処理部１１０は、画像処理後の画像を、処理後画像ＭＰとして手順選択部１２０に出力する。
手順選択部１２０は、画像処理部１１０による画像処理がなされた処理後画像ＭＰの状態（情報）に基づいて、観察画像ＯＰの画像処理手順を選択（決定）する。ここで、画像処理手順の一例について説明する。第１の画像処理手順は、個々の細胞の面積が比較的大きい場合や、観察画像ＯＰ内の細胞の密度が比較的低い場合に適用可能である。この第１の画像処理手順は、例えば、神経幹細胞の培養初期状態に適用可能である。第２の画像処理手順は、個々の細胞の面積が比較的小さい場合や、観察画像ＯＰ内の細胞の密度が比較的高い場合に適用可能である。この第２の画像処理手順は、神経幹細胞の培養終期状態に適用可能である。
細胞画像識別部１３０は、手順選択部１２０が選択する画像処理手順に基づいて、観察画像ＯＰから細胞の画像を抽出する。細胞画像識別部１３０は、抽出した結果を識別結果画像ＲＰとして結果出力部３００に出力する。結果出力部３００は、識別結果画像ＲＰを表示部３０に表示させる。
［画像処理装置１０の動作］
次に、図３を参照して画像処理装置１０の動作の一例について説明する。
図３は、本実施形態の画像処理装置１０の動作の一例を示す図である。撮像部２２がウェルプレートＷＰ内の細胞を撮像すると、演算部１００は、撮像部２２が撮像した観察画像ＯＰを取得する（ステップＳ１０）。この観察画像ＯＰの一例を、図４に示す。
図４は、本実施形態の撮像部２２が撮像する観察画像ＯＰ１の一例を示す図である。
画像処理部１１０は、観察画像ＯＰに対して画像処理マスクＭＳＫを適用して（ステップＳ２０）、画像処理を行う（ステップＳ３０）。この一例では画像処理部１１０は、画像処理マスクＭＳＫを画像の膨張処理（Ｄｉｌａｔｉｏｎ）及び収縮処理（Ｅｒｏｓｉｏｎ）の処理単位として適用し、画像処理を行う。画像処理部１１０が観察画像ＯＰ１に対して適用する画像処理マスクＭＳＫ１の大きさは、一例として、幅ＭＸ、高さＭＹである。なお、この一例の場合、画像処理マスクＭＳＫの形状は矩形であるが、必ずしも矩形でなくてもよい。この画像処理マスクＭＳＫの大きさが比較的大きい場合には、観察画像ＯＰの膨張処理及び収縮処理の粒度が大きい。また、この画像処理マスクＭＳＫの大きさが比較的小さい場合には、観察画像ＯＰの膨張処理及び収縮処理の粒度が細かい。画像処理部１１０は、観察画像ＯＰの状態に基づく大きさの画像処理マスクＭＳＫを画像処理に適用することにより、観察画像ＯＰの状態に合った画像処理を行う。この画像処理マスクＭＳＫの大きさは、観察画像ＯＰの状態に基づいて予め定められていてもよいし、観察画像ＯＰの状態に基づいて画像処理部１１０が算出してもよい。
画像処理部１１０が画像処理マスクＭＳＫの大きさを算出する場合には、画像処理部１１０は、観察画像ＯＰ１に撮像されている細胞の構造の形態に基づいて、画像処理マスクＭＳＫの大きさを算出する。この一例において、観察画像ＯＰ１には、神経細胞と神経突起とが撮像されている。画像処理部１１０は、画像処理マスクＭＳＫの大きさを、観察画像ＯＰ１に撮像されている神経突起の大きさに基づいて算出する。つまりこの場合、画像処理部１１０は、細胞の突起の形状に基づいて、観察画像ＯＰに対して画像処理を行う。なお、以下の説明において、画像処理マスクＭＳＫに一致する大きさの画像を、処理単位画像とも記載する。
画像処理部１１０は、観察画像ＯＰに対して画像処理マスクＭＳＫを適用することにより、処理後画像ＭＰを生成する。この一例では、画像処理部１１０は、観察画像ＯＰ１を画像処理することにより処理後画像ＭＰ１を生成する。この処理後画像ＭＰ１の一例を図５に示す。
図５は、本実施形態の画像処理部１１０が生成する処理後画像ＭＰ１の一例を示す図である。上述したように、この一例では画像処理部１１０は、観察画像ＯＰに対して膨張処理及び収縮処理を適用する。この場合、処理後画像ＭＰ１とは、観察画像ＯＰ１の画素値が膨張処理及び収縮処理され解像度が低下した画像である。つまり、画像処理部１１０は、画素値を膨張処理及び収縮処理することにより、画像の解像度を低下させる。解像度が低下した画像には、その画像の画素値の特徴が、解像度の高い画像の場合に比べてより強く現れることがある。
ここで、図６から図８を参照して、観察画像ＯＰの状態の違いによる処理後画像ＭＰの状態の違いの具体例を説明する。
図６は、本実施形態の撮像部２２が撮像する観察画像ＯＰ２の一例を示す図である。上述した観察画像ＯＰ１には、培養初期状態の細胞が撮像されているのに対し、観察画像ＯＰ２には、培養終期状態の細胞が撮像されている。画像処理部１１０は、観察画像ＯＰ２に対して、観察画像ＯＰ１に対して適用した画像処理マスクＭＳＫ１と大きさが同じ画像処理マスクＭＳＫ２を適用する。画像処理部１１０が画像処理マスクＭＳＫ２を適用した結果の処理後画像ＭＰ２の一例を、図７に示す。
図７は、本実施形態の画像処理部１１０が生成する処理後画像ＭＰ２の一例を示す図である。この処理後画像ＭＰ２とは、観察画像ＯＰ２の画素値が膨張処理及び収縮処理され解像度が低下した画像である。ここで、処理後画像ＭＰ１と処理後画像ＭＰ２とを比較すると、画素値の分布が互いに異なる。処理後画像ＭＰ１は、処理後画像ＭＰ２に対して明るさが明るい画素が多い。具体的には、処理後画像ＭＰ１は、明るい画素値の処理単位画像が比較的多く分布している。処理後画像ＭＰ２は、明るい画素値の処理単位画像と、暗い画素値の処理単位画像とが混在して分布している。この画素値の分布の一例を図８に示す。
図８は、本実施形態の処理後画像ＭＰの画素値の分布の一例を示す図である。この図８において、波形Ｗ１は処理後画像ＭＰ１の画素値の分布を、波形Ｗ２は処理後画像ＭＰ２の画素値の分布をそれぞれ示す。処理後画像ＭＰ１の画素値の分布は、分散Ｄ１によって示される。処理後画像ＭＰ２の画素値の分布は、分散Ｄ２によって示される。この一例の場合、処理後画像ＭＰ１の分散Ｄ１は、処理後画像ＭＰ２の分散Ｄ２よりも小さい。つまり、この一例の場合における処理後画像ＭＰ１の状態の特徴とは、処理後画像ＭＰ２の分散Ｄ２よりも小さい分散Ｄ１を有することである。この一例のように、処理後画像ＭＰの状態の特徴の違いを求めることにより、複数の観察画像ＯＰ間の状態の特徴の違いを求めることができる。
図３に戻り、手順選択部１２０は、マスク処理後の画像である処理後画像ＭＰの状態を判定する（ステップＳ４０）。上述したように、処理後画像ＭＰには、観察画像ＯＰの画像の特徴が表れている。手順選択部１２０は、図８に示したように、処理後画像ＭＰの画素値の分布を算出することにより、処理後画像ＭＰの状態を判定する（ステップＳ５０）。具体的には、手順選択部１２０は、処理後画像ＭＰの画素値の分散Ｄと、所定の基準値とを比較する。分散Ｄが所定の基準値よりも小さい場合には、手順選択部１２０は、培養初期状態であると判定し（ステップＳ５０；ＹＥＳ）処理をステップＳ６０に進める。手順選択部１２０は、培養初期状態用の画像処理手順を選択する（ステップＳ６０）。また、手順選択部１２０は、処理後画像ＭＰの画素値の分散Ｄと、所定の基準値とを比較する。分散Ｄが所定の基準値以上である場合には、手順選択部１２０は、培養終期状態であると判定し（ステップＳ５０；ＮＯ）処理をステップＳ６５に進める。手順選択部１２０は、培養終期状態用の画像処理手順を選択する（ステップＳ６５）。
すなわち、手順選択部１２０は、処理後画像ＭＰの画素値に基づいて、画像処理手順を選択する。
より具体的には、処理後画像ＭＰ１の画素値の分散Ｄ１は、所定の基準値よりも小さい。この場合、手順選択部１２０は、培養初期状態であると判定し（ステップＳ５０；ＹＥＳ）処理をステップＳ６０に進める。手順選択部１２０は、培養初期状態用の画像処理手順を選択する（ステップＳ６０）。また、処理後画像ＭＰ２の画素値の分散Ｄ２は、所定の基準値以上である。この場合、手順選択部１２０は、培養終期状態であると判定し（ステップＳ５０；ＮＯ）処理をステップＳ６５に進める。手順選択部１２０は、培養終期状態用の画像処理手順を選択する（ステップＳ６５）。
すなわち、手順選択部１２０は、処理後画像ＭＰの画素値に基づいて、画像処理手順を選択する。
なお、ここでは、手順選択部１２０は、処理後画像ＭＰの画素値の分散Ｄに基づいて画像処理手順を選択するとして説明したが、これに限られない。手順選択部１２０は、処理後画像ＭＰの画素値の標準偏差や度数分布などに基づいて画像処理手順を選択してもよい。すなわち、手順選択部１２０は、処理後画像ＭＰの画素値の統計量に基づいて、画像処理手順を選択する。
細胞画像識別部１３０は、手順選択部１２０が選択した画像処理手順によって観察画像ＯＰに撮像されている細胞の画像を識別する。具体的には、手順選択部１２０が培養初期状態用の画像処理手順を選択した場合には、細胞画像識別部１３０は、培養初期状態用の画像処理手順によって観察画像ＯＰに撮像されている細胞の画像を識別する（ステップＳ７０）。また、手順選択部１２０が培養終期状態用の画像処理手順を選択した場合には、細胞画像識別部１３０は、培養終期状態用の画像処理手順によって観察画像ＯＰに撮像されている細胞の画像を識別する（ステップＳ７５）。
なお、細胞画像識別部１３０は、細胞の画像を識別した結果に基づいて、細胞数をカウントしてもよい（ステップＳ８０、ステップＳ８５）。
細胞画像識別部１３０は、細胞を識別した結果を示す識別結果画像ＲＰを、結果出力部３００に出力する。結果出力部３００は、識別結果画像ＲＰを表示部３０に表示させる。この識別結果画像ＲＰの一例について、図９から図１２に示す。
図９から図１２は、それぞれ、本実施形態の識別結果画像ＲＰの一例を示す図である。細胞画像識別部１３０は、観察画像ＯＰ１について、図９に示す識別結果画像ＲＰ１−１を生成する。この識別結果画像ＲＰ１−１とは、細胞画像識別部１３０が培養初期状態用の画像処理手順によって観察画像ＯＰ１の細胞を識別した結果を示す画像である。細胞画像識別部１３０は、観察画像ＯＰ１について、図１０に示す識別結果画像ＲＰ１−２を生成する。この識別結果画像ＲＰ１−２とは、細胞画像識別部１３０が培養終期状態用の画像処理手順によって観察画像ＯＰ１の細胞を識別した結果を示す画像である。つまり、識別結果画像ＲＰ１−１は、培養初期状態用の画像処理手順によって生成されており、識別結果画像ＲＰ１−２は、培養終期状態用の画像処理手順によって生成されている。上述したように、この具体例においては、観察画像ＯＰ１は細胞の培養初期状態の画像である。したがって、観察画像ＯＰ１に対しては、培養終期状態用の画像処理手順よりも、培養初期状態の画像処理手順の方が適している。図９及び図１０に示すように、識別結果画像ＲＰ１−２は、細胞の識別を誤っている部分が、識別結果画像ＲＰ１−１に比べて多い。
また、細胞画像識別部１３０は、観察画像ＯＰ１の場合と同様にして、観察画像ＯＰ２について、図１１に示す識別結果画像ＲＰ２−１を生成する。この識別結果画像ＲＰ２−１とは、細胞画像識別部１３０が培養初期状態用の画像処理手順によって観察画像ＯＰ２の細胞を識別した結果を示す画像である。細胞画像識別部１３０は、観察画像ＯＰ２について、図１２に示す識別結果画像ＲＰ２−２を生成する。この識別結果画像ＲＰ２−２とは、細胞画像識別部１３０が培養終期状態用の画像処理手順によって観察画像ＯＰ２の細胞を識別した結果を示す画像である。つまり、識別結果画像ＲＰ２−１は、培養初期状態用の画像処理手順によって生成されており、識別結果画像ＲＰ２−２は、培養終期状態用の画像処理手順によって生成されている。上述したように、この具体例においては、観察画像ＯＰ２は細胞の培養終期状態の画像である。したがって、観察画像ＯＰ２に対しては、培養初期状態用の画像処理手順よりも、培養終期状態の画像処理手順の方が適している。図１１及び図１２に示すように、識別結果画像ＲＰ２−１は、細胞の識別を誤っている部分が、識別結果画像ＲＰ２−２に比べて多い。
以上説明したように、本実施形態の画像処理装置１０は、観察画像ＯＰの状態に応じて画像処理手順を選択する手順選択部１２０を備えている。細胞画像識別部１３０は、観察画像ＯＰの状態に適した画像処理手順によって細胞を識別することにより、細胞の識別の誤りの程度を低減する。つまり、画像処理装置１０によれば、細胞の培養状態の評価の精度を向上させることができる。
また、画像処理装置１０は、画像処理部１１０が、観察画像ＯＰに撮像されている細胞の構造の形態に基づいて、観察画像ＯＰに対して画像処理を行う。このため、画像処理装置１０によれば、撮像時期や撮像対象などの撮像条件の違いにより観察画像ＯＰの状態が様々である場合でも、観察画像ＯＰに対して精度の高い画像処理を行うことができる。
また、画像処理装置１０は、画像処理部１１０が、細胞の突起の形状に基づいて、観察画像ＯＰに対して画像処理を行う。このため、画像処理装置１０によれば、幹細胞から分化した神経系の細胞などの細胞の識別に適した精度の高い画像処理を行うことができる。
また、画像処理装置１０は、手順選択部１２０が、処理後画像ＭＰの画素値に基づいて、画像処理手順を選択する。この処理後画像ＭＰは、観察画像ＯＰよりも解像度が低く、情報が少ない。画像処理装置１０によれば、情報量の多い観察画像ＯＰを用いなくても画像処理手順を選択することができ、処理負荷を低減することができる。また、処理後画像ＭＰには、観察画像ＯＰに比べて画像の状態の特徴がより強く現れやすい場合がある。この場合には、画像処理装置１０によれば、処理後画像ＭＰを用いることにより、観察画像ＯＰを用いる場合に比べて精度の高い画像処理を行うことができる。
なお、これまで、画像処理装置１０は、ステップＳ４０において手順選択部１２０が処理後画像ＭＰの状態を判定した後に、細胞の画像を識別する（ステップＳ７０、ステップＳ７５）として説明したが、これに限られない。画像処理装置１０は、ステップＳ１０において取得した観察画像ＯＰに対して、ステップＳ７０に相当する画像の識別と、ステップＳ７５に相当する画像の識別とを行った後に、手順選択部１２０が処理後画像ＭＰの状態を判定してもよい。この手順の場合には、画像処理装置１０は、処理後画像ＭＰの状態の判定結果に応じて、ステップＳ７０に相当する画像の識別結果、又はステップＳ７５に相当する画像の識別結果のいずれかの識別結果を用いる。
なお、本発明の実施形態における観察装置１又は画像処理装置１０の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述した種々の処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１…観察装置、１０…画像処理装置、２０…顕微鏡装置、２２…撮像部、３０…表示部、１００…演算部、１１０…画像処理部、１２０…手順選択部、１３０…細胞画像識別部、２００…記憶部、２１０…画像処理手順記憶部、３００…結果出力部

Claims (5)

  1. 神経幹細胞が撮像された観察画像に対して、解像度を低下させる画像処理を行う画像処理部と、
    前記画像処理部による画像処理がなされた処理後画像の画素値の分散に基づいて前記観察画像に撮像されている前記神経幹細胞の画像を識別するための複数の画像処理方法から前記画素値の分散に応じた画像処理方法を選択する画像処理方法選択部と、
    を備え、
    前記画素値の分散が所定の基準値より小さい前記処理後画像は培養初期状態を示し、前記画素値の分散が前記基準値より大きい前記処理後画像は培養終期状態を示し、
    前記画像処理部は、前記観察画像に撮像されている前記神経幹細胞の神経突起の形状に基づいて、前記画像処理の処理単位画像の大きさを決定し、
    前記画像処理方法選択部は、前記画素値の分散が前記基準値より小さい場合には、前記観察画像に撮像されている面積が所定の値より大きい及び／又は密度が所定の値より低い前記神経幹細胞の画像を識別するための第１の画像処理方法を培養初期状態用の画像処理方法として選択し、及び／又は、前記画素値の分散が前記基準値より大きい場合には、前記第１の画像処理方法とは異なる、前記観察画像に撮像されている面積が所定の値より小さい及び／又は密度が所定の値より高い前記神経幹細胞の画像を識別するための第２の画像処理方法を培養終期状態用の画像処理方法として選択する
    画像処理装置。
  2. 前記解像度を低下させる画像処理は、膨張処理及び収縮処理によって行う、請求項１に記載の画像処理装置。
  3. 前記画像処理方法選択部が選択する前記画像処理方法に基づいて、前記観察画像に撮像されている前記神経幹細胞の画像を識別して当該画像を解析する細胞画像解析部
    を備える請求項１または請求項２に記載の画像処理装置。
  4. 前記観察画像を出力する撮像部と、
    請求項１から請求項３のいずれか一項に記載の画像処理装置と
    を備える観察装置。
  5. コンピュータに、
    複数の神経幹細胞が撮像された観察画像に対して、解像度を低下させる画像処理を行う画像処理ステップと、
    前記画像処理ステップによる画像処理がなされた処理後画像の画素値の分散に基づいて前記観察画像に撮像されている前記神経幹細胞の画像を識別するための複数の画像処理方法から前記画素値の分散に応じた画像処理方法を選択する手順選択ステップと、
    前記手順選択ステップにおいて選択される前記画素値の分散に応じた画像処理方法に基づいて前記観察画像に撮像されている前記神経幹細胞の画像を識別して当該画像を解析する細胞画像解析ステップと
    を実行させるためのプログラムであって、
    前記画素値の分散が所定の基準値より小さい前記処理後画像は培養初期状態を示し、前記画素値の分散が前記基準値より大きい前記処理後画像は培養終期状態を示し、
    前記画像処理ステップにおいて、前記観察画像に撮像されている前記神経幹細胞の神経突起の形状に基づいて、前記画像処理の処理単位画像の大きさを決定し、
    前記手順選択ステップにおいて、前記画素値の分散が前記基準値より小さい場合には、前記観察画像に撮像されている面積が所定の値より大きい及び／又は密度が所定の値より低い前記神経幹細胞の画像を識別するための第１の画像処理方法を培養初期状態用の画像処理方法として選択し、及び／又は、前記画素値の分散が前記基準値より大きい場合には、前記第１の画像処理方法とは異なる、前記観察画像に撮像されている面積が所定の値より小さい及び／又は密度が所定の値より高い前記神経幹細胞の画像を識別するための第２の画像処理方法を培養終期状態用の画像処理方法として選択する
    プログラム。
JP2018503966A 2016-03-11 2016-03-11 画像処理装置、観察装置、及びプログラム Active JP6897665B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/057783 WO2017154203A1 (ja) 2016-03-11 2016-03-11 画像処理装置、観察装置、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017154203A1 JPWO2017154203A1 (ja) 2019-01-10
JP6897665B2 true JP6897665B2 (ja) 2021-07-07

Family

ID=59789204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018503966A Active JP6897665B2 (ja) 2016-03-11 2016-03-11 画像処理装置、観察装置、及びプログラム

Country Status (4)

Country Link
US (1) US11068695B2 (ja)
EP (1) EP3428262B1 (ja)
JP (1) JP6897665B2 (ja)
WO (1) WO2017154203A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7139359B2 (ja) * 2018-01-15 2022-09-20 株式会社エビデント 細胞解析装置及び細胞解析システム
WO2020070885A1 (ja) * 2018-10-05 2020-04-09 株式会社ニコン 判定装置、判定プログラム及び判定方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3490695A (en) * 1994-09-20 1996-04-09 Neopath, Inc. Cytological slide scoring apparatus
US6813373B1 (en) * 2001-04-03 2004-11-02 Koninklijke Philips Electronics, N.V. Image segmentation of embedded shapes using constrained morphing
CA2492071A1 (en) * 2002-06-18 2003-12-24 Lifespan Biosciences, Inc. Computerized image capture of structures of interest within a tissue sample
US20060127880A1 (en) * 2004-12-15 2006-06-15 Walter Harris Computerized image capture of structures of interest within a tissue sample
WO2006129312A2 (en) 2005-06-02 2006-12-07 In Motion Investment, Ltd. Automated cell therapy system
US7706591B2 (en) * 2006-07-13 2010-04-27 Cellomics, Inc. Neuronal profiling
JP5412149B2 (ja) * 2009-03-16 2014-02-12 オリンパス株式会社 画像撮像装置及びそれを備えた細胞画像解析システム
EP2441827B1 (en) * 2009-06-12 2016-04-13 Nikon Corporation Technique for determining the state of a cell mass, image processing program and image processing device using said technique, and method for producing a cell mass
US9547410B2 (en) * 2013-03-08 2017-01-17 Adobe Systems Incorporated Selection editing using a localized level set algorithm
JP6071007B2 (ja) * 2013-08-22 2017-02-01 富士フイルム株式会社 観察画像撮影評価装置および方法並びにプログラム
JP5876453B2 (ja) * 2013-09-26 2016-03-02 株式会社Ｓｃｒｅｅｎホールディングス 培養品質評価方法
JP6595156B2 (ja) * 2014-03-04 2019-10-23 富士フイルム株式会社 細胞画像取得装置および方法並びにプログラム
JP6348030B2 (ja) * 2014-09-18 2018-06-27 富士フイルム株式会社 細胞培養装置および方法

Also Published As

Publication number Publication date
EP3428262A4 (en) 2019-11-06
US11068695B2 (en) 2021-07-20
EP3428262B1 (en) 2022-09-21
EP3428262A1 (en) 2019-01-16
JPWO2017154203A1 (ja) 2019-01-10
US20190073517A1 (en) 2019-03-07
WO2017154203A1 (ja) 2017-09-14

Similar Documents

Publication Publication Date Title
US11914130B2 (en) Auto-focus methods and systems for multi-spectral imaging
JP6967232B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP4383352B2 (ja) 核多形性の組織学的評価
JP6045292B2 (ja) 細胞計数装置及び細胞計数プログラム
JP6897665B2 (ja) 画像処理装置、観察装置、及びプログラム
Herold et al. Automated detection and quantification of fluorescently labeled synapses in murine brain tissue sections for high throughput applications
JP7282894B2 (ja) 粒子定量装置
JP6777147B2 (ja) 画像選択装置、画像選択プログラム、演算装置、及び表示装置
JP6785947B2 (ja) 細胞画像評価装置および方法並びにプログラム
Sysko et al. From image to data using common image‐processing techniques
Niederlein et al. Image analysis in high content screening
JP6873231B2 (ja) 細胞画像評価装置および方法並びにプログラム
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
US20190073516A1 (en) Image processing device, observation device, and program
JP2016186446A (ja) 細胞分化情報取得装置および方法並びにプログラム
WO2018109826A1 (ja) 解析装置、解析プログラム及び解析方法
JP2016208856A (ja) 撮像装置および方法並びに撮像制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200605

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210225

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210225

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210304

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210524

R150 Certificate of patent or registration of utility model

Ref document number: 6897665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250