JP6863625B2 - スペクトルの高速分類を利用したリアルタイムスペクトル解析 - Google Patents

スペクトルの高速分類を利用したリアルタイムスペクトル解析 Download PDF

Info

Publication number
JP6863625B2
JP6863625B2 JP2019528587A JP2019528587A JP6863625B2 JP 6863625 B2 JP6863625 B2 JP 6863625B2 JP 2019528587 A JP2019528587 A JP 2019528587A JP 2019528587 A JP2019528587 A JP 2019528587A JP 6863625 B2 JP6863625 B2 JP 6863625B2
Authority
JP
Japan
Prior art keywords
spectrum
analysis
compound
sample
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019528587A
Other languages
English (en)
Other versions
JPWO2019039313A1 (ja
Inventor
浩司 永森
浩司 永森
赤尾 賢一
賢一 赤尾
耕平 田村
耕平 田村
美幸 菅野
美幸 菅野
利之 名越
利之 名越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jasco Corp
Original Assignee
Jasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jasco Corp filed Critical Jasco Corp
Publication of JPWO2019039313A1 publication Critical patent/JPWO2019039313A1/ja
Application granted granted Critical
Publication of JP6863625B2 publication Critical patent/JP6863625B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/063Illuminating optical parts
    • G01N2201/0636Reflectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/064Stray light conditioning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

関連出願
本出願は、2017年8月24日付け出願の日本国特許出願2017−161341号の優先権を主張しており、ここに折り込まれるものである。
本発明は、分光測定におけるスペクトル解析、特にスペクトル高速分類によるスペクトル解析技術の改良に関する。
一般的に対象試料にどのような成分が含まれているかを確認する定性分析を行う手段として、赤外分光測定やラマン分光測定等が知られている。これらの分光測定では、物質ごとの標準スペクトル(既知スペクトルとも呼ぶ)と対象試料の特徴があらわれた試料スペクトルとの比較を行い、その一致度等に応じて試料を同定する。
ここで、例えば赤外分光測定において良好な試料スペクトルを得るためには複数回に及ぶ積算が必要であるため、特にマッピング測定では多大な時間を要してしまう。同様に、ラマン分光測定では良好な試料スペクトルを得るために長い露光時間が必要であるため、測定に多大な時間を要してしまう。また、分析結果を得るためには膨大な量の標準スペクトルと試料スペクトルとを比較する必要があり、その後に分析結果を利用して試料の特徴をあらわすケミカルイメージを作成しようとするとさらに時間がかかってしまうおそれがある。
そこで特許文献1には、ユーザが物質にタグ付けするための監視リストを生成し、当該監視リストをアプリケーションによる物質の検索(または解析)に利用することで、従来よりも早くユーザが求める測定結果を得ることができる技術が開示されている。特許文献1におけるタグ付けされた物質(監視リスト物質)とは、試料中に存在するかもしれないとユーザが信ずべき理由を有する物質、又はそれらが存在するということを示唆する事前情報を有しなくてもユーザがそれらを詳細に確認したいというような懸念のある物質のことである。
つまり、特許文献1ではユーザが求める物質に対する検索漏れを防止できるとともに、膨大な量のデータベースからランダムに物質を検索するのではなく、あらかじめタグ付けされた物質を優先的に検索することで、迅速な測定を可能としている。
特許第6295474号公報
しかしながら、特許文献1のように監視リスト(対称物質へのタグ付け)を利用することでユーザの要求に応じて迅速に測定結果を得られるが、例えば試料スペクトルにタグ付けされた物質が含まれていない場合には、膨大なデータベースから検索しなければならず、正確な測定結果を得ようとすると従来通り多大な時間を要してしまうおそれがある。
本発明は、上記従来技術に鑑みて行われたものであって、その目的は、従来よりも高速で化合物グループの分類が実現できるスペクトル解析装置およびスペクトル解析方法を提供することである。
上記課題を解決するために、本発明に係るスペクトル解析装置は、
対象試料の試料スペクトルを測定する測定手段と該試料スペクトルを解析する解析手段を備え、前記対象試料に含まれる化合物を特定するスペクトル解析装置であって、
前記解析手段はあらかじめ演算処理されたライブラリーを有し、該ライブラリーは前記化合物が分類される複数の化合物グループを有し、
さらに前記解析手段は解析表示部を備え、該解析表示部は前記試料スペクトルの解析中において前記化合物が属する化合物グループを解析経過ないし解析結果としてリアルタイムで表示させることを特徴とする。
また、本発明に係るスペクトル解析装置は、
当該スペクトル解析装置によって対象試料が属する化合物グループを特定した後に前記試料スペクトルを利用して対象試料に含まれる特定化合物をピンポイントで特定することを特徴とする。
また、本発明に係るスペクトル解析装置は、
前記ライブラリーは、教師データを利用してあらかじめ機械学習された学習済みライブラリーであり、
前記解析手段の少なくとも一部にはニューラルネットワークを含み、該ニューラルネットワークによって前記学習済みライブラリーを利用して前記試料スペクトルから対象試料に含まれる化合物が属する化合物グループを特定することを特徴とする。
また、本発明に係るスペクトル解析装置は、
前記ニューラルネットワークは、畳み込みニューラルネットワークを含むことを特徴とする。
また、本発明に係るスペクトル解析装置は、
前記ライブラリーは、既知スペクトル群を平均して得られる平均スペクトルを含んで構成された平均値ライブラリーであって、
前記解析手段は、前記平均値ライブラリーを利用して前記対象試料に含まれる化合物が属する化合物グループを特定することを特徴とする。
また、本発明に係るスペクトル解析装置は、
前記ライブラリーは、100以下の既知スペクトル群で構成された少数ライブラリーであって、
前記解析手段は、前記少数ライブラリーを利用して前記対象試料に含まれる化合物が属する化合物グループを特定することを特徴とする。
また、本発明に係るスペクトル解析装置は、
前記測定手段は、分光測定によるマッピング測定が可能であり、
前記解析手段は、マッピング測定によって得られた試料スペクトル群からリアルタイムで対象試料に含まれる化合物グループのケミカルイメージを作成することを特徴とする。
また、本発明に係るスペクトル解析装置は、
前記試料スペクトルは、対象試料の特徴が鮮明にあらわれた完成スペクトルを得るよりも早く得られる前記化合物グループの分類に最低限必要な情報を有するラフスペクトルであることを特徴とする。
また、本発明に係るスペクトル解析装置は、
当該スペクトル解析装置によって対象試料が属する化合物グループを特定した後にさらに再度のスペクトル測定を行って前記完成スペクトルを測定し、該完成スペクトルを利用して対象試料に含まれる特定化合物をピンポイントで特定することを特徴とする。
そして、本発明に係るスペクトル解析方法は、
測定手段によって測定された対象試料の試料スペクトルと該試料スペクトルを解析する解析手段を利用して前記対象試料に含まれる化合物を特定するためのスペクトル解析方法であって、
前記対象試料の特徴が鮮明にあらわれた完成スペクトルを得るよりも早く得られる化合物グループの分類に最低限必要な情報を有するラフスペクトルを前記測定手段で測定する工程と、
前記解析手段によってあらかじめ演算処理されたライブラリーを利用して前記対象試料に含まれる化合物を化合物グループに分類する工程と、
前記解析手段が有する解析表示部に前記試料スペクトルの解析中において前記化合物が属する化合物グループを解析経過ないし解析結果としてリアルタイムで表示させる工程と、を含むことを特徴とする。
そして、本発明に係る解析手段を実行させるためのプログラムは、
測定手段によって測定された対象試料の試料スペクトルを利用して前記対象試料に含まれる化合物を特定する解析手段を実行させるためのプログラムであって、
前記対象試料の特徴が鮮明にあらわれた完成スペクトルを得るよりも早く得られる化合物グループの分類に最低限必要な情報を有するラフスペクトルを前記測定手段で測定する工程と、
あらかじめ演算処理されたライブラリーを利用して前記対象試料に含まれる化合物を化合物グループに分類する工程と、
前記解析手段が有する解析表示部に前記試料スペクトルの解析中において前記化合物が属する化合物グループを解析経過ないし解析結果としてリアルタイムで表示させる工程と、を前記解析手段に実行させることを特徴とする。
本発明によれば、スペクトル解析装置に測定手段と所定のライブラリーを有する解析手段を備え、測定手段によって所定の試料スペクトルを測定し、該試料スペクトルを利用して対象試料に含まれる化合物が属する化合物グループを特定することで、従来よりも高速で化合物グループ分類ができる効果を奏する。その結果、スペクトル解析装置の解析手段に解析表示部を備えることで、試料スペクトルの解析中において前記化合物が属する化合物グループを解析経過ないし解析結果としてリアルタイムで表示させることが出来る。
本発明の実施形態に係るスペクトル解析装置の概略構成図を示す。 本実施形態の赤外分光測定装置によるマッピング測定における測定データの概略イメージ図を示す。 本実施形態におけるリアルタイム測定によるケミカルイメージ作成の概略図を示す。 本実施形態における化合物グループへの分類特定中における解析予測の概略図を示す。 本発明の実施形態に係る解析手段における未知化合物グループ分類方法の概念図を示す。 ニューラルネットワーク(NN)が既知スペクトルを機械学習する概念図を示す。 畳み込みニューラルネットワーク(CNN)の概略イメージ図を示す。
以下、本発明のスペクトル解析装置について図面を用いて説明するが、本発明の趣旨を越えない限り何ら以下の例に限定されるものではない。すなわち、本実施形態は主に赤外分光測定について説明するが、例えばラマン分光測定や他の測定においても本発明と同様の効果を得ることができる。
図1に本発明の実施形態に係るスペクトル解析装置の概略構成図を示す。本スペクトル解析装置は、対象試料のスペクトルを測定するための測定手段と一体化したスペクトル解析装置である。同図に示すスペクトル解析装置10は、測定手段としての赤外分光測定装置20と、該赤外分光測定装置20によって測定された測定結果について解析を行う解析手段としてのコンピュータ装置40と、から構成されている。図1における赤外分光測定装置20は顕微赤外分光装置であるが、本発明がこれに限定されるものではない。
測定手段としての赤外分光測定装置20は、赤外光を放射する光源22と、該赤外光を試料30方向へ導光する反射鏡24と、赤外光を試料30の所定位置に照射するとともに試料からの反射光を集光する対物鏡26と、試料30が載置される可動ステージ28と、集光した試料からの反射光の中から測定に不要な特定の光を除去するアパーチャー32と、該アパーチャー32を通過した試料からの反射光のスペクトルを検出する検出器34と、から構成されている。
解析手段としてのコンピュータ装置40は検出器34に接続されており、該コンピュータ装置40は検出器34で検出された試料からの反射光による試料スペクトルを解析する役割を果たしている。すなわち、本実施形態におけるスペクトル解析装置10ではコンピュータ装置40によって所定の解析がされて測定結果が得られることとなる。また、コンピュータ装置40はスペクトル解析による測定結果などを表示するための解析表示部42を備えている。
光源22から放射された赤外光は、反射鏡24によって試料30方向へ反射され、対物鏡26を経由して試料30へ照射される。試料30からの反射光は対物鏡26によって集光され、その後、反射鏡24を通過した試料からの反射光はアパーチャー32を介して検出器34へと進む。
本実施形態では制御部(図示を省略)によって可動ステージ28を可動させることで、2次元的なマッピング測定を行っている。図2には本実施形態の赤外分光測定装置によるマッピング測定における測定データの概略イメージ図を示す。まず、試料30中の全範囲の微小領域2(または試料30の一定範囲の微小領域2)についてそれぞれ分光スペクトルデータ4(試料スペクトルとも呼ぶ)を取得する。赤外分光法の場合、スペクトルデータ4の横軸は波数(cm−1)であり、縦軸は吸光度である。そして、取得した大量の分光スペクトルデータ4(マッピングデータ6と呼ぶ)を利用して例えばコンピュータ装置40で所定の処理を施してケミカルイメージ(色分け図とも呼ぶ)を作成する。
ここで、良好な試料スペクトルを得るためには赤外分光法の場合、数十回程度(50回から200回程度)の積算を繰り返すこともある(積算回数の少ない測定では、その測定ポイントにおけるスペクトルの特徴がはっきりしないため)。その場合、スペクトル測定には多大な時間がかかってしまう。例えば積算回数を100回程度とした場合に多数の測定ポイントを測定すると、測定時間は数十分以上にも及ぶこともある。同様に、例えばラマン分光法の場合も、マッピング測定における各ポイントの露光時間を延ばした場合、多大な時間を要してしまうことになる。
また、一般的には例えば多変量解析等を利用してケミカルイメージを作成することが多い。この多変量解析は、正確な測定結果(ケミカルイメージ)を得るためには優れた手法であると言えるが、一方で計算量が非常に膨大であるため測定結果を得るためには多大な時間を要してしまう。そして実際にケミカルイメージを必要とする場面においては必ずしも厳密な測定結果は必要とせず、例えば実用的な範囲で化合物グループの分類が出来れば良い場合も多い。
そこで、このような問題を解決するために本実施形態では、測定手段としての赤外分光測定装置20で測定する試料スペクトルを工夫するとともに、さらにコンピュータ装置40が有する所定のライブラリーを利用して対象試料に含まれる化合物の属する化合物グループを特定(分類)することでケミカルイメージを作成する。以下、本実施形態における試料スペクトルおよびスペクトル解析について詳しく説明する。
試料スペクトルについて
本実施形態では、赤外分光測定装置20によりマッピング測定をして試料スペクトルを得ている。前述のとおり、正確な測定結果を得るためにはマッピング測定における各ポイントに対して複数回に及ぶ積算回数(ラマン分光測定の場合には非常に長い露光時間)が必要であり、そのため一般的な多変量解析を利用した場合には解析結果を得るまでにさらに時間を要してしまい、例えばユーザが早く測定結果を知りたい場合であってもマッピング測定中における解析経過ないし解析結果のリアルタイム表示は困難である。
そこで本実施形態では、赤外分光測定装置20によって対象試料の特徴が鮮明にあらわれた完成スペクトルではなく、該完成スペクトルを得るよりも早く得られる前記化合物グループの分類に最低限必要な情報を有するラフスペクトル(対象試料の特徴が不鮮明なラフスペクトル)を測定することで、マッピング測定中や解析中におけるリアルタイム表示を可能とする。
このラフスペクトルでは対象試料に含まれる異物等の化合物をピンポイントで特定することは困難であるが、実際にはピンポイントで化合物を特定できなくても、化合物がどのような化合物グループに属しているかが把握出来れば良いことも多い。本発明はこのような点に着目してラフスペクトルを利用することである程度「ざっくり」ではあるが実用的な化合物グループを迅速に特定するものである。
スペクトル解析について
図3には、本実施形態におけるスペクトル解析によるケミカルイメージ作成の概略図を示す。図3は、コンピュータ装置40が有する解析表示部42(図1を参照)に表示された解析経過ないし解析結果の表示画面の概略図であり、A領域からC領域までの画面領域に分かれている。以下、A領域からC領域までの画面領域ごとにそれぞれ説明する。
図3のA領域は、試料30の各ポイントにおける試料スペクトル(図2の分光スペクトルデータ4)を概略的に示している。A領域では横軸は波数であり、縦軸はスペクトルの吸光度を示している。各試料スペクトルはマッピング測定中ないしマッピング測定後に順次解析表示部42に表示されることになる。
図3のB領域では、試料スペクトル測定中において(A領域に全ての試料スペクトルが表示される前)、あらかじめ所定の演算処理が施されたライブラリーを利用して試料スペクトルの分類がリアルタイムで行われている。このライブラリーは、試料30に含まれる化合物が分類される複数の化合物グループを有している。
具体的には、ライブラリーに「糖、セルロース類」、「ナイロン、タンパク類」、「ポリエステル類」などの化合物グループを有し、試料スペクトルの測定中において化合物グループへの分類を開始し、その化合物グループを解析経過ないし解析結果としてリアルタイムでB領域に表示させている。
すなわち、本実施形態に係るコンピュータ装置40は試料スペクトル測定中において、試料スペクトルに含まれる特定の化合物がどの化合物グループに属するかを予測しながらリアルタイムで分類を行っている。この時、ピンポイントで化合物の特定までは行わず、前述のとおり実用的な「ざっくり」とした分類を従来よりも高速で行っている。その結果、試料スペクトルの測定中であっても、リアルタイムで化合物グループを特定すること(および測定中における解析経過ないし解析結果のリアルタイム表示)が可能となる。
例えば、化合物グループの分類をリアルタイム表示する際に、B領域に示されるように「糖、セルロース類」、「ナイロン、タンパク類」、「ポリエステル類」である確率がそれぞれ表示され、解析時間が経過するにつれてその分類が明らかとなるようにすることも出来る。つまり、解析途中でそれぞれの化合物グループである確率表示がより確かな数値へ連続的に変化することとなる。
そして、図3のC領域においては、B領域で特定された化合物グループを利用することでケミカルイメージを従来よりも高速で作成することが可能となり、その結果、試料スペクトルの測定中や解析途中からでもケミカルイメージをリアルタイムで表示することができる。具体的には、図3におけるC領域の(a)には可視化された試料の表面画像が表示されており、C領域の(b)では前記B領域で特定されたそれぞれの化合物グループを利用してリアルタイムでケミカルイメージの作成が行われている。
この時もB領域と同様に、ケミカルイメージのリアルタイム表示は解析途中でそれぞれの色分けがより確かなものへ連続的に変化することとなる。例えば「糖、セルロース類」を緑色、「ナイロン、タンパク類」を赤色、「ポリエステル類」を青色で色分けしている場合、解析途中の前半では緑色であった部分が解析後半において実は青色であることが分かればその段階で緑色部分を青色に表示を変えることになる。
すなわち、従来は試料スペクトル測定後に所定の解析時間が経過した後でなければケミカルイメージを確認することができなかったが、本実施形態では解析中においてもリアルタイムでケミカルイメージ作成経過を確認することができる。その結果、例えば対象試料に異物混入などが生じた際にはケミカルイメージ作成中においても迅速な判断を行うことができる。
図4には、本発明に係るコンピュータ装置40(解析手段)の化合物グループ分類中における解析予測の概略図を示す。図4は、図3と同様にコンピュータ装置40が有する解析表示部42に表示された解析経過ないし解析結果の表示画面である。同図に示すように、試料スペクトルの解析中においても化合物グループへの分類結果を予測してリアルタイムで表示している。例えば図4では、「タンパク質、ポリアミド」である確率が非常に高く、他のグループである確率が非常に低い結果をリアルタイムで表示している。そして、解析予測はスペクトル解析の時間が経過することで、スペクトル解析前半に比べてより正確な確率が表示されることとなる。
以上説明したように本実施形態におけるスペクトル解析装置10では、解析手段が有するライブラリーを利用して試料スペクトル(試料スペクトルに含まれる異物等の化合物)の化合物グループ分類を解析表示部42にリアルタイムで表示させている。このライブラリーはあらかじめ所定の演算処理がされており、本実施形態ではさまざまな演算処理によりライブラリーを構築することが出来る。以下、本実施形態におけるスペクトル解析装置10で利用できるライブラリーについて詳しく説明する。
学習済みライブラリー
はじめに本実施形態における学習済みライブラリーについて説明する。学習済みライブラリーは、教師データを利用してあらかじめ機械学習されたライブラリーである。本発明の実施形態に係るコンピュータ装置40は、図5に示すようなニューラルネットワーク(NN)を含んで構成されている。コンピュータ装置40は解析プログラム(または分析プログラム)を実行し、学習済みNNに未知化合物のスペクトルデータ(以下、未知スペクトル)を読み取らせ、その未知化合物が属する化合物グループを回答させる。
学習済みNNは、本発明に特徴的な機械学習を完了した状態のNNである。コンピュータ装置40は、機械学習プログラムを実行し、NNに既知化合物のスペクトルデータ(以下、既知スペクトル)を順々に学習させる。図6の教師データ一覧100に示すような化合物グループ毎に分類された多数の既知スペクトルデータが、NNの学習対象である。一覧には各化合物グループに属する既知スペクトルのデータ数が示されている。
NNに学習を命じる者は、その準備段階として、スペクトル分類上の経験則に従ってカテゴリーを設定しておく。カテゴリーとは、例えば、「カルボン酸」、「カルボン酸塩」、「タンパク質・ポリアミド」などの化合物グループを示す。また、各々の化合物グループに属することが経験的に認められた既知化合物のサンプルを収集し、そのスペクトルデータを選定しておく。上記の化合物グループ「カルボン酸」には、例えば、ギ酸、酢酸、酪酸などのサンプルから収集した複数の既知スペクトルのデータを準備する。
なお、化合物グループの種類を設定する際は、スペクトル分析の用途を考慮するとよい。例えば、水道水や食品中の異物分析の用途などでは、設定すべき化合物グループの種類が経験的に確立されていることもあるので、それに従って化合物グループを設定してもよい。
コンピュータ装置40は、機械学習プログラムを実行して、既知スペクトルおよび該既知化合物が属する化合物グループの各情報をNNに読み取らせるとともに、読み取った既知スペクトルおよび化合物グループの各情報をNNに機械学習させる。
以降、ニューラルネットワークとして、畳み込みニューラルネットワーク(CNN)を用いた場合の機械学習を例示するが、この他の形式のニューラルネットワークにも本発明の分類方法を適用することができる。CNNの機械学習の手順の一例を図7に示す。ここでのCNNは、1層以上の畳み込み層110と全結合層120とを組み合わせたモデルになっている。
既知スペクトルのデータ101は、例えば、1cm−1毎の測定波数での吸光度データのデータ列としてもよい。測定波数帯域が例えば700〜3899cm−1であれば、1つの既知スペクトルは、概ね2000〜40000個のデータ列になる。
畳み込み層110には、N個の畳み込みフィルタ(フィルタ1、2、・・・、N)が設定されている。Nは2以上の自然数とする。これらのフィルタは、既知スペクトルに含まれるスペクトル形状の特徴を強調するためのもので、例えば、「鋭角なピーク形状を抽出するフィルタ」、「スペクトルの変化を円滑にするフィルタ」など様々なフィルタからなる。したがって、CNNは、後段の全結合層120において、強調されたスペクトル形状の特徴を示すデータと、その既知スペクトルが属する化合物グループとの関連性を学習することになる。
全結合層120は、入力層、中間層(隠れ層)および出力層の多層構造を有し、入力層のデータ数は、畳み込み層110からのフィルタ後の1セットの既知スペクトルのデータ数に対応している。中間層のデータ数は適宜定められる。出力層のデータ数は、設定された化合物グループの数に対応している。全結合層120では、入力層の各データに重み付けパラメータを与えて足し合わせた数値が中間層のデータになる。また、中間層の各データに重み付けパラメータを与えて足し合わせた数値が出力層のデータになる。
コンピュータ装置40は、機械学習プログラムを実行して、まず、N個の畳み込みフィルタ処理させる。畳み込み層110には、フィルタ後のN個の既知スペクトルのデータが形成される。このような前処理ステップを、教師データ一覧100内の全ての既知スペクトルに対して実行する。
次に、コンピュータ装置40は、機械学習プログラムを実行して、N通りに前処理された既知スペクトルのデータの集合、つまり、フィルタ後の1セットの既知スペクトルのデータ201を全結合層120に学習させる。具体的には、入力層に1セットの既知スペクトルのデータ201が入力される。そして、出力層からの出力値の中で、当該既知スペクトルの化合物グループに対応づけられた出力値が最大値を示すように、全結合層の重み付けパラメータが調整される。
全ての既知スペクトルについて全結合層120での学習が実行されることによって、全結合層120の重み付けパラメータが最適化され、どの既知スペクトルに対しても、それが属している化合物グループを正しく出力できるようになる。最適化された重み付けパラメータは、学習済みライブラリーとしてコンピュータ装置40に記憶される。
以上のような学習を終えた状態のCNNを用いて、コンピュータ装置40が解析プログラムを実行して、未知化合物を分類する手順は、次のようになる。
まず、コンピュータ装置40は、N個の畳み込みフィルタ(フィルタ1、2、・・・、N)を用いて、畳み込み層110での未知スペクトルの前処理を実行する。これによって、畳み込み層110には、フィルタ後のN個の未知スペクトルのデータが形成される。
続けて、コンピュータ装置40は、全結合層120の入力層に、フィルタ後の1セットの未知スペクトルを読み取らせる。そして、全結合層120の出力層に、フィルタ後の1セットの未知スペクトルを読み取らせる。そして、全結合層120の出力層からの出力値の中で、最大値を示すものに基づいて、当該未知スペクトルが属する化合物グループを回答する。
平均値ライブラリー
次に本実施形態における平均値ライブラリーについて説明する。平均値ライブラリーは、既知スペクトル群を平均して得られる平均スペクトルにより化合物グループの特徴をあらわすものである。具体的には、例えば「糖類」としての特徴を有する既知スペクトル群について、それぞれのスペクトルを重ねて平均化を行うことで平均スペクトルを算出して平均値ライブラリーを構成することが出来る。
この平均値ライブラリーは前記学習済みライブラリーよりも簡単に作成することができ、且つ、本実施形態のスペクトル解析装置10におけるリアルタイムな化合物グループ分類にも利用することが出来る。
少数ライブラリー
次に本実施形態における少数ライブラリーについて説明する。一般的なライブラリーであれば数百本ないし数万本程度の既知スペクトル群で構成されているところ、ここでいう少数ライブラリーは、通常よりも少ない数の既知スペクトル群で構成されるライブラリーである。少数ライブラリーは、好ましくは100以下の既知スペクトルで構成されていることが好ましく、より好ましくは10以下の既知スペクトルで構成されていることが好ましく、特に好ましくは6以下の既知スペクトルで構成されていることが好適である。
また、少数ライブラリーに含まれている既知スペクトルは、例えば糖類、ポリエステル類などのようにある程度ざっくりとした化合物グループの分類に利用できる既知スペクトルとすることが好ましい。
この少数ライブラリーも前記平均値ライブラリーと同様に、簡単に作成することができ、且つ、本実施形態のスペクトル解析装置10におけるリアルタイムな化合物グループ分類に利用することが出来る。
このように本実施形態では、あらかじめ所定の演算処理がされた各種ライブラリーを利用することで、対象試料に含まれている異物等の化合物が属する化合物グループを解析経過ないし解析結果としてリアルタイムで表示させることが出来る。例えば、機械学習による学習済みライブラリー、平均値ライブラリー、および少数ライブラリーのうちのどのライブラリーを利用するかを決めた後に特定のライブラリーを利用して化合物グループ分類を行うことも出来る。
また、本実施形態では赤外分光によるマッピング測定で得られた試料スペクトルに基づいたケミカルイメージについて説明したが、例えばラマン分光分析等の他の分析、あるいはケミカルイメージ以外の他の測定結果のリアルタイム表示に利用しても同様の効果が期待できる。
さらに、本実施形態ではラフスペクトル(化合物グループの特定に最低限必要な情報を有するスペクトル、完成スペクトルよりも特徴が不鮮明なスペクトル)を利用して実用的な範囲における「ざっくり」とした化合物グループを従来よりも高速で特定しているが(リアルタイムで表示しているが)、例えば試料が属する化合物グループを特定した後に再度のマッピング測定を行って完成スペクトル(試料の特徴が鮮明なスペクトル)を得ることで、より少ないライブラリーで従来よりも早く対象試料に含まれる未知化合物をピンポイントで特定することもできる。
すなわち、本実施形態では最初のスペクトル解析で化合物グループが特定されているため、化合物グループが特定された後の再度のスペクトル解析ではその化合物グループの範囲に属する既知スペクトルのみを検索すれば良いため、完成スペクトルにより従来よりも高速で未知化合物をピンポイントで特定することができる。合わせて、スペクトル解析を何度も繰り返し行うことで、1回のスペクトル解析による解析結果に比べて、より正確に未知化合物をピンポイントで特定することができる。
また、当然のことながら、本実施形態におけるスペクトル解析装置は測定手段(赤外分光測定装置)とは別に設けても良い。例えば、別途測定した試料スペクトルに対して、その後にスペクトル解析装置で試料の化合物グループを特定しても良い。この場合、例えば市販のパソコンなどにプログラムをインストールすることでスペクトル解析が行えるようにしても良い。
そして、本発明によれば、前記対象試料の特徴が鮮明にあらわれた完成スペクトルを得るよりも早く得られる対象試料の特徴が不鮮明な化合物グループの分類に最低限必要な情報を有するラフスペクトルを前記測定手段で測定する工程と、前記解析手段によってあらかじめ演算処理されたライブラリーを利用して前記対象試料に含まれる化合物を化合物グループに分類する工程と、前記解析手段が有する解析表示部に前記試料スペクトルの解析中において前記化合物が属する化合物グループを解析経過ないし解析結果としてリアルタイムで表示させる工程を行うことで、対象試料が属する化合物グループを従来よりも高速で特定することが可能なスペクトル解析方法を行うこともできる。
2 微小領域
4 分光スペクトルデータ
6 マッピングデータ
10 スペクトル解析装置
20 赤外分光測定装置
22 光源
24 反射鏡
26 対物鏡
28 可動ステージ
30 試料
32 アパーチャー
34 検出器
40 コンピュータ装置
42 解析表示部
100 教師データ一覧
110 畳み込み層
120 全結合層
200 フィルタ後の1セットの既知スペクトル
101 既知スペクトルのデータ列(既知化合物のスペクトルデータ)
201 畳み込みフィルタ処理後の1セットの既知スペクトルのデータ列

Claims (10)

  1. 対象試料の試料スペクトルを測定する測定手段と該試料スペクトルを解析する解析手段を備え、前記対象試料に含まれる化合物を特定するスペクトル解析装置であって、
    前記解析手段はあらかじめ演算処理されたライブラリーを有し、該ライブラリーは前記化合物が分類される複数の化合物グループを有し、
    前記試料スペクトルは、対象試料に含まれる化合物をピンポイントで特定することができる完成スペクトルを得るよりも早く得られるラフスペクトルであり、
    前記完成スペクトルは前記化合物をピンポイントで特定するために少なくとも複数回の積算回数を繰り返したものであり、前記ラフスペクトルは該完成スペクトルよりも少ない積算回数により得られるものであり、
    前記解析手段は解析表示部を備え、該解析表示部は前記ラフスペクトルの測定中において前記化合物が属する化合物グループを解析経過ないし解析結果としてリアルタイムで表示させることを特徴とするスペクトル解析装置。
  2. 請求項1に記載のスペクトル解析装置であって、
    当該スペクトル解析装置によって対象試料が属する化合物グループを特定した後に前記完成スペクトルを利用して前記化合物グループの範囲のみを検索し、前記化合物グループに含まれる特定化合物をピンポイントで特定することを特徴とするスペクトル解析装置。
  3. 請求項1または請求項2に記載のスペクトル解析装置であって、
    前記ライブラリーは、教師データを利用してあらかじめ機械学習された学習済みライブラリーであり、
    前記解析手段の少なくとも一部にはニューラルネットワークを含み、該ニューラルネットワークによって前記学習済みライブラリーを利用して前記試料スペクトルから対象試料に含まれる化合物が属する化合物グループを特定することを特徴とするスペクトル解析装置。
  4. 請求項3に記載のスペクトル解析装置であって、
    前記ニューラルネットワークは、畳み込みニューラルネットワークを含むことを特徴とするスペクトル解析装置。
  5. 請求項1から請求項3のいずれかに記載のスペクトル解析装置であって、
    前記ライブラリーは、既知スペクトル群を平均して得られる平均スペクトルを含んで構成された平均値ライブラリーであって、
    前記解析手段は、前記平均値ライブラリーを利用して前記対象試料に含まれる化合物が属する化合物グループを特定することを特徴とするスペクトル解析装置。
  6. 請求項1から請求項3のいずれかに記載のスペクトル解析装置であって、
    前記ライブラリーは、100以下の既知スペクトル群で構成された少数ライブラリーであって、
    前記解析手段は、前記少数ライブラリーを利用して前記対象試料に含まれる化合物が属する化合物グループを特定することを特徴とするスペクトル解析装置。
  7. 請求項1から請求項6のいずれかに記載のスペクトル解析装置であって、
    前記測定手段は、分光測定によるマッピング測定が可能であり、
    前記解析手段は、マッピング測定によって得られた試料スペクトル群からリアルタイムで対象試料に含まれる化合物グループのケミカルイメージを作成することを特徴とするスペクトル解析装置。
  8. 請求項1に記載のスペクトル解析装置であって、
    当該スペクトル解析装置によって対象試料が属する化合物グループを特定した後にさらに再度のスペクトル測定を行って前記完成スペクトルを測定し、該完成スペクトルを利用して前記化合物グループの範囲のみを検索し、前記化合物グループに含まれる特定化合物をピンポイントで特定することを特徴とするスペクトル解析装置。
  9. 測定手段によって測定された対象試料の試料スペクトルと該試料スペクトルを解析する解析手段を利用して前記対象試料に含まれる化合物を特定するためのスペクトル解析方法であって、
    前記対象試料に含まれる化合物をピンポイントで特定することができる完成スペクトルを得るよりも早く得られるラフスペクトルを前記測定手段で測定する工程と、
    前記解析手段によってあらかじめ演算処理されたライブラリーを利用して前記対象試料に含まれる化合物を化合物グループに分類する工程と、
    前記解析手段が有する解析表示部に前記試料スペクトルの測定中において前記化合物が属する化合物グループを解析経過ないし解析結果としてリアルタイムで表示させる工程と、を含み、
    前記完成スペクトルは前記化合物をピンポイントで特定するために少なくとも複数回の積算回数を繰り返したものであり、前記ラフスペクトルは該完成スペクトルよりも少ない積算回数により得られるものであることを特徴とするスペクトル解析方法。
  10. 測定手段によって測定された対象試料の試料スペクトルを利用して前記対象試料に含まれる化合物を特定する解析手段を実行させるためのプログラムであって、
    前記対象試料に含まれる化合物をピンポイントで特定することができる完成スペクトルを得るよりも早く得られるラフスペクトルを前記測定手段で測定する工程と、
    あらかじめ演算処理されたライブラリーを利用して前記対象試料に含まれる化合物を化合物グループに分類する工程と、
    前記解析手段が有する解析表示部に前記ラフスペクトルの解析中において前記化合物が属する化合物グループを解析経過ないし解析結果としてリアルタイムで表示させる工程と、を前記解析手段に実行させ、
    前記完成スペクトルは前記化合物をピンポイントで特定するために少なくとも複数回の積算回数を繰り返したものであり、前記ラフスペクトルは該完成スペクトルよりも少ない積算回数により得られるものであることを特徴とするプログラム。
JP2019528587A 2017-08-24 2018-08-10 スペクトルの高速分類を利用したリアルタイムスペクトル解析 Active JP6863625B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017161341A JP6438549B1 (ja) 2017-08-24 2017-08-24 機械学習を用いた未知化合物の分類方法
PCT/JP2018/030028 WO2019039313A1 (ja) 2017-08-24 2018-08-10 スペクトルの高速分類を利用したリアルタイムスペクトル解析

Publications (2)

Publication Number Publication Date
JPWO2019039313A1 JPWO2019039313A1 (ja) 2019-11-07
JP6863625B2 true JP6863625B2 (ja) 2021-04-21

Family

ID=64655889

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017161341A Active JP6438549B1 (ja) 2017-08-24 2017-08-24 機械学習を用いた未知化合物の分類方法
JP2019528587A Active JP6863625B2 (ja) 2017-08-24 2018-08-10 スペクトルの高速分類を利用したリアルタイムスペクトル解析

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017161341A Active JP6438549B1 (ja) 2017-08-24 2017-08-24 機械学習を用いた未知化合物の分類方法

Country Status (4)

Country Link
US (1) US11913877B2 (ja)
JP (2) JP6438549B1 (ja)
CN (1) CN111033230A (ja)
WO (1) WO2019039313A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3775759A4 (en) * 2018-04-06 2022-04-27 Braskem America, Inc. RAMAN SPECTROSCOPY AND QUALITY CONTROL MACHINE LEARNING
JP7158320B2 (ja) 2019-03-15 2022-10-21 浜松ホトニクス株式会社 畳み込みニューラルネットワーク判断根拠抽出方法および装置
JP7264375B2 (ja) * 2019-09-17 2023-04-25 株式会社Nttドコモ 情報処理装置、情報処理方法及び情報処理プログラム
JP6778451B1 (ja) * 2020-01-10 2020-11-04 日本分光株式会社 異物分析方法、異物分析プログラムおよび異物分析装置
JP7297348B2 (ja) * 2020-03-05 2023-06-26 国立研究開発法人物質・材料研究機構 スペクトル汎化システム及び方法、並びに物質同定システム及び方法
CN115885296A (zh) * 2020-08-18 2023-03-31 株式会社岛津制作所 数据解析装置、数据解析方法、学习完毕模型的生成方法、系统以及程序
JP7130267B2 (ja) 2020-09-03 2022-09-05 株式会社リガク 全反射蛍光x線分析装置及び推定方法
US20230393067A1 (en) * 2020-10-27 2023-12-07 Konica Minolta, Inc. Information processing apparatus, information processing system, and trained model
JP7567371B2 (ja) 2020-10-30 2024-10-16 セイコーエプソン株式会社 機械学習モデルを用いてクラス分類処理を実行する方法、情報処理装置、及び、コンピュータープログラム
US20220283154A1 (en) * 2021-03-05 2022-09-08 Sysmex Corporation Measurement sample preparation method, analysis method, reagent, and reagent kit
JP7556340B2 (ja) 2021-10-14 2024-09-26 トヨタ自動車株式会社 材料のスペクトルデータを用いた材料種類同定システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003353A (ja) * 1998-06-12 2000-01-07 Toyo Electric Mfg Co Ltd 配水量予測方法
JP3855739B2 (ja) * 2001-11-05 2006-12-13 株式会社デンソー ニューラルネットワークの学習方法およびプログラム
US7756305B2 (en) * 2002-01-23 2010-07-13 The Regents Of The University Of California Fast 3D cytometry for information in tissue engineering
JP4933186B2 (ja) * 2006-07-26 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
US8017910B2 (en) * 2008-10-20 2011-09-13 Nalco Company Method for predicting hydrocarbon process stream stability using near infrared spectra
US9383308B2 (en) * 2011-10-17 2016-07-05 Thermo Electron Scientific Instruments Llc Multi-component regression/multi-component analysis of time series files
US9110001B2 (en) 2012-07-02 2015-08-18 Thermo Scientific Portable Analytical Instruments Inc. Method for tagging reference materials of interest in spectroscopic searching applications
EP4006542A1 (en) * 2013-08-02 2022-06-01 Verifood Ltd. Spectrometer comprising sample illuminator
JP6320112B2 (ja) * 2014-03-27 2018-05-09 キヤノン株式会社 情報処理装置、情報処理方法
WO2017143332A1 (en) * 2016-02-18 2017-08-24 Optofluidics, Inc. System and method for characterizing particulates in a fluid sample

Also Published As

Publication number Publication date
CN111033230A (zh) 2020-04-17
WO2019039313A1 (ja) 2019-02-28
JPWO2019039313A1 (ja) 2019-11-07
JP2019039773A (ja) 2019-03-14
JP6438549B1 (ja) 2018-12-12
US11913877B2 (en) 2024-02-27
US20210055211A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
JP6863625B2 (ja) スペクトルの高速分類を利用したリアルタイムスペクトル解析
US10964013B2 (en) System, method for training and applying defect classifiers in wafers having deeply stacked layers
US9601393B2 (en) Selecting one or more parameters for inspection of a wafer
JP6091493B2 (ja) 試料に存在する成分を決定するための分光装置と分光法
EP3005293B1 (en) Image adaptive physiologically plausible color separation
US10718713B2 (en) Unknown sample determining method, unknown sample determining instrument, and unknown sample determining program
JP2024527702A (ja) 移動物体の化学成分の自動検出
Eichner et al. Making parameter dependencies of time‐series segmentation visually understandable
Salvucci et al. Fast olive quality assessment through RGB images and advanced convolutional neural network modeling
Nazulan et al. Detection of sweetness level for fruits (watermelon) with machine learning
Zhang et al. An optimized deep learning based technique for grading and extraction of diabetic retinopathy severities
Zhang et al. Development of a hyperspectral imaging system for the early detection of apple rottenness caused by P enicillium
JP6669796B2 (ja) 染色体異常判定装置
Seetah et al. A convolutional neural network approach to diabetic retinopathy detection and its automated classification
CN115115926B (zh) 基于计算机视觉的试管缺陷检测方法与设备
JP2020135203A (ja) 検査システム、検査方法および検査画像解析方法
Gomes et al. Towards robust Machine Learning models for grape ripeness assessment
CN117373565A (zh) 离子迁移谱-质谱的建库方法、识别方法及其装置
RU2730110C1 (ru) Способ определения времени созревания одного или нескольких плодов
Tripathi et al. Improved deep belief network for estimating mango quality indices and grading: A computer vision-based neutrosophic approach
Basener et al. A detection-identification process with geometric target detection and subpixel spectral visualization
WO2024079958A1 (ja) 雌雄判定装置及び雌雄判定方法
Zhou et al. Machine Learning for Raman Spectroscopy-based Cyber-Marine Fish Biochemical Composition Analysis
Minieri et al. Hyperspectral imaging and machine learning techniques for the automatic sorting of horticultural products
Dionisio et al. EfficientNet-Lite 4-Based Classification System for Grading Philippine Strawberries

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20190524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190524

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190524

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200521

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200521

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200716

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200717

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200721

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200911

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200915

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200929

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201216

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210126

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210302

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210325

R150 Certificate of patent or registration of utility model

Ref document number: 6863625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250