JP6584425B2 - 腫瘍検出及び/又はモニタリングに関するデバイス、システム、コンピュータ可読非一時的媒体及び方法 - Google Patents

腫瘍検出及び/又はモニタリングに関するデバイス、システム、コンピュータ可読非一時的媒体及び方法 Download PDF

Info

Publication number
JP6584425B2
JP6584425B2 JP2016559423A JP2016559423A JP6584425B2 JP 6584425 B2 JP6584425 B2 JP 6584425B2 JP 2016559423 A JP2016559423 A JP 2016559423A JP 2016559423 A JP2016559423 A JP 2016559423A JP 6584425 B2 JP6584425 B2 JP 6584425B2
Authority
JP
Japan
Prior art keywords
ppg
interest
tumor
monitoring
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016559423A
Other languages
English (en)
Other versions
JP2017512576A (ja
Inventor
イーホル オレーホヴィチ キレンコ
イーホル オレーホヴィチ キレンコ
ハーン ヘラルト デ
ハーン ヘラルト デ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017512576A publication Critical patent/JP2017512576A/ja
Application granted granted Critical
Publication of JP6584425B2 publication Critical patent/JP6584425B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0091Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、腫瘍検出及び/又はモニタリング、特に例えば人又は動物といった対象の癌腫瘍の生体内検出及び/又はモニタリングに関するデバイス、システム及び方法に関する。
Yang J、Staples O、Thomas LW、Briston T、Robson M、Poon E、Simoes ML、El-Emir E、Buffa FM、Ahmed A、Annear NP、Shukla D、Pedley BR、Maxwell PH、Harris AL、Ashcroft M.による論文「Human CHCHD4 mitochondrial proteins regulate cellular oxygen consumption rate and metabolism and provide a critical role in hypoxia signaling and tumor progression」、J Clin Invest. 2012 Feb;122(2):600-11;doi: 10.1172/JCI58780;Epub 2012 Jan 3において、腫瘍細胞の酸素センシング機構の重要な部分が示される。これは癌を治療する新しい態様に向かう初期ステップである。腫瘍は、急速に成長し拡大するので、それらの細胞に酸素を運ぶ血管のネットワークは、ついていくことができず、いくつかの細胞は、酸素が不足し、言い換えると「低酸素」となる。これは、通常の細胞を殺す。しかし、癌細胞は、低酸素誘導因子(HIF)と呼ばれるタンパク質における切り替えを行うことにより、これらの状態に打ち勝つよう進化する。これは順に、細胞内部の他の分子でも切り替えを行う。
HIF応答と呼ばれるこの連鎖は、新規血管が、腫瘍周りで及び腫瘍内へと成長することを助長する。それは、エネルギーを生成するための代替的な方法を用いることにより、腫瘍が低酸素状態に適応するのも助ける。
国立癌研究所によりサポートされる最新の研究の1つにおいて、磁気共鳴撮像に基づき、大きい腫瘍より小さい腫瘍が、明らかに好適に酸素を与えられることがわかった。これは、腫瘍のサイズに基づき、低酸素環境の範囲を示す過去の調査を確定した。
低い酸素レベルにもかかわらず生長することが可能である腫瘍細胞は、治療に対しても抵抗する可能性が高い。過去の調査は、HIF応答を目標とすることが、腫瘍成長及びスプレッドを防ぐことができ、新規血管の成長を止める薬の作用を高めることを示したので(いわゆる「反アンギオジェニックス」)、これらの結果は、将来においてより有効な癌治療への期待を保持するものであった。
US2004/039268A1号は、目標システムの動的な応答を定量化するシステム及び方法を開示する。光学断層撮影データの時系列は、人間の脈管構造の特性を観察するため、例えば近赤外線といった光学波長を使用して、人間(又は動物)における目標組織部位に関して得られる。この波長では、ヘモグロビンは吸収的である。このデータは、例えば健常な人間からの対応する組織部位の、又は人の別の対応する組織部位からのベースラインデータと比較されることができる。例えば、人間の疑わしいガン胸部が、脈管構造における差を検出するため、既知の健康な胸部と比較されることができる。フローの尺度、酸素供給/要求アンバランスの尺度及び末梢エフェクタ機構の変更された調節の証拠の尺度が作られることができる。目標システムの複数の部位の間の調整された相互作用と共に、目標組織部位の機能が分析されることができる。
US2013/274610A1号は、心血管脈動波の視覚化に関する方法を開示する。生体が、光で照射される。この光は、生体の脈管系での吸収及び/又は散乱を介して相互作用するよう体の皮膚を通り透過する。生体から反射される光は、画像キャプチャデバイスに集束されるフレームにおいて集められる。一連のフレームが、画像キャプチャユニットによりキャプチャされる。フレームのシリーズにおけるフレームは、体の周期的な生理的処理と同期化される参照関数により増倍される。フレームのシリーズにおけるフレームにわたり個別のピクセルを参照関数に対して要約することにより、相関画像が形成される。生体における血液脈動波の力学を表す出力画像が、体の周期的な生理的処理の位相の関数として、相関画像から算出される。
本発明の目的は、自動的で、目立たず、速く、信頼性が高く、客観的な腫瘍検出及び/又はモニタリングに関するデバイス、システム及び方法を提供することである。
本発明の第1の側面において、腫瘍検出及び/又はモニタリングに関するデバイスが提示され、このデバイスは、
200nm及び1200nmの間の範囲にある少なくとも2つの異なる波長において対象から反射される電磁放射を表す入力信号を受信するよう構成されるインタフェースと、
上記入力信号から関心領域からのフォトプレチスモグラフィックPPG信号を抽出するよう構成される信号抽出ユニットと、
上記関心領域から得られるPPG信号のPPG振幅の空間分布を分析するよう構成される第1の分析ユニットと、
上記PPG信号から得られる動脈の血中酸素飽和の空間分布を分析するよう構成される第2の分析ユニットと、
上記2つの分析に基づき、上記関心領域における腫瘍を検出及び/又は監視するよう構成される評価ユニットとを有する。
本発明の更なる側面において、対応する方法が提示される。
本発明の更なる側面において、腫瘍検出及び/又はモニタリングに関するシステムが提示され、このシステムは、
200nm及び1200nmの間の範囲にある少なくとも2つの異なる波長において対象から反射される電磁放射を検出するよう構成される検出ユニットと、
腫瘍検出及び/又はモニタリングに関する本書に開示されるデバイスとを有する。
本発明の更なる側面において、コンピュータで実行されるとき、コンピュータが本書に記載される方法のステップを実行することをもたらすプログラムコード手段を有するコンピュータプログラム、及びプロセッサにより実行されるとき、本書に記載される方法が実行されることをもたらすコンピュータプログラムを格納する非一時的なコンピュータ可読記録媒体が提供される。
本発明の好ましい実施形態は、従属項において規定される。請求項に記載の方法、プロセッサ、コンピュータプログラム及び媒体が、請求項に記載のシステム及び従属項に記載されるシステムと類似する及び/又は同一の好ましい実施形態を持つ点を理解されたい。
本発明は、血管又は微小循環における局所変化の分析及び局所動脈の血中酸素飽和(Sp02)の変化の分析に基づき、組織における癌腫瘍の正確な位置を検出する、及び/又は癌腫瘍の発展を監視するというアイデアに基づかれる。Sp02変化の空間的な撮像と組み合わせられる血液拍動性の空間的な分析(一般にPPG撮像とも呼ばれる)が、癌の改良された診断及び治療効果のモニタリングを可能にするために用いられる。言い換えると、腫瘍周りで脈動する動脈血の振幅における変化及び正常な及び癌組織周りでのSp02(動脈血酸化)における変化の力学における差が、本発明に基づき測定される。血液量のDCレベルも、組織ヘモグロビン状態も、任意の3D画像も、本発明の一般的なアイデアに基づき得られることはないが、代わりに、脈動する動脈血及びその酸化の空間分布が、所望の腫瘍検出及び/又はモニタリングに関して使用される。
本発明は、プレチスモグラフ(PPG)信号を評価する。フォトプレチスモグラフィ(PPG)は、関心領域又はボリュームの光反射率又は透過の時間変動変化を評価する光学測定技術である。PPGは、血液が周囲組織より多くの光を吸収する原理に基づかれる。そのため、すべての心拍に伴う血液量における変動は、これに対応して透過又は反射率に影響を及ぼす。心拍に関する情報の他に、PPG波形は、例えば呼吸といった更なる生理的現象に起因する情報を有することができる。異なる波長(典型的に赤及び赤外線)での透過性及び/又は反射率を評価することにより、血中酸素飽和が決定されることができる。
対象の心拍及び(動脈状の)血中酸素飽和(Sp02とも呼ばれる)を測定する従来のパルスオキシメータ(本書において接触PPGデバイスとも呼ばれる)は、対象の皮膚に、例えば指先、耳たぶ又は額に付けられる。従って、それらは、「接触」PPGデバイスと呼ばれる。典型的なパルスオキシメータは、光源としての赤色LED及び赤外線LEDと、患者組織を通過した光を検出する1つのフォトダイオードとを有する。市販のパルスオキシメータは、赤及び赤外線波長での測定の間を高速に切り替え、これにより、組織の同じ領域又はボリュームの透過性を2つの異なる波長で測定する。これは、時間分割多重化と呼ばれる。各波長での時間にわたる透過性は、赤及び赤外線波長に関するPPGに波形を与える。接触PPGは、基本的に非侵襲性技術と考えられるが、接触PPG測定はしばしば、不快な及び邪魔なものとして経験される。なぜなら、パルスオキシメータが、対象に直接付けられ、任意のケーブルが、移動する自由を制限し、ワークフローを妨げることがあるからである。
近年では、目立たない測定に関して非接触の遠隔PPG(rPPG)デバイス(本書においてカメラrPPGデバイスとも呼ばれる)が導入された。遠隔PPGは、光源を利用するか、又は、関心対象から離れて配置される一般の放射線源を利用する。同様に、検出器、例えば、カメラ又は光検出器も、関心対象から離れて配置されることができる。従って、遠隔フォトプレチスモグラフシステム及びデバイスは、目立たないと考えられ、医療用途だけでなく非医学的な日々の用途にもよく適している。
Verkruysseらによる「Remote plethysmographic imaging using ambient light」、Optics Express、16(26)、22 December 2008、pp. 21434-21445は、環境光と、赤、緑及び青色チャネルを使用する従来の消費者向けレベルのビデオカメラとを用いて、フォトプレチスモグラフ信号が、リモートで測定されることができることを示す。
Wieringaらによる「Contactless Multiple Wavelength Photoplethysmographic Imaging: A First Step Toward "Sp02 Camera" Technology」、Ann. Biomed. Eng. 33、1034- 1041 (2005)は、異なる波長でのプレチスモグラフ信号の測定に基づき、組織における動脈の酸素飽和のコンタクトレスの撮像に関する遠隔PPGシステムを開示する。このシステムは、モノクロCMOSカメラと、3つの異なる波長のLEDを持つ光源とを有する。カメラは、3つの異なる波長で対象の3つの動画をシーケンシャルに得る。パルスレートは、単一の波長での動画から決定されることができるが、酸素飽和を決定するには、異なる波長での少なくとも2つの動画が必要とされる。この測定は、一度に1つの波長だけを使用して暗室において実行される。
PPG技術を用いて、バイタルサインは測定されることができる。これは、脈動する血液量によりもたらされる皮膚における分光吸収変化により、即ち、血液量パルスによりもたらされるヒト皮膚の周期的な変色により、明らかにされる。本発明は、PPG振幅の空間分布及びSp02の空間分布に関する情報を得るため、PPG技術を使用する。この情報は、関心領域における腫瘍を検出及び/又は監視するためにその後用いられる。
本発明の実施形態によれば、このデバイスは更に、200nm及び1200nmの間の範囲にある少なくとも2つの異なる波長において対象から反射される電磁放射を表す入力信号を受信するよう構成されるインタフェースと、上記入力信号からフォトプレチスモグラフィックPPG信号を抽出するよう構成される信号抽出ユニットとを有する。従って、遠隔PPG技術を用いて患者のバイタルサインを得るのに従来使用されるように、PPG信号を得るのに、画像ベースのアプローチが使用される。好ましくは、例えばカメラ(例えば外部ビデオカメラ又は内視鏡カメラ)といった撮像ユニットが、特に画像フレームのセットの形で、電磁放射を得るために使用される。コンタクトレスのデータ収集に関する外部カメラの使用は、目立たず及び安価であり、必要に応じて連続して適用されることができる。他の実施形態において、1つ又は複数のパルスオキシメータセンサが、PPG信号を表す反射された電磁放射を得るのに使用されることができる。
好ましい実施態様において、上記第1の分析ユニットが、他の位置より高いPPG振幅を持つ位置を検出するよう構成される。より高いPPG振幅を持つ上記位置は、高い血液拍動性を示す。これは、癌腫瘍周りで、及びこれへと形成される新規血管によりもたらされる場合があり、その結果、斯かる位置の検出は、腫瘍の存在を示す。
別の好ましい実施形態において、上記第2の分析ユニットが、時間にわたる動脈の血中酸素飽和の空間分布を分析するよう構成される。上記第2の分析ユニットは特に、他の位置と異なる上記動脈の血中酸素飽和の変化の力学を示す位置を検出するよう構成される。癌腫瘍周りの組織における位置は、健康な組織とは異なるSp02変化の力学を示す。その結果、斯かる位置の検出が、腫瘍の存在を示す。好ましい実施態様において、動脈の酸素濃度の変化の空間分布が、(例えば、息を止めることにより、又は、呼吸用空気における酸素含有量を減らすことにより)酸素供給の変化を誘導した後監視される。このために、対応するコントローラ及び/又はユーザインタフェースが提供されることができる。
更に別の好ましい実施態様において、このデバイスは、上記PPG信号から得られる組織酸素飽和(StO2)の空間分布を分析するよう構成される第3の分析ユニットを更に有する。上記第3の分析ユニットが特に、他の位置より低い組織酸素飽和を持つ位置を検出するよう構成される。低い飽和を持つ位置は癌腫瘍の位置を示す。その結果、組織酸素飽和の分析から得られた追加的な情報が、組織の検出及びモニタリングの精度及び信頼性を更に改善する。
別の実施形態では、このデバイスは、皮膚色の空間的な均一性を分析するよう構成される第4の分析ユニットを更に有する。この実施形態は、例えば黒色腫といった皮膚癌の検出に特に役立つ。
別の実施形態では、上記評価ユニットが、時間にわたる腫瘍の発展を監視するため、時間にわたる上記分析の結果を評価するよう構成される。更に、癌治療の効果が、こうして監視されることができる。
システムの実施形態において、上記検出ユニットが、画像情報を含む対象の一セットの画像フレームを得るよう構成される撮像ユニット及び/又は1つ又は複数のパルスオキシメータセンサを有する。
システムの実施形態において、好ましくは画像データの取得及び画像データからのPPG信号の取得を改良するため、1つ又は複数の所望の波長における光で関心領域を照射するよう構成される照明ユニットが提供される。
システムの更なる実施形態において、撮像ユニット内若しくはこの前に、及び/又は照明ユニット内若しくはこの前に、偏光子が提供される。斯かる偏光子は、測定における鏡面反射の効果を減らす。これは、鏡面反射が特に現れる内視鏡用途に関して特に有利である。
更に別の側面によれば、腫瘍検出及び/又はモニタリングに関するデバイスが提示され、このデバイスは、200nm及び1200nmの間の範囲にある少なくとも2つの異なる波長において対象から反射される電磁放射を表す入力信号を受信するよう構成されるインタフェースと、プロセッサとを有し、上記プロセッサが、
上記入力信号から関心領域からのフォトプレチスモグラフィックPPG信号を抽出し、
上記関心領域から得られるPPG信号のPPG振幅の空間分布を分析し、
上記PPG信号から得られる動脈の血中酸素飽和の空間分布を分析し、
上記2つの分析に基づき、上記関心領域における腫瘍を検出及び/又は監視する。
本発明によるデバイスを含むシステムの第1の実施形態の概略的なダイアグラムを示す図である。 本発明によるデバイスの第1の実施形態の概略的なダイアグラムを示す図である。 本発明によるデバイスの第2の実施形態の概略的なダイアグラムを示す図である。 本発明によるデバイスの第3の実施形態の概略的なダイアグラムを示す図である。 本発明によるシステムの第2の実施形態の概略的なダイアグラムを示す図である。 本発明によるシステムの第3の実施形態の概略的なダイアグラムを示す図である。
本発明のこれらの及び他の態様が、以下に説明される実施形態より明らとなり、これらの実施形態を参照して説明されることになる。
図1は、本発明による対象14の腫瘍の検出及び/又はモニタリングに関するデバイス12を含むシステム10の第1の実施形態の概略図を示す。この例では患者である対象14は、例えば病院又は他のヘルスケア施設のベッド16において横になるが、例えば保育器において横になる新生児又は早産児、又は自宅若しくは異なる環境における人でもよい。対象14の画像フレームは、適切なフォトセンサを含むカメラ18(検出ユニット、又は、撮像ユニット、又はカメラベース若しくは遠隔PPGセンサとも一般に呼ばれる)を用いて、キャプチャされる。カメラ18は、記録された画像フレームをデバイス12にフォワードする。そこでは、画像フレームが、以下に一層詳細に説明されるように処理される。デバイス12は好ましくは、決定された情報を表示するため、並びに/又はデバイス12の設定及び/若しくはシステム10の他の要素の設定を変更するためのインタフェースを医療人員に提供するため、インタフェース20を有する。斯かるインタフェース20は、異なるディスプレイ、ボタン、タッチスクリーン、キーボード又は他の人間機械インタフェース手段を有することができる。
システム10は、例えば所定の波長範囲又は複数の波長範囲(例えば赤、緑及び/又は赤外線波長範囲)における光で、例えば患者の顔の皮膚又は体の他の任意の裸の部分又は(例えば、後述するように内視鏡カメラユニットを用いて)内部組織といった関心領域24を照射する、例えばランプといった光源22(照明源とも呼ばれる)を更に有することができる。上記照明に基づき上記関心領域24から反射される光は、カメラ18により検出される。別の実施形態では、専用の光源は提供されず、対象14の照明に関して、環境光が使用される。反射された光から、所望の波長範囲(例えば緑色光)における光だけが、検出及び/又は評価されることができる。
システム10はオプションで更に、測定における鏡面反射の効果を減らすため、光源22、カメラ18又はこの両方において、又はその前に、1つ又は複数の偏光子19、23を有することができる。これは、高い液体レベルが原因で鏡面反射がしばしば顕著である内視鏡用途に関して、特に有利である。
カメラ18によりキャプチャされる画像フレームは特に、例えば(デジタル)カメラにおけるアナログ又はデジタルフォトセンサを用いてキャプチャされるビデオシーケンスに対応することができる。斯かるカメラ18は通常、例えばCMOS又はCCDセンサといったフォトセンサを含む。これは特定のスペクトル範囲(可視、IR)において作動することもでき、又は異なるスペクトル範囲に関する情報を提供することもできる。カメラ18は、アナログ又はデジタル信号を提供することができる。画像フレームは、関連付けられるピクセル値を持つ複数の画像ピクセルを含む。特に、画像フレームは、フォトセンサの異なる感光性要素でキャプチャされる光強度値を表すピクセルを含む。これらの感光性要素は、特定のスペクトル範囲(即ち特定の色を表す)においてセンシティブでもよい。画像フレームは、対象の皮膚部分を表す少なくともいくつかの画像ピクセルを含む。これにより、画像ピクセルは、光検出器及びその(アナログ又はデジタルの)出力の1つの感光性要素に対応することができるか、又は(例えば、ビン化を介して)複数の感光性要素の組み合わせに基づき決定されることができる。
デバイス12、カメラ18及び光源22の間の単方向又は双方向性通信は、無線又は有線通信インタフェースを介して機能することができる。これにより、光源22は、デバイス12との通信を行わないスタンドアロンとして作動するよう構成されることもできる点に留意されたい。更に、デバイス12及び/又は光源22は、カメラ18に組み込まれることもできる。
図1に示されるシステム10は例えば、病院、健康施設、高齢者ケア施設、保育器等に配置されることができる。斯かるシステムの要素は、上述した遠隔PPG技術を用いるバイタルサインモニタリングの分野において一般に知られる。
図2は、本発明によるデバイス12aの第1の実施形態のより詳細な概略図を示す。デバイス12aは、光の範囲、特に200及び1200nmの間の範囲における少なくとも2つの異なる波長での画像情報を含む対象の一セットの画像フレーム(又は、より一般的に、対象から反射される電磁放射を表す入力信号)を受信するインタフェース30を有する。インタフェース30は特にカメラ18により取得される一セットの画像フレームを受信する。これは環境照明及び/又は光源22による照明に基づき、対象14から反射される放射線のコンタクトレスの検出に関して一般に構成される。画像フレームの上記セットから、関心領域からのフォトプレチスモグラフ(PPG)信号を抽出する信号抽出ユニット32が提供される。上記PPG信号は、その後分析及び評価される。
関心領域から得られるPPG信号のPPG振幅の空間分布を分析する第1の分析ユニット34が提供される。上記PPG信号から得られる動脈の血中酸素飽和の空間分布を分析する第2の分析ユニット36が提供される。上記2つの分析の結果は、上記関心領域における腫瘍を検出及び/又は監視するため、評価ユニット38によりその後使用される。上記評価の結果は例えば、調べられた関心領域が腫瘍を含むか又は含まないかのインジケーションとすることができ、オプションで確率を伴う。
デバイス12aのさまざまなユニットは、本発明が適用される方法及び場面に基づき、1つ又は複数のデジタル又はアナログプロセッサに含まれることができる。異なるユニットは、完全に又は部分的にソフトウェアにおいて実現されることができ、例えばカメラデバイスといった対象の画像フレームを得るデバイスに接続されるパーソナルコンピュータで実行されることができる。必要とされる機能のいくつか又は全部は、ハードウェアにおいて、例えば特定用途向け集積回路(ASIC)において、又は、フィールドプログラム可能ゲートアレイ(FPGA)において実現されることもできる。
第1の分析ユニット34は好ましくは、癌腫瘍周りの、及びこれへの新規血管によりもたらされる高いPPG振幅を持つ位置を検出するため、PPG振幅(PPG撮像)の空間分布を測定するよう構成される。
第2の分析ユニット36は好ましくは、他の位置と異なる動脈の血中酸素飽和(Sp02)の変化の力学を示す位置を検出するよう構成される。癌腫瘍周りの組織における位置は、健康な組織と異なるSp02変化の力学を持つ。
好ましい実施形態において、Sp02マップは、第2の分析ユニットにより得られる。このSp02マップが、特にこのSp02マップの変化が、(例えば、呼吸を止めることにより、又は、呼吸用空気における酸素含有量を減らすことにより)酸素供給の変化を誘発して、Sp02の変化の空間分布を監視することにより分析される。このため、図3に表されるデバイス12bの第2の実施形態に例示的に示されるように、対象14に対して酸素供給の変化を誘発するコントローラ40及び/又はユーザインタフェース42が提供されることができる。例えば、コントローラ40は、(例えば顔のマスクを介して)対象14に提供される呼吸用空気における酸素含有量を制御することができる。追加的又は代替的に、ユーザインタフェースは、例えばある時間の間呼吸を止め、上記時間の後深く吸い込むよう、呼吸を制御するため、対象14に命令を提供することができる。
本発明は、Sp02変化の空間的な非一様性の分析を使用する。従って、斯かる分析を提供するため、Sp02は、変化されることを必要とする。斯かる変化は、(例えば物理的な運動が原因による)動脈の酸化の正常な(健康な)変動であるかもしれないか、又は、酸素供給を時間的に減らす(呼吸を止める、空気の酸素飽和を減らす)ことにより、人工的に誘導されてもよい。従って、Sp02マップを得るのに、酸素の供給を時間的に減らす任意の方法が使用されることができる。
デバイス12bの第2の実施形態は、上記PPG信号から得られる組織酸素飽和の空間分布を分析する第3の分析ユニット44を更に有する。特に、他の位置より低い組織酸素飽和を持つ位置が検出される。好ましくは、St02の空間分布を測定し、低い飽和を持つ位置を検出することにより、St02マップが得られる。これは癌腫瘍位置に対応する。
追加的又は代替的に、特に色DCレベルを測定するため、上記PPG信号から皮膚色の空間的な均一性を分析する第4の分析ユニット46が提供される。これは例えば黒色腫といった皮膚癌の検出において特に有益である。例えば黒色腫といった皮膚癌の症状は、サイズ、形状、ほくろの色における変化及び/又は例えば母斑といった他の皮膚成長である。黒色腫は、新しいほくろとして現れることができる。しかしながら、しばしば、診断に関するこのアプローチは、特異度を欠いている。本発明のこの実施形態は従って、局所皮膚変色に基づかれる皮膚癌検出の他の方法を用いて、上述したようにSp02及びPPG撮像を、組み合わせることにより、特異度の改良を提供する。
好ましくは、評価ユニット38は、時間にわたり腫瘍の発展を監視するため、時間にわたり上記分析の結果を評価するよう構成される。これは、腫瘍を検出するだけでなく、腫瘍の発展(例えばサイズ及び/又は形の変化)及び癌治療の経過も監視することを可能にする。
第1及び第2の分析ユニット34、36に対する入力情報の取得、即ちPPG信号の取得は、上記の実施形態とは異なってなされることもできる。PPG信号は、前もって得られることもでき、後の分析及び評価のためメモリに格納されることもできる。従って、図4に概略的に表されるように、デバイス12cの第3のより一般的な実施形態は、上述したように第1の分析ユニット34、第2の分析ユニット36及び評価ユニット38だけを有することができる。PPG信号はその後、処理のため分析ユニット34、36に直接提供される。
システム10aの別の実施形態が、図5において概略的に示される。撮像ユニット及び照明ユニットの代わりに、それは,特に赤及び赤外線波長範囲において、対象12の皮膚から反射される電磁放射を表すPPG信号を得るため、対象の体に置かれる1つ又は複数の接触パルスオキシメータセンサ50、52、54を有する。上記パルスオキシメータセンサ50、52、54は好ましくは、反射型モードにおいてSp02情報を得るのに使用される従来のセンサに類似するか、又は同一である。デバイス12は図4に示される第3の実施形態として構成されることができる。なぜなら、センサ50、52、54がPPG信号を直接提供することができるからである。従って、一般に、カメラにより(即ちコンタクトレスの態様において)得られる画像データから得られるPPG信号と共に用いる上記と同じ原理が、パルスオキシメータセンサにより(即ち接触態様において)得られるPPG信号と共に使用されることができる。
一般に、本発明は、任意の内部又は外部の体組織における腫瘍の検出及び/又はモニタリングに関して適用されることができる。図6は、システム10bの更に別の実施形態を示す。本実施形態において、撮像ユニットとしてカメラ62、及びオプションで照明ソース(図示省略)を搬送する内視鏡60が、関心領域で体内から画像データを得るのに使用される。デバイス12は図2又は図3に示されるよう構成されることができる。即ち、内視鏡カメラ62により得られた画像データが、前述したのと実質的に同じ態様で評価される。
従って、提案されたシステム、デバイス及び方法は、上述したパラメータから少なくとも2つのパラメータの空間分布における異常を検出するよう構成される。これは癌腫瘍に関して特異的である。癌治療の効果は、特に健康な組織と比較することで、癌腫瘍の空間的な位置の周りのPPG撮像、Sp02マップ及び/又はSt02マップのパラメータにおける変化を客観的に推定することにより、監視されることができる。PPG撮像、SP02マップ及びオプションのSt02マップ及びDC分布の情報は好ましくは、可視及び見えない色スペクトルにおける少なくとも2つの波長を用いてカメラにより集められる。例えば、本発明は、例えば目立たない遠隔患者のモニタリング及び一般的な監視といった健康管理の分野において適用されることができる。一般に、本発明は、スポットチェック及び連続的なモニタリングを可能にする。更に、本発明は、腫瘍検出に関する周術期ケアにおいて使用されることができる。
本発明が図面及び前述の説明において詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、実行されることができる。
請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「a」又は「an」は複数性を除外するものではない。単一の要素又は他のユニットが、請求項に記載される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。
更に、異なる実施形態は、命令を実行するコンピュータ又は任意のデバイス若しくはシステムにより用いられる又はこれらに関連して用いられるプログラムコードを提供するコンピュータ使用可能媒体又はコンピュータ可読媒体からアクセス可能なコンピュータプログラムの形をとることができる。この開示のため、コンピュータ使用可能媒体又はコンピュータ可読媒体は一般に、命令実行デバイスにより用いられる又はこれに関連して用いられるプログラムを含む、格納する、伝達する、伝播する、又は運搬することができる任意の有形のデバイス又は装置とすることができる。
本開示の実施形態が少なくとも部分的に、ソフトウェア制御されるデータ処理デバイスにより実現されるものとして説明される限り、斯かるソフトウェアを搬送する非一時的機械読み取り可読媒体、例えば光ディスク、磁気ディスク、半導体メモリ等も、本開示の実施形態を説明するために考慮される点を理解されたい。
コンピュータ使用可能媒体又はコンピュータ可読媒体は、以下に限定されるものではないが、例えば、電気、磁気、光学、電磁気、赤外線若しくは半導体システム又は伝搬媒体とすることができる。コンピュータ可読媒体の非限定的な例は、半導体又はソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、リジッド磁気ディスク及び光学ディスクを含む。光学ディスクは例えば、読出し専用コンパクトディスク(CD―ROM)、読出し/書込みコンパクトディスク(CD―R/W)及びDVDを含む。
更に、コンピュータ使用可能媒体又はコンピュータ可読媒体は、コンピュータ可読又は使用可能なプログラムコードを含む又は格納することができる。その結果、このプログラムコードがコンピュータで実行されるとき、このプログラムコードの実行が、別のコンピュータ可読又は使用可能なプログラムコードを通信リンクを介してコンピュータが送信することをもたらす。この通信リンクは、例えば、以下に限定されるものではないが、物理的又はワイヤレスである媒体を使用することができる。
コンピュータ可読又はコンピュータ使用可能なプログラムコードを格納及び/又は実行するのに適したデータ処理システム又はデバイスは、例えばシステムバスといった通信ファブリックを通してメモリ要素に直接又は間接的に結合される1つ又は複数のプロセッサを含む。メモリ要素は、プログラムコードの実際の実行の間使用されるローカルメモリ、バルクストレージ及びキャッシュメモリを含むことができる。キャッシュメモリは、コードの実行の間コードがバルクストレージから取得される回数を減らすため、少なくともいくつかのコンピュータ可読又はコンピュータ使用可能なプログラムコードの一時記憶域を提供する。
入力/出力又はI/Oデバイスは、直接、又は、介在するI/Oコントローラを通り、システムに結合されることができる。これらのデバイスは例えば、以下に限定されるものではないが、キーボード、タッチスクリーンディスプレイ及びポインティングデバイスを含むことができる。異なる通信アダプタが、システムに結合されることもできる。これは、データ処理システムが、介在するプライベート又は公衆ネットワークを通り他のデータ処理システム、遠隔プリンタ又は記憶デバイスに結合されることを可能にする。非限定的な例は、モデム及びネットワークアダプタであり、通信アダプタの現在利用可能なタイプのうちの2、3である。
異なる例示的な実施形態の説明は、図示及び説明のために与えられ、開示される形態の実施形態に徹底する又は限定されることを意図するものではない。多くの修正及び変更が、当業者には明らかである。追加的な異なる例示的な実施形態は、他の例示的な実施形態と比較して、異なる効果を提供することができる。選択される実施形態又は複数の実施形態は、実施形態の原理、実際的な応用を最も好適に説明するために選択及び記載されており、これが、当業者が、想定される特定の使用に適した様々な修正を伴う様々な実施形態に関して、本開示を理解することを可能にする。図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、実行されることができる。

Claims (15)

  1. 腫瘍検出及び/又はモニタリングに関するデバイスであって、
    200nm及び1200nmの間の範囲にある少なくとも2つの異なる波長において対象から反射される電磁放射を表す入力信号を受信するよう構成されるインタフェースと、
    前記入力信号から関心領域からのフォトプレチスモグラフィックPPG信号を抽出するよう構成される信号抽出ユニットと、
    前記関心領域から得られるPPG信号のPPG振幅の空間分布を分析するよう構成される第1の分析ユニットと、
    前記PPG信号から得られる動脈の血中酸素飽和の空間分布を分析するよう構成される第2の分析ユニットと、
    前記2つの分析に基づき、前記関心領域における腫瘍を検出及び/又は監視するよう構成される評価ユニットとを有する、デバイス。
  2. 前記第1の分析ユニットが、他の位置より高いPPG振幅を持つ位置を検出するよう構成される、請求項1に記載のデバイス。
  3. 前記第2の分析ユニットが、時間にわたる動脈の血中酸素飽和の空間分布を分析するよう構成される、請求項1に記載のデバイス。
  4. 前記第2の分析ユニットが、他の位置と異なる前記動脈の血中酸素飽和の変化の力学を示す位置を検出するよう構成される、請求項3に記載のデバイス。
  5. 前記対象に対する酸素供給の変化を誘発するよう構成されるコントローラ及び/又はユーザインタフェースを更に有する、請求項3に記載のデバイス。
  6. 前記PPG信号から得られる組織酸素飽和の空間分布を分析するよう構成される第3の分析ユニットを更に有する、請求項1に記載のデバイス。
  7. 前記第3の分析ユニットが、他の位置より低い組織酸素飽和を持つ位置を検出するよう構成される、請求項6に記載のデバイス。
  8. 皮膚色の空間的な均一性を分析するよう構成される第4の分析ユニットを更に有する、請求項1に記載のデバイス。
  9. 前記評価ユニットが、時間にわたる腫瘍の発展を監視するため、時間にわたる前記分析の結果を評価するよう構成される、請求項1に記載のデバイス。
  10. 腫瘍検出及び/又はモニタリングを行う装置の作動方法において、プロセッサが、
    200nm及び1200nmの間の範囲にある少なくとも2つの異なる波長において対象から反射される電磁放射を表す入力信号ら関心領域からのフォトプレチスモグラフィックPPG信号を抽出するステップと、
    前記関心領域から得られるPPG信号のPPG振幅の空間分布を分析するステップと、
    前記PPG信号から得られる動脈の血中酸素飽和の空間分布を分析するステップと、
    前記2つの分析に基づき、前記関心領域における腫瘍を検出及び/又は監視するステップとを実行する、方法。
  11. 腫瘍検出及び/又はモニタリングに関するシステムであって、
    200nm及び1200nmの間の範囲にある少なくとも2つの異なる波長において対象から反射される電磁放射を検出するよう構成される検出ユニットと、
    腫瘍検出及び/又はモニタリングに関する請求項1に記載のデバイスとを有する、システム。
  12. 前記検出ユニットが、画像情報を含む対象の一セットの画像フレームを得るよう構成される撮像ユニット及び/又は1つ又は複数のパルスオキシメータセンサを有する、請求項11に記載のシステム。
  13. 前記検出ユニットにおいて、又は、この前に偏光子を更に有する、請求項11に記載のシステム。
  14. コンピュータで実行されるとき、前記コンピュータのプロセッサに請求項10に記載の方法のステップを実行させる命令が格納されたコンピュータ可読非一時的媒体。
  15. 腫瘍検出及び/又はモニタリングに関するデバイスであって、
    200nm及び1200nmの間の範囲にある少なくとも2つの異なる波長において対象から反射される電磁放射を表す入力信号を受信するよう構成されるインタフェースと、プロセッサとを有し、前記プロセッサが、
    前記入力信号から関心領域からのフォトプレチスモグラフィックPPG信号を抽出し、
    前記関心領域から得られるPPG信号のPPG振幅の空間分布を分析し、
    前記PPG信号から得られる動脈の血中酸素飽和の空間分布を分析し、
    前記2つの分析に基づき、前記関心領域における腫瘍を検出及び/又は監視する、デバイス。
JP2016559423A 2014-03-31 2015-03-20 腫瘍検出及び/又はモニタリングに関するデバイス、システム、コンピュータ可読非一時的媒体及び方法 Expired - Fee Related JP6584425B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461972502P 2014-03-31 2014-03-31
EP14162629 2014-03-31
US61/972,502 2014-03-31
EP14162629.1 2014-03-31
PCT/EP2015/055861 WO2015150106A1 (en) 2014-03-31 2015-03-20 Device, system and method for tumor detection and/or monitoring

Publications (2)

Publication Number Publication Date
JP2017512576A JP2017512576A (ja) 2017-05-25
JP6584425B2 true JP6584425B2 (ja) 2019-10-02

Family

ID=50433981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016559423A Expired - Fee Related JP6584425B2 (ja) 2014-03-31 2015-03-20 腫瘍検出及び/又はモニタリングに関するデバイス、システム、コンピュータ可読非一時的媒体及び方法

Country Status (5)

Country Link
US (1) US20150272489A1 (ja)
EP (1) EP3125745A1 (ja)
JP (1) JP6584425B2 (ja)
CN (1) CN106170242A (ja)
WO (1) WO2015150106A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
WO2018134298A1 (en) 2017-01-18 2018-07-26 Koninklijke Philips N.V. Detecting erythema caused by wearable devices
CN108403104B (zh) * 2018-03-23 2024-05-24 哈尔滨海鸿基业科技发展有限公司 微循环成像神经电生理检测装置
EP3583888A1 (en) * 2018-06-19 2019-12-25 Koninklijke Philips N.V. Device, system and method for image segmentation of an image of a scene including a subject
EP3666176A1 (en) * 2018-12-14 2020-06-17 Koninklijke Philips N.V. Apparatus for detecting tissue inflammation
CN110420015B (zh) * 2019-07-12 2022-02-11 南方医科大学珠江医院 一种基于脉搏波的肿瘤预测仪

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3799672A (en) * 1972-09-15 1974-03-26 Us Health Education & Welfare Oximeter for monitoring oxygen saturation in blood
US4515165A (en) * 1980-02-04 1985-05-07 Energy Conversion Devices, Inc. Apparatus and method for detecting tumors
DE19741982A1 (de) * 1996-09-23 1998-10-08 Blazek Vladimir Prof Dr Ing Vorrichtung zur ortsaufgelösten, berührungslosen und funktionellen Visualisierung der dermalen Blutperfusion
JP2002502654A (ja) * 1998-02-13 2002-01-29 ノン−インヴェイシヴ テクノロジイ,インク. 組織の腹部横断検査、監視および画像形成
US6937884B1 (en) * 1999-09-14 2005-08-30 The Research Foundation Of State University Of New York Method and system for imaging the dynamics of scattering medium
JP4428786B2 (ja) * 2000-02-01 2010-03-10 株式会社日立メディコ 生体光計測装置
ATE412366T1 (de) * 2000-12-29 2008-11-15 Ares Medical Inc Risikobewertung von schlafapnoe
US6647279B2 (en) * 2002-03-22 2003-11-11 Jonas Alexander Pologe Hybrid optical delivery system for photoplethysmography
EP1492453A4 (en) * 2002-04-06 2009-03-04 Randall L Barbour SYSTEM AND METHOD FOR QUANTIFYING THE DYNAMIC RESPONSE OF A TARGET SYSTEM
US20070225614A1 (en) * 2004-05-26 2007-09-27 Endothelix, Inc. Method and apparatus for determining vascular health conditions
WO2007017266A2 (de) * 2005-08-09 2007-02-15 Flore, Ingo Medizinische messvorrichtung
GB0717365D0 (en) * 2007-09-07 2007-10-17 Univ Loughborough Imaging
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
JP5222934B2 (ja) * 2010-12-21 2013-06-26 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
FI20115053A0 (fi) * 2011-01-19 2011-01-19 Delfin Technologies Oy Menetelmä ja järjestelmä kardiovaskulaaristen sykeaaltojen visualisoimiseksi
TW201310019A (zh) * 2011-08-19 2013-03-01 中原大學 光體積變化訊號之光學成像裝置及其光學量測方法
US9750575B2 (en) * 2012-06-28 2017-09-05 Koninklijke Philips N.V. Evaluation of patency using photo-plethysmography on endoscope images

Also Published As

Publication number Publication date
JP2017512576A (ja) 2017-05-25
WO2015150106A1 (en) 2015-10-08
CN106170242A (zh) 2016-11-30
EP3125745A1 (en) 2017-02-08
US20150272489A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
US9999355B2 (en) Device, system and method for determining vital signs of a subject based on reflected and transmitted light
JP6849684B2 (ja) 対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成するデバイス、システム、及び方法
JP6467417B2 (ja) リモート検出された電磁放射線から生理学的情報を抽出するシステム及び方法
JP6437563B2 (ja) 反射された及び透過された光に基づき対象のバイタルサインを決定するデバイス、システム及び方法
JP6608822B2 (ja) 対象のバイタルサインを決定する装置及び方法
JP6615176B2 (ja) 非干渉的な皮膚組織ハイドレーション測定デバイス及び関連方法
JP6584425B2 (ja) 腫瘍検出及び/又はモニタリングに関するデバイス、システム、コンピュータ可読非一時的媒体及び方法
JP6449271B2 (ja) 対象の酸素化の状態をスクリーニングするシステム
CN107106017B (zh) 用于提取生理信息的设备、系统和方法
JP6525890B2 (ja) 対象者のバイタルサイン情報を決定するためのシステム及び方法
JP2018534968A (ja) 生理情報を抽出するためのデバイス、システム、及び方法
JP2019500932A (ja) 被検体の生命兆候情報を判断するための装置、システム、および方法
CN106163390A (zh) 用于确定对象的生命体征的设备、系统和方法
Freitas Remote camera-based pulse oximetry
JP6899395B2 (ja) 対象のバイタルサインを決定するデバイス、システム及び方法
JP6682605B2 (ja) 反射された及び透過された光に基づき対象のバイタルサインを決定するデバイス及び方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190903

R150 Certificate of patent or registration of utility model

Ref document number: 6584425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees