JP6472086B2 - 対象の呼吸情報を取得する装置 - Google Patents

対象の呼吸情報を取得する装置 Download PDF

Info

Publication number
JP6472086B2
JP6472086B2 JP2015557374A JP2015557374A JP6472086B2 JP 6472086 B2 JP6472086 B2 JP 6472086B2 JP 2015557374 A JP2015557374 A JP 2015557374A JP 2015557374 A JP2015557374 A JP 2015557374A JP 6472086 B2 JP6472086 B2 JP 6472086B2
Authority
JP
Japan
Prior art keywords
motion
signals
signal
source
source signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015557374A
Other languages
English (en)
Other versions
JP2016506840A5 (ja
JP2016506840A (ja
Inventor
ハーン ヘラルト デ
ハーン ヘラルト デ
ツァイフオン シャン
ツァイフオン シャン
ジーンチイ ホウ
ジーンチイ ホウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016506840A publication Critical patent/JP2016506840A/ja
Publication of JP2016506840A5 publication Critical patent/JP2016506840A5/ja
Application granted granted Critical
Publication of JP6472086B2 publication Critical patent/JP6472086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/03Intensive care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30076Plethysmography
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、対象の呼吸情報を取得する装置、方法及びシステムに関する。
人のバイタルサイン、例えば心拍及び呼吸速度のような呼吸情報は、深刻な医療事象の強力な予測因子として機能することができる。この理由で、呼吸速度は、しばしば、集中治療室においてオンラインで又は病院の一般病棟において毎日の抜き取り検査においてモニタされる。呼吸速度は、最も重要なバイタルサインの1つであるが、未だに身体接触なしで測定するのは難しい。現在の集中治療室において、胸部インピーダンス・プレチスモグラフィ又は呼吸誘導プレチスモグラフィは、未だに最適な方法であり、典型的には、2つの呼吸バンドが、人の胸部及び腹部呼吸運動を区別するために使用される。しかしながら、これらの方法は、観測される患者にとって気持ち悪く、不快である。
近年、カメラベースの呼吸信号モニタリングが、開発されている。この技術を用いて、人間の呼吸は、ビデオカメラを用いて遠隔から目立たないようにモニタされることができ、これは、従来のオンボディセンサ(例えばECG又は伸縮バンド)ベースの解決法に対して利点を持つ。非接触測定は、周期的な呼吸運動を測定するように対象の胸部(又は腹部)のビデオを分析することにより実現される。
WO2012/140531A1は、人の呼吸運動を検出する呼吸運動検出装置を開示している。この検出装置は、人により発せられる及び/又は反射される電磁放射線を検出し、この電磁放射線は、人の呼吸速度に関する連続的な又は離散的な特徴的運動信号及び前記人の移動又は環境条件に関する他の運動アーチファクトを有する。この装置は、異なる信号を区別するように所定の周波数帯域、共通の所定の方向又は予測される振幅帯域及び/又は振幅プロファイルを考慮に入れることにより全体的な外乱から呼吸速度信号を分離するように構成されるデータ処理手段を考慮に入れることにより呼吸速度測定の信頼性を増加させる。
このような非侵襲的呼吸速度測定は、静止ビデオカメラの使用により光学的に達成されることができる。ビデオカメラは、画像のストリームにおいて患者の胸部の呼吸移動を捉える。前記呼吸移動は、特定の画像フィーチャの時間的変調を生じ、前記変調の周波数は、モニタされる患者の呼吸速度に対応する。このような画像フィーチャの例は、前記患者の胸部の周りに配置された空間的関心領域における平均振幅、又は後続の画像における前記関心領域の空間的相互相関の最大の場所である。取得されたバイタルサイン情報の品質及び信頼性は、画像コントラストの適切な選択及び選択された関心領域により影響を受ける入力画像データの品質により大きく影響を受ける。
これは、胸部/腹部領域における微細な呼吸運動を検出することに基づくので、カメラベースの呼吸モニタリングは、対象の非呼吸運動に敏感であり、胸部/腹部領域において観測されたいかなる非呼吸運動も、測定誤差を導入することができる。
本発明の目的は、特に対象の非呼吸運動に対して、より高い精度及びロバスト性を持つ前記対象の呼吸情報を取得する装置、方法及びシステムを提供することである。
本発明の第1の態様において、対象の呼吸情報を取得する装置が提示され、前記装置は、
‐対象の複数Nの画像フレームに対して少なくとも関心領域の複数の画素及び/又は画素のグループに対して複数Mの運動信号を計算する運動信号計算ユニットと、
‐一部又は全ての運動信号に対して、前記画像フレーム内の独立した運動を表すソース信号を得るようにそれぞれの前記運動信号に変換を適用することにより前記画像内の独立した運動を表す複数のソース信号を計算する変換ユニットと、
‐前記計算されたソース信号の一部又は全てに対して前記ソース信号の1以上の特性を検査することにより前記計算されたソース信号の中から前記対象の呼吸を表すソース信号を選択する選択ユニットと、
を有する。
本発明の他の態様において、対象の呼吸情報を取得する対応する方法及びシステムが提示され、前記システムは、対象の複数Nの画像フレームを取得する撮像ユニットと、前記対象の前記取得されたNの画像フレームの使用により前記対象の呼吸情報を取得するここに開示された装置を有する。
本発明の更に他の態様において、コンピュータ上で実行される場合に前記処理方法のステップをコンピュータに実行させるプログラムコード手段を有するコンピュータプログラム、及びプロセッサにより実行される場合に、ここに開示された方法を実行させるコンピュータプログラムを記憶する持続性コンピュータ可読記録媒体が提供される。
本発明の好適な実施例は、従属請求項に規定される。請求される方法、システム、コンピュータプログラム及び媒体が、請求された装置と同様及び/又は同一の、及び従属請求項に規定される好適な実施例を持つと理解されるべきである。
本発明は、複数の処理ステップにより、複数の画像(例えばビデオストリーム又はカメラにより取得された画像シーケンス)から、呼吸情報、特に呼吸速度を決定するアイデアに基づく。第一に、例えば運動ベクトル場の形式の、運動信号は、少なくとも関心領域(例えば対象の胸部又は腹部領域)内で、前記画像の一部又は全てに対して画素単位で又はブロック単位で計算される。前記運動信号に対して、変換、例えばブラインド信号分離(ブラインドソース分離とも称される)が、前記画像内の独立した運動を表す分離されたソース信号のセットを取得するように適用される。最後に、前記分離されたソース信号から、呼吸を表すソース信号が、例えば前記分離されたソース信号の周波数情報及び/又は元の運動信号に対する前記分離されたソース信号の相関に基づいて、前記ソース信号の1以上の特性を検査することにより選択される。このようにして、非呼吸関連運動が除外されることができ、より信頼できる正確な呼吸情報が、例えば、しばしば非呼吸関連運動を示す新生児を目立たずにモニタする場合に、取得されることができる。
好適な実施例において、前記変換ユニットは、前記Mの運動信号のうちPの運動信号に対して、前記Nの画像フレーム内の独立した運動を表すQのソース信号を得るようにPの運動信号に対して変換を適用することにより、前記画像内の独立した運動を表す複数Qのソース信号を計算するように構成され、ここで2≦P≦Mかつ2≦Q≦Pである。したがって、一般に、Pの運動信号より少ない(Qの)ソース信号が計算されることが可能である。特に変換として主成分分析を用いて、一度分散が呼吸であるには小さすぎると推定されるレベルより下に落ちると他の成分に対する検索を停止することは、有利でありうる。
好適な実施例によると、前記選択ユニットは、前記Qのソース信号の一部又は全てに対して、固有値、分散、周波数、及び/又は前記ソース信号及び対応する運動信号の相関及び/又は空間的相関を検査するように構成される。したがって、呼吸運動を表す正しいソース信号を選択する1以上のオプションが存在する。
一実施例において、前記変換ユニットは、前記それぞれの運動信号に対してブラインド信号分離を適用するように構成される。このようなブラインド信号分離は、観測された混合運動信号を異なる分離されたソース信号に分離する有用なアルゴリズムである。
好ましくは、前記変換ユニットは、長さNのソース信号及び対応する固有値又は分散を取得するように前記それぞれの運動信号に対して主成分分析(PCA)及び/又は独立成分分析(ICA)を適用することにより前記複数のソース信号を計算するように構成される。これらの固有値は、前記対応するソース信号、すなわち主成分の方向における元の運動信号データの分散を測定する。これらの分析は、所望の変換を実施する有用なツールである。
PCA及びICAを用いて、前記ソース信号は、Pの運動信号の線形結合である。一実施例において、前記選択は、前記結合の重み係数に基づく(例えば、最も強い重みが、胸部/腹部領域でありそうだと信じられる領域に与えられる)。これらの重み係数が、本発明との関連で「前記ソース信号のパラメータ」であると理解されるべきである。
更に、前記変換ユニットは、前記ソース信号の方向における前記データの対応する分散を持つ長さNの前記複数のソース信号を取得するように構成される。一般に、独立した信号の方向における元のデータの分散が、望ましい。ICAの場合、係数ベクトルの方向における前記データの分散が、好ましくは使用され、前記係数ベクトルから、独立成分が構築される。PCAの場合、主成分の方向における前記データの対応する分散を持つ長さNの前記複数のソース信号が、取得される。
上で説明されたように、呼吸信号を表すソース信号を選択する様々なオプションが存在する。しばしば、これら様々なオプションの組み合わせが、信頼できる選択を得るように使用される。
一実施例によると、前記選択ユニットは、固有値又は分散の使用により、及び前記固有値に対する最小閾値より大きく最大閾値より小さい固有値又は分散を持つソース信号を選択することにより前記複数のソース信号の中からソース信号を選択するように構成される。これらの閾値は、前記画像フレーム内の予測される呼吸運動の合理的な分散を確認することにより経験的に決定されることができる。これらは、呼吸している対象に対して適したフレーム間変位範囲を決定する。これは、一般に、光学及びカメラから対象までの距離に依存するが、前記範囲が限定的すぎないように選択される場合に固定されてもよい。
他の実施例によると、前記選択ユニットは、前記ソース信号の優位周波数(dominant frequency)の使用により前記複数のソース信号の中からソース信号を選択するように構成され、予測された呼吸速度を含む所定の周波数範囲内の優位周波数成分を持つソース信号が、選択される。更に他の実施例によると、前記選択ユニットは、前記運動信号に対する前記ソース信号の相関の使用により前記複数のソース信号の中からソース信号を選択し、前記対象の胸部又は腹部領域内の運動との最高相関を持つソース信号を選択するように構成される。最後に、一実施例によると、前記選択ユニットは、空間的相関の使用により前記複数のソース信号の中からソース信号を選択し、前記画像フレーム内の最大の空間的に一貫した領域を持つソース信号を選択するように構成される。
また、運動信号計算に対して、様々なオプションが存在する。一実施例において、前記運動信号計算ユニットは、前記複数Mの運動信号を有する密(dense)又は疎(sparse)な運動ベクトル場を計算するように構成される。他の実施例において、前記運動信号計算ユニットは、特に計算コストを節約するために、運動信号のダウンサンプリング、グルーピング、平均化又は非線形結合により前記運動ベクトル場を処理するように構成される。
本発明のこれら及び他の態様は、以下に記載される実施例を参照して説明され、明らかになる。
時間に対する赤ん坊の運動を描く図を示す。 基準信号と比較した既知の方法により取得された呼吸信号の図を示す。 本発明による装置及びシステムの図を示す。 運動ベクトル場の図を示す。 複数のソース信号を示す図を示す。 図5に示されるソース信号のパワースペクトルの図を示す。 基準信号と比較した提案された方法により取得された呼吸信号の図を示す。
上述のように、呼吸情報の検出は、呼吸により引き起こされる運動を示す対象(一般に人であるが、動物であってもよい)の身体部分の、特に胸部及び/又は腹部領域の微細な呼吸運動を検出することに基づく。最良の場所は、典型的には、(信頼できる運動推定に対する)エッジ情報を含み、呼吸により移動し、典型的には、これらが胸部又は腹部領域に接続されることを意味する(しかしながら、これは、新生児を覆うブランケット、又は肩、又は大人のセーター上の明確な細部であることができる)。あまり適していない領域は、前記呼吸速度とは独立して移動する傾向にある手足、又は胸部又は腹部領域と機械的に接触しない寝具の部分である。
このような目立たない画像ベースの呼吸モニタリングは、対象の非呼吸運動、すなわち、それぞれの身体部分(例えば胸部及び/又は腹部領域)において観測されたいかなる非呼吸運動も、潜在的に測定誤差を導入する。
1つの主な使用シナリオは、新生児ICU(NICU、新生児集中治療室)における新生児の非接触呼吸モニタリングである。時間に対する(すなわちフレーム番号Fに対する)赤ん坊の運動(すなわち移動した画素の割合)を描く信号図、図1に示されるように、赤ん坊は、しばしば、起きている場合の身体移動を持つ。新生児の非呼吸移動は、呼吸信号測定を雑音まみれ又は不正確にする。
図2は、新生児の身体が移動する場合の現在の呼吸モニタリングの一例の信号図を示す。特に、既知の方法によって画像から取得された測定された呼吸信号R1及び従来の呼吸速度検出器(例えばリストバンド型センサ)又は他の適切な測定機器(本例においてECGセンサ)により取得された基準呼吸信号R2の強度Iが、時間にわたり(すなわちフレーム番号Fにわたり)比較される。見られるように、測定された呼吸信号R1は、正確ではない。
画像ベース(又はカメラベース)の呼吸モニタリングは、特に胸部/腹部領域における呼吸運動の検出に基づく。実際に、呼吸の他に、前記対象が持つ他の非呼吸運動(例えば身体移動)及び雑音も、胸部/腹部領域の運動を引き起こす。したがって、前記観測された運動信号は、実際には、呼吸運動、非呼吸運動及び例えば推定誤差による雑音の混合物である。これらのソースが無相関であると推定される。本発明によると、(異なる運動及び雑音からの異なる寄与を示す)観測された混合運動信号を異なるソースに分離するように変換(例えばPCA(主成分分析)又はICA(独立成分分析)のような、ブラインド信号(ソース)分離)を適用し、呼吸を表すソース信号を選択することが提案される。
図3は、本発明による対象12の呼吸情報を取得する装置10の第1の典型的な実施例を示す。対象12は、ベッド4に横たわり、対象12の頭部は、枕16上に配置され、対象12は、ブランケット18で覆われる。装置10は、呼吸により引き起こされる運動を示す対象12の身体部分24、特に胸部又は腹部領域から検出された画像データ22のセット(すなわち画像シーケンス又は複数の画像フレームを有するビデオデータ)を取得する撮像ユニット20(例えばビデオカメラ)を有する。装置10は、撮像ユニット20と一緒に、本発明によって提案されるシステム1を形成する。
一般に、装置10は、対象の複数Nの画像フレームに対して少なくとも関心領域の複数の画素及び/又は画素のグループに対する複数Mの運動信号を計算する運動信号計算ユニット30を有する。更に、一部又は全ての運動信号に対して、前記画像フレーム内の独立した運動を表すソース信号を取得するように前記運動信号に変換を適用することにより前記画像内の独立した運動を表す複数のソース信号を計算する変換ユニット32が、提供される。最後に、前記計算されたソース信号の一部又は全てに対して前記ソース信号の1以上の特性を検査することにより前記対象の呼吸を表すソース信号を前記計算されたソース信号の中から選択する選択ユニット34が、提供される。
運動信号計算ユニット30、変換ユニット32及び選択ユニット34は、別個の要素(例えばプロセッサ又はソフトウェア機能)により実施されることができるが、共通の処理装置又はコンピュータにより表され、実施されることもできる。様々なユニットの実施例が、以下に、より詳細に説明される。
撮像ユニット20(例えばRGBカメラ、赤外線カメラ等)により取得された入力画像(例えばビデオストリーム又は画像シーケンス)に対して、運動ベクトル場が、第一に、運動信号計算ユニット30の一実施例において計算される。運動推定に対する多くのオプションは、疎及び密の両方とも、可能であり、有用である。例えば、Gautama, T. and Van Hulle, M.M., A Phase-based Approach to the Estimation of the Optical Flow Field Using Spatial Filtering, IEEE Trans. Neural Networks, Vol. 13(5), 2002, pp. 1127-1136に記載されるオプティカルフローアルゴリズムは、例えば図4に示されるように密な運動ベクトル場を取得するように適用されることができる。代わりに、G. de Haan, P.W.A.C Biezen, H. Huijgen, and O.A. Ojo, True Motion Estimation with 3-D Recursive Search Block-Matching, IEEE Trans. Circuits and Systems for Video Technology, Vol. 3, 1993, pp. 368-388に記載されるブロックマッチング運動推定アルゴリズム、又はセグメントベースの運動推定が、画素のブロック/グループ/セグメントごとに運動ベクトルを取得するように適用されることができる。最後に、Lucas-Kanade(KLT)フィーチャトラッカ(又は同様のアルゴリズム)は、局所的なフィーチャ点の対応を見つけ、疎な運動ベクトル場を生成するように構成及び使用されることができる。例えばHarris検出器で検出された、いわゆるフィーチャ点に対してのみ運動を計算することも、可能かつ効率的であり、これは、他のアルゴリズムに入力されることができる(全ての場所に対しては利用可能でない)疎なベクトル場を生じる。
画像フレーム全体に対して運動ベクトルを計算する代わりに、関心領域(ROI)は、運動ベクトル計算に対して手動で又は自動的に選択されることができる。更に、計算コストを減少させるために、密な又はブロックベースの計算された運動ベクトル場は、他の処理の前にダウンサンプリングされることもできる。また、セグメントベースの又は疎なベクトル場は、後の処理に提供される運動ベクトルの数を(更に)減少させるように前処理されることができる。この前処理は、ダウンサンプリング又はグルーピングを含んでもよく、メジアンフィルタ、トリム平均フィルタ等を使用する運動ベクトルの非線形結合を含んでもよい。
前記計算された運動ベクトルを前提として、前記ROIにおける複数の又は各局所領域に対する運動信号が、前記領域内の運動ベクトルに基づいて、計算される。前記局所領域は、(例えば前述のダウンサンプリング後の)画素又は複数の画素(例えば3×3の画素)であることができる。前記運動信号は、前記領域内の運動ベクトルの中央値又は平均であることができる。Nフレーム(例えばN=50)にわたる各位置における前記運動信号は、長さNの1つのデータサンプルである。前記ROI内にMの点(又は領域)が存在すると仮定すると、M×Nのデータ行列が、他の処理に対して取得される。
変換ユニット32の一実施例において、一般に当技術分野において既知である(例えば、Cardoso, J.-F., Blind signal separation: statistical principles, Proceedings of the IEEE, 86(10), Oct 1998, pp. 2009 - 2025に記載される)ブラインド信号分離(例えば、PCA)又はこれら(例えばPCA及びICA)の組み合わせは、前記運動信号のデータ行列に適用され、結果として分離されたソース信号のセットを生じる。
一実施例において、PCAが採用される。運動信号計算ユニット30の上で説明された実施例から取得される前記PCAに対する入力データ(M×N)は、前記画像フレームのシーケンスにおいてNフレームにわたるMの領域の運動を表す。これらMの領域の各々は、長さNを持つ運動信号を与える。前記M×Nのデータ行列にPCAを適用することにより、複数の(長さMの)固有ベクトルが、対応する固有値とともに得られる。固有ベクトルは、重み付けされた平均運動信号(すなわち主成分とも称されるソース信号)を提供するようにこれらMの信号の各々に与えられる重みを含む。個別の固有ベクトルに対応する信号は、直交し、すなわちこれらの共分散はゼロに等しい。換言すると、これらは、ビデオにおける独立した運動を表す。これらの1つは、呼吸運動であると予測され、前記画像フレームのシーケンスにおいて運動成分を取り出す中で見つけられるべきである。他方で、前記固有値は、対応するソース信号(主成分)の方向において元のデータの分散を表す。
一般に、Mの運動信号に対して、前記画像内の独立した運動を表す複数Qのソース信号(ここで2≦P≦Mかつ2≦Q≦P)は、前記変換ユニット32において計算される。固有ベクトルの最大数は、領域の数Mに等しい。実際の状況において、しかしながら、最高の固有値を持つ小さい数Q(例えば10又は20の固有ベクトル)のみが、使用されてもよい。一実施例において、(予測される呼吸運動に対して)合理的な範囲内の固有値を持つ前記固有ベクトルの選択が、使用される。例えば、一実施例において、数百の領域(例えばM=200)が、前記ROIにおいて考慮されてもよい。領域の最小数は、低すぎるべきではない(例えば3より低くない)。
選択ユニット34の一実施例において、(フレーム番号Fにわたり4つのソース信号の強度Iを描く図5に典型的に示されるように)分離されたソース信号のセットを与えられ、呼吸を表す(すなわち、呼吸運動に対して最大のSNRを提供する)ソース信号が、選択される。前記固有値を検査することにより、(大きな身体運動又は雑音を表す)大きすぎる又は小さすぎる固有値を持つ主成分は、放棄される。図5は、一例のビデオセグメントに対して取得された残りの主成分を示す。
特に、図5に示される4つの信号は、前記Mの領域からの前記運動信号を前記固有ベクトルに乗算することにより取得される結果として生じる独立運動信号である。これらは、前記ROI内の前記Mの領域からの前記運動信号の異なる線形結合である。
他の(代わりの又は追加の)選択は、前記分離されたソース信号の周波数情報及び/又は元の運動信号に対する前記分離されたソース信号の相関を、以下に説明されるように、使用してもよい。
前記呼吸運動は、例えば、新生児に対して、特定の周波数を持ち、これは、[0.5、1.5]Hz(すなわち、[30、90]bpmであることができる。したがって、呼吸を表すソース信号は、この周波数範囲において明らかなピークを持つものである。図6は、図5に示される各信号ソースのパワースペクトル(周波数fに対するパワーp)をプロットする。明らかに、フレーム番号Fにわたり基準信号R2と比較される選択されたソース信号R3の強度を示す図7に示されるように、呼吸を非常に良好に表す最初のものが、選択されることができる。
選択ユニット34の他の実施例によると、前記入力フレームにおける前記元の運動信号と一部の又は各ソース信号の相関が、決定され、検査される。前記呼吸運動は、胸部/腹部領域において高い相関を持つはずである。実際に、前記胸部/腹部領域は、既知でありうる(例えば、画像認識の使用により自動的に検出される又は手動で決定される)。前記胸部/腹部領域における一部の又は各ソース信号の相関を比較することにより、前記呼吸を表すソース信号が、選択されることができる。
選択ユニット34の他の実施例によると、空間的相関が分析され、大きな一貫したセグメントが探される。ここでの仮定は、呼吸運動が、前記画像内の空間的に一貫した領域において見つけられ、その位置がおおよそ既知であるが、他の独立成分が、より散らばった領域、又は呼吸が存在しそうにない領域において生じてもよいことである。
要約すると、(赤ん坊が非呼吸運動を持つ場合に)少数のビデオセグメントに対して(例えば図7に示されるような)提案された装置及び方法の結果を(図2に示されるような)既知のアルゴリズムの結果と比較すると、前記提案された装置及び方法が、より正確かつロバストな呼吸信号測定を提供することは、明らかである。
本発明は、モノクロ又はカラーカメラ及び可視又は赤外照射を使用する、カメラベースの呼吸測定に対して使用されることができ、(新生児モニタリングを含む)患者モニタリング、家庭ヘルスケア、睡眠モニタリング、スポーツ(エクササイズ中の人のモニタリング)等を含む多くの応用に関連する。
本発明は、図面及び先行する記載において詳細に図示及び記載されているが、このような図示及び記載は、説明的又は典型的であり、限定的ではないと見なされるべきであり、本発明は、開示された実施例に限定されない。開示された実施例に対する他の変形例は、図面、開示及び添付の請求項の検討から、請求された発明を実施する当業者により理解及び達成されることができる。
請求項において、単語「有する」は、他の要素又はステップを除外せず、不定冠詞「1つの」は複数を除外しない。単一の要素又は他のユニットが、請求項に記載された複数のアイテムの機能を満たしてもよい。特定の方策が相互に異なる従属請求項に記載されているという単なる事実は、これらの方策が有利に使用されることができないことを示さない。
コンピュータプログラムは、他のハードウェアと一緒に又は一部として供給される光学記憶媒体又は半導体媒体のような適切な持続性媒体に記憶/分配されてもよいが、インターネット又は他の有線若しくは無線電気通信システムを介するような、他の形で分配されてもよい。
請求項におけるいかなる参照符号も、範囲を限定するように解釈されるべきではない。

Claims (14)

  1. 対象の呼吸情報を取得する装置において、
    対象の複数Nの画像フレームにわたる各画像フレームの少なくとも関心領域内の複数Mの点及び/又は領域の運動をそれぞれ表す複数Mの運動信号を計算する運動信号計算ユニットと、
    一部又は全てのMの運動信号に対して、前記Nの画像フレーム内の独立した運動を表すソース信号を取得するようにそれぞれの前記運動信号に対して変換を適用することにより前記画像内の独立した運動を表す複数のソース信号を計算する変換ユニットと、
    前記計算されたソース信号の一部又は全てに対して前記ソース信号の1以上の特性を検査することにより前記対象の呼吸を表すソース信号を前記計算されたソース信号の中から選択する選択ユニットと、
    を有し、
    前記運動信号計算ユニットが、少なくとも前記関心領域内の複数の点及び/又は領域に対する複数の運動ベクトルを有する密な又は疎な運動ベクトル場を計算し、前記運動ベクトル場に基づいて、前記Mの運動信号を計算する、
    装置。
  2. 前記変換ユニットが、前記Mの運動信号のうちPの運動信号に対して、前記Nの画像フレーム内で独立した運動を表すQのソース信号を取得するように前記Pの運動信号それぞれに対して変換を適用することにより、前記画像内で独立した運動を表す複数Qのソース信号を計算し、ここで2≦P≦Mかつ2≦Q≦Pである、
    請求項1に記載の装置。
  3. 前記選択ユニットが、前記Qのソース信号の一部又は全てに対して、固有値、分散、周波数、ソース信号の対応する運動信号に対する相関及び空間的相関の少なくとも1つを検査する、
    請求項2に記載の装置。
  4. 前記変換ユニットが、前記Pの運動信号それぞれに対するブラインド信号分離を適用する、
    請求項2に記載の装置。
  5. 前記変換ユニットが、長さNのソース信号及び対応する固有値又は分散を取得するように前記運動信号のそれぞれに対して主成分分析及び/又は独立成分分析を適用することにより前記複数のソース信号を計算する、
    請求項1に記載の装置。
  6. 前記固有値が、対応するソース信号の方向における元のデータの分散を表す、
    請求項5に記載の装置。
  7. 前記選択ユニットが、前記固有値又は分散の使用により前記複数のソース信号の中からソース信号を選択し、前記固有値又は分散に対する最小閾値より大きく、最大閾値より小さい固有値又は分散を持つソース信号を選択する、
    請求項3に記載の装置。
  8. 前記選択ユニットが、前記ソース信号の優位周波数の使用により前記複数のソース信号の中からソース信号を選択し、予測される呼吸速度を含む所定の周波数範囲内の優位周波数成分を持つソース信号が、選択される、
    請求項1に記載の装置。
  9. 前記選択ユニットが、前記ソース信号及び前記運動信号の相関の使用により前記複数のソース信号の中からソース信号を選択し、前記対象の胸部又は腹部領域において運動に対する最高の相関を持つソース信号を選択する、
    請求項1に記載の装置。
  10. 前記選択ユニットが、空間的相関の使用により前記複数のソース信号の中からソース信号を選択し、前記Nの画像フレーム内で最大の空間的に一貫した領域からのソース信号を選択する、
    請求項1に記載の装置。
  11. 前記運動信号計算ユニットが、運動信号のダウンサンプリング、グルーピング、平均化又は非線形結合により前記運動ベクトル場を処理する、
    請求項に記載の装置。
  12. 対象の呼吸情報を取得するシステムにおいて、
    対象の複数Nの画像フレームを取得する撮像ユニットと、
    前記対象の前記取得されたNの画像フレームの使用により前記対象の呼吸情報を取得する請求項1乃至11のいずれか一項に記載の装置と、
    を有する、システム。
  13. 対象の呼吸情報を取得する方法において、
    対象の複数Nの画像フレームにわたる各画像フレームの少なくとも関心領域内の複数Mの点及び/又は領域の運動をそれぞれ表す複数Mの運動信号を計算するステップと、
    一部又は全てのMの運動信号に対して、前記Nの画像フレーム内で独立した運動を表すソース信号を取得するように前記運動信号のそれぞれに対して変換を適用することにより前記画像内で独立した運動を表す複数のソース信号を計算するステップと、
    前記計算されたソース信号の一部又は全てに対して前記ソース信号の1以上の特性を検査することにより前記計算されたソース信号の中から前記対象の呼吸を表すソース信号を選択するステップと、
    を有し、
    前記複数Mの運動信号を計算するステップが、少なくとも前記関心領域内の複数の点及び/又は領域に対する複数の運動ベクトルを有する密な又は疎な運動ベクトル場を計算し、前記運動ベクトル場に基づいて、前記Mの運動信号を計算する、
    方法。
  14. コンピュータ上で実行される場合に、前記コンピュータに、請求項13に記載の方法のステップを実行させるプログラムコード手段を有するコンピュータプログラム。
JP2015557374A 2013-02-15 2014-02-05 対象の呼吸情報を取得する装置 Active JP6472086B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361765085P 2013-02-15 2013-02-15
EP13155438.8 2013-02-15
US61/765,085 2013-02-15
EP20130155438 EP2767233A1 (en) 2013-02-15 2013-02-15 Device for obtaining respiratory information of a subject
PCT/EP2014/052253 WO2014124855A1 (en) 2013-02-15 2014-02-05 Device for obtaining respiratory information of a subject

Publications (3)

Publication Number Publication Date
JP2016506840A JP2016506840A (ja) 2016-03-07
JP2016506840A5 JP2016506840A5 (ja) 2017-03-02
JP6472086B2 true JP6472086B2 (ja) 2019-02-20

Family

ID=47720412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015557374A Active JP6472086B2 (ja) 2013-02-15 2014-02-05 対象の呼吸情報を取得する装置

Country Status (7)

Country Link
US (1) US20140236036A1 (ja)
EP (2) EP2767233A1 (ja)
JP (1) JP6472086B2 (ja)
CN (1) CN105072997A (ja)
BR (1) BR112015019312A2 (ja)
RU (1) RU2663175C2 (ja)
WO (1) WO2014124855A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10134307B2 (en) 2013-12-12 2018-11-20 Koninklijke Philips N.V. Software application for a portable device for CPR guidance using augmented reality
US9852507B2 (en) 2014-11-10 2017-12-26 Utah State University Remote heart rate estimation
EP3799782B1 (en) * 2014-12-02 2023-04-19 Brainlab AG Human body measurement using thermographic images
US10062411B2 (en) 2014-12-11 2018-08-28 Jeffrey R. Hay Apparatus and method for visualizing periodic motions in mechanical components
US10459615B2 (en) 2014-12-11 2019-10-29 Rdi Technologies, Inc. Apparatus and method for analyzing periodic motions in machinery
CN107106049A (zh) * 2014-12-15 2017-08-29 皇家飞利浦有限公司 通过包括集成带式传感器的设备中的多参数算法的呼吸率监测
US9697599B2 (en) * 2015-06-17 2017-07-04 Xerox Corporation Determining a respiratory pattern from a video of a subject
US10292369B1 (en) * 2015-06-30 2019-05-21 Vium, Inc. Non-contact detection of physiological characteristics of experimental animals
KR101660832B1 (ko) * 2015-12-29 2016-10-10 경북대학교 산학협력단 호흡 운동 측정 장치 및 방법
GB201601142D0 (en) * 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating breathing rate
GB201601140D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating heart rate
US10019883B2 (en) 2016-01-21 2018-07-10 Htc Corporation Method for monitoring breathing activity, electronic device, and computer-readable storage medium using the same
GB201601143D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for health and safety monitoring of a subject in a room
GB201601217D0 (en) 2016-01-22 2016-03-09 Oxehealth Ltd Signal processing method and apparatus
CN105869144B (zh) * 2016-03-21 2018-10-19 常州大学 一种基于深度图像数据的非接触式呼吸监测方法
WO2017190085A1 (en) * 2016-04-29 2017-11-02 Fitbit, Inc. Sleep monitoring system with optional alarm functionality
GB201615899D0 (en) 2016-09-19 2016-11-02 Oxehealth Ltd Method and apparatus for image processing
WO2018087528A1 (en) * 2016-11-08 2018-05-17 Oxehealth Limited Method and apparatus for image processing
US10463294B2 (en) 2016-12-29 2019-11-05 Hill-Rom Services, Inc. Video monitoring to detect sleep apnea
US10111615B2 (en) 2017-03-11 2018-10-30 Fitbit, Inc. Sleep scoring based on physiological information
GB201706449D0 (en) 2017-04-24 2017-06-07 Oxehealth Ltd Improvements in or realting to in vehicle monitoring
GB201803508D0 (en) 2018-03-05 2018-04-18 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
US11423551B1 (en) 2018-10-17 2022-08-23 Rdi Technologies, Inc. Enhanced presentation methods for visualizing motion of physical structures and machinery
WO2020097603A2 (en) * 2018-11-09 2020-05-14 Georgia Tech Research Corporation Microfluidic antibody microarray with an electronic sensor array
GB201900032D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900034D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900033D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Mrthod and apparatus for monitoring of a human or animal subject
WO2021004620A1 (en) * 2019-07-08 2021-01-14 Brainlab Ag Computation of a breathing curve for medical applications
US11373317B1 (en) 2020-01-24 2022-06-28 Rdi Technologies, Inc. Measuring the speed of rotation or reciprocation of a mechanical component using one or more cameras
US11282213B1 (en) 2020-06-24 2022-03-22 Rdi Technologies, Inc. Enhanced analysis techniques using composite frequency spectrum data
US11322182B1 (en) 2020-09-28 2022-05-03 Rdi Technologies, Inc. Enhanced visualization techniques using reconstructed time waveforms
WO2022070802A1 (ja) * 2020-09-30 2022-04-07 住友理工株式会社 生体情報計測装置
WO2022093244A1 (en) * 2020-10-29 2022-05-05 Hewlett-Packard Development Company, L.P. Neural networks to determine respiration rates
WO2022227044A1 (zh) * 2021-04-30 2022-11-03 深圳市爱贝宝移动互联科技有限公司 基于摄像头的自适应多尺度呼吸监测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3275029B2 (ja) * 1999-08-02 2002-04-15 独立行政法人産業技術総合研究所 画像処理による呼吸波形分析を用いた血中酸素飽和度降下推定法
US6942621B2 (en) * 2002-07-11 2005-09-13 Ge Medical Systems Information Technologies, Inc. Method and apparatus for detecting weak physiological signals
US7706866B2 (en) * 2004-06-24 2010-04-27 Cardiac Pacemakers, Inc. Automatic orientation determination for ECG measurements using multiple electrodes
GB2441550A (en) * 2006-09-05 2008-03-12 Vision Rt Ltd Surface-imaging breathing monitor
WO2009148041A1 (ja) * 2008-06-03 2009-12-10 株式会社 日立メディコ 医用画像処理装置及び医用画像処理方法
JP5295391B2 (ja) * 2009-02-12 2013-09-18 ヴィジョン アールティー リミテッド 患者モニタおよび方法
CN102549621B (zh) * 2009-10-06 2016-08-31 皇家飞利浦电子股份有限公司 用于处理至少包含代表生物中的周期现象的分量的信号的方法和系统
WO2011088227A1 (en) * 2010-01-13 2011-07-21 Regents Of The University Of Minnesota Imaging epilepsy sources from electrophysiological measurements
CN102843966B (zh) * 2010-02-12 2016-01-20 皇家飞利浦电子股份有限公司 用于处理周期性生理信号的方法和装置
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
RU2479253C2 (ru) * 2011-03-25 2013-04-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Юго-Западный государственный университет" (ЮЗГУ) Устройство для измерения тремора пальцев рук
WO2012140531A1 (en) 2011-04-14 2012-10-18 Koninklijke Philips Electronics N.V. Device and method for extracting information from characteristic signals
JP5672144B2 (ja) * 2011-05-20 2015-02-18 富士通株式会社 心拍数・呼吸数検出装置,方法およびプログラム

Also Published As

Publication number Publication date
EP2767233A1 (en) 2014-08-20
EP2956062A1 (en) 2015-12-23
BR112015019312A2 (pt) 2017-07-18
RU2663175C2 (ru) 2018-08-01
WO2014124855A1 (en) 2014-08-21
RU2015139150A (ru) 2017-03-21
CN105072997A (zh) 2015-11-18
US20140236036A1 (en) 2014-08-21
JP2016506840A (ja) 2016-03-07

Similar Documents

Publication Publication Date Title
JP6472086B2 (ja) 対象の呼吸情報を取得する装置
US9928607B2 (en) Device and method for obtaining a vital signal of a subject
Bartula et al. Camera-based system for contactless monitoring of respiration
JP6900390B2 (ja) バイタルサインを検出及び監視する方法、装置、サーバ及びシステム
EP3405105B1 (en) Method and apparatus for estimating heart rate
EP3664704B1 (en) Device, system and method for determining a physiological parameter of a subject
US20200178809A1 (en) Device, system and method for determining a physiological parameter of a subject
JP6559780B2 (ja) 被験者のバイタルサイン情報を検出するデバイス及び方法
US20140275832A1 (en) Device and method for obtaining vital sign information of a subject
JP6466912B2 (ja) 画像データから胸郭及び腹部呼吸信号を決定する装置及び方法
CN109890278B (zh) 用于获得对象的生命信号的设备、系统和方法
Gwak et al. Motion-based respiratory rate estimation with motion artifact removal using video of face and upper body
EP2962282A1 (en) Apparatus and method for detecting subjects on the basis of vital signs
Heinrich et al. Video based actigraphy and breathing monitoring from the bedside table of shared beds
US20160007883A1 (en) Apparatus and method for determining a respiration volume signal from image data
Suriani et al. Non-contact facial based vital sign estimation using convolutional neural network approach
Chatterjee et al. Real-time visual respiration rate estimation with dynamic scene adaptation
Wiede et al. Contact-less Vital Parameter Determination: An e-Health Solution for Elderly Care.
Chatterjee et al. A vision based method for real-time respiration rate estimation using a recursive Fourier analysis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170126

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180619

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190118

R150 Certificate of patent or registration of utility model

Ref document number: 6472086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250