JP7378063B2 - Temperature estimation device and temperature estimation method - Google Patents
Temperature estimation device and temperature estimation method Download PDFInfo
- Publication number
- JP7378063B2 JP7378063B2 JP2019194514A JP2019194514A JP7378063B2 JP 7378063 B2 JP7378063 B2 JP 7378063B2 JP 2019194514 A JP2019194514 A JP 2019194514A JP 2019194514 A JP2019194514 A JP 2019194514A JP 7378063 B2 JP7378063 B2 JP 7378063B2
- Authority
- JP
- Japan
- Prior art keywords
- temperature
- sample
- function
- value
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 28
- 230000006870 function Effects 0.000 claims description 56
- 238000013528 artificial neural network Methods 0.000 claims description 46
- 230000003287 optical effect Effects 0.000 claims description 34
- 238000005259 measurement Methods 0.000 claims description 29
- 238000010438 heat treatment Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000012886 linear function Methods 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims 1
- 230000003902 lesion Effects 0.000 description 35
- 239000013307 optical fiber Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000013532 laser treatment Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000010365 information processing Effects 0.000 description 7
- 230000017531 blood circulation Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004925 denaturation Methods 0.000 description 2
- 230000036425 denaturation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000002647 laser therapy Methods 0.000 description 2
- 238000013103 analytical ultracentrifugation Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Description
特許法第30条第2項適用 (公開1) 発行日 平成30年10月26日 刊行物 日本コンピュータ外科学会誌 第27回日本コンピュータ外科学会大会特集号、 第272頁 一般社団法人日本コンピュータ外科学会 (公開2) 開催日 平成30年11月9日 集会名 第27回日本コンピュータ外科学会大会 開催場所 奈良県文化会館(奈良県奈良市登大路町6-2)Application of
本発明は、温度推定装置及び温度推定方法に関する。 The present invention relates to a temperature estimation device and a temperature estimation method.
体内の病変部の処置法として、内視鏡の鉗子口に挿入した光ファイバーを通じてレーザー光を直接照射することで病変部を処置する内視鏡下レーザー治療が知られている。現在、この内視鏡下レーザー治療時に術者が把握可能な病変部に関する情報は、病変部の2次元画像だけであるが、病変部の温度がリアルタイムに把握できれば、病変部の内視鏡下レーザー治療をより適切に(過加熱や加熱不足が生じない形で)行うことが出来る。 Endoscopic laser therapy is known as a method for treating lesions within the body, in which the lesion is treated by directly irradiating laser light through an optical fiber inserted into the forceps port of an endoscope. Currently, the only information that the surgeon can grasp regarding the lesion during endoscopic laser treatment is a two-dimensional image of the lesion, but if the temperature of the lesion can be grasped in real time, it would be possible to Laser treatment can be performed more appropriately (without overheating or underheating).
そのため、病変部の温度を病変部の光学的特性から推定する技術(非特許文献1参照)の開発が進められている。 Therefore, the development of a technique for estimating the temperature of a lesion from the optical characteristics of the lesion (see Non-Patent Document 1) is underway.
内視鏡下レーザー治療時における病変部の温度と病変部の光学的特性との間には強い相関がある。ただし、内視鏡下レーザー治療時には、加熱により病変部が変性し、その結果として、病変部の光学的特性及び熱的特性が変化してしまう。そのため、病変部の温度を病変部の光学的特性から正確に推定することは困難であった。また、工業分野においても、特定箇所の温度を光学的特性から精度よく推定する技術に対する強い要望があった。 There is a strong correlation between the temperature of the lesion and the optical characteristics of the lesion during endoscopic laser treatment. However, during endoscopic laser treatment, the lesion degenerates due to heating, and as a result, the optical characteristics and thermal characteristics of the lesion change. Therefore, it has been difficult to accurately estimate the temperature of the lesion from the optical characteristics of the lesion. Furthermore, in the industrial field, there has been a strong demand for technology that accurately estimates the temperature of a specific location from optical characteristics.
本発明は、上記問題に鑑みてなされたものであり、昇温により変性し得る試料の昇温中の温度をその光学的特性からリアルタイム且つ正確に推定できる技術を提供することを目的とする。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide a technology that can accurately estimate the temperature of a sample that can be denatured by temperature rise during heating from its optical characteristics in real time.
本発明の一観点に係る温度推定装置は、昇温により変性し得る試料の昇温中に、前記試料の反射率に関する光学的特性値を周期的に測定する測定部と、前記試料の温度を出力するための出力ユニット、及び、前記測定部により時系列的に測定される前記光学特性値が互いに異なる遅延時間で入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記測定部により前記光学的特性値が測定される度に、前記光学的特性値の今回の測定時における前記試料の温度を推定する温度推定部と、を備える。 A temperature estimating device according to one aspect of the present invention includes a measurement unit that periodically measures an optical characteristic value regarding reflectance of the sample during heating of the sample that can be denatured by temperature rise; The measurement is performed using a trained neural network including an output unit for outputting the output, and a plurality of input units into which the optical characteristic values measured in time series by the measurement unit are input at mutually different delay times. and a temperature estimating section that estimates the temperature of the sample at the time of the current measurement of the optical characteristic value, each time the optical characteristic value is measured by the section.
すなわち、この温度推定装置は、昇温(加熱)により変性し得る試料の各時点の温度を、その時点までに測定された試料についての反射率に関する光学的特性値を考慮に入れて推定する構成を有する。そして、各時点までに測定された試料についての反射率に関する光学的特性値は、試料の変性の程度を示す情報であるため、本温度推定装置によれば、昇温により変性し得る試料の昇温中の温度をその光学的特性からリアルタイム且つ正確に推定できる。 In other words, this temperature estimating device is configured to estimate the temperature at each point in time of a sample that can be denatured by temperature rise (heating), taking into account the optical characteristic values related to the reflectance of the sample measured up to that point. has. Since the optical characteristic values related to the reflectance of the sample measured up to each point in time are information indicating the degree of denaturation of the sample, according to this temperature estimation device, it is possible to The temperature of a warm medium can be estimated in real time and accurately from its optical properties.
温度推定装置の光学的特性値としては、様々な値を採用することが出来る。例えば、光
学的特性値として、前記試料の反射光スペクトルの曲線下面積を採用しても良い。
Various values can be adopted as the optical characteristic values of the temperature estimation device. For example, the area under the curve of the reflected light spectrum of the sample may be employed as the optical characteristic value.
温度の推定対象試料が、レーザー光の照射により昇温されているものである場合には、ニューラルネットワークとして、前記レーザー光の強度を示す値を入力するための少なくとも1つの入力ユニットをさらに含むものを採用しておいても良い。 If the sample whose temperature is to be estimated is one whose temperature has been increased by irradiation with laser light, the neural network further includes at least one input unit for inputting a value indicating the intensity of the laser light. You may also adopt.
また、本発明は、昇温により変性し得る試料の昇温中に光を照射し、反射光から得られる特性値を測定する測定部と、
前記試料の温度を出力するための出力ユニット、及び、前記測定部により測定される前記特性値が入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記試料の温度を推定する温度推定部と、
を備え、
前記ニューラルネットワークの学習に際して、
前記出力ユニットは、測定対象の温度範囲における前記試料の温度に相当する、特定関数の値を出力し、
出力された前記特定関数の値のうち、学習対象の温度に相当する値に1なるラベルを付与するとともに、それ以外の値に0なるラベルを付与し、
前記出力ユニットにより出力された特定関数の値と、前記ラベルの値とに基づく、交差エントロピー誤差が小さくなるように、前記ニューラルネットワークにおける結合係数を更新する繰り返し演算を実行する、温度推定装置であってもよい。
The present invention also provides a measurement unit that irradiates light during heating of a sample that can be denatured by heating and measures characteristic values obtained from the reflected light;
Estimating the temperature of the sample using a trained neural network including an output unit for outputting the temperature of the sample and a plurality of input units into which the characteristic values measured by the measurement unit are input. A temperature estimation section;
Equipped with
When training the neural network,
The output unit outputs a value of a specific function corresponding to the temperature of the sample in a temperature range to be measured,
Among the output values of the specific function, a value corresponding to the temperature of the learning target is given a label of 1, and other values are given a label of 0,
The temperature estimating device executes repeated calculations to update a coupling coefficient in the neural network so that a cross-entropy error based on the value of the specific function outputted by the output unit and the value of the label is reduced. It's okay.
これによれば、試料の温度情報に係る時間に関わらず、ニューラルネットワークの数は1つで済む。また、過去に遡った特性値をニューラルネットワークに入力する必要はなく、現在の情報のみを入力すれば足りる。なお、上記の特定関数は、シグモイド関数、ソフトマックス関数、線形関数、ステップ関数、ランプ関数、ハイパボリックタンジェント関数のいずれかであってもよい。 According to this, the number of neural networks is only one regardless of the time related to the temperature information of the sample. Furthermore, it is not necessary to input past characteristic values into the neural network; it is sufficient to input only current information. Note that the above specific function may be any one of a sigmoid function, a softmax function, a linear function, a step function, a ramp function, and a hyperbolic tangent function.
また、本発明において、前記特性値は、前記反射光の波長分布、前記反射光に基づく生体情報、照射する前記光の強度及び、前記試料の画像を含むようにしてもよい。これにより、温度推定装置の推定精度を向上させることが可能である。また、前記特性値は、前記試料の画像情報を、色空間分解することで得られる数値データを含むようにしてもよい。これによれば、試料の画像を用いて温度推定する場合の推定精度を向上させることが可能である。 Further, in the present invention, the characteristic value may include a wavelength distribution of the reflected light, biological information based on the reflected light, intensity of the irradiated light, and an image of the sample. Thereby, it is possible to improve the estimation accuracy of the temperature estimation device. Further, the characteristic value may include numerical data obtained by color space decomposition of image information of the sample. According to this, it is possible to improve estimation accuracy when estimating temperature using an image of a sample.
また、本発明の一観点に係る温度推定方法は、昇温により変性し得る試料の昇温中に、前記試料の反射率に関する光学的特性値を周期的に測定する測定ステップと、前記試料の温度を出力するための出力ユニット、及び、前記測定ステップにより時系列的に測定される前記光学特性値が互いに異なる遅延時間で入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記測定ステップにより前記光学的特性値が測定される度に、前記光学的特性値の今回の測定時における前記試料の温度を推定する温度推定ステップと、を含む。 Further, a temperature estimation method according to one aspect of the present invention includes a measurement step of periodically measuring an optical characteristic value regarding the reflectance of the sample while increasing the temperature of the sample that can be denatured by temperature increase; Using a trained neural network including an output unit for outputting temperature and a plurality of input units into which the optical characteristic values measured in time series in the measurement step are input with mutually different delay times, Each time the optical characteristic value is measured in the measuring step, the method includes a temperature estimation step of estimating the temperature of the sample at the time of the current measurement of the optical characteristic value.
この温度推定方法によっても、昇温により変性し得る試料の昇温中の温度をその光学的特性からリアルタイム且つ正確に推定することができる。なお、本発明において「学習済みのニューラルネットワーク」とは、学習を完了し更なる学習が行われないニューラルネットワークの他、学習が継続的に行われるニューラルネットワークも含む。例えば、学習済みのニューラルネットワークを,レーザー光の強度を示す値や光学物性値などを利用して,リアルタイムに再学習し,精度を高めることも可能である。 This temperature estimation method also makes it possible to accurately estimate in real time the temperature during heating of a sample, which can be denatured by heating, from its optical properties. Note that in the present invention, a "trained neural network" includes not only a neural network that has completed learning and no further learning is performed, but also a neural network that is continuously trained. For example, it is possible to retrain a trained neural network in real time using values indicating the intensity of laser light, optical property values, etc. to improve accuracy.
また、本発明の温度推定方法は、昇温により変性し得る試料の昇温中に光を照射し、反
射光から得られる特性値を測定する測定ステップと、
前記試料の温度を出力するための出力ユニット、及び、前記測定部により測定される前記特性値が入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記試料の温度を推定する温度推定ステップと、
を含む、温度推定方法であって、
前記ニューラルネットワークの学習に際して、
前記出力ユニットは、測定対象の温度範囲における前記試料の温度に相当する、特定関数の値を出力し、
出力された前記特定関数の値のうち、学習対象の温度に相当する値に1なるラベルを付与するとともに、それ以外の値に0なるラベルを付与し、
前記出力ユニットにより出力された特定関数の値と、前記ラベルの値とに基づく、交差エントロピー誤差が小さくなるように、前記ニューラルネットワークにおける結合係数を更新する繰り返し演算を実行する、温度推定方法であってもよい。これによれば、試料の温度情報に係る時間に関わらず、ニューラルネットワークの数は1つで済む。また、過去に遡った特性値をニューラルネットワークに入力する必要はなく、現在の情報のみを入力すれば足りる。ここで、上記の特定関数は、シグモイド関数、ソフトマックス関数、線形関数、ステップ関数、ランプ関数、ハイパボリックタンジェント関数のいずれかであってもよい。
Furthermore, the temperature estimation method of the present invention includes a measurement step of irradiating a sample that can be denatured by temperature rise with light during temperature rise and measuring characteristic values obtained from the reflected light;
Estimating the temperature of the sample using a trained neural network including an output unit for outputting the temperature of the sample and a plurality of input units into which the characteristic values measured by the measurement unit are input. a temperature estimation step;
A temperature estimation method comprising:
When training the neural network,
The output unit outputs a value of a specific function corresponding to the temperature of the sample in a temperature range to be measured,
Among the output values of the specific function, a value corresponding to the temperature of the learning target is given a label of 1, and other values are given a label of 0,
The temperature estimation method includes performing repeated calculations for updating a coupling coefficient in the neural network so that a cross-entropy error based on the value of the specific function output by the output unit and the value of the label is reduced. It's okay. According to this, the number of neural networks is only one regardless of the time related to the temperature information of the sample. Furthermore, it is not necessary to input past characteristic values into the neural network; it is sufficient to input only current information. Here, the above specific function may be any one of a sigmoid function, a softmax function, a linear function, a step function, a ramp function, and a hyperbolic tangent function.
本発明によれば、昇温により変性し得る試料の昇温中の温度をその光学的特性からリアルタイム且つ正確に推定することができる。 According to the present invention, the temperature during heating of a sample that can be denatured by heating can be estimated in real time and accurately from its optical properties.
以下、図面を参照して本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
<実施例1>
図1に、本発明の実施例1に係る温度推定装置10の概略構成図を示し、図2に、実施形態に係る温度推定装置10の使用形態の説明図を示す。
<Example 1>
FIG. 1 shows a schematic configuration diagram of a
本実施形態に係る温度推定装置10(図1)は、内視鏡下レーザー治療時における病変
部40(図2)を推定するために開発した装置である。ここで、内視鏡下レーザー治療とは、図2に示してあるように、内視鏡30の鉗子口31に挿入した光ファイバー35を通じてレーザー光を病変部40に直接照射することで病変部40を処置するレーザー治療法のことである。なお、温度推定装置10は、計測用光及びライドガイド32からの白色光の病変部40による反射光強度に基づき、病変部40の温度を推定する(詳細は後述)装置として構成されている。そのため、光ファイバー35としては、反射光強度を測定しやすい構成のもの、例えば、図3に示したように、レーザー光と計測用光とを病変部40に導入するための照射用光ファイバー36と、その周囲に配置された、複数(図では、6つ)の受光用光ファイバー37とを有するものが使用される。
A temperature estimation device 10 (FIG. 1) according to this embodiment is a device developed to estimate a lesion 40 (FIG. 2) during endoscopic laser treatment. Here, as shown in FIG. 2, endoscopic laser treatment refers to the
図1に示してあるように、温度推定装置10は、分光器11と情報処理装置12と表示装置13とを備える。
As shown in FIG. 1, the
分光器11は、病変部40からの反射光のスペクトル(以下、反射光スペクトルと表記する)を周期的に測定する装置である。以下、この分光器11による反射光スペクトルの測定周期をサンプリング周期と表記する。
The
表示装置13は、情報処理装置12(後述する温度推定部22)による病変部40の温度の推定結果をユーザに提示するための装置である。この表示装置13としては、文字情報等も表示可能な液晶ディスプレイや、温度のみを表示可能なセグメントディスプレイが使用される。
The
情報処理装置12は、いわゆるコンピュータ(コンピュータ本体)である。情報処理装置12は、AUC算出部21、温度推定部22、学習処理部23、記憶部24として機能するように構成(プログラミング)されている。また、情報処理装置12は、内視鏡30のレーザー光源(図示略)と接続可能に構成されており、情報処理装置12は、病変部40の温度の推定時には、内視鏡30のレーザー光源からレーザー光強度が入力される状態で動作する。
The
AUC算出部21は、分光器11により反射光スペクトルが測定される度に、その反射光スペクトルのAUCを算出するユニットである。なお、反射光スペクトルのAUC(Area Under the Curve;曲線下面積)とは、図4に示したように、反射光スペクトルの曲線より下の部分の面積のことである。
The
温度推定部22は、AUC算出部21により算出される各AUCと、内視鏡30のレーザー光源からのレーザー光強度とに基づき、病変部40の温度を推定し、推定結果を表示装置13に表示するユニットである。この温度推定部22は、図5に示した構成のニューラルネットワークを用いて、病変部40の温度を推定するものとなっている。なお、図5におけるZ-kは、入力をkサンプリング周期分遅らせて出力する離散時間演算子である。
The
すなわち、温度推定部22が病変部40の温度の推定に用いるニューラルネットワークの入力層は、AUCが互いに異なる遅延時間で入力されるq+1個の入力ユニット26と、レーザー光強度が互いに異なる遅延時間で入力されるq+1個の入力ユニット26とを含む。また、ニューラルネットワークの中間層は、各入力ユニット26の出力又は他の隠れユニット27からの出力が入力される複数の隠れユニット27を含む。そして、ニューラルネットワークの出力層は、病変部40の温度を出力する1つの出力ユニット28で構成されている。
That is, the input layer of the neural network used by the
各入力ユニット26は、入力(AUC又はレーザー光強度)を、予め定められている複数の隠れユニット27に出力するユニットである。
Each
また、本実施形態における各隠れユニット27は、図6に模式的に示したように、各入力xi(i=1~n)と重みwiの乗算結果の総和aを算出し、総和aから、y=1/(1+e-a)を算出して算出結果yを出力するユニット(人工ニューロン)である。出力ユニット28も、各隠れユニット27と同様のユニットである。なお、隠れユニット27、出力ユニット28は、バイアスを考慮するものであっても、1/(1+e-a)とは異なる活性化関数を使用するものであっても良い。
Furthermore, as schematically shown in FIG. 6, each
記憶部24(図1)は、温度推定部22を教育する(詳細は後述)ための複数の教師データが記憶されるユニット(ハードディスク等)である。ここで、教師データとは、内視鏡下レーザー治療を模擬した実験により得られるAUCの時系列データ(サンプリング周期毎のAUC)と、当該実験時のレーザー光強度の時系列データ及び病変部40(病変部40相当の部分)の温度の時系列データとからなるデータのことである。教師データとしては、条件(レーザー光強度等)が異なる比較的に多数のデータが用意される。
The storage unit 24 (FIG. 1) is a unit (such as a hard disk) that stores a plurality of training data for educating the temperature estimation unit 22 (details will be described later). Here, the training data refers to time-series data of AUC (AUC for each sampling period) obtained in an experiment simulating endoscopic laser treatment, time-series data of laser light intensity during the experiment, and
学習処理部23は、記憶部24内の教師データ群に基づき、温度推定部22を教育するユニットである。なお、温度推定装置10(温度推定部22)が、病変部40の温度をリアルタイム且つ正確に推定できる装置として機能するのは、この学習処理部23による温度推定部22の教育が完了した後である。
The
具体的には、この学習処理部23は、温度推定部22が温度推定に使用するニューラルネットワークの各重み値(及びバイアス値)を所定の評価関数が最小となるように決定する処理を行う。本実施形態に係る学習処理部23が行うこの処理は、誤差逆伝播法に評価関数を最小化する処理である。また、学習処理部23が最小化する評価関数は、教師データ#j(jは、教師データの識別番号)内のAUC、レーザー光強度の入力時における温度推定部22の各時刻における出力と対応する時刻における教師データ#j内の温度との差の二乗値の総和をCjと表記すると、ΣCj(=C1+C2+…+Cm;mは教師データの
総数)である。ただし、温度推定部22の教育(重み値等の決定)に、誤差逆伝播法以外の方法を用いても良く、上記評価関数とは異なる評価関数を用いても良い。
Specifically, the
以上の説明から明らかなように、温度推定装置10は、昇温(加熱)により変性し得る試料(病変部40)の各時点の温度を、その時点までに測定された試料についてのAUCを考慮に入れて推定する構成を有する。そして、各時点までに測定された試料についてのAUCは、試料の変性の程度を示す情報である。従って、本温度推定装置10によれば、図7に例示したように、昇温により変性し得る試料の昇温中の温度をその光学的特性からリアルタイム且つ正確に推定できる。なお、この図7は、レーザー光照射開始後の経過時間に対して、レーザー光照射対象の実測温度(“実温度”)と、温度推定装置10による推定温度(“推定温度”)と、線形モデル(一次遅れモデル)による推定温度とをプロットした図である。また、この実験結果における実温度と温度推定装置10による推定温度との間の誤差は、±2℃である。
As is clear from the above description, the
《変形例》
上記した実施例に係る温度推定装置10は、各種の変形が行えるものである。例えば、レーザー光強度の多寡により、AUCの時間変化パターンは変化する。従って、温度推定用のニューラルネットワーク(図5)から、レーザー光強度を入力する入力ユニット26を除去しておいても良い。また、レーザー光強度が一定である(時間変化しない)場合のみを対象とする場合には、温度推定用のニューラルネットワークのレーザー光強度入力用の入力ユニット26の数を1つとしておいても良い。
《Modified example》
The
温度推定用のニューラルネットワークを、AUCではなく、特定波長の光の反射光強度
、特定のM(M≧2)波長の光の反射光強度の総和を入力としたものに変形しても良い。また、温度推定装置10を、光ファイバーを介さずに反射光強度を測定する装置や、レーザー光以外の熱源により昇温される試料の温度を推定する装置に変形しても良い。
The neural network for temperature estimation may be modified to input the reflected light intensity of light of a specific wavelength and the sum of the reflected light intensity of light of specific M (M≧2) wavelengths instead of AUC. Further, the
<実施例2>
次に、本発明の実施例2について示す。実施例1においては、学習処理部23が、出力ユニット(出力層)から出力される推定温度と試料(病変部40)の温度の誤差が小さくなるように、重み(結合係数)Wを更新する温度推定装置について説明したが、実施例2においては、入力ユニット(入力層)に入力される特性値を増加するとともに、複数の出力ユニット(出力層)からソフトマトリックス関数の値を出力し、これらに正解ラベルを付与し、交差エントロピー誤差が小さくなるように、重み(結合係数)Wを更新する例について説明する。なお、本実施例における温度推定装置10の概略構成は、図1に示したものと同等である。
<Example 2>
Next, Example 2 of the present invention will be described. In the first embodiment, the
図8は、本実施例における温度推定装置10を説明するための図である。本実施例では、温度推定部22は、図8に示したニューラルネットワークを用いて、病変部20の温度を推定する。すなわち、本実施例では、試料である病変部40にレーザー光と、計測用光を照射する。そして、時刻kにおける、(1)反射光を分光器によって分光することで得られる波長分布、(2)反射光を血流計に入力することで得られる血流速度に代表される生体情報、(3)レーザー光を光センサに照射することで得られるレーザー光量(レーザー光強度)、(4)CCDカメラ33で得られるファイバースコープ画像を処理した後の画像を、ニューラルネットワークの入力ユニット(入力層)26に入力する。ここで、生体情報としては、血流速度の他、酸素飽和濃度、蛍光、薬剤反応などを用いてもよい。また、ここでは画像を取得するためのカメラとして、CCDカメラ33を用いた例について説明したが、CMOSカメラ等、他の方式のカメラを用いても良いことは当然である。
FIG. 8 is a diagram for explaining the
そして、本実施例の隠れユニット(中間層)27では、実施例1と同様、図6に模式的に示したように、各入力xi(i=1~n)と重みwiの乗算結果の総和aを算出し、総和aから、y=1/(1+e-a)を算出して算出結果yを出力する。そして、出力ユニット(出力層)28は、以下の(1)式に基づく、ソフトマックス関数を出力する。
そして、学習させる温度に相当する出力には正解ラベル“1”を、それ以外の出力には“0”を付与する。そして、以下の(2)式に基づく交差エントロピー誤差Eが、小さくなるように、重み(結合係数)Wを調整する。
解ラベル“1”が付与されている。なお、本実施例においても、隠れユニット(中間層)27、出力ユニット(出力層)28は、バイアスを考慮するものであっても、1/(1+e-a)とは異なる活性化関数を使用するものであっても良い。
Then, a correct label "1" is given to the output corresponding to the temperature to be learned, and "0" is given to the other outputs. Then, the weight (coupling coefficient) W is adjusted so that the cross-entropy error E based on the following equation (2) becomes small.
図9には本実施例における学習処理部23による学習処理のフローチャートを示す。本処理が実行されると、まず、ステップS101において、光ファイバー35の中心の照射用光ファイバー36から、温度上昇用のレーザー光と、波長分布と血流計測用の計測用光を試料としての病変部40に照射する。ステップS102においては、周囲の複数の受光用光ファイバー37で2つの計測用光の反射光を受光する。ステップS103においては、レーザー光量、反射光の波長分布、生体情報(この例では組織の血流速度)、ファイバースコープ画像を取得する。ステップS104においては、ステップS103で取得された信号を正規化し、各入力ユニット(入力層)26に入力する。
FIG. 9 shows a flowchart of learning processing by the
ステップS105においては、各信号と重み(結合係数)Wにより隠れユニット(中間層)27を通過する。ステップS106においては、ソフトマックス関数として出力ユニット(出力層)28から信号を出力させる。ここで、出力ユニット28の数は、対象となる温度範囲中の温度値の数と一致させる。この例では、対象となる温度範囲を1℃~80℃とし、出力ユニット27の数は、教師データとしての病変部40の温度の数と同数の80個としている。ステップS107においては、各出力ユニット(出力層)28からの出力に正解ラベルを付与する。ここで、推定のための学習をさせたい温度(この例では30℃)にラベル“1”を付与し、それ以外の温度にラベル“0”を付与する。
In step S105, each signal and weight (coupling coefficient) W pass through the hidden unit (intermediate layer) 27. In step S106, a signal is output from the output unit (output layer) 28 as a softmax function. Here, the number of
ステップS108においては、(2)式に示した交差エントロピー誤差Eが小さくなるように重み(結合係数)Wを更新する。ステップS109においては、S105に戻る。そして、S105~S108の処理を繰り返し実行する。ステップS110においては、対象となる温度範囲(この例では1℃~80℃)の各温度に対して、S104~S109の処理を繰り返し実行し、各温度に対する学習を完了させる。対象となる温度範囲の各温度について学習が終了すると本ルーチンを終了する。 In step S108, the weight (coupling coefficient) W is updated so that the cross-entropy error E shown in equation (2) becomes smaller. In step S109, the process returns to S105. Then, the processes of S105 to S108 are repeatedly executed. In step S110, the processes of S104 to S109 are repeatedly executed for each temperature in the target temperature range (1° C. to 80° C. in this example), and learning for each temperature is completed. When the learning for each temperature in the target temperature range is completed, this routine ends.
実施例1で示した温度推定装置10では、過去に遡る時刻の数(q+1)だけニューラルネットワークを準備する必要があったのに対し、本実施例で示した温度推定装置10では、時刻の数に関わらず、1つのニューラルネットワークを準備することで充分である。また、実施例1で示した温度推定装置10では、入力ユニット26に対して、過去に遡ったAUC、レーザー光強度の情報を入力する必要があったのに対し、本実施例で示した温度推定装置10では、波長分布、レーザー光量、生体情報、ファイバースコープ画像の現在の情報のみを入力すれば足りる。
In the
図10には、レーザー光照射開始後の経過時間に対する、レーザー光照射対象の実測温度(“実温度”)と、本実施例における学習済の温度推定装置10による推定温度(“推定温度”)とをプロットした図である。図10を見て分かるように、本実施例では、1つのニューラルネットワークを用いた推定であるにも関わらず、実施例1と同等の精度で病変部40の温度を推定することが可能となっている。
FIG. 10 shows the actually measured temperature of the laser beam irradiation target (“actual temperature”) and the temperature estimated by the trained
本実施例においては、試料である病変部40にレーザー光と、計測用光を照射し、時刻kにおける、CCDカメラ33で得られるファイバースコープ画像を処理した後の画像を、ニューラルネットワークの入力ユニット(入力層)26に入力した。この画像については、画像自体の代わりに、あるいは、画像自体に加えて、光ファイバーあるいは、CCDカメラ33で撮影した画像情報を、RGB(赤(Red)、緑(Green)、青(Blue))や、HLS(色相(Hue)、彩度(Saturation)、輝度(Lightness/Luminance))等の、色空間分解することで得られた数値データ、
あるいはこの数値データの変化をニューラルネットワークの入力ユニット(入力層)26に入力するようにしてもよい。
In this embodiment, a laser beam and measurement light are irradiated onto the
Alternatively, changes in this numerical data may be input to the input unit (input layer) 26 of the neural network.
また、本実施例においては、出力ユニット(出力層)28からの信号を、ソフトマックス関数として出力させる例について説明した。しかしながら、出力ユニット(出力層)28からの信号は、シグモイド関数、線形関数、ステップ関数、ランプ関数、ハイパボリックタンジェント関数といった、他の関数として出力しても構わない。 Furthermore, in this embodiment, an example has been described in which the signal from the output unit (output layer) 28 is output as a softmax function. However, the signal from the output unit (output layer) 28 may be output as another function, such as a sigmoid function, a linear function, a step function, a ramp function, or a hyperbolic tangent function.
また、上記の実施例においては、入力ユニット(入力層)26、隠れユニット(中間層)27、出力ユニット(出力層)28を備えた多層構造のニューラルネットワークを用いたが、CNN(Convolutional Neural Network:畳み込みニューラルネットワーク)、RNN(Recurrent Neural Network:リカレントニューラルネットワーク)、強化学習などを含むニューラルネットワークを用いても構わない。 Furthermore, in the above embodiment, a neural network with a multilayer structure including an input unit (input layer) 26, a hidden unit (middle layer) 27, and an output unit (output layer) 28 was used. A neural network including a convolutional neural network), an RNN (Recurrent Neural Network), reinforcement learning, etc. may be used.
上記の実施例においては、内視鏡のチャネルに光ファイバーを挿入して行う医療シーンを例にとって本発明を説明したが、本発明が適用される分野はこれに限られない。例えば、電気メス等の熱的手法により対象を切開する場合の切開対象の温度推定といった、他の医療分野の他、配管内における溶接対象の温度推定といった、工業分野に本発明を適用しても構わない。 In the embodiments described above, the present invention has been explained by taking as an example a medical scene in which an optical fiber is inserted into a channel of an endoscope, but the field to which the present invention is applied is not limited to this. For example, the present invention can be applied to other medical fields, such as estimating the temperature of a target to be incised when incising the target using a thermal method such as an electric scalpel, as well as to the industrial field, such as estimating the temperature of a welding target in piping. I do not care.
10 温度推定装置
11 分光器
12 情報処理装置
13 表示装置
21 AUC算出部
22 温度推定部
23 学習処理部
24 記憶部
26 入力ユニット
27 ユニット
28 出力ユニット
30 内視鏡
31 鉗子口
32 ライドガイド
33 CCDカメラ
35 光ファイバー
36 照射用光ファイバー
37 受光用光ファイバー
40 病変部
10
Claims (10)
前記試料の温度を出力するための出力ユニット、及び、前記測定部により時系列的に測定される前記光学特性値が互いに異なる遅延時間で入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記測定部により前記光学特性値が測定される度に、前記光学特性値の今回の測定時における前記試料の温度を推定する温度推定部と、
を備えることを特徴とする、温度推定装置。 a measurement unit that periodically measures optical characteristic values regarding reflectance of the sample while the sample is being heated, which can be denatured by temperature rise;
A trained neural network including an output unit for outputting the temperature of the sample, and a plurality of input units into which the optical characteristic values measured in time series by the measurement unit are input at mutually different delay times. a temperature estimation unit that estimates the temperature of the sample at the time of the current measurement of the optical property value, each time the optical property value is measured by the measurement unit;
A temperature estimation device comprising:
ことを特徴とする、請求項1に記載の温度推定装置。 The optical characteristic value is the area under the curve of the reflected light spectrum of the sample,
The temperature estimating device according to claim 1, characterized in that:
前記ニューラルネットワークは、前記レーザー光の強度を示す値を入力するための少なくとも1つの入力ユニットをさらに含む、
ことを特徴とする、請求項1又は2に記載の温度推定装置。 The measurement unit periodically measures the optical characteristic value of the sample whose temperature is being increased by irradiation with laser light,
The neural network further comprises at least one input unit for inputting a value indicating the intensity of the laser light.
The temperature estimating device according to claim 1 or 2, characterized in that:
前記試料の温度を出力するための出力ユニット、及び、前記測定部により測定される前記特性値が入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記試料の温度を推定する温度推定部と、
を備え、
前記ニューラルネットワークの学習に際して、
前記出力ユニットは、測定対象の温度範囲における前記試料の温度に相当する、特定関数の値を出力し、
出力された前記特定関数の値のうち、学習対象の温度に相当する値に1なるラベルを付与するとともに、それ以外の値に0なるラベルを付与し、
前記出力ユニットにより出力された特定関数の値と、前記ラベルの値とに基づく、交差エントロピー誤差が小さくなるように、前記ニューラルネットワークにおける結合係数を更新する繰り返し演算を実行することを特徴とする、温度推定装置。 a measurement unit that irradiates light during heating of a sample that can be denatured by heating and measures characteristic values obtained from the reflected light;
Estimating the temperature of the sample using a trained neural network including an output unit for outputting the temperature of the sample and a plurality of input units into which the characteristic values measured by the measurement unit are input. A temperature estimation section;
Equipped with
When training the neural network,
The output unit outputs a value of a specific function corresponding to the temperature of the sample in a temperature range to be measured,
Among the output values of the specific function, a value corresponding to the temperature of the learning target is given a label of 1, and other values are given a label of 0,
It is characterized by performing repeated calculations to update coupling coefficients in the neural network so that a cross-entropy error based on the value of the specific function outputted by the output unit and the value of the label is reduced. Temperature estimation device.
前記試料の温度を出力するための出力ユニット、及び、それぞれ、前記測定ステップより時系列的に測定される前記光学特性値が互いに異なる遅延時間で入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記測定ステップにより前記光学特性値が測定される度に、前記光学特性値の今回の測定時における前記試料の温度を推定する温度推定ステップと、
を含むことを特徴とする、温度推定方法。 a measuring step of periodically measuring an optical characteristic value regarding reflectance of the sample while increasing the temperature of the sample that can be denatured by increasing the temperature;
a trained neural system including an output unit for outputting the temperature of the sample; and a plurality of input units into which the optical characteristic values measured in time series from the measurement step are input at mutually different delay times. a temperature estimation step of estimating the temperature of the sample at the time of the current measurement of the optical property value, using a network, each time the optical property value is measured in the measurement step;
A temperature estimation method, comprising:
前記試料の温度を出力するための出力ユニット、及び、前記測定ステップにおいて測定される前記特性値が入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記試料の温度を推定する温度推定ステップと、
を含む、温度推定方法であって、
前記ニューラルネットワークの学習に際して、
前記出力ユニットは、測定対象の温度範囲における前記試料の温度に相当する、特定関数の値を出力し、
出力された前記特定関数の値のうち、学習対象の温度に相当する値に1なるラベルを付与するとともに、それ以外の値に0なるラベルを付与し、
前記出力ユニットにより出力された特定関数の値と、前記ラベルの値とに基づく、交差エントロピー誤差が小さくなるように、前記ニューラルネットワークにおける結合係数を更新する繰り返し演算を実行することを特徴とする、温度推定方法。 a measurement step of irradiating light during heating of a sample that can be denatured by heating and measuring characteristic values obtained from the reflected light;
Estimating the temperature of the sample using a trained neural network including an output unit for outputting the temperature of the sample and a plurality of input units into which the characteristic values measured in the measurement step are input. a temperature estimation step;
A temperature estimation method comprising:
When training the neural network,
The output unit outputs a value of a specific function corresponding to the temperature of the sample in a temperature range to be measured,
Among the output values of the specific function, a value corresponding to the temperature of the learning target is given a label of 1, and other values are given a label of 0,
It is characterized by performing repeated calculations for updating coupling coefficients in the neural network so that a cross-entropy error based on the value of the specific function output by the output unit and the value of the label is reduced. Temperature estimation method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019194514A JP7378063B2 (en) | 2019-10-25 | 2019-10-25 | Temperature estimation device and temperature estimation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019194514A JP7378063B2 (en) | 2019-10-25 | 2019-10-25 | Temperature estimation device and temperature estimation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021067604A JP2021067604A (en) | 2021-04-30 |
JP7378063B2 true JP7378063B2 (en) | 2023-11-13 |
Family
ID=75638373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019194514A Active JP7378063B2 (en) | 2019-10-25 | 2019-10-25 | Temperature estimation device and temperature estimation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7378063B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6241463B2 (en) | 2015-08-28 | 2017-12-06 | トヨタ自動車株式会社 | Cowl structure |
-
2019
- 2019-10-25 JP JP2019194514A patent/JP7378063B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6241463B2 (en) | 2015-08-28 | 2017-12-06 | トヨタ自動車株式会社 | Cowl structure |
Also Published As
Publication number | Publication date |
---|---|
JP2021067604A (en) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5186044B2 (en) | Blood glucose level estimation device | |
JP6590928B2 (en) | Image processing apparatus, imaging system, image processing method, and image processing program | |
JP2010531198A5 (en) | ||
CN106455942A (en) | Processing device, endoscope system, endoscope device, image processing method, and image processing program | |
Paquit et al. | 3D and multispectral imaging for subcutaneous veins detection | |
Chen et al. | Rapid tissue oxygenation mapping from snapshot structured-light images with adversarial deep learning | |
JPWO2020066670A1 (en) | Electronic endoscopy system | |
WO2012093309A1 (en) | An apparatus for optical analysis of an associated tissue | |
Shu et al. | Monte Carlo investigation on quantifying the retinal pigment epithelium melanin concentration by photoacoustic ophthalmoscopy | |
Ayala et al. | Live monitoring of haemodynamic changes with multispectral image analysis | |
JP7378063B2 (en) | Temperature estimation device and temperature estimation method | |
Ueda et al. | Assessment of facial symmetry by three-dimensional stereophotogrammetry after mandibular reconstruction: A comparison with subjective assessment | |
JP2006149679A (en) | Method, device and program for determining degree of health | |
JP2010005047A (en) | Method for generating calibration model for optically measuring biological component and non-invasive apparatus for measuring blood glucose value | |
EP3737280A1 (en) | Method and system for in vivo detection of adipose tissue browning | |
JP2007525244A (en) | System and method for identifying and classifying dynamic thermodynamic processes in mammals and identifying them | |
Saknite et al. | Hyperspectral imaging to accurately segment skin erythema and hyperpigmentation in cutaneous chronic graft‐versus‐host disease | |
WO2017010013A1 (en) | Image processing device, imaging system, image processing method, and image processing program | |
US20220008002A1 (en) | Device and Method for Detecting and Monitoring Cutaneous Diseases | |
Martinez-Vega et al. | Oxygen Saturation Measurement Using Hyperspectral Imaging Targeting Real-Time Monitoring | |
RU2528087C1 (en) | Device for measuring haemoglobin concentration and degree of blood oxygenation in mucous membranes | |
Vemuri et al. | Hyperspectral camera selection for interventional health-care | |
Spigulis et al. | Check for updates RGB Laser-Illuminated Spectral Imaging: Applications in Dermatology and Endoscopy | |
Hidović et al. | Validating a model of colon colouration using an evolution strategy with adaptive approximations | |
WO2012069637A1 (en) | Device and method for determining a disease activity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20191125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221006 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7378063 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |