JP7378063B2 - Temperature estimation device and temperature estimation method - Google Patents

Temperature estimation device and temperature estimation method Download PDF

Info

Publication number
JP7378063B2
JP7378063B2 JP2019194514A JP2019194514A JP7378063B2 JP 7378063 B2 JP7378063 B2 JP 7378063B2 JP 2019194514 A JP2019194514 A JP 2019194514A JP 2019194514 A JP2019194514 A JP 2019194514A JP 7378063 B2 JP7378063 B2 JP 7378063B2
Authority
JP
Japan
Prior art keywords
temperature
sample
function
value
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019194514A
Other languages
Japanese (ja)
Other versions
JP2021067604A (en
Inventor
健史 関
明大 長縄
潔 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Akita University NUC
Original Assignee
Akita University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Akita University NUC filed Critical Akita University NUC
Priority to JP2019194514A priority Critical patent/JP7378063B2/en
Publication of JP2021067604A publication Critical patent/JP2021067604A/en
Application granted granted Critical
Publication of JP7378063B2 publication Critical patent/JP7378063B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

特許法第30条第2項適用 (公開1) 発行日 平成30年10月26日 刊行物 日本コンピュータ外科学会誌 第27回日本コンピュータ外科学会大会特集号、 第272頁 一般社団法人日本コンピュータ外科学会 (公開2) 開催日 平成30年11月9日 集会名 第27回日本コンピュータ外科学会大会 開催場所 奈良県文化会館(奈良県奈良市登大路町6-2)Application of Article 30, Paragraph 2 of the Patent Act (Publication 1) Publication date October 26, 2018 Publication Journal of the Japan Society of Computer Surgery Special issue of the 27th Annual Conference of the Japan Society of Computer Surgery, Page 272, Japan Society of Computer Surgery (Publication 2) Date: November 9, 2018 Name of the meeting: 27th Japan Society of Computerized Surgery Conference Venue: Nara Prefectural Cultural Center (6-2 Noborioji-cho, Nara City, Nara Prefecture)

本発明は、温度推定装置及び温度推定方法に関する。 The present invention relates to a temperature estimation device and a temperature estimation method.

体内の病変部の処置法として、内視鏡の鉗子口に挿入した光ファイバーを通じてレーザー光を直接照射することで病変部を処置する内視鏡下レーザー治療が知られている。現在、この内視鏡下レーザー治療時に術者が把握可能な病変部に関する情報は、病変部の2次元画像だけであるが、病変部の温度がリアルタイムに把握できれば、病変部の内視鏡下レーザー治療をより適切に(過加熱や加熱不足が生じない形で)行うことが出来る。 Endoscopic laser therapy is known as a method for treating lesions within the body, in which the lesion is treated by directly irradiating laser light through an optical fiber inserted into the forceps port of an endoscope. Currently, the only information that the surgeon can grasp regarding the lesion during endoscopic laser treatment is a two-dimensional image of the lesion, but if the temperature of the lesion can be grasped in real time, it would be possible to Laser treatment can be performed more appropriately (without overheating or underheating).

そのため、病変部の温度を病変部の光学的特性から推定する技術(非特許文献1参照)の開発が進められている。 Therefore, the development of a technique for estimating the temperature of a lesion from the optical characteristics of the lesion (see Non-Patent Document 1) is underway.

関健史、高橋朗人、岡潔、長縄明大、「内視鏡下レーザー治療のための温度推定法に関する基礎検証」、計測自動制御学会東北支部 第310回研究集会(2017.7.21)、資料番号310-1Takeshi Seki, Akito Takahashi, Kiyoshi Oka, Akita Naganawa, "Basic verification of temperature estimation method for endoscopic laser therapy", 310th Research Meeting of the Tohoku Branch of the Society of Instrument and Control Engineers (2017.7.21) , document number 310-1

内視鏡下レーザー治療時における病変部の温度と病変部の光学的特性との間には強い相関がある。ただし、内視鏡下レーザー治療時には、加熱により病変部が変性し、その結果として、病変部の光学的特性及び熱的特性が変化してしまう。そのため、病変部の温度を病変部の光学的特性から正確に推定することは困難であった。また、工業分野においても、特定箇所の温度を光学的特性から精度よく推定する技術に対する強い要望があった。 There is a strong correlation between the temperature of the lesion and the optical characteristics of the lesion during endoscopic laser treatment. However, during endoscopic laser treatment, the lesion degenerates due to heating, and as a result, the optical characteristics and thermal characteristics of the lesion change. Therefore, it has been difficult to accurately estimate the temperature of the lesion from the optical characteristics of the lesion. Furthermore, in the industrial field, there has been a strong demand for technology that accurately estimates the temperature of a specific location from optical characteristics.

本発明は、上記問題に鑑みてなされたものであり、昇温により変性し得る試料の昇温中の温度をその光学的特性からリアルタイム且つ正確に推定できる技術を提供することを目的とする。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide a technology that can accurately estimate the temperature of a sample that can be denatured by temperature rise during heating from its optical characteristics in real time.

本発明の一観点に係る温度推定装置は、昇温により変性し得る試料の昇温中に、前記試料の反射率に関する光学的特性値を周期的に測定する測定部と、前記試料の温度を出力するための出力ユニット、及び、前記測定部により時系列的に測定される前記光学特性値が互いに異なる遅延時間で入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記測定部により前記光学的特性値が測定される度に、前記光学的特性値の今回の測定時における前記試料の温度を推定する温度推定部と、を備える。 A temperature estimating device according to one aspect of the present invention includes a measurement unit that periodically measures an optical characteristic value regarding reflectance of the sample during heating of the sample that can be denatured by temperature rise; The measurement is performed using a trained neural network including an output unit for outputting the output, and a plurality of input units into which the optical characteristic values measured in time series by the measurement unit are input at mutually different delay times. and a temperature estimating section that estimates the temperature of the sample at the time of the current measurement of the optical characteristic value, each time the optical characteristic value is measured by the section.

すなわち、この温度推定装置は、昇温(加熱)により変性し得る試料の各時点の温度を、その時点までに測定された試料についての反射率に関する光学的特性値を考慮に入れて推定する構成を有する。そして、各時点までに測定された試料についての反射率に関する光学的特性値は、試料の変性の程度を示す情報であるため、本温度推定装置によれば、昇温により変性し得る試料の昇温中の温度をその光学的特性からリアルタイム且つ正確に推定できる。 In other words, this temperature estimating device is configured to estimate the temperature at each point in time of a sample that can be denatured by temperature rise (heating), taking into account the optical characteristic values related to the reflectance of the sample measured up to that point. has. Since the optical characteristic values related to the reflectance of the sample measured up to each point in time are information indicating the degree of denaturation of the sample, according to this temperature estimation device, it is possible to The temperature of a warm medium can be estimated in real time and accurately from its optical properties.

温度推定装置の光学的特性値としては、様々な値を採用することが出来る。例えば、光
学的特性値として、前記試料の反射光スペクトルの曲線下面積を採用しても良い。
Various values can be adopted as the optical characteristic values of the temperature estimation device. For example, the area under the curve of the reflected light spectrum of the sample may be employed as the optical characteristic value.

温度の推定対象試料が、レーザー光の照射により昇温されているものである場合には、ニューラルネットワークとして、前記レーザー光の強度を示す値を入力するための少なくとも1つの入力ユニットをさらに含むものを採用しておいても良い。 If the sample whose temperature is to be estimated is one whose temperature has been increased by irradiation with laser light, the neural network further includes at least one input unit for inputting a value indicating the intensity of the laser light. You may also adopt.

また、本発明は、昇温により変性し得る試料の昇温中に光を照射し、反射光から得られる特性値を測定する測定部と、
前記試料の温度を出力するための出力ユニット、及び、前記測定部により測定される前記特性値が入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記試料の温度を推定する温度推定部と、
を備え、
前記ニューラルネットワークの学習に際して、
前記出力ユニットは、測定対象の温度範囲における前記試料の温度に相当する、特定関数の値を出力し、
出力された前記特定関数の値のうち、学習対象の温度に相当する値に1なるラベルを付与するとともに、それ以外の値に0なるラベルを付与し、
前記出力ユニットにより出力された特定関数の値と、前記ラベルの値とに基づく、交差エントロピー誤差が小さくなるように、前記ニューラルネットワークにおける結合係数を更新する繰り返し演算を実行する、温度推定装置であってもよい。
The present invention also provides a measurement unit that irradiates light during heating of a sample that can be denatured by heating and measures characteristic values obtained from the reflected light;
Estimating the temperature of the sample using a trained neural network including an output unit for outputting the temperature of the sample and a plurality of input units into which the characteristic values measured by the measurement unit are input. A temperature estimation section;
Equipped with
When training the neural network,
The output unit outputs a value of a specific function corresponding to the temperature of the sample in a temperature range to be measured,
Among the output values of the specific function, a value corresponding to the temperature of the learning target is given a label of 1, and other values are given a label of 0,
The temperature estimating device executes repeated calculations to update a coupling coefficient in the neural network so that a cross-entropy error based on the value of the specific function outputted by the output unit and the value of the label is reduced. It's okay.

これによれば、試料の温度情報に係る時間に関わらず、ニューラルネットワークの数は1つで済む。また、過去に遡った特性値をニューラルネットワークに入力する必要はなく、現在の情報のみを入力すれば足りる。なお、上記の特定関数は、シグモイド関数、ソフトマックス関数、線形関数、ステップ関数、ランプ関数、ハイパボリックタンジェント関数のいずれかであってもよい。 According to this, the number of neural networks is only one regardless of the time related to the temperature information of the sample. Furthermore, it is not necessary to input past characteristic values into the neural network; it is sufficient to input only current information. Note that the above specific function may be any one of a sigmoid function, a softmax function, a linear function, a step function, a ramp function, and a hyperbolic tangent function.

また、本発明において、前記特性値は、前記反射光の波長分布、前記反射光に基づく生体情報、照射する前記光の強度及び、前記試料の画像を含むようにしてもよい。これにより、温度推定装置の推定精度を向上させることが可能である。また、前記特性値は、前記試料の画像情報を、色空間分解することで得られる数値データを含むようにしてもよい。これによれば、試料の画像を用いて温度推定する場合の推定精度を向上させることが可能である。 Further, in the present invention, the characteristic value may include a wavelength distribution of the reflected light, biological information based on the reflected light, intensity of the irradiated light, and an image of the sample. Thereby, it is possible to improve the estimation accuracy of the temperature estimation device. Further, the characteristic value may include numerical data obtained by color space decomposition of image information of the sample. According to this, it is possible to improve estimation accuracy when estimating temperature using an image of a sample.

また、本発明の一観点に係る温度推定方法は、昇温により変性し得る試料の昇温中に、前記試料の反射率に関する光学的特性値を周期的に測定する測定ステップと、前記試料の温度を出力するための出力ユニット、及び、前記測定ステップにより時系列的に測定される前記光学特性値が互いに異なる遅延時間で入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記測定ステップにより前記光学的特性値が測定される度に、前記光学的特性値の今回の測定時における前記試料の温度を推定する温度推定ステップと、を含む。 Further, a temperature estimation method according to one aspect of the present invention includes a measurement step of periodically measuring an optical characteristic value regarding the reflectance of the sample while increasing the temperature of the sample that can be denatured by temperature increase; Using a trained neural network including an output unit for outputting temperature and a plurality of input units into which the optical characteristic values measured in time series in the measurement step are input with mutually different delay times, Each time the optical characteristic value is measured in the measuring step, the method includes a temperature estimation step of estimating the temperature of the sample at the time of the current measurement of the optical characteristic value.

この温度推定方法によっても、昇温により変性し得る試料の昇温中の温度をその光学的特性からリアルタイム且つ正確に推定することができる。なお、本発明において「学習済みのニューラルネットワーク」とは、学習を完了し更なる学習が行われないニューラルネットワークの他、学習が継続的に行われるニューラルネットワークも含む。例えば、学習済みのニューラルネットワークを,レーザー光の強度を示す値や光学物性値などを利用して,リアルタイムに再学習し,精度を高めることも可能である。 This temperature estimation method also makes it possible to accurately estimate in real time the temperature during heating of a sample, which can be denatured by heating, from its optical properties. Note that in the present invention, a "trained neural network" includes not only a neural network that has completed learning and no further learning is performed, but also a neural network that is continuously trained. For example, it is possible to retrain a trained neural network in real time using values indicating the intensity of laser light, optical property values, etc. to improve accuracy.

また、本発明の温度推定方法は、昇温により変性し得る試料の昇温中に光を照射し、反
射光から得られる特性値を測定する測定ステップと、
前記試料の温度を出力するための出力ユニット、及び、前記測定部により測定される前記特性値が入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記試料の温度を推定する温度推定ステップと、
を含む、温度推定方法であって、
前記ニューラルネットワークの学習に際して、
前記出力ユニットは、測定対象の温度範囲における前記試料の温度に相当する、特定関数の値を出力し、
出力された前記特定関数の値のうち、学習対象の温度に相当する値に1なるラベルを付与するとともに、それ以外の値に0なるラベルを付与し、
前記出力ユニットにより出力された特定関数の値と、前記ラベルの値とに基づく、交差エントロピー誤差が小さくなるように、前記ニューラルネットワークにおける結合係数を更新する繰り返し演算を実行する、温度推定方法であってもよい。これによれば、試料の温度情報に係る時間に関わらず、ニューラルネットワークの数は1つで済む。また、過去に遡った特性値をニューラルネットワークに入力する必要はなく、現在の情報のみを入力すれば足りる。ここで、上記の特定関数は、シグモイド関数、ソフトマックス関数、線形関数、ステップ関数、ランプ関数、ハイパボリックタンジェント関数のいずれかであってもよい。
Furthermore, the temperature estimation method of the present invention includes a measurement step of irradiating a sample that can be denatured by temperature rise with light during temperature rise and measuring characteristic values obtained from the reflected light;
Estimating the temperature of the sample using a trained neural network including an output unit for outputting the temperature of the sample and a plurality of input units into which the characteristic values measured by the measurement unit are input. a temperature estimation step;
A temperature estimation method comprising:
When training the neural network,
The output unit outputs a value of a specific function corresponding to the temperature of the sample in a temperature range to be measured,
Among the output values of the specific function, a value corresponding to the temperature of the learning target is given a label of 1, and other values are given a label of 0,
The temperature estimation method includes performing repeated calculations for updating a coupling coefficient in the neural network so that a cross-entropy error based on the value of the specific function output by the output unit and the value of the label is reduced. It's okay. According to this, the number of neural networks is only one regardless of the time related to the temperature information of the sample. Furthermore, it is not necessary to input past characteristic values into the neural network; it is sufficient to input only current information. Here, the above specific function may be any one of a sigmoid function, a softmax function, a linear function, a step function, a ramp function, and a hyperbolic tangent function.

本発明によれば、昇温により変性し得る試料の昇温中の温度をその光学的特性からリアルタイム且つ正確に推定することができる。 According to the present invention, the temperature during heating of a sample that can be denatured by heating can be estimated in real time and accurately from its optical properties.

図1は、本発明の実施例1に係る温度推定装置の概略構成図である。FIG. 1 is a schematic configuration diagram of a temperature estimating device according to a first embodiment of the present invention. 図2は、実施形態に係る温度推定装置の使用形態の説明図である。FIG. 2 is an explanatory diagram of how the temperature estimating device according to the embodiment is used. 図3は、反射光強度を測定しやすい光ファイバーの構成例の説明図である。FIG. 3 is an explanatory diagram of an example of the configuration of an optical fiber that makes it easy to measure the intensity of reflected light. 図4は、AUC(曲線下面積)の説明図である。FIG. 4 is an explanatory diagram of AUC (area under the curve). 図5は、温度推定部が温度推定に使用するニューラルネットワークの説明図である。FIG. 5 is an explanatory diagram of a neural network used by the temperature estimator for temperature estimation. 図6は、ニューラルネットワークの隠れユニットの説明図である。FIG. 6 is an explanatory diagram of hidden units of a neural network. 図7は、レーザー光照射開始後の経過時間に対して、レーザー光照射対象の実測温度と、温度推定装置による推定温度(“推定温度”)と、線形モデルによる推定温度とをプロットした図である。FIG. 7 is a diagram plotting the actually measured temperature of the target to be irradiated with laser light, the temperature estimated by the temperature estimation device (“estimated temperature”), and the temperature estimated by the linear model against the elapsed time after the start of laser irradiation. be. 図8は、本発明の実施例2に係る温度推定部が温度推定に使用するニューラルネットワークの説明図である。FIG. 8 is an explanatory diagram of a neural network used for temperature estimation by the temperature estimation unit according to the second embodiment of the present invention. 図9は、本発明の実施例2に係る温度推定装置の学習処理のフローチャートである。FIG. 9 is a flowchart of the learning process of the temperature estimation device according to the second embodiment of the present invention. 図10は、本発明の実施例2に係るレーザー光照射開始後の経過時間に対して、レーザー光照射対象の実測温度と、温度推定装置による推定温度(“推定温度”)とをプロットした図である。FIG. 10 is a diagram plotting the actually measured temperature of the laser beam irradiation target and the temperature estimated by the temperature estimation device (“estimated temperature”) against the elapsed time after the start of laser beam irradiation according to Example 2 of the present invention. It is.

以下、図面を参照して本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.

<実施例1>
図1に、本発明の実施例1に係る温度推定装置10の概略構成図を示し、図2に、実施形態に係る温度推定装置10の使用形態の説明図を示す。
<Example 1>
FIG. 1 shows a schematic configuration diagram of a temperature estimating device 10 according to Example 1 of the present invention, and FIG. 2 shows an explanatory diagram of a usage pattern of the temperature estimating device 10 according to the embodiment.

本実施形態に係る温度推定装置10(図1)は、内視鏡下レーザー治療時における病変
部40(図2)を推定するために開発した装置である。ここで、内視鏡下レーザー治療とは、図2に示してあるように、内視鏡30の鉗子口31に挿入した光ファイバー35を通じてレーザー光を病変部40に直接照射することで病変部40を処置するレーザー治療法のことである。なお、温度推定装置10は、計測用光及びライドガイド32からの白色光の病変部40による反射光強度に基づき、病変部40の温度を推定する(詳細は後述)装置として構成されている。そのため、光ファイバー35としては、反射光強度を測定しやすい構成のもの、例えば、図3に示したように、レーザー光と計測用光とを病変部40に導入するための照射用光ファイバー36と、その周囲に配置された、複数(図では、6つ)の受光用光ファイバー37とを有するものが使用される。
A temperature estimation device 10 (FIG. 1) according to this embodiment is a device developed to estimate a lesion 40 (FIG. 2) during endoscopic laser treatment. Here, as shown in FIG. 2, endoscopic laser treatment refers to the lesion area 40 being directly irradiated with laser light through the optical fiber 35 inserted into the forceps port 31 of the endoscope 30. It is a laser treatment method to treat. The temperature estimating device 10 is configured as a device that estimates the temperature of the lesion 40 based on the intensity of the measurement light and the white light from the ride guide 32 reflected by the lesion 40 (details will be described later). Therefore, the optical fiber 35 has a structure that makes it easy to measure the reflected light intensity, for example, as shown in FIG. A device having a plurality (six in the figure) of light-receiving optical fibers 37 arranged around it is used.

図1に示してあるように、温度推定装置10は、分光器11と情報処理装置12と表示装置13とを備える。 As shown in FIG. 1, the temperature estimation device 10 includes a spectrometer 11, an information processing device 12, and a display device 13.

分光器11は、病変部40からの反射光のスペクトル(以下、反射光スペクトルと表記する)を周期的に測定する装置である。以下、この分光器11による反射光スペクトルの測定周期をサンプリング周期と表記する。 The spectrometer 11 is a device that periodically measures the spectrum of reflected light from the lesion 40 (hereinafter referred to as reflected light spectrum). Hereinafter, the measurement period of the reflected light spectrum by this spectrometer 11 will be referred to as a sampling period.

表示装置13は、情報処理装置12(後述する温度推定部22)による病変部40の温度の推定結果をユーザに提示するための装置である。この表示装置13としては、文字情報等も表示可能な液晶ディスプレイや、温度のみを表示可能なセグメントディスプレイが使用される。 The display device 13 is a device for presenting to the user the result of estimating the temperature of the lesion 40 by the information processing device 12 (temperature estimation unit 22 described later). As the display device 13, a liquid crystal display that can also display text information or a segment display that can display only temperature is used.

情報処理装置12は、いわゆるコンピュータ(コンピュータ本体)である。情報処理装置12は、AUC算出部21、温度推定部22、学習処理部23、記憶部24として機能するように構成(プログラミング)されている。また、情報処理装置12は、内視鏡30のレーザー光源(図示略)と接続可能に構成されており、情報処理装置12は、病変部40の温度の推定時には、内視鏡30のレーザー光源からレーザー光強度が入力される状態で動作する。 The information processing device 12 is a so-called computer (computer body). The information processing device 12 is configured (programmed) to function as an AUC calculation section 21, a temperature estimation section 22, a learning processing section 23, and a storage section 24. Further, the information processing device 12 is configured to be connectable to a laser light source (not shown) of the endoscope 30, and when estimating the temperature of the lesion 40, the information processing device 12 connects to the laser light source of the endoscope 30. It operates with the laser light intensity input from.

AUC算出部21は、分光器11により反射光スペクトルが測定される度に、その反射光スペクトルのAUCを算出するユニットである。なお、反射光スペクトルのAUC(Area Under the Curve;曲線下面積)とは、図4に示したように、反射光スペクトルの曲線より下の部分の面積のことである。 The AUC calculation unit 21 is a unit that calculates the AUC of the reflected light spectrum each time the spectroscope 11 measures the reflected light spectrum. Note that the AUC (Area Under the Curve) of the reflected light spectrum is the area below the curve of the reflected light spectrum, as shown in FIG.

温度推定部22は、AUC算出部21により算出される各AUCと、内視鏡30のレーザー光源からのレーザー光強度とに基づき、病変部40の温度を推定し、推定結果を表示装置13に表示するユニットである。この温度推定部22は、図5に示した構成のニューラルネットワークを用いて、病変部40の温度を推定するものとなっている。なお、図5におけるZ-kは、入力をkサンプリング周期分遅らせて出力する離散時間演算子である。 The temperature estimation unit 22 estimates the temperature of the lesion 40 based on each AUC calculated by the AUC calculation unit 21 and the laser light intensity from the laser light source of the endoscope 30, and displays the estimation result on the display device 13. This is the unit to display. The temperature estimating unit 22 estimates the temperature of the lesion 40 using a neural network configured as shown in FIG. Note that Z -k in FIG. 5 is a discrete time operator that outputs an input delayed by k sampling periods.

すなわち、温度推定部22が病変部40の温度の推定に用いるニューラルネットワークの入力層は、AUCが互いに異なる遅延時間で入力されるq+1個の入力ユニット26と、レーザー光強度が互いに異なる遅延時間で入力されるq+1個の入力ユニット26とを含む。また、ニューラルネットワークの中間層は、各入力ユニット26の出力又は他の隠れユニット27からの出力が入力される複数の隠れユニット27を含む。そして、ニューラルネットワークの出力層は、病変部40の温度を出力する1つの出力ユニット28で構成されている。 That is, the input layer of the neural network used by the temperature estimator 22 to estimate the temperature of the lesion 40 includes q+1 input units 26 into which AUCs are input at different delay times, and laser light intensities are input at different delay times. q+1 input units 26 for input. The intermediate layer of the neural network also includes a plurality of hidden units 27 into which the output of each input unit 26 or the output from other hidden units 27 is input. The output layer of the neural network is composed of one output unit 28 that outputs the temperature of the lesion 40.

各入力ユニット26は、入力(AUC又はレーザー光強度)を、予め定められている複数の隠れユニット27に出力するユニットである。 Each input unit 26 is a unit that outputs input (AUC or laser light intensity) to a plurality of predetermined hidden units 27.

また、本実施形態における各隠れユニット27は、図6に模式的に示したように、各入力xi(i=1~n)と重みwiの乗算結果の総和aを算出し、総和aから、y=1/(1+e-a)を算出して算出結果yを出力するユニット(人工ニューロン)である。出力ユニット28も、各隠れユニット27と同様のユニットである。なお、隠れユニット27、出力ユニット28は、バイアスを考慮するものであっても、1/(1+e-a)とは異なる活性化関数を使用するものであっても良い。 Furthermore, as schematically shown in FIG. 6, each hidden unit 27 in this embodiment calculates the sum a of the multiplication results of each input x i (i=1 to n) and the weight w i , and calculates the sum a This is a unit (artificial neuron) that calculates y=1/(1+e −a ) and outputs the calculation result y. The output unit 28 is also a unit similar to each hidden unit 27. Note that the hidden unit 27 and the output unit 28 may take bias into consideration or may use an activation function different from 1/(1+e −a ).

記憶部24(図1)は、温度推定部22を教育する(詳細は後述)ための複数の教師データが記憶されるユニット(ハードディスク等)である。ここで、教師データとは、内視鏡下レーザー治療を模擬した実験により得られるAUCの時系列データ(サンプリング周期毎のAUC)と、当該実験時のレーザー光強度の時系列データ及び病変部40(病変部40相当の部分)の温度の時系列データとからなるデータのことである。教師データとしては、条件(レーザー光強度等)が異なる比較的に多数のデータが用意される。 The storage unit 24 (FIG. 1) is a unit (such as a hard disk) that stores a plurality of training data for educating the temperature estimation unit 22 (details will be described later). Here, the training data refers to time-series data of AUC (AUC for each sampling period) obtained in an experiment simulating endoscopic laser treatment, time-series data of laser light intensity during the experiment, and lesion area 40. (a portion corresponding to the lesion 40) and time-series temperature data. As the training data, a relatively large amount of data with different conditions (laser light intensity, etc.) is prepared.

学習処理部23は、記憶部24内の教師データ群に基づき、温度推定部22を教育するユニットである。なお、温度推定装置10(温度推定部22)が、病変部40の温度をリアルタイム且つ正確に推定できる装置として機能するのは、この学習処理部23による温度推定部22の教育が完了した後である。 The learning processing section 23 is a unit that educates the temperature estimating section 22 based on the teacher data group in the storage section 24. Note that the temperature estimation device 10 (temperature estimation unit 22) functions as a device that can accurately estimate the temperature of the lesion 40 in real time after the training of the temperature estimation unit 22 by the learning processing unit 23 is completed. be.

具体的には、この学習処理部23は、温度推定部22が温度推定に使用するニューラルネットワークの各重み値(及びバイアス値)を所定の評価関数が最小となるように決定する処理を行う。本実施形態に係る学習処理部23が行うこの処理は、誤差逆伝播法に評価関数を最小化する処理である。また、学習処理部23が最小化する評価関数は、教師データ#j(jは、教師データの識別番号)内のAUC、レーザー光強度の入力時における温度推定部22の各時刻における出力と対応する時刻における教師データ#j内の温度との差の二乗値の総和をCjと表記すると、ΣCj(=C1+C2+…+Cm;mは教師データの
総数)である。ただし、温度推定部22の教育(重み値等の決定)に、誤差逆伝播法以外の方法を用いても良く、上記評価関数とは異なる評価関数を用いても良い。
Specifically, the learning processing section 23 performs a process of determining each weight value (and bias value) of the neural network used by the temperature estimating section 22 for temperature estimation so that a predetermined evaluation function is minimized. This process performed by the learning processing unit 23 according to the present embodiment is a process of minimizing the evaluation function using the error backpropagation method. Furthermore, the evaluation function minimized by the learning processing unit 23 corresponds to the AUC in the teacher data #j (j is the identification number of the teacher data) and the output of the temperature estimation unit 22 at each time when the laser light intensity is input. If the sum of the squared values of the differences from the temperature in the teacher data #j at the time is expressed as C j , it is ΣC j (=C 1 +C 2 +...+C m ; m is the total number of teacher data). However, methods other than the error backpropagation method may be used to educate the temperature estimator 22 (determining weight values, etc.), and an evaluation function different from the above evaluation function may be used.

以上の説明から明らかなように、温度推定装置10は、昇温(加熱)により変性し得る試料(病変部40)の各時点の温度を、その時点までに測定された試料についてのAUCを考慮に入れて推定する構成を有する。そして、各時点までに測定された試料についてのAUCは、試料の変性の程度を示す情報である。従って、本温度推定装置10によれば、図7に例示したように、昇温により変性し得る試料の昇温中の温度をその光学的特性からリアルタイム且つ正確に推定できる。なお、この図7は、レーザー光照射開始後の経過時間に対して、レーザー光照射対象の実測温度(“実温度”)と、温度推定装置10による推定温度(“推定温度”)と、線形モデル(一次遅れモデル)による推定温度とをプロットした図である。また、この実験結果における実温度と温度推定装置10による推定温度との間の誤差は、±2℃である。 As is clear from the above description, the temperature estimating device 10 calculates the temperature at each point in time of the sample (lesioned area 40) that can be denatured by temperature rise (heating), taking into account the AUC of the sample measured up to that point. It has a configuration that estimates by putting it in. The AUC of the sample measured up to each time point is information indicating the degree of denaturation of the sample. Therefore, according to the present temperature estimating device 10, as illustrated in FIG. 7, the temperature of a sample that can be denatured by heating during heating can be estimated accurately in real time from its optical characteristics. Note that FIG. 7 shows the relationship between the actually measured temperature of the laser beam irradiation target (“actual temperature”), the estimated temperature by the temperature estimation device 10 (“estimated temperature”), and the linear relationship with respect to the elapsed time after the start of laser beam irradiation. It is a figure which plots estimated temperature by a model (first-order lag model). Further, the error between the actual temperature and the temperature estimated by the temperature estimating device 10 in this experimental result is ±2°C.

《変形例》
上記した実施例に係る温度推定装置10は、各種の変形が行えるものである。例えば、レーザー光強度の多寡により、AUCの時間変化パターンは変化する。従って、温度推定用のニューラルネットワーク(図5)から、レーザー光強度を入力する入力ユニット26を除去しておいても良い。また、レーザー光強度が一定である(時間変化しない)場合のみを対象とする場合には、温度推定用のニューラルネットワークのレーザー光強度入力用の入力ユニット26の数を1つとしておいても良い。
《Modified example》
The temperature estimating device 10 according to the embodiment described above can be modified in various ways. For example, the time variation pattern of AUC changes depending on the intensity of the laser light. Therefore, the input unit 26 for inputting the laser light intensity may be removed from the temperature estimation neural network (FIG. 5). Further, if the target is only the case where the laser light intensity is constant (does not change over time), the number of input units 26 for inputting the laser light intensity of the neural network for temperature estimation may be set to one. .

温度推定用のニューラルネットワークを、AUCではなく、特定波長の光の反射光強度
、特定のM(M≧2)波長の光の反射光強度の総和を入力としたものに変形しても良い。また、温度推定装置10を、光ファイバーを介さずに反射光強度を測定する装置や、レーザー光以外の熱源により昇温される試料の温度を推定する装置に変形しても良い。
The neural network for temperature estimation may be modified to input the reflected light intensity of light of a specific wavelength and the sum of the reflected light intensity of light of specific M (M≧2) wavelengths instead of AUC. Further, the temperature estimating device 10 may be modified into a device that measures the intensity of reflected light without using an optical fiber, or a device that estimates the temperature of a sample heated by a heat source other than laser light.

<実施例2>
次に、本発明の実施例2について示す。実施例1においては、学習処理部23が、出力ユニット(出力層)から出力される推定温度と試料(病変部40)の温度の誤差が小さくなるように、重み(結合係数)Wを更新する温度推定装置について説明したが、実施例2においては、入力ユニット(入力層)に入力される特性値を増加するとともに、複数の出力ユニット(出力層)からソフトマトリックス関数の値を出力し、これらに正解ラベルを付与し、交差エントロピー誤差が小さくなるように、重み(結合係数)Wを更新する例について説明する。なお、本実施例における温度推定装置10の概略構成は、図1に示したものと同等である。
<Example 2>
Next, Example 2 of the present invention will be described. In the first embodiment, the learning processing unit 23 updates the weight (coupling coefficient) W so that the error between the estimated temperature output from the output unit (output layer) and the temperature of the sample (lesion part 40) becomes small. Although the temperature estimation device has been described, in the second embodiment, the characteristic values input to the input unit (input layer) are increased, and the values of the soft matrix function are output from a plurality of output units (output layer), and these values are An example will be described in which a correct label is given to , and the weight (coupling coefficient) W is updated so that the cross-entropy error becomes smaller. Note that the schematic configuration of the temperature estimating device 10 in this embodiment is equivalent to that shown in FIG. 1.

図8は、本実施例における温度推定装置10を説明するための図である。本実施例では、温度推定部22は、図8に示したニューラルネットワークを用いて、病変部20の温度を推定する。すなわち、本実施例では、試料である病変部40にレーザー光と、計測用光を照射する。そして、時刻kにおける、(1)反射光を分光器によって分光することで得られる波長分布、(2)反射光を血流計に入力することで得られる血流速度に代表される生体情報、(3)レーザー光を光センサに照射することで得られるレーザー光量(レーザー光強度)、(4)CCDカメラ33で得られるファイバースコープ画像を処理した後の画像を、ニューラルネットワークの入力ユニット(入力層)26に入力する。ここで、生体情報としては、血流速度の他、酸素飽和濃度、蛍光、薬剤反応などを用いてもよい。また、ここでは画像を取得するためのカメラとして、CCDカメラ33を用いた例について説明したが、CMOSカメラ等、他の方式のカメラを用いても良いことは当然である。 FIG. 8 is a diagram for explaining the temperature estimation device 10 in this embodiment. In this embodiment, the temperature estimating unit 22 estimates the temperature of the lesion 20 using the neural network shown in FIG. That is, in this embodiment, the lesion 40, which is a sample, is irradiated with laser light and measurement light. Then, at time k, (1) wavelength distribution obtained by dispersing reflected light with a spectrometer, (2) biological information represented by blood flow velocity obtained by inputting reflected light into a blood flow meter, (3) the amount of laser light (laser light intensity) obtained by irradiating the optical sensor with laser light; (4) the image obtained after processing the fiberscope image obtained by the CCD camera 33; layer) 26. Here, as the biological information, in addition to the blood flow rate, oxygen saturation concentration, fluorescence, drug reaction, etc. may be used. Further, here, an example has been described in which the CCD camera 33 is used as a camera for acquiring images, but it goes without saying that other types of cameras, such as a CMOS camera, may be used.

そして、本実施例の隠れユニット(中間層)27では、実施例1と同様、図6に模式的に示したように、各入力xi(i=1~n)と重みwiの乗算結果の総和aを算出し、総和aから、y=1/(1+e-a)を算出して算出結果yを出力する。そして、出力ユニット(出力層)28は、以下の(1)式に基づく、ソフトマックス関数を出力する。

Figure 0007378063000001
なお、このソフトマックス関数は、複数の出力ユニット(出力層)28の値の総和が1になる関数と言える。 In the hidden unit (middle layer) 27 of this embodiment, as in the first embodiment, as schematically shown in FIG. The sum a is calculated, and from the sum a, y=1/(1+e −a ) is calculated and the calculation result y is output. Then, the output unit (output layer) 28 outputs a softmax function based on the following equation (1).
Figure 0007378063000001
Note that this softmax function can be said to be a function in which the sum of the values of the plurality of output units (output layer) 28 is 1.

そして、学習させる温度に相当する出力には正解ラベル“1”を、それ以外の出力には“0”を付与する。そして、以下の(2)式に基づく交差エントロピー誤差Eが、小さくなるように、重み(結合係数)Wを調整する。

Figure 0007378063000002
図8では、30℃を学習させる場合について記載しており、30℃に相当する出力に正
解ラベル“1”が付与されている。なお、本実施例においても、隠れユニット(中間層)27、出力ユニット(出力層)28は、バイアスを考慮するものであっても、1/(1+e-a)とは異なる活性化関数を使用するものであっても良い。 Then, a correct label "1" is given to the output corresponding to the temperature to be learned, and "0" is given to the other outputs. Then, the weight (coupling coefficient) W is adjusted so that the cross-entropy error E based on the following equation (2) becomes small.
Figure 0007378063000002
In FIG. 8, a case is described in which 30° C. is learned, and a correct answer label “1” is given to the output corresponding to 30° C. Note that in this embodiment as well, the hidden unit (middle layer) 27 and the output unit (output layer) 28 use an activation function different from 1/(1+e - a ) even if bias is taken into account. It may be something that you do.

図9には本実施例における学習処理部23による学習処理のフローチャートを示す。本処理が実行されると、まず、ステップS101において、光ファイバー35の中心の照射用光ファイバー36から、温度上昇用のレーザー光と、波長分布と血流計測用の計測用光を試料としての病変部40に照射する。ステップS102においては、周囲の複数の受光用光ファイバー37で2つの計測用光の反射光を受光する。ステップS103においては、レーザー光量、反射光の波長分布、生体情報(この例では組織の血流速度)、ファイバースコープ画像を取得する。ステップS104においては、ステップS103で取得された信号を正規化し、各入力ユニット(入力層)26に入力する。 FIG. 9 shows a flowchart of learning processing by the learning processing section 23 in this embodiment. When this process is executed, first, in step S101, a laser beam for temperature increase and measurement light for measuring wavelength distribution and blood flow are emitted from the irradiation optical fiber 36 at the center of the optical fiber 35 to the lesion area as a sample. 40 irradiation. In step S102, the reflected light of the two measurement lights is received by a plurality of surrounding optical fibers 37 for light reception. In step S103, the amount of laser light, the wavelength distribution of reflected light, biological information (in this example, tissue blood flow velocity), and a fiberscope image are acquired. In step S104, the signal acquired in step S103 is normalized and input to each input unit (input layer) 26.

ステップS105においては、各信号と重み(結合係数)Wにより隠れユニット(中間層)27を通過する。ステップS106においては、ソフトマックス関数として出力ユニット(出力層)28から信号を出力させる。ここで、出力ユニット28の数は、対象となる温度範囲中の温度値の数と一致させる。この例では、対象となる温度範囲を1℃~80℃とし、出力ユニット27の数は、教師データとしての病変部40の温度の数と同数の80個としている。ステップS107においては、各出力ユニット(出力層)28からの出力に正解ラベルを付与する。ここで、推定のための学習をさせたい温度(この例では30℃)にラベル“1”を付与し、それ以外の温度にラベル“0”を付与する。 In step S105, each signal and weight (coupling coefficient) W pass through the hidden unit (intermediate layer) 27. In step S106, a signal is output from the output unit (output layer) 28 as a softmax function. Here, the number of output units 28 is made to match the number of temperature values in the target temperature range. In this example, the target temperature range is 1° C. to 80° C., and the number of output units 27 is 80, which is the same number as the number of temperatures of the lesion 40 as teacher data. In step S107, a correct label is given to the output from each output unit (output layer) 28. Here, a label "1" is given to the temperature at which learning for estimation is desired (in this example, 30° C.), and a label "0" is given to the other temperatures.

ステップS108においては、(2)式に示した交差エントロピー誤差Eが小さくなるように重み(結合係数)Wを更新する。ステップS109においては、S105に戻る。そして、S105~S108の処理を繰り返し実行する。ステップS110においては、対象となる温度範囲(この例では1℃~80℃)の各温度に対して、S104~S109の処理を繰り返し実行し、各温度に対する学習を完了させる。対象となる温度範囲の各温度について学習が終了すると本ルーチンを終了する。 In step S108, the weight (coupling coefficient) W is updated so that the cross-entropy error E shown in equation (2) becomes smaller. In step S109, the process returns to S105. Then, the processes of S105 to S108 are repeatedly executed. In step S110, the processes of S104 to S109 are repeatedly executed for each temperature in the target temperature range (1° C. to 80° C. in this example), and learning for each temperature is completed. When the learning for each temperature in the target temperature range is completed, this routine ends.

実施例1で示した温度推定装置10では、過去に遡る時刻の数(q+1)だけニューラルネットワークを準備する必要があったのに対し、本実施例で示した温度推定装置10では、時刻の数に関わらず、1つのニューラルネットワークを準備することで充分である。また、実施例1で示した温度推定装置10では、入力ユニット26に対して、過去に遡ったAUC、レーザー光強度の情報を入力する必要があったのに対し、本実施例で示した温度推定装置10では、波長分布、レーザー光量、生体情報、ファイバースコープ画像の現在の情報のみを入力すれば足りる。 In the temperature estimation device 10 shown in Example 1, it was necessary to prepare neural networks for the number of times (q+1) going back in the past, whereas in the temperature estimation device 10 shown in this example, it was necessary to prepare neural networks for the number of times (q+1) going back in time. Regardless, it is sufficient to prepare one neural network. Furthermore, in the temperature estimating device 10 shown in Example 1, it was necessary to input past information on AUC and laser light intensity into the input unit 26; The estimation device 10 only needs to input current information such as wavelength distribution, laser light intensity, biological information, and fiberscope images.

図10には、レーザー光照射開始後の経過時間に対する、レーザー光照射対象の実測温度(“実温度”)と、本実施例における学習済の温度推定装置10による推定温度(“推定温度”)とをプロットした図である。図10を見て分かるように、本実施例では、1つのニューラルネットワークを用いた推定であるにも関わらず、実施例1と同等の精度で病変部40の温度を推定することが可能となっている。 FIG. 10 shows the actually measured temperature of the laser beam irradiation target (“actual temperature”) and the temperature estimated by the trained temperature estimation device 10 in this embodiment (“estimated temperature”) with respect to the elapsed time after the start of laser beam irradiation. FIG. As can be seen from FIG. 10, in this example, although the estimation is performed using one neural network, it is possible to estimate the temperature of the lesion 40 with the same accuracy as in Example 1. ing.

本実施例においては、試料である病変部40にレーザー光と、計測用光を照射し、時刻kにおける、CCDカメラ33で得られるファイバースコープ画像を処理した後の画像を、ニューラルネットワークの入力ユニット(入力層)26に入力した。この画像については、画像自体の代わりに、あるいは、画像自体に加えて、光ファイバーあるいは、CCDカメラ33で撮影した画像情報を、RGB(赤(Red)、緑(Green)、青(Blue))や、HLS(色相(Hue)、彩度(Saturation)、輝度(Lightness/Luminance))等の、色空間分解することで得られた数値データ、
あるいはこの数値データの変化をニューラルネットワークの入力ユニット(入力層)26に入力するようにしてもよい。
In this embodiment, a laser beam and measurement light are irradiated onto the lesion 40, which is a sample, and the fiberscope image obtained by the CCD camera 33 at time k is processed, and the image is sent to the input unit of the neural network. (Input layer) 26 was input. Regarding this image, instead of or in addition to the image itself, image information taken with an optical fiber or CCD camera 33 is used as RGB (Red, Green, Blue) or , numerical data obtained by color space decomposition such as HLS (Hue, Saturation, Lightness/Luminance),
Alternatively, changes in this numerical data may be input to the input unit (input layer) 26 of the neural network.

また、本実施例においては、出力ユニット(出力層)28からの信号を、ソフトマックス関数として出力させる例について説明した。しかしながら、出力ユニット(出力層)28からの信号は、シグモイド関数、線形関数、ステップ関数、ランプ関数、ハイパボリックタンジェント関数といった、他の関数として出力しても構わない。 Furthermore, in this embodiment, an example has been described in which the signal from the output unit (output layer) 28 is output as a softmax function. However, the signal from the output unit (output layer) 28 may be output as another function, such as a sigmoid function, a linear function, a step function, a ramp function, or a hyperbolic tangent function.

また、上記の実施例においては、入力ユニット(入力層)26、隠れユニット(中間層)27、出力ユニット(出力層)28を備えた多層構造のニューラルネットワークを用いたが、CNN(Convolutional Neural Network:畳み込みニューラルネットワーク)、RNN(Recurrent Neural Network:リカレントニューラルネットワーク)、強化学習などを含むニューラルネットワークを用いても構わない。 Furthermore, in the above embodiment, a neural network with a multilayer structure including an input unit (input layer) 26, a hidden unit (middle layer) 27, and an output unit (output layer) 28 was used. A neural network including a convolutional neural network), an RNN (Recurrent Neural Network), reinforcement learning, etc. may be used.

上記の実施例においては、内視鏡のチャネルに光ファイバーを挿入して行う医療シーンを例にとって本発明を説明したが、本発明が適用される分野はこれに限られない。例えば、電気メス等の熱的手法により対象を切開する場合の切開対象の温度推定といった、他の医療分野の他、配管内における溶接対象の温度推定といった、工業分野に本発明を適用しても構わない。 In the embodiments described above, the present invention has been explained by taking as an example a medical scene in which an optical fiber is inserted into a channel of an endoscope, but the field to which the present invention is applied is not limited to this. For example, the present invention can be applied to other medical fields, such as estimating the temperature of a target to be incised when incising the target using a thermal method such as an electric scalpel, as well as to the industrial field, such as estimating the temperature of a welding target in piping. I do not care.

10 温度推定装置
11 分光器
12 情報処理装置
13 表示装置
21 AUC算出部
22 温度推定部
23 学習処理部
24 記憶部
26 入力ユニット
27 ユニット
28 出力ユニット
30 内視鏡
31 鉗子口
32 ライドガイド
33 CCDカメラ
35 光ファイバー
36 照射用光ファイバー
37 受光用光ファイバー
40 病変部
10 Temperature estimation device 11 Spectrometer 12 Information processing device 13 Display device 21 AUC calculation unit 22 Temperature estimation unit 23 Learning processing unit 24 Storage unit 26 Input unit 27 Unit 28 Output unit 30 Endoscope 31 Forceps port 32 Ride guide 33 CCD camera 35 Optical fiber 36 Optical fiber for irradiation 37 Optical fiber for light reception 40 Lesion area

Claims (10)

昇温により変性し得る試料の昇温中に、前記試料の反射率に関する光学特性値を周期的に測定する測定部と、
前記試料の温度を出力するための出力ユニット、及び、前記測定部により時系列的に測定される前記光学特性値が互いに異なる遅延時間で入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記測定部により前記光学特性値が測定される度に、前記光学特性値の今回の測定時における前記試料の温度を推定する温度推定部と、
を備えることを特徴とする、温度推定装置。
a measurement unit that periodically measures optical characteristic values regarding reflectance of the sample while the sample is being heated, which can be denatured by temperature rise;
A trained neural network including an output unit for outputting the temperature of the sample, and a plurality of input units into which the optical characteristic values measured in time series by the measurement unit are input at mutually different delay times. a temperature estimation unit that estimates the temperature of the sample at the time of the current measurement of the optical property value, each time the optical property value is measured by the measurement unit;
A temperature estimation device comprising:
前記光学特性値が、前記試料の反射光スペクトルの曲線下面積である、
ことを特徴とする、請求項1に記載の温度推定装置。
The optical characteristic value is the area under the curve of the reflected light spectrum of the sample,
The temperature estimating device according to claim 1, characterized in that:
前記測定部は、レーザー光の照射により昇温されている前記試料の前記光学特性値を周期的に測定し、
前記ニューラルネットワークは、前記レーザー光の強度を示す値を入力するための少なくとも1つの入力ユニットをさらに含む、
ことを特徴とする、請求項1又は2に記載の温度推定装置。
The measurement unit periodically measures the optical characteristic value of the sample whose temperature is being increased by irradiation with laser light,
The neural network further comprises at least one input unit for inputting a value indicating the intensity of the laser light.
The temperature estimating device according to claim 1 or 2, characterized in that:
昇温により変性し得る試料の昇温中に光を照射し、反射光から得られる特性値を測定する測定部と、
前記試料の温度を出力するための出力ユニット、及び、前記測定部により測定される前記特性値が入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記試料の温度を推定する温度推定部と、
を備え、
前記ニューラルネットワークの学習に際して、
前記出力ユニットは、測定対象の温度範囲における前記試料の温度に相当する、特定関数の値を出力し、
出力された前記特定関数の値のうち、学習対象の温度に相当する値に1なるラベルを付与するとともに、それ以外の値に0なるラベルを付与し、
前記出力ユニットにより出力された特定関数の値と、前記ラベルの値とに基づく、交差エントロピー誤差が小さくなるように、前記ニューラルネットワークにおける結合係数を更新する繰り返し演算を実行することを特徴とする、温度推定装置。
a measurement unit that irradiates light during heating of a sample that can be denatured by heating and measures characteristic values obtained from the reflected light;
Estimating the temperature of the sample using a trained neural network including an output unit for outputting the temperature of the sample and a plurality of input units into which the characteristic values measured by the measurement unit are input. A temperature estimation section;
Equipped with
When training the neural network,
The output unit outputs a value of a specific function corresponding to the temperature of the sample in a temperature range to be measured,
Among the output values of the specific function, a value corresponding to the temperature of the learning target is given a label of 1, and other values are given a label of 0,
It is characterized by performing repeated calculations to update coupling coefficients in the neural network so that a cross-entropy error based on the value of the specific function outputted by the output unit and the value of the label is reduced. Temperature estimation device.
前記特定関数は、シグモイド関数、ソフトマックス関数、線形関数、ステップ関数、ランプ関数、ハイパボリックタンジェント関数のいずれかであることを特徴とする、請求項4に記載の、温度推定装置。 5. The temperature estimating device according to claim 4, wherein the specific function is any one of a sigmoid function, a softmax function, a linear function, a step function, a ramp function, and a hyperbolic tangent function. 前記特性値は、前記反射光の波長分布、前記反射光に基づく生体情報、照射する前記光の強度及び、前記試料の画像を含むことを特徴とする、請求項4または5に記載の温度推定装置。 The temperature estimation according to claim 4 or 5, wherein the characteristic value includes a wavelength distribution of the reflected light, biological information based on the reflected light, an intensity of the irradiated light, and an image of the sample. Device. 前記特性値は、前記試料の画像情報を、色空間分解することで得られる数値データを含むことを特徴とする、請求項4または5に記載の温度推定装置。 6. The temperature estimating device according to claim 4, wherein the characteristic value includes numerical data obtained by color space decomposition of image information of the sample. 昇温により変性し得る試料の昇温中に、前記試料の反射率に関する光学特性値を周期的に測定する測定ステップと、
前記試料の温度を出力するための出力ユニット、及び、それぞれ、前記測定ステップより時系列的に測定される前記光学特性値が互いに異なる遅延時間で入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記測定ステップにより前記光学特性値が測定される度に、前記光学特性値の今回の測定時における前記試料の温度を推定する温度推定ステップと、
を含むことを特徴とする、温度推定方法。
a measuring step of periodically measuring an optical characteristic value regarding reflectance of the sample while increasing the temperature of the sample that can be denatured by increasing the temperature;
a trained neural system including an output unit for outputting the temperature of the sample; and a plurality of input units into which the optical characteristic values measured in time series from the measurement step are input at mutually different delay times. a temperature estimation step of estimating the temperature of the sample at the time of the current measurement of the optical property value, using a network, each time the optical property value is measured in the measurement step;
A temperature estimation method, comprising:
昇温により変性し得る試料の昇温中に光を照射し、反射光から得られる特性値を測定する測定ステップと、
前記試料の温度を出力するための出力ユニット、及び、前記測定ステップにおいて測定される前記特性値が入力される複数の入力ユニットを含む学習済みのニューラルネットワークを用いて、前記試料の温度を推定する温度推定ステップと、
を含む、温度推定方法であって、
前記ニューラルネットワークの学習に際して、
前記出力ユニットは、測定対象の温度範囲における前記試料の温度に相当する、特定関数の値を出力し、
出力された前記特定関数の値のうち、学習対象の温度に相当する値に1なるラベルを付与するとともに、それ以外の値に0なるラベルを付与し、
前記出力ユニットにより出力された特定関数の値と、前記ラベルの値とに基づく、交差エントロピー誤差が小さくなるように、前記ニューラルネットワークにおける結合係数を更新する繰り返し演算を実行することを特徴とする、温度推定方法。
a measurement step of irradiating light during heating of a sample that can be denatured by heating and measuring characteristic values obtained from the reflected light;
Estimating the temperature of the sample using a trained neural network including an output unit for outputting the temperature of the sample and a plurality of input units into which the characteristic values measured in the measurement step are input. a temperature estimation step;
A temperature estimation method comprising:
When training the neural network,
The output unit outputs a value of a specific function corresponding to the temperature of the sample in a temperature range to be measured,
Among the output values of the specific function, a value corresponding to the temperature of the learning target is given a label of 1, and other values are given a label of 0,
It is characterized by performing repeated calculations for updating coupling coefficients in the neural network so that a cross-entropy error based on the value of the specific function output by the output unit and the value of the label is reduced. Temperature estimation method.
前記特定関数は、シグモイド関数、ソフトマックス関数、線形関数、ステップ関数、ランプ関数、ハイパボリックタンジェント関数のいずれかであることを特徴とする、請求項9に記載の温度推定方法。 10. The temperature estimation method according to claim 9, wherein the specific function is any one of a sigmoid function, a softmax function, a linear function, a step function, a ramp function, and a hyperbolic tangent function.
JP2019194514A 2019-10-25 2019-10-25 Temperature estimation device and temperature estimation method Active JP7378063B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019194514A JP7378063B2 (en) 2019-10-25 2019-10-25 Temperature estimation device and temperature estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019194514A JP7378063B2 (en) 2019-10-25 2019-10-25 Temperature estimation device and temperature estimation method

Publications (2)

Publication Number Publication Date
JP2021067604A JP2021067604A (en) 2021-04-30
JP7378063B2 true JP7378063B2 (en) 2023-11-13

Family

ID=75638373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019194514A Active JP7378063B2 (en) 2019-10-25 2019-10-25 Temperature estimation device and temperature estimation method

Country Status (1)

Country Link
JP (1) JP7378063B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6241463B2 (en) 2015-08-28 2017-12-06 トヨタ自動車株式会社 Cowl structure

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6241463B2 (en) 2015-08-28 2017-12-06 トヨタ自動車株式会社 Cowl structure

Also Published As

Publication number Publication date
JP2021067604A (en) 2021-04-30

Similar Documents

Publication Publication Date Title
JP5186044B2 (en) Blood glucose level estimation device
JP6590928B2 (en) Image processing apparatus, imaging system, image processing method, and image processing program
JP2010531198A5 (en)
CN106455942A (en) Processing device, endoscope system, endoscope device, image processing method, and image processing program
Paquit et al. 3D and multispectral imaging for subcutaneous veins detection
Chen et al. Rapid tissue oxygenation mapping from snapshot structured-light images with adversarial deep learning
JPWO2020066670A1 (en) Electronic endoscopy system
WO2012093309A1 (en) An apparatus for optical analysis of an associated tissue
Shu et al. Monte Carlo investigation on quantifying the retinal pigment epithelium melanin concentration by photoacoustic ophthalmoscopy
Ayala et al. Live monitoring of haemodynamic changes with multispectral image analysis
JP7378063B2 (en) Temperature estimation device and temperature estimation method
Ueda et al. Assessment of facial symmetry by three-dimensional stereophotogrammetry after mandibular reconstruction: A comparison with subjective assessment
JP2006149679A (en) Method, device and program for determining degree of health
JP2010005047A (en) Method for generating calibration model for optically measuring biological component and non-invasive apparatus for measuring blood glucose value
EP3737280A1 (en) Method and system for in vivo detection of adipose tissue browning
JP2007525244A (en) System and method for identifying and classifying dynamic thermodynamic processes in mammals and identifying them
Saknite et al. Hyperspectral imaging to accurately segment skin erythema and hyperpigmentation in cutaneous chronic graft‐versus‐host disease
WO2017010013A1 (en) Image processing device, imaging system, image processing method, and image processing program
US20220008002A1 (en) Device and Method for Detecting and Monitoring Cutaneous Diseases
Martinez-Vega et al. Oxygen Saturation Measurement Using Hyperspectral Imaging Targeting Real-Time Monitoring
RU2528087C1 (en) Device for measuring haemoglobin concentration and degree of blood oxygenation in mucous membranes
Vemuri et al. Hyperspectral camera selection for interventional health-care
Spigulis et al. Check for updates RGB Laser-Illuminated Spectral Imaging: Applications in Dermatology and Endoscopy
Hidović et al. Validating a model of colon colouration using an evolution strategy with adaptive approximations
WO2012069637A1 (en) Device and method for determining a disease activity

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20191125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231020

R150 Certificate of patent or registration of utility model

Ref document number: 7378063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150