JP6721939B2 - Fluorescence image analyzer - Google Patents
Fluorescence image analyzer Download PDFInfo
- Publication number
- JP6721939B2 JP6721939B2 JP2016061211A JP2016061211A JP6721939B2 JP 6721939 B2 JP6721939 B2 JP 6721939B2 JP 2016061211 A JP2016061211 A JP 2016061211A JP 2016061211 A JP2016061211 A JP 2016061211A JP 6721939 B2 JP6721939 B2 JP 6721939B2
- Authority
- JP
- Japan
- Prior art keywords
- fluorescence image
- fluorescence
- component
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、励起光を人体の一部に照射し、照射された部位から発せられる蛍光を撮影した蛍光画像から異常部位を特定する蛍光画像解析装置に関する。 The present invention relates to a fluorescence image analysis device that irradiates a part of a human body with excitation light and identifies an abnormal region from a fluorescence image obtained by photographing fluorescence emitted from the irradiated region.
蛍光とは、X線や紫外線、可視光線が照射されてそのエネルギーを吸収することで電子が励起し、それが基底状態に戻る際に余分なエネルギーを電磁波として放出する光である。このときに照射する光のことを励起光と呼ぶ。
近年LEDの高輝度化や光学フィルタの高精度化が進み、この原理が医療分野で応用されている。その例が高輝度LEDの光を人体の一部に照射し、照射された部位から発せられる蛍光を専用の光学フィルタを通した撮影蛍光画像から、癌化の恐れのある部位を特定する方法が検討されている。蛍光画像は健常部位では明るく、異常部位では暗く撮影される。この暗く映った部分は蛍光ロスと呼ばれる。
これまで手術による癌の切除は、新たな部位への転移を防ぐため、癌化した部位の周辺部位も切除していた。このとき切除後の再建が困難にならないように可能な限り狭い範囲を切除する必要があることから、癌化した部位を含めて周辺部位にもヨード液を塗布し、切除範囲のマージンを設定して切除するという方法が一般的であった。近年の研究では、ヨード液を塗布して切除範囲のマージンを設定する方法と蛍光画像から蛍光ロスした部分を切除範囲とする方法の対比が盛んに行われている。ただし、励起光を口腔内に均一に照射できないために、蛍光ロスした部位以外にも暗く撮影され、蛍光画像の解析には術者の熟練が必要である。
Fluorescence is light that is irradiated with X-rays, ultraviolet rays, or visible light, absorbs the energy of the electrons, excites the electrons, and emits excess energy as electromagnetic waves when the electrons return to the ground state. The light emitted at this time is called excitation light.
In recent years, LEDs have become brighter and optical filters have become more accurate, and this principle has been applied in the medical field. An example is a method of irradiating a part of the human body with light from a high-brightness LED, and identifying the site that may become cancerous from the fluorescence image taken through a dedicated optical filter for the fluorescence emitted from the irradiated site. Is being considered. The fluorescent image is taken bright in the healthy area and dark in the abnormal area. This dark area is called fluorescence loss.
Until recently, surgical excision of cancer also involved excision of the surrounding area of the cancerous site in order to prevent metastasis to a new site. At this time, it is necessary to excise as narrow a range as possible so that reconstruction after excision does not become difficult.Therefore, iodine solution is applied to surrounding areas including the cancerous area to set a margin for the excision area. The method of excision was generally used. In recent researches, a method of applying a iodine solution to set a margin of an excision range and a method of setting a portion where fluorescence loss has occurred in a fluorescence image as an excision range have been actively compared. However, since it is impossible to uniformly irradiate the oral cavity with the excitation light, an image is taken in a dark area other than the site where the fluorescence is lost, and the operator's skill is required to analyze the fluorescence image.
一方、医科・歯科の蛍光画像診断の分野においては、従来、術者の目視による判断による診断が主流であったが、近年のエビデンスベースの診療への転換の流れから、数値的な根拠が求められる様になり、かつ客観的かつ再現性のある診断が強く求められる様になってきている。この様な流れのなか、学会が認定する専門医の制度が普及し、医科・歯科の蛍光画像診断の分野においても、少なくとも日本国内で共通の診断基準が求められてきている。本発明の分野である蛍光画像診断の分野においてもその様な共通の診断基準に基づく客観的で再現性のある、数値的なエビデンスを持った診断が理想であることは言うまでも無く、現在これらの診断基準づくりはできていない状況にある。
一般的に歯科検診では、歯や歯周組織だけでなく口腔粘膜の観察も行われている。ただし、検査は歯と歯周組織が重要視され、粘膜疾患は見落とされる場合が多く、早期に口腔癌などの粘膜疾患をより確実に発見できる方法が求められていた。
On the other hand, in the field of medical and dental fluorescent image diagnosis, diagnosis based on visual judgment by the operator has been the mainstream in the past, but with the recent shift to evidence-based medical care, a numerical basis is required. There is a strong demand for objective and reproducible diagnosis. In such a trend, the system of specialists certified by academic societies has become widespread, and even in the field of medical and dental fluorescent image diagnosis, at least common diagnostic standards are required in Japan. In the field of fluorescence imaging, which is the field of the present invention, it is needless to say that the objective and reproducible diagnosis with numerical evidence based on such common diagnostic criteria is ideal. These diagnostic criteria have not been established yet.
Generally, in dental examination, not only teeth and periodontal tissues but also oral mucosa are observed. However, the examination emphasizes teeth and periodontal tissues, and mucosal diseases are often overlooked, and there has been a demand for a method that can more reliably detect mucosal diseases such as oral cancer at an early stage.
特許文献1に記載の技術では、蛍光により義歯床に埋め込まれた患者情報を識別することは可能であるが、励起光の強さと500nm以下の波長をカットするフィルタが設置されていないため、患者の粘膜疾患を発見することはできなかった。
特許文献２に記載の技術では、う蝕部と健全部の蛍光を観察する装置であり、口腔粘膜を観察する装置と比較すると励起光の光量が少ないため、口腔粘膜の異常部と健全部を判別することはできなかった。
特許文献３も特許文献２と同様で、口腔内の硬組織である歯を観察対象としており、撮像蛍光画像から歯を抽出する技術が紹介されている。他の蛍光画像観察装置で撮像された蛍光画像を見やすくするためには、非常に有効な技術であるが、硬組織が対象であり、口腔粘膜を観察する場合には励起光の光量が少なく不向きである。
特許文献４に記載の技術は、紫外線領域の波長と可視光領域の波長の2種類の光を照射して撮影し、蛍光画像処理で立体イメージを構築する方法である。紫外線領域の波長の役割は被写体からの蛍光を励起するもので、可視光領域の波長は被写体イメージを撮影するためのものである。この方法では歯などの硬組織から発せられる蛍光から立体イメージを作成するのに適している方法であるが、舌やその他軟組織を観察した場合は、蛍光画像が撮影され、撮影された蛍光画像は蛍光画像処理されないために緑色の濃淡蛍光画像になり、舌やその他軟組織の観察には不向きである。
In the technique described in Patent Document 1, it is possible to identify the patient information embedded in the denture base by fluorescence, but since the filter for cutting the intensity of the excitation light and the wavelength of 500 nm or less is not installed, the patient Could not find mucosal disease in.
The technique described in Patent Document 2 is a device for observing fluorescence of a carious part and a healthy part, and the amount of excitation light is smaller than that of a device for observing the oral mucosa. It could not be determined.
Similar to Patent Document 2, Patent Document 3 targets teeth, which are hard tissues in the oral cavity, as an observation target, and introduces a technique for extracting teeth from a captured fluorescence image. This is a very effective technique for making it easier to see the fluorescence image captured by another fluorescence image observation device, but it is not suitable for observing the oral mucosa because the target is hard tissue and the amount of excitation light is small. Is.
The technique described in Patent Document 4 is a method of irradiating two kinds of light having a wavelength in the ultraviolet region and a wavelength in the visible light region for photographing, and constructing a stereoscopic image by fluorescent image processing. The role of the wavelength in the ultraviolet region is to excite fluorescence from the subject, and the wavelength in the visible region is to capture the subject image. This method is suitable for creating a stereoscopic image from fluorescence emitted from hard tissues such as teeth, but when observing the tongue and other soft tissues, a fluorescence image is taken and the taken fluorescence image is It is not suitable for observing the tongue and other soft tissues because it is a green light and shade fluorescence image because it is not processed by fluorescence image processing.
このように前述の特許文献１〜４では、蛍光画像を撮影するが、口腔粘膜などの軟組織を撮影対象にしていないため、励起光の光量が少ないことや撮影された蛍光画像に蛍光画像処理が加えられていないことで、舌やその他軟組織を撮影した場合にくっきりとした濃淡蛍光画像を得ることは困難であり、口腔癌やその他粘膜疾患発見には適しているとは言えない。 As described above, in the above-mentioned Patent Documents 1 to 4, although a fluorescent image is captured, since the soft tissue such as the oral mucosa is not targeted for imaging, the amount of excitation light is small and the fluorescent image processing is performed on the captured fluorescent image. Since it is not added, it is difficult to obtain a clear gray-scale fluorescence image when photographing the tongue and other soft tissues, and it cannot be said that it is suitable for detecting oral cancer and other mucosal diseases.
ヨード染色で切除範囲のマージンを決定する方法では、染まっている部分と染まっていない部分を術者が目視で確認していた。また、蛍光画像から切除部位を設定する方法でも同様で術者が映像、または、デジタル蛍光画像を目視で確認して切除範囲を設定していた。これらの方法では、術者ごとに切除範囲として設定される範囲にバラツキが生じていた。
蛍光画像から蛍光ロスした部位とそれ以外の部位の境界線の設定が困難な理由は、環境光による不要な外乱光、励起光源の明るさのばらつき、励起光源の投光パターンの強弱、励起光源から被写体までの距離による蛍光の増減など、撮影環境の影響により、蛍光の値が増減するという問題があったからである。
これらの変動や外乱は、個々の患者に対する客観的かつ再現性のある蛍光画像診断の妨げになるだけでなく、少なくとも日本国内において共通の診断基準を構築するための妨げになることも言うまでも無いことである。また、前述の先行文献記載の技術では、硬組織には適用できるが軟組織には適用できないという課題があった。
In the method of determining the margin of the excision area by iodine staining, the operator visually confirmed the stained portion and the unstained portion. Also, the method of setting the excision site from the fluorescence image is similar, and the operator sets the excision range by visually confirming the image or the digital fluorescence image. In these methods, there was variation in the range set as the resection range for each operator.
The reason why it is difficult to set the boundary line between the part where fluorescence is lost from the fluorescence image and the part other than that is unnecessary ambient light due to ambient light, variation in brightness of excitation light source, intensity of excitation light source projection pattern, excitation light source. This is because there is a problem that the value of fluorescence increases or decreases due to the influence of the shooting environment such as the increase or decrease of fluorescence depending on the distance from the subject to the subject.
It goes without saying that these fluctuations and disturbances not only hinder objective and reproducible fluorescence imaging diagnosis for individual patients, but at least they also hinder the establishment of common diagnostic criteria in Japan. There is nothing. Further, the technique described in the above-mentioned prior art has a problem that it can be applied to hard tissues but cannot be applied to soft tissues.
本発明は、医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位の検出に使用する蛍光画像解析装置であって、記憶装置、表示装置、演算装置、インターフェイスを有し、
インターフェイスによって記憶装置に読み込まれた蛍光画像から演算装置にて各画素を赤成分、緑成分、青成分に分割し、それぞれの画素値である成分画素値を算出し、演算装置にて算出することで以下の何れかの画像を表示することを特徴とする異常部位の検出に使用する蛍光画像解析装置である。
The present invention is a fluorescence image analysis device used to detect an abnormal site from a fluorescence image captured by a fluorescence imaging device used in medical and dental fields, and has a storage device, a display device, a calculation device, and an interface,
The arithmetic device divides each pixel into red component, green component, and blue component from the fluorescence image read into the storage device by the interface, and calculates the component pixel value, which is each pixel value, and calculates with the arithmetic device. Is a fluorescence image analysis device used for detecting an abnormal site, characterized by displaying any of the following images.
（１）成分画素値の平均値を算出し、平均値を閾値として表示する平均値蛍光画像、及び又は
（２）隣接した画素の画素値の変化率の２次元分布である変化率蛍光画像、及び又は
（３）画素値から一定のオフセット値を減算し、さらに一定のゲインを乗算した規格化蛍光画像、及び又は
（４）蛍光画像撮影時に使用した照明の明るさ分布を、蛍光画像の各画素の分布から除算した均一化蛍光画像、及び又は
（５）蛍光画像が被写体と蛍光画像撮影に使用した装置との距離情報を各画素毎に有し、距離情報の２乗に比例した値を各画素の画素値に乗算した距離補正蛍光画像、
（６）（３）規格化蛍光画像、（２）均一化蛍光画像、（５）距離補正蛍光画像のいずれか２つ以上を組合せた組合せ蛍光画像
（７）（３）規格化蛍光画像、（２）均一化蛍光画像、（５）距離補正蛍光画像、（６）組合せ蛍光画像のいずれかを元蛍光画像とし、（１）平均値蛍光画像または（２）変化率蛍光画像
(1) An average value fluorescence image in which the average value of the component pixel values is calculated and displayed with the average value as a threshold value; or (2) a change rate fluorescence image that is a two-dimensional distribution of the change rates of the pixel values of adjacent pixels, And/or (3) a standardized fluorescence image obtained by subtracting a constant offset value from the pixel value and further multiplying by a constant gain, and/or (4) the brightness distribution of the illumination used at the time of capturing the fluorescence image, The uniformed fluorescence image divided by the distribution of pixels, and/or (5) the fluorescence image has the distance information between the subject and the device used for capturing the fluorescence image for each pixel, and a value proportional to the square of the distance information. Distance-corrected fluorescence image multiplied by the pixel value of each pixel,
(6) (3) Normalized fluorescence image, (2) Uniformized fluorescence image, (5) Combined fluorescence image in which two or more of any of the distance-corrected fluorescence images are combined (7) (3) Normalized fluorescence image, ( 2) A uniform fluorescence image, (5) distance-corrected fluorescence image, or (6) combination fluorescence image is used as an original fluorescence image, and (1) average value fluorescence image or (2) change rate fluorescence image
本発明は、（１）平均値蛍光画像と（２）変化率蛍光画像を加法混色演算して表示することを特徴とする異常部位の検出に使用する蛍光画像解析装置である。
本発明は、（１）平均値蛍光画像において、閾値を変更する装置を有する異常部位の検出に使用する蛍光画像解析装置である。
本発明は、（３）規格化蛍光画像において、全画素値の最小値をオフセットとし、飽和値を除く最大値から最小値を引いたスパンをダイナミックレンジで割った逆数をゲインとすることを特徴とする異常部位の検出に使用する蛍光画像解析装置である。
The present invention is a fluorescence image analysis apparatus used for detecting an abnormal site, which is characterized in that (1) an average value fluorescence image and (2) a change rate fluorescence image are subjected to additive color mixture calculation and displayed.
The present invention is (1) a fluorescence image analysis apparatus used for detection of an abnormal part having a device for changing a threshold in an average fluorescence image.
The present invention is characterized in that (3) in a standardized fluorescence image, a minimum value of all pixel values is used as an offset, and a span obtained by subtracting the minimum value from a maximum value excluding a saturation value is divided by a dynamic range to obtain a gain. It is a fluorescence image analysis device used for detection of an abnormal part.
本発明は、医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位の検出に使用する蛍光画像解析プログラムであって、
蛍光画像の各画素を赤成分、緑成分、青成分に分割する分割工程、それぞれの画素値である成分画素値を算出する成分画素値算出工程、以下の何れかの画像処理工程を経た各画像を表示する画像表示工程を有することを特徴とする異常部位の検出に使用する蛍光画像解析プログラムである。
The present invention is a fluorescence image analysis program used for detecting an abnormal site from a fluorescence image taken by a fluorescence imaging device used in medical or dentistry,
A division process that divides each pixel of the fluorescent image into a red component, a green component, and a blue component, a component pixel value calculation process that calculates a component pixel value that is each pixel value, and each image that has undergone one of the following image processing processes It is a fluorescence image analysis program used for detecting an abnormal part, which has an image display step of displaying.
（１）成分画素値の平均値を算出し、平均値を閾値とした平均値蛍光画像処理工程、及び又は
（２）隣接した画素の画素値の変化率の２次元分布である変化率蛍光画像処理工程、及び又は
（３）画素値から一定のオフセット値を減算し、さらに一定のゲインを乗算した規格化蛍光画像処理工程、及び又は
（４）蛍光画像撮影時に使用した照明の明るさ分布を、蛍光画像の各画素の分布から除算した均一化蛍光画像処理工程、及び又は
（５）蛍光画像が被写体と蛍光画像撮影に使用した装置との距離情報を各画素毎に有し、距離情報の２乗に比例した値を各画素の画素値に乗算した距離補正蛍光画像処理工程、
（６）（３）規格化蛍光画像処理工程、（２）均一化蛍光画像処理工程、（５）距離補正蛍光画像処理工程のいずれか２つ以上を組合せた組合せ蛍光画像処理工程、
（７）（３）規格化蛍光画像処理工程、（２）均一化蛍光画像処理工程、（５）距離補正蛍光画像処理工程、（６）組合せ蛍光画像処理工程のいずれかを元蛍光画像とし、（１）平均値蛍光画像処理工程または（２）変化率蛍光画像処理工程
(1) An average value fluorescence image processing step of calculating an average value of component pixel values and using the average value as a threshold value; or (2) a change rate fluorescence image which is a two-dimensional distribution of change rates of pixel values of adjacent pixels. A processing step, and/or (3) a standardized fluorescence image processing step in which a constant offset value is subtracted from the pixel value, and a constant gain is further multiplied, and/or (4) the brightness distribution of the illumination used at the time of capturing the fluorescence image. A uniformized fluorescence image processing step of dividing the distribution of each pixel of the fluorescence image, and/or (5) the fluorescence image has distance information between the subject and the device used for capturing the fluorescence image for each pixel, A distance correction fluorescence image processing step in which a pixel value of each pixel is multiplied by a value proportional to the square;
(6) Combined fluorescence image processing step in which any two or more of (3) standardized fluorescence image processing step, (2) uniformized fluorescence image processing step, and (5) distance correction fluorescence image processing step are combined,
(7) Any one of (3) standardized fluorescence image processing step, (2) uniformized fluorescence image processing step, (5) distance correction fluorescence image processing step, and (6) combined fluorescence image processing step is used as an original fluorescence image, (1) Average value fluorescence image processing step or (2) change rate fluorescence image processing step
本発明は、（１）平均値蛍光画像処理工程と（２）変化率蛍光画像処理工程を経た各画像を加法混色演算して表示することを特徴とする異常部位の検出に使用する蛍光画像解析プログラムである。
本発明は、（１）平均値蛍光画像処理工程において、閾値を変更する装置を有する異常部位の検出に使用する蛍光画像解析プログラムである。
本発明は、（３）規格化蛍光画像処理工程において、全画素値の最小値をオフセットとし、飽和値を除く最大値から最小値を引いたスパンをダイナミックレンジで割った逆数をゲインとすることを特徴とする異常部位の検出に使用する蛍光画像解析装置グラムである。
The present invention provides a fluorescent image analysis used for detecting an abnormal site, which is characterized in that (1) an average value fluorescent image processing step and (2) a change rate fluorescent image processing step are subjected to additive color mixture calculation and displayed. It is a program.
The present invention is (1) a fluorescence image analysis program used for detecting an abnormal part having a device for changing a threshold value in the average value fluorescence image processing step.
In the present invention (3), in the standardized fluorescence image processing step, the minimum value of all pixel values is used as an offset, and the reciprocal obtained by dividing the span obtained by subtracting the minimum value from the maximum value excluding the saturation value by the dynamic range is used as the gain. 3 is a fluorescence image analysis device gram used for detecting an abnormal portion characterized by.
本発明は 医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位を検出する蛍光画像解析装置であって、
蛍光画像が保存された記憶装置から蛍光画像を読み込む手段と、
読み込まれた蛍光画像および解析結果を表示する表示装置と、
読み込んだ蛍光画像の各画素を赤成分、緑成分、青成分に分割する手段と、
術者が蛍光画像の特定範囲を指定する手段と、
指定された範囲の画素の赤成分、緑成分、青成分の少なくとも1つ以上の平均値を算出する手段と、
算出された平均値を表示する手段を有し、
平均値より低い画素を異常部位として色分けして表示することを特徴とする蛍光画像解析装置である。
The present invention is a fluorescence image analysis device for detecting an abnormal site from a fluorescence image taken by a fluorescence imaging device used in medical or dentistry,
Means for reading the fluorescence image from the storage device in which the fluorescence image is stored,
A display device that displays the read fluorescence image and analysis result,
A means for dividing each pixel of the read fluorescence image into a red component, a green component, and a blue component,
A means for the surgeon to specify a specific range of the fluorescence image,
A means for calculating an average value of at least one of red component, green component, and blue component of pixels in a specified range,
Having means for displaying the calculated average value,
It is a fluorescence image analysis device characterized in that pixels lower than an average value are displayed in different colors as abnormal parts.
本発明は、異常部位の特定に使用された数値を変更する手段を有し、変更された数値より低い画素を異常部位として再描画する機能を有することを特徴とした蛍光画像解析装置である。
本発明は、蛍光画像が保存された記憶装置から蛍光画像を読み込む手段と、読み込まれた蛍光画像および解析結果を表示する表示装置と、読み込んだ蛍光画像の各画素を赤成分、緑成分、青成分に分割する手段と、術者が蛍光画像の特定範囲を指定する手段と、指定された範囲の画素の赤成分、緑成分、青成分の少なくとも1つ以上の平均値を算出する手段と、撮影された蛍光画像の各画素の輝度値を抽出し、隣接した画素の輝度値の変化率を算出する手段を有し、変化率を256段階で色分けして表示することを特徴とする蛍光画像解析装置である。
本発明は、医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位を検出する蛍光画像解析装置であって、蛍光画像が保存された記憶装置から蛍光画像を読み込む手段と、読み込まれた蛍光画像および解析結果を表示する表示装置と、読み込んだ蛍光画像の各画素を赤成分、緑成分、青成分に分割する手段とを有し、各画素値から一定のオフセット値を減算し、さらに一定のゲインを乗算して、新たな画素値として規格化蛍光画像を生成、表示することを特徴とする蛍光画像解析装置である。
The present invention is a fluorescence image analysis apparatus having means for changing a numerical value used for specifying an abnormal part and having a function of redrawing a pixel having a value lower than the changed numerical value as an abnormal part.
The present invention provides a means for reading a fluorescence image from a storage device in which the fluorescence image is stored, a display device for displaying the read fluorescence image and the analysis result, and each pixel of the read fluorescence image with a red component, a green component, and a blue component. A means for dividing into components, a means for the operator to designate a specific range of the fluorescence image, a red component of pixels in the designated range, a green component, a means for calculating an average value of at least one or more of the blue components, A fluorescent image characterized by having a means for extracting the luminance value of each pixel of the photographed fluorescent image and calculating the rate of change of the luminance value of the adjacent pixel, and displaying the rate of change by color coding in 256 steps. It is an analysis device.
The present invention is a fluorescence image analysis apparatus for detecting an abnormal part from a fluorescence image taken by a fluorescence imaging apparatus used in medical or dental, and a means for reading the fluorescence image from a storage device in which the fluorescence image is stored, and a reading means. And a means for dividing each pixel of the read fluorescence image into a red component, a green component, and a blue component, and subtracting a constant offset value from each pixel value. The fluorescent image analyzing apparatus is characterized in that it further multiplies a constant gain to generate and display a standardized fluorescent image as a new pixel value.
本発明は、全画素値の最小値をオフセットとし、飽和値を除く最大値から最小値を引いたスパンをダイナミックレンジで割った逆数をゲインとすることを特徴とする蛍光画像解析装置である。
本発明は、医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位を検出する蛍光画像解析装置であって、蛍光画像が保存された記憶装置から蛍光画像を読み込む手段と、読み込まれた蛍光画像および解析結果を表示する表示装置と、読み込んだ蛍光画像の各画素を赤成分、緑成分、青成分に分割する手段とを有し、各画素に蛍光画像撮影時に使用した照明の明るさ分布を対応させ、元蛍光画像の各画素毎に、明るさ分布で除算して、新たな画素値として均一化蛍光画像を生成、表示することを特徴とする蛍光画像解析装置である。
The present invention is the fluorescence image analysis apparatus, wherein the minimum value of all pixel values is used as an offset, and the reciprocal of the span obtained by subtracting the minimum value from the maximum value excluding the saturation value is divided by the dynamic range to be the gain.
The present invention is a fluorescence image analysis apparatus for detecting an abnormal part from a fluorescence image taken by a fluorescence imaging apparatus used in medical or dental, and a means for reading the fluorescence image from a storage device in which the fluorescence image is stored, and a reading means. A display device that displays the fluorescent image and the analysis result, and a unit that divides each pixel of the read fluorescent image into a red component, a green component, and a blue component. The fluorescence image analysis device is characterized in that brightness distributions are associated with each other, and each pixel of the original fluorescence image is divided by the brightness distribution to generate and display a uniformized fluorescence image as a new pixel value.
本発明は、医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位を検出する蛍光画像解析装置であって、蛍光画像が保存された記憶装置から蛍光画像を読み込む手段と、読み込まれた蛍光画像および解析結果を表示する表示装置と、読み込んだ蛍光画像の各画素を赤成分、緑成分、青成分に分割する手段とを有し、各画素毎に、対応する被写体各部と蛍光画像撮影に使用した装置との距離の２乗に比例した値を乗算して、新たな画素値として距離補正蛍光画像を生成、表示することを特徴とする蛍光画像解析装置である。
本発明は、規格化、均一化、距離補正のいずれか２つ以上を組合して、新たな補正蛍光画像を生成、表示することを特徴とする蛍光画像解析装置である。
本発明は、規格化蛍光画像、均一化蛍光画像、距離補正蛍光画像、補正蛍光画像のいずれかを元蛍光画像とし、平均値または閾値を設定・表示、または変化率蛍光画像を表示することを特徴とする蛍光画像解析装置である。
ここで、各画素の輝度値を画素値という。
The present invention is a fluorescence image analysis apparatus for detecting an abnormal part from a fluorescence image taken by a fluorescence imaging apparatus used in medical or dental, and a means for reading the fluorescence image from a storage device in which the fluorescence image is stored, and a reading means. A display device for displaying the fluorescent image and the analysis result, and a means for dividing each pixel of the read fluorescent image into a red component, a green component, and a blue component. It is a fluorescence image analysis device characterized by multiplying a value proportional to the square of the distance from the device used for image capturing to generate and display a distance correction fluorescence image as a new pixel value.
The present invention is a fluorescence image analysis apparatus characterized by combining and combining any two or more of standardization, homogenization, and distance correction to generate and display a new corrected fluorescence image.
The present invention uses a standardized fluorescence image, a uniformized fluorescence image, a distance-corrected fluorescence image, or a corrected fluorescence image as an original fluorescence image, and sets/displays an average value or a threshold value, or displays a change rate fluorescence image. It is a characteristic fluorescence image analysis device.
Here, the brightness value of each pixel is referred to as a pixel value.
本発明ではヨード染色法と比較して、蛍光ロス領域を異常部位として色分けして推定表示することが可能なため、術者毎のバラツキを大幅に低減することができる。
（１）平均値蛍光画像においては通常蛍光画像の明るさは撮影装置と被写体の距離、光源のバラツキによって各画素の明るさは変化するが、平均値、または設定値を閾値として明るい部分および暗い部分を区別することで、撮影蛍光画像の明るさが補正される。そのため、これまで術者によってバラツキが生じていた切除範囲の設定も定量的に評価することが可能になった。
In the present invention, the fluorescence loss region can be color-coded as an abnormal site and estimated to be displayed, as compared with the iodine staining method, so that the variation between operators can be greatly reduced.
(1) In the average value fluorescence image, the brightness of the normal fluorescence image varies depending on the distance between the photographing device and the subject and the variation of the light source, but the brightness or darkness of each pixel changes with the average value or the set value as the threshold value. By distinguishing the portions, the brightness of the captured fluorescent image is corrected. Therefore, it has become possible to quantitatively evaluate the setting of the excision range, which has been varied by the operator.
（２）変化率蛍光画像においては、蛍光画像は元々緑成分のみで表示されることが多いため、蛍光画像は緑成分の輝度の濃淡蛍光画像になることが多い。そのため、術者が蛍光ロスを見逃すことが予想される。本発明により、濃淡蛍光画像である蛍光画像に変化率蛍光画像を重ねて表示できることから術者の見落としが、これまでと比べて格段に少なくなる。
次に（３）規格化蛍光画像について説明する。環境光が存在する場所で撮影した場合には、環境光による蛍光成分が加算される。一方、励起光が装置によってばらついた場合は、発生する蛍光の量が変動する。規格化蛍光画像を用いることで、環境光の影響や装置のばらつきを抑えることができる。
加えて、（４）均一化蛍光画像においては均一化蛍光画像を用いることで、光源の投光パターンによらず、投光パターンの中心付近でも周辺部位でも同じ尺度で評価することができる。
(2) In the change rate fluorescence image, since the fluorescence image is originally displayed only with the green component, the fluorescence image is often a grayscale fluorescence image having the brightness of the green component. Therefore, it is expected that the operator will miss the fluorescence loss. According to the present invention, since the change rate fluorescence image can be superimposed and displayed on the fluorescence image which is the grayscale fluorescence image, the operator's oversight is significantly reduced compared to the past.
Next, (3) the normalized fluorescence image will be described. When the image is taken in a place where ambient light exists, the fluorescent component due to ambient light is added. On the other hand, when the excitation light varies depending on the device, the amount of fluorescence generated changes. By using the standardized fluorescence image, it is possible to suppress the influence of ambient light and the variation of the device.
In addition, (4) By using the uniformized fluorescence image in the uniformized fluorescence image, it is possible to evaluate with the same scale both in the vicinity of the center of the projection pattern and in the peripheral region, regardless of the projection pattern of the light source.
さらに、（５）距離補正蛍光画像においては距離補正蛍光画像を用いることで、距離に依存していた蛍光の濃淡を解消することができる。
（６）組合せ蛍光画像や（７）（３）規格化蛍光画像、（４）均一化蛍光画像、（５）距離補正蛍光画像、（６）組合せ蛍光画像のいずれかを元蛍光画像とし、（１）平均値蛍光画像または（２）変化率蛍光画像とすることで、環境光、装置の差、撮影距離、術者によらず、より数値的エビデンスに基づく、客観的で再現性のある蛍光画像診断が可能となる。
以上、本発明による装置やプログラムにより、少なくとも日本国内で共通の診断基準を構築することが可能となる。
Furthermore, in (5) the distance-corrected fluorescence image, by using the distance-corrected fluorescence image, it is possible to eliminate the light and shade of the fluorescence that was dependent on the distance.
(6) Combined fluorescence image, (7) (3) Normalized fluorescence image, (4) Uniformized fluorescence image, (5) Distance-corrected fluorescence image, (6) Combination fluorescence image is the original fluorescence image, By using 1) mean value fluorescence image or (2) change rate fluorescence image, objective and reproducible fluorescence based on more numerical evidence, regardless of ambient light, difference in equipment, shooting distance, and operator. Image diagnosis becomes possible.
As described above, the device and the program according to the present invention make it possible to establish a common diagnostic standard at least in Japan.
まず、本発明に関わる実施の形態を示す。
蛍光画像を撮影する撮影装置は、425nm以下の波長の光を人体の一部に照射する光源を備えており、530nm以下の光を遮断するフィルタが撮像素子に設置されているものであれば何でも良いが、好ましくは500nm以下の光を遮断するフィルタが備えられていることであり、最も好ましいのは475nm以下の光を遮断するフィルタが備えられていることである。本発明の蛍光画像解析装置は、蛍光画像を撮影する撮影装置で撮影された蛍光画像を記憶装置から読み込んで、蛍光画像の各画素を赤成分、緑成分、青成分に分割し、記憶装置から読み出られた蛍光画像に、術者が任意の範囲を指定し、指定された範囲内の緑成分の平均値を算出し、指定された範囲内で平均値より暗い画素を蛍光ロス部位（異常推定部位）として色分けして表示する。
ここで425nm以下の波長の光の光源は、425nmより長い波長の光が少なければ少ないほどよいが、仮に425nm以上の波長の光が含まれる光源を使用した場合は、光源と被写体の間に425nm以上の波長をカットするフィルタが設置されていれば光源は何でもよい。好ましくは425nm以下の波長で発光するＬＥＤである。撮影装置内の撮像素子はカラーであればＣＣＤでもＣＭＯＳでも良い。
First, an embodiment relating to the present invention will be shown.
An image capturing device that captures a fluorescent image is equipped with a light source that irradiates a part of the human body with light having a wavelength of 425 nm or less, and any filter that blocks light of 530 nm or less is installed in the image sensor. Although good, it is preferable that a filter that blocks light of 500 nm or less is provided, and most preferably that a filter that blocks light of 475 nm or less is provided. The fluorescence image analysis device of the present invention reads a fluorescence image captured by a photographing device that captures a fluorescence image from a storage device, divides each pixel of the fluorescence image into a red component, a green component, and a blue component, and stores the fluorescence component from the storage device. In the read fluorescence image, the operator specifies an arbitrary range, calculates the average value of the green component within the specified range, and within the specified range pixels that are darker than the average value have fluorescence loss sites (abnormality). (Estimated part) is displayed in different colors.
The light source with a wavelength of 425 nm or less is better if there is less light with a wavelength longer than 425 nm, but if a light source with a wavelength of 425 nm or more is used, the distance between the light source and the subject is 425 nm. Any light source may be used as long as a filter that cuts the above wavelengths is installed. An LED that emits light at a wavelength of 425 nm or less is preferable. The image pickup device in the image pickup device may be a CCD or a CMOS if it is a color device.
記憶装置とは撮影装置で撮影された蛍光画像を保存できるものであれば何でもよいが、好ましくはＵＳＢメモリー、ＳＤカード、ＭｉｃｒｏＳＤカードであり、最も好ましいのは撮影装置に装備された記憶装置である。蛍光画像解析装置にＵＳＢポート、ＳＤカードスロットが装備されており、記憶装置から蛍光画像解析装置に読み込むのは、ＵＳＢケーブルで接続して蛍光画像を蛍光画像解析装置に読み込むのが最も好ましいが、蛍光画像解析装置のＳＤカードスロットでＳＤカードから読み出してもよい。
読み込まれた蛍光画像および解析結果を表示する表示装置とは、赤成分を２５６階調、緑成分を２５６階調、青成分を２５６階調で表示できれる表示装置であれば何でもよい。好ましくは撮影装置と一体化した表示装置であり、最も好ましいのはパソコン用のディスプレイである。
演算装置とは、演算する装置であり、ＣＰＵなどに代表される。
インターフェイスとは演算装置や記憶装置に外部からデータや指示信号を入力する為の装置であり、外部記憶装置やデータ入力装置との接続部材である。具体的には外部記憶装置と接続するためのＵＳＢポート、ＳＤカードスロット等であり、データ入力装置としてはキーボード、スキャナ、カメラなどがある。
The storage device may be any device as long as it can store a fluorescence image taken by the imaging device, but is preferably a USB memory, an SD card, or a MicroSD card, and most preferably a storage device equipped in the imaging device. .. The fluorescence image analyzer is equipped with a USB port and an SD card slot, and it is most preferable to read the fluorescence image from the storage device into the fluorescence image analyzer by connecting with a USB cable, The SD card slot of the fluorescence image analyzer may be used to read from the SD card.
The display device that displays the read fluorescence image and the analysis result may be any display device that can display the red component in 256 gradations, the green component in 256 gradations, and the blue component in 256 gradations. A display device integrated with the photographing device is preferable, and a display for a personal computer is most preferable.
The arithmetic device is a device that performs arithmetic operations, and is represented by a CPU or the like.
The interface is a device for inputting data and instruction signals to the arithmetic unit and the storage device from the outside, and is a connecting member to the external storage device and the data input device. Specifically, it is a USB port for connecting to an external storage device, an SD card slot, etc., and the data input device includes a keyboard, a scanner, a camera, and the like.
読み込んだ蛍光画像の各画素を赤成分、緑成分、青成分に分割する手段とは、読み込んだ蛍光画像の各画素の赤成分、緑線分、青成分に分割できるファームウェア、または、アプリケーションソフトウェアである。両ソフトウェアは、読み込んだデジタル蛍光画像の各画素の赤成分、緑成分、青成分の各成分の輝度値を抽出する機能を有するものである。
術者が行う蛍光画像の中の範囲指定は、円形、楕円形、三角形、四角形など指定する範囲の形は何でもよい。円形の指定は蛍光画像上にマウスでクリックした点を中心に、あらかじめ設定されている数値を半径、または、直径の円で範囲指定する。このとき半径、または、直径を変更できる機能が装備されていることが好ましい。楕円形の指定は、蛍光画像上にマウスでクリックした点を中心に、あらかじめ設定されている長径と短径で範囲指定する。円形と同様に長径と短径の長さを変更できる機能を装備していることが好ましい。三角形、四角形、それ以上の多角形の指定は、蛍光画像上にマウスで点を3点以上指定し、各点を結んで範囲指定する。円形、楕円形、三角形以上の多角形を指定する時、マウスの左ボタンで点を指定し、右ボタンでキャンセルできる機能を装備していることが好ましい。
The means for dividing each pixel of the read fluorescence image into red, green, and blue components is the firmware or application software that can divide each pixel of the read fluorescence image into the red, green, and blue components. is there. Both software have a function of extracting the brightness value of each component of the red component, the green component, and the blue component of each pixel of the read digital fluorescence image.
For the range designation in the fluorescence image performed by the operator, any shape of the designated range such as a circle, an ellipse, a triangle, and a quadrangle may be used. To specify a circle, a preset numerical value is designated by a radius or a circle with a diameter centered on the point clicked with the mouse on the fluorescence image. At this time, it is preferable to have a function of changing the radius or the diameter. To specify the ellipse, the range of the major axis and the minor axis that are set in advance is centered around the point where the mouse is clicked on the fluorescence image. Like the circular shape, it is preferable to have a function of changing the length of the major axis and the minor axis. To specify triangles, quadrangles, and polygons larger than this, specify three or more points on the fluorescence image with the mouse, and connect the points to specify the range. When designating a circle, an ellipse, or a polygon that is a triangle or more, it is preferable to have a function of designating a point with the left button of the mouse and canceling with the right button.
デジタル蛍光画像は、０〜２５５までの２５６階調の赤成分、緑成分、青成分で表された画素で構成される。この中で術者に指定された範囲の画素の少なくとも１つ以上の成分の平均値を算出する。好ましくは緑成分の平均値を算出する。さらに好ましいのは、赤成分、青成分の平均値を算出する機能を装備していることである。この平均値の利用方法であるが、平均値は解析するための基準値の最初の値として利用する。指定範囲内の全ての画素を対象として平均値を最初の値とする基準値以下の画素を緑色以外の色で塗りつぶす機能を装備していることが好ましい。最も好ましいのは、基準値を術者が操作して、塗りつぶす画素を再描画する機能を装備していることである。
隣接した画素の輝度値の変化率を算出する手段とは、好ましくは横方向の変化率を算出し、変化率を２５６階調に変換することで、さらに好ましいのは縦方向の変化率も横方向と同様に算出し、２５６階調に変換することである。最も好ましいのは解析対象の画素の座標をＡ（Ｘ、Ｙ）とすると、Ｔ１（Ｘ−１，Ｙ）、Ｔ２（Ｘ−１、Ｙ−１）、Ｔ３（Ｘ−１、Ｙ＋１）、Ｔ４（Ｘ、Ｙ−１）、Ｔ５（Ｘ、Ｙ＋１）、Ｔ６（Ｘ＋１、Ｙ−１）、Ｔ７（Ｘ＋１，Ｙ）、Ｔ８（Ｘ＋１，Ｙ＋１）の各点と解析対象画素（Ｘ，Ｙ）の変化率を算出し、２５６階調に変換する機能を装備していることである。変化率を算出する色成分は緑成分で算出されることが好ましいが、赤成分、青成分の変化率も同時に算出されていると更に好ましい。
The digital fluorescent image is composed of pixels represented by red, green, and blue components of 256 gradations from 0 to 255. Among them, the average value of at least one component of pixels in the range designated by the operator is calculated. Preferably, the average value of the green component is calculated. More preferably, it is equipped with a function of calculating the average value of the red component and the blue component. Regarding the method of using this average value, the average value is used as the first value of the reference value for analysis. It is preferable to equip all the pixels within the specified range with a function of filling the pixels having the average value as the first value and the reference value or less with a color other than green. Most preferably, the operator has a function of operating the reference value to redraw the pixel to be filled.
The means for calculating the change rate of the brightness value of the adjacent pixel is preferably a horizontal change rate, and the change rate is converted into 256 gradations. More preferably, the vertical change rate is also horizontal. It is calculated in the same manner as the direction and converted into 256 gradations. Most preferably, when the coordinates of the pixel to be analyzed are A(X, Y), T1(X-1, Y), T2(X-1, Y-1), T3(X-1, Y+1), T4. (X, Y-1), T5 (X, Y+1), T6 (X+1, Y-1), T7 (X+1, Y), T8 (X+1, Y+1) and the pixel to be analyzed (X, Y). It is equipped with a function of calculating the change rate and converting it into 256 gradations. The color component for calculating the rate of change is preferably calculated as the green component, but more preferably the rate of change for the red component and the blue component is calculated at the same time.
解析対象画素の変化率は、Ａの緑成分−Ｔ１の緑成分の絶対値、Ａの緑成分−Ｔ２の緑成分の絶対値、Ａの緑成分−Ｔ３の緑成分の絶対値、Ａの緑成分−Ｔ４の緑成分の絶対値、Ａの緑成分−Ｔ５の緑成分の絶対値、Ａの緑成分−Ｔ６の緑成分の絶対値、Ａの緑成分−Ｔ７の緑成分の絶対値、Ａの緑成分−Ｔ８の緑成分の絶対値の総和を求めて平均化する。この平均値を解析対象画素の変化率とする。赤成分と青成分を求める場合も同様の計算方法である。
変化率を表示する場合、変化率の数値を２５６階調に変換しても変化が乏しい蛍光画像の場合、蛍光ロスを発見することが困難な場合がある。その場合は、変化率の数値を少なくとも２倍以上の数値を掛け算して表示する機能を有することが好ましい。さらに好ましいのは掛け算する２倍以上の数値は術者が任意に選べる機能が装備されていることである。
The rate of change of the pixel to be analyzed is the green component of A-the absolute value of the green component of T1, the green component of A-the absolute value of the green component of T2, the green component of A-the absolute value of the green component of T3, the green of A. Component-T4 green component absolute value, A green component-T5 green component absolute value, A green component-T6 green component absolute value, A green component-T7 green component absolute value, A Green component-the total of the absolute values of the green component of T8 is calculated and averaged. This average value is used as the rate of change of the pixel to be analyzed. The same calculation method is used to obtain the red component and the blue component.
When displaying the change rate, it may be difficult to find the fluorescence loss in the case of a fluorescence image in which the change rate is converted into 256 gradations and the change is scarce. In that case, it is preferable to have a function of displaying the numerical value of the rate of change by multiplying it by at least twice or more. It is more preferable that the operator be equipped with a function that allows the operator to arbitrarily select a value that is more than double the value.
次に蛍光画像解析装置の解析手順を以下に示す。
（１）撮影された蛍光画像を記憶装置から読み出す。
（２）蛍光画像を構成する全ての画素を赤成分、緑成分、青成分に分割する。
（３）表示装置に緑成分のみの蛍光画像を表示する。このとき、マウスの示す位置のＸ，Ｙ座標と赤成分、緑成分、青成分の数値を表示する。
（４）円形、楕円形、多角形の中から解析範囲の指定方法を選択する。
（５）表示されている蛍光画像に解析範囲を指定する。
（６）指定された解析範囲内の全ての画素の緑成分の平均値を基準値として算出する。
（７）指定された解析範囲内の画素で平均値より小さい画素を緑色以外の色で塗りつぶす。
（８）観察が困難な場合、基準値の数値を入力し、基準値より小さい数値の画素を緑色以外の色で塗りつぶす。
Next, the analysis procedure of the fluorescence image analyzer is shown below.
(1) The captured fluorescence image is read from the storage device.
(2) All pixels forming the fluorescence image are divided into a red component, a green component, and a blue component.
(3) A fluorescent image of only the green component is displayed on the display device. At this time, the X and Y coordinates of the position indicated by the mouse and the numerical values of the red component, the green component and the blue component are displayed.
(4) Select the method of designating the analysis range from among the circle, ellipse, and polygon.
(5) Designate the analysis range on the displayed fluorescence image.
(6) The average value of the green components of all the pixels within the designated analysis range is calculated as the reference value.
(7) Pixels within the designated analysis range that are smaller than the average value are filled with a color other than green.
(8) If it is difficult to observe, enter the numerical value of the reference value and fill the pixels with the numerical value smaller than the reference value with a color other than green.
さらに本発明の（３）規格化蛍光画像、（４）均一化蛍光画像、（５）距離補正蛍光画像（６）組合せ蛍光画像（７）（３）規格化蛍光画像、（４）均一化蛍光画像、（５）距離補正蛍光画像、（６）組合せ蛍光画像のいずれかを元蛍光画像とし、（１）平均値蛍光画像または（２）変化率蛍光画像に関わる実施例を以下に示す。
各画素値から、全画素値の最小値であるオフセット値を減算し、さらに飽和値を除外した最大値から最小値を引いてダイナミックレンジで割った逆数をゲインとして乗算し、新たな画素値として規格化蛍光画像を生成、表示する。また、各画素に蛍光画像撮影時に使用した照明の明るさ分布を対応させ、元蛍光画像の各画素毎に、明るさ分布で除算して、新たな画素値として均一化蛍光画像を生成、表示させる。各画素毎に、対応する被写体各部と蛍光画像撮影に使用した装置との距離の２乗に比例した値を乗算して、新たな画素値として距離補正蛍光画像を生成、表示する。
さらに、規格化、均一化、距離補正のいずれか２つ以上を組合して、新たな補正蛍光画像を生成、表示する。
最終的に、規格化蛍光画像、均一化蛍光画像、距離補正蛍光画像、補正蛍光画像のいずれかの蛍光画像を元蛍光画像として、上述した平均値または閾値を設定・表示、または変化率蛍光画像を表示する。
Furthermore, (3) standardized fluorescence image, (4) uniformized fluorescence image, (5) distance-corrected fluorescence image (6) combined fluorescence image (7) (3) standardized fluorescence image, and (4) uniformized fluorescence image of the present invention An example relating to (1) the average value fluorescence image or (2) the rate of change fluorescence image, with any of the image, (5) distance-corrected fluorescence image, and (6) combined fluorescence image as the original fluorescence image is shown below.
The offset value, which is the minimum value of all pixel values, is subtracted from each pixel value, the minimum value is subtracted from the maximum value excluding the saturation value, and the reciprocal obtained by dividing by the dynamic range is multiplied as a gain to obtain a new pixel value. Generate and display a standardized fluorescence image. In addition, each pixel is made to correspond to the brightness distribution of the illumination used when capturing the fluorescent image, and each pixel of the original fluorescent image is divided by the brightness distribution to generate and display a uniform fluorescent image as a new pixel value. Let For each pixel, a value proportional to the square of the distance between each corresponding subject part and the device used for capturing the fluorescent image is multiplied to generate and display the distance-corrected fluorescent image as a new pixel value.
Furthermore, a new corrected fluorescence image is generated and displayed by combining any two or more of standardization, homogenization, and distance correction.
Finally, the standard fluorescence image, the uniformized fluorescence image, the distance-corrected fluorescence image, or the corrected fluorescence image is used as the original fluorescence image, and the above-mentioned average value or threshold value is set and displayed, or the change-rate fluorescence image is set. Is displayed.
図２の元蛍光画像では蛍光画像処理を行わない生の輝度値データを用いているが、蛍光画像取得の段階において、励起光以外の環境光の影響が加算されたり、励起光の強さが撮影距離によって変動する問題を解決するために、（５）規格化蛍光画像により、生の輝度値に対して一定の値（オフセット）を減算したり、一定の値（ゲイン）を掛け算したりすることが出来る。また、全画素の最小値をオフセットとしたり、最大値から最小値を引いたスパンをダイナミックレンジ（例えば輝度が８ビットで表される場合は２５６）で割った逆数をゲインとしたりすることが出来る。 The original fluorescence image of FIG. 2 uses raw luminance value data that is not subjected to fluorescence image processing. However, at the stage of acquiring the fluorescence image, the influence of ambient light other than the excitation light is added, and the intensity of the excitation light is In order to solve the problem that changes depending on the shooting distance, (5) subtract a constant value (offset) from the raw luminance value or multiply a constant value (gain) by the standardized fluorescence image. You can Also, the minimum value of all pixels can be used as an offset, or the reciprocal obtained by dividing the span obtained by subtracting the minimum value from the maximum value by the dynamic range (for example, 256 when luminance is represented by 8 bits) can be used as the gain. ..
また、蛍光画像取得の段階において、緑色蛍光の輝度分布が励起光の明るさの分布（中央が明るく、周辺に向かうに従って暗くなる）に依存してしまう問題を解決するために、（４）均一化蛍光画像により、励起光の明るさの分布を予め０〜１の比率でデータ化し、対応する画素毎に明るさ分布の比率で除算することで、周辺部の蛍光の輝度値が中央部と同等の強さで均一に照射された様に補正することが出来る。
また、蛍光画像取得の段階において、緑色蛍光の輝度分布が撮影装置と被写体各部の距離の２乗で減衰してしまうという励起光の明るさに依存してしまう問題を解決するために、（５）距離補正蛍光画像により、被写体各部と撮影装置との距離の２乗に比例した値を画素毎に乗算することで、距離に依存しない様に補正することができる。この被写体各部への距離分布は予め設定しておくことも可能であり、また例えばオートフォーカスに用いるパラメーターを使用することも可能である。また、（６）組合せ蛍光画像または（７）（３）規格化蛍光画像、（４）均一化蛍光画像、（５）距離補正蛍光画像、（６）組合せ蛍光画像のいずれかを元蛍光画像とし、（１）平均値蛍光画像または（２）変化率蛍光画像により、上記の技術を複合することが可能である。
In addition, in order to solve the problem that the luminance distribution of green fluorescence depends on the distribution of the brightness of the excitation light (bright in the center and darkens toward the periphery) at the stage of acquiring the fluorescent image, (4) uniform By converting the brightness distribution of the excitation light into data in advance with a ratio of 0 to 1 by the quantized fluorescence image, and dividing by the ratio of the brightness distribution for each corresponding pixel, the brightness value of the fluorescence in the peripheral part is equal to that in the central part. It can be corrected as if it was uniformly illuminated with the same intensity.
Further, in order to solve the problem that the brightness distribution of the green fluorescence is attenuated by the square of the distance between the imaging device and each part of the subject at the stage of acquiring the fluorescence image, which depends on the brightness of the excitation light, (5 ) A distance correction fluorescent image can be corrected independently of the distance by multiplying each pixel by a value proportional to the square of the distance between each part of the subject and the photographing device. The distance distribution to each part of the subject can be set in advance, and for example, parameters used for autofocus can be used. Further, any one of (6) combination fluorescence image, (7) (3) standardized fluorescence image, (4) uniformized fluorescence image, (5) distance-corrected fluorescence image, and (6) combination fluorescence image is used as an original fluorescence image. , (1) average value fluorescence image or (2) change rate fluorescence image, it is possible to combine the above techniques.
これまで癌などの異常部位を特定し、切除する範囲のマージンを決定する方法として、ヨード液を塗布して染色度合を術者が判断する方法、励起光を患部付近に照射して照射された部位から発せられる蛍光を撮影して蛍光画像から術者が判断する方法が一般的であったが、どちらも術者ごとのバラツキが大きかった。本発明は蛍光画像を撮影して蛍光画像処理を行うことで、使用環境や装置の器差、術者の判断基準の誤差を補正することができる。そのため異常部位の検出が容易になり、癌の早期発見につながる。また、数値的エビデンスに基づく客観的かつ再現性のある検査を実現する。これは、少なくとも日本国内の共通の診断基準によりさらに利用価値が高まり、癌の重篤化率や死亡率の低減に貢献するものと考える。
Up to now, as a method of identifying an abnormal site such as cancer and determining the margin of the excision range, a method in which the operator judges the degree of staining by applying iodine solution, irradiation with excitation light near the affected area was applied. A general method is to take an image of fluorescence emitted from the site and judge the operator from the fluorescence image, but in both cases, there was a large variation among the operators. According to the present invention, by capturing a fluorescence image and performing the fluorescence image processing, it is possible to correct the environment of use, the instrumental error of the apparatus, and the error in the judgment standard of the operator. Therefore, it becomes easy to detect an abnormal site, which leads to early detection of cancer. It also provides objective and reproducible testing based on numerical evidence. This is considered to contribute to the reduction of the seriousness rate of cancer and the mortality rate by further increasing the utility value by at least the common diagnostic criteria in Japan.
Claims (4)
インターフェイスによって記憶装置に読み込まれた蛍光画像から演算装置にて各画素を赤成分、緑成分、青成分に分割し、それぞれの画素値である成分画素値を算出し、演算装置にて算出することで（２）隣接した画素の画素値の変化率の２次元分布である変化率蛍光画像を表示することを特徴とする異常部位の検出に使用する蛍光画像解析装置。 A fluorescence image analysis device used for detecting an abnormal site from a fluorescence image taken by a fluorescence imaging device used in medicine or dentistry, having a storage device, a display device, a calculation device, and an interface,
The arithmetic device divides each pixel into red component, green component, and blue component from the fluorescence image read into the storage device by the interface, and calculates the component pixel value, which is each pixel value, and calculates with the arithmetic device. (2) A fluorescence image analysis device used for detecting an abnormal portion, which displays a change rate fluorescence image that is a two-dimensional distribution of change rates of pixel values of adjacent pixels .
蛍光画像の各画素を赤成分、緑成分、青成分に分割する分割工程、それぞれの画素値である成分画素値を算出する成分画素値算出工程、（２）隣接した画素の画素値の変化率の２次元分布である変化率蛍光画像処理工程を経た各画像を表示する画像表示工程を有することを特徴とする異常部位の検出に使用する蛍光画像解析プログラム。 A fluorescence image analysis program used to detect an abnormal portion from a fluorescence image taken by a fluorescence imaging device used in medicine and dentistry,
A dividing step of dividing each pixel of the fluorescent image into a red component, a green component, and a blue component, a component pixel value calculating step of calculating a component pixel value which is each pixel value, ( 2) a change rate of pixel values of adjacent pixels A fluorescence image analysis program used for detecting an abnormal part, which has an image display step of displaying each image that has undergone a change rate fluorescence image processing step having a two-dimensional distribution .
(2) The fluorescence image analysis program used for detecting an abnormal part according to claim 3 , wherein each image that has undergone the change rate fluorescence image processing step is subjected to an additive color mixture calculation and displayed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016061211A JP6721939B2 (en) | 2016-03-25 | 2016-03-25 | Fluorescence image analyzer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016061211A JP6721939B2 (en) | 2016-03-25 | 2016-03-25 | Fluorescence image analyzer |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017169960A JP2017169960A (en) | 2017-09-28 |
| JP6721939B2 true JP6721939B2 (en) | 2020-07-15 |
Family
ID=59969778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016061211A Active JP6721939B2 (en) | 2016-03-25 | 2016-03-25 | Fluorescence image analyzer |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6721939B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112816480A (en) * | 2021-02-01 | 2021-05-18 | 奎泰斯特(上海)科技有限公司 | Water quality enzyme substrate identification method |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6748259B1 (en) * | 2000-06-15 | 2004-06-08 | Spectros Corporation | Optical imaging of induced signals in vivo under ambient light conditions |
| JP2002065581A (en) * | 2000-08-25 | 2002-03-05 | Fuji Photo Film Co Ltd | Endoscope device |
| JP4199510B2 (en) * | 2002-09-30 | 2008-12-17 | Ｈｏｙａ株式会社 | Diagnostic aid device |
| DE102007014413B4 (en) * | 2007-03-17 | 2016-02-04 | DüRR DENTAL AG | Method for evaluating fluorescent image sets and apparatus for carrying it out |
| JP5436757B2 (en) * | 2007-03-20 | 2014-03-05 | オリンパス株式会社 | Fluorescence observation equipment |
| EP2074933B1 (en) * | 2007-12-19 | 2012-05-02 | Kantonsspital Aarau AG | Method of analysing and processing fluorescent images |
| US8866894B2 (en) * | 2008-01-22 | 2014-10-21 | Carestream Health, Inc. | Method for real-time visualization of caries condition |
| JP5160343B2 (en) * | 2008-08-22 | 2013-03-13 | オリンパスメディカルシステムズ株式会社 | Imaging system and endoscope system |
| JP2011110272A (en) * | 2009-11-27 | 2011-06-09 | Fujifilm Corp | Endoscope apparatus |
| JP6006199B2 (en) * | 2011-03-31 | 2016-10-12 | オリンパス株式会社 | Fluorescence observation equipment |
-
2016
- 2016-03-25 JP JP2016061211A patent/JP6721939B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017169960A (en) | 2017-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9870613B2 (en) | Detection of tooth condition using reflectance images with red and green fluorescence | |
| CN110325100B (en) | Endoscope system and method of operating the same | |
| US8866894B2 (en) | Method for real-time visualization of caries condition | |
| JP5729924B2 (en) | Caries determination method | |
| JP6920931B2 (en) | Medical image processing equipment, endoscopy equipment, diagnostic support equipment, and medical business support equipment | |
| US20040240716A1 (en) | Analysis and display of fluorescence images | |
| JP2009039515A (en) | Image processing system, image processing method and program | |
| CN107072644B (en) | Image forming apparatus with a plurality of image forming units | |
| US10413619B2 (en) | Imaging device | |
| JPWO2020036121A1 (en) | Endoscope system | |
| JP2022136171A (en) | Medical image processing device, endoscope system, operation method of medical image processing device | |
| JP2021035549A (en) | Endoscope system | |
| WO2018159082A1 (en) | Endoscope system, processor device, and endoscope system operation method | |
| JP6721939B2 (en) | Fluorescence image analyzer | |
| CN113038868A (en) | Medical image processing system | |
| WO2022014235A1 (en) | Image analysis processing device, endoscopy system, operation method for image analysis processing device, and program for image analysis processing device | |
| JP6295915B2 (en) | Imaging device | |
| WO2020235502A1 (en) | Image processing device | |
| US11689689B2 (en) | Infrared imaging system having structural data enhancement | |
| WO2022009478A1 (en) | Image processing device, endoscope system, operation method for image processing device, and program for image processing device | |
| JP7472988B2 (en) | Treatment support system and treatment support device | |
| JP7204121B2 (en) | CELL IDENTIFICATION DEVICE AND CELL IDENTIFICATION METHOD | |
| JP6866497B2 (en) | Medical image processing equipment and endoscopic equipment | |
| JP6535701B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190301 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200618 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200618 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6721939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |