JP6512320B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP6512320B2 JP6512320B2 JP2018028621A JP2018028621A JP6512320B2 JP 6512320 B2 JP6512320 B2 JP 6512320B2 JP 2018028621 A JP2018028621 A JP 2018028621A JP 2018028621 A JP2018028621 A JP 2018028621A JP 6512320 B2 JP6512320 B2 JP 6512320B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- hue
- unit
- visible
- fluorescence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
この発明は、被写体に注入された蛍光色素に対して励起光を照射し、蛍光色素から発生した蛍光を撮影するイメージング装置に関する。 The present invention relates to an imaging apparatus which irradiates excitation light to a fluorescent dye injected into a subject and captures fluorescence generated from the fluorescent dye.
近年、近赤外蛍光イメージングと呼称される手法が外科手術に利用されている。この近赤外蛍光イメージングにおいては、蛍光色素としてのインドシアニングリーン(ICG)を患部に注入する。そして、このインドシアニングリーンに750〜810nm(ナノメータ)の近赤外光を励起光として照射すると、インドシアニングリーンはおおよそ850nmをピークとする近赤外領域の蛍光を発する。この蛍光を、近赤外光を検出可能なカメラで撮影し、その画像を液晶表示パネル等の表示部に表示する。この近赤外蛍光イメージングによれば、体表から20mm程度までの深さに存在する血管やリンパ管等の観察が可能となる。 In recent years, a technique called near infrared fluorescence imaging has been used for surgery. In this near-infrared fluorescence imaging, indocyanine green (ICG) as a fluorescent dye is injected into the affected area. When the indocyanine green is irradiated with near infrared light of 750 to 810 nm (nanometers) as excitation light, the indocyanine green emits fluorescence in the near infrared region having a peak of approximately 850 nm. This fluorescence is photographed by a camera capable of detecting near-infrared light, and the image is displayed on a display unit such as a liquid crystal display panel. According to this near-infrared fluorescence imaging, it becomes possible to observe blood vessels, lymph vessels and the like present at a depth of about 20 mm from the body surface.
特許文献1には、インドシアニングリーンが投与された生体の被検臓器に対して、インドシアニングリーンの励起光を照射して得られた、近赤外蛍光の強度分布イメージと、インドシアニングリーン投与前の被検臓器に対して、X線、核磁気共鳴または超音波を作用させて得られた、癌病巣分布イメージと、を比較し、近赤外蛍光の強度分布イメージで検出されるが、癌病巣分布イメージでは検出されない領域のデータを、癌の副病巣領域データとして収集するデータ収集方法が開示されている。 In Patent Document 1, the intensity distribution image of near-infrared fluorescence obtained by irradiating excitation light of indocyanine green to a test organ of a living body to which indocyanine green has been administered, and indocyanine green administration The cancer lesion distribution image obtained by applying X-rays, nuclear magnetic resonance or ultrasound to the previous test organ is compared with that of the cancer lesion distribution image and detected by the near-infrared fluorescence intensity distribution image, A data collection method is disclosed in which data of a region not detected in a cancer lesion distribution image is collected as cancer sub-lesion region data.
また、特許文献2には、血管造影剤が投与された被検体に対して励起光と可視光とを交互に照射し、撮像手段によって励起光が照射された蛍光画像と可視画像とを交互に取得するとともに、蛍光画像を所定の閾値により閾値処理して血管画像を抽出し、可視画像と抽出した血管画像を重畳させた合成画像を作成する手術支援方法が開示されている。 Further, in Patent Document 2, excitation light and visible light are alternately irradiated to a subject to which a blood vessel contrast agent has been administered, and fluorescence images and visible images irradiated with excitation light by imaging means are alternately displayed. There is disclosed a surgery support method for acquiring a blood vessel image by performing threshold processing on a fluorescence image with a predetermined threshold to extract a blood vessel image, and creating a composite image in which the visible image and the extracted blood vessel image are superimposed.
特許文献2に記載されたように、可視画像と蛍光画像とを合成した合成画像を作成する場合においては、蛍光画像における造影剤の領域は明度として表現されるために白黒の画像となり、可視画像とその蛍光画像とを合成しているが、合成後における可視画像と蛍光画像との判別が困難となる場合がある。 As described in Patent Document 2, in the case of creating a composite image obtained by combining a visible image and a fluorescent image, the region of the contrast agent in the fluorescent image is expressed as lightness and thus becomes a black and white image; And the fluorescence image are synthesized, but it may be difficult to distinguish the visible image and the fluorescence image after the synthesis.
すなわち、蛍光画像は可視画像上に白く表示されることから、その輪郭は鮮明ではない。特に明度差が小さくなるにつれて輪郭は不鮮明となる。このため、蛍光画像における蛍光領域がどこまでであるのかを正確に判別することはできない。このような場合においては、患者に対する施術等を正確に実行することが困難となるという問題が生ずる。 That is, since the fluorescent image is displayed white on the visible image, its outline is not clear. In particular, the contour becomes unclear as the lightness difference decreases. For this reason, it is not possible to accurately determine how far the fluorescent region is in the fluorescent image. In such a case, there arises a problem that it is difficult to accurately perform the treatment for the patient.
この発明は上記課題を解決するためになされたものであり、被写体の可視画像と蛍光画像とを合成して合成画像を作成するときに、蛍光画像の視認性を向上することが可能なイメージング装置を提供することを目的とする。 The present invention has been made to solve the above problems, and is an imaging apparatus capable of improving the visibility of a fluorescent image when the visible image of the subject and the fluorescent image are synthesized to create a synthesized image. Intended to provide.
第1の発明では、被写体に注入された蛍光色素を励起させるための励起光を前記被写体に向けて照射する励起用光源と、前記被写体に向けて可視光を照射する可視光源と、励起光が照射されることにより前記蛍光色素から発生した蛍光と、前記被写体表面で反射した可視光とを撮影するための、蛍光と可視光とを検出可能なカメラと、を備えたイメージング装置において、前記カメラにより撮影した前記被写体の可視画像における支配的な色相を特定する支配的色相特定部と、前記支配的色相特定部で特定された色相に対して異なる色相を着色色相として特定する着色色相特定部と、前記カメラにより撮影した前記被写体の蛍光画像を前記着色色相特定部で特定された着色色相で着色する蛍光画像着色部と、前記カメラにより撮影した前記被写体の可視画像と前記蛍光画像着色部で着色された着色蛍光画像とを合成することにより、合成画像を作成する合成部と、を備えたことを特徴とする。 In the first invention, an excitation light source for irradiating the object with excitation light for exciting the fluorescent dye injected into the object, a visible light source for emitting visible light toward the object, and excitation light An imaging device comprising: a camera capable of detecting fluorescence and visible light for photographing fluorescence emitted from the fluorescent dye upon irradiation and visible light reflected on the surface of the subject; A dominant hue identification unit that identifies dominant hues in the visible image of the subject captured by the method; and a color hue identification unit that identifies different hues as colored hues with respect to the hues identified by the dominant hue identification unit. A fluorescent image coloring unit for coloring the fluorescent image of the subject photographed by the camera with the colored hue specified by the colored hue specifying unit; and the subject photographed by the camera By combining the body visible image and the fluorescence image colored fluorescence image colored with the coloring unit, characterized by comprising a synthesizing unit creating a synthesized image.
第2の発明では、前記支配的色相特定部は、前記可視画像から前記蛍光画像における蛍光領域の画像を減算した画像を使用して、支配的な色相を特定する。 In the second invention, the dominant hue specifying unit specifies a dominant hue using an image obtained by subtracting an image of a fluorescent region in the fluorescence image from the visible image.
第3の発明では、前記支配的色相特定部は、ヒストグラムを利用して最も多く現れる色相を支配的な色相として特定する。 In the third invention, the dominant hue identifying unit identifies the most frequently appearing hue as the dominant hue by using a histogram.
第1の発明によれば、被写体の可視画像と蛍光画像とを合成して合成画像を作成するときに、蛍光画像と背景となる可視画像とを明確に識別することができ、蛍光画像の視認性を向上させることが可能となる。 According to the first invention, when a visible image of a subject and a fluorescent image are combined to create a composite image, the fluorescent image and the visible image serving as the background can be clearly identified, and the fluorescent image is viewed It is possible to improve the quality.
第2の発明によれば、可視画像から蛍光画像を除外することにより、背景画像における支配的な色相を適切に特定することが可能となる。 According to the second aspect of the invention, it is possible to appropriately identify the dominant hue in the background image by excluding the fluorescence image from the visible image.
第3の発明によれば、ヒストグラムを利用することにより、支配的な色相を容易に特定することが可能となる。 According to the third invention, it is possible to easily identify the dominant hue by using the histogram.
以下、この発明の実施の形態を図面に基づいて説明する。図1は、この発明に係るイメージング装置の概要図である。 Hereinafter, embodiments of the present invention will be described based on the drawings. FIG. 1 is a schematic view of an imaging apparatus according to the present invention.
このイメージング装置は、タッチパネル等の入力部11を備え、後述する制御部30等を内蔵した本体10と、アーム13により移動可能に支持された照明・撮影部12と、液晶表示パネル等から構成される表示部14と、患者17を載置する治療台16とを備える。なお、照明・撮影部12はアーム13によって支持されたものに限定されず、術者が手に携帯するものであってもよい。
This imaging apparatus includes an
図2は、上述した照明・撮影部12の斜視図である。
FIG. 2 is a perspective view of the illumination and photographing
この照明・撮影部12は、近赤外線および可視光を検出可能なカメラ21と、このカメラ21の外周部に配設された多数のLEDよりなる可視光源22と、この可視光源22の外周部に配設された多数のLEDよりなる励起用光源23とを備える。可視光源22は、可視光を照射する。励起用光源23は、インドシアニングリーンを励起させるための励起光であるその波長が780nmの近赤外光を照射する。
The illumination /
図3は、この発明に係るイメージング装置の主要な制御系を示すブロック図である。 FIG. 3 is a block diagram showing a main control system of the imaging apparatus according to the present invention.
このイメージング装置は、論理演算を実行するCPU、装置の制御に必要な動作プログラムが格納されたROM、制御時にデータ等が一時的にストアされるRAM等から構成され、装置全体を制御する制御部30を備える。この制御部30は、後述する各種の画像処理を実行する画像処理部31を備える。この画像処理部31は、可視画像と蛍光画像を合成することにより合成画像を作成する合成部36と、支配的な色相を特定する支配的色相特定部37と、着色色相を特定する着色色相特定部38と、蛍光画像を着色色相で着色する蛍光画像着色部39とを備える。
The imaging apparatus comprises a CPU that executes logical operations, a ROM that stores an operation program required to control the apparatus, a RAM that temporarily stores data etc. during control, and a control unit that controls the entire apparatus. 30 is provided. The
この制御部30は、上述した入力部11および表示部14と接続されている。また、この制御部30は、カメラ21、可視光源22および励起用光源23を備えた照明・撮影部12と接続されている。さらに、この制御部30は、カメラ21により撮影された画像を記憶する画像記憶部33とも接続されている。この画像記憶部33は、近赤外画像を記憶する近赤外画像記憶部34と、可視画像を記憶する可視画像記憶部35とから構成される。なお、近赤外画像記憶部34および可視画像記憶部35を備えるかわりに、可視画像と近赤外画像とを合成した画像を記憶する合成画像記憶部を備えていてもよい。
The
以下、この発明に係るイメージング装置を使用して外科の手術を行う場合の動作について説明する。なお、以下の説明においては、患者17に対して乳癌の手術を行う場合について説明する。
Hereinafter, the operation in the case of performing a surgical operation using the imaging device according to the present invention will be described. In the following description, a case of performing a breast cancer surgery on the
この発明に係るイメージング装置を使用して乳癌の手術を行う場合には、治療台16上の仰臥した患者17の乳房にインドシアニングリーンを注射により注入する。そして、患部を含む被写体に向けて、励起用光源23から近赤外線を照射するとともに可視光源22から可視光を照射する。なお、励起用光源23から照射される近赤外光としては、上述したように、インドシアニングリーンが蛍光を発するための励起光として作用する780nmの近赤外光が採用される。これにより、インドシアニングリーンは、約850nmをピークとする近赤外領域の蛍光を発生する。
When a breast cancer surgery is performed using the imaging device according to the present invention, indocyanine green is injected by injection into the breast of the
そして、患者17の患部付近をカメラ21により撮影する。このカメラ21は、近赤外光と可視光とを検出することが可能となっている。患者17に可視光を照射し、これをカメラ21により撮影した画像が可視画像となり、患者17に近赤外光を照射し、インドシアニングリーンからの蛍光をカメラ21により撮影した画像が近赤外画像となる。カメラ21により撮影された近赤外画像および可視画像は、図3に示す画像処理部31に送られる。画像処理部31においては、近赤外画像および可視画像が表示部14に表示可能な画像データに変換される。近赤外画像のデータは画像記憶部33における近赤外画像記憶部34に記憶される。また、可視画像のデータは、画像記憶部33における可視画像記憶部35に記憶される。
Then, the vicinity of the affected area of the
この状態において、画像処理部31における合成部36は、後述するように、近赤外画像データと可視画像データとを利用して、可視画像と近赤外画像とを融合させた合成画像を作成する。そして、画像処理部31は、表示部14に、近赤外画像、可視画像および合成画像を、領域を分けて同時に、あるいは、選択的に表示する。
In this state, as described later, the combining
次に、この発明の特徴部分である合成画像の作成動作について説明する。図4は、この発明に係るイメージング装置により可視画像と近赤外画像とを合成して合成画像を作成する画像合成工程のフロー図である。 Next, the operation of creating a composite image, which is a feature of the present invention, will be described. FIG. 4 is a flowchart of an image combining step of combining a visible image and a near infrared image by the imaging device according to the present invention to create a combined image.
図3に示す制御部30における画像処理部31は、支配的色相特定部37により可視画像における支配的な色相を特定し、着色色相特定部38により支配的色相に対して、R、G、B値においてそれぞれの差の絶対値の総和が設定値以上となり、かつ、輝度比が最大となる色相を着色色相として特定し、蛍光画像着色部39により蛍光画像である近赤外画像を着色色相特定部38で特定された着色色相で着色し、合成部36により可視画像と蛍光画像着色部39で着色された近赤外画像とを合成して合成画像を作成する。
The
すなわち、画像処理部31は、最初に、可視画像から、近赤外画像における蛍光領域であるインドシアニングリーンの領域の画像を減算することにより、下地(バックグラウンド)となる可視画像を作成する。そして、支配的色相特定部37によりこの可視画像に対してカラー抽出を行い、蛍光領域を減算(除外)した可視画像における支配的な色相(hue)を特定する。ここで、支配的な色相とは、ドミナントカラー(dominant color)とも呼称され、その画像全体の印象を支配する色である。
That is, the
この支配的な色相は、例えば、可視画像に最も多く現れる色相である。この支配的な色相は、可視画像に対するヒストグラムを利用することにより特定される。このとき、可視画像の周辺領域には、患者17の患部以外の画像も撮影される可能性があることから、可視画像の中央部付近の画像に対してヒストグラムを適用するようにしてもよい。なお、支配的な色相の特定には任意の色空間で諧調変換、平均値、中間値、最頻値を用いて算出してもよい。 This dominant hue is, for example, the hue that appears most often in the visible image. This dominant hue is identified by using a histogram for the visible image. At this time, in the peripheral area of the visible image, an image other than the affected area of the patient 17 may also be photographed. Therefore, a histogram may be applied to the image in the vicinity of the central part of the visible image. Note that the dominant hue may be calculated using gradation conversion, an average value, an intermediate value, and a mode value in an arbitrary color space.
次に、着色色相特定部38により、インドシアニングリーンを示す近赤外画像を着色すべき着色色相を特定する。この着色色相は、先に特定した可視画像における支配的な色相に対して、識別力が高い色相とすることが好ましい。このため、この着色色相は、支配的色相に対して、R、G、B値においてそれぞれの差の絶対値の総和である色差ΔRGBが設定値以上となり、かつ、支配的色相に対して輝度比(輝度Lの比)が最大となる色相が選択される。
Next, the colored
ここで、上述した色差ΔRGBは、以下の式で表される。 Here, the color difference ΔRGB described above is expressed by the following equation.
ΔRGB=[max(Rb、Rf)−min(Rb、Rf)]+[max(Gb、Gf)−min(Gb、Gf)]+[max(Bb、Bf)−min(Bb、Bf)] ΔRGB = [max (Rb, Rf) -min (Rb, Rf)] + [max (Gb, Gf) -min (Gb, Gf)] + [max (Bb, Bf) -min (Bb, Bf)]
ここで、Rb、Gb、Bbは、背景(バックグラウンド)となる可視画像のRGB値で有り、Rf、Gf、Bfは、背景となる可視画像上(フォアグラウンド)に表示される蛍光画像である赤外画像のRGB値である。この式により、R、G、B値においてそれぞれの差の絶対値の総和である色差ΔRGBが演算される。 Here, Rb, Gb, and Bb are RGB values of a visible image serving as a background, and Rf, Gf, and Bf are fluorescence images displayed on the visible image serving as a background (foreground). It is the RGB value of the outside image. The color difference ΔRGB, which is the sum of the absolute values of the differences among the R, G, and B values, is calculated by this equation.
また、輝度Lは、以下の式で表される。なお、以下の式以外に色差信号で用いられる輝度算出式を用いてもよい。 Further, the luminance L is expressed by the following equation. In addition to the following equation, a luminance calculation equation used for the color difference signal may be used.
L=R1×0.2126+G1×0.7152+B1×0.0722 L = R1 × 0.2126 + G1 × 0.7152 + B1 × 0.0722
ここで、sR=R/255、sB=B/255、sG=G/255とした場合、上記R1は、sRが0.03928以下であれば[sR/12.92]となり、0.03928より大きければ[sR+0.055)/1.055]の2.4乗となる。同様に、上記G1は、sGが0.03928以下であれば[sG/12.92]となり、0.03928より大きければ[sR+0.055)/1.055]の2.4乗となる。また、上記B1は、sBが0.03928以下であれば[sB/12.92]となり、0.03928より大きければ[sR+0.055)/1.055]の2.4乗となる。 Here, assuming that sR = R / 255, sB = B / 255, and sG = G / 255, the above R1 becomes [sR / 12.92] if sR is 0.03928 or less, and from 0.03928 If it is large, it becomes 2.4 to the power of [sR + 0.055) /1.055]. Similarly, G1 is [sG / 12.92] if sG is 0.03928 or less, and is 2.4 to the power of [sR + 0.055) /1.055] if it is greater than 0.03928. Further, B1 is [sB / 12.92] if sB is 0.03928 or less, and is 2.4 to the power of [sR + 0.055) /1.055] if it is larger than 0.03928.
上述した色差ΔRGBおよび輝度Lの計算については、ウエブ上で使用される各種技術の標準化を推進するために設立された標準化団体であるW3C(World Wide Web Consortium)による「ウエブコンテンツ・アクセシビリティ・ガイドライン)WCAG)」の1.0および2.0により規定されている。 "Web content accessibility guidelines" by the World Wide Web Consortium (W3C), a standardization body established to promote standardization of various technologies used on the web, for the calculation of color difference ΔRGB and luminance L described above. WCAG) 1.0 and 2.0.
そして、画像処理部31における蛍光画像着色部39により、蛍光画像である近赤外画像が着色色相特定部38で特定された着色色相で着色される。なお、このときの赤外画像を着色するときの明度(value)は、造影画像である近赤外画像の明度と同じ明度が採用され、彩度(saturation)としては最大値が採用される。これにより、インドシアニングリーンによる蛍光領域を可視画像上においてより好適に認識することが可能となる。
Then, the fluorescence
しかる後、画像処理部31における合成部36が、蛍光画像着色部39で着色された着色蛍光画像と可視画像とを、スクリーン合成や加算合成等により合成して、合成画像を作成する。
After that, the combining
以上のように、この発明に係るイメージング装置においては、着色色相として、支配的色相に対して、R、G、B値においてそれぞれの差の絶対値の総和である色差ΔRGBが設定値以上となり、かつ、支配的色相に対して輝度比が最大となる色相が選択されることから、インドシアニングリーンによる蛍光領域を、背景となる可視画像と明確に識別することが可能となる。このため、患者17に対する施術等を正確に実行することが可能となる。 As described above, in the imaging apparatus according to the present invention, the color difference ΔRGB, which is the sum of the absolute values of the differences between R, G, and B values, becomes the set value or more as the coloring hue. In addition, since the hue having the largest luminance ratio with respect to the dominant hue is selected, it is possible to clearly distinguish the fluorescent region of indocyanine green from the visible image as the background. For this reason, it becomes possible to perform treatment etc. to patient 17 correctly.
なお、上述した色差ΔRGBに対する設定値とは、例えば、R、G、B値がそれぞれ256階調、Hueが360諧調であるとき、上述したWCAGで規定される500を適用することができる。このときには、着色色相と支配的色相との色相の差であるΔHueは、118〜242となる。但し、支配的色相に対して、ΔHueが90〜270程度となる着色色相を選択するようにしてもよい。 As the setting value for the color difference ΔRGB described above, for example, when the R, G and B values are 256 gradations each and the Hue is 360 gradation, 500 defined by the above-mentioned WCAG can be applied. At this time, ΔHue, which is the difference between the color hue and the dominant hue, is 118 to 242. However, it is possible to select a colored hue in which ΔHue is about 90 to 270 with respect to the dominant hue.
また、上述した実施形態においては、励起用光源23として、波長が780nmの近赤外光を照射するものを使用しているが、励起用光源23としては、インドシアニングリーンを励起させて励起光を発生させることが可能な750nm〜810nm程度の近赤外光を照射させるものを使用することができる。
In the embodiment described above, although the light source for emitting near infrared light having a wavelength of 780 nm is used as the light source for
さらに、上述した実施形態においては、蛍光色素を含む材料としてインドシアニングリーンを使用し、このインドシアニングリーンに対して780nmの近赤外光を励起光として照射することにより、インドシアニングリーンからおおよそ850nmをピークとする近赤外領域の蛍光を発光させる場合について説明したが、近赤外線以外の光を使用してもよい。 Furthermore, in the embodiment described above, by using indocyanine green as a material containing a fluorescent dye, the indocyanine green is irradiated with near infrared light of 780 nm as excitation light, and the wavelength is approximately 850 nm from indocyanine green. In the case of emitting fluorescence in the near-infrared region with a peak as a peak, a light other than near-infrared light may be used.
例えば、蛍光色素として、5−ALA(5−アミノレブリン酸/5−Aminolevulinic Acid)を使用することができる。この5−ALAを使用した場合には、患者17の体内に侵入した5−ALAが蛍光物質であるプロトポルフィリン(protoporphyrinIX/PpIX)に変化する。このプロトポルフィリンに向けて400nm程度の可視光を照射すると、プロトポルフィリンから赤色の可視光が蛍光として照射される。このため、5−ALAを使用する場合には、励起用光源としてはその波長が400nm程度の可視光を照射するものを使用すればよい。
For example, 5-ALA (5-aminolevulinic acid / 5-aminolevulinic acid) can be used as a fluorescent dye. When this 5-ALA is used, 5-ALA which has invaded into the body of the
10 本体
11 入力部
12 照明・撮影部
13 アーム
14 表示部
16 治療台
17 患者
21 カメラ
22 可視光源
23 励起用光源
30 制御部
31 画像処理部
33 画像記憶部
34 近赤外画像記憶部
35 可視画像記憶部
36 合成部
37 支配的色相特定部
38 着色色相特定部
39 蛍光画像着色部
DESCRIPTION OF
Claims (3)
前記被写体に向けて可視光を照射する可視光源と、
励起光が照射されることにより前記蛍光色素から発生した蛍光と、前記被写体表面で反射した可視光とを撮影するための、蛍光と可視光とを検出可能なカメラと、
を備えたイメージング装置において、
前記カメラにより撮影した前記被写体の可視画像における支配的な色相を特定する支配的色相特定部と、
前記支配的色相特定部で特定された色相に対して異なる色相を着色色相として特定する着色色相特定部と、
前記カメラにより撮影した前記被写体の蛍光画像を前記着色色相特定部で特定された着色色相で着色する蛍光画像着色部と、
前記カメラにより撮影した前記被写体の可視画像と前記蛍光画像着色部で着色された着色蛍光画像とを合成することにより、合成画像を作成する合成部と、
を備えたことを特徴とするイメージング装置。 An excitation light source for irradiating the subject with excitation light for exciting the fluorescent dye injected into the subject;
A visible light source that emits visible light toward the subject;
A camera capable of detecting fluorescence and visible light for photographing fluorescence generated from the fluorescent dye upon irradiation with excitation light and visible light reflected on the surface of the subject;
In an imaging device comprising
A dominant hue identification unit that identifies dominant hues in a visible image of the subject captured by the camera;
A colored hue identification unit that identifies, as a colored hue, a hue different from the hue identified in the dominant hue identification unit;
A fluorescent image coloring unit that colors the fluorescent image of the subject captured by the camera with the coloring hue specified by the coloring hue specification unit;
A combining unit configured to create a combined image by combining a visible image of the subject taken by the camera and a colored fluorescence image colored by the fluorescence image coloring unit;
An imaging apparatus comprising:
前記支配的色相特定部は、前記可視画像から前記蛍光画像における蛍光領域の画像を減算した画像を使用して、支配的な色相を特定するイメージング装置。 In the imaging apparatus according to claim 1,
An imaging device that identifies a dominant hue by using an image obtained by subtracting an image of a fluorescent region in the fluorescence image from the visible image;
前記支配的色相特定部は、ヒストグラムを利用して最も多く現れる色相を支配的な色相として特定するイメージング装置。
In the imaging apparatus according to claim 1 or 2,
The dominant hue identification unit is an imaging device that identifies a hue that appears most frequently as a dominant hue using a histogram.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018028621A JP6512320B2 (en) | 2018-02-21 | 2018-02-21 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018028621A JP6512320B2 (en) | 2018-02-21 | 2018-02-21 | Imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014215017A Division JP6295915B2 (en) | 2014-10-22 | 2014-10-22 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018134413A JP2018134413A (en) | 2018-08-30 |
JP6512320B2 true JP6512320B2 (en) | 2019-05-15 |
Family
ID=63366450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018028621A Active JP6512320B2 (en) | 2018-02-21 | 2018-02-21 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6512320B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166159B (en) * | 2018-10-12 | 2021-04-30 | 腾讯科技(深圳)有限公司 | Method and device for acquiring dominant tone of image and terminal |
US20200288965A1 (en) * | 2019-03-11 | 2020-09-17 | Spring Biomed Vision Ltd. | System and method for enhanced imaging of biological tissue |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001299676A (en) * | 2000-04-25 | 2001-10-30 | Fuji Photo Film Co Ltd | Method and system for detecting sentinel lymph node |
JP4242578B2 (en) * | 2001-10-22 | 2009-03-25 | オリンパス株式会社 | Endoscope device |
JP2007129427A (en) * | 2005-11-02 | 2007-05-24 | Canon Inc | Image forming apparatus and method |
JP4949806B2 (en) * | 2006-11-10 | 2012-06-13 | オンセミコンダクター・トレーディング・リミテッド | Imaging apparatus and image signal processing apparatus |
JP4971816B2 (en) * | 2007-02-05 | 2012-07-11 | 三洋電機株式会社 | Imaging device |
JP4623200B2 (en) * | 2008-10-27 | 2011-02-02 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JP5657467B2 (en) * | 2011-05-13 | 2015-01-21 | オリンパスメディカルシステムズ株式会社 | Medical image display system |
JP6017219B2 (en) * | 2012-08-01 | 2016-10-26 | オリンパス株式会社 | Fluorescence observation apparatus and fluorescence observation system |
WO2014156493A1 (en) * | 2013-03-29 | 2014-10-02 | オリンパス株式会社 | Fluorescence observation device |
-
2018
- 2018-02-21 JP JP2018028621A patent/JP6512320B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018134413A (en) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6671442B2 (en) | Method and apparatus for displaying enhanced imaging data on a clinical image | |
JP6319449B2 (en) | Imaging device | |
RU2506896C2 (en) | Determination of location and analysis of perforated flaps for plastic and rehabilitative surgery | |
WO2009120228A1 (en) | Image processing systems and methods for surgical applications | |
JP6485275B2 (en) | Imaging device | |
US20190239749A1 (en) | Imaging apparatus | |
US10413619B2 (en) | Imaging device | |
JP6512320B2 (en) | Imaging device | |
US11689689B2 (en) | Infrared imaging system having structural data enhancement | |
JP6295915B2 (en) | Imaging device | |
WO2019198576A1 (en) | Medical image processing device | |
Taniguchi et al. | Improving convenience and reliability of 5-ALA-induced fluorescent imaging for brain tumor surgery | |
US12052526B2 (en) | Imaging system having structural data enhancement for non-visible spectra | |
JP2021021573A (en) | Imaging device | |
JP5662457B6 (en) | Method and apparatus for displaying enhanced imaging data on a clinical image | |
JP2016112220A (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190325 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6512320 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |