JP5637783B2 - Image acquisition apparatus and operation method thereof - Google Patents
Image acquisition apparatus and operation method thereof Download PDFInfo
- Publication number
- JP5637783B2 JP5637783B2 JP2010195024A JP2010195024A JP5637783B2 JP 5637783 B2 JP5637783 B2 JP 5637783B2 JP 2010195024 A JP2010195024 A JP 2010195024A JP 2010195024 A JP2010195024 A JP 2010195024A JP 5637783 B2 JP5637783 B2 JP 5637783B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- past
- tube
- fluorescence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Endoscopes (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Description
本発明は、特殊光の被観察部への照射によって被観察部から発せられた光を受光して特殊画像を取得する画像取得方法および装置に関するものである。 The present invention relates to an image acquisition method and apparatus for acquiring a special image by receiving light emitted from an observed portion by irradiating the observed portion with special light.
従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。 Conventionally, endoscope systems for observing tissue in a body cavity are widely known, and a normal image is obtained by imaging a portion to be observed in a body cavity by irradiation with white light, and this normal image is displayed on a monitor screen. Electronic endoscope systems have been widely put into practical use.
また、上記のような内視鏡システムとして、たとえば、特許文献１においては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光像を撮像して自家蛍光画像を得、これらの画像をモニタ画面上に表示する蛍光内視鏡システムが提案されている。 Moreover, as an endoscope system as described above, for example, in Patent Document 1, an autofluorescence image emitted from an observed part by irradiation of excitation light is captured together with a normal image to obtain autofluorescence images. There has been proposed a fluorescence endoscope system that displays the above image on a monitor screen.
また、蛍光内視鏡システムとしては、たとえば、ＩＣＧ（インドシアニングリーン）を予め体内に投入し、励起光を被観察部に照射して血管内のＩＣＧの蛍光を検出することによって蛍光画像を取得するものも提案されている。 In addition, as a fluorescence endoscope system, for example, ICG (Indocyanine Green) is put in the body in advance, and the fluorescence image is acquired by detecting the fluorescence of ICG in the blood vessel by irradiating the observation light with the excitation light. Something to do is also proposed.
ここで、上述したような蛍光内視鏡システムを利用して、被観察部のリンパ管中を流れるＩＣＧの蛍光を撮像して蛍光画像を取得することも考えられるが、リンパ管内に投入されたＩＣＧが時間経過とともにどのような向きに流れているかを観察することは、癌の摘出手術などで切除する必要があるセンチネルリンパを発見する上で非常に重要なことである。また、リンパ管中を流れるＩＣＧが時間経過とともにどのように流れているかを観察することはこれからの研究材料としても非常に注目されるものである。 Here, using the fluorescence endoscope system as described above, it is conceivable to capture the fluorescence of the ICG flowing in the lymphatic vessel of the observed part to acquire a fluorescent image, but it was put into the lymphatic vessel. Observing the direction in which ICG flows over time is very important in finding sentinel lymphs that need to be removed by surgery to remove cancer. In addition, observing how ICG flowing in lymphatic vessels flows with time is also attracting considerable attention as a research material in the future.
しかしながら、単に所定のタイミングで撮像された蛍光画像を観察しただけでは、リンパ管内をＩＣＧがどのような向きに流れていったのかを知ることはできない。 However, it is not possible to know in which direction the ICG has flowed in the lymphatic vessel simply by observing a fluorescent image captured at a predetermined timing.
なお、特許文献１においては、リンパ管に投入されたＩＣＧの輝度の変化を精度よく観察するため、時系列に撮像された画像の輝度の変化率に応じて色を変えて表示することが提案されているが、特許文献１に記載の発明では、輝度が変化せずに安定して発光している場合には全て同じ色で表示されるため、ある程度長い時間撮像している蛍光画像上においてはその経時変化を観察することができない。 In Patent Document 1, in order to accurately observe the change in luminance of the ICG thrown into the lymphatic vessel, it is proposed that the color is changed according to the luminance change rate of the image captured in time series. However, in the invention described in Patent Document 1, when the light is stably emitted without changing the luminance, all the images are displayed in the same color. Cannot observe its change over time.
本発明は、上記の問題に鑑み、たとえば、上述した蛍光画像のような特殊画像の経時変化を観察することができ、これによりリンパ管内をＩＣＧがどのような向きに流れていったのかを知ることができる特殊画像を取得可能な画像取得方法および装置を提供することを目的とする。 In view of the above problems, the present invention can observe a time-dependent change of a special image such as the above-described fluorescence image, and thereby knows the direction in which ICG flows in the lymphatic vessel. An object of the present invention is to provide an image acquisition method and apparatus capable of acquiring a special image.
本発明の画像取得方法は、特殊光の被観察部への照射によって被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像を取得し、その取得した複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得することを特徴とする。 The image acquisition method of the present invention acquires a plurality of special images picked up at predetermined intervals by receiving light emitted from the observed portion by irradiating the observed portion with the special light, and acquiring the plurality of acquired images. Information on a temporal change portion between a past special image captured at a past time point of at least one of the special images and a special image captured at a time point later than the past time point is acquired, and the past special image or the later A time-varying image is acquired on the basis of the special image captured at the time point and information of the time-varying portion.
本発明の画像取得装置は、特殊光を被観察部に照射する特殊光照射部と、特殊光の照射によって被観察部から発せられた光を受光して複数の特殊画像を所定の間隔で撮像する撮像部と、撮像部によって取得された複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得する経時変化画像取得部とを備えたことを特徴とする。 The image acquisition device of the present invention receives a special light irradiating unit that irradiates special light to the observed part, and receives light emitted from the observed part by irradiating the special light, and picks up a plurality of special images at predetermined intervals. Between the imaging unit that performs imaging and the past special image captured at a past point in time of a plurality of special images acquired by the imaging unit and the special image captured at a point after the past point in time A time-varying image acquisition unit that acquires information on a changing part and acquires a time-varying image based on a past special image or a special image captured at a later time and information on a time-varying part is provided. To do.
また、上記本発明の画像取得装置においては、通常光を被観察部に照射する通常光照射部を設け、撮像部を、通常光の照射によって被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するものとし、複数の通常画像のうち少なくとも１つの過去の時点において撮像された過去通常画像と後の時点に撮像された通常画像との間の動きの変化を示す動き特徴量を取得する動き特徴量取得部と、動き特徴量取得部によって取得された動き特徴量に基づいて、動き特徴量を取得するために用いた過去通常画像と同じ時点において撮像された過去特殊画像に対して動き補正処理を施す動き補正部とを設け、経時変化画像取得部を、動き補正処理の施された過去特殊画像と後の時点に撮像された特殊画像との間の経時変化部の情報を取得し、動き補正処理の施された過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得するものとできる。 In the image acquisition device of the present invention, a normal light irradiating unit for irradiating the observed part with normal light is provided, and the imaging unit receives reflected light reflected from the observed part by the normal light irradiation. It is assumed that a plurality of normal images are captured at a predetermined interval, and a change in motion between a past normal image captured at a past time point and a normal image captured at a later time point among the plurality of normal images. A motion feature amount acquisition unit that acquires a motion feature amount, and a motion feature amount acquired by the motion feature amount acquisition unit, and is captured at the same time as the past normal image used to acquire the motion feature amount. A motion correction unit that performs a motion correction process on the past special image, and a time-change image acquisition unit between the past special image subjected to the motion correction process and a special image captured at a later time Information on the time-varying part The acquired it shall acquire the temporal change image on the basis of the motion compensation processing of decorated with past special image or after the time the special image and the temporal change unit information captured in the.
また、過去特殊画像と後の時点に撮像された特殊画像との間の動きの変化を示す動き特徴量をそれぞれ取得する動き特徴量取得部と、動き特徴量取得部によって取得された動き特徴量に基づいて、動き特徴量を取得するために用いた過去特殊画像に対して動き補正処理を施す動き補正部とを設け、経時変化画像取得部を、動き補正処理の施された過去特殊画像と後の時点に撮像された特殊画像との間の経時変化部の情報を取得し、動き補正処理の施された過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得するものとできる。 Also, a motion feature amount acquisition unit that acquires a motion feature amount indicating a change in motion between a past special image and a special image captured at a later time point, and a motion feature amount acquired by the motion feature amount acquisition unit And a motion correction unit that performs a motion correction process on the past special image used for acquiring the motion feature amount, and the time-varying image acquisition unit is a past special image that has been subjected to the motion correction process. Information on the time-varying part between the special image captured at a later time point is acquired, and the past special image subjected to motion correction processing or the special image captured at a later time point and the information on the time-varying part are obtained. A time-change image can be acquired based on this.
また、過去特殊画像と後の時点に撮像された特殊画像とから被観察部に含まれる管部分を表す管画像を抽出する管画像抽出部を設け、経過変化画像取得部を、過去特殊画像の管画像と後の時点に撮像された特殊画像の管画像とに基づいて経時変化部の情報を取得し、過去特殊画像の管画像または後の時点に撮像された特殊画像の管画像と経時変化部の情報とに基づいて経時変化画像を取得するものとできる。 In addition, a tube image extraction unit that extracts a tube image representing a tube portion included in the observed portion from a past special image and a special image captured at a later time point is provided, and a progress change image acquisition unit is provided for the past special image. Based on the tube image and the tube image of the special image captured at a later time point, information on the time-varying portion is obtained, and the tube image of the past special image or the tube image of the special image captured at a later time point and the time-dependent change are acquired. The time-change image can be acquired based on the information of the part.
また、経時変化画像取得部を、少なくとも１つの過去特殊画像と経時変化部とが互いに異なる表示形態となるように経時変化画像を生成するものとできる。 Also, the time-varying image acquisition unit can generate a time-varying image so that at least one past special image and the time-varying portion have different display forms.
また、経時変化画像取得部を、少なくとも１つの過去特殊画像と経時変化部に対して互いに異なる色を割り当てるものとできる。 Further, the time-varying image acquisition unit can assign different colors to at least one past special image and the time-varying unit.
また、経時変化画像取得部を、少なくとも１つの過去特殊画像と経時変化部とに対して互いに異なる線種を割り当てるものとできる。 Further, the time-varying image acquisition unit can assign different line types to at least one past special image and the time-varying unit.
また、光照射部を、蛍光薬剤が投入された被観察部に対して、特殊光として励起光を照射するものとし、撮像部を、励起光の照射によって被観察部から発せられた蛍光を受光して特殊画像として蛍光画像を取得するものとできる。 In addition, the light irradiation unit irradiates excitation light as special light to the observation part into which the fluorescent agent is introduced, and the imaging part receives fluorescence emitted from the observation part by the irradiation of excitation light. Thus, a fluorescence image can be acquired as a special image.
また、経時変化画像取得部を、後の時点に撮像された特殊画像として最も直近に撮像された特殊画像を取得するものとできる。 In addition, the time-varying image acquisition unit can acquire a special image captured most recently as a special image captured at a later time.
また、通常光を被観察部に照射する通常光照射部を備えたものとし、撮像部を、前記通常光の照射によって被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するものとし、経時変化画像と、過去特殊画像または後の時点に撮像された特殊画像と、その過去特殊画像または後の時点に撮像された特殊画像と同時に撮像された通常画像とを重ね合わせた合成画像を生成する合成画像生成部を設けることができる。 Also, it is assumed that a normal light irradiating unit for irradiating the observed part with normal light is provided, and the imaging unit receives a reflected light reflected from the observed part by the irradiation of the normal light, and a plurality of normal images are predetermined. A time-varying image, a past special image or a special image taken at a later time, and a normal image taken at the same time as the past special image or a special image taken at a later time A composite image generation unit that generates a composite image in which the images are superimposed can be provided.
本発明の画像取得方法および装置によれば、特殊光の被観察部への照射によって被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像を取得し、その取得した複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得するようにしたので、この経時変化画像を観察すれば、たとえば、リンパ管内をＩＣＧがどのような向きに流れていったのかを知ることができる。 According to the image acquisition method and apparatus of the present invention, a plurality of special images acquired at predetermined intervals by receiving light emitted from the observed part by irradiation of the special light to the observed part, Information on a temporal change part between a past special image captured at a past time point and a special image captured at a time point later than the past time point is acquired in the past from among the plurality of acquired special images. Since the time-varying image is acquired based on the special image or the special image captured at a later time and the information on the time-varying portion, if this time-varying image is observed, for example, which ICG is in the lymphatic vessel You can see if it was flowing in the same direction.
また、上記本発明の画像取得方法および装置において、経時変化画像を取得する際、過去特殊画像が撮像されたときの被観察部の状態と後の時点の特殊画像が撮像されたときの被観察部の状態との間の変化を補正するような動き補正処理を施すようにした場合には、被観察部が拍動などによってその状態が変化したとしても、すなわち、たとえば、拍動によって観察対象のリンパ管の位置が動いてしまったとしても、この影響を受けることなく適切な経時変化画像を取得することができる。 In the image acquisition method and apparatus of the present invention, when acquiring a time-varying image, the state of the observed portion when the past special image is captured and the observed image when the special image at a later time is captured When a motion correction process that corrects a change between the state and the state of the part is performed, even if the state of the observed part changes due to a pulsation or the like, Even if the position of the lymph vessel has moved, it is possible to obtain an appropriate time-varying image without being affected by this.
以下、図面を参照して本発明の画像取得装置の一実施形態を用いた硬性鏡システムについて詳細に説明する。図１は、本実施形態の硬性鏡システム１の概略構成を示す外観図である。 Hereinafter, a rigid endoscope system using an embodiment of an image acquisition device of the present invention will be described in detail with reference to the drawings. FIG. 1 is an external view showing a schematic configuration of a rigid endoscope system 1 of the present embodiment.
本実施形態の硬性鏡システム１は、図１に示すように、白色の通常光および励起光を同時に射出する光源装置２と、光源装置２から射出された通常光および励起光を導光して被観察部に照射するとともに、通常光の照射により被観察部から反射された反射光に基づく通常像および励起光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置１０と、硬性鏡撮像装置１０によって撮像された画像信号に所定の処理を施す画像処理装置３と、画像処理装置３において生成された表示制御信号に基づいて被観察部の通常画像、蛍光画像および後述する経時変化画像を表示するモニタ４とを備えている。 As shown in FIG. 1, the rigid endoscope system 1 of the present embodiment guides the normal light and excitation light emitted from the light source device 2 and the light source device 2 that emits white normal light and excitation light simultaneously. Rigid mirror imaging that irradiates the observed part and captures a normal image based on reflected light reflected from the observed part by normal light irradiation and a fluorescent image based on fluorescence emitted from the observed part by excitation light irradiation An image processing apparatus 3 that performs predetermined processing on the image signal captured by the apparatus 10, the rigid endoscope imaging apparatus 10, and a normal image and a fluorescence image of the observed portion based on a display control signal generated by the image processing apparatus 3 And a monitor 4 for displaying a time-change image to be described later.
硬性鏡撮像装置１０は、図１に示すように、体腔内に挿入される硬質挿入部３０と、硬質挿入部３０によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット２０とを備えている。 As shown in FIG. 1, the rigid endoscope imaging device 10 includes a hard insertion portion 30 inserted into a body cavity, and an imaging unit 20 that captures a normal image and a fluorescence image of a portion to be observed guided by the hard insertion portion 30. And.
また、硬性鏡撮像装置１０は、図２に示すように、硬質挿入部３０と撮像ユニット２０とが着脱可能に接続されている。そして、硬質挿入部３０は接続部材３０ａ、挿入部材３０ｂ、ケーブル接続口３０ｃ、および照射窓３０ｄを備えている。 In addition, as shown in FIG. 2, the rigid endoscope imaging apparatus 10 has a hard insertion portion 30 and an imaging unit 20 that are detachably connected. The hard insertion portion 30 includes a connection member 30a, an insertion member 30b, a cable connection port 30c, and an irradiation window 30d.
接続部材３０ａは、硬質挿入部３０（挿入部材３０ｂ）の一端側３０Ｘに設けられており、たとえば撮像ユニット２０側に形成された開口２０ａに嵌め合わされることにより、撮像ユニット２０と硬質挿入部３０とが着脱可能に接続される。 The connection member 30a is provided on one end side 30X of the hard insertion portion 30 (insertion member 30b). For example, the connection member 30a is fitted into an opening 20a formed on the imaging unit 20 side, so that the imaging unit 20 and the hard insertion portion 30 are fitted. Are detachably connected.
挿入部材３０ｂは、腹腔内の撮影を行う際に腹腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略５ｍｍの円柱形状を有している。挿入部材３０ｂの内部には、被観察部の像を結像するためのレンズ群が収容されており、他端側３０Ｙから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側３０Ｘの撮像ユニット２０側に射出される。 The insertion member 30b is inserted into the abdominal cavity when photographing inside the abdominal cavity, and is formed of a hard material and has, for example, a cylindrical shape with a diameter of approximately 5 mm. A lens group for forming an image of the observed portion is accommodated inside the insertion member 30b, and the normal image and the fluorescent image of the observed portion incident from the other end 30Y pass through the lens group. The light is emitted to the imaging unit 20 side of the one end side 30X.
挿入部材３０ｂの側面にはケーブル接続口３０ｃが設けられており、このケーブル接続口３０ｃに光ケーブルＬＣが機械的に接続される。これにより、光源装置２と挿入部材３０ｂとが光ケーブルＬＣを介して光学的に接続されることになる。 A cable connection port 30c is provided on the side surface of the insertion member 30b, and the optical cable LC is mechanically connected to the cable connection port 30c. Thereby, the light source device 2 and the insertion member 30b are optically connected via the optical cable LC.
照射窓３０ｄは、硬質挿入部３０の他端側３０Ｙに設けられており、光ケーブルＬＣによって導光された通常光および励起光を被観察部に対し照射するものである。なお、挿入部材３０ｂ内にはケーブル接続口３０ｃから照射窓３０ｄまで通常光および励起光を導光するライトガイドが収容されており（図示せず）、照射窓３０ｄはライトガイドによって導光された通常光および励起光を被観察部に照射するものである。 The irradiation window 30d is provided on the other end side 30Y of the hard insertion portion 30, and irradiates the observed portion with normal light and excitation light guided by the optical cable LC. A light guide for guiding normal light and excitation light from the cable connection port 30c to the irradiation window 30d (not shown) is accommodated in the insertion member 30b, and the irradiation window 30d is guided by the light guide. The light to be observed is irradiated with normal light and excitation light.
図３は、撮像ユニット２０の概略構成を示す図である。撮像ユニット２０は、硬質挿入部３０内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第１の撮像系と、硬質挿入部３０内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第２の撮像系とを備えている。これらの撮像系は、通常像を反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム２１によって、互いに直交する２つの光軸に分けられている。 FIG. 3 is a diagram illustrating a schematic configuration of the imaging unit 20. The imaging unit 20 includes a first imaging system that captures a fluorescent image of the observed portion formed by the lens group in the hard insertion portion 30 and generates a fluorescent image signal of the observed portion, and the hard insertion portion 30. And a second imaging system that generates a normal image signal by capturing a normal image of the observed portion formed by the lens group. These imaging systems are divided into two optical axes orthogonal to each other by a dichroic prism 21 having a spectral characteristic that reflects a normal image and transmits a fluorescent image.
第１の撮像系は、被観察部において反射し、ダイクロイックプリズム２１を透過した励起光をカットする励起光カットフィルタ２２と、硬質挿入部３０から射出され、ダイクロイックプリズム２１および励起光カットフィルタ２２を透過した蛍光像Ｌ１を結像する第１結像光学系２３と、第１結像光学系２３により結像された蛍光像Ｌ４を撮像する高感度撮像素子２４とを備えている。 The first imaging system includes an excitation light cut filter 22 that cuts the excitation light reflected at the observed portion and transmitted through the dichroic prism 21, and the dichroic prism 21 and the excitation light cut filter 22 that are emitted from the hard insertion portion 30. A first imaging optical system 23 that images the transmitted fluorescent image L1 and a high-sensitivity imaging element 24 that images the fluorescent image L4 imaged by the first imaging optical system 23 are provided.
第２の撮像系は、硬質挿入部３０から射出され、ダイクロイックプリズム２１を反射した通常像Ｌ２を結像する第２結像光学系２５と、第２結像光学系２５により結像された通常像Ｌ２を撮像する撮像素子２６を備えている。 The second imaging system is a normal image formed by the second imaging optical system 25 and a second imaging optical system 25 that forms a normal image L2 emitted from the hard insertion portion 30 and reflected by the dichroic prism 21. An image sensor 26 that captures the image L2 is provided.
高感度撮像素子２４は、蛍光像Ｌ４の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力するものである。高感度撮像素子２４はモノクロの撮像素子である。 The high-sensitivity imaging element 24 detects light in the wavelength band of the fluorescent image L4 with high sensitivity, converts it into a fluorescent image signal, and outputs it. The high sensitivity image sensor 24 is a monochrome image sensor.
撮像素子２６は、通常像の波長帯域の光を検出し、通常画像信号に変換して出力するものである。撮像素子２６の撮像面には、３原色の赤（Ｒ）、緑（Ｇ）および青（Ｂ）、またはシアン（Ｃ）、マゼンダ（Ｍ）およびイエロー（Ｙ）のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。 The image sensor 26 detects light in the wavelength band of the normal image, converts it into a normal image signal, and outputs it. On the image pickup surface of the image pickup element 26, color filters of three primary colors red (R), green (G) and blue (B), or cyan (C), magenta (M) and yellow (Y) are arranged in a Bayer array or a honeycomb. It is provided in an array.
また、撮像ユニット２０は、撮像制御ユニット２７を備えている。撮像制御ユニット２７は、高感度撮像素子２４から出力された蛍光画像信号および撮像素子２６から出力された通常画像信号に対し、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理を施し、ケーブル５（図１参照）を介して画像処理装置３に出力するものである。 In addition, the imaging unit 20 includes an imaging control unit 27. The imaging control unit 27 performs CDS / AGC (correlated double sampling / automatic gain control) processing and A / D on the fluorescence image signal output from the high-sensitivity imaging device 24 and the normal image signal output from the imaging device 26. A conversion process is performed and output to the image processing apparatus 3 via the cable 5 (see FIG. 1).
画像処理装置３は、図４に示すように、通常画像入力コントローラ３１、蛍光画像入力コントローラ３２、画像処理部３３、メモリ３４、ビデオ出力部３５、操作部３６、ＴＧ（タイミングジェネレータ）３７およびＣＰＵ３８を備えている。 As shown in FIG. 4, the image processing apparatus 3 includes a normal image input controller 31, a fluorescence image input controller 32, an image processing unit 33, a memory 34, a video output unit 35, an operation unit 36, a TG (timing generator) 37, and a CPU 38. It has.
通常画像入力コントローラ３１および蛍光画像入力コントローラ３２は、所定容量のラインバッファを備えており、撮像ユニット２０の撮像制御ユニット２７から出力された１フレーム毎の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ３１に記憶された通常画像信号および蛍光画像入力コントローラ３２に記憶された蛍光画像信号はバスを介してメモリ３４に格納される。 The normal image input controller 31 and the fluorescence image input controller 32 include a line buffer having a predetermined capacity, and temporarily store the normal image signal and the fluorescence image signal for each frame output from the imaging control unit 27 of the imaging unit 20. To remember. Then, the normal image signal stored in the normal image input controller 31 and the fluorescent image signal stored in the fluorescent image input controller 32 are stored in the memory 34 via the bus.
画像処理部３３は、メモリ３４から読み出された１フレーム毎の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。画像処理部３３のより具体的な構成を図５に示す。 The image processing unit 33 receives a normal image signal and a fluorescence image signal for each frame read from the memory 34, performs predetermined image processing on these image signals, and outputs them to the bus. A more specific configuration of the image processing unit 33 is shown in FIG.
画像処理部３３は、図５に示すように、通常画像処理部５０、現在通常画像取得部５１、過去通常画像取得部５２、動き特徴量取得部５３、蛍光画像処理部５４、現在蛍光画像取得部５５、過去蛍光画像取得部５６、動き補正部５７、リンパ管抽出部５８および経時変化画像生成部５９を備えている。 As shown in FIG. 5, the image processing unit 33 includes a normal image processing unit 50, a current normal image acquisition unit 51, a past normal image acquisition unit 52, a motion feature amount acquisition unit 53, a fluorescent image processing unit 54, and a current fluorescent image acquisition. Unit 55, past fluorescence image acquisition unit 56, motion correction unit 57, lymphatic vessel extraction unit 58, and time-change image generation unit 59.
通常画像処理部５０は、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力するものである。 The normal image processing unit 50 performs predetermined image processing suitable for a normal image and outputs the input normal image signal.
現在通常画像取得部５１は、通常画像処理部５０から出力された通常画像信号のうちの最も直近に出力された通常画像信号を現在通常画像信号として取得し、動き特徴量取得部５３に出力するものである。現在通常画像取得部５１により取得される現在通常画像信号と後述する現在蛍光画像取得部５５により取得される現在蛍光画像信号とは、同じタイミングで撮像されたものである。 The current normal image acquisition unit 51 acquires the latest normal image signal output from the normal image signals output from the normal image processing unit 50 as the current normal image signal, and outputs the normal image signal to the motion feature amount acquisition unit 53. Is. A current normal image signal acquired by the current normal image acquisition unit 51 and a current fluorescent image signal acquired by a current fluorescent image acquisition unit 55 described later are captured at the same timing.
過去通常画像取得部５２は、通常画像処理部５０から出力されたフレーム毎の通常画像信号を順次、累積して記憶するものであり、その順次記憶した複数の過去通常画像信号の中から所定のフレームの過去通常画像信号を選択して動き特徴量取得部５３に出力するものである。本実施形態においては、所定の第１の時点において取得された第１の過去通常画像信号と、第１の時点よりも後の第２の時点において取得された第２の過去通常画像信号とを選択して動き特徴量取得部５３に出力するものとするが、選択対象の過去通常画像信号は、後述する過去蛍光画像取得部５６において選択される過去蛍光画像信号と同じタイミングで撮像されたものである。 The past normal image acquisition unit 52 sequentially accumulates and stores the normal image signals for each frame output from the normal image processing unit 50, and a predetermined normal image signal is selected from the plurality of past normal image signals stored in sequence. A past normal image signal of a frame is selected and output to the motion feature amount acquisition unit 53. In the present embodiment, a first past normal image signal acquired at a predetermined first time point and a second past normal image signal acquired at a second time point after the first time point are used. The selected past normal image signal is picked up at the same timing as the past fluorescence image signal selected by the past fluorescence image acquisition unit 56 to be described later. It is.
動き特徴量取得部５３は、現在通常画像取得部５１から出力された現在通常画像信号と過去通常画像取得部５２から出力された過去通常画像信号とに基づいて、過去通常画像信号における被観察部の状態から現在通常画像信号における被観察部の状態までの動きの変化を示す動き特徴量を取得するものである。動き特徴量の取得方法については、後で詳述する。 The motion feature amount acquisition unit 53 is based on the current normal image signal output from the current normal image acquisition unit 51 and the past normal image signal output from the past normal image acquisition unit 52. A motion feature amount indicating a change in motion from the state to the state of the observed portion in the current normal image signal is acquired. A method for acquiring the motion feature amount will be described in detail later.
蛍光画像処理部５４は、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力するものである。 The fluorescence image processing unit 54 performs predetermined image processing suitable for the fluorescence image on the input fluorescence image signal and outputs the processed signal.
現在蛍光画像取得部５５は、蛍光画像処理部５４から出力された蛍光画像信号のうちの最も直近に出力された蛍光画像信号を現在蛍光画像信号として取得し、動き特徴量取得部５３に出力するものである。 The current fluorescence image acquisition unit 55 acquires the fluorescence image signal output most recently among the fluorescence image signals output from the fluorescence image processing unit 54 as the current fluorescence image signal, and outputs it to the motion feature amount acquisition unit 53. Is.
過去蛍光画像取得部５６は、蛍光画像処理部５４から出力されたフレーム毎の蛍光画像信号を順次、累積して記憶するものであり、その順次記憶した複数の過去蛍光画像信号の中から所定のフレームの過去蛍光画像信号を選択して動き補正部５７に出力するものである。本実施形態においては、上述した第１の過去通常画像信号と同じタイミングで撮像された第１の過去蛍光画像信号と、上述した第２の過去通常画像信号と同じタイミングで撮像された第２の過去蛍光画像信号とを選択して動き補正部５７に出力するものとするが、選択対象の過去通常画像信号および過去蛍光画像信号は、操作者が操作部３６を用いて任意に選択するようにしてもよいし、予め設定された時間間隔で選択するようにしてもよい。また、全てのフレームの過去通常画像信号および過去蛍光画像信号を対象としてもよい。 The past fluorescence image acquisition unit 56 sequentially accumulates and stores the fluorescence image signals for each frame output from the fluorescence image processing unit 54. A predetermined fluorescence image signal is stored among the plurality of sequentially stored fluorescence image signals. The past fluorescence image signal of the frame is selected and output to the motion correction unit 57. In the present embodiment, the first past fluorescence image signal imaged at the same timing as the first past normal image signal described above and the second image captured at the same timing as the second past normal image signal described above. The past fluorescence image signal is selected and output to the motion correction unit 57, but the past normal image signal and the past fluorescence image signal to be selected are arbitrarily selected by the operator using the operation unit 36. Alternatively, the selection may be made at a preset time interval. Further, the past normal image signal and the past fluorescent image signal of all frames may be targeted.
動き補正部５７は、過去蛍光画像取得部５６から出力された第１の過去蛍光画像信号と第２の過去蛍光画像信号とに対して、動き特徴量取得部５３から出力された動き特徴量に基づいて動き補正処理を施すものである。第１の過去蛍光画像信号に対しては、第１の過去通常画像信号と現在通常画像信号とに基づいて算出された動き特徴量を用いて動き補正処理を施し、第２の過去蛍光画像信号に対しては、第２の過去通常画像信号と現在通常画像信号とに基づいて算出された動き特徴量を用いて動き補正処理を施すものである。動き補正処理については、後で詳述する。 The motion correction unit 57 applies the motion feature amount output from the motion feature amount acquisition unit 53 to the first past fluorescence image signal and the second past fluorescence image signal output from the past fluorescence image acquisition unit 56. Based on this, motion correction processing is performed. For the first past fluorescent image signal, motion correction processing is performed using the motion feature amount calculated based on the first past normal image signal and the current normal image signal, and the second past fluorescent image signal In contrast, a motion correction process is performed using a motion feature amount calculated based on the second past normal image signal and the current normal image signal. The motion correction process will be described in detail later.
リンパ管抽出部５８は、動き補正部５７によって動き補正の施された第１および第２の過去蛍光画像信号と現在蛍光画像信号に対して、リンパ管を表す画像信号を抽出する処理を施すものである。 The lymphatic vessel extraction unit 58 performs processing for extracting an image signal representing a lymphatic vessel from the first and second past fluorescent image signals and the current fluorescent image signal subjected to motion correction by the motion correction unit 57. It is.
経時変化画像生成部５９は、第１の過去蛍光画像信号から抽出されたリンパ管を表す画像信号（以下、「第１の過去リンパ管蛍光画像信号」という）と、第２の過去蛍光画像信号から抽出されたリンパ管を表す画像信号（以下、「第２の過去リンパ管蛍光画像信号」という）と、現在蛍光画像信号から抽出されたリンパ管を表す画像信号（以下、「現在リンパ管蛍光画像信号」という）とを用いて経時変化画像信号を生成するものである。経時変化画像信号の生成方法については、後で詳述する。 The time-change image generation unit 59 includes an image signal representing a lymphatic vessel extracted from the first past fluorescent image signal (hereinafter referred to as “first past lymphatic fluorescent image signal”), and a second past fluorescent image signal. An image signal representing a lymphatic vessel extracted from (hereinafter referred to as “second past lymphatic fluorescence image signal”) and an image signal representing a lymphatic vessel extracted from the current fluorescence image signal (hereinafter referred to as “current lymphatic fluorescence”). The time-varying image signal is generated using the “image signal”). A method for generating a time-varying image signal will be described in detail later.
図４に戻り、ビデオ出力部３５は、画像処理部３３から出力された通常画像信号、蛍光画像信号および経時変化画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力するものである。 Returning to FIG. 4, the video output unit 35 receives the normal image signal, the fluorescence image signal, and the time-varying image signal output from the image processing unit 33 through the bus, and performs predetermined processing to generate a display control signal. The display control signal is output to the monitor 4.
操作部３６は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。また、ＴＧ３７は、撮像ユニット２０の高感度撮像素子２４、撮像素子２６および後述する光源装置２のＬＤドライバ４５を駆動するための駆動パルス信号を出力するものである。また、ＣＰＵ３６は装置全体を制御するものである。 The operation unit 36 receives input by the operator such as various operation instructions and control parameters. The TG 37 outputs a driving pulse signal for driving the high-sensitivity imaging device 24, the imaging device 26 of the imaging unit 20, and the LD driver 45 of the light source device 2 described later. The CPU 36 controls the entire apparatus.
光源装置２は、約４００〜７００ｎｍの広帯域の波長からなる通常光（白色光）Ｌ１を射出する通常光源４０と、通常光源４０から射出された通常光Ｌ１を集光する集光レンズ４２と、集光レンズ４２によって集光された通常光Ｌ１を透過するとともに、後述する励起光Ｌ２を反射し、通常光Ｌ１および励起光Ｌ２とを光ケーブルＬＣの入射端に入射させるダイクロイックミラー４３とを備えている。なお、通常光源４０としては、たとえばキセノンランプが用いられる。また、通常光源４０と集光レンズ４２との間には、絞り４１が設けられており、ＡＬＣ（Automatic light control）４８からの制御信号に基づいてその絞り量が制御される。 The light source device 2 includes a normal light source 40 that emits normal light (white light) L1 having a broadband wavelength of about 400 to 700 nm, a condenser lens 42 that collects the normal light L1 emitted from the normal light source 40, and A dichroic mirror 43 that transmits normal light L1 collected by the condensing lens 42, reflects excitation light L2 to be described later, and makes the normal light L1 and excitation light L2 enter the incident end of the optical cable LC is provided. Yes. For example, a xenon lamp is used as the normal light source 40. A diaphragm 41 is provided between the normal light source 40 and the condenser lens 42, and the amount of the diaphragm is controlled based on a control signal from an ALC (Automatic light control) 48.
また、光源装置２は、７００ｎｍ〜８００ｎｍの可視から近赤外帯域の光であり、たとえば蛍光色素としてＩＣＧ（インドシアニングリーン）を用いた場合には７５０〜７９０ｎｍの近赤外光を励起光Ｌ２として射出するＬＤ光源４４と、ＬＤ光源４４を駆動するＬＤドライバ４５と、ＬＤ光源４４から射出された励起光Ｌ２を集光する集光レンズ４６と、集光レンズ４６によって集光された励起光Ｌ２をダイクロイックミラー４３に向けて反射するミラー４７とを備えている。 The light source device 2 is light in the visible to near-infrared band of 700 nm to 800 nm. For example, when ICG (Indocyanine Green) is used as a fluorescent dye, near-infrared light of 750 to 790 nm is used as the excitation light L2. As an LD light source 44, an LD driver 45 for driving the LD light source 44, a condensing lens 46 for condensing the excitation light L2 emitted from the LD light source 44, and an excitation light condensed by the condensing lens 46 And a mirror 47 that reflects L2 toward the dichroic mirror 43.
なお、励起光Ｌ２としては、広帯域の波長からなる通常光よりも狭帯域の波長が用いられる。そして、励起光Ｌ２としては上記波長域の光に限定されず、蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。 In addition, as excitation light L2, the wavelength of a narrow band is used rather than the normal light which consists of a broadband wavelength. And as excitation light L2, it is not limited to the light of the said wavelength range, It determines suitably according to the kind of fluorescent pigment | dye, or the kind of biological tissue made to autofluoresce.
また、光源装置２は、光ケーブルＬＣを介して硬性鏡撮像装置１０に光学的に接続されている。 The light source device 2 is optically connected to the rigid mirror imaging device 10 via the optical cable LC.
次に、本実施形態の硬性鏡システムの作用について説明する。 Next, the operation of the rigid endoscope system of this embodiment will be described.
まず、光ケーブルＬＣが接続された硬質挿入部３０およびケーブル５が撮像ユニット２０に取り付けられた後、光源装置２および撮像ユニット２０および画像処理装置３の電源が投入され、これらが駆動される。 First, after the hard insertion portion 30 and the cable 5 to which the optical cable LC is connected are attached to the imaging unit 20, the light source device 2, the imaging unit 20, and the image processing device 3 are powered on and driven.
次に、操作者により硬質挿入部３０が体腔内に挿入され、硬質挿入部３０の先端が被観察部の近傍に設置される。 Next, the hard insertion part 30 is inserted into the body cavity by the operator, and the tip of the hard insertion part 30 is installed in the vicinity of the observed part.
そして、光源装置２の通常光源４０から射出された通常光Ｌ１が、集光レンズ４２、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。一方、光源装置２のＬＤ光源４４から射出された励起光Ｌ２が、集光レンズ４６、ミラー４７、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に通常光と同時に照射される。なお、同時に照射するとは、必ずしも照射期間が完全に一致している必要はなく、少なくとも一部の照射期間が重複していればよい。 Then, the normal light L1 emitted from the normal light source 40 of the light source device 2 is incident on the hard insertion portion 30 via the condenser lens 42, the dichroic mirror 43, and the optical cable LC, and is irradiated from the irradiation window 30d of the hard insertion portion 30. Irradiate the observation part. On the other hand, the excitation light L2 emitted from the LD light source 44 of the light source device 2 is incident on the hard insertion section 30 via the condenser lens 46, the mirror 47, the dichroic mirror 43, and the optical cable LC, and the irradiation window of the hard insertion section 30 From 30d, the observed part is irradiated simultaneously with the normal light. Note that the simultaneous irradiation does not necessarily mean that the irradiation periods are completely the same, and it is sufficient that at least some of the irradiation periods overlap.
そして、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像が撮像されるとともに、励起光Ｌ２の照射によって被観察部から発せられた蛍光に基づく蛍光像が通常像と同時に撮像される。なお、被観察部には、予めＩＣＧが投与されており、このＩＣＧから発せられる蛍光を撮像するものとする。 Then, a normal image based on the reflected light reflected from the observed portion by the irradiation of the normal light L1 is captured, and a fluorescent image based on the fluorescence emitted from the observed portion by the irradiation of the excitation light L2 is simultaneously with the normal image. Imaged. It should be noted that ICG is administered to the observed part in advance, and fluorescence emitted from the ICG is imaged.
より具体的には、通常像の撮像の際には、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像Ｌ３が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。 More specifically, when the normal image is captured, the normal image L3 based on the reflected light reflected from the observed portion by the irradiation of the normal light L1 is incident from the tip 30Y of the insertion member 30b, and the inside of the insertion member 30b. Are guided by the lens group and emitted toward the imaging unit 20.
撮像ユニット２０に入射された通常像Ｌ３は、ダイクロイックプリズム２１により撮像素子２６に向けて直角方向に反射され、第２結像光学系２５により撮像素子２６の撮像面上に結像され、撮像素子２６によって所定間隔を空けて順次撮像される。 The normal image L3 incident on the imaging unit 20 is reflected by the dichroic prism 21 in the direction perpendicular to the imaging element 26, and is imaged on the imaging surface of the imaging element 26 by the second imaging optical system 25. 26 sequentially captures images at predetermined intervals.
撮像素子２６から順次出力された通常画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。 The normal image signal sequentially output from the image sensor 26 is subjected to CDS / AGC (correlated double sampling / automatic gain control) processing and A / D conversion processing in the imaging control unit 27, and then the image is transmitted through the cable 5. The data is sequentially output to the processing device 3.
一方、蛍光像の撮像の際には、励起光の照射によって被観察部から発せられた蛍光に基づく蛍光像Ｌ４が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。 On the other hand, when the fluorescent image is picked up, a fluorescent image L4 based on the fluorescence emitted from the observed portion by the irradiation of the excitation light is incident from the tip 30Y of the insertion member 30b and guided by the lens group in the insertion member 30b. And emitted toward the imaging unit 20.
撮像ユニット２０に入射された蛍光像Ｌ４は、ダイクロイックプリズム２１および励起光カットフィルタ２２を通過した後、第１結像光学系２３により高感度撮像素子２４の撮像面上に結像され、高感度撮像素子２４によって所定間隔を空けて撮像される。 The fluorescent image L4 incident on the imaging unit 20 passes through the dichroic prism 21 and the excitation light cut filter 22, and is then imaged on the imaging surface of the high-sensitivity imaging element 24 by the first imaging optical system 23, and has high sensitivity. Images are taken at a predetermined interval by the image sensor 24.
高感度撮像素子２４から順次出力された蛍光画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。 The fluorescent image signals sequentially output from the high-sensitivity image sensor 24 are subjected to CDS / AGC (correlated double sampling / automatic gain control) processing and A / D conversion processing in the imaging control unit 27, and then passed through the cable 5. Are sequentially output to the image processing apparatus 3.
次に、上記のようにして撮像ユニット２０において撮像された通常画像信号および蛍光画像信号に基づいて通常画像、蛍光画像および経時変化画像を表示する作用について説明する。 Next, the operation of displaying the normal image, the fluorescence image, and the time-varying image based on the normal image signal and the fluorescence image signal captured by the imaging unit 20 as described above will be described.
まず、通常画像および蛍光画像を表示する作用について説明する。画像処理装置３に入力された通常画像信号は、通常画像入力コントローラ３１において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の通常画像信号は、画像処理部３３の通常画像処理部５０において階調補正処理およびシャープネス補正処理が施された後、ビデオ出力部３５に順次出力される。 First, the operation of displaying a normal image and a fluorescent image will be described. The normal image signal input to the image processing device 3 is temporarily stored in the normal image input controller 31 and then stored in the memory 34. The normal image signal for each frame read from the memory 34 is subjected to gradation correction processing and sharpness correction processing in the normal image processing unit 50 of the image processing unit 33, and then sequentially output to the video output unit 35. Is done.
そして、ビデオ出力部３５は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、１フレーム毎の表示制御信号をモニタ４に順次出力する。そして、モニタ４は、入力された表示制御信号に基づいて通常画像を表示する。 Then, the video output unit 35 performs a predetermined process on the input normal image signal to generate a display control signal, and sequentially outputs the display control signal for each frame to the monitor 4. The monitor 4 displays a normal image based on the input display control signal.
また、画像処理装置３に入力された蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の蛍光画像信号は、画像処理部３３の蛍光画像処理部５４において所定の画像処理が施された後、ビデオ出力部３５に順次出力される。 The fluorescence image signal input to the image processing device 3 is temporarily stored in the fluorescence image input controller 32 and then stored in the memory 34. Then, the fluorescence image signal for each frame read from the memory 34 is subjected to predetermined image processing in the fluorescence image processing unit 54 of the image processing unit 33 and then sequentially output to the video output unit 35.
そして、ビデオ出力部３５は、入力された蛍光画像信号に所定の処理を施して表示制御信号を生成し、１フレーム毎の表示制御信号をモニタ４に順次出力する。そして、モニタ４は、入力された表示制御信号に基づいて蛍光画像を表示する。 The video output unit 35 performs a predetermined process on the input fluorescent image signal to generate a display control signal, and sequentially outputs the display control signal for each frame to the monitor 4. The monitor 4 displays a fluorescent image based on the input display control signal.
次に、過去蛍光画像信号と現在蛍光画像信号に基づいて経時変化画像を表示する作用について説明する。 Next, the operation of displaying a time-varying image based on the past fluorescence image signal and the current fluorescence image signal will be described.
本実施形態の硬性鏡システムは、上述したように被観察部のリンパ管中を流れるＩＣＧの蛍光を撮像するものである。そして、被観察部に投入されたＩＣＧが時間経過とともにどのような向きに流れているかを観察することは、癌の摘出手術などで切除する必要があるセンチネルリンパを発見する上で非常に重要なことである。また、リンパ管中を流れるＩＣＧが時間経過とともにどのように流れているかを観察することはこれからの研究材料としても非常に注目されるものである。 As described above, the rigid endoscope system according to the present embodiment images the fluorescence of ICG flowing in the lymphatic vessel of the observed portion. And it is very important to observe the direction in which the ICG thrown into the part to be observed flows with the passage of time in order to find sentinel lymph that needs to be removed by cancer removal surgery or the like. That is. In addition, observing how ICG flowing in lymphatic vessels flows with time is also attracting considerable attention as a research material in the future.
そこで、本実施形態の硬性鏡システムにおいては、過去に撮像された蛍光画像信号と現在撮像されている蛍光画像信号とに基づいて、時間の経過とともにリンパ管中を流れているＩＣＧの経時変化を示す経時変化画像を生成する。 Therefore, in the rigid endoscope system of the present embodiment, the time-dependent change of ICG flowing in the lymphatic vessel with the passage of time is based on the fluorescence image signal captured in the past and the fluorescence image signal currently captured. A temporal change image is generated.
そして、さらに、過去の蛍光画像信号を用いる場合、過去の蛍光画像信号を撮像したときの被観察部の形態と現在の蛍光画像信号を撮像したときの被観察部の形態とが拍動によって異なる形態となっている場合があり、このような場合に過去の蛍光画像信号と現在の蛍光画像信号とをそのまま用いたのではリンパ管の画像にずれが生じて適切な経時変化画像を生成することができない。 Further, when using the past fluorescent image signal, the form of the observed part when the past fluorescent image signal is imaged differs from the form of the observed part when the current fluorescent image signal is imaged depending on the pulsation. In such a case, if the past fluorescence image signal and the current fluorescence image signal are used as they are, the image of the lymphatic vessel will be shifted and an appropriate time-change image can be generated. I can't.
そこで、本実施形態の硬性鏡システムにおいては、上記のようなリンパ管画像のずれが生じないように過去の蛍光画像信号に動き補正を施すようにしている。 Therefore, in the rigid endoscope system of the present embodiment, motion correction is performed on the past fluorescence image signal so that the above-described shift of the lymphatic image does not occur.
以下に、過去の蛍光画像信号に動き補正を施した後、経時変化画像を生成する作用について、図６を参照しながらより詳細に説明する。 Hereinafter, the operation of generating a time-change image after performing motion correction on the past fluorescence image signal will be described in more detail with reference to FIG.
まず、上述したように、過去通常画像取得部５２と過去蛍光画像取得部５６には、撮像ユニット２０において所定間隔を空けて時系列に撮像された多数の通常画像信号と蛍光画像信号とがそれぞれ記憶されている。 First, as described above, in the past normal image acquisition unit 52 and the past fluorescence image acquisition unit 56, a large number of normal image signals and fluorescence image signals captured in time series at predetermined intervals in the imaging unit 20, respectively. It is remembered.
そして、図６に示すように、過去蛍光画像取得部５６に記憶された多数の過去の蛍光画像信号のうちの、上述した第１の過去蛍光画像信号ＩＦ（１）と第２の過去蛍光画像信号ＩＦ（２）とを取得する（Ｓ１０）。 Then, as shown in FIG. 6, the first past fluorescence image signal IF (1) and the second past fluorescence image described above among the many past fluorescence image signals stored in the past fluorescence image acquisition unit 56. The signal IF (2) is acquired (S10).
一方、過去通常画像取得部５２に記憶された多数の過去の通常画像信号のうち、Ｓ１０で選択した第１の過去蛍光画像信号ＩＦ（１）および第２の過去蛍光画像信号ＩＦ（２）とそれぞれ同じ時点において撮像された２つの通常画像信号を、上述した第１の過去通常画像信号ＩＶ（１）および第２の過去通常画像信号ＩＶ（２）として取得する（図６のＳ１２）。 On the other hand, among the many past normal image signals stored in the past normal image acquisition unit 52, the first past fluorescence image signal IF (1) and the second past fluorescence image signal IF (2) selected in S10; Two normal image signals captured at the same time point are acquired as the first past normal image signal IV (1) and the second past normal image signal IV (2) described above (S12 in FIG. 6).
そして、上記のようにして取得した第１の過去通常画像信号ＩＶ（１）および第２の過去通常画像信号ＩＶ（２）と、現在通常画像取得部５１において取得された現在通常画像信号ＩＶ（ｎｏｗ）とが動き特徴量取得部５３に入力される。そして、動き特徴量取得部５３において、第１の過去通常画像信号ＩＶ（１）と現在通常画像信号とに基づいて、被観察部の第１の動き特徴量が算出されるとともに、第２の過去通常画像信号ＩＶ（２）と現在通常画像信号とに基づいて、被観察部の第２の動き特徴量が算出される（図６のＳ１４）。 Then, the first past normal image signal IV (1) and the second past normal image signal IV (2) acquired as described above, and the current normal image signal IV ( Now) is input to the motion feature amount acquisition unit 53. Then, the motion feature amount acquisition unit 53 calculates the first motion feature amount of the observed portion based on the first past normal image signal IV (1) and the current normal image signal, and the second Based on the past normal image signal IV (2) and the current normal image signal, the second motion feature amount of the observed portion is calculated (S14 in FIG. 6).
以下、動き特徴量の算出方法について、図７のフローチャートを参照しながら詳細に説明する。 Hereinafter, a method for calculating the motion feature amount will be described in detail with reference to the flowchart of FIG.
まず、上述したように、動き特徴量取得部５３において、第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）が取得される（図７のＳ３０）。そして、カラー画像信号である第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）に対して、グレー画像処理が施されてグレー画像信号に変換される（図７のＳ３２）。 First, as described above, the motion feature quantity acquisition unit 53 acquires the first past normal image signal IV (1) and the current normal image signal IV (now) (S30 in FIG. 7). Then, the first past normal image signal IV (1) and the current normal image signal IV (now), which are color image signals, are subjected to gray image processing and converted into a gray image signal (S32 in FIG. 7). ).
次に、グレー画像信号である１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）に対して、コントラスト強調処理が施される（図７のＳ３４）。このようにグレー画像処理およびコントラスト強調処理を施すのは、後述する特徴点抽出処理において特徴点を抽出しやすくするためである。 Next, contrast enhancement processing is performed on one past normal image signal IV (1) and current normal image signal IV (now), which are gray image signals (S34 in FIG. 7). The reason why the gray image processing and the contrast enhancement processing are performed in this way is to facilitate feature point extraction in feature point extraction processing described later.
そして、次に、コントラスト強調処理の施された第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）に対して多重解像度画像生成処理が施され、それぞれの通常画像信号について、種々の解像度の通常画像信号が生成される（図７のＳ３６）。なお、以下、第１の過去通常画像信号ＩＶ（１）に基づいて生成された種々の解像度の通常画像信号を第１の多重解像度画像信号ＩＶ（１）１〜ｍとし、現在通常画像信号ＩＶ（ｎｏｗ）に基づいて生成された種々の解像度の通常画像信号を現在多重解像度信号ＩＶ（ｎｏｗ）１〜ｎとする。このように多重解像度画像生成処理を行うのは、後述する特徴点抽出処理において、荒い解像度の多重解像度画像信号を用いて大まかな特徴点を抽出し、細かい解像度の多重解像度画像信号を用いて細かい特徴点を抽出するためである。 Next, multi-resolution image generation processing is performed on the first past normal image signal IV (1) and the current normal image signal IV (now) on which the contrast enhancement processing has been performed. Normal image signals with various resolutions are generated (S36 in FIG. 7). Hereinafter, normal image signals of various resolutions generated based on the first past normal image signal IV (1) are referred to as first multi-resolution image signals IV (1) 1 to m , and the current normal image signal IV. The normal image signals of various resolutions generated based on (now) are now multi-resolution signals IV (now) 1 to n . In this way, the multi-resolution image generation process is performed by extracting rough feature points using a coarse-resolution multi-resolution image signal and fine-resolution using a multi-resolution image signal having a fine resolution. This is for extracting feature points.
そして、上記のようにして生成された第１の多重解像度画像信号ＩＶ（１）１〜ｍ，現在多重解像度信号ＩＶ（ｎｏｗ）１〜ｎに対して、ノイズ除去のための平滑化処理が施される（図７のＳ３８）。 The first multi-resolution image signals IV (1) 1- m and the current multi-resolution signals IV (now) 1- n generated as described above are subjected to smoothing processing for noise removal. (S38 in FIG. 7).
次に、平滑化処理の施された第１の多重解像度画像信号ＩＶ（１）１〜ｍ，現在多重解像度信号ＩＶ（ｎｏｗ）１〜ｎに対して特徴点抽出処理が施され、各多重解像度画像信号について特徴点が抽出される（図７のＳ４０）。 Next, feature point extraction processing is performed on the first multi-resolution image signals IV (1) 1 to m 1 and current multi-resolution signals IV (now) 1 to n that have been subjected to smoothing processing, and each multi-resolution image is obtained. Feature points are extracted from the image signal (S40 in FIG. 7).
特徴点抽出処理としては、たとえば、Hessain手法やHarris手法を用いた、いわゆるコーナー抽出法を用いることができる。または、DOG（Difference of Gaussian）やHOG(Histograms of Oriented Gradients)を用いて特徴点を抽出するようにしてもよい。これらの特徴点抽出の手法については公知であるので詳細な説明は省略する。図８に、特徴点抽出処理によって特徴点が抽出された多重解像度画像の１つの例を示す。 As the feature point extraction process, for example, a so-called corner extraction method using the Hessain method or the Harris method can be used. Alternatively, feature points may be extracted using DOG (Difference of Gaussian) or HOG (Histograms of Oriented Gradients). Since these feature point extraction methods are known, a detailed description thereof will be omitted. FIG. 8 shows an example of a multi-resolution image from which feature points have been extracted by feature point extraction processing.
そして、次に、第１の過去通常画像信号ＩＶ（１）について抽出された特徴点と、現在通常画像信号ＩＶ（ｎｏｗ）について抽出された特徴点と対して、マッチング演算処理が施される（図７のＳ４２）。マッチング演算処理とは、第１の過去通常画像信号ＩＶ（１）の特徴点と現在通常画像信号ＩＶ（ｎｏｗ）とで対応する特徴点の組を検出する演算処理である。 Then, a matching calculation process is performed on the feature points extracted for the first past normal image signal IV (1) and the feature points extracted for the current normal image signal IV (now) ( S42 in FIG. 7). The matching calculation processing is calculation processing for detecting a set of feature points corresponding to the feature points of the first past normal image signal IV (1) and the current normal image signal IV (now).
具体的には、たとえば、一方の通常画像信号における所定の特徴点と、他方の通常画像信号における全ての特徴点間のユークリッド距離をそれぞれ演算し、そのユークリッド距離が最小となる２つの特徴点を対応する特徴点の組として検出するようにすればよい。図９に、第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）との間で対応する特徴点を直線で示した模式図を示す。 Specifically, for example, a Euclidean distance between a predetermined feature point in one normal image signal and all feature points in the other normal image signal is calculated, and two feature points having the minimum Euclidean distance are calculated. What is necessary is just to make it detect as a set of corresponding feature points. FIG. 9 shows a schematic diagram in which feature points corresponding to the first past normal image signal IV (1) and the current normal image signal IV (now) are indicated by straight lines.
そして、上記のマッチング演算処理の結果に基づいて、第１の過去通常画像信号ＩＶ（１）の各特徴点から現在通常画像信号ＩＶ（ｎｏｗ）の対応する特徴点までの方向を示す動きベクトルが動き特徴量として算出される（図７のＳ４４）。 Based on the result of the above-described matching calculation process, a motion vector indicating the direction from each feature point of the first past normal image signal IV (1) to the corresponding feature point of the current normal image signal IV (now) is obtained. It is calculated as a motion feature amount (S44 in FIG. 7).
上記のようにして第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）とに基づいて、被観察部の第１の動き特徴量が算出される。そして、上記と同様にして、第２の過去通常画像信号ＩＶ（２）と現在通常画像信号ＩＶ（ｎｏｗ）とに基づいて、被観察部の第２の動き特徴量も算出される。 As described above, the first motion feature amount of the observed portion is calculated based on the first past normal image signal IV (1) and the current normal image signal IV (now). In the same manner as described above, the second motion feature amount of the observed portion is also calculated based on the second past normal image signal IV (2) and the current normal image signal IV (now).
図６に戻り、次に、動き特徴量取得部５３において取得された第１の動き特徴量および第２の動き特徴量は、動き補正部５７に出力される。そして、動き補正部５７は、入力された第１の動き特徴量に基づいて、第１の過去蛍光画像信号ＩＦ（１）に対して動き補正処理を施すとともに、入力された第２の動き特徴量に基づいて、第２の過去蛍光画像信号ＩＦ（２）に対して動き補正処理を施す（図６のＳ１６）。 Returning to FIG. 6, the first motion feature amount and the second motion feature amount acquired by the motion feature amount acquisition unit 53 are output to the motion correction unit 57. Then, the motion correction unit 57 performs a motion correction process on the first past fluorescence image signal IF (1) based on the input first motion feature amount, and also receives the input second motion feature. Based on the amount, motion correction processing is performed on the second past fluorescence image signal IF (2) (S16 in FIG. 6).
具体的には、まず、図１０に示すように、第１の過去蛍光画像信号ＩＦ（１）を所定の大きさの矩形領域に区分するとともに、第１の過去蛍光画像信号ＩＦ（１）に対し第１の過去通常画像信号ＩＶ（１）の各特徴点とその動きベクトルとを対応づける。そして、各矩形領域のコーナーＧ近傍に存在する特徴点Ｄの中で最も評価値の高い特徴点Ｄの動きベクトルに基づいて各矩形領域を変形することによって第１の過去蛍光画像信号ＩＦ（１）を変形する。図１１に、変形後の矩形領域およびそのコーナーＧ’の一例を示す。第２の過去蛍光画像信号ＩＦ（２）についても上記と同様して動き補正処理が施される。 Specifically, first, as shown in FIG. 10, the first past fluorescence image signal IF (1) is divided into rectangular regions of a predetermined size, and the first past fluorescence image signal IF (1) is divided. On the other hand, each feature point of the first past normal image signal IV (1) is associated with its motion vector. Then, the first past fluorescence image signal IF (1) is obtained by deforming each rectangular area based on the motion vector of the characteristic point D having the highest evaluation value among the characteristic points D existing in the vicinity of the corner G of each rectangular area. ). FIG. 11 shows an example of the rectangular region after deformation and its corner G ′. The second past fluorescence image signal IF (2) is also subjected to motion correction processing in the same manner as described above.
そして、上記のようにして取得された動き補正処理の施された第１の蛍光画像信号ＩＦ（１）（以下、「第３の過去蛍光画像信号ＩＦ（１）’」という）および第２の蛍光画像信号ＩＦ（２）（以下、「第４の過去蛍光画像信号ＩＦ（２）’」という）と、現在蛍光画像信号ＩＦ（ｎｏｗ）が、画像処理部３３のリンパ管抽出部５８（図５参照）に入力される。そして、リンパ管抽出部５８において各蛍光画像信号に対してリンパ管抽出処理が施される（図６のＳ１８，Ｓ２０）。 Then, the first fluorescence image signal IF (1) (hereinafter referred to as “third past fluorescence image signal IF (1) ′”) subjected to the motion correction processing acquired as described above and the second The fluorescence image signal IF (2) (hereinafter referred to as “fourth past fluorescence image signal IF (2) ′”) and the current fluorescence image signal IF (now) are converted into a lymphatic vessel extraction unit 58 (see FIG. 5). Then, lymphatic vessel extraction processing is performed on each fluorescent image signal in the lymphatic vessel extraction unit 58 (S18, S20 in FIG. 6).
リンパ管抽出処理は、線分抽出処理を行うことによって行われる。本実施形態においては、エッジ検出とそのエッジ検出によって検出したエッジから孤立点を除去することによって線分抽出処理を行う。エッジ検出方法としては、たとえば、１次微分を用いたキャニー法を用いることができる。図１２に、キャニー法によるエッジ検出を用いた線分抽出処理を説明するためのフローチャートを示す。 The lymph vessel extraction process is performed by performing a line segment extraction process. In this embodiment, line segment extraction processing is performed by removing isolated points from edges detected by edge detection and edge detection. As an edge detection method, for example, a Canny method using first-order differentiation can be used. FIG. 12 is a flowchart for explaining line segment extraction processing using edge detection by the Canny method.
図１２に示すように、まず、現在蛍光画像信号ＩＦ（ｎｏｗ）と第３の過去蛍光画像信号ＩＦ（１）’と第４の過去蛍光画像信号ＩＦ（２）’のそれぞれに対し、ＤＯＧ（Derivative of Gaussian）フィルタを用いたフィルタ処理が施される（図１２のＳ５０〜Ｓ５４）。このＤＯＧフィルタを用いたフィルタ処理は、ノイズを減らすためのガウシアンフィルタ処理（平滑化処理）と濃度勾配を検出するためのｘ，ｙ方向の１次微分フィルタ処理とを組み合わせた処理である。 As shown in FIG. 12, first, for each of the current fluorescence image signal IF (now), the third past fluorescence image signal IF (1) ′, and the fourth past fluorescence image signal IF (2) ′, DOG ( Filter processing using a Derivative of Gaussian filter is performed (S50 to S54 in FIG. 12). The filter process using the DOG filter is a process in which a Gaussian filter process (smoothing process) for reducing noise and a primary differential filter process in the x and y directions for detecting a density gradient are combined.
そして、フィルタ処理済の現在蛍光画像信号ＩＦ（ｎｏｗ）と第３の蛍光画像信号ＩＦ（１）’と第４の過去蛍光画像信号ＩＦ（２）’のそれぞれについて、濃度勾配の大きさと方向が計算される（図１２のＳ５６）。そして、濃度勾配の極大点を抽出し、それ以外の非極大点を除去する（図１２のＳ５８）。 Then, the magnitude and direction of the density gradient for each of the filtered current fluorescence image signal IF (now), the third fluorescence image signal IF (1) ′, and the fourth past fluorescence image signal IF (2) ′. Calculated (S56 in FIG. 12). Then, the local maximum point of the concentration gradient is extracted, and other non-maximal points are removed (S58 in FIG. 12).
そして、その極大点と所定の閾値とを比較し、所定の閾値以上の極大点をエッジとして検出する（図１２のＳ６０）。さらに、極大点であり所定の閾値以上であるが、連続したエッジを構成していない孤立点を除去する処理を行う（図１２のＳ６２）。孤立点の除去処理は、血管としては適当でない孤立点をエッジ検出結果から除去するための処理で、具体的には、検出された各エッジの長さをチェックすることによって孤立点を検出する。 Then, the maximum point is compared with a predetermined threshold value, and a maximum point equal to or greater than the predetermined threshold value is detected as an edge (S60 in FIG. 12). Further, a process of removing isolated points that are maximal points and are equal to or greater than a predetermined threshold but do not constitute a continuous edge is performed (S62 in FIG. 12). The isolated point removal process is a process for removing an isolated point that is not suitable as a blood vessel from the edge detection result. Specifically, the isolated point is detected by checking the length of each detected edge.
なお、エッジ検出のアルゴリズムは、上記に限らず、ノイズを減らすためのガウシアンフィルタ処理と２次微分処理とを行ってエッジを抽出するラプラシアンフィルタを組み合わせたＬＯＧ（Laplace of Gaussian）フィルタを用いてエッジ検出を行うようにしてもよい。 The edge detection algorithm is not limited to the above, and an edge is detected by using a LOG (Laplace of Gaussian) filter that combines a Laplacian filter that extracts edges by performing Gaussian filter processing for reducing noise and second-order differentiation processing. Detection may be performed.
また、本実施形態においては、エッジ検出を用いた線分抽出処理を行うことによってリンパ管抽出を行うようにしたが、これに限らず、リンパ管部分を抽出する処理であれば、たとえば、色相や輝度を用いた処理など如何なる処理を用いてもよい。 Further, in this embodiment, lymphatic vessel extraction is performed by performing line segment extraction processing using edge detection. However, the present invention is not limited to this. Any process such as a process using brightness or brightness may be used.
上記のようにしてリンパ管抽出処理を行うことによって、現在蛍光画像信号ＩＦ（ｎｏｗ）と第３の過去蛍光画像信号ＩＦ（１）’と第４の過去蛍光画像信号ＩＦ（２）’のそれぞれについて現在リンパ管蛍光画像信号、第１の過去リンパ管蛍光画像信号および第２の過去リンパ管蛍光画像信号が生成される。 By performing lymphatic vessel extraction processing as described above, each of the current fluorescence image signal IF (now), the third past fluorescence image signal IF (1) ′, and the fourth past fluorescence image signal IF (2) ′. A current lymphatic fluorescence image signal, a first past lymphatic fluorescence image signal, and a second past lymphatic fluorescence image signal are generated.
そして、次に、リンパ管抽出部５８において生成された現在リンパ管蛍光画像信号、第１の過去リンパ管蛍光画像信号および第２の過去リンパ管蛍光画像信号が、経時変化画像生成部５９に入力される。そして、経時変化画像生成部５９においては、図１３に示すように、現在リンパ管蛍光画像信号に対して、第１の過去リンパ管蛍光画像信号と第２の過去リンパ管蛍光画像信号とが重ね合わされ、第１の過去リンパ管蛍光画像信号ＩＦ（１）”と、第２の過去リンパ管蛍光画像信号における第１の過去リンパ管蛍光画像信号ＩＦ（１）”からの経時変化部ＩＦ（２）”と、現在リンパ管蛍光画像信号における第２の過去リンパ管蛍光画像信号からの経時変化部ＩＦ（ｎ）”とが互いに異なる色となるような経時変化画像信号が生成される（図６のＳ２４）。 Next, the current lymph vessel fluorescence image signal, the first past lymph vessel fluorescence image signal, and the second past lymph vessel fluorescence image signal generated in the lymph vessel extraction unit 58 are input to the time-change image generation unit 59. Is done. Then, in the time-change image generation unit 59, as shown in FIG. 13, the first past lymph vessel fluorescence image signal and the second past lymph vessel fluorescence image signal are superimposed on the current lymph vessel fluorescence image signal. The time-varying portion IF (2) from the first past lymph vessel fluorescence image signal IF (1) ″ and the first past lymph vessel fluorescence image signal IF (1) ″ in the second past lymph vessel fluorescence image signal ) "And the time-varying portion IF (n)" from the second past lymphatic fluorescent image signal in the current lymphatic fluorescent image signal are generated in different colors (FIG. 6). S24).
そして、経時変化画像生成部５９において生成された経時変化画像信号は、ビデオ出力部３５に出力される。 Then, the time-change image signal generated by the time-change image generation unit 59 is output to the video output unit 35.
そして、ビデオ出力部３５は、入力された経時変化画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて、図１３に示すような経時変化画像を表示する。 Then, the video output unit 35 performs a predetermined process on the input time-varying image signal to generate a display control signal, and outputs the display control signal to the monitor 4. Then, the monitor 4 displays a time-change image as shown in FIG. 13 based on the input display control signal.
このような経時変化画像を表示することによって、リンパ管内のＩＣＧがどちらの方向に向かって流れているのかを判別することができる。 By displaying such a time-change image, it is possible to determine in which direction the ICG in the lymph vessel is flowing.
なお、上記実施形態において、ビデオ出力部３５が、経時変化画像を現在蛍光画像に重ね合わせた画像を生成し、その画像をさらに現在通常画像に重ね合わせた画像を生成するようにしてもよい。なお、経時変化画像を重ね合わせる対象の画像は、現在蛍光画像および現在通常画像に限らず、同時に撮像された過去蛍光画像と過去通常画像であってもよい。 In the above-described embodiment, the video output unit 35 may generate an image in which the time-change image is superimposed on the current fluorescent image, and further generate an image in which the image is further superimposed on the current normal image. Note that the image to be overlaid with the time-varying image is not limited to the current fluorescent image and the current normal image, and may be a past fluorescent image and a past normal image that are simultaneously captured.
また、上記実施形態においては、第１の過去リンパ管蛍光画像信号ＩＦ（１）”と、経時変化部ＩＦ（２）”と、経時変化部ＩＦ（ｎ）”との色を変えることによって区別するようにしたが、これに限らず、たとえば、実線、破線、一点鎖線など互い異なる線種とすることによって区別するようにしてもよい。また、たとえば、全てフレームの蛍光画像信号に応じた経時変化部をそれぞれ表示させる場合には、グラデーション表示するようにしてもよい。 Further, in the above embodiment, the first past lymph vessel fluorescence image signal IF (1) ″, the time-varying portion IF (2) ″, and the time-varying portion IF (n) ″ are distinguished by changing colors. However, the present invention is not limited to this, and the distinction may be made by using different line types such as a solid line, a broken line, and a one-dot chain line. In the case of displaying each change portion, gradation display may be performed.
また、第１の過去リンパ管蛍光画像信号ＩＦ（１）”と、経時変化部ＩＦ（２）”と、経時変化部ＩＦ（ｎ）”とが、図１４に示すような関係となっている場合には、第１の過去リンパ管蛍光画像信号ＩＦ（１）”と経時変化部ＩＦ（２）”との分岐点を検出し、第１の過去リンパ管蛍光画像信号ＩＦ（１）”の分岐点以降の色を経時変化部ＩＦ（ｎ）”と同じ色にすることによって、図１３に示すようにリンパ管の分岐点が明確となるような経時変化画像信号を生成するようにしてもよい。 Further, the first past lymph vessel fluorescence image signal IF (1) ″, the time-varying portion IF (2) ″, and the time-varying portion IF (n) ″ have a relationship as shown in FIG. In this case, a branch point between the first past lymphatic vessel fluorescence image signal IF (1) ″ and the time-varying portion IF (2) ″ is detected, and the first past lymphatic vessel fluorescence image signal IF (1) ″ is detected. By changing the color after the branch point to the same color as that of the time-varying portion IF (n) ″, a time-change image signal that makes the branch point of the lymphatic vessel clear can be generated as shown in FIG. Good.
分岐点の検出方法としては、たとえば、図１５（Ａ）に示すように、２つの端部の組み合わせ毎に、線分の端部を始点に線分のつながりを追跡し、塗りつぶした画像を作成する。そして、図１５（Ａ）で示されるような画像を作成した後、これらを重ね合わせ画像を生成すれば、図１５（Ｂ）に示すように、線分が合流し重なった領域は重なりあった色で表現することができ、分岐点を明確にすることができる。 As a method for detecting a branch point, for example, as shown in FIG. 15 (A), for each combination of two ends, a line segment is traced starting from the end of the line and a solid image is created. To do. Then, after creating an image as shown in FIG. 15 (A) and then generating a superimposed image, as shown in FIG. 15 (B), the overlapping regions overlapped as shown in FIG. 15 (B). It can be expressed in color, and the branch point can be clarified.
また、たとえば、図１６に示すように、各経時変化部に対して、その撮像された時間に応じて番号を付して表示するようにしてもよい。なお、図１６におけるＣは癌、ＬＮはリンパ節、ＳＬＮはセンチネルリンパ節を表しており、図１６に示す白丸印に注射によってＩＣＧを投入した際の経時変化を示している。 Further, for example, as shown in FIG. 16, each time-varying portion may be displayed with a number according to the imaged time. In FIG. 16, C represents cancer, LN represents lymph node, and SLN represents sentinel lymph node. The white circles shown in FIG. 16 indicate changes over time when ICG is injected by injection.
また、上記実施形態においては、動き特徴量を取得する際、過去通常画像信号と現在通常画像信号とを用いるようにしたが、これに限らず、過去蛍光画像信号と現在蛍光画像信号とを用いて動き特徴量を取得するようにしてもよい。動き特徴量の算出方法については、上記と同様である。ただし、通常画像信号の方がカラー画像信号であるため蛍光画像信号に比べると特徴点の抽出精度が高く、より望ましい。 In the above embodiment, the past normal image signal and the current normal image signal are used when acquiring the motion feature amount. However, the present invention is not limited to this, and the past fluorescent image signal and the current fluorescent image signal are used. Then, the movement feature amount may be acquired. The method for calculating the motion feature amount is the same as described above. However, since the normal image signal is a color image signal, the feature point extraction accuracy is higher than that of the fluorescent image signal, which is more desirable.
また、上記実施形態においては、現在リンパ管蛍光画像信号に対して、第１の過去リンパ管蛍光画像信号と第２の過去リンパ管蛍光画像信号とを重ね合わせて経時変化画像を生成するようにしたが、第１の過去リンパ管蛍光画像信号に対して、第２の過去リンパ管蛍光画像信号の経時変化部を加算し、その加算された信号に対してさらに現在リンパ管蛍光画像信号の経時変化部を加算することによって経時変化画像信号を生成するようにしてもよい。このように経時変化部を順次加算して経時変化画像信号を生成することによって簡単な演算で経時変化画像信号を生成することができる。また、リアルタイムに順次更新さされる経時変化画像信号を生成することができる。 Further, in the above embodiment, the temporal change image is generated by superimposing the first past lymph vessel fluorescence image signal and the second past lymph vessel fluorescence image signal on the current lymph vessel fluorescence image signal. However, the time-varying portion of the second past lymph vessel fluorescence image signal is added to the first past lymph vessel fluorescence image signal, and the time passage of the current lymph vessel fluorescence image signal is further added to the added signal. A time-change image signal may be generated by adding the change portions. In this way, the time-varying image signal can be generated by a simple calculation by sequentially adding the time-varying portions to generate the time-varying image signal. In addition, it is possible to generate a time-varying image signal that is sequentially updated in real time.
また、図１７に示すように、現在リンパ管蛍光画像信号と第２の過去リンパ管蛍光画像信号との差分画像信号を算出し、その差分画像信号と第２の過去リンパ管蛍光画像信号とを比較し、差分画像信号の両端部のうちの第２の過去リンパ管蛍光画像信号に連続しない方の端部に矢印を表示させるようにしてもよい。このように矢印を表示することによって、リンパが流れる方向を指し示すことができる。また、上記のような方法に限らず、オプティカルフロー法やブロックマッチング法などを用いて矢印の方向を推定するようにしてもよい。 Further, as shown in FIG. 17, a difference image signal between the current lymph vessel fluorescence image signal and the second past lymph vessel fluorescence image signal is calculated, and the difference image signal and the second past lymph vessel fluorescence image signal are calculated. By comparison, an arrow may be displayed at the end of the difference image signal that is not continuous with the second past lymphatic fluorescent image signal. By displaying the arrows in this way, the direction of lymph flow can be indicated. In addition, the direction of the arrow may be estimated using not only the above method but also an optical flow method, a block matching method, or the like.
また、上記実施形態においては、第１の撮像系により蛍光画像を撮像するようにしたが、これに限らず、被観察部への特殊光の照射による被観察部の吸光特性に基づく画像を撮像するようにしてもよい。 In the above embodiment, the fluorescent image is picked up by the first image pickup system. However, the present invention is not limited to this, and an image based on the light absorption characteristic of the observed part by special light irradiation to the observed part is picked up. You may make it do.
また、上記実施形態においては、リンパ管画像を抽出するようにしたが、これに限らず、たとえば、血管、胆管などのその他の管部分を表す画像を抽出するようにしてもよい。 In the above-described embodiment, the lymphatic vessel image is extracted. However, the present invention is not limited to this, and for example, an image representing other vessel portions such as blood vessels and bile ducts may be extracted.
また、上記実施形態は、本発明の画像取得装置を硬性鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するその他の内視鏡システムに適用してもよい。また、内視鏡システムに限らず、体内に挿入される挿入部を備えていない、いわゆるビデオカメラ型の医用画像撮像装置に適用してもよい。 Moreover, although the said embodiment applies the image acquisition apparatus of this invention to a rigid endoscope system, even if it applies to other endoscope systems which have a flexible endoscope apparatus, for example, it is not restricted to this. Good. Further, the present invention is not limited to an endoscope system, and may be applied to a so-called video camera type medical image capturing apparatus that does not include an insertion portion that is inserted into the body.
１ 硬性鏡システム
２ 光源装置
３ 画像処理装置
４ モニタ
１０ 硬性鏡撮像装置
２０ 撮像ユニット
２４ 高感度撮像素子
２６ 撮像素子
３０ 硬質挿入部
５０ 通常画像処理部
５１ 現在通常画像取得部
５２ 過去通常画像取得部
５３ 特徴量取得部
５４ 蛍光画像処理部
５５ 現在蛍光画像取得部
５６ 過去蛍光画像取得部
５７ 動き補正部
５８ リンパ管抽出部
５９ 経時変化画像生成部
DESCRIPTION OF SYMBOLS 1 Rigid endoscope system 2 Light source device 3 Image processing apparatus 4 Monitor 10 Rigid endoscope imaging apparatus 20 Imaging unit 24 High sensitivity imaging element 26 Imaging element 30 Hard insertion part 50 Normal image processing part 51 Current normal image acquisition part 52 Past normal image acquisition part 53 Feature acquisition unit 54 Fluorescence image processing unit 55 Current fluorescence image acquisition unit 56 Past fluorescence image acquisition unit 57 Motion correction unit 58 Lymph vessel extraction unit 59 Time-varying image generation unit
Claims (10)
前記管画像抽出部が、励起光が照射された被観察部から発せられた蛍光を所定の間隔で撮像した複数の蛍光画像を取得し、該取得した複数の蛍光画像のうちの少なくとも１つの過去の時点において撮像された過去蛍光画像と前記過去の時点より後の時点において撮像された蛍光画像とから前記被観察部に含まれる管部分を表す管画像を抽出し、
前記経時変化画像取得部が、前記過去蛍光画像の管画像と前記後の時点に撮像された蛍光画像の管画像との間において変化した部分を表す経時変化部を特定し、前記過去蛍光画像の管画像または前記後の時点に撮像された蛍光画像の管画像と前記経時変化部に基づいて経時変化画像を取得するものであり、さらに前記被観察部に含まれる管部分の分岐点を特定し、該分岐点から前記管部分の端部までを同一の表示態様とした前記経時変化画像を取得する画像取得装置の作動方法。 An operation method of an image acquisition device including a tube image extraction unit and a time-change image acquisition unit,
The tube image extraction unit acquires a plurality of fluorescence images obtained by capturing fluorescence emitted from an observed portion irradiated with excitation light at a predetermined interval, and at least one past of the acquired plurality of fluorescence images A tube image representing a tube portion included in the observed portion is extracted from a past fluorescence image captured at the time point and a fluorescence image captured at a time point after the past time point,
The time-varying image acquisition unit identifies a time-varying portion that represents a changed portion between the tube image of the past fluorescence image and the tube image of the fluorescence image captured at the later time point, and Based on the tube image or the tube image of the fluorescence image captured at the later time point and the time-varying portion, the time-varying image is obtained, and further, the branch point of the tube portion included in the observed portion is specified. The operation method of the image acquisition apparatus which acquires the said time-change image which made the same display mode from this branch point to the edge part of the said tube part.
前記励起光の照射によって被観察部から発せられた蛍光を受光して複数の蛍光画像を所定の間隔で撮像する撮像部と、
該撮像部によって取得された複数の蛍光画像のうちの少なくとも１つの過去の時点において撮像された過去蛍光画像と前記過去の時点より後の時点において撮像された蛍光画像とから前記被観察部に含まれる管部分を表す管画像を抽出する管画像抽出部と、
前記過去蛍光画像の管画像と前記後の時点に撮像された蛍光画像の管画像との間において変化した部分を表す経時変化部を特定し、前記過去蛍光画像の管画像または前記後の時点に撮像された蛍光画像の管画像と前記経時変化部に基づいて経時変化画像を取得する経時変化画像取得部とを備え、
該経時変化画像取得部が、前記被観察部に含まれる管部分の分岐点を特定し、該分岐点から前記管部分の端部までを同一の表示態様とした前記経時変化画像を取得するものであることを特徴とする画像取得装置。 An excitation light irradiating unit that irradiates the observed part with excitation light;
An imaging unit that receives fluorescence emitted from the observed portion by irradiation of the excitation light and captures a plurality of fluorescent images at predetermined intervals;
Included in the observed portion from a past fluorescence image captured at a past time point of at least one of the plurality of fluorescent images acquired by the imaging unit and a fluorescence image captured at a time point after the past time point A tube image extraction unit for extracting a tube image representing a tube portion to be
A time-varying part representing a changed part between the tube image of the past fluorescence image and the tube image of the fluorescence image captured at the later time point is specified, and the tube image of the past fluorescence image or the later time point A time-varying image acquisition unit for acquiring a time-varying image based on the tube image of the captured fluorescent image and the time-varying unit;
The time-varying image acquisition unit identifies a branch point of a tube portion included in the observed portion, and acquires the time-change image having the same display mode from the branch point to the end of the tube portion. An image acquisition apparatus characterized by
前記撮像部が、前記通常光の照射によって前記被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するものであり、
前記複数の通常画像のうち前記少なくとも１つの過去の時点において撮像された過去通常画像と前記後の時点に撮像された通常画像との間の動きの変化を示す動き特徴量を取得する動き特徴量取得部と、
該動き特徴量取得部によって取得された動き特徴量に基づいて、該動き特徴量を取得するために用いた前記過去通常画像と同じ時点において撮像された前記過去蛍光画像に対して動き補正処理を施す動き補正部とを備え、
前記経時変化画像取得部が、前記動き補正処理の施された過去蛍光画像の前記管画像と前記後の時点に撮像された蛍光画像の前記管画像との間の前記経時変化部を特定し、前記動き補正処理の施された過去蛍光画像の管画像または前記後の時点に撮像された蛍光画像の管画像と前記経時変化部とに基づいて経時変化画像を取得するものであることを特徴とする請求項２記載の画像取得装置。 A normal light irradiation unit for irradiating the observed part with normal light;
The imaging unit receives reflected light reflected from the observed portion by the irradiation of the normal light and images a plurality of normal images at a predetermined interval;
A motion feature amount for obtaining a motion feature amount indicating a change in motion between the past normal image captured at the at least one past time point and the normal image captured at the later time point among the plurality of normal images. An acquisition unit;
Based on the motion feature amount acquired by the motion feature amount acquisition unit, a motion correction process is performed on the past fluorescence image captured at the same time as the past normal image used to acquire the motion feature amount. A motion correction unit to be applied,
The time-varying image acquisition unit identifies the time-varying portion between the tube image of the past fluorescent image subjected to the motion correction process and the tube image of the fluorescent image captured at the later time point, A time-varying image is obtained based on the tube image of the past fluorescent image subjected to the motion correction process or the tube image of the fluorescent image captured at the later time point and the time-varying portion. The image acquisition apparatus according to claim 2.
該動き特徴量取得部によって取得された動き特徴量に基づいて、該動き特徴量を取得するために用いた前記過去蛍光画像に対して動き補正処理を施す動き補正部とを備え、
前記経時変化画像取得部が、前記動き補正処理の施された過去蛍光画像の前記管画像と前記後の時点に撮像された蛍光画像の前記管画像との間の前記経時変化部を特定し、前記動き補正処理の施された過去蛍光画像の管画像または前記後の時点に撮像された蛍光画像の管画像と前記経時変化部とに基づいて経時変化画像を取得するものであることを特徴とする請求項２記載の画像取得装置。 A motion feature amount acquisition unit that respectively acquires a motion feature amount indicating a change in motion between the past fluorescence image and the fluorescence image captured at the later time point;
A motion correction unit that performs a motion correction process on the past fluorescence image used to acquire the motion feature amount based on the motion feature amount acquired by the motion feature amount acquisition unit;
The time-varying image acquisition unit identifies the time-varying portion between the tube image of the past fluorescent image subjected to the motion correction process and the tube image of the fluorescent image captured at the later time point, A time-varying image is obtained based on the tube image of the past fluorescent image subjected to the motion correction process or the tube image of the fluorescent image captured at the later time point and the time-varying portion. The image acquisition apparatus according to claim 2.
前記撮像部が、前記通常光の照射によって前記被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するものであり、
前記経時変化画像と前記過去蛍光画像と該過去蛍光画像と同時に撮像された前記通常画像とを重ね合わせた合成画像、または前記経時変化画像と前記後の時点に撮像された蛍光画像と該後の時点に撮像された蛍光画像と同時に撮像された前記通常画像とを重ね合わせた合成画像を生成する合成画像生成部を備えたことを特徴とする請求項２記載の画像取得装置。 A normal light irradiation unit for irradiating the observed part with normal light;
The imaging unit receives reflected light reflected from the observed portion by the irradiation of the normal light and images a plurality of normal images at a predetermined interval;
A composite image obtained by superimposing the time-change image, the past fluorescence image, and the normal image captured simultaneously with the past fluorescence image, or the time-change image and a fluorescence image captured at the later time point and The image acquisition apparatus according to claim 2, further comprising a composite image generation unit configured to generate a composite image obtained by superimposing the normal image captured simultaneously with the fluorescent image captured at the time.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010195024A JP5637783B2 (en) | 2010-08-31 | 2010-08-31 | Image acquisition apparatus and operation method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010195024A JP5637783B2 (en) | 2010-08-31 | 2010-08-31 | Image acquisition apparatus and operation method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012050617A JP2012050617A (en) | 2012-03-15 |
| JP5637783B2 true JP5637783B2 (en) | 2014-12-10 |
Family
ID=45904706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010195024A Active JP5637783B2 (en) | 2010-08-31 | 2010-08-31 | Image acquisition apparatus and operation method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5637783B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10299658B2 (en) | 2016-06-21 | 2019-05-28 | Olympus Corporation | Endoscope system, image processing device, image processing method, and computer-readable recording medium |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5993237B2 (en) * | 2012-07-25 | 2016-09-14 | オリンパス株式会社 | Fluorescence observation equipment |
| JP6184919B2 (en) * | 2014-08-21 | 2017-08-23 | 富士フイルム株式会社 | Imaging apparatus and method |
| WO2019102750A1 (en) * | 2017-11-24 | 2019-05-31 | ソニー株式会社 | Image processing device, image processing method, and image processing program |
| JP2020141946A (en) * | 2019-03-08 | 2020-09-10 | ソニー株式会社 | Medical image processing device, driving method of medical image processing device and medical observation system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07250804A (en) * | 1994-03-15 | 1995-10-03 | Olympus Optical Co Ltd | Fluorescence observer |
| JPH11137552A (en) * | 1997-11-13 | 1999-05-25 | Ge Yokogawa Medical Systems Ltd | Contrast image displaying method and apparatus and medical image apparatus |
| JP5160276B2 (en) * | 2008-03-24 | 2013-03-13 | 富士フイルム株式会社 | Image display method and apparatus |
| JP5294723B2 (en) * | 2008-06-26 | 2013-09-18 | 富士フイルム株式会社 | Image acquisition device |
| JP5545612B2 (en) * | 2009-01-14 | 2014-07-09 | 富士フイルム株式会社 | Image processing system, image processing method, and program |
-
2010
- 2010-08-31 JP JP2010195024A patent/JP5637783B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10299658B2 (en) | 2016-06-21 | 2019-05-28 | Olympus Corporation | Endoscope system, image processing device, image processing method, and computer-readable recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012050617A (en) | 2012-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5385350B2 (en) | Image display method and apparatus | |
| JP5435796B2 (en) | Method of operating image acquisition apparatus and image pickup apparatus | |
| JP6488249B2 (en) | Blood vessel information acquisition apparatus, endoscope system, and blood vessel information acquisition method | |
| JP2011200367A (en) | Image pickup method and device | |
| US9906739B2 (en) | Image pickup device and image pickup method | |
| JP4566754B2 (en) | Image processing device | |
| JP5358368B2 (en) | Endoscope system | |
| JP4895750B2 (en) | Endoscope processor, autofluorescence image display program, and endoscope system | |
| JP6581984B2 (en) | Endoscope system | |
| JP5714875B2 (en) | Fluorescence endoscope device | |
| US20110109761A1 (en) | Image display method and apparatus | |
| JP5637783B2 (en) | Image acquisition apparatus and operation method thereof | |
| CN111526773B (en) | Endoscopic image acquisition system and method | |
| JP5399187B2 (en) | Method of operating image acquisition apparatus and image acquisition apparatus | |
| WO2014199984A1 (en) | Microscope system for surgery | |
| JP5385176B2 (en) | Method for operating image display device and image display device | |
| JP6609688B2 (en) | Optical scanning imaging and projection apparatus and endoscope system | |
| JP4245787B2 (en) | Fluorescence image acquisition method and apparatus | |
| JP2011136005A (en) | Endoscope apparatus | |
| JP2011110272A (en) | Endoscope apparatus | |
| JP5570352B2 (en) | Imaging device | |
| JP2011110230A (en) | Fluorescent photographic apparatus | |
| KR102112229B1 (en) | Endoscope apparatus capable of visualizing both visible light and near-infrared light | |
| JP2010142546A (en) | Endoscope apparatus and control method therefor | |
| JP2013039224A (en) | Smoke detecting method and device, and image pickup device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131001 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140701 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140901 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140924 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141021 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5637783 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |