JP6535701B2

JP6535701B2 - Imaging device

Info

Publication number: JP6535701B2
Application number: JP2017107597A
Authority: JP
Inventors: 菅野　哲生; 哲生菅野; 大河北口
Original assignee: Mitsubishi Electric Engineering Co Ltd
Current assignee: Mitsubishi Electric Engineering Co Ltd
Priority date: 2017-05-31
Filing date: 2017-05-31
Publication date: 2019-06-26
Anticipated expiration: 2037-05-31
Also published as: JP2018201648A

Description

本発明は、医療用の撮像装置に関するもので、特に、患部の撮像とともに血流などの観測を行う撮像装置に関するものである。 The present invention relates to a medical imaging apparatus, and more particularly to an imaging apparatus that performs imaging of an affected area and observation of blood flow and the like.

従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、その通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。 Conventionally, an endoscope system for observing tissue in a body cavity is widely known, and an image of a portion to be observed in a body cavity is imaged by irradiating white light to obtain a normal image, and the normal image is displayed on a monitor screen Electronic endoscope systems have been widely put to practical use.

また、上記のような内視鏡システムとしては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光画像を撮像して自家蛍光画像を得、モニタ画面上に表示する蛍光画像撮像システムが広く実用化されている。 In addition, as an endoscope system as described above, a fluorescence image obtained by capturing an autofluorescence image emitted from an observed portion by irradiation of excitation light together with a normal image to obtain an autofluorescence image and displaying it on a monitor screen Imaging systems are in widespread use.

たとえば、蛍光造影剤であるインドシアニングリーン（ＩＣＧ）の投与による血管血流や病変組織での蛍光観察は以前より行われており、７５０〜７９０ｍｍの励起光照射に対して８３０〜８４０ｍｍの蛍光が得られることが一般で知られている。波長帯的には近赤外のため、ここで得られる画像はモノクロであり、得られる輝度変化画像により観察者が目視で血管内血流の確認を行うものである。これは、内視鏡だけでなく手術用顕微鏡にも応用されている。 For example, observation of vascular blood flow and fluorescence in diseased tissue by administration of indocyanine green (ICG), which is a fluorescent contrast agent, has been performed before, and fluorescence of 830 to 840 mm is obtained for 750 to 790 mm of excitation light irradiation. It is generally known to be obtained. Since the wavelength band is near infrared, the image obtained here is monochrome, and the observer visually confirms the blood flow in the blood vessel from the obtained luminance change image. This is applied not only to endoscopes but also to surgical microscopes.

そこで、特許文献１に記載の蛍光観察装置では、観察者が観察しやすいように、通常画像と蛍光画像とを適宜切り替えて、モニタ画面上に表示することが提案されている。 Therefore, in the fluorescence observation apparatus described in Patent Document 1, it is proposed that the normal image and the fluorescence image be appropriately switched to be displayed on the monitor screen so that the observer can easily observe.

特許第３５６０６７１号公報Patent No. 3560671 gazette

しかしながら、現行の医療用撮像装置では、可視光画像および蛍光画像にて撮像画像を表示するのみで、得られる輝度変化画像により観察者が目視で血管内血流の確認する必要がある。 However, in the current medical imaging apparatus, it is necessary for the observer to visually confirm the blood flow in the blood vessel from the obtained luminance change image only by displaying the captured image as a visible light image and a fluorescence image.

また、定量的な観測の例として、記録済み画像に対しソフトウエアによる後処理を行うことで、部分的な血流変化の観測が可能な例が存在するが、あくまで撮像後の画像処理が前提であったり、逐次検出位置の設定が必要であったりなど、必ずしも使い勝手のよいものではなかった。 In addition, as an example of quantitative observation, there is an example where partial blood flow changes can be observed by performing post-processing by software on recorded images, but image processing after imaging is assumed to the last And it is not always convenient to use, such as setting of the detection position one by one.

本発明は、上記の問題に鑑みてなされたもので、所望の観測を撮像と同時に行うことができる撮像装置を提供する。 The present invention has been made in view of the above problems, and provides an imaging device capable of performing desired observation simultaneously with imaging.

本発明に係る撮像装置は、医療用の撮像装置であって、近赤外を含む波長帯域の光を発光して被写体へ照射する照明手段と、前記照明手段を使用し、近赤外を含む波長帯域の被写体からの光像を高速に撮像する高速撮像手段と、前記高速撮像手段により撮像された画像に基づいて被写体の画像の撮像とともに被写体内に流れる流体の観測のための信号処理を行う画像処理手段とを備え、前記画像処理手段は、前記高速撮像手段にて撮像された画像より輝度を検出する輝度検出手段と、前記輝度検出手段にて検出された輝度の単位時間当たりの移動量を検出する移動量検出手段とを備える。 An imaging apparatus according to the present invention is an imaging apparatus for medical use, which includes an illumination unit that emits light in a wavelength band including near-infrared light and irradiates the subject with the illumination unit, and includes the near-infrared light. High-speed imaging means for capturing an optical image from a subject in a wavelength band at high speed, and signal processing for observation of fluid flowing in the subject along with imaging of the subject image based on the image captured by the high-speed imaging means An image processing unit, the image processing unit including: a luminance detection unit configured to detect a luminance from the image captured by the high speed imaging unit; and an amount of movement of the luminance detected by the luminance detection unit per unit time And movement amount detection means for detecting

本発明によれば、照明に近赤外光を使用することで、無侵襲にて生体の中を観察可能となる。 According to the present invention, by using near-infrared light for illumination, it is possible to observe the inside of a living body noninvasively.

また、本発明によれば、高速撮像手段を用いることで、流速の早い血流の観測を行うことができる。 Further, according to the present invention, it is possible to observe a blood flow at a high flow velocity by using a high-speed imaging means.

本発明によれば、撮像しながら輝度変化を検出することで、画像表示と同時に観測を行うことが可能である。 According to the present invention, it is possible to simultaneously observe an image display by detecting a change in luminance while imaging.

本発明の実施の形態１に係る撮像装置の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of an imaging device according to Embodiment 1 of the present invention. 図１に示されるカメラヘッドブロック１２の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the camera head block 12 shown by FIG. 図２に示されるノッチフィルター２８の特性図である。FIG. 3 is a characteristic diagram of the notch filter 28 shown in FIG. 図１に示される近赤外画像処理部１４の内部構成を示すブロック図ある。It is a block diagram which shows the internal structure of the near-infrared image process part 14 shown by FIG. 図１に示される近赤外画像処理部１４の画像処理例を示す図である。It is a figure which shows the image processing example of the near-infrared image process part 14 shown by FIG. 図１に示される近赤外画像処理部１４による観測用画像処理フローチャートである。It is an image processing flowchart for observation by the near-infrared image process part 14 shown by FIG. 本発明の実施の形態２に係る撮像装置を説明するもので、図１に示されるカメラヘッドブロック１２の内部構成を示すブロック図である。It is a block diagram which shows the imaging device which concerns on Embodiment 2 of this invention, and shows an internal structure of the camera head block 12 shown by FIG. 本発明の実施の形態２に係る撮像装置を説明するもので、図１に示される近赤外画像処理部１４の画像処理例を示す図である。It is a figure which illustrates the imaging device which concerns on Embodiment 2 of this invention, and shows the example of an image process of the near-infrared image process part 14 shown by FIG.

実施の形態１． Embodiment 1

以下、本発明の実施の形態１に係る撮像装置について、硬性鏡システムに適用した例として図を用いて説明する。図１は本発明の実施の形態１に係る撮像装置の概略構成を示すブロック図、図２は図１に示されるカメラヘッドブロック１２の内部構成を示すブロック図、図３は図２に示されるノッチフィルター２８の特性図、図４は図１に示される近赤外画像処理部１４の内部構成を示すブロック図、図５は画像処理例、図６は画像処理のフローチャートをそれぞれ示す。 Hereinafter, the imaging apparatus according to the first embodiment of the present invention will be described with reference to the drawings as an example applied to a rigid endoscope system. 1 is a block diagram showing a schematic configuration of an imaging apparatus according to Embodiment 1 of the present invention, FIG. 2 is a block diagram showing an internal configuration of a camera head block 12 shown in FIG. 1, and FIG. 3 is shown in FIG. FIG. 4 is a block diagram showing an internal configuration of the near infrared image processing unit 14 shown in FIG. 1, FIG. 5 shows an example of image processing, and FIG. 6 shows a flowchart of image processing.

本発明の実施の形態１に係る撮像装置は、図１に示すように、レーザー光源による可視発光部２と近赤外発光部４などにて照明手段が構成されており、可視発光部２と近赤外発光部４からの可視光と近赤外光とが照明混合部５で混合されたのち、デリバリーファイバー６にて硬性鏡７へ注入され、照明出射部８より被写体へ照射される。 In the imaging apparatus according to the first embodiment of the present invention, as shown in FIG. 1, an illumination means is configured by a visible light emitting unit 2 and a near infrared light emitting unit 4 by a laser light source. After visible light and near infrared light from the near infrared light emitting unit 4 are mixed in the illumination mixing unit 5, the visible light and the near infrared light are injected into the rigid mirror 7 by the delivery fiber 6 and irradiated to the subject from the illumination emitting unit 8.

このとき、近赤外光は、血流観察のための造影剤であるインドシアニングリーン（indocyanine green；以下ＩＣＧと称す）の励起波長中心約７８５ｍｍで発光するもので、蛍光発光効率がよい。可視光は青と緑と赤の３原色を発光させることで可視照明を構成する。 At this time, near infrared light emits light at about 785 mm of the excitation wavelength center of indocyanine green (hereinafter referred to as ICG), which is a contrast agent for blood flow observation, and has high fluorescence emission efficiency. Visible light constitutes visible illumination by emitting three primary colors of blue, green and red.

被写体からの光像は、可視の反射光とともにＩＣＧからの蛍光像が硬性鏡７の対物レンズ１０及びアダプターレンズ１１を通してカメラヘッドブロック１２へ送られる。カメラヘッドブロック１２は、照明手段を使用し、近赤外を含む波長帯域の被写体からの光像を高速に撮像する高速撮像手段を構成するもので、図２にその概略構成が示されており、ＩＣＧの励起光はノッチフィルター２８でカットされたうえで、ビームスプリッター２１で波長分光され、通常の可視光像Ｌ３は結像光学系２５を介して可視センサー２６へ、近赤外光像Ｌ４は特殊光カットフィルタ２２を透過し結像光学系２３を介して近赤外センサー２４へ、それぞれ送られて光電変換が実行される。 The light image from the subject is sent to the camera head block 12 through the objective lens 10 and the adapter lens 11 of the rigid mirror 7 together with the visible reflected light and the fluorescent image from the ICG. The camera head block 12 constitutes a high-speed imaging means for rapidly capturing an optical image from a subject in a wavelength band including near-infrared light, using an illumination means, and its schematic configuration is shown in FIG. The excitation light of ICG is cut by the notch filter 28 and wavelength-dispersed by the beam splitter 21. A normal visible light image L3 is transmitted to the visible sensor 26 through the imaging optical system 25 and the near infrared light image L4. Are transmitted through the special light cut filter 22 and sent to the near infrared sensor 24 through the image forming optical system 23 to perform photoelectric conversion.

ここで、ノッチフィルター２８は、図３にその特性３０と３１を示す。励起光をカットする必要があり、蛍光観察時のコントラスト確保のため、可視の帯域や蛍光帯域が若干抑制される。 Here, the notch filter 28 shows the characteristics 30 and 31 in FIG. It is necessary to cut off the excitation light, and in order to secure the contrast at the time of fluorescence observation, the visible band and the fluorescence band are slightly suppressed.

カメラヘッドブロック１２の可視センサー２６及び近赤外センサー２４により光電変換されて出力される画像信号は、撮像制御ユニット２７を介してＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施され、後段の画像処理部としての可視画像処理部１３及び近赤外画像処理部１４へ送られ、撮像画像表示とともに血流観測のための信号処理が行われる。 An image signal photoelectrically converted and output by the visible sensor 26 and the near infrared sensor 24 of the camera head block 12 is subjected to CDS / AGC (correlated double sampling / automatic gain control) processing or A / A through the imaging control unit 27. D conversion processing is performed, and it is sent to the visible image processing unit 13 and the near infrared image processing unit 14 as an image processing unit at a later stage, and signal processing for blood flow observation is performed together with displaying a captured image.

なお、図１において、１５は撮像画像とともに血流観測のための信号処理結果を表示する画像表示部、１６は可視画像処理部１３及び近赤外画像処理部１４を制御するとともに、可視発光部２及び近赤外発光部４を制御する可視発光制御部１及び近赤外光制御部３に制御指示を与える制御部である。 In addition, in FIG. 1, 15 is an image display part which displays the signal processing result for blood flow observation with a captured image, 16 controls the visible image processing part 13 and the near-infrared image processing part 14, and a visible light emission part It is a control unit that gives control instructions to the visible light emission control unit 1 that controls the near infrared light emission unit 2 and the near infrared light emission unit 4 and the near infrared light control unit 3.

次に、血流観測のための信号処理について、図４に示す近赤外画像処理部１４の内部構成、図５に示す近赤外画像処理部１４の画像処理例、図６に示す近赤外画像処理部１４による観測用画像処理フローチャートを参照して説明する。 Next, with regard to signal processing for blood flow observation, an internal configuration of the near-infrared image processing unit 14 shown in FIG. 4, an example of image processing of the near-infrared image processing unit 14 shown in FIG. This will be described with reference to the observation image processing flowchart by the external image processing unit 14.

体内の血流速度は、頸動脈などの大動脈では毎秒６０ｃｍを超えるため、従来の３０フレームカメラシステムでは、画角によってはフレームアウトしてしまうため、リアルタイムでの血流観測には不向きであった。そこで、本発明では、近赤外センサー２４として、３０フレームより高速に撮影が可能なセンサーを採用することで、撮像とともに同時観測を可能とした。 The blood flow velocity in the body exceeds 60 cm per second in the aorta such as the carotid artery, so the conventional 30-frame camera system is not suitable for real-time blood flow observation because it may be out of frame depending on the angle of view . Therefore, in the present invention, by adopting a sensor capable of imaging at a speed higher than 30 frames as the near infrared sensor 24, simultaneous observation with imaging is enabled.

まず、通常の可視画像表示のため、可視画像処理部１３は、画像出力フォームに合せた処理を行う。これと同時に、近赤外蛍光画像表示のため、近赤外画像処理部１４は、図４のように、ｎフレーム目で輝度値検出部３５にてある値以上の輝度情報ｆｎを検出する。ｆｎ：Ａ１（Ｘ１，Ｙ１） First, for normal visible image display, the visible image processing unit 13 performs processing in accordance with the image output form. At the same time, in order to display a near infrared fluorescence image, the near infrared image processing unit 14 detects the brightness information fn of a certain value or more at the brightness value detection unit 35 at the nth frame as shown in FIG. fn: A1 (X1, Y1)

つまり、ＩＣＧ投与時に血管内を高速で移動する蛍光輝度のピーク量を検出し（図６のステップＳ５０）、その量（Ａ）と位置（Ｘ，Ｙ）を一旦記憶部３７に記憶する。このときのピーク量とは、ある規定値を超える高輝度な範囲であり、血管の断面積に相当する値と定義しておく。 That is, the peak amount of fluorescence intensity moving at high speed in the blood vessel at the time of ICG administration is detected (step S50 in FIG. 6), and the amount (A) and position (X, Y) are temporarily stored in the storage unit 37. The peak amount at this time is a range of high luminance exceeding a specified value, and is defined as a value corresponding to the cross-sectional area of the blood vessel.

そして、単位時間で画像比較を行う（図６のステップＳ５１）。つまり、ｎフレームの次のｎ＋１フレーム目での輝度情報ｆ（ｎ＋１）を抽出し、比較部３６にてｎフレーム目での輝度情報ｆｎとの比較を行い、差分を検出することで単位時間での移動量を検出する（図６のステップＳ５２）。
ｆ（ｎ＋１）：Ａ２（Ｘ２，Ｙ２） Then, image comparison is performed in unit time (step S51 in FIG. 6). That is, the luminance information f (n + 1) in the n + 1th frame next to the nth frame is extracted, and the comparison unit 36 compares the luminance information fn in the nth frame with the luminance information fn to detect a difference. The amount of movement is detected (step S52 in FIG. 6).
f (n + 1): A2 (X2, Y2)

この検出を、近赤外画像処理部１４の画像処理例を示す図５のように、単位時間ｎｓ毎に繰り返すことで、計測データとして制御部１５内部に纏めて記憶される。なお、図５において、４０−４４は、単位時間ｎｓ毎のフレームｎ、ｎ＋１〜ｎ＋４を示し、４５−４９は各フレームでのピーク量を示す。 The detection is repeated and stored as measurement data in the control unit 15 by repeating this detection every unit time ns as shown in FIG. In FIG. 5, 40-44 indicate frames n and n + 1 to n + 4 per unit time ns, and 45-49 indicate peak amounts in each frame.

差分の検出を繰り返すことで、流速、流量、方向性の検出を行う（図６のステップＳ５３）。たとえば、毎秒２００フレームの撮像系で画角が約Φ５０ｍｍの条件で、フレーム間の位置（ＹＸ）の差分が１ｍｍ、量が面積２ｍｍ^２であれば、血流速は２０ｃｍ／秒、血流量は、４００ｍｍ^３／秒ということが分かる。これら演算は、演算部３８で行われ、制御部１６で制御される。 By repeating the detection of the difference, the flow velocity, the flow rate, and the directionality are detected (step S53 in FIG. 6). For example, if the difference between the positions (YX) between the frames is 1 mm and the area is 2 mm ² , the blood flow rate is 20 cm / sec, and the blood flow rate is ²⁰⁰ mm / sec. , 400 mm ³ / second. These calculations are performed by the calculation unit 38 and controlled by the control unit 16.

このように、実施の形態１に係る撮像装置では、図２に示す構成において、ノッチフィルター２８など励起光抑制策が必要ながら、ＩＣＧなど血液造影剤にて比較的容易に得られる蛍光画像を利用し、その輝度のピーク量や位置を単位時間で差分を検出し演算することで、撮像と同時に血液など生体内の血流計測を行うことが可能となる。 As described above, in the imaging apparatus according to the first embodiment, in the configuration illustrated in FIG. 2, a fluorescence image obtained relatively easily by using a blood contrast agent such as ICG is used while requiring excitation light suppression measures such as the notch filter 28. By detecting and calculating the difference in peak amount and position of the luminance in unit time, blood flow measurement in a living body such as blood can be performed simultaneously with imaging.

上述した説明では、計測のための演算に、毎秒２００フレームの繰り返し周期を使用したが、血流計測が可能な範囲であれば、いずれの値でもよく、演算の効率を考慮して固定でなく可変としてもよい。また、硬性鏡への応用例を示したが、これに限らず、もちろん手術用顕微鏡に応用してもよいのは勿論である。 In the above description, the repetition cycle of 200 frames per second was used for calculation for measurement, but any value may be used as long as blood flow measurement is possible, and it is not fixed considering the efficiency of calculation It may be variable. Moreover, although the example of application to a rigid endoscope was shown, it is needless to say that it is of course possible to apply to a microscope for operation not limited to this.

また、照明にレーザー光源を利用することでエネルギー効率がアップするが、ＬＥＤであっても勿論実現可能な内容である。採取画像から血流観測を行う場合、上記に加え動きベクトルを利用することでもよく、また、動き検知機能を追加し計測に応用してもよい、また、術野中血管一本のだけでなく複数本同時観測可能である。蛍光造影剤はＩＣＧに限らず、計測可能な波長であればいずれでもよく、どちらかといえば、体に低侵襲な近赤外が好ましい。 Moreover, although energy efficiency is improved by using a laser light source for illumination, it is a matter of course also achievable with LEDs. When blood flow observation is performed from the collected image, motion vectors may be used in addition to the above, and a motion detection function may be added and applied to measurement. This simultaneous observation is possible. The fluorescent contrast agent is not limited to the ICG, and may be any wavelength that can be measured.

また、撮像手段に使用される撮像センサーの画素数は、血流計測が可能であれば基本的に何れでも良いが、ヘモグロビンなどの微小な被写体を撮像するために、やはり１９２０×１０８０ハイビジョンもしくはこれを超える高精細な画素数が望ましい。このとき高精細センサーは、しばしば撮像感度が課題となる場合があるが、たとえば必要に応じて画素加算を行うなど、可能な範囲で解像度を犠牲にして、必要感度を確保する手法をとっても良いのは言うまでもない。 The number of pixels of the imaging sensor used in the imaging means may be basically any as long as blood flow measurement is possible, but in order to image a minute object such as hemoglobin, 1920 × 1080 high vision or this also It is desirable that the number of high definition pixels be greater than. At this time, the high definition sensor often has a problem of imaging sensitivity. However, for example, pixel addition may be performed as needed, or a method of securing necessary sensitivity at the expense of resolution in the possible range may be used. Needless to say.

実施の形態２． Second Embodiment

次に、本発明の実施の形態２に係る撮像装置について、硬性鏡システムに適用した例として図を用いて説明する。本発明の実施の形態２に係る撮像装置においては、実施の形態１と同様に、図１に示す撮像装置の概略構成、図４に示す近赤外画像処理部１４の内部構成、図６に示す画像処理のフローチャートを用いる。しかし、図１に示されるカメラヘッドブロック１２の内部構成としては、図７に示すブロック図を用いると共に、近赤外画像処理部１４の画像処理例としては、図８を用いる。なお、図７において、図２とは異なり、ノッチフィルター２８を用いてない。 Next, an imaging apparatus according to Embodiment 2 of the present invention will be described using a figure as an example applied to a rigid endoscope system. In the imaging apparatus according to the second embodiment of the present invention, as in the first embodiment, the schematic configuration of the imaging apparatus shown in FIG. 1, the internal configuration of the near infrared image processing unit 14 shown in FIG. The flowchart of the image processing shown is used. However, as an internal configuration of the camera head block 12 shown in FIG. 1, a block diagram shown in FIG. 7 is used, and FIG. 8 is used as an image processing example of the near infrared image processing unit 14. In FIG. 7, unlike in FIG. 2, the notch filter 28 is not used.

本発明の実施の形態２に係る撮像装置は、図１に示すように、レーザー光源による可視発光部２と近赤外発光部４などにて照明手段が構成されており、可視発光部２と近赤外発光部４からの可視光と近赤外光とが照明混合部５で混合されたのち、デリバリーファイバー６にて硬性鏡７へ注入され、照明出射部より被写体へ照射される。 In the imaging apparatus according to the second embodiment of the present invention, as shown in FIG. 1, an illumination means is constituted by a visible light emitting unit 2 and a near infrared light emitting unit 4 by a laser light source. The visible light and the near infrared light from the near infrared light emitting unit 4 are mixed by the illumination mixing unit 5, and then injected into the rigid mirror 7 by the delivery fiber 6 and irradiated to the subject by the illumination emitting unit.

このとき、近赤外光は、生体へ低侵襲な波長帯域８００〜９００ｍｍを利用する。可視光は青と緑と赤の３原色を発光させることで可視照明を構成する。 At this time, near infrared light utilizes a wavelength band of 800 to 900 mm which is minimally invasive to a living body. Visible light constitutes visible illumination by emitting three primary colors of blue, green and red.

被写体からの光像は、可視と近赤外の反射光像が硬性鏡７の対物レンズ１０及びアダプターレンズ１１を通してカメラヘッドブロック１２へ送られる。カメラヘッドブロック１２は、照明手段を使用し、近赤外を含む波長帯域の被写体からの光像を高速に撮像する高速撮像手段を構成するもので、図２にその概略構成が示されており、ＩＣＧの励起光はノッチフィルター２８でカットされたうえで、ビームスプリッター２１で波長分光され、通常の可視光像Ｌ３は結像光学系２５を介して可視センサー２６へ、近赤外光像Ｌ４は特殊光カットフィルタ２２を透過し結像光学系２３を介して近赤外センサー２４へ、それぞれ送られて光電変換が実行される。 The light image from the subject is transmitted to the camera head block 12 through the objective lens 10 and the adapter lens 11 of the rigid mirror 7 and the reflected light image of visible and near infrared light. The camera head block 12 constitutes a high-speed imaging means for rapidly capturing an optical image from a subject in a wavelength band including near-infrared light, using an illumination means, and its schematic configuration is shown in FIG. The excitation light of ICG is cut by the notch filter 28 and wavelength-dispersed by the beam splitter 21. A normal visible light image L3 is transmitted to the visible sensor 26 through the imaging optical system 25 and the near infrared light image L4. Are transmitted through the special light cut filter 22 and sent to the near infrared sensor 24 through the image forming optical system 23 to perform photoelectric conversion.

カメラヘッドブロック１２による光電変換後、実施の形態１と同様に、光電変換された画像信号は、さらに後段の画像処理部としての可視画像処理部１３及び近赤外処理部１４へ送られ、撮像画像表示とともに血流観測のための信号処理が行われる。 After photoelectric conversion by the camera head block 12, as in the first embodiment, the photoelectrically converted image signal is further sent to the visible image processing unit 13 and the near infrared processing unit 14 as an image processing unit at a subsequent stage, and imaging Signal processing for blood flow observation is performed together with image display.

次に、血流観測のための信号処理について、図４に示す近赤外画像処理部１４の内部構成、図８に示す近赤外画像処理部１４の画像処理例、図６に示す近赤外画像処理部１４による観測用画像処理フローチャートを参照して説明する。 Next, regarding signal processing for blood flow observation, an internal configuration of the near-infrared image processing unit 14 shown in FIG. 4, an example of image processing of the near-infrared image processing unit 14 shown in FIG. This will be described with reference to the observation image processing flowchart by the external image processing unit 14.

体内の血流速度は、頸動脈などの大動脈では毎秒６０ｃｍを超えるため、従来の３０フレームカメラシステムでは、画角によってはフレームアウトしてしまうため、リアルタイムでの血流観測には不向きであった。そこで、本発明では、近赤外センサー２４として、３０フレームより高速に撮影が可能なセンサーを採用することで、撮像とともに同時観測が可能とした。 The blood flow velocity in the body exceeds 60 cm per second in the aorta such as the carotid artery, so the conventional 30-frame camera system is not suitable for real-time blood flow observation because it may be out of frame depending on the angle of view . Therefore, in the present invention, by adopting a sensor capable of imaging at a speed higher than 30 frames as the near infrared sensor 24, simultaneous observation with imaging is enabled.

まず、通常の可視画像表示のため、可視画像処理部１３は、画像出力フォームに合せた処理を行う。これと同時に、近赤外蛍光画像表示のため、近赤外画像処理部１４は、図４のように、ｎフレーム目で輝度値検出部３５にてある値以上の輝度情報ｆｎを検出する。 First, for normal visible image display, the visible image processing unit 13 performs processing in accordance with the image output form. At the same time, in order to display a near infrared fluorescence image, the near infrared image processing unit 14 detects the brightness information fn of a certain value or more at the brightness value detection unit 35 at the nth frame as shown in FIG.

そのとき、近赤外センサー２４として、高精細且つ高速な撮像センサーを使用することで、血管内のヘモグロビンもしくは赤血球の流れを直接観測する。ただし、ヘモグロビンもしくは赤血球を１個づつ観測するのではなく、図８の単位時間ｎＳ毎のフレーム６３−６５のテクスチャー６０〜６２のように、複数のヘモグロビンをひとつのテクスチャー（模様）として扱う。 At that time, by using a high-definition and high-speed imaging sensor as the near infrared sensor 24, the flow of hemoglobin or red blood cells in the blood vessel is directly observed. However, instead of observing hemoglobin or red blood cells one by one, a plurality of hemoglobins are treated as one texture (pattern) like textures 60 to 62 of frames 63 to 65 per unit time nS in FIG. 8.

つまり、ＩＣＧ投与時に血管内を高速で移動する蛍光輝度のテクスチャーを検出し、その量（Ａ）と位置（Ｘ、Ｙ）を一旦記憶部３７に記憶する。このときのテクスチャー値とは、ある規定値を超える高輝度な範囲であり、血管の断面積に相当する値と定義しておく。
ｆｎ：Ａ１（Ｘ１，Ｙ１） That is, the texture of the fluorescent brightness moving at high speed in the blood vessel at the time of ICG administration is detected, and the amount (A) and the position (X, Y) are temporarily stored in the storage unit 37. The texture value at this time is a range of high brightness exceeding a specified value, and is defined as a value corresponding to the cross-sectional area of the blood vessel.
fn: A1 (X1, Y1)

たとえば、ｎフレームの次のｎ＋１フレーム目での輝度情報ｆ（ｎ＋１）を抽出し、比較部３６にて比較を行い、単位時間での移動量を検出する。
ｆ（ｎ＋１）：Ａ２（Ｘ２、Ｙ２） For example, the luminance information f (n + 1) in the n + 1th frame next to the nth frame is extracted, and the comparison unit 36 performs comparison to detect the amount of movement in unit time.
f (n + 1): A2 (X2, Y2)

この検出を、図８のように、単位時間ｎＳ毎のフレーム６３−６５について繰り返すことで、計測データとして制御部１５内部に纏めて記憶される。 By repeating this detection for each of the frames 63 to 65 per unit time nS as shown in FIG. 8, it is collectively stored in the control unit 15 as measurement data.

たとえば、毎秒２００フレームの撮像系で画角が約Φ５０ｍｍの条件で、フレーム間の位置（ＹＸ）の差分が１ｍｍ、量が面積２ｍｍ^２であれば、血流速は２０ｃｍ／秒、血流量は、４００ｍｍ^３／秒ということが分かる。これら演算は、演算部３８で行われ、制御部１５で制御される。 For example, if the difference between the positions (YX) between the frames is 1 mm and the area is 2 mm ² , the blood flow rate is 20 cm / sec, and the blood flow rate is ²⁰⁰ mm / sec. , 400 mm ³ / second. These calculations are performed by the calculation unit 38 and controlled by the control unit 15.

このように、実施の形態２に係る撮像装置によれば、高精細なカメラにて直接ヘモグロビンや赤血球の流れを検出することで、ＩＣＧなどの血液造影剤を利用しなくとも、量相当の値と位置情報を単位時間で差分を検出し演算することで、撮像と同時に血液など生体内の血流計測を行うことが可能となる。 As described above, according to the imaging apparatus according to the second embodiment, the value corresponding to the amount is obtained without using a blood contrast agent such as ICG by directly detecting the flow of hemoglobin or red blood cells with a high-definition camera. By detecting and computing the difference in unit time with the position information, it becomes possible to perform blood flow measurement in a living body such as blood simultaneously with imaging.

上述した説明では、計測のための演算に、２００フレームの繰り返し周期を使用したが、血流計測が可能な範囲であれば、いずれの値でもよく、演算の効率を考慮して固定でなく可変としてもよい。また、硬性鏡への応用例を示したが、これに限らず、もちろん手術用顕微鏡に応用してもよいのは勿論である。 In the above description, the repetition cycle of 200 frames was used for calculation for measurement, but any value may be used as long as blood flow measurement is possible, and it is not fixed but variable in consideration of calculation efficiency. It may be Moreover, although the example of application to a rigid endoscope was shown, it is needless to say that it is of course possible to apply to a microscope for operation not limited to this.

また、照明にレーザー光源を利用することでエネルギー効率がアップするが、ＬＥＤであってももちろん実現可能な内容である。さらに、ヘモグロビンもしくは赤血球は、テクスチャーでとらえなくとも、もちろん個々に直接その量がわかれば、そのままでも問題はなく、むしろ正確かと思われる。ヘモグロビンや赤血球を直接観察するには、さらに高感度のカメラを用いる、もしくは、さらなる高精細のカメラを利用してもよい。 Moreover, although energy efficiency is improved by using a laser light source for illumination, it is a matter of course that can be realized even with an LED. Furthermore, even if hemoglobin or red blood cells are not captured by texture, if the amount is known directly, of course, it is not a problem as it is, but seems to be rather accurate. For direct observation of hemoglobin and red blood cells, a camera with higher sensitivity or a camera with higher resolution may be used.

以上のように、本発明によれば、照明に近赤外光を使用することで、無侵襲にて生体の中を観察可能となる。 As described above, according to the present invention, by using near-infrared light for illumination, it is possible to observe the inside of a living body noninvasively.

また、本発明によれば、撮像しながら輝度変化を検出することで、画像表示と同時に観測を行うことが可能である。 Further, according to the present invention, it is possible to simultaneously observe an image display by detecting a change in luminance while imaging.

さらに、本発明によれば、照明にレーザー照明を使用することで、被写体に対して効率良く光を伝送・照射することができる。 Furthermore, according to the present invention, by using laser illumination for illumination, light can be efficiently transmitted and illuminated on an object.

１可視発光制御部
２可視発光部
３近赤外発光制御部
４近赤外発光部
５照明混合部
６デリバリーファイバー
７硬性鏡
８照明出射部
９照明照射範囲例
１０対物レンズ
１１アダプターレンズ
１２カメラヘッドブロック
１３可視画像処理部
１４近赤外画像処理部
１５画像表示部
１６制御部
２８ノッチフィルター
３５比較部 Reference Signs List 1 visible light emission control unit 2 visible light emission unit 3 near infrared light emission control unit 4 near infrared light emission unit 5 illumination mixing unit 6 delivery fiber 7 rigid mirror 8 illumination output unit 9 illumination irradiation range example 10 objective lens 11 adapter lens 12 camera head Block 13 visible image processing unit 14 near infrared image processing unit 15 image display unit 16 control unit 28 notch filter 35 comparison unit

Claims

A medical imaging device,
An illumination unit that emits a plurality of types of light in a visible light band and light in a near infrared wavelength band to simultaneously irradiate an object;
A beam splitter that wavelength-splits an optical image from an object in a wavelength band including near-infrared light using the illumination means ;
High-speed imaging means for simultaneously acquiring image information including the visible light band and the near-infrared wavelength band by imaging an optical image after wavelength dispersion by the beam splitter at a speed higher than 30 frames per second;
And image processing means for performing signal processing for observation of fluid flowing in a subject based on the image information captured by the high speed imaging means.
The image processing means is a luminance detection means for detecting the luminance of the image information imaged by the high speed imaging means.
Moving amount detecting means for detecting the moving amount per unit time for the position of the specific brightness level detected by the brightness detecting means;
The image processing device detects an amount of movement by treating a plurality of luminance levels in the image information as one texture.

The illumination means is
First illumination means for emitting light in the visible light band,
And second illumination means for emitting near infrared excitation light for a fluorescence contrast agent,
The high-speed imaging means uses the first illumination means and the second illumination means to rapidly capture an optical image of a wavelength band including near-infrared fluorescence,
2. The image processing means according to claim 1, wherein the image processing means performs signal processing for observing a fluid flowing in a subject using fluorescence image information obtained by using a fluorescence contrast agent. Imaging device.

The imaging device according to claim 1, wherein the illumination unit uses a laser light source.

The illumination means uses a wavelength band minimally invasive to a living body as light in the near-infrared wavelength band,
The image pickup apparatus according to claim 1, wherein the image processing means performs signal processing for observing a fluid flowing in a subject regardless of the use of a fluorescent contrast agent.

The illumination means is
First illumination means for emitting light in the visible light band,
And second illumination means for emitting near infrared light;
The second illumination means uses a wavelength band minimally invasive to a living body as the near infrared light,
The high-speed imaging unit uses the first illumination unit and the second illumination unit to rapidly capture an optical image of a wavelength band including near-infrared light,
The image pickup apparatus according to claim 1, wherein the image processing means performs signal processing for observing a fluid flowing in a subject regardless of the use of a fluorescent contrast agent.

The imaging device according to claim 4, wherein the illumination unit uses a laser light source.

The imaging device according to any one of claims 1 to 6, wherein the high-speed imaging means uses an imaging element with a high resolution pixel number of 1920 x 1080 or more.