WO2020045015A1 - 医療システム、情報処理装置及び情報処理方法 - Google Patents

医療システム、情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2020045015A1
WO2020045015A1 PCT/JP2019/031246 JP2019031246W WO2020045015A1 WO 2020045015 A1 WO2020045015 A1 WO 2020045015A1 JP 2019031246 W JP2019031246 W JP 2019031246W WO 2020045015 A1 WO2020045015 A1 WO 2020045015A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
speckle
unit
imaging target
motion
Prior art date
Application number
PCT/JP2019/031246
Other languages
English (en)
French (fr)
Inventor
宇紀 深澤
和樹 池下
菊地 大介
哲朗 桑山
高橋 健治
穂 高橋
中尾 勇
健太郎 深沢
藤田 五郎
史貞 前田
健 松井
山口 恭司
吉田 浩
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/250,699 priority Critical patent/US20210321887A1/en
Priority to DE112019004340.4T priority patent/DE112019004340T5/de
Priority to CN201980054396.9A priority patent/CN112584743A/zh
Publication of WO2020045015A1 publication Critical patent/WO2020045015A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Definitions

  • the present disclosure relates to a medical system, an information processing device, and an information processing method.
  • the identification unit 1314 identifies a fluid part and a non-fluid part based on the SC image. For example, the identification unit 1314 identifies a blood flow part and a non-blood flow part based on the SC image. More specifically, the identification unit 1314 identifies a blood flow part and a non-blood flow part by determining whether or not the speckle contrast value is equal to or greater than a predetermined threshold based on the SC image.
  • the detection of the movement of the imaging target 2 and the calculation of the speed of the movement can be easily realized, for example, by recognizing a change in the shape of the speckle based on the speckle image.
  • step S5 the SC image generation unit 1313 generates an SC image based on the SC.
  • FIG. 13 is an explanatory diagram of the second SC correction method based on the SC decrease according to the second embodiment of the present disclosure.
  • 13A, 13B, and 13C the vertical axis is SC, and the horizontal axis is the speed of the subject.
  • SC 1 is the SC of the blood flow part when the subject does not move
  • SC 2 is the SC of the non-blood flow part when the subject does not move
  • ⁇ SC is “SC 1 ⁇ SC 2 ”.
  • FIG. 17 is a flowchart illustrating a learning process performed by the information processing device 13 according to the fourth embodiment of the present disclosure.
  • An optical system and an image sensor are provided inside the camera head 5005, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
  • the observation light is photoelectrically converted by the imaging element, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU) 5039 as RAW data.
  • the camera head 5005 has a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • the CCU 5039 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and controls the operations of the endoscope 5001 and the display device 5041 in an integrated manner. Specifically, the CCU 5039 performs various image processing for displaying an image based on the image signal, such as a development process (demosaicing process), on the image signal received from the camera head 5005. The CCU 5039 provides the image signal subjected to the image processing to the display device 5041. Also, the CCU 5039 transmits a control signal to the camera head 5005, and controls its driving. The control signal may include information on imaging conditions such as a magnification and a focal length.
  • the control signal may include information on imaging conditions such as a magnification and a focal length.
  • the imaging device included in the imaging unit 5009 is configured to include a pair of imaging devices for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 5067 can more accurately grasp the depth of the living tissue in the operative part. Note that, when the imaging unit 5009 is configured as a multi-plate system, a plurality of lens units 5007 are provided corresponding to each imaging device.
  • the communication unit 5059 is configured by a communication device for transmitting and receiving various information to and from the camera head 5005.
  • the communication unit 5059 receives an image signal transmitted from the camera head 5005 via the transmission cable 5065.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 5059 is provided with a photoelectric conversion module that converts an optical signal into an electric signal in response to optical communication.
  • the communication unit 5059 provides the image signal converted to the electric signal to the image processing unit 5061.
  • the technology according to the present disclosure can be suitably applied to the endoscope 5001 among the configurations described above.
  • the present disclosure is applied to a case where a blood flow portion and a non-blood flow portion in an image of a surgical site in a body cavity of a patient 5071 captured by the endoscope 5001 are displayed on the display device 5041 so as to be easily visible.
  • Such technology can be applied. That is, by applying the technology according to the present disclosure to the endoscope 5001, a good SC image can be generated even when the captured image moves, and the blood flow portion and the non-blood flow portion can be accurately identified. . Accordingly, the operator 5067 can view the image of the operative site in which the blood flow part and the non-blood flow part are correctly identified on the display device 5041 in real time, and can perform the operation more safely.
  • the control device 5317 calculates a control value (for example, a rotation angle or a generated torque) for each joint that realizes the movement of the microscope unit 5303 in accordance with an operation input from the user, using the obtained information. Then, the drive mechanism of each joint is driven according to the control value.
  • a control value for example, a rotation angle or a generated torque
  • the control method of the arm unit 5309 by the control device 5317 is not limited, and various known control methods such as force control or position control may be applied.
  • the technology according to the present disclosure may be applied to a support arm device that supports a configuration other than such a microscope unit.

Abstract

医療システム(1)は、コヒーレント光を撮像対象に照射する第1の光照射手段(11)と、前記コヒーレント光が照射された前記撮像対象による散乱光から得られるスペックル画像を撮像する撮像手段(12)と、前記スペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出手段(1312)と、前記撮像対象の動きを検出する動き検出手段(1311)と、前記スペックルコントラスト値、及び、前記動き検出手段によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成手段(1313)と、前記スペックルコントラスト画像を表示する表示手段(14)と、を備える。

Description

医療システム、情報処理装置及び情報処理方法
 本開示は、医療システム、情報処理装置及び情報処理方法に関する。
 例えば、医療システムなどにおいて、患者等に対して、薬剤を投与することなく、血流やリンパ流の常時観察が可能なスペックルイメージング技術の開発が進められている。ここで、スペックルとは、例えば、照射されたコヒーレント光が対象物表面の微小な凹凸等によって反射、干渉することによって斑点状のパターンが生じる現象である。このスペックルの現象に基いて、例えば、対象物である生体における血流部と非血流部を識別することができる。
 具体的には、次の通りである。露光時間をある程度長くとると、血流部ではコヒーレント光を反射する赤血球等が動くことによりスペックルコントラスト値が小さくなるのに対し、非血流部では全体が静止していてスペックルコントラスト値が大きくなる。したがって、各画素のスペックルコントラスト値を用いて生成されたスペックルコントラスト画像に基いて、血流部と非血流部を識別することができる。
特開2016-193066号公報
 しかしながら、スペックルイメージング技術を用いる場合、対象物である生体が体動や拍動などによって動いたり、撮像装置が何らかの原因により振動してしまったりすることがある。その場合、撮像画像中で撮像対象の全体または一部が動いてしまうことで、非血流部のスペックルコントラスト値が下がってしまい、血流部と非血流部の識別精度が低下してしまうことがある。
 そこで、本開示では、スペックルイメージング技術において、撮像画像中で撮像対象が動いた場合でも良好なスペックルコントラスト画像を生成することができる医療システム、情報処理装置及び情報処理方法を提案する。
 上記の課題を解決するために、本開示に係る一形態の医療システムは、コヒーレント光を撮像対象に照射する第1の光照射手段と、前記コヒーレント光が照射された前記撮像対象による散乱光から得られるスペックル画像を撮像する撮像手段と、前記スペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出手段と、前記撮像対象の動きを検出する動き検出手段と、前記スペックルコントラスト値、及び、前記動き検出手段によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成手段と、前記スペックルコントラスト画像を表示する表示手段と、を備える。
本開示の第1の実施形態に係る医療システムの構成例を示す図である。 本開示の第1の実施形態に係る撮像装置の構成例を示す図である。 本開示の第1の実施形態における疑似血管のSC画像例を示す図である。 本開示の第1の実施形態に係る情報処理装置の構成例を示す図である。 本開示の第1の実施形態に係る情報処理装置によるSC画像生成処理を示すフローチャートである。 本開示の第1の実施形態における動きベクトルに基く撮像対象の動き検出の説明図である。 本開示の第1の実施形態におけるスペックル形状変化認識に基く撮像対象の動き検出の説明図である。 本開示の第1の実施形態におけるスペックルの形状変化の様子を示す模式図である。 本開示の第1の実施形態における第1関係情報を示すグラフである。 本開示の第1の実施形態における撮像対象にリファレンスマーカを設置した様子を示す模式図である。 本開示の第2の実施形態に係る情報処理装置によるSC画像生成処理を示すフローチャートである。 本開示の第2の実施形態におけるSC低下に基く第1のSC補正方法の説明図である。 本開示の第2の実施形態におけるSC低下に基く第2のSC補正方法の説明図である。 本開示の第3の実施形態に係る情報処理装置によるSC画像生成処理を示すフローチャートである。 本開示の第4の実施形態に係る情報処理装置の構成例を示す図である。 本開示の第4の実施形態に係る情報処理装置によるSC画像生成処理を示すフローチャートである。 本開示の第4の実施形態に係る情報処理装置による学習処理を示すフローチャートである。 本開示の応用例1に係る内視鏡手術システムの概略的な構成の一例を示す図である。 図18に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。 本開示の応用例2に係る顕微鏡手術システムの概略的な構成の一例を示す図である。 図20に示す顕微鏡手術システムを用いた手術の様子を示す図である。 本開示の変形例における指標5の時間差分絶対値積算法を説明するための血液ファントムモデルを示す模式図である。 本開示の変形例における指標5の時間差分絶対値積算法の説明図である。 時間差分絶対値積算法を使用していないスペックルコントラスト法により生成したSC画像例を示す図である。 本開示の変形例における指標5の時間差分絶対値積算法により生成したSC画像例を示す図である。
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を適宜省略する。
 脳神経外科手術や心臓外科手術などにおいて、手術時の血流観察のためにICG(Indocyanine Green)を用いた蛍光観察が一般的に行われている。これはICGが生体内で血漿蛋白と結合し、近赤外の励起光により蛍光を発する特徴を利用して、血管やリンパ管の走行を低侵襲に観察する手法である。
 ICG蛍光観察法では観察するタイミングに合わせて事前に適量のICGを生体に投与する必要があり、繰り返し観察をする場合にはICGが排出されるまで待機しなければならない。そして、その観察の待機のために迅速な処置ができず、手術の遅延を招く可能性がある。さらに、ICG観察では血管やリンパ管の存在を把握することは可能であるが、血液やリンパ液の流れの有無や速さを観察することはできない。
 そこで、上記のような状況に対して、薬剤の投与が不要で、血流やリンパ流の常時観察が可能なスペックルイメージング技術の開発が進められている。具体的な適用例として、脳動脈瘤クリッピング手術における動脈瘤の閉塞評価が挙げられる。ICG観察を用いた脳動脈瘤クリッピング手術では、クリッピング後にICGを注入して動脈瘤の閉塞の有無を判断する。しかしながら、閉塞が充分でない場合にICGを注入すると、瘤内にICGが流入してしまうため、再度クリッピングを行った際に残留しているICGによって閉塞評価を正しく行えないことがある。一方で、スペックルに基く血流観察を用いた脳動脈瘤クリッピング手術では、薬剤を用いることなく、繰り返して動脈瘤の閉塞の有無を高精度で判断することができる。
 そして、以下では、スペックルイメージング技術において、撮像画像中で撮像対象が動いた場合でも良好なスペックルコントラスト画像を生成することができる医療システム、情報処理装置及び情報処理方法について説明する。
(第1の実施形態)
[第1の実施形態に係る医療システムの構成]
 図1は、本開示の第1の実施形態に係る医療システム1の構成例を示す図である。第1の実施形態に係る医療システム1は、大別して、光源11、撮像装置12(撮像手段)、情報処理装置13を少なくとも備える。また、必要に応じて、表示装置14(表示部)等をさらに備えることも可能である。以下、各部について詳細に説明する。
 (1)光源
 光源11は、スペックル画像撮像用のコヒーレント光を撮像対象に照射する第1光源(第1の光照射手段)を含む。コヒーレント光とは、光束内の任意の二点における光波の位相関係が時間的に不変で一定であり、任意の方法で光束を分割した後、大きな光路差を与えて再び重ねあわせても完全な干渉性を示す光をいう。本開示に係る第1光源から出力されるコヒーレント光の波長は、例えば830nmであることが好ましい。波長が830nmであれば、ICG観察と光学系を併用できるからである。つまり、ICG観察を行う場合は波長が830nmの近赤外光を使うのが一般的であるため、スペックル観察にも同波長の近赤外光を使うようにすれば、ICG観察を実施可能な顕微鏡の光学系を変更することなく、スペックル観察が可能となるからである。
 ただし、第1光源が照射するコヒーレント光の波長はこれに限定されず、ほかに、例えば、550~700nmであってもよいし、あるいは、さらに他の波長であってもよい。以下では、コヒーレント光として波長が830nmの近赤外光を使用する場合を例にとる。
 また、コヒーレント光を照射する第1光源の種類は、本技術の効果を損なわない限り特に限定されない。レーザー光を発する第1光源としては、例えば、アルゴンイオン(Ar)レーザー、ヘリウム-ネオン(He-Ne)レーザー、ダイ(dye)レーザー、クリプトン(Cr)レーザー、半導体レーザー、半導体レーザーと波長変換光学素子を組み合わせた固体レーザー等を、単独で、または、組み合わせて、用いることができる。
 また、光源11は、可視光画像撮像用の可視光(例えば、インコヒーレント光の白色光)を撮像対象に照射する第2光源(第2の光照射手段)を含む。本開示に係る医療システム1では、撮像対象2に対して、コヒーレント光と可視光とが同時に照射される。すなわち、第2光源は、第1光源と同時に光の照射を行う。ここで、インコヒーレント光とは、物体光(物体波)のように干渉性を殆ど示さない光をいう。第2光源の種類は、本技術の効果を損なわない限り特に限定されない。一例としては、発光ダイオード等を挙げることができる。また、他の第2光源としては、キセノンランプ、メタルハライドランプ、高圧水銀ランプ等も挙げられる。
 (2)撮像対象
 撮像対象2は、様々なものでありえるが、例えば、流体を含むものが好適である。スペックルの性質上、ある程度長い露光時間で撮影する場合には非流体に比べて流体のスペックルコントラストは小さくなるという性質がある。そのため、本開示に係る医療システム1を用いて流体を含む撮像対象2をイメージングとすると、流体部と非流体部の境界や流体部の流速等を、求めることができる。
 より具体的には、例えば、撮像対象2を、流体が血液である生体(血管を含む生体)とすることができる。例えば、本開示に係る医療システム1を顕微鏡手術や内視鏡手術などで用いることで、血管の位置を確認しながら手術を行うことが可能である。そのため、より安全で高精度な手術を行うことができ、医療技術の更なる発展にも貢献することができる。
 (3)撮像装置
 次に、図2を参照して、撮像装置12について説明する。図2は、本開示の第1の実施形態に係る撮像装置12の構成例を示す図である。撮像装置12は、主な構成として、ダイクロイックミラー121と、スペックル画像撮像部122と、可視光画像撮像部123と、を備える。
 ダイクロイックミラー121は、受光した近赤外光(散乱光、反射光)と可視光(散乱光、反射光)を分離する。
 スペックル画像撮像部122は、ダイクロイックミラー121によって分離された近赤外光から得られるスペックル画像を撮像する。スペックル画像撮像部122は、例えば、スペックル観察用のIR(Infrared)イメージャである。
 可視光画像撮像部123は、ダイクロイックミラー121によって分離された可視光から得られる可視光画像を撮像する。可視光画像撮像部123は、例えば、可視光観察用のRGB(Red Green Blue)イメージャである。
 このような構成の撮像装置12によって、近赤外光を用いたスペックル観察と可視光を用いた可視光観察を同時に行うことが可能となる。
 (4)情報処理装置
 次に、図4を参照して、情報処理装置13について説明する。図4は、本開示の第1の実施形態に係る情報処理装置13の構成例を示す図である。情報処理装置13は、画像処理装置であり、主な構成として、処理部131と記憶部132とを備える。なお、以下において、「SC」は、スペックルコントラスト(値)を意味する。
 処理部131は、例えば、CPU(Central Processing Unit)により実現され、動き検出部1311(動き検出手段)、SC算出部1312(スペックルコントラスト算出手段)、SC画像生成部1313(スペックル画像生成手段)、識別部1314、及び、表示制御部1315(表示制御手段)を備える。
 動き検出部1311は、撮像対象2の動きを検出する。例えば、動き検出部1311は、可視光画像撮像部123により撮像された可視光画像に基いて撮像対象2の動きを検出する。また、動き検出部1311は、撮像対象2の動きを検出した場合に、撮像対象2の動きの速さを算出することもできる。動き検出部1311の詳細については後述する。
 SC算出部1312は、スペックル画像撮像部122により撮像されたスペックル画像に基いて画素ごとのスペックルコントラスト値を算出する。ここで、例えば、i番目の画素のスペックルコントラスト値は、以下の式(1)で表すことができる。
 i番目の画素のスペックルコントラスト値=
  (i番目の画素と周囲の画素の強度の標準偏差)/
    (i番目の画素と周囲の画素の強度の平均)   ・・・式(1)
 SC画像生成部1313は、SC算出部1312が算出したスペックルコントラスト値に基いてスペックルコントラスト画像(SC画像)を生成する。ここで、図3を参照して、SC画像例について説明する。図3は、本開示の第1の実施形態における疑似血管のSC画像例を示す図である。図3のSC画像例に示す通り、非血流部のスペックルコントラストに比べて、血流部のスペックルコントラストは小さい値をもつことが観察される。この観察結果は、刻一刻と変化する血流部のスペックルをある程度長い露光時間で観察したときにスペックルパターンが平均化されて標準偏差が小さくなり、スペックルコントラストが小さくなることを反映している。
 また、動き検出部1311によって撮像対象2の動きが検出された場合、SC画像生成部1313は、スペックルコントラスト値、及び、動き検出部1311によって検出された撮像対象2の動きに基いてスペックルコントラスト画像を生成する(詳細は後述)。
 識別部1314は、SC画像に基いて流体部と非流体部を識別する。例えば、識別部1314は、SC画像に基いて血流部と非血流部を識別する。より具体的には、識別部1314は、SC画像に基いて、スペックルコントラスト値が所定の閾値以上か否かを判定することによって、血流部と非血流部を識別する。
 表示制御部1315は、SC画像を表示装置14に表示する制御を行う。例えば、表示制御部1315は、識別部1314による識別結果に基いて、表示装置14に、SC画像を、血流部と非血流部を識別可能に表示させる。
 記憶部132は、スペックル画像撮像部122によって撮像されたスペックル画像、可視光画像撮像部123によって撮像された可視光画像、処理部131の各部による演算結果、上述の所定の閾値等の各種情報を記憶する。なお、この記憶部132の代わりに、医療システム1の外部の記憶装置を用いてもよい。
 (5)表示装置
 表示装置14は、表示制御部1315から制御されることによって、スペックル画像撮像部122によって撮像されたスペックル画像、可視光画像撮像部123によって撮像された可視光画像、処理部131の各部による演算結果等の各種情報を表示する。なお、この表示装置14の代わりに、医療システム1の外部の表示装置を用いてもよい。
[第1の実施形態に係るSC画像生成処理]
 次に、図5を参照して、情報処理装置13によるSC画像生成処理について説明する。図5は、本開示の第1の実施形態に係る情報処理装置13によるSC画像生成処理を示すフローチャートである。
 ステップS1において、まず、情報処理装置13の処理部131は、スペックル観察と可視光観察(IR&WL(White Light)観察)を開始する。
 次に、ステップS2において、動き検出部1311は、可視光画像撮像部123により撮像された可視光画像に基いて撮像対象2の動きを検出するための動作を行う。
 次に、ステップS3において、動き検出部1311は、撮像対象2の動きがあったか否かを判定し、Yesの場合はステップS8に進み、Noの場合はステップS4に進む。
 ステップS8において、動き検出部1311は、撮像対象2の動きの速さ(動き量)を算出する。ここで、ステップS2、S3、S8の具体的な処理方法の例として、図6を参照して動きベクトルに基く動き検出方法を説明し、図7を参照してスペックル形状変化認識に基く動き検出方法を説明する。
 図6は、本開示の第1の実施形態における動きベクトルに基く撮像対象の動き検出の説明図である。動き検出部1311は、可視光画像の特徴点の動きに基いて、撮像対象2の動きの検出を行う。例えば、動き検出部1311は、時系列で複数の可視光画像に基いて、特徴点の動きベクトルを演算することによって、撮像対象2の動きの検出を行う。図6の例では、時間tでのFフレームにおける位置3にあった被写体が、次の時間ti+1でのFi+1フレームにおいて位置3’に移動しており、移動量A(移動ピクセル量)は以下の式(2)により算出することができる。
 移動量A=Fi+1(x+a,y+b)-F(x,y)
     =(a,b)   ・・・式(2)
 そして、動き検出部1311は、この移動量A、光源11の画角情報、光源11から撮像対象2までの距離情報等に基いて、撮像対象2の動きの速さを算出することができる。なお、この動きベクトルに基く撮像対象の動き検出は、可視光画像を用いる場合に限定されず、スペックル画像を用いて行うこともできる。
 図7は、本開示の第1の実施形態におけるスペックル形状変化認識に基く撮像対象の動き検出の説明図である。動き検出部1311は、スペックル画像のスペックルの形状の変化に基いて、撮像対象2の動きの検出を行う。図7に示すように、撮像対象2の動きがあるとき、スペックルパターンは平均化されて運動方向に伸びた形状となる。
 また、図8は、本開示の第1の実施形態におけるスペックルの形状変化の様子を示す模式図である。図8(a)は撮像対象2の動きがない場合のスペックル形状を示し、図8(b)は撮像対象2の動きがある場合のスペックル形状を示す。図7、図8からわかるように、動き検出部1311は、スペックル形状の変化を認識することで、撮像対象2の移動量を算出することができる。そして、その移動量を用いて図6の場合と同様に演算することで、撮像対象2の動きの速さを算出することができる。
 図5に戻って、ステップS8の後、ステップS9において、SC算出部1312は、スペックル画像に基いて画素ごとのSCを算出する。次に、ステップS10において、SC画像生成部1313は、ステップS9で算出されたSC、及び、ステップS8で検出された撮像対象2の動きに基いて、スペックルコントラスト画像を生成する。ここで、ステップS10の具体的な処理方法の例として、図9を参照して第1関係情報に基く方法を説明し、図10を参照して第2関係情報に基く方法を説明する。
 図9は、本開示の第1の実施形態における第1関係情報を示すグラフである。第1関係情報は、予め定められた関係情報であって、所定の露光時間における被写体の速さ(動き)(横軸)とスペックルコントラスト値(縦軸)との関係を示す。この第1関係情報は、予め実験や理論等によって作成しておけばよい。そして、SC画像生成部1313は、動き検出部1311によって算出された撮像対象2の動きと、図9に示す第1関係情報とに基いて、SC画像を生成することができる。
 図10は、本開示の第1の実施形態における撮像対象2にリファレンスマーカを設置した様子を示す模式図である。リファレンスマーカは光学特性が既知な散乱体である。SC画像生成部1313は、撮像対象2の動きと、所定の露光時間における撮像対象2上のリファレンスマーカの動きとスペックルコントラスト値との関係を示す第2関係情報とに基いて、スペックルコントラスト画像を生成することができる。なお、設置するリファレンスマーカは1つに限定されず、2つ以上であってもよい。
 図5に戻って、ステップS4において、SC算出部1312はスペックル画像に基いて画素ごとのSCを算出する。次に、ステップS5において、SC画像生成部1313はそのSCに基いてSC画像を生成する。
 ステップS5とステップS10の後、ステップS6において、識別部1314は、閾値処理を実行する。つまり、例えば、識別部1314は、SC画像に基いて、スペックルコントラスト値が所定の閾値以上か否かを判定することによって、血流部と非血流部を識別する。
 次に、ステップS7において、表示制御部1315は、ステップS6における閾値処理に基いて、表示装置14に、SC画像を、血流部と非血流部を識別可能に表示させる制御を行う。なお、表示の際には、SC画像と可視光画像を別々のモニタに表示してもよいし、あるいは1つのモニタ内で画像を分割して別々に表示してもよい。また、スペックル画像によって特定した血流部の領域を可視光画像に重畳して表示してもよい。その際にSCを反映した表示を行ってもよい。ステップS7の後、処理を終了する。
 このように、第1の実施形態の情報処理装置13によれば、撮像対象2が動いた場合でも良好なSC画像を生成することができる。つまり、撮像対象2が動いた場合、SCが下がるが、撮像対象2の動きに基いてSC補正等を行うことにより、良好なSC画像を生成し、血流部と非血流部の識別を正確に行うことができる。
 なお、撮像対象2の動き検出、動きの速さ算出、SC補正等は、撮像した画面全体に対して行ってもよいし、あるいは、例えば、あらかじめ可視光画像の色情報や形態情報を解析して血管部と非血管部を識別してから、領域別に行ってもよい。
 また、撮像対象2の動きの検出と動きの速さの算出は、例えば、時系列で複数の可視光画像に基いて特徴点の動きを認識することによって、容易に実現することができる。
 また、撮像対象2の動きの検出と動きの速さの算出は、例えば、スペックル画像に基いてスペックルの形状の変化を認識することによって、容易に実現することができる。
 また、例えば、撮像対象2の動きの速さと上述の第1関係情報に基くことでSC補正量を高精度に算出し、それにより良好なSC画像を生成することができる。
 また、例えば、撮像対象2の動きの速さと上述の第2関係情報に基くことでSC補正量を高精度に算出し、それにより良好なSC画像を生成することができる。
 また、従来技術において、露光時間を短縮することで撮像対象の動きによるスペックルパターンの変化による影響を軽減する手法がある。しかし、この手法では、照明部と撮像部を同期制御するために煩雑な制御機構が必要であり、かつ低露光条件で観察するために高出力のレーザ光源が必要であるため実現が困難であるという短所があった。第1の実施形態の医療システム1によれば、そのような煩雑な制御機構や高出力のレーザ光源は不要である。
(第2の実施形態)
 次に、第2の実施形態について説明する。なお、第1の実施形態と同様の事項については、説明を適宜省略する。第1の実施形態では可視光画像やスペックル画像に基いて撮像対象2の動きを検出していたが、第2の実施形態ではスペックルコントラスト値の急峻な低下を撮像対象2の動きに起因するものとみなし、SCを補正する。
 図11は、本開示の第2の実施形態に係る情報処理装置13によるSC画像生成処理を示すフローチャートである。まず、ステップS1において、情報処理装置13の処理部131は、スペックル観察と可視光観察(IR&WL観察)を開始する。
 次に、ステップS4において、SC算出部1312はスペックル画像に基いて画素ごとのSCを算出する。
 次に、ステップS5において、SC画像生成部1313は、そのSCに基いてSC画像を生成する。
 次に、ステップS2において、動き検出部1311は、撮像対象2の動きを検出するための動作を行う。次に、ステップS3において、動き検出部1311は、撮像対象2の動きがあったか否かを判定し、Yesの場合はステップS11に進み、Noの場合はステップS6に進む。
 ステップS11において、処理部131は、SC補正処理を行う。ここで、ステップS2、S3、S11の具体的な処理方法の例として、図12を参照してSC低下に基く第1のSC補正方法を説明し、図13を参照してSC低下に基く第2のSC補正方法を説明する。
 図12は、本開示の第2の実施形態におけるSC低下に基く第1のSC補正方法の説明図である。図12(a)(b)において、縦軸はSCであり、横軸は時間(フレーム)である。ある画素に関し、撮像対象2が動くことで図12(a)に示すようにSCの急峻な低下があった場合、つまり、スペックルコントラスト値が所定値以上下がった(変化した場合の一例)場合に、SC算出部1312は、撮像対象2における動きを検出し、その下がったスペックルコントラスト値を時間的に前後のスペックルコントラスト値に基いて補正する。具体的には、例えば、3フレーム分のメディアンフィルタを適用し、当該SCと、1つ前のSCと、1つ後のSCのうち、中央値を採用する。そして、SC画像生成部1313は、各画素の補正したスペックルコントラスト値に基いて、SC画像を生成(補正)する。
 図13は、本開示の第2の実施形態におけるSC低下に基く第2のSC補正方法の説明図である。図13(a)(b)(c)において、縦軸はSCであり、横軸は被写体の速さである。また、図13(a)において、SCは被写体の動きがない場合の血流部のSCであり、SCは被写体の動きがない場合の非血流部のSCであり、ΔSCは「SC-SC」の値である。
 また、図13(b)において、SC'は被写体の動きがある場合の血流部のSCであり、SC'は被写体の動きがある場合の非血流部のSCであり、ΔSC'は「SC'-SC'」の値である。また、図13(c)において、SC''は補正後の血流部のSCであり、SC''は補正後の非血流部のSCであり、ΔSC''は「SC''-SC''」の値である。
 図13(a)(b)に示すように、被写体の動きがあると、血流部のSCと非血流部のSCの両方が低下する。そこで、動き検出部1311が撮像対象2の全体についてスペックルコントラスト値が所定値以上下がって動きを検出した場合、SC算出部1312は、非血流部のスペックルコントラスト値の下がった割合に基いて全画素のスペックルコントラスト値を算出(補正)する。具体的には、以下の式(3)~式(5)を用いて計算する。
 Gain=SC/SC'  ・・・式(3)
 SC''=SC'*Gain ・・・式(4)
 SC''=SC'*Gain ・・・式(5)
 そうすると、図13(c)に示すように、補正後のSC''とSC''が得られる。そして、SC画像生成部1313は、補正したスペックルコントラスト値に基いて、スペックルコントラスト画像を生成(補正)する。
 図11に戻って、ステップS3でNoの後とステップS11の後、ステップS6において、識別部1314は、閾値処理を実行する。次に、ステップS7において、表示制御部1315は、ステップS6における閾値処理に基いて、表示装置14に、SC画像を、血流部と非血流部を識別可能に表示させる制御を行う。ステップS7の後、処理を終了する。
 このように、第2の実施形態の情報処理装置13によれば、撮像対象2が動いた場合でも良好なSC画像を生成することができる。具体的には、撮像対象2の動きそのものを検出せずに、SCの急峻な変化を撮像対象2の動きとみなし、前後の時間のSCを用いてSC補正を行うことで、SCを正しい値に近づけ、良好なSC画像を生成し、血流部と非血流部の識別を正確に行うことができる。
 なお、図11のフローチャートでは、ステップS5でSC画像を生成し、その後、撮像対象2に動きがあった場合、ステップS11でSC画像を補正するものとした。しかし、これに限定されず、例えば、撮像対象2の動き検出(ステップS2)の前はSC画像を生成せず、撮像対象2に動きがあった場合、SCを補正し、その補正したSCに基いて初めてSC画像を生成するようにしてもよい。
(第3の実施形態)
 次に、第3の実施形態について説明する。第1の実施形態と同様の事項については、説明を適宜省略する。図14は、本開示の第3の実施形態に係る情報処理装置13によるSC画像生成処理を示すフローチャートである。
 ステップS1において、情報処理装置13の処理部131は、スペックル観察と可視光観察(IR&WL観察)を開始する。
 次に、ステップS2において、動き検出部1311は、可視光画像撮像部123により撮像された可視光画像に基いて撮像対象2の動きを検出するための動作を行う。
 次に、ステップS3において、動き検出部1311は、撮像対象2の動きがあったか否かを判定し、Yesの場合はステップS21に進み、Noの場合はステップS4に進む。ステップS2、S3については、第1の実施形態と同様である。
 ステップS21において、SC算出部1312はスペックル画像に基いて画素ごとのSCを算出する。
 次に、ステップS22において、SC算出部1312は、各画素について、現在のSCと時間的に1つ前のSCを、動きの度合いに応じて重み付けした上で加算した値で、現在のSCを補正する。例えば、現在の撮像対象2の動きが1つ前の撮像対象2の動きよりも大きい場合、現在のSCの重みを小さく、1つ前のSCの重みを大きくして加算し、現在のSCとする。なお、このSC補正は、画面全体について行ってもよいし、一部の画素について行ってもよい。
 次に、ステップS23において、SC画像生成部1313は、ステップS22で算出されたSCに基いて、SC画像を生成する。ステップS4~S7は、図5と同様である。
 このように、第3の実施形態の情報処理装置13によれば、撮像対象2が動いた場合でも良好なSC画像を生成することができる。つまり、各画素について、現在のSCと時間的に1つ前のSCを、動きの度合いに応じて重み付けした上で加算した値で、現在のSCを補正することで、SCを正しい値に近づけ、良好なSC画像を生成し、血流部と非血流部の識別を正確に行うことができる。
(第4の実施形態)
 次に、第4の実施形態について説明する。第1の実施形態と同様の事項については、説明を適宜省略する。第4の実施形態では、第1の実施形態~第3の実施形態で示したSC補正処理(撮像対象2の動きを考慮したSC画像生成処理)の実行が難しい場合でも血流部の表示を続けるための方法について説明する。図15は、本開示の第4の実施形態に係る情報処理装置13の構成例を示す図である。図4に示す第1の実施形態に係る情報処理装置13と比較して、処理部131に学習部1316(学習手段)が追加されている点で異なっている。
 学習部1316は、スペックルコントラスト画像及び可視光画像に基いて、撮像対象2の血流部と非血流部を識別する。例えば、学習部1316は、識別部1314によるSC画像を用いた血流部と非血流部の識別結果に基いて、可視光画像における血流部と非血流部の識別を学習する。また、撮像対象2の動きに応じてSC画像を生成することができない場合に、識別部1314は、学習部1316による学習結果と可視光画像に基いて、血流部を特定する。
 図16は、本開示の第4の実施形態に係る情報処理装置13によるSC画像生成処理を示すフローチャートである。ステップS1~S3は、図5、図11、図14のいずれかのステップS1~S3と同様に実行すればよい。
 ステップS3でYesの後、ステップS31において、SC算出部1312は、スペックル画像に基いて画素ごとのSCを算出する。次に、ステップS32において、処理部131は、第1実施形態~第3実施形態のいずれかの方法でSC補正(または撮像対象2の動きを考慮したSC画像生成。以下同様)が可能か否かを判定し、Yesの場合はステップS33に進み、Noの場合はステップS35に進む。ステップS33において、処理部131は、第1実施形態~第3実施形態のいずれかの方法でSC補正を実行する。
 次に、ステップS34において、SC画像生成部1313は、ステップS33で補正されたSCに基いて、SC画像を生成する。
 また、ステップS35において、識別部1314は、学習部1316による学習結果とWL画像(可視光画像)に基いて血流部を特定する。S4~S7は、図5と同様に実行すればよい。ステップS7の後、処理を終了する。
 次に、図17を参照して、学習処理について説明する。図17は、本開示の第4の実施形態に係る情報処理装置13による学習処理を示すフローチャートである。
 まず、ステップS41において、処理部131は、IR観察を開始する。次に、ステップS42において、SC算出部1312はSCを算出し、SC画像生成部1313はSC画像を生成する。次に、ステップS43において、識別部1314は、閾値処理を実行する。つまり、識別部1314は、SC画像に基いて、スペックルコントラスト値が所定の閾値以上か否かを判定することによって、血流部と非血流部を識別する。
 次に、ステップS44において、識別部1314は、SC画像に基いて血流部を特定する。次に、ステップS45において、処理部131は、WL観察を開始する。次に、識別部1314は、可視光画像に基いて血管候補を検出する。次に、ステップS47において、学習部1316は、SC画像による識別結果に基いて、WL画像の識別を学習する。例えば、学習部1316は、SC画像による血流部の検出結果に基いて、WL画像における血管部分を色情報や形態情報など関連付けて学習する。ステップS47の後、処理を終了する。このような学習処理を行うことにより、図16のフローチャートのステップS35において、識別部1314は、学習部1316による学習結果と可視光画像に基いて血流部を特定することができる。
 なお、説明の都合上、ステップS41~S44の後、ステップS45~S47を実行するものとしたが、これに限定されず、ステップS41~S44とステップS45~S47を並行して実行してもよい。
 このように、第4の実施形態によれば、予め撮像対象2の動きが小さいか無い状況で、SC画像による識別結果に基いてWL画像における血流部を学習しておくことで、撮像対象2の動きがあった場合に、例えばSC補正が可能でないときでも、その学習結果に基いて血流部を特定して表示し続けることができる。
(応用例1)
 本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
 図18は、本開示に係る技術が適用され得る内視鏡手術システム5000の概略的な構成の一例を示す図である。図18では、術者(医師)5067が、内視鏡手術システム5000を用いて、患者ベッド5069上の患者5071に手術を行っている様子が図示されている。図示するように、内視鏡手術システム5000は、内視鏡5001と、その他の術具5017と、内視鏡5001を支持する支持アーム装置5027と、内視鏡下手術のための各種の装置が搭載されたカート5037と、から構成される。
 内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5025a~5025dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5025a~5025dから、内視鏡5001の鏡筒5003や、その他の術具5017が患者5071の体腔内に挿入される。図示する例では、その他の術具5017として、気腹チューブ5019、エネルギー処置具5021及び鉗子5023が、患者5071の体腔内に挿入されている。また、エネルギー処置具5021は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5017はあくまで一例であり、術具5017としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
 内視鏡5001によって撮影された患者5071の体腔内の術部の画像が、表示装置5041に表示される。術者5067は、表示装置5041に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5021や鉗子5023を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5019、エネルギー処置具5021及び鉗子5023は、手術中に、術者5067又は助手等によって支持される。
(支持アーム装置)
 支持アーム装置5027は、ベース部5029から延伸するアーム部5031を備える。図示する例では、アーム部5031は、関節部5033a、5033b、5033c、及びリンク5035a、5035bから構成されており、アーム制御装置5045からの制御により駆動される。アーム部5031によって内視鏡5001が支持され、その位置及び姿勢が制御される。これにより、内視鏡5001の安定的な位置の固定が実現され得る。
(内視鏡)
 内視鏡5001は、先端から所定の長さの領域が患者5071の体腔内に挿入される鏡筒5003と、鏡筒5003の基端に接続されるカメラヘッド5005と、から構成される。図示する例では、硬性の鏡筒5003を有するいわゆる硬性鏡として構成される内視鏡5001を図示しているが、内視鏡5001は、軟性の鏡筒5003を有するいわゆる軟性鏡として構成されてもよい。
 鏡筒5003の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5001には光源装置5043が接続されており、当該光源装置5043によって生成された光が、鏡筒5003の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5071の体腔内の観察対象に向かって照射される。なお、内視鏡5001は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
 カメラヘッド5005の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5039に送信される。なお、カメラヘッド5005には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
 なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5005には撮像素子が複数設けられてもよい。この場合、鏡筒5003の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
 CCU5039は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5001及び表示装置5041の動作を統括的に制御する。具体的には、CCU5039は、カメラヘッド5005から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5039は、当該画像処理を施した画像信号を表示装置5041に提供する。また、CCU5039は、カメラヘッド5005に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
 表示装置5041は、CCU5039からの制御により、当該CCU5039によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5001が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5041としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5041として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5041が設けられてもよい。
 光源装置5043は、例えばLED(Light Emitting Diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5001に供給する。
 アーム制御装置5045は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5027のアーム部5031の駆動を制御する。
 入力装置5047は、内視鏡手術システム5000に対する入力インタフェースである。ユーザは、入力装置5047を介して、内視鏡手術システム5000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5047を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5047を介して、アーム部5031を駆動させる旨の指示や、内視鏡5001による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5021を駆動させる旨の指示等を入力する。
 入力装置5047の種類は限定されず、入力装置5047は各種の公知の入力装置であってよい。入力装置5047としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5057及び/又はレバー等が適用され得る。入力装置5047としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5041の表示面上に設けられてもよい。
 あるいは、入力装置5047は、例えばメガネ型のウェアラブルデバイスやHMD(HeadMounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5047は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。さらに、入力装置5047は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5047が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5067)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
 処置具制御装置5049は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5021の駆動を制御する。気腹装置5051は、内視鏡5001による視野の確保及び術者の作業空間の確保の目的で、患者5071の体腔を膨らめるために、気腹チューブ5019を介して当該体腔内にガスを送り込む。レコーダ5053は、手術に関する各種の情報を記録可能な装置である。プリンタ5055は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
 以下、内視鏡手術システム5000において特に特徴的な構成について、さらに詳細に説明する。
(支持アーム装置)
 支持アーム装置5027は、基台であるベース部5029と、ベース部5029から延伸するアーム部5031と、を備える。図示する例では、アーム部5031は、複数の関節部5033a、5033b、5033cと、関節部5033bによって連結される複数のリンク5035a、5035bと、から構成されているが、図18では、簡単のため、アーム部5031の構成を簡略化して図示している。実際には、アーム部5031が所望の自由度を有するように、関節部5033a~5033c及びリンク5035a、5035bの形状、数及び配置、並びに関節部5033a~5033cの回転軸の方向等が適宜設定され得る。例えば、アーム部5031は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5031の可動範囲内において内視鏡5001を自由に移動させることが可能になるため、所望の方向から内視鏡5001の鏡筒5003を患者5071の体腔内に挿入することが可能になる。
 関節部5033a~5033cにはアクチュエータが設けられており、関節部5033a~5033cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5045によって制御されることにより、各関節部5033a~5033cの回転角度が制御され、アーム部5031の駆動が制御される。これにより、内視鏡5001の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5045は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5031の駆動を制御することができる。
 例えば、術者5067が、入力装置5047(フットスイッチ5057を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5045によってアーム部5031の駆動が適宜制御され、内視鏡5001の位置及び姿勢が制御されてよい。当該制御により、アーム部5031の先端の内視鏡5001を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5031は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5031は、手術室から離れた場所に設置される入力装置5047を介してユーザによって遠隔操作され得る。
 また、力制御が適用される場合には、アーム制御装置5045は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5031が移動するように、各関節部5033a~5033cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5031に触れながらアーム部5031を移動させる際に、比較的軽い力で当該アーム部5031を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5001を移動させることが可能となり、ユーザの利便性を向上させることができる。
 ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5001が支持されていた。これに対して、支持アーム装置5027を用いることにより、人手によらずに内視鏡5001の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5045は必ずしもカート5037に設けられなくてもよい。また、アーム制御装置5045は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5045は、支持アーム装置5027のアーム部5031の各関節部5033a~5033cにそれぞれ設けられてもよく、複数のアーム制御装置5045が互いに協働することにより、アーム部5031の駆動制御が実現されてもよい。
(光源装置)
 光源装置5043は、内視鏡5001に術部を撮影する際の照射光を供給する。光源装置5043は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5043において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5005の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
 また、光源装置5043は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5005の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
 また、光源装置5043は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5043は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
 図19を参照して、内視鏡5001のカメラヘッド5005及びCCU5039の機能についてより詳細に説明する。図19は、図18に示すカメラヘッド5005及びCCU5039の機能構成の一例を示すブロック図である。
 図19を参照すると、カメラヘッド5005は、その機能として、レンズユニット5007と、撮像部5009と、駆動部5011と、通信部5013と、カメラヘッド制御部5015と、を有する。また、CCU5039は、その機能として、通信部5059と、画像処理部5061と、制御部5063と、を有する。カメラヘッド5005とCCU5039とは、伝送ケーブル5065によって双方向に通信可能に接続されている。
 まず、カメラヘッド5005の機能構成について説明する。レンズユニット5007は、鏡筒5003との接続部に設けられる光学系である。鏡筒5003の先端から取り込まれた観察光は、カメラヘッド5005まで導光され、当該レンズユニット5007に入射する。レンズユニット5007は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5007は、撮像部5009の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
 撮像部5009は撮像素子によって構成され、レンズユニット5007の後段に配置される。レンズユニット5007を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5009によって生成された画像信号は、通信部5013に提供される。
 撮像部5009を構成する撮像素子としては、例えばCMOS(Complementary MetalOxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5067は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
 また、撮像部5009を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5067は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5009が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5007も複数系統設けられる。
 また、撮像部5009は、必ずしもカメラヘッド5005に設けられなくてもよい。例えば、撮像部5009は、鏡筒5003の内部に、対物レンズの直後に設けられてもよい。
 駆動部5011は、アクチュエータによって構成され、カメラヘッド制御部5015からの制御により、レンズユニット5007のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5009による撮像画像の倍率及び焦点が適宜調整され得る。
 通信部5013は、CCU5039との間で各種の情報を送受信するための通信装置によって構成される。通信部5013は、撮像部5009から得た画像信号をRAWデータとして伝送ケーブル5065を介してCCU5039に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5067が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5013には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5065を介してCCU5039に送信される。
 また、通信部5013は、CCU5039から、カメラヘッド5005の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5013は、受信した制御信号をカメラヘッド制御部5015に提供する。なお、CCU5039からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5013には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5015に提供される。
 なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5039の制御部5063によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto WhiteBalance)機能が内視鏡5001に搭載される。
 カメラヘッド制御部5015は、通信部5013を介して受信したCCU5039からの制御信号に基づいて、カメラヘッド5005の駆動を制御する。例えば、カメラヘッド制御部5015は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5009の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5015は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5011を介してレンズユニット5007のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5015は、さらに、鏡筒5003やカメラヘッド5005を識別するための情報を記憶する機能を備えてもよい。
 なお、レンズユニット5007や撮像部5009等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5005について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
 次に、CCU5039の機能構成について説明する。通信部5059は、カメラヘッド5005との間で各種の情報を送受信するための通信装置によって構成される。通信部5059は、カメラヘッド5005から、伝送ケーブル5065を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5059には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5059は、電気信号に変換した画像信号を画像処理部5061に提供する。
 また、通信部5059は、カメラヘッド5005に対して、カメラヘッド5005の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
 画像処理部5061は、カメラヘッド5005から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise Reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5061は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
 画像処理部5061は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5061が複数のGPUによって構成される場合には、画像処理部5061は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
 制御部5063は、内視鏡5001による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5063は、カメラヘッド5005の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5063は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5001にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5063は、画像処理部5061による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
 また、制御部5063は、画像処理部5061によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5041に表示させる。この際、制御部5063は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5063は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5021使用時のミスト等を認識することができる。制御部5063は、表示装置5041に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5067に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
 カメラヘッド5005及びCCU5039を接続する伝送ケーブル5065は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
 ここで、図示する例では、伝送ケーブル5065を用いて有線で通信が行われていたが、カメラヘッド5005とCCU5039との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5065を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5065によって妨げられる事態が解消され得る。
 以上、本開示に係る技術が適用され得る内視鏡手術システム5000の一例について説明した。なお、ここでは、一例として内視鏡手術システム5000について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡手術システムや、以下に応用例2で説明する顕微鏡手術システムに適用されてもよい。
 本開示に係る技術は、以上説明した構成のうち、内視鏡5001に好適に適用され得る。具体的には、内視鏡5001によって撮影された患者5071の体腔内の術部の画像における血流部と非血流部を容易に視認可能に表示装置5041に表示する場合に、本開示に係る技術を適用できる。つまり、内視鏡5001に本開示に係る技術を適用することにより、撮像画像が動いた場合でも良好なSC画像を生成し、血流部と非血流部の識別を正確に行うことができる。これにより、術者5067は、血流部と非血流部が正確に識別された術部の画像を表示装置5041においてリアルタイムで見ることができ、手術をより安全に行うことができる。
(応用例2)
 また、本開示に係る技術は、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられる顕微鏡手術システムに適用されてもよい。
 図20は、本開示に係る技術が適用され得る顕微鏡手術システム5300の概略的な構成の一例を示す図である。図20を参照すると、顕微鏡手術システム5300は、顕微鏡装置5301と、制御装置5317と、表示装置5319と、から構成される。なお、以下の顕微鏡手術システム5300についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム5300を使用する任意の医療スタッフのことを意味する。
 顕微鏡装置5301は、観察対象(患者の術部)を拡大観察するための顕微鏡部5303と、顕微鏡部5303を先端で支持するアーム部5309と、アーム部5309の基端を支持するベース部5315と、を有する。
 顕微鏡部5303は、略円筒形状の筒状部5305と、当該筒状部5305の内部に設けられる撮像部(図示せず)と、筒状部5305の外周の一部領域に設けられる操作部5307と、から構成される。顕微鏡部5303は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部(いわゆるビデオ式の顕微鏡部)である。
 筒状部5305の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光(以下、観察光ともいう)は、当該カバーガラスを通過して、筒状部5305の内部の撮像部に入射する。なお、筒状部5305の内部には例えばLED(Light Emitting Diode)等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
 撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばBayer配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、RAWデータとして制御装置5317に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
 なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、AE(Auto Exposure)機能やAF(Auto Focus)機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
 また、撮像部は、1つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視(3D表示)に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
 操作部5307は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部5307を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部5307を介して、アーム部5309の動作モード(後述するオールフリーモード及び固定モード)を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部5303を移動させようとする場合には、当該ユーザは筒状部5305を握るように把持した状態で当該顕微鏡部5303を移動させる様態が想定される。従って、操作部5307は、ユーザが筒状部5305を移動させている間でも操作可能なように、ユーザが筒状部5305を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
 アーム部5309は、複数のリンク(第1リンク5313a~第6リンク5313f)が、複数の関節部(第1関節部5311a~第6関節部5311f)によって互いに回動可能に連結されることによって構成される。
 第1関節部5311aは、略円柱形状を有し、その先端(下端)で、顕微鏡部5303の筒状部5305の上端を、当該筒状部5305の中心軸と平行な回転軸(第1軸O1)まわりに回動可能に支持する。ここで、第1関節部5311aは、第1軸O1が顕微鏡部5303の撮像部の光軸と一致するように構成され得る。これにより、第1軸O1まわりに顕微鏡部5303を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
 第1リンク5313aは、先端で第1関節部5311aを固定的に支持する。具体的には、第1リンク5313aは略L字形状を有する棒状の部材であり、その先端側の一辺が第1軸O1と直交する方向に延伸しつつ、当該一辺の端部が第1関節部5311aの外周の上端部に当接するように、第1関節部5311aに接続される。第1リンク5313aの略L字形状の基端側の他辺の端部に第2関節部5311bが接続される。
 第2関節部5311bは、略円柱形状を有し、その先端で、第1リンク5313aの基端を、第1軸O1と直交する回転軸(第2軸O2)まわりに回動可能に支持する。第2関節部5311bの基端には、第2リンク5313bの先端が固定的に接続される。
 第2リンク5313bは、略L字形状を有する棒状の部材であり、その先端側の一辺が第2軸O2と直交する方向に延伸しつつ、当該一辺の端部が第2関節部5311bの基端に固定的に接続される。第2リンク5313bの略L字形状の基端側の他辺には、第3関節部5311cが接続される。
 第3関節部5311cは、略円柱形状を有し、その先端で、第2リンク5313bの基端を、第1軸O1及び第2軸O2と互いに直交する回転軸(第3軸O3)まわりに回動可能に支持する。第3関節部5311cの基端には、第3リンク5313cの先端が固定的に接続される。第2軸O2及び第3軸O3まわりに顕微鏡部5303を含む先端側の構成を回動させることにより、水平面内での顕微鏡部5303の位置を変更するように、当該顕微鏡部5303を移動させることができる。つまり、第2軸O2及び第3軸O3まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
 第3リンク5313cは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第3関節部5311cの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第3リンク5313cの基端側は角柱形状を有し、その端部に第4関節部5311dが接続される。
 第4関節部5311dは、略円柱形状を有し、その先端で、第3リンク5313cの基端を、第3軸O3と直交する回転軸(第4軸O4)まわりに回動可能に支持する。第4関節部5311dの基端には、第4リンク5313dの先端が固定的に接続される。
 第4リンク5313dは、略直線状に延伸する棒状の部材であり、第4軸O4と直交するように延伸しつつ、その先端の端部が第4関節部5311dの略円柱形状の側面に当接するように、第4関節部5311dに固定的に接続される。第4リンク5313dの基端には、第5関節部5311eが接続される。
 第5関節部5311eは、略円柱形状を有し、その先端側で、第4リンク5313dの基端を、第4軸O4と平行な回転軸(第5軸O5)まわりに回動可能に支持する。第5関節部5311eの基端には、第5リンク5313eの先端が固定的に接続される。第4軸O4及び第5軸O5は、顕微鏡部5303を上下方向に移動させ得る回転軸である。第4軸O4及び第5軸O5まわりに顕微鏡部5303を含む先端側の構成を回動させることにより、顕微鏡部5303の高さ、すなわち顕微鏡部5303と観察対象との距離を調整することができる。
 第5リンク5313eは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略L字形状を有する第1の部材と、当該第1の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第2の部材と、が組み合わされて構成される。第5リンク5313eの第1の部材の鉛直方向に延伸する部位の上端近傍に、第5関節部5311eの基端が固定的に接続される。第5リンク5313eの第2の部材の基端(下端)には、第6関節部5311fが接続される。
 第6関節部5311fは、略円柱形状を有し、その先端側で、第5リンク5313eの基端を、鉛直方向と平行な回転軸(第6軸O6)まわりに回動可能に支持する。第6関節部5311fの基端には、第6リンク5313fの先端が固定的に接続される。
 第6リンク5313fは鉛直方向に延伸する棒状の部材であり、その基端はベース部5315の上面に固定的に接続される。
 第1関節部5311a~第6関節部5311fの回転可能範囲は、顕微鏡部5303が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部5309においては、顕微鏡部5303の動きに関して、並進3自由度及び回転3自由度の計6自由度の動きが実現され得る。このように、顕微鏡部5303の動きに関して6自由度が実現されるようにアーム部5309を構成することにより、アーム部5309の可動範囲内において顕微鏡部5303の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。
 なお、図示するアーム部5309の構成はあくまで一例であり、アーム部5309を構成するリンクの数及び形状(長さ)、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部5303を自由に動かすためには、アーム部5309は6自由度を有するように構成されることが好ましいが、アーム部5309はより大きな自由度(すなわち、冗長自由度)を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部5309においては、顕微鏡部5303の位置及び姿勢が固定された状態で、アーム部5309の姿勢を変更することが可能となる。従って、例えば表示装置5319を見る術者の視界にアーム部5309が干渉しないように当該アーム部5309の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。
 ここで、第1関節部5311a~第6関節部5311fには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第1関節部5311a~第6関節部5311fに設けられる各アクチュエータの駆動が制御装置5317によって適宜制御されることにより、アーム部5309の姿勢、すなわち顕微鏡部5303の位置及び姿勢が制御され得る。具体的には、制御装置5317は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部5309の現在の姿勢、並びに顕微鏡部5303の現在の位置及び姿勢を把握することができる。制御装置5317は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部5303の移動を実現するような各関節部に対する制御値(例えば、回転角度又は発生トルク等)を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置5317によるアーム部5309の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
 例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置5317によってアーム部5309の駆動が適宜制御され、顕微鏡部5303の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部5303を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部5309は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5309は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。
 また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部5309が移動するように第1関節部5311a~第6関節部5311fのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部5303を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部5303を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部5303を移動させることが可能となり、ユーザの利便性を向上させることができる。
 また、アーム部5309は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部5303の光軸が空間上の所定の点(以下、ピボット点という)を常に向くように、顕微鏡部5303を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部5303が、その焦点距離を調整不可能に構成される場合には、顕微鏡部5303とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部5303とピボット点との距離を、顕微鏡部5303の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部5303は、ピボット点を中心とする焦点距離に対応する半径を有する半球面(図20に概略的に図示する)上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部5303が、その焦点距離を調整可能に構成される場合には、顕微鏡部5303とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置5317は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部5303とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部5303の焦点距離を自動で調整してもよい。あるいは、顕微鏡部5303にAF機能が設けられる場合であれば、ピボット動作によって顕微鏡部5303とピボット点との距離が変化するごとに、当該AF機能によって自動で焦点距離の調整が行われてもよい。
 また、第1関節部5311a~第6関節部5311fには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置5317によって制御され得る。例えば、顕微鏡部5303の位置及び姿勢を固定したい場合には、制御装置5317は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部5309の姿勢、すなわち顕微鏡部5303の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部5303の位置及び姿勢を移動したい場合には、制御装置5317は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。
 このようなブレーキの動作は、上述した操作部5307を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部5303の位置及び姿勢を移動したい場合には、操作部5307を操作し、各関節部のブレーキを解除させる。これにより、アーム部5309の動作モードが、各関節部における回転を自由に行えるモード(オールフリーモード)に移行する。また、ユーザは、顕微鏡部5303の位置及び姿勢を固定したい場合には、操作部5307を操作し、各関節部のブレーキを作動させる。これにより、アーム部5309の動作モードが、各関節部における回転が拘束されたモード(固定モード)に移行する。
 制御装置5317は、顕微鏡装置5301及び表示装置5319の動作を制御することにより、顕微鏡手術システム5300の動作を統括的に制御する。例えば、制御装置5317は、所定の制御方式に従って第1関節部5311a~第6関節部5311fのアクチュエータを動作させることにより、アーム部5309の駆動を制御する。また、例えば、制御装置5317は、第1関節部5311a~第6関節部5311fのブレーキの動作を制御することにより、アーム部5309の動作モードを変更する。また、例えば、制御装置5317は、顕微鏡装置5301の顕微鏡部5303の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置5319に表示させる。当該信号処理では、例えば現像処理(デモザイク処理)、高画質化処理(帯域強調処理、超解像処理、NR(Noise Reduction)処理及び/又は手ブレ補正処理等)及び/又は拡大処理(すなわち、電子ズーム処理)等、各種の公知の信号処理が行われてよい。
 なお、制御装置5317と顕微鏡部5303との通信、及び制御装置5317と第1関節部5311a~第6関節部5311fとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
 制御装置5317は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置5317のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置5317は、顕微鏡装置5301と別個の装置として設けられているが、制御装置5317は、顕微鏡装置5301のベース部5315の内部に設置され、顕微鏡装置5301と一体的に構成されてもよい。あるいは、制御装置5317は、複数の装置によって構成されてもよい。例えば、顕微鏡部5303や、アーム部5309の第1関節部5311a~第6関節部5311fにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置5317と同様の機能が実現されてもよい。
 表示装置5319は、手術室内に設けられ、制御装置5317からの制御により、当該制御装置5317によって生成された画像データに対応する画像を表示する。つまり、表示装置5319には、顕微鏡部5303によって撮影された術部の画像が表示される。なお、表示装置5319は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置5319の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置5319は複数設けられてもよく、複数の表示装置5319のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置5319としては、液晶ディスプレイ装置又はEL(Electro Luminescence)ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
 図21は、図20に示す顕微鏡手術システム5300を用いた手術の様子を示す図である。図21では、術者5321が、顕微鏡手術システム5300を用いて、患者ベッド5323上の患者5325に対して手術を行っている様子を概略的に示している。なお、図21では、簡単のため、顕微鏡手術システム5300の構成のうち制御装置5317の図示を省略するとともに、顕微鏡装置5301を簡略化して図示している。
 図2Cに示すように、手術時には、顕微鏡手術システム5300を用いて、顕微鏡装置5301によって撮影された術部の画像が、手術室の壁面に設置される表示装置5319に拡大表示される。表示装置5319は、術者5321と対向する位置に設置されており、術者5321は、表示装置5319に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。
 以上、本開示に係る技術が適用され得る顕微鏡手術システム5300の一例について説明した。なお、ここでは、一例として顕微鏡手術システム5300について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置5301は、その先端に顕微鏡部5303に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。
 本開示に係る技術は、以上説明した構成のうち、制御装置5317に好適に適用され得る。具体的には、顕微鏡部5303の撮像部によって撮影された患者5325の術部の画像における血流部と非血流部を容易に視認可能に表示装置5319に表示する場合に、本開示に係る技術を適用できる。つまり、制御装置5317に本開示に係る技術を適用することにより、撮像画像が動いた場合でも良好なSC画像を生成し、血流部と非血流部の識別を正確に行うことができる。これにより、術者5321は、血流部と非血流部が正確に識別された術部の画像を表示装置5319においてリアルタイムで見ることができ、手術をより安全に行うことができる。
(変形例)
 スペックルの変調強度を表す指標としては、上述のスペックルコントラスト以外に、以下のような指標1~5が考えられる。
(指標1:エントロピー)
 単一フレーム内でスペックルコントラストの代わりに局所的な強度分布のエントロピーを導出し、マッピングして使用することができる。そして、スペックルコントラストと同様、フレーム内で処理を完結させることができる。
(指標2:相関時間)
 スペックルの相関時間(信号の性質が持続する時間)より充分短い露光時間で撮影した複数のフレーム間にわたり、画素ごとに信号強度を求め、相関時間を導出して画像を生成する。解像度の低下させることなく使用することができる。
(指標3:フレーム間空間相関)
 相関時間より充分短い露光時間で撮影した隣接フレームあるいは特定時間後のフレームとの間で、同一局所領域のスペックルパターン間の相互相関を求め指標とする。指標2に比べメモリを節約できる。
(指標4:移動体検出法)
 観察時点で、相関時間より充分短い露光時間で撮影した手前の複数フレームにわたりスペックル画像強度信号の平均化を行った画像を生成する。この画像と、観察時点でのスペックル画像強度信号の差分をとることにより、変化のある部分つまり血流部が抽出される。これをスペックル画像にも適用することができる。また、場合に応じて平均化の際にフレームごと重みを付けることもできる。これにより、指標2に比べて少ないメモリ使用量で高解像度の血流画像を生成することができる。
(指標5:時間差分絶対値積算法)
 次に、図22~図24Bを参照して、指標5の時間差分絶対値積算法について説明する。図22は、本開示の変形例における指標5の時間差分絶対値積算法を説明するための血液ファントムモデルを示す模式図である。切片方向は、血液ファントムモデルにおける血流部と非血流部の長手方向に垂直な方向である。図23は、本開示の変形例における指標5の時間差分絶対値積算法の説明図である。
 相関時間より充分短い露光時間で撮影したスペックル画像の強度信号を、複数フレームに渡り逐次差分をとり(図23(a)(b))その絶対値を積算し(図23(c))、差分絶対値積算画像を生成する。そして、別途同じフレーム数に渡り単純平均あるいは積算を行い差分絶対値積算画像の信号の値を割ることで、血流画像を生成することができる。また、このように算出した差分絶対値積算画像を、必要に応じて平均輝度(強度)画像などで除算あるいは規格化し、輝度(強度)分布の影響を取り除くこともできる。指標4と同様に、多くのメモリを必要とせず解像度を保ったまま血流画像を生成することができる。また、スペックルコントラスト法で検出できない微小流速の血流を検出することも可能となる。
 図24Aは、時間差分絶対値積算法を使用していないスペックルコントラスト法により生成したSC画像例を示す図である。図24Bは、本開示の変形例における指標5の時間差分絶対値積算法(積算フレーム数:100)により生成したSC画像例を示す図である。いずれも、血液の流速は遅い。この場合、図24AのSC画像例よりも、図24BのSC画像例のほうが、血流部と非血流部をより識別しやすくなっていることがわかる。
 なお、本技術は以下のような構成も取ることができる。
(1)
 コヒーレント光を撮像対象に照射する第1の光照射手段と、
 前記コヒーレント光が照射された前記撮像対象による散乱光から得られるスペックル画像を撮像する撮像手段と、
 前記スペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出手段と、
 前記撮像対象の動きを検出する動き検出手段と、
 前記スペックルコントラスト値、及び、前記動き検出手段によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成手段と、
 前記スペックルコントラスト画像を表示する表示手段と、を備える医療システム。
(2)
 前記撮像対象は、血管を含む生体である、前記(1)に記載の医療システム。
(3)
 前記撮像手段は、さらに、前記撮像対象による反射光から得られる可視光画像を撮像する、前記(1)または前記(2)に記載の医療システム。
(4)
 前記動き検出手段は、前記可視光画像に基いて前記撮像対象の動きを検出する、前記(3)に記載の医療システム。
(5)
 可視光を前記撮像対象に照射する第2の光照射手段を、さらに備える、前記(4)に記載の医療システム。
(6)
 前記医療システムは、顕微鏡手術システム、または、内視鏡手術システムである、前記(1)から前記(5)のいずれかに記載の医療システム。
(7)
 コヒーレント光が照射された撮像対象による散乱光から得られるスペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出手段と、
 前記撮像対象の動きを検出する動き検出手段と、
 前記スペックルコントラスト値、及び、前記動き検出手段によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成手段と、
 前記スペックルコントラスト画像を表示部に表示する制御を行う表示制御手段と、を備える情報処理装置。
(8)
 前記撮像対象による反射光から得られる可視光画像を取得する、前記(7)に記載の情報処理装置。
(9)
 前記動き検出手段は、前記可視光画像に基いて前記撮像対象の動きを検出する、前記(8)に記載の情報処理装置。
(10)
 前記スペックル画像生成手段は、前記撮像対象の動きと、所定の露光時間における被写体の動きとスペックルコントラスト値との関係を示す第1関係情報とに基いて、前記スペックルコントラスト画像を生成する、前記(7)から前記(9)のいずれかに記載の情報処理装置。
(11)
 前記スペックル画像生成手段は、前記撮像対象の動きと、所定の露光時間における前記撮像対象上のリファレンスマーカの動きとスペックルコントラスト値との関係を示す第2関係情報と、に基いて、前記スペックルコントラスト画像を生成する、前記(7)から前記(9)のいずれかに記載の情報処理装置。
(12)
 前記動き検出手段は、前記可視光画像の特徴点の動きに基いて、前記撮像対象の動きの検出を行う、前記(9)に記載の情報処理装置。
(13)
 前記動き検出手段は、前記スペックル画像のスペックルの形状の変化に基いて、前記撮像対象の動きの検出を行う、前記(7)に記載の情報処理装置。
(14)
 前記動き検出手段は、スペックルコントラスト値が所定値以上変化した画素に基いて、前記撮像対象における動きを検出し、
 前記スペックル画像生成手段は、当該画素のスペックルコントラスト値に基いて、前記スペックルコントラスト画像を生成する、前記(7)に記載の情報処理装置。
(15)
 前記スペックルコントラスト画像及び前記可視光画像に基いて、前記撮像対象の血流部と非血流部を識別する学習手段をさらに備える、前記(8)に記載の情報処理装置。
(16)
 前記スペックル画像生成手段は、前記学習手段による学習結果に基いて、前記血流部を特定する、前記(15)に記載の情報処理装置。
(17)
 コヒーレント光が照射された撮像対象による散乱光から得られるスペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出工程と、
 前記撮像対象の動きを検出する動き検出工程と、
 前記スペックルコントラスト値、及び、前記動き検出工程によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成工程と、
 前記スペックルコントラスト画像を表示部に表示する制御を行う表示制御工程と、を含む情報処理方法。
 以上、本開示の実施形態、変形例について説明したが、本開示の技術的範囲は、上述の実施形態、変形例そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態、変形例にわたる構成要素を適宜組み合わせてもよい。
 上述の実施形態では、例えば、約1.6msの露光時間でスペックルを撮影し、非露光時間の約15msを合わせた60fpsで撮影を行えばよいが(デュティー比≒0.1)、露光時間はこれに限らないし、フレームレートもこれに限らない。
 また、撮像対象2の動きを検出したり、その動きに伴ってSCを補正したりする範囲は、画像全体でもよいし、画像をいくつかに分割したブロック単位でもよいし、ピクセル単位でもよい。
 また、図12を用いた説明では、3フレーム分のメディアンフィルタを適用し、当該SCと、1つ前のSCと、1つ後のSCのうち、中央値を採用するものとしたが、SCの補正方法はこれに限定されない。例えば、5フレーム分のメディアンフィルタを適用してもよいし、あるいは、所定フレーム数分のSCの平均値を採用してもよい。
 なお、本明細書に記載された実施形態、変形例における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
 また、第4の実施形態において、学習部1316による学習結果の使用場面は、撮像対象2の動きに応じて良好なSC画像を生成することができない場合に限定されない。その学習結果を、それ以外の場合で、例えば、識別部1314によるSC画像に基く流体部と非流体部の識別結果を検証するために使用してもよい。
 1    医療システム
 11   光源
 12   撮像装置
 13   情報処理装置
 14   表示装置
 131  処理部
 132  記憶部
 1311 動き検出部
 1312 SC算出部
 1313 SC画像生成部
 1314 識別部
 1315 表示制御部
 1316 学習部
 

Claims (17)

  1.  コヒーレント光を撮像対象に照射する第1の光照射手段と、
     前記コヒーレント光が照射された前記撮像対象による散乱光から得られるスペックル画像を撮像する撮像手段と、
     前記スペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出手段と、
     前記撮像対象の動きを検出する動き検出手段と、
     前記スペックルコントラスト値、及び、前記動き検出手段によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成手段と、
     前記スペックルコントラスト画像を表示する表示手段と、を備える医療システム。
  2.  前記撮像対象は、血管を含む生体である、請求項1に記載の医療システム。
  3.  前記撮像手段は、さらに、前記撮像対象による反射光から得られる可視光画像を撮像する、請求項1に記載の医療システム。
  4.  前記動き検出手段は、前記可視光画像に基いて前記撮像対象の動きを検出する、請求項3に記載の医療システム。
  5.  可視光を前記撮像対象に照射する第2の光照射手段を、さらに備える、請求項4に記載の医療システム。
  6.  前記医療システムは、顕微鏡手術システム、または、内視鏡手術システムである、請求項1に記載の医療システム。
  7.  コヒーレント光が照射された撮像対象による散乱光から得られるスペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出手段と、
     前記撮像対象の動きを検出する動き検出手段と、
     前記スペックルコントラスト値、及び、前記動き検出手段によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成手段と、
     前記スペックルコントラスト画像を表示部に表示する制御を行う表示制御手段と、を備える情報処理装置。
  8.  前記撮像対象による反射光から得られる可視光画像を取得する、請求項7に記載の情報処理装置。
  9.  前記動き検出手段は、前記可視光画像に基いて前記撮像対象の動きを検出する、請求項8に記載の情報処理装置。
  10.  前記スペックル画像生成手段は、前記撮像対象の動きと、所定の露光時間における被写体の動きとスペックルコントラスト値との関係を示す第1関係情報とに基いて、前記スペックルコントラスト画像を生成する、請求項7に記載の情報処理装置。
  11.  前記スペックル画像生成手段は、前記撮像対象の動きと、所定の露光時間における前記撮像対象上のリファレンスマーカの動きとスペックルコントラスト値との関係を示す第2関係情報と、に基いて、前記スペックルコントラスト画像を生成する、請求項7に記載の情報処理装置。
  12.  前記動き検出手段は、前記可視光画像の特徴点の動きに基いて、前記撮像対象の動きの検出を行う、請求項9に記載の情報処理装置。
  13.  前記動き検出手段は、前記スペックル画像のスペックルの形状の変化に基いて、前記撮像対象の動きの検出を行う、請求項7に記載の情報処理装置。
  14.  前記動き検出手段は、スペックルコントラスト値が所定値以上変化した画素に基いて、前記撮像対象における動きを検出し、
     前記スペックル画像生成手段は、当該画素のスペックルコントラスト値に基いて、前記スペックルコントラスト画像を生成する、請求項7に記載の情報処理装置。
  15.  前記スペックルコントラスト画像及び前記可視光画像に基いて、前記撮像対象の血流部と非血流部を識別する学習手段をさらに備える、請求項8に記載の情報処理装置。
  16.  前記スペックル画像生成手段は、前記学習手段による学習結果に基いて、前記血流部を特定する、請求項15に記載の情報処理装置。
  17.  コヒーレント光が照射された撮像対象による散乱光から得られるスペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出工程と、
     前記撮像対象の動きを検出する動き検出工程と、
     前記スペックルコントラスト値、及び、前記動き検出工程によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成工程と、
     前記スペックルコントラスト画像を表示部に表示する制御を行う表示制御工程と、を含む情報処理方法。
PCT/JP2019/031246 2018-08-28 2019-08-07 医療システム、情報処理装置及び情報処理方法 WO2020045015A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/250,699 US20210321887A1 (en) 2018-08-28 2019-08-07 Medical system, information processing apparatus, and information processing method
DE112019004340.4T DE112019004340T5 (de) 2018-08-28 2019-08-07 Medizinisches system, informationsverarbeitungsvorrichtung und informationsverarbeitungsverfahren
CN201980054396.9A CN112584743A (zh) 2018-08-28 2019-08-07 医疗系统、信息处理装置和信息处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018159675 2018-08-28
JP2018-159675 2018-08-28

Publications (1)

Publication Number Publication Date
WO2020045015A1 true WO2020045015A1 (ja) 2020-03-05

Family

ID=69644846

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031246 WO2020045015A1 (ja) 2018-08-28 2019-08-07 医療システム、情報処理装置及び情報処理方法

Country Status (4)

Country Link
US (1) US20210321887A1 (ja)
CN (1) CN112584743A (ja)
DE (1) DE112019004340T5 (ja)
WO (1) WO2020045015A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111759284A (zh) * 2020-07-20 2020-10-13 重庆市中医院 一种近红外淋巴显影成像检测方法
WO2022058499A1 (en) 2020-09-18 2022-03-24 Limis Development B.V. Motion-compensated laser speckle contrast imaging
WO2022076122A1 (en) * 2020-10-05 2022-04-14 East Carolina University Methods, systems and computer program products for calculating metakg signals for regions having multiple sets of optical characteristics
US11553844B2 (en) 2014-10-14 2023-01-17 East Carolina University Methods, systems and computer program products for calculating MetaKG signals for regions having multiple sets of optical characteristics
WO2023177281A1 (en) 2022-03-17 2023-09-21 Limis Development B.V. Motion-compensated laser speckle contrast imaging

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328185B2 (en) * 2017-06-30 2022-05-10 California Institute Of Technology Noninvasive, label-free, in vivo flow cytometry using speckle correlation technique
US11612306B2 (en) * 2017-11-01 2023-03-28 Sony Corporation Surgical arm system and surgical arm control system
JPWO2020045014A1 (ja) * 2018-08-28 2021-08-12 ソニーグループ株式会社 医療システム、情報処理装置及び情報処理方法
US11819318B2 (en) * 2020-04-27 2023-11-21 Open Water Internet Inc. Optical imaging from light coherence
US20230087295A1 (en) * 2021-09-10 2023-03-23 Rockley Photonics Limited Optical speckle receiver

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009131617A (ja) * 2007-11-09 2009-06-18 Fujifilm Corp 撮像システム、撮像方法、およびプログラム
JP2010532669A (ja) * 2007-02-08 2010-10-14 シー・アール・バード・インコーポレーテッド 形状記憶医療機器及びその使用方法
JP2016526415A (ja) * 2013-06-19 2016-09-05 ザ ジェネラル ホスピタル コーポレイション 全方向視覚装置
WO2016158194A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 照明光伝送装置及び照明光伝送方法
US20180110423A1 (en) * 2015-04-15 2018-04-26 Koninklijke Philips N.V. Optical laser speckle sensor for measuring a blood perfusion parameter

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9839365B1 (en) * 2014-11-24 2017-12-12 Verily Life Sciences Llc Applications of vasculature mapping using laser speckle imaging
US10070796B2 (en) * 2015-02-04 2018-09-11 General Electric Company Systems and methods for quantitative microcirculation state monitoring
AU2016335761B2 (en) * 2015-10-09 2020-12-03 Vasoptic Medical, Inc. System and method for rapid examination of vasculature and particulate flow using laser speckle contrast imaging
US20180012359A1 (en) * 2016-07-06 2018-01-11 Marinko Venci Sarunic Systems and Methods for Automated Image Classification and Segmentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010532669A (ja) * 2007-02-08 2010-10-14 シー・アール・バード・インコーポレーテッド 形状記憶医療機器及びその使用方法
JP2009131617A (ja) * 2007-11-09 2009-06-18 Fujifilm Corp 撮像システム、撮像方法、およびプログラム
JP2016526415A (ja) * 2013-06-19 2016-09-05 ザ ジェネラル ホスピタル コーポレイション 全方向視覚装置
WO2016158194A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 照明光伝送装置及び照明光伝送方法
US20180110423A1 (en) * 2015-04-15 2018-04-26 Koninklijke Philips N.V. Optical laser speckle sensor for measuring a blood perfusion parameter

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553844B2 (en) 2014-10-14 2023-01-17 East Carolina University Methods, systems and computer program products for calculating MetaKG signals for regions having multiple sets of optical characteristics
CN111759284A (zh) * 2020-07-20 2020-10-13 重庆市中医院 一种近红外淋巴显影成像检测方法
WO2022058499A1 (en) 2020-09-18 2022-03-24 Limis Development B.V. Motion-compensated laser speckle contrast imaging
NL2026505B1 (en) 2020-09-18 2022-05-23 Limis Dev B V Motion-compensated laser speckle contrast imaging
WO2022076122A1 (en) * 2020-10-05 2022-04-14 East Carolina University Methods, systems and computer program products for calculating metakg signals for regions having multiple sets of optical characteristics
WO2023177281A1 (en) 2022-03-17 2023-09-21 Limis Development B.V. Motion-compensated laser speckle contrast imaging

Also Published As

Publication number Publication date
US20210321887A1 (en) 2021-10-21
DE112019004340T5 (de) 2021-05-12
CN112584743A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
US11788966B2 (en) Imaging system
US20200084379A1 (en) Control apparatus, control method, and program
WO2018088105A1 (ja) 医療用支持アーム及び医療用システム
JP7095693B2 (ja) 医療用観察システム
WO2021049438A1 (ja) 医療用支持アーム、及び医療用システム
JP2020074926A (ja) 医療用観察システム、信号処理装置及び医療用観察方法
JPWO2019239942A1 (ja) 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法
WO2020262262A1 (ja) 医療用観察システム、制御装置及び制御方法
CN110913787A (zh) 手术支持系统、信息处理方法和信息处理装置
US11699215B2 (en) Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast
WO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
US20230222740A1 (en) Medical image processing system, surgical image control device, and surgical image control method
US20200085287A1 (en) Medical imaging device and endoscope
US20220183576A1 (en) Medical system, information processing device, and information processing method
US20220022728A1 (en) Medical system, information processing device, and information processing method
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2022269992A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
WO2020084917A1 (ja) 医療システム及び情報処理方法
WO2023176133A1 (ja) 内視鏡用保持装置、内視鏡手術システム、及び制御方法
JP2020525055A (ja) 医療撮影システム、方法及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19854988

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19854988

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP