JPWO2020050187A1 - 医療システム、情報処理装置及び情報処理方法 - Google Patents
医療システム、情報処理装置及び情報処理方法 Download PDFInfo
- Publication number
- JPWO2020050187A1 JPWO2020050187A1 JP2020541195A JP2020541195A JPWO2020050187A1 JP WO2020050187 A1 JPWO2020050187 A1 JP WO2020050187A1 JP 2020541195 A JP2020541195 A JP 2020541195A JP 2020541195 A JP2020541195 A JP 2020541195A JP WO2020050187 A1 JPWO2020050187 A1 JP WO2020050187A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion vector
- correlation
- degree
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 230000010365 information processing Effects 0.000 title claims description 44
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000033001 locomotion Effects 0.000 claims abstract description 239
- 239000013598 vector Substances 0.000 claims abstract description 146
- 238000012937 correction Methods 0.000 claims abstract description 49
- 238000003384 imaging method Methods 0.000 claims description 60
- 238000000034 method Methods 0.000 claims description 57
- 238000001356 surgical procedure Methods 0.000 claims description 35
- 238000002674 endoscopic surgery Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 18
- 238000011946 reduction process Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 94
- 230000003287 optical effect Effects 0.000 description 50
- 238000004891 communication Methods 0.000 description 40
- 230000006870 function Effects 0.000 description 18
- 210000001519 tissue Anatomy 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 12
- 238000010336 energy treatment Methods 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000002406 microsurgery Methods 0.000 description 7
- 208000005646 Pneumoperitoneum Diseases 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 6
- 229960004657 indocyanine green Drugs 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 5
- 230000001678 irradiating effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 210000004379 membrane Anatomy 0.000 description 4
- 239000012528 membrane Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000006059 cover glass Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000003925 fat Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 102000004506 Blood Proteins Human genes 0.000 description 1
- 108010017384 Blood Proteins Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000007675 cardiac surgery Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000002350 laparotomy Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Abstract
医療システム(1)は、撮像対象に電磁波を照射する照射手段(11)と、電磁波が照射された撮像対象からの反射波を撮像する撮像手段(12)と、撮像手段(12)から、第1の波長帯域に基く第1の画像を取得し、第1の波長帯域とは異なる第2の波長帯域に基く第2の画像を取得する取得手段(1311)と、第1の画像における特徴量に基いて、複数の第1の画像の間の動きベクトルである第1の動きベクトルを算出する第1の動き推定手段(1312)と、第2の画像における特徴量に基いて、複数の第2の画像の間の動きベクトルである第2の動きベクトルを算出する第2の動き推定手段(1313)と、第1の動きベクトルと第2の動きベクトルの相関度を算出する相関度算出手段(1314)と、相関度に基き、第1の画像を補正する補正手段(1315)と、を備える。
Description
本開示は、医療システム、情報処理装置及び情報処理方法に関する。
医療分野において、生体に特定の波長帯域を有する特殊光(例えば近赤外光)を照射して撮影した特殊光画像を医師等が見ることで病変部等を視認する場合がある。しかし、白色光よりも波長帯域が狭い特殊光で撮影した特殊光画像は、一般に白色光画像よりも暗いので、ノイズよる影響が相対的に大きくなる。そのため、特殊光画像では、例えば生体の深部の微弱な蛍光がノイズに埋もれて見えなくなってしまう場合等がある。
したがって、特殊光画像に対して、ノイズリダクション処理(以下、「NR処理」ともいう。)が必要となる。また、特殊光画像中で生体が体動や拍動などによって動くとき、NR処理のために動き推定を行う必要がある。そのために、例えば、特殊光画像と同時に白色光画像も撮影し、白色光画像を用いて動き推定を行う方法がある。この方法は、特殊光画像に映っている動きと白色光画像に映っている動きが同じ場合には有効である。
しかしながら、上述の方法で特殊光画像のNR処理を行うと、特殊光画像に映っている動きと白色光画像に映っている動きが異なっている場合、特殊光画像の画質劣化が発生してしまう。
このように、波長帯域の異なる2つの電磁波を用いて撮影された2つの画像がある場合に、一方の画像の動きベクトルを用いて、他方の画像を補正(NR処理等)する場合があったが、精度の点で改良の余地があった。
そこで、本開示では、波長帯域の異なる2つの電磁波を用いて撮影された2つの画像のそれぞれの動きベクトルに基いて、一方の画像を高精度に補正することができる医療システム、情報処理装置及び情報処理方法を提案する。
上記の課題を解決するために、本開示に係る一形態の医療システムは、撮像対象に電磁波を照射する照射手段と、前記電磁波が照射された前記撮像対象からの反射波を撮像する撮像手段と、前記撮像手段から、第1の波長帯域に基く第1の画像を取得し、前記第1の波長帯域とは異なる第2の波長帯域に基く第2の画像を取得する取得手段と、前記第1の画像における特徴量に基いて、複数の前記第1の画像の間の動きベクトルである第1の動きベクトルを算出する第1の動き推定手段と、前記第2の画像における特徴量に基いて、複数の前記第2の画像の間の動きベクトルである第2の動きベクトルを算出する第2の動き推定手段と、前記第1の動きベクトルと前記第2の動きベクトルの相関度を算出する相関度算出手段と、前記相関度に基き、前記第1の画像を補正する補正手段と、を備える。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を適宜省略する。
(第1実施形態)
[第1実施形態に係る医療システムの構成]
図1は、本開示の第1実施形態に係る医療システム1の構成例を示す図である。第1実施形態に係る医療システム1は、大別して、光源11(照射手段)、撮像装置12(撮像手段)、情報処理装置13を少なくとも備える。また、必要に応じて、表示装置14等をさらに備えることも可能である。以下、各部について詳細に説明する。
[第1実施形態に係る医療システムの構成]
図1は、本開示の第1実施形態に係る医療システム1の構成例を示す図である。第1実施形態に係る医療システム1は、大別して、光源11(照射手段)、撮像装置12(撮像手段)、情報処理装置13を少なくとも備える。また、必要に応じて、表示装置14等をさらに備えることも可能である。以下、各部について詳細に説明する。
(1)光源
光源11は、特定の波長帯域を有する特殊光を撮像対象2に照射する第1光源と、白色光を撮像対象2に照射する第2光源を含む。第1実施形態では、特殊光は、一例として近赤外光である。また、撮像対象2に対して、第1光源による特殊光と第2光源による白色光が同時に照射される。
光源11は、特定の波長帯域を有する特殊光を撮像対象2に照射する第1光源と、白色光を撮像対象2に照射する第2光源を含む。第1実施形態では、特殊光は、一例として近赤外光である。また、撮像対象2に対して、第1光源による特殊光と第2光源による白色光が同時に照射される。
(2)撮像対象
撮像対象2は、様々なものでありえるが、例えば、生体である。例えば、本開示に係る医療システム1を顕微鏡手術や内視鏡手術などで用いることで、血管の位置を確認しながら手術を行うことが可能である。そのため、より安全で高精度な手術を行うことができ、医療技術の更なる発展にも寄与することができる。
撮像対象2は、様々なものでありえるが、例えば、生体である。例えば、本開示に係る医療システム1を顕微鏡手術や内視鏡手術などで用いることで、血管の位置を確認しながら手術を行うことが可能である。そのため、より安全で高精度な手術を行うことができ、医療技術の更なる発展にも寄与することができる。
(3)撮像装置
撮像装置12は、電磁波が照射された撮像対象2からの反射波を撮像する。撮像装置12は、特殊光画像(第1の画像、近赤外光画像)を撮像する特殊光画像撮像部と、白色光画像(第2の画像)を撮像する白色光画像撮像部を含む。特殊光画像撮像部は、例えば、IR(Infrared)イメージャである。白色光画像撮像部は、例えば、RGB(Red Green Blue)イメージャである。その場合、撮像装置12は、例えば、主な構成として、特殊光画像撮像部と白色光画像撮像部のほかに、ダイクロイックミラーを備える。
撮像装置12は、電磁波が照射された撮像対象2からの反射波を撮像する。撮像装置12は、特殊光画像(第1の画像、近赤外光画像)を撮像する特殊光画像撮像部と、白色光画像(第2の画像)を撮像する白色光画像撮像部を含む。特殊光画像撮像部は、例えば、IR(Infrared)イメージャである。白色光画像撮像部は、例えば、RGB(Red Green Blue)イメージャである。その場合、撮像装置12は、例えば、主な構成として、特殊光画像撮像部と白色光画像撮像部のほかに、ダイクロイックミラーを備える。
上述のように、光源11からは特殊光と白色光が照射される。ダイクロイックミラーは、受光した特殊光と白色光を分離する。特殊光画像撮像部は、ダイクロイックミラーによって分離された特殊光から得られる特殊光画像を撮像する。白色光画像撮像部は、ダイクロイックミラーによって分離された白色光から得られる白色光画像を撮像する。このような構成の撮像装置12とすれば、特殊光画像と白色光画像を同時に取得することができる。なお、特殊光画像と白色光画像を別々の撮像装置によって撮像してもよい。
(4)情報処理装置
次に、図2を参照して、情報処理装置13について説明する。図2は、本開示の第1実施形態に係る情報処理装置13の構成例を示す図である。情報処理装置13は、画像処理装置であり、主な構成として、処理部131と記憶部132を備える。
次に、図2を参照して、情報処理装置13について説明する。図2は、本開示の第1実施形態に係る情報処理装置13の構成例を示す図である。情報処理装置13は、画像処理装置であり、主な構成として、処理部131と記憶部132を備える。
処理部131は、例えば、CPU(Central Processing Unit)により実現され、取得部1311(取得手段)、第1の動き推定部1312(第1の動き推定手段)、第2の動き推定部1313(第2の動き推定手段)、相関度算出部1314(相関度算出手段)、補正部1315(補正手段)、および、表示制御部1316を備える。
取得部1311は、撮像装置12から特殊光画像(第1の波長帯域に基く第1の画像)と白色光画像(第1の波長帯域とは異なる第2の波長帯域に基く第2の画像)を取得する。
第1の動き推定部1312は、特殊光画像における特徴量に基いて、複数の特殊光画像の間の動きベクトルである特殊光動きベクトル(第1の動きベクトル)を算出する。第2の動き推定部1313は、白色光画像における特徴量に基いて、複数の白色光画像の間の動きベクトルである白色光動きベクトル(第2の動きベクトル)を算出する。
第1の動き推定部1312と第2の動き推定部1313による動き推定の具体的な手法は、例えば、ブロック(テンプレート)マッチングや勾配法であればよいが、これらに限定されず、任意の手法を用いてよい。また、この動き推定は、画素ごとでもよいし、ブロックごとでもよい。
相関度算出部1314は、特殊光動きベクトルと白色光動きベクトルの相関度を算出する。相関度算出部1314は、例えば、相関度として、特殊光動きベクトルと白色光動きベクトルの相関係数を算出する。
また、相関度算出部1314は、相関度として、特殊光動きベクトルと白色光動きベクトルの差分の絶対値の和を算出してもよい。また、相関度算出部1314は、相関度として、特殊光動きベクトルと白色光動きベクトルの差分の二乗の和を算出してもよい。また、相関度の算出法はこれらに限定されず、相関(類似性)を評価できる任意の指標の算出法を用いてよい。
補正部1315は、相関度算出部1314によって算出された特殊光動きベクトルと白色光動きベクトルの相関度に基き、特殊光画像を補正する。例えば、補正部1315は、相関度が所定の閾値以上の場合、白色光動きベクトルに基いて特殊光画像を補正し、相関度が所定の閾値未満の場合、特殊光動きベクトルに基いて特殊光画像を補正する。なお、相関度に関する所定の閾値は、予め記憶部132に記憶させておく。
また、補正部1315は、相関度に基き、特殊光画像を補正する処理として、例えば、特殊光画像のノイズを低減させるノイズリダクション処理を行う。以下、図3〜図8を参照してこのノイズリダクション処理について説明する。
図3は、本開示の第1実施形態における特殊光と白色光の信号とノイズの大きさの関係を示す模式図である。図3に示すように、特殊光を用いて得られる信号は、白色光を用いて得られる信号と比較して、相対的にノイズに対して小さい。したがって、動き推定を行う場合、特殊光画像よりも白色光画像を用いたほうがよいと考えられる。ただし、それは、特殊光画像に映っている動きと白色光画像に映っている動きが同じであるという前提の元である。
図4は、本開示の第1実施形態において撮像対象2に特殊光と白色光を照射した場合の様子を示す模式図である。ここで、撮像対象2の生体の組織にはICG(Indocyanine Green)蛍光によって発光している血管があるものとする。また、組織は膜(または脂肪等)で覆われているものとする。そして、特殊光は主に組織で反射し、白色光は主に膜で反射する場合がある。その場合、例えば、組織から膜を剥離させると、膜は動くが組織は動かないことがある。そのような場合に、白色光画像を用いて動き推定を行って、その動き推定結果を用いて特殊光画像のNR処理を行うと、特殊光画像の画質劣化が発生してしまう。
図5は、本開示の第1実施形態におけるノイズリダクション処理の説明図である。補正部1315は、例えば、過去画像(1フレーム前の画像)に対して動き補償を行った動き補償画像と入力画像(現在の画像)を用いて、NR処理を行うことができる。この動き補償を高精度で行うために、特殊光動きベクトルと白色光動きベクトルの相関度を用いる(詳細は後述)。
図6は、本開示の第1実施形態における白色光画像と特殊光画像の模式図である。白色光画像と比較して、特殊光画像は全体的に暗いことがわかる。
図7は、本開示の第1実施形態におけるケース1とケース2での動き相関の説明図である。図7の特殊光画像と白色光画像において、黒丸は、画素、または、ブロック(複数画素の集まり)である。以下、黒丸は画素であるものとする。
ケース1において、特殊光画像の中心の画素についての相関度を算出する場合を考える。その場合、特殊光画像において矢印の付与されている画素は通常の動き推定が可能であるものとする。また、枠で囲まれた3×3の画素が暗い等の理由により動き推定不能であるとする。また、白色光画像においては、5×5の全画素の動き推定が可能となっている。その場合、相関度算出部1314は、動き推定が可能な部分の情報を用いて、特殊光動きベクトルと白色光動きベクトルの相関度を算出する。このケース1では、特殊光画像における動き推定が可能な部分と白色光画像における動き推定が可能な部分で動きが同じであるので、相関度(動き相関)は大きくなる。
一方、ケース2では、特殊光画像における動き推定が可能な部分と白色光画像における動き推定が可能な部分で動きが異なるので、相関度(動き相関)は小さくなる。
図8は、本開示の第1実施形態におけるノイズリダクション処理の説明図である。補正部1315は、まず、過去画像(1フレーム前の画像)に対して動き補償を行うが、このとき、例えば、相関度が所定の閾値以上の場合、白色光動きベクトルに基いて動き補償を行う。また、補正部1315は、相関度が所定の閾値未満の場合、特殊光動きベクトルに基いて動き補償を行う。これにより、高精度な動き補償を実現できる。
また、補正部1315は、動き補償画像と入力画像(現在の画像)の加重平均を演算し、NR処理を行うことができる。動き補償が高精度なので、このNR処理も高精度となる。なお、動き補償や加重平均は、例えば画素単位で行う。また、過去画像は1フレーム前の出力画像でもよいし、1フレーム前の入力画像でもよい。
図2に戻って、表示制御部1316は、補正(NR処理等)した特殊光画像等を表示装置14に表示させる制御を行う。
記憶部132は、取得部1311によって取得された特殊光画像、白色光画像、処理部131の各部による演算結果、相関度の閾値等の各種情報を記憶する。なお、この記憶部132の代わりに、医療システム1の外部の記憶装置を用いてもよい。
(5)表示装置
表示装置14は、表示制御部1316から制御されることによって、取得部1311によって取得された特殊光画像、白色光画像、処理部131の各部による演算結果、相関度の閾値等の各種情報を表示する。なお、この表示装置14の代わりに、医療システム1の外部の表示装置を用いてもよい。
表示装置14は、表示制御部1316から制御されることによって、取得部1311によって取得された特殊光画像、白色光画像、処理部131の各部による演算結果、相関度の閾値等の各種情報を表示する。なお、この表示装置14の代わりに、医療システム1の外部の表示装置を用いてもよい。
[第1実施形態に係るSC画像生成処理]
次に、図9を参照して、情報処理装置13による画像処理について説明する。図9は、本開示の第1実施形態に係る情報処理装置13による画像処理を示すフローチャートである。
次に、図9を参照して、情報処理装置13による画像処理について説明する。図9は、本開示の第1実施形態に係る情報処理装置13による画像処理を示すフローチャートである。
まず、ステップS1において、取得部1311は、撮像装置12から特殊光画像と白色光画像を取得する。
次に、ステップS2において、第1の動き推定部1312は、特殊光画像における特徴量に基いて特殊光動きベクトルを算出する。
次に、ステップS3において、第2の動き推定部1313は、白色光画像における特徴量に基いて白色光動きベクトルを算出する。
次に、ステップS4において、相関度算出部1314は、特殊光動きベクトルと白色光動きベクトルの相関度を算出する。
次に、ステップS5において、補正部1315は、相関度が所定の閾値以上か否かを判定し、Yesの場合はステップS6に進み、Noの場合はステップS7に進む。
ステップS6において、補正部1315は、白色光動きベクトルに基いて特殊光画像を補正(NR処理等)する。
ステップS7において、補正部1315は、特殊光動きベクトルに基いて特殊光画像を補正(NR処理等)する。
ステップS6、ステップS7の後、ステップS8において、表示制御部1316は、補正(NR処理等)した特殊光画像を表示装置14に表示させる制御を行う。
このように、第1実施形態の情報処理装置13によれば、波長帯域の異なる2つの電磁波を用いて撮影された2つの画像のそれぞれの動きベクトルに基いて、一方の画像を高精度に補正することができる。例えば、特殊光画像と白色光画像を用いる場合、両者の動きベクトルの相関度が大きければ白色光動きベクトルを用いて特殊光画像のNR処理を行い、相関度が小さければ特殊光動きベクトルを用いて特殊光画像のNR処理を行うことで、高精度なNR処理を実現できる。
例えば、脳神経外科手術や心臓外科手術などにおいて、手術時の血流観察のためにICGを用いた蛍光観察が一般的に行われている。これはICGが生体内で血漿蛋白と結合し、近赤外の励起光により蛍光を発する特徴を利用して、血管やリンパ管の走行を低侵襲に観察する手法である。その場合に、特殊光画像で観察している組織、血流、腫瘍の上に膜や脂肪などがあり、それらを剥離している最中などのように、特殊光画像で捉えられる動きと白色光画像で捉えられる動きとで相関が小さい場合においても、画質劣化を発生させることなく特殊光画像のNR処理を施すことができる。そのため、NR処理を行った特殊光画像を医師が見て誤った判断を下す可能性が低下し、手術をより安全に行うことが可能となる。
(第2実施形態)
次に、第2実施形態について説明する。第1実施形態と同様の事項については、説明を適宜省略する。第1実施形態では、補正部1315は、相関度が所定の閾値以上の場合、白色光動きベクトルに基いて特殊光画像を補正し、相関度が所定の閾値未満の場合、特殊光動きベクトルに基いて特殊光画像を補正した。第2実施形態では、補正部1315は、以下の式(1)の通り、相関度に応じて特殊光動きベクトル(MV1)と白色光動きベクトル(MV2)を重み付け加算して第3の動きベクトル(MV3)を算出し、第3の動きベクトル(MV3)に基いて特殊光画像を補正する。
MV3=(1−α)×MV1+α×MV2 ・・・式(1)
次に、第2実施形態について説明する。第1実施形態と同様の事項については、説明を適宜省略する。第1実施形態では、補正部1315は、相関度が所定の閾値以上の場合、白色光動きベクトルに基いて特殊光画像を補正し、相関度が所定の閾値未満の場合、特殊光動きベクトルに基いて特殊光画像を補正した。第2実施形態では、補正部1315は、以下の式(1)の通り、相関度に応じて特殊光動きベクトル(MV1)と白色光動きベクトル(MV2)を重み付け加算して第3の動きベクトル(MV3)を算出し、第3の動きベクトル(MV3)に基いて特殊光画像を補正する。
MV3=(1−α)×MV1+α×MV2 ・・・式(1)
ここで、図10は、本開示の第2実施形態におけるαと相関度との関係を示すグラフである。相関度に応じた係数α(混合比率)を図10に示すように設定しておく。図10のグラフにおいて、縦軸はαの値、横軸は相関度である。このように、相関度が小さいときは特殊光動きベクトル(MV1)の比率を高くし、相関度が大きいときは白色光動きベクトル(MV2)の比率を高くすることで、第3の動きベクトル(MV3)が適正なものとなる。
図11は、本開示の第2実施形態に係る情報処理装置13による画像処理を示すフローチャートである。ステップS1〜S4は図9と同様である。
ステップS4の後、ステップS11において、補正部1315は、上述の式(1)の通り、相関度に応じて特殊光動きベクトル(MV1)と白色光動きベクトル(MV2)を重み付け加算して第3の動きベクトル(MV3)を算出する。
次に、ステップS12において、補正部1315は、第3の動きベクトル(MV3)に基いて特殊光画像を補正(NR処理等)する。
次に、ステップS8において、表示制御部1316は、補正(NR処理等)した特殊光画像を表示装置14に表示させる制御を行う。
このように、第2実施形態の情報処理装置13によれば、特殊光画像を補正するときに、特殊光動きベクトルと白色光動きベクトルのいずれか一方だけを使用するのではなく、相関度に応じて特殊光動きベクトルと白色光動きベクトルを重み付け加算して算出した第3の動きベクトルを使用することで、より高精度な補正を実現できる。
(第3実施形態)
次に、第3実施形態について説明する。第1実施形態と同様の事項については、説明を適宜省略する。第3実施形態では、補正部1315は、特殊光動きベクトルに基いて特殊光画像の動き補償を行い、白色光動きベクトルに基いて白色光画像の動き補償を行い、相関度に応じて、動き補償された特殊光画像と動き補償された白色光画像を重み付け加算して第3の画像を生成し、第3の画像に基いて特殊光画像を補正する。この場合の重み付け加算の方法は、第2実施形態の式(1)を用いた重み付け加算の方法と同様である。つまり、相関度が小さいときは動き補償された特殊光画像の比率を高くし、相関度が大きいときは動き補償された白色光画像の比率を高くすることで、第3の画像が適正なものとなる。
次に、第3実施形態について説明する。第1実施形態と同様の事項については、説明を適宜省略する。第3実施形態では、補正部1315は、特殊光動きベクトルに基いて特殊光画像の動き補償を行い、白色光動きベクトルに基いて白色光画像の動き補償を行い、相関度に応じて、動き補償された特殊光画像と動き補償された白色光画像を重み付け加算して第3の画像を生成し、第3の画像に基いて特殊光画像を補正する。この場合の重み付け加算の方法は、第2実施形態の式(1)を用いた重み付け加算の方法と同様である。つまり、相関度が小さいときは動き補償された特殊光画像の比率を高くし、相関度が大きいときは動き補償された白色光画像の比率を高くすることで、第3の画像が適正なものとなる。
図12は、本開示の第3実施形態に係る情報処理装置13による画像処理を示すフローチャートである。ステップS1〜S4は図9と同様である。
ステップS4の後、ステップS21において、補正部1315は、特殊光動きベクトルに基いて特殊光画像の動き補償を行う。
次に、ステップS22において、補正部1315は、白色光動きベクトルに基いて白色光画像の動き補償を行う。
次に、ステップS23において、補正部1315は、相関度に応じて、動き補償された特殊光画像と動き補償された白色光画像を重み付け加算して第3の画像を生成する。
次に、ステップS24において、補正部1315は、第3の画像に基いて特殊光画像を補正(NR処理等)する。
次に、ステップS8において、表示制御部1316は、補正(NR処理等)した特殊光画像を表示装置14に表示させる制御を行う。
このように、第3実施形態の情報処理装置13によれば、特殊光画像を補正するときに、動き補償された特殊光画像と動き補償された白色光画像を重み付け加算して算出した第3の画像を使用することで、より高精度な補正を実現できる。
(第4実施形態)
第1実施形態〜第3実施形態では、補正(NR処理等)を行う対象である第1の画像を特殊光画像とし、他方の第2の画像を白色光画像とした。第4実施形態では、補正(NR処理等)を行う対象である第1の画像を白色光画像とし、他方の第2の画像を特殊光画像とする。
第1実施形態〜第3実施形態では、補正(NR処理等)を行う対象である第1の画像を特殊光画像とし、他方の第2の画像を白色光画像とした。第4実施形態では、補正(NR処理等)を行う対象である第1の画像を白色光画像とし、他方の第2の画像を特殊光画像とする。
これにより、白色光画像の補正を、白色光動きベクトルだけでなく特殊光動きベクトルも併せて用いて実現することができる。撮像対象2の種類や医療システム1の使用環境等によって、白色光画像よりも特殊光画像のほうが動きベクトルをより的確に認識できる場合に、有益である。
(第5実施形態)
第1実施形態〜第4実施形態では、補正(NR処理等)を行う対象である第1の画像と他方の第2の画像の組み合わせを、特殊光画像と白色光画像とした。第5実施形態では、補正(NR処理等)を行う対象である第1の画像と他方の第2の画像の組み合わせを、波長帯域の異なる2つの特殊光を照射して撮影した2つの特殊光画像とする。
第1実施形態〜第4実施形態では、補正(NR処理等)を行う対象である第1の画像と他方の第2の画像の組み合わせを、特殊光画像と白色光画像とした。第5実施形態では、補正(NR処理等)を行う対象である第1の画像と他方の第2の画像の組み合わせを、波長帯域の異なる2つの特殊光を照射して撮影した2つの特殊光画像とする。
これにより、任意の2つの特殊光画像のそれぞれの動きベクトルを用いて、一方の特殊光画像の補正を実現することができる。
(応用例1)
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図13は、本開示に係る技術が適用され得る内視鏡手術システム5000の概略的な構成の一例を示す図である。図13では、術者(医師)5067が、内視鏡手術システム5000を用いて、患者ベッド5069上の患者5071に手術を行っている様子が図示されている。図示するように、内視鏡手術システム5000は、内視鏡5001と、その他の術具5017と、内視鏡5001を支持する支持アーム装置5027と、内視鏡下手術のための各種の装置が搭載されたカート5037と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5025a〜5025dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5025a〜5025dから、内視鏡5001の鏡筒5003や、その他の術具5017が患者5071の体腔内に挿入される。図示する例では、その他の術具5017として、気腹チューブ5019、エネルギー処置具5021及び鉗子5023が、患者5071の体腔内に挿入されている。また、エネルギー処置具5021は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5017はあくまで一例であり、術具5017としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5001によって撮影された患者5071の体腔内の術部の画像が、表示装置5041に表示される。術者5067は、表示装置5041に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5021や鉗子5023を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5019、エネルギー処置具5021及び鉗子5023は、手術中に、術者5067又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5027は、ベース部5029から延伸するアーム部5031を備える。図示する例では、アーム部5031は、関節部5033a、5033b、5033c、及びリンク5035a、5035bから構成されており、アーム制御装置5045からの制御により駆動される。アーム部5031によって内視鏡5001が支持され、その位置及び姿勢が制御される。これにより、内視鏡5001の安定的な位置の固定が実現され得る。
支持アーム装置5027は、ベース部5029から延伸するアーム部5031を備える。図示する例では、アーム部5031は、関節部5033a、5033b、5033c、及びリンク5035a、5035bから構成されており、アーム制御装置5045からの制御により駆動される。アーム部5031によって内視鏡5001が支持され、その位置及び姿勢が制御される。これにより、内視鏡5001の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5001は、先端から所定の長さの領域が患者5071の体腔内に挿入される鏡筒5003と、鏡筒5003の基端に接続されるカメラヘッド5005と、から構成される。図示する例では、硬性の鏡筒5003を有するいわゆる硬性鏡として構成される内視鏡5001を図示しているが、内視鏡5001は、軟性の鏡筒5003を有するいわゆる軟性鏡として構成されてもよい。
内視鏡5001は、先端から所定の長さの領域が患者5071の体腔内に挿入される鏡筒5003と、鏡筒5003の基端に接続されるカメラヘッド5005と、から構成される。図示する例では、硬性の鏡筒5003を有するいわゆる硬性鏡として構成される内視鏡5001を図示しているが、内視鏡5001は、軟性の鏡筒5003を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5003の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5001には光源装置5043が接続されており、当該光源装置5043によって生成された光が、鏡筒5003の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5071の体腔内の観察対象に向かって照射される。なお、内視鏡5001は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5005の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5039に送信される。なお、カメラヘッド5005には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5005には撮像素子が複数設けられてもよい。この場合、鏡筒5003の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5039は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5001及び表示装置5041の動作を統括的に制御する。具体的には、CCU5039は、カメラヘッド5005から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5039は、当該画像処理を施した画像信号を表示装置5041に提供する。また、CCU5039は、カメラヘッド5005に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
CCU5039は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5001及び表示装置5041の動作を統括的に制御する。具体的には、CCU5039は、カメラヘッド5005から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5039は、当該画像処理を施した画像信号を表示装置5041に提供する。また、CCU5039は、カメラヘッド5005に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
表示装置5041は、CCU5039からの制御により、当該CCU5039によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5001が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5041としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5041として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5041が設けられてもよい。
光源装置5043は、例えばLED(Light Emitting Diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5001に供給する。
アーム制御装置5045は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5027のアーム部5031の駆動を制御する。
入力装置5047は、内視鏡手術システム5000に対する入力インタフェースである。ユーザは、入力装置5047を介して、内視鏡手術システム5000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5047を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5047を介して、アーム部5031を駆動させる旨の指示や、内視鏡5001による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5021を駆動させる旨の指示等を入力する。
入力装置5047の種類は限定されず、入力装置5047は各種の公知の入力装置であってよい。入力装置5047としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5057及び/又はレバー等が適用され得る。入力装置5047としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5041の表示面上に設けられてもよい。
あるいは、入力装置5047は、例えばメガネ型のウェアラブルデバイスやHMD(HeadMounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5047は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5047は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5047が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5067)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5049は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5021の駆動を制御する。気腹装置5051は、内視鏡5001による視野の確保及び術者の作業空間の確保の目的で、患者5071の体腔を膨らめるために、気腹チューブ5019を介して当該体腔内にガスを送り込む。レコーダ5053は、手術に関する各種の情報を記録可能な装置である。プリンタ5055は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5000において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5027は、基台であるベース部5029と、ベース部5029から延伸するアーム部5031と、を備える。図示する例では、アーム部5031は、複数の関節部5033a、5033b、5033cと、関節部5033bによって連結される複数のリンク5035a、5035bと、から構成されているが、図13では、簡単のため、アーム部5031の構成を簡略化して図示している。実際には、アーム部5031が所望の自由度を有するように、関節部5033a〜5033c及びリンク5035a、5035bの形状、数及び配置、並びに関節部5033a〜5033cの回転軸の方向等が適宜設定され得る。例えば、アーム部5031は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5031の可動範囲内において内視鏡5001を自由に移動させることが可能になるため、所望の方向から内視鏡5001の鏡筒5003を患者5071の体腔内に挿入することが可能になる。
支持アーム装置5027は、基台であるベース部5029と、ベース部5029から延伸するアーム部5031と、を備える。図示する例では、アーム部5031は、複数の関節部5033a、5033b、5033cと、関節部5033bによって連結される複数のリンク5035a、5035bと、から構成されているが、図13では、簡単のため、アーム部5031の構成を簡略化して図示している。実際には、アーム部5031が所望の自由度を有するように、関節部5033a〜5033c及びリンク5035a、5035bの形状、数及び配置、並びに関節部5033a〜5033cの回転軸の方向等が適宜設定され得る。例えば、アーム部5031は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5031の可動範囲内において内視鏡5001を自由に移動させることが可能になるため、所望の方向から内視鏡5001の鏡筒5003を患者5071の体腔内に挿入することが可能になる。
関節部5033a〜5033cにはアクチュエータが設けられており、関節部5033a〜5033cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5045によって制御されることにより、各関節部5033a〜5033cの回転角度が制御され、アーム部5031の駆動が制御される。これにより、内視鏡5001の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5045は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5031の駆動を制御することができる。
例えば、術者5067が、入力装置5047(フットスイッチ5057を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5045によってアーム部5031の駆動が適宜制御され、内視鏡5001の位置及び姿勢が制御されてよい。当該制御により、アーム部5031の先端の内視鏡5001を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5031は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5031は、手術室から離れた場所に設置される入力装置5047を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5045は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5031が移動するように、各関節部5033a〜5033cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5031に触れながらアーム部5031を移動させる際に、比較的軽い力で当該アーム部5031を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5001を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5001が支持されていた。これに対して、支持アーム装置5027を用いることにより、人手によらずに内視鏡5001の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5045は必ずしもカート5037に設けられなくてもよい。また、アーム制御装置5045は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5045は、支持アーム装置5027のアーム部5031の各関節部5033a〜5033cにそれぞれ設けられてもよく、複数のアーム制御装置5045が互いに協働することにより、アーム部5031の駆動制御が実現されてもよい。
(光源装置)
光源装置5043は、内視鏡5001に術部を撮影する際の照射光を供給する。光源装置5043は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5043において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5005の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
光源装置5043は、内視鏡5001に術部を撮影する際の照射光を供給する。光源装置5043は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5043において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5005の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5043は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5005の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5043は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5043は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図14を参照して、内視鏡5001のカメラヘッド5005及びCCU5039の機能についてより詳細に説明する。図14は、図13に示すカメラヘッド5005及びCCU5039の機能構成の一例を示すブロック図である。
図14を参照して、内視鏡5001のカメラヘッド5005及びCCU5039の機能についてより詳細に説明する。図14は、図13に示すカメラヘッド5005及びCCU5039の機能構成の一例を示すブロック図である。
図14を参照すると、カメラヘッド5005は、その機能として、レンズユニット5007と、撮像部5009と、駆動部5011と、通信部5013と、カメラヘッド制御部5015と、を有する。また、CCU5039は、その機能として、通信部5059と、画像処理部5061と、制御部5063と、を有する。カメラヘッド5005とCCU5039とは、伝送ケーブル5065によって双方向に通信可能に接続されている。
まず、カメラヘッド5005の機能構成について説明する。レンズユニット5007は、鏡筒5003との接続部に設けられる光学系である。鏡筒5003の先端から取り込まれた観察光は、カメラヘッド5005まで導光され、当該レンズユニット5007に入射する。レンズユニット5007は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5007は、撮像部5009の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5009は撮像素子によって構成され、レンズユニット5007の後段に配置される。レンズユニット5007を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5009によって生成された画像信号は、通信部5013に提供される。
撮像部5009を構成する撮像素子としては、例えばCMOS(Complementary MetalOxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5067は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5009を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5067は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5009が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5007も複数系統設けられる。
また、撮像部5009は、必ずしもカメラヘッド5005に設けられなくてもよい。例えば、撮像部5009は、鏡筒5003の内部に、対物レンズの直後に設けられてもよい。
駆動部5011は、アクチュエータによって構成され、カメラヘッド制御部5015からの制御により、レンズユニット5007のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5009による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5013は、CCU5039との間で各種の情報を送受信するための通信装置によって構成される。通信部5013は、撮像部5009から得た画像信号をRAWデータとして伝送ケーブル5065を介してCCU5039に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5067が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5013には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5065を介してCCU5039に送信される。
また、通信部5013は、CCU5039から、カメラヘッド5005の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5013は、受信した制御信号をカメラヘッド制御部5015に提供する。なお、CCU5039からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5013には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5015に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5039の制御部5063によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto WhiteBalance)機能が内視鏡5001に搭載される。
カメラヘッド制御部5015は、通信部5013を介して受信したCCU5039からの制御信号に基づいて、カメラヘッド5005の駆動を制御する。例えば、カメラヘッド制御部5015は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5009の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5015は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5011を介してレンズユニット5007のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5015は、更に、鏡筒5003やカメラヘッド5005を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5007や撮像部5009等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5005について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5039の機能構成について説明する。通信部5059は、カメラヘッド5005との間で各種の情報を送受信するための通信装置によって構成される。通信部5059は、カメラヘッド5005から、伝送ケーブル5065を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5059には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5059は、電気信号に変換した画像信号を画像処理部5061に提供する。
また、通信部5059は、カメラヘッド5005に対して、カメラヘッド5005の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5061は、カメラヘッド5005から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise Reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5061は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5061は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5061が複数のGPUによって構成される場合には、画像処理部5061は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5063は、内視鏡5001による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5063は、カメラヘッド5005の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5063は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5001にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5063は、画像処理部5061による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5063は、画像処理部5061によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5041に表示させる。この際、制御部5063は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5063は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5021使用時のミスト等を認識することができる。制御部5063は、表示装置5041に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5067に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5005及びCCU5039を接続する伝送ケーブル5065は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5065を用いて有線で通信が行われていたが、カメラヘッド5005とCCU5039との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5065を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5065によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る内視鏡手術システム5000の一例について説明した。なお、ここでは、一例として内視鏡手術システム5000について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡手術システムや、以下に応用例2で説明する顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、内視鏡5001に好適に適用され得る。具体的には、内視鏡5001によって撮影された患者5071の体腔内の術部の画像を表示装置5041に表示する場合に、本開示に係る技術を適用できる。内視鏡5001に本開示に係る技術を適用することにより、特殊光画像に映っている動きと白色光画像に映っている動きが異なっている場合でも、両画像のそれぞれの動きベクトルの相関度に応じてそれぞれの動きベクトルを適切に用いることで、特殊光画像を高精度に補正(NR処理等)することができる。これにより、術者5067は、高精度に補正(NR処理等)された術部の画像を表示装置5041においてリアルタイムで見ることができ、手術をより安全に行うことができる。
(応用例2)
また、本開示に係る技術は、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられる顕微鏡手術システムに適用されてもよい。
また、本開示に係る技術は、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられる顕微鏡手術システムに適用されてもよい。
図15は、本開示に係る技術が適用され得る顕微鏡手術システム5300の概略的な構成の一例を示す図である。図15を参照すると、顕微鏡手術システム5300は、顕微鏡装置5301と、制御装置5317と、表示装置5319と、から構成される。なお、以下の顕微鏡手術システム5300についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム5300を使用する任意の医療スタッフのことを意味する。
顕微鏡装置5301は、観察対象(患者の術部)を拡大観察するための顕微鏡部5303と、顕微鏡部5303を先端で支持するアーム部5309と、アーム部5309の基端を支持するベース部5315と、を有する。
顕微鏡部5303は、略円筒形状の筒状部5305と、当該筒状部5305の内部に設けられる撮像部(図示せず)と、筒状部5305の外周の一部領域に設けられる操作部5307と、から構成される。顕微鏡部5303は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部(いわゆるビデオ式の顕微鏡部)である。
筒状部5305の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光(以下、観察光ともいう)は、当該カバーガラスを通過して、筒状部5305の内部の撮像部に入射する。なお、筒状部5305の内部には例えばLED(Light Emitting Diode)等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばBayer配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、RAWデータとして制御装置5317に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、AE(Auto Exposure)機能やAF(Auto Focus)機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
また、撮像部は、1つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視(3D表示)に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
操作部5307は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部5307を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部5307を介して、アーム部5309の動作モード(後述するオールフリーモード及び固定モード)を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部5303を移動させようとする場合には、当該ユーザは筒状部5305を握るように把持した状態で当該顕微鏡部5303を移動させる様態が想定される。従って、操作部5307は、ユーザが筒状部5305を移動させている間でも操作可能なように、ユーザが筒状部5305を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
アーム部5309は、複数のリンク(第1リンク5313a〜第6リンク5313f)が、複数の関節部(第1関節部5311a〜第6関節部5311f)によって互いに回動可能に連結されることによって構成される。
第1関節部5311aは、略円柱形状を有し、その先端(下端)で、顕微鏡部5303の筒状部5305の上端を、当該筒状部5305の中心軸と平行な回転軸(第1軸O1)まわりに回動可能に支持する。ここで、第1関節部5311aは、第1軸O1が顕微鏡部5303の撮像部の光軸と一致するように構成され得る。これにより、第1軸O1まわりに顕微鏡部5303を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
第1リンク5313aは、先端で第1関節部5311aを固定的に支持する。具体的には、第1リンク5313aは略L字形状を有する棒状の部材であり、その先端側の一辺が第1軸O1と直交する方向に延伸しつつ、当該一辺の端部が第1関節部5311aの外周の上端部に当接するように、第1関節部5311aに接続される。第1リンク5313aの略L字形状の基端側の他辺の端部に第2関節部5311bが接続される。
第2関節部5311bは、略円柱形状を有し、その先端で、第1リンク5313aの基端を、第1軸O1と直交する回転軸(第2軸O2)まわりに回動可能に支持する。第2関節部5311bの基端には、第2リンク5313bの先端が固定的に接続される。
第2リンク5313bは、略L字形状を有する棒状の部材であり、その先端側の一辺が第2軸O2と直交する方向に延伸しつつ、当該一辺の端部が第2関節部5311bの基端に固定的に接続される。第2リンク5313bの略L字形状の基端側の他辺には、第3関節部5311cが接続される。
第3関節部5311cは、略円柱形状を有し、その先端で、第2リンク5313bの基端を、第1軸O1及び第2軸O2と互いに直交する回転軸(第3軸O3)まわりに回動可能に支持する。第3関節部5311cの基端には、第3リンク5313cの先端が固定的に接続される。第2軸O2及び第3軸O3まわりに顕微鏡部5303を含む先端側の構成を回動させることにより、水平面内での顕微鏡部5303の位置を変更するように、当該顕微鏡部5303を移動させることができる。つまり、第2軸O2及び第3軸O3まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
第3リンク5313cは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第3関節部5311cの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第3リンク5313cの基端側は角柱形状を有し、その端部に第4関節部5311dが接続される。
第4関節部5311dは、略円柱形状を有し、その先端で、第3リンク5313cの基端を、第3軸O3と直交する回転軸(第4軸O4)まわりに回動可能に支持する。第4関節部5311dの基端には、第4リンク5313dの先端が固定的に接続される。
第4リンク5313dは、略直線状に延伸する棒状の部材であり、第4軸O4と直交するように延伸しつつ、その先端の端部が第4関節部5311dの略円柱形状の側面に当接するように、第4関節部5311dに固定的に接続される。第4リンク5313dの基端には、第5関節部5311eが接続される。
第5関節部5311eは、略円柱形状を有し、その先端側で、第4リンク5313dの基端を、第4軸O4と平行な回転軸(第5軸O5)まわりに回動可能に支持する。第5関節部5311eの基端には、第5リンク5313eの先端が固定的に接続される。第4軸O4及び第5軸O5は、顕微鏡部5303を上下方向に移動させ得る回転軸である。第4軸O4及び第5軸O5まわりに顕微鏡部5303を含む先端側の構成を回動させることにより、顕微鏡部5303の高さ、すなわち顕微鏡部5303と観察対象との距離を調整することができる。
第5リンク5313eは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略L字形状を有する第1の部材と、当該第1の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第2の部材と、が組み合わされて構成される。第5リンク5313eの第1の部材の鉛直方向に延伸する部位の上端近傍に、第5関節部5311eの基端が固定的に接続される。第5リンク5313eの第2の部材の基端(下端)には、第6関節部5311fが接続される。
第6関節部5311fは、略円柱形状を有し、その先端側で、第5リンク5313eの基端を、鉛直方向と平行な回転軸(第6軸O6)まわりに回動可能に支持する。第6関節部5311fの基端には、第6リンク5313fの先端が固定的に接続される。
第6リンク5313fは鉛直方向に延伸する棒状の部材であり、その基端はベース部5315の上面に固定的に接続される。
第1関節部5311a〜第6関節部5311fの回転可能範囲は、顕微鏡部5303が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部5309においては、顕微鏡部5303の動きに関して、並進3自由度及び回転3自由度の計6自由度の動きが実現され得る。このように、顕微鏡部5303の動きに関して6自由度が実現されるようにアーム部5309を構成することにより、アーム部5309の可動範囲内において顕微鏡部5303の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。
なお、図示するアーム部5309の構成はあくまで一例であり、アーム部5309を構成するリンクの数及び形状(長さ)、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部5303を自由に動かすためには、アーム部5309は6自由度を有するように構成されることが好ましいが、アーム部5309はより大きな自由度(すなわち、冗長自由度)を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部5309においては、顕微鏡部5303の位置及び姿勢が固定された状態で、アーム部5309の姿勢を変更することが可能となる。従って、例えば表示装置5319を見る術者の視界にアーム部5309が干渉しないように当該アーム部5309の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。
ここで、第1関節部5311a〜第6関節部5311fには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第1関節部5311a〜第6関節部5311fに設けられる各アクチュエータの駆動が制御装置5317によって適宜制御されることにより、アーム部5309の姿勢、すなわち顕微鏡部5303の位置及び姿勢が制御され得る。具体的には、制御装置5317は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部5309の現在の姿勢、並びに顕微鏡部5303の現在の位置及び姿勢を把握することができる。制御装置5317は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部5303の移動を実現するような各関節部に対する制御値(例えば、回転角度又は発生トルク等)を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置5317によるアーム部5309の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置5317によってアーム部5309の駆動が適宜制御され、顕微鏡部5303の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部5303を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部5309は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5309は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部5309が移動するように第1関節部5311a〜第6関節部5311fのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部5303を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部5303を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部5303を移動させることが可能となり、ユーザの利便性を向上させることができる。
また、アーム部5309は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部5303の光軸が空間上の所定の点(以下、ピボット点という)を常に向くように、顕微鏡部5303を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部5303が、その焦点距離を調整不可能に構成される場合には、顕微鏡部5303とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部5303とピボット点との距離を、顕微鏡部5303の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部5303は、ピボット点を中心とする焦点距離に対応する半径を有する半球面(図15に概略的に図示する)上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部5303が、その焦点距離を調整可能に構成される場合には、顕微鏡部5303とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置5317は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部5303とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部5303の焦点距離を自動で調整してもよい。あるいは、顕微鏡部5303にAF機能が設けられる場合であれば、ピボット動作によって顕微鏡部5303とピボット点との距離が変化するごとに、当該AF機能によって自動で焦点距離の調整が行われてもよい。
また、第1関節部5311a〜第6関節部5311fには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置5317によって制御され得る。例えば、顕微鏡部5303の位置及び姿勢を固定したい場合には、制御装置5317は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部5309の姿勢、すなわち顕微鏡部5303の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部5303の位置及び姿勢を移動したい場合には、制御装置5317は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。
このようなブレーキの動作は、上述した操作部5307を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部5303の位置及び姿勢を移動したい場合には、操作部5307を操作し、各関節部のブレーキを解除させる。これにより、アーム部5309の動作モードが、各関節部における回転を自由に行えるモード(オールフリーモード)に移行する。また、ユーザは、顕微鏡部5303の位置及び姿勢を固定したい場合には、操作部5307を操作し、各関節部のブレーキを作動させる。これにより、アーム部5309の動作モードが、各関節部における回転が拘束されたモード(固定モード)に移行する。
制御装置5317は、顕微鏡装置5301及び表示装置5319の動作を制御することにより、顕微鏡手術システム5300の動作を統括的に制御する。例えば、制御装置5317は、所定の制御方式に従って第1関節部5311a〜第6関節部5311fのアクチュエータを動作させることにより、アーム部5309の駆動を制御する。また、例えば、制御装置5317は、第1関節部5311a〜第6関節部5311fのブレーキの動作を制御することにより、アーム部5309の動作モードを変更する。また、例えば、制御装置5317は、顕微鏡装置5301の顕微鏡部5303の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置5319に表示させる。当該信号処理では、例えば現像処理(デモザイク処理)、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)及び/又は拡大処理(すなわち、電子ズーム処理)等、各種の公知の信号処理が行われてよい。
なお、制御装置5317と顕微鏡部5303との通信、及び制御装置5317と第1関節部5311a〜第6関節部5311fとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
制御装置5317は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置5317のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置5317は、顕微鏡装置5301と別個の装置として設けられているが、制御装置5317は、顕微鏡装置5301のベース部5315の内部に設置され、顕微鏡装置5301と一体的に構成されてもよい。あるいは、制御装置5317は、複数の装置によって構成されてもよい。例えば、顕微鏡部5303や、アーム部5309の第1関節部5311a〜第6関節部5311fにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置5317と同様の機能が実現されてもよい。
表示装置5319は、手術室内に設けられ、制御装置5317からの制御により、当該制御装置5317によって生成された画像データに対応する画像を表示する。つまり、表示装置5319には、顕微鏡部5303によって撮影された術部の画像が表示される。なお、表示装置5319は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置5319の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置5319は複数設けられてもよく、複数の表示装置5319のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置5319としては、液晶ディスプレイ装置又はEL(Electro Luminescence)ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
図16は、図15に示す顕微鏡手術システム5300を用いた手術の様子を示す図である。図16では、術者5321が、顕微鏡手術システム5300を用いて、患者ベッド5323上の患者5325に対して手術を行っている様子を概略的に示している。なお、図16では、簡単のため、顕微鏡手術システム5300の構成のうち制御装置5317の図示を省略するとともに、顕微鏡装置5301を簡略化して図示している。
図2Cに示すように、手術時には、顕微鏡手術システム5300を用いて、顕微鏡装置5301によって撮影された術部の画像が、手術室の壁面に設置される表示装置5319に拡大表示される。表示装置5319は、術者5321と対向する位置に設置されており、術者5321は、表示装置5319に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。
以上、本開示に係る技術が適用され得る顕微鏡手術システム5300の一例について説明した。なお、ここでは、一例として顕微鏡手術システム5300について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置5301は、その先端に顕微鏡部5303に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、制御装置5317に好適に適用され得る。具体的には、顕微鏡部5303の撮像部によって撮影された患者5325の術部の画像を表示装置5319に表示する場合に、本開示に係る技術を適用できる。制御装置5317に本開示に係る技術を適用することにより、特殊光画像に映っている動きと白色光画像に映っている動きが異なっている場合でも、両画像のそれぞれの動きベクトルの相関度に応じてそれぞれの動きベクトルを適切に用いることで、特殊光画像を高精度に補正(NR処理等)することができる。これにより、術者5321は、高精度に補正(NR処理等)された術部の画像を表示装置5319においてリアルタイムで見ることができ、手術をより安全に行うことができる。
なお、本技術は以下のような構成も取ることができる。
(1)
撮像対象に電磁波を照射する照射手段と、
前記電磁波が照射された前記撮像対象からの反射波を撮像する撮像手段と、
前記撮像手段から、第1の波長帯域に基く第1の画像を取得し、前記第1の波長帯域とは異なる第2の波長帯域に基く第2の画像を取得する取得手段と、
前記第1の画像における特徴量に基いて、複数の前記第1の画像の間の動きベクトルである第1の動きベクトルを算出する第1の動き推定手段と、
前記第2の画像における特徴量に基いて、複数の前記第2の画像の間の動きベクトルである第2の動きベクトルを算出する第2の動き推定手段と、
前記第1の動きベクトルと前記第2の動きベクトルの相関度を算出する相関度算出手段と、
前記相関度に基き、前記第1の画像を補正する補正手段と、を備える医療システム。
(2)
前記医療システムは、顕微鏡手術システム、または、内視鏡手術システムである、(1)に記載の医療システム。
(3)
電磁波が照射された撮像対象からの反射波を撮像する撮像手段から、第1の波長帯域に基く第1の画像を取得し、前記第1の波長帯域とは異なる第2の波長帯域に基く第2の画像を取得する取得手段と、
前記第1の画像における特徴量に基いて、複数の前記第1の画像の間の動きベクトルである第1の動きベクトルを算出する第1の動き推定手段と、
前記第2の画像における特徴量に基いて、複数の前記第2の画像の間の動きベクトルである第2の動きベクトルを算出する第2の動き推定手段と、
前記第1の動きベクトルと前記第2の動きベクトルの相関度を算出する相関度算出手段と、
前記相関度に基き、前記第1の画像を補正する補正手段と、を備える情報処理装置。
(4)
前記補正手段は、
前記相関度が所定の閾値以上の場合、前記第2の動きベクトルに基いて前記第1の画像を補正し、
前記相関度が所定の閾値未満の場合、前記第1の動きベクトルに基いて前記第1の画像を補正する、(3)に記載の情報処理装置。
(5)
前記補正手段は、
前記相関度に応じて前記第1の動きベクトルと前記第2の動きベクトルを重み付け加算して第3の動きベクトルを算出し、前記第3の動きベクトルに基いて前記第1の画像を補正する、(3)に記載の情報処理装置。
(6)
前記補正手段は、
前記第1の動きベクトルに基いて前記第1の画像の動き補償を行い、
前記第2の動きベクトルに基いて前記第2の画像の動き補償を行い、
前記相関度に応じて、動き補償された前記第1の画像と動き補償された前記第2の画像を重み付け加算して第3の画像を生成し、前記第3の画像に基いて前記第1の画像を補正する、(3)に記載の情報処理装置。
(7)
前記相関度算出手段は、
前記相関度として、前記第1の動きベクトルと前記第2の動きベクトルの相関係数を算出する、(3)から(6)のいずれかに記載の情報処理装置。
(8)
前記相関度算出手段は、
前記相関度として、前記第1の動きベクトルと前記第2の動きベクトルの差分の絶対値の和を算出する、(3)から(6)のいずれかに記載の情報処理装置。
(9)
前記相関度算出手段は、
前記相関度として、前記第1の動きベクトルと前記第2の動きベクトルの差分の二乗の和を算出する、(3)から(6)のいずれかに記載の情報処理装置。
(10)
前記補正手段は、前記相関度に基き、前記第1の画像を補正する処理として、前記第1の画像のノイズを低減させるノイズリダクション処理を行う、(3)から(9)のいずれかに記載の情報処理装置。
(11)
前記補正手段は、前記相関度に基き、前記第1の画像を補正する処理として、前記第1の画像を強調する画像強調処理を行う、(3)から(9)のいずれかに記載の情報処理装置。
(12)
前記第1の画像は近赤外光画像であり、前記第2の画像は白色光画像である、(3)から(11)のいずれかに記載の情報処理装置。
(13)
電磁波が照射された撮像対象からの反射波を撮像する撮像手段から、第1の波長帯域に基く第1の画像を取得し、前記第1の波長帯域とは異なる第2の波長帯域に基く第2の画像を取得する取得工程と、
前記第1の画像における特徴量に基いて、複数の前記第1の画像の間の動きベクトルである第1の動きベクトルを算出する第1の動き推定工程と、
前記第2の画像における特徴量に基いて、複数の前記第2の画像の間の動きベクトルである第2の動きベクトルを算出する第2の動き推定工程と、
前記第1の動きベクトルと前記第2の動きベクトルの相関度を算出する相関度算出工程と、
前記相関度に基き、前記第1の画像を補正する補正工程と、を含む情報処理方法。
(1)
撮像対象に電磁波を照射する照射手段と、
前記電磁波が照射された前記撮像対象からの反射波を撮像する撮像手段と、
前記撮像手段から、第1の波長帯域に基く第1の画像を取得し、前記第1の波長帯域とは異なる第2の波長帯域に基く第2の画像を取得する取得手段と、
前記第1の画像における特徴量に基いて、複数の前記第1の画像の間の動きベクトルである第1の動きベクトルを算出する第1の動き推定手段と、
前記第2の画像における特徴量に基いて、複数の前記第2の画像の間の動きベクトルである第2の動きベクトルを算出する第2の動き推定手段と、
前記第1の動きベクトルと前記第2の動きベクトルの相関度を算出する相関度算出手段と、
前記相関度に基き、前記第1の画像を補正する補正手段と、を備える医療システム。
(2)
前記医療システムは、顕微鏡手術システム、または、内視鏡手術システムである、(1)に記載の医療システム。
(3)
電磁波が照射された撮像対象からの反射波を撮像する撮像手段から、第1の波長帯域に基く第1の画像を取得し、前記第1の波長帯域とは異なる第2の波長帯域に基く第2の画像を取得する取得手段と、
前記第1の画像における特徴量に基いて、複数の前記第1の画像の間の動きベクトルである第1の動きベクトルを算出する第1の動き推定手段と、
前記第2の画像における特徴量に基いて、複数の前記第2の画像の間の動きベクトルである第2の動きベクトルを算出する第2の動き推定手段と、
前記第1の動きベクトルと前記第2の動きベクトルの相関度を算出する相関度算出手段と、
前記相関度に基き、前記第1の画像を補正する補正手段と、を備える情報処理装置。
(4)
前記補正手段は、
前記相関度が所定の閾値以上の場合、前記第2の動きベクトルに基いて前記第1の画像を補正し、
前記相関度が所定の閾値未満の場合、前記第1の動きベクトルに基いて前記第1の画像を補正する、(3)に記載の情報処理装置。
(5)
前記補正手段は、
前記相関度に応じて前記第1の動きベクトルと前記第2の動きベクトルを重み付け加算して第3の動きベクトルを算出し、前記第3の動きベクトルに基いて前記第1の画像を補正する、(3)に記載の情報処理装置。
(6)
前記補正手段は、
前記第1の動きベクトルに基いて前記第1の画像の動き補償を行い、
前記第2の動きベクトルに基いて前記第2の画像の動き補償を行い、
前記相関度に応じて、動き補償された前記第1の画像と動き補償された前記第2の画像を重み付け加算して第3の画像を生成し、前記第3の画像に基いて前記第1の画像を補正する、(3)に記載の情報処理装置。
(7)
前記相関度算出手段は、
前記相関度として、前記第1の動きベクトルと前記第2の動きベクトルの相関係数を算出する、(3)から(6)のいずれかに記載の情報処理装置。
(8)
前記相関度算出手段は、
前記相関度として、前記第1の動きベクトルと前記第2の動きベクトルの差分の絶対値の和を算出する、(3)から(6)のいずれかに記載の情報処理装置。
(9)
前記相関度算出手段は、
前記相関度として、前記第1の動きベクトルと前記第2の動きベクトルの差分の二乗の和を算出する、(3)から(6)のいずれかに記載の情報処理装置。
(10)
前記補正手段は、前記相関度に基き、前記第1の画像を補正する処理として、前記第1の画像のノイズを低減させるノイズリダクション処理を行う、(3)から(9)のいずれかに記載の情報処理装置。
(11)
前記補正手段は、前記相関度に基き、前記第1の画像を補正する処理として、前記第1の画像を強調する画像強調処理を行う、(3)から(9)のいずれかに記載の情報処理装置。
(12)
前記第1の画像は近赤外光画像であり、前記第2の画像は白色光画像である、(3)から(11)のいずれかに記載の情報処理装置。
(13)
電磁波が照射された撮像対象からの反射波を撮像する撮像手段から、第1の波長帯域に基く第1の画像を取得し、前記第1の波長帯域とは異なる第2の波長帯域に基く第2の画像を取得する取得工程と、
前記第1の画像における特徴量に基いて、複数の前記第1の画像の間の動きベクトルである第1の動きベクトルを算出する第1の動き推定工程と、
前記第2の画像における特徴量に基いて、複数の前記第2の画像の間の動きベクトルである第2の動きベクトルを算出する第2の動き推定工程と、
前記第1の動きベクトルと前記第2の動きベクトルの相関度を算出する相関度算出工程と、
前記相関度に基き、前記第1の画像を補正する補正工程と、を含む情報処理方法。
以上、本開示の実施形態、変形例について説明したが、本開示の技術的範囲は、上述の実施形態、変形例そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態、変形例にわたる構成要素を適宜組み合わせてもよい。
例えば、第1実施形態では、補正部1315が行う特殊光画像を補正する処理として、主にNR処理について説明したが、これに限定されず、画像強調処理(例えばエッジ強調処理)等の他の処理であってもよい。
また、2つの動きベクトル(例えば、特殊光動きベクトルと白色光動きベクトル)の用い方を決定するための要素を相関度のみとしたが、これに限定されず、他の要素も併用してもよい。例えば、医療システム1の使用環境が明るいほど白色光動きベクトルを使う場面や度合を増やすようにしてもよい。また、IRイメージャやRGBイメージャの信号増幅率からわかる特殊光画像のノイズ量や白色光画像のノイズ量も加味してもよい。
また、補正部1315がNR処理を行う場合、時間方向のNR処理に加えて、空間方向のNR処理を併用してもよい。
また、用いる画像は、2つの画像(特殊光画像と白色光画像等)に限定されず、3つ以上の画像であってもよい。
なお、本明細書に記載された各実施形態、変形例における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
1 医療システム
2 撮像対象
11 光源
12 撮像装置
13 情報処理装置
14 表示装置
131 処理部
132 記憶部
1311 取得部
1312 第1の動き推定部
1313 第2の動き推定部
1314 相関度算出部
1315 補正部
1316 表示制御部
2 撮像対象
11 光源
12 撮像装置
13 情報処理装置
14 表示装置
131 処理部
132 記憶部
1311 取得部
1312 第1の動き推定部
1313 第2の動き推定部
1314 相関度算出部
1315 補正部
1316 表示制御部
Claims (13)
- 撮像対象に電磁波を照射する照射手段と、
前記電磁波が照射された前記撮像対象からの反射波を撮像する撮像手段と、
前記撮像手段から、第1の波長帯域に基く第1の画像を取得し、前記第1の波長帯域とは異なる第2の波長帯域に基く第2の画像を取得する取得手段と、
前記第1の画像における特徴量に基いて、複数の前記第1の画像の間の動きベクトルである第1の動きベクトルを算出する第1の動き推定手段と、
前記第2の画像における特徴量に基いて、複数の前記第2の画像の間の動きベクトルである第2の動きベクトルを算出する第2の動き推定手段と、
前記第1の動きベクトルと前記第2の動きベクトルの相関度を算出する相関度算出手段と、
前記相関度に基き、前記第1の画像を補正する補正手段と、を備える医療システム。 - 前記医療システムは、顕微鏡手術システム、または、内視鏡手術システムである、請求項1に記載の医療システム。
- 電磁波が照射された撮像対象からの反射波を撮像する撮像手段から、第1の波長帯域に基く第1の画像を取得し、前記第1の波長帯域とは異なる第2の波長帯域に基く第2の画像を取得する取得手段と、
前記第1の画像における特徴量に基いて、複数の前記第1の画像の間の動きベクトルである第1の動きベクトルを算出する第1の動き推定手段と、
前記第2の画像における特徴量に基いて、複数の前記第2の画像の間の動きベクトルである第2の動きベクトルを算出する第2の動き推定手段と、
前記第1の動きベクトルと前記第2の動きベクトルの相関度を算出する相関度算出手段と、
前記相関度に基き、前記第1の画像を補正する補正手段と、を備える情報処理装置。 - 前記補正手段は、
前記相関度が所定の閾値以上の場合、前記第2の動きベクトルに基いて前記第1の画像を補正し、
前記相関度が所定の閾値未満の場合、前記第1の動きベクトルに基いて前記第1の画像を補正する、請求項3に記載の情報処理装置。 - 前記補正手段は、
前記相関度に応じて前記第1の動きベクトルと前記第2の動きベクトルを重み付け加算して第3の動きベクトルを算出し、前記第3の動きベクトルに基いて前記第1の画像を補正する、請求項3に記載の情報処理装置。 - 前記補正手段は、
前記第1の動きベクトルに基いて前記第1の画像の動き補償を行い、
前記第2の動きベクトルに基いて前記第2の画像の動き補償を行い、
前記相関度に応じて、動き補償された前記第1の画像と動き補償された前記第2の画像を重み付け加算して第3の画像を生成し、前記第3の画像に基いて前記第1の画像を補正する、請求項3に記載の情報処理装置。 - 前記相関度算出手段は、
前記相関度として、前記第1の動きベクトルと前記第2の動きベクトルの相関係数を算出する、請求項3に記載の情報処理装置。 - 前記相関度算出手段は、
前記相関度として、前記第1の動きベクトルと前記第2の動きベクトルの差分の絶対値の和を算出する、請求項3に記載の情報処理装置。 - 前記相関度算出手段は、
前記相関度として、前記第1の動きベクトルと前記第2の動きベクトルの差分の二乗の和を算出する、請求項3に記載の情報処理装置。 - 前記補正手段は、前記相関度に基き、前記第1の画像を補正する処理として、前記第1の画像のノイズを低減させるノイズリダクション処理を行う、請求項3に記載の情報処理装置。
- 前記補正手段は、前記相関度に基き、前記第1の画像を補正する処理として、前記第1の画像を強調する画像強調処理を行う、請求項3に記載の情報処理装置。
- 前記第1の画像は近赤外光画像であり、前記第2の画像は白色光画像である、請求項3に記載の情報処理装置。
- 電磁波が照射された撮像対象からの反射波を撮像する撮像手段から、第1の波長帯域に基く第1の画像を取得し、前記第1の波長帯域とは異なる第2の波長帯域に基く第2の画像を取得する取得工程と、
前記第1の画像における特徴量に基いて、複数の前記第1の画像の間の動きベクトルである第1の動きベクトルを算出する第1の動き推定工程と、
前記第2の画像における特徴量に基いて、複数の前記第2の画像の間の動きベクトルである第2の動きベクトルを算出する第2の動き推定工程と、
前記第1の動きベクトルと前記第2の動きベクトルの相関度を算出する相関度算出工程と、
前記相関度に基き、前記第1の画像を補正する補正工程と、を含む情報処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018167331 | 2018-09-06 | ||
JP2018167331 | 2018-09-06 | ||
PCT/JP2019/034310 WO2020050187A1 (ja) | 2018-09-06 | 2019-08-30 | 医療システム、情報処理装置及び情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2020050187A1 true JPWO2020050187A1 (ja) | 2021-08-26 |
Family
ID=69722289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020541195A Abandoned JPWO2020050187A1 (ja) | 2018-09-06 | 2019-08-30 | 医療システム、情報処理装置及び情報処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210304419A1 (ja) |
EP (1) | EP3848895A4 (ja) |
JP (1) | JPWO2020050187A1 (ja) |
CN (1) | CN112602115A (ja) |
WO (1) | WO2020050187A1 (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3916430A (en) | 1973-03-14 | 1975-10-28 | Rca Corp | System for eliminating substrate bias effect in field effect transistor circuits |
US20110169960A1 (en) * | 2006-11-13 | 2011-07-14 | Redshift Systems Corporation | Video enhancement system |
JP5242479B2 (ja) * | 2009-03-26 | 2013-07-24 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法 |
JP5603676B2 (ja) * | 2010-06-29 | 2014-10-08 | オリンパス株式会社 | 画像処理装置及びプログラム |
JP6242230B2 (ja) * | 2014-02-12 | 2017-12-06 | オリンパス株式会社 | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム |
JP2015171450A (ja) * | 2014-03-12 | 2015-10-01 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および内視鏡装置 |
DE112014007051T5 (de) * | 2014-11-19 | 2017-06-22 | Olympus Corporation | Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Bildverarbeitungsprogramm und Endoskopvorrichtung |
JP6521676B2 (ja) * | 2015-03-09 | 2019-05-29 | キヤノン株式会社 | 動き情報取得装置および動き情報取得方法 |
JP6654038B2 (ja) * | 2015-12-22 | 2020-02-26 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
-
2019
- 2019-08-30 WO PCT/JP2019/034310 patent/WO2020050187A1/ja unknown
- 2019-08-30 CN CN201980056171.7A patent/CN112602115A/zh not_active Withdrawn
- 2019-08-30 EP EP19857194.5A patent/EP3848895A4/en not_active Withdrawn
- 2019-08-30 JP JP2020541195A patent/JPWO2020050187A1/ja not_active Abandoned
- 2019-08-30 US US17/265,214 patent/US20210304419A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
CN112602115A (zh) | 2021-04-02 |
EP3848895A4 (en) | 2021-10-27 |
EP3848895A1 (en) | 2021-07-14 |
US20210304419A1 (en) | 2021-09-30 |
WO2020050187A1 (ja) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018123613A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
US11463629B2 (en) | Medical system, medical apparatus, and control method | |
CN112584743A (zh) | 医疗系统、信息处理装置和信息处理方法 | |
US11540700B2 (en) | Medical supporting arm and medical system | |
US20200084379A1 (en) | Control apparatus, control method, and program | |
US11109927B2 (en) | Joint driving actuator and medical system | |
US20220008156A1 (en) | Surgical observation apparatus, surgical observation method, surgical light source device, and surgical light irradiation method | |
JP2020074926A (ja) | 医療用観察システム、信号処理装置及び医療用観察方法 | |
WO2021049438A1 (ja) | 医療用支持アーム、及び医療用システム | |
US11553838B2 (en) | Endoscope and arm system | |
US10778889B2 (en) | Image pickup apparatus, video signal processing apparatus, and video signal processing method | |
WO2020203164A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
US20190394395A1 (en) | Image pickup apparatus, video signal processing apparatus, and video signal processing method | |
US20190154953A1 (en) | Control apparatus, control system, and control method | |
WO2021256168A1 (ja) | 医用画像処理システム、手術画像制御装置、及び、手術画像制御方法 | |
WO2020203225A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
US20220022728A1 (en) | Medical system, information processing device, and information processing method | |
JPWO2020045014A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
WO2020050187A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
WO2022004250A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
US11676242B2 (en) | Image processing apparatus and image processing method | |
WO2021044900A1 (ja) | 施術システム、画像処理装置、画像処理方法、及びプログラム | |
WO2020084917A1 (ja) | 医療システム及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220714 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20221028 |