JP7444065B2 - 医療用観察システム、医療用観察装置及び医療用観察方法 - Google Patents
医療用観察システム、医療用観察装置及び医療用観察方法 Download PDFInfo
- Publication number
- JP7444065B2 JP7444065B2 JP2020545965A JP2020545965A JP7444065B2 JP 7444065 B2 JP7444065 B2 JP 7444065B2 JP 2020545965 A JP2020545965 A JP 2020545965A JP 2020545965 A JP2020545965 A JP 2020545965A JP 7444065 B2 JP7444065 B2 JP 7444065B2
- Authority
- JP
- Japan
- Prior art keywords
- surgical field
- field image
- enlarged
- region
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000003384 imaging method Methods 0.000 claims description 118
- 238000012937 correction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 80
- 238000010586 diagram Methods 0.000 description 47
- 238000001356 surgical procedure Methods 0.000 description 35
- 230000003287 optical effect Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 12
- 238000011161 development Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000013500 data storage Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000002674 endoscopic surgery Methods 0.000 description 8
- 238000010336 energy treatment Methods 0.000 description 7
- 208000005646 Pneumoperitoneum Diseases 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000002406 microsurgery Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 239000006059 cover glass Substances 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000110058 Candidatus Phytoplasma pini Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/00048—Constructional features of the display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0012—Surgical microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2423—Optical details of the distal end
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
- G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
- A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
- A61B2090/3616—Magnifying glass
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0437—Trolley or cart-type apparatus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
- A61B90/25—Supports therefor
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Endoscopes (AREA)
Description
[第1の実施の形態に係る医療用観察システムの構成]
図1は、本開示に係る医療用観察システムが適用され得る内視鏡手術システム5000の概略的な構成の一例を示す図である。図1では、術者(医師)5061が、内視鏡手術システム5000を用いて、患者ベッド5069上の患者5071に手術を行っている様子が図示されている。スコピスト5062は、内視鏡5001を把持して、患者5071の体腔内に挿入している。助手5063は、術具5017を把持して、患者5071の体腔内に挿入している。
内視鏡5001は、先端から所定の長さの領域が患者5071の体腔内に挿入される鏡筒5003(スコープともいう)と、鏡筒5003の基端に接続されるカメラヘッド5005と、から構成される。図1の例では、硬性の鏡筒5003を有するいわゆる硬性鏡として構成される内視鏡5001を図示しているが、内視鏡5001は、軟性の鏡筒5003を有するいわゆる軟性鏡として構成されてもよい。
図2は、内視鏡手術に適用される医療用観察システム10aの機能構成を示す機能ブロック図である。医療用観察システム10aは、例えば、前記した内視鏡手術システム5000に適用されて、手術中に患者5071の体腔内に挿入された内視鏡5001によって、術野画像をモニタするシステムである。特に、医療用観察システム10aは、術野の3次元位置に基づいて、内視鏡5001の位置・姿勢によらずに、常に設定した注目領域を拡大した拡大術野画像を表示させるシステムである。
次に、地図生成部15が、術野の3次元地図を生成する方法について説明する。図3は、地図生成部15が術野の3次元地図を生成する方法を説明する図である。
注目領域は、注目領域設定部20の作用によって設定する。具体的には、注目領域設定部20は、注目領域を示す注目枠を術野画像に重畳して表示させて、当該注目枠の大きさ・形状・位置を指定することによって行う。
その後、術野画像K(x,y)の観察時間が経過すると、時刻とともに内視鏡5001の位置や姿勢が変化する場合がある。そして、注目領域推定部22は、術野画像K(x,y)の中から注目領域の存在位置を推定する。ズーム処理部26は、推定した注目領域を所定の倍率で拡大した拡大術野画像L(x,y)を生成する。表示制御部40は、図4Cに示すように、拡大術野画像L(x,y)を表示装置50に出力して表示させる。このような処理を継続することによって、医療用観察システム10aは、表示装置50に拡大術野画像L(x,y)を表示し続ける。
図7は、医療用観察システム10aが表示させる画像の一例を示す図である。図7に示すように、表示制御部40は、スコピスト5062がモニタする術野画像K(x,y)を表示装置50a(第2の表示領域52b)に出力して表示させる。また、表示制御部40は、術者5061がモニタする拡大術野画像L(x,y)を、表示装置50aとは異なる表示装置50b(第1の表示領域52a)に出力して表示させる。このような表示形態とすることにより、術者5061とスコピスト5062は、それぞれ見易い位置に表示装置50a、50bを配置することができる。したがって、術者5061は、拡大術野画像L(x,y)を観察しながら手術を進行させやすくすることができる。また、スコピスト5062は、術野画像K(x,y)を観察しながら内視鏡5001の位置の調整等を行い易くなる。
次に、第1の実施の形態の医療用観察システム10aが行う処理の流れを説明する。図7は、医療用観察システム10aが行う処理の流れの一例を示すフローチャートである。
以上説明したように、第1の実施の形態の医療用観察システム10aによると、3次元情報生成部14は、撮像装置42aが撮像した術野画像K(x,y)から、術野の3次元地図D(X,Y,Z)(3次元情報)を生成する。そして、注目領域設定部20(設定部)は、所定のタイミングで撮像された術野画像K(x,y)の中に、少なくとも一つの注目領域を設定する。注目領域推定部22(推定部)は、3次元地図D(X,Y,Z)と注目領域設定部20が設定した注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像K(x,y)の中から、注目領域の存在位置を推定する。そして、ズーム処理部26(拡大画像生成部)は、推定された注目領域を所定の倍率で拡大した拡大術野画像L(x,y)を生成して、表示制御部40は、少なくとも拡大術野画像L(x,y)を出力する。したがって、撮像装置42aが実装された内視鏡5001が位置や姿勢を変化させた場合であっても、離れた位置から患部を拡大して観察し続けることができる。
医療用観察システム10aの構成は、第1の実施の形態で説明した構成に限定されるものではなく、様々な変形例を実現することができる。以下、医療用観察システムの別の実施の形態について、順を追って説明する。
このように、第2の実施の形態によると、表示制御部40は、1つの表示装置50に、術野画像K(x,y)と拡大術野画像L(x,y)とを、隣接させて表示させる。したがって、術者5061が見たい拡大術野画像L(x,y)と、スコピスト5062が見たい術野画像K(x,y)と、をともに表示することができる。
図10は、内視鏡5001の移動に伴って、ズーム枠が術野画像K(x,y)の端に達した場合に行われる処理の一例を示す図である。ズーム枠とは、拡大術野画像L(x,y)の表示範囲を示す枠である。
このように、第3の実施の形態によると、ズーム処理部26(拡大画像生成部)は、ズーム枠112aが、術野画像K(x,y)の辺縁に達した場合、又は術野画像K(x,y)のけられ領域に重複した場合には、ズーム枠112aのうち、辺縁を超える領域及びけられ領域に重複する領域には、所定の画素値を格納した拡大術野画像L(x,y)を生成する。したがって、スコピスト5062は、ズーム枠112aが術野画像K(x,y)の辺縁に達したことを即座に認識することができる。そして、スコピスト5062は、けられが発生しないように、内視鏡5001の位置を調整することができる。
第1の実施の形態において、医療用観察システム10aは、撮像装置42aが1つの撮像素子44aを有するものとして説明した。しかしながら、撮像装置の構成は、これに限定されるものではない。
図12は、撮像装置42cが2つの撮像素子44c、44dで構成された医療用観察システム10cの概略的な構成の一例を示す図である。なお、2つの撮像素子44c、44dは、予め決められた相対関係を保った状態で配置されて、患部の異なる場所を、一部が重複するように撮像する。より具体的には、撮像素子44c、44dは、立体視に対応する右目用及び左目用の画像信号をそれぞれ取得する。なお、図12は、図2を一部省略して描いており、特に断りのない限り、省略された箇所は図2と同じ構成を有している。
図13は、撮像装置42cが2つの撮像素子で構成されるとともに、カメラコントロールユニット12cがトラッキング処理部34を備える医療用観察システム10dの概略的な構成の一例を示す図である。なお、図13は、図2を一部省略して描いており、特に断りのない限り、省略された箇所は図2と同じ構成を有している。
図14は、撮像装置42dが撮像素子44aとデプスセンサ48で構成された医療用観察システム10eの概略的な構成の一例を示す図である。なお、図14は、図2を一部省略して描いており、特に断りのない限り、省略された箇所は図2と同じ構成を有している。
図15は、撮像装置42dが撮像素子44aとデプスセンサ48で構成されるとともに、カメラコントロールユニット12dがトラッキング処理部34を備える医療用観察システム10fの概略的な構成の一例を示す図である。なお、図15は、図2を一部省略して描いており、特に断りのない限り、省略された箇所は図2と同じ構成を有している。
図16は、術野画像K(x,y)の中に複数の注目枠110a、110bを設定した例を示す図である。
図17は、術野画像K(x,y)の中から、所定の距離範囲の領域を強調表示させた例を示す図である。
図18は、術野画像K(x,y)の中に設定する注目枠110c~110gの表示形態の一例を示す図である。
図19は、ズーム枠112の設定方法の一例を示す図である。
図20は、医療用観察システム10aを運用している際のズーム枠112の表示方法の一例を示す図である。
第1の実施の形態で説明した医療用観察システム10aにおいて、表示装置50に表示する術野画像K(x,y)及び拡大術野画像L(x,y)をより見やすくするために、これらの画像に対して、手振れ補正処理や露出量の調整を行ってもよい。手振れ補正処理は、例えば図2のズーム処理部26が行い、露光量の調整は、図2の現像処理部18が行う。
図21は、本開示に係る技術が適用され得る顕微鏡手術システム5300の概略的な構成の一例を示す図である。図21を参照すると、顕微鏡手術システム5300は、顕微鏡装置5301と、制御装置5317と、表示装置50と、から構成される。なお、以下の顕微鏡手術システム5300についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム5300を使用する任意の医療スタッフのことを意味する。
(1)
術野を撮像して術野画像を得る撮像装置と、
前記撮像装置が撮像した術野画像から、術野の3次元情報を生成する3次元情報生成部と、
前記撮像装置が、所定のタイミングで撮像した少なくとも一枚の前記術野画像に基づいて、少なくとも一つの注目領域を設定する設定部と、
前記3次元情報と前記設定部が設定した注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定する推定部と、
推定された注目領域を所定の倍率で拡大した拡大術野画像を生成する拡大画像生成部と、
少なくとも前記拡大術野画像を出力する表示制御部と、
を備える医療用観察システム。
(2)
前記表示制御部は、前記術野画像と、前記拡大術野画像と、を表示させる、
前記(1)に記載の医療用観察システム。
(3)
前記表示制御部は、1つの表示装置に、前記術野画像と前記拡大術野画像とを、隣接させて表示させる、
前記(2)に記載の医療用観察システム。
(4)
前記表示制御部は、1つの表示装置に、前記拡大術野画像の一部に前記術野画像を重畳させて表示させる、
前記(2)に記載の医療用観察システム。
(5)
前記表示制御部は、2つの表示装置に、それぞれ、前記術野画像と前記拡大術野画像とを表示させる、
前記(2)に記載の医療用観察システム。
(6)
前記設定部は、前記表示制御部が表示させた術野画像の特定位置を、所定の位置に合致させた状態で、注目領域の設定を指示する設定信号が発生したことを条件として、前記特定位置を注目領域に指定する、
前記(1)乃至(5)のいずれかに記載の医療用観察システム。
(7)
前記設定部は、前記表示制御部が表示させた術野画像の、入力デバイスによって指示された位置に注目領域を設定する、
前記(1)乃至(5)のいずれかに記載の医療用観察システム。
(8)
前記拡大画像生成部は、前記注目領域が、術野画像の辺縁に達した場合、又は術野画像のけられ領域に重複した場合には、
前記注目領域のうち、前記辺縁を超える領域及び前記けられ領域に重複する領域には、所定の画素値を格納した拡大術野画像を生成する、
前記(1)乃至(7)のいずれかに記載の医療用観察システム。
(9)
前記拡大画像生成部は、前記注目領域が、術野画像の辺縁に達した場合には、
拡大術野画像の辺縁と術野画像の辺縁とが一致する拡大術野画像を生成する、
前記(1)乃至(7)のいずれかに記載の医療用観察システム。
(10)
前記拡大画像生成部は、前記注目領域が、術野画像の辺縁に達した場合、又は術野画像のけられ領域に重複した場合には、
拡大術野画像の生成を中止する、
前記(1)乃至(7)のいずれかに記載の医療用観察システム。
(11)
前記撮像装置は、1つの撮像素子を備えて、
前記3次元情報生成部は、前記撮像装置が異なる時刻に撮像した少なくとも2枚の術野画像に基づいて、術野の3次元情報を生成する、
前記(1)乃至(10)のいずれかに記載の医療用観察システム。
(12)
前記撮像装置は、一部が重複する異なる範囲を撮像する2つの撮像素子を備えて、
前記3次元情報生成部は、前記撮像素子が同じ時刻に撮像した2枚の術野画像に基づいて、術野の3次元情報を生成する、
前記(1)乃至(10)のいずれかに記載の医療用観察システム。
(13)
前記撮像装置は、1つの撮像素子と対象物までの距離を計測する測距装置とを備えて、
前記3次元情報生成部は、前記撮像素子が撮像した画像と前記測距装置が計測した距離とに基づいて、術野の3次元情報を生成する、
前記(1)乃至(10)のいずれかに記載の医療用観察システム。
(14)
前記設定部は、前記注目領域が存在する距離範囲を指定する機能を、更に備えて、指定された距離範囲の中で注目領域を設定させる、
前記(1)乃至(13)のいずれかに記載の医療用観察システム。
(15)
前記拡大画像生成部は、前記注目領域までの距離に応じた倍率で、前記拡大術野画像を生成する、
前記(1)乃至(14)のいずれかに記載の医療用観察システム。
(16)
前記拡大画像生成部は、前記術野画像及び前記拡大術野画像に対して、手振れ補正を行う、
前記(1)乃至(15)のいずれかに記載の医療用観察システム。
(17)
前記撮像装置は、内視鏡に実装される、
前記(1)乃至(16)のいずれかに記載の医療用観察システム。
(18)
前記撮像装置は、顕微鏡に実装される、
前記(1)乃至(16)のいずれかに記載の医療用観察システム。
(19)
術野を撮像した術野画像から、術野の3次元情報を生成する3次元情報生成部と、
所定のタイミングで撮像した少なくとも一枚の前記術野画像に基づいて、少なくとも一つの注目領域を設定する設定部と、
前記3次元情報と前記設定部が設定した注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定する推定部と、
推定された注目領域を所定の倍率で拡大した拡大術野画像を生成する拡大画像生成部と、
少なくとも前記拡大術野画像を出力する表示制御部と、
を備える医療用観察装置。
(20)
術野を撮像した術野画像から、術野の3次元情報を生成するステップと、
所定のタイミングで撮像した少なくとも一枚の前記術野画像に基づいて、少なくとも一つの注目領域を設定するステップと、
前記3次元情報と前記注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定するステップと、
推定された注目領域を所定の倍率で拡大した拡大術野画像を生成するステップと、
少なくとも前記拡大術野画像を出力するステップと、
を備える医療用観察方法。
12a、12b、12c カメラコントロールユニット(医療用観察装置)
14 3次元情報生成部
15 地図生成部
16 自己位置推定部
18 現像処理部
20 注目領域設定部(設定部)
22 注目領域推定部(推定部)
24 3次元地図データ格納部
26 ズーム処理部(拡大画像生成部)
40 表示制御部
42a、42b、42c、42d 撮像装置
44a、44b、44c、44d 撮像素子
46 像面位相差センサ
48 デプスセンサ(測距装置)
50、50a、50b 表示装置
52a 第1の表示領域
52b 第2の表示領域
110 注目枠
112、112a、112b ズーム枠
5001 内視鏡
5061 術者
5062 スコピスト
5063 助手
5300 顕微鏡手術システム
5303 顕微鏡部
5317 制御装置
D(X,Y,Z) 3次元地図(3次元情報)
K(x,y)、K(x,y,t) 術野画像
L(x,y) 拡大術野画像
Claims (17)
- 術野を撮像して術野画像を得る撮像装置と、
前記撮像装置が所定の時間間隔で隔てられた異なる時刻に撮像した少なくとも2枚の術野画像内の複数の特徴点に基づいて、前記所定の時間間隔において姿勢及び位置が変化する前記撮像装置の位置及び姿勢を推定し、前記術野の3次元情報を生成する3次元情報生成部と、
前記撮像装置が、所定のタイミングで撮像した少なくとも一枚の前記術野画像に基づいて、少なくとも一つの注目領域を設定する設定部と、
前記3次元情報と前記設定部が設定した注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定する推定部と、
推定された注目領域の存在位置に基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中の前記注目領域を所定の倍率で拡大した拡大術野画像を生成する拡大画像生成部と、
少なくとも前記拡大術野画像を出力する表示制御部と、
を備える医療用観察システム。 - 前記表示制御部は、前記術野画像と、前記拡大術野画像と、を表示させる、
請求項1に記載の医療用観察システム。 - 前記表示制御部は、1つの表示装置に、前記術野画像と前記拡大術野画像とを、隣接させて表示させる、
請求項2に記載の医療用観察システム。 - 前記表示制御部は、1つの表示装置に、前記拡大術野画像の一部に前記術野画像を重畳させて表示させる、
請求項2に記載の医療用観察システム。 - 前記表示制御部は、2つの表示装置に、それぞれ、前記術野画像と前記拡大術野画像とを表示させる、
請求項2に記載の医療用観察システム。 - 前記設定部は、前記表示制御部が表示させた術野画像の特定位置を、所定の位置に合致させた状態で、注目領域の設定を指示する設定信号が発生したことを条件として、前記特定位置を注目領域に指定する、
請求項1~5のいずれか1項に記載の医療用観察システム。 - 前記設定部は、前記表示制御部が表示させた術野画像の、入力デバイスによって指示された位置に注目領域を設定する、
請求項1~5のいずれか1項に記載の医療用観察システム。 - 前記拡大画像生成部は、前記注目領域が、術野画像の辺縁に達した場合、又は術野画像のけられ領域に重複した場合には、
前記注目領域のうち、前記辺縁を超える領域及び前記けられ領域に重複する領域には、所定の画素値を格納した拡大術野画像を生成する、
請求項1~7のいずれか1項に記載の医療用観察システム。 - 前記拡大画像生成部は、前記注目領域が、術野画像の辺縁に達した場合には、
拡大術野画像の辺縁と術野画像の辺縁とが一致する拡大術野画像を生成する、
請求項1~7のいずれか1項に記載の医療用観察システム。 - 前記拡大画像生成部は、前記注目領域が、術野画像の辺縁に達した場合、又は術野画像のけられ領域に重複した場合には、
拡大術野画像の生成を中止する、
請求項1~7のいずれか1項に記載の医療用観察システム。 - 前記設定部は、前記注目領域が存在する距離範囲を指定する機能を、更に備えて、指定された距離範囲の中で注目領域を設定させる、
請求項1~10のいずれか1項に記載の医療用観察システム。 - 前記拡大画像生成部は、前記注目領域までの距離に応じた倍率で、前記拡大術野画像を生成する、
請求項1~11のいずれか1項に記載の医療用観察システム。 - 前記拡大画像生成部は、前記術野画像及び前記拡大術野画像に対して、手振れ補正を行う、
請求項1~12のいずれか1項に記載の医療用観察システム。 - 前記撮像装置は、内視鏡に実装される、
請求項1~13のいずれか1項に記載の医療用観察システム。 - 前記撮像装置は、顕微鏡に実装される、
請求項1~13のいずれか1項に記載の医療用観察システム。 - 撮像装置が所定の時間間隔で隔てられた異なる時刻に術野を撮像した少なくとも2枚の術野画像内の複数の特徴点に基づいて、前記所定の時間間隔において姿勢及び位置が変化する前記撮像装置の位置及び姿勢を推定し、前記術野の3次元情報を生成する3次元情報生成部と、
所定のタイミングで撮像した少なくとも一枚の前記術野画像に基づいて、少なくとも一つの注目領域を設定する設定部と、
前記3次元情報と前記設定部が設定した注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定する推定部と、
推定された注目領域の存在位置に基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中の前記注目領域を所定の倍率で拡大した拡大術野画像を生成する拡大画像生成部と、
少なくとも前記拡大術野画像を出力する表示制御部と、
を備える医療用観察装置。 - 医療用観察装置が、
撮像装置が所定の時間間隔で隔てられた異なる時刻に術野を撮像した少なくとも2枚の術野画像内の複数の特徴点に基づいて、前記所定の時間間隔において姿勢及び位置が変化する前記撮像装置の位置及び姿勢を推定し、前記術野の3次元情報を生成するステップと、
所定のタイミングで撮像した少なくとも一枚の前記術野画像に基づいて、少なくとも一つの注目領域を設定するステップと、
前記3次元情報と前記注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定するステップと、
推定された注目領域の存在位置に基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中の前記注目領域を所定の倍率で拡大した拡大術野画像を生成するステップと、
少なくとも前記拡大術野画像を出力するステップと、
を備える医療用観察方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024025331A JP2024051017A (ja) | 2018-09-11 | 2024-02-22 | 医療用観察システム、医療用観察装置及び医療用観察方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018169877 | 2018-09-11 | ||
JP2018169877 | 2018-09-11 | ||
PCT/JP2019/034929 WO2020054566A1 (ja) | 2018-09-11 | 2019-09-05 | 医療用観察システム、医療用観察装置及び医療用観察方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024025331A Division JP2024051017A (ja) | 2018-09-11 | 2024-02-22 | 医療用観察システム、医療用観察装置及び医療用観察方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020054566A1 JPWO2020054566A1 (ja) | 2021-08-30 |
JP7444065B2 true JP7444065B2 (ja) | 2024-03-06 |
Family
ID=69778314
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020545965A Active JP7444065B2 (ja) | 2018-09-11 | 2019-09-05 | 医療用観察システム、医療用観察装置及び医療用観察方法 |
JP2024025331A Pending JP2024051017A (ja) | 2018-09-11 | 2024-02-22 | 医療用観察システム、医療用観察装置及び医療用観察方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024025331A Pending JP2024051017A (ja) | 2018-09-11 | 2024-02-22 | 医療用観察システム、医療用観察装置及び医療用観察方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11969144B2 (ja) |
EP (1) | EP3851024A4 (ja) |
JP (2) | JP7444065B2 (ja) |
CN (1) | CN112654280A (ja) |
WO (1) | WO2020054566A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020080209A1 (ja) * | 2018-10-18 | 2020-04-23 | ソニー株式会社 | 医療用観察システム、医療用観察装置及び医療用観察方法 |
US11070745B2 (en) * | 2019-10-28 | 2021-07-20 | Karl Storz Imaging, Inc. | Automatic image orientation based on use |
DE102020214824A1 (de) * | 2020-11-25 | 2022-05-25 | Carl Zeiss Meditec Ag | Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und Visualisierungssystem für eine chirurgische Anwendung |
US20220202274A1 (en) * | 2020-12-29 | 2022-06-30 | Canon U.S.A., Inc. | Medical system with medical device overlay display |
DE102021102274A1 (de) * | 2021-02-01 | 2022-08-04 | B. Braun New Ventures GmbH | Chirurgisches Assistenzsystem mit Operationsmikroskop und Kamera und Darstellungsverfahren |
CN114066781B (zh) * | 2022-01-18 | 2022-05-10 | 浙江鸿禾医疗科技有限责任公司 | 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010172673A (ja) | 2009-02-02 | 2010-08-12 | Fujifilm Corp | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法 |
JP2015228954A (ja) | 2014-06-04 | 2015-12-21 | ソニー株式会社 | 画像処理装置および画像処理方法 |
WO2017057574A1 (ja) | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
WO2017216922A1 (ja) | 2016-06-16 | 2017-12-21 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05337077A (ja) | 1992-06-12 | 1993-12-21 | Toshiba Corp | 電子内視鏡装置 |
IL120135A0 (en) | 1997-02-03 | 1997-06-10 | Dentop Systems Ltd | A video system for three dimensional imaging and photogrammetry |
JP4510952B2 (ja) * | 1999-05-21 | 2010-07-28 | オリンパス株式会社 | 実体顕微鏡 |
US7505062B2 (en) * | 2002-02-12 | 2009-03-17 | Given Imaging Ltd. | System and method for displaying an image stream |
EP3162318B1 (en) * | 2005-10-20 | 2019-10-16 | Intuitive Surgical Operations, Inc. | Auxiliary image display and manipulation on a computer display in a medical robotic system |
EP2144571A2 (en) | 2007-04-11 | 2010-01-20 | Forth Photonics Limited | A supporting structure and a workstation incorporating the supporting structure for improving, objectifying and documenting in vivo examinations of the uterus |
JP5337077B2 (ja) * | 2010-02-26 | 2013-11-06 | 三菱重工業株式会社 | 脱硝装置の制御装置、これを備えた脱硝装置、およびこれを備えたボイラプラント、ならびに脱硝装置の制御方法 |
JP6430880B2 (ja) * | 2015-03-31 | 2018-11-28 | 富士フイルム株式会社 | 内視鏡システム、及び、内視鏡システムの作動方法 |
US20170035268A1 (en) * | 2015-08-07 | 2017-02-09 | Ming Shi CO., LTD. | Stereo display system and method for endoscope using shape-from-shading algorithm |
JP6704255B2 (ja) * | 2016-01-19 | 2020-06-03 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察装置、医療用観察システム及び画揺れ補正方法 |
US11172184B2 (en) * | 2018-12-13 | 2021-11-09 | Covidien Lp | Systems and methods for imaging a patient |
-
2019
- 2019-09-05 US US17/263,557 patent/US11969144B2/en active Active
- 2019-09-05 CN CN201980057939.2A patent/CN112654280A/zh active Pending
- 2019-09-05 EP EP19860561.0A patent/EP3851024A4/en active Pending
- 2019-09-05 JP JP2020545965A patent/JP7444065B2/ja active Active
- 2019-09-05 WO PCT/JP2019/034929 patent/WO2020054566A1/ja unknown
-
2024
- 2024-02-22 JP JP2024025331A patent/JP2024051017A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010172673A (ja) | 2009-02-02 | 2010-08-12 | Fujifilm Corp | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法 |
JP2015228954A (ja) | 2014-06-04 | 2015-12-21 | ソニー株式会社 | 画像処理装置および画像処理方法 |
WO2017057574A1 (ja) | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
WO2017216922A1 (ja) | 2016-06-16 | 2017-12-21 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3851024A4 (en) | 2021-11-10 |
JPWO2020054566A1 (ja) | 2021-08-30 |
CN112654280A (zh) | 2021-04-13 |
US20210244260A1 (en) | 2021-08-12 |
WO2020054566A1 (ja) | 2020-03-19 |
EP3851024A1 (en) | 2021-07-21 |
US11969144B2 (en) | 2024-04-30 |
JP2024051017A (ja) | 2024-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7444065B2 (ja) | 医療用観察システム、医療用観察装置及び医療用観察方法 | |
CN108697304B (zh) | 医疗用信息处理装置、信息处理方法、医疗用信息处理系统 | |
KR101374709B1 (ko) | 컴퓨터 디스플레이 스크린의 경계구역에 표시된 수술기구 위치 및 수술기구 확인 표시장치 | |
JP7392654B2 (ja) | 医療用観察システム、医療用観察装置及び医療用観察方法 | |
CN111278344B (zh) | 手术臂系统和手术臂控制系统 | |
WO2020045015A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
JP7480477B2 (ja) | 医療用観察システム、制御装置及び制御方法 | |
US11540700B2 (en) | Medical supporting arm and medical system | |
JP7286948B2 (ja) | 医療用観察システム、信号処理装置及び医療用観察方法 | |
JPWO2018168261A1 (ja) | 制御装置、制御方法、及びプログラム | |
EP3603562B1 (en) | Medical observation apparatus and observation field correction method | |
US20220008156A1 (en) | Surgical observation apparatus, surgical observation method, surgical light source device, and surgical light irradiation method | |
CN113905652A (zh) | 医学观察系统、控制装置和控制方法 | |
WO2017145606A1 (ja) | 画像処理装置、画像処理方法及び内視鏡システム | |
WO2020203164A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
JP2023507063A (ja) | 手術中に画像取込装置を制御するための方法、装置、およびシステム | |
JP2023103499A (ja) | 医用画像処理システム、手術画像制御装置、及び、手術画像制御方法 | |
WO2020045014A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
WO2018043205A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
WO2022269992A1 (ja) | 医療用観察システム、情報処理装置及び情報処理方法 | |
WO2022219878A1 (ja) | 医療用観察システム、医療用画像処理方法及び情報処理装置 | |
WO2020050187A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
CN112655016A (zh) | 信息处理设备、信息处理方法和程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240205 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7444065 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |