JP7143092B2 - 医療用画像処理装置、医療用観察装置、および画像処理方法 - Google Patents
医療用画像処理装置、医療用観察装置、および画像処理方法 Download PDFInfo
- Publication number
- JP7143092B2 JP7143092B2 JP2018044716A JP2018044716A JP7143092B2 JP 7143092 B2 JP7143092 B2 JP 7143092B2 JP 2018044716 A JP2018044716 A JP 2018044716A JP 2018044716 A JP2018044716 A JP 2018044716A JP 7143092 B2 JP7143092 B2 JP 7143092B2
- Authority
- JP
- Japan
- Prior art keywords
- medical
- image
- captured
- imaging
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 179
- 238000003672 processing method Methods 0.000 title claims description 63
- 238000003384 imaging method Methods 0.000 claims description 261
- 238000002059 diagnostic imaging Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 4
- 230000006870 function Effects 0.000 description 43
- 238000004891 communication Methods 0.000 description 42
- 230000003287 optical effect Effects 0.000 description 42
- 238000000034 method Methods 0.000 description 33
- 238000003780 insertion Methods 0.000 description 17
- 230000037431 insertion Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 210000003128 head Anatomy 0.000 description 13
- 239000000203 mixture Substances 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000001276 controlling effect Effects 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 239000006059 cover glass Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- ZGXJTSGNIOSYLO-UHFFFAOYSA-N 88755TAZ87 Chemical compound NCC(=O)CCC(O)=O ZGXJTSGNIOSYLO-UHFFFAOYSA-N 0.000 description 2
- 229960002749 aminolevulinic acid Drugs 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000002406 microsurgery Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/18—Arrangement of plural eye-testing or -examining apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Description
1.本実施形態に係る医療用観察システム、および本実施形態に係る画像処理方法
[1]医療用観察システムの構成
[1-1]第1の例に係る医療用観察システム
[1-2]第2の例に係る医療用観察システム
[1-3]他の例に係る医療用観察システム
[1-4]医療用観察装置の機能構成
[2]本実施形態に係る画像処理方法
[2-1]本実施形態に係る画像処理方法に係る処理
[2-2]本実施形態に係る画像処理方法に係る処理の例
[3]本実施形態に係る画像処理方法が用いられることにより奏される効果の一例
2.本実施形態に係るプログラム
以下、本実施形態に係る医療用観察システムの一例を説明しつつ、本実施形態に係る画像処理方法について説明する。
[1-1]第1の例に係る医療用観察システム
図1は、本実施形態に係る医療用観察システム1000の構成の第1の例を示す説明図である。図1に示す医療用観察システム1000は、例えば、医療用観察装置100と、表示装置200とを有する。
表示装置200は、第1の例に係る医療用観察システム1000における表示手段であり、医療用観察装置100からみて外部の表示デバイスに該当する。表示装置200は、例えば、医療用観察装置100において撮像された医療用撮像画像や、UI(User Interface)に係る画像などの、様々な画像を表示画面に表示する。また、表示装置200は、任意の方式により3D表示が可能な構成を有していてもよい。表示装置200における表示は、例えば、医療用観察装置100、または、医療用制御装置(図示せず)によって制御される。
図1に示す医療用観察装置100は、電子撮像式の医療用観察装置である。例えば手術時に図1に示す医療用観察装置100が用いられる場合、術者(医療用観察装置100の使用者の一例)は、医療用観察装置100により撮像されて、表示装置200の表示画面に表示された医療用撮像画像を参照しながら術部(患部)を観察し、当該術部に対して、術式に応じた手技などの各種処置を行う。
ベース102は、医療用観察装置100の基台であり、アーム104の一端が接続されて、アーム104と撮像デバイス106とを支持する。
アーム104は、複数のリンクが関節部によって互いに連結されて構成される。
撮像デバイス106は、アーム104により支持され、例えば患者の術部などの観察対象を撮像する。撮像デバイス106における撮像は、例えば、後述する制御部として機能するプロセッサ、または、外部の医療用制御装置(図示せず)によって制御される。
本実施形態に係る医療用観察システム1000は、図1に示す第1の例に示す構成に限られない。次に、医療用観察システム1000の他の例として、内視鏡装置として機能する医療用観察装置100を有する医療用観察システム1000の構成の一例を説明する。
表示装置200は、第2の例に係る医療用観察システム1000における表示手段であり、医療用観察装置100からみて外部の表示デバイスに該当する。第2の例に係る医療用観察システム1000を構成する表示装置200は、第1の例に係る医療用観察システム1000を構成する表示装置200と同様である。
図7に示す医療用観察装置100は、例えば、挿入部材134と、光源ユニット136と、ライトガイド138と、カメラヘッド140と、ケーブル142と、制御ユニット144とを備える。医療用観察装置100は、例えば、医療用観察装置100が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
本実施形態に係る医療用観察システムは、図1に示す第1の例に示す構成、図7に示す第2の例に示す構成に限られない。例えば、本実施形態に係る医療用観察システムを構成する医療用観察装置は、光学式の医療用観察装置に対して複数の撮像デバイスが設けられる構成であってもよい。複数の撮像デバイスが設けられる光学式の医療用観察装置においても、後述する画像処理方法を適用することが可能である。以下では、本実施形態に係る医療用観察システムを構成する医療用観察装置が、図1、図7に示す医療用観察装置100である場合を例に挙げる。
次に、図1、図7に示す医療用観察装置100を、機能ブロックを用いて説明する。図8は、本実施形態に係る医療用観察装置100の構成の一例を示す機能ブロック図である。
(図7に示す医療用観察装置100の場合)で構成される。撮像部150における撮像は、例えば制御部154によって制御される。
次に、本実施形態に係る画像処理方法について、説明する。以下では、本実施形態に係る画像処理方法に係る処理を医療用観察装置100(より具体的には、例えば医療用観察装置100を構成する制御部154が有する画像処理部158)が行う場合を例に挙げる。なお、上述したように、本実施形態に係る医療用観察システムにおいて、本実施形態に係る画像処理方法に係る処理は、表示装置200や、医療用制御装置(図示せず)などにより行われてもよい。
より深い被写界深度とより高い解像度との両立を図る方法としては、上述した一の方法と他の方法とが考えられる。しかしながら、上述した一の方法では、機器の大型化を招いてしまう。また、上述した他の方法では、観察者が疲労を覚える可能性があり、また、上述した他の方法は撮像画像を処理する方法ではないので、撮像画像を保存活用する観点からみると望ましい方法ではない。
次に、本実施形態に係る画像処理方法に係る処理の例を示す。
まず、画像処理方法に係る処理の第1の例として、“複数の撮像デバイスが、右目用の医療用撮像画像を撮像する撮像デバイスと、左目用の医療用撮像画像を撮像する撮像デバイスとの2つの撮像デバイスである場合”における画像処理方法に係る処理の一例を、説明する。2つの撮像デバイスは、例えば、図3に示す例のように合焦範囲が異なり、図4に示す例のように合焦位置が異なり、あるいは、合焦位置と合焦範囲との双方が異なる。
次に、画像処理方法に係る処理の第2の例として、“複数の撮像デバイスが3つ以上の撮像デバイスである場合”における画像処理方法に係る処理の一例を、説明する。
・第1の撮像デバイスの合焦位置および合焦範囲と、第2の撮像デバイスの合焦位置および合焦範囲とが同一であり、かつ、第3の撮像デバイスの合焦位置と合焦範囲との一方または双方が、第1の撮像デバイスおよび第2の撮像デバイスと異なっている(例えば図5に示す組み合わせ)。第3の撮像デバイスが複数存在する場合、複数の第3の撮像デバイスのうちの一部または全部は、合焦位置および合焦範囲が同一であってもよい。
・第1の撮像デバイス、第2の撮像デバイス、および第3の撮像デバイスそれぞれは、合焦位置と合焦範囲との一方または双方が異なっている(例えば図6に示す組み合わせ)。第3の撮像デバイスが複数存在する場合、複数の第3の撮像デバイスのうちの一部または全部は、合焦位置および合焦範囲が同一であってもよい。
本実施形態に係る画像処理方法が用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る画像処理方法が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・右目用の医療用撮像画像と左目用の医療用撮像画像との双方を、高い解像力と深い被写界深度を両立した画像とすることができる。換言すると、高い解像力を保ったまま深度を拡大した医療用撮像画像とすることを、右目用の医療用撮像画像と左目用の医療用撮像画像との双方で実現することができる。
・深度合成処理が行われた後の右目用の医療用撮像画像および左目用の医療用撮像画像が表示される表示画面を見る観察者は、左右で同じ解像度の画像を見ることができる。よって、本実施形態に係る画像処理方法が用いられることによって、上記観察者の眼精疲労を低減する効果が期待される。
・撮像デバイスの光学系に別の光路を持つ構成とする必要がないので、当該構成とすることにより撮像デバイスの小型化を図ることができる。
コンピュータシステムを、本実施形態に係る医療用観察装置(または、本実施形態に係る医療用画像処理装置)として機能させるためのプログラム(例えば、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム)が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、右目用の医療用撮像画像および左目用の医療用撮像画像それぞれにおいてより深い被写界深度とより高い解像度との両立を図ることができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る画像処理方法に係る一連の処理が行われる。
(1)
合焦位置と合焦範囲との一方または双方が異なる撮像デバイスを含む複数の撮像デバイスそれぞれにより観察対象が撮像された、複数の医療用撮像画像を対応付ける対応付け処理部と、
複数の前記医療用撮像画像のうちの右目用の医療用撮像画像および左目用の医療用撮像画像それぞれを、対応付けられた他の前記医療用撮像画像を用いて深度合成する合成処理部と、
を備える、医療用画像処理装置。
(2)
前記合成処理部は、前記右目用の医療用撮像画像および前記左目用の医療用撮像画像それぞれを、より解像度が高い他の前記医療用撮像画像で補完して深度合成する、(1)に記載の医療用画像処理装置。
(3)
前記対応付け処理部は、複数の前記医療用撮像画像それぞれから特徴部分を抽出し、抽出された特徴部分をマッチングすることにより、複数の前記医療用撮像画像を対応付ける、(1)または(2)に記載の医療用画像処理装置。
(4)
前記対応付け処理部は、複数の前記撮像デバイスそれぞれの設定を示す設定情報に基づいて、複数の前記医療用撮像画像それぞれに含まれる同一の被写体を推定することにより、複数の前記医療用撮像画像を対応付ける、(1)または(2)に記載の医療用画像処理装置。
(5)
複数の前記撮像デバイスは、前記右目用の医療用撮像画像を撮像する撮像デバイスと、前記左目用の医療用撮像画像を撮像する撮像デバイスとの2つの撮像デバイスであり、
前記対応付け処理部は、前記右目用の医療用撮像画像と前記左目用の医療用撮像画像とを対応付け
前記合成処理部は、前記右目用の医療用撮像画像および前記左目用の医療用撮像画像それぞれを、対応付けられた他方の医療用撮像画像を用いて深度合成する、(1)~(4)のいずれか1つに記載の医療用画像処理装置。
(6)
複数の前記撮像デバイスは、前記右目用の医療用撮像画像を撮像する第1の撮像デバイス、前記左目用の医療用撮像画像を撮像する第2の撮像デバイス、および深度合成に用いるための医療用撮像画像を撮像する、1または2以上の第3の撮像デバイスである、(1)~(4)のいずれか1つに記載の医療用画像処理装置。
(7)
前記第1の撮像デバイスと前記第2の撮像デバイスとは、合焦位置および合焦範囲が同一であり、
深度合成に用いられる他の前記医療用撮像画像は、前記第3の撮像デバイスにより撮像された医療用撮像画像である、(6)に記載の医療用画像処理装置。
(8)
前記第1の撮像デバイス、前記第2の撮像デバイス、および前記第3の撮像デバイスそれぞれは、合焦位置と合焦範囲との一方または双方が異なっている、(6)に記載の医療用画像処理装置。
(9)
深度合成された前記右目用の医療用撮像画像、および深度合成された前記左目用の医療用撮像画像それぞれを、表示画面に表示させる表示制御部をさらに備える、請求項1に記載の医療用画像処理装置。
(10)
合焦位置と合焦範囲との一方または双方が異なる撮像デバイスを含み、観察対象をそれぞれ撮像する複数の撮像デバイスと、
複数の前記撮像デバイスそれぞれにより撮像された複数の医療用撮像画像を対応付ける対応付け処理部と、
複数の前記医療用撮像画像のうちの右目用の医療用撮像画像および左目用の医療用撮像画像それぞれを、対応付けられた他の前記医療用撮像画像を用いて深度合成する合成処理部と、
を備える、医療用観察装置。
(11)
複数のリンクが関節部によって互いに連結されて構成されるアームをさらに備え、
複数の前記撮像デバイスは、前記アームにより支持される、(10)に記載の医療用観察装置。
(12)
複数の前記撮像デバイスは、患者の体内に挿入され、前記体内を前記観察対象として撮像する、(10)に記載の医療用観察装置。
(13)
合焦位置と合焦範囲との一方または双方が異なる撮像デバイスを含む複数の撮像デバイスそれぞれにより観察対象が撮像された、複数の医療用撮像画像を対応付けるステップと、
複数の前記医療用撮像画像のうちの右目用の医療用撮像画像および左目用の医療用撮像画像それぞれを、対応付けられた他の前記医療用撮像画像を用いて深度合成するステップと、
を有する、医療用画像処理装置により実行される画像処理方法。
102 ベース
104 アーム
106 撮像デバイス
110a、110b、110c、110d、110e、110f 関節部
112a、112b、112c、112d、112e、112f リンク
120 撮像部材
122 筒状部材
124 ズームスイッチ
126 フォーカススイッチ
128 動作モード変更スイッチ
134 挿入部材
136 光源ユニット
138 ライトガイド
140 カメラヘッド
142 ケーブル
144 制御ユニット
150 撮像部
152 通信部
154 制御部
156 撮像制御部
158 画像処理部
160 表示制御部
162 対応付け処理部
164 合成処理部
166 第1深度合成処理部
168 第2深度合成処理部
170 3D合成処理部
200 表示装置
1000 医療用観察システム
Claims (11)
- 合焦位置と合焦範囲との一方または双方が異なる撮像デバイスを含む複数の撮像デバイスそれぞれにより観察対象が撮像された、複数の医療用撮像画像を対応付ける対応付け処理部と、
複数の前記医療用撮像画像のうちの右目用の医療用撮像画像および左目用の医療用撮像画像それぞれを、対応付けられた他の前記医療用撮像画像を用いて深度合成する合成処理部と、
を備え、
前記対応付け処理部は、複数の前記医療用撮像画像それぞれから特徴部分を抽出し、抽出された特徴部分をマッチングすることにより、複数の前記医療用撮像画像を対応付ける、医療用画像処理装置。 - 前記合成処理部は、前記右目用の医療用撮像画像および前記左目用の医療用撮像画像それぞれを、より解像度が高い他の前記医療用撮像画像で補完して深度合成する、請求項1に記載の医療用画像処理装置。
- 複数の前記撮像デバイスは、前記右目用の医療用撮像画像を撮像する撮像デバイスと、前記左目用の医療用撮像画像を撮像する撮像デバイスとの2つの撮像デバイスであり、
前記対応付け処理部は、前記右目用の医療用撮像画像と前記左目用の医療用撮像画像とを対応付け
前記合成処理部は、前記右目用の医療用撮像画像および前記左目用の医療用撮像画像それぞれを、対応付けられた他方の医療用撮像画像を用いて深度合成する、請求項1または2に記載の医療用画像処理装置。 - 複数の前記撮像デバイスは、前記右目用の医療用撮像画像を撮像する第1の撮像デバイス、前記左目用の医療用撮像画像を撮像する第2の撮像デバイス、および深度合成に用いるための医療用撮像画像を撮像する、1または2以上の第3の撮像デバイスである、請求項1または2に記載の医療用画像処理装置。
- 前記第1の撮像デバイスと前記第2の撮像デバイスとは、合焦位置および合焦範囲が同一であり、
深度合成に用いられる他の前記医療用撮像画像は、前記第3の撮像デバイスにより撮像された医療用撮像画像である、請求項4に記載の医療用画像処理装置。 - 前記第1の撮像デバイス、前記第2の撮像デバイス、および前記第3の撮像デバイスそれぞれは、合焦位置と合焦範囲との一方または双方が異なっている、請求項4に記載の医療用画像処理装置。
- 深度合成された前記右目用の医療用撮像画像、および深度合成された前記左目用の医療用撮像画像それぞれを、表示画面に表示させる表示制御部をさらに備える、請求項1に記載の医療用画像処理装置。
- 合焦位置と合焦範囲との一方または双方が異なる撮像デバイスを含み、観察対象をそれぞれ撮像する複数の撮像デバイスと、
複数の前記撮像デバイスそれぞれにより撮像された複数の医療用撮像画像を対応付ける対応付け処理部と、
複数の前記医療用撮像画像のうちの右目用の医療用撮像画像および左目用の医療用撮像画像それぞれを、対応付けられた他の前記医療用撮像画像を用いて深度合成する合成処理部と、
を備え、
前記対応付け処理部は、複数の前記医療用撮像画像それぞれから特徴部分を抽出し、抽出された特徴部分をマッチングすることにより、複数の前記医療用撮像画像を対応付ける、医療用観察装置。 - 複数のリンクが関節部によって互いに連結されて構成されるアームをさらに備え、
複数の前記撮像デバイスは、前記アームにより支持される、請求項8に記載の医療用観察装置。 - 複数の前記撮像デバイスは、患者の体内に挿入され、前記体内を前記観察対象として撮像する、請求項8に記載の医療用観察装置。
- 合焦位置と合焦範囲との一方または双方が異なる撮像デバイスを含む複数の撮像デバイスそれぞれにより観察対象が撮像された、複数の医療用撮像画像を対応付けるステップと、
複数の前記医療用撮像画像のうちの右目用の医療用撮像画像および左目用の医療用撮像画像それぞれを、対応付けられた他の前記医療用撮像画像を用いて深度合成するステップと、
を有し、
前記複数の医療用撮像画像を対応付けるステップでは、複数の前記医療用撮像画像それぞれから特徴部分を抽出し、抽出された特徴部分をマッチングすることにより、複数の前記医療用撮像画像を対応付ける、医療用画像処理装置により実行される画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018044716A JP7143092B2 (ja) | 2018-03-12 | 2018-03-12 | 医療用画像処理装置、医療用観察装置、および画像処理方法 |
US16/259,023 US11328811B2 (en) | 2018-03-12 | 2019-01-28 | Medical image processing apparatus, medical observation apparatus, and image processing method |
US17/376,183 US11699516B2 (en) | 2018-03-12 | 2021-07-15 | Medical image processing apparatus, medical observation apparatus, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018044716A JP7143092B2 (ja) | 2018-03-12 | 2018-03-12 | 医療用画像処理装置、医療用観察装置、および画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019154734A JP2019154734A (ja) | 2019-09-19 |
JP2019154734A5 JP2019154734A5 (ja) | 2021-04-22 |
JP7143092B2 true JP7143092B2 (ja) | 2022-09-28 |
Family
ID=67842792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018044716A Active JP7143092B2 (ja) | 2018-03-12 | 2018-03-12 | 医療用画像処理装置、医療用観察装置、および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US11328811B2 (ja) |
JP (1) | JP7143092B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022070836A1 (ja) * | 2020-09-30 | 2022-04-07 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090259102A1 (en) | 2006-07-10 | 2009-10-15 | Philippe Koninckx | Endoscopic vision system |
JP2014022806A (ja) | 2012-07-13 | 2014-02-03 | Sharp Corp | 撮像装置および撮像装置制御方法 |
JP2015521913A (ja) | 2012-06-27 | 2015-08-03 | キャンプレックス インコーポレイテッド | 手術可視化システム |
WO2017145531A1 (ja) | 2016-02-24 | 2017-08-31 | ソニー株式会社 | 医療用画像処理装置、システム、方法及びプログラム |
WO2017217115A1 (ja) | 2016-06-17 | 2017-12-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04166135A (ja) * | 1990-10-31 | 1992-06-12 | Toshiba Corp | ステレオx線診断システムおよびステレオx線診断方法 |
KR19990077356A (ko) * | 1996-11-19 | 1999-10-25 | 이데이 노부유끼 | 표시장치 |
JP2002092656A (ja) * | 2000-09-11 | 2002-03-29 | Canon Inc | 立体画像表示装置及び画像データの表示方法 |
JP4508569B2 (ja) | 2003-07-29 | 2010-07-21 | オリンパス株式会社 | 双眼立体観察装置、電子画像実体顕微鏡、電子画像立体観察装置、電子画像観察装置 |
DE602006017940D1 (de) * | 2005-09-09 | 2010-12-16 | Olympus Medical Systems Corp | Medizinisches Stereo-Beobachtungssystem |
US8641621B2 (en) * | 2009-02-17 | 2014-02-04 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures |
JP5521608B2 (ja) * | 2010-02-12 | 2014-06-18 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US9479759B2 (en) * | 2010-03-29 | 2016-10-25 | Forstgarten International Holding Gmbh | Optical stereo device and autofocus method therefor |
JP5450330B2 (ja) * | 2010-09-16 | 2014-03-26 | 株式会社ジャパンディスプレイ | 画像処理装置および方法、ならびに立体画像表示装置 |
JP2012213583A (ja) * | 2011-03-31 | 2012-11-08 | Fujifilm Corp | 立体視表示装置 |
WO2014071221A2 (en) * | 2012-11-02 | 2014-05-08 | Optimedica Corporation | Optical surface identification for laser surgery |
US9699433B2 (en) * | 2013-01-24 | 2017-07-04 | Yuchen Zhou | Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye |
JP6300443B2 (ja) * | 2013-01-31 | 2018-03-28 | キヤノン株式会社 | 光断層撮像装置およびその制御方法 |
US9226856B2 (en) * | 2013-03-14 | 2016-01-05 | Envision Diagnostics, Inc. | Inflatable medical interfaces and other medical devices, systems, and methods |
WO2014189969A1 (en) * | 2013-05-21 | 2014-11-27 | Camplex, Inc. | Surgical visualization systems |
WO2015042120A1 (en) * | 2013-09-18 | 2015-03-26 | Richard Awdeh | Surgical navigation system and method |
KR20160026298A (ko) * | 2014-08-29 | 2016-03-09 | 삼성전자주식회사 | 자기 공명 영상 장치, 그 제어 방법, 및 자기 공명 영상 장치용 헤드 코일 |
WO2016090336A1 (en) * | 2014-12-05 | 2016-06-09 | Camplex, Inc. | Surgical visualization systems and displays |
WO2016154589A1 (en) * | 2015-03-25 | 2016-09-29 | Camplex, Inc. | Surgical visualization systems and displays |
US10966798B2 (en) * | 2015-11-25 | 2021-04-06 | Camplex, Inc. | Surgical visualization systems and displays |
JP2017158764A (ja) * | 2016-03-09 | 2017-09-14 | ソニー株式会社 | 画像処理装置、画像処理方法、及び記録媒体 |
JP2017215664A (ja) * | 2016-05-30 | 2017-12-07 | サン電子株式会社 | 端末装置 |
WO2018008269A1 (ja) * | 2016-07-08 | 2018-01-11 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び情報処理システム |
JP2018099297A (ja) * | 2016-12-20 | 2018-06-28 | ソニー株式会社 | 制御装置、制御方法、及び医療用観察システム |
WO2018179681A1 (ja) * | 2017-03-28 | 2018-10-04 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察装置及び観察視野補正方法 |
-
2018
- 2018-03-12 JP JP2018044716A patent/JP7143092B2/ja active Active
-
2019
- 2019-01-28 US US16/259,023 patent/US11328811B2/en active Active
-
2021
- 2021-07-15 US US17/376,183 patent/US11699516B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090259102A1 (en) | 2006-07-10 | 2009-10-15 | Philippe Koninckx | Endoscopic vision system |
JP2015521913A (ja) | 2012-06-27 | 2015-08-03 | キャンプレックス インコーポレイテッド | 手術可視化システム |
JP2014022806A (ja) | 2012-07-13 | 2014-02-03 | Sharp Corp | 撮像装置および撮像装置制御方法 |
WO2017145531A1 (ja) | 2016-02-24 | 2017-08-31 | ソニー株式会社 | 医療用画像処理装置、システム、方法及びプログラム |
WO2017217115A1 (ja) | 2016-06-17 | 2017-12-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
US20190279759A1 (en) | 2019-09-12 |
US20210343399A1 (en) | 2021-11-04 |
JP2019154734A (ja) | 2019-09-19 |
US11328811B2 (en) | 2022-05-10 |
US11699516B2 (en) | 2023-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7163282B2 (ja) | 医療用観察装置、処理方法、および医療用観察システム | |
JP7095693B2 (ja) | 医療用観察システム | |
JP7363767B2 (ja) | 画像処理装置と画像処理方法およびプログラム | |
JP2023099552A (ja) | 医療用観察システム及び医療用制御装置 | |
JP2023095970A (ja) | 医療用観察システム | |
WO2018221068A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP7444163B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP7143092B2 (ja) | 医療用画像処理装置、医療用観察装置、および画像処理方法 | |
US10849484B2 (en) | Medical observation apparatus | |
US11394942B2 (en) | Video signal processing apparatus, video signal processing method, and image-capturing apparatus | |
JP7109936B2 (ja) | 医療用制御装置、および制御方法 | |
US20190282063A1 (en) | Medical image processing apparatus, medical observation apparatus, and image processing method | |
JP2023109802A (ja) | 医療用制御装置、および医療用観察システム | |
US11022859B2 (en) | Light emission control apparatus, light emission control method, light emission apparatus, and imaging apparatus | |
JP7134656B2 (ja) | 医療用表示制御装置、および表示制御方法 | |
WO2017221491A1 (ja) | 制御装置、制御システム、および制御方法 | |
JP7073145B2 (ja) | 医療用調光制御装置、および医療用調光制御装置の作動方法 | |
JP7023643B2 (ja) | 医療用観察装置、および医療用観察システム | |
JP7160042B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2019181212A1 (ja) | 医療用表示制御装置、および表示制御方法 | |
CN110785110B (zh) | 医学成像系统、方法以及计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210311 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220914 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7143092 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |