JP7127538B2 - 画像処理装置、医療機器の作動方法及び医療システム - Google Patents
画像処理装置、医療機器の作動方法及び医療システム Download PDFInfo
- Publication number
- JP7127538B2 JP7127538B2 JP2018508501A JP2018508501A JP7127538B2 JP 7127538 B2 JP7127538 B2 JP 7127538B2 JP 2018508501 A JP2018508501 A JP 2018508501A JP 2018508501 A JP2018508501 A JP 2018508501A JP 7127538 B2 JP7127538 B2 JP 7127538B2
- Authority
- JP
- Japan
- Prior art keywords
- blur
- movement
- unit
- blur correction
- gain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011017 operating method Methods 0.000 title 1
- 238000009499 grossing Methods 0.000 claims description 61
- 238000001356 surgical procedure Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000001000 micrograph Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 41
- 230000000694 effects Effects 0.000 description 9
- 238000002674 endoscopic surgery Methods 0.000 description 7
- 230000000399 orthopedic effect Effects 0.000 description 6
- 238000010336 energy treatment Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000010349 pulsation Effects 0.000 description 3
- 208000005646 Pneumoperitoneum Diseases 0.000 description 2
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 238000011902 gastrointestinal surgery Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000012084 abdominal surgery Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007428 craniotomy Methods 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002350 laparotomy Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Studio Devices (AREA)
Description
本開示によれば、内視鏡または顕微鏡により撮像され、被写体の生体動きを含む医療用画像の時間方向のぶれ量を推定するぶれ量推定部と、前記時間方向のぶれ量に基づいたぶれ周波数成分解析により、前記生体動きに起因する画面動きを抑制しないように、前記内視鏡または前記顕微鏡の動きに起因するぶれに対してぶれ補正処理を行うぶれ補正処理部と、被写体までの距離に基づき、前記内視鏡または前記顕微鏡の動きに起因するぶれに対する前記ぶれ補正処理のゲインを調整するゲイン調整部と、を備え、前記ゲイン調整部は、前記被写体までの距離が大きいほど前記ゲインを大きくする、画像処理装置が提供される。
本開示によれば、顕微鏡により撮像され、被写体の生体動きを含む医療用画像の時間方向のぶれ量を推定するぶれ量推定部と、前記時間方向のぶれ量に基づいたぶれ周波数成分解析により、前記生体動きに起因する画面動きに基づくぶれ周波数成分とは異なる特定のぶれの周波数成分を抑制することで、前記生体動きに起因する画面動きを除去しないように、前記顕微鏡の動きに起因するぶれに対してぶれ補正処理を行うぶれ補正処理部と、被写体までの距離に基づき、前記顕微鏡の動きに起因するぶれに対する前記ぶれ補正処理のゲインを調整するゲイン調整部と、を備え、前記ゲイン調整部は、前記被写体までの距離が大きいほど前記ゲインを大きくする、画像処理装置が提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
1.内視鏡手術システムの構成例
2.画像処理装置の構成例
3.入力画像から術式を判定する例
4.周波数解析に基づくぶれの切り分け
5.被写体位置に応じた補正ゲインの決定
6.顕微鏡装置への適用
近年、医療現場において従来の開腹手術に代わって、内視鏡下手術が行われている。たとえば、腹部の手術を行う場合、図1で示されるような手術室に配置される内視鏡手術システム1を用いる。従来のように腹壁を切って開腹する代わりに、トロッカ12a、12bと称される開孔器具が腹壁に数か所取り付けられ、トロッカ12a,12bに設けられている孔から腹腔鏡(以下、内視鏡とも称する)2、エネルギ処置具3や鉗子4等が体内に挿入される。そして、内視鏡2によってビデオ撮像された患部(腫瘍等)16の画像をリアルタイムに見ながら、エネルギ処置具3等によって患部16を切除するなどの処置が行われる。内視鏡2、エネルギ処置具3や鉗子4は、術者、助手、スコピスト、またはロボット等が保持している。
本実施形態は、内視鏡向けぶれ補正技術に関し、内視鏡を使用する診療科ごとの術式に応じて、適切にぶれの周波数成分を抑制することで、良好な画質を得る技術に関する。図2は、CCU5が備える画像処理装置1000の構成を示す模式図であって、ぶれ補正のための基本的な構成を示している。図2に示すように、画像処理装置1000は、特徴点抽出部1010、動きベクトル抽出部(ME:Motion Estimation)1020、画像ぶれ量推定部1030、平滑化部1040、ぶれ補正部1050、ユーザインタフェース(UI)1060、フィルタ群1070を有して構成される。フィルタ群1070はデータベースに格納されている。
図2では、ユーザが術式モードを選択することとしているが、入力画像から術式を判定することもできる。図4Aは、入力画像の画面ぶれ量から周波数解析を行い、周波数解析の結果から、入力画像に対応する診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタをフィルタ群1070から選択する例を示している。このため、図4Aに示す例では、図2の構成に対し、周波数解析部1071、シーン判定部1100を更に備えている。
図4A~図4Dに示した構成例において、周波数解析に基づいて術者、スコピストに起因するぶれと、患者に起因するぶれ(拍動など)の切り分けをすることもできる。図6Aは、拍動に起因するぶれとスコピストに起因するぶれの周波数を示す特性図である。また、図6Bは、スコピストに起因するぶれを抑えるバンドパスフィルタ(BPF)の特性を示す特性図である。このように、図3に示したようなローパスフィルタ(LPF)ではなく、バンドパスフィルタ(BPF)を用いて任意のぶれ周波数を抑えることも可能である。この場合、フィルタ群1070の中にバンドパスフィルタを格納し、周波数解析に基づいてバンドパスフィルタを選択する。構成は、図4A~図4Dと同様の構成とすることができる。
図7は、内視鏡2のフォーカスレンズ位置情報を取得し、補正ゲインを決定する構成を示す模式図である。図4A~図4Bの構成に加えて、内視鏡2と被写体の距離に応じて、ぶれ補正に対するゲイン調整を行う。このため、図7に示す構成では、図4Bの構成に加え、フォーカスレンズ位置取得部1120、補正ゲイン決定部1122、ゲイン調整部1123を有する。
図16は、顕微鏡装置(手術用顕微鏡)で撮像した画像のぶれ補正を行う構成例を示す模式図である。上述した例では、内視鏡2により撮像した画像のぶれ補正について説明したが、顕微鏡装置で撮像した画像に対しても同様に適用できる。図16に示す構成は、入力画像が顕微鏡画像である点以外は、図4Aと同様である。顕微鏡装置は、一般的に観察対象(患者の術部)を拡大観察するための顕微鏡部と、顕微鏡部を先端で支持するアーム部と、アーム部の基端を支持するベース部と、を有する。顕微鏡部は、撮像装置(撮像素子)によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部(いわゆるビデオ式の顕微鏡部)である。顕微鏡装置を用いた手術の場合、建物やアームのぶれが原因でビデオ撮影した画像に見づらさを感じる場合がある。このため、例えば、脳神神経外科での開頭手術の際、内視鏡2の場合と同様に、特徴点抽出部1010が入力画像から特徴点を抽出し、動きベクトル抽出部1020が特徴点ごとに動きベクトル検出を行い、画像ぶれ量推定部1030が画像全体のぶれ量を推定する。そして、平滑化部1040が時間方向のぶれ量を蓄積し、フィルタをかけて平滑化を行う。ぶれ補正部1050は、平滑化されたぶれ量に対し、ぶれ補正を行う。これにより、建物やアームの振動に起因するぶれの補正が可能である。手術用顕微鏡においても抑えたい“ぶれ”と抑えたくない“ぶれ”が想定される。表2に示したように、抑えたい“ぶれ”は、0~1[Hz]程度の周波数と8~9[Hz]程度の周波数である。また、抑えたくない“ぶれ”は、0または1~8または9[Hz]程度の周波数である。
(1)内視鏡により撮像され、被写体の生体動きを含む医療用画像の時間方向のぶれ量を推定するぶれ量推定部と、
前記時間方向のぶれ量に基づいたぶれ周波数成分解析により、前記生体動きに起因する画面動きに基づくぶれ周波数成分とは異なる特定のぶれの周波数成分を抑制することで、前記生体動きに起因する画面動きを除去しないように、前記内視鏡の動きに起因するぶれに対してぶれ補正処理を行うぶれ補正処理部と、
被写体までの距離に基づき、前記内視鏡の動きに起因するぶれに対する前記ぶれ補正処理のゲインを調整するゲイン調整部と、
を備え、前記ゲイン調整部は、前記被写体までの距離が大きいほど前記ゲインを大きくする、画像処理装置。
(2)前記ぶれ補正処理部は、
前記ぶれ量を時間方向に蓄積して平滑化する平滑化部と、
平滑化された前記ぶれ量に基づいてぶれ補正を行うぶれ補正部と、を備え、
前記ぶれ補正処理部は、前記平滑化のための平滑化フィルタを変更することで、状況に応じて前記ぶれ補正処理を行う、前記(1)に記載の画像処理装置。
(3)前記ぶれ補正処理部は、手術が行われている状況、手術の術式、又は診療科に応じて前記ぶれ補正処理を行う、前記(2)に記載の画像処理装置。
(4)前記ぶれ補正処理部は、ユーザ指示に応じて前記ぶれ補正処理を行う、前記(2
)に記載の画像処理装置。
(5)前記ぶれ量の周波数解析を行う周波数解析部を備え、
前記ぶれ補正処理部は、前記周波数解析の結果に基づいて前記ぶれ補正処理を行う、前
記(2)に記載の画像処理装置。
(6)医療用画像の色分布を抽出する色分布抽出部を備え、
前記ぶれ補正処理部は、前記色分布に基づいて前記ぶれ補正処理を行う、前記(2)に
記載の画像処理装置。
(7)医療用画像の空間周波数分布を抽出する空間周波数分布抽出部を備え、
前記ぶれ補正処理部は、前記空間周波数分布に基づいて前記ぶれ補正処理を行う、前記
(2)に記載の画像処理装置。
(8)医療用画像のマスク径を検出するマスク径検出部を備え、
前記ぶれ補正処理部は、前記マスク径に基づいて前記ぶれ補正処理を行う、前記(2)
に記載の画像処理装置。
(9)手術におけるトロッカの使用の有無を検出するトロッカ有無検出部を備え、
前記ぶれ補正処理部は、前記トロッカの使用の有無に基づいて前記ぶれ補正処理を行う、前記(2)に記載の画像処理装置。
(10)前記距離関連パラメータは、フォーカスレンズの位置情報、被写体の空間周波数、立体画像における視差、又はズーム倍率である、前記(1)に記載の画像処理装置。
(11)前記医療用画像から特徴点を抽出する特徴点抽出部と、
前記特徴点から動きベクトルを抽出する動きベクトル抽出部と、を備え、
前記ぶれ量推定部は、前記動きベクトルに基づいて前記ぶれ量を推定する、前記(1)に記載の画像処理装置。
(12)前記特徴点抽出部は、医療用画像のマスク径に基づいて、前記マスク径が小さい程、マスク内のより狭い範囲から前記特徴点を抽出する、前記(11)に記載の画像処理装置。
(13)前記医療用画像は、内視鏡画像又は顕微鏡画像である、前記(2)に記載の画像処理装置。
(14)前記医療用画像は顕微鏡画像であり、外部振動に起因するぶれを除去するために前記平滑化フィルタを生成するフィルタ生成部を備える、前記(13)に記載の画像処理装置。
(15)前記フィルタ生成部は、前記外部振動を検出するセンサの検出値に基づいて前記平滑化フィルタを生成する、前記(14)に記載の画像処理装置。
(16)内視鏡または顕微鏡により撮像され、被写体の生体動きを含む医療用画像の時間方向のぶれ量を推定することと、
前記時間方向のぶれ量に基づいたぶれ周波数成分解析により、前記生体動きに起因する画面動きに基づくぶれ周波数成分とは異なる特定のぶれの周波数成分を抑制することで、前記生体動きに起因する画面動きを除去しないように、前記内視鏡または前記顕微鏡の動きに起因するぶれに対してぶれ補正処理を行うことと、
被写体までの距離に基づき、前記内視鏡または前記顕微鏡の動きに起因するぶれに対する前記ぶれ補正処理のゲインを調整することと、
を備え、前記ゲインを調整することは、前記被写体までの距離が大きいほど前記ゲインを大きくすることを含む、医療機器の作動方法。
(17)内視鏡または顕微鏡により撮像され、被写体の生体動きを含む医療用画像を撮像する撮像装置と、
前記医療用画像の時間方向のぶれ量を推定するぶれ量推定部と、前記時間方向のぶれ量に基づいたぶれ周波数成分解析により、前記生体動きに起因する画面動きに基づくぶれ周波数成分とは異なる特定のぶれの周波数成分を抑制することで、前記生体動きに起因する画面動きを除去しないように、前記内視鏡または前記顕微鏡の動きに起因するぶれに対してぶれ補正処理を行うぶれ補正処理部と、被写体までの距離に基づき、前記内視鏡または前記顕微鏡の動きに起因するぶれに対する前記ぶれ補正処理のゲインを調整するゲイン調整部と、を有する、画像処理装置と、
を備え、前記ゲイン調整部は、前記被写体までの距離が大きいほど前記ゲインを大きくする医療システム。
(18)内視鏡または顕微鏡により撮像され、被写体の生体動きを含む医療用画像の時間方向のぶれ量を推定するぶれ量推定部と、
前記時間方向のぶれ量に基づいたぶれ周波数成分解析により、前記生体動きに起因する画面動きを抑制しないように、前記内視鏡または前記顕微鏡の動きに起因するぶれに対してぶれ補正処理を行うぶれ補正処理部と、
被写体までの距離に基づき、前記内視鏡または前記顕微鏡の動きに起因するぶれに対する前記ぶれ補正処理のゲインを調整するゲイン調整部と、
を備え、前記ゲイン調整部は、前記被写体までの距離が大きいほど前記ゲインを大きくする、画像処理装置。
(19)前記ゲイン調整部は、前記推定されたぶれ量の信頼度に基づいてゲインを調整する、前記(1)に記載の画像処理装置。
(20)顕微鏡により撮像され、被写体の生体動きを含む医療用画像の時間方向のぶれ量を推定するぶれ量推定部と、
前記時間方向のぶれ量に基づいたぶれ周波数成分解析により、前記生体動きに起因する画面動きに基づくぶれ周波数成分とは異なる特定のぶれの周波数成分を抑制することで、前記生体動きに起因する画面動きを除去しないように、前記顕微鏡の動きに起因するぶれに対してぶれ補正処理を行うぶれ補正処理部と、
被写体までの距離に基づき、前記顕微鏡の動きに起因するぶれに対する前記ぶれ補正処理のゲインを調整するゲイン調整部と、
を備え、前記ゲイン調整部は、前記被写体までの距離が大きいほど前記ゲインを大きくする、画像処理装置。
1040 平滑化部
1050 ぶれ補正部
1071 周波数解析部
1110 色分布抽出部
1112 空間周波数分布抽出部
1114 マスク径検出部
1116 トロッカ有無検出部
1120 フォーカスレンズ位置取得部
1124 空間周波数解析部
1128 距離情報検出部
Claims (20)
- 内視鏡により撮像され、被写体の生体動きを含む医療用画像の時間方向のぶれ量を推定するぶれ量推定部と、
前記時間方向のぶれ量に基づいたぶれ周波数成分解析により、前記生体動きに起因する画面動きに基づくぶれ周波数成分とは異なる特定のぶれの周波数成分を抑制することで、前記生体動きに起因する画面動きを除去しないように、前記内視鏡の動きに起因するぶれに対してぶれ補正処理を行うぶれ補正処理部と、
被写体までの距離に基づき、前記内視鏡の動きに起因するぶれに対する前記ぶれ補正処理のゲインを調整するゲイン調整部と、
を備え、前記ゲイン調整部は、前記被写体までの距離が大きいほど前記ゲインを大きくする、画像処理装置。 - 前記ぶれ補正処理部は、
前記ぶれ量を時間方向に蓄積して平滑化する平滑化部と、
平滑化された前記ぶれ量に基づいてぶれ補正を行うぶれ補正部と、を備え、
前記ぶれ補正処理部は、前記平滑化のための平滑化フィルタを変更することで、状況に応じて前記ぶれ補正処理を行う、請求項1に記載の画像処理装置。 - 前記ぶれ補正処理部は、手術が行われている状況、手術の術式、又は診療科に応じて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。
- 前記ぶれ補正処理部は、ユーザ指示に応じて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。
- 前記ぶれ量の周波数解析を行う周波数解析部を備え、
前記ぶれ補正処理部は、前記周波数解析の結果に基づいて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。 - 医療用画像の色分布を抽出する色分布抽出部を備え、
前記ぶれ補正処理部は、前記色分布に基づいて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。 - 医療用画像の空間周波数分布を抽出する空間周波数分布抽出部を備え、
前記ぶれ補正処理部は、前記空間周波数分布に基づいて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。 - 医療用画像のマスク径を検出するマスク径検出部を備え、
前記ぶれ補正処理部は、前記マスク径に基づいて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。 - 手術におけるトロッカの使用の有無を検出するトロッカ有無検出部を備え、
前記ぶれ補正処理部は、前記トロッカの使用の有無に基づいて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。 - 前記被写体までの距離に関連する距離関連パラメータは、フォーカスレンズの位置情報、被写体の空間周波数、立体画像における視差、又はズーム倍率である、請求項1に記載の画像処理装置。
- 前記医療用画像から特徴点を抽出する特徴点抽出部と、
前記特徴点から動きベクトルを抽出する動きベクトル抽出部と、を備え、
前記ぶれ量推定部は、前記動きベクトルに基づいて前記ぶれ量を推定する、請求項1に記載の画像処理装置。 - 前記特徴点抽出部は、医療用画像のマスク径に基づいて、前記マスク径が小さい程、マスク内のより狭い範囲から前記特徴点を抽出する、請求項11に記載の画像処理装置。
- 前記医療用画像は、内視鏡画像又は顕微鏡画像である、請求項2に記載の画像処理装置。
- 前記医療用画像は顕微鏡画像であり、外部振動に起因するぶれを除去するために前記平滑化フィルタを生成するフィルタ生成部を備える、請求項13に記載の画像処理装置。
- 前記フィルタ生成部は、前記外部振動を検出するセンサの検出値に基づいて前記平滑化フィルタを生成する、請求項14に記載の画像処理装置。
- 医療機器の作動方法であって、
前記医療機器のカメラコントロールユニットが、内視鏡または顕微鏡により撮像され、被写体の生体動きを含む医療用画像の時間方向のぶれ量を推定することと、
前記カメラコントロールユニットが、前記時間方向のぶれ量に基づいたぶれ周波数成分解析により、前記生体動きに起因する画面動きに基づくぶれ周波数成分とは異なる特定のぶれの周波数成分を抑制することで、前記生体動きに起因する画面動きを除去しないように、前記内視鏡または前記顕微鏡の動きに起因するぶれに対してぶれ補正処理を行うことと、
前記カメラコントロールユニットが、被写体までの距離に基づき、前記内視鏡または前記顕微鏡の動きに起因するぶれに対する前記ぶれ補正処理のゲインを調整することと、
を備え、前記ゲインを調整することは、前記被写体までの距離が大きいほど前記ゲインを大きくすることを含む、医療機器の作動方法。 - 内視鏡または顕微鏡により撮像され、被写体の生体動きを含む医療用画像を撮像する撮像装置と、
前記医療用画像の時間方向のぶれ量を推定するぶれ量推定部と、前記時間方向のぶれ量に基づいたぶれ周波数成分解析により、前記生体動きに起因する画面動きに基づくぶれ周波数成分とは異なる特定のぶれの周波数成分を抑制することで、前記生体動きに起因する画面動きを除去しないように、前記内視鏡または前記顕微鏡の動きに起因するぶれに対してぶれ補正処理を行うぶれ補正処理部と、被写体までの距離に基づき、前記内視鏡または前記顕微鏡の動きに起因するぶれに対する前記ぶれ補正処理のゲインを調整するゲイン調整部と、を有する、画像処理装置と、
を備え、前記ゲイン調整部は、前記被写体までの距離が大きいほど前記ゲインを大きくする医療システム。 - 内視鏡または顕微鏡により撮像され、被写体の生体動きを含む医療用画像の時間方向のぶれ量を推定するぶれ量推定部と、
前記時間方向のぶれ量に基づいたぶれ周波数成分解析により、前記生体動きに起因する画面動きを抑制しないように、前記内視鏡または前記顕微鏡の動きに起因するぶれに対してぶれ補正処理を行うぶれ補正処理部と、
被写体までの距離に基づき、前記内視鏡または前記顕微鏡の動きに起因するぶれに対する前記ぶれ補正処理のゲインを調整するゲイン調整部と、
を備え、前記ゲイン調整部は、前記被写体までの距離が大きいほど前記ゲインを大きくする、画像処理装置。 - 前記ゲイン調整部は、前記推定されたぶれ量の信頼度に基づいてゲインを調整する、請求項1に記載の画像処理装置。
- 顕微鏡により撮像され、被写体の生体動きを含む医療用画像の時間方向のぶれ量を推定するぶれ量推定部と、
前記時間方向のぶれ量に基づいたぶれ周波数成分解析により、前記生体動きに起因する画面動きに基づくぶれ周波数成分とは異なる特定のぶれの周波数成分を抑制することで、前記生体動きに起因する画面動きを除去しないように、前記顕微鏡の動きに起因するぶれに対してぶれ補正処理を行うぶれ補正処理部と、
被写体までの距離に基づき、前記顕微鏡の動きに起因するぶれに対する前記ぶれ補正処理のゲインを調整するゲイン調整部と、
を備え、前記ゲイン調整部は、前記被写体までの距離が大きいほど前記ゲインを大きくする、画像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016065219 | 2016-03-29 | ||
JP2016065219 | 2016-03-29 | ||
PCT/JP2017/004432 WO2017169139A1 (ja) | 2016-03-29 | 2017-02-07 | 画像処理装置、画像処理方法及び医療システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017169139A1 JPWO2017169139A1 (ja) | 2019-02-07 |
JP7127538B2 true JP7127538B2 (ja) | 2022-08-30 |
Family
ID=59962864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508501A Active JP7127538B2 (ja) | 2016-03-29 | 2017-02-07 | 画像処理装置、医療機器の作動方法及び医療システム |
Country Status (4)
Country | Link |
---|---|
US (2) | US11301964B2 (ja) |
EP (1) | EP3437546B1 (ja) |
JP (1) | JP7127538B2 (ja) |
WO (1) | WO2017169139A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3437546B1 (en) * | 2016-03-29 | 2024-04-24 | Sony Group Corporation | Image processing device, image processing method, and medical system |
WO2018168261A1 (ja) * | 2017-03-16 | 2018-09-20 | ソニー株式会社 | 制御装置、制御方法、及びプログラム |
WO2018180206A1 (ja) * | 2017-03-30 | 2018-10-04 | 富士フイルム株式会社 | 細胞画像評価装置および方法並びにプログラム |
DE102017209425A1 (de) * | 2017-06-02 | 2018-12-06 | Carl Zeiss Meditec Ag | Augenchirurgiesystem und Verfahren zur Vorbereitung von Eingriffen im Rahmen von Augenoperationen |
DE112019003447T5 (de) * | 2018-07-06 | 2021-03-18 | Sony Corporation | Medizinisches Beobachtungssystem, medizinisches Beobachtungsgerät und Antriebsverfahren für das medizinische Beobachtungsgerät |
US20220296082A1 (en) * | 2019-10-17 | 2022-09-22 | Sony Group Corporation | Surgical information processing apparatus, surgical information processing method, and surgical information processing program |
CN115052551A (zh) * | 2020-03-11 | 2022-09-13 | 索尼奥林巴斯医疗解决方案公司 | 医疗图像处理装置和医疗观察系统 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003534837A (ja) | 2000-04-04 | 2003-11-25 | スミス アンド ネフュー インコーポレーテッド | 動きのアーティファクトを自動補正する方法およびシステム |
JP2004229002A (ja) | 2003-01-23 | 2004-08-12 | Sony Corp | 撮像装置 |
JP2007150445A (ja) | 2005-11-24 | 2007-06-14 | Fujifilm Corp | 撮像装置 |
JP2007158853A (ja) | 2005-12-06 | 2007-06-21 | Konica Minolta Opto Inc | 振れ補正装置 |
JP2008172309A (ja) | 2007-01-09 | 2008-07-24 | Fujifilm Corp | 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置 |
JP2009265179A (ja) | 2008-04-22 | 2009-11-12 | Canon Inc | 撮像装置 |
JP2009273577A (ja) | 2008-05-13 | 2009-11-26 | Olympus Medical Systems Corp | 医療用観察装置 |
JP2009285132A (ja) | 2008-05-29 | 2009-12-10 | Fujifilm Corp | 内視鏡画像処理装置および方法 |
JP2010512173A (ja) | 2006-08-21 | 2010-04-22 | エスティーアイ・メディカル・システムズ・エルエルシー | 内視鏡からの映像を用いるコンピュータ支援解析 |
JP2010187723A (ja) | 2009-02-16 | 2010-09-02 | Konica Minolta Medical & Graphic Inc | 画像処理装置、画像処理方法、およびプログラム |
JP2012085696A (ja) | 2010-10-15 | 2012-05-10 | Olympus Corp | 画像処理装置、画像処理装置の制御方法及び内視鏡装置 |
JP2012088466A (ja) | 2010-10-19 | 2012-05-10 | Canon Inc | 防振制御装置、撮像装置、及び防振制御方法 |
JP2012217579A (ja) | 2011-04-07 | 2012-11-12 | Olympus Corp | 内視鏡装置及びブレ補正処理方法 |
JP2012239644A (ja) | 2011-05-19 | 2012-12-10 | Olympus Corp | 画像処理装置、内視鏡装置、画像処理方法 |
JP2013017752A (ja) | 2011-07-13 | 2013-01-31 | Olympus Medical Systems Corp | ノイズ除去装置、並びにこれを備える表示装置、カメラコントロールユニット、及び内視鏡システム |
JP2014128015A (ja) | 2012-12-27 | 2014-07-07 | Canon Inc | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2016000065A (ja) | 2014-06-11 | 2016-01-07 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および内視鏡システム |
JP2015222925A5 (ja) | 2014-05-23 | 2017-06-22 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0549599A (ja) | 1991-08-23 | 1993-03-02 | Olympus Optical Co Ltd | 電子内視鏡装置 |
KR100639164B1 (ko) * | 2005-03-12 | 2006-10-26 | 전재춘 | 영상 장치의 흔들림에 의한 영상 블러링 제거 방법 |
US8860793B2 (en) * | 2008-10-15 | 2014-10-14 | The Regents Of The University Of California | Camera system with autonomous miniature camera and light source assembly and method for image enhancement |
JP5179398B2 (ja) * | 2009-02-13 | 2013-04-10 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム |
EP2510878B1 (de) * | 2011-04-12 | 2014-02-26 | Marcus Abboud | Verfahren zur Generierung einer radiologischen dreidimensionalen digitalen Volumentomographie-Aufnahme eines Patienten-Körperteils |
KR101705605B1 (ko) | 2011-11-14 | 2017-02-23 | 삼성전자주식회사 | 코드화된 조명을 이용하는 촬상 장치 및 이미지 처리 장치와 그 방법 |
JP6433155B2 (ja) | 2014-05-23 | 2018-12-05 | キヤノン株式会社 | ブレ補正装置、ブレ補正方法およびプログラム、並びに撮像装置 |
EP3437546B1 (en) * | 2016-03-29 | 2024-04-24 | Sony Group Corporation | Image processing device, image processing method, and medical system |
-
2017
- 2017-02-07 EP EP17773687.3A patent/EP3437546B1/en active Active
- 2017-02-07 US US16/086,269 patent/US11301964B2/en active Active
- 2017-02-07 WO PCT/JP2017/004432 patent/WO2017169139A1/ja active Application Filing
- 2017-02-07 JP JP2018508501A patent/JP7127538B2/ja active Active
-
2021
- 2021-06-02 US US17/336,466 patent/US11849913B2/en active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003534837A (ja) | 2000-04-04 | 2003-11-25 | スミス アンド ネフュー インコーポレーテッド | 動きのアーティファクトを自動補正する方法およびシステム |
JP2004229002A (ja) | 2003-01-23 | 2004-08-12 | Sony Corp | 撮像装置 |
JP2007150445A (ja) | 2005-11-24 | 2007-06-14 | Fujifilm Corp | 撮像装置 |
JP2007158853A (ja) | 2005-12-06 | 2007-06-21 | Konica Minolta Opto Inc | 振れ補正装置 |
JP2010512173A (ja) | 2006-08-21 | 2010-04-22 | エスティーアイ・メディカル・システムズ・エルエルシー | 内視鏡からの映像を用いるコンピュータ支援解析 |
JP2008172309A (ja) | 2007-01-09 | 2008-07-24 | Fujifilm Corp | 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置 |
JP2009265179A (ja) | 2008-04-22 | 2009-11-12 | Canon Inc | 撮像装置 |
JP2009273577A (ja) | 2008-05-13 | 2009-11-26 | Olympus Medical Systems Corp | 医療用観察装置 |
JP2009285132A (ja) | 2008-05-29 | 2009-12-10 | Fujifilm Corp | 内視鏡画像処理装置および方法 |
JP2010187723A (ja) | 2009-02-16 | 2010-09-02 | Konica Minolta Medical & Graphic Inc | 画像処理装置、画像処理方法、およびプログラム |
JP2012085696A (ja) | 2010-10-15 | 2012-05-10 | Olympus Corp | 画像処理装置、画像処理装置の制御方法及び内視鏡装置 |
JP2012088466A (ja) | 2010-10-19 | 2012-05-10 | Canon Inc | 防振制御装置、撮像装置、及び防振制御方法 |
JP2012217579A (ja) | 2011-04-07 | 2012-11-12 | Olympus Corp | 内視鏡装置及びブレ補正処理方法 |
JP2012239644A (ja) | 2011-05-19 | 2012-12-10 | Olympus Corp | 画像処理装置、内視鏡装置、画像処理方法 |
JP2013017752A (ja) | 2011-07-13 | 2013-01-31 | Olympus Medical Systems Corp | ノイズ除去装置、並びにこれを備える表示装置、カメラコントロールユニット、及び内視鏡システム |
JP2014128015A (ja) | 2012-12-27 | 2014-07-07 | Canon Inc | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2015222925A5 (ja) | 2014-05-23 | 2017-06-22 | ||
JP2016000065A (ja) | 2014-06-11 | 2016-01-07 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および内視鏡システム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2017169139A1 (ja) | 2019-02-07 |
US20200294203A1 (en) | 2020-09-17 |
EP3437546A1 (en) | 2019-02-06 |
EP3437546A4 (en) | 2019-07-10 |
WO2017169139A1 (ja) | 2017-10-05 |
US11301964B2 (en) | 2022-04-12 |
US20210287346A1 (en) | 2021-09-16 |
US11849913B2 (en) | 2023-12-26 |
EP3437546B1 (en) | 2024-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7127538B2 (ja) | 画像処理装置、医療機器の作動方法及び医療システム | |
JP7160041B2 (ja) | 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法 | |
US11642004B2 (en) | Image processing device, image processing method and recording medium | |
US10904437B2 (en) | Control apparatus and control method | |
WO2018084003A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
WO2018123613A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
WO2018179681A1 (ja) | 医療用観察装置及び観察視野補正方法 | |
WO2020008920A1 (ja) | 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法 | |
WO2018173605A1 (ja) | 手術用制御装置、制御方法、手術システム、およびプログラム | |
WO2021095697A1 (ja) | 情報処理装置、生成方法及び生成プログラム | |
US20220261967A1 (en) | Endoscopic surgery system, image processing apparatus, and image processing method | |
WO2020203164A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
JP7160042B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP7163913B2 (ja) | 医療用システム及び制御ユニット | |
WO2019225323A1 (ja) | ケーブル装置、ノイズキャンセリング装置、及びノイズキャンセリング方法 | |
EP4016163A1 (en) | Information processing apparatus, generation method, and generation program | |
JP7480779B2 (ja) | 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム | |
WO2022019057A1 (ja) | 医療用アーム制御システム、医療用アーム制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210518 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211213 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220509 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220509 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220518 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220801 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7127538 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |