JPWO2017169139A1 - 画像処理装置、画像処理方法及び医療システム - Google Patents

画像処理装置、画像処理方法及び医療システム Download PDF

Info

Publication number
JPWO2017169139A1
JPWO2017169139A1 JP2018508501A JP2018508501A JPWO2017169139A1 JP WO2017169139 A1 JPWO2017169139 A1 JP WO2017169139A1 JP 2018508501 A JP2018508501 A JP 2018508501A JP 2018508501 A JP2018508501 A JP 2018508501A JP WO2017169139 A1 JPWO2017169139 A1 JP WO2017169139A1
Authority
JP
Japan
Prior art keywords
unit
image
blur
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018508501A
Other languages
English (en)
Other versions
JP7127538B2 (ja
Inventor
憲治 池田
憲治 池田
一木 洋
洋 一木
白木 寿一
寿一 白木
鶴 大輔
大輔 鶴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017169139A1 publication Critical patent/JPWO2017169139A1/ja
Application granted granted Critical
Publication of JP7127538B2 publication Critical patent/JP7127538B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】生体動きに起因する画面動きを除去することなく、ぶれを補正する。
【解決手段】画像処理装置は、被写体の生体動きを含む医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を備える。この構成により、生体動きに起因する画面動きを除去することなく、ぶれを補正することが可能となる。従って、生体動きの観察に最適な画像を得ることが可能となる。
【選択図】図4A

Description

本開示は、画像処理装置、画像処理方法及び医療システムに関する。
従来、例えば下記の特許文献には、内視鏡装置の状況を表す操作状況情報に基づいて、位置ずれの補正度合いの強弱を設定し、適度にブレを抑えた動画像をユーザに提示することを想定した技術が記載されている。
特開2012−85696号公報
内視鏡などの医療用装置を操作して医療用画像を取得する際には、術者の操作に応じた画像ぶれが発生する場合がある。一方、医療用画像には、その特質上、生体動きに起因する動きが画面内に生じる場合がある。
上記特許文献に記載された技術は、操作状況情報に基づいてブレを抑えるものであるが、生体動きに起因する動きを考慮していないため、操作状況に応じてぶれを抑えようとすると、生体動きに起因する動きが除去されてしまう。このため、生体動きを正確に観察できなくなる問題が発生する。
そこで、生体動きに起因する画面動きを除去することなく、ぶれを補正することが求められていた。
本開示によれば、被写体の生体動きを含む医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を備える、画像処理装置が提供される。
また、本開示によれば、被写体の生体動きを含む医療用画像のぶれ量を推定することと、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うことと、を備える、画像処理方法が提供される。
また、本開示によれば、被写体の生体動きを含む医療用画像を撮像する撮像装置と、前記医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を有する、画像処理装置と、を備える医療システムが提供される。
本開示によれば、生体動きに起因する画面動きを除去することなく、ぶれを補正することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
内視鏡手術システムの構成を示す模式図である。 画像処理装置の基本的な構成を示す模式図である。 術式モードに応じた平滑化フィルタと周波数特性を示す模式図である。 入力画像の画面ぶれ量から周波数解析を行い、診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタを選択する例を示す模式図である。 入力画像から色分布および空間周波数分布の抽出を行い、診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタを選択する例を示す模式図である。 入力画像からマスク径の検出を行い、診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタを選択する例を示す模式図である。 入力画像からトロッカの有無を検出し、診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタを選択する例を示す模式図である。 周波数解析部の構成を詳細に示す模式図である。 拍動に起因するぶれとスコピストに起因するぶれの周波数を示す特性図である。 スコピストに起因するぶれを抑えるバンドパスフィルタ(BPF)の特性を示す特性図である。 内視鏡スコープのフォーカスレンズ位置情報を取得し、補正ゲインを決定する構成を示す模式図である。 フォーカスレンズ位置を示す模式図である。 被写体と内視鏡スコープ間の距離と、補正ゲイン(補正パラメータ)との関係を示す模式図である。 画像の空間周波数に基づいて内視鏡スコープと被写体の距離を取得する構成例を示す模式図である。 空間周波数と、補正ゲイン(補正パラメータ)との関係を示す模式図である。 内視鏡が2眼ステレオ撮影を行う場合に、ステレオ視によって内視鏡スコープと被写体の距離を取得する構成例を示す模式図である。 被写体までの距離と、補正ゲイン(補正パラメータ)との関係を示す模式図である。 ぶれ補正の後に電子ズームを行う場合の構成例を示す模式図である。 ズーム倍率と補正ゲインとの関係を示す特性図である。 手術用顕微鏡向けのぶれ補正を行う構成例を示す模式図である。 各センサからの振動情報を入力として、それぞれの固有振動成分を抑制するような周波数フィルタを図16の構成に対して設けた例を示す模式図である。 周波数フィルタの特性を示す模式図である。 本実施形態による時間方向フィルタでの平滑化を行うことにより、動画上でノイズ低減効果を得る場合の構成例を示す模式図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.内視鏡手術システムの構成例
2.画像処理装置の構成例
3.入力画像から術式を判定する例
4.周波数解析に基づくぶれの切り分け
5.被写体位置に応じた補正ゲインの決定
6.顕微鏡装置への適用
1.内視鏡手術システムの構成例
近年、医療現場において従来の開腹手術に代わって、内視鏡下手術が行われている。たとえば、腹部の手術を行う場合、図1で示されるような手術室に配置される内視鏡手術システム1を用いる。従来のように腹壁を切って開腹する代わりに、トロッカ12a、12bと称される開孔器具が腹壁に数か所取り付けられ、トロッカ12a,12bに設けられている孔から腹腔鏡(以下、内視鏡とも称する)2、エネルギ処置具3や鉗子4等が体内に挿入される。そして、内視鏡2によってビデオ撮像された患部(腫瘍等)16の画像をリアルタイムに見ながら、エネルギ処置具3等によって患部16を切除するなどの処置が行われる。内視鏡2、エネルギ処置具3や鉗子4は、術者、助手、スコピスト、またはロボット等が保持している。
このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート14、患者が横たわる患者ベッド13、フットスイッチ15等が配置される。カート14は、医療機器として例えばカメラコントロールユニット(CCU)5、光源装置6、処置具用装置7、気腹装置8、表示装置9、レコーダ10及びプリンタ11等の装置類を載置している。
内視鏡2の観察光学系を通じて撮像素子により撮像された患部16の画像信号は、カメラケーブルを介してCCU5に伝送され、CCU5内で信号処理された後に、表示装置9に出力され、患部16の内視鏡画像が表示される。CCU5は、カメラケーブルを介して内視鏡2に接続される他、無線で接続してもよい。
光源装置6は、ライトガイドケーブルを介して内視鏡2に接続され、患部16に対してさまざまな波長の光を切り替えて照射することができる。
処置具用装置7は、例えば患部16を電気熱を用いて切断するエネルギ処置具3に対して高周波電流を出力する高周波出力装置である。
気腹装置8は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気するものである。
フットスイッチ15は、術者や助手等のフット操作をトリガ信号として、CCU5や処置具用装置7等を制御するようになっている。
2.画像処理装置の構成例
本実施形態は、内視鏡向けぶれ補正技術に関し、内視鏡を使用する診療科ごとの術式に応じて、適切にぶれの周波数成分を抑制することで、良好な画質を得る技術に関する。図2は、CCU5が備える画像処理装置1000の構成を示す模式図であって、ぶれ補正のための基本的な構成を示している。図2に示すように、画像処理装置1000は、特徴点抽出部1010、動きベクトル抽出部(ME:Motion Estimation)1020、画像ぶれ量推定部1030、平滑化部1040、ぶれ補正部1050、ユーザインタフェース(UI)1060、フィルタ群1070を有して構成される。フィルタ群1070はデータベースに格納されている。
特徴点抽出部1010には、内視鏡2の撮像素子が撮像した入力画像が入力される。撮像素子は、例えばCMOSセンサ等から構成される。特徴点抽出部1010は、入力画像の各画素から特徴点抽出を行う。動きベクトル抽出部1020は、特徴点に対し、動きベクトル検出を行う。画像ぶれ量推定部1030は、動きベクトル抽出部1020による特徴点ごとの動きベクトル検出結果から、画面全体のぶれ量を推定する。平滑化部1040は、時間方向のぶれ量を蓄積し、それらにフィルタをかけて平滑化を行う。ぶれ補正部1050は、平滑化されたぶれ量に対し、ぶれ補正を行う。
画像ぶれ量推定部1030によるぶれ量の推定は、例えばRANSAC等の手法により行うことができる。この場合、ランダムに動きベクトルのサンプルを抽出し、全サンプルで誤差が少ないサンプルをカウントする。そして、誤差が少ないサンプル数が最も多い係数とサンプルを採用することで、誤差成分を除いた状態で有効な成分のみで最小二乗法を行い、係数を推定する。これにより、特徴点ごとの動きベクトルから画面全体のぶれ量を推定することができる。
平滑化部1040により時間方向のぶれ量が蓄積されると、ぶれの周波数が得られる。平滑化部104は、ぶれの周波数に平滑化フィルタをかけることで、所望の周波数成分のみを残し、不要な周波数成分を除去する。平滑化フィルタとして、例えばバンドパスフィルタ(BPF)が用いられる。これにより、ぶれを抑えたい周波数のみ、ぶれ補正の対象として残し、ぶれを抑えたくない周波数は、ぶれ補正の対象としないようにすることができる。
ぶれ補正部1050は、平滑化されたぶれ量に基づいて、例えば公知のアフィン変換等の手法により、入力画像に対してぶれ補正を行う。なお、平滑化部1040とぶれ補正部1050とから、本実施形態に係るぶれ補正処理部が構成される。
図2に示す構成例では、ユーザインタフェース(UI)1060を介して、手術シーンに応じてユーザが術式モードを選択する。図3は、術式モードに応じた平滑化フィルタと平滑化フィルタの周波数特性を示す模式図である。ユーザが選択した術式モードに応じて、図3に示すような、診療科(耳鼻咽喉科、消化器外科、整形外科)ごとの術式に合わせて、最適にぶれを抑制する周波数特性を持つ平滑化フィルタがフィルタ群1070の中から選択される。平滑化部1040は、選択された平滑化フィルタにより平滑化を行う。
図3に示す平滑化フィルタは、例えばローパスフィルタ(LPF)から構成される。耳鼻咽喉科の場合、ローパスフィルタにより3〜5[Hz]以上の周波数のぶれが抑制され、3〜5[Hz]未満の周波数のぶれが残される。消化器外科の場合、ローパスフィルタにより8〜10[Hz]以上の周波数のぶれが抑制され、8〜10[Hz]未満の周波数のぶれが残される。整形外科の場合、ローパスフィルタにより4〜6[Hz]以上の周波数のぶれが抑制され、4〜6[Hz]未満の周波数のぶれが残される。
診療科の相違に応じて、手術に用いられる内視鏡2などの機器が異なるため、撮像された画像に含まれる補正の対象となるぶれは、診療科毎に異なる。本実施形態では、診療科ごとの術式に合わせてぶれを抑制することが可能になるため、診療化ごとにぶれを補正した最適な画像を得ることができる。
3.入力画像から術式を判定する例
図2では、ユーザが術式モードを選択することとしているが、入力画像から術式を判定することもできる。図4Aは、入力画像の画面ぶれ量から周波数解析を行い、周波数解析の結果から、入力画像に対応する診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタをフィルタ群1070から選択する例を示している。このため、図4Aに示す例では、図2の構成に対し、周波数解析部1071、シーン判定部1100を更に備えている。
図5は、周波数解析部1071の構成を詳細に示す模式図である。図5に示すように、周波数解析部1071は、バッファ1072、高速フーリエ変換部(FFT)1074、周波数成分抽出部1076、正規化部1078、フィルタ選択信号生成部1080、積分部1082、ゲイン調整部1084,1086,1088、乗算部1090、を有して構成される。
周波数解析部1071には、画面ぶれ量推定部1030から、入力画像の画面ぶれ量として、画像のシフト量が入力される。シフト量をバッファ1072内に蓄積し、その後、高速フーリエ変換部(FFT)1074により周波数変換を行う。周波数成分抽出部1076により周波数成分を抽出することで、どの周波数が多いかを判定し、正規化部1078により正規化を行う。そして、正規化の結果に基づいて、フィルタ選択信号生成部1080がフィルタを選択するためのフィルタ選択信号を生成し、出力する。
また、周波数解析部1071は、ゲイン調整部1084,1086,1088により、調整値A,B,C,D,Eを用いてゲイン調整を行う。積分部1082はバッファ1072に蓄積されたフレーム数N2のシフト量を積分し、ゲイン調整部1084は積分したシフト量に基づいて、積分値が大きくなるほどゲインを低下させる。
また、ゲイン調整部1086は、シフト量に基づいて、シフト量が大きくなるほどゲインを低下させる。また、ゲイン調整部1088は、画面ぶれ量推定部1030により推定されたぶれ量の信頼度(単位行列になったかなどの動き信頼度)に応じて、信頼度が低いほどゲインを低下させるようにゲインを調整する。特に、ゲイン調整部1088は、信頼度が一定値以下の場合は、ゲインを0としてぶれ補正を行わないようにする。
ゲイン調整部1084,1086,1088により算出されたゲインは、乗算部1090により乗算されて、ぶれ補正部1050に出力される。ぶれ補正部1050は、ゲインに基づいてぶれ補正の強度を調整する。ゲイン調整部1084,1086,1088による例外的な処理を行うことで、ぶれ補正が過度に行われることを抑止することができる。
周波数解析部1071が出力したフィルタ選択信号は、シーン判定部1100に入力される。シーン判定部1100は、フィルタ選択信号に基づいて術式のシーンを判定し、術式のシーンに応じた最適な平滑化フィルタをフィルタ群1070の中から選択する。平滑化部1040は、選択された平滑化フィルタにより平滑化を行う。
図4Bは、入力画像から色分布および空間周波数分布の抽出を行い、それらの情報から、入力画像に対応する診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタをフィルタ群1070から選択する例を示している。このため、図4Bに示す例では、図2の構成に対し、色分布抽出部1110、空間周波数分布抽出部1112、シーン判定部1100を更に備えている。色分布抽出部1110は、入力画像の色分布を抽出する。空間周波数分布抽出部1112は、入力画像の空間周波数分布を抽出する。シーン判定部1100は、入力画像の色分布、空間周波数分布に基づいて、入力画像に対応する診療科、術式のシーンを判定し、術式のシーンに応じた最適な平滑化フィルタをフィルタ群1070の中から選択する。平滑化部1040は、選択された平滑化フィルタにより平滑化を行う。
図4Cは、入力画像からマスク径の検出を行い、マスク径の情報から、入力画像に対応する診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタをフィルタ群1070から選択する例を示している。このため、図4Cに示す例では、図2の構成に対し、マスク径抽出部1114、シーン判定部1100を更に備えている。マスク径抽出部114は、入力画像からマスク径を検出する。シーン判定部1100は、マスク径に基づいて、入力画像に対応する診療科、術式のシーンを判定し、術式のシーンに応じた最適な平滑化フィルタをフィルタ群1070の中から選択する。平滑化部1040は、選択された平滑化フィルタにより平滑化を行う。特徴点抽出部1010は、マスク径に基づいて、マスク径が小さい程、マスク内のより狭い範囲から特徴点を抽出することができる。
図4Dは、入力画像からトロッカの有無を検出し、それらの情報から、入力画像に対応する診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタをフィルタ群1070から選択する例を示している。このため、図4Dに示す例では、図2の構成に対して、トロッカ有無検出部1116、シーン判定部1100を更に備えている。トロッカ有無検出部1116は、画面ぶれ量推定部1030が推定した画面ぶれ量にもとづいて、トロッカ12a,12bが使われているか否か(トロッカの有無)を検出する。シーン判定部1100は、トロッカ12a,12bの有無に基づいて、入力画像に対応する診療科、術式のシーンを判定し、術式のシーンに応じた最適な平滑化フィルタをフィルタ群1070の中から選択する。平滑化部1040は、選択された平滑化フィルタにより平滑化を行う。
診療科、術式の判定方法については、表1に示すように、動画像の動き周波数解析結果、術式・シーン認識、マスク径の情報、トロッカ12a,12bの有無などの情報に応じて行うことができる。動きの周波数解析については、周波数成分のピーク位置に応じて、ピーク位置が3〜5[Hz]であれば整形外科、4〜6[Hz]であれば耳鼻咽喉科、8〜10[Hz]であれば消化器外科であると決定することができる。図4Aに示す構成例によれば、周波数解析の結果に応じて、表1に基づいて診療科、術式のシーンを判定することができる。
図4Bに示した色分布および空間周波数分布の抽出による術式、シーン認識については、表1に示すように、入力画像に赤の領域が多く、のっぺりしていて空間周波数が低い場合は耳鼻咽喉科、白の領域が多く、のっぺりしていて空間周波数が低い場合は整形外科と判定される。また入力画像に様々な色成分が多く、血管や脂肪にテクスチャがあり空間周波数が高い場合は、消化器外科と決定される。
図4Cに示したマスク径の情報に基づく判定では、マスク径抽出部1114が入力画像からマスク径を検出し、表1に示すように、マスク径が4.9mm程度であれば耳鼻咽喉科、5.5mm程度であれば整形外科、10mm程度であれば消化器外科であると決定される。このように、診療科、術式のシーンに応じてマスク径が異なるため、マスク径を検出することで、診療科、術式のシーンを判定することができる。
また、トロッカ12a,12bを用いている場合、トロッカ12a,12bが支点となるため、内視鏡2の動きは予め想定される決まった動きが多くなる。そのため、トロッカ12a,12bを用いた場合とトロッカ12a,12bを用いていない場合とでは、画面ぶれ量の周波数が異なる。従って、図4Dのトロッカ有無検出部116は、画面ぶれ量の周波数に基づいてトロッカ12a,12bを用いているか否かを判定できる。表1に示すように、トロッカ12a,12bを用いている場合は消化器外科であり、トロッカ12a,12bを用いていない場合は整形外科か耳鼻咽喉科であると判定することができる。
Figure 2017169139
以下に示す表2は、各診療科における、抑えたい“ぶれ”とその周波数、抑えたくない“ぶれ”とその周波数を示している。判定結果を使って、抑えたい“ぶれ”、抑えたくない“ぶれ”、のそれぞれに最適な平滑化フィルタを適用する。いずれの診療科においても、生体動きに起因する画面動きはぶれ補正で除去しないように平滑化フィルタを選択する。表2に基づいて、各診療科、術式に応じて平滑化フィルタを選択することで、内視鏡スコープの手振れ、建物やアームの揺れなどの要因によるぶれについては、ぶれ補正部1050によるぶれ補正の対象とし、術者の意図する動き、生体本体の動きについては、ぶれ補正部1050によるぶれ補正の対象とならないようにする。なお、これらの術式情報をCCU5に伝送する際、ケーブルのみならずRFIDなどを用いることも可能である。
Figure 2017169139
4.周波数解析に基づくぶれの切り分け
図4A〜図4Dに示した構成例において、周波数解析に基づいて術者、スコピストに起因するぶれと、患者に起因するぶれ(拍動など)の切り分けをすることもできる。図6Aは、拍動に起因するぶれとスコピストに起因するぶれの周波数を示す特性図である。また、図6Bは、スコピストに起因するぶれを抑えるバンドパスフィルタ(BPF)の特性を示す特性図である。このように、図3に示したようなローパスフィルタ(LPF)ではなく、バンドパスフィルタ(BPF)を用いて任意のぶれ周波数を抑えることも可能である。この場合、フィルタ群1070の中にバンドパスフィルタを格納し、周波数解析に基づいてバンドパスフィルタを選択する。構成は、図4A〜図4Dと同様の構成とすることができる。
5.被写体位置に応じた補正ゲインの決定
図7は、内視鏡2のフォーカスレンズ位置情報を取得し、補正ゲインを決定する構成を示す模式図である。図4A〜図4Bの構成に加えて、内視鏡2と被写体の距離に応じて、ぶれ補正に対するゲイン調整を行う。このため、図7に示す構成では、図4Bの構成に加え、フォーカスレンズ位置取得部1120、補正ゲイン決定部1122、ゲイン調整部1123を有する。
図7に示す構成例では、内視鏡2のフォーカスレンズ位置情報を取得し、補正ゲインを決定する。図8は、フォーカスレンズ位置を示す模式図である。被写体までの距離とフォーカスレンズ位置との関係は一義的に定まるため、フォーカスレンズ位置情報に基づいてゲインを調整することで、被写体までの距離に応じたゲイン調整が可能となる。図9は、フォーカスレンズ位置と、補正ゲイン(補正パラメータ)との関係を示す模式図である。フォーカスレンズ位置取得部1120が取得したフォーカスレンズ位置情報は、補正ゲイン決定部1122に送られ、補正ゲイン決定部1122は、図9の特性に基づいて補正ゲインを決定する。
図9において、フォーカスレンズ位置が大きくなるほど、被写体までの距離は大きくなるものとする。従って、被写体までの距離が大きくなるほど、補正ゲインの値は大きくなる。被写体までの距離が大きくなるほど、内視鏡2のぶれに起因する画像の乱れが大きくなるため、被写体までの距離が大きくなるほど補正ゲインの値を大きくして、ぶれ補正の強度を高くする。これにより、被写体までの距離に応じて、最適にぶれを補正することが可能となる。なお、図9の破線に示すように連続的にゲイン調整してもよいし、実線に示すように離散的に補正ゲインを変化させてオン/オフを制御してもよい。
図10は、画像の空間周波数に基づいて内視鏡2と被写体の距離を取得する構成例を示す模式図である。このため、図10に示す構成では、図4Bの構成に加え、空間周波数解析部1124、補正ゲイン決定部1126、ゲイン調整部1123を有する。空間周波数解析部1124は、画像の空間周波数を解析する。内視鏡2が被写体に近接している場合は、得られる画像の空間周波数が低く、内視鏡2が被写体から遠ざかっている場合は空間周波数が高くなる。図11は、空間周波数と、補正ゲイン(補正パラメータ)との関係を示す模式図である。空間周波数解析部1124が解析した空間周波数は補正ゲイン決定部1126に送られ、補正ゲイン決定部1126は、図11の特性に基づいて補正ゲインを決定する。なお、図11の破線に示すように連続的にゲイン調整してもよいし、実線に示すように離散的に補正ゲインを変化させてオン/オフを制御してもよい。
図11に示すように、空間周波数が低いほど、すなわち、被写体が近接しているほど、補正ゲインは低くなる。また、空間周波数が高いほど、すなわち、被写体が遠ざかっているほど、補正ゲインは高くなる。上述のように、被写体までの距離が大きくなるほど、内視鏡2のぶれに起因する画像の乱れが大きくなるため、被写体までの距離が大きくなるほど補正ゲインの値を大きくして、ぶれ補正の強度を高くする。これにより、被写体までの距離に応じて、最適にぶれを補正することが可能となる。
図12は、内視鏡2が二眼ステレオ撮影を行う場合に、ステレオ視によって内視鏡2と被写体との間の距離を取得する構成例を示す模式図である。このため、図12に示す構成では、図4Bの構成に加え、距離情報検出部1128、補正ゲイン決定部1130、ゲイン調整部1123を有する。距離情報検出部1128は、ステレオ画像の視差に基づいて被写体までの距離を検出する。図13は、被写体までの距離と、補正ゲイン(補正パラメータ)との関係を示す模式図である。距離情報検出部1128が検出した被写体までの距離は補正ゲイン決定部1130に送られ、補正ゲイン決定部1130は、図13の特性に基づいて補正ゲインを決定する。なお、図13の破線に示すように連続的にゲイン調整してもよいし、実線に示すように離散的に補正ゲインを変化させてオン/オフを制御してもよい。
図13においても、被写体が近接しているほど、補正ゲインは低くなる。また、被写体が遠ざかっているほど、補正ゲインは高くなる。上述のように、被写体までの距離が大きくなるほど、内視鏡2のぶれに起因する画像の乱れが大きくなるため、被写体までの距離が大きくなるほど補正ゲインの値を大きくして、ぶれ補正の強度を高くする。これにより、被写体までの距離に応じて、最適にぶれを補正することが可能となる。
図14は、ぶれ補正の後に電子ズームを行う場合の構成例を示す模式図である。図14に示す構成では、図4Bの構成に加え、電子ズーム1140、補正ゲイン決定部1142、ユーザインタフェース(UI)1144、ゲイン調整部1123が設けられている。補正ゲイン決定部1142は、電子ズーム1140のズーム倍率に応じて補正ゲインを決定する。図15は、ズーム倍率と補正ゲインとの関係を示す特性図である。補正ゲイン決定部1142は、図15に基づいて補正ゲインを決定する。図15に示すように、ズーム倍率が大きくなるほど、補正ゲインの値は増加する。
ズーム倍率が大きいほど、被写体が拡大されているため、内視鏡2のぶれに起因する画像の乱れが大きくなる。従って、ズーム倍率が大きいほど補正ゲインを大きくすることで、最適にぶれを補正することが可能となる。なお、図15の破線に示すように連続的にゲイン調整してもよいし、実線に示すように離散的に補正ゲインを変化させてオン/オフを制御してもよい。なお、上述したフォーカスレンズ位置取得部1120、空間周波数解析部1124、距離情報検出部1128、電子ズーム1140は、被写体までの距離に関連する距離関連パラメータを取得する距離関連パラメータ取得部に相当する。
6.顕微鏡装置への適用
図16は、顕微鏡装置(手術用顕微鏡)で撮像した画像のぶれ補正を行う構成例を示す模式図である。上述した例では、内視鏡2により撮像した画像のぶれ補正について説明したが、顕微鏡装置で撮像した画像に対しても同様に適用できる。図16に示す構成は、入力画像が顕微鏡画像である点以外は、図4Aと同様である。顕微鏡装置は、一般的に観察対象(患者の術部)を拡大観察するための顕微鏡部と、顕微鏡部を先端で支持するアーム部と、アーム部の基端を支持するベース部と、を有する。顕微鏡部は、撮像装置(撮像素子)によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部(いわゆるビデオ式の顕微鏡部)である。顕微鏡装置を用いた手術の場合、建物やアームのぶれが原因でビデオ撮影した画像に見づらさを感じる場合がある。このため、例えば、脳神神経外科での開頭手術の際、内視鏡2の場合と同様に、特徴点抽出部1010が入力画像から特徴点を抽出し、動きベクトル抽出部1020が特徴点ごとに動きベクトル検出を行い、画像ぶれ量推定部1030が画像全体のぶれ量を推定する。そして、平滑化部1040が時間方向のぶれ量を蓄積し、フィルタをかけて平滑化を行う。ぶれ補正部1050は、平滑化されたぶれ量に対し、ぶれ補正を行う。これにより、建物やアームの振動に起因するぶれの補正が可能である。手術用顕微鏡においても抑えたい“ぶれ”と抑えたくない“ぶれ”が想定される。表2に示したように、抑えたい“ぶれ”は、0〜1[Hz]程度の周波数と8〜9[Hz]程度の周波数である。また、抑えたくない“ぶれ”は、0または1〜8または9[Hz]程度の周波数である。
顕微鏡装置向けのぶれ補正において、より精度の高いぶれ補正を行うために、アーム振動センサ1132をアームに設置する。加えて、建物の振動を検出するために、床に床振動センサ1134を設置し、天井に天井振動センサ1136を設置する。図17は、各センサからの振動情報を入力として、それぞれの固有振動成分を抑制するような周波数フィルタを生成する周波数フィルタ生成部1138を図16の構成に対して設けた例を示す模式図である。また、図18は、周波数フィルタ1138(バンドパスフィルタ)の特性を示す模式図である。図18に示す周波数フィルタ1138を用いて平滑化部104が平滑化処理を行うことで、アーム振動センサ1132、床振動センサ1134、天井振動センサ1136により検出されるアーム振動、床振動、天井振動の固有振動成分をぶれ補正部1050によるぶれ補正の対象とし、これらに起因するぶれを抑制することが可能である。
図19は、本実施形態による時間方向フィルタでの平滑化を行うことにより、動画上でノイズ低減(NR:Noise Reduction)効果を得る場合の構成例を示す模式図である。図19に示す構成例では、図4Bの構成に加え、フレーム位置補正部1145、フレーム加算部1146が追加されている。図4Bと同様に、入力画から色分布および空間周波数分布を抽出し、シーン判定を行った上でフィルタを選択し、平滑化を行う。それぞれのフレームに対してフレーム位置補正部1144が位置補正を行い、フレーム加算部1146が各フレームを加算していくことにより、動画上でノイズ低減効果を得ることができる。
以上説明したように本実施形態によれば、診療科や術式に応じたシーンに基づいて、状況に応じてぶれ補正をするようにしたため、生体動きに起因する画面動きを除去することなく、ぶれ補正を行うことができる。従って、状況に応じた最適な医療用画像を提供することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1) 被写体の生体動きを含む医療用画像のぶれ量を推定するぶれ量推定部と、
前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、
を備える、画像処理装置。
(2) 前記ぶれ補正処理部は、
前記ぶれ量を時間方向に蓄積して平滑化する平滑化部と、
平滑化された前記ぶれ量に基づいてぶれ補正を行うぶれ補正部と、を備え、
前記ぶれ補正処理部は、前記平滑化のための平滑化フィルタを変更することで、状況に応じて前記ぶれ補正処理を行う、前記(1)に記載の画像処理装置。
(3) 前記ぶれ補正処理部は、手術が行われている状況、手術の術式、又は診療科に応じて前記ぶれ補正処理を行う、前記(2)に記載の画像処理装置。
(4) 前記ぶれ補正処理部は、ユーザ指示に応じて前記ぶれ補正処理を行う、前記(2)に記載の画像処理装置。
(5) 前記ぶれ量の周波数解析を行う周波数解析部を備え、
前記ぶれ補正処理部は、前記周波数解析の結果に基づいて前記ぶれ補正処理を行う、前記(2)に記載の画像処理装置。
(6) 医療用画像の色分布を抽出する色分布抽出部を備え、
前記ぶれ補正処理部は、前記色分布に基づいて前記ぶれ補正処理を行う、前記(2)に記載の画像処理装置。
(7) 医療用画像の空間周波数分布を抽出する空間周波数分布抽出部を備え、
前記ぶれ補正処理部は、前記空間周波数分布に基づいて前記ぶれ補正処理を行う、前記(2)に記載の画像処理装置。
(8) 医療用画像のマスク径を検出するマスク径検出部を備え、
前記ぶれ補正処理部は、前記マスク径に基づいて前記ぶれ補正処理を行う、前記(2)に記載の画像処理装置。
(9) 手術におけるトロッカの使用の有無を検出するトロッカ有無検出部を備え、
前記ぶれ補正処理部は、前記トロッカの使用の有無に基づいて前記ぶれ補正処理を行う、前記(2)に記載の画像処理装置。
(10) 被写体までの距離に関連する距離関連パラメータを取得する距離関連パラメータ取得部と、
前記距離関連パラメータに基づいて前記ぶれ補正処理のゲインを調整するゲイン調整部と、
を更に備える、前記(1)〜(9)のいずれかに記載の画像処理装置。
(11) 前記ゲイン調整部は、被写体までの距離が大きいほど前記ゲインを大きくする、前記(10)に記載の画像処理装置。
(12) 前記距離関連パラメータは、フォーカスレンズの位置情報、被写体の空間周波数、立体画像における視差、又はズーム倍率である、前記(10)に記載の画像処理装置。
(13) 前記医療用画像から特徴点を抽出する特徴点抽出部と、
前記特徴点から動きベクトルを抽出する動きベクトル抽出部と、を備え、
前記ぶれ量推定部は、前記動きベクトルに基づいて前記ぶれ量を推定する、前記(1)〜(12)のいずれかに記載の画像処理装置。
(14) 前記特徴点抽出部は、医療用画像のマスク径に基づいて、前記マスク径が小さい程、マスク内のより狭い範囲から前記特徴点を抽出する、前記(13)に記載の画像処理装置。
(15) 前記医療用画像は、内視鏡画像又は顕微鏡画像である、前記(2)に記載の画像処理装置。
(16) 前記医療用画像は顕微鏡画像であり、外部振動に起因するぶれを除去するために前記平滑化フィルタを生成するフィルタ生成部を備える、前記(15)に記載の画像処理装置。
(17) 前記フィルタ生成部は、前記外部振動を検出するセンサの検出値に基づいて前記平滑化フィルタを生成する、前記(16)に記載の画像処理装置。
(18) 被写体の生体動きを含む医療用画像のぶれ量を推定することと、
前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うことと、
を備える、画像処理方法。
(19) 被写体の生体動きを含む医療用画像を撮像する撮像装置と、
前記医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を有する、画像処理装置と、
を備える医療システム。
1030 画面ぶれ量推定部
1040 平滑化部
1050 ぶれ補正部
1071 周波数解析部
1110 色分布抽出部
1112 空間周波数分布抽出部
1114 マスク径検出部
1116 トロッカ有無検出部
1120 フォーカスレンズ位置取得部
1124 空間周波数解析部
1128 距離情報検出部

Claims (19)

  1. 被写体の生体動きを含む医療用画像のぶれ量を推定するぶれ量推定部と、
    前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、
    を備える、画像処理装置。
  2. 前記ぶれ補正処理部は、
    前記ぶれ量を時間方向に蓄積して平滑化する平滑化部と、
    平滑化された前記ぶれ量に基づいてぶれ補正を行うぶれ補正部と、を備え、
    前記ぶれ補正処理部は、前記平滑化のための平滑化フィルタを変更することで、状況に応じて前記ぶれ補正処理を行う、請求項1に記載の画像処理装置。
  3. 前記ぶれ補正処理部は、手術が行われている状況、手術の術式、又は診療科に応じて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。
  4. 前記ぶれ補正処理部は、ユーザ指示に応じて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。
  5. 前記ぶれ量の周波数解析を行う周波数解析部を備え、
    前記ぶれ補正処理部は、前記周波数解析の結果に基づいて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。
  6. 医療用画像の色分布を抽出する色分布抽出部を備え、
    前記ぶれ補正処理部は、前記色分布に基づいて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。
  7. 医療用画像の空間周波数分布を抽出する空間周波数分布抽出部を備え、
    前記ぶれ補正処理部は、前記空間周波数分布に基づいて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。
  8. 医療用画像のマスク径を検出するマスク径検出部を備え、
    前記ぶれ補正処理部は、前記マスク径に基づいて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。
  9. 手術におけるトロッカの使用の有無を検出するトロッカ有無検出部を備え、
    前記ぶれ補正処理部は、前記トロッカの使用の有無に基づいて前記ぶれ補正処理を行う、請求項2に記載の画像処理装置。
  10. 被写体までの距離に関連する距離関連パラメータを取得する距離関連パラメータ取得部と、
    前記距離関連パラメータに基づいて前記ぶれ補正処理のゲインを調整するゲイン調整部と、
    を更に備える、請求項1に記載の画像処理装置。
  11. 前記ゲイン調整部は、被写体までの距離が大きいほど前記ゲインを大きくする、請求項10に記載の画像処理装置。
  12. 前記距離関連パラメータは、フォーカスレンズの位置情報、被写体の空間周波数、立体画像における視差、又はズーム倍率である、請求項10に記載の画像処理装置。
  13. 前記医療用画像から特徴点を抽出する特徴点抽出部と、
    前記特徴点から動きベクトルを抽出する動きベクトル抽出部と、を備え、
    前記ぶれ量推定部は、前記動きベクトルに基づいて前記ぶれ量を推定する、請求項1に記載の画像処理装置。
  14. 前記特徴点抽出部は、医療用画像のマスク径に基づいて、前記マスク径が小さい程、マスク内のより狭い範囲から前記特徴点を抽出する、請求項13に記載の画像処理装置。
  15. 前記医療用画像は、内視鏡画像又は顕微鏡画像である、請求項2に記載の画像処理装置。
  16. 前記医療用画像は顕微鏡画像であり、外部振動に起因するぶれを除去するために前記平滑化フィルタを生成するフィルタ生成部を備える、請求項15に記載の画像処理装置。
  17. 前記フィルタ生成部は、前記外部振動を検出するセンサの検出値に基づいて前記平滑化フィルタを生成する、請求項16に記載の画像処理装置。
  18. 被写体の生体動きを含む医療用画像のぶれ量を推定することと、
    前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うことと、
    を備える、画像処理方法。
  19. 被写体の生体動きを含む医療用画像を撮像する撮像装置と、
    前記医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を有する、画像処理装置と、
    を備える医療システム。
JP2018508501A 2016-03-29 2017-02-07 画像処理装置、医療機器の作動方法及び医療システム Active JP7127538B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016065219 2016-03-29
JP2016065219 2016-03-29
PCT/JP2017/004432 WO2017169139A1 (ja) 2016-03-29 2017-02-07 画像処理装置、画像処理方法及び医療システム

Publications (2)

Publication Number Publication Date
JPWO2017169139A1 true JPWO2017169139A1 (ja) 2019-02-07
JP7127538B2 JP7127538B2 (ja) 2022-08-30

Family

ID=59962864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018508501A Active JP7127538B2 (ja) 2016-03-29 2017-02-07 画像処理装置、医療機器の作動方法及び医療システム

Country Status (4)

Country Link
US (2) US11301964B2 (ja)
EP (1) EP3437546B1 (ja)
JP (1) JP7127538B2 (ja)
WO (1) WO2017169139A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3437546B1 (en) * 2016-03-29 2024-04-24 Sony Group Corporation Image processing device, image processing method, and medical system
WO2018168261A1 (ja) * 2017-03-16 2018-09-20 ソニー株式会社 制御装置、制御方法、及びプログラム
WO2018180206A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
DE102017209425A1 (de) * 2017-06-02 2018-12-06 Carl Zeiss Meditec Ag Augenchirurgiesystem und Verfahren zur Vorbereitung von Eingriffen im Rahmen von Augenoperationen
DE112019003447T5 (de) * 2018-07-06 2021-03-18 Sony Corporation Medizinisches Beobachtungssystem, medizinisches Beobachtungsgerät und Antriebsverfahren für das medizinische Beobachtungsgerät
US20220296082A1 (en) * 2019-10-17 2022-09-22 Sony Group Corporation Surgical information processing apparatus, surgical information processing method, and surgical information processing program
CN115052551A (zh) * 2020-03-11 2022-09-13 索尼奥林巴斯医疗解决方案公司 医疗图像处理装置和医疗观察系统

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549599A (ja) * 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
JP2003534837A (ja) * 2000-04-04 2003-11-25 スミス アンド ネフュー インコーポレーテッド 動きのアーティファクトを自動補正する方法およびシステム
JP2004229002A (ja) * 2003-01-23 2004-08-12 Sony Corp 撮像装置
JP2007150445A (ja) * 2005-11-24 2007-06-14 Fujifilm Corp 撮像装置
JP2007158853A (ja) * 2005-12-06 2007-06-21 Konica Minolta Opto Inc 振れ補正装置
JP2008172309A (ja) * 2007-01-09 2008-07-24 Fujifilm Corp 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
JP2009265179A (ja) * 2008-04-22 2009-11-12 Canon Inc 撮像装置
JP2009273577A (ja) * 2008-05-13 2009-11-26 Olympus Medical Systems Corp 医療用観察装置
JP2009285132A (ja) * 2008-05-29 2009-12-10 Fujifilm Corp 内視鏡画像処理装置および方法
JP2010512173A (ja) * 2006-08-21 2010-04-22 エスティーアイ・メディカル・システムズ・エルエルシー 内視鏡からの映像を用いるコンピュータ支援解析
JP2010187723A (ja) * 2009-02-16 2010-09-02 Konica Minolta Medical & Graphic Inc 画像処理装置、画像処理方法、およびプログラム
JP2012085696A (ja) * 2010-10-15 2012-05-10 Olympus Corp 画像処理装置、画像処理装置の制御方法及び内視鏡装置
JP2012088466A (ja) * 2010-10-19 2012-05-10 Canon Inc 防振制御装置、撮像装置、及び防振制御方法
JP2012217579A (ja) * 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法
JP2012239644A (ja) * 2011-05-19 2012-12-10 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法
JP2013017752A (ja) * 2011-07-13 2013-01-31 Olympus Medical Systems Corp ノイズ除去装置、並びにこれを備える表示装置、カメラコントロールユニット、及び内視鏡システム
JP2014128015A (ja) * 2012-12-27 2014-07-07 Canon Inc 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015222925A (ja) * 2014-05-23 2015-12-10 キヤノン株式会社 ブレ補正装置、ブレ補正方法およびプログラム、並びに撮像装置
JP2016000065A (ja) * 2014-06-11 2016-01-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および内視鏡システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100639164B1 (ko) * 2005-03-12 2006-10-26 전재춘 영상 장치의 흔들림에 의한 영상 블러링 제거 방법
US8860793B2 (en) * 2008-10-15 2014-10-14 The Regents Of The University Of California Camera system with autonomous miniature camera and light source assembly and method for image enhancement
JP5179398B2 (ja) * 2009-02-13 2013-04-10 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
EP2510878B1 (de) * 2011-04-12 2014-02-26 Marcus Abboud Verfahren zur Generierung einer radiologischen dreidimensionalen digitalen Volumentomographie-Aufnahme eines Patienten-Körperteils
KR101705605B1 (ko) 2011-11-14 2017-02-23 삼성전자주식회사 코드화된 조명을 이용하는 촬상 장치 및 이미지 처리 장치와 그 방법
EP3437546B1 (en) * 2016-03-29 2024-04-24 Sony Group Corporation Image processing device, image processing method, and medical system

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549599A (ja) * 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
JP2003534837A (ja) * 2000-04-04 2003-11-25 スミス アンド ネフュー インコーポレーテッド 動きのアーティファクトを自動補正する方法およびシステム
JP2004229002A (ja) * 2003-01-23 2004-08-12 Sony Corp 撮像装置
JP2007150445A (ja) * 2005-11-24 2007-06-14 Fujifilm Corp 撮像装置
JP2007158853A (ja) * 2005-12-06 2007-06-21 Konica Minolta Opto Inc 振れ補正装置
JP2010512173A (ja) * 2006-08-21 2010-04-22 エスティーアイ・メディカル・システムズ・エルエルシー 内視鏡からの映像を用いるコンピュータ支援解析
JP2008172309A (ja) * 2007-01-09 2008-07-24 Fujifilm Corp 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
JP2009265179A (ja) * 2008-04-22 2009-11-12 Canon Inc 撮像装置
JP2009273577A (ja) * 2008-05-13 2009-11-26 Olympus Medical Systems Corp 医療用観察装置
JP2009285132A (ja) * 2008-05-29 2009-12-10 Fujifilm Corp 内視鏡画像処理装置および方法
JP2010187723A (ja) * 2009-02-16 2010-09-02 Konica Minolta Medical & Graphic Inc 画像処理装置、画像処理方法、およびプログラム
JP2012085696A (ja) * 2010-10-15 2012-05-10 Olympus Corp 画像処理装置、画像処理装置の制御方法及び内視鏡装置
JP2012088466A (ja) * 2010-10-19 2012-05-10 Canon Inc 防振制御装置、撮像装置、及び防振制御方法
JP2012217579A (ja) * 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法
JP2012239644A (ja) * 2011-05-19 2012-12-10 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法
JP2013017752A (ja) * 2011-07-13 2013-01-31 Olympus Medical Systems Corp ノイズ除去装置、並びにこれを備える表示装置、カメラコントロールユニット、及び内視鏡システム
JP2014128015A (ja) * 2012-12-27 2014-07-07 Canon Inc 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015222925A (ja) * 2014-05-23 2015-12-10 キヤノン株式会社 ブレ補正装置、ブレ補正方法およびプログラム、並びに撮像装置
JP2016000065A (ja) * 2014-06-11 2016-01-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および内視鏡システム

Also Published As

Publication number Publication date
US20200294203A1 (en) 2020-09-17
JP7127538B2 (ja) 2022-08-30
EP3437546A1 (en) 2019-02-06
EP3437546A4 (en) 2019-07-10
WO2017169139A1 (ja) 2017-10-05
US11301964B2 (en) 2022-04-12
US20210287346A1 (en) 2021-09-16
US11849913B2 (en) 2023-12-26
EP3437546B1 (en) 2024-04-24

Similar Documents

Publication Publication Date Title
JP7127538B2 (ja) 画像処理装置、医療機器の作動方法及び医療システム
JP7160041B2 (ja) 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法
US11642004B2 (en) Image processing device, image processing method and recording medium
US11788966B2 (en) Imaging system
US10904437B2 (en) Control apparatus and control method
EP3300650B1 (en) Medical observation device and medical observation method
JPWO2018084003A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2018179681A1 (ja) 医療用観察装置及び観察視野補正方法
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2018173605A1 (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2021095697A1 (ja) 情報処理装置、生成方法及び生成プログラム
JP7160042B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2019225323A1 (ja) ケーブル装置、ノイズキャンセリング装置、及びノイズキャンセリング方法
US11676242B2 (en) Image processing apparatus and image processing method
US20220378278A1 (en) Information processing device, generation method, and generation program
JP7480779B2 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210518

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220509

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220518

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220801

R151 Written notification of patent or utility model registration

Ref document number: 7127538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151