JP7333805B2 - 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 - Google Patents
画像処理装置、内視鏡システム、及び画像処理装置の作動方法 Download PDFInfo
- Publication number
- JP7333805B2 JP7333805B2 JP2021143713A JP2021143713A JP7333805B2 JP 7333805 B2 JP7333805 B2 JP 7333805B2 JP 2021143713 A JP2021143713 A JP 2021143713A JP 2021143713 A JP2021143713 A JP 2021143713A JP 7333805 B2 JP7333805 B2 JP 7333805B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- unit
- band
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
Description
図1は、第1の実施形態に係る内視鏡システム10(画像処理装置、診断支援装置、内視鏡システム、医療画像処理装置)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体100(内視鏡)、プロセッサ200(プロセッサ、画像処理装置、医療画像処理装置)、光源装置300(光源装置)、及びモニタ400(表示装置)から構成される。
内視鏡本体100は、手元操作部102(手元操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者(ユーザ)は手元操作部102を把持して操作し、挿入部104を被検体(生体)の体内に挿入して観察する。また、手元操作部102には送気送水ボタン141、吸引ボタン142、及び各種の機能を割り付けられる機能ボタン143、及び撮影指示操作(静止画像、動画像)を受け付ける撮影ボタン144が設けられている。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。すなわち、先端硬質部116の基端側に湾曲部114が接続され、湾曲部114の基端側に軟性部112が接続される。挿入部104の基端側に手元操作部102が接続される。ユーザは、手元操作部102を操作することにより湾曲部114を湾曲させて先端硬質部116の向きを上下左右に変えることができる。先端硬質部116には、撮影光学系130(撮像部)、照明部123、鉗子口126等が設けられる(図1~図3参照)。
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、観察光をライトガイド170に入射させる。光源310は、それぞれ赤色、緑色、青色の狭帯域光を照射する赤色光源310R、緑色光源310G、青色光源310Bを備えており、赤色、緑色、及び青色の狭帯域光を照射することができる。光源310による観察光の照度は光源制御部350により制御され、必要に応じて観察光の照度を下げること、及び照明を停止することができる。
光源310は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、390nm以上450nm以下、または530nm以上550nm以下の波長帯域を含み、かつ、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、585nm以上615nm以下、または610nm以上730nm以下、の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有していてもよい。
図2に基づきプロセッサ200の構成を説明する。プロセッサ200は、内視鏡本体100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像(生体内画像)が表示される。これらの処理はCPU210(CPU:Central Processing Unit)の制御下で行われる。すなわち、CPU210は画像取得部、取得指示受付部、画像取得制御部、表示制御部、分類部、注目領域検出部、分類結果保存部、画像処理部、パラメータ算出部、画像生成部としての機能を有する。通信制御部205は、図示せぬ病院内システム(HIS:Hospital Information System)、病院内LAN(Local Area Network)等との通信制御を行う。記録部207には、被写体の画像(医用画像、撮影画像)、注目領域の検出及び/または分類結果を示す情報等が記録される。音声処理部209は、CPU210及び画像処理部204の制御により、注目領域の検出及び/または分類の結果に応じたメッセージ(音声)等をスピーカ209Aから出力する。
図4は画像処理部204(医療画像取得部、医療画像解析処理部、医療画像解析結果取得部)の機能構成を示す図である。画像処理部204は画像取得部204A(画像取得部)、取得指示受付部204B(取得指示受付部)、画像取得制御部204C(画像取得制御部)、表示制御部204D(表示制御部)、分類部204E(分類部)、注目領域検出部204F(注目領域検出部)、分類結果保存部204G(分類結果保存部)、画像加工部204H(画像加工部)、パラメータ算出部204I(パラメータ算出部)、及び画像生成部204J(画像生成部)を有する。分類部204E、及び注目領域検出部204Fは医療画像解析処理部としても動作する。
プロセッサ200は操作部208を備えている。操作部208は図示せぬ操作モード設定スイッチ等を備えており、観察光の波長(白色光か狭帯域光か、狭帯域光の場合いずれの狭帯域光を用いるか)を設定することができる。また、操作部208は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件及び表示条件の設定操作、あるいは動画像、静止画像の撮影指示(取得指示)を行うことができる(動画像、静止画像の撮影指示は撮影ボタン144により行ってもよい)。これらの設定操作は図示せぬフットスイッチを介して行っても良いし、音声、視線、ジェスチャ等により行ってもよい。
記録部207(記録装置)は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びこれら記録媒体の制御部を含んで構成され、第1動画像207A(第1画像)、第1静止画像207B(第1画像)、第2静止画像207C(第1画像)、位置合わせ第1画像207D、観察用静止画像207E、注目領域分類結果207F等を互いに関連付けて記録する。これらの画像及び情報は、操作部208を介した操作、CPU210及び/または画像処理部204の制御によりモニタ400に表示される。
モニタ400(表示装置)は、操作部208を介した操作、CPU210及び/または画像処理部204の制御により第1動画像207A(第1画像)、第1静止画像207B(第1画像)、第2静止画像207C(第1画像)、位置合わせ第1画像207D、観察用静止画像207E、注目領域分類結果207F等を表示する。また、モニタ400は撮影条件設定操作及び/または表示条件設定操作を行うための図示せぬタッチパネルを有する。
上述した構成の内視鏡システム10を用いた画像処理方法について説明する。図6~7は第1の実施形態に係る画像処理方法の手順を示すフローチャートである。
第1の実施形態では、白色光を観察光(第1観察光)とした白色光画像(通常画像)を第1画像として取得し、狭帯域光としての青色光(中心波長は第1観察光より短い)を観察光(第2観察光)とした青色光画像(特殊光画像)を第2画像として取得する場合について説明する。しかしながら、本発明において観察光はこのような組合せに限定されるものではない。例えば、第2画像は狭帯域光としての緑色光、赤色光、赤外光、紫色光等を観察光として取得した特殊光画像でもよい。また、第1観察光、第2観察光の双方を狭帯域光(例えば青色光と緑色光、あるいは波長の異なる赤色光等の、第1狭帯域光及び第2狭帯域光)としてとして第1画像及び第2画像を取得してもよい。なお、第1の実施形態では、1つのフレームでは第1観察光のみ、または第2観察光のみを照射して第1画像、第2画像を撮影するものとする。
画像取得部204Aは光源制御部350を制御して赤色光源310R、緑色光源310G、及び青色光源310Bを発光させて白色光(第1観察光)を被検体に照射し、撮影光学系130、撮像素子134等により被検体の第1動画像(第1画像、通常光画像)を撮影する(ステップS100:画像取得制御工程、動画像取得処理)。具体的には、30フレーム/秒、60フレーム/秒等のレートで動画像を構成するフレーム画像を順次取得する。画像取得部204Aは、撮影した第1動画像を、画像入力コントローラ202を介して取得(入力)する(ステップS100:画像取得工程)。表示制御部204Dは、取得した第1動画像をモニタ400(表示装置)に表示する(ステップS102:表示制御工程)。
注目領域検出部204F(注目領域検出部)は、取得された第1動画像の各フレームから注目領域を検出する(ステップS103:第1の注目領域検出工程)。注目領域の検出は、注目領域検出部204Fが例えば公知のCADシステム(CAD:Computer Aided Diagnosis)を備えることにより行うことができる。具体的には、例えば医用画像の画素の特徴量に基づいて、注目領域(注目すべき領域である注目領域)及び注目領域における対象(注目すべき対象)の有無を抽出することができる。この場合、注目領域検出部204Fは検出対象画像を例えば複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定する。注目領域検出部204Fは検出対象画像の局所領域ごとに局所領域内の画素の特徴量(例えば色相)を算出し、各局所領域の中から特定の色相を有する局所領域を注目領域として決定する。なお、ステップS103において「注目領域を検出する」とは、画像に対し検出処理を施すことを意味する。
注目領域の検出は、深層学習の結果を利用して行ってもよい。例えば、新たな画像が記録部207に記録されるごとに(または新たな画像が撮影されるごとに)、注目領域検出部204Fが深層学習アルゴリズムに基づき深層学習(ディープラーニング)を用いた画像解析処理を行うことにより、画像に注目領域が含まれるか否かを解析する。深層学習アルゴリズムは、公知のコンボリューションニューラルネットワーク(畳み込みニューラルネットワーク)の手法、すなわち畳み込み層及びプーリング層の繰り返しと、全結合層と、出力層とを経て、画像に注目領域が含まれている否かを認識するアルゴリズムである。深層学習を用いた画像解析処理においては、「注目領域である」あるいは「注目領域ではない」とのラベルを付した画像を教師データとして与えて生成した学習器を用いてもよい。「このような機械学習を行うか否か」、及び/または「学習結果を利用するか否か」を、操作部208及びモニタ400を介したユーザの操作に応じて設定してもよい。
ステップS104の判断が肯定された場合(注目領域が検出された場合)、画像取得制御部204Cは、静止画像の撮影指示(取得指示)を行う(ステップS108:静止画像取得指示工程)。ステップS106でユーザ指示を受け付けた場合も、その指示に従って同様に静止画像の撮影指示(取得指示)を行う(ステップS108:静止画像取得指示工程)。取得指示受付部204Bは、静止画像の撮影指示(取得指示)を受け付ける(ステップS110:取得指示受付工程)。
静止画像の撮影指示(取得指示)が受け付けられると、画像取得部204Aは、画像取得制御部204Cの制御により第1動画像の1フレームを第1静止画像として取得する(ステップS112:静止画像取得工程、静止画像取得処理)。第1静止画像としてするフレームは上述した処理により注目領域が検出されたフレームとすることができるが、他のフレーム(例えば、注目領域を検出したフレームとの撮影時間差がしきい値以下の他のフレーム)でもよい。また画像取得部204Aは、画像取得制御部204Cの制御により光源制御部350を制御し、白色光(第1観察光)に代えて青色光源310Bを発光させて狭帯域光としての青色光(第2観察光)を被検体に照射して、撮影光学系130、撮像素子134等により被検体の第2静止画像を撮影(取得)する(ステップS114:静止画像取得工程、静止画像取得処理)。
図8は、第1の実施形態における第1画像(第1動画像、第1静止画像)及び第2画像(第2静止画像)の取得の例を示す図である。これらの図は、時間軸tに沿って図の左側から右側に向けて画像が取得されていく様子を示している。図8の(a)部分は、第1観察光(白色光、通常光)による第1動画像500(第1画像)を指定されたフレームレート(フレーム間隔:Δt)で連続的に撮影する様子を示している。図8の(b)部分は(t=t1)のタイミングで静止画像の取得指示が受け付けられ、これに応じて動画像600中の画像605(第1画像)が第1静止画像701として取得され(ステップS112)、画像606(第2画像)が第2静止画像702として取得された(ステップS114)様子を示している。なお、静止画像の取得指示に応じて第1,第2静止画像を複数撮影してもよい。
画像加工部204Hは、第1静止画像701及び/または第2静止画像702に対し画像処理を施して観察用静止画像を生成する(ステップS116:画像処理工程)。画像加工部204Hは、白色光画像、特殊光画像、及びこれらの組合せによる画像を生成することができる。また画像加工部204Hは、カラーバランス調整、血管強調、特徴量強調、差分強調、またはこれらの処理を施した画像を合成する等の画像処理を行って観察用画像、分類(鑑別)用画像等の画像を生成することができる。例えば、画像加工部204Hは白色光画像と青色狭帯域光画像から青色領域強調画像を生成することができる。青色領域強調画像では、臓器の粘膜表層の微細な血管や粘膜の微細な構造などを強調して表示することができる。また、画像加工部204Hは赤色領域強調画像を生成することができる。赤色領域強調画像では、画像の赤色領域のわずかな色の違いを強調して表示することができる。なお、白色光画像は通常の観察に適した画像である。これらの観察用画像により、ユーザは効率的に観察を行うことができる。どのような画像処理を施すかをユーザの指示に応じて決定してもよいし、ユーザの指示によらずに画像加工部204Hが決定してもよい。なお、画像加工部204Hは、生成した観察用静止画像を観察用静止画像207Eとして記録部207に記録することができる。
第1の実施形態では、波長分離に起因する画質低下防止のために観察光としては第1観察光または第2観察光のみを照射し第1観察光と第2観察光は同時照射しないので、第2観察光の照射タイミングでは第1画像は得られない。例えば、図8の(b)部分に示すパターンで第1静止画像及び第2静止画像を取得する場合、画像606(第2静止画像)の取得タイミングでは第1静止画像が取得できない。そこで第1の実施形態では、以下のように「位置合わせ第1画像」(「第1画像に対して位置合わせのパラメータを適用することにより生成した、第2画像の撮影時刻における第1画像」)を生成し表示することで、第1画像についての実質的なフレームレートの低下を防止している(ステップS118:位置合わせ第1画像生成工程)。位置合わせ第1画像の生成処理については、詳細を後述する。
注目領域検出部204Fは、第1静止画像及び/または第2静止画像から、被写体としての注目領域を検出する(ステップS119:第2の注目領域検出工程)。注目領域の検出は、ステップS103における第1の注目領域検出工程と同様に行うことができる。なお、ステップS103の処理で注目領域が検出された第1動画像のフレームを第1静止画像として取得している場合は、その第1静止画像に対する再度の検出処理は省略することができる。
分類部204Eは、ステップS119において第2静止画像から検出した注目領域(被写体の一例)を分類(鑑別)する(ステップS120:分類工程)。分類の例としては、病変の病種(過形成ポリープ、腺腫、粘膜内癌、浸潤癌など)、病変の範囲、病変のサイズ、病変の肉眼形、癌のステージ診断、管腔内の現在位置(上部であれば咽頭、食道、胃、十二指腸等、下部であれば盲腸、上行結腸、横行結腸、下行結腸、S状結腸、直腸等)等を挙げることができる。これらの分類においても、検出の場合と同様に機械学習(深層学習)の結果を利用することができる。また、注目領域の分類は検出と一体として行ってもよい。なお、第1観察光が白色光、第2観察光が青色狭帯域光の場合、分類部204Eは、第1静止画像及び第2静止画像のうち少なくとも第2静止画像に基づいて注目領域(被写体)を分類することが好ましい。これは、上述の例では第2静止画像は第1観察光(白色光)よりも中心波長が短い青色狭帯域光により撮影されており、病変等の微細な構造を分類するのに適しているからである。なお、どのような画像に基づいて注目領域を分類するかは、操作部208を介したユーザの操作に基づいて設定してもよいし、ユーザの操作によらずに分類部204Eが設定してもよい。
表示制御部204Dは、静止画像(第1静止画像、第2静止画像、観察用静止画像)をモニタ400(表示装置)に表示させる(ステップS122:静止画像表示工程)。表示する静止画像は、取得した第1静止画像及び第2静止画像の他に、ステップS116で生成した観察用静止画像でもよい。これらの静止画像は種々のパターンで表示することができる。例えば図9の(a)部分に示すようにモニタ400に動画像800を連続的に表示しつつ、別の表示領域に第1静止画像802を表示してもよい。また、図9の(b)部分に示すように第1静止画像802に加えて第2静止画像804を表示してもよい。なお、表示する静止画像の数は1つに限らず、複数表示してもよい。複数の静止画像を表示する場合、静止画像が取得される度に表示を追加し、表示領域が一杯になったら古い静止画像を消去して新たに取得された静止画像を表示してもよい。また、図9のように動画像と静止画像を並行して表示する態様に代えて、図10に示すように静止画像806(第1静止画像及び/または第2静止画像)のみを一定期間フリーズ表示(同一の静止画像の表示を継続)してもよい。図9,10に例示する静止画像の表示により、ユーザは分類(鑑別)に利用された画像等の静止画像を診断(観察)中に確認することができ、画像にボケ、ハレーション、水かぶり等の不備があれば再度撮影を指示する等の対応が可能となる。
表示制御部204Dは、分類の結果を示す情報を静止画像と併せてモニタ400(表示装置)に表示してもよい(ステップS124:分類結果表示工程)。図11は分類結果の表示例を示す図であり、動画像800に加えて静止画像808,810,812とそれら静止画像に対する分類結果を示している。図11において「adenoma」は「腺腫」を示す。このような分類結果の表示により、ユーザは静止画像の質と分類(鑑別)結果を同時に評価できるため、同一病変の鑑別結果が異なる場合にどの結果を信頼すべきかの判断が可能となる。なお、分類部204E及び注目領域検出部204Fは、注目領域の検出結果及び/または分類結果を示す情報を、音声処理部209及びスピーカ209Aを介して音声で報知してもよい。
画像及び分類結果の表示において、表示制御部204D、分類部204E、及び注目領域検出部204Fは、注目領域を強調表示することができる。情報の出力は、表示制御部204D、分類部204E、及び注目領域検出部204F等が例えば注目領域の位置、大きさを示す文字、数字、記号、色彩等を第1静止画像及び/または第2静止画像に重畳表示することにより行うことができる。図12はそのような強調表示の例であり、図11に示す分類結果の表示に加え、分類の対象となった注目領域を囲む矩形820を表示した場合を示している。強調表示は、図9,10に示す表示態様(分類結果の表示なし)に対して行ってもよい。図13は、図9に示す態様において強調表示を行った例を示す図である。注目領域を強調表示せずに第1静止画像及び/または第2静止画像を表示した場合、ユーザは画像全体にわたって注目領域を確認する必要があるが、このような注目領域の強調表示により、ユーザはどの領域を対象として注目領域の検出や分類が行われたのか容易に確認できる。また仮に注目領域の検出が誤検出であった場合には、第1静止画像及び/または第2静止画像に注目領域が含まれず誤検出であることを容易に判断することができる。なお、注目領域の強調は図12,13に示す例(矩形の表示)の他に円形、十字、矢印等特定の図形でマーキングする、重畳処理、色調や階調の変更、周波数処理等により行うことができるが、このような態様に限定されるものではない。
分類結果保存部204Gは、分類の結果を第1静止画像及び/または第2静止画像と関連付けて、注目領域分類結果207Fとして記録部207に保存する(ステップS126:分類結果保存工程)。分類の結果は、上述した観察用静止画像と関連付けてもよい。図14,15は分類結果と画像とを関連付けて保存する例を示す図である。図14は、記録部207に作成されたメインフォルダ1000の中に、動画像に関連付けられたサブフォルダ1010,1020,1030,1040,1050,1060が格納されている様子を示している。図15はサブフォルダ1010に格納された画像及び情報を示す図であり、動画像1011及び動画像1011に関連付けられたサブフォルダ1012,1013が格納され、これにより動画像1011とサブフォルダ1012,1013が関連付けされた様子を示している。サブフォルダ1012には第1静止画像1012A、第2静止画像1012B、観察用静止画像1012C、及び分類結果1012Dが格納され、これら静止画像と分類結果が関連することを示している。同様にサブフォルダ1013には第1静止画像1013A、第2静止画像1013B、観察用静止画像1013C、及び分類結果1013Dが格納され、これら静止画像と分類結果が関連することを示している。このようなフォルダ分けした保存により、ユーザは画像と分類結果の対応を容易に把握することができる。
以下、図16のフローチャートを参照しつつ、図7のステップS118における位置合わせ第1画像についての処理について詳細に説明する。
位置合わせ第1画像の生成には、例えば図8の(b)部分の画像605(第1静止画像701)と画像606(第2静止画像702)のように、第1静止画像の欠落タイミング(第2静止画像である画像606の撮影タイミング)より前に取得された第1静止画像(画像605)を使用することができる。具体的には、「第2静止画像の撮影時刻より前であって第2静止画像の撮影時刻との時間差が第1のしきい値以下である撮影時刻に撮影された第1静止画像」を用いることができる。これにより、フレーム間での被写体の色味及び構造の変化が小さい位置合わせ第1画像を生成することができる。撮影時刻に対するしきい値(第1のしきい値)は、位置合わせ精度、画像の生成及び表示の遅れに対する許容時間等に応じて定めることができる。以下では、第1静止画像としての画像605(第1静止画像701)及び第2静止画像としての画像606(第2静止画像702)を用いて位置合わせ第1画像を生成する場合について説明する。
第1静止画像と第2静止画像とでは、撮影タイミングに加えて観察光の波長が異なっている。これにより白色光を観察光とする第1静止画像701では、例えば図17の(a)部分に示すように太い血管601は鮮明に映っているが、細かい血管602ははっきり映っていない。これに対し青色狭帯域光を観察光とする第2静止画像702では、例えば図17の(b)部分に示すように、第1静止画像701と比較して太い血管601は不鮮明であるが、細かい血管602は鮮明に映っている。そこで第1の実施形態では、画像処理部204(パラメータ算出部204I)は第1観察光と第2観察光との相違に起因する第1静止画像と第2静止画像との差異を低減させる補正(前処理)を行う(ステップS200:画像補正工程)。
パラメータ算出部204Iは、補正(前処理)を施した第1静止画像701と第2静止画像702とを位置合わせにより一致させるパラメータを算出する(ステップS202:パラメータ算出工程)。算出するパラメータは相対的な移動、回転、及び変形のうち少なくとも1つについてのパラメータであり、「変形」は拡大または縮小を含んでいてよい。画像生成部204Jは、生成したパラメータを補正後の第1静止画像701に適用して位置合わせ第1画像を生成する(ステップS204:画像生成工程)。なお、ステップS202、S204では、パラメータ算出部204Iが第1静止画像と第2静止画像との間の射影変換を行うパラメータを算出し、画像生成部204Jが算出したパラメータに基づく射影変換を第1静止画像に施して位置合わせ第1画像を生成することができる。位置合わせ第1画像の例(画像710)を図19に示す。上述のように、パラメータ算出の際に第2静止画像を用いているが、位置合わせ第1画像は第1静止画像が移動、変形等されて生成されるので、第2静止画像の画素値の影響により位置合わせ第1画像の色味が変化することはない。
表示制御部204D及び画像生成部204Jは、位置合わせ第1画像をモニタ400(表示装置)に表示させる(ステップS206:表示制御工程)。また、表示制御部204D及び画像生成部204Jは、生成した位置合わせ第1画像を「位置合わせ第1画像207D」として記録部207に記録する(ステップS208:位置合わせ第1画像記録工程)。位置合わせ第1画像の表示及び記録は、第1動画像の各フレームの表示及び記録に続いて順次行うことができる。このような順次表示は、被写体の検査中にリアルタイムに行ってもよいし、第1動画像及び位置合わせ第1画像を記録部207に記録しておき(第1動画像207A,位置合わせ第1画像207D)ユーザが後から画像を見返す際に行ってもよい。なお、第1画像について上述した補正(青色光成分の重み付け)を行って位置合わせ第1画像を生成している場合、位置合わせ第1画像を出力(表示等)する際に、画像生成部204Jが波長成分のバランスを元に戻して白色光と同じにしてもよい。これにより、波長バランスの異なる画像がモニタ400に表示されてユーザが違和感を覚えるのを防ぐことができる。
本発明の内視鏡システムにおける光源の他の構成の例、及びその場合に本発明の画像処理装置を適用する効果について説明する
(例1)
図20に示すように、光源装置320(光源装置)は、励起光としての白色光用レーザを照射する白色光用レーザ光源312(白色光用レーザ光源)と、白色光用レーザを照射されることにより第1観察光としての白色光を発光する蛍光体314(蛍光体)と、第2観察光としての狭帯域光(例えば、青色狭帯域光とすることができるが、緑色狭帯域光、赤色狭帯域光でもよい)を照射する狭帯域光用レーザ光源316(狭帯域光用レーザ光源)と、を備える。光源装置320は光源制御部350により制御される。なお、図20において、内視鏡システム10の構成要素のうち光源装置320及び光源制御部350以外は図示を省略している。
図21に示すように、光源装置322(光源装置)は、白色光を発光する白色光源318(白色光源)と、白色光を透過させる白色光領域と狭帯域光を透過させる狭帯域光領域とが形成された回転フィルタ360(白色光フィルタ、狭帯域光フィルタ)と、回転フィルタ360の回転を制御して白色光の光路に白色光領域または狭帯域光領域を挿入する回転フィルタ制御部363(第1のフィルタ切替制御部)とを備える。白色光源318及び回転フィルタ制御部363は光源制御部350により制御される。なお、図21において、内視鏡システム10の構成要素のうち光源装置322及び光源制御部350以外は図示を省略している。
上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
蛍光は、ピークが390以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
特定の波長帯域の信号は、通常光画像に含まれるRGBあるいはCMYの色情報に基づく演算により得る医療画像処理装置。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
付記1から18のいずれか1つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
付記1から18のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
付記1から18のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
100 内視鏡本体
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮影光学系
132 撮影レンズ
134 撮像素子
136 駆動回路
138 AFE
141 送気送水ボタン
142 吸引ボタン
143 機能ボタン
144 撮影ボタン
170 ライトガイド
200 プロセッサ
202 画像入力コントローラ
204 画像処理部
204A 画像取得部
204B 取得指示受付部
204C 画像取得制御部
204D 表示制御部
204E 分類部
204F 注目領域検出部
204G 分類結果保存部
204H 画像加工部
204I パラメータ算出部
204J 画像生成部
205 通信制御部
206 ビデオ出力部
207 記録部
207A 第1動画像
207B 第1静止画像
207C 第2静止画像
207D 位置合わせ第1画像
207E 観察用静止画像
207F 注目領域分類結果
208 操作部
209 音声処理部
209A スピーカ
210 CPU
211 ROM
212 RAM
300 光源装置
310 光源
310B 青色光源
310G 緑色光源
310R 赤色光源
312 白色光用レーザ光源
314 蛍光体
316 狭帯域光用レーザ光源
318 白色光源
320 光源装置
322 光源装置
330 絞り
340 集光レンズ
350 光源制御部
360 回転フィルタ
361 回転軸
362 白色光領域
363 回転フィルタ制御部
364 狭帯域光領域
365 第1狭帯域光領域
367 第2狭帯域光領域
369 回転フィルタ
400 モニタ
500 第1動画像
600 動画像
601 血管
602 血管
604 画像
605 画像
606 画像
607 画像
608 画像
701 第1静止画像
702 第2静止画像
710 画像
800 動画像
802 第1静止画像
804 第2静止画像
806 静止画像
808 静止画像
810 静止画像
812 静止画像
820 矩形
1000 メインフォルダ
1010 サブフォルダ
1011 動画像
1012 サブフォルダ
1012A 第1静止画像
1012B 第2静止画像
1012C 観察用静止画像
1012D 分類結果
1013 サブフォルダ
1013A 第1静止画像
1013B 第2静止画像
1013C 観察用静止画像
1013D 分類結果
1020 サブフォルダ
1030 サブフォルダ
1040 サブフォルダ
1050 サブフォルダ
1060 サブフォルダ
S100~S208 画像処理方法の各ステップ
t 時間軸
Claims (29)
- 通常光により撮影された複数の第1画像を順次取得する画像取得部と、
特殊光により撮影された第2画像の取得指示を受け付ける取得指示受付部と、
前記複数の第1画像を表示装置の第1領域に順次表示させる表示制御部と、
前記複数の第1画像のそれぞれから病変を検出する注目領域検出部と、
前記第2画像から前記注目領域検出部により検出された前記病変を分類する分類部と、
を備え、
前記画像取得部は、前記取得指示の受け付けに応じて前記複数の第1画像の撮影の間に、前記複数の第1画像と異なるタイミングで前記第2画像を取得し、
前記表示制御部は、前記表示装置の前記第1領域と異なる第2領域に、前記第2画像及び前記第2画像の前記分類部による前記分類の結果を前記第1領域に順次表示される前記複数の第1画像とともに表示させる画像処理装置。 - 前記特殊光の波長帯域は前記通常光の波長帯域よりも狭く、かつ、前記特殊光は390nm以上450nm以下の波長帯域内にピーク波長を有する請求項1に記載の画像処理装置。
- 前記分類部は機械学習により構築された学習器により前記分類を行う請求項1または2に記載の画像処理装置。
- 前記画像取得部は、前記病変が検出された場合は前記取得指示受付部に対し前記第2画像の取得を指示する請求項1から3のいずれか1項に記載の画像処理装置。
- 前記注目領域検出部は前記第2画像から前記病変を検出し、
前記表示制御部は、前記第2画像を、前記検出した前記病変を強調して前記表示装置に表示させる請求項4に記載の画像処理装置。 - 前記注目領域検出部は機械学習により構築された学習器により前記分類を行う請求項4または5に記載の画像処理装置。
- 前記分類の結果を前記第1画像及び/または前記第2画像と関連付けて保存する分類結果保存部をさらに備える請求項1から6のいずれか1項に記載の画像処理装置。
- 前記分類結果保存部は、前記第1画像に対応する第1静止画像と、前記第2画像に対応する第2静止画像と、前記第1静止画像または前記第2静止画像に画像処理を施した観察用静止画像と、のうち少なくとも1つを前記分類の結果と同一の記憶領域に保存する請求項7に記載の画像処理装置。
- 前記分類結果保存部は、あらかじめ決められた病変が発見された検査について前記分類の結果を保存する請求項7または8に記載の画像処理装置。
- 前記分類結果保存部は、あらかじめ決められた目的の検査について前記分類の結果を保存する請求項7から9のいずれか1項に記載の画像処理装置。
- 前記第1画像及び/または前記第2画像に対し画像処理を施す画像加工部をさらに備え、
前記表示制御部は前記画像処理により得られた画像を前記表示装置に表示させる請求項1から10のいずれか1項に記載の画像処理装置。 - 前記第1画像と前記第2画像とを位置合わせするパラメータを算出するパラメータ算出部と、
前記パラメータを前記第1画像に適用して位置合わせ第1画像を生成する画像生成部と、
をさらに備え、
前記表示制御部は、前記第2画像を取得したタイミングでは前記位置合わせ第1画像を前記表示装置に表示させる請求項1から11のいずれか1項に記載の画像処理装置。 - 前記パラメータ算出部は、前記第2画像と、前記第2画像の撮影時刻との時間差が第1のしきい値以下である撮影時刻に撮影された前記第1画像と、を位置合わせする前記パラメータを算出する請求項12に記載の画像処理装置。
- 前記パラメータ算出部は、前記第1画像の画像信号と前記第2画像の画像信号のうち、前記通常光の波長と前記特殊光の波長とで共通する波長成分を抽出し、前記共通する波長成分の前記第1画像の画像信号成分に重みづけして、前記共通する波長成分以外の前記第1画像の画像信号成分の強度よりも前記共通する波長成分の前記第1画像の画像信号成分を相対的に強くした画像信号を生成すること、及び、前記共通する波長成分の前記第2画像の画像信号成分に重みづけして、前記共通する波長成分以外の前記第2画像の画像信号成分の強度よりも前記共通する波長成分の前記第2画像の画像信号成分を相対的に強くした画像信号を生成すること、の少なくともいずれかを行い、前記第1画像と前記第2画像とを位置合わせするパラメータを算出する請求項12または13に記載の画像処理装置。
- 前記パラメータ算出部は、前記第1画像の画像信号と前記第2画像の画像信号のうち、前記通常光の波長と前記特殊光の波長とで共通する波長成分を抽出し、前記共通する波長成分の前記第1画像の画像信号成分の生成、及び、前記共通する波長成分の前記第2画像の画像信号成分の生成を行い、前記第1画像と前記第2画像とを位置合わせするパラメータを算出する請求項12から14のいずれか1項に記載の画像処理装置。
- 前記表示制御部は、前記第2画像を取得したタイミングでは、前記第2画像の撮影時刻との時間差が第2のしきい値以下である撮影時刻に撮影された前記第1画像を前記表示装置に表示させる請求項1から15のいずれか1項に記載の画像処理装置。
- 前記画像取得部は、中心波長が前記通常光よりも短い光を前記特殊光として撮影された画像を前記第2画像として取得する請求項1から16のいずれか1項に記載の画像処理装置。
- 前記取得指示受付部はユーザによる静止画像の取得指示を前記取得指示として受け付ける請求項1から17のいずれか1項に記載の画像処理装置。
- 前記分類部は、前記病変に対し、病変の病種、病変の範囲、病変のサイズ、病変の肉眼形、癌のステージ診断、管腔内の現在位置のうち少なくとも1つについての分類を行う請求項1から18のいずれか1項に記載の画像処理装置。
- 請求項1から19のいずれか1項に記載の画像処理装置と、
前記表示装置と、
被検体に挿入される内視鏡スコープであって、前記第1画像または前記第2画像を撮影する撮影部を有する内視鏡スコープと、
前記通常光または前記特殊光を前記被検体に照射する光源装置と、
を備える内視鏡システム。 - 前記光源装置は、前記通常光として赤色、青色、及び緑色の波長帯域の光を含む白色光を前記被検体に照射し、前記特殊光として赤色、青色、及び緑色のうちいずれかの波長帯域に対応する狭帯域光を前記被検体に照射する請求項20に記載の内視鏡システム。
- 前記光源装置は、励起光としての白色光用レーザを照射する白色光用レーザ光源と、前記白色光用レーザを照射されることにより前記通常光としての前記白色光を発光する蛍光体と、前記特殊光としての前記狭帯域光を照射する狭帯域光用レーザ光源と、を備える請求項21に記載の内視鏡システム。
- 前記光源装置は、前記白色光を発光する白色光源と、前記白色光を透過させる白色光フィルタと、前記白色光のうち前記狭帯域光の成分を透過させる狭帯域光フィルタと、前記白色光源が発光する前記白色光の光路に前記白色光フィルタまたは前記狭帯域光フィルタを挿入する第1のフィルタ切替制御部と、を備える請求項21に記載の内視鏡システム。
- 前記光源装置は、前記通常光として赤色、青色、及び緑色のうちいずれかの波長帯域に対応する第1狭帯域光を前記被検体に照射し、前記特殊光として赤色、青色、及び緑色のうちいずれかの波長帯域に対応し前記第1狭帯域光とは波長帯域が異なる第2狭帯域光を前記被検体に照射する請求項20に記載の内視鏡システム。
- 前記光源装置は、赤色、青色、及び緑色の波長帯域の光を含む白色光を発光する白色光源と、前記白色光のうち前記第1狭帯域光の成分を透過させる第1狭帯域光フィルタと、前記白色光のうち前記第2狭帯域光の成分を透過させる第2狭帯域光フィルタと、前記白色光源が発光する前記白色光の光路に前記第1狭帯域光フィルタまたは前記第2狭帯域光フィルタを挿入する第2のフィルタ切替制御部と、を備える請求項24に記載の内視鏡システム。
- 画像取得部と、取得指示受付部と、表示制御部と、注目領域検出部と、分類部と、を備える画像処理装置の作動方法であって、
前記画像取得部が、通常光により撮影された複数の第1画像を順次取得する画像取得工程と、
前記取得指示受付部が、特殊光により撮影された第2画像の取得指示を受け付ける取得指示受付工程と、
前記表示制御部が、前記複数の第1画像を表示装置の第1領域に順次表示させる表示制御工程と、
前記注目領域検出部が、前記複数の第1画像のそれぞれから病変を検出する注目領域検出工程と、
前記分類部が、前記第2画像から前記注目領域検出部により検出された前記病変を分類する分類工程と、
を有し、
前記画像取得工程では、前記画像取得部が、前記取得指示の受け付けに応じて前記複数の第1画像の撮影の間に、前記複数の第1画像と異なるタイミングで前記第2画像を取得し、
前記表示制御工程では、前記表示制御部が、前記表示装置の前記第1領域と異なる第2領域に、前記第2画像及び前記第2画像の前記分類工程による分類結果を前記第1領域に順次表示される前記複数の第1画像とともに表示させる作動方法。 - 前記取得指示受付部は、前記取得指示受付工程において、前記通常光の波長帯域よりも狭く、かつ、390nm以上450mm以下の波長帯域内にピーク波長を有する光を前記特殊光として撮影された画像を第2画像として前記取得指示を受け付ける請求項26に記載の作動方法。
- 前記画像処理装置は、前記第1画像と前記第2画像とを位置合わせするパラメータを算出するパラメータ算出部と、前記パラメータを前記第1画像に適用して位置合わせ第1画像を生成する画像生成部と、をさらに備え、
前記表示制御部は、前記表示制御工程において、前記第2画像を取得したタイミングでは前記位置合わせ第1画像を前記表示装置に表示させる請求項26または27に記載の作動方法。 - 前記分類部は、前記分類工程において、前記病変に対し、病変の病種、病変の範囲、病変のサイズ、病変の肉眼形、癌のステージ診断、管腔内の現在位置のうち少なくとも1つについての分類を行う請求項26から28のいずれか1項に記載の作動方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018107152 | 2018-06-04 | ||
JP2018107152 | 2018-06-04 | ||
JP2020523601A JP6941233B2 (ja) | 2018-06-04 | 2019-05-20 | 画像処理装置、内視鏡システム、及び画像処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020523601A Division JP6941233B2 (ja) | 2018-06-04 | 2019-05-20 | 画像処理装置、内視鏡システム、及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022000163A JP2022000163A (ja) | 2022-01-04 |
JP7333805B2 true JP7333805B2 (ja) | 2023-08-25 |
Family
ID=68769606
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020523601A Active JP6941233B2 (ja) | 2018-06-04 | 2019-05-20 | 画像処理装置、内視鏡システム、及び画像処理方法 |
JP2021143713A Active JP7333805B2 (ja) | 2018-06-04 | 2021-09-03 | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020523601A Active JP6941233B2 (ja) | 2018-06-04 | 2019-05-20 | 画像処理装置、内視鏡システム、及び画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210076917A1 (ja) |
EP (1) | EP3804605A4 (ja) |
JP (2) | JP6941233B2 (ja) |
CN (1) | CN112218570A (ja) |
WO (1) | WO2019235195A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020023377A1 (en) * | 2018-07-23 | 2020-01-30 | The Regents Of The University Of California | Oral and oropharyngeal cancer screening system and methods of use |
WO2021149120A1 (ja) * | 2020-01-20 | 2021-07-29 | オリンパス株式会社 | 学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラム |
WO2021181967A1 (ja) | 2020-03-11 | 2021-09-16 | 富士フイルム株式会社 | 内視鏡システム、制御方法、及び制御プログラム |
CN115209785A (zh) | 2020-03-24 | 2022-10-18 | 富士胶片株式会社 | 内窥镜系统、控制方法及控制程序 |
WO2021199910A1 (ja) * | 2020-04-02 | 2021-10-07 | 富士フイルム株式会社 | 医用画像処理システム、医用画像処理システムの作動方法 |
WO2022009285A1 (ja) * | 2020-07-06 | 2022-01-13 | アイリス株式会社 | 処理装置、処理プログラム、処理方法及び処理システム |
WO2022198526A1 (en) * | 2021-03-24 | 2022-09-29 | Nec Corporation | Methods, devices and computer readable media for image processing |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001046326A (ja) | 1999-05-31 | 2001-02-20 | Olympus Optical Co Ltd | 内視鏡用データファイリングシステム |
JP2006198106A (ja) | 2005-01-19 | 2006-08-03 | Olympus Corp | 電子内視鏡装置 |
JP2007135989A (ja) | 2005-11-21 | 2007-06-07 | Olympus Corp | 分光内視鏡 |
JP2010172673A (ja) | 2009-02-02 | 2010-08-12 | Fujifilm Corp | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法 |
JP2014508021A (ja) | 2011-03-16 | 2014-04-03 | コーニンクレッカ フィリップス エヌ ヴェ | 頸部を検査する医療機器 |
JP2015047402A (ja) | 2013-09-03 | 2015-03-16 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0452614A (ja) * | 1990-06-20 | 1992-02-20 | Olympus Optical Co Ltd | 内視鏡 |
JP3560671B2 (ja) * | 1995-02-23 | 2004-09-02 | オリンパス株式会社 | 蛍光観察装置 |
JPH1189789A (ja) * | 1997-09-24 | 1999-04-06 | Olympus Optical Co Ltd | 蛍光画像装置 |
JP4520283B2 (ja) * | 2004-11-19 | 2010-08-04 | Hoya株式会社 | 電子内視鏡システム |
JP2007020727A (ja) * | 2005-07-13 | 2007-02-01 | Olympus Medical Systems Corp | 画像処理装置 |
JP5309120B2 (ja) * | 2010-12-20 | 2013-10-09 | 富士フイルム株式会社 | 内視鏡装置 |
JP5351924B2 (ja) * | 2011-04-01 | 2013-11-27 | 富士フイルム株式会社 | 生体情報取得システムおよび生体情報取得システムの作動方法 |
WO2012157338A1 (ja) * | 2011-05-17 | 2012-11-22 | オリンパスメディカルシステムズ株式会社 | 医療機器、医療画像におけるマーカ表示制御方法及び医療用プロセッサ |
JP5587932B2 (ja) * | 2012-03-14 | 2014-09-10 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
JP5841494B2 (ja) * | 2012-05-22 | 2016-01-13 | オリンパス株式会社 | 内視鏡システム |
WO2014002096A2 (en) * | 2012-06-29 | 2014-01-03 | Given Imaging Ltd. | System and method for displaying an image stream |
JP6389299B2 (ja) | 2013-09-26 | 2018-09-12 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法 |
JP6392570B2 (ja) * | 2014-07-11 | 2018-09-19 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム |
CN107708521B (zh) * | 2015-06-29 | 2020-06-12 | 奥林巴斯株式会社 | 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序 |
JP6660707B2 (ja) * | 2015-10-23 | 2020-03-11 | Hoya株式会社 | 内視鏡システム |
JPWO2017104192A1 (ja) * | 2015-12-17 | 2017-12-14 | オリンパス株式会社 | 医用観察システム |
EP3590413A4 (en) * | 2017-03-01 | 2020-03-25 | Fujifilm Corporation | ENDOSCOPE SYSTEM AND OPERATING METHOD THEREOF |
JP2019180966A (ja) * | 2018-04-13 | 2019-10-24 | 学校法人昭和大学 | 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム |
WO2019220859A1 (ja) * | 2018-05-14 | 2019-11-21 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
-
2019
- 2019-05-20 CN CN201980037237.8A patent/CN112218570A/zh active Pending
- 2019-05-20 EP EP19816059.0A patent/EP3804605A4/en active Pending
- 2019-05-20 JP JP2020523601A patent/JP6941233B2/ja active Active
- 2019-05-20 WO PCT/JP2019/019842 patent/WO2019235195A1/ja unknown
-
2020
- 2020-12-01 US US17/107,972 patent/US20210076917A1/en active Pending
-
2021
- 2021-09-03 JP JP2021143713A patent/JP7333805B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001046326A (ja) | 1999-05-31 | 2001-02-20 | Olympus Optical Co Ltd | 内視鏡用データファイリングシステム |
JP2006198106A (ja) | 2005-01-19 | 2006-08-03 | Olympus Corp | 電子内視鏡装置 |
JP2007135989A (ja) | 2005-11-21 | 2007-06-07 | Olympus Corp | 分光内視鏡 |
JP2010172673A (ja) | 2009-02-02 | 2010-08-12 | Fujifilm Corp | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法 |
JP2014508021A (ja) | 2011-03-16 | 2014-04-03 | コーニンクレッカ フィリップス エヌ ヴェ | 頸部を検査する医療機器 |
JP2015047402A (ja) | 2013-09-03 | 2015-03-16 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2022000163A (ja) | 2022-01-04 |
JPWO2019235195A1 (ja) | 2021-06-03 |
CN112218570A (zh) | 2021-01-12 |
EP3804605A1 (en) | 2021-04-14 |
WO2019235195A1 (ja) | 2019-12-12 |
US20210076917A1 (en) | 2021-03-18 |
EP3804605A4 (en) | 2021-08-18 |
JP6941233B2 (ja) | 2021-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7333805B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 | |
US20210235980A1 (en) | Medical-use image processing device, endoscope system, and medical-use image processing method | |
JP7170032B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
JP7048732B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
US10231658B2 (en) | Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device | |
US8734333B2 (en) | Endoscope system, endoscope video processor and method of driving endoscope system | |
WO2019138773A1 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム | |
JP7176041B2 (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
US12035879B2 (en) | Medical image processing apparatus, endoscope system, and medical image processing method | |
JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
JP2022162028A (ja) | 内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体 | |
WO2021157487A1 (ja) | 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム | |
US11911007B2 (en) | Image processing device, endoscope system, and image processing method | |
WO2022181748A1 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム | |
WO2022230607A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220801 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220922 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230815 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7333805 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |