JPWO2019167623A1 - 画像処理装置、内視鏡システム、及び画像処理方法 - Google Patents
画像処理装置、内視鏡システム、及び画像処理方法 Download PDFInfo
- Publication number
- JPWO2019167623A1 JPWO2019167623A1 JP2020502922A JP2020502922A JPWO2019167623A1 JP WO2019167623 A1 JPWO2019167623 A1 JP WO2019167623A1 JP 2020502922 A JP2020502922 A JP 2020502922A JP 2020502922 A JP2020502922 A JP 2020502922A JP WO2019167623 A1 JPWO2019167623 A1 JP WO2019167623A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- unit
- observation light
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00112—Connection or coupling means
- A61B1/00117—Optical cables in or with an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00112—Connection or coupling means
- A61B1/00121—Connectors, fasteners and adapters, e.g. on the endoscope handle
- A61B1/00126—Connectors, fasteners and adapters, e.g. on the endoscope handle optical, e.g. for light supply cables
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Endoscopes (AREA)
Abstract
Description
図1は、第1の実施形態に係る内視鏡システム10(画像処理装置、診断支援装置、内視鏡システム、医療画像処理装置)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体100(内視鏡)、プロセッサ200(プロセッサ、画像処理装置、医療画像処理装置)、光源装置300(光源装置)、及びモニタ400(表示装置)から構成される。
内視鏡本体100は、手元操作部102(操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者(ユーザ)は手元操作部102を把持して操作し、挿入部104を被検体(生体)の体内に挿入して観察する。また、手元操作部102には送気送水ボタンBT1、吸引ボタンBT2、及び各種の機能を割り付けられる機能ボタンBT3、及び撮影指示操作を受け付ける撮影ボタンBT4が設けられている。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。すなわち、先端硬質部116の基端側に湾曲部114が接続され、湾曲部114の基端側に軟性部112が接続される。挿入部104の基端側に手元操作部102が接続される。ユーザは、手元操作部102を操作することにより湾曲部114を湾曲させて先端硬質部116の向きを上下左右に変えることができる。先端硬質部116には、撮影光学系130(撮像部)、照明部123、鉗子口126等が設けられる(図1〜図3参照)。
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、観察光をライトガイド170に入射させる。光源310は、それぞれ赤色、緑色、青色の狭帯域光を照射する赤色光源310R、緑色光源310G、青色光源310Bを備えており、赤色、緑色、及び青色の狭帯域光を照射することができる。光源310による観察光の照度は光源制御部350により制御され、必要に応じて観察光の照度を下げること、及び照明を停止することができる。
光源310は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、390nm以上450nm以下、または530nm以上550nm以下の波長帯域を含み、かつ、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、585nm以上615nm以下、または610nm以上730nm以下、の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有していてもよい。
図2に基づきプロセッサ200の構成を説明する。プロセッサ200は、内視鏡本体100から出力される画像信号を画像入力コントローラ202及び画像入力インタフェース205を介して入力し、画像処理部204で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像(生体内画像)が表示される。これらの処理はCPU210(CPU:Central Processing Unit)の制御下で行われる。すなわち、CPU210は画像取得部、医用画像取得部、画像入力部、パラメータ算出部、画像生成部、表示制御部、画像補正部、検出部、分類部、第1の出力部、第2の出力部としての機能を有する。記憶部207には、被写体の画像(医用画像、撮影画像)、関心領域の検出及び/または分類結果を示す情報等が記憶される。音声処理部209は、CPU210及び画像処理部204の制御により、関心領域の検出及び/または分類の結果に応じたメッセージ(音声)等をスピーカ209Aから出力する。
図4は画像処理部204(医療画像取得部、医療画像解析処理部、医療画像解析結果取得部)の機能構成を示す図である。画像処理部204は撮影制御部204A(画像入力部)、画像入力部204B(画像入力部)、パラメータ算出部204C(パラメータ算出部)、画像生成部204D(画像生成部)、表示制御部204E(表示制御部)、画像補正部204F(画像補正部)、関心領域検出部204G(検出部)、関心領域分類部204H(分類部)、検出結果出力部204I(第1の出力部)、及び分類結果出力部204J(第2の出力部)を有する。関心領域検出部204G及び関心領域分類部204Hは医療画像解析処理部としても動作する。
プロセッサ200は操作部208を備えている。操作部208は図示せぬ操作モード設定スイッチ等を備えており、ユーザは操作部208を介して観察光の波長(白色光か狭帯域光か、狭帯域光の場合いずれの狭帯域光を用いるか)を設定することができる。また、操作部208は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件及び表示条件の設定操作を行うことができる。これらの設定操作は図示せぬフットスイッチを介して行っても良いし、音声、視線、ジェスチャ等により行ってもよい。なお、操作モードの設定は、上述のように手元操作部102の機能ボタンBT3(図1参照)に操作モード設定機能を割り付けて行ってもよい。
記憶部207(記録装置)は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体を含んで構成され、撮影画像(第1画像、第2画像)、位置合わせ第1画像、関心領域を示す情報、関心領域の分類結果を示す情報等を互いに関連付けて記憶する。これらの画像及び情報は、操作部208を介した操作、CPU210及び/または画像処理部204の制御によりモニタ400に表示される。
モニタ400(表示装置)は、操作部208を介した操作、CPU210及び/または画像処理部204の制御により第1画像、第2画像、位置合わせ第1画像、撮影条件設定画面、表示条件設定画面、関心領域の検出結果を示す情報、関心領域の分類結果を示す情報等を表示する。また、モニタ400は撮影条件設定操作及び/または表示条件設定操作を行うための図示せぬタッチパネルを有する。
内視鏡システム10を用いた画像処理方法について説明する。図5,6は第1の実施形態に係る画像処理方法の処理を示すフローチャートである。
第1の実施形態では、白色光を観察光(第1観察光)とした白色光画像(通常画像)を第1画像として取得し、狭帯域光としての青色光(中心波長は第1観察光より短い)を観察光(第2観察光)とした青色光画像(特殊光画像)を第2画像として取得する場合について説明する。しかしながら、本発明において観察光はこのような組合せに限定されるものではない。例えば、第2画像は狭帯域光としての緑色光、赤色光、赤外光、紫色光等を観察光として取得した特殊光画像でもよい。また、第1観察光、第2観察光の双方を狭帯域光(例えば青色光と緑色光、あるいは波長の異なる赤色光等の、第1狭帯域光及び第2狭帯域光)としてとして第1画像及び第2画像を取得してもよい。なお、第1の実施形態では、1つのフレームでは第1観察光のみ、または第2観察光のみを照射して第1画像、第2画像を撮影するものとする。
図7は、第1の実施形態における第1画像及び第2画像の取得パターンの例を示す図である。図7の(a)部分は、第1観察光(白色光、通常光)と第2観察光(青色狭帯域光、特殊光)とを例えば毎秒30フレーム、60フレーム等の指定されたフレームレート(フレーム間隔:Δt)で交互に照射するパターンを示しており、これにより白色光画像(画像i1,i3,i5,i7,i9,i11)と、青色光画像(画像i2,i4,i6,i8,i10,i12)が交互に得られる。白色光画像と青色光画像とはそれぞれ異なる時刻に撮影された画像である。これに対し図7の(b)部分は、第1観察光(白色光、通常光)を5フレーム連続して照射して5枚の白色光画像(画像i1〜i5,i7〜i11)を撮影し、次いで1フレームで第2観察光(青色狭帯域光、特殊光)照射して1枚の青色光画像(画像i6,i12)を撮影するパターンを示している。このパターンにおいても、白色光画像と青色光画像とはそれぞれ異なる時刻に撮影された画像である。これらの撮影パターンは、操作部208を介したユーザの操作により撮影制御部204Aが設定することができる。
CPU210及び撮影制御部204Aは、上述した撮影パターンに基づいて光源制御部350を制御して赤色光源310R、緑色光源310G、及び青色光源310Bを発光させて白色光(第1観察光)を被検体に照射し(ステップS100:撮影工程、画像入力工程)、撮影光学系130、撮像素子134等により被検体の画像(第1画像)を撮影する(ステップS110:撮影工程、画像入力工程)。画像入力部204Bは、画像入力コントローラ202及び画像入力インタフェース205を介して、撮影した画像を入力する(ステップS120:画像入力工程)。
関心領域検出部204Gは、入力(取得)された第1画像から関心領域を検出する(ステップS130:関心領域検出工程)。関心領域の検出は、関心領域検出部204Gが例えば公知のCADシステム(CAD:Computer Aided Diagnosis)を備えることにより行うことができる。具体的には、例えば医用画像の画素の特徴量に基づいて、関心領域(注目すべき領域である注目領域)及び関心領域における対象(注目すべき対象)の有無を抽出することができる。この場合、関心領域検出部204Gは検出対象画像を例えば複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定する。関心領域検出部204Gは検出対象画像の局所領域ごとに局所領域内の画素の特徴量(例えば色相)を算出し、各局所領域の中から特定の色相を有する局所領域を関心領域として決定する。
関心領域の検出は、深層学習の結果を利用して行ってもよい。例えば、新たな画像が記憶部207に記憶されるごとに(または新たな画像が撮影されるごとに)、関心領域検出部204Gが深層学習アルゴリズムに基づき深層学習(ディープラーニング)を用いた画像解析処理を行うことにより、画像に関心領域が含まれるか否かを解析する。深層学習アルゴリズムとしては、公知のコンボリューションニューラルネットワーク(畳み込みニューラルネットワーク)の手法、すなわち畳み込み層及びプーリング層の繰り返しと、全結合層と、出力層とを経て、画像に関心領域が含まれている否かを認識するアルゴリズムを用いることができる。深層学習を用いた画像解析処理においては、「関心領域である」あるいは「関心領域ではない」とのラベルを付した画像を教師データとして与えて生成した学習器を用いてもよい。「このような機械学習を行うか否か」、及び/または「学習結果を利用するか否か」を、操作部208及びモニタ400を介したユーザの操作に応じて設定してもよい。
関心領域分類部204Hは、ステップS130で検出した関心領域を分類する(ステップS140:関心領域分類工程)。分類の例としては、ポリープの分類(腫瘍性か非腫瘍性か)、癌のステージ診断、管腔内の現在位置(上部であれば咽頭、食道、胃、十二指腸等、下部であれば盲腸、上行結腸、横行結腸、下行結腸、S状結腸、直腸等)等を挙げることができる。これらの分類においても、検出の場合と同様に機械学習(深層学習)の結果を利用することができる。なお、関心領域の分類は検出と一体として行ってもよい。
表示制御部204E、検出結果出力部204I、及び分類結果出力部204Jは、白色光画像(第1画像)についての出力を行う(ステップS150:第1の出力工程、第2の出力工程)。出力は、表示制御部204E、検出結果出力部204I、及び分類結果出力部204Jが白色光画像(第1画像)、検出結果を示す情報、分類結果を示す情報をモニタ400に表示する(表示制御工程、第1の出力工程、第2の出力工程)ことにより行うことができる。また、これらの情報を記憶部207に記憶する(第1の出力工程、第2の出力工程)ことにより出力を行うこともできる。関心領域の検出結果及び/または分類結果を示す情報を、音声処理部209及びスピーカ209Aを介して音声で報知(第1の出力工程、第2の出力工程)してもよい。これらの態様の出力により、ユーザは関心領域及びその検出結果、分類結果を容易に認識することができる。なお、第1画像についての表示例は後述する(図9〜12を参照)。また、第1の実施形態において、第1画像(及び後述する位置合わせ第1画像)を動画像として連続的に記録しつつ、関心領域が検出されたフレームを静止画像として記録してもよい。
上述のように、第1観察光による画像取得がNフレーム行われるとステップS160の判断がYESになり、ステップS170へ進んで第2観察光による画像取得が行われる。第1の実施形態において、第2観察光は第1観察光(白色光、通常光)より中心波長が短い狭帯域光(例えば青色狭帯域光)とすることができる。
第1の実施形態では、観察光としては第1観察光または第2観察光のみを照射し第1観察光と第2観察光は同時照射しないので、第2観察光の照射タイミングでは第1画像は得られない。そこで第1の実施形態では、以下のように「位置合わせ第1画像」(「第1画像に対して位置合わせのパラメータを適用することにより生成した、第2画像の撮影時刻における第1画像」)を生成し表示することで、第1画像についての実質的なフレームレートの低下を防止している。
位置合わせ第1画像の生成には、例えば図7(a)、(b)部分の画像i5(第1画像の例)と画像i6(第2画像の例)のように、第1画像の欠落タイミング(第2画像である画像i6の撮影タイミング)より前に取得された第1画像(画像i5)を使用することができる。また、このようなパターン以外に、例えば撮影時刻が異なる複数の第1画像(図7の(b)部分では、例えば画像i4,i5)を位置合わせ第1画像の生成に用いてもよいし、第1画像の欠落タイミングより後に取得された第1画像(図7の(b)部分では、例えば画像i7)を用いてもよい。しかしながら、第2画像の撮影時刻より後の撮影時刻に撮影された第1画像を用いる場合、撮影時刻の時間差によっては位置合わせ第1画像の生成及び表示が遅れる可能性がある。また、撮影時刻の時間差がしきい値を超える場合、被写体の動き等に起因して撮影範囲、撮影角度等が変化し、位置合わせ精度が低下する可能性がある。
第1画像と第2画像とでは、撮影タイミングに加えて観察光の波長が異なっている。これにより白色光を観察光とする第1画像(画像i5)では、例えば図8の(a)部分に示すように太い血管V1は鮮明に映っているが、細かい血管V2ははっきり映っていない。これに対し青色狭帯域光を観察光とする第2画像(画像i6)では、例えば図8の(b)部分に示すように、第1画像と比較して太い血管V1は不鮮明であるが、細かい血管V2は鮮明に映っている。そこで第1の実施形態では、画像処理部204(画像補正部204F)は第1観察光と第2観察光との相違に起因する第1画像と第2画像との差異を低減させる補正(前処理)を行う(ステップS230:画像補正工程)。
パラメータ算出部204Cは、補正(前処理)を施した画像i5(第1画像)と画像i6(第2画像)とを位置合わせにより一致させるパラメータを算出する(ステップS240:パラメータ算出工程)。算出するパラメータは相対的な移動、回転、及び変形のうち少なくとも1つについてのパラメータであり、「変形」は拡大または縮小を含んでいてよい。画像生成部204Dは、生成したパラメータを補正後の第1画像(画像i5)に適用して位置合わせ第1画像を生成する(ステップS250:画像生成工程)。なお、ステップS240、S250では、パラメータ算出部204Cが第1画像と第2画像との間の射影変換を行うパラメータを算出し、画像生成部204Dが算出したパラメータに基づく射影変換を第1画像に施して位置合わせ第1画像を生成することができる。位置合わせ第1画像の例(画像i5A)を図10に示す。上述のように、パラメータ算出の際に第2画像を用いているが、位置合わせ第1画像は第1画像が移動、変形等されて生成されるので、第2画像の画素値の影響により位置合わせ第1画像の色味が変化することはない。
関心領域検出部204Gは、生成した位置合わせ第1画像から関心領域を検出する(ステップS260:関心領域検出工程)。また、関心領域分類部204Hは、検出した関心領域を分類する(ステップS270:関心領域分類工程)。関心領域の検出及び分類はステップS130,S140について上述したのと同様に行うことができ、検出と分類とを一体として行ってもよい。
表示制御部204E、検出結果出力部204I、及び分類結果出力部204Jは、位置合わせ第1画像についての出力を行う(ステップS280:表示制御工程、第1の出力工程、第2の出力工程)。位置合わせ第1画像についての出力は、第1画像について上述したのと同様に表示制御部204E、検出結果出力部204I、及び分類結果出力部204Jが位置合わせ第1画像、関心領域の検出結果を示す情報、関心領域の分類結果を示す情報をモニタ400に表示する(表示制御工程、第1の出力工程、第2の出力工程)ことにより行うことができる。また、これらの情報を記憶部207に記憶する(第1の出力工程、第2の出力工程)ことにより出力を行うこともできる。位置合わせ第1画像についての出力は、第1画像についての出力に続いて順次行うことができる。例えば、表示制御部204EはNフレームの第1画像の表示と1フレームの位置合わせ第1画像の表示とを繰り返す(順次表示)。このような順次表示は、被写体の検査中にリアルタイムに行ってもよいし、第1画像及び位置合わせ第1画像を記憶部207に記憶しておきユーザが後から画像を見返す際に行ってもよい。なお、第1画像について上述した補正(青色光成分の重み付け)を行って位置合わせ第1画像を生成している場合、位置合わせ第1画像を出力(表示等)する際に、画像補正部204Fが波長成分のバランスを元に戻して白色光と同じにしてもよい。これにより、波長バランスの異なる画像がモニタ400に表示されてユーザが違和感を覚えるのを防ぐことができる。
第1画像及び位置合わせ第1画像についての出力(ステップS150、S280)において、表示制御部204E、検出結果出力部204I、分類結果出力部204Jは、第1画像及び/または位置合わせ第1画像から関心領域が検出されている場合は、関心領域の検出結果を示す情報及び/または関心領域の分類結果を示す情報を出力することができる。情報の出力は、ステップS130,S140について上述したのと同様に、表示制御部204E、検出結果出力部204I、分類結果出力部204Jが関心領域を示す情報(例えば関心領域の位置、大きさ)、及び/または分類結果を示す情報(例えば関心領域の種類、ポリープの分類、癌のステージ診断等)を文字、数字、記号、色彩等により表示することにより行うことができる。これらの情報は、第1画像及び/または位置合わせ第1画像に重畳表示してもよい。
第1の実施形態では、上述した第1画像及び/または位置合わせ第1画像についての出力に加えて、表示制御部204E、検出結果出力部204I、分類結果出力部204Jが第2画像について画像、関心領域の検出結果、関心領域の分類結果を出力(表示、記憶)することができる(表示制御工程、第1の出力工程、第2の出力工程)。第2画像についての出力により、ユーザは通常光(白色光)による第1画像を連続的に観察しつつ、第2画像(上述の例では青色狭帯域光)により関心領域等を正確に検出、分類することができる。図12は、第1画像(位置合わせ第1画像)である画像i101及び第2画像である画像i102をモニタ400に表示した様子を示す図であり、関心領域R2が検出され、その大きさを測定するためのマーカM2を表示している。
上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
蛍光は、ピークが390以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
特定の波長帯域の信号は、通常光画像に含まれるRGBあるいはCMYの色情報に基づく演算により得る医療画像処理装置。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
付記1から18のいずれか1つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
付記1から18のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
付記1から18のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
100 内視鏡本体
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮影光学系
132 撮影レンズ
134 撮像素子
136 駆動回路
138 AFE
170 ライトガイド
200 プロセッサ
202 画像入力コントローラ
204 画像処理部
204A 撮影制御部
204B 画像入力部
204C パラメータ算出部
204D 画像生成部
204E 表示制御部
204F 画像補正部
204G 関心領域検出部
204H 関心領域分類部
204I 検出結果出力部
204J 分類結果出力部
205 画像入力インタフェース
206 ビデオ出力部
207 記憶部
208 操作部
209 音声処理部
209A スピーカ
210 CPU
211 ROM
212 RAM
300 光源装置
310 光源
310B 青色光源
310G 緑色光源
310R 赤色光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
BT1 送気送水ボタン
BT2 吸引ボタン
BT3 機能ボタン
BT4 撮影ボタン
M1 矢印
M2 マーカ
R1 関心領域
R2 関心領域
S100〜S290 画像処理方法の各ステップ
V1 血管
V2 血管
i1 画像
i2 画像
i3 画像
i4 画像
i5 画像
i5A 画像
i6 画像
i7 画像
i8 画像
i9 画像
i10 画像
i11 画像
i12 画像
i101 画像
i102 画像
第1の実施形態では、白色光を観察光(第1観察光)とした白色光画像(通常画像)を第1画像として取得し、狭帯域光としての青色光(中心波長は第1観察光より短い)を観察光(第2観察光)とした青色光画像(特殊光画像)を第2画像として取得する場合について説明する。しかしながら、本発明において観察光はこのような組合せに限定されるものではない。例えば、第2画像は狭帯域光としての緑色光、赤色光、赤外光、紫色光等を観察光として取得した特殊光画像でもよい。また、第1観察光、第2観察光の双方を狭帯域光(例えば青色光と緑色光、あるいは波長の異なる赤色光等の、第1狭帯域光及び第2狭帯域光)として第1画像及び第2画像を取得してもよい。なお、第1の実施形態では、1つのフレームでは第1観察光のみ、または第2観察光のみを照射して第1画像、第2画像を撮影するものとする。
Claims (18)
- それぞれ異なる時刻に撮影された第1画像及び第2画像を入力する画像入力部であって、第1観察光により撮影された第1画像と、前記第1観察光とは異なる第2観察光により撮影された第2画像と、を入力する画像入力部と、
前記第1画像と前記第2画像とを位置合わせするパラメータを算出するパラメータ算出部と、
前記パラメータを前記第1画像に適用して位置合わせ第1画像を生成する画像生成部と、
前記入力した第1画像及び前記生成した位置合わせ第1画像を表示装置に順次表示させる表示制御部と、
を備える画像処理装置。 - 前記パラメータ算出部は、前記第1画像と前記第2画像との相対的な移動、回転、及び変形のうち少なくとも1つについてのパラメータを前記パラメータとして算出する請求項1に記載の画像処理装置。
- 前記パラメータ算出部は、前記第1画像と前記第2画像との射影変換を行うパラメータを前記パラメータとして算出し、
前記画像生成部は前記算出した前記パラメータに基づく射影変換を前記第1画像に施して前記位置合わせ第1画像を生成する請求項1または2に記載の画像処理装置。 - 前記画像入力部は、前記第2画像の撮影時刻より前であって前記第2画像の撮影時刻との時間差がしきい値以下である撮影時刻に撮影された前記第1画像を取得する請求項1から3のいずれか1項に記載の画像処理装置。
- 前記第1画像及び/または前記第2画像に対し、前記第1観察光と前記第2観察光との相違に起因する前記第1画像と前記第2画像との差異を低減させる補正を施す画像補正部をさらに備え、
前記パラメータ算出部は前記補正を施した前記第1画像及び前記第2画像について前記パラメータを算出する請求項1から4のいずれか1項に記載の画像処理装置。 - 前記画像補正部は前記第1画像の画像信号と前記第2画像の画像信号とのうち、前記第1観察光と前記第2観察光とで共通する波長の成分を抽出し、
前記パラメータ算出部は前記抽出した成分に基づいて前記パラメータを算出する請求項5に記載の画像処理装置。 - 前記画像補正部は、前記第1画像の画像信号と前記第2画像の画像信号とのうち少なくとも一方に重み付けをして前記第1観察光と前記第2観察光とで共通する波長の成分の信号強度を前記成分以外の成分の信号強度よりも相対的に強くし、
前記パラメータ算出部は前記重み付けをした画像信号を用いて前記パラメータを算出する請求項6に記載の画像処理装置。 - 前記第1画像、前記位置合わせ第1画像、または前記第2画像から関心領域を検出する検出部をさらに備える請求項1から7のいずれか1項に記載の画像処理装置。
- 前記関心領域を示す情報を出力する第1の出力部をさらに備える請求項8に記載の画像処理装置。
- 前記表示制御部は、前記関心領域を示す情報を前記第1画像に重畳して前記表示装置に表示させる請求項9に記載の画像処理装置。
- 前記第1画像及び前記第2画像のうち少なくとも前記第2画像に基づいて前記関心領域を分類する分類部をさらに備える請求項8から10のいずれか1項に記載の画像処理装置。
- 前記分類の結果を示す情報を出力する第2の出力部をさらに備える請求項11に記載の画像処理装置。
- 前記表示制御部は、前記分類の結果を示す情報を前記表示装置に表示させる請求項12に記載の画像処理装置。
- 前記第1観察光は赤色、青色、及び緑色の波長帯域の光を含む白色光であり、前記第2観察光は赤色、青色、及び緑色のうちいずれかの波長帯域に対応する狭帯域光である請求項1から13のいずれか1項に記載の画像処理装置。
- 前記第1観察光は赤色、青色、及び緑色のうちいずれかの波長帯域に対応する第1狭帯域光であり、前記第2観察光は赤色、青色、及び緑色のうちいずれかの波長帯域に対応し前記第1狭帯域光とは波長帯域が異なる第2狭帯域光である請求項1から13のいずれか1項に記載の画像処理装置。
- 前記画像入力部は、中心波長が前記第1観察光よりも短い光を前記第2観察光として撮影された画像を前記第2画像として入力する請求項1から15のいずれか1項に記載の画像処理装置。
- 請求項1から16のいずれか1項に記載の画像処理装置と、
前記表示装置と、
被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された操作部と、を有する内視鏡と、
前記第1観察光または前記第2観察光を前記被検体に照射する光源装置と、
前記被検体の光学像を結像させる撮影レンズと、前記撮影レンズにより前記光学像が結像する撮像素子と、を有する撮像部と、
を備え、
前記撮影レンズは前記先端硬質部に設けられる内視鏡システム。 - それぞれ異なる時刻に撮影された第1画像及び第2画像を入力する画像入力工程であって、第1観察光により撮影された第1画像と、前記第1観察光とは異なる第2観察光により撮影された第2画像と、を入力する画像入力工程と、
前記第1画像及び/または前記第2画像を位置合わせして前記第1画像と前記第2画像とを一致させるパラメータを算出するパラメータ算出工程と、
前記パラメータを前記第1画像に適用して位置合わせ第1画像を生成する画像生成工程と、
前記入力した第1画像及び前記生成した位置合わせ第1画像を表示装置に順次表示させる表示制御工程と、
を有する画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018037630 | 2018-03-02 | ||
JP2018037630 | 2018-03-02 | ||
PCT/JP2019/005058 WO2019167623A1 (ja) | 2018-03-02 | 2019-02-13 | 画像処理装置、内視鏡システム、及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019167623A1 true JPWO2019167623A1 (ja) | 2021-02-04 |
JP6925501B2 JP6925501B2 (ja) | 2021-08-25 |
Family
ID=67806140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020502922A Active JP6925501B2 (ja) | 2018-03-02 | 2019-02-13 | 画像処理装置及び内視鏡システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11911007B2 (ja) |
JP (1) | JP6925501B2 (ja) |
WO (1) | WO2019167623A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7038641B2 (ja) * | 2018-11-02 | 2022-03-18 | 富士フイルム株式会社 | 医療診断支援装置、内視鏡システム、及び作動方法 |
WO2022014235A1 (ja) * | 2020-07-14 | 2022-01-20 | 富士フイルム株式会社 | 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010109950A1 (ja) * | 2009-03-26 | 2010-09-30 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 |
JP2013165776A (ja) * | 2012-02-14 | 2013-08-29 | Fujifilm Corp | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像生成方法 |
JP2013202189A (ja) * | 2012-03-28 | 2013-10-07 | Fujifilm Corp | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡動画表示方法、及び画像処理プログラム |
WO2015151929A1 (ja) * | 2014-03-31 | 2015-10-08 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
WO2017110180A1 (ja) * | 2015-12-22 | 2017-06-29 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010094153A (ja) | 2008-10-14 | 2010-04-30 | Fujifilm Corp | 電子内視鏡システム及び観察画像生成方法 |
WO2011060296A2 (en) * | 2009-11-13 | 2011-05-19 | California Institute Of Technology | Stereo imaging miniature endoscope with single imaging chip and conjugated multi-bandpass filters |
US8253985B2 (en) * | 2011-01-27 | 2012-08-28 | Seiko Epson Corporation | Image registration parameters and confidence estimation from sensor data |
JP5153021B2 (ja) * | 2011-03-14 | 2013-02-27 | パナソニック株式会社 | 撮影装置、撮影方法及びプログラム |
EP2649929B1 (en) * | 2011-05-17 | 2015-07-01 | Olympus Medical Systems Corp. | Medical apparatus, method for controlling marker display in a medical image, and medical processor |
CN104968254B (zh) * | 2013-06-25 | 2018-05-04 | 奥林巴斯株式会社 | 内窥镜 |
JP2015126340A (ja) * | 2013-12-26 | 2015-07-06 | ソニー株式会社 | 画像処理方法並びに画像投影装置 |
JP6389377B2 (ja) | 2014-05-27 | 2018-09-12 | Hoya株式会社 | 内視鏡用プロセッサ |
CN106255441B (zh) * | 2014-07-09 | 2018-10-02 | 奥林巴斯株式会社 | 内窥镜装置 |
JP6234648B1 (ja) * | 2016-01-15 | 2017-11-22 | オリンパス株式会社 | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 |
JP6745748B2 (ja) * | 2017-03-16 | 2020-08-26 | 富士フイルム株式会社 | 内視鏡位置特定装置、その作動方法およびプログラム |
-
2019
- 2019-02-13 WO PCT/JP2019/005058 patent/WO2019167623A1/ja active Application Filing
- 2019-02-13 JP JP2020502922A patent/JP6925501B2/ja active Active
-
2020
- 2020-08-24 US US17/000,374 patent/US11911007B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010109950A1 (ja) * | 2009-03-26 | 2010-09-30 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 |
JP2013165776A (ja) * | 2012-02-14 | 2013-08-29 | Fujifilm Corp | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像生成方法 |
JP2013202189A (ja) * | 2012-03-28 | 2013-10-07 | Fujifilm Corp | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡動画表示方法、及び画像処理プログラム |
WO2015151929A1 (ja) * | 2014-03-31 | 2015-10-08 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
WO2017110180A1 (ja) * | 2015-12-22 | 2017-06-29 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
Also Published As
Publication number | Publication date |
---|---|
US11911007B2 (en) | 2024-02-27 |
JP6925501B2 (ja) | 2021-08-25 |
US20200383553A1 (en) | 2020-12-10 |
WO2019167623A1 (ja) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020075578A1 (ja) | 医用画像処理装置、内視鏡システム、及び医用画像処理方法 | |
JP6941233B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
JP7048732B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
JP7038641B2 (ja) | 医療診断支援装置、内視鏡システム、及び作動方法 | |
WO2020162275A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理方法 | |
JPWO2019198637A1 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
JP7289296B2 (ja) | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 | |
WO2020170809A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理方法 | |
JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
JP2021086350A (ja) | 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置 | |
JP6925501B2 (ja) | 画像処理装置及び内視鏡システム | |
WO2021157487A1 (ja) | 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム | |
CN116234487A (zh) | 医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序 | |
JP7507797B2 (ja) | 医用画像処理装置、内視鏡システム、医用画像処理装置の作動方法、プログラム、及び記録媒体 | |
WO2022181748A1 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム | |
WO2021029293A1 (ja) | 医用画像処理装置、内視鏡システム、及び医用画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200827 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210716 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6925501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |