JP2024045237A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2024045237A
JP2024045237A JP2024004639A JP2024004639A JP2024045237A JP 2024045237 A JP2024045237 A JP 2024045237A JP 2024004639 A JP2024004639 A JP 2024004639A JP 2024004639 A JP2024004639 A JP 2024004639A JP 2024045237 A JP2024045237 A JP 2024045237A
Authority
JP
Japan
Prior art keywords
imaging
image
information
unit
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024004639A
Other languages
English (en)
Inventor
敬士 田中
健人 速水
明広 窪田
大和 神田
誠 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2024004639A priority Critical patent/JP2024045237A/ja
Publication of JP2024045237A publication Critical patent/JP2024045237A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

【課題】撮像すべき部位の撮り逃しおよび撮像ミスを防止することができる画像処理装置、画像処理方法およびプログラムを提供する。【解決手段】画像処理装置1は、入力部11と、推定部12と、取得部13と、作成部15と、表示制御部16とを備えている。入力部11は、内視鏡画像を含む検査情報を取得する。推定部12は、内視鏡画像に基づいて撮像部位を推定する。取得部13は、検査情報から、内視鏡画像に対応し且つ内視鏡画像を撮像したときの内視鏡および被検体の少なくとも一方の状況を示す撮像情報を取得する。作成部15は、モデルマップを作成すると共に、推定部12による推定結果に基づいて仮想部位に対して撮像情報を紐付ける。表示制御部16は、表示装置2を制御する。【選択図】図1

Description

本発明は、内視鏡画像に関する情報または条件を表示装置に表示させることができる画像処理装置、画像処理方法およびプログラムに関する。
近年、内視鏡装置は、医療分野および工業用分野において広く用いられている。医療分野において用いられる内視鏡装置は、体内に挿入される細長い挿入部を具備しており、臓器の観察、処置具を用いた治療措置、内視鏡観察下における外科手術等に、広く用いられている。
医療分野では、同じ臓器に対して、内視鏡装置を用いた検診が複数回行われる場合がある。ここで、内視鏡装置を用いた検診が2回行われる場合を想定する。以下、1回目の検診を一次検診と言い、2回目の検診を二次検診と言う。二次検診では、例えば、一次検診において撮像できなかった部位を撮像することが行われる。二次検診における撮像漏れを防止するためには、一次検診において撮像した部位と撮像しなかった部位を識別することが望ましい。
日本国特開2018-50890号公報には、内視鏡装置によって撮影された画像から撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成する画像表示装置が開示されている。この画像表示装置によれば、一次検診において撮像した部位と撮像しなかった部位を識別することができる。
ところで、二次検診では、一次検診において撮像できなかった部位を撮像することの他、一次検診において所望の条件によって撮像できなかった部位を再度撮像したり、一次検診において病変や出血等の異常が見つかった部位を再度撮像したりすることも行われる。しかし、日本国特開2018-50890号公報に開示された画像表示装置では、一次検診において撮像したか否かについてしか識別できず、二次検診において撮像すべき部位を見逃したり、二次検診において撮像すべき条件を満たさずに撮像すべき部位を撮像してしまう撮像ミスが発生したりするおそれがある。
上記の問題は、医療分野に限らず、工業用分野にも当てはまる。
そこで、本発明は、撮像すべき部位の撮り逃しおよび撮像ミスを防止することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
本発明の一態様の画像処理装置は、内視鏡が被検体を撮像した内視鏡画像を取得する入力部と、前記内視鏡画像の前記被検体における撮像部位を推定する推定部と、予め規定された前記被検体を撮像するための条件である初期撮像条件を所定の部位毎に記憶する記憶部と、臓器を仮想化したモデルマップを作成して、推定された前記撮像部位に基づいて対応する前記モデルマップ上の仮想部位を特定し、前記仮想部位に撮像情報を紐付けて、前記仮想部位毎に前記撮像情報と前記仮想部位に対応する前記所定の部位の前記初期撮像条件とを比較することにより撮像条件を決定する作成部と、前記モデルマップおよび前記内視鏡画像を表示装置に出力すると共に、前記表示装置に出力中の前記内視鏡画像および前記内視鏡画像の前記撮像部位に該当する前記モデルマップ上の前記仮想部位に対応づけられた前記撮像情報と前記初期撮像条件との比較結果と、決定した前記撮像条件の、少なくとも一方を前記表示装置に出力する表示制御部と、を備えている。
本発明の一態様の画像処理方法は、入力部が、内視鏡が被検体を撮像した内視鏡画像を取得し、推定部が、前記内視鏡画像の前記被検体における撮像部位を推定し、記憶部が、予め規定された前記被検体を撮像するための条件である初期撮像条件を所定の部位毎に記憶し、作成部が、臓器を仮想化したモデルマップを作成して、推定された前記撮像部位に基づいて対応する前記モデルマップ上の仮想部位を特定し、前記仮想部位に撮像情報を紐付けて、前記仮想部位毎に前記撮像情報と前記仮想部位に対応する前記所定の部位の前記初期撮像条件とを比較することにより撮像条件を決定し、表示制御部が、前記モデルマップおよび前記内視鏡画像を表示装置に出力すると共に、前記表示装置に出力中の前記内視鏡画像および前記内視鏡画像の前記撮像部位に該当する前記モデルマップ上の前記仮想部位に対応づけられた前記撮像情報と前記初期撮像条件との比較結果と、決定した前記撮像条件の、少なくとも一方を前記表示装置に出力する。
本発明の一態様のプログラムは、コンピュータに、内視鏡が被検体を撮像した内視鏡画像を取得させ、前記内視鏡画像の前記被検体の部位における撮像部位を推定させ、予め規定された前記被検体を撮像するための条件である初期撮像条件を所定の部位毎に記憶させ、臓器を仮想化したモデルマップを作成させて、推定された前記撮像部位に基づいて対応する前記モデルマップ上の仮想部位を特定させ、前記仮想部位に撮像情報を紐付けさせて、前記仮想部位毎に前記撮像情報と前記仮想部位に対応する前記所定の部位の前記初期撮像条件とを比較することにより撮像条件を決定させ、前記モデルマップおよび前記内視鏡画像を表示装置に出力させると共に、前記表示装置に出力中の前記内視鏡画像および前記内視鏡画像の前記撮像部位に該当する前記モデルマップ上の前記仮想部位に対応づけられた前記撮像情報と前記初期撮像条件との比較結果と、決定した前記撮像条件の、少なくとも一方を前記表示装置に出力させること、を実行させる。
本発明の一実施の形態に係わる画像処理装置の構成を示す機能ブロック図である。 本発明の一実施の形態に係わる画像処理装置のハードウェア構成の一例を示す機能ブロック図である。 本発明の一実施の形態に係わる画像処理装置の第1の使用例を示す説明図である。 本発明の一実施の形態に係わる画像処理装置の第2の使用例を示す説明図である。 本発明の一実施の形態に係わる画像処理方法を示すフローチャートである。 本発明の一実施の形態における表示内容の第1の例を示す説明図である。 本発明の一実施の形態における表示内容の第2の例を示す説明図である。 本発明の一実施の形態における表示内容の第3の例を示す説明図である。 本発明の一実施の形態における表示内容の第4の例を示す説明図である。
以下、図面を参照して、本発明の実施の形態を説明する。
(画像処理装置の構成)
始めに、本発明の一実施の形態に係わる画像処理装置の構成について説明する。本実施の形態に係わる画像処理装置1は、医療分野において用いられる内視鏡が被検体を撮像することによって生成された内視鏡画像を処理する画像処理装置である。本実施の形態では特に、被検体は、胃や大腸等の臓器である。内視鏡画像は、複数の画素を有すると共に、複数の画素の各々において、R(赤色)波長成分、G(緑色)波長成分およびB(青色)波長成分の各々に対応する画素値を有するカラー画像である。
図1は、本実施の形態に係わる画像処理装置1の構成を示す機能ブロック図である。画像処理装置1は、入力部11と、推定部12と、取得部13と、記憶部14と、作成部15と、表示制御部16とを備えている。入力部11は、内視鏡画像を含む検査情報を取得する。
推定部12は、内視鏡画像に基づいて内視鏡が撮像した被検体すなわち臓器の部位である撮像部位を推定する。推定部12による撮像部位の推定は、内視鏡画像を画像解析することによって行われる。例えば、被検体が胃である場合には、推定部12は、内視鏡画像を画像解析することによって、撮像部位が、噴門、胃底部、胃体部、小彎、大彎、前庭部、胃角部および幽門等のいずれであるかを推定する。また、被検体が大腸である場合には、推定部12は、内視鏡画像を画像解析することによって、撮像部位が、直腸、S状結腸、下行結腸、横行結腸、上行結腸、盲腸等のいずれであるかを推定する。
画像解析は、例えば、パターンマッチングを利用してもよいし、機械学習を利用してもよい。例えば、被検体が胃または大腸である場合、上記の各部位毎に分類された内視鏡画像群を用いて機械学習を行ってもよい。機械学習は、推定部12によって行われてもよいし、機械学習を実行する図示しない機械学習部によって行われてもよい。推定部12は、機械学習の学習結果を利用して撮像部位を推定する。
後述する推定部12以外の構成要素における画像解析についても、推定部12における画像解析と同様に、パターンマッチングまたは機械学習等が利用される。
取得部13は、検査情報から、内視鏡画像に対応し且つ内視鏡画像を撮像したときの内視鏡および被検体すなわち臓器の少なくとも一方の状況を示す情報である撮像情報を取得する。検査情報は、内視鏡画像の他に、内視鏡の動作に関する情報であるシステム情報を含んでいる。取得部13による撮像情報の取得は、システム情報から撮像情報を取得することと、内視鏡画像を画像解析することによって撮像情報を取得することの少なくとも一方によって行われる。
検査情報は、更に、内視鏡画像を撮像したときの時刻の情報である時刻情報を含んでいる。取得部13は、検査情報から、撮像情報として時刻情報を取得する。
また、取得部13は、内視鏡画像を画像解析することによって内視鏡画像の画質を評価する評価部13Aと、内視鏡画像を画像解析することによって撮像部位における異常を検出する検出部13Bとを含んでいる。取得部13、評価部13Aおよび検出部13Bの動作については、後で更に詳しく説明する。
記憶部14は、条件記憶部14Aと、画像記憶部14Bと、情報記憶部14Cとを含んでいる。条件記憶部14Aは、予め規定された被検体すなわち臓器を撮像するための条件である初期撮像条件を、後述する仮想部位毎に記憶する。初期撮像条件は、内視鏡画像を画像解析することによって決定したものであってもよいし、使用者が設定したものであってもよい。内視鏡画像を画像解析することによって初期撮像条件を決定する場合、初期撮像条件は、後述する決定部による撮像条件の決定方法と同様の方法によって決定しても良い。
図1に示した例では、画像処理装置1には、使用者が操作する入力機器3が接続されている。入力機器3は、キーボード、マウスおよびタッチパネル等によって構成されている。入力部11は、入力機器3に入力された操作内容を取得する。初期撮像条件を使用者が設定する場合、使用者が入力機器3を操作することによって、初期撮像条件を設定することができる。
画像記憶部14Bは、入力部11が取得した内視鏡画像を記憶する。なお、評価部13Aによって内視鏡画像の画質が評価されている場合には、画像記憶部14Bは、評価部13Aによる評価結果と内視鏡画像とを紐付けて記憶する。情報記憶部14Cは、取得部13が取得した撮像情報を記憶する。
作成部15は、被検体すなわち臓器を仮想化したモデルマップを作成すると共に、推定部12による推定結果すなわち撮像部位の推定結果に基づいて、撮像部位に対応するモデルマップ上の部位である仮想部位に対して撮像情報を紐付ける。具体的には、作成部15は、任意の内視鏡画像を画像解析することによって推定された撮像部位に対応する仮想部位に対して、この任意の内視鏡画像を含む検査情報から取得された撮像情報を紐付ける。
モデルマップは、臓器のシェーマ図であってもよいし、臓器の3Dモデル図であってもよい。仮想部位の数は複数である。
また、作成部15は、決定部15Aと、分割部15Bとを含んでいる。決定部15Aは、仮想部位毎に、被検体すなわち臓器を撮像するための条件である撮像条件を決定する。決定部15Aは、内視鏡画像を画像解析することによって撮像条件を決定してもよいし、仮想部位毎に撮像情報と初期撮像条件とを比較することによって撮像条件を決定してもよい。
分割部15Bは、必要に応じて、仮想部位を複数の副部位に分割する。例えば、決定部15Aによって、1つの仮想部位に含まれる複数の領域の各々に対して、互いに異なる条件が決定された場合、分割部15Bは、その1つの仮想部位を複数の副部位に分割する。複数の副部位は、複数の領域と一致していてもよいし異なっていてもよい。決定部15Aは、複数の副部位毎に、撮像条件として、上記の互いに異なる条件を決定する。
決定部15Aおよび分割部15Bの動作については、後で更に詳しく説明する。
図1に示した例では、画像処理装置1には、作成部15が作成したモデルマップを表示するための表示装置2が接続されている。表示装置2は、液晶パネル等によって構成された表示部を有している。
表示制御部16は、入力部11が取得した内視鏡画像、取得部13が取得した撮像情報および決定部15Aが決定した撮像条件等を表示装置2によって表示させる。本実施の形態では特に、表示制御部16は、以下のように、表示装置2を制御することができる。
決定部15Aが撮像情報と初期撮像条件とを比較することによって撮像条件を決定した場合には、表示制御部16は、決定部15Aによる比較結果と決定部15Aが決定した撮像条件の少なくとも一部との少なくとも一方を表示装置2によって表示させることができる。
また、表示制御部16は、1つの撮像部位に対応する複数の内視鏡画像であって、各々に対応する撮像情報の少なくとも一部が互いに異なる複数の内視鏡画像を画像記憶部14Bから読み出し、且つこの複数の内視鏡画像に対応する複数の撮像情報を情報記憶部14Cから読み出すことができる。そして、表示制御部16は、複数の内視鏡画像と複数の撮像情報との少なくとも一方を表示装置2によって表示させることができる。
また、表示制御部16は、1つの撮像部位に対応する複数の内視鏡画像の中から評価部13Aによって画質が良いと評価された内視鏡画像を画像記憶部14Bから読み出し且つ表示装置2によって表示させることができる。
また、検出部13Bによって撮像部位における異常が検出された場合、表示制御部16は、異常の内容を確認することができるように、検出部13Bによる検出結果を表示装置2によって表示させることができる。
また、表示制御部16は、取得部13によって取得された時刻情報に基づいて、モデルマップ上に、複数の内視鏡画像を撮像したときの撮像ルートを表示装置2によって表示させることができる。
ここで、図2を参照して、画像処理装置1のハードウェア構成について説明する。図2は、画像処理装置1のハードウェア構成の一例を示す説明図である。図2に示した例では、画像処理装置1は、プロセッサ1Aと、記憶装置1Bと、入出力インターフェース(以下、入出力I/Fと記す。)1Cとを有するコンピュータとして構成されている。プロセッサ1Aは、例えば、中央演算処理装置(以下、CPUと記す。)によって構成されている。記憶装置1Bは、例えば、RAM、ROM、フラッシュメモリおよびハードディスク装置等の記憶装置によって構成されている。入出力I/F1Cは、画像処理装置1と外部
との間において信号の送受信を行うために用いられるものである。
プロセッサ1Aは、画像処理装置1の構成要素である入力部11、推定部12、取得部13、作成部15および表示制御部16等の機能を実行するために用いられる。記憶装置1Bは、これらの機能のためのソフトウェアプログラムである画像処理プログラムを記憶している。各機能は、画像処理プログラムをプロセッサ1Aが記憶装置1Bから読み出しし且つ実行することによって実現される。記憶装置1Bは、上記の画像処理プログラムを含む複数のソフトウェアプログラムを記憶している。
画像処理装置1の構成要素である記憶部14の機能、すなわち条件記憶部14A、画像記憶部14Bおよび情報記憶部14Cの各々の機能は、基本的には、記憶装置1Bのうち、フラッシュメモリやハードディスク装置等の不揮発性且つ書き換え可能な記憶装置によって実現される。上記の不揮発性且つ書き換え可能な記憶装置は、初期撮像条件、内視鏡画像および撮像情報を記憶する。
なお、画像処理装置1のハードウェア構成は、上記の例に限られない。例えば、プロセッサ1Aは、FPGA(Field Programmable Gate Array)によって構成されていてもよい。この場合、画像処理装置1の複数の構成要素の少なくとも一部は、FPGAにおける回路ブロックとして構成される。あるいは、画像処理装置1の複数の構成要素は、それぞれ、別個の電子回路として構成されていてもよい。
また、画像処理プログラムの少なくとも一部は、図示しない外部の記憶装置または記憶媒体に記憶されていてもよい。この場合、画像処理装置1の機能の少なくとも一部は、プロセッサ1Aが、画像処理プログラムの少なくとも一部を外部の記憶装置または記憶媒体から読み出し且つ実行することによって実現される。外部の記憶装置は、例えば、LANやインターネット等のコンピュータネットワークに接続された他のコンピュータの記憶装置であってもよい。記憶媒体は、例えば、CD、DVDおよびブルーレイディスク等の光ディスクであってもよいし、USBメモリ等のフラッシュメモリであってもよい。
また、画像処理装置1の複数の構成要素の一部は、いわゆるクラウドコンピューティングによって実現されてもよい。この場合、画像処理装置1の機能の一部は、インターネットに接続された他のコンピュータが画像処理プログラムの一部を実行し、且つ画像処理装置1がその実行結果を取得することによって実現される。上記の他のコンピュータのハードウェア構成は、図2に示した画像処理装置1のハードウェア構成と同様である。上記の他のコンピュータは、画像処理装置1の一部を構成しているとも言える。
(画像処理装置の使用例)
次に、画像処理装置1の第1および第2の使用例について説明する。始めに、第1の使用例について説明する。図3は、画像処理装置1の第1の使用例を示す説明図である。図3には、図1に示した画像処理装置1、表示装置2および入力機器3の他に、内視鏡101、ビデオプロセッサ102、光源装置103および表示装置104が示されている。画像処理装置1、光源装置103および表示装置104は、ビデオプロセッサ102に接続されている。
内視鏡101は、被検体内に挿入される挿入部110と、挿入部110の基端に連接された操作部120と、操作部120から延出するユニバーサルコード131と、ユニバーサルコード131の先端に設けられたコネクタ132とを備えている。コネクタ132は、ビデオプロセッサ102と光源装置103に接続されている。
挿入部110は、細長い形状を有すると共に、挿入部110の先端に位置する先端部111と、湾曲自在に構成された湾曲部112と、可撓性を有する可撓管部113とを有している。先端部111、湾曲部112および可撓管部113は、挿入部110の先端側からこの順に連結されている。
先端部111には、図示しない撮像装置が設けられている。撮像装置は、内視鏡101内に設けられた図示しないケーブルと、コネクタ132とビデオプロセッサ102を接続する図示しないケーブルとによって、ビデオプロセッサ102に電気的に接続されている。撮像装置は、最先端に位置する観察窓と、CCDまたはCMOS等によって構成された撮像素子と、観察窓と撮像素子の間に設けられた複数のレンズとを含んでいる。複数のレンズのうちの少なくとも1つは、光学倍率を調整するために用いられる。
撮像素子は、撮像面に結像された被検体すなわち臓器の光学像を光電変換した撮像信号を生成すると共に、生成した撮像信号をビデオプロセッサ102に出力する。ビデオプロセッサ102は、撮像信号に対して所定の画像処理を施すことによって画像信号を生成すると共に、生成した画像信号を表示装置104に出力する。表示装置104は、液晶パネル等によって構成された表示部を有している。表示装置104は、撮像装置によって撮像された画像すなわち撮像信号を内視鏡画像として表示するためのものであり、ビデオプロセッサ102によって生成された画像信号を内視鏡画像として表示する。
先端部111には、更に、図示しない照明窓が設けられている。光源装置103は、ビデオプロセッサ102によって制御されて照明光を発生する。光源装置103によって発生された照明光は、光源装置103とコネクタ132を接続する図示しないライトガイドケーブルと、内視鏡101内に設けられた図示しないライトガイドとによって照明窓に伝送され、照明窓から被検体すなわち臓器に照射される。光源装置103は、照明光として、例えば、通常光である白色光(以下、WLIと記す。)と、特殊光である狭帯域光(以下、NBIと記す。)を発生させることができる構成を有している。
先端部111には、更に、先端部111と被写体との距離を測定する第1のセンサと、先端部111の傾き角度を検出する第2のセンサが設けられていてもよい。
操作部120には、挿入部110内に設けられた図示しない処置具挿通チャンネルに連通する処置具挿入口121と、挿入部110の湾曲部112を湾曲させるための複数の湾曲操作ノブ122と、撮像装置のレンズを移動させて光学倍率を調整するためのズームレバー123等が設けられている。挿入部110の先端部111には、処置具挿通チャンネルの開口部である処置具導出口が設けられている。鉗子や穿刺針等の処置具は、処置具挿入口121から処置具挿通チャンネル内に導入され、処置具導出口から導出される。
図3に示した例では、ビデオプロセッサ102が検査情報を出力する。ビデオプロセッサ102が出力する検査情報には、内視鏡画像とシステム情報と時刻情報が含まれる。ビデオプロセッサ102は、内視鏡画像として、ビデオプロセッサ102によって生成された画像信号を出力する。また、ビデオプロセッサ102は、内視鏡画像(画像信号)として、撮像装置のレンズによって拡大された画像と、内視鏡画像の中央部分を切り出してから補間等を行って拡大した電子拡大画像を出力することができる。ビデオプロセッサ102が出力するシステム情報には、レンズによる拡大倍率(以下、光学拡大倍率と言う。)の情報と、電子拡大画像の拡大倍率(以下、電子拡大倍率と言う。)の情報が含まれる。
また、ビデオプロセッサ102が出力するシステム情報には、更に、光源装置103が発生する照明光の種類および光量の情報が含まれる。また、先端部111に前述の第1および第2のセンサが設けられている場合には、ビデオプロセッサ102が出力するシステム情報には、更に、第1および第2のセンサの検出値の情報が含まれる。
画像処理装置1の入力部11(図1参照)は、ビデオプロセッサ102が出力した検査情報を所定のタイミングにおいて取得する。所定のタイミングは、内視鏡画像が生成されるタイミングであってもよいし、検査情報を取得するために使用者が入力機器3を操作したタイミングであってもよい。後者の場合、検査情報は、ビデオプロセッサ102または図示しない記憶装置によって、入力部11が検査情報の取得を開始するタイミングまで保持される。
なお、図3に示した例では、画像処理装置1は、表示装置2の代わりに、ビデオプロセッサ102に接続された表示装置104を用いてもよい。すなわち、画像処理装置1の表示制御部16(図1参照)は、入力部11が取得した内視鏡画像、取得部13が取得した撮像情報および決定部15Aが決定した撮像条件等を表示装置104によって表示させてもよい。この場合、表示装置104には、内視鏡101が撮像した内視鏡画像と、表示制御部16によって決定された表示内容が表示される。表示装置104は、内視鏡画像と前記表示内容を同時に表示してもよいし、内視鏡画像の表示と前記表示内容の表示を切り替
えてもよい。
次に、第2の例について説明する。図4は、画像処理装置1の第2の使用例を示す説明図である。第2の使用例では、画像処理装置1は、LANやインターネット等のコンピュータネットワーク200に接続されている。画像処理装置1は、内視鏡101およびビデオプロセッサ102等(図3参照)が設置された診察室または手術室に設置されていてもよいし、診察室または手術室以外の部屋に設置されていてもよい。
画像処理装置1の入力部11(図1参照)は、コンピュータネットワーク200を経由して、ビデオプロセッサ102または図示しない記憶装置が保持する検査情報を取得する。図示しない記憶装置は、コンピュータネットワーク200に接続された他のコンピュータの記憶装置であってもよい。
(取得部の動作)
次に、画像処理装置1の取得部13の動作について詳しく説明する。前述のように、取得部13による撮像情報の取得は、システム情報から撮像情報を取得することと、内視鏡画像を画像解析することによって撮像情報を取得することの少なくとも一方によって行われる。具体的には、取得部13は、撮像情報として、システム情報に含まれる、光学拡大倍率の情報、電子拡大倍率の情報、光源装置103が発生する照明光の種類と光量の情報、時刻の情報ならびに第1および第2のセンサの検出値の情報等の複数の情報の中から、少なくとも1つの情報を取得する。
内視鏡画像には、被写体そのものの他、標識のために散布された色素や、処置具が映り込むことがある。また、先端部111(図3参照)と被写体との距離や、先端部111と被写体との角度に応じて、内視鏡画像に映り込んだ被写体の態様が異なり得る。従って、内視鏡画像には、被写体の画像そのものに加えて、色素が散布された領域であるか否かの情報、処置具の有無および種類の情報、先端部111と被写体との距離の情報(以下、距離情報と言う。)、ならびに先端部111と被写体との角度の情報(以下、角度情報と言う。)等の複数の情報が含まれていると言える。取得部13は、内視鏡画像を画像解析することによって、撮像情報として、上記の複数の情報の中から、少なくとも1つの情報を取得する。なお、先端部111に前述の第1のセンサが設けられている場合には、距離情報は、画像解析の結果に加えて、第1のセンサの検出値の情報を用いて取得してもよい。同様に、先端部111に前述の第2のセンサが設けられている場合には、角度情報は、画像解析の結果に加えて、第2のセンサの検出値の情報とを用いて取得してもよい。
また、前述のように、取得部13は、内視鏡画像を画像解析することによって内視鏡画像の画質を評価する評価部13Aを含んでいる。例えば、ブレ、ボケおよびサチュレーション等が少ない画像は、視認性が高く、画質が良いと言える。従って、画像の視認性を定量的に評価することによって、内視鏡画像の画質を評価することが可能である。一般的に、画像のエッジの強度を、視認可能な限界の輝度変化である閾値に対する倍率(以下、閾値倍率と言う。)として表現すると、閾値倍率が高いほど画像の視認性が高くなる。従って、内視鏡画像毎に閾値倍率を求めることによって、画像の視認性を定量的に評価することができる。画像の視認性すなわち見えやすさは、例えば、閾値倍率の対数を変数とする一次式を用いて表される。評価部13Aによる評価結果は、撮像情報として記憶部14の情報記憶部14Cに記憶される。記憶部14の画像記憶部14Bは、情報記憶部14Cに記憶された評価部13Aによる評価結果と内視鏡画像とを紐付けて記憶する。
また、前述のように、取得部13は、内視鏡画像を画像解析することによって撮像部位における異常を検出する検出部13Bを含んでいる。検出部13Bは、撮像部位における異常として、例えば、病変や出血等を検出する。特に、病変の検出には、病変の検出に特化した公知の病変検出アルゴリズムを用いてもよい。撮像部位における異常は、撮像情報として記憶部14の情報記憶部14Cに記憶される。
(決定部および分割部の動作)
次に、画像処理装置1の作成部15の決定部15Aおよび分割部15Bの動作について詳しく説明する。前述のように、決定部15Aは、仮想部位毎に撮像条件を決定する。撮像条件は、臓器の部位の違い、病変等の異常の有無、先端部111と被写体との距離および先端部111と被写体との角度等の複数の要因によって変化し得る。内視鏡画像を画像解析することによって撮像条件を決定する場合、例えば、複数の要因と、複数の要因によって変化する内視鏡画像の要素との関係を機械学習によって学習させてもよい。この機械学習は、決定部15Aによって行われてもよいし、機械学習を実行する図示しない機械学習部によって行われてもよい。決定部15Aは、機械学習の学習結果を利用して撮像条件を決定する。
また、仮想部位毎に撮像情報と初期撮像条件とを比較することによって撮像条件を決定する場合、撮像情報が初期撮像条件を満足していない場合には、決定部15Aは、初期撮像条件を満足させるような撮像条件を決定する。また、決定部15Aは、病変等の異常が検出された撮像部位に対応する仮想部位に対しては、撮像情報が初期撮像条件を満足しているか否かに関わらず、病変等の異常を詳細に観察するための撮像条件を追加決定してもよい。具体的には、例えば、決定部15Aは、撮像条件として、照明光にNBIを用いることや、光学拡大倍率または電子拡大倍率を大きくすることを追加決定してもよい。
また、前述のように、分割部15Bは、必要に応じて、仮想部位を複数の副部位に分割する。分割部15Bは、例えば、上述のように、病変等の異常が検出された撮像部位に対応する仮想部位を複数の副部位に分割する。この場合、分割部15Bは、異常を含む副部位と異常を含まない副部位とに分割してもよい。仮想部位がこのように分割される場合、決定部15Aは、異常を含む副部位に対しては、例えば、病変等の異常を詳細に観察するための撮像条件を追加決定してもよい。また、決定部15Aは、異常を含まない副部位に対しては、例えば、初期撮像条件と同じ撮像条件を決定してもよい。
(画像処理方法)
次に、図5を参照して、本実施の形態に係わる画像処理方法について説明する。図5は、本実施の形態に係わる画像処理方法を示すフローチャートである。本実施の形態に係わる画像処理方法では、まず、入力部11が、検査情報を取得する(ステップS11)。次に、推定部12が、内視鏡画像に基づいて撮像部位を推定する(ステップS12)。次に、取得部13が、検査情報から撮像情報を取得する(ステップS13)。次に、作成部15が、モデルマップを作成すると共に、推定部12による推定結果に基づいて仮想部位に対して撮像情報を紐付ける(ステップS14)。
次に、作成部15の決定部15Aが、仮想部位毎に撮像条件を暫定的に決定し、暫定的に決定した撮像条件に基づいて、分割が必要な仮想部位が存在するか否かを判定する(ステップS15)。分割が必要な仮想部位が存在する場合(YES)には、分割部15Bが、その仮想部位を複数の副部位に分割すると共に、決定部15Aが、複数の副部位毎に撮像条件を決定する(ステップS16)。また、ステップS16では、分割が不要な仮想部位については、決定部15Aは、ステップS15において暫定的に決定した撮像条件を、その仮想部位の正式な撮像条件として決定する。ステップS15において分割が必要な仮想部位が存在しない場合(NO)には、ステップS15において暫定的に決定した撮像条件を、正式な撮像条件として決定する(ステップS17)。
なお、ステップS15では、決定部15Aは、内視鏡画像を画像解析することによって撮像条件を暫定的に決定してもよいし、撮像情報と初期撮像条件とを比較することによって撮像条件を暫定的に決定してもよい。
次に、表示制御部16が、表示装置2を制御する一連の処理を実行する(ステップS18,S19,S20,S21,S22)。表示制御部16は、一連の処理をすべて実行してもよいし、一連の処理のうちの一部のみを実行してもよい。また、一連の処理の実行順序は、図5に示した例に限られない。表示制御部16に実行させる処理は、例えば、使用者が入力機器3(図1参照)を操作することによって選択することができる。
ステップS18,S19は、いずれも、表示制御部16が、決定部15Aによって決定された撮像条件を、満足することが好ましい撮像条件として表示装置2によって表示させる処理である。ステップS18では、ステップS15において、決定部15Aが、内視鏡画像を画像解析することによって撮像条件を決定した場合、表示制御部16は、その撮像条件の少なくとも一部を表示させる。また、ステップS15において、決定部15Aが、撮像情報と初期撮像条件とを比較することによって撮像条件を決定した場合、表示制御部16は、撮像情報が初期撮像条件を満足しているか否かに関わらずに、初期撮像条件の少なくとも一部を、満足することが好ましい撮像条件として表示させる。
ステップS19は、ステップS15において、決定部15Aが、撮像情報と初期撮像条件とを比較することによって撮像条件を決定した場合に実行される。この場合、決定部15Aは、初期撮像条件を満足させるような撮像条件を決定する(ステップS16,S17)。ステップS19では、表示制御部16は、初期撮像条件を満足させるような撮像条件を表示させる。なお、ステップS19では、表示制御部16は、撮像情報と初期撮像条件との比較結果を表示させてもよい。
ステップS20は、1つの撮像部位に対応する複数の内視鏡画像が存在する場合に、表示制御部16が、仮想部位毎に、複数の内視鏡画像と複数の撮像情報を表示装置2によって表示させる処理である。なお、1つの撮像条件に対応する内視鏡画像の数が複数である場合、表示制御部16は、その1つの撮像条件に対応する内視鏡画像として、評価部13Aによって画質が良いと評価された内視鏡画像を表示させてもよい。表示制御部16は、複数の内視鏡画像を同時に表示させてもよいし、複数の内視鏡画像を1つずつ表示させてもよい。
ステップS21は、検出部13Bによって撮像部位における異常が検出された場合に、表示制御部16が、検出部13Bによる検出結果すなわち異常の有無および異常の内容を表示装置2によって表示させる処理である。
ステップS22は、表示制御部16が、取得部13によって取得された時刻情報に基づいて、モデルマップ上に、複数の内視鏡画像を撮像したときの撮像ルートを表示装置2によって表示させる処理である。
(表示内容の例)
次に、表示制御部16が表示装置2に表示させる内容(以下、表示内容と言う)の第1ないし第4の例について説明する。ここでは、被検体が胃である場合を例にとって説明する。第1ないし第4の例では、表示制御部16は、被検体のモデルマップとして、胃のシェーマ図を表示させると共に、複数の仮想部位を表示させる。図6は、表示内容の第1の例を示す説明図である。図7は、表示内容の第2の例を示す説明図である。図8は、表示内容の第3の例を示す説明図である。図9は、表示内容の第4の例を示す説明図である。図6ないし図9において、符号20は、表示装置2の表示部を示し、符号21は、モデルマップ(シェーマ図)を示している。図6ないし図9に示した例では、モデルマップ21上の格子状に区切られた1つの領域が、1つの仮想部位に対応する。
始めに、図6を参照して、表示内容の第1の例について説明する。第1の例は、表示制御部16が図5に示したステップS19の処理を実行した場合の例である。図6に示した例では、表示部20に、撮像条件を表示するための表22が表示されている。表22内には、仮想部位21aの撮像条件として、照明光の種類の条件(図6では「光源」と記す。)を示す項目と、先端部111と被写体との距離の条件(図6では「距離」と記す。)を示す項目と、先端部111と被写体との角度の条件(図6では「角度」と記す。)を示す項目が設けられている。図6に示した例では、これらの条件のうち、照明光の種類の条件のみが表示されている。この例では、照明光の種類の条件が、初期撮像条件を満足させるような撮像条件に該当する。
仮想部位21aと表22を結ぶ矢印23は、表22に表示した撮像条件が、仮想部位21aの撮像条件であることを示している。撮像条件を表示させる仮想部位は、例えば、使用者が入力機器3(図1参照)を操作することによって選択することができる。
また、図6に示した例では、複数の仮想部位の各々に、決定部15Aによる撮像情報と初期撮像条件との比較結果が表示されている。比較結果は、例えば、図6に示したように、丸印、三角印、バツ印等の記号によって表される。丸印は、例えば、その仮想部位に対応する撮像部位における撮像情報が、初期撮像条件のうち比較的重要度の高い条件を満足していないことを表している。三角印は、例えば、その仮想部位に対応する撮像部位における撮像情報が、初期撮像条件のうち比較的重要度の高い条件を満足しているが、初期撮像条件のうち比較的重要度の低い条件を満足していないことを表している。バツ印は、例えば、その仮想部位に対応する撮像部位における撮像情報が、初期撮像条件の全てまたはほぼ全てを満足していることを表している。比較結果は、記号に限らず、文字または色によって表されてもよい。
なお、表示制御部16は、モデルマップ21と表22を同時に表示させてもよいし、モデルマップ21と表22の一方のみを表示させてもよい。
次に、図7を参照して、表示内容の第2の例について説明する。第2の例は、表示制御部16が図5に示したステップS20の処理を実行した場合の例である。図7に示した例では、表示部20に、内視鏡画像と撮像情報を表示するための表24が表示されている。表24内には、仮想部位21bに対応する撮像部位における3つの内視鏡画像24a,24b,24cと、この3つの内視鏡画像24a,24b,24cに対応する3つの撮像情報が表示されている。
図7に示した例では、撮像情報として、照明光の種類の情報(図7では「光源」と記す。)と、距離情報(図7では「距離」と記す。)と、角度情報(図7では「角度」と記す。)が表示されている。内視鏡画像24a,24bは、照明光の種類が互いに異なっている。内視鏡画像24a,24cは、先端部111と被写体との距離および角度が互いに異なっている。
仮想部位21bと表24を結ぶ矢印25は、表24に表示した内視鏡画像24a~24cおよび撮像情報が、仮想部位21bの内視鏡画像および撮像情報であることを示している。内視鏡画像および撮像情報を表示させる仮想部位は、例えば、使用者が入力機器3(図1参照)を操作することによって選択することができる。
第2の例では、第1の例と同様に、複数の仮想部位の各々に、決定部15Aによる撮像情報と初期撮像条件との比較結果が表示されてもよい。図7に示した例では、図6に示した第1の例と同様に、比較結果を記号によって表している。表示制御部16は、モデルマップ21と表24を同時に表示させてもよいし、モデルマップ21と表24の一方のみを表示させてもよい。
次に、図8を参照して、表示内容の第3の例について説明する。第3の例は、表示制御部16が図5に示したステップS21の処理を実行した場合の例である。図8に示した例では、仮想部位に、検出部13Bによる検出結果すなわち異常の有無が表示されている。検出結果は、例えば、図8に示したように、星印等の記号によって表される。星印が表示された仮想部位は、その仮想部位に対応する撮像部位に異常があることを表している。星印が表示されない仮想部位は、その仮想部位に対応する撮像部位に異常がないことを表している。なお、異常の有無は、記号に限らず、文字、色または内視鏡画像によって表されてもよい。
また、図8に示した例では、表示部20に、検出部13Bによって検出された異常の内容を表示するための枠26が表示されている。枠26内には、異常の内容が表示されている。仮想部位21cと枠26を結ぶ矢印27は、枠26に表示した異常の内容が、仮想部位21cに対応する撮像部位の異常の内容であることを示している。異常の内容を表示させる仮想部位は、例えば、使用者が入力機器3(図1参照)を操作することによって選択することができる。
次に、図9を参照して、表示内容の第4の例について説明する。第4の例は、表示制御部16が図5に示したステップS22の処理を実行した場合の例である。図9に示した例では、モデルマップ21上に、複数の内視鏡画像を撮像したときの撮像ルート28が表示されている。
第4の例では、第1の例と同様に、複数の仮想部位の各々に、決定部15Aによる撮像情報と初期撮像条件との比較結果が表示されてもよい。比較結果は、例えば、図9に示したように、丸印、三角印等の記号によって表される。丸印は、例えば、その仮想部位に対応する撮像部位における撮像情報が、初期撮像条件の全てまたはほぼ全てを満足していることを表している。三角印は、例えば、その仮想部位に対応する撮像部位における撮像情報が、初期撮像条件の一部を満足していることを表している。第4の例では、撮像ルート28の始点と終点を、例えば記号によって表してもよい。
(作用および効果)
次に、本実施の形態に係わる画像処理装置1、画像処理方法および画像処理プログラムの作用および効果について説明する。本実施の形態では、取得部13が検査情報から撮像情報を取得し、作成部15が仮想部位に対して撮像情報を紐付ける。本実施の形態によれば、仮想部位に紐付いた撮像情報を利用することによって、その撮像情報に対応する撮像部位を再度撮像すべきか否かを判断することができ、その結果、撮像すべき部位の撮り逃しおよび撮像ミスを防止することができる。
また、本実施の形態では、分割部15Bは、例えば、病変等の異常が検出された撮像部位に対応する仮想部位を複数の副部位に分割する(図5のステップS15,S16参照)。本実施の形態によれば、例えば、異常を含む副部位と異常を含まない副部位とに分割し、異常を含む副部位に対して撮像条件を追加決定することによって、異常が検出された撮像部位を重点的に検査することができる。
また、本実施の形態では、初期撮像条件を満足させるような撮像条件を表示させることができる(図5のステップS19および図6参照)。これにより、本実施の形態によれば、撮像ミスを防止することができる。
また、本実施の形態では、仮想部位毎に、複数の内視鏡画像と複数の撮像情報を表示することができる(図5のステップS20および図7参照)。本実施の形態によれば、複数の内視鏡画像と複数の撮像情報を参照することによって、正確な診断が可能になる。
なお、図7に示した例では、複数の撮像情報として、照明光の種類の情報と、距離情報と、角度情報が表示され、複数の内視鏡画像として、照明光の種類が互いに異なる内視鏡画像24a,24bと、先端部111と被写体との距離および角度が互いに異なる内視鏡画像24a,24cが表示されている。本実施の形態では、複数の撮像情報として、上記の情報以外の撮像情報を表示させることが可能であり、複数の内視鏡画像として、上記の情報以外の撮像情報が互いに異なる複数の内視鏡画像を表示させることが可能である。具体的には、表示制御部16は、撮像情報として、光学拡大倍率の情報、電子拡大倍率の情報、照明光の光量の情報、色素が散布された領域であるか否かの情報、ならびに処置具の有無および種類の情報等を表示させることが可能である。
また、本実施の形態では、異常の有無および異常の内容を表示することができる(図5のステップS21および図8参照)。これにより、本実施の形態によれば、異常が検出された撮像部位を重点的に検査することができる。
また、本実施の形態では、複数の内視鏡画像を撮像したときの撮像ルートを表示することができる(図5のステップS22および図9参照)。これにより、本実施の形態によれば、検査の手順をフィードバックすることが可能になり、使用者の技術向上を図ることができる。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。例えば、本発明の画像処理装置、画像処理方法および画像処理プログラムは、医療分野に限らず、工業用分野にも適用することができる。

Claims (12)

  1. 内視鏡が被検体を撮像した内視鏡画像を取得する入力部と、
    前記内視鏡画像の前記被検体における撮像部位を推定する推定部と、
    予め規定された前記被検体を撮像するための条件である初期撮像条件を所定の部位毎に記憶する記憶部と、
    臓器を仮想化したモデルマップを作成して、推定された前記撮像部位に基づいて対応する前記モデルマップ上の仮想部位を特定し、前記仮想部位に撮像情報を紐付けて、前記仮想部位毎に前記撮像情報と前記仮想部位に対応する前記所定の部位の前記初期撮像条件とを比較することにより撮像条件を決定する作成部と、
    前記モデルマップおよび前記内視鏡画像を表示装置に出力すると共に、前記表示装置に出力中の前記内視鏡画像および前記内視鏡画像の前記撮像部位に該当する前記モデルマップ上の前記仮想部位に対応づけられた前記撮像情報と前記初期撮像条件との比較結果と、決定した前記撮像条件の、少なくとも一方を前記表示装置に出力する表示制御部と、
    を備えたことを特徴とする画像処理装置。
  2. 前記推定部は、前記内視鏡画像を画像解析することによって前記撮像部位を推定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記内視鏡画像に対応し且つ前記内視鏡画像を撮像したときの前記内視鏡および前記被検体の少なくとも一方の状況を示す情報である前記撮像情報を取得する取得部を更に備えたことを特徴とする請求項1に記載の画像処理装置。
  4. 前記入力部は、更に、前記内視鏡の動作に関する情報であるシステム情報を取得し、
    前記取得部は、前記システム情報から前記撮像情報を取得することを特徴とする請求項3に記載の画像処理装置。
  5. 前記取得部は、前記内視鏡画像を画像解析することによって前記撮像情報を取得することを特徴とする請求項3に記載の画像処理装置。
  6. 前記作成部は、更に、前記モデルマップ上の部位を複数の副部位に分割する分割部を含み、前記複数の副部位毎に前記撮像条件を決定し、
    前記表示制御部は、前記撮像条件の少なくとも一部を前記表示装置によって表示させることを特徴とする請求項1に記載の画像処理装置。
  7. 前記内視鏡画像を記憶する画像記憶部と、
    前記撮像情報を記憶する情報記憶部とを更に備え、
    前記表示制御部は、1つの前記撮像部位に対応する複数の前記内視鏡画像であって、各々に対応する前記撮像情報の少なくとも一部が互いに異なる複数の前記内視鏡画像を前記画像記憶部から読み出し、且つ前記複数の前記内視鏡画像に対応する複数の前記撮像情報を前記情報記憶部から読み出すと共に、前記複数の前記内視鏡画像と前記複数の前記撮像情報との少なくとも一方を前記表示装置に出力することを特徴とする請求項3に記載の画像処理装置。
  8. 前記内視鏡画像を記憶する画像記憶部を更に備え、
    前記取得部は、前記内視鏡画像を画像解析することによって前記内視鏡画像の画質を評価する評価部を含み、
    前記画像記憶部は、前記評価部による評価結果と前記内視鏡画像とを紐付けて記憶し、
    前記表示制御部は、1つの前記撮像部位に対応する複数の前記内視鏡画像の中から前記評価部によって画質が良いと評価された前記内視鏡画像を前記画像記憶部から読み出し且つ前記表示装置によって表示させることを特徴とする請求項3に記載の画像処理装置。
  9. 前記取得部は、前記内視鏡画像を画像解析することによって前記撮像部位における異常を検出する検出部を含み、
    前記表示制御部は、前記検出部による検出結果を前記表示装置によって表示させることを特徴とする請求項3に記載の画像処理装置。
  10. 前記入力部は、更に、前記内視鏡画像を撮像したときの時刻の情報である時刻情報を取得し、
    前記表示制御部は、前記時刻情報に基づいて、前記モデルマップ上に、複数の前記内視鏡画像を撮像したときの撮像ルートを前記表示装置によって表示させることを特徴とする請求項1に記載の画像処理装置。
  11. 入力部が、内視鏡が被検体を撮像した内視鏡画像を取得し、
    推定部が、前記内視鏡画像の前記被検体における撮像部位を推定し、
    記憶部が、予め規定された前記被検体を撮像するための条件である初期撮像条件を所定の部位毎に記憶し、
    作成部が、臓器を仮想化したモデルマップを作成して、推定された前記撮像部位に基づいて対応する前記モデルマップ上の仮想部位を特定し、前記仮想部位に撮像情報を紐付けて、前記仮想部位毎に前記撮像情報と前記仮想部位に対応する前記所定の部位の前記初期撮像条件とを比較することにより撮像条件を決定し、
    表示制御部が、前記モデルマップおよび前記内視鏡画像を表示装置に出力すると共に、前記表示装置に出力中の前記内視鏡画像および前記内視鏡画像の前記撮像部位に該当する前記モデルマップ上の前記仮想部位に対応づけられた前記撮像情報と前記初期撮像条件との比較結果と、決定した前記撮像条件の、少なくとも一方を前記表示装置に出力する、
    ことを特徴とする画像処理方法。
  12. コンピュータに、
    内視鏡が被検体を撮像した内視鏡画像を取得させ、
    前記内視鏡画像の前記被検体の部位における撮像部位を推定させ、
    予め規定された前記被検体を撮像するための条件である初期撮像条件を所定の部位毎に記憶させ、
    臓器を仮想化したモデルマップを作成させて、推定された前記撮像部位に基づいて対応する前記モデルマップ上の仮想部位を特定させ、前記仮想部位に撮像情報を紐付けさせて、前記仮想部位毎に前記撮像情報と前記仮想部位に対応する前記所定の部位の前記初期撮像条件とを比較することにより撮像条件を決定させ、
    前記モデルマップおよび前記内視鏡画像を表示装置に出力させると共に、前記表示装置に出力中の前記内視鏡画像および前記内視鏡画像の前記撮像部位に該当する前記モデルマップ上の前記仮想部位に対応づけられた前記撮像情報と前記初期撮像条件との比較結果と、決定した前記撮像条件の、少なくとも一方を前記表示装置に出力させること、
    を実行させることを特徴とするプログラム。
JP2024004639A 2020-01-21 2024-01-16 画像処理装置、画像処理方法およびプログラム Pending JP2024045237A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024004639A JP2024045237A (ja) 2020-01-21 2024-01-16 画像処理装置、画像処理方法およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021572152A JPWO2021149137A1 (ja) 2020-01-21 2020-01-21
PCT/JP2020/001868 WO2021149137A1 (ja) 2020-01-21 2020-01-21 画像処理装置、画像処理方法およびプログラム
JP2024004639A JP2024045237A (ja) 2020-01-21 2024-01-16 画像処理装置、画像処理方法およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021572152A Division JPWO2021149137A1 (ja) 2020-01-21 2020-01-21

Publications (1)

Publication Number Publication Date
JP2024045237A true JP2024045237A (ja) 2024-04-02

Family

ID=76992094

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021572152A Pending JPWO2021149137A1 (ja) 2020-01-21 2020-01-21
JP2024004639A Pending JP2024045237A (ja) 2020-01-21 2024-01-16 画像処理装置、画像処理方法およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021572152A Pending JPWO2021149137A1 (ja) 2020-01-21 2020-01-21

Country Status (4)

Country Link
US (1) US20220346632A1 (ja)
JP (2) JPWO2021149137A1 (ja)
CN (1) CN115038374A (ja)
WO (1) WO2021149137A1 (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3887453B2 (ja) * 1997-05-23 2007-02-28 オリンパス株式会社 内視鏡装置
EP3804647A1 (en) * 2005-04-21 2021-04-14 Boston Scientific Scimed Inc. Control methods and devices for energy delivery
JP5580637B2 (ja) * 2010-03-30 2014-08-27 オリンパス株式会社 画像処理装置、内視鏡装置の作動方法及びプログラム
JP5818520B2 (ja) * 2011-06-06 2015-11-18 株式会社東芝 医用画像処理システム
JP5771757B2 (ja) * 2013-04-12 2015-09-02 オリンパス株式会社 内視鏡システム及び内視鏡システムの作動方法
JP6284439B2 (ja) * 2014-06-16 2018-02-28 オリンパス株式会社 医療情報処理システム
WO2016044624A1 (en) * 2014-09-17 2016-03-24 Taris Biomedical Llc Methods and systems for diagnostic mapping of bladder
JP2018050890A (ja) * 2016-09-28 2018-04-05 富士フイルム株式会社 画像表示装置及び画像表示方法並びにプログラム
JP2019098005A (ja) * 2017-12-06 2019-06-24 国立大学法人千葉大学 内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法

Also Published As

Publication number Publication date
CN115038374A (zh) 2022-09-09
US20220346632A1 (en) 2022-11-03
WO2021149137A1 (ja) 2021-07-29
JPWO2021149137A1 (ja) 2021-07-29

Similar Documents

Publication Publication Date Title
US11145053B2 (en) Image processing apparatus and computer-readable storage medium storing instructions for specifying lesion portion and performing differentiation classification in response to judging that differentiation classification operation is engaged based on signal from endoscope
CN107708521B (zh) 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序
EP1994878B9 (en) Medical image processing device and medical image processing method
CN101384211B (zh) 图像分析装置
WO2014155778A1 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理方法
US10194783B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region
CN112770660B (zh) 增强彩色图像中的血管可见性
US11457876B2 (en) Diagnosis assisting apparatus, storage medium, and diagnosis assisting method for displaying diagnosis assisting information in a region and an endoscopic image in another region
JP7315576B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
US11564560B2 (en) Image processing apparatus, operating method of image processing apparatus, and computer-readable recording medium
EP1566140B1 (en) Endoscope insertion direction detecting device
US20170112355A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
WO2021149137A1 (ja) 画像処理装置、画像処理方法およびプログラム
WO2019087969A1 (ja) 内視鏡システム、報知方法、及びプログラム
WO2018235246A1 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
US20210150706A1 (en) Systems and methods for processing electronic medical images to determine enhanced electronic medical images
JP7335157B2 (ja) 学習データ作成装置、学習データ作成装置の作動方法及び学習データ作成プログラム並びに医療画像認識装置
CN116133572A (zh) 图像分析处理装置、内窥镜系统、图像分析处理装置的工作方法及图像分析处理装置用程序
JP7391113B2 (ja) 学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラム
WO2022025290A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、内視鏡装置、及び内視鏡画像処理システム
WO2023276158A1 (ja) 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法
WO2022064998A1 (ja) 検査支援装置、検査支援方法および検査支援プログラム
JP7158471B2 (ja) 検査動画処理装置、検査動画処理装置の作動方法及び検査動画処理プログラム
JP2023106327A (ja) 検査支援装置、検査支援方法および検査支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240116