JP7189969B2 - 画像処理装置、画像処理装置の作動方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理装置の作動方法及び画像処理プログラム Download PDF

Info

Publication number
JP7189969B2
JP7189969B2 JP2020567685A JP2020567685A JP7189969B2 JP 7189969 B2 JP7189969 B2 JP 7189969B2 JP 2020567685 A JP2020567685 A JP 2020567685A JP 2020567685 A JP2020567685 A JP 2020567685A JP 7189969 B2 JP7189969 B2 JP 7189969B2
Authority
JP
Japan
Prior art keywords
unit
analysis unit
risk
analysis
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020567685A
Other languages
English (en)
Other versions
JPWO2020152758A1 (ja
Inventor
光隆 木村
大和 神田
明広 窪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2020152758A1 publication Critical patent/JPWO2020152758A1/ja
Application granted granted Critical
Publication of JP7189969B2 publication Critical patent/JP7189969B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00062Operational features of endoscopes provided with means for preventing overuse

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、画像処理装置、画像処理装置の作動方法及び画像処理プログラムに関する。
従来より、医療分野や工業用分野で内視鏡が広く利用されている。例えば、医療分野では、術者は、表示装置に表示された被検体内の内視鏡画像を見て病変部を発見及び識別し、病変部に対する処置具を用いた処理を行うことができる。
術者が内視鏡画像を見る際に病変部の見落としを抑制するために、内視鏡画像から検出された病変部に、枠などのマーカを付与して強調表示させる画像処理装置は、一般的に広く知られている。
ところで、内視鏡観察においては、内視鏡により撮像される体腔内の被写体と、当該体腔内に挿入される当該内視鏡の挿入部との相対位置が常時変化し得るため、一旦検出された病変部を、全フレームで正しく検出することは難しく、病変部候補領域の見落としが生じやすい。そこで、日本国特開2006-255021号公報では、病変候補領域の見落としを防止するために、表示期間に基づいて表示強度を時間的に変化させる技術が提案されている。また、日本国特開2017-039364においては、ユーザの眠気状態を解析し、眠気(疲労)が低減されるように表示方法を変更することで、ユーザの運転操作ミスを抑制する技術が開示されている。
しかしながら、日本国特開2006-255021号の提案では、ユーザのスキルや状態に関係なく表示を強調するため、ユーザによっては必要以上に強調される可能性があり、疲労度が増加して病変部候補領域を見落す可能性が増大し検査品質が低下する虞があるという欠点がある。
また、日本国特開2017-039364の提案では、色味の変更によって眠気状態を低減させるようになっており、内視鏡観察画像の色の変化により、検査品質がかえって低下する虞がある。
本発明は、観察画像そのものを変更することなく、ユーザの状態に応じて表示方法を変更することにより、病変部候補領域の見落としを防止することができる画像処理装置、画像処理装置の作動方法及び画像処理プログラムを提供することを目的とする。
本発明の一態様による画像処理装置は、被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力する入力部と、前記内視鏡画像から病変部候補を検出する検出部と、 前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定するリスク推定部と、前記リスク推定部のリスク推定結果から前記病変部候補の報知態様を制御する報知制御部と、前記報知制御部の制御に従って前記病変部候補を報知する報知出力部と、を具備し、前記リスク推定部は、ユーザの疲労度を解析する疲労度解析部を有し、解析結果の疲労度に基づいて、前記リスク推定結果を求める
本発明の一態様による画像処理プログラムは、コンピュータに、被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力し、前記内視鏡画像から病変部候補を検出し、前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定し、前記検査品質の低下リスクの推定結果から前記病変部候補の報知態様を制御し、前記報知態様の制御に従って前記病変部候補を報知する、処理を実行させる画像処理プログラムであって、前記検査品質の低下リスクを推定する処理は、ユーザの疲労度を解析し、前記疲労度に基づいて、前記検査品質の低下リスクを求める処理を含む。
本発明の一態様による画像処理装置の作動方法は、検出部、疲労度解析部を含むリスク推定部及び報知出力部を有する画像処理装置の作動方法であって、前記検出部が被検体の内視鏡画像から病変部候補を検出し、前記リスク推定部が前記内視鏡画像又はシステム情報から検査品質の低下リスクを推定し、前記報知出力部が前記検査品質の低下リスクの推定結果に応じた報知態様で前記病変部候補を報知する処理を含み、前記検査品質の低下リスクを推定する処理は、前記リスク推定部が、前記疲労度解析部によりユーザの疲労度を解析し、前記疲労度に基づいて、前記検査品質の低下リスクを求める処理を含む。
また、本発明の一態様による画像処理装置の作動方法は、入力部、検出部、第2操作ログ解析部を有する経験レベル解析部を含むリスク推定部、報知制御部及び報知出力部を具備する画像処理装置の作動方法であって、前記入力部が被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力し、前記検出部が前記内視鏡画像から病変部候補を検出し、前記リスク推定部が前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定し、前記報知制御部が前記リスク推定部のリスク推定結果から前記病変部候補の報知態様を制御し、前記報知出力部が前記報知制御部の制御に従って前記病変部候補を報知し、前記経験レベル解析部がユーザの経験レベルを解析する処理を含み、前記検査品質の低下リスクを推定する前記リスク推定部の処理は、前記第2操作ログ解析部により操作ログを解析し、解析結果の操作ログに基づいて、前記経験レベル解析部により前記経験レベルを求め、求めた経験レベルに基づいて、前記リスク推定結果を求める処理を含む。
また、本発明の一態様による画像処理プログラムは、コンピュータに、被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力し、前記内視鏡画像から病変部候補を検出し、前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定し、前記低下リスクのリスク推定結果から前記病変部候補の報知態様を制御し、前記報知態様の制御に従って前記病変部候補を報知し、ユーザの経験レベルを解析する処理を実行させる画像処理プログラムであって、前記検査品質の低下リスクを推定する処理は、操作ログを解析し、解析結果の操作ログに基づいて、前記経験レベルを求め、求めた経験レベルに基づいて、前記リスク推定結果を求める処理を含む。
また、本発明の一態様による画像処理装置の作動方法は、入力部、検出部、比較解析部を有する経験レベル解析部を含むリスク推定部、報知制御部及び報知出力部を具備する画像処理装置の作動方法であって、前記入力部が被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力し、前記検出部が前記内視鏡画像から病変部候補を検出し、前記リスク推定部が前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定し、前記報知制御部が前記リスク推定部のリスク推定結果から前記病変部候補の報知態様を制御し、前記報知出力部が前記報知制御部の制御に従って前記病変部候補を報知し、前記経験レベル解析部がユーザの経験レベルを解析する処理を含み、前記検査品質の低下リスクを推定する前記リスク推定部の処理は、前記比較解析部によりユーザの診断結果とコンピュータ診断支援装置の診断結果との比較結果の推移を解析し、解析結果の比較結果の推移に基づいて、前記経験レベル解析部により前記経験レベルを求め、求めた経験レベルに基づいて、前記リスク推定結果を求める処理を含む。
また、本発明の一態様による画像処理プログラムは、コンピュータに、被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力し、前記内視鏡画像から病変部候補を検出し、前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定し、前記低下リスクのリスク推定結果から前記病変部候補の報知態様を制御し、前記報知態様の制御に従って前記病変部候補を報知し、ユーザの経験レベルを解析する処理を実行させる画像処理プログラムであって、前記検査品質の低下リスクを推定する処理は、ユーザの診断結果とコンピュータ診断支援装置の診断結果との比較結果の推移を解析し、解析結果の比較結果の推移に基づいて、前記経験レベルを求め、求めた経験レベルに基づいて、前記リスク推定結果を求める処理を含む。
第1の実施形態に係る内視鏡装置を含む内視鏡システムの要部の構成を示す図。 図1中の画像処理装置40の具体的な構成の一例を示すブロック図。 第1の実施形態を説明するためのフローチャート。 本発明の第2の実施形態を示すブロック図。 検出マーカ情報生成部82の具体的な構成の一例を示すブロック図。 第2の実施形態の動作を説明するためのフローチャート。 第2の実施形態の動作を説明するためのフローチャート。 第2の実施形態の動作を説明するためのフローチャート。 第2の実施形態の動作を説明するためのフローチャート。 表示例を説明するための説明図。 本発明の第3の実施形態を示すブロック図。 第3の実施形態の動作を説明するためのフローチャート。 本発明の第4の実施形態を示すブロック図。 第4の実施形態の動作を説明するためのフローチャート。 本発明の第5の実施形態を示すブロック図。 第5の実施形態の動作を説明するためのフローチャート。 第5の実施形態の動作を説明するためのフローチャート。 本発明の第6の実施形態を示すブロック図。 第6の実施形態の動作を説明するためのフローチャート。 本発明の第7の実施形態を示すブロック図。 第7の実施形態の動作を説明するためのフローチャート。
以下、図面を参照して本発明の実施形態について詳細に説明する。
(第1の実施形態)
図1は第1の実施形態に係る内視鏡装置を含む内視鏡システムの要部の構成を示す図である。本実施形態は、例えば、ユーザの経歴や検査状況等を解析することにより、検査品質が低下しそうな状況(リスク)を判断し、この判断に従って、検査品質の低下を抑制するために表示方法の変更を行うものである。これにより、本実施形態においては、例えば、ユーザの病変部候補の見落としを防止することができ、検査品質を向上させる効果がある。
図1に示すように、内視鏡システム1は、光源駆動装置11と、内視鏡21と、ビデオプロセッサ31と、画像処理装置40と、表示装置95と、を有して構成されている。
光源駆動装置11は、例えば、ドライブ回路を具備して構成されている。また、光源駆動装置11は、内視鏡21及びビデオプロセッサ31に接続されている。また、光源駆動装置11は、ビデオプロセッサ31からの光源制御信号に基づき、内視鏡21の光源部23を駆動させるための光源駆動信号を生成し、当該生成した光源駆動信号を内視鏡21へ出力するように構成されている。
内視鏡21は、光源駆動装置11及びビデオプロセッサ31に接続されている。また、内視鏡21は、被検者の体腔内に挿入可能な細長形状の挿入部22を有して構成されている。また、挿入部22の先端部には、光源部23と、撮像部24と、が設けられている。
光源部23は、例えば、白色LED等の発光素子を具備して構成されている。また、光源部23は、光源駆動装置11から出力される光源駆動信号に応じて発光することにより照明光を発生し、当該発生した照明光を生体組織等の被写体へ出射するように構成されている。
撮像部24は、例えば、カラーCCDまたはカラーCMOS等のイメージセンサを有して構成されている。また、撮像部24は、ビデオプロセッサ31から出力される撮像制御信号に応じた動作を行うように構成されている。また、撮像部24は、光源部23からの照明光により照明された被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ31へ出力するように構成されている。
ビデオプロセッサ31は、光源駆動装置11及び内視鏡21に接続されている。また、ビデオプロセッサ31は、光源部23の発光状態を制御するための光源制御信号を生成して光源駆動装置11へ出力するように構成されている。また、ビデオプロセッサ31は、撮像部24の撮像動作を制御するための撮像制御信号を生成して出力するように構成されている。また、ビデオプロセッサ31は、内視鏡21から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像を生成する。そして、当該生成した観察画像に対して強調処理やホワイトバランス補正処理を施した後、画像処理装置40へ1フレームずつ順次出力するように構成されている。
画像処理装置40は、画像処理回路等の電子回路を具備して構成されている。また、画像処理装置40は、ビデオプロセッサ31から出力される観察画像に基づいて表示用画像を生成し、当該生成した表示用画像を表示装置95に表示させるための動作を行うように構成されている。
表示装置95は、モニタ等を具備し、画像処理装置40から出力される表示用画像を表示することができるように構成されている。
図2は図1中の画像処理装置40の具体的な構成の一例を示すブロック図である。
図2に示すように、画像処理装置40は、入力部50と、診断支援部60と、リスク推定部70と、報知制御部80と、報知出力部90と、を有して構成されている。なお、診断支援部60、リスク推定部70及び報知制御部80は、CPUやFPGA等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
入力部50は、ビデオプロセッサ31から入力される観察画像を取り込んで、診断支援部60に出力する。また、入力部50は、ビデオプロセッサ31からシステム情報を取り込むようになっていてもよい。なお、システム情報は、観察画像のヘッダ情報に含まれて入力される場合もあり、また、観察画像とは別のデータとして入力される場合もある。本実施形態においては、システム情報は、ユーザの履歴や検査状況を示す情報を含む。入力部50は、入力された観察画像を診断支援部60及びリスク推定部70に出力する。また、入力部50は、観察画像とは別にシステム情報が入力された場合には、入力されたシステム情報をリスク推定部70に出力するようになっている。
診断支援部60は、公知の手法により、入力された観察画像に基づいて病変部候補を検出するように構成されている。診断支援部60は、検出した病変部候補の情報を報知制御部80に出力する。
報知制御部80は、入力部50から観察画像が与えられ、診断支援部60から病変部候補の情報が与えられて、観察画像中に、診断支援部60によって検出された病変部候補の検出結果を報知するための情報を生成する。報知制御部80は、生成した情報を報知出力部90に出力する。報知出力部90は、報知制御部80からの情報に基づいて、病変部候補の検出結果をユーザに報知するようになっている。例えば、報知出力部90は、画像による報知、音声による報知等によって、病変部候補の検出結果をユーザに報知する。
例えば、報知出力部90が画像による報知を行う場合には、報知制御部80は、病変部候補の位置を示す画像(以下、検出マーカという)を観察画像に重ねて表示するための情報を生成して報知出力部90に出力する。報知出力部90は、報知制御部80からの情報に基づく検出マーカの画像を、入力部50からの観察画像に合成した表示用画像を生成する。報知出力部90は、生成した表示用画像を表示装置95に与えて表示画面95aに表示させる。
この場合には、医者等は、表示装置95の表示画面95a上に表示された観察画像及び検出マーカによって、診断支援部60によって検出された病変部候補を参考にし、最終的な判断を行う。この場合において、観察画像を観察する医者等の経験や疲労度等に応じて、検出マーカの見落としが生じたり、注意力が削がれたりする可能性がある。なお、報知が音声で行われる場合にも同様の問題がある。例えば、音量の大きさや報知期間によっては、聞き取り誤りが生じたり、音声によって注意力が削がれたりする等の問題がある。
そこで、本実施形態においては、報知制御部80による報知の報知態様をユーザに応じて最適化するためにリスク推定部70が設けられている。リスク推定部70は、観察画像に基づいて、検査品質が低下するリスクを推定し、リスクの推定結果を報知制御部80に出力するようになっている。なお、リスク推定部70は、システム情報を用いて検査品質が低下するリスクを推定するようになっていてもよい。即ち、リスク推定部70は、観察画像及びシステム情報の少なくとも一方に基づいてリスクを推定する。
例えば、リスク推定部70は、観察画像やシステム情報に基づいて、ユーザの疲労度や経験レベルの解析結果を、検査品質が低下するリスクの推定結果として用いてもよい。リスク推定部70は、見落としを防止するするように、報知態様を変更するためのリスク推定結果を発生する。
例えば、画像によって報知を行う場合には、リスク推定部70は、検出マーカの表示形態の変更制御を行うために、検査品質が低下するリスクを推定する。報知制御部80は、リスク推定結果に従って、検出マーカの表示形態をユーザに応じて最適化する。なお、以下の説明では、画像を用いて報知を行う例について説明するが、報知を音声によって行う場合にも同様の制御が可能である。
報知制御部80は、リスク推定部70のリスク推定結果が与えられて、検出マーカの表示形態を変更するようになっている。報知制御部80は、検出マーカの表示、非表示によって病変部候補の検出の有無をユーザに認知させ、観察画像中の表示位置によって、病変部の体内の位置をユーザに認知させることができる。こうして、検出マーカは、例えばユーザの疲労度や経験レベルの解析結果であるリスク推定結果に対応する表示形態で表示されることになり、見落としを防止し、検査品質を向上させることができる。
次に、このように構成された実施形態の動作について図3を参照して説明する。図3は第1の実施形態を説明するためのフローチャートである。
内視鏡21は、例えば、光源駆動装置11及びビデオプロセッサ31の電源が投入された際に、被写体へ照明光を出射し、当該被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ31へ出力する。
ビデオプロセッサ31は、内視鏡21から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像を生成し、当該生成した観察画像を画像処理装置40へ1フレームずつ順次出力する。すなわち、入力部50は、ビデオプロセッサ31から生体内管腔画像である内視鏡画像(観察画像)を取得する(S1)。この観察画像のヘッダ情報中に、システム情報が含まれていてもよい。また、観察画像のヘッダ情報にシステム情報が含まれていない場合には、入力部50は、観察画像とは別にシステム情報を取り込むようになっていてもよい。なお、入力部50は、システム情報を含まない観察画像のみを取り込むようになっていてもよい。
次に、ステップS2において、診断支援部60は、入力部50から観察画像が与えられ、観察画像から病変部候補を検出し、検出結果を報知制御部80に出力する。
また、ステップS3において、リスク推定部70は、入力部50から観察画像及びシステム情報の少なくとも一方が与えられて、検査品質が低下するリスクを推定する。リスク推定部70はリスクの推定結果を報知制御部80に出力する。なお、ステップS2,S3は、ステップS3,S2の順に実行されてもよく、同時に実行されてもよい。
報知制御部80は、入力部50から与えられた観察画像上に、診断支援部60により検出された病変部候補を特定するための検出マーカを表示させるための情報を生成する。本実施形態においては、報知制御部80は、リスク推定部70によるリスクの推定結果に応じた表示形態の検出マーカを表示するための情報を生成する(S4)。
報知制御部80からの情報に基づいて報知出力部90は検出マーカを表示装置の表示画面95a上に表示する(S5)。
このように本実施形態においては、検査品質が低下するリスクを推定し、この推定結果に従って、検査品質の低下を抑制するために表示方法の変更を行う。これにより、検査品質を向上させることができる。
(第2の実施形態)
図4は本発明の第2の実施形態を示すブロック図である。本実施形態の内視鏡システムは、画像処理装置40に代えて画像処理装置41を採用した点が図1と異なる。図4は画像処理装置41の具体的な構成の一例を示している。本実施形態は検査品質が低下するリスクをユーザの疲労度の解析によって推定する例である。
図4における入力部50の構成は図2と同様である。本実施形態においては、報知制御部80の具体例として表示制御部81を採用し、報知出力部90の具体例として表示出力部91を採用する例について説明する。
入力部50は、観察画像を診断支援部60及び表示制御部81に出力する。また、入力部50は、観察画像及びシステム情報の少なくとも一方をリスク推定部70に出力する。また、表示出力部91は、表示制御部81からの表示用画像を表示装置95の表示画面95aに表示させる。
本実施形態においては、診断支援部60は、病変部候補検出部61を有している。病変部候補検出部61は、入力部50から順次出力される観察画像に含まれる病変部候補を検出するように構成されている。病変部候補検出部61は、例えば、ディープラーニング等の学習手法で病変部候補を鑑別可能な機能を予め取得した画像鑑別器を観察画像に対して適用する処理を行うことにより、当該観察画像から病変部候補を検出する。なお、病変部候補の検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開2007-244518号公報に開示のようなポリープ候補検出処理などを用いてもよい。
病変部候補検出部61は、検出した病変部候補の観察画像上の領域(以下、病変部候補領域という)を判定し、当該病変部候補領域を示す情報を病変部候補の検出結果として表示制御部81に出力するようになっている。
表示制御部81は、検出マーカ情報生成部82を有している。検出マーカ情報生成部82は、病変部候補領域を示す情報が与えられて、診断支援部60において検出された病変部候補の存在をユーザに認知させるために、例えば、観察画像中の病変部候補の領域を囲む画像(検出マーカ)を生成するための情報を生成して表示出力部91に出力する。
表示出力部91は、画像合成部92を有している。画像合成部92は、表示制御部81からの情報に基づいて、入力部50からの観察画像中に検出マーカを重畳した表示用画像を生成して表示装置95に出力する。
検出マーカ情報生成部82の情報により生成される検出マーカは、病変部候補の存在をユーザに視覚的に認知させるために必要な形態を有している。例えば、検出マーカの形状としては、四角形、三角形、円形、星形等であってもよく、他の任意の形状でもよい場合がある。また、検出マーカは、病変部候補の存在及び位置を示すことができるものであれば、病変部候補を囲まない画像であっても構わない。更には、検出マーカ情報生成部82は、支援情報として病変部を示すメッセージを生成し、病変部の近傍にポップアップメッセージなどの形式で表示することによって、その存在を示してもよい。
本実施形態においては、検出マーカ情報生成部82は、リスク推定部70からのリスク推定結果に基づいて、検出マーカの表示形態を変更するようになっている。即ち、検出マーカ情報生成部82は、病変部候補の存在を容易に認知させ、且つ、なるべく観察画像を確認の妨げとならないように、表示形態を変更する。この場合において、本実施形態においては、リスク推定部70は、ユーザの疲労度の解析に基づくリスク推定結果に従って、検出マーカ情報生成部82による表示形態の変更を制御するようになっている。
リスク推定部70は、疲労度解析部71を有している。疲労度解析部71は、ユーザの疲労度を解析して解析結果を得る。リスク推定部70は、疲労度解析部71の解析結果をリスク推定結果として用いてもよい。本実施形態においては、疲労度解析部71は、操作ログ解析部73によって構成される。操作ログ解析部73は、内視鏡21の操作ログを解析することで、ユーザの疲労度を解析する。本実施形態では、一例として、操作ログ解析部73は、持ち変え回数解析部73a及びひねり回数解析部73bによって構成する。
持ち変え回数解析部73aは、内視鏡21の操作ログにより、内視鏡21の持ち換え回数を解析するようになっている。例えば、持ち変え回数解析部73aは、所定の方法で取得された任意期間において、ユーザが内視鏡21の挿入部22を持ち変えた回数を求める。挿入部22を持ち変えるユーザの行為は、挿入部22からユーザの手が離れることから、例えば、観察画像が揺れる等の変化となって現れる。例えば、持ち変え回数解析部73aは、観察画像に対する画像解析によって、このような観察画像の変化を検出することで、ユーザが挿入部22を持ち変えたことを解析し、その回数を取得するようになっていてもよい。また、例えば、挿入部22に図示しない加速度センサ等を取り付けることによって、この加速度センサの出力の解析により、持ち変え回数を解析することも可能である。リスク推定部70は、このような加速度センサの出力をシステム情報として取得することにより、持ち変え回数を解析してもよい。
なお、上記任意期間を含む期間の情報は、種々の方法で取得することができる。画像処理装置40及び後述の各画像処理装置は、設定する期間を、図示しないタイマやセンサ等のデバイスから取得してもよく、画像情報中に含まれる撮影時間の情報から取得してもよく、また、ユーザ設定に基づくシステム情報より取得してもよい。
また、ひねり回数解析部73bは、内視鏡21の操作ログにより、内視鏡21のひねり回数を解析するようになっている。例えば、ひねり回数解析部73bは、図示しないタイマを備えており、任意期間において、ユーザが内視鏡21の挿入部22をひねった回数を求める。挿入部22をひねるユーザの行為は、挿入部22が回転することから、観察画像が回転する変化となって現れる。例えば、ひねり回数解析部73bは、観察画像に対する画像解析によって、このような観察画像の変化を検出することで、ユーザが挿入部22をひねったことを解析し、その回数を取得するようになっていてもよい。また、例えば、挿入部22に図示しないジャイロセンサ等を取り付けることによって、このジャイロセンサの出力の解析により、ひねり回数を解析することも可能である。リスク推定部70は、このようなジャイロセンサの出力をシステム情報として取得することにより、ひねり回数を解析してもよい。
疲労度解析部71は、持ち変え回数解析部73aによって求めた持ち変え回数及びひねり回数解析部73bによって求めたひねり回数の少なくとも一方に応じてユーザの疲労度を解析し、解析結果をリスク推定結果としてもよい。例えば、疲労度解析部71は、ユーザの内視鏡21の持ち換え回数又はひねり回数が多いほど疲労度が高いものと判定し、検査品質の低下のリスクが高まったと推定してもよい。逆に、リスク推定部70は、ユーザの内視鏡21の持ち換え回数又はひねり回数が少ないほど疲労度が低いものと判定し、検査品質の低下のリスクが低いと推定してもよい。リスク推定部70からのユーザの疲労度に基づくリスク推定結果は、表示制御部81に供給される。
なお、本実施形態においては、操作ログ解析部73は、持ち変え回数解析部73a及びひねり回数解析部73bにより構成した例を説明したが、持ち変え回数解析部73a又はひねり回数解析部73bのいずれか一方によって構成してもよい。
図5は検出マーカ情報生成部82の具体的な構成の一例を示すブロック図である。
図5では、検出マーカ情報生成部82が、表示時間制御部83及び表示内容制御部84によって構成される例を示している。表示時間制御部83は、入力されたリスク推定結果に基づいて、検出マーカの表示時間を変更する。例えば、表示時間制御部83は、リスク推定結果によって示されたユーザの疲労度に応じた表示時間を設定してもよい。例えば、ユーザの疲労度が高い程表示時間を長くし、ユーザの疲労度が短い程表示時間を短くすることができる。
表示内容制御部84は、入力されたリスク推定結果に基づいて、検出マーカの表示の内容(質)を変更する。図5の例では、表示内容制御部84は、色調変更部84a及び表示判定レベル変更部84bにより構成されている。色調変更部84aは、入力されたリスク推定結果に基づいて、検出マーカの色調を変更する。例えば、色調変更部84aは、リスク推定結果によって示されたユーザの疲労度に応じた色調を設定してもよい。例えば、色調変更部84aは、ユーザの疲労度が高いほど検出マーカを目立つ色調に設定してもよい。例えば、色調変更部84aは、ユーザの疲労度が高い程、検出マーカの明度及び彩度を高く設定してもよい。この場合には、ユーザの疲労度が高い程、感覚的には検出マーカは目立った表示となる。逆に、ユーザの疲労度が低い程、感覚的には検出マーカは自然な色合いとすることもできる。
表示判定レベル変更部84bは、入力されたリスク推定結果に基づいて、検出マーカの表示非表示の判定レベル(以下、表示判定レベルという)を変更する。なお、表示判定レベルは、低い程表示されにくく、高い程表示されやすいものとして説明する。例えば、同一の病変部候補であっても、検出マーカは、表示判定レベルが低ければ表示されない場合があり、表示判定レベルが高ければ表示される場合もある。
表示判定レベル変更部84bは、リスク推定結果のみに基づいて表示判定レベルを決定してもよいが、図5の例では表示判定レベルを決定するために、病変解析部85を備えている。病変解析部85は、病変部候補検出部61によって検出された病変部候補の性状を解析するようになっている。病変解析部85は、病変部候補が見落としやすいものであるか否かを解析する。例えば、病変解析部85は、病変部候補検出部61から病変部候補の形状、サイズ、色等の情報が与えられ、見落としやすさの度合いを判定する。
表示判定レベル変更部84bは、リスク推定結果によって示されたユーザの疲労度と見落としやすさの度合いとに基づいて表示判定レベルを決定する。表示判定レベルは、見落としやすさの度合いが高い程、高い値に設定されており、表示判定レベル変更部84bは、この表示判定レベルをユーザの疲労度が高い程高い値に設定するようになっている。従って、表示判定レベル変更部84bの制御によれば、見落としやすく、疲労度が高い程、検出マーカはより表示されやすくなり、見落としにくく、疲労度が低い程、検出マーカはより表示されにくくなる。
次に、このように構成された実施形態の動作について図6から図10を参照して説明する。図6から図9は第2の実施形態の動作を説明するためのフローチャートである。また、図10は表示例を説明するための説明図である。
本実施形態における動作は、図3と同様である。本実施形態は図3のステップS3,S4について、具体的なフローの一例を示している。
光源駆動装置11及びビデオプロセッサ31の電源が投入されると、内視鏡21は、被写体へ照明光を出射し、当該被写体からの反射光を受光し、受光した反射光を撮像して撮像信号を生成し、生成した撮像信号をビデオプロセッサ31へ出力する。
ビデオプロセッサ31は、内視鏡21から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像を生成し、生成した観察画像を画像処理装置41へ1フレームずつ順次出力する。入力部50は、ビデオプロセッサ31から生体内管腔画像である内視鏡画像(観察画像)を取得する(図3のS1)。なお、観察画像には、システム情報が含まれることもある。入力部50は、取得した画像を診断支援部60及びリスク推定部70に出力する。なお、入力部50は、観察画像とは別にシステム情報が入力される場合には、取得したシステム情報をリスク推定部70に出力する。
病変部候補検出部61は、例えば、ディープラーニング等の学習手法を利用して観察画像から病変部候補を検出する(図3のS2)。病変部候補検出部61は、検出された病変部候補の画像中の範囲を示す病変部候補領域を判定し、病変部候補領域を示す情報を病変部候補の検出結果として表示制御部81に出力する。
一方、リスク推定部70の疲労度解析部71は、図6のステップS31において、ユーザの疲労度を解析する。例えば、疲労度解析部71は、操作ログ解析部73によって、内視鏡21の操作ログを解析する。図7は操作ログ解析部73の具体的なフローを示している。操作ログ解析部73は、持ち変え回数解析部73aによって、内視鏡21の持ち変え回数を解析する(S311)。また、操作ログ解析部73は、ひねり回数解析部73bによって内視鏡21のひねり回数を解析する(S312)。
なお、ステップS311,S312の持ち変え回数の解析及びひねり回数の解析は、逆順に行ってもよく、また、いずれか一方の解析のみを行ってもよい。疲労度解析部71は、解析した持ち変え回数及びひねり回数の少なくとも一方の解析結果に基づいて、疲労度を算出する(S313)。疲労度解析部71は、算出した疲労度をリスク推定結果として表示制御部81に出力する。なお、疲労度解析部71は、解析した回数を疲労度の解析結果とし、疲労度の解析結果をそのままリスク推定結果として出力してもよい。この場合には、解析した回数が多い程疲労度が高く、品質が低下するリスクが高いと推定される。
表示制御部81の検出マーカ情報生成部82は、入力されたリスク推定結果に基づいて、検出マーカの形態を設定し、設定に応じた検出マーカを表示させるための情報を生成する。例えば、検出マーカ情報生成部82は、表示時間制御部83によって、リスク推定結果に基づく表示時間を設定する(図8のS41)。また、検出マーカ情報生成部82は、表示内容制御部84によって、リスク推定結果に基づく表示内容を設定する(図8のS42)。なお、ステップS41,S42の設定は、逆順に行ってもよく、また、いずれか一方の設定のみを行ってもよい。
図9は図8中のステップS42の具体的なフローの一例を示している。例えば、表示内容制御部84は、色調変更部84aによって、リスク推定結果に従って色調を変更する(図9のS421)。例えば、リスク推定結果により検査品質が低下するリスクが比較的高いことが示された場合には、色調変更部84aは、検出マーカを目立つ色調に設定する。
また、表示内容制御部84は、表示判定レベル変更部84bによって、表示判定レベルを決定する。例えば、表示判定レベル変更部84bは、ステップS422において、病変部候補の性状を解析する。表示判定レベル変更部84bは、リスク推定結果及び病変部候補の性状に基づいて表示判定レベルを決定する(S423)。例えば、表示判定レベル変更部84bは、サイズが小さく見逃しやすい性状の病変部候補については、表示判定レベルを高くして表示し易くする。そして、表示判定レベル変更部84bは、リスク推定結果に従って、表示判定レベルを更に変更する。例えば、表示判定レベル変更部84bは、ユーザの疲労度が比較的高い場合には、より表示判定レベルを高くして、表示しやすくする。
なお、ステップS421とステップS423,S423の設定は、逆順に行ってもよく、また、ステップS421の設定のみを行ってもよい。また、表示判定レベル変更部84bは、所定の表示判定レベルをリスク推定結果のみによって変更することで、表示判定レベルを決定してもよい。
検出マーカ情報生成部82は、ステップS43において、設定した表示時間、設定した色調、設定した表示判定レベルの少なくとも1つの設定に基づいて検出マーカを表示するための情報を生成して表示出力部91に出力する。表示出力部91の画像合成部92は、検出マーカ情報生成部82からの情報に基づいて、観察画像に検出マーカを重畳した表示用画像を生成して表示装置95に与える。これにより、表示装置95は、表示画面95a上に検出マーカが重畳された観察画像を表示する。
図10は表示装置95の表示画面95a上に表示された画像の例を示している。図10の画像101a~101cは、同一観察画像101について、リスク推定結果が異なる場合の検出マーカの3つの表示例を示している。観察画像101中には、診断支援部60によって検出された病変部候補101aが存在する。この病変部候補101aを囲むように、検出マーカ102~104が表示されている。
例えば、検出マーカ102は、中程度の疲労度の場合の表示例であり、検出マーカ103は、疲労度が大きい場合の表示例であり、検出マーカ104は、疲労度が極めて小さい場合の表示例である。図面上、検出マーカ103は、検出マーカ102に比べて太線で表示することにより、例えば、比較的長い表示時間で、比較的目立つ色調で、比較的高い表示判定レベルに対応した表示であることを示している。
また、表示内容の変更の例として、色調及び表示判定レベルについて説明したが、図10のように、検出マーカの枠の線の太さや枠の種類等を変えるようになっていてもよい。例えば、疲労度が高い程枠の線の太さを太くするようになっていてもよい。あるいは、リスク推定結果によって検出マーカを点灯、点滅させてもよく、リスク推定結果に応じて点滅周期を変化させてもよい。また、例えば、検出マーカ104に示すように、疲労度が比較的低い場合には、検出マーカを破線によって表示するようになっていてもよい。
このように本実施の形態においては、検査品質が低下するリスクをユーザの疲労度の解析によって推定し、リスク推定結果に基づいて検出マーカの表示形態を変更するようになっている。これにより、ユーザの疲労度が比較的高い場合には、検出マーカを例えば見やすく表示することで検出マーカの見落としを防止し、検査品質を向上させ、ユーザの疲労度が比較的低い場合には、観察画像の視認性が悪化しないように検出マーカを表示することで、検査品質を向上させることができる。
(第3の実施形態)
図11は本発明の第3の実施形態を示すブロック図である。本実施形態の内視鏡システムは、画像処理装置40に代えて画像処理装置42を採用した点が図1と異なる。図11の画像処理装置42は、疲労度解析部71を検査状況解析部74によって構成した点が図4と異なる。他の構成は第2の実施形態と同様であり、説明を省略する。本実施形態はユーザの疲労度を検査状況の解析によって推定する例である。
検査状況解析部74は、内視鏡検査の状況を解析することで、ユーザの疲労度を解析する。本実施形態では、一例として、検査状況解析部74は、検査経過時間解析部74a及び連続検査回数解析部74bによって構成する。
検査経過時間解析部74aは、検査経過時間を解析するようになっている。例えば、検査経過時間解析部74aは、上述した各種の方法により取得した任意期間において、ユーザが内視鏡検査を行った時間を求める。内視鏡検査時には、検査者の氏名等の検査者を特定する情報が入力されるようになっており、検査経過時間解析部74aは、システム情報によって検査経過時間を解析することが可能である。なお、観察画像中に検査者を特定する情報がシステム情報とは別に含まれることもあり、検査経過時間解析部74aは、観察画像から各ユーザの検査経過時間を解析することも可能である。
例えば、任意期間として、例えば、1日、1週間、1ヶ月等を設定することができる。例えば、各ユーザについて1日の検査経過時間が比較的長い場合には、経過時間が長くなるにつれて疲労度が高くなるものと考えられる。疲労度解析部71は、検査経過時間解析部74aが求めた検査経過時間が長い程疲労度が高いと解析することができ、リスク推定部70は、検査品質が低下するリスクが増大すると推定することができる。
また、連続検査回数解析部74bは、各ユーザについて、内視鏡検査の連続検査回数を解析する。連続検査回数解析部74bは、システム情報によってユーザ毎に連続検査回数を解析することが可能である。また、連続検査回数解析部74bは、観察画像から各ユーザの連続検査回数を解析することも可能である。
例えば、1日に複数回の内視鏡検査が行われるものとして、同一ユーザが連続して検査を行った場合と、複数のユーザによって交代しながら検査を行った場合とでは疲労度が異なり、同一ユーザが連続して検査を行う回数が多い程、疲労度が増大すると考えられる。疲労度解析部71は、連続検査回数解析部74bが求めた連続検査回数が多い程疲労度が高いと解析することができ、リスク推定部70は、検査品質が低下するリスクが増大すると推定することができる。
なお、本実施形態においては、検査状況解析部74は、検査経過時間解析部74a及び連続検査回数解析部74bにより構成した例を説明したが、検査経過時間解析部74a又は連続検査回数解析部74bのいずれか一方によって構成してもよい。
次に、このように構成された実施形態の動作について図12を参照して説明する。図12は第3の実施形態の動作を説明するためのフローチャートである。
本実施形態における動作は、図3及び図6と同様である。図12は、図6のステップS31について、図7とは異なる具体的なフローの一例を示している。
リスク推定部70の疲労度解析部71は、図6のステップS31において、ユーザの疲労度を解析する。例えば、疲労度解析部71は、検査状況解析部74によって、各ユーザの内視鏡検査状況を解析する。図12は検査状況解析部74の具体的な処理の一例を示している。検査状況解析部74は、検査経過時間解析部74aによって内視鏡検査の検査経過時間を解析する(S314)。また、検査状況解析部74は、連続検査回数解析部74bによって内視鏡検査の連続検査回数を解析する(S315)。
なお、ステップS314,S315の解析は、逆順に行ってもよく、また、いずれか一方の解析のみを行ってもよい。疲労度解析部71は、解析した検査経過時間及び連続検査回数の少なくとも一方の解析結果に基づいて、疲労度を算出する(S316)。疲労度解析部71は、算出した疲労度をリスク推定結果として表示制御部81に出力する。なお、疲労度解析部71は、検査経過時間が長いほど、また、連続検査回数が多い程、疲労度が高く、品質が低下するリスクが高いと推定する。
表示制御部81の検出マーカ情報生成部82において、リスク推定結果に応じた形態の検出マーカを表示するための情報が生成されることは第2の実施形態と同様である。この結果、表示装置95の表示画面95a上には、ユーザの疲労度に応じた形態の検出マーカが表示される。
他の作用は第2の実施形態と同様である。このように本実施の形態においても、第2の実施形態と同様の効果を得ることができる。
(第4の実施形態)
図13は本発明の第4の実施形態を示すブロック図である。本実施形態の内視鏡システムは、画像処理装置40に代えて画像処理装置43を採用した点が図1と異なる。図13の画像処理装置43は、疲労度解析部71を生体情報解析部75によって構成した点が図4と異なる。他の構成は第2の実施形態と同様であり、説明を省略する。本実施形態はユーザの疲労度を生体情報の解析によって推定する例である。
生体情報解析部75は、生体情報を解析することで、ユーザの疲労度を解析する。本実施形態では、一例として、生体情報解析部75は、瞬き回数解析部75a及び脈拍等解析部75bによって構成する。
瞬き回数解析部75aは、ユーザの瞬き回数を解析するようになっている。検査室等においては、術野カメラ等が設けられており、ユーザの顔部の撮像が可能である。ビデオプロセッサ31には、これらのカメラからの画像も入力されるようになっており、ビデオプロセッサ31は、ユーザの撮像画像の画像解析によって、ユーザが瞬きした回数を求めることができる。ビデオプロセッサ31は、ユーザの瞬き回数をシステム情報として画像処理装置43に出力することができる。瞬き回数解析部75aは、入力されたシステム情報によって、ユーザの瞬き回数を解析する。
なお、瞬き回数の情報を画像から取得する例を説明したが、画像以外の各種センサ等のデバイスから取得してもよく、システム情報から取得してもよい。
なお、リスク推定部70において、術野カメラ等によるユーザの撮像画像を取り込むようになっていてもよい。この場合には、瞬き回数解析部75aは、取り込んだユーザの撮像画像に対する画像解析によって、ユーザの瞬き回数を求めることが可能である。
瞬き回数が多いほど、ユーザの疲労度が大きいと考えられる。疲労度解析部71は、瞬き回数解析部75aが求めた瞬き回数が多い程疲労度が高いと解析することができ、リスク推定部70は、検査品質が低下するリスクが増大すると推定することができる。
また、脈拍等解析部75bは、各ユーザについて、脈拍、体温、飽和酸素量等を解析する。脈拍等解析部75bは、システム情報によってユーザ毎にこれらの解析を行うことが可能である。疲労度解析部71は、脈拍、体温、飽和酸素量等の解析結果によって、ユーザの疲労度を解析する。
なお、本実施形態においては、生体情報解析部75は、瞬き回数解析部75a及び脈拍等解析部75bにより構成した例を説明したが、瞬き回数解析部75a又は脈拍等解析部75bのいずれか一方によって構成してもよい。
次に、このように構成された実施形態の動作について図14を参照して説明する。図14は第4の実施形態の動作を説明するためのフローチャートである。
本実施形態における動作は、図3及び図6と同様である。図14は、図6のステップS31について、図7とは異なる具体的なフローの一例を示している。
リスク推定部70の疲労度解析部71は、図6のステップS31において、ユーザの疲労度を解析する。例えば、疲労度解析部71は、生体情報解析部75によって、各ユーザの生体情報を解析する。図14は生体情報解析部75の具体的な処理の一例を示している。生体情報解析部75は、瞬き回数解析部75aによって瞬き回数を解析する(S317)。また、検査状況解析部74は、脈拍等解析部75bによってユーザの脈拍、体温、飽和酸素量等を解析する(S318)。
なお、ステップS317,S318の解析は、逆順に行ってもよく、また、いずれか一方の解析のみを行ってもよい。疲労度解析部71は、解析した瞬き回数及び脈拍等の少なくとも一方の解析結果に基づいて、疲労度を算出する(S319)。疲労度解析部71は、算出した疲労度をリスク推定結果として表示制御部81に出力する。なお、疲労度解析部71は、瞬き回数が多いほど、疲労度が高く、検査品質が低下するリスクが高いと推定する。疲労度解析部71は、脈拍、体温、飽和酸素量については、ユーザの検査中における変化に基づいて疲労度を算出してもよく、あるいは、ユーザ毎の平常時の情報を記憶し、記憶した情報との比較によって、疲労度を算出してもよい。
表示制御部81の検出マーカ情報生成部82において、リスク推定結果に応じた形態の検出マーカを表示するための情報が生成されることは第2の実施形態と同様である。この結果、表示装置95の表示画面95a上には、ユーザの疲労度に応じた形態の検出マーカが表示される。
他の作用は第2の実施形態と同様である。このように本実施の形態においても、第2の実施形態と同様の効果を得ることができる。
なお、リスク推定部70としては、上記第2から第4の実施形態における持ち変え回数解析部73a、ひねり回数解析部73b、検査経過時間解析部74a、連続検査回数解析部74b、瞬き回数解析部75a及び脈拍等解析部75bのうちの少なくとも1つを備えた疲労度解析部71を採用してユーザの疲労度を解析するようになっていてもよい。
(第5の実施形態)
図15は本発明の第5の実施形態を示すブロック図である。本実施形態の内視鏡システムは、画像処理装置40に代えて画像処理装置44を採用した点が図1と異なる。図15は画像処理装置44の具体的な構成の一例を示している。図15の画像処理装置44は、リスク推定部70が疲労度解析部71に代えて経験レベル解析部72を採用した点が図4と異なる。他の構成は第2の実施形態と同様であり、説明を省略する。本実施形態は検査品質が低下するリスクをユーザの経験レベルの解析によって推定する例である。
リスク推定部70は、経験レベル解析部72を有している。経験レベル解析部72は、ユーザの経験レベルを解析して解析結果を得る。リスク推定部70は、経験レベル解析部72の解析結果をリスク推定結果として用いてもよい。本実施形態においては、経験レベル解析部72は、操作ログ解析部76によって構成される。操作ログ解析部76は、内視鏡21の操作ログを解析することで、ユーザの経験レベルを解析する。本実施形態では、一例として、操作ログ解析部76は、抜き差し回数解析部76a及び到達時間解析部76bによって構成する。
抜き差し回数解析部76aは、内視鏡21の操作ログにより、内視鏡21の抜き差し回数を解析するようになっている。例えば、抜き差し回数解析部76aは、挿入部22が体内に挿入開始されて検査対象部位に到達するまでの間の挿入部22の抜き差し回数を求める。挿入部22を抜き差しするユーザの行為により、挿入部22に設けた撮像部24も移動し、観察画像が変化する。例えば、抜き差し回数解析部76aは、観察画像に対する画像解析によって、このような観察画像の変化を検出することで、ユーザが挿入部22を抜き差ししたことを解析し、その回数を取得するようになっていてもよい。また、例えば、挿入部22に図示しない加速度センサ等を取り付けることによって、この加速度センサの出力の解析により、抜き差し回数を解析することも可能である。リスク推定部70は、このような加速度センサの出力をシステム情報として取得することにより、抜き差し回数を解析してもよい。
また、到達時間解析部76bは、内視鏡21の操作ログにより、挿入部22が検査対象部位に到達するまでに要した時間(到達時間)を解析するようになっている。即ち、到達時間解析部76bは、挿入部22が体内に挿入開始されて検査対象部位に到達するまでの時間を求める。挿入部22の挿入開始時と検査対象部位に到達したことは、観察画像の画像解析及びタイマ等による計時によって検出可能である。到達時間解析部76bは、観察画像の画像解析によって、到達時間を解析するようになっていてもよい。また、例えば、ユーザの内視鏡スイッチの操作によって、挿入開始時及び検査対象部位到達時をビデオプロセッサ31に伝達することも可能であり、リスク推定部70は、システム情報としてこれらの時刻を取得することにより、到達時間を解析してもよい。
経験レベル解析部72は、抜き差し回数解析部76aによって求めた抜き差し回数及び到達時間解析部76bによって求めた到達時間の少なくとも一方に応じてユーザの経験レベルを解析し、解析結果をリスク推定結果としてもよい。例えば、経験レベル解析部72は、ユーザの挿入部22の抜き差し回数が少ない程、あるいは、到達時間が短い程、熟練度が高い、即ち、経験レベルが高いと判定し、検査品質の低下のリスクが低いと推定してもよい。逆に、リスク推定部70は、ユーザの挿入部22の抜き差し回数が多い程、あるいは、到達時間が長い程、熟練度が低い、即ち、経験レベルが低いと判定し、検査品質の低下のリスクが高いと推定してもよい。リスク推定部70からのユーザの経験レベルに基づくリスク推定結果は、表示制御部81に供給される。
なお、本実施形態においては、操作ログ解析部76は、抜き差し回数解析部76a及び到達時間解析部76bにより構成した例を説明したが、抜き差し回数解析部76a又は到達時間解析部76bのいずれか一方によって構成してもよい。
次に、このように構成された実施形態の動作について図16及び図17を参照して説明する。図16及び図17は第5の実施形態の動作を説明するためのフローチャートである。
本実施形態における動作は、図3と同様である。図16は図3のステップS3について、具体的なフローの一例を示しており、図17は図16のステップS51の具体的なフローの一例を示している。
観察画像の取得、病変部候補の検出及び表示制御は、第2の実施形態と同様である。本実施形態は、リスク推定の手法が第2の実施形態と異なる。
リスク推定部70の経験レベル解析部72は、図16のステップS51において、ユーザの経験レベルを解析する。例えば、経験レベル解析部72は、操作ログ解析部76によって、内視鏡21の操作ログを解析する。図17は操作ログ解析部76の具体的な処理の一例を示している。操作ログ解析部76は、抜き差し回数解析部76aによって挿入部22の抜き差し回数を解析する(S511)。また、操作ログ解析部76は、到達時間解析部76bによって挿入部22が検査対象部位に到達するまでの到達時間を解析する(S512)。
なお、ステップS511,S512の抜き差し回数の解析及び到達時間解析は、逆順に行ってもよく、また、いずれか一方の解析のみを行ってもよい。経験レベル解析部72は、解析した抜き差し回数及び到達時間の少なくとも一方の解析結果に基づいて、ユーザの経験レベルを算出する(S513)。経験レベル解析部72は、算出した経験レベルをリスク推定結果として表示制御部81に出力する。なお、経験レベル解析部72は、抜き差し回数及び到達時間の数値を経験レベルの解析結果とし、経験レベルの解析結果をそのままリスク推定結果として出力してもよい。この場合には、抜き差し回数が多い程、到達時間が長いほど熟練度が低く(経験レベルが低く)、品質が低下するリスクが高いと推定される。
表示制御部81の検出マーカ情報生成部82は、入力されたリスク推定結果に基づいて、検出マーカの形態を設定し、設定に応じて検出マーカを表示するための情報を生成する。例えば、検出マーカ情報生成部82は、表示時間制御部83によって、リスク推定結果に基づく表示時間を設定し(図8のS41)、表示内容制御部84によって、リスク推定結果に基づく表示内容を設定する(図8のS42)。
こうして、リスク推定結果に応じて表示形態で検出マーカが表示される。
例えば、抜き差し回数が多い場合や、到達時間が長い場合には、リスク推定結果に基づいて、比較的長い時間、より目立つ色調で検出マーカが表示される。これにより、経験レベルが低いユーザについても、検出マーカの見落としを防止することができ、結果的に検査品質の向上を図ることができる。
逆に、抜き差し回数が少ない場合や、到達時間が短い場合には、リスク推定結果に基づいて、比較的短い時間、より自然な色調で検出マーカが表示される。これにより、経験レベルが高いユーザについては、観察画像の視認性が検出マーカによって悪化することを抑制することができ、結果的に検査品質の向上を図ることができる。
このように本実施の形態においては、検査品質が低下するリスクをユーザの経験レベルの解析によって推定し、リスク推定結果に基づいて検出マーカの表示形態を変更するようになっている。これにより、ユーザの経験レベルが比較的低い場合には、検出マーカを例えば見やすく表示することで検出マーカの見落としを防止して検査品質を向上させ、ユーザの経験レベルが比較的高い場合には、観察画像の視認性が悪化しないように検出マーカを表示することで、検査品質を向上させることができる。
(第6の実施形態)
図18は本発明の第6の実施形態を示すブロック図である。本実施形態の内視鏡システムは、画像処理装置40に代えて画像処理装置45を採用した点が図1と異なる。図18の画像処理装置44は、経験レベル解析部72を検査経歴解析部77によって構成した点が図15と異なる。他の構成は第5の実施形態と同様であり、説明を省略する。本実施形態はユーザの経験レベルを検査経歴の解析によって推定する例である。
検査経歴解析部77は、内視鏡検査の経歴を解析することで、ユーザの経験レベルを解析する。本実施形態では、一例として、検査経歴解析部77は、総検査数解析部77a及び総検査時間解析部77bによって構成する。
総検査数解析部77aは、総検査数を解析するようになっている。例えば、総検査数解析部77aは、上述した各種の方法により取得した任意期間において、ユーザが内視鏡検査を行った数を求める。内視鏡検査時には、検査者の氏名等の検査者を特定する情報が入力されるようになっており、総検査数解析部77aは、システム情報によって総検査数を解析することが可能である。なお、観察画像中に検査者を特定する情報がシステム情報とは別に含まれることもあり、総検査数解析部77aは、観察画像から各ユーザの検査数を解析することも可能である。
総検査時間解析部77bは、総検査時間を解析するようになっている。例えば、総検査時間解析部77bは、上述した各種の方法により取得した任意期間において、ユーザが内視鏡検査を行った時間を求める。総検査時間解析部77bは、システム情報によって総検査時間を解析することが可能である。なお、総検査時間解析部77bは、観察画像から各ユーザの総検査時間を解析することも可能である。
例えば、任意期間として、例えば、1日、1週間、1ヶ月等を設定することができる。例えば、各ユーザについて年間における総検査数が比較的多く、総検査時間が比較的長い場合には、熟練度(経験レベル)が高いものと考えられる。経験レベル解析部72は、総検査数解析部77aが求めた総検査数が多い程、総検査時間解析部77bが求めた総検査時間が長い程、経験レベルが高いと解析することができ、リスク推定部70は、検査品質が低下するリスクが小さいと推定することができる。
なお、本実施形態においては、検査経歴解析部77は、総検査数解析部77a及び総検査時間解析部77bにより構成した例を説明したが、総検査数解析部77a又は総検査時間解析部77bのいずれか一方によって構成してもよい。
次に、このように構成された実施形態の動作について図19を参照して説明する。図19は第6の実施形態の動作を説明するためのフローチャートである。
本実施形態における動作は、図3及び図16と同様である。図19は、図16のステップS51について、図17とは異なる具体的なフローの一例を示している。
リスク推定部70の経験レベル解析部72は、図16のステップS51において、ユーザの経験レベルを解析する。例えば、経験レベル解析部72は、検査経歴解析部77によって、各ユーザの内視鏡検査経歴を解析する。図19は検査経歴解析部77の具体的な処理の一例を示している。検査経歴解析部77は、総検査数解析部77aによって内視鏡検査の総検査数を解析する(S514)。また、検査経歴解析部77は、総検査時間解析部77bによって内視鏡検査の総検査時間を解析する(S515)。
なお、ステップS514,S515の解析は、逆順に行ってもよく、また、いずれか一方の解析のみを行ってもよい。経験レベル解析部72は、解析した総検査数及び総検査時間の少なくとも一方の解析結果に基づいて、経験レベルを算出する(S516)。経験レベル解析部72は、算出した経験レベルをリスク推定結果として表示制御部81に出力する。なお、経験レベル解析部72は、総検査数が多いほど、また、総検査時間が長い程、経験レベルが高く、検査品質が低下するリスクが低いと推定し、総検査数が少ないほど、また、総検査時間が短い程、経験レベルが低く、品質が低下するリスクが高いと推定する。
表示制御部81の検出マーカ情報生成部82において、リスク推定結果に応じた形態の検出マーカを表示するための情報が生成されることは第5の実施形態と同様である。この結果、表示装置95の表示画面95a上には、ユーザの経験レベルに応じた形態の検出マーカが表示される。
他の作用は第5の実施形態と同様である。このように本実施の形態においても、第5の実施形態と同様の効果を得ることができる。
(第7の実施形態)
図20は本発明の第7の実施形態を示すブロック図である。本実施形態の内視鏡システムは、画像処理装置40に代えて画像処理装置46を採用した点が図1と異なる。図20の画像処理装置46は、経験レベル解析部72を比較解析部78によって構成した点が図15と異なる。他の構成は第5の実施形態と同様であり、説明を省略する。本実施形態はユーザの経験レベルをコンピュータ診断支援装置(Computer Aided Diagnosis:CAD)との比較による解析によって推定する例である。
比較解析部78は、病変部候補に対するユーザの診断結果とCADによる診断結果とを比較し比較結果の推移を解析する。本実施形態では、一例として、比較解析部78は、過去からの推移解析部78a及び症例内の推移解析部78bによって構成する。
過去からの推移解析部78aは、病変部候補に対するユーザの診断結果とCADによる診断結果とを比較し、CADの診断結果を基準にしてユーザの診断結果がどのように変化したかの推移を解析する。通常、病変部候補に対する診断の正当性の度合いは、熟練度が極めて高いエキスパートの医師≧CAD>未熟な医師であると考えられる。このため、未熟な医師による診断結果とCADの診断結果との差は比較的大きく、当該医師が経験を積むにつれて、次第にその差が小さくなるものと考えられる。
従って、ユーザの診断結果とCADによる診断結果との比較を行い、比較結果を図示しないメモリに記憶させ、比較結果の推移によって、ユーザの経験レベルを判断することが可能である。過去からの推移解析部78aは、このような診断結果の記録及び読み出しを行って比較結果の推移を解析し、経験レベル解析部72は、解析結果に基づいてユーザの経験レベルを判定する。なお、リスク推定部70は、システム情報に基づいて、ユーザの診断結果及びCADの診断結果を取得することができる。
また、症例内の推移解析部78bは、1つの症例内において、病変部候補に対するユーザの診断結果とCADによる診断結果とを比較し、CADの診断結果を基準にしてユーザの診断結果がどのように変化したかの推移を解析する。1症例内の診断時においても、ユーザが経験を積み、ユーザの診断結果とCADによる診断結果との差が小さくなることがある。症例内の推移解析部78bは、各症例内において診断結果の記録及び読み出しを行って比較結果の推移を解析し、経験レベル解析部72は、解析結果に基づいてユーザの経験レベルを判定する。
なお、本実施形態においては、比較解析部78は、過去からの推移解析部78a及び症例内の推移解析部78bにより構成した例を説明したが、過去からの推移解析部78a又は症例内の推移解析部78bのいずれか一方によって構成してもよい。
次に、このように構成された実施形態の動作について図21を参照して説明する。図21は第7の実施形態の動作を説明するためのフローチャートである。
本実施形態における動作は、図3及び図16と同様である。図21は、図16のステップS51について、図17とは異なる具体的なフローの一例を示している。
リスク推定部70の経験レベル解析部72は、図16のステップS51において、ユーザの経験レベルを解析する。経験レベル解析部72は、比較解析部78によって、経験レベルを解析する。図21は比較解析部78の具体的な処理の一例を示している。比較解析部78は、各ユーザの診断結果とCADの診断結果を取得し(図21のS517)、過去からの推移解析部78aによってユーザの診断結果とCADの診断結果との差の推移を解析する(S518)。経験レベル解析部72は、症例内の推移解析部78bによって、1症例内について、ユーザの診断結果とCADの診断結果との差の推移を解析する(S519)。
なお、ステップS518,S519の解析は、逆順に行ってもよく、また、いずれか一方の解析のみを行ってもよい。経験レベル解析部72は、解析した過去からの推移の解析結果及び1症例内での推移の解析結果の少なくとも一方の解析結果に基づいて、経験レベルを算出する(S520)。例えば、経験レベル解析部72は、ユーザの診断結果とCADの診断結果との差の推移によって、ユーザの診断結果の正当性の度合いを判断してユーザの経験レベルを求める。例えば、ユーザの診断結果とCADの診断結果との差が小さくなると、ユーザの経験レベルが高くなったものと判定することができる。
リスク推定部70は、算出した経験レベルをリスク推定結果として表示制御部81に出力する。表示制御部81の検出マーカ情報生成部82において、リスク推定結果に応じた形態の検出マーカを表示するための情報が生成されることは第5の実施形態と同様である。この結果、表示装置95の表示画面95a上には、ユーザの経験レベルに応じた形態の検出マーカが表示される。
他の作用は第5の実施形態と同様である。このように本実施の形態においても、第5の実施形態と同様の効果を得ることができる。
なお、リスク推定部70としては、上記第5から第7の実施形態における抜き差し回数解析部76a、到達時間解析部76b、総検査数解析部77a、総検査時間解析部77b、過去からの推移解析部78a及び症例内の推移解析部78bのうちの少なくとも1つを備えた経験レベル解析部72を採用してユーザの経験レベルを解析するようになっていてもよい。
更に、リスク推定部70は、上記第2~第7の実施形態における疲労度解析部71及び経験レベル解析部72の少なくとも1つを備えていてもよい。
また、上記各実施形態において、報知を音声等によって行う場合にも、リスク推定結果に応じた報知態様を設定することが可能である。
なお、明細書中で説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
また、フローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
なお、実施形態中で、「部」として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、CPUなどのプロセッサ、あるいはFPGAなどシーケンサを組み合わせて構成されてもよい。
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

Claims (28)

  1. 被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力する入力部と、
    前記内視鏡画像から病変部候補を検出する検出部と、
    前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定するリスク推定部と、
    前記リスク推定部のリスク推定結果から前記病変部候補の報知態様を制御する報知制御部と、
    前記報知制御部の制御に従って前記病変部候補を報知する報知出力部と、
    を具備し、
    前記リスク推定部は、ユーザの疲労度を解析する疲労度解析部を有し、
    解析結果の疲労度に基づいて、前記リスク推定結果を求める
    ことを特徴とする画像処理装置。
  2. 被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力する入力部と、
    前記内視鏡画像から病変部候補を検出する検出部と、
    前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定するリスク推定部と、
    前記リスク推定部のリスク推定結果から前記病変部候補の報知態様を制御する報知制御部と、
    前記報知制御部の制御に従って前記病変部候補を報知する報知出力部と、
    を具備し、
    前記リスク推定部は、ユーザの経験レベルを解析する経験レベル解析部を有し、
    前記経験レベル解析部は、操作ログを解析する第2操作ログ解析部を持ち、解析結果の操作ログに基づいて、前記経験レベルを求め、
    前記リスク推定部は、解析結果の経験レベルに基づいて、前記リスク推定結果を求める
    ことを特徴とする画像処理装置。
  3. 被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力する入力部と、
    前記内視鏡画像から病変部候補を検出する検出部と、
    前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定するリスク推定部と、
    前記リスク推定部のリスク推定結果から前記病変部候補の報知態様を制御する報知制御部と、
    前記報知制御部の制御に従って前記病変部候補を報知する報知出力部と、
    を具備し、
    前記リスク推定部は、ユーザの経験レベルを解析する経験レベル解析部を有し、
    前記経験レベル解析部は、ユーザの診断結果とコンピュータ診断支援装置の診断結果との比較結果の推移を解析する比較解析部を持ち、解析結果の比較結果の推移に基づいて、前記経験レベルを求め、
    前記リスク推定部は、解析結果の経験レベルに基づいて、前記リスク推定結果を求める
    ことを特徴とする画像処理装置。
  4. 前記疲労度解析部は、操作ログを解析する第1操作ログ解析部を具備し、
    解析結果の操作ログに基づいて、前記疲労度を求める
    ことを特徴とする請求項に記載の画像処理装置。
  5. 前記疲労度解析部は、操作ログを解析する第1操作ログ解析部を具備し、
    前記第1操作ログ解析部は、任意期間における内視鏡の持ち変え回数を解析する持ち変え回数解析部を具備し、
    解析結果の持ち変え回数に基づいて、前記疲労度を求める
    ことを特徴とする請求項に記載の画像処理装置。
  6. 前記疲労度解析部は、操作ログを解析する第1操作ログ解析部を具備し、
    前記第1操作ログ解析部は、任意期間における内視鏡のひねり回数を解析するひねり回数解析部を具備し、
    解析結果のひねり回数に基づいて、前記疲労度を求める
    ことを特徴とする請求項に記載の画像処理装置。
  7. 前記疲労度解析部は、検査状況ログを解析する検査状況解析部を具備し、
    解析結果の検査状況に基づいて、前記疲労度を求める
    ことを特徴とする請求項に記載の画像処理装置。
  8. 前記疲労度解析部は、検査状況ログを解析する検査状況解析部を具備し、
    前記検査状況解析部は、任意期間における検査経過時間を解析する検査経過時間解析部を具備し、
    解析結果の検査経過時間に基づいて、前記疲労度を求める
    ことを特徴とする請求項に記載の画像処理装置。
  9. 前記疲労度解析部は、検査状況ログを解析する検査状況解析部を具備し、
    前記検査状況解析部は、連続検査回数を解析する連続検査回数解析部を具備し、
    解析結果の連続検査回数に基づいて、前記疲労度を求める
    ことを特徴とする請求項に記載の画像処理装置。
  10. 前記疲労度解析部は、生体情報を解析する生体情報解析部を具備し、
    解析結果の生体情報に基づいて、前記疲労度を求める
    ことを特徴とする請求項に記載の画像処理装置。
  11. 前記疲労度解析部は、生体情報を解析する生体情報解析部を具備し、
    前記生体情報解析部は、瞬き回数解析部を具備し、
    解析結果の瞬き回数に基づいて、前記疲労度を求める
    ことを特徴とする請求項に記載の画像処理装置。
  12. 前記リスク推定部は、ユーザの経験レベルを解析する経験レベル解析部を具備し、
    解析結果の経験レベルに基づいて、前記リスク推定結果を求める
    ことを特徴とする請求項1から3のいずれか1つに記載の画像処理装置。
  13. 前記第2操作ログ解析部は、内視鏡の検査対象部までの内視鏡の抜き差し回数を解析する抜き差し回数解析部を具備し、
    解析結果の抜き差し回数に基づいて、前記経験レベルを求める
    ことを特徴とする請求項に記載の画像処理装置。
  14. 前記第2操作ログ解析部は、内視鏡の検査対象部までの到達時間を解析する到達時間解析部を具備し、
    解析結果の到達時間に基づいて、前記経験レベルを求める
    ことを特徴とする請求項に記載の画像処理装置。
  15. 前記リスク推定部は、ユーザの経験レベルを解析する経験レベル解析部を具備し、
    前記経験レベル解析部は、ユーザの検査経歴を解析する検査経歴解析部を具備し、
    解析結果の検査経歴に基づいて、前記経験レベルを求める
    ことを特徴とする請求項1から3のいずれか1つに記載の画像処理装置。
  16. 前記リスク推定部は、ユーザの経験レベルを解析する経験レベル解析部を具備し、
    前記経験レベル解析部は、ユーザの検査経歴を解析する検査経歴解析部を具備し、
    前記検査経歴解析部は、任意期間における検査の総検査数及び総検査時間の少なくとも一方を解析することで前記経験レベルを求める
    ことを特徴とする請求項1から3のいずれか1つに記載の画像処理装置。
  17. 前記比較解析部は、過去から現在に至る比較結果の推移及び1検査内における比較結果の推移の少なくとも一方に基づいて前記経験レベルを求める
    ことを特徴とする請求項に記載の画像処理装置。
  18. 前記報知制御部は、前記リスク推定結果に基づいて前記病変部候補の報知時間を変更する
    ことを特徴とする請求項1から3のいずれか1つに記載の画像処理装置。
  19. 前記報知制御部は、前記リスク推定結果に基づいて前記病変部候補の報知内容を変更する
    ことを特徴とする請求項1から3のいずれか1つに記載の画像処理装置。
  20. 前記報知制御部は、前記リスク推定結果に基づいて前記病変部候補の報知態様の表示色調を変更する
    ことを特徴とする請求項1から3のいずれか1つに記載の画像処理装置。
  21. 前記報知制御部は、前記病変部候補の性状を解析する病変解析部を具備し、
    前記病変部候補の性状及び前記リスク推定結果に基づいて前記病変部候補の表示非表示の表示判定レベルを変化させる
    ことを特徴とする請求項1から3のいずれか1つに記載の画像処理装置。
  22. 前記報知出力部は、前記内視鏡画像と前記病変部候補を示す検出マーカとを表示器に表示する
    ことを特徴とする請求項1から3のいずれか1つに記載の画像処理装置。
  23. コンピュータに、
    被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力し、
    前記内視鏡画像から病変部候補を検出し、
    前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定し、
    前記検査品質の低下リスクの推定結果から前記病変部候補の報知態様を制御し、
    前記報知態様の制御に従って前記病変部候補を報知する、
    処理を実行させる画像処理プログラムであって、
    前記検査品質の低下リスクを推定する処理は、ユーザの疲労度を解析し、前記疲労度に基づいて、前記検査品質の低下リスクを求める処理を含む
    ことを特徴とす画像処理プログラム。
  24. 検出部、疲労度解析部を含むリスク推定部及び報知出力部を有する画像処理装置の作動方法であって、
    前記検出部が被検体の内視鏡画像から病変部候補を検出し、
    前記リスク推定部が前記内視鏡画像又はシステム情報から検査品質の低下リスクを推定し、
    前記報知出力部が前記検査品質の低下リスクの推定結果に応じた報知態様で前記病変部候補を報知する処理を含み、
    前記検査品質の低下リスクを推定する処理は、前記リスク推定部が、前記疲労度解析部によりユーザの疲労度を解析し、前記疲労度に基づいて、前記検査品質の低下リスクを求める処理を含む
    ことを特徴とする画像処理装置の作動方法
  25. 入力部、検出部、第2操作ログ解析部を有する経験レベル解析部を含むリスク推定部、報知制御部及び報知出力部を具備する画像処理装置の作動方法であって、
    前記入力部が被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力し、
    前記検出部が前記内視鏡画像から病変部候補を検出し、
    前記リスク推定部が前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定し、
    前記報知制御部が前記リスク推定部のリスク推定結果から前記病変部候補の報知態様を制御し、
    前記報知出力部が前記報知制御部の制御に従って前記病変部候補を報知し、
    前記経験レベル解析部がユーザの経験レベルを解析する処理を含み、
    前記検査品質の低下リスクを推定する前記リスク推定部の処理は、前記第2操作ログ解析部により操作ログを解析し、解析結果の操作ログに基づいて、前記経験レベル解析部により前記経験レベルを求め、求めた経験レベルに基づいて、前記リスク推定結果を求める処理を含むことを特徴とする画像処理装置の作動方法。
  26. コンピュータに、
    被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力し、
    前記内視鏡画像から病変部候補を検出し、
    前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定し、
    前記低下リスクのリスク推定結果から前記病変部候補の報知態様を制御し、
    前記報知態様の制御に従って前記病変部候補を報知し、
    ユーザの経験レベルを解析する
    処理を実行させる画像処理プログラムであって、
    前記検査品質の低下リスクを推定する処理は、操作ログを解析し、解析結果の操作ログに基づいて、前記経験レベルを求め、求めた経験レベルに基づいて、前記リスク推定結果を求める処理を含む
    ことを特徴とする画像処理プログラム。
  27. 入力部、検出部、比較解析部を有する経験レベル解析部を含むリスク推定部、報知制御部及び報知出力部を具備する画像処理装置の作動方法であって、
    前記入力部が被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力し、
    前記検出部が前記内視鏡画像から病変部候補を検出し、
    前記リスク推定部が前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定し、
    前記報知制御部が前記リスク推定部のリスク推定結果から前記病変部候補の報知態様を制御し、
    前記報知出力部が前記報知制御部の制御に従って前記病変部候補を報知し、
    前記経験レベル解析部がユーザの経験レベルを解析する処理を含み、
    前記検査品質の低下リスクを推定する前記リスク推定部の処理は、前記比較解析部によりユーザの診断結果とコンピュータ診断支援装置の診断結果との比較結果の推移を解析し、解析結果の比較結果の推移に基づいて、前記経験レベル解析部により前記経験レベルを求め、求めた経験レベルに基づいて、前記リスク推定結果を求める処理を含む
    ことを特徴とする画像処理装置の作動方法。
  28. コンピュータに、
    被検体の内視鏡画像を入力するか又は前記内視鏡画像及びシステム情報を入力し、
    前記内視鏡画像から病変部候補を検出し、
    前記内視鏡画像又は前記システム情報から検査品質の低下リスクを推定し、
    前記低下リスクのリスク推定結果から前記病変部候補の報知態様を制御し、
    前記報知態様の制御に従って前記病変部候補を報知し、
    ユーザの経験レベルを解析する
    処理を実行させる画像処理プログラムであって、
    前記検査品質の低下リスクを推定する処理は、ユーザの診断結果とコンピュータ診断支援装置の診断結果との比較結果の推移を解析し、解析結果の比較結果の推移に基づいて、前記経験レベルを求め、求めた経験レベルに基づいて、前記リスク推定結果を求める処理を含む
    ことを特徴とする画像処理プログラム。
JP2020567685A 2019-01-21 2019-01-21 画像処理装置、画像処理装置の作動方法及び画像処理プログラム Active JP7189969B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/001712 WO2020152758A1 (ja) 2019-01-21 2019-01-21 内視鏡装置及び内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2020152758A1 JPWO2020152758A1 (ja) 2021-12-09
JP7189969B2 true JP7189969B2 (ja) 2022-12-14

Family

ID=71735644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020567685A Active JP7189969B2 (ja) 2019-01-21 2019-01-21 画像処理装置、画像処理装置の作動方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US20210338042A1 (ja)
JP (1) JP7189969B2 (ja)
CN (1) CN113271839A (ja)
WO (1) WO2020152758A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020110214A1 (ja) * 2018-11-28 2020-06-04 オリンパス株式会社 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2020110310A1 (ja) * 2018-11-30 2020-06-04 オリンパス株式会社 表示装置及び内視鏡システム
CN115778570B (zh) * 2023-02-09 2023-06-27 岱川医疗(深圳)有限责任公司 一种内窥镜检测方法、控制装置及检测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006100808A1 (ja) 2005-03-22 2006-09-28 Osaka University カプセル内視鏡画像表示制御装置
JP2010057727A (ja) 2008-09-04 2010-03-18 Konica Minolta Medical & Graphic Inc 医用画像読影システム
JP2010262466A (ja) 2009-05-07 2010-11-18 Toshiba Corp 医用診断支援システム及び医療診断支援方法
JP2011255006A (ja) 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2012217579A (ja) 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02166493A (ja) * 1988-12-20 1990-06-27 Nec Corp Vdt装置
JP2005348936A (ja) * 2004-06-10 2005-12-22 Konica Minolta Medical & Graphic Inc 医用画像表示システム、プログラム及び医用画像表示方法
JP2006130049A (ja) * 2004-11-05 2006-05-25 Fuji Photo Film Co Ltd 画像読影支援方法、およびシステム、ならびにプログラム
US20100228584A1 (en) * 2009-03-06 2010-09-09 Nash David E Predictive risk intelligent safety module
JP2019005267A (ja) * 2017-06-26 2019-01-17 コニカミノルタ株式会社 疲労評価システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006100808A1 (ja) 2005-03-22 2006-09-28 Osaka University カプセル内視鏡画像表示制御装置
JP2010057727A (ja) 2008-09-04 2010-03-18 Konica Minolta Medical & Graphic Inc 医用画像読影システム
JP2010262466A (ja) 2009-05-07 2010-11-18 Toshiba Corp 医用診断支援システム及び医療診断支援方法
JP2011255006A (ja) 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2012217579A (ja) 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法

Also Published As

Publication number Publication date
US20210338042A1 (en) 2021-11-04
WO2020152758A1 (ja) 2020-07-30
CN113271839A (zh) 2021-08-17
JPWO2020152758A1 (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
JP6602969B2 (ja) 内視鏡画像処理装置
CN108348145B (zh) 内窥镜装置
JP7189969B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理プログラム
CN107485455B (zh) 手术系统中有效的交互式出血检测
KR102185886B1 (ko) 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치
US20210022586A1 (en) Endoscope observation assistance apparatus and endoscope observation assistance method
CN112040830A (zh) 内窥镜图像处理装置和内窥镜图像处理方法
JP2008301968A (ja) 内視鏡画像処理装置
WO2018078724A1 (ja) 内視鏡画像処理装置及び内視鏡画像処理方法
US9820648B2 (en) Image processing apparatus and image processing method
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
EP3876186A1 (en) Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method
US11341637B2 (en) Endoscope image processing device and endoscope image processing method
JPWO2017216922A1 (ja) 画像処理装置及び画像処理方法
JP7315576B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム
JPWO2021149112A5 (ja)
JP2008119259A (ja) 内視鏡挿入形状解析システム
WO2019012586A1 (ja) 医用画像処理装置及び医用画像処理方法
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
JP4855902B2 (ja) 生体観測システム
JP4794992B2 (ja) 挿入モニタリング装置
EP4285810A1 (en) Medical image processing device, method, and program
JPWO2021157487A5 (ja)
JP6062112B2 (ja) 内視鏡システム
JP7017646B2 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221202

R151 Written notification of patent or utility model registration

Ref document number: 7189969

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151