JP7315576B2 - 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム - Google Patents

医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム Download PDF

Info

Publication number
JP7315576B2
JP7315576B2 JP2020553886A JP2020553886A JP7315576B2 JP 7315576 B2 JP7315576 B2 JP 7315576B2 JP 2020553886 A JP2020553886 A JP 2020553886A JP 2020553886 A JP2020553886 A JP 2020553886A JP 7315576 B2 JP7315576 B2 JP 7315576B2
Authority
JP
Japan
Prior art keywords
notification
medical image
display
state
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020553886A
Other languages
English (en)
Other versions
JPWO2020090729A1 (ja
Inventor
駿平 加門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020090729A1 publication Critical patent/JPWO2020090729A1/ja
Application granted granted Critical
Publication of JP7315576B2 publication Critical patent/JP7315576B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Description

本発明は医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置に係り、特に医療画像の報知情報の報知の有無を制御する技術に関する。
内視鏡画像から病変等の注目領域を自動検出する技術が病変の見落とし防止につながるとして期待されている。この自動検出技術はあくまで見落とし防止が目的であり、ユーザが病変の存在を認識した後も検出結果を報知し続けることは観察の妨げになるため、好ましくない。そこで、ユーザ認識後は意図的に報知情報を報知しない非報知にすることが考えられる。
しかしながら、非報知にされたことをユーザが気づかないまま検査を継続してしまう恐れがある。この場合、報知情報がユーザに報知されないため、病変が見落とされる可能性がある。
このような課題に対し、特許文献1には、非表示アイコンをクリック操作することで病巣候補陰影に対するマーカ(報知情報に相当)が付加されたCT(Computed Tomography)画像のマーカを非表示にし、所定時間経過した場合に元のマーカ付きのCT画像に復帰させる技術が開示されている。この技術によれば、マーカを非表示にした場合であっても、マーカが非表示のままで検査が継続されることを防止することができる。
特許第4393016号
しかしながら、特許文献1に記載された技術では、マーカを非表示にするためにはユーザの操作が必要であるという欠点があった。
本発明はこのような事情に鑑みてなされたもので、ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御する医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置を提供することを目的とする。
上記目的を達成するために医療画像処理装置の一の態様は、医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御部を備え、報知制御部は、医療画像が非報知条件を充足する場合に報知情報を非報知状態とし、かつ医療画像が非報知条件を非充足になってから非報知維持時間の経過後に報知状態にする医療画像処理装置である。
本態様によれば、医療画像が非報知条件を充足する場合に報知情報を非報知状態とし、かつ医療画像が非報知条件を非充足になってから非報知維持時間の経過後に報知状態にするようにしたので、非報知条件を非充足の場合は報知状態となり、非報知条件を充足する場合は非報知状態となり、かつ非報知条件を非充足になってから非報知維持時間が経過するまでは非報知状態が維持され、非報知維持時間の経過後に報知状態になる。したがって、ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御することができる。
医療画像を順次取得する画像取得部と、医療画像から報知情報を取得する報知情報取得部と、医療画像が非報知条件を充足するか否かを判定する判定部と、医療画像が非報知条件を非充足になってからの経過時間を計時する計時部と、を備えることが好ましい。これにより、医療画像の取得、報知情報の取得、非報知条件の判定、及び経過時間の判定を適切に行うことができる。
非報知条件は医療画像の画像特徴量を判定する条件であり、医療画像から画像特徴量を取得する画像特徴量取得部を備えることが好ましい。これにより、画像特徴量に応じて報知を停止することができる。
画像特徴量は、医療画像の輝度、色情報、時間的変化、及び周波数情報の少なくとも1つを含むことが好ましい。これにより、適切に報知を停止することができる。
非報知条件は医療画像の被検体に対する処置状態を判定する条件であり、医療画像から処置状態を推定する処置状態推定部を備えることが好ましい。これにより、処置状態に応じて報知を停止することができる。
処置状態に応じて非報知維持時間を設定する非報知維持時間設定部を備えることが好ましい。これにより、非報知維持時間を適切に設定することができる。
非報知条件は注目領域特徴量を判定する条件であり、医療画像から注目領域を検出する注目領域検出部と、注目領域から注目領域特徴量を取得する注目領域特徴量取得部と、を備えることが好ましい。これにより、注目領域特徴量に応じて報知を停止することができる。
注目領域特徴量は、注目領域の面積、医療画像内の位置、及び時間的変化の少なくとも1つを含むことが好ましい。これにより、適切に報知を停止することができる。
報知部は音を出力する音出力部を含み、報知制御部は、音出力部に音を出力させる音制御部を備えることが好ましい。これにより、報知情報を適切に報知することができる。
報知部は第1表示部を含み、報知制御部は、報知情報を第1表示部に表示させる表示制御部を備えることが好ましい。これにより、報知情報を適切に報知することができる。
報知部は第1表示部とは異なる第2表示部を含み、表示制御部は、報知情報を第2表示部に表示させることが好ましい。これにより、報知情報を適切に報知することができる。
表示制御部は、報知状態又は非報知状態に応じて第2表示部の報知情報の表示の態様を変更することが好ましい。これにより、報知情報を適切に報知することができる。
表示制御部は、非報知状態の場合に報知情報を第2表示部に表示させることが好ましい。これにより、第1表示部において医療画像の観察を適切に行うことができ、第2表示部において報知情報を適切に報知することができる。
表示制御部は、非報知状態である旨の情報を第1表示部とは異なる第3表示部に表示させることが好ましい。これにより、報知情報が非報知状態であることをユーザが知ることができる。
表示制御部は、医療画像が非報知条件を非充足になってからの経過時間に関する情報を第1表示部とは異なる第4表示部に表示することが好ましい。これにより、経過時間に関する情報をユーザが知ることができる。
上記目的を達成するために診断支援装置の一の態様は、上記の医療画像処理装置と、第1表示部と、を備えた診断支援装置である。本態様によれば、ユーザ操作によらずに医療画像の報知情報の表示の有無を適切に制御することができる。
上記目的を達成するために医療画像処理方法の一の態様は、医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御工程を備え、報知制御工程は、医療画像が非報知条件を充足する場合に報知情報を非報知状態とし、かつ医療画像が非報知条件を非充足になってから非報知維持時間の経過後に報知状態にする医療画像処理方法である。
本態様によれば、ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御することができる。上記の医療画像処理方法をコンピュータに実行させるためのプログラムも本態様に含まれる。
本発明によれば、ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御することができる。
図1は、医療画像処理装置を含む内視鏡システムの全体構成を示す概略図である。 図2は、医療画像処理装置の電気的構成の一例を示すブロック図である。 図3は、医療画像処理方法の各処理の一例を示すフローチャートである。 図4は、表示器の表示の遷移を示す図である。 図5は、報知状態における表示器の表示の一例を示す図である。 図6は、報知状態における表示器の表示の一例を示す図である。 図7は、報知状態における表示器の表示の一例を示す図である。 図8は、報知状態における表示器の表示の一例を示す図である。 図9は、表示器の表示の遷移を示す図である。 図10は、表示器の表示の遷移を示す図である。 図11は、表示器の表示の遷移を示す図である。 図12は、表示器の表示の遷移を示す図である。 図13は、医療画像処理装置の電気的構成を示すブロック図である。 図14は、第1表示器及び第2表示器の表示の遷移の一例を示す図である。 図15は、第1表示器及び第2表示器の表示の遷移の他の例を示す図である。 図16は、第1表示器及び第3表示器の表示の遷移の他の例を示す図である。 図17は、第1表示器及び第4表示器の表示の遷移の他の例を示す図である。 図18は、医療画像処理装置の電気的構成の一例を示すブロック図である。
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
<内視鏡システムの全体構成>
図1は、本実施形態に係る医療画像処理装置を含む内視鏡システム9の全体構成を示す概略図である。図1に示すように、内視鏡システム9は、電子内視鏡である内視鏡スコープ10と、光源装置11と、内視鏡プロセッサ装置12と、表示装置13と、医療画像処理装置14と、操作部15と、表示器16と、を備える。
内視鏡スコープ10は、時系列の医療画像を撮像するためのものであり、例えば軟性内視鏡である。この内視鏡スコープ10は、被検体内に挿入され且つ先端と基端とを有する挿入部20と、挿入部20の基端側に連設され且つユーザ(医師)が把持して各種操作を行う手元操作部21と、手元操作部21に連設されたユニバーサルコード22と、を有する。
挿入部20は、全体が細径で長尺状に形成されている。挿入部20は、その基端側から先端側に向けて順に可撓性を有する軟性部25と、手元操作部21の操作により湾曲可能な湾曲部26と、不図示の撮像光学系(対物レンズ)及び撮像素子28等が内蔵される先端部27と、が連設されて構成される。
撮像素子28は、CMOS(complementary metal oxide semiconductor)型又はCCD(charge coupled device)型の撮像素子である。撮像素子28の撮像面には、先端部27の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子28は、その撮像面に入射した被観察部位の像光を撮像(電気信号に変換)して、撮像信号を出力する。
手元操作部21には、ユーザによって操作される各種操作部材が設けられている。具体的に、手元操作部21には、湾曲部26の湾曲操作に用いられる2種類の湾曲操作ノブ29と、送気送水操作用の送気送水ボタン30と、吸引操作用の吸引ボタン31と、が設けられている。また、手元操作部21には、被観察部位の静止画39の撮像指示を行うための静止画撮像指示部32と、挿入部20内を挿通している処置具挿通路(不図示)内に処置具(不図示)を挿入する処置具導入口33と、が設けられている。
ユニバーサルコード22は、内視鏡スコープ10を光源装置11に接続するための接続コードである。このユニバーサルコード22は、挿入部20内を挿通しているライトガイド35、信号ケーブル36、及び流体チューブ(不図示)を内包している。また、ユニバーサルコード22の端部には、光源装置11に接続されるコネクタ37aと、このコネクタ37aから分岐され且つ内視鏡プロセッサ装置12に接続されるコネクタ37bと、が設けられている。
コネクタ37aを光源装置11に接続することで、ライトガイド35及び流体チューブ(不図示)が光源装置11に挿入される。これにより、ライトガイド35及び流体チューブ(不図示)を介して、光源装置11から内視鏡スコープ10に対して必要な照明光と水と気体とが供給される。その結果、先端部27の先端面の照明窓(不図示)から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン30の押下操作に応じて、先端部27の先端面の送気送水ノズル(不図示)から先端面の観察窓(不図示)に向けて気体又は水が噴射される。
コネクタ37bを内視鏡プロセッサ装置12に接続することで、信号ケーブル36と内視鏡プロセッサ装置12とが電気的に接続される。これにより、信号ケーブル36を介して、内視鏡スコープ10の撮像素子28から内視鏡プロセッサ装置12へ被観察部位の撮像信号が出力されるとともに、内視鏡プロセッサ装置12から内視鏡スコープ10へ制御信号が出力される。
光源装置11は、コネクタ37aを介して、内視鏡スコープ10のライトガイド35へ照明光を供給する。照明光は、白色光(白色の波長帯域の光又は複数の波長帯域の光)、或いは1又は複数の特定の波長帯域の光、或いはこれらの組み合わせ等の観察目的に応じた各種波長帯域の光が選択される。なお、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
特定の波長帯域の第1例は、例えば可視域の青色帯域又は緑色帯域である。この第1例の波長帯域は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域を含み、且つ第1例の光は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第2例は、例えば可視域の赤色帯域である。この第2例の波長帯域は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域を含み、且つ第2例の光は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第3例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第3例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第3例の波長帯域は、400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域を含み、且つ第3例の光は、上記400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域にピーク波長を有する。
特定の波長帯域の第4例は、生体内の蛍光物質が発する蛍光の観察(蛍光観察)に用いられ且つこの蛍光物質を励起させる励起光の波長帯域(390nmから470nm)である。
特定の波長帯域の第5例は、赤外光の波長帯域である。この第5例の波長帯域は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域を含み、且つ第5例の光は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域にピーク波長を有する。
内視鏡プロセッサ装置12は、コネクタ37b及び信号ケーブル36を介して、内視鏡スコープ10の動作を制御する。また、内視鏡プロセッサ装置12は、コネクタ37b及び信号ケーブル36を介して内視鏡スコープ10の撮像素子28から取得した撮像信号に基づき、時系列のフレーム画像38a(図2参照)からなる時系列の医療画像である動画38を生成する。動画38のフレームレートは、例えば30fps(frame per second)である。
更に、内視鏡プロセッサ装置12は、内視鏡スコープ10の手元操作部21にて静止画撮像指示部32が操作された場合、動画38の生成と並行して、動画38中の1枚のフレーム画像38aを撮像指示のタイミングに応じて取得し、静止画39とする。
動画38及び静止画39は、被検体内、即ち生体内を撮像した医療画像である。更に動画38及び静止画39が、上述の特定の波長帯域の光(特殊光)により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置12は、生成した動画38及び静止画39を、表示装置13と医療画像処理装置14とにそれぞれ出力する。
なお、内視鏡プロセッサ装置12は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成(取得)してもよい。この場合、内視鏡プロセッサ装置12は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置12は、特定の波長帯域の信号を、通常光画像に含まれる赤(Red)、緑(Green)、及び青(Blue)のRGB色情報、或いはシアン(Cyan)、マゼンタ(Magenta)、及びイエロー(Yellow)のCMY色情報に基づく演算を行うことで得る。
また、内視鏡プロセッサ装置12は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光(特殊光)により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置12は、特徴量画像生成部として機能する。なお、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画38又は静止画39は、いずれも画像による診断、検査の目的で人体を撮像し、又は計測した結果を画像化した医療画像である。
表示装置13は、内視鏡プロセッサ装置12に接続されており、この内視鏡プロセッサ装置12から入力された動画38及び静止画39を表示する。ユーザは、表示装置13に表示される動画38を確認しながら、挿入部20の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮像指示部32を操作して被観察部位の静止画撮像を実行し、また、診断、生検等を行う。
医療画像処理装置14は、注目領域である病変の自動認識及び自動鑑別を行う装置であり、医療画像に含まれる報知情報をユーザに報知する。医療画像処理装置14は、例えばパーソナルコンピュータが用いられる。また、操作部15は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示器16(報知部の一例)はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
医療画像処理装置14と表示器16(第1表示部の一例)とによって、動画38及び報知情報を表示器16に表示する診断支援装置として機能する。
<第1実施形態>
〔医療画像処理装置の構成〕
図2は、第1実施形態に係る医療画像処理装置14の電気的構成の一例を示すブロック図である。図2に示す医療画像処理装置14は、主として時系列画像取得部40と、注目領域検出部42と、座標算出部44と、画像情報取得部46と、非報知維持時間設定部54と、判定部56と、計時部58と、制御部60と、表示制御部62と、記憶部64と、から構成されている。
制御部60は、記憶部64に記憶されたプログラム(医療画像処理プログラム)68に基づき、時系列画像取得部40、注目領域検出部42、座標算出部44、画像情報取得部46、非報知維持時間設定部54、判定部56、計時部58、及び表示制御部62を統括制御し、また、これらの各部の一部として機能する。
記憶部64は、ハードディスク装置等のストレージ装置である。記憶部64は、注目領域検出部42による検出結果及び撮像された静止画39を記憶するとともに、プログラム68及び医療画像処理装置14の各種制御に係る情報等を記憶する。
また、記憶部64は、図形記憶部66を備えている。図形記憶部66には、報知情報をユーザに報知するための図形が記憶されている。
時系列画像取得部40は、医療画像の一例である内視鏡画像を順次取得する。ここでは、時系列画像取得部40は、内視鏡プロセッサ装置12(図1参照)に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置12から時系列のフレーム画像38aからなる動画38(本例では、内視鏡スコープ10により撮像される動画38)を取得する。また、内視鏡スコープ10にて動画38の撮像途中に前述の静止画39の撮像が行われた場合、時系列画像取得部40は、内視鏡プロセッサ装置12から動画38及び静止画39を取得する。
なお、時系列画像取得部40は、内視鏡プロセッサ装置12から動画38を直接取得する代わりに、メモリーカード、ハードディスク装置等の各種情報記憶媒体を介して動画38を取得してもよい。また、時系列画像取得部40は、インターネット上のサーバ或いはデータベース等にアップロードされた動画38をインターネット経由で取得してもよい。
注目領域検出部42は、医療画像から医療画像に含まれる報知情報を取得する報知情報取得部の一例であり、被検体内の観察中に撮像された動画38から注目領域を検出する。注目領域検出部42は、動画38の各フレーム画像38a(又は間引かれた一定間隔のフレーム画像38a)の特徴量を算出し、画像内の注目領域の認識処理を行う畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を含む。
注目領域の例としては、ポリープ、癌、大腸憩室、炎症、EMR(Endoscopic Mucosal Resection)瘢痕、ESD(Endoscopic Submucosal Dissection)瘢痕、クリップ箇所、出血点、穿孔、血管異型性、処置具等がある。
注目領域検出部42は、検出された注目領域が、「腫瘍性」、「非腫瘍性」、「その他」といった病変に関する複数のカテゴリのうちのいずれのカテゴリに属するかのカテゴリ分類等の認識結果を取得することも可能である。
なお、注目領域検出部42は、CNNにより注目領域を検出するものに限らず、画像内の色、画素値の勾配、形状、大きさ等の特徴量を画像処理により解析して注目領域を検出するものでもよい。
座標算出部44は、報知情報取得部の一例であり、注目領域検出部42によって検出された注目領域の画像内の位置を示す座標情報を算出する。座標算出部44は、例えば注目領域を囲む多角形又は円の輪郭線上の1つ以上の座標情報を算出する。座標算出部44は、多角形の頂点の座標、又は多角形の辺の中点の座標を座標情報として算出してもよいし、円の円周を複数に等分割する点の座標を座標情報として算出してもよい。
画像情報取得部46は、報知情報が不必要なタイミング、又は注目領域検出部42の検出結果の信頼度が低くなるタイミングを推定するための画像情報を動画38から取得する画像処理部である。画像情報取得部46は、画像特徴量取得部48と、処置状態推定部50と、注目領域特徴量取得部52と、を備えている。
画像特徴量取得部48は、動画38の各フレーム画像38aの特徴量である画像特徴量を取得する。処置状態推定部50は、動画38の各フレーム画像38aを画像処理により解析して被検体に対する処置状態を推定する。注目領域特徴量取得部52は、注目領域検出部42によって検出された注目領域の特徴量である注目領域特徴量を取得する。
非報知維持時間設定部54は、後述する非報知維持時間を設定する。非報知維持時間は、例えば記憶部64に記憶されている。非報知維持時間設定部54は、記憶部64から非報知維持時間を読み出し、読み出した非報知維持時間を設定する。非報知維持時間設定部54は、処置状態推定部50が推定した処置状態に応じて非報知維持時間を設定してもよいし、ユーザが入力した値を非報知維持時間として設定してもよい。
判定部56は、動画38が非報知条件を充足するか否かを判定する。判定部56は、画像情報取得部46が取得した画像情報に基づいて、動画38が非報知条件を充足するか否かを判定してもよい。即ち、判定部56は、画像特徴量取得部48が取得した画像特徴量、処置状態推定部50が推定した処置状態、注目領域特徴量取得部52が取得した注目領域特徴量のうちの少なくとも1つに基づいて動画38が非報知条件を充足するか否かを判定してもよい。
計時部58は、動画38が非報知条件を非充足になってからの経過時間を計時する。計時部58は、動画38が非報知条件を非充足になってからのフレーム画像38aの数(フレーム数)を計数することで経過時間を計時してもよい。
表示制御部62は、表示器16の表示を制御する。表示制御部62は、画像表示制御部62A及び報知情報表示制御部62Bを備えている。画像表示制御部62Aは、時系列画像取得部40が取得した動画38を表示器16に出力し、表示器16に動画38を表示させる。即ち、表示器16には、複数のフレーム画像38aが順次表示される。
報知情報表示制御部62Bは、医療画像に含まれる報知情報を報知部において報知する報知制御部の一例である。報知情報表示制御部62Bは、報知情報を報知する報知状態及び報知しない非報知状態のいずれかの状態に制御する。報知情報表示制御部62Bは、報知状態において注目領域検出部42によって検出された注目領域に関する情報を報知情報として表示器16に表示させる。ここでは、報知情報表示制御部62Bは、表示器16に表示されたフレーム画像38aの座標算出部44において算出された座標情報の位置に、図形記憶部66から読み出した図形を重畳させる。これにより、表示器16に表示される動画38の注目領域の位置に図形が重畳表示され、注目領域は図形により強調される。
また、報知情報表示制御部62Bは、動画38が非報知条件を充足する場合に報知情報を非報知状態とする。即ち、報知情報表示制御部62Bは、動画38が非報知条件を充足する場合は図形記憶部66から読み出した図形を表示しない非報知状態とし、表示器16による報知情報の報知を停止する。
さらに、報知情報表示制御部62Bは、動画38が非報知条件を非充足になってから非報知維持時間設定部54が設定した非報知維持時間が経過するまでは非報知状態を維持し、非報知維持時間の経過後に報知情報を表示する報知状態にする。即ち、非報知維持時間は、非報知条件を非充足になってから非報知状態を維持する時間である。
報知情報表示制御部62Bは、動画38が非報知条件を非充足になってからの経過時間が非報知維持時間を超えたか否かを判定し、非充足になってからの経過時間が非報知維持時間を超えていない場合は、報知情報を非報知状態を維持する。
また、非充足になってからの経過時間が非報知維持時間を超えた場合は、報知情報表示制御部62Bは報知情報を報知状態にする。ここでは、報知情報表示制御部62Bは、表示器16に表示されたフレーム画像38a内の座標算出部44において算出された座標情報の位置に、図形記憶部66から読み出した図形を重畳させる。
なお、非報知条件とは逆の条件を報知条件とすると、報知情報表示制御部62Bは、動画38が報知条件を充足する場合に報知情報を報知状態とし、動画38が報知条件を非充足の場合に報知情報を非報知状態とする、と解釈することができる。この場合、報知情報表示制御部62Bは、動画38が報知条件を充足してから非報知維持時間が経過するまでは非報知状態を維持する。また、報知情報表示制御部62Bは、動画38が報知条件を充足してから非報知維持時間の経過後に報知状態にする。
〔医療画像処理方法〕
続いて、医療画像処理装置14を用いた医療画像処理方法について説明する。医療画像処理方法は、記憶部64に記憶されたプログラム68を制御部60が実行することで実施される。
本実施形態では、報知情報は注目領域の位置であり、医療画像処理装置14は、注目領域の位置を示す図形を表示器16に表示する。報知情報は、注目領域の有無であってもよいし、検出された注目領域のカテゴリ分類の認識結果であってもよい。
図3は、第1実施形態に係る医療画像処理方法の各処理の一例を示すフローチャートである。医療画像処理方法は、画像取得工程(ステップS1)と、画像表示工程(ステップS2)と、注目領域検出工程(ステップS3)と、判定工程(ステップS5)と、計時工程(ステップS7)と、報知制御工程(ステップS9、ステップS10)と、を含む。
ステップS1では、時系列画像取得部40は、動画38のフレーム画像38aを取得する。ステップS2では、画像表示制御部62Aは、ステップS1で取得したフレーム画像38aを表示器16に表示させる。
ステップS3では、注目領域検出部42は、ステップS1で取得したフレーム画像38aから注目領域を検出する。ステップS4では、制御部60は、ステップS3においてフレーム画像38aから注目領域が検出されたか否かを判定する。
ステップS4において注目領域が検出されていないと判定された場合は、本フローチャートの処理を終了する。この場合は、報知情報が存在しないため、報知情報の報知(表示)は行われない。したがって、表示器16には注目領域の位置を示す図形は表示されない。
一方、ステップS4において注目領域が検出されたと判定された場合は、ステップS5に移行する。ステップS5では、判定部56は、ステップS1で取得したフレーム画像38aが非報知条件を充足するか否かを判定する。
ステップS5においてフレーム画像38aが非報知条件を充足すると判定された場合は、ステップS9に移行する。ステップS9では、報知情報表示制御部62Bは報知情報を非報知状態(非表示状態)とし、本フローチャートの処理を終了する。したがって、表示器16には注目領域の位置を示す図形は表示されない。
一方、ステップS5においてフレーム画像38aが非報知条件を非充足であると判定された場合は、ステップS6に移行する。ステップS6では、判定部56は、ステップS1で取得したフレーム画像38aよりも過去のフレーム画像38aが非報知条件を充足していたか否かを判定する。
ステップS6において過去のフレーム画像38aが非報知条件を非充足であったと判定された場合は、ステップS10に移行する。ステップS10では、報知情報表示制御部62Bは報知情報を報知状態(表示状態)とし、本フローチャートの処理を終了する。したがって、表示器16に表示されたフレーム画像38aの注目領域の位置に図形が重畳される。
また、ステップS6において過去のフレーム画像38aが非報知条件を充足していたと判定された場合は、ステップS7に移行する。ステップS7では、計時部58は、動画38が非報知条件を非充足になってからの経過時間を計時する。
続くステップS8において、報知情報表示制御部62Bは、計時部58が計時した経過時間が非報知維持時間を超えたか否かを判定する。ここでは、非報知維持時間は、非報知維持時間設定部54により予め定められた時間が設定される。
非報知維持時間は、0より大きい時間が設定される。非報知維持時間は、例えば0.5秒以上30秒以下の時間である。非報知維持時間は、好ましくは1秒以上7秒以下の時間であり、より好ましくは2秒以上4秒以下の時間である。
ステップS8において、経過時間が非報知維持時間を超えていないと判定された場合は、ステップS9に移行する。ステップS9では、ステップS5から移行した場合と同様に、報知情報表示制御部62Bは報知情報を非報知状態とし、本フローチャートの処理を終了する。したがって、表示器16には注目領域の位置を示す図形は表示されない。
ステップS8において、経過時間が非報知維持時間を超えていると判定された場合は、ステップS10に移行する。ステップS10では、ステップS6から移行した場合と同様に、報知情報表示制御部62Bは報知情報を報知状態とし、本フローチャートの処理を終了する。したがって、表示器16に表示されたフレーム画像38aの注目領域の位置に図形が重畳される。
以上のように、第1実施形態に係る医療画像処理方法によれば、ユーザ操作によらずに医療画像の報知情報の報知(表示)の有無を適切に制御することができる。
本フローチャートでは、注目領域検出部42は、報知状態及び非報知状態にかかわらずフレーム画像38aに対して注目領域検出を行っているが、注目領域検出部42は、報知状態の場合のみ注目領域検出を行ってもよい。
図4は、表示器16の表示の遷移を示す図である。図4に示すF4Aは、ある時点における表示器16の表示を示している。また、図4に示すF4BはF4Aから一定時間経過後の表示器16の表示を示しており、図4に示すF4CはF4Bからさらに一定時間経過後の表示器16の表示を示している。F4A、F4B、及びF4Cにおいて表示器16に表示されるフレーム画像38aは、一定のフレームレートを構成する1つの動画38のそれぞれ異なるフレーム画像38aである。
F4Aは、フレーム画像38aが非報知条件を非充足であるため、報知情報が報知状態である場合を示している。F4Aでは、フレーム画像38aにおいて検出された注目領域R1を囲む枠形状の図形F1が、フレーム画像38aに重畳されて表示器16に表示されている。このように、注目領域の位置を報知することで、ユーザが注目領域を見落とすことを防止することができる。
F4Bは、フレーム画像38aが非報知条件を充足しているため、報知情報が非報知状態である場合を示している。F4Bでは、注目領域R1を含むフレーム画像38aが表示器16に表示されているが、報知情報が非表示とされるため図形F1は表示されていない。
表示器16に図形F1が表示されていると、状況によってはフレーム画像38aの観察の妨げになりかねない。例えば、ユーザが注目領域R1を発見した後は観察の邪魔にしかならない。そこで、F4Bに示すように、報知情報が不必要なタイミングであると考えられる非報知条件を充足する場合には、報知情報を非表示にすることで、ユーザが医療画像を観察しやすくすることが可能となる。
また、注目領域検出部42の誤った検出結果によって図形F1が表示される場合も、フレーム画像38aの観察の妨げになる。したがって、注目領域検出部42の検出結果の信頼度が低くなるタイミングであると考えられる非報知条件を充足する場合も同様に、報知情報を非表示にすることで、ユーザが医療画像を観察しやすくすることが可能となる。
なお、フレーム画像38aが非報知条件を非充足になってから非報知維持時間が経過するまでの間も、報知情報の非報知状態が維持されるため、F4Bと同様に図形F1は表示されない。
F4Cは、フレーム画像38aが非報知条件を非充足になってから非報知維持時間の経過後に、報知情報が再び報知状態となった場合を示している。F4Aと同様に、フレーム画像38aにおいて検出された注目領域R1を囲む枠形状の図形F1が、フレーム画像38aに重畳されて表示器16に表示されている。
報知情報を非報知状態のままにすると、その後に注目領域のスクリーニングを再開して報知情報の表示が必要となった場合にも報知情報が表示されず、ユーザが注目領域を見落とす可能性がある。そこで、非報知条件を非充足になった場合には報知情報を報知状態にする。これにより、表示を再開させるためのユーザ操作によらずに、継続して報知情報の表示が行われなくなることを防止することができる。
ここで、非報知条件を非充足になってから直ちに報知情報を表示すると、動画38の画像情報によっては短い間隔で表示と非表示とを繰り返してしまい、ユーザにとって煩わしい場合が発生する。このため、非報知条件を非充足になってから非報知維持時間の経過後に報知状態にする。このように非表示から表示へ移行させることで、短い間隔で表示と非表示とを繰り返すことを防止することができる。
<表示の変形例>
〔注目領域の報知の態様〕
表示器16において注目領域を報知する態様は、枠形状の図形で注目領域を囲む例に限定されない。
図5~図8は、報知状態における表示器16の表示の一例を示す図であり、それぞれ注目領域R1を含むフレーム画像38aが表示されている。
図5に示す場合は、報知情報表示制御部62Bは、注目領域R1を塗りつぶした情報IN1を表示することで、注目領域R1を報知している。塗りつぶす色は、ユーザに報知できる色であれば限定されない。このように、注目領域を塗りつぶすことで、注目領域の範囲を認識しやすく報知することができる。
図6及び図7は、注目領域の画像内の位置にかかわらず、注目領域が検出されたか否かを報知する例を示している。
図6に示す場合は、報知情報表示制御部62Bは、フレーム画像38aの周囲を着色した情報IN2を表示することで、注目領域R1が検出された旨を報知している。このように、医療画像の周囲の色で報知することで、医療画像に観察を妨げる図形を重畳することなく、かつ、ユーザの視線移動を少なくして報知することができる。
図7に示す例では、報知情報表示制御部62Bは、フレーム画像38aの外側の右上の位置に星形の図形の情報IN3を表示することで、注目領域R1が検出された旨を報知している。図形の形状及び配置する位置はこの例に限定されない。このように、医療画像の外側の特定の位置に特定の図形を表示することで、医療画像に観察を妨げる図形を重畳することなく、かつ、ユーザの視線移動を少なくして報知することができる。また、報知による表示画面内における影響範囲が小さくて済むため、ユーザにとって報知が煩わしくないという利点がある。
図8に示す場合は、報知情報表示制御部62Bは、フレーム画像38aの周囲のうち、注目領域に近い領域(ここでは右上)のみを着色した情報IN4を表示することで、注目領域R1のおおよその位置を報知している。このように、医療画像の周囲のうち注目領域に近い領域を色で報知することで、医療画像に観察を妨げる図形を重畳することなく、かつ、検出対象の大まかな位置を把握可能に報知することができる。
〔その他の情報の表示〕
図9は、表示器16の表示の遷移を示す図である。図9に示すF9Aは、ある時点における表示器16の表示を示している。また、図9に示すF9BはF9Aから3秒経過後の表示器16の表示を示しており、図9に示すF9CはF9Bからさらに2秒経過後の表示器16の表示を示している。F9A、F9B、及びF9Cにおいて表示器16に表示されるフレーム画像38aは、一定のフレームレートを構成する1つの動画38のそれぞれ異なるフレーム画像38aである。
F9A、F9B、及びF9Cでは、報知状態又は非報知状態の情報IN5(非報知状態である旨の情報の一例)、及び報知情報を非報知状態とする残り時間、即ち非報知維持時間と経過時間との差分の時間の情報IN6(医療画像が非報知条件を非充足になってからの経過時間に関する情報の一例)が、表示器16のフレーム画像38aの表示領域(第1表示部の一例)とは異なる表示領域(第3表示部の一例)に表示されている。
F9A及びF9Bは、非報知状態の場合を示している。F9A及びF9Bでは、注目領域R1を含むフレーム画像38aが表示器16に表示されているが、報知情報表示制御部62Bは注目領域R1の報知を行わない。
F9Aでは、報知情報表示制御部62Bは、情報IN5として非報知状態である旨の「off」を表示し、情報IN6として残り時間が5秒である旨の「5sec」を表示している。また、F9Bでは、報知情報表示制御部62Bは、情報IN5として非報知状態である旨の「off」を表示し、情報IN6として残り時間が2秒である旨の「2sec」を表示している。
F9Cは、非報知維持時間が経過して報知状態となった場合を示している。F9Cでは、注目領域R1を含むフレーム画像38aが表示器16に表示されており、報知情報表示制御部62Bは注目領域R1を囲む枠形状の図形F1をフレーム画像38aに重畳する。また、F9Cでは、報知情報表示制御部62Bは、情報IN5として報知状態である旨の「on」を表示し、情報IN6として非報知維持時間が経過した旨の「0sec」を表示している。報知情報表示制御部62Bは、報知状態の場合は情報IN6を非表示としてもよい。
また、図10及び図11は、それぞれ表示器16の表示の遷移を示す図である。図10に示すF10A、F10B、及びF10Cの遷移のタイミングと、図11に示すF11A、F11B、及びF11Cの遷移のタイミングとは、それぞれ図9に示すF9A、F9B、及びF9Cの遷移のタイミングと同様である。即ち、F10A、F10B、及びF10Cにおいて表示されているフレーム画像38aと、F11A、F11B、及びF11Cにおいて表示されているフレーム画像38aとは、それぞれF9A、F9B、及びF9Cにおいて表示されているフレーム画像と同様である。
F10A、F10B、及びF10Cでは、報知状態又は非報知状態の情報IN5、及び報知情報を非報知状態とする残り時間の情報IN7(医療画像が非報知条件を非充足になってからの経過時間に関する情報の一例)が、表示器16のフレーム画像38aの表示領域とは異なる表示領域に表示されている。
情報IN7は、バー(プログレスバー)を用いて非報知状態の残り時間を表現したものであり、バーの塗りつぶし部分の長さと経過時間とが相関を持つように設定される。
F10A及びF10Bは、非報知状態の場合を示している。F10A及びF10Bでは、注目領域R1を含むフレーム画像38aが表示器16に表示されているが、報知情報表示制御部62Bは注目領域R1の報知を行わない。F10Aでは、報知情報表示制御部62Bは、情報IN5として非報知状態である旨の「off」を表示し、情報IN7として残り時間の5秒分を塗りつぶしたバーを表示している。また、F10Bでは、報知情報表示制御部62Bは、情報IN5として非報知状態である旨の「off」を表示し、情報IN7として残り時間の2秒分を塗りつぶしたバーを表示している。
F10Cは、非報知維持時間が経過して報知状態となった場合を示している。F10Cでは、注目領域R1を含むフレーム画像38aが表示器16に表示されており、報知情報表示制御部62Bは注目領域R1を囲む枠形状の図形F1をフレーム画像38aに重畳する。また、F10Cでは、報知情報表示制御部62Bは、情報IN5として報知状態である旨の「on」を表示し、情報IN7として残り時間の0秒分を塗りつぶしたバー、即ち塗りつぶしのないバーを表示している。報知情報表示制御部62Bは、報知状態の場合は情報IN7を非表示としてもよい。
このように、塗りつぶし部分の長さと経過時間とが相関を持つバーを表示することで、ユーザは残り時間を図形的に解釈可能となる。
F11A、F11B、及びF11Cでは、報知状態又は非報知状態の情報IN5、及び報知情報を非報知状態とする残り時間の情報IN8(医療画像が非報知条件を非充足になってからの経過時間に関する情報の一例)が、表示器16のフレーム画像38aの表示領域とは異なる表示領域に表示されている。
情報IN8は、表示領域の一部の色情報で残り時間を表現しており、残り時間が短くなるほど色が濃くなる。
F11A及びF11Bは、非報知状態の場合を示している。F11A及びF11Bでは、注目領域R1を含むフレーム画像38aが表示器16に表示されているが、報知情報表示制御部62Bは注目領域R1の報知を行わない。F11Aでは、報知情報表示制御部62Bは、情報IN5として非報知状態である旨の「off」を表示し、情報IN8として残り時間が5秒に相当する濃度の色を表示している。また、F11Bでは、報知情報表示制御部62Bは、情報IN5として非報知状態である旨の「off」を表示し、情報IN8として残り時間が2秒に相当する濃度の色を表示している。
F11Cは、非報知維持時間が経過して報知状態となった場合を示している。F11Cでは、注目領域R1を含むフレーム画像38aが表示器16に表示されており、報知情報表示制御部62Bは注目領域R1を囲む枠形状の図形F1をフレーム画像38aに重畳する。また、F11Cでは、報知情報表示制御部62Bは、情報IN5として報知状態である旨の「on」を表示し、情報IN8として残り時間が0秒に相当する濃度の色を表示している。
ここで、F11Aの情報IN8の色の濃度よりもF11Bの情報IN8の色の濃度の方が相対的に高く、F11Bの情報IN8の色の濃度よりもF11Cの情報IN8の色の濃度の方が相対的に高い。なお、残り時間が短くなるほど色を濃くしてもよい。
このように、医療画像の表示領域の周辺の色の濃度で残り時間を表現することで、ユーザは特定の領域を注視する必要なく残り時間を把握でき、観察の妨げにならないという利点がある。
図12は、表示器16の表示の遷移を示す図である。図12に示すF12Aは、ある時点における表示器16の表示を示している。また、図12に示すF12BはF12Aから一定時間経過後の表示器16の表示を示しており、図12に示すF12CはF12Bからさらに一定時間経過後の表示器16の表示を示している。F12A、F12B、及びF12Cにおいて表示器16に表示されるフレーム画像38aは、一定のフレームレートを構成する1つの動画38のそれぞれ異なるフレーム画像38aである。
F12A、F12B、及びF12Cでは、報知状態又は非報知状態の情報と、報知情報を非報知状態とする残り時間の情報とをまとめて表現した情報IN9が、表示器16のフレーム画像38aの表示領域とは異なる表示領域に表示されている。
情報IN9は、「AI」の文字がグレーアウトしている場合は、非報知条件を充足している非報知状態であることを示す。また、「AI」の文字が一定の濃度の赤色の場合は、報知状態であることを表す。さらに、非報知条件を非充足となってから非報知維持時間が経過するまでの非報知状態では、残り時間に応じて赤色の濃度が連続的に変化する。
F12Aは、非報知条件を充足している非報知状態の場合を示している。F12Aでは、注目領域R1を含むフレーム画像38aが表示器16に表示されているが、報知情報表示制御部62Bは注目領域R1の報知を行わない。また、報知情報表示制御部62Bは、情報IN9としてグレーアウトさせた「AI」の文字を表示する。これは、AI(Artificial Intelligence)による注目領域の検出の報知が機能していないことを表す。
F12Bは、非報知条件を非充足となってから非報知維持時間が経過するまでの非報知状態の場合を示している。F12Bでは、注目領域R1を含むフレーム画像38aが表示器16に表示されているが、報知情報表示制御部62Bは注目領域R1の報知を行わない。また、報知情報表示制御部62Bは、情報IN9として残り時間に応じた濃度の赤色の「AI」の文字を表示する。
F12Cは、報知状態の場合を示している。F12Cでは、注目領域R1を含むフレーム画像38aが表示器16に表示されており、報知情報表示制御部62Bは注目領域R1を囲む枠形状の図形F1をフレーム画像38aに重畳する。また、報知情報表示制御部62Bは、情報IN9として報知状態に相当する一定の濃度の赤色の「AI」の文字を表示する。これは、注目領域の検出が機能していることを表す。
ここで、F12Bの情報IN9の赤色の濃度よりもF12Cの情報IN9の赤色の濃度の方が相対的に高い。なお、情報IN9の非報知条件を充足している非報知状態での色、報知状態での色及び濃度はこの例に限定されない。
このように、報知状態又は非報知状態の情報と、残り時間の情報とをまとめて表現することで、画面表示が煩雑にならないという利点がある。また、報知状態と非報知状態とで文字の色を変化させることで、ユーザは報知状態及び非報知状態の識別が容易になる。さらに、残り時間に応じて文字の色の濃度を連続的に変化させることで、ユーザは残り時間を把握することが可能となる。非報知状態の場合の文字は、グレーアウトするのではなく表示自体をやめてもよい。また、残り時間は、文字ではなくアイコンなどの図の濃淡で表現してもよい。
<非報知条件の詳細>
〔画像特徴量を判定する場合〕
判定部56が判定する非報知条件は、例えば医療画像の画像特徴量を判定する条件である。画像特徴量は、医療画像の輝度、色情報、時間的変化、及び周波数情報の少なくとも1つを含む。
例えば、動画38からユーザが注目領域を発見し、注目領域を観察している間は、報知情報が不必要なタイミングであると考えられる。注目領域の観察時は、一般に動画38の時間的変化の方が相対的に小さくなる。
したがって、画像特徴量取得部48が画像特徴量として動画38の複数のフレーム画像38aの時間的変化を検出する。判定部56は、検出した時間的変化と非報知条件として設定された時間的変化とを比較する。その結果、検出した時間的変化の方が相対的に小さいと判定された場合は、報知情報表示制御部62Bは、ユーザが注目領域の発見後の観察中であると判断して報知情報を非報知状態とする。
また、内視鏡システム9が送水中又は吸水中である間は、報知情報が不必要なタイミングであると考えられる。送水時及び吸水時は、一般にフレーム画像38aの黄色成分及び高周波成分が多くなる。
したがって、画像特徴量取得部48が画像特徴量としてフレーム画像38aの色成分を検出する。判定部56は、検出した黄色成分と非報知条件として設定された黄色成分とを比較する。その結果、検出した黄色成分の方が相対的に多いと判定された場合は、報知情報表示制御部62Bは、内視鏡システム9が送水中又は吸水中であると判断して報知情報を非報知状態とする。
同様に、画像特徴量取得部48が画像特徴量としてフレーム画像38aの周波数成分を検出する。判定部56は、検出した高周波成分と非報知条件として設定された高周波成分とを比較する。その結果、検出した高周波成分の方が相対的に多いと判定された場合は、報知情報表示制御部62Bは、内視鏡システム9が送水中又は吸水中であると判断して報知情報を非報知状態とする。
また、フレーム画像38aの輝度が高すぎる場合、低すぎる場合、又はフレーム画像38aのボケが大きすぎる場合は、注目領域検出部42の検出結果の信頼度が低下するタイミングであると考えられる。
したがって、画像特徴量取得部48が画像特徴量としてフレーム画像38aの輝度を検出する。判定部56は、検出した輝度と非報知条件として設定された輝度の範囲とを比較する。その結果、検出した輝度が設定された輝度の範囲に含まれないと判定された場合は、報知情報表示制御部62Bは、注目領域検出部42の検出結果の精度が悪くなると判断して報知情報を非報知状態とする。
同様に、画像特徴量取得部48が画像特徴量としてフレーム画像38aのボケを検出する。判定部56は、検出したボケと非報知条件として設定されたボケとを比較する。その結果、検出したボケの方が相対的に大きいと判定された場合は、報知情報表示制御部62Bは、注目領域検出部42の検出結果の精度が悪くなると判断して報知情報を非報知状態とする。
このように、非報知条件を、報知情報が不必要なタイミング、又は注目領域検出結果の信頼度が低くなるタイミングの画像特徴量に設定し、設定された画像特徴量と画像特徴量取得部48によって取得した画像特徴量とを判定部56が比較することで、適切なタイミングで自動的に報知情報を非報知状態とすることができる。
画像特徴量を判定する非報知条件が非充足になった場合、すぐに報知情報の報知状態を再開するべきではない。例えば、フレーム画像38aの時間的変化が小さい場合に、体動の影響で一時的に時間的変化が大きくなり、すぐに変化量が小さく戻るといった状況は多々ある。このような一時的な時間的変化が大きいタイミングはスクリーニングを再開したというわけではなく、報知情報を表示する必要はない。また、短い間隔で表示と非表示とを繰り返すと、ユーザにとって煩わしいという問題がある。そこで非報知条件が非充足になってからも、非報知維持時間が経過するまでは非報知状態を維持し、非報知維持時間の経過後に報知状態にすることで、このような問題を回避することができる。
〔処置状態を判定する場合〕
非報知条件は、医療画像の被検体に対する処置状態を判定する条件であってもよい。ユーザが被検体に対して処置を施している間は、報知情報が不必要なタイミングであると考えられる。処置状態として、フレーム画像38aに処置具が写っている場合、出血が映っている場合、又は内視鏡システム9が所定の倍率で拡大して撮像する拡大モードに設定されている場合等が考えられる。
例えば、処置状態推定部50がフレーム画像38aから処置具を検出する。判定部56は、検出された処置具と非報知条件として設定された処置具である生検鉗子又はスネアとを比較する。検出された処置状態が非報知条件を充足していると判定された場合は、報知情報表示制御部62Bは、ユーザが処置中と判断して報知情報を非報知状態とする。
なお、フレーム画像38aから処置具が検出された場合は、処置具の種類に依らずユーザが処置中と判断して報知情報を非報知状態としてもよい。この場合、判定部56は非報知条件を満たすか否かの判定を行わなくてもよいし、非報知条件として全ての処置具を設定して判定してもよい。
また、処置状態推定部50がフレーム画像38aから出血量を検出する。判定部56は、検出された出血量と非報知条件として設定された出血量とを比較する。検出された出血量が非報知条件を充足していると判定された場合は、報知情報表示制御部62Bは、ユーザが処置中と判断して報知情報を非報知状態とする。
また、処置状態推定部50において、内視鏡システム9が設定されているモードを検出する。判定部56は、検出されたモードと非報知条件として設定された拡大モードとを比較する。検出されたモードが非報知条件を充足していると判定された場合は、報知情報表示制御部62Bは、ユーザが処置中と判断して報知情報を非報知状態とする。
また、処置状態推定部50が、被検体内に散布されている色素材を検出する。判定部56は、検出した色素材と非報知条件として設定された色素材とを比較する。検出された色素材が非報知条件を充足していると判定された場合は、報知情報表示制御部62Bは、ユーザが診断中と判断して報知情報を非報知状態とする。
なお、色素材が検出された場合は、色素材の種類に依らずユーザが処置中と判断して報知情報を非報知状態としてもよい。この場合、判定部56は非報知条件を満たすか否かの判定を行わなくてもよいし、非報知条件として全ての色素材を設定して判定してもよい。
このように、非報知条件を、報知情報が不必要なタイミングの処置状態に設定し、設定された処置状態と処置状態推定部50によって取得した処置状態とを判定部56が比較することで、適切なタイミングで自動的に報知情報を非報知状態とすることができる。
処置状態を判定する非報知条件が非充足になった場合、すぐに報知情報の表示を再開するべきではない。例えば、フレーム画像38aに生検鉗子が含まれていて非報知とされている場合に、粘膜又は残液によって鉗子が被覆されて一時的に写らなくなり、すぐに戻るといった状況は多々ある。このような一時的に鉗子が写らないタイミングにおいてすぐに表示を再開するのは、画像特徴量を判定する場合と同様の理由から好ましくない。したがって、非報知条件が非充足になってからも、非報知維持時間が経過するまでは非報知状態を維持し、非報知維持時間の経過後に報知状態にすることで、このような問題を回避することができる。
また、処置状態に応じて非報知維持時間を変更してもよい。例えば、フレーム画像38aに生検鉗子が含まれている場合は、生検監視が鉗子口から出ていない状態になれば生検処置が終了したと判断することができる。したがって、非報知維持時間設定部54は、生検鉗子が鉗子口から出ていない状態になった後の非報知維持時間を相対的に短い時間に設定すればよい。
一方でEMR(Endoscopic Mucosal Resection)のような処置の場合は、局部注射、スネアによる切除、及びクリップによる止血という一連の流れがある。例えば、局部注射後からスネアを鉗子口から出すまでの間はフレーム画像38aから処置具を検出することはできないが、この間も処置作業中であり報知情報を再表示すべきではない。そこで、フレーム画像38aから局部注射を検出した場合は、非報知維持時間設定部54は、局部注射が検出されなくなった後の非報知維持時間を相対的に長い時間に設定することで、一連の作業中に報知情報を再表示することを避けることが可能となる。
〔注目領域特徴量を判定する場合〕
非報知条件は、医療画像の注目領域特徴量を判定する条件であってもよい。注目領域特徴量は、注目領域の面積、医療画像内の位置、及び時間的変化の少なくとも1つを含む。
注目領域の観察時は、一般にフレーム画像38aにおける注目領域の面積の割合が大きい、フレーム画像38a内の注目領域の位置が中央部にある、及び注目領域の時間的変化が小さい。
したがって、注目領域特徴量取得部52が注目領域特徴量としてフレーム画像38a内の注目領域の面積を検出する。判定部56は、検出した面積と非報知条件として設定された面積とを比較する。その結果、検出した面積の方が相対的に大きいと判定された場合は、報知情報表示制御部62Bは、ユーザが注目領域の発見後の観察中であると判断して報知情報を非報知状態とする。
また、注目領域特徴量取得部52が、注目領域特徴量として注目領域のフレーム画像38a内の位置を検出する。判定部56は、検出した位置と非報知条件として設定された位置とを比較する。その結果、検出した注目領域の位置が非報知条件として設定された位置よりも中央部寄りにあると判定された場合は、報知情報表示制御部62Bは、ユーザが注目領域の発見後の観察中であると判断して報知情報を非報知状態とする。
同様に、注目領域特徴量取得部52が、注目領域特徴量として動画38の注目領域の時間的変化を検出する。判定部56は、検出した時間的変化と非報知条件として設定された時間的変化とを比較する。その結果、検出した時間的変化の方が相対的に小さいと判定された場合は、報知情報表示制御部62Bは、ユーザが注目領域の発見後の観察中であると判断して報知情報を非報知状態とする。
このように、非報知条件を、報知情報が不必要なタイミングの注目領域特徴量に設定し、設定された注目領域特徴量と注目領域特徴量取得部52によって取得した注目領域特徴量とを判定部56が比較することで、適切なタイミングで自動的に報知情報を非報知状態とすることができる。
これまでと同様に、注目領域特徴量を判定する非報知条件が非充足になった場合、すぐに報知情報の表示を再開するべきではない。例えば、注目領域の面積が大きいにもかかわらず、一時的に残液などに注目領域の一部が被覆されて面積が小さいと判断されてしまう場合、又はフレーム画像38aの中央部に位置しているにもかかわらず体動の影響で一時的にフレーム画像38aの端部に移動してしまう場合等がある。したがって、非報知条件が非充足になってからも、非報知維持時間が経過するまでは非報知状態を維持し、非報知維持時間の経過後に報知状態にすることで、このような問題を回避することができる。
<第2実施形態>
〔医療画像処理装置の構成〕
ここまでは医療画像処理装置14に単一の表示器16が接続されている例を説明したが、医療画像処理装置14は複数の表示装置に接続されていてもよい。
図13は、第2実施形態に係る医療画像処理装置14の電気的構成を示すブロック図である。医療画像処理装置14は、図2に示すブロック図と同様である。表示制御部62は、第1表示器16A、第2表示器16B、第3表示器16C、及び第4表示器16Dに接続されており、それぞれの表示を制御する。
第1表示器16A、第2表示器16B、第3表示器16C、及び第4表示器16Dは、例えば内視鏡システム9に備えられる。第1表示器16A、第2表示器16B、第3表示器16C、及び第4表示器16Dは、それぞれ異なる液晶モニタ等の表示装置である。ここでは、4つの表示装置に接続されているが、表示装置の数は必要に応じて決めればよい。また、第1表示器16A、第2表示器16B、第3表示器16C、及び第4表示器16Dは、単一の表示装置の画面内のそれぞれ異なる領域であってもよい。
図14は、第1表示器16A及び第2表示器16Bの表示の遷移の一例を示す図である。
報知情報表示制御部62Bは、第1表示器16A(第1表示部の一例)の表示については、第1実施形態に係る表示器16の表示と同様に制御する。図14に示すF14A、F14B、及びF14Cは、第1表示器16Aの表示を示しており、図4に示すF4A、F4B、及びF4Cと同様である。
即ち、F14A及びF14Cは、報知情報が報知状態である場合を示している。F14A及びF14Cでは、フレーム画像38aにおいて検出された注目領域R1を囲む枠形状の図形F1がフレーム画像38aに重畳されている。また、F14Bは、報知情報が非報知状態である場合を示している。F14Bでは、図形F1は表示されず、フレーム画像38aのみが表示される。
また、報知情報表示制御部62Bは、第1表示器16Aの報知状態又は非報知状態に応じて第2表示器16B(第2表示部の一例)の報知情報の表示の態様を変更する。ここでは、報知情報表示制御部62Bは、報知情報が非報知状態の場合に第2表示器16Bに報知情報を表示する。
図14に示すF14D、F14、及びF14は、それぞれF14A、F14、及びF14と同じタイミングにおける第2表示器16Bの表示を示している。F14D、F14、及びF14において表示されるフレーム画像38aは、それぞれF14A、F14B、及びF14Cにおいて表示されるフレーム画像38aと同じ画像である。
報知情報が報知状態のタイミングであるF14D及びF14では、図形F1は表示されていない。一方、報知情報が非報知状態のタイミングであるF14において、注目領域R1を囲む枠形状の図形F1がフレーム画像38aに重畳されている。
このように、報知情報が非報知状態の場合にのみ第2表示器16Bに報知情報を表示させる。これにより、第1表示器16Aについては、報知情報が不必要なタイミングでユーザの観察を妨げる影響を抑えることができる。また、第2表示器16Bについては、ユーザが報知情報を必要とした場合に報知情報を確認することができる。
ここでは、第2表示器16Bにフレーム画像38aを表示したが、第2表示器16Bに表示させるのは報知情報である図形F1のみであってもよい。
図15は、第1表示器16A及び第2表示器16Bの表示の遷移の他の例を示す図である。この例では、報知情報表示制御部62Bは、報知情報が非報知状態の場合に、第2表示器16Bに表示させる報知情報をより強調レベルの高い表示に変更する。ここで、強調レベルとは、ユーザによる報知情報の認識のしやすさであり、強調レベルが相対的に高いほどユーザが報知情報を認識しやすい。
図15に示すF15、F15B、及びF15Cは、第1表示器16Aの表示を示しており、図14に示すF14A、F14B、及びF14Cと同様である。また、図15に示すF15、F15E、及びF15Fは、それぞれF15A、F15B、及びF15Cと同じタイミングにおける第2表示器16Bの表示を示している。F15D、F15E、及びF15Fにおいて表示されるフレーム画像38aは、それぞれF15A、F15B、及びF15Cにおいて表示されるフレーム画像38aと同じ画像である。
報知状態のタイミングであるF15D及びF15Fでは、F15A及びF15Cと同様に、フレーム画像38aにおいて検出された注目領域R1を囲む枠形状の図形F1がフレーム画像38aに重畳されている。また、非報知状態のタイミングであるF15Eでは、フレーム画像38aにおいて検出された注目領域R1を囲む枠形状の図形F2がフレーム画像38aに重畳されている。ここで、図形F2の線の太さは、図形F1の線の太さよりも相対的に太い。このため、図形F2の強調レベルは、図形F1の強調レベルよりも相対的に高い。
このように第2表示器16Bの表示を制御することで、報知情報が非報知状態の際にユーザが報知情報を必要とした場合に、報知情報をより確認しやすくすることができる。
報知情報表示制御部62Bは、図5~図8に示した注目領域を報知するための情報IN1~IN4を第2表示器16Bに表示させてもよい。また、報知情報表示制御部62Bは、報知情報が非報知状態の場合にのみ、情報IN1~IN4を第2表示器16Bに表示させてもよい。この場合、画像表示制御部62Aは、第2表示器16Bに医療画像を表示してもよいし、医療画像を表示しなくてもよい。
図16は、第1表示器16A及び第3表示器16Cの表示の遷移の他の例を示す図である。この例では、報知情報表示制御部62Bは、報知情報が非報知状態の場合に、報知情報が非報知状態である旨の情報を第3表示器16C(第3表示部の一例)に表示する。
図16に示すF16A、F16B、及びF16Cは、第1表示器16Aの表示を示しており、図14に示すF14A、F14B、及びF14Cと同様である。また、図16に示すF16、F16E、及びF16Fは、それぞれF16A、F16B、及びF16Cと同じタイミングにおける第3表示器16Cの表示を示している。
報知情報表示制御部62Bは、報知状態のタイミングであるF16D及びF16Fでは、第3表示器16Cには表示を行わない。また、報知情報表示制御部62Bは、非報知状態のタイミングであるF16Eでは、非報知状態である旨の情報IN10を第3表示器16Cに表示する。
ここでは、情報IN10として文字を用いているが、記号、又は色等でもよい。また、報知情報表示制御部62Bは、報知状態のタイミングであるF16D及びF16Fにおいて、報知状態である旨の情報を第3表示器16Cに表示してもよい。
このように第3表示器16Cの表示を制御することで、非報知状態であることをユーザが認識することができる。非報知状態においてユーザが操作部15による操作を行うことで、第1表示器16Aを直ちに報知状態にしてもよい。
図17は、第1表示器16A及び第4表示器16Dの表示の遷移の他の例を示す図である。この例では、報知情報表示制御部62Bは、非報知条件を非充足になってからの経過時間に関する情報を第4表示器16D(第4表示部の一例)に表示する。
図17に示すF17A、F17B、及びF17Cは、第1表示器16Aの表示を示しており、図14に示すF14A、F14B、及びF14Cと同様である。なお、F17Bは、フレーム画像38aが非報知条件を非充足になってから非報知維持時間が経過するまでの間に報知情報の非報知状態が維持されている場合を示している。図17に示すF17D、F17E、及びF17Fは、それぞれF17A、F17B、及びF17Cと同じタイミングにおける第4表示器16Dの表示を示している。
報知情報表示制御部62Bは、非報知条件を非充足のタイミングであるF17D及びF17では、第4表示器16Dには表示を行わない。また、報知情報表示制御部62Bは、フレーム画像38aが非報知条件を非充足になってから非報知維持時間が経過するまでのタイミングであるF17Eでは、報知情報を非報知状態とする残り時間、即ち非報知維持時間と経過時間との差分の時間の情報IN11を第4表示器16Dに表示する。
ここでは、情報IN11として報知情報を非報知状態とする残り時間の文字情報、及び残り時間を間接的に表示した図形であって、順に領域の色が変化する図形を表示したが、非報知条件を非充足になってからの経過時間を表示してもよい。また、報知情報表示制御部62Bは、図9~図12に示した残り時間の情報IN6~IN9を第2表示器16Bに表示させてもよい。
このように第4表示器16Dの表示を制御することで、非報知条件を非充足になってからの経過時間に関する情報をユーザが認識することができる。第4表示器16Dに情報IN11が表示されている状態においてユーザが操作部15による操作を行うことで、第1表示器16Aを直ちに報知状態にしてもよい。
<第3実施形態>
〔医療画像処理装置の構成〕
図18は、第3実施形態に係る医療画像処理装置14の電気的構成の一例を示すブロック図である。なお、図2に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
医療画像処理装置14は、音制御部70を備えている。音制御部70は、被検体を撮像した医療画像に含まれる報知情報を報知部において報知する報知制御部の一例である。音制御部70は、音出力部17に接続される。音出力部17は、報知情報を報知する報知部として機能し、例えば内視鏡システム9(図1参照)に備えられる。音出力部17は、例えばブザー、又はスピーカ等の音を出力する部材を含んで構成される。音制御部70は、報知状態において音出力部17に音を出力させて報知情報を報知する。出力する音は、アラーム音でもよいし、報知情報に関する音声でもよい。
ここでは、報知情報を報知する報知部として表示器16及び音出力部17を含む構成を説明したが、音出力部17のみを備えていてもよい。また、報知情報を報知する報知部として、発光するランプ、又は振動するバイブレータ等を用いる態様も可能である。
<その他>
上記の医療画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したCD-ROM(Compact Disk-Read Only Memory)等の非一時的な記録媒体を構成することも可能である。
ここまで説明した実施形態において、内視鏡プロセッサ装置12及び医療画像処理装置14は、それぞれ異なる装置として説明したが、内視鏡プロセッサ装置12及び医療画像処理装置14を一体の装置として構成し、医療画像処理装置14の機能を有する内視鏡プロセッサ装置12としてもよい。
内視鏡プロセッサ装置12及び医療画像処理装置14の各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、或いはCPUとFPGAの組み合わせ、又はCPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、サーバ及びクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを1つ以上用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
9…内視鏡システム
10…内視鏡スコープ
11…光源装置
12…内視鏡プロセッサ装置
13…表示装置
14…医療画像処理装置
15…操作部
16…表示器
16A…第1表示器
16B…第2表示器
16C…第3表示器
16D…第4表示器
17…音出力部
20…挿入部
21…手元操作部
22…ユニバーサルコード
25…軟性部
26…湾曲部
27…先端部
28…撮像素子
29…湾曲操作ノブ
30…送気送水ボタン
31…吸引ボタン
32…静止画撮像指示部
33…処置具導入口
35…ライトガイド
36…信号ケーブル
37a…コネクタ
37b…コネクタ
38…動画
38a…フレーム画像
39…静止画
40…時系列画像取得部
42…注目領域検出部
44…座標算出部
46…画像情報取得部
48…画像特徴量取得部
50…処置状態推定部
52…注目領域特徴量取得部
54…非報知維持時間設定部
56…判定部
58…計時部
60…制御部
62…表示制御部
62A…画像表示制御部
62B…報知情報表示制御部
64…記憶部
66…図形記憶部
68…プログラム
70…音制御部
F1,F2…図形
IN1~IN11…情報
R1…注目領域
S1~S10…医療画像処理方法の各ステップ

Claims (25)

  1. 医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御部を備え、
    前記報知制御部は、前記医療画像が非報知条件を充足する場合に前記報知情報を前記非報知状態とし、かつ前記医療画像が非報知条件を非充足になってから非報知維持時間の経過後に前記報知状態にし、
    前記非報知条件は前記医療画像の被検体に対する処置状態を判定する条件であり、
    前記医療画像から前記処置状態を推定する処置状態推定部を備えた医療画像処理装置。
  2. 前記処置状態に応じて前記非報知維持時間を設定する非報知維持時間設定部を備えた請求項に記載の医療画像処理装置。
  3. 医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御部を備え、
    前記報知制御部は、前記医療画像が非報知条件を充足する場合に前記報知情報を前記非報知状態とし、かつ前記医療画像が非報知条件を非充足になってから非報知維持時間の経過後に前記報知状態にし、
    前記非報知条件は前記医療画像の画像特徴量を判定する条件であり、
    前記医療画像から前記画像特徴量を取得する画像特徴量取得部を備えた医療画像処理装置。
  4. 前記画像特徴量は、前記医療画像の輝度、色情報、時間的変化、及び周波数情報の少なくとも1つを含む請求項3に記載の医療画像処理装置。
  5. 医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御部を備え、
    前記報知制御部は、前記医療画像が非報知条件を充足する場合に前記報知情報を前記非報知状態とし、かつ前記医療画像が非報知条件を非充足になってから非報知維持時間の経過後に前記報知状態にし、
    前記非報知条件は注目領域特徴量を判定する条件であり、
    前記医療画像から注目領域を検出する注目領域検出部と、
    前記注目領域から前記注目領域特徴量を取得する注目領域特徴量取得部と、
    を備えた医療画像処理装置。
  6. 前記注目領域特徴量は、前記注目領域の面積、前記医療画像内の位置、及び時間的変化の少なくとも1つを含む請求項に記載の医療画像処理装置。
  7. 前記非報知条件は設定された面積であり、
    前記注目領域特徴量取得部は、前記注目領域の面積を取得し、
    前記報知制御部は、前記取得した面積が前記設定された面積よりも大きい場合に前記報知情報を前記非報知状態とする、
    請求項5又は6に記載の医療画像処理装置。
  8. 前記非報知条件は設定された位置であり、
    前記注目領域特徴量取得部は、前記注目領域の位置を取得し、
    前記報知制御部は、前記取得した位置が前記設定された位置よりも中央部寄りにある場合に前記報知情報を前記非報知状態とする、
    請求項5から7のいずれか1項に記載の医療画像処理装置。
  9. 前記非報知条件は前記医療画像の被検体に対する処置状態を判定する条件であり、
    前記医療画像から前記処置状態を推定する処置状態推定部を備えた請求項からのいずれか1項に記載の医療画像処理装置。
  10. 前記処置状態に応じて前記非報知維持時間を設定する非報知維持時間設定部を備えた請求項に記載の医療画像処理装置。
  11. 前記医療画像を順次取得する画像取得部と、
    前記医療画像から前記報知情報を取得する報知情報取得部と、
    前記医療画像が前記非報知条件を充足するか否かを判定する判定部と、
    前記医療画像が前記非報知条件を非充足になってからの経過時間を計時する計時部と、
    を備えた請求項1から10のいずれか1項に記載の医療画像処理装置。
  12. 前記報知部は音を出力する音出力部を含み、
    前記報知制御部は、前記音出力部に前記音を出力させる音制御部を備えた請求項1から11のいずれか1項に記載の医療画像処理装置。
  13. 前記報知部は第1表示部を含み、
    前記報知制御部は、前記報知情報を前記第1表示部に表示させる表示制御部を備えた請求項1から12のいずれか1項に記載の医療画像処理装置。
  14. 前記報知部は前記第1表示部とは異なる第2表示部を含み、
    前記表示制御部は、前記報知情報を前記第2表示部に表示させる請求項13に記載の医療画像処理装置。
  15. 前記表示制御部は、前記報知状態又は前記非報知状態に応じて前記第2表示部の前記報知情報の表示の態様を変更する請求項14に記載の医療画像処理装置。
  16. 前記表示制御部は、前記非報知状態の場合に前記報知情報を前記第2表示部に表示させる請求項15に記載の医療画像処理装置。
  17. 前記表示制御部は、前記非報知状態である旨の情報を前記第1表示部とは異なる第3表示部に表示させる請求項13から16のいずれか1項に記載の医療画像処理装置。
  18. 前記表示制御部は、前記医療画像が非報知条件を非充足になってからの経過時間に関する情報を前記第1表示部とは異なる第4表示部に表示する請求項13から17のいずれか1項に記載の医療画像処理装置。
  19. 請求項13から18のいずれか1項に記載の医療画像処理装置と、
    前記第1表示部と、
    を備えた診断支援装置。
  20. 請求項19に記載の診断支援装置と、
    前記医療画像を撮像する内視鏡スコープと、
    を備えた内視鏡システム。
  21. プロセッサを備える医療画像処理装置の作動方法であって、
    前記プロセッサが医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御工程を備え、
    前記報知制御工程は、前記医療画像が非報知条件を充足する場合に前記報知情報を前記非報知状態とし、かつ前記医療画像が非報知条件を非充足になってから非報知維持時間の経過後に前記報知状態にし、
    前記非報知条件は前記医療画像の被検体に対する処置状態を判定する条件であり、
    前記医療画像から前記処置状態を推定する処置状態推定工程を備えた医療画像装置の作動方法。
  22. プロセッサを備える医療画像処理装置の作動方法であって、
    前記プロセッサが医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御工程を備え、
    前記報知制御工程は、前記医療画像が非報知条件を充足する場合に前記報知情報を前記非報知状態とし、かつ前記医療画像が非報知条件を非充足になってから非報知維持時間の経過後に前記報知状態にし、
    前記非報知条件は前記医療画像の画像特徴量を判定する条件であり、
    前記医療画像から前記画像特徴量を取得する画像特徴量取得工程を備えた医療画像装置の作動方法。
  23. プロセッサを備える医療画像処理装置の作動方法であって、
    前記プロセッサが医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御工程を備え、
    前記報知制御工程は、前記医療画像が非報知条件を充足する場合に前記報知情報を前記非報知状態とし、かつ前記医療画像が非報知条件を非充足になってから非報知維持時間の経過後に前記報知状態にし、
    前記非報知条件は注目領域特徴量を判定する条件であり、
    前記医療画像から注目領域を検出する注目領域検出工程と、
    前記注目領域から前記注目領域特徴量を取得する注目領域特徴量取得工程と、
    を備えた医療画像装置の作動方法。
  24. 請求項21から23のいずれか1項に記載の医療画像処理装置の作動方法をコンピュータに実行させるプログラム。
  25. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項24に記載のプログラムをコンピュータに実行させる記録媒体。
JP2020553886A 2018-11-01 2019-10-28 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム Active JP7315576B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018206758 2018-11-01
JP2018206758 2018-11-01
PCT/JP2019/042158 WO2020090729A1 (ja) 2018-11-01 2019-10-28 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置

Publications (2)

Publication Number Publication Date
JPWO2020090729A1 JPWO2020090729A1 (ja) 2021-09-24
JP7315576B2 true JP7315576B2 (ja) 2023-07-26

Family

ID=70463682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020553886A Active JP7315576B2 (ja) 2018-11-01 2019-10-28 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム

Country Status (5)

Country Link
US (1) US20210233648A1 (ja)
EP (1) EP3875021A4 (ja)
JP (1) JP7315576B2 (ja)
CN (1) CN112969403A (ja)
WO (1) WO2020090729A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7462248B2 (ja) 2019-09-03 2024-04-05 パナソニックIpマネジメント株式会社 収穫ロボット

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021149552A1 (ja) * 2020-01-20 2021-07-29 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム
JPWO2022054400A1 (ja) * 2020-09-11 2022-03-17
WO2023100446A1 (ja) * 2021-11-30 2023-06-08 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325761A (ja) 2000-06-30 2002-11-12 Hitachi Medical Corp 画像診断支援装置
WO2011096279A1 (ja) 2010-02-05 2011-08-11 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011255006A (ja) 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
WO2012101888A1 (ja) 2011-01-24 2012-08-02 オリンパスメディカルシステムズ株式会社 医療機器
WO2012176886A1 (ja) 2011-06-24 2012-12-27 株式会社 日立メディコ 磁気共鳴イメージング装置および撮像位置設定支援方法
JP2013162874A (ja) 2012-02-10 2013-08-22 Hoya Corp 電子内視鏡システム
WO2017073337A1 (ja) 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
JP2017086688A (ja) 2015-11-13 2017-05-25 国立大学法人 千葉大学 画像合成装置および方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11104064A (ja) * 1997-10-01 1999-04-20 Olympus Optical Co Ltd 内視鏡の視野変換装置
JP2009086765A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
EP2687146A4 (en) * 2011-05-30 2014-11-05 Olympus Medical Systems Corp DEVICE FOR RECORDING MEDICAL INFORMATION
TW201623295A (zh) * 2014-04-11 2016-07-01 塩野義製藥股份有限公司 具有bace1抑制活性之二氫噻及二氫衍生物
JP2016062488A (ja) * 2014-09-19 2016-04-25 オリンパス株式会社 内視鏡業務支援システム
WO2018142664A1 (ja) * 2017-02-02 2018-08-09 オリンパス株式会社 内視鏡画像観察支援システム
WO2019012586A1 (ja) * 2017-07-10 2019-01-17 オリンパス株式会社 医用画像処理装置及び医用画像処理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325761A (ja) 2000-06-30 2002-11-12 Hitachi Medical Corp 画像診断支援装置
WO2011096279A1 (ja) 2010-02-05 2011-08-11 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011255006A (ja) 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
WO2012101888A1 (ja) 2011-01-24 2012-08-02 オリンパスメディカルシステムズ株式会社 医療機器
WO2012176886A1 (ja) 2011-06-24 2012-12-27 株式会社 日立メディコ 磁気共鳴イメージング装置および撮像位置設定支援方法
JP2013162874A (ja) 2012-02-10 2013-08-22 Hoya Corp 電子内視鏡システム
WO2017073337A1 (ja) 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
JP2017086688A (ja) 2015-11-13 2017-05-25 国立大学法人 千葉大学 画像合成装置および方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7462248B2 (ja) 2019-09-03 2024-04-05 パナソニックIpマネジメント株式会社 収穫ロボット

Also Published As

Publication number Publication date
US20210233648A1 (en) 2021-07-29
CN112969403A (zh) 2021-06-15
EP3875021A4 (en) 2021-10-20
WO2020090729A1 (ja) 2020-05-07
EP3875021A1 (en) 2021-09-08
JPWO2020090729A1 (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
JP7315576B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム
US10653295B2 (en) Image processing apparatus, endoscope system, and image processing method
JP7413585B2 (ja) 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム
US11426054B2 (en) Medical image processing system, endoscope system, diagnosis support apparatus, and medical service support apparatus
US11607109B2 (en) Endoscopic image processing device, endoscopic image processing method, endoscopic image processing program, and endoscope system
JP6640865B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7337073B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP6640866B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US10672123B2 (en) Image processing apparatus, endoscope system, and image processing method
JP7125479B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
US11481944B2 (en) Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
US20210174115A1 (en) Medical image processing apparatus, medical image processing method, program, and endoscope system
JP7280270B2 (ja) 内視鏡システム
US20210174557A1 (en) Medical image processing apparatus, medical image processing method, program, and endoscope system
CN116724334A (zh) 计算机程序、学习模型的生成方法、以及手术辅助装置
US11830185B2 (en) Medical image processing system and learning method
US20240156327A1 (en) Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230713

R150 Certificate of patent or registration of utility model

Ref document number: 7315576

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150