JP7276513B2

JP7276513B2 - 内視鏡検査支援装置、内視鏡検査支援方法、及びプログラム

Info

Publication number: JP7276513B2
Application number: JP2021569688A
Authority: JP
Inventors: 達木村; 憲一上條; 翔太大塚; 公康田光; 郁磨 ▲高▼橋; 元靖奥津
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2020-01-10
Filing date: 2020-01-10
Publication date: 2023-05-18
Anticipated expiration: 2040-01-10
Also published as: EP4088645A4; WO2021140644A1; JPWO2021140644A1; US20220287550A1; EP4088645A1

Description

本発明は、内視鏡検査を支援する内視鏡検査支援装置、内視鏡検査支援方法に関し、更には、これらを実現するためのプログラムに関する。

内視鏡検査システムは、利用者が検査を行う場合、内視鏡により撮像された大量の画像情報を取得し、取得した画像情報それぞれに対して画像解析を実行し、画像情報と画像解析結果とを用いて利用者に生体内部画像とその画像解析結果とを提示する。ところが、内視鏡検査システムでは、検査中にリアルタイムで、生体内部画像とその画像解析結果とを表示装置のディスプレイに表示できるが、大量の画像情報とその画像解析結果とは整理されず煩雑なまま記憶装置に記憶されている。

関連する技術として特許文献１には、医療用画像データを効率よく利用するための医療用画像データ処理システムが開示されている。特許文献１の医療用画像データ処理システムによれば、医療用画像データと医療用画像データの内容を示す管理情報とを記憶することで、医療用画像データを管理している。なお、管理情報とは、例えば、医療用画像データの管理番号、モダリティの種類、撮像日時、患者名、利用者名（医師名又は撮像技師）、撮像部位、撮像条件、参照画像番号などである。

特開２００８－０７９６４８号公報

しかしながら、特許文献１の医療用画像データ処理システムは、大量に取得した画像情報を検査ごとに整理して管理するシステムではない。また、特許文献１の医療用画像データ処理システムは、大量に取得した画像情報それぞれに対して画像解析を行う装置ではない。

さらに、従来の内視鏡検査システムは複数の利用者が続けて利用することが想定されるため、検査期間において取得した大量の生体内部画像とその画像解析結果とを、利用者が効率よく利用できるように、検査ごとに整理することが望まれている。

本発明の目的の一例は、検査期間に取得した大量の生体画像とそれらの画像解析結果とを検査ごとに整理する内視鏡検査支援装置、内視鏡検査支援方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における内視鏡検査支援装置は、
撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成する、解析情報生成手段と、
ユーザインタフェースを用いて、利用者により入力された前記利用者に関連する利用者情報を生成する、利用者情報生成手段と、
前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成する、画像関連情報生成手段と、
検査期間に生成された複数の前記画像関連情報を、検査を表す検査情報に関連付けて検査管理情報を生成する、検査管理情報生成手段と、
を有することを特徴とする。

また、上記目的を達成するため、本発明の一側面における内視鏡検査支援方法は、
撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成し、
利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成し、
前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成し、
複数の前記画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成する
することを特徴とする。

さらに、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成させ、
利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成させ、
前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成させ、
複数の前記画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成させる、
ことを特徴とする。

以上のように本発明によれば、検査期間に取得した大量の生体画像とそれらの画像解析結果とを検査ごとに整理することができる。

図１は、内視鏡検査支援装置の一例を説明するための図である。図２は、内視鏡検査支援装置を有するシステムの一例を説明するための図である。図３は、利用者設定情報生成画面の一例を説明するための図である。図４は、プロファイル選択画面とプロファイル画面の一例を説明するための図である。図５は、画像関連情報のデータ構造の一例を説明するための図である。図６は、検査画面の一例を説明するための図である。図７は、検査管理情報のデータ構造の一例を説明するための図である。図８は、検査結果画面の一例を説明するための図である。図９は、内視鏡検査支援装置の動作一例を説明するための図である。図１０は、内視鏡検査支援装置の動作一例を説明するための図である。図１１は、内視鏡検査支援装置を実現するコンピュータの一例を示す図である。

（実施形態）
以下、本発明の実施形態について、図１から図１１を参照しながら説明する。

［装置構成］
最初に、図１を用いて、本実施形態における内視鏡検査支援装置の構成について説明する。図１は、内視鏡検査支援装置の一例を説明するための図である。

内視鏡検査支援装置１は、検査期間において大量に取得した生体内部画像とその画像解析結果とを整理するための装置である。内視鏡検査支援装置１は、例えば、パーソナルコンピュータ、サーバコンピュータなどの情報処理装置である。内視鏡検査支援装置１は、図１に示すように、解析情報生成部２と、利用者情報生成部３と、画像関連情報生成部４と、検査管理情報生成部５とを有する。

解析情報生成部２は、撮像された生体の画像情報をモデルに入力し、生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、領域の対象部位らしさを表すスコア情報とを有する解析情報を生成する。

画像情報は、例えば、人、動物、植物などの生体の内部及び外部の器官を、内視鏡に搭載された撮像装置により撮像した生体画像を表す情報である。対象部位は、例えば、病変・異常がある領域である。領域情報は、内視鏡により撮像された生体画像に含まれる、対象部位と推定された領域である。スコア情報は、対象部位と推定された領域が病変・異常であると推定される度合（又は確率）を表す指標である。

モデルは、ＡＩ（Artificial Intelligence）、又は、機械学習などにより生成されたモデルである。モデルは、例えば、内視鏡検査支援装置１に設けてもよいし、内視鏡検査支援装置１の外部に設けてもよい。

利用者情報生成部３は、利用者によりユーザインタフェースを用いて入力された利用者に関連する利用者情報を生成する。画像関連情報生成部４は、画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、解析情報と、利用者情報とを関連付けて画像関連情報を生成する。検査管理情報生成部５は、複数の画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成する。

このように、本実施形態においては、画像情報と解析情報と利用者情報とを有する画像関連情報を検査ごとに管理できるので、検査後に、利用者が画像情報及び解析情報を効率よく利用できる。

［システム構成］
続いて、図２を用いて、本実施形態における内視鏡検査支援装置１の構成をより具体的に説明する。図２は、内視鏡検査支援装置を有するシステムの一例を説明するための図である。

図２に示すように、本実施形態における内視鏡検査支援装置１を有するシステム２０は、内視鏡検査支援装置１に加えて、内視鏡２１と、制御部２２と、ユーザインタフェース２３と、出力装置２４とを有する。また、内視鏡検査支援装置１は、解析情報生成部２、利用者情報生成部３、画像関連情報生成部４、検査管理情報生成部５に加えて、利用者設定情報生成部６と、検査画面生成部７と、検査結果画面生成部８とを有する。

内視鏡２１は、生体内部を撮像した生体内部の画像を、内視鏡２１と接続されている制御部２２へ送信する。内視鏡２１は、例えば、生体内部に挿入する挿入部と、挿入部の先端側に設けられているカメラなどの撮像装置と、挿入部の湾曲、撮像部の撮像などを操作する操作部と、内視鏡２１と内視鏡検査支援装置１とを接続する接続部とを有する。また、挿入部の先端側には撮像装置以外にも、照明部、送気、送水、吸引に用いるノズル、鉗子口などを有している。

制御部２２は、入力された画像に対して画像処理などを実行する、例えば、ビデオプロセッサなどである。具体的には、制御部２２は、内視鏡２１から撮像信号を取得して、撮像信号に対して画像調整などを行い、生体内部を撮像した画像を生成して内視鏡検査支援装置１へ出力する。なお、制御部２２は、内視鏡検査支援装置１に設けてもよい。

ユーザインタフェース２３は、利用者が情報を入力する場合に、出力装置２４のディスプレイに表示される入力画面などである。また、利用者は、操作機器を用いて、ユーザインタフェース２３を介して情報を入力する。具体的には、利用者は、ディスプレイに表示された視覚要素（グラフィカルな情報）、キーボード、マウス、タッチパネルなどを用いて情報を入力する。

出力装置２４は、画像及び音声（又は音）などを出力する。なお、出力装置２４は、例えば、液晶、有機ＥＬ（Electro Luminescence）、ＣＲＴ（Cathode Ray Tube）を備えた画像表示装置である。さらに、出力装置２４は、スピーカなどの音声出力装置などを有している。なお、出力装置２４は、プリンタなどの印刷装置でもよい。

内視鏡検査支援装置について具体的に説明をする。
利用者情報生成部３は、利用者によりユーザインタフェース２３を用いて入力された利用者に関係する情報に基づいて利用者情報を生成する。利用者情報は、検査を行う利用者を識別するための識別情報、利用者の性別を表す性別情報、利用者の年齢を表す年齢情報、利用者の役職を表す役職情報、利用者の経験値や経験年数を表す経験情報、利用者の知名度を表す知名度情報、利用者の評価を表す評価情報などが考えられる。ただし、利用者情報は、識別情報と、上述した識別情報以外のいずれか一つ以上の情報を有していればよい。

具体的には、まず、利用者情報生成部３は、出力装置２４のディスプレイに、利用者に関係する情報を入力させるためのユーザインタフェース２３を表示させる。続いて、利用者情報生成部３は、ユーザインタフェース２３を介して入力された利用者に関係する情報に基づいて利用者情報を生成する。続いて、利用者情報生成部３は、利用者情報を記憶装置に記憶する。

利用者設定情報生成部６は、利用者ごとに解析情報の出力設定をするために用いる利用者設定情報（プロファイル）を生成する。利用者設定情報は、検査において、領域の表示をスコア情報に応じて変化させる設定情報、及びスコア情報に応じて音量を変化させる設定情報の少なくとも一方を有する。

具体的には、まず、利用者設定情報生成部６は、出力装置２４のディスプレイにユーザインタフェースとして利用者設定情報生成画面を表示させる。続いて、利用者設定情報生成部６は、利用者設定情報生成画面を用いて、利用者が入力した情報を取得する。続いて、利用者設定情報生成部６は、取得した情報を用いて利用者設定情報を生成し、利用者設定情報を記憶装置に記憶する。利用者設定情報生成画面は、例えば、図３に示すような画面である。

図３は、利用者設定情報生成画面の一例を説明するための図である。図３に示す利用者設定情報生成画面３００には、閾値設定部３０１、検知色設定部３０２、検知音設定部３０３、調整画面３０４が表示されている。

閾値設定部３０１は、スコアを複数の範囲に分けるために用いる閾値を設定する。図３の例では、「HIGH」「MIDDLE」「LOW」の三つのスコア範囲を決定するための、閾値１を設定するための目盛表示３０５、閾値２を設定するための目盛表示３０６を有するコントロールバーが設けられている。図３の例では、コントロールバーの目盛表示３０５、３０６を、利用者が、上下に移動させることで閾値を変更することができる。

目盛表示３０５は、「HIGH」に対応するスコア範囲の下限値、又は「MIDDLE」に対応するスコア範囲の上限値を決定するために用いる。目盛表示３０６は、「MIDDLE」に対応するスコア範囲の下限値、又は「LOW」に対応するスコア範囲の上限値を決定するために用いる。また、図３の閾値１、２には設定されたスコアが表示される。

ただし、スコア範囲は、三つの範囲に限定されるものではない。また、図３の例では、閾値の調整にコントロールバーを用いたが、閾値の調整はコントロールバーに限定されるものでなく、他の入力方法を採用してもよい。

検知色設定部３０２は、検知された対象部位の領域を利用者に分かり易くするために用いる検知範囲表示の色の設定に用いる。検知色設定部３０２は、対象部位の領域が検知された場合に、検知された対象部位の領域に対応するスコアに応じて、検知範囲表示の色を変化させるための設定に用いる。

検知範囲表示は、図３の調整画面３０４では、３０７、３０８、３０９のように表示される。なお、図３では色の違いを模様の違いで表している。

また、図３の例では、「HIGH」「MIDDLE」「LOW」の三つのスコア範囲が設定されているので、HIGH色設定表示３１０、MIDDLE色設定表示３１１、LOW色設定表示３１２を用いて、「HIGH」「MIDDLE」「LOW」の三つのスコア範囲に対応する色を設定する。

HIGH色設定表示３１０の場合、HIGH色設定表示３１０に表示されている三つの色（１から３）の円形表示の中から一つを利用者に選択させることにより、色が設定される。なお、図３では色の違いを模様の違いで表している。MIDDLE色設定表示３１１、LOW色設定表示３１２についても、上述したように色の設定を行う。ただし、色の種類は、三つに限定されるものではない。

検知範囲表示３０７、３０８、３０９は、図３の調整画面３０４では、ドーナツ形状であるが、ドーナツ形状に限定されるものではない。例えば、領域に沿った形状でもよい。すなわち、対象部位の領域が利用者に分かり易くできる表示であればよい。

検知音設定部３０３は、対象部位の領域が検知されたことを利用者に分かり易くするために用いる音量の設定に用いる。検知音設定部３０３は、対象部位の領域が検知された場合に、検知された対象部位の領域に対応するスコアに応じて、音量を変化させるための設定に用いる。

図３の例では、「HIGH」「MIDDLE」「LOW」の三つのスコア範囲が設定されているので、HIGH音設定表示３１３、MIDDLE音設定表示３１４、LOW音設定表示３１５を用いて、「HIGH」「MIDDLE」「LOW」の三つのスコア範囲に対応する音量を設定する。

HIGH音設定表示３１３の場合、HIGHに対応する音声（音）とともに、HIGH音設定表示３１３に表示されている五つの音量表示（１から５）の中から一つを利用者に選択させることにより、音量が設定される。なお、図３では数字が大きいほど音量が大きくなる。MIDDLE音設定表示３１４、LOW音設定表示３１５についても、上述したように音量の設定を行う。ただし、音量の種類は、五つに限定されるものではない。

また、検知音は、スコア範囲によって異なる音声としてもよい。また、検知音は、例えば、音楽、ブザー音、声などの音が考えられる。

調整画面３０４は、上述した閾値設定、検知色設定、検知音設定を行う場合に、利用者が参照する画面である。具体的には、調整画面３０４は、利用者が調整画像を参照し、各設定を変え、利用者が使用し易い設定を選択するために用いる画面である。

解析情報生成部２は、撮像された生体の画像情報を解析して解析情報を生成する。解析情報は、対象部位の領域（対象部位画像）を表す領域情報と、対象部位らしさを表すスコア情報とを有する。

具体的には、まず、解析情報生成部２は、内視鏡２１から出力された撮像信号を用いて制御部２２により生成された画像情報を、制御部２２から取得する。続いて、解析情報生成部２は、画像情報をモデルに入力して、モデルから出力された解析情報（領域情報とスコア情報）を取得する。続いて、解析情報生成部２は、解析情報を画像関連情報生成部４と検査画面生成部７とへ出力する。

画像関連情報生成部４は、検査の開始を表す開始情報を取得すると、画像情報ごとに、撮像日時情報と、解析情報と、利用者情報とを関連付けて画像関連情報を生成する。なお、撮像日時情報、解析情報、利用者情報以外の情報を、画像情報に関連付けてもよい。

図４は、プロファイル選択画面とプロファイル画面の一例を説明するための図である。例えば、検査画面生成部７は、出力装置２４のディスプレイに、ユーザインタフェースとして図４に示すようなプロファイル選択画面４１を表示させる。続いて、使用するプロファイルに対応するアイコンが利用者に選択されると、選択されたアイコンに対応するあらかじめ設定したプロファイルの内容を示すプロファイル画面４２がディスプレイに表示される。

具体的には、図４においてプロファイル選択画面４１のアイコン「user_1」が利用者に選択されると、アイコン「user_1」に対応するあらかじめ設定されたプロファイル画面４２が表示される。続いて、プロファイル画面４２に表示された内容で検査を開始すると利用者が判断すると、利用者により検査開始表示４３が選択され、画像関連情報生成部４へ開始情報が出力される。

なお、プロファイル選択画面４１には、利用者が共有して用いることができるアイコンを表示してもよい。例えば、有名医師のプロファイルに関連付けられているアイコン、患者の人種・性別・年齢に応じて作成されたプロファイルに関連付けられているアイコンなどが考えられる。

続いて、画像関連情報生成部４は、解析情報生成部２が有するモデルに入力された画像情報ごとに、撮像日時情報と、モデルから出力された当該画像情報に対応する解析情報（領域情報及びスコア情報）と、利用者情報とを関連付けて画像関連情報を生成する。画像関連情報は、例えば、図５に示すような情報である。

図５は、画像関連情報のデータ構造の一例を説明するための図である。図５に示した「画像情報」の「image_1」「image_2」「image_3」…は、例えば、画像情報のファイルネームを表す。図５に示した「撮像日時情報」の「2019/11/10/11:20:34:120」「2019/11/10/11:20:34:121」「2019/11/10/11:20:34:122」…は、例えば、画像を撮像した日時（年月日時刻）を表す。図５に示した「解析情報」における「領域情報」の「area_1」「area_2」「Area_3」…は、例えば、画像上の病変及び異常の少なくとも一方の領域を表すための座標である。図５に示した「解析情報」における「スコア情報」の「score_1」「score_2」「score_3」…は、例えば、画像から病変として腫瘍を検知している場合、検知された腫瘍領域が腫瘍領域である度合（又は確率）を表す指標である。

なお、画像関連情報生成部４は、更に、検査において画像を撮像した順番を表す順番情報を画像情報に関連付けて、画像関連情報を生成してもよい。

また、画像関連情報に、利用者が内視鏡を用いて画像をキャプチャしたことを表すキャプチャ情報を関連付けてもよい。このようにすることで、利用者は、キャプチャした画像を、検査後にみることが容易にできる。なお、キャプチャの検出方法としては、例えば、同じ画像（又は、変化が小さい画像）をあらかじめ設定した数検出する方法、又は同じ画像をあらかじめ設定した期間続けて検出する方法、又はスナップショットが生成されたことを検出する方法がある。

さらに、画像関連情報に、検査中に利用者が行った検知範囲表示の色及び音量の調整をしたことを表す調整履歴情報を関連付けてもよい。

検査管理情報生成部５は、検査の終了を表す終了情報を取得すると、検査期間を表す検査情報に、検査期間に生成された複数の画像関連情報を関連付けて検査を管理するための検査管理情報を生成する。

具体的には、まず、検査管理情報生成部５は、検査の終了を表す終了情報を取得する。図６は、検査画面の一例を説明するための図である。例えば、検査画面生成部７は、出力装置２４のディスプレイに、ユーザインタフェースとして図６に示すような検査画面６１を表示させる。

図６の例では、検査画面６１には、生体の画像を表示する画像表示部６２と、画像表示部６２の対象部位の領域を表す検知範囲表示６３とが表示される。また、検査中に検知範囲表示の色を調整するための色調整部６４と、検査中に音量を調整するための音量調整部６５と、検査を終了する場合に利用者に選択させる検査終了表示６６とが表示される。

利用者が検査を終了すると判断すると、利用者により検査終了表示６６が選択され、検査管理情報生成部５へ終了情報が出力される。続いて、検査管理情報生成部５は、現在検査をしている期間を表す検査情報に、検査期間に生成された複数の画像関連情報を関連付けて検査管理情報を生成する。続いて、検査管理情報生成部５は、生成した検査管理情報を記憶装置に記憶する。検査管理情報は、例えば、図７に示すような情報である。

図７は、検査管理情報のデータ構造の一例を説明するための図である。図７に示した「検査情報」の「check_1」は、利用者が行った検査を識別するための情報である。図７の例では、「check_1」の検査において、画像情報として「image_1」から「image_XXXXXX」を取得し、取得した画像情報それぞれに対して関連情報が関連付けられている。

なお、図７においては、すべての画像情報に対して領域情報とスコア情報とが関連付けられているが、対象部位が検出されない場合には、領域情報とスコア情報にデータがないことを表す情報が記憶される。

このようにすることで、画像関連情報を検査ごとに管理できるので、検査後に、利用者が画像情報及び解析情報を効率よく利用できる。

検査画面生成部７は、画像情報と解析情報と利用者設定情報に基づいて、検査画面（画像及び音声など）を出力装置２４に出力するための出力情報を生成する。具体的には、検査画面生成部７は、図６に示したような検査画面６１を、出力装置２４のディスプレイに表示させるための出力情報を生成する。さらに、検査画面生成部７は、出力装置２４のスピーカから出力させるための出力情報を生成する。

なお、利用者が医師で検査中に患者に検査画面をみせて説明するような場合、患者に分かり易い色にするときには、色調整部６４を用いて色を変更する。また、説明をする場合に、音声が必要ないときには、音量調整部６５を用いて音量を最小にする。

検査結果画面生成部８は、記憶装置から検査管理情報を取得して、出力装置２４に画像及び音声などを出力する。図８は、検査結果画面の一例を説明するための図である。検査結果画面生成部８は、例えば、図８に示すような検査結果画面８１を、出力装置２４のディスプレイに表示させるための出力情報を生成する。また、検査結果画面生成部８は、例えば、出力装置２４のスピーカから出力させるための出力情報を生成する。

図８の例では、検査結果画面８１は、画像情報に関連付けられたスコア情報に応じて、画像と解析結果を分類して表示するフィルタ部８２を有する。また、図８の例では、フィルタ部８２において、利用者に「MIDDLE」が選択されている（黒丸）ので、関連情報表示部８３には「MIDDLE」のスコア範囲に含まれるスコアに関連付けられている画像と撮像日時とスコアとが表示されている。なお、「ALL」が選択された場合は、すべての画像を参照することができるようになる。また、図８の例では、検査結果表示部８４には、関連情報表示部８３を用いて、利用者に選択された「01152」に対応する検査結果画像が表示されている。

なお、検査終了後、検査中に行った調整をフィードバックして、プロフィールの設定を自動で変更してもよい。例えば、上述した画像関連情報が有する調整履歴情報に基づいて、プロフィールの設定を変更してもよい。

［装置動作］
次に、本発明の実施形態における内視鏡検査支援装置の動作について図９、図１０を用いて説明する。図９、図１０は、内視鏡検査支援装置の動作一例を説明するための図である。以下の説明においては、適宜図１から図８を参照する。また、本実施形態では、内視鏡検査支援装置を動作させることによって、内視鏡検査支援方法が実施される。よって、本実施形態における内視鏡検査支援方法の説明は、以下の内視鏡検査支援装置の動作説明に代える。

検査前の設定について説明をする。
図９に示すように、最初に、利用者情報生成部３は、ユーザインタフェース２３を用いて利用者により入力された利用者に関連する利用者情報を生成する（ステップＡ１）。

具体的には、ステップＡ１において、まず、利用者情報生成部３は、出力装置２４のディスプレイに、利用者に関係する情報を入力させるためのユーザインタフェース２３を表示させる。続いて、ステップＡ１において、利用者情報生成部３は、ユーザインタフェース２３を介して入力された利用者情報を取得する。続いて、ステップＡ１において、利用者情報生成部３は、利用者情報を記憶装置に記憶する。

次に、利用者設定情報生成部６は、利用者ごとに解析情報の出力設定をするために用いる利用者設定情報（プロファイル）を生成する（ステップＡ２）。

具体的には、ステップＡ２において、まず、利用者設定情報生成部６は、出力装置２４のディスプレイにユーザインタフェースとして利用者設定情報生成画面を表示させる。続いて、ステップＡ２において、利用者設定情報生成部６は、利用者設定情報生成画面を用いて利用者が入力した情報を取得する。続いて、ステップＡ２において、利用者設定情報生成部６は、取得した情報を用いて利用者設定情報を生成して、記憶装置に記憶する。

検査中における動作について説明をする。
図１０に示すように、最初に、画像関連情報生成部４は、検査の開始を表す開始情報を取得する（ステップＢ１）。

具体的には、出力装置２４のディスプレイに表示されたプロファイル選択画面４１のアイコンが利用者に選択されると、選択されたアイコンに対応するプロファイルがプロファイル画面４２に表示される。続いて、プロファイル画面４２に表示された内容で検査を開始すると利用者が判断すると、利用者により検査開始表示４３が選択され、画像関連情報生成部４へ開始情報が出力される。

続いて、画像関連情報生成部４は、画像情報ごとに、撮像日時情報、解析情報、利用者情報などを関連付けて画像関連情報を生成する（ステップＢ２）。

具体的には、ステップＢ２において、画像関連情報生成部４は、解析情報生成部２が有するモデルに入力された画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、モデルから出力された画像情報に対応する解析情報（領域情報及びスコア情報）と、利用者情報とを関連付けて画像関連情報を生成する。画像関連情報は、例えば、図５に示すような情報である。

また、画像関連情報に、利用者が内視鏡を用いて画像をキャプチャしたことを表すキャプチャ情報を関連付けてもよい。このようにすることで、利用者は、キャプチャした画像を後でみることが容易にできる。なお、キャプチャの検出方法としては、例えば、同じ画像（又は、変化が小さい画像）があらかじめ設定した数だけ続いたことを検出する方法、又はあらかじめ設定した期間だけ続いたことを検出する方法、又はスナップショットを撮像したことを検出する方法がある。

続いて、検査画面生成部７は、画像情報と解析情報と利用者設定情報を取得し、取得した画像情報と解析情報と利用者設定情報に基づいて、検査画面（画像及び音声など）を出力装置２４に出力するための出力情報を生成する（ステップＢ３）。

具体的には、ステップＢ３において、検査画面生成部７は、図６に示したような検査画面６１を、出力装置２４のディスプレイに表示させるための出力情報を生成する。さらに、ステップＢ３において、検査画面生成部７は、出力装置２４のスピーカから出力させるための出力情報を生成する。

なお、ステップＢ２とステップＢ３の処理の順番は逆でもよい。

続いて、検査管理情報生成部５は、検査の終了を表す終了情報を取得したか否かを判定する（ステップＢ４）。終了情報を取得した場合（ステップＢ４：Ｙｅｓ）、ステップＢ５の処理に移行する。また、終了情報を取得していない場合（ステップＢ４：Ｎｏ）、ステップＢ２の処理に移行してステップＢ２からＢ３の処理を継続する。

具体的には、ステップＢ４において、利用者が検査を終了すると判断すると、出力装置２４のディスプレイに表示された検査画面６１の検査終了表示６６が利用者により検査終了表示６６が選択され、検査管理情報生成部５へ終了情報が出力される。

続いて、検査管理情報生成部５は、現在検査をしている期間を表す検査情報に、検査期間に生成された複数の画像関連情報を関連付けて検査管理情報を生成する（ステップＢ５）。具体的には、ステップＢ５において、検査管理情報生成部５は、現在検査をしている期間を表す検査情報に、検査期間に生成された複数の画像関連情報を関連付けて検査管理情報を生成する。続いて、ステップＢ５において、検査管理情報生成部５は、生成した検査管理情報を記憶装置に記憶する。

検査終了後において、検査結果を出力装置２４に表示する場合には、検査結果画面生成部８は、記憶装置から検査管理情報を取得して、出力装置２４に画像及び音声などを出力する。具体的には、検査結果画面生成部８は、図８に示すような検査結果画面８１を、出力装置２４のディスプレイに表示させるための出力情報を生成する。また、検査結果画面生成部８は、例えば、出力装置２４のスピーカから出力させるための出力情報を生成する。

［本実施形態の効果］
以上のように本実施形態によれば、画像情報と解析情報と利用者情報とを有する画像関連情報を検査ごとに管理できるので、検査後に、利用者が画像情報及び解析情報を効率よく利用できる。

［プログラム］
本発明の実施形態におけるプログラムは、コンピュータに、図９に示すステップＡ１からＡ２、図１０に示すステップＢ１からＢ５を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における内視鏡検査支援装置と内視鏡検査支援方法とを実現することができる。この場合、コンピュータのプロセッサは、解析情報生成部２、利用者情報生成部３、画像関連情報生成部４、検査管理情報生成部５、利用者設定情報生成部６、検査画面生成部７、検査結果画面生成部８として機能し、処理を行なう。

また、本実施形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、解析情報生成部２、利用者情報生成部３、画像関連情報生成部４、検査管理情報生成部５、利用者設定情報生成部６、検査画面生成部７、検査結果画面生成部８のいずれかとして機能してもよい。

［物理構成］
ここで、実施形態におけるプログラムを実行することによって、内視鏡検査支援装置を実現するコンピュータについて図１１を用いて説明する。図１１は、本発明の実施形態における内視鏡検査支援装置を実現するコンピュータの一例を示すブロック図である。

図１１に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、本実施形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。なお、記録媒体１２０は、不揮発性記録媒体である。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。

なお、本実施形態における内視鏡検査支援装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。さらに、内視鏡検査支援装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

［付記］
以上の実施形態に関し、更に以下の付記を開示する。上述した実施形態の一部又は全部は、以下に記載する（付記１）から（付記１２）により表現することができるが、以下の記載に限定されるものではない。

（付記１）
撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成する、解析情報生成部と、
利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成する、利用者情報生成部と、
前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成する、画像関連情報生成部と、
複数の前記画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成する、検査管理情報生成部と、
を有する内視鏡検査支援装置。

（付記２）
利用者ごとに前記解析情報の出力設定をするために用いる利用者設定情報を生成する、利用者設定情報生成部を有する
付記１に記載の内視鏡検査支援装置。

（付記３）
前記利用者設定情報は、検査において、前記領域の表示を前記スコア情報に応じて変化させる設定情報、及び前記スコア情報に応じて音量を変化させる設定情報の少なくとも一方を有する
付記２に記載の内視鏡検査支援装置。

（付記４）
前記検査管理情報生成部は、前記検査の終了を表す終了情報を取得すると、前記検査管理情報を生成する
付記１から３のいずれか一つに記載の内視鏡検査支援装置。

（付記５）
撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成し、
利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成し、
前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成し、
複数の前記画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成する
内視鏡検査支援方法。

（付記６）
利用者ごとに前記解析情報の出力設定をするために用いる利用者設定情報を生成する
付記５に記載の内視鏡検査支援方法。

（付記７）
前記利用者設定情報は、検査において、前記領域の表示を前記スコア情報に応じて変化させる設定情報、及び前記スコア情報に応じて音量を変化させる設定情報、の少なくとも一方を有する
付記６に記載の内視鏡検査支援方法。

（付記８）
前記検査の終了を表す終了情報を取得すると、前記検査管理情報を生成する
付記５から７のいずれか一つに記載の内視鏡検査支援方法。

（付記９）
コンピュータに、
撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成させ、
利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成させ、
前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成させ、
複数の前記画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成させる、
命令を含むプログラム。

（付記１０）
前記コンピュータに、
利用者ごとに前記解析情報の出力設定をするために用いる利用者設定情報を生成させる
命令を含むプログラム。

（付記１１）
前記利用者設定情報は、検査において、前記領域の表示を前記スコア情報に応じて変化させる設定情報、及び前記スコア情報に応じて音量を変化させる設定情報、の少なくとも一方を有する
付記１０に記載のプログラム。

（付記１２）
前記検査の終了を表す終了情報を取得すると、前記検査管理情報を生成する
付記９から１１のいずれか一つに記載のプログラム。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

以上のように本発明によれば、検査期間に取得した大量の生体内部画像とそれらの画像解析結果とを検査ごとに整理することができる。本発明は、大量の画像の管理が必要な分野において有用である。

１内視鏡検査支援装置
２解析情報生成部
３利用者情報生成部
４画像関連情報生成部
５検査管理情報生成部
６利用者設定情報生成部
７検査画面生成部
８検査結果画面生成部
２０システム
２１内視鏡
２２制御部
２３ユーザインタフェース
２４出力装置
１１０コンピュータ
１１１ＣＰＵ
１１２メインメモリ
１１３記憶装置
１１４入力インターフェイス
１１５表示コントローラ
１１６データリーダ／ライタ
１１７通信インターフェイス
１１８入力機器
１１９ディスプレイ装置
１２０記録媒体
１２１バス

Claims

撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成する、解析情報生成手段と、
利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成する、利用者情報生成手段と、
前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成する、画像関連情報生成手段と、
複数の前記画像関連情報を、検査の期間を表す検査情報に関連付けて検査管理情報を生成する、検査管理情報生成手段と、
を有する内視鏡検査支援装置。
利用者ごとに前記解析情報の出力設定をするために用いる利用者設定情報を生成する、利用者設定情報生成手段を有する
請求項１に記載の内視鏡検査支援装置。
前記利用者設定情報は、前記検査において、前記領域が検知された場合、前記領域に対応する前記スコア情報に応じて、検知された対象部位の領域を利用者に分かり易くするために用いる検知範囲表示の色を変化させる設定情報、及び、前記領域が検知された場合、前記領域に対応する前記スコア情報に応じて音量を変化させる設定情報の少なくとも一方を有する
請求項２に記載の内視鏡検査支援装置。
前記検査管理情報生成手段は、前記検査の終了を表す終了情報を取得すると、前記検査管理情報を生成する
請求項１から３のいずれか一つに記載の内視鏡検査支援装置。
コンピュータが、
撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成する、解析情報生成ステップと、
利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成する、利用者情報生成ステップと、
前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成する、画像関連情報生成ステップと、
複数の前記画像関連情報を、検査の期間を表す検査情報に関連付けて検査管理情報を生成する、検査管理情報生成ステップと、
を実行する内視鏡検査支援方法。
前記コンピュータが、
利用者ごとに前記解析情報の出力設定をするために用いる利用者設定情報を生成する、利用者設定情報生成ステップを実行する
請求項５に記載の内視鏡検査支援方法。
前記利用者設定情報は、前記検査において、前記領域が検知された場合、前記領域に対応する前記スコア情報に応じて、検知された対象部位の領域を利用者に分かり易くするために用いる検知範囲表示の色を変化させる設定情報、及び、前記領域が検知された場合、前記領域に対応する前記スコア情報に応じて音量を変化させる設定情報の少なくとも一方を有する
請求項６に記載の内視鏡検査支援方法。
前記検査管理情報生成ステップは、前記検査の終了を表す終了情報を取得すると、前記検査管理情報を生成する
請求項５から７のいずれか一つに記載の内視鏡検査支援方法。
コンピュータに、
撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成させ、
利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成させ、
前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成させ、
複数の前記画像関連情報を、検査の期間を表す検査情報に関連付けて検査管理情報を生成させる、
命令を含むプログラム。