WO2023166647A1 - 医療支援システムおよび画像表示方法 - Google Patents

Abstract

画像群特定部１０２は、検査で取得された複数の画像から、病変が写っている病変画像を複数含む１つ以上の画像群を特定する。表示制御部１０４は、画像群に含まれる複数の画像を第１表示フレームレートで表示し、画像群に含まれない複数の画像を、第１表示フレームレートより高速となる第２表示フレームレートで表示する。なお表示制御部１０４は、画像群に含まれない複数の画像の一部のみを表示して、残りの画像を非表示としてもよい。

Description

医療支援システムおよび画像表示方法

　本開示は、検査で取得した画像を表示する医療支援システムおよび画像表示方法に関する。

　内視鏡検査において、医師は、表示装置に表示される内視鏡画像を観察し、病変を含む画像が表示されたり、臓器の部位の入口など所定の観察対象となる箇所を含む画像が表示されると、内視鏡のレリーズスイッチを操作して、当該内視鏡画像をキャプチャ（保存）する。検査終了後、医師は、キャプチャした画像をあらためて観察（読影）するため、キャプチャした画像枚数が多いと、画像観察の時間および手間は大きくなる。

　特許文献１は、時系列に沿って撮像された一連の画像を表示する画像表示装置を開示する。特許文献１に開示された画像表示装置は、一連の画像の中から、隣接画像間の複数の画素領域の相関値が所定値以上である画像が連続する連続画像群を検出して、連続画像群の中から１以上の代表画像を特定し、代表画像以外の残りの画像を、代表画像より高速の表示フレームレートで表示する。

特開２００６－２８０７９２号公報

　特許文献１に開示された技術によると、類似度の高い連続画像群の観察時間を短縮できるが、連続画像群に含まれない画像の観察時間の短縮化を実現できない。また連続画像群の画像が病変を含む場合、代表画像以外の残りの病変を含む画像が高速表示フレームレートで表示されるため、好ましくない。

　本開示はこうした状況に鑑みてなされたものであり、その目的は、検査で取得した画像を効率的に表示する技術を提供することにある。

　上記課題を解決するために、本開示のある態様の医療支援システムは、ハードウェアを有するプロセッサを備え、プロセッサは、検査で取得された複数の画像から、病変が写っている病変画像を少なくとも１つ含む１つ以上の画像群を特定し、画像群に含まれる複数の画像を、第１表示フレームレートで表示し、画像群に含まれる複数の画像とは異なる複数の画像を、第１表示フレームレートより高速となる第２表示フレームレートで表示し、または、画像群に含まれる複数の画像とは異なる複数の画像を間引いて表示する。

　本開示の別の態様は、画像表示方法であって、検査で取得された複数の画像から、病変が写っている病変画像を少なくとも１つ含む１つ以上の画像群を特定し、画像群に含まれる複数の画像を第１表示フレームレートで表示し、画像群に含まれる複数の画像とは異なる複数の画像を第１表示フレームレートより高速となる第２表示フレームレートで表示し、または、画像群に含まれる複数の画像とは異なる複数の画像を間引いて表示する。

　なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

実施形態にかかる医療支援システムの構成を示す図である。 サーバ装置の機能ブロックを示す図である。 情報処理装置の機能ブロックを示す図である。 レポート作成画面の一例を示す図である。 内視鏡画像の再生画面の例を示す図である。 検査で取得された複数の内視鏡画像の例を示す図である。 検査で取得された複数の内視鏡画像の別の例を示す図である。

　図１は、実施形態にかかる医療支援システム１の構成を示す。医療支援システム１は、内視鏡検査を行う病院などの医療施設に設けられる。医療支援システム１において、サーバ装置２、画像解析装置３、画像蓄積装置８、内視鏡システム９および端末装置１０ｂは、ＬＡＮ（ローカルエリアネットワーク）などのネットワーク４を経由して、通信可能に接続される。内視鏡システム９は検査室に設けられ、内視鏡観察装置５および端末装置１０ａを有する。医療支援システム１において、サーバ装置２、画像解析装置３および画像蓄積装置８は、医療施設の外部に、たとえばクラウドサーバとして設けられてもよい。

　内視鏡観察装置５は、患者の消化管に挿入される内視鏡７を接続される。内視鏡７は、内視鏡観察装置５から供給される照明光を伝送して、消化管内を照明するためのライトガイドを有し、先端部には、ライトガイドにより伝送される照明光を生体組織へ出射するための照明窓と、生体組織を所定の周期で撮影して撮像信号を内視鏡観察装置５に出力する撮影部が設けられる。撮影部は、入射光を電気信号に変換する固体撮像素子（たとえばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）を含む。

　内視鏡観察装置５は、内視鏡７の固体撮像素子により光電変換された撮像信号に対して画像処理を施して内視鏡画像を生成し、表示装置６にリアルタイムに表示する。内視鏡観察装置５は、Ａ／Ｄ変換、ノイズ除去などの通常の画像処理に加えて、強調表示等を目的とする特別な画像処理を実施する機能を備えてよい。内視鏡７の撮像フレームレートは３０ｆｐｓ以上であることが好ましく、６０ｆｐｓであってよい。内視鏡観察装置５は、内視鏡画像を撮像フレームレートの周期で生成する。内視鏡観察装置５は、専用ハードウェアを有する１つ以上のプロセッサによって構成されてよいが、汎用ハードウェアを有する１つ以上のプロセッサによって構成されてもよい。実施形態の内視鏡７は軟性内視鏡であり、内視鏡用処置具を挿入するための鉗子チャンネルを有する。医師は鉗子チャンネルに生検鉗子を挿入し、挿入した生検鉗子を操作することで、内視鏡検査中に生検を行って、病変組織の一部を採取できる。

　医師は、検査手順にしたがって、表示装置６に表示されている内視鏡画像を観察する。医師は、内視鏡７を動かしながら内視鏡画像を観察し、キャプチャ対象となる生体組織が表示装置６に映し出されると、内視鏡７のレリーズスイッチを操作する。内視鏡観察装置５は、レリーズスイッチが操作されたタイミングで内視鏡画像をキャプチャして、キャプチャした内視鏡画像を、当該内視鏡画像を識別する情報（画像ＩＤ）とともに画像蓄積装置８に送信する。内視鏡観察装置５は、キャプチャした順に、シリアル番号を含む画像ＩＤを内視鏡画像に付与してよい。なお内視鏡観察装置５は、検査終了後に、キャプチャした複数の内視鏡画像をまとめて画像蓄積装置８に送信してもよい。画像蓄積装置８は、内視鏡検査を識別する検査ＩＤに紐付けて、内視鏡観察装置５から送信された内視鏡画像を記録する。

　実施形態において「撮影」は、内視鏡７の固体撮像素子が入射光を電気信号に変換する動作を意味する。なお「撮影」は、変換された電気信号から、内視鏡観察装置５が内視鏡画像を生成するまでの動作を含んでよく、さらには表示装置６に表示するまでの動作を含んでもよい。実施形態において「キャプチャ」は、内視鏡観察装置５が生成した内視鏡画像を取得する動作を意味する。なお「キャプチャ」は、取得した内視鏡画像を保存（記録）する動作を含んでもよい。実施形態では、医師がレリーズスイッチを操作することで、撮影された内視鏡画像がキャプチャされるが、レリーズスイッチの操作に関係なく、撮影された内視鏡画像が自動的にキャプチャされてもよい。

　端末装置１０ａは、情報処理装置１１ａおよび表示装置１２ａを備えて、検査室に設けられる。端末装置１０ａは、医師や看護師等が内視鏡検査中に、撮影されている生体組織に関する情報をリアルタイムに確認するために利用されてよい。

　端末装置１０ｂは、情報処理装置１１ｂおよび表示装置１２ｂを備えて、検査室以外の部屋に設けられる。端末装置１０ｂは、医師が内視鏡検査のレポートを作成する際に利用される。医療施設において端末装置１０ａ、１０ｂは、汎用ハードウェアを有する１つ以上のプロセッサによって構成されてよい。

　実施形態の医療支援システム１において、内視鏡観察装置５は、内視鏡画像を表示装置６からリアルタイムに表示させるとともに、内視鏡画像を、当該画像のメタ情報とともに、画像解析装置３にリアルタイムに供給する。ここでメタ情報は、画像のフレーム番号、撮影時刻情報を少なくとも含み、フレーム番号は、内視鏡７が撮影を開始してから何フレーム目であるかを示す情報であってよい。

　画像解析装置３は内視鏡画像を解析し、内視鏡画像に含まれる病変を検出して、検出した病変を質的診断する電子計算機（コンピュータ）である。画像解析装置３はＡＩ（artificial intelligence）診断機能を有するＣＡＤ（computer-aided diagnosis）システムであってよい。画像解析装置３は専用ハードウェアを有する１つ以上のプロセッサによって構成されてよいが、汎用ハードウェアを有する１つ以上のプロセッサによって構成されてもよい。

　画像解析装置３は、学習用の内視鏡画像と、内視鏡画像に含まれる臓器および部位を示す情報、および内視鏡画像に含まれる病変領域に関する情報とを教師データとして用いた機械学習により生成された学習済みモデルを利用する。内視鏡画像のアノテーション作業は、医師などの専門知識を有するアノテータにより実施され、機械学習には、ディープラーニングの一種であるＣＮＮ、ＲＮＮ、ＬＳＴＭなどを使用してよい。この学習済みモデルは、内視鏡画像を入力すると、撮影された臓器を示す情報、撮影された部位を示す情報と、撮影された病変に関する情報（病変情報）とを出力する。画像解析装置３が出力する病変情報は、内視鏡画像に病変が含まれている（病変が写っている）か否かを示す病変有無情報を少なくとも含む。病変が含まれている場合、病変情報は、病変のサイズを示す情報、病変の輪郭の位置を示す情報、病変の形状を示す情報、病変の深達度を示す情報および病変の質的診断結果を含んでよい。病変の質的診断結果は、病変の種類を含んでよく、出血も含む。内視鏡検査中、画像解析装置３は、内視鏡観察装置５から内視鏡画像をリアルタイムに提供されて、内視鏡画像ごとに、臓器を示す情報、部位を示す情報および病変情報を出力する。以下、内視鏡画像ごとに出力される、臓器を示す情報、部位を示す情報および病変情報を、まとめて「画像解析情報」と呼ぶ。なお画像解析装置３は、内視鏡画像の画素値を平均化した色情報（平均化した色値）を生成して、色情報が画像解析情報に含まれてもよい。

　ユーザがレリーズスイッチを操作（キャプチャ操作）すると、内視鏡観察装置５は、キャプチャ操作したことを示す情報（キャプチャ操作情報）とともに、キャプチャした内視鏡画像のフレーム番号、撮影時刻および画像ＩＤを画像解析装置３に提供する。画像解析装置３はキャプチャ操作情報を取得すると、検査ＩＤとともに、画像ＩＤ、フレーム番号、撮影時刻情報および提供されたフレーム番号の画像解析情報を、サーバ装置２に提供する。ここで、画像ＩＤ、フレーム番号、撮影時刻情報および画像解析情報は、内視鏡画像の特徴や性質を表現する「付加情報」を構成する。画像解析装置３はキャプチャ操作情報を取得すると、検査ＩＤとともに付加情報をサーバ装置２に送信し、サーバ装置２は、検査ＩＤに紐付けて、付加情報を記録する。

　ユーザは内視鏡検査を終了すると、内視鏡観察装置５の検査終了ボタンを操作する。検査終了ボタンの操作情報は、サーバ装置２および画像解析装置３に供給されて、サーバ装置２および画像解析装置３は、当該内視鏡検査の終了を認識する。

　図２は、サーバ装置２の機能ブロックを示す。サーバ装置２は、通信部２０、処理部３０および記憶装置６０を備える。通信部２０は、ネットワーク４を経由して、画像解析装置３、内視鏡観察装置５、画像蓄積装置８、端末装置１０ａおよび端末装置１０ｂとの間でデータや指示などの情報を送受信する。処理部３０は、オーダ情報取得部４０および付加情報取得部４２を有する。記憶装置６０は、オーダ情報記憶部６２および付加情報記憶部６４を有する。

　サーバ装置２はコンピュータを備え、コンピュータがプログラムを実行することによって、図２に示す各種機能が実現される。コンピュータは、プログラムをロードするメモリ、ロードされたプログラムを実行する１つ以上のプロセッサ、補助記憶装置、その他のＬＳＩなどをハードウェアとして備える。プロセッサは、半導体集積回路やＬＳＩを含む複数の電子回路により構成され、複数の電子回路は、１つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図２に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

　オーダ情報取得部４０は、病院情報システムから内視鏡検査のオーダ情報を取得する。たとえばオーダ情報取得部４０は、医療施設における１日の検査業務開始前に、当日分のオーダ情報を病院情報システムから取得して、オーダ情報記憶部６２に記憶する。検査開始前、内視鏡観察装置５または情報処理装置１１ａは、オーダ情報記憶部６２から、これから実施する検査のオーダ情報を読み出して、表示装置に表示してよい。

　付加情報取得部４２は、画像解析装置３から、検査ＩＤおよび内視鏡画像の付加情報を取得し、検査ＩＤに紐付けて付加情報を付加情報記憶部６４に記憶する。内視鏡画像の付加情報は、画像ＩＤ、フレーム番号、撮影時刻情報および画像解析情報を含む。

　図３は、情報処理装置１１ｂの機能ブロックを示す。情報処理装置１１ｂは、検査のレポート作成業務を支援する機能を有し、通信部７６、入力部７８、処理部８０および記憶装置１２０を備える。通信部７６は、ネットワーク４を経由して、サーバ装置２、画像解析装置３、内視鏡観察装置５、画像蓄積装置８および端末装置１０ａとの間でデータや指示などの情報を送受信する。処理部８０は、操作受付部８２、取得部８４、表示画面生成部１００、画像群特定部１０２、表示制御部１０４および登録処理部１０６を備え、取得部８４は、画像取得部８６および付加情報取得部８８を有する。記憶装置１２０は、画像記憶部１２２および付加情報記憶部１２４を有する。

　情報処理装置１１ｂはコンピュータを備え、コンピュータがプログラムを実行することによって、図３に示す各種機能が実現される。コンピュータは、プログラムをロードするメモリ、ロードされたプログラムを実行する１つ以上のプロセッサ、補助記憶装置、その他のＬＳＩなどをハードウェアとして備える。プロセッサは、半導体集積回路やＬＳＩを含む複数の電子回路により構成され、複数の電子回路は、１つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図３に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

　内視鏡検査の終了後、医師であるユーザは情報処理装置１１ｂにユーザＩＤおよびパスワードを入力して、ログインする。ユーザがログインすると、検査レポートを作成するためのアプリケーションが起動して、表示装置１２ｂには、実施済み検査の一覧が表示される。この実施済み検査一覧には、患者名、患者ＩＤ、検査日時、検査項目などの検査情報がリスト表示され、ユーザは、マウスやキーボードなどの入力部７８を操作して、レポート作成の対象となる検査を選択する。操作受付部８２が、検査の選択操作を受け付けると、画像取得部８６が、画像蓄積装置８から、ユーザが選択した検査の検査ＩＤに紐付けられている複数の内視鏡画像を取得して画像記憶部１２２に記憶し、付加情報取得部８８が、サーバ装置２から、ユーザが選択した検査の検査ＩＤに紐付けられている付加情報を取得して付加情報記憶部１２４に記憶する。表示画面生成部１００は、レポート作成画面を生成して、表示装置１２ｂに表示する。

　図４は、検査結果を入力するためのレポート作成画面の一例を示す。レポート作成画面は、レポートタブ５４ｂが選択された状態で、表示装置１２ｂに表示される。画面上段には、患者氏名、患者ＩＤ、生年月日、検査項目、検査日、実施医の情報が表示される。これらの情報は検査オーダ情報に含まれており、サーバ装置２から取得されてよい。

　レポート作成画面は、２つの領域で構成され、左側の領域に、添付する内視鏡画像を表示する添付画像表示領域５６が、右側の領域に、ユーザが検査結果を入力するための入力領域５８が配置される。入力領域５８には、上部内視鏡検査における観察範囲である「食道」、「胃」、「十二指腸」の診断内容を入力するための領域が設けられる。入力領域５８は、検査結果の複数の選択肢を表示して、ユーザがチェックボックスを選択することで診断内容を入力するフォーマットを有してよいが、自由にテキスト入力するフリーフォーマットを有してもよい。

　添付画像表示領域５６は、レポートに添付する内視鏡画像を並べて表示するための領域である。ユーザは、レポートに添付する内視鏡画像を、内視鏡画像の一覧画面または再生画面から選択する。ユーザが記録画像タブ５４ａを選択すると、表示画面生成部１００は、検査でキャプチャした複数の内視鏡画像を並べた一覧画面を生成して表示装置１２ｂに表示する。ユーザが連続表示タブ５４ｃを選択すると、表示画面生成部１００は、検査で取得した複数の内視鏡画像を撮影順に連続表示するための再生画面を生成して、表示装置１２ｂに表示する。

　図５は、内視鏡画像の再生画面５０の例を示す。再生画面中央上部には、複数の内視鏡画像を切り替えて連続して表示するための再生領域２００が設けられる。再生ボタン表示領域２０２には再生ボタン２０２ａと逆再生ボタン２０２ｂとが表示され、再生ボタン２０２ａが選択されると、再生領域２００において内視鏡画像が順方向（撮影時刻の古い画像から新しい画像に向かう方向）に連続表示され、逆再生ボタン２０２ｂが選択されると、再生領域２００において内視鏡画像が逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に連続表示される。

　再生ボタン２０２ａまたは逆再生ボタン２０２ｂが選択されると、表示制御部１０４は、再生領域２００に複数の内視鏡画像を切り替えながら順番に表示する。このとき、選択された再生ボタン２０２ａまたは逆再生ボタン２０２ｂの場所には、代わりに一時停止ボタンが表示される。内視鏡画像の連続表示中に、ユーザが一時停止ボタンを操作すると、表示制御部１０４は、内視鏡画像の連続表示を一時停止して、一時停止ボタン操作時に表示されていた内視鏡画像を静止画表示する。

　ユーザは、再生領域２００に表示された画像にマウスポインタを合わせてマウスの左ボタンをダブルクリックすると、その画像が添付画像として選択されて、添付画像表示領域２１０に表示される。この例では、３枚の添付画像２１０ａ～２１０ｃが選択されている様子が示される。

　表示画面生成部１００は、一端を撮影開始時刻、他端を撮影終了時刻とする横長のバー表示領域２０４を、再生領域２００の下方に表示する。実施例のバー表示領域２０４は、左端を撮影開始時刻、右端を撮影終了時刻とする時間軸を表現する。なおバー表示領域２０４は、左端に撮影時刻が最も古い画像、右端に撮影時刻が最も新しい画像を割り当てて、画像の撮影順序を表現してもよい。スライダ２０８は、再生領域２００に表示されている内視鏡画像の時間的な位置を示す。ユーザがバー表示領域２０４の任意の箇所にマウスポインタをあててマウスの左ボタンをクリックすると、その時間位置における内視鏡画像が再生領域２００に表示される。またユーザがスライダ２０８をドラッグしてバー表示領域２０４内の任意の位置でドロップしても、その時間位置における内視鏡画像が再生領域２００に表示される。

　表示制御部１０４は、バー表示領域２０４に、撮影した内視鏡画像の色情報の時間的な変化を示す帯状の色バー２０６を表示する。ここで色バー２０６は、検査で取得された複数の内視鏡画像の色情報を時系列に並べて構成される。

　実施形態の医療支援システム１では、検査において多数の内視鏡画像がキャプチャされている状況を想定する。たとえば内視鏡７に連続キャプチャ（連写）機能が搭載される場合、医師がレリーズスイッチを押している間、画像取得が連続して行われるため、検査において取得される画像枚数は多くなる。たとえば１回の検査で数百枚の画像がキャプチャされていると、検査レポートの作成時に、医師が画像を観察する時間と手間は非常に大きくなる。そこで実施形態の医療支援システム１は、医師による画像観察の負荷を軽減するために、検査で取得した画像を効率的に表示する技術を提供する。

　画像群特定部１０２は、検査で取得された複数の内視鏡画像から、病変が写っている画像（以下、「病変画像」とも呼ぶ）を少なくとも１つ含む１つ以上の画像群を特定する機能を有する。画像群は、複数の病変画像を含んでよい。画像群特定部１０２は、付加情報記憶部１２４に記憶された付加情報を参照して、病変画像を特定し、少なくとも２つの病変画像を含む時間的に連続した複数の画像を１つの画像群として特定する。

　図６は、検査で取得された複数の内視鏡画像の一部を抜き出した例を示す。八角形は内視鏡画像を模式的に示し、撮影時刻の古い順に左から並べている。この例では、画像(m)の撮影時刻が一番古く、画像(m+22)の撮影時刻が一番新しい。いくつかの画像の上に表示されるチェックマークは、病変を含んでいること（病変が写っていること）を示し、図６に示す例では画像(m+2),(m+3),(m+4),(m+5),(m+6),(m+7),(m+14),(m+15),(m+16),(m+17),(m+18),(m+19),(m+20)が、病変画像である。これら以外の画像には、病変が写っていない。

　画像群特定部１０２は、複数の病変画像が時間的に連続する場合に、連続する病変画像を、１つの画像群として特定する。この例で画像群特定部１０２は、画像(m+2)から画像(m+7)までの６個の時間的に連続した画像を１つの画像群として特定し、画像(m+14)から画像(m+20)までの７個の時間的に連続した画像を１つの画像群として特定する。

　なお画像群特定部１０２は、別の条件によって、少なくとも２つの病変画像を含む複数の時間的に連続した画像を、１つの画像群として特定してもよい。
　図７は、検査で取得された複数の内視鏡画像の一部を抜き出した別の例を示す。八角形は内視鏡画像を模式的に示し、撮影時刻の古い順に左から並べている。この例では、画像(n)の撮影時刻が一番古く、画像(n+22)の撮影時刻が一番新しい。いくつかの画像の上に表示されるチェックマークは、病変を含んでいること（病変が写っていること）を示し、図７に示す例では画像(n),(n+1),(n+9),(n+10),(n+12),(n+13),(n+15),(n+21),(n+22)が、病変画像である。これら以外の画像には、病変が写っていない。

　画像群特定部１０２は、２つの病変画像を撮影した位置の間の距離にもとづいて、複数の病変画像を含む画像群を特定してよい。なお病変画像を撮影した位置とは、当該病変画像を撮影したときの内視鏡７の先端位置であってよく、または病変の位置であってもよい。病変画像を撮影した位置は、画像解析情報に含まれる部位情報から特定されてよく、または別の従来の技術により特定されてもよい。画像群特定部１０２は、２つの病変画像の撮影位置の間の距離が所定の閾値Ｄthを超えていれば、当該２つの病変画像を１つの画像群には含めず、一方で、２つの病変画像の撮影位置の間の距離が所定の閾値Ｄth以内であれば、当該２つの病変画像を１つの画像群に含める。

　図７に示す例で、画像群特定部１０２は、画像(n+1)の撮影位置と、画像(n+1)の次の病変画像である画像(n+9)の撮影位置の間の距離を調査し、２つの撮影位置の間の距離がＤthを超えていたため、画像(n+1)と画像(n+9)を、１つの画像群にまとめられないことを判定する。

　続いて画像群特定部１０２は、画像(n+9)の撮影位置と、画像(n+9)の次の病変画像である画像(n+10)の撮影位置の間の距離を調査し、２つの撮影位置の間の距離がＤth以内であったため、画像(n+9)と画像(n+10)を、１つの画像群にまとめられることを判定する。次に画像群特定部１０２は、画像(n+9)の撮影位置と、画像(n+10)の次の病変画像である画像(n+12)の撮影位置の間の距離を調査し、２つの撮影位置の間の距離がＤth以内であったため、画像(n+9)と画像(n+12)を、１つの画像群にまとめられることを判定する。同じく画像群特定部１０２は、画像(n+9)の撮影位置と、画像(n+13)および画像(n+15)の撮影位置の間の距離についても調査し、いずれも２つの撮影位置の間の距離がＤth以内であったため、画像(n+9)と画像(n+13)および画像(n+15)を、１つの画像群にまとめられることを判定する。

　さらに画像群特定部１０２は、画像(n+9)の撮影位置と、画像(n+21)の撮影位置の間の距離を調査すると、２つの撮影位置の間の距離がＤthを超えていたため、画像(n+9)と画像(n+21)を、１つの画像群にまとめられないことを判定する。以上の判定結果から、画像群特定部１０２は、画像(n+9)から画像(n+15)までの７個の時間的に連続した画像を１つの画像群として特定する。このように画像群特定部１０２は、２つの病変画像の撮影位置間の距離にもとづいて、複数の病変画像を含む画像群を特定してもよい。

　なお画像群特定部１０２は、２つの病変画像を撮影した時刻の間隔にもとづいて、複数の病変画像を含む画像群を特定してよい。画像群特定部１０２は、付加情報記憶部１２４に記憶された付加情報を参照して病変画像の撮影時刻を特定し、撮影時刻の間隔にもとづいて、少なくとも２つの病変画像を含む時間的に連続した複数の画像を１つの画像群として特定する。画像群特定部１０２は、２つの病変画像の撮影時刻の間隔が所定の閾値Ｔthを超えていれば、当該２つの病変画像を１つの画像群には含めず、一方で、２つの病変画像の撮影時刻の間隔が所定の閾値Ｔth以内であれば、当該２つの病変画像を１つの画像群に含める。

　図７に示す例で、画像群特定部１０２は、画像(n+1)の撮影時刻と、画像(n+1)の次の病変画像である画像(n+9)の撮影時刻の間隔を調査し、２つの撮影時刻の間隔がＴthを超えていたため、画像(n+1)と画像(n+9)を、１つの画像群にまとめられないことを判定する。

　続いて画像群特定部１０２は、画像(n+9)の撮影時刻と、画像(n+9)の次の病変画像である画像(n+10)の撮影時刻の間隔を調査し、２つの撮影時刻の間隔がＴth以内であったため、画像(n+9)と画像(n+10)を、１つの画像群にまとめられることを判定する。次に画像群特定部１０２は、画像(n+9)の撮影時刻と、画像(n+10)の次の病変画像である画像(n+12)の撮影時刻の間隔を調査し、２つの撮影時刻の間隔がＴth以内であったため、画像(n+9)と画像(n+12)を、１つの画像群にまとめられることを判定する。同じく画像群特定部１０２は、画像(n+9)の撮影時刻と、画像(n+13)および画像(n+15)の撮影時刻の間隔についても調査し、いずれも２つの撮影時刻の間隔がＴth以内であったため、画像(n+9)と画像(n+13)および画像(n+15)を、１つの画像群にまとめられることを判定する。

　さらに画像群特定部１０２は、画像(n+9)の撮影時刻と、画像(n+21)の撮影時刻の間隔を調査すると、２つの撮影時刻の間隔がＴthを超えていたため、画像(n+9)と画像(n+21)を、１つの画像群にまとめられないことを判定する。以上の判定結果から、画像群特定部１０２は、画像(n+9)から画像(n+15)までの７個の時間的に連続した画像を１つの画像群として特定する。このように画像群特定部１０２は、２つの病変画像の撮影時刻の間隔にもとづいて、複数の病変画像を含む画像群を特定してもよい。

　また画像群特定部１０２は、２つの病変画像の撮影の間に撮影された別の画像の枚数にもとづいて、複数の病変画像を含む画像群を特定してよい。画像群特定部１０２は、２つの病変画像の間に含まれる画像（病変画像ではない画像）の枚数が所定の閾値Ｎthを超えていれば、当該２つの病変画像を１つの画像群には含めず、一方で、２つの病変画像の間に含まれる画像（病変画像ではない画像）の枚数が所定の閾値Ｎth以内であれば、当該２つの病変画像を１つの画像群に含める。

　たとえば閾値Ｎthが４枚に設定されている場合、画像(n+1)と画像(n+9)の間には、７枚の画像が含まれているため、画像群特定部１０２は、画像(n+1)と画像(n+9)を、１つの画像群にまとめられないことを判定する。また画像(n+15)と画像(n+21)の間には、５枚の画像が含まれているため、画像群特定部１０２は、画像(n+15)と画像(n+21)を、１つの画像群にまとめられないことを判定する。一方、画像(n+9),(n+10),(n+12),(n+13),(n+15)のうちの隣接する病変画像間には、４枚を超える画像（病変画像ではない画像）が含まれていない。そこで画像群特定部１０２は、画像(n+9)から画像(n+15)までの７個の時間的に連続した画像を１つの画像群として特定する。

　実施形態の表示制御部１０４は、以上のように特定された画像群をもとに、再生領域２００における画像の表示速度（表示フレームレート）を制御する。具体的に表示制御部１０４は、画像群に含まれる複数の画像を、第１表示フレームレートで表示し、画像群に含まれる複数の画像とは異なる複数の画像（つまり、画像群に含まれない複数の画像）を、第１表示フレームレートより高速となる第２表示フレームレートで表示する。つまり表示制御部１０４は、病変画像を含む画像群を、相対的に遅い第１表示フレームレートで表示し、画像群に含まれない画像を、相対的に速い第２表示フレームレートで表示する。表示制御部１０４が、このように表示フレームレートを制御することで、医師は、注目するべき病変画像を慎重に観察でき、一方で、病変が写っていない画像を効率よく観察できるようになる。たとえば第２表示フレームレートは、第１表示フレームレートの２倍以上であってもよい。

　上記したように、画像群には、病変画像だけでなく、病変が写っていない画像（非病変画像）が含まれてもよい。画像群に含まれる病変画像と非病変画像とを同じ第１表示フレームレートで表示することで、表示画像の連続性が維持されて、画像群の連続表示の視認性を向上できる。

　なお表示制御部１０４は、画像群に含まれない複数の画像の一部のみを表示し、それ以外の画像を非表示としてもよい。つまり表示制御部１０４は、画像群に含まれない複数の画像を間引いて表示してもよい。間引き表示するとき、表示制御部１０４は、画像群と同じ第１表示フレームレートで非病変画像を表示して、表示画像の連続性を維持してよいが、第２表示フレームレートで非病変画像を表示してもよい。

　なお表示制御部１０４が、非表示とする画像を特定すると、登録処理部１０６が、表示対象から除外された当該画像を、画像記憶部１２２から削除してもよい。なお表示対象から除外された画像は、画像蓄積装置８から削除されてもよい。これにより画像記憶部１２２または画像蓄積装置８の記憶領域の利用効率を向上できる。

　なお画像群特定部１０２が画像群を特定すると、登録処理部１０６が、画像群に含まれない全ての画像を画像記憶部１２２から削除して、画像群に含まれる画像のみを画像記憶部１２２に保存するようにしてもよい。画像群に含まれない全ての画像は、画像蓄積装置８から削除されてもよい。

　レポート作成業務において、ユーザは、レポートに添付する画像を選択し、レポート作成画面における入力領域５８に検査結果を入力して、レポートを作成する。ユーザが、登録ボタン（図４参照）を操作すると、登録処理部１０６は、レポート作成画面に入力した内容をサーバ装置２に登録して、レポート作成業務が終了する。

　以上、本開示を実施形態をもとに説明した。実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。実施形態では、内視鏡観察装置５がユーザキャプチャ画像を画像蓄積装置８に送信しているが、変形例では、画像解析装置３がユーザキャプチャ画像を画像蓄積装置８に送信してもよい。また実施形態では情報処理装置１１ｂが処理部８０を有しているが、変形例ではサーバ装置２が処理部８０を有してもよい。

　実施形態では、画像解析装置３が学習済みモデルを利用して、画像に病変が含まれる（病変が写っている）か否かを検出する。画像解析装置３は、画像における所定の領域の彩度、色相、形状、大きさの少なくとも１つを示す特徴量にもとづいて、画像に病変が含まれるか否かを決定してもよい。このとき画像解析装置３は学習済みモデルを利用することなく、画像解析により病変の有無を決定してよい。

　画像群特定部１０２は、所定の撮影期間内に撮影された複数の画像を含む画像群を特定してよい。また画像群特定部１０２は、所定の臓器または部位を撮影した複数の画像を含む画像群を特定してよい。たとえば医師が、特定の部位を撮影した画像を慎重に観察したい場合には、画像群特定部１０２が、当該特定の部位を撮影した期間に撮影された複数の画像を含む画像群を特定し、表示制御部１０４が、当該部位を撮影した複数の画像を、第１表示フレームレートで連続表示してよい。

　なお実施形態では、医師が患者の消化管に挿入する内視鏡７を用いて取得した複数の画像を効率的に表示する手法について説明した。本手法は、撮影フレームレートが２ｆｐｓより大きいカプセル内視鏡により取得された複数の画像を表示するときに適用することが可能である。たとえば撮影フレームレートが８ｆｐｓとした場合、約８時間かけて体内を撮影したとすると、約２３万枚の体内画像が取得される。カプセル内視鏡検査においては、取得される画像枚数が膨大であるため、本手法を効果的に適用できる。

　本開示は、検査で取得された画像を表示する技術分野に利用できる。

１・・・医療支援システム、２・・・サーバ装置、３・・・画像解析装置、４・・・ネットワーク、５・・・内視鏡観察装置、６・・・表示装置、７・・・内視鏡、８・・・画像蓄積装置、９・・・内視鏡システム、１０ａ，１０ｂ・・・端末装置、１１ａ，１１ｂ・・・情報処理装置、１２ａ，１２ｂ・・・表示装置、２０・・・通信部、３０・・・処理部、４０・・・オーダ情報取得部、４２・・・付加情報取得部、６０・・・記憶装置、６２・・・オーダ情報記憶部、６４・・・付加情報記憶部、７６・・・通信部、７８・・・入力部、８０・・・処理部、８２・・・操作受付部、８４・・・取得部、８６・・・画像取得部、８８・・・付加情報取得部、１００・・・表示画面生成部、１０２・・・画像群特定部、１０４・・・表示制御部、１０６・・・登録処理部、１２０・・・記憶装置、１２２・・・画像記憶部、１２４・・・付加情報記憶部。

Claims (9)

1. 　ハードウェアを有するプロセッサを備え、
   　前記プロセッサは、
   　検査で取得された複数の画像から、病変が写っている病変画像を少なくとも１つ含む１つ以上の画像群を特定し、
   　前記画像群に含まれる前記複数の画像を、第１表示フレームレートで表示し、
   　前記画像群に含まれる前記複数の画像とは異なる前記複数の画像を、第１表示フレームレートより高速となる第２表示フレームレートで表示、または、前記画像群に含まれる前記複数の画像とは異なる前記複数の画像を間引いて表示する、
   　ことを特徴とする医療支援システム。
2. 　前記プロセッサは、
   　２つの前記病変画像を撮影した位置間の距離、２つの前記病変画像を撮影した時刻の間隔、または２つの前記病変画像の撮影の間に撮影された別の画像の枚数の少なくとも１つにもとづいて、複数の前記病変画像を含む前記画像群を特定する、
   　ことを特徴とする請求項１に記載の医療支援システム。
3. 　前記画像における所定の領域の彩度、色相、形状、大きさの少なくとも１つを示す特徴量にもとづいて、前記画像に病変が写っているか否かが決定される、
   　ことを特徴とする請求項１に記載の医療支援システム。
4. 　前記プロセッサは、
   　所定の撮影期間内に撮影された複数の画像を含む前記画像群を特定する、
   　ことを特徴とする請求項１に記載の医療支援システム。
5. 　検査で取得された複数の前記画像を記憶する記憶部を有し、
   　前記プロセッサは、
   　特定した前記画像群に含まれる前記画像のみを、前記記憶部に保存する、
   　ことを特徴とする請求項１に記載の医療支援システム。
6. 　検査で取得された複数の前記画像は、撮影フレームレートが２ｆｐｓより大きいカプセル内視鏡により撮影された画像である、
   　ことを特徴とする請求項１に記載の医療支援システム。
7. 　検査で取得された複数の前記画像は、撮影フレームレートが３０ｆｐｓ以上の内視鏡により撮影された画像である、
   　ことを特徴とする請求項１に記載の医療支援システム。
8. 　画像表示方法であって、
   　検査で取得された複数の画像から、病変が写っている病変画像を少なくとも１つ含む１つ以上の画像群を特定し、
   　前記画像群に含まれる前記複数の画像を、第１表示フレームレートで表示し、
   　前記画像群に含まれる前記複数の画像とは異なる前記複数の画像を、第１表示フレームレートより高速となる第２表示フレームレートで表示、または、前記画像群に含まれる前記複数の画像とは異なる前記複数の画像を間引いて表示する、
   　ことを特徴とする画像表示方法。
9. 　コンピュータに、
   　検査で取得された複数の画像から、病変が写っている病変画像を少なくとも１つ含む１つ以上の画像群を特定する機能と、
   　前記画像群に含まれる前記複数の画像を、第１表示フレームレートで表示する機能と、
   　前記画像群に含まれる前記複数の画像とは異なる前記複数の画像を、第１表示フレームレートより高速となる第２表示フレームレートで表示、または、前記画像群に含まれる前記複数の画像とは異なる前記複数の画像を間引いて表示する機能と、を実現させるためのプログラムを記録した記録媒体。

Images