JP2024025182A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】観察の妨げにならず且つ注目領域を把握可能にすること。【解決手段】情報処理装置は、画像取得部と、注目領域取得部と、生成部と、表示制御部とを備える。前記画像取得部は、病理検体が撮影された第１の検体画像を取得する。前記注目領域取得部は、前記第１の検体画像に含まれる注目領域を取得する。前記生成部は、前記注目領域を示す図形であって、前記注目領域との共通部分を持たない図形である範囲図形を生成する。前記表示制御部は、当該注目領域を示す前記範囲図形を前記第１の検体画像に重畳して表示する。【選択図】図１

Description

本明細書及び図面に開示の実施形態は、情報処理装置、情報処理方法、およびプログラムに関する。

従来、病理分野において、診断等のために、検体や組織標本を撮影した撮影画像を観察するための画像ビューアが存在する。

画像ビューアは、病巣の場所等の注目領域の位置をわかりやすくする等の目的のために、撮影画像上の注目領域に対してアノテーション等の付加情報を重畳して表示する機能を有する。

しかしながら、付加情報は、撮影画像における注目領域の観察を妨げてしまう。

特開２０２１－０６５２９３号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、観察の妨げにならず且つ注目領域を把握可能にすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態に係る情報処理装置は、画像取得部と、注目領域取得部と、生成部と、表示制御部とを備える。前記画像取得部は、病理検体が撮影された第１の検体画像を取得する。前記注目領域取得部は、前記第１の検体画像に含まれる注目領域を取得する。前記生成部は、前記注目領域を示す図形であって、前記注目領域との共通部分を持たない図形である範囲図形を生成する。前記表示制御部は、当該注目領域を示す前記範囲図形を前記第１の検体画像に重畳して表示する。

図１は、第１の実施形態に係る病理情報処理システムの構成の一例を示す図である。 図２は、付加情報を重畳した検体画像の一例を示す図である。 図３は、範囲図形を重畳した検体画像の一例を示す図である。 図４は、第１の実施形態に係る情報処理装置が実行する表示処理の一例を示すフローチャートである。 図５は、第２の実施形態に係る病理情報処理システムの構成の一例を示す図である。 図６は、付加情報が重畳された検体画像と、範囲図形が重畳された検体画像とを並べた対比画像の一例を示す図である。 図７は、第２の実施形態に係る情報処理装置が実行する表示処理の一例を示すフローチャートである。 図８は、第２の実施形態に係る情報処理装置が実行する観察処理の一例を示すフローチャートである。 図９は、第３の実施形態に係る病理情報処理システムの構成の一例を示す図である。 図１０は、第３の実施形態に係る情報処理装置が実行する表示処理の一例を示すフローチャートである。 図１１は、付加情報を重畳した検体画像の一例を示す図である。 図１２は、範囲図形を重畳した検体画像の一例を示す図である。

以下、図面を参照しながら、本実施形態に関する情報処理装置、情報処理方法、およびプログラムについて説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。

（第１の実施形態）
図１は、第１の実施形態に係る病理情報処理システム１の構成の一例を示す図である。図１に示すように、病理情報処理システム１は、第１の撮影装置１０と、情報処理装置２０とを備える。第１の撮影装置１０と、情報処理装置２０とは、ネットワーク３０を介して相互に通信可能に接続する。なお、図１に示す構成は、一例であり、各装置の台数は任意に変更してもよい。また、図１に示されていない装置がネットワーク３０に接続されていてもよい。

第１の撮影装置１０は、病理検体を撮影する。例えば、第１の撮影装置１０は、病理検体を撮影するカメラであってもよいし、病理検体を撮影するデジタルスライドスキャナであってもよいし、他の装置であってもよい。そして、第１の撮影装置１０は、病理検体を撮影した検体画像を情報処理装置２０に送信する。

情報処理装置２０は、第１の撮影装置１０により撮影された検体画像を表示する。すなわち、情報処理装置２０は、検体画像を表示するビューアを有する。例えば、情報処理装置２０は、パーソナルコンピュータや、タブレット端末や、スマートフォンなどの情報処理装置である。

情報処理装置２０について詳細に説明する。

例えば、情報処理装置２０は、ＮＷ（ネットワーク）インタフェース２１０と、入力インタフェース２２０と、ディスプレイ２３０と、記憶回路２４０と、処理回路２５０とを有する。

ＮＷインタフェース２１０は、処理回路２５０に接続され、ネットワーク３０を介して接続された各装置との間で行われる各種データの伝送及び通信を制御する。例えば、ＮＷインタフェース２１０は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

入力インタフェース２２０は、処理回路２５０に接続され、操作者から受け付けた入力操作を電気信号に変換して処理回路２５０に出力する。具体的には、入力インタフェース２２０は、操作者から受け付けた入力操作を電気信号へ変換して処理回路２５０に出力する。例えば、入力インタフェース２２０は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、本明細書において、入力インタフェース２２０は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インタフェース２２０の例に含まれる。

ディスプレイ２３０は、処理回路２５０に接続され、処理回路２５０から出力される各種情報及び各種画像データを表示する。例えば、ディスプレイ２３０は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、タッチパネル等によって実現される。

記憶回路２４０は、処理回路２５０に接続され、各種データを記憶する。また、記憶回路２４０は、処理回路２５０が読み出して実行することで各種機能を実現するための種々のプログラムを記憶する。例えば、記憶回路２４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。

処理回路２５０は、情報処理装置２０全体の動作を制御する。処理回路２５０は、例えば、画像取得機能２５１、注目領域取得機能２５２、付加情報生成機能２５３、範囲図形生成機能２５４、及び表示制御機能２５５を有する。実施形態では、構成要素である画像取得機能２５１、注目領域取得機能２５２、付加情報生成機能２５３、範囲図形生成機能２５４、及び表示制御機能２５５にて行われる各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路２４０へ記憶されている。処理回路２５０は、プログラムを記憶回路２４０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路２５０は、図１の処理回路２５０内に示された各機能を有することになる。

なお、図１においては単一のプロセッサにて、画像取得機能２５１、注目領域取得機能２５２、付加情報生成機能２５３、範囲図形生成機能２５４、及び表示制御機能２５５を実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路２５０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、図１においては、記憶回路２４０等の単一の記憶回路が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路２５０は、個別の記憶回路から対応するプログラムを読み出す構成としても構わない。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ），及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路２４０に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路２４０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

画像取得機能２５１は、病理検体が撮影された検体画像を取得する。画像取得機能２５１は、画像取得部の一例である。検体画像は、第１の撮影装置１０により病理検体が撮影された画像である。すなわち、画像取得機能２５１は、第１の撮影装置１０から検体画像を取得する。

注目領域取得機能２５２は、画像取得機能２５１により取得された検体画像に含まれる注目領域Ｒ１（図２参照）を取得する。注目領域取得機能２５２は、注目領域取得部の一例である。注目領域Ｒ１は、検体画像における注目する領域である。

例えば、注目領域取得機能２５２は、検体画像に含まれる物体ごとに領域を分割するセグメンテーション処理により取得された領域、検体画像の全部又は一部に対してクラスごとに分類分けを行うクラス分類処理により取得された領域、又は検体画像に対してユーザがアノテーションを付与した領域を、注目領域Ｒ１として取得する。

なお、注目領域取得機能２５２は、これら処理により取得された領域に限らず、他の処理により取得された領域を、注目領域Ｒ１として取得してもよい。さらに、注目領域取得機能２５２は、一つの検体画像から一つの注目領域Ｒ１を取得してもよいし、一つの検体画像から複数の注目領域Ｒ１を取得してもよい。

付加情報生成機能２５３は、注目領域取得機能２５２により取得された注目領域Ｒ１を含む領域に付加される付加情報Ａ１（図２参照）を生成する。付加情報Ａ１は、検体画像に含まれる物体ごとに領域を分割するセグメンテーション処理により分割された各領域を示す画像や、検体画像の全部又は一部に対してクラスごとに分類分けを行うクラス分類処理により分類わけされた各領域を示す画像や、検体画像に対してユーザが付与したアノテーションの画像である。

範囲図形生成機能２５４は、注目領域Ｒ１を示す図形であって、注目領域Ｒ１との共通部分を持たない図形である範囲図形Ｌ１を生成する。範囲図形生成機能２５４は、生成部の一例である。すなわち、範囲図形生成機能２５４は、注目領域Ｒ１と重なる領域が無い範囲図形Ｌ１を生成する。

範囲図形生成機能２５４は、注目領域取得機能２５２により取得された注目領域Ｒ１に基づいて、注目領域Ｒ１を一回り大きく囲んだ輪郭である範囲図形Ｌ１を生成する。注目領域Ｒ１を一回り大きく囲んだ輪郭とは、注目領域Ｒ１から１画素以上外側を囲む輪郭である。例えば、範囲図形生成機能２５４は、注目領域Ｒ１の四隅に形成された枠の画像である範囲図形Ｌ１を生成する。このように、範囲図形Ｌ１は、注目領域Ｒ１と共通する部分が無いため、観察の妨げになることを抑制する。

表示制御機能２５５は、ディスプレイ２３０などの表示部を制御して、各種画像を表示する。更に詳しくは、表示制御機能２５５は、検体画像を表示する。

また、表示制御機能２５５は、検体画像の注目領域Ｒ１を含む領域に対して、付加情報Ａ１を重畳して表示する。図２は、付加情報Ａ１を重畳した検体画像の一例を示す図である。図２に示す付加情報Ａ１は、ユーザにより付加されたアノテーションの画像である。さらに、図２に示す付加情報Ａ１の枠線Ａ１１の内側に注目領域Ｒ１が存在する。

また、表示制御機能２５５は、注目領域Ｒ１を示す範囲図形Ｌ１を検体画像に重畳して表示する。表示制御機能２５５は、表示制御部の一例である。また、表示制御機能２５５は、注目領域Ｒ１の外側に配置した範囲図形Ｌ１を検体画像に重畳して表示する。図３は、範囲図形Ｌ１を重畳した検体画像の一例を示す図である。また、図３は、図２に示す付加情報Ａ１が重畳された検体画像を含んでいる。さらに、図３に示す範囲図形Ｌ１は、図２の付加情報Ａ１に含まれる注目領域Ｒ１を示している。図３に示す範囲図形Ｌ１は、注目領域Ｒ１の一回りの外側に配置され、注目領域Ｒ１の四隅を示す画像である。

このように、範囲図形Ｌ１は、注目領域Ｒ１の一回りの外側から注目領域Ｒ１を示している。よって、ユーザは、注目領域Ｒ１の観察を妨げられることなく、注目領域Ｒ１を把握することができる。

表示制御機能２５５は、図２に示す付加情報Ａ１が重畳された検体画像と、図３に示す範囲図形Ｌ１が重畳された検体画像とを対比可能に表示する。例えば、表示制御機能２５５は、図２に示す付加情報Ａ１が重畳された検体画像と、図３に示す範囲図形Ｌ１が重畳された検体画像とを、切り替え命令を受け付ける毎に切り替えて表示する。切り替え命令は、入力インタフェース２２０が受け付けた操作により通知される命令であってもよいし、一定時間が経過する毎に通知される命令であってもよいし、他の条件を切っ掛けに通知される命令であってもよい。

また、表示制御機能２５５は、図２に示す付加情報Ａ１が重畳された検体画像と、図３に示す範囲図形Ｌ１が重畳された検体画像との切り替えに限らず、並べて表示してもよい。表示制御機能２５５は、注目領域Ｒ１を含む領域に付加された付加情報Ａ１が重畳された検体画像と、範囲図形Ｌ１が重畳された検体画像とを、並べて、又は切り替えて表示してもよい。

検体画像の表示を終了する終了命令を検知した場合に、検体画像が表示されているウィンドウを閉じる。ここで、終了命令は、入力インタフェース２２０が受け付けた操作により通知される命令であってもよいし、他の条件を切っ掛けに通知される命令であってもよい。

次に、第１の実施形態に係る情報処理装置２０が実行する表示処理について説明する。図４は、第１の実施形態に係る情報処理装置２０が実行する表示処理の一例を示すフローチャートである。

画像取得機能２５１は、第１の撮影装置１０により撮影された病理検体の画像である検体画像を取得する（ステップＳ１１）。

表示制御機能２５５は、画像取得機能２５１により取得された検体画像を表示する（ステップＳ１２）。

注目領域取得機能２５２は、画像取得機能２５１により取得された検体画像から注目領域Ｒ１を取得する（ステップＳ１３）。例えば、注目領域取得機能２５２は、検体画像に含まれる物体ごとに領域を分割するセグメンテーション処理や、検体画像の全部又は一部に対してクラスごとに分類分けを行うクラス分類処理や、検体画像に対してアノテーションを付与する処理により取得された領域を、注目領域Ｒ１として取得する。

付加情報生成機能２５３は、注目領域取得機能２５２により取得された注目領域Ｒ１を含む領域に付加される付加情報Ａ１を生成する（ステップＳ１４）。

範囲図形生成機能２５４は、注目領域取得機能２５２により取得された注目領域Ｒ１を示す範囲図形Ｌ１を生成する（ステップＳ１５）。

表示制御機能２５５は、注目領域Ｒ１を含む領域に付加情報Ａ１が重畳された検体画像と、注目領域Ｒ１を示す範囲図形Ｌ１が重畳された検体画像との表示を切り替える切り替え命令を検知したか否かを判定する（ステップＳ１６）。

切り替え命令を検知していない場合に（ステップＳ１６；Ｎｏ）、表示制御機能２５５は、ステップＳ１８に移行する。

切り替え命令を検知した場合に（ステップＳ１６；Ｙｅｓ）、表示制御機能２５５は、注目領域Ｒ１を含む領域に付加情報Ａ１が重畳された検体画像と、注目領域Ｒ１を示す範囲図形Ｌ１が重畳された検体画像とを切り替えて表示する（ステップＳ１７）。言い換えると、表示制御機能２５５は、付加情報Ａ１が重畳された検体画像を表示している場合に、範囲図形Ｌ１が重畳された検体画像を表示する。一方、表示制御機能２５５は、範囲図形Ｌ１が重畳された検体画像を表示している場合に、付加情報Ａ１が重畳された検体画像を表示する。

表示制御機能２５５は、検体画像の表示を終了する終了命令を検知したか否かを判定する（ステップＳ１８）。終了命令を検知していない場合に（ステップＳ１８；Ｎｏ）、表示制御機能２５５は、ステップＳ１６に移行する。

終了命令を検知した場合に（ステップＳ１８；Ｙｅｓ）、情報処理装置２０は、表示処理を終了する。

以上のように、第１の実施形態に係る情報処理装置２０の処理回路２５０は、病理検体が撮影された検体画像を第１の撮影装置１０から取得する。処理回路２５０は、検体画像に含まれる注目領域Ｒ１を取得する。処理回路２５０は、注目領域Ｒ１を示す範囲図形Ｌ１を生成する。そして、処理回路２５０は、注目領域Ｒ１の外側に配置され、当該注目領域Ｒ１を示す範囲図形Ｌ１を検体画像に重畳して表示する。このように、範囲図形Ｌ１は、注目領域Ｒ１の外側に配置される。よって、情報処理装置２０は、観察の妨げにならず且つ注目領域Ｒ１を把握可能にすることができる。

（第２の実施形態）
図５は、第２の実施形態に係る病理情報処理システム１ａの構成の一例を示す図である。

情報処理装置２０ａの処理回路２５０ａは、付加情報Ａ１が重畳された検体画像と、範囲図形Ｌ１が重畳された検体画像とを並べて表示する表示制御機能２５５ａを備える。図６は、付加情報Ａ１が重畳された検体画像と、範囲図形Ｌ１が重畳された検体画像とを並べた対比画像の一例を示す図である。図６に示すように、表示制御機能２５５ａは、付加情報Ａ１が重畳された検体画像と、範囲図形Ｌ１が重畳された検体画像とを並べて、又は切り替えて表示する。

また、表示制御機能２５５ａは、注目領域Ｒ１を含む領域に付加された付加情報Ａ１が重畳された検体画像と、範囲図形Ｌ１が重畳された検体画像とを表示するそれぞれの表示領域において、表示領域ごとに検体画像の異なる場所及び異なる拡大率により表示する。更に詳しくは、表示制御機能２５５ａは、第１表示領域Ｐ１に付加情報Ａ１が重畳された検体画像を表示し、第２表示領域Ｐ２に範囲図形Ｌ１が重畳された検体画像を表示する。

また、表示制御機能２５５ａは、第１表示領域Ｐ１に対する操作と、第２表示領域Ｐ２に対する操作とをそれぞれ受け付ける。例えば、表示制御機能２５５ａは、入力インタフェース２２０を介して、拡大率の変更を指示する拡大率変更命令を受け付けた場合に、指定された表示領域の検体画像を、指定された拡大率に変更する。これにより、表示制御機能２５５ａは、第１表示領域Ｐ１に表示した付加情報Ａ１が重畳された検体画像と、第２表示領域Ｐ２に表示した範囲図形Ｌ１が重畳された検体画像とを異なる拡大率で表示する。例えば、表示制御機能２５５ａは、第１表示領域Ｐ１に表示した付加情報Ａ１が重畳された検体画像は拡大率を変更せず表示し、第２表示領域Ｐ２に表示した範囲図形Ｌ１が重畳された検体画像は拡大率を変更して表示してもよい。

また、表示制御機能２５５ａは、付加情報Ａ１が重畳された検体画像と、範囲図形Ｌ１が重畳された検体画像とのそれぞれの異なる場所を表示する。表示制御機能２５５ａは、入力インタフェース２２０を介して、表示する場所の変更を指示する移動命令を受け付けた場合に、指定された表示領域の検体画像を、指定された移動量だけ移動する。例えば、表示制御機能２５５ａは、第１表示領域Ｐ１に表示した付加情報Ａ１の右端を表示し、第２表示領域Ｐ２に表示した範囲図形Ｌ１が重畳された検体画像の左端を表示してもよい。

また、ユーザは、第１表示領域Ｐ１又は第２表示領域Ｐ２において、検体画像の表示する場所を移動した場合に、再度注目領域Ｒ１を表示させられなくなることがある。そこで、表示制御機能２５５ａは、検体画像を表示する第１表示領域Ｐ１又は第２表示領域Ｐ２において、特定の操作が受け付けられた場合に、操作対象の表示領域である第１表示領域Ｐ１又は第２表示領域Ｐ２の略中央に注目領域Ｒ１が配置されるように表示する。

また、表示制御機能２５５ａは、付加情報Ａ１が重畳された検体画像と、範囲図形Ｌ１が重畳された検体画像と、付加情報Ａ１が重畳された検体画像及び範囲図形Ｌ１が重畳された検体画像を並べた対比画像と、切り替え命令を受け付ける毎に切り替えて表示する。

次に、第２の実施形態に係る情報処理装置２０ａが実行する表示処理について説明する。図７は、第２の実施形態に係る情報処理装置２０ａが実行する表示処理の一例を示すフローチャートである。

画像取得機能２５１は、第１の撮影装置１０により撮影された病理検体の画像である検体画像を取得する（ステップＳ２１）。

表示制御機能２５５ａは、画像取得機能２５１により取得された検体画像を表示する（ステップＳ２２）。

注目領域取得機能２５２は、画像取得機能２５１により取得された検体画像から注目領域Ｒ１を取得する（ステップＳ２３）。

付加情報生成機能２５３は、注目領域取得機能２５２により取得された注目領域Ｒ１を含む領域に付加される付加情報Ａ１を生成する（ステップＳ２４）。

範囲図形生成機能２５４は、注目領域取得機能２５２により取得された注目領域Ｒ１を示す範囲図形Ｌ１を生成する（ステップＳ２５）。

情報処理装置２０ａは、図８に示す観察処理を実行する（ステップＳ２６）。

表示制御機能２５５ａは、検体画像の表示を終了する終了命令を検知したか否かを判定する（ステップＳ２７）。終了命令を検知していない場合に（ステップＳ２７；Ｎｏ）、表示制御機能２５５ａは、ステップＳ２６に移行する。

終了命令を検知した場合に（ステップＳ２７；Ｙｅｓ）、情報処理装置２０ａは、表示処理を終了する。

次に、第２の実施形態に係る情報処理装置２０ａが実行する観察処理について説明する。図８は、第２の実施形態に係る情報処理装置２０ａが実行する観察処理の一例を示すフローチャートである。

表示制御機能２５５ａは、注目領域Ｒ１を含む領域に付加情報Ａ１が重畳された検体画像と、注目領域Ｒ１を示す範囲図形Ｌ１が重畳された検体画像と、付加情報Ａ１が重畳された検体画像及び範囲図形Ｌ１が重畳された検体画像を並べた対比画像との表示を切り替える切り替え命令を検知したか否かを判定する（ステップＳ２６１）。

切り替え命令を検知していない場合に（ステップＳ２６１；Ｎｏ）、表示制御機能２５５ａは、ステップＳ２６３に移行する。

切り替え命令を検知した場合に（ステップＳ２６１；Ｙｅｓ）、表示制御機能２５５ａは、注目領域Ｒ１を含む領域に付加情報Ａ１が重畳された検体画像と、注目領域Ｒ１を示す範囲図形Ｌ１が重畳された検体画像と、付加情報Ａ１が重畳された検体画像及び範囲図形Ｌ１が重畳された検体画像を並べた対比画像とを切り替えて表示する（ステップＳ２６２）。

表示制御機能２５５ａは、検体画像の拡大率を変更する拡大率変更命令を検知したか否かを判定する（ステップＳ２６３）。拡大率変更命令を検知していない場合に（ステップＳ２６３；Ｎｏ）、表示制御機能２５５ａは、ステップＳ２６５に移行する。

拡大率変更命令を検知した場合に（ステップＳ２６３；Ｙｅｓ）、表示制御機能２５５ａは、指定された検体画像を、指定された拡大率に変更する（ステップＳ２６４）。

表示制御機能２５５ａは、検体画像の表示する場所を移動する移動命令を検知したか否かを判定する（ステップＳ２６５）。移動命令を検知していない場合に（ステップＳ２６５；Ｎｏ）、表示制御機能２５５ａは、観察処理を終了する。

移動命令を検知した場合に（ステップＳ２６５；Ｙｅｓ）、表示制御機能２５５ａは、指定された表示領域の検体画像を、指定された移動量だけ移動する（ステップＳ２６６）。

以上により、情報処理装置２０ａは、観察処理を終了する。

以上のように、第２の実施形態に係る情報処理装置２０ａの処理回路２５０ａは、注目領域Ｒ１を含む領域に付加された付加情報Ａ１が重畳された検体画像と、範囲図形Ｌ１が重畳された検体画像とを、並べて、又は切り替えて表示する。例えば、情報処理装置２０ａは、付加情報Ａ１が重畳表示されている検体画像と、範囲図形Ｌ１が重畳表示されている検体画像を同時に閲覧できるようにする。これにより、ユーザは、アノテーションが付与されている領域とアノテーションの種類とを把握しながら、アノテーションに邪魔されずに注目領域Ｒ１の観察を行うことができる。

（第３の実施形態）
図９は、第３の実施形態に係る病理情報処理システム１ｂの構成の一例を示す図である。

病理情報処理システム１ｂは、第１の撮影装置１０と、第２の撮影装置４０とを備える。

第２の撮影装置４０は、病理検体を撮影する。例えば、第２の撮影装置４０は、病理検体を撮影するカメラであってもよいし、病理検体を撮影するデジタルスライドスキャナであってもよいし、他の装置であってもよい。そして、第２の撮影装置４０は、病理検体を撮影した検体画像を情報処理装置２０ｂに送信する。

また、第２の撮影装置４０は、第１の撮影装置１０とは異なる撮影装置である。例えば、第２の撮影装置４０は、第１の撮影装置１０とは異なる製造業者により製造された撮影装置である。

情報処理装置２０ｂの処理回路２５０ｂは、第２の撮影装置４０により病理検体が撮影された検体画像を取得する画像取得機能２５１ｂを備える。

画像取得機能２５１ｂは、第１の撮影装置１０により病理検体が撮影された第１の検体画像、及び第２の撮影装置４０により病理検体が撮影された第２の検体画像を取得する。また、画像取得機能２５１ｂは、第１の検体画像とは異なる態様により撮影された第２の検体画像を取得する。ここで、異なる態様とは、病理検体の染色の違いや、撮影装置の違いや、撮影装置の設定の違いなどである。また、第２の検体画像は、第１の検体画像とは異なる態様により撮影された画像であるが、同一の病理検体の同一の位置が撮影された画像である。

注目領域取得機能２５２ｂは、画像取得機能２５１ｂにより取得された第１の検体画像と第２の検体画像との少なくとも何れか一方に含まれる注目領域Ｒ１を取得する。ここで、第１の検体画像と、第２の検体画像とは、同一の病理検体の同一の位置が撮影された画像である。よって、注目領域取得機能２５２ｂは、第１の検体画像と、第２の検体画像との少なくとも何れか一方から注目領域Ｒ１が取得された場合、他方の検体画像から注目領域Ｒ１が取得されていなくても、注目領域Ｒ１を取得することができる。

付加情報生成機能２５３ｂは、第１の検体画像と第２の検体画像とに付加する付加情報Ａ１を生成する。

範囲図形生成機能２５４は、第１の検体画像と、第２の検体画像とに含まれる注目領域Ｒ１を示す範囲図形Ｌ１を生成する。ここで、第１の検体画像と、第２の検体画像とは、同一の病理検体の同一の位置が撮影された画像である。よって、範囲図形生成機能２５４は、第１の検体画像と、第２の検体画像との少なくとも何れか一方から注目領域Ｒ１が取得された場合、他方の検体画像から注目領域Ｒ１が取得されていなくても、注目領域Ｒ１を示す範囲図形Ｌ１を生成する。

表示制御機能２５５ｂは、第１の検体画像と、第２の検体画像との少なくとも一方を表示する。例えば、表示制御機能２５５ｂは、第１の検体画像と、第２の検体画像とを切り替えて表示してもよいし、第１の検体画像と第２の検体画像との両方を並べて表示してもよい。また、表示制御機能２５５ｂは、注目領域Ｒ１を含む領域に付加された付加情報Ａ１が重畳された第２の検体画像と、範囲図形Ｌ１が重畳された第２の検体画像との少なくとも一方を表示する。

また、表示制御機能２５５ｂは、注目領域Ｒ１を示す付加情報Ａ１が重畳された第１の検体画像と、範囲図形Ｌ１が重畳された第２の検体画像とを表示するそれぞれの表示領域において、当該表示領域ごとに異なる場所及び拡大率により表示してもよい。

次に、第３の実施形態に係る情報処理装置２０ｂが実行する表示処理について説明する。図１０は、第３の実施形態に係る情報処理装置２０ｂが実行する表示処理の一例を示すフローチャートである。

画像取得機能２５１ｂは、第１の撮影装置１０により撮影された病理検体の画像である第１の検体画像を取得する（ステップＳ３１）。

表示制御機能２５５ｂは、画像取得機能２５１ｂにより取得された第１の検体画像を表示する（ステップＳ３２）。

画像取得機能２５１ｂは、第２の撮影装置４０により撮影された病理検体の画像である第２の検体画像を取得する（ステップＳ３３）。

表示制御機能２５５ｂは、画像取得機能２５１ｂにより取得された第２の検体画像を表示する（ステップＳ３４）。

注目領域取得機能２５２ｂは、画像取得機能２５１ｂにより取得された第２の検体画像から注目領域Ｒ１を取得する（ステップＳ３５）。

付加情報生成機能２５３ｂは、注目領域取得機能２５２ｂにより取得された注目領域Ｒ１を含む領域に付加される付加情報Ａ１を生成する（ステップＳ３６）。

表示制御機能２５５ｂは、注目領域Ｒ１を含む領域に付加情報Ａ１が重畳された第２の検体画像を表示する（ステップＳ３７）。

範囲図形生成機能２５４は、注目領域取得機能２５２ｂにより取得された第２の検体画像の注目領域Ｒ１に対応する、第１の検体画像の注目領域Ｒ１を示す範囲図形Ｌ１を生成する（ステップＳ３８）。

表示制御機能２５５ｂは、注目領域Ｒ１を示す範囲図形Ｌ１が重畳された第１の検体画像を表示する（ステップＳ３９）。これにより、表示制御機能２５５ｂは、注目領域Ｒ１を示す範囲図形Ｌ１が重畳された第１の検体画像と、注目領域Ｒ１を含む領域に付加情報Ａ１が重畳された第２検体画像とを、並べて、又は切り替えて表示する。

以上により、情報処理装置２０ｂは、表示処理を終了する。また、図１０に示す表示処理は、第１の検体画像に範囲図形Ｌ１を重畳し、第２の検体画像に付加情報Ａ１を重畳する処理である。しかしながら、表示処理は、第２の検体画像に範囲図形Ｌ１を重畳し、第１の検体画像に付加情報Ａ１を重畳する処理であってもよい。

以上のように、第３の実施形態に係る情報処理装置２０ｂは、第１の撮影装置１０及び第２の撮影装置４０が接続される。例えば、情報処理装置２０ｂの処理回路２５０ｂは、注目領域Ｒ１を示す範囲図形Ｌ１が重畳された第１の検体画像と、注目領域Ｒ１を含む領域に付加情報Ａ１が重畳された第２の検体画像とを、並べて、又は切り替えて表示する。このように、情報処理装置２０ｂは、異なる撮影装置から取得した第１の検体画像と第２の検体画像とを並べて、又は切り替えて表示することができる。

（変形例１）
図２において、付加情報Ａ１の形態を説明した。また、図３において、範囲図形Ｌ１の形態を説明した。しかしながら、付加情報Ａ１及び範囲図形Ｌ１の形態は如何なるものであってもよい。図１１は、付加情報Ａ２、Ａ３を重畳した検体画像の一例を示す図である。図１２は、範囲図形Ｌ２を重畳した検体画像の一例を示す図である。

図１１に示す付加情報Ａ２、Ａ３は、セグメンテーション処理により分割された領域を示している。更に詳しくは、注目領域取得機能２５２は、セグメンテーション処理により２つの注目領域Ｒ２、Ｒ３を取得している。そして、付加情報生成機能２５３は、注目領域取得機能２５２により取得された２つの注目領域Ｒ２、Ｒ３に対して、それぞれ付加する付加情報Ａ２、Ａ３を生成する。さらに、範囲図形生成機能２５４は、図１２に示すように、注目領域Ｒ３の外枠を囲う枠線の範囲図形Ｌ２を生成する。

表示制御機能２５５、２５５ａ、２５５ｂは、図１１に示す付加情報Ａ２、Ａ３が重畳された検体画像と、図１２に示す範囲図形Ｌ２が重畳された検体画像とを対比可能に表示する。例えば、表示制御機能２５５、２５５ａ、２５５ｂは、図１１に示す付加情報Ａ２、Ａ３が重畳された検体画像と、図１２に示す範囲図形Ｌ２が重畳された検体画像とを、並べて、又は切り替えて表示する。

（変形例２）
情報処理装置２０、２０ａ、２０ｂは、画像取得機能２５１、２５１ｂ、注目領域取得機能２５２、付加情報生成機能２５３、範囲図形生成機能２５４、及び表示制御機能２５５、２５５ａ、２５５ｂを備えると説明した。しかしながら、これら機能部の全部又は一部は、情報処理装置２０、２０ａ、２０ｂ以外の他の装置が備えていてもよい。この場合、情報処理装置２０、２０ａ、２０ｂは、検体画像を他の装置に送信すればよい。

（変形例３）
情報処理装置２０、２０ａ、２０ｂは、記憶回路２４０に記憶されているプログラムを実行することにより、画像取得機能２５１、２５１ｂ、注目領域取得機能２５２、付加情報生成機能２５３、範囲図形生成機能２５４、及び表示制御機能２５５、２５５ａ、２５５ｂを実現すると説明した。しかしながら、情報処理装置２０、２０ａ、２０ｂは、画像取得機能２５１、２５１ｂ、注目領域取得機能２５２、付加情報生成機能２５３、範囲図形生成機能２５４、及び表示制御機能２５５、２５５ａ、２５５ｂの全部又は一部を半導体回路などのハードウェアにより実現してもよい。

以上説明した少なくとも１つの実施形態等によれば、観察の妨げにならないように注目領域を把握させることができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１、１ａ、１ｂ 病理情報処理システム
１０ 第１の撮影装置
２０、２０ａ、２０ｂ 情報処理装置
３０ ネットワーク
４０ 第２の撮影装置
２１０ ＮＷ（ネットワーク）インタフェース
２２０ 入力インタフェース
２３０ ディスプレイ
２４０ 記憶回路
２５０、２５０ａ、２５０ｂ 処理回路
２５１、２５１ｂ 画像取得機能
２５２、２５２ｂ 注目領域取得機能
２５３、２５３ｂ 付加情報生成機能
２５４ 範囲図形生成機能
２５５、２５５ａ、２５５ｂ 表示制御機能
Ａ１、Ａ２、Ａ３ 付加情報
Ａ１１ 枠線
Ｒ１、Ｒ２、Ｒ３ 注目領域
Ｌ１、Ｌ２ 範囲図形
Ｐ１ 第１表示領域
Ｐ２ 第２表示領域

Claims (12)

1. 病理検体が撮影された第１の検体画像を取得する画像取得部と、
   前記第１の検体画像に含まれる注目領域を取得する注目領域取得部と、
   前記注目領域を示す図形であって、前記注目領域との共通部分を持たない図形である範囲図形を生成する生成部と、
   当該注目領域を示す前記範囲図形を前記第１の検体画像に重畳して表示する表示制御部と、
   を備える情報処理装置。
2. 前記表示制御部は、前記注目領域の外側に配置した前記範囲図形を前記第１の検体画像に重畳して表示する、
   請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記注目領域を含む領域に付加された付加情報が重畳された前記第１の検体画像と、前記範囲図形が重畳された前記第１の検体画像とを、並べて、又は切り替えて表示する、
   請求項１に記載の情報処理装置。
4. 前記表示制御部は、前記注目領域を含む領域に付加された付加情報が重畳された前記第１の検体画像と、前記範囲図形が重畳された前記第１の検体画像とを表示するそれぞれの表示領域において、当該表示領域ごとに前記第１の検体画像の異なる場所及び拡大率により表示する、
   請求項３に記載の情報処理装置。
5. 前記画像取得部は、前記病理検体を撮影された第２の検体画像を取得し、
   前記表示制御部は、前記注目領域を含む領域に付加された付加情報が重畳された前記第２の検体画像と、前記範囲図形が重畳された前記第２の検体画像との少なくとも一方を表示する、
   請求項１に記載の情報処理装置。
6. 前記画像取得部は、前記第１の検体画像とは異なる態様により撮影された前記第２の検体画像を取得する、
   請求項５に記載の情報処理装置。
7. 前記表示制御部は、前記第１の検体画像を表示する表示領域において、特定の操作が受け付けられた場合に、操作対象の前記表示領域の略中央に前記注目領域が配置されるように表示する、
   請求項１に記載の情報処理装置。
8. 前記注目領域取得部は、前記第１の検体画像に含まれる物体ごとに領域を分割するセグメンテーション処理により取得された領域、前記第１の検体画像の全部又は一部に対してクラスごとに分類分けを行うクラス分類処理により取得された領域、又は前記第１の検体画像に対してユーザがアノテーションを付与した領域を、前記注目領域として取得する、
   請求項１に記載の情報処理装置。
9. 前記表示制御部は、前記付加情報が重畳された前記第１の検体画像と、前記付加情報が重畳された前記第２の検体画像とを異なる拡大率で表示する、
   請求項５に記載の情報処理装置。
10. 前記生成部は、前記注目領域取得部により取得された注目領域に基づいて、前記注目領域を一回り大きく囲んだ輪郭である前記範囲図形を生成する、
    請求項１から９の何れか一項に記載の情報処理装置。
11. 病理検体が撮影された第１の検体画像を取得し、
    前記第１の検体画像に含まれる注目領域を取得し、
    前記注目領域を示す図形であって、前記注目領域との共通部分を持たない図形である範囲図形を生成し、
    当該注目領域を示す前記範囲図形を前記第１の検体画像に重畳して表示する、
    ことを含む情報処理方法。
12. コンピュータを、
    病理検体が撮影された第１の検体画像を取得する画像取得部と、
    前記第１の検体画像に含まれる注目領域を取得する注目領域取得部と、
    前記注目領域を示す図形であって、前記注目領域との共通部分を持たない図形である範囲図形を生成する生成部と、
    当該注目領域を示す前記範囲図形を前記第１の検体画像に重畳して表示する表示制御部と、
    して機能させるためのプログラム。

Images