JP6862516B2 - 医用画像表示装置、医用画像表示方法、およびプログラム - Google Patents

Description

本発明は、医用画像表示装置、医用画像表示方法、およびプログラムに関する。

多様な医用画像が診療に活用されており、診療に供する医用画像にさらに画像処理を施した加工画像も多く用いられている。かかる診療は、作成した加工画像も含め、関連する複数の医用画像を医用画像表示装置に表示させて行われる。加工画像を含む複数の医用画像を比較して診療を行う際、医用画像表示装置の表示領域において、適切な表示形態で医用画像を表示させることが好ましい。

特許文献１には、医用画像と対応するプレビュー画像を選択してテンプレート領域に移動する操作により、テンプレートに応じた割り付けで医用画像を表示させることが開示されている。

特開２０１４−１０４０９９号公報

関連する複数の医用画像のそれぞれを表示領域の所望の位置に表示するためには、複数の医用画像のそれぞれに対して表示選択の操作を行う必要がある。これは、ユーザにとって手間のかかる操作であるおそれがある。

本発明の実施形態に係る医用画像表示装置は、サムネイル表示領域に表示されているサムネイルを用いて、医用画像表示領域に表示する医用画像を指定する指定手段と、前記サムネイルに対応付いている画像が医用画像に画像処理を施した所定の加工画像であるか否かを示す情報に基づいて、前記指定手段により指定された医用画像の前記医用画像表示領域における配置を決定する配置決定手段と、前記指定手段により指定された医用画像が、前記所定の加工画像である場合、前記所定の加工画像の作成に用いられた医用画像に関する情報を取得し、前記配置決定手段によって決定された前記配置で前記所定の加工画像および前記取得した医用画像を表示可能に出力する表示出力手段と、を有することを特徴とする。

これにより、一つ一つの医用画像に対して操作を行わなくても、関連する複数の医用画像を表示領域に表示させる形態を決定することができる。

本発明の第一の実施形態に係る医用画像表示システムのブロック図である。 本発明の第一の実施形態に係る処理を示すフローチャートである。 本発明の第一の実施形態に係る処理における表示の第一の例を示す図である。 医用画像表示領域が複数の領域に分割された例を示す図である。 第一の実施形態に係る処理における表示の第二の例を示す図である。 サムネイルの例を示す図である。 関連画像情報と表示形態の対応の例を示す図である。 表示形態と関連画像情報と表示位置の対応の例を示す図である。 本発明の第二の実施形態に係る医用画像表示システムのブロック図である。 本発明の第二の実施形態に係る処理を示すフローチャートである。 一つの選択前分割領域が複数の領域に分割された例を示す図である。 本発明の第二の実施形態に係る処理における表示の例を示す図である。 複数の領域に分割された選択前分割領域の一つの領域を拡大した場合の例を示す図である。 複数の領域に分割された選択前分割領域を拡大した場合の例を示す図である。 本発明の第三の実施形態に係る医用画像表示システムのブロック図である。 本発明の第三の実施形態に係る処理を示すフローチャートである。 本発明の第三の実施形態に係る処理における表示の第一の例を示す図である。 本発明の第三の実施形態に係る処理における表示の第二の例を示す図である。 特定条件下における加工画像種別情報と表示形態の対応の例を示す図である。 特定条件下における加工画像種別情報と表示位置の対応の例を示す図である。 本発明の第三の実施形態に係る処理における表示の第三の例を示す図である。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

図１は、本発明の第一の実施形態に係る医用画像表示システムのブロック図である。医用画像表示システムは、医用画像表示装置１０（以下、表示装置１０と称する）とデータベース２２を含む。表示装置１０とデータベース２２は、通信手段を介して互いに通信可能に接続されている。本実施形態においては、通信手段はＬＡＮ（Ｌｏｃａｌ ＡｒｅａＮｅｔｗｏｒｋ）２１で構成される。

データベース２２は、医用画像などの検査情報を管理する。表示装置１０は、データベース２２で管理された医用画像を、ＬＡＮ２１を介して取得する。データベース２２は、例えばＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）サーバである。

表示装置１０は、その機能的な構成として、通信ＩＦ３１、ＲＯＭ３２、ＲＡＭ３３、記憶部３４、操作部３５、表示部３６、制御部３７を具備する。

通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）３１は、例えばＬＡＮカードで実現され、ＬＡＮ２１を介したデータベース２２といった外部装置と表示装置１０との間の通信を司る。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２は、不揮発性のメモリで実現され、各種プログラム等を記憶する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３は、揮発性のメモリで実現され、各種情報を一時的に記憶する。記憶部３４は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で実現され、各種情報を記憶する。操作部３５は、例えばキーボードやマウスで実現され、ユーザからの指示を制御部３７に入力する。表示部３６は、例えばディスプレイで実現され、各種情報を表示する。制御部３７は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で実現され、表示装置１０における処理を統括制御する。制御部３７には、その機能的な構成として、加工画像作成部４０、関連画像情報作成部４１、画像指定部４２、配置決定部４３、表示制御部４４を有する。制御部３７を構成する各部は、それぞれの機能を実現するためのプログラムをＣＰＵに実行させる。

加工画像作成部４０は、操作入力に従って加工画像を作成する。まず、画像指定部４２により指定された、少なくとも一つの医用画像をデータベース２２から読み出し記憶部３４に保存する。次に、読み出した医用画像に対して画像処理を施し、少なくとも一つの加工画像を作成する。医用画像に画像処理を施した加工画像とは、例えば最大値投影法（ＭＩＰ：ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ）により作成されるＭＩＰ画像である。最大値投影画像すなわちＭＩＰ画像は、三次元画像の任意の視点方向の投影経路における最大値を投影面に表示することにより得られる。加工画像の別の例としては、経時的に異なる複数の医用画像に対する位置合わせ処理と画像間差分処理により作成される経時差分画像である。加工画像のまた別の例としては、最小値投影法（ＭＩｎｉｐ：ｍｉｎｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ）により作成されるＭＩｎｉｐ画像がある。最小値投影画像すなわちＭＩｎｉｐ画像は、三次元画像の任意の視点方向の投影経路における最小値を投影面に表示することにより得られる。さらに、異なる複数の医用画像に対してαプレーンを用いた重ね合わせ処理により作成される重畳画像がある。重畳画像は、異なる複数の医用画像を重ね合わせて表示することにより得られる。そして、作成した少なくとも一つの加工画像を記憶部３４へ保存する。また、加工画像情報を作成し前記加工画像と対応づけて記憶部３４又はＲＡＭ３３を介して関連画像情報作成部４１へ出力する。加工画像情報の具体的な説明については後述する。以下では、医用画像に画像処理を施した加工画像も、医用画像として扱う。ここで加工画像とは、診断に供する医用画像を一又は複数用いて画像処理を施した画像である。診断に供する医用画像とは、医用画像を取得するための装置で取得された画像データを、診断に好適な医用画像を得るために、公知の画像処理等を施して得られる画像である。たとえば、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置では被写体の全周で角度を変えながらＸ線を照射し、ＣＴ値とよばれる相対的なＸ線吸収係数値の一次元分布を画像データとして得る。その後、画像再構成とよばれる処理を施して、所望の断層面の各画素におけるＸ線吸収係数値を取得し、断層画像とよばれる医用画像を得る。加工画像とは、例えばＣＴ装置による画像取得の時点が異なる複数の断層画像に対する位置合わせ処理と画像間差分処理により作成される経時差分画像である。

関連画像情報作成部４１は、加工画像の作成に用いた医用画像と作成した加工画像のサムネイルと、各サムネイルにおける関連画像情報を作成する。関連画像情報の具体的な説明については後述する。そして、当該サムネイルと当該関連画像情報とを対応付ける。作成したサムネイルは表示制御部４４を介して医用画像表示装置のサムネイル表示領域上に配置し、表示部３６に表示する。また、作成した関連画像情報は、記憶部３４又はＲＡＭ３３を介して配置決定部４３及び表示制御部４４へ出力する。

画像指定部４２は、観察対象とする医用画像をユーザの操作入力に応じて指定する。まず、ユーザが観察対象として表示したい医用画像を、例えば操作部３５でサムネイルに対して操作入力を行うことにより選択する。当該選択を行うための操作入力具体的な方法については後述する。画像指定部４２は、当該選択の操作入力を受けて、指定された当該医用画像の関連画像情報を配置決定部４３に出力する。別の例では、画像指定部４２は、加工画像作成部４０で加工画像の作成に用いる医用画像を選択する操作入力を受けて、当該医用画像と当該操作によって加工画像作成部４０で作成される加工画像の両方を観察対象とする医用画像として指定する。

配置決定部４３は、画像指定部４２が指定した医用画像に対応する関連画像情報を取得する。すなわち、ユーザが選択したサムネイルに対応付けられている関連画像情報を取得する。そして、取得した関連画像情報に基づいて、画像指定部４２が指定した医用画像と、当該医用画像と関連する医用画像の医用画像表示領域上での配置を決定する。そして、決定した配置を表示制御部４４へ出力する。

表示制御部４４は、関連画像情報作成部４１で作成された関連画像情報を利用して、画像指定部４２が指定した医用画像と、当該医用画像と関連する医用画像を、通信ＩＦ３１とＬＡＮ２１を介してデータベース２２から取得する。そして、取得した全ての医用画像を、配置決定部４３によって決定された配置に合わせて医用画像表示領域上に配置し、表示部３６に表示させる。

別の例として、予め加工画像が作成され、データベース２２に記憶されている場合について説明する。加工画像の作成に用いられた医用画像に関する情報は、例えば加工画像がＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓｉｎ Ｍｅｄｉｃｉｎｅ）規格に則って作成されている場合には、ＤＩＣＯＭヘッダ内に格納しておくようにする。別のファイルとして、当該加工画像と対応付けて記憶しておいてもよい。このとき画像指定部４２は観察対象とする医用画像を選択する操作入力を受けて、通信ＩＦ３１を介してデータベース２２に記憶されている当該医用画像を指定する。配置決定部４３は、例えばＤＩＣＯＭヘッダに格納された内容から関連画像情報を取得し、当該医用画像と、関連する医用画像の医用画像表示領域上での配置を決定する。たとえば、ある加工画像が画像指定部４２により指定された場合、配置決定部４３はＤＩＣＯＭヘッダ内に格納されている元画像の情報すなわち関連画像情報を取得する。取得した関連画像情報に基づいて、配置決定部４３により当該加工画像と、関連する医用画像の配置が決定される。決定された配置により、当該加工画像と、関連する医用画像は表示制御部４４を介して表示部３６に表示される。

なお、制御部３７が有する各部の少なくとも一部を独立した装置として実現してもよい。また、各部の機能を実現するソフトウェアとして実現してもよい。この場合、機能を実現するソフトウェアは、クラウドをはじめとするネットワークを介したサーバ上で動作してもよい。例えば、図１で制御部３７が有する各部の機能を、ＰＡＣＳサーバであるデータベース２２上で実現するようにする。表示制御部４４がＰＡＣＳサーバ上で動作する内容を、コンピュータ（不図示）のモニタに表示させる。前記コンピュータを介して加工画像作成に関する操作入力があり、通信ＩＦを介して当該操作入力を受けて加工画像作成部４０による処理と、関連画像情報作成部４１による処理が行われる。前記コンピュータを介して、表示したい医用画像を選択する操作入力があり、通信ＩＦを介して当該操作入力を受けて画像指定部４２が当該医用画像を指定する。続いて配置決定部４３による処理が行われ、当該医用画像と、関連する医用画像の配置が決定される。決定された配置は表示制御部４４を介して、前記コンピュータのモニタで表示可能なデータとして出力される。

以下に説明する本実施形態では、各部はローカル環境におけるソフトウェアによりそれぞれ実現されているものとする。

次に、本発明の第一の実施形態における制御部３７による全体の処理手順を説明する。図２は、第一の実施形態に係る処理を示すフローチャートであり、制御部３７がそれぞれの処理を行う。

ステップＳ２００において、加工画像作成部４０は、ユーザが選択した医用画像をデータベース２２から読み出し、記憶部３４に保存する。次に、加工画像作成部４０は、読み出した医用画像に対して、操作入力に応じた画像処理を行い、少なくとも一つの加工画像を作成する。そして、加工画像作成部４０は、作成した少なくとも一つの加工画像を記憶部３４へ保存する。また、加工画像作成部４０は、加工画像情報を作成し前記加工画像と対応づけて記憶部３４又はＲＡＭ３３に保存する。ここで、加工画像情報とは以下の５つの情報を含む。第一の情報は、当該画像処理によって作成した加工画像の数を示す情報（以下、加工画像数情報と称する）である。第二の情報は、当該画像処理によって作成した全ての加工画像の記憶場所を示す情報（以下、加工画像記憶場所情報と称する）である。加工画像記憶場所情報は、例えば、当該加工画像の記憶部３４における保存先パスである。第三の情報は、当該加工画像の作成に用いられた医用画像（以下、元画像と称する）の数を示す情報（以下、元画像数情報と称する）である。第四の情報は、全ての元画像の記憶場所を示す情報（以下、元画像記憶場所情報）である。ここで、元画像記憶場所情報は、例えば、当該元画像の記憶部３４における保存先パスである。第五の情報は、当該加工画像の種類を識別する情報（以下、加工画像種別情報と称する）である。また、当該画像処理によって複数の加工画像が作成された場合は、加工画像作成部４０は、それぞれの加工画像に対して加工画像種別情報を作成し保存する。加工画像種別情報とは、例えば「経時差分画像」、「ＭＩＰ画像」である。「経時差分画像」は、通常、同一被写体の異なる２時点で撮影して得られた二つの医用画像に対して、変形位置合わせ処理と画像間差分処理を行うことにより作成された加工画像であることを示す。「ＭＩＰ画像」は、医用画像に対して公知技術である最大値投影法を用いて作成された加工画像であることを示す。加工画像情報は、上述の５つの情報を取得可能な情報を有していればよい。例えば、第三の情報である元画像数情報を有していなくても、第四の情報である元画像記憶場所情報を有していれば、元画像数情報を取得可能である。

ステップＳ２００の処理を具体的に説明する。ユーザの操作入力に従って、ある被写体の２０２０年１１月１１日にＣＴ装置で撮影された医用画像Ｍ１０３と、同一の被写体の２０２１年１１月１１日にＣＴ装置で撮影された医用画像Ｍ１０４をデータベース２２から読み出し記憶部３４に保存する。次に、ユーザの操作入力に従って、医用画像Ｍ１０３と医用画像Ｍ１０４に対して、公知技術である変形位置合わせ処理と画像間差分処理を行い経時差分画像Ｍ１０５を作成し記憶部３４に保存する。そして、加工画像情報を作成し記憶部３４又はＲＡＭ３３に保存する。この例の場合、加工画像情報の詳細は以下のようになる。作成した加工画像は経時差分画像Ｍ１０５の一つであるので、加工画像数情報は「１」である。加工画像記憶場所情報は経時差分画像Ｍ１０５の記憶部３４における保存先パスである。加工画像を作成する際に使用した元画像は医用画像Ｍ１０３と医用画像Ｍ１０４の二つであるので、元画像数情報は「２」である。元画像記憶場所情報は医用画像Ｍ１０３と医用画像Ｍ１０４の２つの医用画像の、記憶部３４における保存先パスである。加工画像種別情報は「経時差分画像」である。

別の例では、ユーザの操作入力に従って、ある被写体の２０２０年１１月１１日にＣＴ装置で撮影された医用画像Ｍ１０３をデータベース２２から読み出し記憶部３４に保存する。次に、ユーザの操作入力に従って、医用画像Ｍ１０３に対して最大値投影法によりＭＩＰ画像Ｍ１０６を作成し記憶部３４に保存する。そして、加工画像情報を作成し記憶部３４又はＲＡＭ３３に保存する。この例の場合、加工画像情報の詳細は以下のようになる。作成した加工画像はＭＩＰ画像Ｍ１０６の一つであるので、加工画像数情報は「１」である。加工画像記憶場所情報はＭＩＰ画像Ｍ１０６の記憶部３４における保存先パスである。加工画像を作成する際に使用した元画像は医用画像Ｍ１０３の一つであるので、元画像数情報は「１」である。元画像記憶場所情報は医用画像Ｍ１０３の記憶部３４における保存先パスである。加工画像種別情報は「ＭＩＰ画像」である。

ステップＳ２１０において、関連画像情報作成部４１はユーザが選択した医用画像及び加工画像をデータベース２２又は記憶部３４から読み出す。そして、前記医用画像及び加工画像のサムネイルの一例である縮小画像を作成する。サムネイルの作成は公知技術により行われる。さらに予め定められた規則（以下、サムネイル規則と称する）に従って、各サムネイルに医用画像を対応付ける。サムネイル規則の具体例としては、「加工画像のサムネイルには、当該加工画像と全ての元画像を対応付ける」、「加工画像以外の医用画像のサムネイルには、当該医用画像のみを対応付ける」という規則が挙げられる。

次に、作成した各サムネイルにおける関連画像情報を作成する。ここで関連画像情報とは、以下の３つの情報を含む。第一の情報は、サムネイルに対応付いた医用画像（加工画像を含む）の数を示す情報（以下、サムネイル対応画像数情報と称する）である。例えば、前述したサムネイル規則の具体例においては加工画像のサムネイルには当該加工画像と全ての元画像が対応付くので、サムネイル対応画像数情報は、当該加工画像の数と当該加工画像の全ての元画像の数の和である。この情報は、ステップＳ２００で作成された当該加工画像の加工画像情報の加工画像数情報と元画像数情報を参照し、和を算出することで取得できる。また、前記サムネイル規則の具体例においては、加工画像以外の医用画像のサムネイルには当該医用画像だけが対応付くので、サムネイル対応画像数情報は「１」である。第二の情報は、サムネイルに対応付いている医用画像の種類を示す情報（以下、サムネイル対応画像種別情報と称す）である。ここで、加工画像のサムネイルにおけるサムネイル対応画像種別情報は、当該加工画像の加工画像種別情報であり、ステップＳ２００で作成された当該加工画像の加工画像種別情報を参照することで取得できる。また、加工画像以外の医用画像のサムネイルにおけるサムネイル対応画像種別情報は、ＮＵＬＬとする。第三の情報は、サムネイルに対応付いている全ての医用画像の記憶場所を示す情報（以下、サムネイル対応画像記憶情報と称す）である。ここで、加工画像のサムネイルにおけるサムネイル対応画像記憶情報は、ステップＳ２００で作成された当該加工画像の加工画像情報の加工画像記憶場所情報と元画像記憶場所情報を参照することで取得できる。また、加工画像以外の医用画像のサムネイルにおけるサムネイル対応画像記憶情報も、当該医用画像のデータベース２２又は記憶部３４の保存先パスとして取得できる。すなわち、加工画像の関連画像情報とは、加工画像の作成に用いられた医用画像の数と、画像処理の種類を示す情報を含む。関連画像情報として第二の情報と第三の情報のみを取得し、第三の情報であるサムネイル対応画像記憶情報をもとに加工画像の作成に用いられた医用画像の数を取得するようにしてもよい。その場合、サムネイル対応画像記憶情報が、加工画像の作成に用いられた医用画像の数を示す情報として機能する。

以上、加工画像情報と関連画像情報について説明した。ある「医用画像と関連する画像」とは、たとえば加工画像情報に基づいて取得される画像である。つまり、その医用画像自身と、当該医用画像が加工画像であった場合には、当該加工画像を作成するのに使用した医用画像である。また、「医用画像と関連する画像の情報」とは、たとえば関連画像情報である。

次に作成したサムネイルである縮小画像を医用画像表示装置の表示部３６に表示し、作成した関連画像情報を当該縮小画像と対応づけて記憶部３４又はＲＡＭ３３に保存する。なお、本実施形態において、サムネイルとは多数の医用画像の情報を一覧表示する際に、各医用画像に対応した情報を示すものである。より具体的には、例えば、図６の（Ａ）に示すように、各医用画像のそれぞれに対応した文字列を並べて配置したリストにおける各文字列や、（Ｂ）に示すように、各医用画像のそれぞれに対応した縮小画像がサムネイルである。サムネイルは、複数の医用画像のそれぞれに対応した情報を一覧表示できる形態であればどのような形態であってもよい。本実施形態においては、サムネイルは図６の（Ｂ）のように、各医用画像に対応する縮小画像で示されるものとして説明する。以下では、例示したような形態をサムネイルと総称する。

次に、ステップＳ２１０の処理を具体的に説明する。ユーザの操作入力に従って、関連画像情報作成部４１は、医用画像Ｍ１０３を記憶部３４から読み出し、医用画像Ｍ１０３のサムネイル１０３を作成する。同様に、関連画像情報作成部４１は、医用画像Ｍ１０４を記憶部３４から読み出し、医用画像Ｍ１０４のサムネイル１０４を作成する。さらに、関連画像情報作成部４１は、経時差分画像Ｍ１０５を記憶部３４から読み出し、経時差分画像Ｍ１０５のサムネイル１０５を作成する。次に、本実施形態におけるサムネイル規則は「加工画像のサムネイルには、当該加工画像だけでなく全ての元画像を対応付ける」、「加工画像以外の医用画像のサムネイルには、当該医用画像だけを対応付ける」とする。そして、前記サムネイル規則に従って、各サムネイルに医用画像をそれぞれ対応付ける。つまり、サムネイル１０３には医用画像Ｍ１０３を対応付ける。また、サムネイル１０４には医用画像Ｍ１０４を対応付ける。また、サムネイル１０５には、経時差分画像Ｍ１０５と医用画像Ｍ１０３と医用画像Ｍ１０４を対応付ける。さらに、各サムネイルにおける関連画像情報を作成する。サムネイル１０３のサムネイル対応画像数情報は「１」であり、サムネイル対応画像種別情報はＮＵＬＬであり、サムネイル対応画像記憶情報は医用画像Ｍ１０３の記憶部３４における保存先パスである。同様に、サムネイル１０４のサムネイル対応画像数情報は「１」であり、サムネイル対応画像種別情報はＮＵＬＬであり、サムネイル対応画像記憶情報は医用画像Ｍ１０４の記憶部３４における保存先パスである。サムネイル１０５については、ステップＳ２００で作成された経時差分画像Ｍ１０５の加工画像情報を参照すると、加工画像数情報は「１」であり元画像数情報は「２」であるので、サムネイル対応画像数情報は「３」となる。また、ステップＳ２００で作成された経時差分画像Ｍ１０５の加工画像種別情報を参照すると、サムネイル対応画像種別情報は「経時差分画像」となる。また、サムネイル対応画像記憶情報は、ステップＳ２００で作成された加工画像記憶場所情報と元画像記憶場所情報を参照する事で得られる。つまり、サムネイル対応画像記憶情報は、経時差分画像Ｍ１０５と医用画像Ｍ１０３と医用画像Ｍ１０４の記憶部３４における保存先パスである。すなわち、関連画像情報はある医用画像と関連付けられた画像についての情報である。そして、関連画像情報は、当該医用画像と対応するサムネイルに対応付けて保存される。別の観点では、関連画像情報とは当該医用画像と対応するサムネイルと関連付けられた画像についての情報である。次に作成したサムネイル１０３とサムネイル１０４とサムネイル１０５を表示装置１０の表示部３６に表示し、作成した関連画像情報をサムネイルと対応づけて記憶部３４に保存する。

ステップＳ２１０の処理が終了したときの表示部３６における表示の例を図３に示す。図３において、領域１０１はサムネイル表示領域を表す。サムネイル表示領域は、ある被写体における過去及び現在の医用画像、又はそれらを元画像として加工した加工画像のサムネイルを表示する領域である。図３では本領域に、サムネイル１０３とサムネイル１０４とサムネイル１０５が表示されている。領域１０２は医用画像表示領域を表す。医用画像表示領域は、ユーザが読影対象としている医用画像又は読影の参考情報とする医用画像を表示する領域である。医用画像表示領域に医用画像を表示することにより、ユーザは表示した医用画像に対して医用画像表示装置の様々な機能が使用可能となる。例えば、本実施形態にかかる表示装置１０には、医用画像全体の拡大・縮小機能、濃度値変換機能、表示位置の平行移動機能、図形描画機能、濃度値計測機能等の機能がある。また、本実施形態にかかる表示装置１０において、表示領域はを複数の領域に分割することができ、分割した複数の領域のそれぞれに異なる医用画像を同時に表示することができる。矢印１１５は例えばマウスポインタであり、矢印の先端位置が、操作部３５によって示される入力の現在位置を表す。

ステップＳ２２０において、配置決定部４３は、図３の（Ｂ）のフローチャートに従って、ユーザが操作部３５を用いて選択したサムネイルに対応づいた医用画像の医用画像表示領域上での配置を決定する。

ステップＳ２２１において、ユーザが選択したサムネイルと対応する医用画像を、医用画像表示領域に表示する医用画像として指定する。

ステップＳ２２２において、ユーザが選択したサムネイルについて、ステップＳ２１０で作成された関連画像情報を取得する。すなわち、ステップＳ２２１で指定された医用画像と対応する関連画像情報を取得する。

ステップＳ２２３において、医用画像表示領域の表示形態をステップＳ２２２で取得された関連画像情報に応じて設定する。ここで、表示形態は関連画像情報と表示形態の対応を予め設定しておき対応する表示形態を設定する。関連画像情報と表示形態の対応の例を図７に示す。図７のＬは医用画像表示領域を分割する際の行数（Ｌ≧１）、Ｃは医用画像表示領域を分割する際の列数（Ｃ≧１）を示す。この対応関係は、予めユーザが設定しておくものとし、ユーザが医用画像表示システムを使用中に当該対応関係を適宜変更できるようにしてもよい。図４は医用画像表示領域が複数の領域に分割された例を示す図であり、Ｌ＝２、Ｃ＝２に設定された場合を示す。この場合、医用画像表示領域１０２が領域１０８、１０９、１１０、１１１の４つの領域に分割されるように表示形態を設定する。別の表示形態の設定方法では、分割された各領域の大きさも同時に変更する。例えば、図４の（Ｂ）に示すように、領域１０８のサイズを大きくし、領域１１１のサイズを小さくするように設定する。

ステップＳ２２４において、ステップＳ２２３で設定された表示形態とステップＳ２２２で取得した関連画像情報に応じて、当該サムネイルに対応する医用画像の表示位置を決定する。表示位置は、表示形態と関連画像情報と表示位置との対応を予め設定しておき、対応する表示位置に決定される。表示形態と関連画像情報と表示位置の対応の例を図８に示す。図８のＲｎは行番号を示しＣｎは列番号を示す。例えば、（Ｒｎ、Ｃｎ）が（１、２）である場合は、医用画像表示領域の１行目の２列目の位置の領域、例えば図４における領域１１０を示す。また、図中の等号は、左辺で指定した位置の領域に右辺で示した種類の画像を表示することを示す。ただし、右辺のＮＵＬＬは、左辺でした位置の領域に何も表示しないことを示す。この対応関係は、予めユーザが設定しておくものとする。例えば、ユーザが比較読影を行いやすいように、経時差分画像の浮動画像と参照画像を左右に並べて表示する。また、解剖学的な構造の画像上の位置が同じである参照画像と経時差分画像を、上下に並べて表示する。従って、「浮動画像と参照画像は、同一の行に配置」、「参照画像と経時差分画像は、同一の列に配置」という条件を満たす対応関係を設定しておくことが好ましい。また、ユーザが医用画像表示システムを使用中に当該対応関係を適宜変更できるようにしてもよい。すなわち、医用画像表示領域は、関連画像情報に基づいて分割され、分割された領域に医用画像が表示されるよう配置が決定される。

ここで、図８中に記載されている浮動画像、参照画像、ベース画像、およびレイヤ画像について説明する。加工画像として経時差分画像を作成する際に、変形位置合わせ処理の位置合わせの基準となる医用画像を参照画像、参照画像に向かって位置合わせを行う医用画像を浮動画像と称する。また、加工画像として重畳画像を作成する際に、αプレーンを用いた重ね合わせ処理の基礎となる医用画像をベース画像、ベース画像に重ね合わせる医用画像をレイヤ画像と称する。本実施例においては、経時差分画像Ｍ１０５の参照画像は医用画像Ｍ１０４であり、浮動画像は医用画像Ｍ１０３である。

ステップＳ２２０の処理を具体的に説明する。ユーザがサムネイル１０５を選択した場合について説明する。まず、ステップＳ２２１において、画像指定部４２はサムネイル１０５を選択するユーザの操作入力を受けて、医用画像表示領域に表示する医用画像として医用画像Ｍ１０５を指定する。ステップＳ２２２において配置決定部４３はサムネイル１０５に対応付けられた関連画像情報を取得する。つまり、サムネイル対応画像数情報として「３」、サムネイル対応画像種別情報として「経時差分画像」を取得する。ステップＳ２２３において、図７を参照し、当該関連画像情報に対応する表示形態Ｒ＝２、Ｃ＝２に基づき、表示形態を設定する。つまり、医用画像表示領域１０２を行数２、列数２となるように分割する。ステップＳ２２４において、図８に示す対応関係をもとに、Ｒｎ＝１、Ｃｎ＝１の位置、すなわち領域１０８に、浮動画像である元画像を配置することを決定する。また、Ｒｎ＝１、Ｃｎ＝２の位置、すなわち領域１１０に、参照画像である元画像を配置し、Ｒｎ＝２、Ｃｎ＝２の位置、すなわち領域１１１に経時差分画像を配置することを決定する。このように、医用画像表示領域は行数と列数と基づいて格子状に分割され、分割された領域に医用画像が配置される。

ユーザが加工画像ではない医用画像を選択した場合、たとえばサムネイル１０４を選択した場合、配置決定部４３はサムネイル１０４に対応付けられた関連画像情報を取得する。つまり、サムネイル対応画像数情報として「１」、サムネイル対応画像種別情報として「ＮＵＬＬ」を取得する。このとき、サムネイル対応画像数情報が「１」であるので、医用画像表示領域１０２を分割しないで、医用画像表示領域１０２に医用画像Ｍ１０４を配置することを決定する。

ステップＳ２３０において、表示制御部４４は、ステップＳ２２０で指定された医用画像に対応した医用画像を、サムネイル対応画像記憶情報に基づいてデータベース２２又は記憶部３４から読み出す。そして、読み出した医用画像を、ステップＳ２２０で決定された配置に従って医用画像表示領域に配置し、表示部３６に表示する。

ステップＳ２３０の処理を具体的に説明する。図５はＳ２３０に係る処理を実行した後の表示の例、を示す。まず、表示制御部４４は、データベース２２より経時差分画像Ｍ１０５と医用画像Ｍ１０３と医用画像Ｍ１０４を読み出す。そして、領域１０８に経時差分画像Ｍ１０５の浮動画像である医用画像Ｍ１０３を表示し、領域１１０に経時差分画像Ｍ１０５の参照画像である医用画像Ｍ１０４を表示し、領域１１１に経時差分画像Ｍ１０５を表示する。

ステップＳ２４０において、制御部３７は、ユーザから読影終了の指示があったかどうかを判定する。読影終了の指示は、例えばユーザが読影終了ボタン（不図示）をマウスでクリックすることにより行われる。読影終了の指示があった場合は、処理を終了する。読影終了の指示が入力されるまでの間は、表示部３６の表示を維持し、医用画像表示領域に表示されていない医用画像のサムネイル作成に係るユーザの操作入力があった場合にはステップＳ２１０に戻る。

以上のように、一つのサムネイルを選択することで、当該サムネイルに対応した複数の医用画像を、サムネイルに応じた表示形態で医用画像表示領域に表示できる。従って、ユーザは複数の医用画像の医用画像表示領域上の表示形態を、それぞれの医用画像について個別に指定する必要がなくなり、読影作業におけるユーザの手間が少なくなる。医用画像表示装置の表示部３６は、複数のモニタで構成される場合がある。そのような場合には医用画像表示領域を広く利用できるが、医用画像のそれぞれについて指定するのはユーザにとって手間のかかる操作入力であった。第一の実施形態にかかる医用画像表示装置によれば、一つのサムネイルを選択する操作入力により複数の医用画像を医用画像表示領域に表示できるので、操作入力の手間を低減することができる。

続いて、本発明の第二の実施形態について説明する。各部はローカル環境におけるソフトウェアによりそれぞれ実現されているものとする。本実施形態では、ユーザが表示したい医用画像のサムネイルを選択する前から、予め医用画像表示領域が複数の領域に分割されている場合について説明する。以下では、医用画像のサムネイルが選択される前の医用画像表示領域を選択前表示領域と称する。選択前表示領域の分割形態は既知の技術により、ユーザが所望の形態に変更することができる。また、分割された選択前表示領域のそれぞれを選択前分割領域と称する。

図９は第二の実施形態に係る医用画像表示システムのブロック図である。図１に示す本発明の第一の実施形態に係る医用画像表示システムに加えて、表示領域取得部４５を有する。表示領域取得部４５以外の各構成部の機能は、図１における各構成部の機能と同じである。表示領域取得部４５は、ユーザが選択した表示領域情報を取得し、配置決定部４３へと出力する。表示領域情報とは、ユーザが医用画像を表示するために選択した、選択前分割領域を示す情報である。すなわち、表示領域情報とは、医用画像表示領域を構成する部分領域のうち、ユーザによる選択の操作入力のあった部分領域を示す情報である。ここで部分領域とは、医用画像表示領域の分割された一つの領域でもよいし、分割された領域の複数の組合せでもよい。

図１０は第二の実施形態に係る処理を示すフローチャートであり、制御部３７がそれぞれの処理を行う。本実施形態では、図４に示すように選択前表示領域が予め、選択前分割領域１０８、１０９、１１０、１１１の４つの領域に分割されている場合について説明する。本実施形態における選択前表示領域の、分割数や各領域の大きさといった分割形態は一例であり、どのような分割形態であっても適用できる。

ステップＳ１０００の処理は、第一の実施形態におけるステップＳ２００の処理と同様である。以下では、ステップＳ１０００において医用画像Ｍ１０３と医用画像Ｍ１０４に対して、変形位置合わせ処理と画像間差分処理を行い、経時差分画像Ｍ１０５が作成されたとする。

ステップＳ１０１０の処理は、第一の実施形態におけるステップＳ２１０の処理と同様である。医用画像Ｍ１０３のサムネイル１０３、医用画像Ｍ１０４のサムネイル１０４、経時差分画像Ｍ１０５のサムネイル１０５を作成し、前述のサムネイル規則に基づいて各サムネイルと医用画像を対応付ける。また、各サムネイルの関連画像情報を前述の五つの情報を取得して作成する。各サムネイルをサムネイル表示領域に表示し、各サムネイルとそれぞれの関連画像情報を対応づけて記憶部３４に保存する。

ステップＳ１０２０において、配置決定部４３は、ユーザが選択したサムネイルに対応づいた医用画像の、ユーザが選択した選択前分割領域上での配置を決定する。なお、ステップＳ１０２０の処理は図１０の（Ｂ）のフローチャートに従って行われる、
ステップＳ１０２１において、ユーザが選択したサムネイルと対応する医用画像を、医用画像表示領域に表示する医用画像として指定する。

ステップＳ１０２２において、ユーザが選択したサムネイルについて、ステップＳ１０１０で作成された関連画像情報を取得する。すなわち、ステップＳ１０２１で指定された医用画像と対応する関連画像情報を取得する。

ステップＳ１０２３において、表示領域取得部４５はユーザが選択した表示領域情報を取得する。以下では、表示領域情報として、選択前分割領域１１０が取得されたとする。なお、ユーザによる選択前分割領域の選択は既知の方法により行われる。例えば、ユーザがステップＳ１０２０で選択したサムネイルを、所望の選択前分割領域にドラッグ＆ドロップすることで行われる。具体的には、ユーザが、サムネイル１０５上にマウスポインタ１１５を移動してからマウスのボタンを押下し、押下したまま選択前分割領域１１０上にマウスポインタ１１５を移動する。そして、選択前分割領域１１０上にマウスポインタ１１５が存在する状態でボタンを離すことで行われる。別の例として、ユーザがサムネイルを選択し、選択の操作入力が行われた当該サムネイル上の位置に対応する位置の選択前分割領域に表示させる。

ステップＳ１０２４において、ステップＳ１０２３で取得された表示領域情報に対応する選択前分割領域の表示形態を、ステップＳ１０２２で取得された関連画像情報に応じて設定する。表示形態は、例えば図７に示すような関連画像情報と表示形態の対応を予め設定しておき、対応する表示形態に設定する。

ステップＳ１０２５において、ステップＳ１０２４で設定された表示形態とステップＳ１０２２で取得した関連画像情報に応じて、当該サムネイルに対応する医用画像の表示位置を決定する。ここで決定される表示位置は、ステップＳ１０２３で取得した表示領域情報に対応する選択前分割領域上での表示位置である。また、例えば図８に示すように、表示形態と関連画像情報と表示位置の対応を予め設定しておき、対応する表示位置に表示させる。

ステップＳ１０２０の処理を具体的に説明する。ユーザがサムネイル１０５を選択した場合について説明する。図１１は、一つの選択前分割領域が複数の領域に分割された例を示す図であり、ステップＳ１０２０の処理が終了した後の表示部３６の表示の例である。まず、ステップＳ１０２１において、画像指定部４２はサムネイル１０５を選択するユーザの操作入力を受けて、医用画像表示領域に表示する医用画像として医用画像Ｍ１０５を指定する。ステップＳ１０２２において、配置決定部４３はサムネイル１０５に対応付けられた関連画像情報を取得する。すなわち、サムネイル対応画像数情報は「３」であり、サムネイル対応画像種別情報は「経時差分画像」である。ここで図７を参照すると、対応する表示形態はＲ＝２、Ｃ＝２となる。つまり、ステップＳ１０２３で選択された選択前分割領域１１０を行数２、列数２となるように分割する。具体的には、選択前分割領域１１０を領域１１６、１１７、１１８、１１９の４つの領域に分割するように表示形態を設定する。次に，配置決定部４３はサムネイル１０５の関連画像情報と、選択前分割領域１１０の表示形態がＲ＝２、Ｃ＝２で示される形態であることを取得する。そして、図８に示す対応関係をもとに、選択前分割領域１１０上でのＲｎ＝１、Ｃｎ＝１の位置、すなわち領域１１６に浮動画像である元画像を表示することを決定する。また、選択前分割領域１１０上でのＲｎ＝１、Ｃｎ＝２の位置、すなわち領域１１８に参照画像である元画像を表示することを決定する。さらに、選択前分割領域１１０上でのＲｎ＝２、Ｃｎ＝２の位置、すなわち領域１１９に経時差分画像を表示することを決定する。

ユーザが加工画像ではない医用画像を選択した場合、たとえばサムネイル１０４を選択した場合、配置決定部４３はサムネイル１０４に対応付けられた関連画像情報を取得する。つまり、サムネイル対応画像数情報として「１」、サムネイル対応画像種別情報として「ＮＵＬＬ」を取得する。このとき、サムネイル対応画像数情報が「１」であるので、選択前分割領域１１０を分割しないで、選択前分割領域１１０に医用画像Ｍ１０４を配置することを決定する。

ステップＳ１０３０において、表示制御部４４はステップＳ１０２０で指定された医用画像に対応する全ての医用画像を、サムネイル対応画像記憶情報に基づいてデータベース２２又は記憶部３４から読み出す。そして、読み出した全ての医用画像を、ステップＳ１０２０で決定された配置に従って医用画像表示領域に配置し、表示部３６に表示する。ステップＳ１０３０の処理が終了した後の表示部３６の表示の例を図１２に示す。まず、表示制御部４４は、データベース２２より経時差分画像Ｍ１０５と医用画像Ｍ１０３と医用画像Ｍ１０４を読み出す。そして、選択前分割領域１１０の領域１１６に経時差分画像Ｍ１０５の浮動画像である医用画像Ｍ１０３を表示し、領域１１８に経時差分画像Ｍ１０５の参照画像である医用画像Ｍ１０４を表示する。そして、領域１１９に経時差分画像Ｍ１０５を表示する。

ステップＳ１０４０における処理は、第一の実施形態におけるステップＳ２４０の処理と同様である。読影終了の指示があった場合は、処理を終了する。読影終了の指示が入力されるまでの間は、表示部３６の表示を維持し、医用画像表示領域に表示されていない医用画像のサムネイル作成に係るユーザの操作入力があった場合にはステップＳ１０１０に戻る。

第二の実施形態のように、医用画像表示領域が複数の領域に分割されており、一つの選択前分割領域をさらに複数の領域に分割して医用画像を表示する場合には以下のような課題が生じるおそれがある。医用画像を表示する領域の大きさが小さくなり、ユーザが医用画像を観察しにくくなる場合が考えられる。このような課題は、例えば各領域を拡大して表示させることで解決できる。具体的には、図１２の選択前分割領域１１０の領域１１９に対して、操作部３５を介してユーザが拡大を指示する。ここでいう拡大の指示は、操作部３５の一例であるマウスを用いて行われる左ダブルクリックや右クリックのようなユーザにとって簡易な入力方法で行われることが好ましい。別の例では、操作部３５の一例であるキーボードと組み合わせた入力方法で行われる。例えば、Ｓｈｉｆｔボタンを押下したままクリックする。ユーザが領域１１９に対して拡大の指示を行った後の表示部３６の表示の例を図１３に示す。領域１１９に表示されている医用画像、すなわち本実施例経時差分画像Ｍ１０５が、その領域が属する選択前分割領域、すなわち本実施例選択前分割領域１１０の全体に表示される。なお、このような操作を行った場合は、拡大を指示した以外の領域、すなわち本実施例領域１１６、１１７、１１８に表示されている医用画像は、表示部３６には表示されない。但し、記憶部３４にユーザが拡大を指示する前の選択前分割領域の配置を記憶しておく。これにより、拡大された領域に対して縮小の指示が入力された場合に、選択前分割領域の配置を拡大の指示が入力される前の状態に戻すことができる。縮小の指示は、マウスを用いて行われる右ダブルクリックやマウスホイールのクリックのようなユーザにとって簡易な入力方法で行われることが好ましい。別の例では、キーボードと組み合わせた入力方法で行われる。例えば、Ｃｔｒｌボタンを押下したままクリックする。拡大の指示の入力方法と縮小の指示の入力方法は、異なっていることが好ましい。たとえば、図１２に示す領域１１９に対して左ダブルクリックの操作を行って経時差分画像Ｍ１０５を拡大させ、図１３の選択前分割領域１１０に対して右ダブルクリックの操作を行って図１２の画面レイアウトに戻す。これにより、表示部３６上で表示サイズが小さい領域を容易に拡大することができ、拡大前の状態に容易に戻すことができるので、医用画像を観察しやすくなる。

別の例では、選択前分割領域１１０の配置を保ったまま、選択前分割領域１１０全体を拡大する。具体的には、図１２の選択前分割領域１１０に対して、操作部３５を介してユーザが拡大を指示する。拡大の指示は、マウスを用いて行われる左ダブルクリックや右クリックなど、ユーザにとって簡易な入力方法で行われることが好ましい。別の例では、キーボードと組み合わせた入力方法で行われる。例えば、Ａｌｔボタンを押下したままクリックする。これらの入力方法は、前述した選択前分割領域１１０内の各領域を拡大又は縮小するために行われた入力方法とは異なる入力方法であることが好ましい。本実施例ここでは、図１２の選択前表示領域１１０において、キーボードでＡｌｔボタンを押下したままマウスの左ダブルクリックの操作を行うと、選択前分割領域１１０の配置を保ったまま選択前分割領域１１０全体を拡大する処理が行われることとする。この処理が実行された後の表示部３６の表示の例を図１４に示す。つまり、選択前部分領域１１０の全体がその配置を保ったまま、医用画像表示領域１０２の全体に表示される。図１２の画面レイアウトに戻す縮小の操作は、例えばキーボードでＡｌｔボタンを押下したままマウスの右ダブルクリックする操作により行う。選択前分割領域１１０全体の拡大又は縮小と、前述した選択前分割領域内の各領域の拡大又は縮小の指示のために行われた入力方法を同一にして、入力位置を変えることとしてもよい。例えば、図１２において、選択前分割領域１１０の各領域で医用画像が表示されている領域（ここでは、領域１１６、１１８、１１９）に対して拡大の指示が行われた場合は、その領域に対応する医用画像を拡大表示する。そして、選択前分割領域１１０の各領域で医用画像が表示されていない領域（ここでは、領域１１７）に対して拡大の指示が行われた場合は、選択前分割領域１１０全体を拡大表示する。拡大の指示がマウスの左クリックにより与えられる場合では、領域１１９に対してマウスの左ダブルクリックの操作を行うと、図１３のように領域１１９に表示されている医用画像が選択前分割領域１１０の全体に表示される。領域１１７に対してマウスの左ダブルクリックの操作を行うと、図１４のように選択前分割領域１１０の全体が医用画像表示領域１０２の全体に表示される。また別の例では、選択前分割領域の辺縁付近に対して拡大の指示を行った場合に、選択前分割領域１１０の全体が拡大されるようにしてもよい。

これにより、読影に適した表示形態を保持したまま、必要に応じて医用画像の拡大と縮小を容易に行うことができ、医用画像の観察が容易になる。

さらに別の例では、一つの選択前分割領域をさらに複数の領域に分割して医用画像を表示しており、当該医用画像の配置を維持したまま、拡大の操作入力があった医用画像を、他の医用画像が表示されていない選択前分割領域に拡大表示する。具体的には、図１２の選択前分割領域１１０の領域１１９に対して、操作部３５を介してユーザが拡大を指示する。このとき領域１０８には医用画像が表示されていない。領域１１６、１１８、１１９の医用画像の配置や内容を変更せず、領域１１９に表示されている経時差分画像Ｍ１０５を領域１０８全体に表示させる。拡大の指示と縮小の指示は、前述の操作入力の方法とは異なっていることが好ましい。これにより、比較対象となる医用画像を全て表示したまま、より詳細に観察したい医用画像を拡大することができ、医用画像の観察が容易になる。

以上のように、本発明の第二の実施形態に係る医用画像表示装置によれば、一つのサムネイルと一つの選択前分割領域を選択することで、当該サムネイルに対応した複数の医用画像をサムネイルに応じた表示形態で任意の選択前分割領域に表示できる。従って、読影作業におけるユーザの手間が少なくなる。

続いて、本発明の第三の実施形態について説明する。本実施形態では、選択されたサムネイルに対応する医用画像を表示する選択前表示領域に、別の医用画像が表示されている場合について説明する。

図１５は本発明の第三の実施形態に係る医用画像表示システムのブロック図である。図９に示す第二の実施形態に係る医用画像表示システムに加えて、表示画像情報取得部４６を有する。表示画像情報取得部４６以外の各構成部の機能は、図１及び図９における各構成部の機能と同じである。表示画像情報取得部４６は、表示領域取得部４５で取得した表示領域情報に対応する選択前分割領域に表示されている医用画像の情報（以下、表示済画像情報と称する）を取得し、配置決定部４３へ出力する。すなわち、表示画像情報取得部４６は、表示済画像情報を取得する表示取得手段として機能する。ここで、表示済画像情報とは以下の二つの情報を含む。第一の情報は、当該選択前分割領域に表示されている医用画像の種別を示す情報（以下、表示済画像種別情報と称す）である。ここで、当該選択前分割領域に表示されている医用画像の中に加工画像が含まれている場合は、表示済画像種別情報を当該加工画像の加工画像種別情報とする。当該選択前分割領域に表示されている医用画像の中に加工画像が含まれていない場合は、表示済画像種別情報をＮＵＬＬとする。第二の情報は、表示領域情報に対応する選択前分割領域に表示されている全ての医用画像の記憶場所を示す情報（以下、表示済画像記憶場所情報）である。これらの情報は、医用画像が当該選択前分割領域に表示される際に、記憶部３４又はＲＡＭ３３に各選択前分割領域と対応づけて保存されているものとする。なお、ここで示した表示済画像情報は一例であり、対応する医用画像などから取得できる情報であれば、どのような情報でもよい。また、各部はローカル環境におけるソフトウェアによりそれぞれ実現されているものとする。

図１６は第三の実施形態に係る処理を示すフローチャートであり、制御部３７がそれぞれの処理を行う。

ステップＳ１６００、ステップＳ１６１０の処理は、第１の実施形態におけるステップＳ２００、ステップＳ２１０の処理と同様である。図１７は、ステップＳ１６１０までの処理が終了した後の表示部３６の表示の例を示す図である。図１７において、サムネイル１０３はある被写体において２０２０年１１月１１日にＣＴ装置で撮影された医用画像Ｍ１０３のサムネイルである。サムネイル１０４は同一の被写体において２０２１年１１月１１日に撮影された医用画像Ｍ１０４のサムネイルである。サムネイル１２０は同一の被写体において２０２２年１１月１１日に撮影された医用画像Ｍ１２０のサムネイルである。ここでも、本実施例サムネイル規則を第一の実施形態と同様のサムネイル規則とする。つまり、サムネイル１０３は医用画像Ｍ１０３と対応付け、サムネイル１０４は医用画像Ｍ１０４と対応付け、サムネイル１２０は医用画像Ｍ１２０と対応付ける。また、サムネイル１０５は医用画像Ｍ１０３と医用画像Ｍ１０４に対して、既知の変形位置合わせ処理及び画像間差分処理を行い作成された経時差分画像Ｍ１０５のサムネイルである。従って、サムネイル１０５には加工画像として経時差分画像Ｍ１０５と、浮動画像として医用画像Ｍ１０３と、参照画像として医用画像Ｍ１０４の３つの医用画像を対応付ける。サムネイル１２１は医用画像Ｍ１２０と医用画像Ｍ１０４に対して、既知の変形位置合わせ処理及び画像間差分処理を行い作成された経時差分画像Ｍ１２１のサムネイルである。従って、サムネイル１２１には、加工画像として経時差分画像Ｍ１２１と、浮動画像として医用画像Ｍ１０４と、参照画像として医用画像Ｍ１２０の３つの医用画像を対応付ける。さらに、サムネイル１２２は医用画像Ｍ１２０と医用画像Ｍ１０３に対して、既知の変形位置合わせ処理及び画像間差分処理を行い作成された経時差分画像Ｍ１２２のサムネイルとする。従って、サムネイル１２２には、加工画像として経時差分画像Ｍ１２２と、浮動画像として医用画像Ｍ１０３、参照画像として医用画像Ｍ１２０の３つの医用画像を対応付ける。

また、図１７に示すように選択前表示領域が選択前分割領域１２３と選択前分割領域１２４の２つの領域に分割されている場合について説明する。選択前分割領域１２３には何も表示されておらず、選択前分割領域１２４にはサムネイル１０５に対応する医用画像が表示されている状態である。ここで、選択前分割領域１２４における表示は、第二の実施形態で述べた処理により行われる。つまり、領域１２５には医用画像Ｍ１０３が表示され、領域１２７には医用画像Ｍ１０４が表示され、領域１２８には経時差分画像Ｍ１０５が表示されている。本実施形態におけるサムネイルやそれに対応付いている医用画像の種類や選択前表示領域の分割形態は一例であり、本発明はこれに限定されない。

ステップＳ１６２０において、配置決定部４３はユーザが選択したサムネイルに対応づいた医用画像の、医用画像表示領域上での配置を決定する。なお、ステップＳ１６２０の処理は、図１６（Ｂ）のフローチャートに従って行われる。

ステップＳ１６２１において、ユーザが選択したサムネイルと対応する医用画像を、医用画像表示領域に表示する医用画像として指定する。

ステップＳ１６２２において、ユーザが選択したサムネイルについて、ステップＳ１０１０で作成された関連画像情報を取得する。すなわち、ステップＳ１０２１で指定された医用画像と対応する関連画像情報を取得する。

ステップＳ１６２３において表示領域取得部４５は、ユーザが選択したサムネイルに対応する医用画像を表示する表示領域情報を取得する。

ステップＳ１６２４において、表示画像情報取得部４６はステップＳ１６２３で取得した表示領域情報に対応する選択前分割領域に表示されている医用画像の表示済画像情報を取得する。

ステップＳ１６２５において、ステップＳ１６２３で取得した表示領域情報に対応する選択前分割領域の表示形態を、ステップＳ１６２２で取得した関連画像情報とステップＳ１６２４で取得した表示済画像情報に応じて変更する。ここで、関連画像情報と表示済画像情報が特定の条件（以下、特定条件と称する）を満たさない場合には、第二の実施形態と同様に関連画像情報のみに応じて、当該選択前分割領域の表示形態を設定する。関連画像情報と表示済画像情報が特定条件を満たす場合には、関連画像情報と表示済画像情報の両方に基づいて当該選択前分割領域の表示形態を設定する。なお、特定条件は予め設定しておく。特定条件とは、例えば「サムネイル対応画像種別情報と表示済画像種別情報が同一」かつ「関連画像情報に対応した医用画像と表示済画像情報に対応した医用画像の少なくとも一つが同一」という条件である。特定条件は、ユーザが医用画像表示システムを使用中に適宜変更できるようにしてもよい。関連画像情報と表示済画像情報が特定条件を満たす場合の表示形態は、予め設定しておくこととする。図１９は、特定条件下における加工画像種別情報と表示形態の対応の例を示す図である。

ステップＳ１６２６において、配置決定部４３は、ステップＳ１６２５で設定された表示形態とステップＳ１６２２で取得した関連画像情報とステップＳ１６２４で取得した表示済画像情報とに応じて決定する。ここで決定される表示位置は、ステップＳ１６２３で取得した表示領域情報に対応する選択前分割領域上での表示位置である。関連画像情報と表示済画像情報がステップＳ１６２５における特定条件を満たさなかった場合には、第２の実施形態と同様に予め設定された対応関係に応じて表示位置を決定する。特定条件を満たした場合には、例えば図２０に示すように、サムネイル対応画像種別情報と表示位置の対応を予め設定しておき対応する表示位置にする。図２０は特定条件下における加工画像種別情報と表示位置の対応の例を示す図である。この対応関係は、予め設定しておくものとする。例えば、加工画像が経時差分画像の場合において、解剖学的な構造の画像上の位置が同じである参照画像と該参照画像に対応する経時差分画像は、上下に並べて表示する。従って、「参照画像と該参照画像に対応する全ての経時差分画像は同一の列又は行に配置」という条件を満たす対応関係を設定しておくことが好ましい。また、ユーザが観察しやすいように、複数の経時差分画像を作成した際には、浮動画像が同一である経時差分画像は、左右に並べて表示する。従って、「浮動画像が同一である全ての経時差分画像は同一の列又は行に配置」という条件を満たす対応関係を設定しておくことが好ましい。別の観点では、ユーザが比較対象となる経時差分画像を観察しやすいように、複数の経時差分画像を作成した際には、浮動画像が異なる経時差分画像は、一列に並べて表示しない。従って、「浮動画像が異なる全ての経時差分画像は異なる列又は行に配置」という条件を満たす対応関係を設定しておくことが好ましい。また別の例として、加工画像がＭＩＰ画像又はＭＩｎｉＰ画像の場合において、元画像が同一であるＭＩＰ画像又はＭＩｎｉＰ画像は、左右に並べて表示することがある。従って、「元画像が同一である全てのＭＩＰ画像又はＭＩｎｉＰ画像は同一の列又は行に配置」という条件を満たす対応関係を設定しておくことが好ましい。また別の例として、加工画像が重畳画像の場合において、ユーザが観察しやすいように、レイヤ画像と該レイヤ画像に対応する重畳画像は、上下に並べて表示する。従って、「レイヤ画像と該レイヤ画像に対応する全ての重畳画像は同一の列又は行に配置」という条件を満たす対応関係を設定しておくことが好ましい。また、ユーザが観察しやすいように、複数の重畳画像を作成した際には、ベース画像が同一である重畳画像は、左右に並べて表示する。従って、「ベース画像が同一である全ての重畳画像は同一の列又は行に配置」という条件を満たす対応関係を設定しておくことが好ましい。また、ユーザが観察しやすいように、複数の重畳画像を作成した際には、ベース画像が異なる重畳画像は、一列に並べて表示しない。従って、「ベース画像が異なる全ての重畳画像は異なる列又は行に配置」という条件を満たす対応関係を設定しておくことが好ましい。もちろん、前述したサムネイル対応画像種別情報と表示位置との対応関係は一例であり、本発明はこの例に限定されない。また、ユーザが医用画像表示システムを使用中に当該対応関係を適宜変更できるようにしてもよい。

ステップＳ１６２０の処理を具体的に説明する。以下では、ユーザがサムネイル１２１を選択したとする。まず、ステップＳ１６２１において、画像指定部４２はサムネイル１２１を選択するユーザの操作入力を受けて、医用画像表示領域に表示する医用画像として医用画像Ｍ１２１を指定する。ステップＳ１６２２で、サムネイル１２１の関連画像情報として以下の情報を取得する。サムネイル対応画像数情報は「３」、サムネイル対応画像種別情報は「経時差分画像」である。さらにサムネイル対応画像記憶情報として、経時差分画像Ｍ１２１と医用画像Ｍ１０４と医用画像Ｍ１２０の記憶部３４における保存先パスを取得する。ステップＳ１６２３で、ユーザが表示領域として選択前分割領域１２４が選択されたとし、表示領域取得部４５は表示領域情報として選択前分割領域１２４を取得する。図１７の例では、選択前分割領域１２４において，領域１２５には医用画像Ｍ１０３が表示され、領域１２７には医用画像Ｍ１０４が表示され、領域１２８には経時差分画像Ｍ１０５が表示されている。ステップＳ１６２４で、経時差分画像Ｍ１０５は加工画像であるので、表示済画像種別情報として「経時差分画像」を取得する。さらに表示済画像記憶場所情報として、経時差分画像Ｍ１０５と医用画像Ｍ１０３と医用画像Ｍ１０４の保存先パスを取得する。ここで、特定条件を前述の「サムネイル対応画像種別情報と表示済画像種別情報が同一」かつ「関連画像情報に対応した医用画像と表示済画像情報に対応した医用画像の少なくとも一つが同一」とする。本実施例では、サムネイル対応画像種別情報と表示済画像種別情報の両方が「経時差分画像」で同一である。また、関連画像情報に対応した経時差分画像Ｍ１２１の浮動画像である医用画像Ｍ１０４と、表示済画像情報に対応した経時差分画像Ｍ１０５の参照画像である医用画像Ｍ１０４が同一である。従って、本実施例は、前述の特定条件を満たす。次に、図１９を参照すると、サムネイル対応画像種別情報が「経時差分画像」なので、行数（Ｒ）は「各参照画像に対応した異なる経時差分画像の数の最大数＋１」の数となる。また、列数（Ｃ）は「異なる元画像の合計数」となる。まず、Ｒについて説明する。本実施例ではユーザが選択したサムネイルに対応する医用画像とユーザが選択した選択前分割領域に表示されている医用画像の全てにおいて、参照画像は以下の二つである。つまり、経時差分画像Ｍ１２１の参照画像である医用画像Ｍ１２０と、経時差分画像Ｍ１０５の参照画像である医用画像Ｍ１０４である。そして、医用画像Ｍ１２０における経時差分画像は経時差分画像Ｍ１２１の一つのみであり、医用画像Ｍ１０４における経時差分画像は経時差分画像Ｍ１０５の一つのみである。従って、「各参照画像に対応した異なる経時差分画像の数の最大数」は「１」となるので、Ｒ＝２となる。次にＣについて説明する。本実施例ではユーザが選択したサムネイルに対応する医用画像とユーザが選択した選択前分割領域に表示されている医用画像の全てにおいて、元画像は以下の三つである。つまり、経時差分画像Ｍ１２１の浮動画像である医用画像Ｍ１０４と参照画像である医用画像Ｍ１２０と、経時差分画像Ｍ１０５の浮動画像である医用画像Ｍ１０３と参照画像である医用画像Ｍ１０４である。つまり、異なる元画像は医用画像Ｍ１０４と医用画像Ｍ１２０と医用画像Ｍ１０３の３つとなるので、Ｃ＝３となる。図１８はステップＳ１６３０までの処理が終わった後の表示部３６の表示の例を示す図である。例えば図１８に示されるように、選択前分割領域１２４は、Ｒ＝２、Ｃ＝３に従って、領域１２９、１３０、１３１、１３２、１３３。１３４の６つの領域に分割される。ステップＳ１６２６で、図２０を参照し、サムネイル対応画像種別情報が「経時差分画像」に対応する表示位置を決定する。まず，条件ａ．に従い、Ｒｎ＝１の領域に元画像を配置する。図１８に基づいて説明すると、領域１２９、１３１、１３３にそれぞれ医用画像Ｍ１２０、Ｍ１０４、Ｍ１０３を配置することを決定する。次に条件ｂ．に従い、元画像の撮影日を確認する。本実施例における撮影日は、医用画像Ｍ１０３、医用画像Ｍ１０４、医用画像Ｍ１２０の順である。従って、領域１２９に医用画像Ｍ１０３を表示することを決定し、領域１３１に医用画像Ｍ１０４を表示することを決定し、領域１３３に医用画像Ｍ１２０を表示することを決定する。次に表示位置ｃ．に従い、Ｒｎ＝２の領域に経時差分画像を配置することを決定する。図１８に基づいて説明すると、領域１３０、１３２、１３４にそれぞれ経時差分画像１０５、Ｍ１２１を配置することを決定する。次に表示位置ｄ．に従い、経時差分画像Ｍ１０５の参照画像は医用画像Ｍ１０４であるので、経時差分画像Ｍ１０５と医用画像Ｍ１０４は同一の列番号、すなわちＣｎ＝２の列に配置することを決定する。また、経時差分画像Ｍ１２１の参照画像は医用画像Ｍ１２０であるので、経時差分画像Ｍ１２１と医用画像Ｍ１２０は同一の列番号、すなわちＣｎ＝３の列に配置することを決定する。最後に、条件ｅ．に従い各経時差分画像を表示する行番号を決定する。本実施例では、同一の列番号に複数の経時差分画像が配置されることはないので、領域１３２に経時差分画像Ｍ１０５を表示することを決定し、領域１３４に経時差分画像Ｍ１２１を表示することを決定する。もちろん、ここで示した表示位置は一例であり、本発明はこれに限定されない。

ステップＳ１６３０において、ステップＳ１６２２で取得した関連画像情報に対応した医用画像を、サムネイル対応画像記憶情報に基づいて通信ＩＦ３１とＬＡＮ２１を介してデータベース２２又は記憶部３４から読み出す。また、ステップＳ１６２４で取得した表示済画像情報に対応した医用画像を、表示済画像記憶場所情報に基づいて通信ＩＦ３１とＬＡＮ２１を介してデータベース２２又は記憶部３４から読み出す。そして、読み出した全ての医用画像を、ステップＳ１６２０で決定された配置に従って医用画像表示領域に配置し、表示部３６に表示する。

ステップＳ１６３０の処理を具体的に説明する。まず、表示制御部４４は、データベース２２より経時差分画像Ｍ１２１と浮動画像である医用画像Ｍ１０４と参照画像である医用画像Ｍ１２０を読み出す。さらに、経時差分画像Ｍ１０５と浮動画像である医用画像Ｍ１０３と参照画像である医用画像Ｍ１０４を読み出す。ここで、医用画像Ｍ１０４は共通であるので、読み出しは一度でよい。そして、表示制御部４４は、選択前分割領域１２４の領域１２９に医用画像Ｍ１０３を表示し、領域１３１に医用画像Ｍ１０４を表示し、領域１３３に医用画像Ｍ１２０を表示する。さらに、表示制御部４４は、領域１３２に経時差分画像Ｍ１０５を表示し、領域１３４に経時差分画像Ｍ１２１を表示する。

ステップＳ１６４０における処理は、第一の実施形態におけるステップＳ２４０の処理と同様である。読影終了の指示があった場合は、処理を終了する。読影終了の指示が入力されるまでの間は、表示部３６の表示を維持し、医用画像表示領域に表示されていない医用画像のサムネイル作成に係るユーザの操作入力があった場合にはステップＳ１６１０に戻る。

前述の例において、Ｓ１６３０までの処理が終了すると、表示部３６の表示は図１８に示される表示である。このとき、医用画像のサムネイルを選択するユーザの操作入力があり、ステップＳ１６１０に戻る場合について説明する。たとえば、ユーザがサムネイル１２２を選択し、当該サムネイルに対応する医用画像の表示領域として選択前分割領域１２４を選択したとする。この場合、ステップＳ１６２２において、サムネイル対応画像数情報として「３」、サムネイル対応画像種別情報として「経時差分画像」を取得する。さらにサムネイル対応画像記憶情報として、経時差分画像Ｍ１２２と浮動画像である医用画像Ｍ１０３と参照画像である医用画像Ｍ１２０の記憶部３４における保存先パスを取得する。次に、ステップＳ１６２３において、表示領域情報として選択前分割領域１２４を取得する。次にステップＳ１６２４において、表示済画像種別情報として「経時差分画像」を取得する。さらに表示済画像記憶場所情報として、経時差分画像Ｍ１０５と経時差分画像Ｍ１２１と医用画像Ｍ１０３と医用画像Ｍ１０４と医用画像Ｍ１２０の記憶部３４における保存先パスを取得する。次にステップＳ１６２５において、図１９を参照して、選択前分割領域１２４をＲ＝３、Ｃ＝３に分割する。つまり、図２１のように、選択前分割領域１２４を領域１３５〜１４３の９つの領域に分割する。次に、ステップＳ１６２６において、図２０を参照し各医用画像の選択前分割領域１２４上での表示位置を決定する。次に、ステップＳ１６３０において、ステップＳ１６２０で決定した配置に従って以下のように医用画像を表示する。つまり、領域１３５に医用画像Ｍ１０３を表示し、領域１３８に医用画像Ｍ１０４を表示し、領域１４１に医用画像Ｍ１２０を表示する。また、領域１３９に経時差分画像Ｍ１０５を表示し、領域１４２に経時差分画像Ｍ１２１を表示し、領域１４３に経時差分画像Ｍ１２２を表示する。

以上のように、第三の実施形態に係る医用画像表示装置によれば、一つのサムネイルと一つの選択前分割領域を選択することで、当該サムネイルと当該選択前分割領域に対応した複数の医用画像を、一つの選択前分割領域に表示できる。従って、ユーザは関連性の強い複数の医用画像の全てを一つの領域上に容易に表示することができ、ユーザは手間の少ない読影作業を行うことができる。

表示の観点では、各実施形態において以下のような機能を有する。配置決定部４３は、ユーザが医用画像表示領域に表示させる医用画像を選択するための操作入力を確定する前に、前述したような処理により配置を決定する。具体的には、操作入力に操作部３５としてマウスを用いて行ったとし、マウスポインタがサムネイル上に重なって表示されたとき、画像指定部４２は当該サムネイルが選択されたと仮定して、医用画像表示領域での配置を決定するように配置決定部４３を制御する。決定された表示は、表示制御部４４を介して表示部３６に表示される。ユーザは医用画像選択の操作入力を確定していないので、選択の操作入力を確定して表示された場合と判別可能に表示することが好ましい。例えば、選択の操作入力が確定される前の医用画像の表示は、表示制御部４４が色を薄く表示するように制御する。また別の例では、医用画像表示領域あるいは選択前表示領域を配置決定部４３が取得した行数と列数による分割の態様のみを破線で表示する。図７や図８に示されるような対応関係をユーザは予め設定しておくが、設定された対応関係に基づく配置が複数存在し得る場合、複数の配置の中から表示したい配置を選択できるようにし、ユーザの選択をもって表示する医用画像の配置を確定してもよい。

すなわち、前述した実施形態に係る医用画像表示装置および医用画像表示システムにおける、医用画像表示領域に表示させる医用画像を選択するための構成は制御部３７である。制御部３７は当該選択の操作入力が確定したことを受け付けて、表示させる医用画像を選択する。または、当該選択の操作入力が確定していなくても、操作部３５からの入力に基づいて選択され得る医用画像を判定し選択する。

上述の各実施形態における医用画像表示装置および医用画像表示システムは、単体の装置として実現してもよいし、複数の情報処理装置を含む装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。この場合、当該共通のサーバ装置は実施形態に係る医用画像表示装置に対応し、当該サーバ群は実施形態に係る医用画像表示システムに対応する。情報システムあるいは医用画像表示システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

上述の各実施形態における医用画像表示装置および医用画像表示システムをサーバ装置あるいはサーバ群として実現する場合には、表示制御部４４は配置決定手段により決定された配置を表示可能に出力する表示出力手段として機能する。

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

１０ 医用画像表示装置
３６ 表示部
３７ 制御部
４０ 加工画像作成部
４１ 関連画像情報作成部（取得手段）
４２ 画像指定部（指定手段）
４３ 配置決定部（配置決定手段）
４４ 表示制御部
４６ 表示画像情報取得部（表示取得手段）

Claims (8)

1. サムネイル表示領域に表示されているサムネイルを用いて、医用画像表示領域に表示する医用画像を指定する指定手段と、
   前記サムネイルに対応付いている画像が医用画像に画像処理を施した所定の加工画像であるか否かを示す情報に基づいて、前記指定手段により指定された医用画像の前記医用画像表示領域における配置を決定する配置決定手段と、
   前記指定手段により指定された医用画像が、前記所定の加工画像である場合、前記所定の加工画像の作成に用いられた医用画像に関する情報を取得し、前記配置決定手段によって決定された前記配置で前記所定の加工画像および前記取得した医用画像を表示可能に出力する表示出力手段と、を有することを特徴とする医用画像表示装置。
2. 前記配置決定手段は、前記サムネイルに対応付いている画像が前記所定の加工画像であるか否かを示す情報に基づいて前記医用画像表示領域を分割することを特徴とする請求項１に記載の医用画像表示装置。
3. 前記配置決定手段は、前記指定手段により指定された医用画像が前記所定の加工画像である場合に、前記医用画像表示領域を分割し、前記医用画像を前記分割された領域に配置することを決定するように構成されていることを特徴とする請求項２に記載の医用画像表示装置。
4. 前記配置決定手段は、前記所定の加工画像の生成に用いられた医用画像を前記分割された領域に配置することを決定するように構成されていることを特徴とする請求項３に記載の医用画像表示装置。
5. 前記配置決定手段は、前記指定手段により指定された医用画像が前記所定の加工画像ではない場合に、前記医用画像表示領域を分割しないで、該医用画像を前記医用画像表示領域に表示させるよう配置を決定するように構成されていることを特徴とする請求項２に記載の医用画像表示装置。
6. サムネイル表示領域に表示されているサムネイルを用いて、医用画像表示領域に表示する医用画像を指定する指定手段と、
   前記サムネイルに対応付いている画像が医用画像に画像処理を施した所定の加工画像であるか否かを示す情報に基づいて、前記指定手段により指定された医用画像の前記医用画像表示領域における配置を決定する配置決定手段と、
   前記指定手段により指定された医用画像が、前記所定の加工画像である場合、前記所定の加工画像の作成に用いられた医用画像に関する情報を取得し、前記配置決定手段によって決定された前記配置で前記所定の加工画像および前記取得した医用画像を表示可能に出力する表示出力手段と、を有することを特徴とする医用画像表示システム。
7. サムネイル表示領域に表示されているサムネイルを用いて、医用画像表示領域に表示する医用画像を指定する指定ステップと、
   前記サムネイルに対応付いている画像が医用画像に画像処理を施した所定の加工画像であるか否かを示す情報に基づいて、前記指定手段により指定された医用画像の前記医用画像表示領域における配置を決定する配置決定ステップと、
   を有し、
   前記指定ステップにより指定された医用画像が、前記所定の加工画像である場合、前記所定の加工画像の作成に用いられた医用画像に関する情報を取得し、前記配置決定ステップによって決定された前記配置で前記所定の加工画像および前記取得した医用画像を表示可能に出力する表示出力ステップと、を実行することを特徴とする医用画像表示方法。
8. 請求項１乃至請求項５のいずれか一項に記載の医用画像表示装置の各手段をコンピュータに実行させるためのプログラム。

Images