JP2024052409A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】簡単な操作で切断面の側方視点画像を確認することができる画像処理装置、画像処理方法、及びプログラムを提供する。【解決手段】プロセッサを備え、プロセッサは、３次元画像により示される臓器に対する切断面の設定を受け付け、３次元画像に基づくレンダリングにより生成され、かつ臓器を示す第１表示画像であって、設定された切断面の法線と交差する方向から切断面を見る側方視点が、レンダリングの視点として設定された側方視点画像を第１表示画像として出力することが可能である画像処理装置。【選択図】図１０

Description

本開示の技術は、画像処理装置、画像処理方法、及びプログラムに関する。

特許文献１には、画像誘導手術システムが記載されている。特許文献１では、仮想カメラが、周囲の解剖学的構造、及び解剖学的構造に展開されている被追跡手術用器具の仮想カメラ視野を提供するために、患者の解剖学的構造の３Ｄモデルに対して位置決めされ得る。手術用器具が非常に狭い解剖学的通路又は腔内で使用されているなどの場合、仮想カメラによって提供される視覚背景が制限され得る。更なる配置柔軟性をもたせるために、仮想カメラを提供するＩＧＳ（image-guided surgery）システムは、特定のセグメントを隠すこと、又は特定のセグメントを半透明にすることを含み得る、３Ｄモデルの異なるセグメント又は領域の可変視覚特性を定義する入力を受信する。そのようなシステムによって、仮想カメラ視野によって提供された３Ｄモデルの視野を、より関連性が低いセグメントを除去するか若しくは目立たせないようにするか、より関連性が高いセグメント（例えば、重要な患者の解剖学的構造）を表示するか若しくは強調するか、又はこれらの両方を行うように修正することができる。

特開２０２１－１６６７０６号公報

本開示の技術に係る一つの実施形態は、簡単な操作で切断面の側方視点画像を確認することができる画像処理装置、画像処理方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサは、３次元画像により示される臓器に対する切断面の設定を受け付け、３次元画像に基づくレンダリングにより生成され、かつ臓器を示す第１表示画像であって、設定された切断面の法線と交差する方向から切断面を見る側方視点が、レンダリングの視点として設定された側方視点画像を第１表示画像として出力することが可能である画像処理装置である。

本開示の技術に係る第２の態様は、３次元画像により示される臓器に対する切断面の設定を受け付けること、及び、３次元画像に基づくレンダリングにより生成され、かつ臓器を示す第１表示画像であって、設定された切断面の法線と交差する方向から切断面を見る側方視点が、レンダリングの視点として設定された側方視点画像を第１表示画像として出力することを可能とすることを含む画像処理方法である。

本開示の技術に係る第３の態様は、コンピュータに、３次元画像により示される臓器に対する切断面の設定を受け付けること、及び、３次元画像に基づくレンダリングにより生成され、かつ臓器を示す第１表示画像であって、設定された切断面の法線と交差する方向から切断面を見る側方視点が、レンダリングの視点として設定された側方視点画像を第１表示画像として出力することを可能とすることを含む処理を実行させるためのプログラムである。

医療業務支援装置の概略構成を示す概念図である。 医療業務支援装置の電気系のハードウェア構成の一例を示すブロック図である。 抽出部の処理内容の一例を示す概念図である。 表示画像生成部の処理内容の一例を示す概念図である。 表示画像生成部の処理内容の一例を示す概念図である。 切断面の指定が受け付けられる態様の一例を示す概念図である。 切断後の臓器画像が表示装置に表示される態様の一例を示す概念図である。 視点導出部及び表示画像生成部の処理内容の一例を示す概念図である。 表示画像生成部の処理内容の一例を示す概念図である。 側方視点画像及び断面画像が表示装置に表示される態様の一例を示す概念図である。 腹腔鏡を用いた手術が行われる態様の一例を示す模式図である。 側方視点画像及び断面画像が更新される態様の一例を示す概念図である。 画像処理の流れの一例を示すフローチャートである。 画像処理の流れの一例を示すフローチャートである。 側方視点画像及び断面画像が表示装置に表示される態様の一例を示す概念図である。 側方視点画像及び断面画像が更新される態様の一例を示す概念図である。 腹腔鏡を用いた手術が行われる態様の一例を示す模式図である。 視点導出部の処理内容の一例を示す概念図である。 視点導出部の処理内容の一例を示す概念図である。 視点導出部の処理内容の一例を示す概念図である。 視点導出部及び表示画像生成部の処理内容の一例を示す概念図である。 視点導出部及び表示画像生成部の処理内容の一例を示す概念図である。 医療業務支援システムの概略構成を示す概念図である。

添付図面に従って本開示の技術に係る画像処理装置、画像処理方法、及びプログラムの実施形態の一例について説明する。

［第１実施形態］
一例として図１に示すように、医療業務支援装置１０は、画像処理装置１２、受付装置１４、及び表示装置１６を備えており、ユーザ１８によって使用される。ここで、ユーザ１８としては、医療業務支援装置１０の使用者であって、例えば、医師及び／又は技師等が挙げられる。なお、医療業務支援装置１０の使用者は、例えば、受付装置１４の操作者や、医療業務支援装置１０においてユーザＩＤとパスワード等の管理情報が保持され、受付装置１４を介して入力された情報と管理情報に基づいて承認するログイン処理等によって、医療業務支援装置１０にログインしたユーザＩＤの対象者等が挙げられる。

医療業務支援装置１０は、例えば、実際の手術に先だって、手術内容のシミュレーションを含めたプランニングを行うために使用される。手術は、一例として内視鏡下手術であり、より具体的には腹腔鏡下手術である。腹腔鏡下手術のシミュレーションを行うに際しては、事前に、ＭＲＩ（Magnetic Resonance Imaging）装置などのモダリティ１１によって、被検者の体内の３次元画像３８が取得される。なお、３次元画像３８を取得するモダリティ１１としては、ＣＴ（Computed Tomography）装置、超音波装置などでもよい。３次元画像３８は、画像データベース１３に格納される。医療業務支援装置１０は、ネットワーク１７を介して画像データベース１３に接続されており、画像データベース１３から３次元画像３８を取得し、３次元画像３８に基づいて手術内容のシミュレーション環境をユーザ１８に提供する。

画像処理装置１２には、受付装置１４が接続されている。受付装置１４は、ユーザ１８からの指示を受け付ける。受付装置１４は、キーボード２０及びマウス２２等を有している。受付装置１４によって受け付けられた指示は、プロセッサ２４によって取得される。図１に示すキーボード２０及びマウス２２は、あくまでも一例に過ぎない。受付装置１４として、キーボード２０又はマウス２２のいずれか一方のみを備えても良い。また、受付装置１４として、例えば、キーボード２０及び／又はマウス２２に代えて、近接入力を受け付ける近接入力装置、音声入力を受け付ける音声入力装置、及び、ジェスチャー入力を受け付けるジェスチャー入力装置のうちの少なくとも１つを適用してもよい。近接入力装置は、例えば、タッチパネルやタブレット等である。

画像処理装置１２には、表示装置１６が接続されている。表示装置１６としては、例えば、ＥＬ（Electro-Luminescence）ディスプレイ又は液晶ディスプレイ等が挙げられる。表示装置１６は、画像処理装置１２の制御下で、各種情報（例えば、画像及び文字等）を表示する。

一例として図２に示すように、医療業務支援装置１０は、画像処理装置１２、受付装置１４、及び表示装置１６の他に、通信Ｉ／Ｆ（Interface）３０、外部Ｉ／Ｆ３２、及びバス３４を備えている。

画像処理装置１２は、プロセッサ２４、ストレージ２６、及びＲＡＭ（Random Access Memory）２８を備えている。プロセッサ２４、ストレージ２６、ＲＡＭ２８、通信Ｉ／Ｆ３０、及び外部Ｉ／Ｆ３２は、バス３４に接続されている。画像処理装置１２は、本開示の技術に係る「画像処理装置」及び「コンピュータ」の一例であり、プロセッサ２４は、本開示の技術に係る「プロセッサ」の一例である。

プロセッサ２４には、メモリが接続されている。メモリは、ストレージ２６及びＲＡＭ２８を含む。プロセッサ２４は、例えば、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）を有する。ＧＰＵは、ＣＰＵの制御下で動作し、画像に関する処理の実行を担う。

ストレージ２６は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ２６としては、例えば、フラッシュメモリ（例えば、ＥＥＰＲＯＭ（electrically erasable and programmable read only memory）及びＳＳＤ（Solid State Drive）等）及び／又はＨＤＤ（Hard Disk Drive）が挙げられる。なお、フラッシュメモリ及びＨＤＤは、あくまでも一例に過ぎず、フラッシュメモリ、ＨＤＤ磁気抵抗メモリ、及び強誘電体メモリのうちの少なくとも１つをストレージ２６として用いてもよい。

ＲＡＭ２８は、一時的に情報が記憶されるメモリであり、プロセッサ２４によってワークメモリとして用いられる。ＲＡＭ２８としては、例えば、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）等が挙げられる。

通信Ｉ／Ｆ３０は、ネットワーク（図示省略）に接続されている。ネットワークは、例えば、ＬＡＮ（Local Area Network）及びＷＡＮ（Wide Area Network）等のうちの少なくとも１つで構成されていても良い。ネットワークには、外部装置（図示省略）等が接続されており、通信Ｉ／Ｆ３０は、ネットワークを介して外部通信装置との間の情報の授受を司る。外部通信装置は、例えば、ＣＴ装置、ＭＲＩ装置、パーソナル・コンピュータ、及びスマートデバイス等のうちの少なくとも１つを含んでもよい。例えば、通信Ｉ／Ｆ３０は、プロセッサ２４からの要求に応じた情報を、ネットワークを介して外部通信装置に送信する。また、通信Ｉ／Ｆ３０は、外部通信装置から送信された情報を受信し、受信した情報を、バス３４を介してプロセッサ２４に出力する。

外部Ｉ／Ｆ３２は、医療業務支援装置１０の外部に存在する外部装置（図示省略）との間の各種情報の授受を司る。外部装置は、例えば、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、及びプリンタ等のうちの少なくとも１つであってもよい。外部Ｉ／Ｆ３２の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、外部装置が直接的又は間接的に接続される。

ストレージ２６には、画像処理プログラム３６が記憶されている。画像処理プログラム３６は、３次元画像３８に基づいて手術内容のシミュレーションの環境を提供するためのプログラムである。プロセッサ２４は、ストレージ２６から画像処理プログラム３６を読み出し、読み出した画像処理プログラム３６をＲＡＭ２８上で実行することにより画像処理を行う。画像処理は、プロセッサ２４が抽出部２４Ａ、表示画像生成部２４Ｂ、制御部２４Ｃ、視点導出部２４Ｄとして動作することによって実現される。抽出部２４Ａは３次元画像３８から、シミュレーションの対象となる臓器の画像を抽出する。表示画像生成部２４Ｂは、３次元画像３８に基づいて、後述するレンダリング画像４６及び断面画像５７など、表示装置１６に表示するための表示画像を生成する。視点導出部２４Ｄは、３次元画像３８を投影面に投影するレンダリングを行う際の視点を導出する。なお、画像処理プログラム３６は、本開示の技術に係る「プログラム」の一例である。

手術内容のシミュレーションとして、例えば、腹腔鏡下手術において癌などの悪性腫瘍を臓器から切除する手術の切除シミュレーションを行う場合は、３次元画像３８から生成した３次元臓器モデルを用いて、切除部位の適切な切断の仕方について検討が行われる。検討内容としては、切除対象の臓器の周囲に対する影響の有無の他、切除対象の臓器の内部にある内部器官に対する影響の有無についての検討が行われる。

詳細は後述するが、このように切除シミュレーションにおいては、注目する観点があり、切除部位を見る視点として、切断面を側方から見る側方視点の使用頻度が高い。ここで、側方視点とは、切断面の法線と交差する視線方向から見る視点をいう。例えば、膵臓の内部には膵管があるように、臓器の内部には、内部器官が含まれており、臓器の切断面に存在する内部器官を確認するためには、切断面の側方視点が有用である。

切除部位を側方視点から見た画像である側方視点画像を表示するためには、従来は、ユーザは設定した切除部位の位置を確認しながら、視点の細かな設定を手動で行う必要があり、ユーザビリティの観点で改良の余地があった。そこで、本開示の技術では、簡単な操作で切断面の側方視点画像の確認を行えるようにしている。以下において、３次元画像３８に基づいて切除対象の臓器の側方視点画像を生成する一連の処理について説明する。

一例として図３に示すように、ストレージ２６には、画像データベース１３から取得された３次元画像３８が記憶されている。３次元画像３８は、複数の２次元スライス画像４０が積み重ねられたボリュームデータであり、３次元的な画素の単位である複数のボクセルＶによって構成されている。また、図３に示す例では、２次元スライス画像４０として、横断面（すなわち、アキシャル断面）の２次元スライス画像が示されているが、これに限らず、３次元画像３８からは、冠状面（すなわち、コロナル断面）の２次元スライス画像を抽出することも可能であるし、矢状面（すなわち、サジタル断面）の２次元スライス画像を抽出することも可能である。３次元画像３８を規定している全てのボクセルＶの各々の位置は３次元座標で特定される。また、３次元画像３８の各ボクセルＶに対しては、例えば、臓器ごとの固有の識別子が付与され、臓器ごとの識別子には、不透明度、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の色情報が設定されている（以下、これらを「ボクセルデータという」）。不透明度及び色情報は、適宜変更することが可能である。

抽出部２４Ａは、ストレージ２６から３次元画像３８を取得し、取得した３次元画像３８から３次元臓器画像４２を抽出する。３次元臓器画像４２は、切除対象の臓器を含む一部の臓器を示す３次元画像である。例えば、３次元画像３８には、複数の臓器のそれぞれに固有の識別子が付与されている。３次元臓器画像４２は、受付装置１４によって、切除対象の臓器を含む一部の臓器が指定されることで３次元画像３８から抽出される。例えば、抽出部２４Ａは、受付装置１４によって受け付けられた識別子に対応する３次元臓器画像４２を３次元画像３８から抽出する。図３に示す例では、３次元臓器画像４２の一例として、膵臓を示す画像４２Ａ１が示されている。また、３次元臓器画像４２には、膵臓に隣接する血管を示す画像４２Ｂ、及び腎臓を示す画像４２Ｃが含まれている。３次元臓器画像４２は、本開示の技術に係る「３次元画像」の一例である。

なお、ここでは、３次元臓器画像４２の一例として、膵臓を示す画像４２Ａ１及びその周辺臓器並びに血管を示す画像を例示しているが、これは、あくまでも一例に過ぎず、肝臓、心臓及び／又は肺等の他の臓器を示す画像であってもよい。また、固有の識別子を用いて３次元臓器画像４２が抽出される方法は、あくまでも一例に過ぎず、受付装置１４を介してユーザ１８によって指定された３次元画像３８の領域が３次元臓器画像４２として抽出部２４Ａによって抽出される方法であってもよいし、ＡＩ（artificial intelligence）方式及び／又はパターンマッチング方式等による画像認識処理を用いて３次元臓器画像４２が抽出部２４Ａによって抽出される方法であってもよい。

一例として図４に示すように、表示画像生成部２４Ｂは、レンダリング画像生成処理を行う。表示画像生成部２４Ｂは、レイキャスティングを行うことで、投影面４４に３次元臓器画像４２を投影するレンダリングを行う。投影面４４に投影される投影画像を、レンダリング画像４６と呼ぶ。表示装置１６の画面は二次元であるため、表示装置１６の画面に３次元画像３８を表示する際には、このようなレンダリングが行われる。

図４は、レンダリングを説明するための模式図である。投影面４４は、予め設定された解像度で規定された仮想的な平面である。レンダリングの際には、３次元臓器画像４２を見る視点４８が設定され、表示画像生成部２４Ｂは、設定された視点４８に基づいてレンダリング画像４６を生成する。図４は、平行投影法を示している。平行投影法においては、投影面４４と平行な面内に設定された複数の視点４８から仮想的な複数の光線５０を３次元臓器画像４２に投射するレイキャスティングを行うことにより、複数の光線５０上のボクセルデータに対応する画素値を投影面４４に投影し、投影画像であるレンダリング画像４６を得る。投影面４４の各画素（すなわち、ピクセル）は、各光線５０上のボクセルデータに対応する画素値を有する。３次元臓器画像４２を貫く光線５０上のボクセルデータは複数存在するが、例えば、３次元臓器画像４２の表面を投影する場合は、光線５０と交差する３次元臓器画像４２の表面のボクセルデータに対応する画素値が投影面４４に投影される。また、レンダリング画像４６において、３次元臓器画像４２において設定された切断面を示す場合は、設定された切断面の表面のボクセルデータに対応する画素値が投影面４４に投影される。

３次元臓器画像４２に対する各視点４８の位置は、例えば、受付装置１４によって受け付けられた指示に従って変更され、これによって、様々な方向から３次元臓器画像４２を観察した場合のレンダリング画像４６が投影面４４に投影される。なお、投影面４４に投影されたレンダリング画像４６は、例えば、表示装置１６に表示されたり、既定の記憶デバイス（例えば、ストレージ２６等）に記憶されたりする。なお、ここでは、平行投影法によるレンダリングの例を挙げているが、これはあくまでも一例にすぎず、例えば、１つの視点から放射状に複数の光線を投射する透視投影法によるレンダリングが行われてもよい。また、レンダリングに際しては単純な３次元画像の２次元画像への変換に加えて、陰影をつけるシェーディング処理などを施してもよい。

一例として図５に示すように、表示画像生成部２４Ｂは、レンダリング画像生成処理に加えて、断面画像生成処理を行う。表示画像生成部２４Ｂは、３次元画像３８から断面画像５７を生成する。表示画像生成部２４Ｂは、３次元画像３８において指定された任意の断面を構成する複数の画素（すなわち、ピクセル）を取得する。表示画像生成部２４Ｂは、３次元画像３８の任意の断面における画素値から断面画像５７を生成する。例えば、断面として、切除対象となる対象臓器を含む断面が指定された場合は、表示画像生成部２４Ｂは、対象臓器を含む断面を示す断面画像５７を生成する。

図５に示す例では、被検体の断面として、体軸であるＺ軸を法線方向とするアキシャル断面５２、アキシャル断面５２と直交し、かつ被検体の前後方向に沿った断面であるサジタル断面５４、及びアキシャル断面５２と直交し、かつ被検体の左右方向に沿った断面であるコロナル断面５６が示されている。また、断面画像５７として、アキシャル断面５２に対応したアキシャル断面画像５８、サジタル断面５４に対応したサジタル断面画像６０、及びコロナル断面５６に対応したコロナル断面画像６２が示されている。アキシャル断面５２は、本開示の技術に係る「アキシャル断面」の一例であり、サジタル断面５４は、本開示の技術に係る「サジタル断面」の一例であり、コロナル断面５６は、本開示の技術に係る「コロナル断面」の一例である。図５に示す例では、被検体として人体を例示したが、本開示の技術はこれに限定されず、被検体は、犬、猫等の他の動物等でも良い。

なお、以下の説明において、体軸方向を矢印Ｚで示し、矢印Ｚが指し示す矢印Ｚ方向を上方向とし、その逆方向を下方向とする。幅方向を、矢印Ｚと直交する矢印Ｘで示し、矢印Ｘが指し示す方向を左方向とし、その逆方向を右方向とする。前後方向を、矢印Ｚ及び矢印Ｘと直交する方向を矢印Ｙで示し、矢印Ｙが指し示す方向を前方向とし、その逆を後方向とする。すなわち、人体において頭側が上方向であり、その反対側の足側が下方向である。また、人体において腹部側が前方向であり、その反対側の背中側が後方向である。また、以下において、上側、下側、左側、右側、前側、及び後側といった側を用いた表現も方向を用いた表現と意味は同じである。

一例として図６に示すように、制御部２４Ｃは、表示画像生成部２４Ｂから切断前のレンダリング画像４６及び断面画像５７を取得する。また、制御部２４Ｃは、切断前のレンダリング画像４６及び断面画像５７を表示装置１６に表示させるための情報を出力する。具体的には、制御部２４Ｃは、切断前のレンダリング画像４６及び断面画像５７を表示するためのＧＵＩ（Graphical User Interface）制御を行うことで、表示装置１６に対して画面６８を表示させる。

図６に示す例では、画面６８において、画面上部に断面画像５７として、アキシャル断面画像５８、サジタル断面画像６０、及びコロナル断面画像６２が表示されている。また、画面６８の左下には、切断前のレンダリング画像４６が表示されている。ここでは、初期の切断前のレンダリング画像４６として、３次元臓器画像４２を前側から見た場合の切断前のレンダリング画像４６が表示されている。

さらに、画面６８の右下には、案内メッセージ表示領域６８Ａが表示されている。案内メッセージ表示領域６８Ａには、案内メッセージ６８Ａ１が表示される。案内メッセージ６８Ａ１は、切断前のレンダリング画像４６を介した３次元臓器画像４２に対する切断面の設定をユーザ１８に案内するメッセージである。図６に示す例では、案内メッセージ６８Ａ１の一例として、「切断面を設定して下さい。」というメッセージが示されている。

画面６８にはポインタ６４が表示されている。ユーザ１８は、受付装置１４（ここでは、一例として、マウス２２）を介してポインタ６４を操作することで切断前のレンダリング画像４６に対して切断面を示すライン６６を形成する。図６に示す例では、ポインタ６４が操作されることによって切断前のレンダリング画像４６に対して、直線的なライン６６が形成される。ここでは、膵臓を示す画像４６Ａに対して、切断面が設定されている。切断前のレンダリング画像４６に対して形成された切断面は、受付装置１４によって受け付けられた指示に従って確定される。制御部２４Ｃは、切断前のレンダリング画像４６を通じて設定された切断面の位置情報を、３次元臓器画像４２の位置情報に変換し、３次元臓器画像４２に対して切断面を設定する。このような操作及び処理を通じて、制御部２４Ｃは、３次元臓器画像４２により示される臓器に対する仮想的な切断面の設定を受け付ける。

切断面の設定が終了すると、一例として図７に示すように、制御部２４Ｃによって切断面の位置座標を示す情報である断面位置情報７０が表示画像生成部２４Ｂに出力される。表示画像生成部２４Ｂは、断面位置情報７０が示す切断面４３において、対象臓器が切断された３次元臓器画像４２Ａを生成する。図７に示す例では、膵臓を示す３次元臓器画像４２Ａが、切断面４３で切断された例が示されている。表示画像生成部２４Ｂは、切断後の３次元臓器画像４２Ａから切断後のレンダリング画像４６を生成する。切断後のレンダリング画像４６において、切断された膵臓を示す画像４６Ｂ（以下単に「切断膵臓画像４６Ｂ」とも称する）には、切断面４５が示されている。また、切断膵臓画像４６Ｂは、膵管を示す画像４６Ｂ１（以下単に「膵管画像４６Ｂ１」とも称する）を含んでいる。なお、本実施形態において、切断後の３次元臓器画像４２Ａは、切断前の３次元臓器画像４２から臓器を構成する特定の組織（例えば、膵管）以外を除いた３次元臓器画像としているが、これはあくまでも一例に過ぎない。切断後の３次元臓器画像４２Ａに残す特定の組織としては、血管等でもよい。特定の組織は、切断面の設定が終了した後に、切断面に含まれる、又は、切断面から所定の範囲内にある組織を抽出しても良い。また、特定の組織は、ユーザが指定することが出来てもよいし、予め切断面の設定を行う臓器毎に特定の組織が対応付けられたテーブルとして管理されていてもよい。さらに、切断後の３次元臓器画像４２Ａは、切断前の３次元臓器画像４２から切断される全ての組織を取り除いてもよい。また、切断後の３次元臓器画像４２Ａは、特定の組織以外の組織を除いた３次元臓器画像４２としているが、特定の組織以外の組織のレンダリングの際の透過率を特定の組織の透過率に対して相対的に上げるとしてもよい。

表示画像生成部２４Ｂは、切断膵臓画像４６Ｂを含む切断後のレンダリング画像４６を示す情報を制御部２４Ｃへ出力する。制御部２４Ｃは、表示装置１６に対して画面６８を更新させる。これにより、切断後のレンダリング画像４６において、切断膵臓画像４６Ｂが表示される。また、制御部２４Ｃは、画面６８に、側方視点キー６８Ｂを表示させる。側方視点キー６８Ｂは、切断後のレンダリング画像４６における初期の視点（例えば、前側から見た視点）を側方視点に切り替えるためのソフトキーである。言い換えると、側方視点キー６８Ｂは、側方視点でのレンダリング画像４６（後述する側方視点画像４７）の作成の指示を受けつけるソフトキーである。ユーザ１８は、受付装置１４（ここでは、一例として、マウス２２）を介して側方視点キー６８Ｂをオンする。切断後のレンダリング画像４６は、本開示の技術に係る「第１表示画像」の一例である。

側方視点キー６８Ｂがオンされると、一例として図８に示すように、視点導出部２４Ｄは、視点導出処理を行う。視点導出処理は、側方（すなわち、切断面４３の法線方向と交差する方向）から切断面４３を見る視点を導出する処理である。視点導出部２４Ｄは、断面位置情報７０に基づいて、視点位置Ｐを導出する。視点位置Ｐは、例えば、切断面４３を含む平面Ａに含まれる点である。視点位置Ｐは、一例として、次のように求められる。視点位置Ｐは、切断面４３の位置座標において、最も下側の座標に位置する点Ｄと、切断面４３の中心点Ｃを結ぶ直線Ｌ上に位置する。中心点Ｃは、例えば、３次元臓器画像４２を細線化処理することで得られる中心線ＣＬと平面Ａとの交点である。ここで、細線化処理とは、３次元臓器画像４２を仮想的に細くして一本の線にする処理である。視点位置Ｐは、直線Ｌ上において、点Ｄから予め定められた距離離れた位置に設定される。この場合、視点位置Ｐからの視線の方向は、直線Ｌに沿って中心点Ｃを見る方向であるが、これはあくまでも一例に過ぎない。例えば、視線の方向は体軸方向であって、切断面４３を見る方向であってもよい。なお、中心線ＣＬは、切断面の設定後に、切断後の３次元臓器画像４２Ａを細線化処理することで求めても良い。

なお、点Ｄが複数存在する場合（すなわち、切断面４３において最も下側の点が複数存在する場合）には、中心点Ｃとの距離が最も短い点Ｄを選んで、中心点Ｃと点Ｄを結ぶ直線Ｌを設定してもよい。このように切断面４３の中心点Ｃを基準に側方視点が設定された側方視点画像４７を生成することにより、切断面４３を側方視点画像４７内の中央に表示することができる。また、その他の例として、点Ｄが複数存在する場合に、中心点Ｃとの距離が最も長い点Ｄを選んで、中心点Ｃと点Ｄとを結ぶ直線Ｌを設定してもよい。これにより、切断面４３全体を側方視点画像４７に収めるためには、側方視点位置Ｐが切断面４３から離れる方向に移動することになるため（つまり、ズームアウトするため）、側方視点画像４７の画角の範囲外となる臓器の領域を少なくすることができる。

視点導出部２４Ｄは、断面位置情報７０が示す切断面４３の位置座標を取得する。そして、視点導出部２４Ｄは、ストレージ２６から視点演算式７２を取得する。視点演算式７２は、切断面４３の位置座標を独立変数とし、視点位置Ｐの位置座標を従属変数とする演算式である。視点導出部２４Ｄは、断面位置情報７０に基づいて、視点演算式７２を用いて視点位置Ｐの位置座標を導出する。視点導出部２４Ｄは、導出した結果を視点位置情報７４として表示画像生成部２４Ｂに出力する。

なお、ここでは、視点演算式７２が用いられることで、視点位置Ｐの座標が導出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、視点演算式７２に代えて、視点導出テーブルが用いられることで、視点位置Ｐの座標が導出されてもよい。視点導出テーブルは、切断面４３の位置座標を入力値とし、視点位置Ｐの位置座標を出力値とするテーブルである。

表示画像生成部２４Ｂは、視点位置情報７４に基づいてレンダリング画像生成処理を行うことにより、側方視点から見た場合のレンダリング画像４６（すなわち、側方視点画像４７）を生成する。表示画像生成部２４Ｂは、視点位置情報７４が示す視点位置Ｐからレイキャスティングを行って、投影面Ｂに対して、切断された３次元臓器画像４２Ａをレンダリングする。これにより、側方視点画像４７が生成される。側方視点画像４７には、切断膵臓画像４６Ｂ及び膵管画像４６Ｂ１が含まれている。また、側方視点画像４７は、例えば、切断面４５を下方から見る画像である。側方視点画像４７は、本開示の技術に係る「側方視点画像」及び「第１表示画像」の一例である。

一例として図９に示すように、表示画像生成部２４Ｂは、視点導出部２４Ｄから取得した視点位置情報７４に基づいて断面画像生成処理を行うことにより、断面画像５７を更新する。具体的には、表示画像生成部２４Ｂは、更新後の断面画像５７Ａとして、視点位置情報７４が示す視点位置Ｐの位置座標が含まれるアキシャル断面画像５８Ａ、サジタル断面画像６０Ａ、及びコロナル断面画像６２Ａを生成する。また、表示画像生成部２４Ｂは、断面画像５７Ａにおいて視点位置Ｐを表示する視点表示処理を行う。表示画像生成部２４Ｂは、断面画像５７Ａの各画素が有する位置情報に基づいて、断面画像５７Ａにおける視点位置Ｐに応じた位置を示す視点インジケータ７６を表示する。図９に示す例では、視点インジケータ７６として、多角形状の図形マークが表示される例が示されている。断面画像５７Ａは、本開示の技術に係る「人体の断面を示す断面画像」の一例である。なお、視点インジケータ７６の形状は特にこれに限られず、視点位置を示すことが出来れば、例えば、円、アスタリスク、又は、十字形状等のいずれかであっても良い。

一例として図１０に示すように、表示画像生成部２４Ｂは、側方視点画像４７及び断面画像５７Ａを制御部２４Ｃに出力する。制御部２４Ｃは、側方視点画像４７及び断面画像５７Ａを含む画面６８を生成し、画面６８を示す情報を表示装置１６へ出力する。具体的には、制御部２４Ｃは、側方視点画像４７及び断面画像５７Ａを表示するためのＧＵＩ（Graphical User Interface）制御を行うことで、表示装置１６に対して画面６８を表示させる。ＧＵＩ制御は、本開示の技術に係る「表示制御」の一例である。画面６８は、本開示の技術に係る「表示画面」の一例である。

図１０に示す例では、画面６８において、画面上部に断面画像５７Ａとして、アキシャル断面画像５８Ａ、サジタル断面画像６０Ａ、及びコロナル断面画像６２Ａが表示されている。アキシャル断面画像５８Ａ、サジタル断面画像６０Ａ、及びコロナル断面画像６２Ａのそれぞれには、視点位置Ｐに応じた位置に視点インジケータ７６が表示されている。また、画面６８の左下には、側方視点画像４７が表示されている。ユーザは、画面６８において、側方視点画像４７によって切断面４５を側方（ここでは、下方）から見た状態を確認することができる。アキシャル断面画像５８Ａ、サジタル断面画像６０Ａ、及びコロナル断面画像６２Ａは、本開示の技術に係る「複数の断面画像」の一例である。

図１０に示す例では、切断膵臓画像４６Ｂと膵管画像４６Ｂ１が表示されている。このため、切断面４３と膵管画像４６Ｂ１とが交差する様子が分かりやすくなっている。これにより、切断面４３において膵管がどのように切断されるかをユーザが把握することが容易となる。また、図１１に示すように、腹腔鏡Ｆを用いた手術では、腹腔鏡Ｆは、患者ＰＴの腹部Ｋの下方からポートＨを介して挿入される場合が多い。このため、腹腔鏡Ｆを用いた手術では、腹腔鏡Ｆに搭載された術野カメラＧを介して、膵臓Ｓを下方から見た状態で手術が行われることが多くなる。従って、本実施形態では、下側から見た側方視点画像４７を表示することで、実際の手術での見え方に近い視点の画像をユーザに示すことができる。

また、画面６８には、通常視点キー６８Ｃが表示されている。通常視点キー６８Ｃは、側方視点を元の視点（例えば、初期の視点）に切り替えるためのソフトキーである。ユーザ１８は、受付装置１４（ここでは、一例として、マウス２２）を介して通常視点キー６８Ｃをオンする。通常視点キー６８Ｃがオンされると、制御部２４Ｃは、画面６８を更新し、初期の視点での画面６８（図７参照）を表示する。このように、ユーザの指示に応じて、画面６８において側方視点とそれ以外の視点とを切り替えることが可能となっている。

また、一例として図１２に示すように、画面６８には、拡大表示キー６８Ｄ及び縮小表示キー６８Ｅが表示されている。拡大表示キー６８Ｄは、側方視点画像４７を拡大して表示（すなわち、ズームイン）するためのソフトキーである。縮小表示キー６８Ｅは、側方視点画像４７を縮小して表示（すなわち、ズームアウト）するためのソフトキーである。ユーザ１８は、受付装置１４（ここでは、一例として、マウス２２）を介して縮小表示キー６８Ｅをオンする。縮小表示キー６８Ｅがオンされると、制御部２４Ｃは、画面６８を更新する。具体的には、先ず、レンダリング画像生成処理が行われて、側方視点画像４７が更新される。この場合、視点位置Ｐが更新前の視点位置Ｐよりも切断面４３から離れた位置に設定され、視点位置Ｐからレイキャスティングが行われることで、側方視点画像４７が更新される。視点位置Ｐの移動距離は、予め定められてもよく、例えば、現在の切断面４３から視点位置Ｐまでの距離の１．５倍の距離である。なお、切断面４３から視点位置Ｐまでの距離とは、例えば、切断面４３の中心点Ｃと視点位置Ｐとの距離、又は、切断面４３と視点位置Ｐとの最短距離として導出される。

また、断面画像生成処理が行われることで、断面画像５７Ａが更新される。更新後の断面画像５７Ｂは、移動後の視点位置Ｐの位置座標が含まれるアキシャル断面画像５８Ｂ、サジタル断面画像６０Ｂ、及びコロナル断面画像６２Ｂを含む。さらに、視点表示処理が行われて、断面画像５７における視点位置Ｐに応じた位置に視点インジケータ７６Ａが表示される。

そして、画面６８には、更新後の側方視点画像４７Ａ１及び更新後の断面画像５７Ｂが表示される。このように、切断面４３から体表面側に向けて視点位置Ｐを移動させることにより、切断面４３から視点位置Ｐを離して切断面４３をズームアウトした状態で確認することが可能となる。さらに、図１２に示す例では、視点位置Ｐが体表面と交差する位置まで視点位置Ｐを移動させている。このような視点位置Ｐの移動に伴って、断面画像５７における視点インジケータ７６の表示位置も移動し、体表面上のどこに視点位置Ｐがあるかが表示される。このように、本開示の技術では、設定された側方視点（更新前の側方視点画像４７の視点を一例として示す）の視線方向の延長線（ズームアウトによる移動先の視点位置Ｐを一例として示す）と体表面とが交差する交差位置を表示可能である。上述したように、腹腔鏡Ｆを用いた手術では、体表面から腹腔鏡Ｆを挿入する。このため、視点位置Ｐと体表面とが交差する位置が表示されることで、現在の側方視点画像４７の見え方となる腹腔鏡Ｆの挿入位置（すなわち、ポートＨの位置）をユーザが把握することができる。なお、拡大表示キー６８Ｄ又は縮小表示キー６８Ｅの少なくともいずれかに代えて、図１２に示す例の視点位置Ｐが体表面と交差する位置まで視点Ｐを移動させ、その視点位置Ｐに基づいて更新した側方視点画像４７Ａ１又は更新後の断面画像５７Ｂの少なくともいずれかを示す体表位置表示キー（図示省略）を設けても良い。具体的には、体表位置表示キーの入力を受付装置１４が受け付けた場合に、プロセッサ２４は、３次元画像３８に基づく体表面情報（例えば、体表面の位置座標を示す情報）を取得する。そして、プロセッサ２４は、視点位置Ｐと切断面４３に基づく視線方向の延長線と体表面情報により示される体表面の位置との交差位置を導出する。さらに、プロセッサ２４は、交差位置に基づきレンダリングを行った側方視点画像４７Ａ１を生成し、さらに交差位置を示す視点インジケータ７６Ａを含む断面画像５７Ｂを生成する。

なお、本例では、側方視点画像４７の視点位置Ｐの移動に連動して、断面画像５７の視点インジケータ７６を移動させることにより、側方視点の視線方向の延長線と体表面との交差位置を表示する例で示している。しかし、交差位置の表示は、側方視点画像４７の視点位置Ｐの移動に連動しなくてもよい。すなわち、更新前の側方視点画像４７の側方視点が設定された場合において、設定された側方視点の延長線と体表面とが交差する交差位置を、設定された側方視点とは別に、断面画像５７Ａ上で表示するだけでもよい。

また、ユーザ１８は、受付装置１４（ここでは、一例として、マウス２２）を介して拡大表示キー６８Ｄをオンする。拡大表示キー６８Ｄがオンされると、制御部２４Ｃは、画面６８を更新する。この場合、縮小表示キー６８Ｅがオンされた場合とは反対に、視点位置Ｐが切断面４３にズームインして、視点位置Ｐが切断面４３に近付く位置に設定される。この状態で、レンダリング画像生成処理、断面画像生成処理、及び視点表示処理が行われて、画面６８が更新される。

次に、医療業務支援装置１０の作用について図１３及び図１４を参照しながら説明する。

先ず、医療業務支援装置１０のプロセッサ２４によって実行される画像処理の流れの一例について図１３及び図１４を参照しながら説明する。図１３及び図１４に示す画像処理の流れは、本開示の技術に係る「画像処理方法」の一例である。

図１３に示す画像処理では、先ず、ステップＳＴ１０で、抽出部２４Ａは、ストレージ２６から３次元画像３８を取得する。３次元画像３８は、切除対象（例えば、膵臓）を含んでいる。ステップＳＴ１０の処理が実行された後、画像処理は、ステップＳＴ１２へ移行する。

ステップＳＴ１２において、抽出部２４Ａは、ステップＳＴ１０で取得した３次元画像３８から切除対象を含む３次元臓器画像４２を抽出する。ステップＳＴ１２の処理が実行された後、画像処理は、ステップＳＴ１４へ移行する。

ステップＳＴ１４において、表示画像生成部２４Ｂは、ステップＳＴ１２で抽出した３次元臓器画像４２を初期の視点（例えば、対象臓器を前方から見る視点）からレンダリングする。これにより、レンダリング画像４６が生成される。ステップＳＴ１４の処理が実行された後、画像処理は、ステップＳＴ１６へ移行する。

ステップＳＴ１６において、表示画像生成部２４Ｂは、３次元画像３８に基づいて断面画像５７を生成する。具体的には、対象臓器を含むアキシャル断面画像５８、サジタル断面画像６０、及びコロナル断面画像６２を生成する。ステップＳＴ１６の処理が実行された後、画像処理は、ステップＳＴ１８に移行する。

ステップＳＴ１８において、制御部２４Ｃは、ステップＳＴ１４において生成されたレンダリング画像４６及びステップＳＴ１６において生成された断面画像５７を表示装置１６に対して並列表示させる。ステップＳＴ１８の処理が実行された後、画像処理は、ステップＳＴ２０に移行する。

ステップＳＴ２０において、制御部２４Ｃは、受付装置１４を介して切断面４３の指定が受け付けられたか否かを判定する。ステップＳＴ２０において、切断面４３の指定が受け付けられていない場合は、判定が否定されて、再度ステップＳＴ２０の処理が実行される。ステップＳＴ２０において、切断面４３の指定が受け付けられた場合は、判定が肯定されて、画像処理は、ステップＳＴ２２へ移行する。

ステップＳＴ２２において、制御部２４Ｃは、受付装置１４を介して断面位置情報７０を取得する。ステップＳＴ２２の処理が実行された後、画像処理は、ステップＳＴ２４へ移行する。

ステップＳＴ２４において、表示画像生成部２４Ｂは、制御部２４Ｃによって取得された断面位置情報７０に基づいて、切断面４３において切断された３次元臓器画像４２Ａをレンダリングする。これにより、切断膵臓画像４６Ｂを含む切断後のレンダリング画像４６が得られる。ステップＳＴ２４の処理が実行された後、画像処理は、ステップＳＴ２６へ移行する。

ステップＳＴ２６において、制御部２４Ｃは、切断膵臓画像４６Ｂを含む切断後のレンダリング画像４６及び切断後の断面画像５７Ａを表示装置１６に対して並列表示させる。ステップＳＴ２６の処理が実行された後、画像処理は、ステップＳＴ２８に移行する。

ステップＳＴ２８において、制御部２４Ｃは、受付装置１４を介して視点の切り替えが受け付けられたか否かを判定する。ステップＳＴ２８において、視点の切り替えが受け付けられていない場合は、判定が否定されて、画像処理は、ステップＳＴ３８へ移行する。ステップＳＴ２８において、視点の切り替えが受け付けられた場合は、判定が肯定されて、画像処理は、ステップＳＴ３０へ移行する。

ステップＳＴ３０において、制御部２４Ｃは、受付装置１４を介して側方視点への切り替えが受け付けられたか否かを判定する。ステップＳＴ３０において、側方視点への切り替えが受け付けられていない場合は、判定が否定されて、画像処理は、ステップＳＴ３８へ移行する。ステップＳＴ３０において、側方視点への切り替えが受け付けられた場合は、判定が肯定されて、画像処理は、ステップＳＴ３２へ移行する。

ステップＳＴ３２において、視点導出部２４Ｄは、ステップＳＴ２２において制御部２４Ｃによって取得された断面位置情報７０に基づいて、視点位置Ｐを導出する。ステップＳＴ３２の処理が実行された後、画像処理は、ステップＳＴ３４へ移行する。

ステップＳＴ３４において、表示画像生成部２４Ｂは、ステップＳＴ３２において導出された視点位置Ｐを示す視点位置情報７４に基づいて、視点位置Ｐから見た、切断面４３において切断された３次元臓器画像４２Ａをレンダリングする。これにより、側方視点画像４７が得られる。ステップＳＴ３４の処理が実行された後、画像処理は、図１４に示すステップＳＴ３６へ移行する。

図１４に示すステップＳＴ３６において、制御部２４Ｃは、画面６８を視点の切り替えに応じて更新する。具体的には、制御部２４Ｃは、側方視点画像４７と通常視点のレンダリング画像４６とを切り替える。また、制御部２４Ｃは、視点位置Ｐに応じて断面画像５７Ａを生成する。ステップＳＴ３６の処理が実行された後、画像処理は、ステップＳＴ３８へ移行する。

ステップＳＴ３８において、制御部２４Ｃは、画像処理が終了する条件（以下、「終了条件」と称する）を満足したか否かを判定する。終了条件の一例としては、画像処理を終了させる指示が受付装置１４によって受け付けられた、との条件が挙げられる。ステップＳＴ３８において、終了条件を満足していない場合は、判定が否定されて、画像処理はステップＳＴ２６へ移行する。ステップＳＴ３８において、終了条件を満足した場合は、判定が肯定されて、画像処理が終了する。

以上説明したように、本実施形態に係る医療業務支援装置１０では、プロセッサ２４において、３次元臓器画像４２における切断面４３の設定が受付装置１４を介して受け付けられ、さらに、切断面４３を側方から見る視点位置Ｐからレンダリングされることで得られた側方視点画像４７が表示装置１６に対して出力可能とされている。臓器の切除シミュレーションにおいては、３次元臓器画像４２において切断面４３が設定され、切断面４３の状態確認が行われる。切断面４３の状態確認では、切断面４３から突出する構造物（例えば、切除対象となる臓器が膵臓である場合の膵管）の状態が確認される場合が多い。これは、一般に、臓器の一部を切除する術式において、切断面４３によって構造物がどのように切断されるかを把握することが重要なためである。この場合において、構造物の突出状態を見る場合には、切断面４３の側方から見る視点が有用である。側方から見る視点によって、切断面４３と構造物との交差する位置、角度等が把握できるからである。このため、切除シミュレーションにおいては、切断面４３を側方視点から見る頻度が多い。そこで、本構成では、ユーザが試行錯誤して切断面４３に対する視点を調整する場合と比較して、簡単な操作で切断面４３の側方視点画像４７をユーザが確認することができる。例えば、側方視点キー６８Ｂを選択することで、切断面４３の側方視点画像４７に切り替えることができるので、簡単な操作で側方視点画像４７をユーザが確認することができる。

また、本実施形態に係る医療業務支援装置１０では、プロセッサ２４において、断面画像５７Ａが生成され、さらに断面画像５７Ａには、側方視点画像４７における視点位置Ｐに応じた位置に視点インジケータ７６が表示される。また、プロセッサ２４は、表示装置１６に対して側方視点画像４７と断面画像５７Ａとを出力可能とされている。さらに、プロセッサ２４は、表示装置１６に対して側方視点画像４７と断面画像５７Ａと並列的に表示させるＧＵＩ制御を行う。これにより、視点位置Ｐが断面画像５７Ａに表示されるので、側方視点画像４７の視点が切断面４３をどの方向から見る視点なのかを把握することができる。なお、並列的に表示させるとは、時間軸的に実質的に同一のタイミングで表示することを示し、表示画面におけるレイアウトを制限するものでは無い。本実施形態のように１つの表示画面にそれぞれ異なる大きさで配置してもよいし、表示画面を４分割し、同列および同行に、側方視点画像４７と複数の断面画像５７Ａのいずれかが配置されてもよい。また、複数の表示装置を用いて、一の表示画面に側方視点画像４７を表示し、他の表示画面に断面画像５７Ａを表示するとしても良い。

また、例えば、切除シミュレーションは、設定した切断面４３に対応して、実際の切除の際に術野画像を撮影する腹腔鏡Ｆの位置を考慮しながら行われる。そのため、断面画像５７Ａ内に、側方視点画像４７の視点位置Ｐに応じた位置に視点インジケータ７６を表示することで、腹腔鏡Ｆによって撮影可能かなどの判断をすることが容易となる。

また、本実施形態に係る医療業務支援装置１０では、断面画像５７Ａとしてアキシャル断面画像５８Ａ、サジタル断面画像６０Ａ、及びコロナル断面画像６２Ａにおける視点の位置が表示されるので、断面画像５７Ａが１つである場合と比較して、側方視点画像４７の視点が３次元的に把握され、切断面４３をどの方向から見る視点なのかを把握しやすい。

また、本実施形態に係る医療業務支援装置１０では、断面画像５７Ｂにおいて、体表面と視点インジケータ７６が交差する位置が表示される。上述したように、腹腔鏡Ｆを用いた手術では、患者ＰＴの腹部Ｋに設定されたポートＨから腹腔鏡Ｆが挿入される。体表面と視点インジケータ７６とが交差する位置が表示されることで、切断面４３に応じて設定された視点位置Ｐが、腹腔鏡Ｆの挿入位置として設定することが可能かの判断がし易くなる。例えば、切断面４３に対してある側方視点が設定されても、体表面と視点インジケータ７６との交差位置が、ポートＨの設定が困難な位置であれば、ユーザは、別の側方視点を検討するとの判断ができる。

また、本実施形態に係る医療業務支援装置１０では、プロセッサ２４において、画面６８における側方視点画像４７における視点位置Ｐが変更された場合に、変更後の断面画像５７Ｂにおける視点インジケータ７６Ａの位置が連動して変更される。このように、断面画像５７における視点インジケータ７６Ａの位置と、側方視点画像４７において、切断面４５を見る視点位置Ｐの位置とが連動して変更される。このため、例えば、側方視点画像４７の視点位置Ｐを変更した場合でも、体内においてどこから切断面４３を見ているのか把握しやすい。

また、本実施形態に係る医療業務支援装置１０では、側方視点画像４７と通常視点（例えば、前側から３次元臓器画像４２Ａを見る視点）から見たレンダリング画像４６とを切り替えることができる。これにより、側方視点画像４７とは異なる視点のレンダリング画像４６に切り替えることで、切断面４３の適否以外の検討に用いられる画像（例えば、臓器全体を見る画像）を表示できる。また、例えば、本実施形態では、通常視点キー６８Ｃを選択することで、切断面４３のレンダリング画像４６に切り替えることができるので、簡単な操作でレンダリング画像４６をユーザが確認することができる。

なお、上記第１実施形態において、切断面４３の設定を受け付けた後、初期の視点として前方から切断後の３次元臓器画像４２Ａを見た視点が設定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、初期の視点として後方からの視点が設定されてもよいし、ユーザが予め設定した視点であってもよい。なお、初期の視点位置Ｐは、次のように設定されてもよい。すなわち、臓器ごとに初期の視点が対応付けられた視点テーブルを用いて、切除対象の臓器がユーザにより選択され、又は、切除対象の臓器が３次元画像３８から画像処理によって特定された後に、切除対象の臓器情報と視点テーブルに基づいて設定されても良い。

また、上記第１実施形態において、切断面４３の設定を受け付けた後、初期の視点から見た切断後のレンダリング画像４６が表示され、ユーザの指示に応じて側方視点画像４７に切り替えられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、切断面４３の設定を受け付けた後、側方視点画像４７が表示される形態であってもよい。

また、上記第１実施形態において、側方視点画像４７の視点位置Ｐを移動させる場合に、拡大表示キー６８Ｄ又は縮小表示キー６８Ｅが選択される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、拡大表示キー６８Ｄ及び縮小表示キー６８Ｅに代えて、視点位置Ｐの位置を調整するスライダが表示され、ポインタ６４を介してスライダの位置が調整されることで、視点位置Ｐの位置が調整されてもよい。また、受付装置１４としてのマウス２２がホイールを備える場合には、ホイールの回転に応じて視点位置Ｐの調整が行われてもよい。

また、上記第１実施形態において、側方視点画像４７の視点位置Ｐが移動されることで、断面画像５７に表示される視点インジケータ７６の位置も連動する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、視点インジケータ７６の位置の変更に連動して、側方視点画像４７の視点位置Ｐが変更されてもよい。

また、上記第１実施形態において、視点位置Ｐは、直線Ｌ上において、点Ｄから予め定められた距離離れた位置に設定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、視点位置Ｐは、体軸方向において、点Ｄから予め定められた距離離れた位置に設定されてもよい。

また、上記第１実施形態において、直線Ｌは、中心点Ｃを通る形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、直線Ｌは、３次元臓器画像４２Ａの重心を通る直線であってもよい。

また、上記第１実施形態において、視点位置Ｐが直線Ｌ上に位置する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、切断面４３の外縁から予め定められた距離離れた境界線上において、最も下側に位置する座標の点を視点位置Ｐとしてもよい。

また、上記第１実施形態において、医療業務支援装置１０は、切断面４３の指定を受け付ける前に、断面画像５７を生成し、レンダリング画像４６と断面画像５７を並列表示するとしているが、断面画像５７を生成し表示することは必須ではない。医療業務支援装置１０は、例えば、切断面４３の指定を受け付ける前に、断面画像５７を生成せずに、レンダリング画像４６のみを表示し、レンダリング画像４６に対して切断面４３の指定を受け付けるとしてもよい。

また、上記第１実施形態において、医療業務支援装置１０は、切断面４３の指定を受け付ける前に断面画像５７を生成し、切断面４３の指定を受け付けた後に、切断後のレンダリング画像４６と断面画像５７を並列表示する形態例を挙げたが、これに限らない。医療業務支援装置１０は、切断面４３の指定を受け付けた後に、断面画像５７を生成するとしてもよいし、断面画像５７を生成せずに、切断後のレンダリング画像４６のみを表示するとしてもよい。

さらに、上記第１実施形態において、医療業務支援装置１０は、側方視点への切替を受け付ける前に断面画像５７を生成し、側方視点への切替を受け付けた後に、側方視点画像４７と側方視点を含む断面画像５７Ａとを更新して表示する形態例を挙げたが、これに限られない。医療業務支援装置１０は、側方視点への切替を受け付けた後に、側方視点を含む断面画像５７Ａを生成するとしても良いし、側方視点を含む断面画像５７Ａを生成せずに、側方視点画像４７のみを表示するとしてもよい。

また、上記第１実施形態において、断面画像５７Ａとして、アキシャル断面画像５８Ａ、サジタル断面画像６０Ａ、及びコロナル断面画像６２Ａの３つの断面画像が表示される場合を例示したが特にこれに限られない。アキシャル断面画像５８Ａ、サジタル断面画像６０Ａ、又は、コロナル断面画像６２Ａの少なくともいずれかのみが断面画像４７Ａとして表示されてもよい。なお、断面画像５７、及び、断面画像５７Ｂについても同様である。

［第２実施形態］
上記第１実施形態では、側方視点として下方から切断面４３を見る視点が設定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第２実施形態では、側方視点として、上方から切断面４３を見る視点（すなわち、上方視点）と下方から切断面４３を見る視点（すなわち、下方視点）とが設定され、上方視点と下方視点とを切り替えることが可能である。

一例として図１５に示すように、視点導出部２４Ｄは、断面位置情報７０に基づいて、上方視点の視点位置Ｐ１（以下単に「上方視点位置Ｐ１」とも称する）と下方視点の視点位置Ｐ２（以下単に「下方視点位置Ｐ２」とも称する）とを導出する。

上方視点位置Ｐ１は、例えば、次のように求められる。上方視点位置Ｐ１は、切断面４３の位置座標において、最も上側の座標に位置する点Ｄ１と、切断面４３の中心点Ｃを結ぶ直線Ｌ１上に位置する。また、下方視点位置Ｐ２は、切断面４３の位置座標において、最も下側の座標に位置する点Ｄ２と、切断面４３の中心点Ｃを結ぶ直線Ｌ２上に位置する。なお、上方視点位置Ｐ１及び下方視点位置Ｐ２の求め方は、あくまでも一例に過ぎず、直線Ｌ１又はＬ２上において、上方視点位置Ｐ１及び下方視点位置Ｐ２が、中心点Ｃを挟んで互いに反対側に位置する態様であってもよい。中心点Ｃは、本開示の技術に係る「基準点」の一例であり、直線Ｌは、本開示の技術に係る「基準線」の一例である。

具体的には、視点導出部２４Ｄは、ストレージ２６から上方視点演算式７２Ａ及び下方視点演算式７２Ｂを取得する。上方視点演算式７２Ａは、切断面４３の位置座標を独立変数とし、上方視点位置Ｐ１の位置座標を従属変数とする演算式である。また、下方視点演算式７２Ｂは、切断面４３の位置座標を独立変数とし、下方視点位置Ｐ２の位置座標を従属変数とする演算式である。視点導出部２４Ｄは、断面位置情報７０に基づいて、上方視点演算式７２Ａを用いて上方視点位置Ｐ１を導出する。視点導出部２４Ｄは、断面位置情報７０に基づいて、下方視点演算式７２Ｂを用いて下方視点位置Ｐ２を導出する。

なお、上方視点演算式７２Ａ及び下方視点演算式７２Ｂに代えて、上方視点導出テーブル及び下方視点導出テーブルが用いられることで、上方視点位置Ｐ１及び下方視点位置Ｐ２が求められてもよい。上方視点導出テーブルは、切断面４３の位置座標を入力値とし、上方視点位置Ｐ１の位置座標を出力値とするテーブルである。また、下方視点導出テーブルは、切断面４３の位置座標を入力値とし、下方視点位置Ｐ２の位置座標を出力値とするテーブルである。

視点導出部２４Ｄは、上方視点位置Ｐ１及び下方視点位置Ｐ２の位置座標を示す視点位置情報７４を表示画像生成部２４Ｂへ出力する。表示画像生成部２４Ｂは、上方視点位置Ｐ１から３次元臓器画像４２Ａを見た画像である上方視点画像４７Ａを生成する。また、表示画像生成部２４Ｂは、下方視点位置Ｐ２から３次元臓器画像４２Ａを見た画像である下方視点画像４７Ｂを生成する。表示画像生成部２４Ｂは、上方視点画像４７Ａ及び下方視点画像４７Ｂを制御部２４Ｃへ出力する。

ユーザによって側方視点キー６８Ｂ（図７参照）が選択されると、側方視点への切り替えが行われる。一例として図１６に示すように、この場合において、制御部２４Ｃ（図７等参照）の制御下において、画面６８には、下方視点画像４７Ｂが表示される。すなわち、側方視点の初期位置は、下方視点位置Ｐ２である。さらに、下方視点位置Ｐ２に対応した位置に視点インジケータ７６を配置した断面画像５７が表示される。また、画面６８には、上側視点切替キー６８Ｆが表示される。上側視点切替キー６８Ｆがポインタ６４を介してユーザによって選択されると、下方視点画像４７Ｂは、上方視点画像４７Ａに切り替わる。さらに、上方視点位置Ｐ１に対応した位置に視点インジケータ７６の配置した断面画像５７が表示される。画面６８には、下側視点切替キー６８Ｇが表示される。下側視点切替キー６８Ｇがポインタ６４を介してユーザによって選択されると、上方視点画像４７Ａは、下方視点画像４７Ｂに切り替わる。このようにユーザは、側方視点として上方視点位置Ｐ１と下方視点位置Ｐ２とを切り替えることが可能であり、切り替えに応じて上方視点画像４７Ａと下方視点画像４７Ｂとが画面６８に表示される。上方視点画像４７Ａは、本開示の技術に係る「第１側方視点画像」の一例であり、下方視点画像４７Ｂは、本開示の技術に係る「第２側方視点画像」の一例である。上方視点画像４７Ａ及び下方視点画像４７Ｂは、本開示の技術に係る「第１表示画像」及び「複数の側方視点画像」の一例である。

一例として図１７に示すように、一般に、腹腔鏡Ｆに搭載される術野カメラＧは、患者ＰＴの体軸方向（すなわち、Ｚ軸方向）において臓器（例えば、膵臓Ｓ）の上側と下側の２つの視点に対応して配置される場合が多い。なお、上側に視点が配置される場合は、斜視鏡Ｒが用いられる。このように、臓器を切断する場合の術式において、術野カメラＧは、切断面４３の上側から又は下側から臓器を見る場合が多い。このため、本構成では、側方視点として上方視点位置Ｐ１と下方視点位置Ｐ２とを切り替えることが可能であり、切り替えに応じて上方視点画像４７Ａと下方視点画像４７Ｂとが画面６８に表示される。

以上説明したように、本第２実施形態に係る医療業務支援装置１０では、プロセッサ２４において、切断面４３を上側から見た上方視点画像４７Ａと切断面４３を下側から見た下方視点画像４７Ｂとを出力可能とされている。従って、本構成では、切断面４３を見る方向が異なる複数の側方視点画像４７を切り替え表示できるので、側方視点画像４７が一つの場合と比較して、切断面４３の状況を確認しやすい。

なお、断面位置情報７０により示される切断面４３が、体軸方向と直交している平面である場合、切断面上の体軸方向（上下方向）の位置座標が全て同一となるため、当該対軸方向の位置座標に基づき上方視点位置Ｐ１および下方視点位置Ｐ２を取得することが出来ないため、体軸方向に代えて、前後方向又は左右方向の位置座標を用いてもよい。例えば、前後方向を用いる場合、最も前側の位置座標の点Ｅを視点位置Ｐとした前方視点画像４７Ｅと、最も後ろ側の位置座標の点Ｆを視点位置Ｐとした後方視点画像４７Ｆとを、上方視点画像４７Ａおよび下方視点画像４７Ｂの代わりに提示するとしてもよい。また、切断面の輪郭上で中心点Ｃに最も近い点Ｇを取得し、点Ｇを視点位置Ｐとした第１視点画像４７Ｇと、中心点Ｃを挟んで点Ｇに反対側の点Ｈを取得し、点Ｈを視点位置Ｐとした第２視点画像４７Ｈを、上方視点画像４７Ａおよび下方視点画像４７Ｂの代わりに提示するとしてもよい。

また、本２実施形態に係る医療業務支援装置１０では、側方視点画像４７として上方視点画像４７Ａと下方視点画像４７Ｂとを含んでいる。一般に、腹腔鏡Ｆに搭載される術野カメラＧは、体軸方向において切断面４３の上側と下側の２つの視点に対応して配置される場合が多い。すなわち、臓器を切断する場合の術式において、切断面４３の上側から又は下側から見る場合が多い。従って、本構成では、切除シミュレーションにおいても実際の術野カメラＧの２つの視点から、切断面４３の状況を確認しやすい。

また、本第２実施形態に係る医療業務支援装置１０では、上方視点位置Ｐ１と下方視点位置Ｐ２とは切断面４３において設定された直線Ｌ上に設定される。上方視点位置Ｐ１と下方視点位置Ｐ２とが、直線Ｌにおいて、切断面４３の互いに反対側に配置されるので、切断面４３に対する上方視点位置Ｐ１と下方視点位置Ｐ２との位置関係が把握しやすくなる。

また、本第２実施形態に係る医療業務支援装置１０では、側方視点に切り替えた場合の初期位置として下方視点位置Ｐ２が設定される。腹腔鏡Ｆを用いた手術では、一般に、術野カメラＧを対象臓器の下側に配置し、対象臓器を下側から見る場合が多い。このため、切除シミュレーションでは、下方視点画像４７Ｂを用いて切断面４３の確認を行うことが多い。本構成では、初期位置として下方視点位置Ｐ２が設定されるので、使用頻度の高い視点から見た画像が先ず表示されることで、ユーザの利便性が向上する。

なお、上記第２実施形態では、側方視点に切り替えた場合の初期位置として下方視点位置Ｐ２が設定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、初期位置として上方視点位置Ｐ１が設定されてもよい。すなわち、上記第２実施形態では、上方視点位置Ｐ１及び下方視点位置Ｐ２の一方を初期位置として設定することが可能である。上述したように、腹腔鏡Ｆを用いた手術では、対象臓器を上側から見る場合と下側から見る場合のいずれかの視点が採られる場合が多い。従って、使用頻度の高い上方視点位置Ｐ１と下方視点位置Ｐ２の一方を初期位置として設定することで、ユーザの利便性が向上する。

また、上記第２実施形態では、上方視点位置Ｐ１と下方視点位置Ｐ２の一方を初期位置として設定する形態例を挙げて説明したが、本開示の技術はこれに限定されない。上方視点位置Ｐ１に基づく上方視点画像４７Ａと、下方視点位置Ｐ２に基づく下方視点画像４７Ｂとが並列表示されてもよい。また、上方視点画像４７Ａ及び下方視点画像４７Ｂに加えて、上方視点位置Ｐ１及び下方視点位置Ｐ２の両方が示される断面画像５７が並列表示されてもよい。なお、上方視点画像４７Ａ及び下方視点画像４７Ｂを並列表示する場合において、視点位置の変更操作があった場合、変更操作は、上方視点画像４７Ａ及び下方視点画像４７Ｂで連動してもよいし、それぞれ個別に変更できるとしてもよい。変更操作が連動するとは、例えば、拡大表示キー６８Ｄの入力を受け付けた場合、上方視点画像４７Ａ及び下方視点画像４７Ｂの両方において、画像内の切断面４５が拡大されるように上方視点位置Ｐ１および下方視点位置Ｐ２が設定される態様である。

また、上記第２実施形態では、上方視点位置Ｐ１及び下側視点位置Ｐ２の２つの視点位置が切り替え可能な形態例を挙げて説明したが、本開示の技術はこれに限定されない。上方視点位置Ｐ１及び下方視点位置Ｐ２以外にも、複数の視点位置Ｐが切断面４３の側方に存在し、これらが切り替え可能であってもよい。

（第１変形例）
上記第１及び第２実施形態では、側方視点は、切断面４３に応じて設定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第１変形例では、ユーザの入力に応じて側方視点が設定される。

一例として図１８に示すように、先ず、視点導出部２４Ｄは、断面位置情報７０に基づいて、複数の視点位置Ｐを導出する。具体的には、視点導出部２４Ｄは、切断面４３の外縁から予め定められた距離離れた複数の位置を視点位置Ｐの候補として導出する。図１８に示す例では、６個の視点位置Ｐの候補が導出された例が示されている。視点導出部２４Ｄは、複数の視点位置Ｐの位置座標を示す視点位置情報７４を制御部２４Ｃ（図７等参照）へ出力する。

制御部２４Ｃの制御下において、画面６８には、視点位置Ｐを決定するための画像６９が表示されている。画像６９には、対象臓器に対する視点位置Ｐの候補が示されている。ユーザは、ポインタ６４を介して視点位置Ｐの候補の中から視点位置Ｐを指定する。そして、画面６８に表示された視点決定キー６８Ｂ１を選択する。この結果、視点位置Ｐが決定されて、指定された視点位置Ｐから見た側方視点画像４７が生成される。そして、側方視点画像４７は、画像６９に代えて画面６８に表示される。

以上説明したように、本第１変形例では、側方視点は、ユーザの入力に基づいて設定される。このため、側方視点が常に固定された場合と比較して、ユーザの求める側方視点が設定されやすくなる。この結果、より適切な視点位置Ｐから見た側方視点画像４７が表示される。

（第２変形例）
上記第１及び第２実施形態では、側方視点は、切断面４３に応じて設定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第２変形例では、ユーザが入力した条件に応じて側方視点が設定される。

一例として図１９に示すように、側方視点キー６８Ｂがオンされると、条件入力ウィンドウ６８Ｈが表示される。条件入力ウィンドウ６８Ｈには、側方視点を指定するための条件を示すメッセージが表示されている。図１９に示す例では、「切断面からの距離」、及び「切断面に対する位置」のメッセージが表示されている。ユーザは、側方視点を指定するための条件を受付装置１４を介して入力する。

視点導出部２４Ｄは、ユーザにより入力された側方視点を指定するための条件を示す情報である側方視点条件情報７８を取得する。視点導出部２４Ｄは、側方視点条件情報７８及び断面位置情報７０に基づいて、視点位置情報７４を生成する。具体的には、視点導出部２４Ｄは、切断面４３に対して、側方視点条件情報７８により示される距離だけ離れた位置を視点位置Ｐとして導出する。視点導出部２４Ｄは、視点位置情報７４を表示画像生成部２４Ｂに出力する。これにより、表示画像生成部２４Ｂにおいて、ユーザが指定した側方視点から見た側方視点画像４７が生成される。

以上説明したように、本第２変形例では、側方視点は、ユーザの指定した条件に基づいて設定される。このため、側方視点が常に固定された場合と比較して、ユーザの求める側方視点が設定されやすくなる。この結果、より適切な視点位置Ｐから見た側方視点画像４７が表示される。

（第３変形例）
上記第１及び第２実施形態では、側方視点は、切断面４３に応じて設定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第３変形例では、対象臓器及び術式に応じて側方視点が設定される。

一例として図２０に示すように、側方視点キー６８Ｂがオンされると、術式入力ウィンドウ６８Ｉが表示される。ユーザは、術式入力ウィンドウ６８Ｉに切除シミュレーションにおいて検討する術式を受付装置１４を介して入力する。術式は、例えば、斜視鏡Ｒを用いる術式が挙げられる（図１７参照）。

視点導出部２４Ｄは、術式を示す情報である術式情報８０を取得する。また、視点導出部２４Ｄは、抽出部２４Ａから対象臓器を示す情報である臓器情報８２を取得する。視点導出部２４Ｄは、術式情報８０、臓器情報８２、及び断面位置情報７０に基づいて、視点位置情報７４を生成する。

具体的には、一例として図２１に示すように、視点導出部２４Ｄは、ストレージ２６から視点演算式７２を取得する。視点演算式７２は、術式に応じた数値、臓器に応じた数値、及び切断面４３の座標を独立変数とし、視点位置Ｐの座標を従属変数とする演算式である。視点導出部２４Ｄは、術式情報８０、臓器情報８２、及び断面位置情報７０に基づいて、視点演算式７２を用いて視点位置Ｐを導出する。表示画像生成部２４Ｂは、視点位置情報７４により示される視点位置Ｐから見た側方視点画像４７を生成する。

なお、視点演算式７２に代えて、視点導出テーブルを用いて視点位置Ｐの座標が求められてもよい。視点導出テーブルは、術式に応じた数値、臓器に応じた数値、及び切断面４３の位置座標を入力値とし、視点位置Ｐの位置座標を出力値とするテーブルである。

以上説明したように、本第３変形例では、側方視点は、切除シミュレーションの対象となる臓器情報８２及び術式情報８０に基づいて設定される。このため、側方視点が常に固定された場合と比較して、切除シミュレーションの内容に応じた側方視点が設定されやすくなる。この結果、より適切な視点位置Ｐから見た側方視点画像４７が表示される。

なお、本第３変形例では、側方視点が、術式情報８０及び臓器情報８２に基づいて設定される形態例を挙げて説明したが、本開示の技術は、これに限定されない。側方視点は、術式情報８０又は臓器情報８２の何れかに基づいて設定されてもよい。また、上記第１変形例及び第２変形例で説明したユーザの入力に基づく情報と、術式情報８０及び／又は臓器情報８２とに基づいて側方視点が設定されてもよい。

（第４変形例）
上記第１及び第２実施形態では、側方視点画像４７は、３次元臓器画像４２Ａをレンダリングすることで得られる形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第４変形例では、側方視点画像４７に対して、術野カメラＧの光学特性を反映する処理である光学特性反映処理が施される。

一例として図２２に示すように、視点導出部２４Ｄは、視点導出処理を行うことにより、断面位置情報７０に基づいて、視点位置情報７４を生成する。表示画像生成部２４Ｂは、視点位置情報７４に基づいて、３次元臓器画像４２Ａをレンダリングすることで側方視点画像４７を生成する。また、表示画像生成部２４Ｂは、ストレージ２６から光学特性情報８８を取得する。光学特性情報８８は、術野カメラＧの光学系（例えば、対物レンズ）の特性を示す情報である。光学特性情報８８は、画角情報８８Ａ及び歪特性情報８８Ｂを含む。光学特性情報８８は、本開示の技術に係る「光学特性情報」の一例である。

画角情報８８Ａは、術野カメラＧにおける画角を示す情報である。表示画像生成部２４Ｂは、画角情報８８Ａにより示される画角に応じて、側方視点画像４７における画角を調整する。また、歪特性情報８８Ｂは、術野カメラＧによる撮像において生じる歪を示す情報である。表示画像生成部２４Ｂは、歪特性情報８８Ｂにより示される歪に応じて、側方視点画像４７の周辺視野を歪ませる。表示画像生成部２４Ｂは、光学特性反映処理を施した側方視点画像４７を出力する。

以上説明したように、本第４変形例では、側方視点画像４７に対して、光学特性反映処理が行われる。これにより、術野カメラＧの光学特性を反映する特性反映処理を実行するため、切除シミュレーションで利用される側方視点画像４７を、実際の術野画像の見え方に近づけることができる。

また、本第４変形例では、光学特性情報８８は、画角情報８８Ａ及び歪特性情報８８Ｂを含む。さらに、光学特性反映処理は、側方視点画像４７に対して画角の調整及び歪の反映を行う処理である。歪み特性及び画角といった光学特性は、色収差、非点収差及びコマ収差などの他の光学特性と比較して、術野カメラＧにおける術野画像の見え方に大きな影響を及ぼすので、これらを術野カメラＧの光学特性に応じた光学特性反映処理を側方視点画像４７に対して行うため、切除シミュレーションで利用される側方視点画像４７を、実際の術野画像の見え方に近付けることができる。

なお、上記第４変形例では、画角情報８８Ａ及び歪特性情報８８Ｂに基づいて光学特性反映処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。光学特性反映処理は、画角情報８８Ａ及び歪特性情報８８Ｂの何れかに基づいて行われてもよい。

なお、上記各実施形態では、視点位置Ｐが、切断面４３を含む平面Ａに含まれる形態例を挙げて説明したが、本開示の技術はこれに限定されない。側方視点画像４７によって切断面４５の状態（例えば、臓器内の構造物と切断面４５の交差の状態）が確認できる位置に視点位置Ｐがあればよく、視点位置Ｐは、平面Ａに含まれていなくともよい。

また、上記各実施形態では、医療業務支援装置１０に含まれる画像処理装置１２のプロセッサ２４によって画像処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、画像処理を行うデバイスは、医療業務支援装置１０の外部に設けられていてもよい。

この場合、一例として図２３に示すように、医療業務支援システム１００を用いればよい。医療業務支援システム１００は、情報処理装置１０１と外部通信装置１０２を備えている。情報処理装置１０１は、上記実施形態で説明した医療業務支援装置１０に含まれる画像処理装置１２のストレージ２６から画像処理プログラム３６が除かれた装置である。外部通信装置１０２は、例えば、サーバである。サーバは、例えば、メインフレームによって実現される。ここでは、メインフレームを例示しているが、これは、あくまでも一例に過ぎず、サーバは、クラウドコンピューティングによって実現されてもよいし、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。ここでは、外部通信装置１０２の一例として、サーバを挙げているが、これは、あくまでも一例に過ぎず、サーバに代えて、少なくとも１台のパーソナル・コンピュータ等を外部通信装置１０２として用いてもよい。

外部通信装置１０２は、プロセッサ１０４、ストレージ１０６、ＲＡＭ１０８、及び通信Ｉ／Ｆ１１０を備えており、プロセッサ１０４、ストレージ１０６、ＲＡＭ１０８、及び通信Ｉ／Ｆ１１０は、バス１１２で接続されている。通信Ｉ／Ｆ１１０は、ネットワーク１１４を介して情報処理装置１０１に接続されている。ネットワーク１１４は、例えば、インターネットである。なお、ネットワーク１１４は、インターネットに限らず、ＷＡＮ、及び／又は、イントラネット等のＬＡＮであってもよい。

ストレージ１０６には、画像処理プログラム３６が記憶されている。プロセッサ１０４は、ＲＡＭ１０８上で画像処理プログラム３６を実行する。プロセッサ１０４は、ＲＡＭ１０８上で実行する画像処理プログラム３６に従って、上述した画像処理を行う。

情報処理装置１０１は、外部通信装置１０２に対して画像処理の実行を要求する要求信号を送信する。外部通信装置１０２の通信Ｉ／Ｆ１１０は、ネットワーク１１４を介して要求信号を受信する。プロセッサ１０４は、画像処理プログラム３６に従って画像処理を行い、処理結果を通信Ｉ／Ｆ１１０を介して情報処理装置１０１に送信する。情報処理装置１０１は、外部通信装置１０２から送信された処理結果（例えば、表示画像生成部２４Ｂによる処理結果）を通信Ｉ／Ｆ３０（図２参照）で受信し、受信した処理結果を表示装置１６等の各種装置に対して出力する。

なお、図２３に示す例において、外部通信装置１０２は、本開示の技術に係る「画像処理装置」の一例であり、プロセッサ１０４は、本開示の技術に係る「プロセッサ」の一例である。

また、画像処理は、情報処理装置１０１及び外部通信装置１０２を含む複数の装置によって分散されて行われるようにしてもよい。また、上記実施形態では、医療業務支援装置１０のストレージ２６に３次元画像３８が記憶されているとしたが、外部通信装置１０２のストレージ１０６に記憶されており、画像処理を行う前に、外部通信装置１０２からネットワークを介して取得する様にしても良い。

また、上記実施形態では、ストレージ２６に画像処理プログラム３６が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、画像処理プログラム３６がＳＳＤ又はＵＳＢメモリなどの記憶媒体（図示省略）に記憶されていてもよい。記憶媒体は、可搬型のコンピュータ読取可能な非一時的記憶媒体である。記憶媒体に記憶されている画像処理プログラム３６は、医療業務支援装置１０にインストールされる。プロセッサ２４は、画像処理プログラム３６に従って画像処理を実行する。

また、ネットワークを介して医療業務支援装置１０に接続される他のコンピュータ又はサーバ等の記憶装置に画像処理プログラム３６を記憶させておき、医療業務支援装置１０の要求に応じて画像処理プログラム３６がダウンロードされ、医療業務支援装置１０にインストールされるようにしてもよい。つまり、本実施形態で説明したプログラム(すなわち、プログラム製品)は、記録媒体で提供するほか、外部のコンピュータから配信する形態であっても良い。

医療業務支援装置１０に接続される他のコンピュータ又はサーバ等の記憶装置、又はストレージ２６に画像処理プログラム３６の全てを記憶させておく必要はなく、画像処理プログラム３６の一部を記憶させておいてもよい。なお、記憶媒体、医療業務支援装置１０に接続される他のコンピュータ又はサーバ等の記憶装置、及びその他の外部ストレージは、プロセッサ２４に直接的又は間接的に接続されて用いられるメモリとして位置付けられる。

また、上記実施形態では、画像処理装置１２のプロセッサ２４、ストレージ２６、ＲＡＭ２８、及び通信Ｉ／Ｆ３０がコンピュータとして例示されているが、本開示の技術はこれに限定されず、コンピュータに代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、及び／又はＰＬＤ（Programmable Logic Device）を含むデバイスを適用してもよい。また、コンピュータに代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

上記実施形態で説明した第１出力対象選択処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、画像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで画像処理を実行する。

画像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、画像処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、画像処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（System-on-a-chip）などに代表されるように、画像処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、画像処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

上記実施形態に関し、更に以下の付記を開示する。

＜付記１＞
プロセッサを備え、
上記プロセッサは、
３次元画像により示される臓器に対する切断面の設定を受け付け、
上記３次元画像に基づくレンダリングにより生成され、かつ上記臓器を示す第１表示画像であって、設定された上記切断面の法線と交差する方向から上記切断面を見る側方視点が、上記レンダリングの視点として設定された側方視点画像を上記第１表示画像として出力することが可能である
画像処理装置。
＜付記２＞
上記プロセッサは、上記臓器を含む人体の断面を示す断面画像であって、上記第１表示画像の上記視点の位置が表示された断面画像を第２表示画像として出力することが可能であり、
表示画面において、上記第１表示画像と上記第２表示画像とを並列的に表示する表示制御を実行する
付記１に記載の画像処理装置。
＜付記３＞
上記断面画像は、アキシャル断面、コロナル断面、及びサジタル断面のそれぞれの断面を示す複数の断面画像を含む
付記２に記載の画像処理装置。
＜付記４＞
上記プロセッサは、上記切断面の周囲において見る方向が異なる複数の上記側方視点画像を出力することが可能であり、
上記表示画面に表示される上記第１表示画像として、複数の上記側方視点画像を切り替えて表示することが可能である、
付記１から付記３のいずれか一つに記載の画像処理装置。
＜付記５＞
上記体軸方向において頭部側を上側、その反対側を下側とした場合において、
複数の上記側方視点画像は、上記切断面を上記上側から見た第１側方視点画像と、上記切断面を上記下側から見た第２側方視点画像とを少なくとも含む
付記４に記載の画像処理装置。
＜付記６＞
上記第１側方視点画像の第１側方視点と、上記第２側方視点画像の第２側方視点とは、上記切断面内において予め設定された基準点を通る基準線上に設定される
付記５に記載の画像処理装置。
＜付記７＞
上記第１側方視点と上記第２側方視点の一方を初期位置として設定することが可能である
付記６に記載の画像処理装置。
＜付記８＞
上記第２側方視点が初期位置として設定されている
付記７に記載の画像処理装置。
＜付記９＞
設定された上記側方視点の視線方向の延長線と体表面とが交差する交差位置を表示可能である
付記１から付記８のいずれか一つに記載の画像処理装置。
＜付記１０＞
上記側方視点は、ユーザの入力に基づく情報、上記臓器に関する情報、又は上記臓器を切断する術式に関する情報のうちの少なくとも一つに応じて設定される
付記１から付記９のいずれか一つに記載の画像処理装置。
＜付記１１＞
上記プロセッサは、上記表示画面において、上記第１表示画像と上記第２表示画像の一方において、上記視点が変更された場合には、他方の視点を連動して変更する
付記２から付記１０のいずれか一つに記載の画像処理装置。
＜付記１２＞
上記プロセッサは、カメラの光学特性を表す光学特性情報を取得し、
上記光学特性情報に基づいて、上記光学特性を上記第１表示画像に反映する特性反映処理を実行する
付記１から付記１１のいずれか一つに記載の画像処理装置。
＜付記１３＞
上記光学特性には、歪み特性及び画角の少なくとも１つが含まれており、
上記特性反映処理は、上記歪み特性及び画角の少なくとも１つ上記第１表示画像に反映させる処理である
付記１２に記載の画像処理装置。
＜付記１４＞
上記第１表示画像は、上記側方視点とは異なる視点から臓器を見た視点画像と切り替え可能とされている
付記１から付記１３のいずれか一つに記載の画像処理装置。

１０ 医療業務支援装置
１１ モダリティ
１３ 画像データベース
１２ 画像処理装置
１４ 受付装置
１６ 表示装置
１７ ネットワーク
１８ ユーザ
２０ キーボード
２２ マウス
２４ プロセッサ
２４Ａ 抽出部
２４Ｂ 表示画像生成部
２４Ｃ 制御部
２４Ｄ 視点導出部
２６ ストレージ
２８ ＲＡＭ
３０ 通信Ｉ／Ｆ
３２ 外部Ｉ／Ｆ
３４ バス
３６ 画像処理プログラム
３８ ３次元画像
４０ ２次元スライス画像
４２，４２Ａ，４２Ａ１ ３次元臓器画像
４２Ｂ，４２Ｃ，６９ 画像
４３，４５ 切断面
４４ 投影面
４６ レンダリング画像
４６Ａ 画像
４６Ｂ 切断膵臓画像
４６Ｂ１ 膵管画像
４７ 側方視点画像
４７Ａ 上方視点画像
４７Ｂ 下方視点画像
４８ 視点
５０ 光線
５２ アキシャル断面
５４ サジタル断面
５６ コロナル断面
５７ 断面画像
５８ アキシャル断面画像
６０ サジタル断面画像
６２ コロナル断面画像
６４ ポインタ
６６ ライン
６８ 画面
６８Ａ１ 案内メッセージ
６８Ａ 案内メッセージ表示領域
６８Ｂ 側方視点キー
６８Ｂ１ 視点決定キー
６８Ｃ 通常視点キー
６８Ｄ 拡大表示キー
６８Ｅ 縮小表示キー
６８Ｆ 上側視点切替キー
６８Ｇ 下側視点切替キー
６８Ｈ 条件入力ウィンドウ
６８Ｉ 術式入力ウィンドウ
７０ 断面位置情報
７２ 視点演算式
７２Ａ 上方視点演算式
７２Ｂ 下方視点演算式
７４ 視点位置情報
７６ アイコン
７８ 側方視点条件情報
８０ 術式情報
８２ 臓器情報
８８ 光学特性情報
８８Ａ 画角情報
８８Ｂ 歪特性情報
１００ 医療業務支援システム
１０１ 情報処理装置
１０２ 外部通信装置
１０４ プロセッサ
１０６ ストレージ
１１０ 通信Ｉ／Ｆ
１１２ バス
１１４ ネットワーク
Ａ 平面
Ｂ 投影面
Ｃ 中心点
ＣＬ 中心線
Ｄ，Ｄ１ 点
Ｆ 腹腔鏡
Ｇ 術野カメラ
Ｈ ポート
Ｋ 腹部
Ｌ 直線
Ｐ 視点位置
Ｐ１ 上方視点位置
Ｐ２ 下方視点位置
ＰＴ 患者
Ｓ 膵臓
Ｖ ボクセル
Ｘ，Ｙ，Ｚ 矢印

Claims (16)

1. プロセッサを備え、
   前記プロセッサは、
   ３次元画像により示される臓器に対する切断面の設定を受け付け、
   前記３次元画像に基づくレンダリングにより生成され、かつ前記臓器を示す第１表示画像であって、設定された前記切断面の法線と交差する方向から前記切断面を見る側方視点が、前記レンダリングの視点として設定された側方視点画像を前記第１表示画像として出力することが可能である
   画像処理装置。
2. 前記プロセッサは、前記臓器を含む人体の断面を示す断面画像であって、前記第１表示画像の前記視点の位置が表示された断面画像を第２表示画像として出力することが可能であり、
   表示画面において、前記第１表示画像と前記第２表示画像とを並列的に表示する表示制御を実行する
   請求項１に記載の画像処理装置。
3. 前記断面画像は、アキシャル断面、コロナル断面、及びサジタル断面のそれぞれの断面を示す複数の断面画像を含む
   請求項２に記載の画像処理装置。
4. 前記プロセッサは、前記切断面の周囲において見る方向が異なる複数の前記側方視点画像を出力することが可能であり、
   前記第１表示画像として、複数の前記側方視点画像を切り替えて表示することが可能である、
   請求項１に記載の画像処理装置。
5. 体軸方向において頭部側を上側、その反対側を下側とした場合において、
   複数の前記側方視点画像は、前記切断面を前記上側から見た第１側方視点画像と、前記切断面を前記下側から見た第２側方視点画像とを少なくとも含む
   請求項４に記載の画像処理装置。
6. 前記第１側方視点画像の第１側方視点と、前記第２側方視点画像の第２側方視点とは、前記切断面内において予め設定された基準点を通る基準線上に設定される
   請求項５に記載の画像処理装置。
7. 前記第１側方視点と前記第２側方視点の一方を初期位置として設定することが可能である
   請求項６に記載の画像処理装置。
8. 前記第２側方視点が初期位置として設定されている
   請求項７に記載の画像処理装置。
9. 設定された前記側方視点の視線方向の延長線と体表面とが交差する交差位置を表示可能である
   請求項２に記載の画像処理装置。
10. 前記側方視点は、ユーザの入力に基づく情報、前記臓器に関する情報、又は前記臓器を切断する術式に関する情報のうちの少なくとも一つに応じて設定される
    請求項１に記載の画像処理装置。
11. 前記プロセッサは、前記表示画面において、前記第１表示画像と前記第２表示画像の一方において、前記視点が変更された場合には、他方の視点を連動して変更する
    請求項２に記載の画像処理装置。
12. 前記プロセッサは、カメラの光学特性を表す光学特性情報を取得し、
    前記光学特性情報に基づいて、前記光学特性を前記第１表示画像に反映する特性反映処理を実行する
    請求項１に記載の画像処理装置。
13. 前記光学特性には、歪み特性及び画角の少なくとも１つが含まれており、
    前記特性反映処理は、前記歪み特性及び画角の少なくとも１つ前記第１表示画像に反映させる処理である
    請求項１２に記載の画像処理装置。
14. 前記第１表示画像は、前記側方視点とは異なる視点から臓器を見た視点画像と切り替え可能とされている
    請求項１に記載の画像処理装置。
15. ３次元画像により示される臓器に対する切断面の設定を受け付けること、及び、
    前記３次元画像に基づくレンダリングにより生成され、かつ前記臓器を示す第１表示画像であって、設定された前記切断面の法線と交差する方向から前記切断面を見る側方視点が、前記レンダリングの視点として設定された側方視点画像を前記第１表示画像として出力することを可能とすること
    を含む画像処理方法。
16. コンピュータに、
    ３次元画像により示される臓器に対する切断面の設定を受け付けること、及び、
    前記３次元画像に基づくレンダリングにより生成され、かつ前記臓器を示す第１表示画像であって、設定された前記切断面の法線と交差する方向から前記切断面を見る側方視点が、前記レンダリングの視点として設定された側方視点画像を前記第１表示画像として出力することを可能とすること
    を含む処理を実行させるためのプログラム。