JP2024049367A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】適切な医用画像の取得を支援すること。
【解決手段】本実施形態に係る画像処理装置は、取得部、受付部、第１及び第２特徴特定部、推定部を備える。前記取得部は、第１のイメージング手法で撮影された第１の画像データを取得する。前記第１特徴特定部は、前記第１の画像データにおける第１の器官に関する特徴を特定する。前記受付部は、第２のイメージング手法で撮影される第２の画像データの撮像範囲であって、第２の器官に関する撮像範囲を受け付ける。前記第２特徴特定部は、前記第１の画像データにおける前記第２の器官の撮像範囲に対応する前記第２の器官の撮像範囲に関する特徴を特定する。前記推定部は、前記第１の画像データにおける前記第１の器官に関する特徴と前記第２の器官の撮像範囲に関する特徴とに基づいて、前記第２のイメージング手法における前記第２の器官の撮像範囲に対応する撮像パラメータを推定する。
【選択図】図１

Description

本明細書及び図面に開示の実施形態は、画像処理装置および画像処理方法に関する。

現在、人体のある器官に対して医用画像を撮影する手法において、一方の器官を介して他方の器官を撮影するイメージング手法がある。例えば、心臓の超音波画像診断技術として、経食道心エコー（Transesophageal Echocardiography：ＴＥＥ）の技術が挙げられる。経食道心エコーでは、操作者が超音波プローブを被検体の口から食道内に入れ、食道を介して、心臓に対して超音波画像を取得する技術である。この場合、超音波プローブは食道を介して心臓及び心臓に近い大動脈に隣接し、心臓の後方に位置しているので、胸壁及び肺部の中の空気などの影響を受けることを避け、明確な心臓の超音波画像を取得できる。このように、経食道心エコーは、動脈硬化によって狭くなった動脈を広げるためのカテーテル治療や構造的心疾患のインターベンション治療などに対して重要な役割を果たす。

操作者が体表における心臓に近い部分に超音波プローブを当てて超音波画像を取得する一般的な経胸壁心エコー（Transthoracic Echocardiography：ＴＴＥ）と比べ、経食道心エコーは、トランスデューサ（Transducer）を食道内に挿入して超音波画像を取得する侵襲的な撮像手法である。経食道心エコーの撮影では、操作者は、被検体の食道内に位置するトランスデューサを操作することで画像を撮像する。しかし、食道内に位置するトランスデューサは目視できないため、経験の少ない操作者にとって、空間方向を想像しながら食道内に位置するトランスデューサを操作して適切な方向の心臓の断面画像を取得することは非常に困難である。また、経験豊富な操作者にとっても、被検体の異常な心臓の構造などの原因により適切な断面画像の取得が困難になる場合がある。例えば、心臓の左心房と左心室の間にある弁である二尖弁（僧帽弁ともいう）のインターベンション手術において、経食道心エコーを用いて適宜に適切な心臓の断面画像を表示することで、二尖弁に対するカテーテルの挿入やデバイスの留置をガイドする。このような適切な心臓の断面画像の表示は、心房拡大の被検体に対しては困難である。

このため、操作者が実際の操作を行う前に、経食道心エコーにより撮像される医用画像（超音波画像）を推定（シミュレート）し、推定結果に基づいて操作者に対して術前計画と術前ガイドを提供する必要がある。

しかし、従来技術の経食道心エコーにより撮像される医用画像を推定することには、以下の課題がある。

例えば、経食道心エコーにより撮像される医用画像を推定する際、磁気センサによって人体モデル内に仮想トランスデューサの位置、傾斜角度及び方向などの情報を検出し、当該検出した情報と予め特定された心臓モデルとに基づいて、経食道心エコーで得られると推定される医用画像を表示する。しかし、この場合、経食道心エコーにより撮像される医用画像の推定は、予め特定された人体モデル及び心臓モデルに対して行われるものである。このような推定を行う時、異なる被検体が持つ解剖学的な差異が考慮されていない。同時に、該推定結果は、術中に応用できない。即ち、当該経食道心エコーにより撮像される医用画像の推定結果には、異なる被検体の間の差異が考慮されていないため、推定結果の精度は低い。よって、操作者に対して術前計画を精確に提供することができない。

また、例えば、経食道心エコーにより撮像される医用画像を推定する際、被検体の組織の断層画像を取得し、これに基づいて３Ｄボリュームデータを生成して、経食道心エコーに対して医用画像の推定が行われている。ユーザは、手動で経食道心エコーに関する複数のパラメータを設定することで、被検体の３Ｄボリュームデータに対する設定したパラメータによる経食道心エコーで撮像される経食道心エコービューを推定し、当該推定された経食道心エコービューを表示させる。なお、当該推定された経食道心エコービューにおいては、異なる色で異なる組織を区別することができる。しかし、この場合、操作者は、複数のパラメータを設定して必要な経食道心エコービューを手動で捜索する必要があるため、時間と人力を費やすことになる。同時に、新たな被検体にとって、既に特定されたパラメータを適用できないため、操作の効率を低下することになる。さらに、操作者が設定する経食道心エコーに関する複数のパラメータは、トランスデューサの固有のパラメータであり、術中で再現されることは困難である。即ち、当該経食道心エコーによる医用画像の推定は、大量の操作者による人為的な設定が必要であり、時間と人力を費やし、操作効率が低い。よって、操作者に対して術前計画を効率的に提供することができない。

つまり、第１の器官を介して第１の器官と異なる第２の器官に対するイメージング手法において、操作者の操作が困難である課題が存在する。また、他方のイメージング手法の画像データに基づいて、第１の器官を介した第２の器官に対するイメージング手法に対して医用画像の推定を行うことで、操作者に術前計画を提供する時に、推定結果の精度が低く、推定を行うときの作業効率が低いという課題が存在する。

特表２０２０－５０９３１６号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、適切な医用画像の取得を支援することである。ただし、本明細書及び図面に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

本実施形態に係る画像処理装置は、取得部と、第１特徴特定部と、受付部と、第２特徴特定部と、推定部と、を備える。前記取得部は、第１のイメージング手法で撮影された第１の画像データを取得する。前記第１特徴特定部は、前記第１の画像データにおける第１の器官に関する特徴を特定する。前記受付部は、前記第１のイメージング手法とは異なる第２のイメージング手法で撮影される第２の画像データの撮像範囲であって、前記第１の器官とは異なる第２の器官に関する撮像範囲を受け付ける。前記第２特徴特定部は、前記第１の画像データにおける前記第２の器官の撮像範囲に関する特徴を特定する。前記推定部は、前記第１の画像データにおける前記第１の器官に関する特徴と前記第２の器官の撮像範囲に関する特徴とに基づいて、前記第２のイメージング手法における前記第２の器官の撮像範囲に対応する撮像パラメータを推定する。

図１は、第１実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。 図２は、第１実施形態に係る第１の画像データにおける第１の器官に関する特徴を取得する一例を示す模式図である。 図３は、第１実施形態に係る第１の画像データにおける画像転換の一例を示す模式図である。 図４は、第１実施形態に係るテンプレートの一例を示す模式図である。 図５は、第１実施形態に係る推定セクタの撮像パラメータの一例を示す模式図である。 図６は、第１実施形態に係るユーザインタフェースの一例を示す模式図である。 図７は、第１実施形態に係る画像処理装置の処理を説明するためのフローチャートである。 図８は、第１実施形態の変形例に係る表示制御機能の処理を説明するためのフローチャートである。 図９は、第１実施形態の変形例に係る術中画像の一例を示す模式図である。 図１０は、第２実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。 図１１は、第２実施形態に係る解剖学的特徴を受け付ける一例を示す模式図である。 図１２は、第２実施形態に係る画像処理装置の処理を説明するためのフローチャートである。 図１３は、第３実施形態に係る画像処理装置の処理を説明するためのフローチャートである。 図１４は、第３実施形態に係るユーザインタフェースの一例を示す部分模式図である。

以下、図面を参照して、本実施形態に係る画像処理装置および画像処理方法の実施形態を詳細に説明する。

本実施形態に係る画像処理装置は複数の機能部により構成され、ソフトウェアとして独立したコンピュータ、ＣＰＵ（Central Process Unit：中央処理装置）及びメモリを備える設備などに取り付けられ、又は複数の設備に個別に取り付けられ、ある処理装置がメモリに記憶された画像処理装置の各機能部を実行することで実現する。または、画像処理装置の各機能を実行できる回路としてハードウェアで実現してもよい。画像処理装置を実行する回路は、インターネットなどのサイバーによりデータの送受信又はデータの収集を行うことができる。また、本実施形態に係る画像処理装置は、画像収集装置の一部として画像収集装置内に直接取り付けられてもよい。

また、以下は、経食道心エコー（ＴＥＥ）を例として、画像処理装置及び画像処理方法を説明する。例えば、第１のイメージング手法とは、ＣＴ画像のイメージング手法であり、第２のイメージング手法とは、経食道心エコーのイメージング手法である。第１の画像データとは、被検体の心臓のＣＴ画像（以下、心臓ＣＴ画像）であり、第１の器官とは、被検体の食道である。第２の画像データとは、経食道心エコーで得られた医用画像（即ち、被検体の心臓の超音波画像）であり、第２の器官とは、被検体の心臓である。しかし、本実施形態は、これに限らず、当然、他の医用画像の画像処理装置および画像処理方法に応用することもできる。

（第１実施形態）
まず、図１～図７を参照し、第１実施形態について説明する。

図１は、第１実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。図２は、第１の画像データにおける第１の器官に関する特徴を取得する一例を示す模式図である。図３は、第１の画像データにおける画像転換の一例を示す模式図である。図４は、テンプレートの一例を示す模式図である。図５は、推定セクタの撮像パラメータの一例を示す模式図である。

図１に示すように、第１実施形態の画像処理装置１００は、入力インターフェース９０と、通信インターフェース１１０と、ディスプレイ１２０と、処理回路１３０と、記憶回路１４０と、を備える。

入力インターフェース９０は、種々の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インターフェース９０は、処理回路１３０に接続されており、医師などのユーザから受け付けた入力操作を電気信号に変換して処理回路１３０に出力する。なお、図１において、入力インターフェース９０は、画像処理装置１００内に設けられているが、外部に設けられてもよい。

通信インターフェース１１０は、ＮＩＣ（Network Interface Card）等であり、他の装置との間で通信を行う。例えば、通信インターフェース１１０は、処理回路１３０に接続されており、超音波システムである超音波診断装置や、超音波システム以外の他のモダリティーであるＸ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置から、医用画像を収集して処理回路１３０に出力する。

ディスプレイ１２０は、処理回路１３０に接続され、処理回路１３０から出力される各種情報及び各種画像を表示する。例えば、ディスプレイ１２０は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。例えば、ディスプレイ１２０は、ユーザの指示を受け付けるためのＧＵＩ（Graphical User Interface）や、種々の表示画像、処理回路１３０による種々の処理結果を表示する。なお、図１において、ディスプレイ１２０は、画像処理装置１００内に設けられているが、外部に設けられてもよい。ディスプレイ１２０は、「表示部」の一例である。

記憶回路１４０は、処理回路１３０に接続され、各種データを記憶する。具体的には、記憶回路１４０は、処理回路１３０の処理に用いられるデータや、処理回路１３０の処理により生成されたデータを記憶する。例えば、記憶回路１４０は、少なくとも画像レジストレーション用の各種の医用画像及びレジストレーション後に得られた融合画像等を記憶する。例えば、記憶回路１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。また、記憶回路１４０は、処理回路１３０によって実行される各処理機能に対応するプログラムを記憶する。なお、図１において、記憶回路１４０は、画像処理装置１００内に設けられているが、外部に設けられてもよい。

また、記憶回路１４０は、テンプレート記憶部６０を記憶する。テンプレート記憶部６０に格納される情報については後述する。

例えば、処理回路１３０は、プロセッサによって実現される。図１に示すように、処理回路１３０は、取得機能１０と、第１特徴特定機能２０と、受付機能３０と、第２特徴特定機能４０と、推定機能５０と、表示制御機能７０と、画像転換機能８０と、を備える。第１特徴特定機能２０は、第１分割機能２１及びトランスデューサ経路生成機能２２を含む。推定機能５０は、断面生成機能５１と、トランスデューサ位置推定機能５２と、セクタ推定機能５３とを含む。

ここで、図１に示す処理回路１３０の構成要素である取得機能１０、第１特徴特定機能２０、受付機能３０、第２特徴特定機能４０、推定機能５０、表示制御機能７０、画像転換機能８０が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で画像処理装置１００の記憶回路１４０に記録されている。処理回路１３０は、各プログラムを記憶回路１４０から読み出し、実行することで各プログラムに対応する処理機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１３０は、図１の処理回路１３０内に示された各機能を有することとなる。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサは記憶回路１４０に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばＡＳＩＣである場合、記憶回路１４０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

次に、処理回路１３０が実行する取得機能１０、第１特徴特定機能２０、受付機能３０、第２特徴特定機能４０、推定機能５０、表示制御機能７０、画像転換機能８０の処理内容について説明する。

取得機能１０は、第１のイメージング手法に対応する第１の画像データを取得する。具体的には、取得機能１０は、第１のイメージング手法で撮影された第１の画像データを取得する。ここで、取得機能１０は、「取得部」の一例である。

例えば、術前において、取得機能１０は、ＣＴ（Computed Tomography）、ＭＲ（Magnetic Resonance）、ＣＢＣＴ（Cone Beam ＣＴ）などの医用画像の収集装置により撮像された１つ又は複数の心位相の医用画像を取得する。例えば、本実施形態において、第１のイメージング手法は、例えば、ＣＴ画像のイメージング手法であり、第１の画像データは、例えば、被検体の心臓ＣＴ画像である。取得機能１０は、入力インターフェース９０によって、例えば、外部からＣＴ画像のイメージング手法で撮像された心臓の医用画像を、第１のイメージング手法で撮影された第１の画像データ（以下、心臓ＣＴ画像とも称する）として取得する。

第１特徴特定機能２０は、第１の画像データ（心臓ＣＴ画像）における第１の器官に関する特徴を特定する。ここで、第１特徴特定機能２０は、「第１特徴特定部」の一例である。

本実施形態では、第１の器官は、例えば食道である。具体的には、図２の上段の図から中段の図に示すように、第１特徴特定機能２０は、取得機能１０により取得された心臓ＣＴ画像から、当該心臓ＣＴ画像における食道に関する特徴を特定する。ここで、食道に関する特徴とは、例えば食道の内輪郭および中心線などである。ここで、上述のように、第１特徴特定機能２０は、第１分割機能２１及びトランスデューサ経路生成機能２２を含む。

さらに、第１分割機能２１は、第１特徴特定機能２０により特定された心臓ＣＴ画像における第１の器官に関する特徴（食道の内輪郭及び中心線）に基づいて、心臓ＣＴ画像において食道を分割（セグメンテーション）する。ここで、第１分割機能２１は、「第１分割部」の一例である。

心臓ＣＴ画像において食道に関する特徴を特定やセグメンテーションする方法は、例えば、深層学習、機械学習、又は手動でセグメンテーションするなど公知の方法がある。例えば、三次元畳み込みニューラルネットワークおよびランダムウォーク（Random Walk）技術、古典的な二値化処理、グラフカット（Graph Cut）処理により、心臓ＣＴ画像において食道をセグメンテーションする。このように、第１分割機能２１は、公知の方法を用いることにより、例えば、心臓ＣＴ画像から、図２の下段の図に示すような食道をセグメンテーションする。

トランスデューサ経路生成機能２２は、第１分割機能２１によりセグメンテーションされた第１の器官（被検体の食道）に基づいて、第１の画像データ（心臓ＣＴ画像）において、第２のイメージング手法で第２の器官を撮像するためのトランスデューサの経路を生成する。ここで、トランスデューサ経路生成機能２２は、「トランスデューサ経路生成部」の一例である。

本実施形態では、第２のイメージング手法は、例えば経食道心エコー（ＴＥＥ）のイメージング手法であり、第２の器官は、被検体の心臓である。この場合、トランスデューサ経路生成機能２２は、第１分割機能２１により取得された食道に関する特徴に基づいて、心臓ＣＴ画像において、経食道心エコーのイメージング手法で心臓を撮像するためのトランスデューサの経路を生成する。即ち、トランスデューサ経路生成機能２２は、第１分割機能２１により取得された食道に関する特徴に基づいて、トランスデューサ経路として、トランスデューサが食道内に移動できる経路を生成する。

ここで、トランスデューサとは、超音波システムが被検体に対して医用画像を撮像する時に用いられる医療機器である。トランスデューサは、超音波システムの電気信号を超音波に転換し、超音波が被検体の内部に反射された後、トランスデューサが反射された超音波を受けて電気信号に転換し、超音波システムに出力することで、医用画像が形成される。

画像転換機能８０は、第１のイメージング手法による輝度値を第２のイメージング手法による輝度値に転換するように、第１の画像データの輝度値を処理する。ここで、画像転換機能８０は、「画像転換部」の一例である。

ここで、ＣＴ画像及び超音波画像において、同一の組織は、異なる輝度値で表示される。例えば、造影剤の影響により、心臓の４つの部屋（右心房、右心室、左心房、左心室）が、心臓ＣＴ画像においては輝度値が高く表示されるが、経食道心エコーで得られた医用画像（超音波画像）においては輝度値が低く表示される（ほぼ黒色に表示される）。図３の上段の図から下段の図に示すように、画像転換機能８０は、心臓ＣＴ画像における輝度値を処理し、心臓ＣＴ画像におけるＣＴ画像のイメージング手法による各器官や組織の輝度値を、経食道心エコーにおける超音波画像のイメージング手法による輝度値に転換する。これにより、本実施形態では、心臓ＣＴ画像（即ち、ＣＴ画像）を用いて経食道心エコーにより撮像される医用画像（即ち、超音波画像）を推定（シミュレート）することができる。

テンプレート記憶部６０は、第１の画像データにおける第２の器官の撮像範囲に関する特徴を含むテンプレートを記憶する。

具体的には、図４に示すように、テンプレート記憶部６０は、テンプレートを記憶する。ここで、テンプレート記憶部６０がＣＴ画像のテンプレートを記憶している場合、当該テンプレートは、経食道心エコー（ＴＥＥ）により撮影される医用画像のテンプレートとなる。例えば、テンプレート記憶部６０が、第１の画像データ（心臓ＣＴ画像）における第２の器官（被検体の心臓）の撮像範囲に関する特徴を含むテンプレートを記憶している場合、当該テンプレートは、例えば、経食道心エコーで得られた医用画像（超音波画像）のテンプレートとなる。当該テンプレートは、ビュー名を示す情報と、解剖学的特徴を示す情報と、アルゴリズムシーケンスを示す情報とを含み、これらの情報が対応付けられてテンプレート記憶部６０に予め記憶される。

図４に示す例では、ビュー名を示す情報は、第２のイメージング手法（経食道心エコーのイメージング手法）におけるビュー名を示す。例えば、図４において、ビュー名は、ＭＥ（中部食道）四腔像（ＭＥ（Midoesophageal） Four Chamber View）と、ＭＥ僧帽弁弁尖交連像（ＭＥ Mitral Commissural View）と、ＤＥ僧帽弁ＳＡＸ像（ＤＥ Mitral ＳＡＸ（Short axis view） View）などである。

解剖学的特徴を示す情報は、ビュー名に対応する解剖学的特徴を示す。例えば、図４において、解剖学的特徴は、僧帽弁中心部（Mitral Center）、左心室心尖部（ＬＶ（Left ventricle） Apex）、三尖弁中心部（Tricuspid Center）、僧帽弁中心部（Mitral Center）、ＡＬ交連（ＡＬ（Anterolateral） Commissural）、ＰＭ交連（ＰＭ（Posteromedial） Commissural）、僧帽弁輪の最小二乗輪などを含む。

アルゴリズムシーケンスを示す情報は、解剖学的特徴を抽出するためのアルゴリズムシーケンスを示す。例えば、図４において、アルゴリズムシーケンスは、心室分割（Chamber Segmentation）、僧帽弁分割（Mitral Segmentation）、左心室心尖部検出（ＬＶ Apex Detection）、三尖弁分割（Tricuspid Segmentation）などがある。

そして、ビュー名を示す情報と、解剖学的特徴を示す情報と、アルゴリズムシーケンスを示す情報とが対応付けられてテンプレートとしてテンプレート記憶部６０に記憶されている。例えば、図４において、ビュー名「ＭＥ四腔像」は、解剖学的特徴「僧帽弁中心部」、「左心室心尖部」、「三尖弁中心部」と対応付けられる。且つ、解剖学的特徴「僧帽弁中心部」、「左心室心尖部」、「三尖弁中心部」は、それぞれ、アルゴリズムシーケンス「心室分割及び僧帽弁分割」、「心室分割及び左心室心尖部検出」、「心室分割及び三尖弁分割」と対応付けられる。

具体的には、例えば、ビュー名が「ＭＥ四腔像」である経食道心エコーにおいて、僧帽弁中心部と、左心室心尖部と、三尖弁中心部との３つの解剖学的特徴が存在する。ＭＥ四腔像における僧帽弁中心部と、左心室心尖部と、三尖弁中心部との３つの解剖学的特徴に対して、それぞれ心室分割及び僧帽弁分割、心室分割及び左心室心尖部検出、心室分割及び三尖弁分割との３つのアルゴリズムシーケンスが対応付けられる。このように、テンプレートは、ビュー名と、解剖学的特徴と、アルゴリズムシーケンスとが対応付けられ、予めテンプレート記憶部６０内に記憶されている。

また、テンプレートに含まれるビュー名を示す情報は、第２の器官に関する撮像範囲に相当し、即ち、経食道心エコーにおける心臓に関する撮像範囲である。操作者は、心臓の撮像範囲に対して経食道心エコーの撮像を行おうとする場合、例えば、図６に示すユーザインタフェース７１においてテンプレートに含まれる相応のビュー名を指定することができる。ここで、図６に示すユーザインタフェース７１の詳細については後述する。

また、テンプレートに含まれる解剖学的特徴を示す情報は、第１の画像データにおける第２の器官の撮像範囲に関する特徴であり、即ち、心臓ＣＴ画像における心臓の撮像範囲に関する特徴である。例えば、操作者が心臓の撮像範囲に対して経食道心エコーを撮像しようとしてユーザインタフェース７１でビュー名を指定する時、該ビュー名に対応する経食道心エコーの医用画像において、該ビュー名に対応付けられて記憶されたテンプレートには、１つ以上の解剖学的特徴が含まれる。よって、本実施形態では、心臓ＣＴ画像において、１つ以上の解剖学的特徴に基づいて、指定されたビュー名の経食道心エコーにより撮像される医用画像を推定（シミュレート）することができる。解剖学的特徴に基づいて指定されたビュー名の経食道心エコーによる医用画像の推定方法については、以下で説明する。

また、テンプレートに含まれるアルゴリズムシーケンスを示す情報は、医用画像から解剖学的特徴を分割・検出するためのアルゴリズムシーケンスである。例えば、本実施形態では、心臓ＣＴ画像において、アルゴリズムシーケンスを用いて相応の解剖学的特徴を分割又は検出することができる。即ち、本実施形態では、テンプレートに基づいて、心臓ＣＴ画像に対してアルゴリズムシーケンスを実行する時、相応の解剖学的特徴を抽出（分割・検出）することができ、当該解剖学的特徴を用いて、そのビュー名に対応する経食道心エコー（ＴＥＥ）により撮像される医用画像を推定（シミュレート）することができる。

また、テンプレート記憶部６０に記憶されたテンプレートは、第２の器官に関する他の特徴を含んでもよい。この場合、本実施形態では、これらの特徴を用いて第２のイメージング手法の結果による医用画像の推定を行い、又は第２のイメージング手法における後述の撮像パラメータを推定する。例えば、テンプレートは、実際の臨床試験に基づいて自適応的に補正されてもよい。

受付機能３０は、第１のイメージング手法とは異なる第２のイメージング手法で撮影される第２の画像データの撮像範囲であって、第１の器官とは異なる２の器官に関する撮像範囲を受け付ける。ここで、受付機能３０は、「受付部」の一例である。

上述のように、例えば、第１のイメージング手法、第２のイメージング手法は、それぞれ、ＣＴ画像のイメージング手法、経食道心エコーのイメージング手法であり、第１の器官、第２の器官は、それぞれ、被検体の食道、当該被検体の心臓である。例えば、操作者は、後述のユーザインタフェース７１により経食道心エコーにおける心臓に関する撮像範囲を指定する。具体的には、操作者が、後述のユーザインタフェース７１に表示されるリストにおいて、撮像しようとする経食道心エコーにおける心臓の撮像範囲に対応するビュー名、例えば、ＭＥ四腔像、ＭＥ僧帽弁交連像、ＤＥ僧帽弁ＳＡＸ像などを選択する。このように、受付機能３０は、操作者が後述のユーザインタフェース７１で指定した撮像範囲を、第２のイメージング手法における第２の器官に関する撮像範囲として受け付ける。

第２特徴特定機能４０は、第１の画像データ（心臓ＣＴ画像）における第２の器官（被検体の心臓）の撮像範囲に関する特徴を特定する。ここで、第２特徴特定機能４０は、「第２特徴特定部」の一例である。

例えば、操作者が後述のユーザインタフェース７１においてビュー名を選択し、受付機能３０は、指定された経食道心エコーにおける被検体の心臓に関する撮像範囲を受け付ける。これにより、第２特徴特定機能４０は、受付機能３０が受け付ける第２の器官（被検体の心臓）の撮像範囲に基づいて、テンプレート記憶部６０に記憶されたテンプレートから、被検体の心臓の撮像範囲に関する特徴を特定する。例えば、第２特徴特定機能４０は、テンプレートにおけるビュー名と解剖学的特徴との間の対応関係に基づいて、心臓ＣＴ画像における心臓の撮像範囲に関する心臓に関する解剖学的特徴を特定する。これは、経食道心エコーにより撮像される医用画像を推定（シミュレート）するためである。且つ、第２特徴特定機能４０は、テンプレートにおけるビュー名とアルゴリズムシーケンスとの間の対応関係に基づいて、心臓ＣＴ画像における心臓の撮像範囲に関する解剖学的特徴に対応するアルゴリズムシーケンスを特定する。これは、心臓ＣＴ画像において解剖学的特徴を抽出（分割・検出）するためである。

推定機能５０は、第１の画像データ（心臓ＣＴ画像）における第１の器官（被検体の食道）に関する特徴（内輪郭、中心線）及び第２の器官（被検体の心臓）の撮像範囲に関する特徴に基づいて、第２のイメージング手法における第２の器官の撮像範囲を撮像する時の撮像パラメータを推定する。ここで、推定機能５０は、「推定部」の一例である。

撮像パラメータは、トランスデューサの位置と、第２のイメージング手法（経食道心エコーのイメージング手法）における第２の器官（被検体の心臓）の撮像範囲を特定するためのセクタの深さ及び角度とを含む。即ち、推定機能５０は、トランスデューサの位置と、セクタの深さ及び角度とを推定する。

ここで、上述のように、推定機能５０は、断面生成機能５１と、トランスデューサ位置推定機能５２と、セクタ推定機能５３とを含む。

まず、断面生成機能５１は、第２特徴特定機能４０により特定された第２の器官（被検体の心臓）の撮像範囲に関する特徴に基づいて、第２の器官に関する撮像範囲に対応する第１の断面を生成する。ここで、断面生成機能５１は、「断面生成部」の一例である。

例えば、操作者が後述のユーザインタフェース７１においてビュー名を指定したとする。この場合、断面生成機能５１は、第２特徴特定機能４０により特定された第２の器官（被検体の心臓）の撮像範囲に関する特徴として、ビュー名に対応する解剖学的特徴を抽出するためのアルゴリズムシーケンスに基づいて、第１の画像データ（心臓ＣＴ画像）における解剖学的特徴を特定する。次に、断面生成機能５１は、解剖学的特徴に基づいて、該ビュー名に対応するＭＰＲ（Multi Planer Reconstruction；多断面再構成法）断面を生成する。ここで、ＭＰＲ断面は、「第１の断面」の一例である。

ここで、ＭＰＲ断面とは、例えば、心臓ＣＴ画像を用いて、経食道心エコーにより撮像される医用画像を推定（シミュレート）する際の断面である。受付機能３０は、操作者が後述のユーザインタフェース７１においてビュー名を指定した後、指定されたビュー名に対応する経食道心エコーにおける心臓に関する撮像範囲を受け付ける。この場合、第２特徴特定機能４０は、テンプレート記憶部８０に記憶されたテンプレートにおいて、心臓ＣＴ画像における心臓の撮像範囲に関する特徴として、解剖学的特徴、及び、当該解剖学的特徴を抽出するためのアルゴリズムシーケンスを特定する。次に、断面生成機能５１は、心臓ＣＴ画像において、特定したアルゴリズムシーケンスを用いて、解剖学的特徴を抽出（分割・検出）し、抽出した解剖学的特徴に基づいてＭＰＲ断面を生成する。画像転換機能８０は、心臓ＣＴ画像における輝度値を経食道心エコーにおける輝度値に転換するため、断面生成機能５１により生成されたＭＰＲ断面は、指定されたビュー名に対応する経食道心エコーにより撮像される医用画像を推定するために用いられる。例えば、解剖学的特徴が３つの特徴点である場合、断面生成機能５１により生成された３つの特徴点を含む平面はＭＰＲ断面とする。

次に、トランスデューサ位置推定機能５２は、第１特徴特定機能２０により特定された第１の器官に関する特徴と、断面生成機能５１により生成された第１の断面とに基づいて、トランスデューサの位置を推定する。ここで、トランスデューサ位置推定機能５２は、「トランスデューサ位置推定部」の一例である。

具体的には、上述のように、第１の器官は、被検体の食道であり、第１の器官に関する特徴は、食道の内輪郭および中心線を含み、第１の断面は、ＭＰＲ断面である。例えば、図５の上段の図に示すように、トランスデューサ位置推定機能５２は、第１特徴特定機能２０により特定された食道の中心線と断面生成機能５１により生成されたＭＰＲ断面との交点を、トランスデューサの位置（以下、トランスデューサ位置Ｐと記載する）として推定する。ここで、トランスデューサ位置Ｐは、「撮像パラメータ」の一例である。

次に、セクタ推定機能５３は、第２の器官（被検体の心臓）の撮像範囲に関する特徴に基づいて、第１の断面（ＭＰＲ断面）におけるトランスデューサ位置Ｐにおいて、経食道心エコーのイメージング手法における被検体の心臓の撮像範囲を特定するためのセクタの深さ及び角度を推定する。ここで、セクタ推定機能５３は、「セクタ推定部」の一例である。また、上記セクタの深さ及び角度は、「撮像パラメータ」の一例である。

例えば、図５の中段の図から下段の図に示すように、セクタ推定機能５３は、第２の器官（被検体の心臓）の撮像範囲に関する特徴として、解剖学的特徴に基づいて、セクタがすべての解剖学的特徴を含み、且つ、セクタの面積が最も小さくなるように、セクタの深さ及び角度を推定する。

具体的には、セクタ推定機能５３は、経食道心エコーを撮像する時のセクタの深さ及び角度を推定する。この場合、実際の経食道心エコーを撮像する過程において、セクタの面積が小さいほど画質が高く、逆に、セクタの面積が大きいほど画質が低い。また、第２特徴特定機能４０により特定された解剖学的特徴を撮像できるようにセクタの深さ及び角度を設定することが、条件として要求されている。ここで、セクタ推定機能５３は、一例として、損失関数などの方式を用いる。損失関数は、「目標」と「実際」の出力の誤差を表すものであり、例えば、ニューラルネットワークにおいて的確な推論を行うために最適な各パラメータを決定する際、最適なパラメータに近づくための指標となるのが「損失関数（loss function）」である。よって、セクタ推定機能５３は、損失関数などの方式を用いて、ＭＰＲ断面のトランスデューサ位置Ｐにおいて、上記条件を満たすセクタの面積が最も小さくなる深さ及び角度を、それぞれ、セクタの深さ及び角度として特定する。

このように、トランスデューサ位置推定機能５２は、心臓ＣＴ画像における食道の中心線及び心臓の撮像範囲に対応するＭＰＲ断面に基づいて、経食道心エコーにおけるトランスデューサ位置Ｐを推定し、且つ、セクタ推定機能５３は、心臓ＣＴ画像における心臓に関する解剖学的特徴に基づいて、経食道心エコーにおけるセクタの深さ及び角度を推定する。

即ち、推定機能５０は、心臓ＣＴ画像における食道に関する特徴及び心臓の撮像範囲に関する特徴に基づいて、経食道心エコーのイメージング手法における心臓の撮像範囲に対応するトランスデューサ位置Ｐと、セクタの深さ及び角度を推定する。

ここで、本実施形態の処理について、具体例を挙げて説明する。

例えば、上述のように、受付機能３０は、第１のイメージング手法（ＣＴ画像のイメージング手法）とは異なる第２のイメージング手法（経食道心エコーのイメージング手法）で撮影される第２の画像データ（超音波画像）における、第１の器官（被検体の食道）とは異なる第２の器官（被検体の心臓）の撮像範囲を受け付ける。具体的には、操作者は、経食道心エコーのイメージング手法によるＭＥ四腔像を撮像しようとする場合、経食道心エコーのイメージング手法における心臓に関する撮像範囲として、後述のユーザインタフェース７１において「ＭＥ四腔像」を指定する。このとき、受付機能３０は、指定された「ＭＥ四腔像」を受け付ける。

次に、テンプレート記憶部６０に記憶されたテンプレートにおいて、ＭＥ四腔像は、僧帽弁中心部と、左心室心尖部と、三尖弁中心部との３つの解剖学的特徴にそれぞれ対応する。また、僧帽弁中心部と、左心室心尖部と、三尖弁中心部とは、それぞれ、心室分割及び僧帽弁分割と、心室分割及び左心室心尖部検出と、心室分割及び三尖弁分割との３つのアルゴリズムシーケンスに対応する。よって、第２特徴特定機能４０は、心臓ＣＴ画像における心臓に関する特徴として、ＭＥ四腔像に対応する解剖学的特徴（僧帽弁中心部と、左心室心尖部と、三尖弁中心部）、及びアルゴリズムシーケンス（心室分割及び僧帽弁分割と、心室分割及び左心室心尖部検出と、心室分割及び三尖弁分割）を特定する。

次に、推定機能５０の断面生成機能５１は、第２特徴特定機能４０により取得されたアルゴリズムシーケンス（心室分割及び僧帽弁分割と、心室分割及び左心室心尖部検出と、心室分割及び三尖弁分割）に基づいて、心臓ＣＴ画像において解剖学的特徴（僧帽弁中心部と、左心室心尖部と、三尖弁中心部）を抽出（分割・検出）する。また、断面生成機能５１は、これらの解剖学的特徴を用いてＭＥ四腔像に対応するＭＰＲ断面を生成する。この場合、解剖学的特徴は、何れも特徴点であるため、この３つの特徴点を含むようにＭＰＲ断面を生成する。ここで、ＭＰＲ断面とは、心臓ＣＴ画像において上述の解剖学的特徴に基づいて特定された平面であるが、画像転換機能８０が心臓ＣＴ画像における輝度値を経食道心エコーにおける輝度値に転換する。このため、生成されたＭＰＲ断面は、経食道心エコーにより撮像されるＭＥ四腔像の医用画像を推定するために用いられる。

次に、推定機能５０のトランスデューサ位置推定機能５２は、第１特徴特定機能２０により特定された食道の中心線と、断面生成機能５１に生成されたＭＰＲ断面との交点をトランスデューサ位置Ｐとして推定する。

次に、推定機能５０のセクタ推定機能５３は、第２特徴特定機能４０により特定された解剖学的特徴（僧帽弁中心部と、左心室心尖部と、三尖弁中心部）を撮像できるように、セクタの深さ及び角度を推定する。ここで、人体構造上、不適切なセクタの深さや角度が推定される場合がある。例えば、不適切さは、食道の抽出結果とトランスデューサの大きさとから算出される。不適切さの一例としては、食道を突き抜けるような位置に推定されるなどが挙げられる。また、トランスデューサの構造上の動作可能な範囲を超えた深さや角度が推定される場合がある。この場合、セクタ推定機能５３は、アラートを出す。あるいは、セクタ推定機能５３は、不適切なセクタの深さや角度、又は、トランスデューサの構造上の動作可能な範囲を超えた深さや角度などの位置を推定するのではなく、当該位置に最も近い位置を推定してもよい。

このように、推定機能５０は、心臓のＭＥ四腔像を撮像する時の経食道心エコーのイメージング手法における撮像パラメータとして、トランスデューサ位置Ｐと、セクタの深さ及び角度を推定する。

以下、図６を用いて、表示制御機能７０及びユーザインタフェース７１について説明する。図６は、ユーザインタフェース７１の一例を示す模式図である。

表示制御機能７０は、ユーザインタフェース７１をディスプレイ１２０に表示させる。ユーザインタフェース７１は、推定機能５０により推定された第２のイメージング手法における第２の器官に関する撮像範囲を撮像する撮像パラメータを操作者に確認させ、又は調整させるために用いられる。

図６に示す例では、ユーザインタフェース７１は、上側に配置された表示領域７２と、下側に配置された表示領域７３と、右側に配置された表示領域７４と、左側に配置された表示領域７５とを含む。表示領域７４、７５は、表示領域７２と表示領域７３との間に配置されている。

ユーザインタフェース７１において、図６の右側に示す表示領域７４には、例えば、取得機能１０により取得された心臓ＣＴ画像に基づいて生成された心臓模型が表示される。表示領域７４に表示される心臓模型に対応する位置には、例えば、第１特徴特定機能２０により特定された食道の内輪郭及び中心線が表示されてもよい。また、表示領域７４に表示される心臓模型に対応する位置には、例えば、トランスデューサ位置推定機能５２により推定されたトランスデューサ位置Ｐ、及び、セクタ推定機能５３により推定されたセクタの深さ及び角度に基づいて、食道のトランスデューサ位置Ｐに対応する仮想セクタが表示されてもよい。

また、ユーザインタフェース７１において、図６の上側に示す表示領域７２には、例えば、収集の方式及びビュー名の表示欄７２Ａが表示される。例えば、各表示欄７２Ａの右側７２Ｂには、収集の方式及びビュー名を操作者が選択するためのボタン７２Ｂ１が表示され、各表示欄７２Ａの中央部分７２Ｃには、操作者により選択された収集の方式及びビュー名が表示される。図６に示す例では、表示領域７２には、操作者により選択された収集の方式「断面」、ビュー名「ＭＥ四腔像」が表示されている。

また、ユーザインタフェース７１において、図６の左側に示す表示領域７５には、例えば、断面生成機能５１により生成されたＭＰＲ断面が表示される。また、表示領域７４には、トランスデューサ位置推定機能５２により推定されたトランスデューサ位置Ｐ、及び、セクタ推定機能５３により深さ及び角度が推定されたセクタが表示される。

また、ユーザインタフェース７１において、図６の下側に示す表示領域７３には、例えば、セクタ推定機能５３により推定された第２のイメージング手法（経食道心エコーのイメージング手法）における第２の器官（被検体の心臓）の撮像範囲に対応する撮像パラメータの表示欄が表示される。即ち、表示領域７３には、撮像パラメータとして、セクタの深さ及び角度と、トランスデューサ位置などの表示欄が表示される。例えば、表示領域７３には、撮像パラメータとして、セクタ角度、セクタ深さ、セクタ方向、トランスデューサ位置の表示欄が表示され、各表示欄の右側には、セクタ角度、セクタ深さ、セクタ方向、トランスデューサ位置を操作者が調整するためのボタンが表示され、各表示欄の中央部分には、操作者により選択されたセクタ角度、セクタ深さ、セクタ方向、トランスデューサ位置が表示される。なお、セクタ角度、セクタ深さ、セクタ方向、トランスデューサ位置などのパラメータは、操作者によって変更（調整）可能である。例えば、操作者によりセクタ角度、セクタ深さ、セクタ方向、トランスデューサ位置などのパラメータが変更（調整）された場合は、操作者により調整されたパラメータがユーザインタフェース７１により表示される。図６に示す例では、表示領域７３には、操作者により調整されたセクタ角度「６０ｄｅｇ」、セクタ深さ「１４ｃｍ」、セクタ方向「０ｄｅｇ」、トランスデューサ位置「０ｃｍ」が表示されている。

また、ユーザインタフェース７１において、表示領域７５に表示される経食道心エコーにおけるセクタの２つの半径が、操作者に認識可能に表示されてもよい。例えば、表示領域７５において、経食道心エコーにおけるセクタの２つの半径が、それぞれ、赤色の線７５Ａ（図６では点線）、緑色の線７５Ｂ（図６では破線）で表示され、２つの半径を結ぶ円弧状の線が白色の線７５Ｃ（図６では一点鎖線）で表示される。また、表示領域７４においても、心臓模型を用いて、セクタの２つの半径が、それぞれ、赤色の線７５Ａ（図６では点線）、緑色の線７５Ｂ（図６では破線）で表示され、２つの半径を結ぶ円弧状の線が白色の線７５Ｃ（図６では一点鎖線）で表示される。このように、ユーザインタフェース７１の表示領域７４、７５において、経食道心エコーにおけるセクタの２つの半径と、２つの半径を結ぶ円弧状の線とが表示されることによって、操作者が被検体に対するセクタ方向をより容易に理解することができる。

また、ユーザインタフェース７１において、表示領域７５に表示される経食道心エコーにおけるトランスデューサ位置Ｐ、即ちトランスデューサ上の発射素子の位置が、操作者に認識可能に表示されてもよい。例えば、表示領域７５において、経食道心エコーにおけるトランスデューサ位置Ｐが黄色の点７５Ｄで表示される。また、表示領域７４においては、心臓模型を用いて、食道の中心線が黄色の線７５Ｅ（図６では二点鎖線）で表示される。このように、ユーザインタフェース７１の表示領域７４、７５において、それぞれ、経食道心エコーにおけるトランスデューサ位置Ｐ、及び、食道の中心線が表示されることによって、操作者がトランスデューサ位置をより容易に理解することができる。

また、ユーザインタフェース７１において、表示領域７３に表示されるセクタ方向は、例えば、セクタがデフォルト値に対して時計方向（胸の右側に向ける）又は反時計方向（胸の左側に向ける）周りに回す時の方向を表すパラメータである。ユーザインタフェース７１において、表示領域７３に表示されるトランスデューサ位置は、例えば、デフォルト値に対してトランスデューサを食道において前進又は後退させることを表すパラメータであり、操作者がトランスデューサ位置のデフォルト値を増大させた場合、トランスデューサを食道において前進させ、操作者がトランスデューサ位置のデフォルト値を減少させた場合、トランスデューサを食道において後退させる。

また、ユーザインタフェース７１には、保存ボタン７６を表示してもよい。操作者は、保存ボタン７６を押すことで、推定機能５０により推定されたＭＰＲ断面、セクタの深さ及び角度、トランスデューサ位置など経食道心エコーの撮像に関する撮像パラメータを記憶回路１４０に保存してもよい。例えば、操作者は、ユーザインタフェース７１で最適な撮像パラメータを選択した後、保存ボタン７６を押すことで、該最適な撮像パラメータを記憶回路１４０に保存させてもよい。

また、ユーザインタフェース７１により表示された内容は、これに限らず、操作者が確認したり調整したりする他のパラメータ又は内容を表示してもよい。

以下、図７に基づいて、第１実施形態に係る画像処理装置１００が処理する処理フローチャートについて説明する。図７は、第１実施形態に係る画像処理装置が処理する処理フローチャート図である。

図７に示すように、ステップＳ１０１において、取得機能１０は、第１のイメージング手法で撮影された第１の画像データを取得し、第１特徴特定機能２０は、第１の画像データにおける第１の器官に関する特徴を特定する。例えば、取得機能１０は、心臓ＣＴ画像のイメージング手法で撮影された心臓ＣＴ画像を取得し、第１特徴特定機能２０は、心臓ＣＴ画像における食道の内輪郭及び中心線を第１の器官に関する特徴として特定する。そして、処理はステップＳ１０２に進む。

ステップＳ１０２において、第１分割機能２１は、第１特徴特定機能２０により特定された第１の画像データにおける第１の器官に関する特徴に基づいて、第１の画像データにおいて第１の器官をセグメンテーションする。例えば、第１分割機能２１は、第１特徴特定機能２０により特定された食道の内輪郭及び中心線に基づいて、心臓ＣＴ画像において食道をセグメンテーションする。そして、処理はステップＳ１０３に進む。

ステップＳ１０３において、トランスデューサ経路生成機能２２は、セグメンテーションされた第１の器官に基づいて、第１の画像データにおいて、第２のイメージング手法におけるトランスデューサ経路を生成する。例えば、トランスデューサ経路生成機能２２は、セグメンテーションされた食道に基づいて、心臓ＣＴ画像において経食道心エコーのイメージング手法におけるトランスデューサ経路を生成する。そして、処理はステップＳ１０４に進む。

ステップＳ１０４において、画像転換機能８０は、第１の画像データにおける輝度値を第２のイメージング手法における輝度値に転換するように、第１の画像データにおける輝度値を処理する。例えば、画像転換機能８０は、心臓ＣＴ画像（即ち、ＣＴ画像）における輝度値を、経食道心エコーのイメージング手法で得られる医用画像（即ち、超音波画像）における輝度値に転換する。そして、処理はステップＳ１０５に進む。

ステップＳ１０５において、受付機能３０は、第２のイメージング手法で撮影される第２の画像データの撮像範囲であって、第２の器官に関する撮像範囲を受け付ける。例えば、受付機能３０は、経食道心エコーのイメージング手法における心臓に関する撮像範囲を受け付ける。そして、処理はステップＳ１０６に進む。

ステップＳ１０６において、第２特徴特定機能４０は、第１の画像データにおける第２の器官の撮像範囲に関する特徴を特定する。例えば、第２特徴特定機能４０は、心臓ＣＴ画像における心臓の撮像範囲に関する解剖学的特徴及びアルゴリズムシーケンスを取得する。そして、処理はステップＳ１０７に進む。

ステップＳ１０７において、推定機能５０は、第１の画像データにおける第１の器官に関する特徴及び第２の器官の撮像範囲に関する特徴に基づいて、第２の器官に関する撮像範囲を撮像する時の第２のイメージング手法における撮像パラメータを推定する。例えば、推定機能５０は、心臓ＣＴ画像における食道の内輪郭、中心線、及び関連する解剖学的特徴及びアルゴリズムシーケンスに基づいて、心臓に関する撮像範囲を撮像する時の経食道心エコーにおけるセクタの深さ及び角度と、トランスデューサ位置とを推定する。ステップＳ１０８に進む。

ステップＳ１０８において、表示制御機能７０は、第２の器官に関する撮像範囲を撮像する時の第２のイメージング手法における撮像パラメータをディスプレイ１２０に表示させる。例えば、表示制御機能７０は、心臓に関する撮像範囲に対して経食道心エコーを撮像する時のセクタの深さ及び角度と、トランスデューサ位置とをディスプレイ１２０に表示させる。

なお、ステップＳ１０１の特徴点の特定やステップＳ１０２の食道のセグメンテーションの処理は手動で行われてもよい。また、特徴点の特定や食道のセグメンテーションは、ステップＳ１０３のトランスデューサ経路の生成処理のための一手段であり、別手段の結果を用いて、ステップＳ１０３のトランスデューサ経路の生成処理が行われてもよい。また、ステップＳ１０３のトランスデューサ経路の生成は、上述した方法に限定されるものではなく、他の方法により行われてもよい。また、操作者が手動でトランスデューサ経路を作成してもよい。

以上の説明により、本実施形態の画像処理装置１００では、取得機能１０は、第１のイメージング手法（ＣＴ画像のイメージング手法）で撮影された第１の画像データ（被検体の心臓のＣＴ画像）を取得する。第１特徴特定機能２０は、第１の画像データにおける第１の器官（被検体の食道）に関する特徴（食道の内輪郭および中心線）を特定する。受付機能３０は、第１のイメージング手法とは異なる第２のイメージング手法（経食道心エコーのイメージング手法）で撮影される第２の画像データ（経食道心エコー（被検体の心臓の超音波画像））の撮像範囲であって、第１の器官とは異なる第２の器官（被検体の心臓）に関する撮像範囲を受け付ける。第２特徴特定機能４０は、第１の画像データにおける第２の器官の撮像範囲に関する特徴を特定する。推定機能５０は、第１の画像データにおける第１の器官に関する特徴と第２の器官の撮像範囲に関する特徴とに基づいて、第２のイメージング手法における第２の器官の撮像範囲に対応する撮像パラメータを推定する。

このように、本実施形態の画像処理装置１００は、第１の画像データ（被検体の心臓ＣＴ画像）における第１の器官（被検体の食道）に関する特徴及び第２の器官（被検体の心臓）の撮像範囲に関する特徴に基づいて、第２のイメージング手法における撮像パラメータを推定することができる。この場合、操作者は、撮像したい第２のイメージング手法における第２の器官に関する撮像範囲を指定すれば、本実施形態の画像処理装置１００は、自動的に該撮像範囲を撮像するための撮像パラメータを推定することができる。よって、操作者が費やす時間と労力を低減し、作業効率を向上させることができ、操作者に対して術前計画を効率的に提供することができる。

また、本実施形態の画像処理装置１００では、第１のイメージング手法における第１の画像データを取得し、第１の画像データに基づいて第２のイメージング手法における撮像パラメータを推定する。このように、被検体に対して第１の画像データ（心臓ＣＴ画像）を取得し、撮像パラメータを推定することができる。よって、異なる被検体の間の差異を考慮したうえで撮像パラメータを推定することができ、推定された撮像パラメータは、臨床手術などの用途に応用でき、操作者に対して術前計画を精確的に提供することができる。

また、本実施形態の画像処理装置１００では、操作者が術前に推定された第２のイメージング手法における撮像パラメータを参照することで、第２のイメージング手法で医用画像を撮像する術中において、第２のイメージング手法を容易に行うことができる。即ち、推定された第２のイメージング手法における撮像パラメータは、術中に容易に再現されるので、適切な医用画像の取得を支援することであることができる。

また、本実施形態の画像処理装置１００では、テンプレート記憶部６０には、第２の器官（被検体の心臓）の撮像範囲に関する特徴を示すテンプレートが記憶されている。第２特徴特定機能４０は、受付機能３０が受け付ける第２の器官（被検体の心臓）の撮像範囲に基づいて、テンプレート記憶部６０に記憶されたテンプレートから、第２の器官の撮像範囲に関する特徴を特定する。ここで、テンプレート記憶部６０に記憶されるテンプレートは、第２のイメージング手法（経食道心エコーのイメージング手法）におけるビュー名を示す情報と、ビュー名に対応する解剖学的特徴を示す情報と、解剖学的特徴を抽出するためのアルゴリズムシーケンスを示す情報とを含む。

このように、本実施形態の画像処理装置１００では、第２のイメージング手法におけるビュー名と、解剖学的特徴と、アルゴリズムシーケンスとが対応付けられてテンプレート記憶部６０のテンプレートに予め記憶される。よって、操作者は、撮像したい第２のイメージング手法におけるビュー名を指定した場合、本実施形態の画像処理装置１００は、該ビュー名に対応する解剖学的特徴及びアルゴリズムシーケンスを取得する。これにより、本実施形態の画像処理装置１００は、解剖学的特徴及びアルゴリズムシーケンスに基づいて、第１の画像データによって指定されたビュー名の第２のイメージング手法の結果に対して医用画像の推定（シミュレート）を行い、且つビュー名が指定された第２のイメージング手法を行う時に必要な撮像パラメータを推定することができる。本実施形態の画像処理装置１００では、術前に、該第２のイメージング手法の推定結果及び撮像パラメータを参照することで、操作者が術中に行う撮像操作をガイドすることができる。このように、操作者に対して術前計画及び術中ガイドをさらに効率的且つ精確的に提供することができる。

また、本実施形態の画像処理装置１００では、画像転換機能８０は、第１のイメージング手法（ＣＴ画像のイメージング手法）における輝度値を第２のイメージング手法（経食道心エコーのイメージング手法）における輝度値に転換するように、第１の画像データ（心臓ＣＴ画像）の輝度値を処理する。これにより、本実施形態の画像処理装置１００では、第１の画像データによって撮像したい第２のイメージング手法の結果に対して医用画像の推定を行うことができる。術前に、操作者に表示させることで、操作者に撮像したい第２のイメージング手法の推定結果を理解させておくことができる。このように、操作者に対して術前計画をさらに効率的且つ精確的に提供することができる。

また、本実施形態の画像処理装置１００では、第１分割機能２１は、第１特徴特定機能２０により特定された第１の画像データ（被検体の心臓ＣＴ画像）における第１の器官（被検体の食道）に関する特徴（食道の内輪郭および中心線）に基づいて、第１の画像データにおいて第１の器官をセグメンテーションする。トランスデューサ経路生成機能２２は、セグメンテーションされた第１の器官に基づいて、第１の画像データにおいて、第２のイメージング手法（経食道心エコーのイメージング手法）で第２の器官（被検体の心臓）を撮像するためのトランスデューサの経路を生成する。

このように、本実施形態の画像処理装置１００では、第１の画像データにおいて第１の器官をセグメンテーションし、第１の器官に基づいてトランスデューサ経路を生成することができる。即ち、術前に、操作者に対してトランスデューサが移動可能な経路を提供し、操作者が術中のトランスデューサに対する操作を容易に行うことができる。このように、操作者に対して術前計画を効率的且つ精確的にさらに提供することができる。

また、本実施形態の画像処理装置１００では、撮像パラメータは、トランスデューサの位置（トランスデューサ位置Ｐ）と、第２のイメージング手法（経食道心エコーのイメージング手法）における第２の器官（被検体の心臓）の撮像範囲を特定するためのセクタの深さ及び角度とを含む。

このように、本実施形態の画像処理装置１００では、術前に、推定された撮像パラメータに基づいて操作者に対してトランスデューサの位置、セクタの深さ、セクタの角度など第２のイメージング手法を行う時に必要な撮像パラメータを提供する。このため、操作者は、術中の撮像操作を容易に行うことができる。このように、操作者に対して術前計画をさらに効率的且つ精確的に提供することができる。

また、本実施形態の画像処理装置１００では、推定機能５０において、断面生成機能５１は、第２特徴特定機能４０により特定された第２の器官（被検体の心臓）の撮像範囲に関する特徴に基づいて、第２の器官の撮像範囲に対応する第１の断面（ＭＰＲ断面）を生成する。トランスデューサ位置推定機能５２は、第１特徴特定機能２０により特定された第１の器官（被検体の食道）に関する特徴（食道の内輪郭および中心線）と、断面生成機能５１により生成された第１の断面とに基づいて、トランスデューサの位置（トランスデューサ位置Ｐ）を推定する。セクタ推定機能５３は、第２の器官の撮像範囲に関する特徴に基づいて、第１の断面のトランスデューサの位置において、セクタの深さ及び角度を推定する。

ここで、断面生成機能５１は、第２の器官（被検体の心臓）の撮像範囲に関する特徴として、解剖学的特徴を抽出するためのアルゴリズムシーケンスに基づいて、第１の画像データ（被検体の心臓ＣＴ画像）における解剖学的特徴を特定し、解剖学的特徴に基づいて第１の断面（ＭＰＲ断面）を生成する。また、第１の器官（被検体の食道）に関する特徴は、第１の器官の中心線及び内輪郭線を含み、トランスデューサ位置推定機能５２は、第１の器官の中心線と第１の断面（ＭＰＲ断面）との交点をトランスデューサの位置として推定する。また、セクタ推定機能５３は、第２の器官（被検体の心臓）の撮像範囲に関する特徴として、解剖学的特徴に基づいて、セクタがすべての解剖学的特徴を含み、且つ、セクタの面積が最も小さくなるように、セクタの深さ及び角度を推定する。

このように、本実施形態の画像処理装置１００では、推定機能５０における断面生成機能５１は、操作者が経食道心エコーのビュー名を指定した場合、相応のアルゴリズムシーケンスに基づいて、心臓ＣＴ画像において解剖学的特徴を抽出（分割・検出）し、解剖学的特徴に基づいてＭＰＲ断面を生成する。この場合、ＭＰＲ断面は、心臓ＣＴ画像に基づいて指定された経食道心エコーに対して推定（シミュレート）を行うための医用画像である。よって、術前に、指定された経食道心エコーに対して推定を行うための医用画像により、操作者に対して術前計画を効率的に提供することができる。

また、操作者は、経験の有無にかかわらず、提供された推定結果及び推定された撮像パラメータに基づいて、術中において該推定結果及び撮像パラメータに対応する経食道心エコーを再現できる。このため、操作者は、経食道心エコーの撮像を容易に行うことができる。

なお、本実施形態は、テンプレート記憶部６０に記憶されたテンプレートを提供し、該テンプレートは、実際の臨床経験に基づいて自適応的に補正されてもよい。よって、本実施形態の画像処理装置および画像処理方法は、新たな被検体に応用することができる。

（第１実施形態の変形例）
次に、図８、図９を参照し、第１実施形態の変形例について説明する。以下では、変形例と第１実施形態との相違点のみを説明し、同一又は類似の構成に対して同一の符号を付け、重複の説明を適切に省略する。

図８は、第１実施形態の変形例に係る表示制御機能７０の処理を説明するためのフローチャートである。図９は、第１実施形態の変形例に係る術中画像の一例を示す模式図である。

図９に示すように、第１実施形態の変形例の画像処理装置１００の表示制御機能７０は、術中画像において、推定機能５０により推定された撮像パラメータに基づいて、撮像パラメータに対応するセクタである推定セクタをディスプレイ１２０に表示させる。且つ、表示制御機能７０は、現在のトランスデューサの位置及び方向に基づいて現在のセクタ（以下、現在セクタと記載する）をディスプレイ１２０に表示させる。そして、表示制御機能７０は、現在セクタを推定セクタに合わせられるように、操作者による現在のトランスデューサの位置及び撮像パラメータの調整に関する操作をガイドする。ここで、表示制御機能７０は、「ガイド部」の一例である。

具体的には、表示制御機能７０は、推定機能５０により推定された撮像パラメータである、トランスデューサ位置Ｐと、セクタの深さ及び角度とに基づいて、経食道心エコーの術中画像において相応の推定セクタを表示する。そして、表示制御機能７０は、術中に撮像する画像において、現在のトランスデューサの位置及び方向に基づいて、現在セクタをリアルタイムに表示する。このように、表示制御機能７０が現在セクタと推定セクタとをディスプレイ１２０に表示させることで、操作者は、経食道心エコーの術中で操作する時、推定セクタを参照して推定セクタと現在セクタとを比較することができる。また、表示制御機能７０は、現在セクタと推定セクタとをディスプレイ１２０に表示させることで、現在セクタを推定セクタに合わせられるように、操作者によるトランスデューサに対する操作をガイドする。

ここで、推定セクタとは、推定機能５０により推定されたトランスデューサ位置Ｐと、セクタの深さ及び角度とに基づいたセクタである。現在セクタとは、経食道心エコーの術中において、トランスデューサが現在置かれた位置、及び、現在設定された撮像パラメータに対応するセクタである。また、経食道心エコーの術中において撮像された画像及び術中画像とは、経食道心エコーの術中においてトランスデューサ位置などを確認するためにリアルタイムに撮像する医用画像であり、例えばＣＴ画像である。

また、操作者は、ユーザインタフェース７１おいて経食道心エコーを撮像する最適な撮像パラメータを選択して保存した場合、表示制御機能７０は、該保存された最適な撮像パラメータに基づいて推定セクタを表示してもよい。

これにより、操作者は、リアルタイムに表示された現在セクタと推定セクタの方向と、深さ及び角度などに基づいて、現在セクタと推定セクタとの差異を比較することで、トランスデューサ位置及び方向を特定することができる。且つ、操作者は、現在セクタを推定セクタに接近する、又は合わせられるように、セクタの撮像パラメータを調整し、トランスデューサ位置などを調整することができる。このように、表示制御機能７０は、操作者による現在のトランスデューサに対する操作、及び、撮像パラメータに対する設定をガイドすることで、操作効率を向上させ、操作をより精確に行うことができる。

図８を参照して第１実施形態の変形例の表示制御機能７０の処理のフローチャートについて説明する。

図８に示すように、ステップＳ２０１において、表示制御機能７０は、第１の画像データと術中画像とを位置合わせする。例えば、表示制御機能７０は、公知の位置合わせ方法を用いて、心臓ＣＴ画像と経食道心エコーの術中画像とを位置合わせする。そして、処理はステップＳ２０２に進む。

ステップＳ２０２において、表示制御機能７０は、第２のイメージング手法における撮像パラメータを取得する。例えば、表示制御機能７０は、推定機能５０により推定された経食道心エコーの撮像パラメータを取得する。または、表示制御機能７０は、操作者がユーザインタフェース７１において選択して保存された最適な撮像パラメータを取得してもよい。そして、処理はステップＳ２０３に進む。

ステップＳ２０３において、表示制御機能７０は、取得された撮像パラメータに基づいて、術中画像において推定セクタを表示する。例えば、表示制御機能７０は、推定機能５０により推定された撮像パラメータに基づいて、術中画像において該撮像パラメータに対応する推定セクタを表示してもよい。また、表示制御機能７０は、操作者が保存した最適な撮像パラメータに基づいて、術中画像において該撮像パラメータに対応する推定セクタを表示してもよい。推定セクタは、操作者のトランスデューサに対する操作及び撮像パラメータの設定をガイドできるセクタであればよい。

次に、ステップＳ２０４において、表示制御機能７０は、トランスデューサと術中画像とを位置合わせする。例えば、表示制御機能７０は術中においてリアルタイムにトランスデューサと術中画像とを位置合わせする。そして、処理はステップＳ２０５に進む。

ステップＳ２０５において、表示制御機能７０は、術中画像において現在セクタを表示する。例えば、現在セクタは、術中のトランスデューサ位置及び撮像パラメータに基づいたセクタである。操作者は、術中においてトランスデューサを移動し、又は撮像パラメータを調整することで、現在セクタを変更することができる。そして、処理はステップＳ２０６に進む。

ステップＳ２０６において、操作者が術中画像において推定セクタを参照し、現在のトランスデューサと現在セクタの撮像パラメータを調整する。例えば、操作者が術中画像において推定セクタを参照し、該推定セクタを目標として、現在セクタを推定セクタに接近して重なるように、トランスデューサ位置と撮像パラメータなどを調整する。

以上の説明により、本実施形態の変形例の画像処理装置１００では、表示制御機能７０は、術中画像において、推定機能５０により推定された撮像パラメータに基づいて、撮像パラメータに対応するセクタである推定セクタを表示し、現在のトランスデューサの位置及び方向に基づいて現在のセクタを表示する。そして、表示制御機能７０は、現在のセクタを推定セクタに合わせられるように、操作者による現在のトランスデューサ位置及び撮像パラメータの調整に関する操作をガイドする。

このように、本実施形態の変形例の画像処理装置１００では、術中に現在のトランスデューサ位置、推定セクタ及び現在セクタをリアルタイムに表示させることができる。これにより、術中において、操作者は、リアルタイムに表示された現在セクタと推定セクタの方向、深さ及び角度などに基づいて、現在セクタと推定セクタとの間の相違点を比較することで、トランスデューサ位置及び方向を特定することができる。且つ、操作者は、現在セクタを推定セクタに接近するようにセクタの撮像パラメータ又はトランスデューサ位置などを調整することができる。このように、本実施形態の変形例の画像処理装置１００では、操作者によるトランスデューサに対する操作及び撮像パラメータの設定をガイドし、操作効率を向上させ、操作がより精確に行うことができる。

また、術中において、操作者は可視的にトランスデューサ位置と撮像パラメータなどを調整し、現在セクタと推定セクタとの相違点をリアルタイムに観察し得ることで、推定セクタに接近するようにトランスデューサ位置と撮像パラメータを調整することができる。このように、操作者は経験有無にかかわらず、術中において、トランスデューサ位置と撮像パラメータを容易に最適に設定することができる。即ち、術中におけるトランスデューサの操作を可視化させ、術中において操作者に対して精確的に指導することができる。

（第２実施形態）
次に、図１０、図１１を参照し、第２実施形態について説明する。以下は第２実施形態と第１実施形態との相違点を説明し、同一又は類似の構成に対して同一の符号を付けて重複の説明を適当に省略する。

図１０は、第２実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。図１１は、第２実施形態に係る解剖学的特徴の受け付けの一例を示す模式図である。

図１０に示すように、第２実施形態と第１実施形態との相違点は、第２実施形態の画像処理装置１００の処理回路１３０は、さらに、第２分割機能２０１と、グリッド受付機能２０２と、テンプレート入力機能２０３とを備えることにある。

第２分割機能２０１は、第１の画像データに基づいて、第２の器官をグリッドにセグメンテーションする。ここで、第２分割機能２０１は、「第２分割部」の一例である。

具体的には、例えば、心臓の構成は、弁膜、心内膜、心外膜、静脈、大動脈根元部などを含む。第２分割機能２０１は、心臓ＣＴ画像に基づいて、異なる構成部分によって心臓をセグメンテーションして所定のグリッド（grid）として表示する。ここで、グリッドは、数及び配列が予め確定されたグリッドポイント（grid point）であり、グリッドポイントごとに唯一の識別子が対応し、識別子とグリッドポイントとの対応関係は、該グリッドポイントを検索するために用いられる。この場合、ある被検体のデータにおけるグリッドのグリッド位置が解剖学的特徴の特徴点位置に対応し、且つ同一のグリッドポイントは同一の解剖学的特徴に対応している。

グリッド受付機能２０２は、指定されたグリッドのグリッド位置を受け付ける。ここで、グリッド受付機能２０２は、「グリッド受付部」の一例である。

具体的には、例えば、操作者は、ユーザインタフェース７１又は入力インターフェース９０により、グリッド上にグリッド位置を指定し、グリッド受付機能２０２は、操作者が指定するグリッド位置を受け付ける。

テンプレート入力機能２０３は、受け付けられたグリッド位置を解剖学的特徴としてテンプレート記憶部６０におけるテンプレートに記憶する。ここで、テンプレート入力機能２０３は、「テンプレート入力部」の一例である。

具体的には、テンプレート入力機能２０３は、グリッド受付機能２０２が受け付けられたグリッド位置に対応する解剖学的特徴をテンプレート記憶部６０における経食道心エコーのテンプレートに記憶する。

例えば、操作者は、ビュー名が「ＭＥ、ＡＶ、ＳＡＸ（Midoesophageal short axis view of the aortic valve）」ビューである画像におけるグリッドにおいて、（１００、３０）、（１１０、５０）、（１２０、６０）との３つのグリッド位置を指定した場合、グリッド受付機能２０２は、該グリッド位置及びそれとビュー名との対応関係を受け付ける。テンプレート入力機能２０３は、図１１に示すように、受け付けられたグリッド位置を解剖学的特徴として、対応するビュー名に対応付けてテンプレート記憶部６０のテンプレートに記憶させる。図１１に示す例では、ビュー名を示す情報「ＭＥ、ＡＶ、ＳＡＸ」と、解剖学的特徴を示す情報「（１００、３０）、（１１０、５０）、（１２０、６０）」と、アルゴリズムシーケンスを示す情報として該当なし「Ｎ／Ａ」とが対応付けられてテンプレートとしてテンプレート記憶部６０に記憶される。

図１２を参照して、第２実施形態に対する処理の流れを説明する。

図１２は、第２実施形態に係る画像処理装置の処理を説明するためのフローチャートである。

図１２に示すように、ステップＳ３０１において、取得機能１０は第１の画像データを取得する。そして、処理はステップＳ３０２に進む。

ステップＳ３０２において、第２分割機能２０１は第１の画像データに基づいて、第２の器官をグリッドにセグメンテーションする。例えば、第２分割機能２０１は心臓ＣＴ画像に基づいて、心臓をグリッドにセグメンテーションする。そして、処理はステップＳ３０３に進む。

ステップＳ３０３において、グリッド受付機能２０２は指定されたグリッドのグリッド位置を受け付ける。そして、処理はステップＳ３０４に進む。

ステップＳ３０４において、テンプレート入力機能２０３は受け付けられたグリッド位置を解剖学的特徴としてテンプレート記憶部６０のテンプレートに入力して記憶する。例えば、テンプレート入力機能２０３は受け付けられた（１００，３０）、（１１０，５０）、（１２０，６０）との３つのグリッド位置を解剖学的特徴としてテンプレート記憶部６０のテンプレートに入力して記憶する。これにより、テンプレートには、操作者が指定するグリッド位置に対応する解剖学的特徴、及び該解剖学的特徴に対応付けられたビュー名などが入力される。

以上の説明により、本実施形態の画像処理装置１００では、第２分割機能２０１は、第１の画像データ（被検体の心臓のＣＴ画像）に基づいて、第２の器官（被検体の心臓）をグリッドにセグメンテーションする。グリッド受付機能２０２は、指定された前記グリッドのグリッド位置を受け付ける。テンプレート入力機能２０３は、グリッド位置を解剖学的特徴として、テンプレート記憶部６０に記憶されているテンプレートに入力する。推定機能５０は、入力された解剖学的特徴に基づいて、撮像パラメータを推定する。

このように、本実施形態の画像処理装置１００では、第２特徴特定機能４０は、受付機能３０が第２の器官に関する撮像範囲を受け付けた時、操作者が指定したグリッド位置に対応する解剖学的特徴に基づいて、第２の器官の撮像範囲に関する特徴を特定する。そして、推定機能５０は、操作者が指定したグリッド位置に対応する解剖学的特徴に基づいて、第２の画像データにおける第２の器官に関する撮像範囲に対応する撮像パラメータを推定する。

これによって、本実施形態の画像処理装置１００では、操作者が指定したグリッド位置に対応する解剖学的特徴に基づいて、経食道心エコーにより撮像される医用画像及び撮像パラメータを推定することができる。よって、操作者の需要に応じて操作者に対してさらに効率的且つ精確的に術前計画を提供することができる。

（第３実施形態）
次は、図１３、図１４を参照し、第３実施形態について説明する。以下では、第３実施形態と第１実施形態との相違点のみを説明し、同一又は類似の構成に対して同一の符号を付けて重複の説明を適切に省略する。

図１３は、第３実施形態に係る画像処理装置の処理を説明するためのフローチャートである。図１４は、第３実施形態に係るユーザインタフェースの一例を示す模式図の一部である。

第３実施形態と第１実施形態との相違点は、受付機能３０は、第２の器官に関する撮像範囲を受け付けず、推定機能５０は、テンプレートにおける複数の第２の器官の撮像範囲に関する特徴に基づいて、対応する撮像パラメータをそれぞれ推定する。そして、表示制御機能７０は、ユーザインタフェース７１において生成された複数のＭＰＲ断面及び推定された撮像パラメータを表示する。

図１３に示すように、ステップＳ４０１において、第２特徴特定機能４０は、テンプレート記憶部６０に記憶された複数のビュー名と、相応の解剖学的特徴及びアルゴリズムシーケンスとを取得する。そして、処理はステップＳ４０２に進む。

ステップＳ４０２において、推定機能５０は、あるビュー名に対して、相応のアルゴリズムシーケンスにより解剖学的特徴を特定する。そして、処理はステップＳ４０３に進む。

ステップＳ４０３において、推定機能５０の断面生成機能５１は、解剖学的特徴に基づいてＭＰＲ断面を生成する。そして、処理はステップＳ４０４に進む。

ステップＳ４０４において、推定機能５０のセクタ推定機能５３は、撮像パラメータを推定する。

次に、ステップＳ４０２に戻し、推定機能５０は、次のビュー名に対してＭＰＲ断面を生成して撮像パラメータを推定し続ける。

ここで、推定機能５０の動作と第１実施形態とは同一であるため、詳しい説明を省略する。

図１４に示すように、表示制御機能７０は、ユーザインタフェース７１において、例えば、生成された複数のＭＰＲ断面及び推定された撮像パラメータを含む。図１４に示す例では、ユーザインタフェース７１に表示された心臓模型において、表示制御機能７０は、第１特徴特定機能２０により特定された食道の内輪郭及び中心線を表示している。さらに、表示制御機能７０は、トランスデューサ位置推定機能５２により推定された４つのトランスデューサ位置Ｐと、セクタ推定機能５３により推定された４つのセクタと、を表示している。具体的には、例えば、心臓模型において、操作者により選択されたセクタの２つの半径が、それぞれ、赤色の線７５Ａ（図１４では点線）、緑色の線７５Ｂ（図１４では破線）で表示される。また、経食道心エコーにおけるトランスデューサ位置Ｐが黄色の点７５Ｄで表示され、食道の中心線が黄色の線７５Ｅ（図１４では二点鎖線）で表示される。

以上の説明により、本実施形態の画像処理装置１００では、推定機能５０は、テンプレートにおける複数の第２の器官（被検体の心臓）の撮像範囲に関する特徴に基づいて、対応する撮像パラメータをそれぞれ推定する。

このように、本実施形態の画像処理装置１００では、操作者に対して複数の経食道心エコーのビュー名に対応するＭＰＲ断面及び撮像パラメータを同時に表示することができる。操作者は、複数の撮像パラメータの情報を同時に取得し、取得した情報の中から、撮像しようとする経食道心エコーに対応する撮像パラメータを選択し、又はＭＰＲ断面及び推定セクタが撮像しようとする心臓の部位の撮像パラメータを選択することができる。このように、操作者に対して術前計画を効率的且つ精確的に行うことができる。

また、上述した第１実施形態から第３実施形態では、経食道心エコーを例にして、画像処理装置および画像処理方法について説明している。しかし、本実施形態は、これに限らず、例えば、本実施形態の画像処理装置および画像処理方法は血管内内視鏡や心腔内エコー（Intra cardiac echo catheter：ＩＣＥ）にも用いられてもよい。

また、上述した第１実施形態から第３実施形態では、第１のイメージング手法がＣＴイメージング手法であり、第２のイメージング手法が経食道心エコーイメージング手法であり、第１の画像データがＣＴ画像であり、第２の画像データが超音波画像である場合を例として説明している。しかし、本実施形態は、これに限らず、例えば、第１のイメージング手法がＭＲＩ（Magnetic Resonance Imaging）（磁気共鳴画像）イメージング手法であり、第２のイメージング手法が血管撮影（Angiography）イメージング手法であってもよい。この場合、第１の画像データがＭＲＩ画像であり、第２の画像データが血管撮像画像である。また、第１のイメージング手法がＣＴイメージング手法であり、第２のイメージング手法が血管撮影イメージング手法であってもよい。

また、上述した第１実施形態から第３実施形態では、第１の器官は食道であり、第２の器官は心臓であることを例として説明している。しかし、本実施形態は、これに限らず、例えば、第１の器官及び第２の器官とは被検体の他の器官であってもよい。

また、第１のイメージング手法に基づいた第１の画像データと、第２のイメージング手法に基づいた第２の画像データとの間に対応関係が存在すれば、且つ第２のイメージング手法における撮像範囲及び撮像パラメータが第２のイメージング手法の撮像過程において可変であれば、本実施形態の画像処理装置および画像処理方法は任意の医用画像に応用することができる。

また、上述した第１実施形態から第３実施形態の説明では、画像データにおいて器官をセグメンテーションする方法について、三次元畳み込みニューラルネットワークおよびランダムウォーク（Random Walk）技術、古典的な二値化処理、グラフカット（Graph Cut）処理などを例にして説明している。しかし、本実施形態は、これに限らず、例えば、画像における対象となる器官の位置を特定することができれば、任意の処理方法を用いることができる。

上述の実施形態における各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・総合的な具体的な形態は図示の内容に限らず、その全部又は一部を各負荷及び使用状況などに対応して任意単位による機能的な又は物理学的な分散・総合的に構成されている。さらに、各装置において各処理機能の全部又は任意の一部はＣＰＵ及び該ＣＰＵによる解析、実行されたプログラムで実現し、又は配線ロジックに基づいたハードウェアとして実現することができる。

また、上述の実施形態において説明した画像処理装置及び画像処理方法は、パーソナルコンピュータ及びワークステーションなどのコンピュータにより、予め準備したプログラムを実行することで実現することができる。該プログラムはインターネットなどのサイバーにより配分されることができる。また、該プログラムはさらにハードディスク、フロッピーディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータの読み取り可能な非一時的な記録媒体に記録され、コンピュータによって記録媒体から読み出すことで実行されることができる。

以上説明した少なくとも１つの実施形態によれば、適切な医用画像の取得を支援することであることができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ 取得機能
２０ 第１特徴特定機能
３０ 受付機能
４０ 第２特徴特定機能
５０ 推定機能
１００ 画像処理装置

Claims (14)

1. 第１のイメージング手法で撮影された第１の画像データを取得する取得部と、
   前記第１の画像データにおける第１の器官に関する特徴を特定する第１特徴特定部と、
   前記第１のイメージング手法とは異なる第２のイメージング手法で撮影される第２の画像データの撮像範囲であって、前記第１の器官とは異なる第２の器官に関する撮像範囲を受け付ける受付部と、
   前記第１の画像データにおける前記第２の器官の撮像範囲に関する特徴を特定する第２特徴特定部と、
   前記第１の画像データにおける前記第１の器官に関する特徴と前記第２の器官の撮像範囲に関する特徴とに基づいて、前記第２のイメージング手法における前記第２の器官の撮像範囲に対応する撮像パラメータを推定する推定部と、
   を備える画像処理装置。
2. 前記第２の器官の撮像範囲に関する特徴を示すテンプレートが記憶されるテンプレート記憶部、
   をさらに備え、
   前記第２特徴特定部は、前記受付部が受け付ける前記第２の器官の撮像範囲に基づいて、前記テンプレート記憶部に記憶された前記テンプレートから、前記第２の器官の撮像範囲に関する特徴を特定する、
   請求項１に記載の画像処理装置。
3. 前記テンプレート記憶部に記憶される前記テンプレートは、前記第２のイメージング手法におけるビュー名を示す情報と、前記ビュー名に対応する解剖学的特徴を示す情報と、前記解剖学的特徴を抽出するためのアルゴリズムシーケンスを示す情報とを含む、
   請求項２に記載の画像処理装置。
4. 前記第１のイメージング手法による輝度値を前記第２のイメージング手法による輝度値に転換するように、前記第１の画像データの輝度値を処理する画像転換部、
   をさらに備える請求項１に記載の画像処理装置。
5. 前記第１特徴特定部により特定された前記第１の画像データにおける前記第１の器官に関する特徴に基づいて、前記第１の画像データにおいて前記第１の器官を分割する第１分割部と、
   分割された前記第１の器官に基づいて、前記第１の画像データにおいて、前記第２のイメージング手法で前記第２の器官を撮像するためのトランスデューサの経路を生成するトランスデューサ経路生成部と、
   をさらに備える請求項１に記載の画像処理装置。
6. 前記撮像パラメータは、前記トランスデューサの位置と、前記第２のイメージング手法における前記第２の器官の撮像範囲を特定するためのセクタの深さ及び角度とを含む、
   請求項５に記載の画像処理装置。
7. 前記第２特徴特定部により特定された前記第２の器官の撮像範囲に関する特徴に基づいて、前記第２の器官の撮像範囲に対応する第１の断面を生成する断面生成部と、
   前記第１特徴特定部により特定された前記第１の器官に関する特徴と、前記断面生成部により生成された前記第１の断面とに基づいて、前記トランスデューサの位置を推定するトランスデューサ位置推定部と、
   前記第２の器官の撮像範囲に関する特徴に基づいて、前記第１の断面の前記トランスデューサの位置において、前記セクタの深さ及び角度を推定するセクタ推定部と、
   をさらに備える請求項６に記載の画像処理装置。
8. 前記断面生成部は、前記第２の器官の撮像範囲に関する特徴として、解剖学的特徴を抽出するためのアルゴリズムシーケンスに基づいて、前記第１の画像データにおける前記解剖学的特徴を特定し、前記解剖学的特徴に基づいて前記第１の断面を生成する、
   請求項７に記載の画像処理装置。
9. 前記第１の器官に関する特徴は、第１の器官の中心線及び内輪郭線を含み、
   前記トランスデューサ位置推定部は、前記第１の器官の中心線と前記第１の断面との交点を前記トランスデューサの位置として推定する、
   請求項７に記載の画像処理装置。
10. 前記セクタ推定部は、前記第２の器官の撮像範囲に関する特徴として、解剖学的特徴に基づいて、前記セクタがすべての前記解剖学的特徴を含み、且つ、前記セクタの面積が最も小さくなるように、前記セクタの深さ及び角度を推定する、
    請求項７に記載の画像処理装置。
11. 術中画像において、前記推定部により推定された前記撮像パラメータに基づいて、前記撮像パラメータに対応する前記セクタである推定セクタを表示し、且つ、現在の前記トランスデューサの位置及び方向に基づいて現在のセクタを表示し、前記現在のセクタを前記推定セクタに合わせられるように、操作者による現在の前記トランスデューサの位置及び前記撮像パラメータの調整に関する操作をガイドするガイド部、
    をさらに備える請求項１０に記載の画像処理装置。
12. 前記第１の画像データに基づいて、前記第２の器官をグリッドに分割する第２分割部と、
    指定された前記グリッドのグリッド位置を受け付けるグリッド受付部と、
    前記グリッド位置を解剖学的特徴として、前記テンプレート記憶部に記憶されている前記テンプレートに入力するテンプレート入力部と、
    をさらに備え、
    前記推定部は、入力された前記解剖学的特徴に基づいて、前記撮像パラメータを推定する、
    請求項３に記載の画像処理装置。
13. 前記推定部は、前記テンプレートにおける複数の前記第２の器官の撮像範囲に関する特徴に基づいて、対応する撮像パラメータをそれぞれ推定する、
    請求項３に記載の画像処理装置。
14. 第１のイメージング手法で撮影された第１の画像データを取得する第１画像取得ステップと、
    前記第１の画像データにおける第１の器官に関する特徴を特定する第１特徴特定ステップと、
    前記第１のイメージング手法とは異なる第２のイメージング手法で撮影される第２の画像データの撮像範囲であって、前記第１の器官とは異なる第２の器官に関する撮像範囲を受け付ける受付ステップと、
    前記第１の画像データにおける前記第２の器官の撮像範囲に関する特徴を特定する第２特徴特定ステップと、
    前記第１の画像データにおける前記第１の器官に関する特徴と前記第２の器官の撮像範囲に関する特徴とに基づいて、前記第２のイメージング手法における前記第２の器官の撮像範囲に対応する撮像パラメータを推定する推定ステップと、
    を含む画像処理方法。

Images