JP7187734B1 - 画像処理装置及びプログラム - Google Patents

Abstract

効率的且つ精度の高い撮像画像を生成可能な画像処理装置及びプログラムを提供すること。超音波を用いて経時的に撮像位置を移動させて被検体を撮像した撮像データから撮像画像を生成する画像処理装置２０であって、撮像データを取得する撮像データ取得部２１と、取得された撮像データを用いて、撮像中の被検体を含む簡易画像と簡易画像よりも高精細な撮像画像とを生成する画像生成部２２であって、撮像中の被検体の簡易画像を生成する画像生成部２２と、簡易画像及び撮像画像の表示装置２００へ表示を制御する表示制御部２４であって、簡易画像と撮像画像とを表示装置２００の画面上の異なる空間に表示させる表示制御部２４と、を備える。

Description

本開示は、画像処理装置及びプログラムに関する。

被検体内部の情報を取得する技術として、超音波診断装置、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）等に代表される画像診断装置が医療分野で広く用いられている。超音波診断装置は、被検体への侵襲が少なく、リアルタイムに生体内組織の状態を観察できるため、生体の形態診断に広く用いられている。

超音波とＣＴを組み合わせる超音波ＣＴは、Ｘ線や造影剤を利用しないため、被ばくがなく侵襲性がより低い画像診断技術として知られている。超音波ＣＴでは、被検体の周囲から超音波を照射し、被検体における散乱波や透過波に基づく信号を用いて被検体の内部情報を画像化する。

超音波ＣＴには、例えば、超音波の送受信を行う多数の素子をリング状に配置したリング型アレイトランスデューサが使用される。例えば、超音波を送信する送信開口を順に切り替えながら、リング内の撮像領域に向けて超音波を照射し、撮像領域に配置された被検体で反射した反射波や被検体を透過した透過波を、被検体の周囲に配置されている受信開口で受信する。そして、送受信毎に経時的に取得される複数の撮像データは合成され、断像画像に再構成される。こうして再構成された撮像画像は画像取得装置から、ネットワークなどを通して医用画像管理システムなどへと出力され、診断に利用される。

超音波ＣＴは、近年の研究により、乳がんの検出に有用性があることが示されており、マンモグラフィに伴うＸ線による被ばくの懸念がなく、超音波診断装置における操作技師の手技依存性も低い手法として、乳がん検診への適用が期待されている。

国際公開第２０１７／０５１９０３号

超音波ＣＴを用いた撮像では、被検者が乳房を撮像装置内に配置したのち、撮像中の数分間、静止状態を保持する。また検査技師などのオペレータは、装置の動作や撮像データに異常がないか、被検者が大きく動くなどして乳房の位置がずれていないかなどを、撮像画像を見ながらリアルタイムにモニタリングすることが求められる。しかし、高精細なＣＴ画像は診断に用いるための撮像範囲が広域であり、画像取得や画像再構成に係る画像処理の負荷が大きく時間がかかるなどの理由から、リアルタイムでの表示には不向きで、且つ難しいという課題がある。

一方で、がん検診施設等で超音波ＣＴを使用する場合、短期間に多数の被検者を連続して検査する場合があり、効率よく検査を進めなければならず、また、診断に適した高精細な診断画像を効率よく生成し、診断用画像システム等のサーバへ出力する必要がある。

本発明は、上記従来の実状に鑑みてなされたものであり、超音波ＣＴ撮像において、リアルタイムでのモニタリング表示と診断用高精細画像の生成及び補正を並列して行い、診断に適した高精細画像を効率的に診断医に提供する事を可能とする画像処理装置及びプログラムを提供することを目的とする。

本発明は、超音波を用いて経時的に撮像位置を移動させて被検体を撮像した撮像データから撮像画像を生成する画像処理装置であって、前記撮像データを取得する撮像データ取得部と、取得された前記撮像データを用いて、撮像中の前記被検体を含む簡易画像と前記簡易画像よりも高精細な前記撮像画像とを生成する画像生成部であって、撮像中の前記被検体の前記簡易画像を生成する画像生成部と、前記簡易画像及び前記撮像画像の表示装置へ表示を制御する表示制御部であって、前記簡易画像と前記撮像画像とを前記表示装置に並べて表示させる表示制御部と、を備える画像処理装置に関する。

また、前記表示制御部は、生成された前記簡易画像と、撮像済みの前記被検体を含む前記撮像画像とを並べて表示させるのが好ましい。

また、前記表示制御部は、生成された前記簡易画像と、前記簡易画像に含まれる前記被検体とは異なる前記被検体を含む前記撮像画像とを並べて表示させるのが好ましい。

また、前記画像生成部は、前記撮像データから生成される複数の簡易スライス画像を用いて前記簡易画像を生成するとともに、前記撮像データから生成され前記簡易スライス画像よりも高精細な複数の高精細スライス画像を用いて前記撮像画像を生成するのが好ましい。

また、画像処理装置は、前記簡易画像に含まれる異常を検知する異常検知部をさらに備え、前記表示制御部は、検知された異常を含むスライス画像を識別する識別情報を前記表示装置に表示させるのが好ましい。

また、前記画像生成部は、前記識別情報を含めて前記簡易画像に対応する前記撮像画像を生成するのが好ましい。

また、画像処理装置は、前記撮像画像に含まれる異常を検知する異常検知部をさらに備え、前記表示制御部は、検知された異常を含むスライス画像を識別する識別情報を前記表示装置に表示するのが好ましい。

また、前記異常検知部は、前記簡易画像及び前記撮像画像の少なくとも一方について、外部から入力される異常の内容を取得することにより、前記簡易画像及び前記撮像画像の少なくとも一方に含まれる異常を検知するのが好ましい。

また、画像処理装置は、生成された前記撮像画像及び前記簡易画像の少なくてもいずれか一方に基づいて、前記撮像画像を補正する画像補正部をさらに備えるのが好ましい。

また、前記画像補正部は、前記識別情報に基づいて、前記撮像画像に含まれるスライス画像を補正するのが好ましい。

また、前記異常検知部は、スライス画像に含まれる前記被検体の位置の異常を検知するのが好ましい。

また、前記異常検知部は、前記被検体の含まれていないスライス画像を検知するのが好ましい。

また、前記表示制御部は、撮像が終了した際に、終了したことを通知するのが好ましい。

また、前記表示制御部は、表示される前記簡易画像と前記撮像画像とを識別する識別子を表示するのが好ましい。

また、前記異常検知部は、スライス画像に含まれる、被検体の外部に存在する異物を検出する異物検出部を含むのが好ましい。

また、本発明は、超音波を用いて経時的に撮像位置を移動させて被検体を撮像した撮像データから撮像画像を生成する画像処理装置としてコンピュータを機能させるプログラムであって、前記コンピュータを、前記撮像データを取得する撮像データ取得部、取得された前記撮像データを用いて、撮像中の前記被検体を含む簡易画像と前記簡易画像よりも高精細な前記撮像画像とを生成する画像生成部であって、撮像中の前記被検体の前記簡易画像を生成する画像生成部、前記簡易画像及び前記撮像画像の表示装置へ表示を制御する表示制御部であって、前記簡易画像と前記撮像画像とを前記表示装置に並べて表示させる表示制御部、
として機能させるプログラムに関する。

本開示によれば、検査中に、リアルタイムの簡易画像を効率的に表示しつつ精度の高い撮像画像を生成可能な画像処理装置及びプログラムを提供することができる。

本発明の第１実施形態に係る画像処理装置を含む撮像装置の概略図である。 第１実施形態の画像処理装置の構成を示すブロック図である。 第１実施形態の画像処理装置における画像生成のタイミングを示すタイミングチャートである。 第１実施形態の画像処理装置の表示制御部によって表示装置に表示する画面を示す画面図である。 第１実施形態の画像処理装置の表示制御部によって表示装置に表示する画面を示す画面図である。 画像処理装置の表示制御部によって表示装置に表示する画面を示す画面図である。 第１実施形態の画像処理装置による処理の流れを示すフローチャートである。 第２実施形態の画像処理装置の構成を示すブロック図である。 撮像状況監視センサと被検体の模式図である。 撮像状況監視センサの画像によって、撮像経過情報を表示する表示画面例である。

以下、本発明の各実施形態に係る画像処理装置２０及びプログラムについて、図１から図８Ｂを参照して説明する。なお、以下では本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。また、実施形態においては被検体を乳房として説明するが、対象は乳房に限定されるものではない。
まず、本実施形態の画像処理装置２０を含む超音波撮像装置１００について、図１を参照して説明する。
超音波撮像装置１００は、超音波を用いて被検者の乳房内部の断層像を撮像する装置である。撮像装置１００は、撮像部１０と、画像処理装置２０と、を備え、被検者の左右の乳房を片方ずつ、超音波撮像する。撮像装置１００によって取得された撮像画像は撮像装置１００から、ネットワークＮを通して医用画像管理システム等の外部システムに転送される。

撮像部１０は、被検体を撮像するとともに、撮像した撮像データを生成する。撮像部１０は、開口部を有する筐体及び開口部の下部に設置される超音波計測装置（図示しない）を備える。被検者が上部に開口部がある筐体天板に腹臥位になり、片方の乳房を挿入する。超音波計測装置は超音波振動子及び被検体と超音波振動子を収納する浴槽を備えている。浴槽は被検体と外部との音響インピーダンスを低減するための媒体液で満たされている。被検体である乳房が超音波計測装置に挿入され撮像が開始されると、被検体にむかって、複数の方向から超音波が送信され、ついで受信される音響信号を使用して、被検体の形状や内部情報を取得する。超音波振動子は被検体の周囲からの超音波送受信を可能にするため、たとえば、超音波素子を円環状に配置したリングアレイＲを使用する。撮像部１０はまた、図示しない光学カメラや温度センサ等の環境センサを浴槽内部に含み、浴槽内部の環境を観測する。

リングアレイＲは、平面状に配置された複数の凹型振動子が円環状に組み合わさって構成される、超音波素子群である。被検体が乳房の場合、リングの直径は直径１００～３００ｍｍが好ましい。リングアレイＲを構成する素子の数は限定されず、好ましくは１～１０００個、より好ましくは１００～５００個である。振動子は電気信号を超音波に変換し、複数の振動子から位相や音圧等を調整しつつ超音波ビームを生成して測定対象に向けて照射する。ついで被検体からの複数の散乱波や被検体と通過した透過波を受信し、これらの音響波をそれぞれ電気信号に変換して出力する。本実施形態において、各素子は、超音波を送信する送信素子と超音波を受信する受信素子との両方の機能を備えるものとして説明するが、これに限定されない。たとえば、各素子が送信素子又は受信素子のいずれかであり、複数の送信素子及び複数の受信素子がそれぞれリング状に配置されるものとしてもよい。また、送信素子と受信素子の両方の機能を備えるもの、送信素子及び受信素子が混在する構成であってもよい。

なお、リングアレイＲの形状は、円状、楕円状、あるいは多角形状であってもよい。また、このリングアレイＲは、一体物であっても、一乃至複数の素子で構成されたユニットを、例えば環状等の所定形状に配列させたものであってもよい。さらに、このリングアレイＲの平面形状は、環状ではなく、半円状や、Ｃ字型であってもよい。あるいは、素子が直線状に配置されたリニアアレイであってもよい。すなわち、本発明においては、素子が、被検体に対して様々な角度から、超音波を発信ないし受信することで、素子が配置される一平面の断層像を取得することできればよい。

リングアレイＲは、図示しないスイッチ回路及び送受信回路に接続されている。スイッチ回路は、リングアレイＲの複数の素子の各々に接続されており、送受信回路からの信号を任意の素子に伝達し、素子を駆動させ、信号の送受信を行わせる。スイッチ回路が、送受信回路からの制御信号を供給する素子を切り替えることで、複数の素子のいずれかを、超音波を送信する送信開口として機能させる。また同様にして、複数（例えば全て）の素子を受信開口として機能させ、反射波や透過波を受信させる。

一断面（以下、「スライス」という）の撮像データは次のように収集される。スイッチ回路により、リングアレイＲの所定の方向（例えば０時の方向）の送信開口から、撮像領域に超音波が送信される。超音波は、被検体にて散乱又は透過し、音響波が生じる。生じた音響波は、複数の異なる方向に配置された受信開口にて受信され、電子信号に変換される。次に、第二の方向の送信開口（例えば３時の方向）からも同じ撮像領域に向かって送受信を行う。このように撮像領域から見て送信開口方向の異なる送受信を複数繰り返すことで、被検体を取り巻く複数の方向（例えば全方位）から照射された信号による音響情報を取得する。これらを合成することで、超音波素子群の配置平面にある被検体内部の組織の断面の情報が得られる。

リングアレイＲはまた、図示しないステッピングモーター等によって、浴槽内において所定の方向に移動可能に固定される。本実施形態としては、乳房の基端側から先端側に向けて、浴槽の深さ方向に移動するよう設置される。例えば、走査の間隔を１ｍｍとして、リングアレイＲを深さ方向に走査させつつ撮像を行うと、計測範囲の深さが２０ｍｍの場合、計２１枚のスライス画像が得られることになる。また、各スライスには、スライスを識別するためのスライス識別子が付される。例えば撮像の順番を表す番号などである。このように位置が異なる撮影断面の被検体情報を繰り返し取得していくことで、乳房全体の組織の情報を得ることができ、立体的に撮像された乳房の撮像データが生成される。撮像データ及び撮像データを用いて生成される生成画像には、スライス毎の識別子、送信信号や受信信号に係るメタデータ、スライス枚数や被検者情報などを含むことができるが、これに限らない。

次に、各実施形態に係る画像処理装置２０の概要について説明する。
画像処理装置２０は、超音波を用いて経時的に撮像位置を移動させて被検体を撮像した撮像データから撮像画像を生成する装置である。画像処理装置２０は、撮像部１０から撮像データを取得するとともに、撮像データから生成される画像を表示可能に構成される。本実施形態において、画像処理装置２０は、撮像中の被検体の画像を簡易画像として生成しリアルタイムに表示する。また、画像処理装置２０は、並行して、簡易画像よりも高精細で診断用画像と同等の精度の高精細画像（以下、撮像画像ともいう）も生成し、記憶する。また、撮像画像に対する異常識別情報を取得し、これに基づき撮像画像を補正する。さらに、生成又は補正され記憶され撮像画像を、医用画像規格であるＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に準拠するデータ形式に変換する。画像処理装置２０は、図１に示すように、ネットワークＮを介して、外部サーバＳに生成した撮像画像を送信可能に構成される。

ここで、本実施形態に係る超音波ＣＴによる画像生成処理について説明する。
リングアレイＲによって取得された撮像データは、受信素子番号、信号到達時間、送信条件番号の３軸からなる３次元データである。撮像領域に存在する散乱体の位置は、信号の伝搬経路、伝搬時間、及び伝搬媒体の音速を考慮して伝搬距離として算出される。ここで伝搬時間は測定値である一方、音速や伝搬距離は、被検体内部の組織組成や受信された音響波の伝搬経路を留意して推定される。被検体を乳房とする本実施形態において、撮像領域の音速値は、例えば、媒体水、脂肪、乳腺、病変などの複数の音速の異なる領域に分布している。これらの各媒体の音速値は周波数や温度に依存するが、実験値として既知の数値である。よって、音速の異なる組織や媒体の位置が特定できれば、信号の伝搬経路において、各媒体を通過する際の音速も特定できる。このことから、音速分布の決定方法としては、例えば、撮像データを用いて開口合成法による断層像を生成し、被検体Ｔの輪郭を抽出し、透過波の信号到達時間から、被検体Ｔ内の平均音速を計算することが可能である。あるいはまた、公知のｒａｙ－ｂａｓｅの音速分布再構成法やＦＷＩ法を用いて音速分布を計算する。このようにして、撮像領域内の音速をより精緻に測定、或いは、推測することで散乱体の位置がより正確に算出され、高精細な撮像画像を生成する事が可能となる。

本実施形態に係る被検体を乳房とした超音波ＣＴ撮像においては、撮像範囲が広いため撮像データが大きく、診断に十分な精度の画像再構成を実現するためには、演算負荷も増加する。結果として、画像生成には一定の時間を要する。ここで、画像生成時間はＣＰＵやＧＰＵなどの演算処理能力に依存する。しかしコストの面から、必ずしも最適な演算装置を使用できるとは限らない。従って、高度な演算処理装置を多数導入することなく、診断に適した診断用画像を提供する事が求められる。

ところで、撮像は検査技師等のオペレータが行う。検査時には、受診者が撮像中に大きく動き、撮像データにブレが生じたり、装置の不具合で撮像データに欠落が起こるなど、撮像中の不具合イベントが生じる可能性がある。また、既に被検体の撮像が終了しているにも関わらず、撮像装置が撮像を継続し、被検体が存在しない水のみの撮像データが取得され続ける不具合などが生じる可能性がある。従ってオペレータは撮像データをモニタリングし、その場で不具合に対応する必要がある。この際には、診断画像と同等の画質は要求されないものの、リアルタイムで撮像データを確認できる表示が必要となる。

本発明に係る画像処理装置２０は、撮像中に表示する画像を簡易画像として、画質を制限した上でリアルタイム性を実現する一方で、撮像中に同時に高精細画像を生成する。更に、例えば１日のうちの、複数の受信者にまたがる複数の検査中において、既に生成された高精細画像を補正し、診断用に最適化された診断用画像を生成するよう構成される。こうすることで、リアルタイムでモニタリングしつつ、高精細な診断画像を生成し医用画像システムへ送信する工程が、効率よく実行され、検診と診断の効率を高めることができる。

ここで、各実施形態において、生成される画像について説明する。
画像処理装置２０は、撮像データによって構築された複数の簡易スライス画像を用いて検査技師用またはオペレータ用の簡易画像を生成し、複数の高精細スライス画像を用いて撮像画像を生成する。簡易画像には複数の簡易スライス画像が含まれ、撮像画像には前記複数の高精細スライス画像が含まれている。

簡易画像はリアルタイムに撮像データを処理し表示するための画像であり、分解能よりもリアルタイム性を優先して生成される。演算量を低減する一例として、本実施形態においては、音速の推定値を撮像領域内において一定と設定する場合を説明する。

前述のとおり、音速値設定の精度は画像の分解能向上に寄与する。例えば、本実施形態における乳房の超音波ＣＴにおける音速推定では、撮像領域を超音波が通過する媒体に合わせて多値にセグメンテーションできる。具体的には、水（乳房領域の外部）、皮膚、乳腺組織、脂肪の４組織に、輝度と、輪郭の内外の判定からセグメンテーションを行う。セグメンテーションは、例えば撮像データを開口合成することにより、輝度画像を生成して行う。輝度画像は物質間の音響インピーダンスの差により反射する信号強度を輝度に変換した画像であり、被検体の生体構造を描出するのに適している。それぞれの組織の音速は１５２０，１６４０，１５５０，１４５０ｍ／ｓと、割り当てられる。更に、音速は温度によっても異なる。例えば、水であれば、水温が３５度の場合、音速は約１５２０ｍ／ｓであるのに対し、水温が１５度である場合、音速は約１４６０ｍ／ｓとなる。４組織の正確なセグメンテーションと撮像時の水温等を演算のパラメータに使用すると、音速値がより正確となり、高精細な画像が生成できる。しかし、音速値を精緻に設定するほど、演算負荷も増加する。

これに対し簡易画像では、例えば、撮像領域の音速を全て一定として演算する。例えば、水温を３５度と固定し、音速を撮像領域全体において水温の音速に該当する１５２０ｍ／ｓとし、受信信号から被検体の位置を算出して画像を再構成する。こうすると、音速値の誤差により散乱体位置がずれて認識されるなどの影響から画像全体の解像度は低下するものの、撮像時の表示の目的であるモニタリング用途としては十分な精度の画像が、高価な演算装置を多数用いずに略リアルタイムで表示可能となる。

また、簡易画像生成の一例としては、取得した撮像データの送信開口を一定間隔で間引く、表示するための画素数を減らすなどの方法でも生成される。また、モニタリングを目的とした簡易画像は断層像には限られない。例えば、信号データ解析の結果を示す数値やグラフ、撮像データや信号を可視化したシミュレーション画像、送信素子と到達時間をなども含まれる。すなわち、撮像中に取得される撮像データが正常であることが確認できる画像が表示されればよい。

一方、高精細画像は診断に用いられる画像と同画質の撮像画像である。例えば、画像処理装置２０は、取得した撮像データのうち所定のスライス画像の輝度画像をセグメンテーションし、組織毎に異なる音速値を複数設定し、演算条件の異なる輝度画像を生成する。生成された複数の輝度画像の比較を複数回繰り返し、最適な演算条件を算出し、これを適用した輝度画像を再度、生成する。こうすることで、より最適な音速値を適用し、精度を向上することができる。別の一例では、被検体を通過する透過波信号から、減衰率や音速値を算出し、これを用いて画像を生成してもよい。このようにして生成される高精細画像では、病変の検出や両悪性の鑑別も可能となり、診断用画像に適している。

高精細画像は画像格納部に格納された後、ＤＩＣＯＭ形式に変換される。ＤＩＣＯＭ規格は撮像装置で取得された医用画像の画像形式と、複数の医用画像機器間の通信プロトコルに関する標準規格である。撮像画像は、撮像システムに固有の三次元座標やプロトコルを標準規格に変換したのちで、装置外部のサーバを通じて、診断施設の医用画像管理システムに提供される。こうすることで、読影医は、他のモダリティで取得された医用画像と同様にして超音波ＣＴのボリュームデータを表示させることが可能となる。

さらに、画像処理装置２０は、撮像中の被検体の簡易画像を表示するとともに、他の検査で生成された撮像画像を表示する。他の検査で生成された撮像画像とは、例えば同じ日に実施された過去の検査によって生成され画像格納部に保存されている高精細画像を意味する。（以下、「格納済み画像」ともいう。）表示する格納済み画像は、ユーザーによって指定されたものでもよいし、後述する異常検知による識別情報が付された画像を、表示制御部２４により検出し呼び出してもよい。画像処理装置２０はさらに、被検体の撮像中に、後述する画像補正部により既に撮像を終了した撮像画像の補正を可能にする。これにより、検診施設内での検査と並行して複数の被検体の撮像画像を補正できるため、診断画像の生成を効率化することができる。

次に、本実施形態に係る画像処理装置２０の構成について説明する。
画像処理装置２０は、図２に示すように、撮像データ取得部２１と、画像生成部２２と、画像格納部２３と、表示制御部２４と、画像補正部２５と、異常検知部２６と、送信部と、を備える。画像処理装置２０は、表示装置２００に接続される。画像処理装置２０は、表示装置２００に簡易画像及び撮像画像を表示可能に構成される。

撮像データ取得部２１は、例えば、ＣＰＵが動作することにより実現される。撮像データ取得部２１は、撮像データを取得する。具体的には、撮像データ取得部２１は、撮像部１０から送信される撮像データを取得する。撮像データ取得部２１は、例えば、被検体を撮像中に、リアルタイムで撮像データを取得する。

画像生成部２２は、取得された撮像データを用いて、撮像中の被検体を含む簡易画像と簡易画像よりも高精細な高精細画像とを生成する。簡易画像は、撮像データによって構築される簡易スライス画像を用いて生成される。また、高精細画像は、撮像データによって構築される高精細スライス画像を用いて生成される。

画像生成部２２は、例えば、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が動作することにより実現される。超音波ＣＴの画像生成においては、データ演算量が大きいため、複数の演算装置において並行して実行されることが想定される。例えば、本実施形態では３つのＧＰＵ（演算ユニット）を用いて簡易画像及び撮像画像を同時に生成する場合として説明する。

画像処理装置２０は、例えば、図３に示すように、１つめの演算ユニット（演算ユニット１）を用いて撮像に合わせて、撮像データ取得部から撮像中の撮像データを呼び出し、簡易画像を生成する。同時に、画像処理装置２０は、２つめの演算ユニット（演算ユニット２）のＧＰＵを用いて、より高精細な撮像画像を生成するための音速推定値などの演算パラメータを算出し、これを利用して、同じく撮像中の撮像データから、高精細画像を生成する。そして、３つめの演算ユニット（演算ユニット３）のＧＰＵを用いて、次の被検体の撮像中に、生成済みの撮像画像を表示及び編集を実施する。こうすることで、撮像中のリアルタイムでの簡易画像の生成と、大きな演算容量を要する高精細画像を並行して生成する事ができる。なお、本実施形態では、３つのＧＰＵを使用しているが、演算装置はＧＰＵに限られず、又、十分な演算容量を確保できれば複数である必要はない。すなわち画像生成に係る演算ができれば、演算装置の条件に限定はないことは、当業者の想到範囲内である。

画像生成部２２はまた、格納済み画像をＤＩＣＯＭ形式に変換し外部サーバへ送信するための診断用画像を生成する。画像生成部２２は、生成する簡易画像及び撮像画像に対して、含まれる被検体を識別する被検体識別情報（例えば、検診番号、名前、撮像日時等）を紐づける。画像生成部２２は、例えば、撮像データに含まれる被検体識別情報を生成する簡易画像及び撮像画像に紐づける。

画像格納部２３は、例えば、ハードディスクなどの記憶媒体である。画像格納部２３は、撮像された撮像画像を格納する。また、後述する画像補正部によって生成される補正済みの撮像画像や、撮像画像に付された異常識別情報を記憶する。

表示制御部２４は、例えば、ＣＰＵが動作することにより実現され、生成された簡易画像及び撮像画像の表示装置２００への表示を制御する。本実施形態において、表示制御部２４は、例えば図４に示すように、撮像中の被検体の簡易画像とともに、現在撮像中の被検体よりも前の検査で撮像された撮像画像を並べて表示する。ここで表示される撮像画像は格納済み画像である。図４Ａは、撮像データを取得中の表示装置２００の表示例である。中央のウィンドウに簡易画像が略リアルタイムで表示する。表示制御部２４は、撮像中を示す識別情報や撮像予定枚数、撮像進捗情報等を併せて表示させる。図４Ａの表示中に、撮像済みの画像を選択入力する入力部を備える。図４Ｂは、撮像済み画像を選択した後の表示例である。簡易画像表示を別のウィンドウで表示すると同時に、撮像済み画像を別の領域に表示する。異常識別情報（図示しない）を共に表示してもよい。

表示制御部２４は、例えば、表示装置２００に格納済み撮像画像のリストや検査情報を表示し、入力部によってオペレータが外部から、表示すべき格納済み画像を指定させる。更に、指定された撮像画像を画像格納部２３から読み出して、表示装置２００に表示する。また、表示する格納済み画像の指定方法の別の一例では、表示制御部２４は異常識別情報が付された格納済み画像を検出し、異常識別情報と共に表示装置２００に表示させてもよい。

また、表示制御部２４は、表示される簡易画像に、撮像中を示す標識を表示する。例えば、撮像中を示すフリッカーや、撮像の進行状況を表示する撮像画像に含まれるシークバーなどを表示装置２００に表示させる。また、表示制御部２４は、別の一例として、検査ごとに割り当てられた色を格納済み画像の枠線に付して表示させてもよい。こうすることで、オペレータに現在撮像中の検査の進行状況を把握可能にし、また、オペレータが撮像中の画像と他の検査による格納済み画像を取り違える可能性を低減する。また、簡易画像と格納済み画像は独立した別ウィンドウに表示されてもよい。

また、表示制御部２４は、簡易画像の生成が終了した際に、表示装置２００に通知に終了したことを通知させる。換言すると、表示制御部２４は、撮像データの取得の終了により、撮像の終了を通知する。後述する異常検知部２６によって被検体が映っていない撮像データを検知した場合に、撮像終了の通知をしてもよい。また、表示制御部２４は、後述する画像補正部２５によって補正不可と判断された場合に、再撮像を促す通知を表示する。

また、表示制御部２４は、簡易画像のスライス枚数が終了に近づいた際に、終了が間近である通知を表示させてもよい。例えば２０枚の撮像データ取得が予定されている場合に、１５枚目で終了までの残り時間を表示する。また、後に後述する異常検知部２６により、簡易画像に映る被検体画像が乳頭付近であることを検知させ、撮像が終了する通知をしてもよい。乳頭付近は、被検体に対する超音波の入射角度が浅くなるため、画像認識アルゴリズムなどを用いて検出が可能である。また断面に映る対象物の面積が基準値を下回ったことを乳頭に近づいた根拠として検知しても良い。こうして、撮像終了予測を通知することで、オペレータに撮像を終了させるための準備を促し、検診を滞りなく進めさせることができる。

また、表示制御部２４は、異常検知部２６によって検知された、異常を含むスライス画像を識別する識別情報を表示装置２００に表示する。

異常検知部２６は、例えば、ＣＰＵが動作することにより実現され、異常を含むスライス画像を検知し、異常識別情報を生成する。
撮像過程で生じ、補正の対象となるスライス画像の異常には、例えば、被検体が撮像範囲に含まれていない、衣服などの被検体以外の散乱物の混入、被検者の体動や超音波プローブの異常に起因した取得データの連続性の乱れなどが含まれる。

異常検知部２６は、例えば、撮像領域に被検体が含まれていないスライスを異常として検知する。被検体の有無の検知は、例えば、皮膚の境界を示す輝度を検出する検出器を用いる。画像生成部２２において簡易スライス画像を生成すると同時に、異常検知部２６はスライスを検出器にかけ、所定の輝度を検出できない場合、該当するスライスには被検体が不在として検知される。画像から皮膚の位置を検知する方法以外にも、送信開口の中心素子で受信したRF信号から、素子から皮膚までに概算距離を算出し、送信開口の法線方向の上記距離の場所に当該送信条件に対応する皮膚位置を決定してこれを繋いでいくことで断層上の乳房輪郭を算出するなどの方法もある。また、撮像領域の被検体の有無は、機械学習による画像認識アルゴリズムを利用して検知させてもよい。例えば、下垂された乳房を逆円錐と推定し、画像認識アルゴリズムにより被検体の輪郭線を検出する。スライス毎の外円の直径は、乳房の基部から乳頭まで徐々に短くなり、乳房全体の撮像が終了すると、外円は検出されなくなる。最も小さな外円が検出されたスライスを最終撮像断面として自動検出し、最終断面以後に撮像されたスライスを異常スライスとして検知してもよい。

表示される簡易画像はスライス画像に制限されない。たとえば、撮像データのヒストグラム又はＲＦデータを表示させてもよい。具体的には、画像生成部２２は、簡易画像として、ＲＦデータ画像を生成し、表示装置２００に表示させる。ＲＦデータ画像は、断層像再構成前の受信信号を可視化した画像である。被検体すなわち散乱体の位置を表現する画像であるため、被検体の有無により画像が明らかに異なる。また、画像認識アルゴリズムにより被検体の輪郭線のみを略円形に生成し表示する。下垂された乳房を逆円錐と推定し円錐の頂点を過ぎると、被検体が存在しないとしてもよい。そして、表示制御部２４は、生成されたこれらの簡易画像をもよい。これらの画像は、より演算負荷を低減したスライス画像として表示することができる。

異常検知部２６は、また、アーチファクトの原因となる異物を異常と検知する異物検出部（図示しない）を有する。異物検出部は、スライスに含まれる被検体以外の異物を検知する。異物検出部は、例えば、スライス画像の撮像時に被検体とともに映り込む異物を検知する。異物検出部は、異物として、撮像面に混在する衣服、髪の毛、ごみ、気泡、又は被検者の体の一部を検知する。特に、異物検出部は、再構成画像におけるアーチファクトの原因となり、診断の妨げになる可能性のある異物を検出する。

異物検出部は、例えば、検査開始時に、１枚目の簡易画像を取得する。異物検出部は、取得した簡易画像に対して、被検体の皮膚輪郭を検出するとともに、皮膚輪郭の周囲に皮膚との連続性を伴わない異物を識別する。ここで、異物検出部は、１枚目の簡易画像の代わりに、装置に別途設置した光学カメラなどの環境センサの画像であってもよい。異物検出部は、取得した画像データにおける、異物と被検体との距離、異物と超音波振動子との距離、被検体と異物のサイズ比、被検体との画素の色、及び輝度の差異等を測定する。各測定値が設定された閾値を超える場合、異物検出部は、診断に影響を与えるアーチファクトを含む異常として異物を検出する。また、異物検出部は、検査継続中にスライス画像に入り込む、浴槽内に浮遊している気泡やごみ等について、前後のスライス画像には含まれない被検体外の反射体を異物として検出する。異物検出部は、例えば、異物の検出において、画像識別機能の他、スライス画像間のヒストグラムの乱れ又は輝度の変異を比較してもよい。異物検出部は、異物を検出した場合に、撮像データ取得部２１に撮像を停止させ、または、表示制御部２４に異物混入の警告を表示させてもよい。

また、異物検出部は、異物自体を検出する方法に変えて、異物の影響で被検体の画像が変化した結果を検出するように構成することもできる。例えば、乳房内の構造は複雑であるが、必ず皮膚に囲まれた画像となる。そこで、異物検出部は、皮膚に沿って、皮膚の幅や輝度が不連続に変化している（異物の影となって皮膚が断絶しているなど）場所を検出してもよい。とりわけ、皮膚領域の断絶が生じる場合、異物検出部は、撮像におけるブラインドエリアが生じている可能性有りとして、これを異物として検出及び警告する。

なお、皮膚は音響インピーダンスが高く、断層画像において最も太い連続した線状の高輝度領域となる。解剖学的には、皮膚の幅はほぼ均質とみなし、また皮膚の外郭は略楕円とみなすことができる。しかし断層像においては、送信開口からの距離や音響波の入射角度によって皮膚の幅や輝度には変化が生じる。図５は、断層像における皮膚輪郭と乳腺領域（散乱体）の位置関係に基づき、断層像をタイプ別に分類し、断層像の皮膚領域の見え方と、パラメータの分析値を模式的に表した表である。タイプＡからタイプＣは、乳房断面において、インピーダンスの大きい乳腺領域の位置と広さによって生じる、断層画像上の皮膚の幅の違いを示す。図５の断層像の模式図において、太線部は実際の皮膚幅よりも太く画像化される部分を指す。そして、図５のように、乳房内の点から外側に線分を引き、一周回転させた、線分上での輝度最大値、皮膚の幅、線分に沿った輝度の積分値などを表にしたものが、分析値のグラフである。破線は、輝度を径方向に沿って積分した値の変化、実線は輝度の変化、点線は皮膚領域の幅の変化を模式的に表している。これらをモニタすることで、皮膚上に生じる異物の影を評価できる。異物検出部は、皮膚領域の不連続性を歪みとする歪み閾値をあらかじめ設定し、例えば簡易画像を取得後、簡易画像における前記の分析値を算出し、当該歪み閾値を超える場合には異物の存在を推定する。異物検出部は、異常を検出する場合には、警告やスライスへの異物情報の付加を行い、診断時に注意を促してもよい。また、表示制御部は、撮像中に分析値グラフを表示してもよい。こうすることで、操作者に視覚的に異物の存在を提供する。なお、音響信号の入射角や腋下などの撮像の困難な部位には、音響波の到達しないブラインドエリアとして低輝度領域が生じる。しかし、被検体の外部の異物に起因する場合と異なり、低輝度領域は皮膚境界の中に生じることが多い。したがって、異物検出部は、低輝度領域が異物に起因するものか、ブラインドエリアに起因するものかによって、警告の内容を変えてもよい。

異常検知部２６はまた、スライス画像に含まれる被検体の位置ずれの異常を検知する。本実施形態では、浴槽内に下垂された乳房に対し、リングアレイＲを上下方向に連続して操作し撮像データを取得する。従って、正常な撮像データでは、被検体の重心や各組織の輪郭はスライス間で連続している。一方、撮像データの欠損によるスライス抜けや、被検者の体動による被検体の位置ずれがあった場合、撮像データの連続性は失われる。このような不具合を異常として検知するため、異常検知部２６は、例えば、データ連続性検出部（図示しない）を有し、被検体の輪郭のスライス間の変位を測定する。データ連続性検出部は、例えば、被検体の断面積又は重心位置の変位量を比較することによるもの、測定データ間の画像パターンの相関値を特定することによるもの、あるいは測定データ内のセグメントの幾何学形状の変位量を比較することによるもの等のアルゴリズムを適用してもよい。

異常識別情報は格納済み画像に含まれるスライス識別情報と紐づけて記憶される。簡易スライス画像において異常検知がなされた場合、異常検知部２６は、異常検知されたスライスのスライス識別子に相当する識別子を有する高精細スライス画像情報に紐づける。そして、当該高精細画像は、異常識別情報と共に画像格納部に格納される。

また、異常識別情報は、オペレータによって入力されてもよい。例えば、簡易画像は撮像データの取得と並行して略リアルタイムで表示される。スライスごとに経時的に画像が表示されるため、被検者が大きく動き画像がぶれると、オペレータはその場で視認することができる。また、撮像部１０の不具合により、連続した撮像データの取得がされていない場合も、オペレータは画像から判断できる。このような場合、オペレータは撮像を中止し、撮像のやり直しを指示することができる。一方、被検者がわずかに動いたが画像には影響がないように見える場合、オペレータはそのまま撮像を続行する判断をすることも可能である。この時、表示装置２００にある識別情報入力部（図示せず）によって、画質に影響する可能性のあるイベントが起こったことを、異常情報として記録してもよい。

また、オペレータが、過去の検査で生成された格納済み画像を呼び出して表示し、異常有無の確認を行ってもよい。格納済み画像では、画質の低下の一因となる気泡の存在の特定や不要なスライスの判断が、簡易画像よりも容易になる。

画像補正部２５は、例えば、ＣＰＵが動作することにより実現され、格納済み画像に付された識別情報に基づいて、格納済み画像を補正する。 補正内容は、例えば、被検体を含まないスライス画像を撮像画像から消去する補正を行う。撮像を終了した後の画像は、診断には不要であるためである。また、スライス方向に沿う被検体の撮像位置のずれに対して、スライス画像に含まれる被検体の位置をずらす補正、撮像中のわずかな体動に起因するスライス画像の分解能の低下、又はぼやけに対し、ぼやけ補正を行ってもよい。また、入力部によってオペレータから入力される補正内容や補正指示に基づく補正であってもよい。なお、入力部は、キーボードやマウス等の入力装置であってもよく、当該入力装置に入力された情報を取得するプロセッサであってもよい。画像補正部２５は、さらに、異常検知部２６によって検知された異常に基づき、補正を可能か否か判断する。画像補正部２５は、例えば、取得データの連続性、画像の分解能の低下、及び画像のぼやけによる異常に対して補正の可否を判断する。画像補正部２５は、例えば、撮像データを利用して補正が可能な範囲の閾値を設定する。画像補正部２５は、閾値を超えた異常について、補正不可である旨の識別情報を付す。表示制御部２４は、例えば、補正不可の識別情報をもつ格納済み画像を表示装置２００に表示する。これにより、表示制御部２４は、オペレータに対し、再撮像を促す警告を表示する。画像補正部２５は、補正が可能かつ必要な画像に、補正要である識別情報を付してもよい。表示制御部２４は、補正の可否や要否に応じた補正の方法の選択肢を表示装置２００に表示してもよい。

送信部２７は、例えば、ＣＰＵが動作することにより実現され、ＤＩＣＯＭ形式に変換された診断用画像を外部サーバＳに送信する。

次に、画像処理装置２０の動作の流れについて、図６のフローチャートを参照して説明する。
まず、撮像部１０は、撮像データの取得を開始する（ステップＳ１）。次いで、画像生成部２２は、簡易画像及び高精細画像の生成を開始する（ステップＳ２）。次いで、表示制御部２４は、表示装置２００に、生成された簡易画像を表示する（ステップＳ３）。次いで、表示制御部２４は、過去の検査によって生成され撮像画像格納部２３に格納された格納済み画像を撮像画像格納部２３から読み出して、表示装置２００に表示する（ステップＳ４）。

次いで、異常検知部２６は、簡易画像又は格納済み画像に含まれる異常を検知する（ステップＳ５）。

異常検知部２６は、簡易画像に含まれる異常として、例えば、被検体の体動によるスライスのずれがある。異常が検知された場合（ステップＳ５：ＹＥＳ）、処理は、ステップＳ６に進む。一方、異常が検知されない場合（ステップＳ５：ＮＯ）、処理は、ステップＳ８に進む。ステップＳ６において、異常検知部２６は、検知された異常について、補正可能か否かを判断する。補正可能である場合（ステップＳ６：ＹＥＳ）、異常情報を該当スライスの識別情報と紐づけて、高精細画像と共に格納される（図示しない）。一方、補正不可である場合（ステップＳ６：ＮＯ）、処理は、ステップＳ１１に進むため、再撮像が必要である旨の通知を行う。そして、本フローによる処理は、ステップＳ１に戻る。

また、異常検知部２６は、格納済み画像に含まれる異常を検知する。
異常が検知された場合（ステップＳ５：ＹＥＳ）、処理は、ステップＳ６に進む。一方、異常が検知されない場合（ステップＳ５：ＮＯ）、処理は、ステップＳ８に進む。

ステップＳ６において、異常検知部２６は、検知された異常について、補正可能か否かを判断する。補正可能である場合（ステップＳ６：ＹＥＳ）、処理は、ステップＳ７に進む。一方、補正不可である場合（ステップＳ６：ＮＯ）、処理は、ステップＳ１１に進む。

ステップＳ７において、画像補正部２５は、格納済み画像において異常を検知したスライス画像を補正する。次いで、画像補正部２５は、補正されたスライス画像を含む格納済み画像を画像格納部２３に格納する。また、画像補正部２５は、格納済み画像をＤＩＣＯＭ形式に変換し診断用画像を生成する（図示しない）。送信部は、画像格納部２３に格納された診断用画像を外部サーバＳに送信する。

次いで、撮像が継続中か否かが判断される（ステップＳ８）。撮像が終了した場合（ステップＳ８：ＹＥＳ）、処理は、ステップＳ１０に進む。一方、撮像が継続中である場合（ステップＳ８：ＮＯ）、処理は、ステップＳ４に戻る。これにより、他の被検体の撮像画像の補正が実施される。また、画像補正中に撮像が終了した場合、表示装置２００には、撮像終了通知がされる（図示しない）。

ステップＳ１０において、次の撮像の有無が判断される。次の被検体が無い場合（ステップＳ１０：ＹＥＳ）、本フローによる処理は終了する。一方、次の被検体がある場合（ステップＳ１０：ＮＯ）、処理は、ステップＳ１に戻る。

ステップＳ１１において、表示制御部２４は、再撮像を促す指示を表示する。簡易画像において異常検知がされた場合、撮像は完了していない為、再度撮像が可能である。格納済み画像において異常検知がされた場合、既に被検者は撮像を終えている状態であるため、再撮像ができない。従って、再撮像が必要である旨の識別情報を格納済み画像と併せて格納する。

［第２実施形態］
次に本発明の第２実施形態に係る画像処理装置及びプログラムについて、図７を参照して説明する。本発明が第１実施形態の乳がん検診において使用される場合には、健常者を含む多数の受診者を連続的に撮像する。従って、オペレータは、例えば、撮像中の受診者と同じ日に撮像された他の受診者の格納済み画像を補正する。一方、第２実施形態では、既に複数回にわたる超音波ＣＴで撮像データを生成した同一の受診者の撮像を行う際に適用される。

通常、ＭＲＩやＸ線ＣＴは、造影剤や被ばくによる侵襲性の観点から、撮像頻度には制限がある。一方、超音波ＣＴは侵襲性がないため、撮像に制限がない。このことから、遺伝的に高リスク群に属する若い女性や、乳がん罹患後に化学療法を受けた患者のモニタリング、またサバイバー女性の術後検診などへの適用が期待される。このような受診者が特定の病院において連続して撮像を行う場合、撮像するオペレータは、過去の診断用画像と比較しつつ、撮像を行うことができる。従って、第二の実施形態においては、撮像をモニタリングする為の簡易画像と共に、過去に撮像された同一被検体の診断用画像を表示する。

第二実施形態では、画像処理装置２０は、受信部３７を更に備える。受信部３７は、外部サーバＳに接続され、病院等の診断施設の医用画像管理システムに格納されている画像を受信し、撮像画像格納部に格納する。受信する画像は、所定の被検者に対し、過去の超音波ＣＴ検査によって取得された診断用画像（以下、「過去の撮像画像」という）である。例えば、受信部３７は、簡易画像に紐づけられる被検体識別情報について、過去に撮像された同じ被検体の被検体識別情報に紐づけられた撮像画像を外部サーバＳから取得する。

撮像部１０が撮像を開始すると、表示制御部２４は、画像生成部によって生成される簡易画像を表示する共に、撮像画像格納部２３より過去の撮像画像を呼び出し表示する。すなわち、表示制御部２４は、簡易画像に紐づいている被検体識別情報と同じ被検体の被検体識別情報を有する過去の撮像画像について、撮像画像格納部２３から読み出して表示装置２００に表示させる。

なお、過去の撮像画像には、スライス識別子や異常情報識別子が付されている。超音波ＣＴは被検体の変形や技師による手技依存性を伴わない為、検査毎の再現性が高いことが知られている。現在の撮像条件と過去の撮像条件が同じ場合、過去の撮像画像のスライス断面と現在撮像中の簡易画像のスライスにおいて、被検体に対するスライス位置の識別子が同じ場合、ほぼ同じ平面の断像情報が取得できる。従って、オペレータは、撮像中の簡易画像において、過去の撮像画像で異常のあったスライスの位置を特定しながら撮像しながら特定のスライスに識別情報を付すことができる。また、オペレータと診断医が分離する検診ではなく、医師が撮像をしながら診断を行う場合にも有効である。すなわち、治療中や予後の経時変化を確認するために、特定のスライスを効果的に撮像しながら短時間で撮像画像を表示させることが可能となる。

また、過去の撮像画像において病変が特定されている場合、異常検知部２６は、これを異常情報として検知する。病変の特定は、過去の撮像画像に診断情報として予め含まれていてもよいし、異常検知部２６に含まれる、例えば、病変検出アルゴリズムによって検知してもよい。異常検知部２６は、過去の撮像画像における異常識別情報を含むスライスの情報を表示制御部２４に通知する。こうすることで、オペレータは撮像しながら、同一受診者の過去に病変が検出された特定のスライス情報を確認する事が可能となり、例えば、病変の変化のあるスライスについて、さらに高性能な画像を取得できるよう撮像条件を設定するなどの対応が可能なる。また、同時に表示する診断用画像は複数であってもよい。こうすると、同一被検者の前回以前の複数の撮像画像の経時的変化を表示できるため、病変の進行状況などを比較しながら撮像することができる。このようにして、本発明によれば、医用画像を撮像しながら、診断に有用な情報を効率よく取得する事ができる。

次に、プログラムについて説明する。
画像処理装置２０に含まれる各構成は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ(Read Only Memory)、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。また、表示プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、各実施形態に係る画像処理装置２０及びプログラムによれば、以下の効果を奏する。
（１）超音波を用いて経時的に撮像位置を移動させて被検体を撮像した撮像データから撮像画像を生成する画像処理装置２０であって、撮像データを取得する撮像データ取得部２１と、取得された撮像データを用いて、撮像中の被検体を含む簡易画像と簡易画像よりも高精細な撮像画像とを生成する画像生成部２２であって、撮像中の被検体の簡易画像を生成する画像生成部２２と、簡易画像及び撮像画像の表示装置２００へ表示を制御する表示制御部２４であって、簡易画像と撮像画像とを表示装置に並べて表示させる表示制御部２４と、を備える。
これにより、撮影中の被検体の簡易画像を表示しつつ、既に生成済みの撮像画像を補正することができる。撮像をするオペレータに撮像のモニタリングに必要な画像を提供するので、オペレータは被検体の撮像の進捗を確認することができる。また、被検体の撮影中に過去に生成した撮像画像を補正することができるので、効率的且つ精度の高い撮像画像を生成することができる。

（２）表示制御部２４は、生成された簡易画像と、撮像済みの被検体を含む撮像画像とを並べて表示させる。これにより、簡易画像の確認をしつつ、撮像画像の確認を容易にすることができる。

（３）表示制御部２４は、生成された簡易画像と、簡易画像に含まれる被検体とは異なる被検体を含む撮像画像とを並べて表示させる。これにより、複数の被検体の撮像状態を確認しつつ、他の被検体の撮像画像を容易に確認することができる。

（４）画像生成部２２は、撮像データから生成される複数の簡易スライス画像を用いて簡易画像を生成するとともに、撮像データから生成され簡易スライス画像よりも高精細な複数の高精細スライス画像を用いて撮像画像を生成する。これにより、撮像データから略リアルタイムで簡易画像を構成して表示することができる。したがって、撮像画像の生成を待たずに、画像の異常を確認することができる。

（５）簡易画像に含まれる異常を検知する異常検知部２６をさらに備え、表示制御部２４は、検知された異常を含むスライス画像を識別する識別情報を表示装置に表示させる。これにより、被検体の撮像中に異常を検知し通知することができる。これにより、再撮像の要否等をすぐにオペレータに判断させることができるので、被検体の撮像を効率化することができる。

（６）画像生成部２２は、識別情報を含めて簡易画像に対応する撮像画像を生成する。これにより、検知された異常を示す情報を付した撮像画像を容易に生成することができる。

（７）撮像画像に含まれる異常を検知する異常検知部２６をさらに備え、表示制御部２４は、検知された異常を含むスライス画像を識別する識別情報を表示装置に表示する。これにより、撮像画像に異常の疑いを示す情報を付すことができるので、診断を補助することができる。

（８）画像処理装置２０は、生成された撮像画像及び簡易画像の少なくてもいずれか一方に基づいて、撮像画像を補正する画像補正部２５をさらに備える。これにより、撮像画像をより効率的に管理することができる。

（９）画像補正部は、識別情報に基づいて、撮像画像に含まれるスライス画像を補正する。これにより、補正箇所をより容易に判断することができる。

（１０）異常検知部２６は、スライス画像に含まれる被検体の位置、撮像データの連続性、又は分解能等の異常を検知する。また、異常検知部２６は、被検体の含まれていないスライス画像を検知する。これにより、診断に不要となる無駄な画像を減らし、データ削減および診断の効率化を図ることができる。

（１１）表示制御部２４は、撮像が終了した際に、終了したことを通知する。オペレータに、次の被検体の撮像を容易に通知することができる。これにより、オペレータは撮像の進捗状態を把握し、遅滞なく次の被検体の撮像を進め、検診効率を向上することができる。

（１２）表示制御部２４は、表示される簡易画像と撮像画像とを識別する識別子を表示する。これにより、簡易画像及び撮像画像を容易に区別することができる。

以上、本発明の画像処理装置２０及びプログラムの好ましい各実施形態につき説明したが、本開示は、上述の実施形態に制限されるものではなく、適宜変更が可能である。

例えば、上記実施形態において、画像生成部２２は、異常が検知されない場合に、所定の解像度よりも低い撮像画像を生成してもよい。これにより、撮像画像の容量を小さくすることができ、効率化を図ることができる。

また、上記実施形態において、送信部は、所定のしきい値異常の精度をもつ撮像画像を送信するようにしてもよい。送信部は、例えば、画像補正部２５によって補正済みの撮像画像のみを外部サーバＳに送信するようにしてもよい。

また、上記実施形態において、異常検知部２６は、撮像画像に異常を検知した場合に、検知した内容を撮像画像のインデックスに付してもよい。異常検知部２６は、インデックスを付した撮像画像を画像格納部２３に保存してもよい。また、画像補正部２５によってインデックスが付されてもよい。これにより、外部サーバＳに送信された撮像画像を閲覧する際に、インデックスも送信されるので、インデックスを診断の補助として活用することができる。

また、上記実施形態において、表示制御部２４は、簡易画像及び撮像画像における異常を含むスライスの位置について、スライス画像の位置をバー状で示す表示内容に、異常を検知したスライスの範囲を示してもよい。

また、上記実施形態において、表示制御部２４は、簡易画像及び撮像画像を表示しているが、表示画像はこれに限られない。例えば撮像部１０は、リングアレイＲとは別に図示しない撮像状況監視センサを有する。撮像状況監視センサは、例えば、光学カメラ、第二の超音波装置、又は、赤外線センサ等であるがこれに限らない。撮像状況監視センサは、撮像中にリアルタイムで、撮像工程に異常がないかを監視する。監視対象は、例えば、被検体の位置情報、リングアレイＲの位置情報やステッピングモーターの駆動情報、水漏れ、撮像経過時間や残存時間、水槽の温度情報などであるが、これに限らない。撮像状況監視センサは、撮像中に異常を感知した場合、異常検知部２６に通知する。異常検知部においてこれらのセンサ情報から異常を検知し、簡易画像または撮像画像に異常識別情報としてもよい。

例えば、図８Ａ及び図８Ｂは、撮像状況監視センサの画像によって、撮像中の被検体と撮像の進捗状態を重畳して表示する表示画面例である。図８Ａは、被検体のサジタル断面を撮像するために、被検体のコロナル断面を取得するリングアレイとは別途に、水槽４５の底部に撮像状況監視用の超音波装置３０１を配置した模式図である。また、図８Ｂは、撮像状況監視用の超音波装置により取得したサジタル画像を、本発明の第二の画像として表示した図である。画面中の黒線で示されたメモリは深さ方向の距離を示し、断層像に重畳して示される白線は、リングアレイＲによる撮像面の推定位置を表示している。リングアレイＲによる撮像面は、例えば、撮像部１０により、リングアレイＲを下降させる駆動回数に基づき算出される。表示制御部２４は、初期撮像断面を１枚目として、スライス撮像完了毎に、撮像面を示す実線を下降させる。表示制御部２４は、図８Ｂのように、被検体のサジタル断面画像を表示してもよいが、数字やカラーバーの変化で示してもよい。こうして、表示制御部２４は、操作者に対し、深さ方向への進捗を提示する。また、異常検知部２６が、サジタル画像における被検体の皮膚輪郭の輝度や幅の連続性を検出してもよい。

また、上記実施形態において、異常検知を撮像における取得データに関連した異常の例を挙げているが、これに限らない。例えば、撮像画像において自動で病変検出を同時に行い、病変疑いのあるスライス画像に異常情報識別子を付してもよい。

また、上記実施形態において、画像生成部２２は、撮像画像を生成する際に、異常が検知されたスライス画像の位置の前後において、生成されるスライス画像の間隔を短くしてもよい。例えば、画像生成部２２は、超音波プローブの走査方向において、異常を検知したスライス画像の前後の所定の距離間隔において、作成されるスライス画像の距離間隔を短くしてもよい。これにより、撮像画像において、異常が検知されたスライス画像の前後の状況がより詳細に再現されるので、異常の診断をよりよく補助することができる。一方、画像生成部２２は、撮像画像を生成する際に、異常が検知されていないスライス画像については、走査方向における、隣接するスライス画像間の距離間隔を広げて撮像画像を生成してもよい。これにより、生成される撮像画像の容量を小さくすることができる。また、画像生成部２２は、検知された異常の種類によって、走査方向における隣接するスライス画像の距離間隔を動的に変化させるようにしてもよい。例えば、画像生成部２２は、検知された異常が「腫瘍の疑い」であれば、隣接するスライス画像の距離間隔を短くして撮像画像を生成してもよい。一方、画像生成部２２は、検知された異常が「撮像に起因する異常」であれば、隣接するスライス画像の距離間隔を変化させずに撮像画像を生成してもよい。

また、上記実施形態において、異常検知部は、画像の表示や撮像画像へのラベル付けを行うが、この他に、撮像部に、警告音を発生させて、操作者に聴覚的に異常を知らせてもよい。

２０ 画像処理装置
２１ 撮像データ取得部
２２ 画像生成部
２４ 表示制御部
２５ 画像補正部
２６ 異常検知部

Claims (17)

1. 超音波を用いて経時的に撮像位置を移動させる期間を１単位として、当該１単位において被検体を撮像した撮像データから前記被検体の撮像画像を生成する画像処理装置であって、
   前記撮像データを取得する撮像データ取得部と、
   取得された前記撮像データを用いて、撮像中の前記被検体を含む簡易画像と前記簡易画像よりも高精細な前記撮像画像とを生成する画像生成部と、
   前記簡易画像及び前記撮像画像の表示装置へ表示を制御する表示制御部であって、所定単位内に取得された前記撮像データを用いて生成された前記被検体の前記簡易画像と、当該所定単位よりも過去の単位内に取得された前記撮像データを用いて生成された、被検体の前記撮像画像とを前記表示装置の画面上の異なる空間に表示させる表示制御部と、
   を備える画像処理装置。
2. 前記表示制御部は、生成された前記簡易画像と、前記簡易画像に含まれる前記被検体とは異なる被検体を含む前記撮像画像とを並べて表示させる請求項１に記載の画像処理装置。
3. 前記画像生成部は、前記撮像データから生成される複数の簡易スライス画像を用いて前記簡易画像を生成するとともに、前記撮像データから生成され、前記簡易スライス画像よりも高精細な複数の高精細スライス画像を用いて前記撮像画像を生成する請求項１又は２に記載の画像処理装置。
4. 前記簡易画像に含まれる異常を検知する異常検知部をさらに備え、
   前記表示制御部は、検知された異常を含むスライス画像を識別する識別情報を前記表示装置に表示させる請求項３に記載の画像処理装置。
5. 前記画像生成部は、前記識別情報を含めて前記簡易画像に対応する前記撮像画像を生成する請求項４に記載の画像処理装置。
6. 前記撮像画像に含まれる異常を検知する異常検知部をさらに備え、
   前記表示制御部は、検知された異常を含むスライス画像を識別する識別情報を前記表示装置に表示する請求項５に記載の画像処理装置。
7. 前記異常検知部は、前記簡易画像及び前記撮像画像の少なくとも一方について、外部から入力される異常の内容を取得することにより、前記簡易画像及び前記撮像画像の少なくとも一方に含まれる異常を検知する請求項４から６のいずれかに記載の画像処理装置。
8. 生成された前記撮像画像及び前記簡易画像の少なくてもいずれか一方に基づいて、前記撮像画像を補正する画像補正部をさらに備える請求項４から７のいずれかに記載の画像処理装置。
9. 前記画像補正部は、前記識別情報に基づいて、前記撮像画像に含まれるスライス画像を補正する請求項８に記載の画像処理装置。
10. 前記異常検知部は、スライス画像に含まれる前記被検体の位置の異常を検知する請求項４から９のいずれかに記載の画像処理装置。
11. 前記異常検知部は、前記被検体の含まれていないスライス画像を検知する請求項４から９のいずれかに記載の画像処理装置。
12. 前記表示制御部は、撮像が終了した際に、終了したことを通知する請求項１から１１のいずれかに記載の画像処理装置。
13. 前記表示制御部は、表示される前記簡易画像と前記撮像画像とを識別する識別子を表示する請求項１から１２のいずれかに記載の画像処理装置。
14. 前記異常検知部は、スライス画像に含まれる、被検体の外部に存在する異物を検出する異物検出部を含む請求項４から７のいずれかに記載の画像処理装置。
15. 超音波を用いて経時的に撮像位置を移動させる期間を１単位として、当該１単位において被検体を撮像した撮像データから撮像画像を生成する画像処理装置としてコンピュータを機能させるプログラムであって、
    前記コンピュータを、
    前記撮像データを取得する撮像データ取得部、
    取得された前記撮像データを用いて、撮像中の前記被検体を含む簡易画像と前記簡易画像よりも高精細な前記撮像画像とを生成する画像生成部、
    前記簡易画像及び前記撮像画像の表示装置へ表示を制御する表示制御部であって、所定単位内に取得された前記撮像データを用いて生成された前記被検体の前記簡易画像と当該所定単位よりも過去の単位内に取得された前記撮像データを用いて生成された、被検体の前記撮像画像とを前記表示装置の画面上の異なる空間に表示させる表示制御部、
    として機能させるプログラム。
16. 超音波を用いて経時的に撮像位置を移動させる期間を１単位として、当該１単位において被検体を撮像した撮像データから前記被検体の撮像画像を生成する画像処理装置であって、
    前記撮像データを取得する撮像データ取得部と、
    取得された前記撮像データを用いて、撮像中の前記被検体を含む簡易画像と前記簡易画像よりも高精細な前記撮像画像とを生成する画像生成部と、
    前記簡易画像及び前記撮像画像の表示装置へ表示を制御する表示制御部であって、前記表示装置の画面上の配置位置が移動可能な第１表示領域に前記簡易画像を表示させると共に、当該第１表示領域とは独立して前記画面上の配置位置が移動可能な第２表示領域に前記撮像画像を表示させる表示制御部と、
    を備え、
    前記表示制御部は、所定単位内に取得された前記撮像データを用いて生成された前記被検体の前記簡易画像を前記第１表示領域に表示させると共に、当該所定単位よりも過去の単位内に取得された前記撮像データを用いて生成された、被検体の前記撮像画像を前記第２表示領域に表示させる、
    画像処理装置。
17. 超音波を用いて経時的に撮像位置を移動させる期間を１単位として、当該１単位において被検体を撮像した撮像データから前記被検体の撮像画像を生成する画像処理装置としてコンピュータを機能させるプログラムであって、
    前記コンピュータを、
    前記撮像データを取得する撮像データ取得部、
    取得された前記撮像データを用いて、撮像中の前記被検体を含む簡易画像と前記簡易画像よりも高精細な前記撮像画像とを生成する画像生成部、
    前記簡易画像及び前記撮像画像の表示装置へ表示を制御する表示制御部であって、前記表示装置の画面上の配置位置が移動可能な第１表示領域に前記簡易画像を表示させると共に、当該第１表示領域とは独立して前記画面上の配置位置が移動可能な第２表示領域に前記撮像画像を表示させる表示制御部、
    として機能させ、
    前記表示制御部は、所定単位内に取得された前記撮像データを用いて生成された前記被検体の前記簡易画像を前記第１表示領域に表示させると共に、当該所定単位よりも過去の単位内に取得された前記撮像データを用いて生成された、被検体の前記撮像画像を前記第２表示領域に表示させる、
    プログラム。

Images