JP5630967B2

JP5630967B2 - 画像処理装置及びその制御方法

Info

Publication number: JP5630967B2
Application number: JP2009111294A
Authority: JP
Inventors: 亮石川; 佐藤　清秀; 清秀佐藤; 遠藤　隆明; 隆明遠藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-04-30
Filing date: 2009-04-30
Publication date: 2014-11-26
Anticipated expiration: 2029-04-30
Also published as: JP2010259536A

Description

本発明は、被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置及びその制御方法、当該制御方法をコンピュータに実行させるためのプログラム、並びに、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体に関する。

超音波診断装置は、超音波パルス反射法により、被検体の表面から被検体内部の軟組織の断層画像（超音波画像）を無侵襲に得るための医療用画像機器である。この超音波診断装置は、他の医療用画像機器に比べて、小型で安価であること、Ｘ線などの被爆がなく安全性が高いこと、被検体（患者）の近くまで手軽に移動可能なこと、血流イメージングが可能であること等の特長を有している。そのため、心臓、腹部、泌尿器、及び、産婦人科などで広く利用されている。

しかしながら、通常よく用いられている二次元の断層画像を取得する超音波診断装置だけでは、被検体の病変部の三次元的な形状や拡がりを把握することは困難である。そこで、様々な位置で撮影した二次元の断層画像群を統合して、被検体の三次元画像（三次元超音波画像）を生成する試みがなされている。例えば、下記の特許文献１には、超音波診断装置から二次元の断層像（断層画像）を時系列的に複数取得し、この複数の断層像から三次元画像を生成する技術が開示されている。そして、このように、被検体の三次元画像が生成されれば、それに基づく解析や表示を行うことにより、被検体の病変部の三次元的な形状や拡がりを容易に把握することができる。

特開平７−２１３５２１号公報

しかしながら、超音波撮影に用いられる超音波は、それが伝播した経路上において吸収・散乱などの影響を受ける。したがって、同一部位を撮影した断層画像同士であっても、異なる方位から撮影した場合には、超音波の伝播経路が異なるために、撮影される断層画像の画素値が異なる可能性がある。このような場合に、従来の技術により、断層画像を統合して被検体の三次元画像（統合画像）を生成すると、断層画像の画素値のばらつきにより、統合画像の画質が低下する恐れがあった。

本発明は、このような問題点に鑑みてなされたものであり、複数の断層画像を統合して統合画像を生成する際に、当該統合画像の画質の低下を抑制する仕組みを提供することを目的とする。

本発明の画像処理装置は、被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置であって、前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得手段と、前記撮影方位取得手段において前記各断層画像ごとに取得した各撮影方位に基づいて、前記複数の断層画像の中で互いの撮影方位の差が所定の角度範囲内の断層画像を統合する処理を行って統合画像を生成する画像生成手段とを有する。
本発明の画像処理装置における他の態様は、被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置であって、前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得手段と、前記撮影方位取得手段において前記各断層画像ごとに取得した各撮影方位に基づいて、前記複数の断層画像を統合する処理を行って統合画像を生成する画像生成手段とを有し、前記画像生成手段は、少なくとも１つの基準方位と前記各撮影方位との関係に応じて前記統合画像を生成の際の優先度を算出し、当該優先度に基づいて前記統合画像を生成する。
また、本発明の画像処理装置におけるその他の態様は、被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置であって、前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得手段と、前記撮影方位取得手段において前記各断層画像ごとに取得した各撮影方位をクラスタリング処理して少なくとも１つの基準方位を算出して取得する基準方位取得手段と、前記基準方位と前記各撮影方位との関係に応じて、前記複数の断層画像を統合する処理を行って統合画像を生成する画像生成手段とを有する。
また、本発明の画像処理装置におけるその他の態様は、被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置であって、前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得手段と、前記撮影方位取得手段において前記各断層画像ごとに取得した各撮影方位をクラスタリング処理して前記各撮影方位を複数のクラスに分け、最も多くの撮影方位が分けられたクラスにおける当該撮影方位に基づいて、少なくとも１つの基準方位を算出して取得する基準方位取得手段と、前記基準方位と前記各撮影方位との関係に応じて、前記複数の断層画像を統合する処理を行って統合画像を生成する画像生成手段とを有する。
また、本発明の画像処理装置におけるその他の態様は、被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置であって、前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得手段と、表示する表示画像に係る指示を取得する指示取得手段と、前記表示画像として前記指示取得手段が断面画像に関する指示を取得した場合、当該指示に基づいて少なくとも１つの基準方位を取得する基準方位取得手段と、前記基準方位と前記撮影方位取得手段において前記各断層画像ごとに取得した各撮影方位との関係に応じて、前記複数の断層画像を統合する処理を行って統合画像を生成する画像生成手段と、前記統合画像から前記表示画像を生成して表示を行う画像処理手段とを有する。

また、本発明は、上述した画像処理装置の制御方法、及び、当該制御方法をコンピュータに実行させるためのプログラム、並びに、当該プログラムを記憶するコンピュータ読み取り可能な記憶媒体を含む。

本発明によれば、複数の断層画像を統合して統合画像を生成する際に、当該統合画像の画質の低下を抑制することができる。

本発明の第１の実施形態に係る画像処理システムの概略構成の一例を示す模式図である。本発明の第１の実施形態に係る画像処理装置の機能構成の一例を示す模式図である。本発明の第１の実施形態に係る画像処理装置のハードウェア構成の一例を示す模式図である。本発明の第１の実施形態に係る画像処理装置の制御方法における処理手順の一例を示すフローチャートである。本発明の第１の実施形態を示し、図１に示す超音波画像撮影装置の概略構成の一例、及び、被検体の撮影領域の一例を示す模式図である。本発明の第１の実施形態を示し、図１に示す位置姿勢計測装置の概略構成の一例、及び、超音波プローブ２２０の位置及び姿勢に関する計測方法の一例を示す模式図である。本発明の第２の実施形態を示し、図４のステップＳ１０５における基準方位の取得方法の詳細な処理手順の一例を示すフローチャートである。本発明の第３の実施形態に係る画像処理装置の制御方法における処理手順の一例を示すフローチャートである。本発明の第４の実施形態に係る画像処理装置の制御方法における処理手順の一例を示すフローチャートである。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。なお、以下に示す実施形態は、一例に過ぎず、本発明は、図示された構成等に限定されるものではない。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
図１は、本発明の第１の実施形態に係る画像処理システム１０の概略構成の一例を示す模式図である。

図１に示すように、画像処理システム１０は、画像処理装置１００、超音波画像撮影装置（断層画像撮影装置）２００、位置姿勢計測装置３００、及び、ローカル・エリア・ネットワーク（ＬＡＮ）４００を有して構成されている。即ち、図１に示す画像処理システム１０は、画像処理装置１００が、ＬＡＮ４００を介して、超音波画像撮影装置２００及び位置姿勢計測装置３００に接続される構成となっている。

なお、図１に示す例では、画像処理装置１００と、超音波画像撮影装置２００及び位置姿勢計測装置３００との接続をＬＡＮ４００により行う形態について示しているが、本実施形態においては、これに限定されるものではない。例えば、ＬＡＮ４００に換えて、ＵＳＢやＩＥＥＥ１３９４等のインターフェイスを用いる形態であっても、また、インターネット等の外部ネットワークを用いる形態であってもよい。

本実施形態に係る画像処理装置１００は、超音波画像撮影装置２００で撮影された被検体内部の断層画像（超音波画像）における処理を行う。

超音波画像撮影装置２００は、超音波プローブ（図１では不図示）から被検体の内部に超音波を発射し、当該発射した超音波の反射波を観測することにより、被検体内部の断層画像（超音波画像）を撮影する。

本実施形態では、超音波画像撮影装置２００は、超音波プローブとして、超音波送受信素子を直線状に並べて配置したリニア・アレイ・プローブを有し、この超音波プローブを被検体にあてることにより、被検体内部の断層画像を撮影可能となっている。この超音波画像撮影装置２００で撮影された断層画像は、超音波画像撮影装置２００から画像処理装置１００へ送信される。

なお、本実施形態においては、超音波画像撮影装置２００が、超音波エコーを画像化する装置である場合を例として説明を行うが、本発明の実施においてはこれに限定されるものではない。例えば、超音波画像撮影装置２００は、レーザー光源と超音波探触子を有するプローブを用いて光音響効果を画像化する光音響トモグラフィ（ＰＡＴ：Ｐｈｏｔｏ−ＡｃｏｕｓｔｉｃＴｏｍｏｇｒａｐｈｙ）装置などであってよい。

位置姿勢計測装置３００は、超音波画像撮影装置２００が有する超音波プローブに装着され、超音波画像撮影装置２００で断層画像を撮影した際の、当該超音波プローブの位置及び姿勢を計測する。位置姿勢計測装置３００は、例えば、磁気式センサ（例えば、米国Ｐｏｌｈｅｍｕｓ社のＦＡＳＴＲＡＫ等）によって構成される。なお、本実施形態の位置姿勢計測装置３００としては、超音波プローブの位置及び姿勢が計測できるものであれば、どのように構成されてもよい。

次に、図１に示す画像処理装置１００の機能構成について説明する。
図２は、本発明の第１の実施形態に係る画像処理装置１００の機能構成の一例を示す模式図である。

図２に示すように、画像処理装置１００は、断層画像取得部１１０、撮影方位取得部１２０、取得情報記録部１３０、指示取得部１４０、画像生成部１５０、及び、画像表示・出力部１６０の各機能構成を有して構成されている。

断層画像取得部１１０は、超音波画像撮影装置２００により撮影された、被検体内部の複数の断層画像を超音波画像撮影装置２００から取得し、これを取得情報記録部１３０へ送信する。

撮影方位取得部１２０は、位置姿勢計測装置３００により計測された超音波プローブの位置及び姿勢に関する計測値を、断層画像の取得位置（撮影位置）及び取得方向（撮影方向）の撮影方位に関する計測値として取得する。そして、撮影方位取得部１２０は、この撮影方位に関する計測値を取得情報記録部１３０へ送信する。

取得情報記録部１３０は、断層画像取得部１１０から送信された断層画像（断層画像群）と、撮影方位取得部１２０から送信された撮影方位に関する計測値（当該断層画像を撮影した際の超音波プローブの位置及び姿勢に関する計測値）とを対応付けて記録する。そして、取得情報記録部１３０は、画像生成部１５０からの要求に基づいて、記録した情報を画像生成部１５０へ送信する。

指示取得部１４０は、取得情報記録部１３０の記録の開始・終了の指示や、画像生成部１５０、画像表示・出力部１６０の処理パラメータなどに関する操作者の指示入力を取得する。ここで、指示取得部１４０が取得した指示の内容は、必要に応じて、取得情報記録部１３０、画像生成部１５０、画像表示・出力部１６０へ送信される。

また、指示取得部１４０は、基準方位取得部１４１を備えている。基準方位取得部１４１は、被検体の三次元画像の生成に用いる断層画像を選択するための基準である基準方位に関する情報を取得する。この基準方位に関する情報は、指示取得部１４０から画像生成部１５０へ送信され、後述する画像生成部１５０の処理対象画像判定部１５１で使用される。

画像生成部１５０は、取得情報記録部１３０から複数の断層画像（断層画像群）及びその撮影方位に関する計測値を取得し、当該撮影方位に関する計測値に基づいて当該断層画像群を統合する処理を行って、被検体の三次元画像を生成するものである。ここで、画像生成部１５０で生成される被検体の三次元画像は、統合画像を構成する。

図２に示すように、画像生成部１５０は、その主要な構成要素として、処理対象画像判定部１５１、座標変換部１５２、及び、三次元画像保持部１５３を備えている。

処理対象画像判定部１５１は、取得情報記録部１３０から取得した断層画像群のそれぞれの断層画像について、三次元画像を生成する際の統合処理対象とするか否かを判定する。また、この際、処理対象画像判定部１５１は、取得情報記録部１３０から取得した、それぞれの断層画像に対応付けられた撮影方位に関する計測値と、基準方位取得部１４１が取得した基準方位との関係に基づいて行われる。そして、処理対象画像判定部１５１は、統合処理対象と判定した断層画像とその撮影方位に関する計測値とを、座標変換部１５２へ送信する。

座標変換部１５２は、処理対象画像判定部１５１から送信された断画層像とその撮影方位に関する計測値を取得する。そして、座標変換部１５２は、それぞれの断層画像を、それぞれの撮影方位に関する計測値に基づいて、生成する三次元画像の画像空間へと座標変換を行う。そして、座標変換部１５２は、座標変換した結果情報を三次元画像保持部１５３へ送信する。

三次元画像保持部１５３は、三次元画像を保持する三次元画像メモリを有している。三次元画像保持部１５３は、座標変換部１５２から座標変換した結果情報を取得し、それらを統合して、三次元画像メモリに、統合処理対象の断層画像に基づく被検体の三次元画像を生成して保持する。さらに、三次元画像保持部１５３は、画像表示・出力部１６０からの要求に従って、生成し保持した三次元画像を画像表示・出力部１６０へ送信する。

画像表示・出力部１６０は、画像生成部１５０による画像処理により構築された三次元画像を取得する。そして、画像表示・出力部１６０は、指示取得部１４０からの指示に従って三次元画像を処理し、表示画像として、例えば被検体内部の断面画像やボリュームレンダリング画像などを生成して表示・出力する。

なお、図２に示す画像処理装置１００の各機能構成は、例えばコンピュータのソフトウェア構成として実現される。

次に、図１に示す画像処理装置１００にコンピュータを適用した場合のハードウェア構成について説明する。
図３は、本発明の第１の実施形態に係る画像処理装置１００のハードウェア構成の一例を示す模式図である。

図３に示すように、画像処理装置１００は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、外部記憶装置３０４、モニタ３０５、キーボード３０６、マウス３０７、通信インターフェイス３０８、及び、バス３０９の各ハードウェア構成を有して構成されている。

ＣＰＵ３０１は、ＲＯＭ３０３或いは外部記憶装置３０４に格納されたプログラムやデータを用いて、当該画像処理装置１００全体の制御を行う。

ＲＡＭ３０２は、外部記憶装置３０４（或いはＲＯＭ３０３）からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ３０１が各種の処理を行うために必要とするワークエリアを備える。

ＲＯＭ３０３には、一般に、コンピュータのＢＩＯＳや設定データなどが格納されている。

外部記憶装置３０４は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であり、例えば、オペレーティングシステムやＣＰＵ３０１が実行するプログラム等を保存する。また、本実施形態の説明において既知の各種の情報やデータは、外部記憶装置３０４に保存されており、必要に応じて、ＲＡＭ３０２にロードされる。なお、本例では、ＣＰＵ３０１が実行するプログラムは、外部記憶装置３０４に記憶されているものとするが、例えば、ＲＯＭ３０３に記憶されている形態であってもよい。

モニタ３０５は、例えば、液晶ディスプレイなどにより構成されている。

キーボード３０６及びマウス３０７は、入力デバイスを構成するものであり、操作者は、これらの入力デバイスを用いて、各種の指示を画像処理装置１００に与えることができる。

通信インターフェイス３０８は、画像処理装置１００が外部装置との間で各種のデータの通信を行うためのものであり、例えば、ＩＥＥＥ１３９４やＵＳＢ、イーサネット（登録商標）ポート等によって構成されている。通信インターフェイス３０８を介して取得された情報やデータは、例えば外部記憶装置３０４に取り込まれ、その後、必要に応じて、ＲＡＭ３０２にロードされる。

バス３０９は、画像処理装置１００の内部の各構成要素（３０１〜３０８）を相互に通信可能に接続するものである。

ここで、本実施形態においては、例えば、図３に示すＣＰＵ３０１及び外部記憶装置３０４に記憶されているプログラム、並びに、通信インターフェイス３０８から、図２に示す断層画像取得部１１０及び撮影方位取得部１２０が構成される。また、例えば、図３に示すＣＰＵ３０１及び外部記憶装置３０４に記憶されているプログラム、並びに、外部記憶装置３０４等から、図２に示す取得情報記録部１３０及び画像生成部１５０が構成される。また、例えば、図３に示すＣＰＵ３０１及び外部記憶装置３０４に記憶されているプログラム、並びに、キーボード３０６及びマウス３０７の入力デバイスから、図２に示す指示取得部１４０が構成される。また、例えば、図３に示すＣＰＵ３０１及び外部記憶装置３０４に記憶されているプログラム、並びに、モニタ３０５（更には外部装置に出力する場合には通信インターフェイス３０８）から、図２に示す画像表示・出力部１６０が構成される。

次に、本実施形態に係る画像処理装置１００の制御方法の処理手順について説明する。
図４は、本発明の第１の実施形態に係る画像処理装置１００の制御方法における処理手順の一例を示すフローチャートである。なお、図４に示すフローチャートの各ステップの処理は、ＣＰＵ３０１が外部記憶装置３０４（或いはＲＯＭ３０３）に記憶されているプログラムを実行することにより行われる。

＜ステップＳ１０１：断層画像の取得＞
まず、図４のステップＳ１０１において、断層画像取得部１１０は、超音波画像撮影装置２００により撮影された被検体内部の複数の断層画像を超音波画像撮影装置２００から取得する。具体的に、断層画像取得部１１０は、超音波画像撮影装置２００に対して被検体内部の断層画像の送信を要求し、超音波画像撮影装置２００から送信される断層画像を取得する。そして、断層画像取得部１１０は、超音波画像撮影装置２００から取得した断層画像を取得情報記録部１３０へ送信する。

ここで、図５を用いて、超音波画像撮影装置２００の超音波プローブと、この超音波プローブにより撮影される撮影領域の関係について説明する。
図５は、本発明の第１の実施形態を示し、図１に示す超音波画像撮影装置２００の概略構成の一例、及び、被検体の撮影領域の一例を示す模式図である。

図５に示すように、超音波画像撮影装置２００は、超音波画像撮影装置本体（断層画像撮影装置本体）２１０と、超音波プローブ２２０を有して構成されている。また、超音波プローブ２２０の表面には、直線状に複数配置された超音波送受信素子２２１が設けられている。

超音波プローブ２２０は、超音波画像撮影装置本体２１０と通信可能に接続されており、被検体内部５０１の断層画像を撮影する際には、被検体表面５０２と接するように配設される。超音波プローブ２２０の表面に設けられた各超音波送受信素子２２１は、超音波画像撮影装置本体２１０からの制御信号に基づいて、図示するように超音波ビーム２２２を被検体内部５０１の撮影領域５０３に送信する。また、各超音波送受信素子２２１は、送信した超音波ビーム２２２が撮影領域５０３内に存在する組織界面等で反射した際の反射波を受信する。

超音波画像撮影装置本体２１０は、各超音波送受信素子２２１が受信した、超音波ビーム２２２の反射波に基づいて、被検体内部５０１の超音波画像（断層画像）を生成する。なお、超音波プローブ２２０の移動・回転等に伴って撮影領域５０３も移動・回転するため、被検体内部５０１の断層画像を様々な位置・姿勢から撮影することができる。また、本実施形態では、操作者が超音波プローブ２２０をフリーハンドで移動・回転しながら様々な位置・姿勢から撮影した被検体内部５０１の断層画像を、断層画像取得部１１０が取得するものとする。

＜ステップＳ１０２：撮影方位の取得＞
図４のステップＳ１０１の処理が終了すると、ステップＳ１０２に進む。
ステップＳ１０２に進むと、撮影方位取得部１２０は、ステップＳ１０１で取得された断層画像が撮影された際の撮影方位の情報（撮影方位に関する計測値）を取得する。具体的に、撮影方位取得部１２０は、位置姿勢計測装置３００に対して超音波プローブ２２０の位置及び姿勢に関する計測値の送信を要求し、位置姿勢計測装置３００からの当該計測値を、断層画像の撮影位置及び撮影方向の撮影方位に関する計測値として取得する。そして、撮影方位取得部１２０は、位置姿勢計測装置３００から取得した撮影方位に関する計測値を取得情報記録部１３０へ送信する。

ここで、図６を用いて、位置姿勢計測装置３００による超音波プローブ２２０の位置及び姿勢に関する計測について説明する。
図６は、本発明の第１の実施形態を示し、図１に示す位置姿勢計測装置３００の概略構成の一例、及び、超音波プローブ２２０の位置及び姿勢に関する計測方法の一例を示す模式図である。

図６に示すように、位置姿勢計測装置３００は、位置姿勢計測装置本体３１０と、計測基準センサ３２０と、計測センサ３３０を有して構成されている。

計測基準センサ３２０は、位置姿勢計測装置本体３１０と通信可能に接続されており、本実施形態においては、超音波画像（断層画像）の撮影を行う空間中に固定して設置されている。

計測センサ３３０は、位置姿勢計測装置本体３１０と通信可能に接続されており、超音波プローブ２２０に固定して装着され、操作者による超音波プローブ２２０の移動・回転に伴って超音波プローブ２２０に追随して移動・回転等する。

位置姿勢計測装置本体３１０は、計測基準センサ３２０及び計測センサ３３０と通信可能に接続され、これらのセンサの駆動や受信信号の取得などを行うことによって、計測基準センサ３２０に対する計測センサ３３０の相対的な位置及び姿勢を計測する。

なお、位置姿勢計測装置３００が磁気式センサ方式によって構成される場合には、位置姿勢計測装置本体３１０、計測基準センサ３２０及び計測センサ３３０は、それぞれ、コントローラ、トランスミッタ（磁場発生源）、レシーバによって構成される。

前述したように、計測センサ３３０は、超音波プローブ２２０に対して固定して装着されているため、両者の位置及び姿勢は一定の関係を保つことになる。したがって、その位置及び姿勢の関係が明らかであれば、位置姿勢計測装置３００の計測結果に基づいて、超音波プローブ２２０の位置及び姿勢を算出することが可能である。この算出処理は、画像処理装置１００が行うようにしてもよいし、位置姿勢計測装置３００が行うようにしてもよい。本実施形態では、計測センサ３３０と超音波プローブ２２０との位置及び姿勢の関係を、予め位置姿勢計測装置３００に設定する。そして、位置姿勢計測装置３００が、超音波プローブ２２０の位置及び姿勢を計測して、画像処理装置１００の撮影方位取得部１２０に送信するものとする。ここで、超音波プローブ２２０の位置は、撮影される断層画像の画像座標の原点と一致し、また、超音波プローブ２２０の姿勢は、断層画像の横方向をｘ軸、縦方向をｙ軸として定義されるものとする。

撮影方位取得部１２０が撮影方位として取得する超音波プローブ２２０の位置及び姿勢に関する計測値は、それぞれ、以下の（１）式に示す位置を表すベクトルｔと、（２）式に示す姿勢を表す行列Ｒで表すことができる。

この場合、例えば、撮影される断層画像の画像座標（ｕ，ｖ）に映し出されている被検体の部位の位置は、以下の（３）式の計算により、計測基準センサ３２０の位置を基準とした三次元空間中の座標（x，ｙ，ｚ）に変換することが可能である。

本実施形態では、図５及び図６に示すように、超音波ビーム２２２は、断層画像中で縦方向（ｙ軸）に上から下に向かうものとしている。したがって、超音波ビーム２２２の方向は、計測基準センサ３２０の位置を基準とした三次元空間中において、以下の（４）式に示すベクトルｎとなる。

＜ステップＳ１０３：取得情報の記録＞
図４のステップＳ１０２の処理が終了すると、ステップＳ１０３に進む。
ステップＳ１０３に進むと、取得情報記録部１３０は、ステップＳ１０１で取得された断層画像と、ステップＳ１０２で取得された撮影方位に関する計測値（当該断層画像を撮影した際の超音波プローブの位置及び姿勢に関する計測値）とを対応付けて記録する。

なお、本実施形態において、ステップＳ１０１〜ステップＳ１０３の処理は、後工程のステップＳ１０４において撮影終了と判断されるまで繰り返し実行される。そして、取得情報記録部１３０は、断層画像取得部１１０及び撮影方位取得部１２０から送信される情報を逐次、対応付けて記録する。

このとき、例えば、取得情報記録部１３０は、ステップＳ１０１及びステップＳ１０２において取得した情報に、ステップＳ１０１からステップＳ１０４までの処理の繰り返し回数などの情報を付して記録する。これにより、逐次記録される、断層画像と、撮影方位（当該断層画像を撮影した際の超音波プローブの位置及び姿勢）の情報との対応関係が明らかになる。なお、本発明の実施は、この方法に限らず、例えば繰り返しごとに断層画像と撮影方位の情報を結合したデータを生成して記録してもよいし、各情報を取得した時刻を付して記録するようにしてもよい。いずれにしても、取得情報記録部１３０は、断層画像とそれを撮影した際の撮影方位の情報との対応が分かるように記録する。

＜ステップＳ１０４：撮影終了の判断＞
図４のステップＳ１０３の処理が終了すると、ステップＳ１０４に進む。
ステップＳ１０４に進むと、取得情報記録部１３０は、指示取得部１４０が得た操作者の指示情報に基づいて、被検体内部の断層画像の撮影を終了するか否かを判断する。この処理は、例えば画像処理装置１００のモニタ３０５に「記録終了」ボタン等のＧＵＩ（グラフィカル・ユーザ・インターフェース）画面を表示し、その「記録終了」ボタンに対する操作者の操作を指示取得部１４０が取得することで行う。なお、本発明の実施は、これに限らず、例えば、ステップＳ１０１からステップＳ１０３までの処理の繰り返し回数（撮影回数）を記録しておき、その繰り返し回数が予め設定した値に到達した際に、撮影終了と判断する形態であってもよい。

そして、ステップＳ１０４の判断の結果、被検体内部の断層画像の撮影を終了しない場合には、ステップＳ１０１に戻り、ステップＳ１０１以降の処理を再度行う。一方、ステップＳ１０４の判断の結果、被検体内部の断層画像の撮影を終了する場合には、ステップＳ１０５に進む。

＜ステップＳ１０５：基準方位の取得＞
ステップＳ１０５に進むと、画像生成部１５０は、三次元画像の生成を行う際のパラメータとなる基準方位の情報を、基準方位取得部１４１から取得する。この基準方位の情報は、三次元の実空間中における方向を表す情報である。ここで、三次元空間中における基準方位の情報は、例えば、以下の（５）式のように、その空間における方向ベクトルｖとして表すことができる。

ここで、基準方位取得部１４１は、基準方位の情報として、キーボード３０６やマウス３０７を用いて操作者が入力した、（５）式のｖｘ，ｖｙ，ｖｚの数値を取得する。また、基準方位の情報の取得における他の方法として、例えば、画像処理装置１００に基準方位の取得のための基準方位センサを通信可能に接続し、その計測値を基準方位取得部１４１が取得するようにしてもよい。この基準方位センサとしては、例えば、位置姿勢計測装置３００に（超音波プローブ２２０の位置及び姿勢を計測する計測センサ３３０とは別に）追加して設けた計測センサを用いることができる。また、超音波プローブ２２０の位置及び姿勢を計測する計測センサ３３０がその機能を兼ねる構成としてもよい。

さらに、基準方位の情報の取得におけるその他の方法として、取得情報記録部１３０に記録された断層画像の中から１つの断層画像（基準断層画像）を選択する操作者の指示を取得し、その基準断層画像が撮影された撮影方位を基準方位としてもよい。この形態によれば、基準方位の設定を簡便かつ直感的に行うことができるという効果が期待できる。なお、基準断層画像の指示の取得は、断層画像をモニタ３０５に順次表示しながら操作者に基準断層画像の選択を行わせるような一般的なユーザインタフェースを、基準方位取得部１４１が備えることによって実現できる。また、基準断層画像を１つではなく複数選択できるようにして、基準断層画像の撮影方向の平均値などを基準方位として取得するようにしてもよい。さらに、基準断層画像の撮影方向の分布などに基づいて、後述するステップＳ１０８で行う判定処理の閾値ｃを算出してもよい。この場合、操作者の意図に対して、より柔軟に、基準方位や判定処理の閾値ｃを設定できるという効果が期待できる。

また、後述のステップＳ１１２で画像表示・出力部１６０が生成する表示画像が、操作者が指示した三次元空間中の任意断面に対応する断面画像である場合には、その断面の生成に適した基準方位を動的に設定してもよい。即ち、表示したい断面に関する操作者の指示（仮想的なプローブの位置と姿勢）を指示取得部１４０から取得し、その断面を撮影する仮想的なプローブの方位を基準方位として設定する。なお、この場合には、表示する断面の指定に応じて基準方位が動的に変化するので、ステップＳ１０５からステップＳ１１２までの一連の処理を、断面の指定が変化するごとに繰り返し実行することになる。もちろん、基準方位を指定する各種の方法を兼ね備えていて、指示取得部１４０を介して操作者が任意の方法を選択できるような構成であってもよい。

＜ステップＳ１０６：１組の取得情報の読み出し＞
図４のステップＳ１０５の処理が終了すると、ステップＳ１０６に進む。
ステップＳ１０６に進むと、画像生成部１５０は、取得情報記録部１３０から、１組の取得情報（１組の断層画像及びその撮影方位の情報）の読み出し処理を行う。この処理は、ステップＳ１０６からステップＳ１１１までの繰り返し処理の度ごとに、取得情報記録部１３０に記録された取得情報の複数組（断層画像とその撮影方位の情報の組）の中からそれぞれを１つの組を順次読み出す。

なお、この読み出し処理は、取得情報記録部１３０で記録した全ての取得情報の組を対象として繰り返し実行してもよい。また、操作者の指示で読み出し対象の取得情報の組を選択できるようにしてもよい。このように、読み出し対象の取得情報の組を選択できるようにすることで、取得情報記録部１３０に記録した取得情報の組の中から三次元画像の生成に不要な取得情報の組を処理対象から予め除くことができ、不要な処理やメモリ容量を削減できる効果がある。

なお、本実施形態では、取得情報記録部１３０で記録した全ての取得情報の組のそれぞれに対して、ステップＳ１０６からステップＳ１１１までの処理を繰り返し行う場合を例として説明する。

＜ステップＳ１０７：角度差の算出＞
図４のステップＳ１０６の処理が終了すると、ステップＳ１０７に進む。
ステップＳ１０７に進むと、画像生成部１５０の処理対象画像判定部１５１は、ステップＳ１０６で読み出した撮影方位の情報と、ステップＳ１０５で取得した基準方位の情報とに基づいて、撮影方位における基準方位との角度差を算出する処理を行う。

処理対象画像判定部１５１は、撮影方位における基準方位との角度差として、例えば、撮影方位に係る（４）式のベクトルｎと基準方位に係る（５）式のベクトルｖとの間の内積ｄを、以下の（６）式の計算によって求め、これを角度差とする。

このとき、（６）式の内積ｄは、−１から＋１までの範囲の実数値を取る可能性があり、ｄ＝１の場合には、基準方位と撮影方位（超音波プローブ２２０の姿勢）が同じ方向を向いていることを意味する。また、ｄ＝−１の場合には、基準方位と撮影方位（超音波プローブ２２０の姿勢）が互いに逆の方向を向いていることを意味する。

なお、上述した説明では、撮影方位に係る（４）式のベクトルｎと基準方位に係る（５）式のベクトルｖとの内積を角度差とする場合を例として説明したが、当該角度差を求める方法はこれに限定されるものではない。例えば、ベクトルｎとベクトルｖとが三次元空間中でなす角度θを算出して、それを角度差としてもよい。この場合の角度差の値は、以下の（７）式に示すように、（６）式で求めた内積ｄのアークコサインにより得られる。

＜ステップＳ１０８：処理対象画像の判断＞
図４のステップＳ１０７の処理が終了すると、ステップＳ１０８に進む。
ステップＳ１０８に進むと、処理対象画像判定部１５１は、ステップＳ１０７で算出した角度差に基づいて、ステップＳ１０６で読み出した断層画像が、三次元画像の生成に用いる処理対象画像となるか否かを判断する。具体的に、本実施形態では、ステップＳ１０７で算出した角度差が、予め設定した閾値ｃよりも大きい場合には処理対象画像となると判断し、それ以外の場合には処理対象画像でないと判断する。

例えば、閾値ｃを０とすれば、ステップＳ１０７で算出した角度差が０よりも大きい断層画像だけが処理対象画像となる。この角度差を（６）式に示す内積で定義した場合には、ステップＳ１０７で取得した基準方位に対して９０度以内の範囲で撮影された断層画像だけが処理対象画像となる。また、閾値ｃを大きくすれば、基準方位に対してより狭い角度範囲から撮影された断層画像に処理対象画像を限定することができる。また、閾値ｃを小さくすれば、より広い角度範囲から撮影された断層画像を処理対象画像にすることができる。これにより、画像処理装置１００に入力された断層画像の中から、基準方位と一定の角度範囲内の断層画像を処理対象画像として選択することができる。

そして、ステップＳ１０８の判断の結果、ステップＳ１０６で読み出した断層画像が処理対象画像とならない場合には、ステップＳ１１１に進む。一方、ステップＳ１０８の判断の結果、ステップＳ１０６で読み出した断層画像が処理対象画像となる場合には、ステップＳ１０９に進む。

＜ステップＳ１０９：座標変換処理＞
ステップＳ１０９に進むと、座標変換部１５２は、三次元画像の生成に用いる処理対象画像と判定された断層画像ついて、その撮影方位の情報に基づいて、生成する三次元画像の画像空間へ座標変換処理を行う。

具体的に、座標変換部１５２は、処理対象画像である断層画像の全画素の画像座標に対して、（３）式の計算を行うことにより座標変換を行って、各画素が射影される三次元画像上の座標値を算出する。そして、座標変換部１５２は、座標変換した結果情報である三次元画像上の座標値とその画素値を、三次元画像保持部１５３へ送信する。

なお、本実施形態では、処理対象画像である断層画像の全画素について座標変換処理を行う場合を例として説明したが、本発明の実施はこれに限定されるものではない。例えば、超音波撮影で得た断層画像以外に撮影パラメータなどの文字情報や、撮影位置を表すシェーマ画像などが断層画像上に重畳されている場合には、その領域ついてマスク処理を施すなどして処理対象から除くことが望ましい。また、三次元画像の生成に用いたくない領域が断層画像中に存在する場合には、その領域にマスク処理を施すことが望ましい。これにより、三次元画像に不必要な情報が混入することを防ぐことができる。

＜ステップＳ１１０：座標変換結果情報の記録＞
図４のステップＳ１０９の処理が終了すると、ステップＳ１１０に進む。
ステップＳ１１０に進むと、三次元画像保持部１５３は、ステップＳ１０９において座標変換部１５２から送信された座標変換した結果情報（三次元画像上の座標値とその画素値の情報）を、内部の三次元画像メモリに反映させて記録する。

例えば、三次元画像保持部１５３は、ステップＳ１０９で座標変換された結果情報が、画素値ａ、三次元画像上での座標値（x，ｙ，ｚ）の情報である場合、三次元画像メモリ
における三次元配列のメモリ座標（x，ｙ，ｚ）の値を画素値ａに書き換える。この処理
を、ステップＳ１０９で座標変換された断層画像の全画素に対して行うことにより、ステップＳ１０６で読み出した断層画像を三次元空間中の撮影領域に従って、三次元画像メモリにおける三次元配列に反映して記録することができる。

なお、本実施形態では複数の断層画像に対して上述した処理を行うため、これらの断層画像間において三次元的に同一の位置で撮影されたものが存在する場合がある。このような場合、上述した処理によれば、最後に座標変換処理された画素値によって生成される三次元画像の画素値が決定されることになるが、本発明の実施はこれに限定されるものではない。例えば、三次元画像メモリの同一のメモリ座標に対して複数回の入力処理が生じた場合に、これらの値を保持しておき、複数の入力値の平均値や最大値などを三次元画像の画素値として保持するように構成することもできる。また、例えば、三次元画像メモリのあるメモリ座標に対して一度も入力処理が行われなかった場合には、そのメモリ座標に近いメモリ座標で既に入力処理が行われていれば、その値を入力処理して補間するようにしてもよい。このとき、既に入力処理が行われた最も近接するメモリ座標の値を用いてもよい。また、ある範囲内で既に入力処理が行われたメモリ座標を複数選択して、これらを入力処理するメモリ座標との距離などに応じて重み付けして入力する値を決めてもよい。また、生成する三次元画像の各画素の画素値を、その画素に最も近い位置で撮影した断層画像上の画素から得るようにしてもよい。上述した方法を用いれば、欠損のない或いは欠損の少ない三次元画像を生成することができる。

また、本実施形態では、取得した断層画像の各画素を座標変換して三次元画像の画素を決定する場合を例として説明したが、本発明の実施はこれに限定されない。例えば、ステップＳ１０９及びステップＳ１１０の処理は、複数の断層画像を統合して三次元画像を生成する何れの方法で代用してもよい。例えば、生成する三次元画像の範囲を予め指定し、その範囲の各画素について、最も近い位置を撮影した断層画像の画素を探すような処理にしてもよい。また、前記指定する領域は、必ずしも三次元的な範囲である必要はなく、例えば三次元空間中の二次元断面を指定してもよい。この方法を用いれば、三次元画像として生成したい断層画像の画素についてだけ処理を行うことができるため、三次元画像を効率良く生成できる効果がある。特に、後工程のステップＳ１１２で生成される表示画像が断層画像であって、かつ、ステップＳ１０５において表示断面に応じて基準方位を設定している場合には、この方法が有効である。

＜ステップＳ１１１：取得情報の読み出し終了の判断＞
図４のステップＳ１１０の処理が終了した場合、或いは、ステップＳ１０８においてステップＳ１０６で読み出した断層画像が処理対象画像とならないと判断された場合には、ステップＳ１１１に進む。
ステップＳ１１１に進むと、画像生成部１５０は、取得情報記録部１３０に記録された全ての取得情報の読み出しが終了したか否かを判断する。

ステップＳ１１１の判断の結果、取得情報記録部１３０に記録された全ての取得情報については読み出しが終了していない場合には、ステップＳ１０６に戻って、ステップＳ１０６以降の処理を再度行う。一方、ステップＳ１１１の判断の結果、取得情報記録部１３０に記録された全ての取得情報の読み出しが終了した場合には、統合処理対象の全ての断層画像を統合した被検体の三次元画像が三次元画像メモリに生成された状態となり、ステップＳ１１２に進む。

＜ステップＳ１１２：表示画像の生成及び出力＞
ステップＳ１１２に進むと、画像表示・出力部１６０は、画像生成部１５０が生成した三次元画像を取得し、指示取得部１４０から操作者の指示を取得して、表示画像の生成を行う。そして、画像表示・出力部１６０は、生成した表示画像をモニタ３０５などに出力する。以上により、図４のフローチャートにおける処理が終了する。

例えば、画像表示・出力部１６０は、指示取得部１４０から三次元空間中の断面に関する操作者の指示を取得した場合、それに基づいて三次元画像の断面画像を表示画像として生成して、これをモニタ３０５などに表示する。なお、画像表示・出力部１６０の処理はこれに限らない。例えば、画像表示・出力部１６０は、三次元空間中の視点位置に関する情報を指示取得部１４０から取得した場合、その視点から三次元画像を観察した場合のボリュームレンダリング画像や、最大値投影画像（ＭＩＰ画像）を表示画像として生成してもよい。また、画像表示・出力部１６０は、上述した以外のいかなる可視化手法で表示画像を生成してもよく、どのような表示画像を生成するかについては操作者が選択できる構成であることが望ましい。

なお、図４に示す例では、統合処理対象の各断層画像の座標変換処理ごとに、その座標変換の結果情報を三次元画像メモリに反映させて三次元画像の生成を行うものであったが、本発明の実施はこれに限定されるものではない。例えば、まず、統合処理対象の全ての断層画像の座標変換処理を行い、その後、一括して全ての座標変換の結果情報を統合して、三次元画像メモリに、統合処理対象の断層画像に基づく被検体の三次元画像を生成して保持（記録）するようにしてもよい。この場合は、ステップＳ１０９の処理後に、ステップＳ１１１の処理を行い、ステップＳ１１１において取得情報記録部１３０に記録された全ての取得情報の読み出しが終了したと判断された際に、ステップＳ１１０の処理を行う形態を採る。

また、以上の処理により生成された三次元画像は、診断支援を行う他のアプリケーションから読み出し可能な形で外部記憶装置３０４に保存してもよく、また、通信インターフェイス３０８を介して外部装置へ出力してもよい。

以上説明したように、第１の実施形態における画像処理装置では、各断層画像における各撮影方位に基づいて複数の断層画像を統合して被検体内部の三次元画像（統合画像）を生成するようにしている。具体的には、断層画像群の中から、操作者が指示した基準方位に近い撮影方位における断層画像を選択してこれを統合し、三次元画像（統合画像）を生成するようにしている。
かかる構成によれば、断層画像が様々な方位から撮影されたものである場合であっても、撮影方位のばらつきのよる画質低下を抑制した、高画質な三次元画像（統合画像）を生成することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第１実施形態では、基準方位を取得する際に、操作者からの指示に基づき取得するものであったが、第２の実施形態では、取得情報（断層画像群とそれらの撮影方位の情報）に基づいて適応的に決定する。

なお、第２の実施形態に係る画像処理システムの概略構成については、図１に示す第１の実施形態に係る画像処理システム１０の概略構成と同様の形態となる。

また、第２の実施形態に係る画像処理装置の機能構成については、基本的には、図２に示す第１の実施形態に係る画像処理装置１００の機能構成と同様である。ただし、第２の実施形態に係る画像処理装置の機能構成では、図２に示す基準方位取得部１４１が指示取得部１４０から独立して設けられている。そして、第２の実施形態では、基準方位取得部１４１が、取得情報記録部１３０からの取得情報を受けて基準方位を算出し、その算出の結果得られた基準方位の情報を画像生成部１５０へ送信する形態を採る。

具体的に、本実施形態の基準方位取得部１４１は、取得情報記録部１３０に記録された断層画像の取得方向（撮影方向）に関する情報をクラスタリング処理することによっていくつかのクラスに分離し、この分離した結果に基づいて基準方位を決定する。なお、ここでのクラスタリングの方法には、いかなる方法を用いてもよいが、ここでは、一般的によく知られたｋ−平均法（ｋ−ｍｅａｓｎ法）を用いる場合を例として説明する。

また、第２の実施形態に係る画像処理装置のハードウェア構成については、図３に示す第１の実施形態に係る画像処理装置１００のハードウェア構成と同様の形態となる。この際、本実施形態の基準方位取得部１４１は、例えば、図３に示すＣＰＵ３０１及び外部記憶装置３０４に記憶されているプログラムから構成される。

また、第２の実施形態に係る画像処理装置の制御方法における処理手順については、図４に示す第１の実施形態に係る画像処理装置１００の制御方法における処理手順のフローチャートと同様である。ただし、第２の実施形態では、図４のステップＳ１０５における基準方位の取得方法が第１の実施形態とは異なっている。

図７は、本発明の第２の実施形態を示し、図４のステップＳ１０５における基準方位の取得方法の詳細な処理手順の一例を示すフローチャートである。なお、図７に示すフローチャートの各ステップの処理は、ＣＰＵ３０１が外部記憶装置３０４（或いはＲＯＭ３０３）に記憶されているプログラムを実行することにより行われる。

＜ステップＳ２０１：撮影方位の読み出し＞
まず、図７のステップＳ２０１において、基準方位取得部１４１は、取得情報記録部１３０に記録された取得情報から、撮影方位の情報（ここでは、超音波プローブ２２０の姿勢に関する情報）を全て読み出す。

ここで読み出した個々の撮影方位の情報は、（４）式に示す超音波ビーム２２２の方向ベクトルｎの形態をとるものとする。また、ここでは読み出された方向ベクトルｎがＭ個の場合を例とし、読み出された方向ベクトルｎを、下記の（８）式に示すようにｎｉと記述するものとする。

なお、ここでは、取得情報記録部１３０に記録した取得情報から、撮影方位の情報（具体的には、超音波プローブ２２０の姿勢に関する情報）の全てを読み出す場合を例として説明したが、本発明の実施はこれに限定されるものではない。例えば、操作者による選択指示を指示取得部１４０が取得し、基準方位取得部１４１は、指示取得部１４０が取得した当該指示に基づいて、取得情報記録部１３０に記録した取得情報の中から処理対象となる情報を選択できるようにしてもよい。この場合には、取得情報記録部１３０に不要な情報が含まれている場合に、操作者は、当該情報を除外して処理を実行させる指示を画像処理装置に与えることができ、不要な処理を省ける効果がある。

＜ステップＳ２０２：ラベル割り当て＞
図７のステップＳ２０１の処理が終了すると、ステップＳ２０２に進む。
ステップＳ２０２に進むと、基準方位取得部１４１は、ステップＳ２０１で読み出した方位ベクトルｎｉのそれぞれに対して、複数のラベルのうちの何れか１つのラベルを適当に割り当てる。このラベル割り当て処理としては、例えば、４種類のラベル（Ａ，Ｂ，Ｃ，Ｄ）を割り当てるものとする。そして、このラベル割り当てに係る情報は、複数の方向ベクトルｎｉと対応付けて記録するものとする。

＜ステップＳ２０３：各ラベル毎の平均方位の算出＞
図７のステップＳ２０２の処理が終了すると、ステップＳ２０３に進む。
ステップＳ２０３に進むと、基準方位取得部１４１は、ステップＳ２０２において各方向ベクトルｎｉに割り当てたラベルを参照し、同一のラベルが割り当てられた方向ベクトル毎に、平均方向ベクトル（平均方位）を算出する。ここでは、ラベルＡに対して算出された平均方向ベクトルをｎａ、ラベルＢに対して算出された平均方向ベクトルをｎｂ、ラベルＣに対して算出された平均方向ベクトルをｎｃ、ラベルＤに対して算出された平均方向ベクトルをｎｄと記述する。

このステップＳ２０３の処理は、後工程であるステップＳ２０５の判断ステップの結果によって、繰り返し処理される場合がある。この場合には、ステップＳ２０４で各方向ベクトルｎｉに割り当てられるラベルに従って、上記の処理を行うことになる。

＜ステップＳ２０４：最近傍ラベルの割り当て＞
図７のステップＳ２０３の処理が終了すると、ステップＳ２０４に進む。
ステップＳ２０４に進むと、基準方位取得部１４１は、方向ベクトルｎｉのそれぞれに対して、ステップＳ２０３で算出した各ラベル毎の平均方向ベクトルとのベクトル間の差異を算出し、最も差異の小さいラベル（最近傍ラベル）を割り当てる処理を行う。この処理は、例えば、各ｎｉに対して、ｎａ、ｎｂ、ｎｃ、ｎｄとの内積をそれぞれ計算し、その値が最も大きくなるラベルを最近傍ラベルとして割り当てるようにするものである。

＜ステップＳ２０５：ラベル変更の有無の判断＞
図７のステップＳ２０４の処理が終了すると、ステップＳ２０５に進む。
ステップＳ２０５に進むと、基準方位取得部１４１は、方向ベクトルｎｉのそれぞれに対して、ステップＳ２０２で割り当てたラベルとステップＳ２０４で割り当てたラベルとを比較し、少なくとも１つ以上のラベルの割り当てに変更があったか否かを判断する。

ステップＳ２０５の判断の結果、少なくとも１つ以上のラベルの割り当てに変更があった場合には、ステップＳ２０３に戻り、ステップＳ２０３以降の処理を再度行う。一方、ステップＳ２０５の判断の結果、ラベルの割り当てに変更がなかった場合には、ステップＳ２０６に進む。

なお、ステップＳ２０３〜ステップＳ２０５の処理は、ステップＳ２０５の判断によって、繰り返して処理が行われる場合がある。この場合、ステップＳ２０５における上述したラベルの比較処理は、直前に行われたステップＳ２０４のラベル割り当てと、１回前の繰り返し処理のときにステップＳ２０４で割り当てられたラベルとの比較を行うこととする。

＜ステップＳ２０６：最多ラベルの選択＞
ステップＳ２０６に進むと、基準方位取得部１４１は、ステップＳ２０４においてそれぞれの方向ベクトルｎｉに割り当てられたラベルを参照し、最も多く割り当てられたラベルを求める。この処理は、各ラベルに対してカウント処理を行い、カウント値が最大となるラベルを選択することで実現できる。またカウント処理をステップＳ２０４の段階で行い、ステップＳ２０６では、その結果を参照して最大値を求めるようにしてもよい。

＜ステップＳ２０８：基準方位の決定＞
図７のステップＳ２０６の処理が終了すると、ステップＳ２０７に進む。
ステップＳ２０７に進むと、基準方位取得部１４１は、ステップＳ２０６で選択された最多ラベルに対応する平均方位をステップＳ２０３の処理結果から取得し、その平均方位を基準方位として決定する。そして、基準方位取得部１４１は、決定した基準方位を画像生成部１５０へ送信する。

以上のステップＳ２０１〜ステップＳ２０７の処理を経ることにより、本実施形態における図４のステップＳ１０５の処理が終了する。

以上説明したように、第２の実施形態における画像処理装置では、超音波プローブ２２０の動きに基づく撮影方位に応じて適応的に基準方位を決定するようにしている。具体的には、断層画像群の中から、同様な撮影方位で撮影されたという条件を満たす最多数の断層画像群を適応的に選択してこれを統合し、三次元画像（統合画像）を生成するようにしている。
かかる構成によれば、第１の実施形態における効果に加えて、操作者による基準方位を設定が不要となるという効果が得られる。言い換えると、断層画像の撮影が様々な方位からなされている場合であっても、撮影方向のばらつきのよる画質低下を抑制した高画質な三次元画像（統合画像）の生成を、超音波プローブの動きに基づく撮影方位に応じて適応的に実行できるという効果がある。

なお、本実施形態では、断層画像（超音波画像）が撮影された撮影方位をｋ−平均法によってクラスタリングし、最も多くのクラスに基づいて基準方位を決定する処理を例として説明したが、本発明の実施はこれに限定されるものではない。例えば、超音波プローブ２２０がとりうる方位に対して立体角で数度刻みに基準方位の候補を設定し、それぞれの基準方位候補について、角度差が閾値以内となる断層画像群の数をカウントする。そして、カウント値が最も大きくなる基準方位候補を、以後の処理の基準方位とするようにしてもよい。これによれば、上述した第２の実施形態における効果に加えて、より簡便な処理で基準方位を取得することができる効果がある。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
第１実施形態では、撮影方向が基準方位から一定範囲内に含まれている断層画像を全て同列に扱うものであった。第３の実施形態に係る画像処理装置では、断層画像の撮影方向と基準方位との角度差が小さい断層画像を優先的に用いて三次元画像を生成する形態である。

なお、第３の実施形態に係る画像処理システムの概略構成については、図１に示す第１の実施形態に係る画像処理システム１０の概略構成と同様の形態となる。また、第３の実施形態に係る画像処理装置の機能構成については、図２に示す第１の実施形態に係る画像処理装置１００の機能構成と同様の形態となる。この際、第３の実施形態の三次元画像保持部１５３には、第１の実施形態で説明した三次元画像メモリに加えて、三次元優先度メモリを備えて構成されている。また、第３の実施形態に係る画像処理装置のハードウェア構成については、図３に示す第１の実施形態に係る画像処理装置１００のハードウェア構成と同様の形態となる。

また、第３の実施形態に係る画像処理装置の制御方法における処理手順については、図４に示す第１の実施形態に係る画像処理装置１００の制御方法における処理手順に対して、ステップＳ１０８〜ステップＳ１１０の処理が異なっている。

図８は、本発明の第３の実施形態に係る画像処理装置の制御方法における処理手順の一例を示すフローチャートである。ここで、図８には、図４におけるステップＳ１０８〜ステップＳ１１０の処理に替える処理が示されている。なお、図８に示すフローチャートの各ステップの処理は、ＣＰＵ３０１が外部記憶装置３０４（或いはＲＯＭ３０３）に記憶されているプログラムを実行することにより行われる。

第３の実施形態に係る画像処理装置の制御方法では、まず、図４に示すステップＳ１０１〜ステップＳ１０７の処理を経る。

＜ステップＳ３０１：優先度の算出＞
図４のステップＳ１０７の処理が終了すると、ステップＳ３０１に進む。
ステップＳ３０１に進むと、画像生成部１５０の処理対象画像判定部１５１は、ステップＳ１０７で算出した断層画像の撮影方位と基準方位との角度差に基づいて、三次元画像の生成に係る優先度を算出する。ここでは、例えば、角度差ｄ（−１〜１の範囲の内積値）を０から１に正規化した値を優先度とする。

なお、優先度の算出処理は、いかなる方法を用いてもよく、例えば、角度差ｄが小さい場合に優先度を大きくなるような、何れの算出方法を用いてもよい。また、これ以外にも、角度差ｄが、ある閾値よりも大きい場合に高い優先度を設定し、それ以外の場合に低い優先度を設定するようにしてもよい。

また、ここで、第１の実施形態における閾値による処理を、優先度による処理と組み合わせて用いてもよい。この場合、角度差ｄが、閾値ｃから０までの場合の内積値を０から１に正規化することにより、優先度を定義すればよい（このとき、角度差ｄが閾値ｃ以上である場合の優先度は０となる）。そして、優先度が０の断層画像に関しては、後工程であるステップＳ３０２〜ステップＳ３０７の処理を実行しないようにしてもよい。この場合、断層画像の優先度を考慮しつつ、画質の劣化を招くような角度差ｄの大きな断層画像の排除が可能となる。

＜ステップＳ３０２：座標変換処理＞
図８のステップＳ３０１の処理が終了すると、ステップＳ３０２に進む。
ステップＳ３０２に進むと、座標変換部１５２は、第１の実施形態における図４のステップＳ１０９と同様の座標変換処理を行う。

ここで、以下に説明するステップＳ３０３〜ステップＳ３０７の処理は、ステップＳ３０２で座標変換された断層画像の各画素毎に繰り返し処理される。

＜ステップＳ３０３：画素値・優先度の読み出し＞
図８のステップＳ３０２の処理が終了すると、ステップＳ３０３に進む。
ステップＳ３０３に進むと、三次元画像保持部１５３は、ステップＳ３０２で座標変換された断層画像中のある１画素に対して、それに対応する三次元画像メモリの画素値及び三次元優先度メモリの優先度の値を読み出す。このステップＳ３０３の読み出し処理は、後工程であるステップＳ３０７の判断の結果、画素値の読み出し終了と判断されるまで繰り返し処理され、その度ごとに、未処理の画素に対する、上述した画素値及び優先度の値の読み出し処理を行う。

＜ステップＳ３０４：優先度の比較判断＞
図８のステップＳ３０３の処理が終了すると、ステップＳ３０４に進む。
ステップＳ３０４に進むと、三次元画像保持部１５３は、ステップＳ３０１で算出された優先度が、ステップＳ３０３で読み出した優先度よりも高い（大きい）か否かを判断する。

ステップＳ３０４の判断の結果、ステップＳ３０１で算出された優先度が、ステップＳ３０３で読み出した優先度よりも高くない（大きくない）場合には、ステップＳ３０７に進む。一方、ステップＳ３０４の判断の結果、ステップＳ３０１で算出された優先度が、ステップＳ３０３で読み出した優先度よりも高い（大きい）場合には、ステップＳ３０５に進む。

＜ステップＳ３０５：座標変換結果情報の記録＞
ステップＳ３０５に進むと、三次元画像保持部１５３は、第１の実施形態における図４のステップＳ１１０と同様に、ステップＳ１０９で座標変換された結果情報（三次元画像上の座標値とその画素値の情報）を、内部の三次元画像メモリに反映させて記録する。

＜ステップＳ３０６：優先度の記録＞
図８のステップＳ３０５の処理が終了すると、ステップＳ３０６に進む。
ステップＳ３０６に進むと、三次元画像保持部１５３は、ステップＳ３０１で算出した優先度を、内部の三次元優先度メモリに反映させて記録する。

＜ステップＳ３０７：画素値の読み出し終了の判断＞
図８のステップＳ３０６の処理が終了すると、ステップＳ３０７に進む。
ステップＳ３０７に進むと、三次元画像保持部１５３は、処理対象の断層画像における全ての画素に対して、画素値の読み出しを終了したか否かを判断する。

ステップＳ３０７の判断の結果、処理対象の断層画像における全ての画素に対しては画素値の読み出しを終了していない場合には、ステップＳ３０３に戻り、ステップＳ３０３以降の処理を再度行う。一方、ステップＳ３０７の判断の結果、処理対象の断層画像における全ての画素に対して画素値の読み出しを終了した場合には、図４のステップＳ１１１に移行する。その後、図４のステップＳ１１１及びステップＳ１１２の処理を経て、第３の実施形態に係る画像処理装置の制御方法における処理手順が終了する。

なお、優先度の高い断層画像の画素を優先する方法であれば、上記の手順以外の処理によって三次元画像を生成してもよい。例えば、全ての断層画像について予め優先度を算出して、優先度の低い順に断層画像をソートした後に、第１の実施形態と同様の方法で三次元画像の生成を行ってもよい。この方法では、優先度の高い画像ほど後から処理されるので、優先度の低い断層画像から得た画素値が優先度の高い断層画像から得た画素値で上書きされる。その結果、優先度を保持する三次元優先度メモリを用いることなく、同様の効果を得ることができる。

以上説明したように、第３の実施形態における画像処理装置では、断層画像群の中から、操作者が指定した方位に近い断層画像の画素値を優先的に使用して、三次元画像（統合画像）を生成するようにしている。
かかる構成によれば、断層画像が様々な方位から撮影されたものである場合であっても、撮影方位のばらつきのよる画質低下を抑制した、高画質な三次元画像（統合画像）を生成することができる。また、第１実施形態と比べて、閾値が不要であるという点において、設定の煩雑さを回避できる。また、閾値を設ける場合であっても、指定した方位により近い断層画像が優先されるので、より均質な統合画像が得られることが期待できる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
上述した第１〜第３の実施形態では、１つの基準方位を取得して１つの三次元画像を生成するものであったが、第４の実施形態では、複数の基準方位を取得して、それぞれの基準方位に対応する複数の三次元画像を生成する形態である。

なお、第４の実施形態に係る画像処理システムの概略構成については、図１に示す第１の実施形態に係る画像処理システム１０の概略構成と同様の形態となる。

また、第４の実施形態に係る画像処理装置の機能構成については、図２に示す第１の実施形態に係る画像処理装置１００の機能構成と同様の形態となる。この際、第３の実施形態では、基準方位取得部１４１は、複数の基準方位を取得し、これに伴って、画像生成部１５０は、当該複数の基準方位のそれぞれに対して三次元画像を生成する。そのため、三次元画像保持部１５３は、複数の基準方位のそれぞれ対応する、複数の三次元画像メモリを備えている。さらに、画像表示・出力部１６０は、指示取得部１４０で取得する操作者の指示に従って、複数の三次元画像から選択した三次元画像を表示対象として表示画像の生成及び出力を行う。

また、第３の実施形態に係る画像処理装置のハードウェア構成については、図３に示す第１の実施形態に係る画像処理装置１００のハードウェア構成と同様の形態となる。

次に、本実施形態に係る画像処理装置の制御方法の処理手順について説明する。
図９は、本発明の第４の実施形態に係る画像処理装置の制御方法における処理手順の一例を示すフローチャートである。なお、図９に示すフローチャートの各ステップの処理は、ＣＰＵ３０１が外部記憶装置３０４（或いはＲＯＭ３０３）に記憶されているプログラムを実行することにより行われる。

＜ステップＳ４０１：断層画像の取得＞
まず、図９のステップＳ４０１において、断層画像取得部１１０は、超音波画像撮影装置２００により撮影された被検体内部の断層画像を超音波画像撮影装置２００から取得する。このステップＳ４０１の処理の詳細は、図４のステップＳ１０１の処理と同様である。

＜ステップＳ４０２：撮影方位の取得＞
図９のステップＳ４０１の処理が終了すると、ステップＳ４０２に進む。
ステップＳ４０２に進むと、撮影方位取得部１２０は、ステップＳ４０１で取得された断層画像が撮影された際の撮影方位の情報（撮影方位に関する計測値）を取得する。このステップＳ４０２の処理の詳細は、図４のステップＳ１０２の処理と同様である。

＜ステップＳ４０３：取得情報の記録＞
図９のステップＳ４０２の処理が終了すると、ステップＳ４０３に進む。
ステップＳ４０３に進むと、取得情報記録部１３０は、ステップＳ４０１で取得された断層画像と、ステップＳ４０２で取得された撮影方位に関する計測値（当該断層画像を撮影した際の超音波プローブの位置及び姿勢に関する計測値）とを対応付けて記録する。このステップＳ４０３の処理の詳細は、図４のステップＳ１０３の処理と同様である。

＜ステップＳ４０４：撮影終了の判断＞
図９のステップＳ４０３の処理が終了すると、ステップＳ４０４に進む。
ステップＳ４０４に進むと、取得情報記録部１３０は、指示取得部１４０が得た操作者の指示情報に基づいて、被検体内部の断層画像の撮影を終了するか否かを判断する。このステップＳ４０４の処理の詳細は、図４のステップＳ１０４の処理と同様である。

ステップＳ４０４の判断の結果、被検体内部の断層画像の撮影を終了しない場合には、ステップＳ４０１に戻り、ステップＳ４０１以降の処理を再度行う。一方、ステップＳ４０４の判断の結果、被検体内部の断層画像の撮影を終了する場合には、ステップＳ４０５に進む。

＜ステップＳ４０５：基準方位の取得＞
ステップＳ４０５に進むと、画像生成部１５０は、三次元画像の生成を行う際のパラメータであり、予め定めた数（複数）の基準方位の情報を、基準方位取得部１４１から取得する。なお、取得する基準方位の数を予め設定せずに、その数を操作者が指示する構成であってもよい。

ここで、基準方位の取得方法は、第１の実施形態のように操作者が設定する方法であってもよいし、第２の実施形態のように取得情報記録部１３０が保持する取得情報から適応的に算出する方法であってもよい。なお、取得情報記録部１３０が保持する取得情報から基準方位を算出する場合には、第２の実施形態における処理とは異なり、各クラスの平均方位を算出して、これを複数の基準方位として設定すればよい。

＜ステップＳ４０６：１組の取得情報の読み出し＞
図９のステップＳ４０５の処理が終了すると、ステップＳ４０６に進む。
ステップＳ４０６に進むと、画像生成部１５０は、取得情報記録部１３０から、１組の取得情報（１組の断層画像及びその撮影方位の情報）の読み出し処理を行う。このステップＳ４０５の処理の詳細は、図４のステップＳ１０５の処理と同様である。

なお、この処理は、ステップＳ４０６からステップＳ４１３までの繰り返し処理の度ごとに、取得情報記録部１３０に記録された取得情報の複数組（断層画像とその撮影方位の情報の組）の中からそれぞれを１つの組を順次読み出す。

＜ステップＳ４０７：基準方位の設定＞
図９のステップＳ４０６の処理が終了すると、ステップＳ４０７に進む。
ステップＳ４０７に進むと、画像生成部１５０は、ステップＳ４０５で取得した複数の基準方位の中から１つの基準方位を設定する。この後工程であるステップＳ４０８〜ステップＳ４１２の処理では、このステップＳ４０７で設定した未処理の基準方位を対象として処理を実行する。

＜ステップＳ４０８：角度差の算出＞
図９のステップＳ４０７の処理が終了すると、ステップＳ４０８に進む。
ステップＳ４０８に進むと、画像生成部１５０の処理対象画像判定部１５１は、ステップＳ４０６で読み出した撮影方位の情報と、ステップＳ４０７で設定した基準方位の情報とに基づいて、撮影方位における基準方位との角度差を算出する処理を行う。このステップＳ４０８の処理の詳細は、図４のステップＳ１０７の処理と同様である。

＜ステップＳ４０９：処理対象画像の判断＞
図９のステップＳ４０８の処理が終了すると、ステップＳ４０９に進む。
ステップＳ４０９に進むと、処理対象画像判定部１５１は、ステップＳ４０８で算出した角度差に基づいて、ステップＳ４０６で読み出した断層画像が、三次元画像の生成に用いる処理対象画像となるか否かを判断する。このステップＳ４０９の処理の詳細は、図４のステップＳ１０８の処理と同様である。

そして、ステップＳ４０９の判断の結果、ステップＳ４０６で読み出した断層画像が処理対象画像とならない場合には、ステップＳ４１２に進む。一方、ステップＳ４０９の判断の結果、ステップＳ４０６で読み出した断層画像が処理対象画像となる場合には、ステップＳ４１０に進む。

＜ステップＳ４１０：座標変換処理＞
ステップＳ４１０に進むと、座標変換部１５２は、三次元画像の生成に用いる処理対象画像と判定された断層画像ついて、その撮影方位の情報に基づいて、生成する三次元画像の画像空間へ座標変換処理を行う。このステップＳ４１０の処理の詳細は、図４のステップＳ１０９の処理と同様である。

＜ステップＳ４１１：座標変換結果情報の記録＞
図９のステップＳ４１０の処理が終了すると、ステップＳ４１１に進む。
ステップＳ４１１に進むと、三次元画像保持部１５３は、ステップＳ４１０において座標変換部１５２から送信された座標変換した結果情報（三次元画像上の座標値とその画素値の情報）を、内部の対応する三次元画像メモリに反映させて記録する。ここで、本実施形態では、それぞれの基準方位を用いて生成する三次元画像が、それぞれ別の三次元画像メモリに記録されることから、それぞれの基準方位の処理ごとに、座標変換結果情報が対応する三次元画像メモリに反映されて記録される。

＜ステップＳ４１２：全ての基準方位の処理終了の判断＞
図９のステップＳ４１１の処理が終了した場合、或いは、ステップＳ４０９においてステップＳ４０６で読み出した断層画像が処理対象画像とならないと判断された場合には、ステップＳ４１２に進む。
ステップＳ４１２に進むと、画像生成部１５０は、ステップＳ４０５で取得した全ての基準方位の処理が終了したか否かを判断する。

ステップＳ４１２の判断の結果、ステップＳ４０５で取得した全ての基準方位については処理が終了していない場合には、ステップＳ４０７に戻って、ステップＳ４０７以降の処理を再度行う。一方、ステップＳ４１２の判断の結果、ステップＳ４０５で取得した全ての基準方位について処理が終了した場合には、ステップＳ４１３に進む。

＜ステップＳ４１３：取得情報の読み出し終了の判断＞
ステップＳ４１３に進むと、画像生成部１５０は、取得情報記録部１３０に記録された全ての取得情報の読み出しが終了したか否かを判断する。このステップＳ４１４の処理の詳細は、図４のステップＳ４１１の処理と同様である。

ステップＳ４１３の判断の結果、取得情報記録部１３０に記録された全ての取得情報については読み出しが終了していない場合には、ステップＳ４０６に戻って、ステップＳ４０６以降の処理を再度行う。一方、ステップＳ４１３の判断の結果、取得情報記録部１３０に記録された全ての取得情報の読み出しが終了した場合には、ステップＳ４１４に進む。

＜ステップＳ４１４：表示画像の生成及び出力＞
ステップＳ４１４に進むと、画像表示・出力部１６０は、まず、画像生成部１５０が生成した複数の三次元画像を取得する。そして、画像表示・出力部１６０は、表示対象とする三次元画像の選択及びその表示方法などの操作者の指示を指示取得部１４０から取得して、表示画像の生成及びその表示等の出力を行う。以上により、図９のフローチャートにおける処理が終了する。

ここで、表示対象とする三次元画像の選択に関する操作者の指示の取得は、例えば複数の三次元画像のそれぞれに対して表示画像の生成処理を行い、それを並べて表示するなどして、その画像の中から操作者が希望する画像を選択できるようにしてもよい。これにより操作者は、表示させたい三次元画像を、実際にその画像を観察しながら選択することができる。なお、画像生成方法に関する操作者の指示の取得や、取得した指示に基づく画像の生成処理は、第１の実施形態と同一であるので、その説明は省略する。

なお、表示したい断面画像に関する操作者の指示（仮想的なプローブの位置と姿勢）を指示取得部１４０から取得し、それに基づいて三次元画像の断面画像を表示画像として生成して表示する場合には、表示する三次元画像を動的に切り替えてもよい。即ち、指定した断面を表す仮想プローブの方位と最も近い基準方位によって生成した三次元画像を選択し、それを用いて断面画像を生成してもよい。

第４の実施形態によれば、第１の実施形態の効果に加えて、複数の方位のそれぞれを基準として生成された複数の三次元画像（統合画像）の中から、希望する三次元画像を選択できる仕組みを提供することができる。

−変形例１−
上述した第４の実施形態の説明では、取得した複数のそれぞれの基準方位に関して、断層画像の撮影方向がその基準方位に十分に近い場合に、その断層画像を選択して三次元画像を生成する形態について説明したが、本発明の実施はこれに限らない。

例えば、撮影した複数の断層画像のそれぞれに対し、その撮影方位に最も近い基準方位を選択し、座標変換した断層画像をその基準方位に対応する三次元画像に記録するように構成することもできる。この場合、図９のステップＳ４０７及びステップＳ４１２の処理は行わない。そして、図９のステップＳ４０９では、前記の判断処理を行うのではなく、ステップＳ４０５で取得した複数の基準方位の中から断層画像の撮影方向に最も近いものを選択する処理を行う。なお、これら以外の処理は、第４の実施形態と同様の処理を行う。

これにより、撮影された断層画像は少なくとも１つ以上の三次元画像に記録されることになり、撮影された断層画像を有効に利用できる効果がある。また、第４の実施形態におけるステップＳ４０９の処理で使われる角度差の閾値ｃを設定する必要がないため、当該設定の手間を省くことができる効果がある。

−変形例２−
上述した第４の実施形態の説明では、図９のステップＳ４０５において操作者の指示に基づいて複数の基準方位を取得する場合を例に説明したが、本発明の実施はこれに限らない。例えば、断層画像の撮影方位としてとりうる方位を等間隔などに分割し、分割したそれぞれの方位を基準方位としてステップＳ４０５において取得するようにしてもよい。

これにより、操作者は、基準方位の設定を行う必要が無く、操作を簡便にできる効果がある。

（本発明の他の実施形態）
前述した本発明の各実施形態に係る画像処理装置の制御方法を示す図４、図７〜図９の各ステップは、コンピュータのＣＰＵ（３０１）が記憶媒体（３０３或いは３０４等）に記憶されているプログラムを実行することによって実現できる。このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した各実施形態の機能を実現するソフトウェアのプログラム（実施形態では図４、図７〜図９に示すフローチャートに対応したプログラム）を、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した各実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した各実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した各実施形態の機能が実現される。

なお、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：画像処理装置、１１０：断層画像取得部、１２０：撮影方位取得部、１３０：取得情報記録部、１４０：指示取得部、１４１：基準方位取得部、１５０：画像生成部、１５１：処理対象画像判定部、１５２：座標変換部、１５３：三次元画像保持部、１６０：画像表示・出力部、２００：超音波画像撮影装置、３００：位置姿勢計測装置

Claims

被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置であって、
前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得手段と、
前記撮影方位取得手段において前記各断層画像ごとに取得した各撮影方位に基づいて、前記複数の断層画像の中で互いの撮影方位の差が所定の角度範囲内の断層画像を統合する処理を行って統合画像を生成する画像生成手段と
を有することを特徴とする画像処理装置。
前記統合画像を生成の際の基準となる少なくとも１つの基準方位を取得する基準方位取得手段を更に有し、
前記画像生成手段は、前記基準方位と前記各撮影方位との関係に応じて、前記統合画像を生成することを特徴とする請求項１に記載の画像処理装置。
前記画像生成手段は、前記基準方位と前記各撮影方位との角度差に応じて、前記統合画像を生成することを特徴とする請求項２に記載の画像処理装置。
前記画像生成手段は、前記角度差と予め設定された閾値との比較の結果に応じて、前記統合画像を生成することを特徴とする請求項３に記載の画像処理装置。
被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置であって、
前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得手段と、
前記撮影方位取得手段において前記各断層画像ごとに取得した各撮影方位に基づいて、前記複数の断層画像を統合する処理を行って統合画像を生成する画像生成手段と
を有し、
前記画像生成手段は、少なくとも１つの基準方位と前記各撮影方位との関係に応じて前記統合画像を生成の際の優先度を算出し、当該優先度に基づいて前記統合画像を生成することを特徴とする画像処理装置。
前記基準方位取得手段は、前記撮影方位取得手段において前記各断層画像ごとに取得した各撮影方位に基づき前記基準方位を算出して取得することを特徴とする請求項２に記載の画像処理装置。
被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置であって、
前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得手段と、
前記撮影方位取得手段において前記各断層画像ごとに取得した各撮影方位をクラスタリング処理して少なくとも１つの基準方位を算出して取得する基準方位取得手段と、
前記基準方位と前記各撮影方位との関係に応じて、前記複数の断層画像を統合する処理を行って統合画像を生成する画像生成手段と
を有することを特徴とする画像処理装置。
被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置であって、
前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得手段と、
前記撮影方位取得手段において前記各断層画像ごとに取得した各撮影方位をクラスタリング処理して前記各撮影方位を複数のクラスに分け、最も多くの撮影方位が分けられたクラスにおける当該撮影方位に基づいて、少なくとも１つの基準方位を算出して取得する基準方位取得手段と、
前記基準方位と前記各撮影方位との関係に応じて、前記複数の断層画像を統合する処理を行って統合画像を生成する画像生成手段と
を有することを特徴とする画像処理装置。
表示する表示画像に係る指示を取得する指示取得手段と、
前記指示取得手段が取得した指示に基づいて、前記統合画像から前記表示画像を生成し、当該表示画像の表示を行う画像表示手段と
を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置であって、
前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得手段と、
表示する表示画像に係る指示を取得する指示取得手段と、
前記表示画像として前記指示取得手段が断面画像に関する指示を取得した場合、当該指示に基づいて少なくとも１つの基準方位を取得する基準方位取得手段と、
前記基準方位と前記撮影方位取得手段において前記各断層画像ごとに取得した各撮影方位との関係に応じて、前記複数の断層画像を統合する処理を行って統合画像を生成する画像生成手段と、
前記統合画像から前記表示画像を生成して表示を行う画像処理手段と
を有することを特徴とする画像処理装置。
前記複数の断層画像を取得する断層画像取得手段を更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記断層画像取得手段は、前記断層画像として前記被検体内部の超音波画像を取得することを特徴とする請求項１１に記載の画像処理装置。
被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置の制御方法であって、
前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得ステップと、
前記撮影方位取得ステップにおいて前記各断層画像ごとに取得した各撮影方位に基づいて、前記複数の断層画像の中で互いの撮影方位の差が所定の角度範囲内の断層画像を統合する処理を行って統合画像を生成する画像生成ステップと
を有することを特徴とする画像処理装置の制御方法。
被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置の制御方法であって、
前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得ステップと、
前記撮影方位取得ステップにおいて前記各断層画像ごとに取得した各撮影方位に基づいて、前記複数の断層画像を統合する処理を行って統合画像を生成する画像生成ステップと
を有し、
前記画像生成ステップは、少なくとも１つの基準方位と前記各撮影方位との関係に応じて前記統合画像を生成の際の優先度を算出し、当該優先度に基づいて前記統合画像を生成することを特徴とする画像処理装置の制御方法。
被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置の制御方法であって、
前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得ステップと、
前記撮影方位取得ステップにおいて前記各断層画像ごとに取得した各撮影方位をクラスタリング処理して少なくとも１つの基準方位を算出して取得する基準方位取得ステップと、
前記基準方位と前記各撮影方位との関係に応じて、前記複数の断層画像を統合する処理を行って統合画像を生成する画像生成ステップと
を有することを特徴とする画像処理装置の制御方法。
被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置の制御方法であって、
前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得ステップと、
前記撮影方位取得ステップにおいて前記各断層画像ごとに取得した各撮影方位をクラスタリング処理して前記各撮影方位を複数のクラスに分け、最も多くの撮影方位が分けられたクラスにおける当該撮影方位に基づいて、少なくとも１つの基準方位を算出して取得する基準方位取得ステップと、
前記基準方位と前記各撮影方位との関係に応じて、前記複数の断層画像を統合する処理を行って統合画像を生成する画像生成ステップと
を有することを特徴とする画像処理装置の制御方法。
被検体内部を撮影して得られた複数の断層画像を処理する画像処理装置の制御方法であって、
前記複数の断層画像における各断層画像について、当該断層画像を撮影した際の撮影方位を取得する撮影方位取得ステップと、
表示する表示画像に係る指示を取得する指示取得ステップと、
前記表示画像として前記指示取得ステップが断面画像に関する指示を取得した場合、当該指示に基づいて少なくとも１つの基準方位を取得する基準方位取得ステップと、
前記基準方位と前記撮影方位取得ステップにおいて前記各断層画像ごとに取得した各撮影方位との関係に応じて、前記複数の断層画像を統合する処理を行って統合画像を生成する画像生成ステップと、
前記統合画像から前記表示画像を生成して表示を行う画像処理ステップと
を有することを特徴とする画像処理装置の制御方法。
請求項１３乃至１７のいずれか１項に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
請求項１８に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。