JP6509025B2 - 画像処理装置、及びその方法 - Google Patents

Description

本発明はＸ線透視撮影等の医用画像撮影装置に係り、特にその画像処理技術に関する。

体内プローブなどのデバイスを用いた手技を補助するための機器においては、デバイスの位置を補正するため、特許文献１に記載の技術がある。この公報には、「体内プローブ追跡システムにおける患者の動きの補正に関する。体のＸ線透視画像が受信される。Ｘ線透視画像において体の硬組織を特定することと、Ｘ線透視画像における体の動きが第２座標系において測定される。第１座標系における体内プローブの受信した位置が、第２座標系で特定された動きを用いて補正される。」という記載がある。

特開２０１４−１００５６７号公報

Ａ Ｔｕｔｏｒｉａｌ ｏｎ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ ｆｏｒ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ」，Ｊｏｕｒｎａｌ ｏｆ Ｄａｔａ Ｍｉｎｉｎｇ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ，Ｖｏｌ．２，Ｉｓｓｕｅ ２，１９９８

上記の通り、特許文献１においては、Ｘ線透視撮影の際、被検体の動きを検出し、検出した動きを使用して、体内プローブの受信した位置を補正している。しかしながら、特許文献１においては、被検体内の体内プローブの画像を出力して表示する場合が考慮されていない。そのため、体内プローブなどのデバイスの空間的な座標が補正されるという効果に留まる。そのため、術者によるデバイスの操作性の向上に結び付けることができなかった。

本発明の目的は、上記の課題を解決し、デバイスの動きが見やすくなるように画像の動きを補正することにより、術者のデバイス操作性の向上を図ることが可能な画像処理装置、及び方法を提供することにある。

上記の目的を達成するため、本発明においては、画像処理装置であって，デバイスを含む被検体の取得画像データが入力される画像処理部と、画像処理部で補正された補正画像データが入力される表示出力部とを備え、画像処理部は、取得画像データからデバイスの動き情報と、被検体の各部の動き情報とを取得し、取得したデバイスの動き情報と被検体の各部の動き情報とを用いて，被検体の各部の動き情報から、デバイスの動き情報に影響を与える動き情報を抽出し、抽出されたデバイスの動き情報に影響を与える動き情報を用いて、取得画像データの補正を行い、補正画像データを出力する構成の画像処理装置を提供する。

また、上記の目的を達成するため、本発明においては、画像処理装置であって，デバイスを含む人体の取得画像データが入力される画像処理部と、画像処理部で補正された補正画像データが入力される表示出力部とを備え、画像処理部は、取得画像データから、デバイスの情報を取得するデバイス情報取得部と，取得画像データから、人体各部の情報を取得する人体各部の情報取得部と，取得画像データから、人体の病変の情報を取得する病変情報取得部と，デバイスの動き情報と人体各部の動き情報とを用いて，人体各部の動き情報の中からデバイスの動き情報に影響を与える動き情報を抽出するデバイス関連動き情報抽出部と，人体各部の動き情報の中から病変の動き情報に影響を与える動き情報を抽出する病変関連動き情報抽出部と，デバイスの動きに影響を与える動き情報と、病変の動き情報に影響を与える動き情報を用いて、取得画像データに対して補正処理を行う補正処理部とを含む構成の画像処理装置を提供する。

更に、上記の目的を達成するため、本発明においては、画像処理装置における画像処理方法であって，画像処理装置は、デバイスを含む被検体の取得画像データからデバイスの動き情報と、被検体の各部の動き情報とを取得し、取得したデバイスの動き情報と被検体の各部の動き情報とを用いて，被検体の各部の動き情報から、デバイスの動き情報に影響を与える動き情報を抽出し、抽出されたデバイスの動き情報に影響を与える動き情報を用いて、取得画像データの補正を行い、補正画像データを出力する構成の画像処理方法を提供する。

本発明によれば、術者が意図するデバイスの動きを残しつつ、画像の動きが補正されることにより、デバイスの操作性向上をはかることができる。

実施例１に係る、画像処理部の一構成を示すブロック図である。 実施例１に係る、Ｘ線透視撮影装置の一構成を示すブロック図である。 実施例１に係る、被検体各部の情報の一例を示す概念図である。 実施例２に係る、画像処理部の一構成を示すブロック図である。

以下、種々の実施例を図面に従い、順次説明する。なお、本明細書において、デバイスとは、被検体に外部から導入される内視鏡、カテーテル、鉗子などの総称である。

実施例１は、画像処理装置であって，デバイスを含む被検体の画像を取得する画像取得部からの取得画像データが入力される画像処理部と、画像処理部で補正された画像データが入力される表示出力部とを備え、画像処理部は、取得画像データからデバイスの動き情報と、被検体の各部の動き情報とを取得し、取得したデバイスの動き情報と被検体の各部の動き情報とを用いて，被検体の各部の動き情報から、デバイスの動き情報に影響を与える動き情報を抽出し、抽出されたデバイスの動き情報に影響を与える動き情報を用いて、取得画像データの補正処理を行い、補正された画像データを出力する構成の画像処理装置、及び画像処理方法の実施例である。
図１、図２は、それぞれ実施例１に係る画像処理部、Ｘ線透視撮像装置の一構成を示すブロック図である。
図２に示すように、本実施例に係るＸ線透視撮影装置１は、Ｘ線を発生して照射するＸ線管２と、Ｘ線管２と電気的に接続される高電圧発生部４と、高電圧発生部４と電気的に接続されるＸ線制御部３と、Ｘ線管２のＸ線照射方向に配置される絞り５、Ｘ線保補償フィルタ６及びテーブル８と、Ｘ線補償フィルタ６及び絞り５と電気的に接続される絞り・フィルタ制御部７と、絞り５及びＸ線補償フィルタ６、及び寝台であるテーブル８を介在してＸ線管２と対向配置される画像取得部９、を有する。ここで、Ｘ線管２、絞り５、Ｘ線補償フィルタ６、テーブル８、及び画像取得部９は、Ｘ線透視撮影装置１の撮影部を構成する。

更に、画像取得部９と電気的に接続される画像処理部１０と、画像処理部１０と電気的に接続される表示出力部１１と、テーブル８及び画像取得部９と電気的に接続される撮影機構移動部として機能する機構制御部１２と、Ｘ線制御部３、高電圧発生部４、絞り・フィルタ制御部７、画像取得部９、画像処理部１０および機構制御部１２と電気的に接続され、各々の処理や制御を指示する中央処理部１３と、中央処理部と電気的に接続されるユーザ・インタフェース部１５、を有する。

高電圧発生部４はＸ線管２に与える高電圧を発生させる。Ｘ線管２は被検体１４に向けてＸ線を照射する。Ｘ線制御部３は高電圧発生部４を制御し、Ｘ線管２から照射されるＸ線の線質を制御する。絞り５はＸ線管２で発生したＸ線が照射される領域を、Ｘ線吸収率の高い金属の移動によって制御する。Ｘ線補償フィルタ６は、Ｘ線吸収率の高い物質で構成され、被検体のＸ線吸収率の低い部位に到達するＸ線を減衰させることで、ハレーションを軽減する。テーブル８は人体などの被検体１４を乗せる寝台である。

画像取得部９は、Ｘ線管２から照射され被検体を透過したＸ線の強度分布に応じた画像データを出力する。画像取得部９は一般にＸ線平面型検出器により構成され、Ｘ線検出素材とＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）アレイを組み合わせた機構により、Ｘ線によってＸ線検出素材内に発生した電荷をＴＦＴのスイッチング走査により読み出し、ディジタル信号として画像データを出力する。画像取得部９は、この画像データを静止画として生成することも、また、時間的に異なるタイミングで撮像した複数の画像データを生成し、動画像として生成することも可能である。後者の場合、画像データは、一般には毎秒３０フレームや毎秒１５フレームなど一定の時間間隔で撮像される。

本実施例における画像処理部１０は、画像取得部９から出力された画像データの補正処理を行う。この画像処理部１０は、中央処理部１３の指示・制御に基づき、後で詳述する補正処理を実行する。画像処理部１０は、好適にはデジタルシグナルプロセッサ（ＤＳＰ）で構成できるが、あるいは中央処理部１３自身がプログラム処理することでこの補正処理を実現しても良い。表示出力部１１は、補正処理後のＸ線撮像画像データを表示する。機構制御部１２は、撮影機構移動部として機能し、テーブル８及びＸ線平面検出器９を移動して被検体１４の撮影に適した位置へ移動するよう制御する。

中央処理部１３は、上述した電気的に接続される構成要素を制御するコンピュータである。ユーザ・インタフェース部１５は中央処理部１３からの指示に従いユーザに情報を提示し、あるいはユーザから情報を受け付け電気信号として中央処理部１２へ出力する。ユーザ・インタフェース部１５は押しボタン、キーボード、マウス、タッチパネル、ディスプレイなどにより構成される。本実施例では、ユーザ・インタフェース部１５における表示装置（ディスプレイ）と、画像データを出力する表示出力部１１とを独立させているが、表示領域を分割したり情報表示を時間的に遷移させたりすることで、物理的に共通化することは可能である。

次に、図１に示した本実施例の画像処理部１０の補正処理機能を説明する。画像処理部１０は、画像取得部９から出力された画像データ１１１から、内視鏡、カテーテル、鉗子などのデバイスの位置と動き情報を検出してデバイス情報１１２として出力するデバイス情報取得部１０２と、画像取得部９から出力された画像データ１１１から人体各部の情報を検出して人体各部の情報１１３を出力する人体各部の動き情報取得部１０３と、デバイス情報取得部１０２から出力されたデバイス情報１１２と人体各部の情報取得部１０３から出力された人体各部の情報１１３を入力とし、人体各部の情報１１３の中からデバイス情報１１２と関連する動き情報を抽出し、デバイスの動き情報に影響を与える動き情報１１４として出力するデバイス関連動き情報取得部１０４と、デバイス関連動き情報取得部１０４から出力されたデバイスの動き情報に影響を与える動き情報１１４と、画像取得部９から出力された画像データ１１１を入力とし、デバイスの動き情報に影響を与える動き情報１１４にもとづいて画像データ１１１を補正し、補正画像データ１１５を出力する補正処理部１０５を含む。

次いで画像処理部１０を構成する各ブロックの機能動作の詳細を順次説明する。デバイス情報取得部１０２は、まず、入力された画像データ１１１からデバイスの位置を特定し、次いでデバイスの位置の時間変化から動きを推定し、デバイスの位置と動きをデバイス情報１１２として出力する。デバイスの位置を特定する手法としては機械学習による手法を用いるが、これに限ったものではない。以下、機械学習による手法を説明する。内視鏡などのデバイスは、一般にＸ線の透過を遮る素材で構成されているため、画像データ上で人体の各部と比較すると特徴的な輝度を有することが多い。また、明らかに人体各部とは異なる形状を有していることも多い。このようなデバイスに固有の特徴を機械学習により識別することで、画像データ中からデバイスの位置を特定することができる。

テバイス情報取得部１０２は、画像をある領域（パッチ画像）ごとに分割し、そのパッチ画像にデバイスが含まれるか否かを機械学習により判別することで、デバイスの位置を特定する。一般に、機械学習は認識したい物体を学習する学習フェーズと、実際に入力された画像が意図するものか判別する予測フェーズがある。学習フェーズの処理はＸ線透視撮影装置１の画像処理部１０によって実施しても、図中に記載しないオフライン処理、例えば、Ｘ線透視撮影装置とは独立したパーソナルコンピュータ（ＰＣ）上であらかじめ実施し、学習結果をＤＳＰなどの画像処理部１０の中の図示しないメモリに格納するように構成しても良い。また、予測フェーズはＸ線透視撮影装置１の画像処理部１０によって実施するように構成すると良い。

デバイス情報取得部１０２は、学習フェーズでは、大量のサンプル画像をパッチ画像に分割し、それぞれのパッチ画像に対して目視などの方法でデバイスが画像に含まれているか否かをラベル付け（例えば、有：１，無：−１）した後、識別器がパッチ画像とラベルの関係を学習する。一方、予測フェーズでは入力された画像データ１１１をパッチ画像に分割し識別器に入力することで、パッチ画像にデバイスが含まれるか否かがラベルに基づいて出力される。

次いで各フェーズの動作の詳細について説明する。まず、学習フェーズの動作について説明する。学習フェーズでは最初に画像から特徴を抽出する。特徴はＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）と輝度ヒストグラムの組み合わせなどを用いることが考えられるが、これに限ったものではない、以下、ＨＯＧと輝度ヒストグラムの算出方法を順に説明し、最後にその組み合わせ方法について説明する。

ＨＯＧは画像の勾配強度と勾配方向をもとにした特徴量である。ＨＯＧの算出方法を順に説明する。まず、ある画像を小さな（水平方向５画素、垂直方向５画素程度）のブロックに区切りブロックごとに勾配強度と勾配方向を求める。画像データをI、画像データ上の座標をｕ、ｖとしたとき、式（１）に基づき、勾配強度ｍと勾配方向θは、それぞれ式（２）、式（３）によって算出する。

さらに、適当な角度ごとに勾配方向を量子化して、勾配強度をそれぞれのビン値に加算した勾配方向ヒストグラムを生成する。例えは２０度単位で量子化した場合は、ヒストグラムのビン数は９であるから、勾配方向ヒストグラムは９次元の特徴ベクトルとなる。

算出した勾配方向ヒストグラムを隣接ブロック（水平方向３ブロック、垂直方向３ブロック）間で連結し８１次元の特徴ベクトルを生成し、ビン値を正規化する。この操作を画像全体に対して適用しつつ得られた特徴ベクトルを連結することで、最終的に数百から数千次元程度のＨＯＧ特徴ベクトルを得る。

輝度ヒストグラムは画像の輝度をもとにした特徴量である。ある画像の画素値を適当な単位で量子化し、量子化した値で輝度ヒストグラムを生成する。その後、輝度ヒストグラムのビン値を正規化する。例えば、画像のビット深度が２５６段階で１６単位ごとに量子化した場合、ヒストグラムのビン数は１６であるから、輝度ヒストグラムは１６次元の特徴ベクトルとなる。上記の手法で算出したＨＯＧと輝度ヒストグラムを連結して最終的な特徴ベクトルとする。

次にこの特徴ベクトルによって識別器で学習を行う手法を説明する。ここでは、前記の特徴ベクトルとラベルの組み合わせを多数用意して訓練サンプルとし、識別器を用いて学習するものとする。識別器にはＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いるが、これに限ったものではない。以下、ＳＶＭを概説する。

ＳＶＭは線形な閾値により２クラスのパターン識別器を構成する手法であり、入力された訓練サンプルを用いて、各特徴ベクトル間の距離が最大となるような超平面を算出する。この超平面のパラメータが学習結果となり、画像処理部１０内にある図示しないメモリに格納される。ＳＶＭの詳細は、例えば非特許文献１に記載がある。

一方、予測フェーズでは、入力画像データからパッチ画像を例えばラスタスキャンで切り出し、学習フェーズと同様に特徴ベクトルを算出する。次に特徴ベクトルを学習済みの識別器に入力し、出力としてラベルを得て、デバイスの有無を判断する。このとき、画像に含まれるデバイスの最大数をあらかじめ規定しておくことで、画像中から誤って複数のデバイスを検出することを防ぐことが可能である。例えば、デバイスがあると判断されたパッチ画像が複数あった場合、前記の超平面からの距離や、直前のフレームで算出されていたデバイスの位置からの距離、などの基準を用いてデバイスの位置を規定数にまで絞り込むことが可能となる。また、１フレーム前のデバイスの位置と以下で説明する動きの和から現フレームでのデバイスの位置を予測し、複数のパッチ画像を絞り込むことも可能である。

次いで、図１のデバイス情報取得部１０２によるデバイスの動きを検出する方法について説明する。ここではデバイスの動きをフレーム間差分で求める方法について説明するが、これに限ったものではない。以下、フレーム間差分の手法を説明する。まず、前述のデバイスの位置の算出手法を入力された画像データ１１１の各フレームに逐次適用することで、各フレームにおけるデバイスの位置を算出する。次に、ある時刻と一つ前の時刻のフレーム間のデバイスの位置の差分を計算し、各時刻におけるデバイスの動き情報とみなす。

また、時系列に並べたデバイスの動き情報に対して、移動平均フィルタなどを用いて時間方向のフィルタリングを適用すると、デバイスの動き情報はデバイスの位置の誤検出に対して頑健になり、さらに後述する補正画像データ１１５に対して、術者のデバイス操作に遊びを持たせた動き補正がなされるため、より好適にデバイス操作が可能となる。最終的にデバイス情報取得部１０２は、入力された画像データ１１１から上記の手法を用いて、デバイスの位置と動きを算出しデバイス情報１１２として出力する。

人体各部の動き情報取得部１０３は、入力された画像データ１１１から人体各部の動き情報１１３を生成して出力する。
図３は人体各部の動き情報取得部１０３が出力する人体各部の情報１１３を示す模式図である。人体各部の情報１１３には、画像データをｋ個（図中では５個、領域２０１から領域２０５）に分割したときの領域の情報と、それぞれの領域２０１〜２０５の代表的な動き２１１〜２１５が含まれる。具体的に領域の情報とは、各画素が領域２０１〜２０５のどの領域に属するかを示すラベル（例えば１からｋ）の情報である。なお、図３では、領域２０５が内視鏡や鉗子などのデバイスの領域を示し、動き２１５がデバイスの動きを示しており、これらの情報も人体各部の情報１１３に含まれている。以下、画像データ１１１から人体各部の情報１１３を生成する手法についてより具体的に説明する。

まず、画像データ１１１を各領域に分割する手法について説明する。領域分割手法としてはクラスタリングの一種であるｋ−ｍｅａｎｓ法などを用いることができるが、これに限ったものではない。以下、ｋ−ｍｅａｎｓ法について概説する。

ｋ−ｍｅａｎｓ法は与えられたデータをｋ個のクラスタに分類する手法である。ｋ−ｍｅａｎｓ法は次のステップで実行される。
各データに対してランダムにクラスタを割り当てる。
各クラスタにおける中心を算術平均により求める。
中心と各データの距離を求め、各データをもっとも距離が近いクラスタに割り当て直す。
１から３までの処理をクラスタの割り当てが更新されなくなるまで繰り返す。

ここでは、画像データの各画素値をデータとする。画素値間の距離は、例えば画素値の差の絶対値により算出する。クラスタに任意の順番で１からｋのラベルを付与すれば、各座標に対してどの領域に属するかを示すラベルを割り当てることができる。

次いで領域ごとの動きを求める手法について説明する。ここではすべての画素について動きを求めた後に、領域ごとの動きを算出する手法について説明するが、これに限ったものではない。
画素単位の動き情報の検出手法としてはブロックマッチング法などを用いることができるが、これに限ったものではない。以下、ブロックマッチング法を説明する。

入力された画像データ１１１において、注目座標ｗにおける動きベクトルｄは、評価値ｅ_ｗを用いて式（３）によって算出する。

ここで、Φは動きベクトルの探索範囲の座標の集合である。また、評価値ｅは式（４）によって算出する。

ここでΩはマッチング範囲の座標の集合、Ｗは正規化因子である。

人体各部の動き情報取得部１０３は、画像中のすべての画素に対して式４を適用して、動きベクトルを算出する。なお、ここでは画素単位で動きベクトルを求めるものとして説明したが、画像を任意の大きさで分割した単位で動きを求めても良い。

次いで分割された各領域に対して動きベクトルを割り当てる手法について説明する。上記の手法により、各画素には、どの領域に割り当てられているかを示すラベル（１〜ｋ）と、動きベクトルが設定されている。よって各領域の全画素に対して動きベクトルの算術平均を求めることで、各領域の代表的な動き２１１〜２１５を算出することができる。

デバイス関連動き情報取得部１０４は、デバイスの動き情報１１２と人体各部の情報１１３を入力とし、人体各部の情報１１３からデバイスの動き情報に影響を与える動き情報１１４を抽出して出力する。以下、人体各部の情報１１３からデバイスの動き情報に影響を与える動き情報１１４を抽出する手法について説明する。

まず、デバイス関連動き情報取得部１０４は、人体各部の情報１１３を図示しない、画像処理部１０に内蔵するメモリ、又は中央処理部１３に付属するメモリに、あらかじめ決定したフレーム数分だけ保持する。すなわち、前記のメモリは、新たに人体各部の情報１１３が入力されたときに、最も過去の人体各部の情報１１３を廃棄し、新たな人体各部の情報１１３を記憶するように構成する。

次に、ある時刻の人体各部の情報１１３の各領域２０１〜２０５と、ひとつ前の時刻の各領域を対応づける。具体的にはデバイス関連動き情報取得部１０４は、次のステップを実行する。
時刻ｔにおける領域ｎのすべての座標を抽出する
抽出した座標で時刻ｔ−１の領域を参照し、領域を示すラベルの頻度を計算する。
もっとも頻度が高い領域を領域ｎと関連付ける
以上の操作を時刻ｔのすべての領域に対して実施する。

上述の処理をメモリ内の各時刻の人体各部の情報１１３に対して実施することで、最新の時刻における領域と、過去の時刻における領域をすべて関連付けることができる。

次に、人体各部の情報１１３から、デバイスそのものと考えられる領域を除外する。例えば、図３においては動き情報２１１〜２１５のうち、デバイス自体の動きを示す２１５を除外する。具体的な手法としては、デバイスの動き情報１１２に含まれるデバイスの位置情報を基に、その位置に相当する領域（図３にあっては、領域２０５）に割り当てられている動き（図３にあっては、動き２１５）を人体各部の動き情報１１３から除外する。以降の記述では、人体各部の情報１１３とはデバイス自体を除外したもの、として記述する。

次に各領域の動きとデバイスの動きの類似度を算出する。類似度の算出方法は種々の方法が考えられるが、ここでは動きベクトル同士の内積によって算出するものとする。この類似度はメモリに格納されたすべての時刻のデータに対して計算する。さらに各関連付けられた領域ごとに、メモリに格納されている過去から現在までの類似度の代表値を計算する。ここでは類似度の代表値を最大値の探索により算出するものとする。そして、全領域中で類似度の代表値がもっとも高い領域（図３では、領域２０４）に割り当てられた動き（図３にあっては、動き２１４）を、デバイスの動き情報に影響を与える動き情報１１４として出力する。

補正処理部１０５は、デバイスの動き情報に影響を与える動き情報１１４に基づいて画像データ１１１を補正し、補正画像データ１１５として出力する。具体的には、画像データ１１１をデバイスの動き情報に影響を与える動き情報１１４とは逆の方向に平行移動させることで、画像のブレを安定させる補正を行う。

すなわち、画像データ１１１をI、デバイスの動き情報に影響を与える動き情報１１４をｄ’としたとき、補正された画像データI’は式４によって算出される。

以上詳述した本実施例の構成により、デバイスに関連する人体の動きに合わせるように動き補正されるため、術者が意図するデバイスの動きを残しつつ、画像全体の動き安定化を図ることができ、術者にとって、操作対象であるデバイスがより見やすい画像を出力することが可能となる。

なお、先に説明したデバイス情報取得部１０２における学習フェーズにおいて、デバイスがパッチ画像に含まれているか否かを判断する基準としては、デバイスの特に特徴的なパターンが画像に含まれていることを基準にしても良い。例えば、内視鏡や鉗子などのデバイスに取り付けられたＸ線不透過マーカーなどのマーカーを特徴的なパターンとみなして認識しても良い。Ｘ線不透過マーカーを用いた場合は、Ｘ線透視撮影装置で得られるＸ線画像上では特に視認性が高いため、より安定したデバイスの位置の特定が可能となる。

あるいは、デバイスがパッチ画像に含まれているか否かを判断する基準としては、デバイスの先端の一定領域がパッチ画像に含まれていることを基準としても良い。この場合、術者が注目すると考えられる内視鏡や鉗子などのデバイスの先端がデバイスの位置として検出され、人体各部の動き情報取得部１０３における動き抽出処理が、術者の注目する領域をもとに基準に行われることになるため、術者にとってより好適な補正画像の出力が可能となる。

あるいは、デバイスがパッチ画像に含まれているか否かを判断する基準としては、デバイスの非可動領域がパッチに含まれていることを基準としても良い。一般にデバイスは、それ自体が変形することがあり、また鉗子などの可動部分を備えた器具が取り付けられていることがある。この場合、デバイスの非可動領域、例えば、鉗子の接続部などはＸ線画像上でも常に一定の形状で可視化されていることが期待でき、学習と予測が容易になるため、より安定したデバイスの位置の特定が可能となる。

また、デバイス情報取得部１０２における学習は、想定されるデバイスごとに行っても良い。すなわち、前述の手法を用いて、想定されるデバイス分だけ独立に学習を行い、複数の学習データを得る。生成された複数の学習データは画像取得部９や中央処理部１３の図示しないメモリに格納しておき、予想フェーズにおいて学習データを切り替えて利用する。学習データの選択はユーザ・インタフェース部１５に対するユーザの指示をもとに行う。例えば、あらかじめデバイスの種類と学習データを紐付けておき、ユーザ・インタフェース部１５はデバイスの種類をユーザに選択させ、デバイスの種類に対応した学習データを出力すると良い。さらに、病状や手技の種類から利用されるデバイスが想定できるのであれば、病状や手技の種類と利用デバイスの学習データを紐付けておき、同様にユーザ・インタフェース部１５はユーザに選択させると良い。この場合、デバイスの種類が増えても正確なデバイスの位置および動きの検出が可能となる。

また、デバイス情報取得部１０２はユーザ・インタフェース部１５による指示によってデバイスの位置を特定しても良い。具体的には、ユーザ・インタフェース部１５をタッチパネル・ディスプレイによる構成とし、ユーザ・インタフェース部１５は補正画像データ１１５をユーザに提示し、デバイス領域へのタッチ操作を求める。ユーザ・インタフェース部１５はタッチされた座標から補正画像データ１１５上の座標に変換し、デバイスの位置とみなす。この場合、デバイス情報取得部１０２におけるデバイスの位置の予測が成功しないようなシーンにおいても、ユーザ・インタフェース部１５を使ったユーザの補助操作により好適な補正画像を生成することが可能となる。

更に、図２の絞り５をデバイスの動き情報に影響を与える動き情報１１４に基づいて移動させても良い。すなわち、絞り・フィルタ制御部７は、画像処理部１０から中央処理部１３を通じてデバイスの動き情報に影響を与える動き情報１１４を受け取る構成とする。この構成において、絞り・フィルタ制御部７はデバイスの動き情報に影響を与える動き情報１１４に基づいて、絞り５の開口領域を変形させる。具体的には、絞り５の開口領域をデバイスの動き情報に影響を与える動き情報１１４が示す位置に平行移動させて、次のフレームの撮影を行う。この場合、補正処理部１０５による補正に合わせて、Ｘ線管２からの発生されるＸ線の照射領域が移動するため、より好適な照射領域の補正画像の出力が可能となる。

また更に、上記の構成に加えて、画像処理部１０の補正処理部１０５もデバイス情報１１２を受け取る構成とし、補正処理部１０５はデバイス情報１１２に含まれるデバイスの位置に基づいて、デバイスが画像データの中心になるように画像データを補正して、補正画像データ１１５として表示出力部１１に出力しても良い。この補正は、所定の信号をトリガにして行うものとする。この所定の信号は、ユーザ・インタフェース部１５がユーザの指示を受け付けることで生成しても良い。あるいは所定の信号は、補正処理部１０５内にタイマを設けてあらかじめ決定しておいた一定時間ごとに生成しても良い。あるいは所定の信号は、デバイス情報１１２に含まれるデバイスの位置に基づいて、あらかじめ設定した領域内にデバイスが位置するときに生成しても良い。例えば、この設定領域を表示部１１の画面の端から一定の距離の範囲内とすることにより、デバイスが画像データ１１１の端に到達し、デバイスが進む先の領域が見えなくなることを防ぐことが可能となる。

更にまた、上記の補正は絞り５によって行っても良い。具体的には、絞り・フィルタ制御部が中央処理部１３を介して、画像処理部１０からデバイス情報１１２を受け取る構成に変更し、絞り・フィルタ制御部７は、上述した所定の信号をトリガにデバイス情報１１２に含まれるデバイスの位置に基づいて、デバイスがＸ線の照射範囲の中心に位置するように、絞り５を変形するよう制御してもよい。この場合、デバイスがＸ線の照射範囲の端に到達し、デバイスが進む先の領域が見えなくなることを防ぐことが可能となる。

以上説明した本実施例の装置によれば、画像からデバイスの情報と人体などの被検体各部の情報を検出し、被検体各部の動きの中からデバイスの動き情報に影響を与える動き情報を抽出し、抽出された動き情報を用いて動き補正処理を行うことができ、術者に対してデバイスの動きが見やすくことができ、操作性の向上を図ることができる。

本実施例は、実施例１においてデバイスの動きに基づいて補正処理を行っていたものを、デバイスと病変の動きに基づいた補正処理に変更したものである。すなわち、実施例２は、画像処理装置であって，デバイスを含む人体の取得画像データが入力される画像処理部と、
画像処理部で補正された補正画像データが入力される表示出力部とを備え、画像処理部は、取得画像データから、デバイスの情報を取得するデバイス情報取得部と，取得画像データから、人体各部の情報を取得する人体各部の情報取得部と，取得画像データから、人体の病変の情報を取得する病変情報取得部と，デバイスの動き情報と人体各部の動き情報とを用いて，人体各部の動き情報の中からデバイスの動き情報に影響を与える動き情報を抽出するデバイス関連動き情報抽出部と，人体各部の動き情報の中から病変の動き情報に影響を与える動き情報を抽出する病変関連動き情報抽出部と，デバイスの動きに影響を与える動き情報と、病変の動き情報に影響を与える動き情報を用いて、取得画像データに対して補正処理を行う補正処理部とを含む構成の画像処理装置の実施例である。

図４は本実施例に係る画像処理部３０の構成を示すブロック図である。以降、実施例１から変更があるブロックのみ、以下に示す。

画像処理部３０は実施例１で説明した、デバイス情報取得部１０２と、人体各部の情報取得部１０３と、デバイス関連動き情報取得部１０４に加え、画像取得部９から出力された画像データ１１１から病変の位置と動き情報を検出して病変情報３１１として出力する病変情報取得部３０１と、病変情報取得部３０１から出力された病変情報３１１と、人体各部の情報取得部１０３から出力された人体各部の情報１１３を入力とし、人体各部の情報１１３の中から病変情報３１１関連する動き情報、すなわち病変の動き情報に影響を与える動き情報３１２を抽出して出力する病変関連動き情報取得部３０２と、デバイス関連動き情報取得部１０４から出力されたデバイスの動き情報に影響を与える動き情報１１４と、病変関連動き情報取得部３０２から出力された病変の動き情報に影響を与える動き情報３１２と、画像取得部９から出力された取得画像データ１１１を入力とし、デバイスの動き情報に影響を与える動き情報１１４と病変の動き情報に影響を与える動き情報３１２にもとづいて取得画像データ１１１を補正し、補正画像データ３１３を出力する補正処理部３０３を含む。

病変情報取得部３０１は、取得画像データ１１１から病変の動きと位置を検出し、それらを病変情報３１１として出力する。このとき病変の動きと位置の検出は、例えば実施例１においてデバイス情報取得部１０２の処理として説明した機械学習を用いた手法で実施することが可能である。すなわち、対象をデバイスではなく病変として学習および予測を行えば良い。

なお、病変関連動き情報取得部３０２は、病変情報３１１と人体各部の情報１１３を入力とし、人体各部の情報１１３から病変情報３１１に関連する動き情報を抽出して、病変の動き情報に影響を与える動き情報３１２として出力する。このとき動き情報の抽出は、例えば実施例１において、デバイス関連動き情報取得部１０４の処理として説明した手法で実現することが可能である。

補正処理部３０３は、画像データ１１１とデバイスの動き情報に影響を与える動き情報１１４と病変の動き情報に影響を与える動き情報３１２に基づいて、取得画像データ１１１を補正して、補正画像データ３１３として出力する。例えば、デバイスの動き情報に影響を与える動き情報１１４と病変の動き情報に影響を与える動き情報３１２の平均となる動きを用いて、取得画像データ１１１を平均となる動きとは逆の方向に平行移動させることで、画像のブレを安定させる補正を行う。

すなわち、画像データをI、デバイス関連動き情報をｄ１、病変関連動き情報をｄ２としたとき、補正された画像データI’は式６によって算出される。

以上説明した本実施例の構成により、デバイスの動きと病変の動きに基づいた動き安定化が行われるため、デバイスと病変の両方の動きが見やすい映像を出力することが可能となる。

また、病変情報取得部３０１の機械学習において、手技が想定する病変の種類が複数あるのであれば、実施例１においてデバイスが複数想定される場合の処理と同様に、あらかじめ想定される病変ごとに学習を行って、ユーザからの選択に基づいて学習結果を切り替えて予測を行っても良い。この場合、想定される病変の種類が増えても正確な病変の位置および動きの検出が可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

更に、上述した各構成、機能、処理部等は、それらの一部又は全部を実現するプログラムを作成する例を説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良いことは言うまでもない。

なお、以上説明した本発明の各種の実施例には、特許請求の範囲に記載の発明以外に種々の発明が開示されている。その一部を例示すると下記のとおりである。

＜例示１＞
画像処理装置であって，
デバイスを含む人体の取得画像データが入力される画像処理部と、
前記画像処理部で補正された補正画像データが入力される表示出力部とを備え、
前記画像処理部は、
前記取得画像データから、前記デバイスの動き情報を取得するデバイス情報取得部と，
前記取得画像データから、前記人体各部の情報を取得する被検体各部の情報取得部と，
前記デバイスの動き情報と前記人体各部の動き情報とを用いて，前記人体各部の動き情報の中から前記デバイスの動き情報に影響を与える動き情報を抽出するデバイス関連動き情報抽出部と，
前記デバイスの動き情報に影響を与える動き情報を用いて、前記取得画像データに対して補正処理を行う補正処理部と，を含む、
ことを特徴とする画像処理装置。

＜例示２＞
例示１に記載の画像処理装置であって、
前記デバイス情報取得部は、前記デバイスに設けられたマーカーを基準として前記デバイスの動き情報を取得する、
ことを特徴とする画像処理装置。

＜例示３＞
例示１に記載の画像処理装置であって、
前記デバイス情報取得部は、前記デバイスの先端の一定領域を基準として前記デバイスの動き情報を取得する、
ことを特徴とする画像処理装置。

＜例示４＞
例示１に記載の画像処理装置であって、
前記デバイス情報取得部は、前記デバイスの非可動領域を基準として前記デバイスの動き情報を取得する、
ことを特徴とする画像処理装置。

＜例示５＞
例示１に記載の画像処理装置であって、
前記抽出された動き情報を用いて、前記取得画像データを取得する撮影部と、
前記撮影部における撮影範囲を移動させる撮影機構移動部、を更に備える、
ことを特徴とする画像処理装置。

＜例示６＞
例示５に記載の画像処理装置であって、
前記撮影機構移動部は、前記撮影部の絞りの開口領域を変更する、
ことを特徴とする画像処理装置。

＜例示７＞
例示５に記載の画像処理装置であって、
前記撮影機構移動部は前記撮影部のテーブルを移動する、
ことを特徴とする画像処理装置。

＜例示８＞
例示５に記載の画像処理装置であって、
前記撮影機構移動部は前記撮影部の画像取得部を移動する、
ことを特徴とする画像処理装置。

＜例示９＞
例示５記載の画像処理装置であって、
前記撮影機構移動部は、前記デバイスの動き情報に基づいて、前記デバイスが撮影範囲の中央に位置するように撮影範囲を補正する、
ことを特徴とする画像処理装置。

＜例示１０＞
例示１に記載の画像処理装置であって、
前記補正処理部は、前記デバイス情報に基づいて、前記デバイスが前記取得画像データに基づく画面の中央に位置するように補正する、
ことを特徴とする画像処理装置。

＜例示１１＞
例示１０に記載の画像処理装置であって、
前記補正を、ユーザから指示されたタイミング、あるいはあらかじめ決定した時間間隔に基づいて実行する、
ことを特徴とする画像処理装置。

＜例示１２＞
例示１０に記載の画像処理装置であって、
前記補正を、前記デバイスが前記画面のあらかじめ決定した領域に位置したことをトリガとして実行する、
ことを特徴とする画像処理装置。

１ Ｘ線透視撮影装置
２ Ｘ線管
３ Ｘ線制御部
４ 高電圧発生部
５ 絞り
６ Ｘ線補償フィルタ
７ 絞り・フィルタ制御部
８ テーブル
９ 画像取得部
１０、３０ 画像処理部
１１ 表示出力部
１２ 機構制御部
１３ 中央処理部
１４ 被検体
１５ ユーザ・インタフェース部
１０２ デバイス情報取得部
１０３ 人体各部の情報取得部
１０４ デバイス関連動き情報取得部
１０５、３０３ 補正処理部
１１１ 取得画像データ
１１２ デバイス情報
１１３ 人体各部の情報
１１４ デバイスの動き情報に影響を与える動き情報
１１５ 補正画像データ
３０１ 病変情報取得部
３０２ 病変関連動き情報取得部

Claims (15)

1. 画像処理装置であって，
   デバイスを含む被検体の取得画像データが入力される画像処理部と、
   前記画像処理部で補正された補正画像データが入力される表示出力部とを備え、
   前記画像処理部は、
   前記取得画像データから前記デバイスの動き情報と、前記被検体の各部の動き情報とを取得し、
   取得した前記デバイスの動き情報と前記被検体の各部の動き情報とを用いて，前記被検体の各部の動き情報から、前記デバイスの動き情報に影響を与える動き情報を抽出し、
   抽出された前記デバイスの動き情報に影響を与える動き情報に基づく動きとは逆方向に平行移動させることで、前記取得画像データの補正を行い、前記補正画像データを出力する、
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像処理部は、
   前記取得画像データから、前記デバイスの動き情報を取得するデバイス情報取得部と，
   前記取得画像データから、前記被検体各部の情報を取得する被検体各部の情報取得部と，
   前記デバイスの動き情報と前記被検体各部の動き情報とを用いて，前記被検体各部の動き情報の中から前記デバイスの動き情報に影響を与える動き情報を抽出するデバイス関連動き情報抽出部と，
   前記デバイスの動き情報に影響を与える動き情報を用いて、前記取得画像データに対して補正処理を行う補正処理部と，を含む、
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記デバイス情報取得部は、前記デバイスに設けられたマーカーを基準として前記デバイスの動き情報を取得する、
   ことを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置であって、
   前記デバイス情報取得部は、前記デバイスの先端の一定領域を基準として前記デバイスの動き情報を取得する、
   ことを特徴とする画像処理装置。
5. 請求項２に記載の画像処理装置であって、
   前記デバイス情報取得部は、前記デバイスの非可動領域を基準として前記デバイスの動き情報を取得する、
   ことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   前記抽出された動き情報を用いて、前記取得画像データを取得する撮影部と、
   前記撮影部における撮影範囲を移動させる撮影機構移動部、を更に備える、
   ことを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記撮影機構移動部は、前記撮影部の絞りの開口領域を変更する、
   ことを特徴とする画像処理装置。
8. 請求項６に記載の画像処理装置であって、
   前記撮影機構移動部は前記撮影部のテーブルを移動する、
   ことを特徴とする画像処理装置。
9. 請求項６に記載の画像処理装置であって、
   前記撮影機構移動部は前記撮影部の画像取得部を移動する、
   ことを特徴とする画像処理装置。
10. 請求項６記載の画像処理装置であって、
    前記撮影機構移動部は、前記デバイスの動き情報に基づいて、前記デバイスが撮影範囲の中央に位置するように撮影範囲を補正する、
    ことを特徴とする画像処理装置。
11. 請求項１に記載の画像処理装置であって、
    前記画像処理部は、前記デバイスの動き情報に基づいて、前記デバイスが前記取得画像データに基づく画面の中央に位置するように補正する、
    ことを特徴とする画像処理装置。
12. 請求項１０に記載の画像処理装置であって、
    前記補正を、ユーザから指示されたタイミング、あるいはあらかじめ決定した時間間隔に基づいて実行する、
    ことを特徴とする画像処理装置。
13. 請求項１０に記載の画像処理装置であって、
    前記補正を、前記デバイスが前記撮影範囲のあらかじめ決定した領域に位置したことをトリガとして実行する、
    ことを特徴とする画像処理装置。
14. 画像処理装置であって，
    デバイスを含む人体の取得画像データが入力される画像処理部と、
    前記画像処理部で補正された補正画像データが入力される表示出力部とを備え、
    前記画像処理部は、
    前記取得画像データから、前記デバイスの情報を取得するデバイス情報取得部と，
    前記取得画像データから、前記人体各部の情報を取得する人体各部の情報取得部と，
    前記取得画像データから、前記人体の病変の情報を取得する病変情報取得部と，
    前記デバイスの動き情報と前記人体各部の動き情報とを用いて，前記人体各部の動き情報の中から前記デバイスの動き情報に影響を与える動き情報を抽出するデバイス関連動き情報抽出部と，
    前記人体各部の動き情報の中から前記病変の動き情報に影響を与える動き情報を抽出する病変関連動き情報抽出部と，
    前記デバイスの動きに影響を与える動き情報と、前記病変の動き情報に影響を与える動き情報の平均となる動きとは逆の方向に平行移動させることで、前記取得画像データに対して補正処理を行う補正処理部と，を含む、
    ことを特徴とする画像処理装置。
15. 画像処理装置における画像処理方法であって，
    前記画像処理装置は、
    デバイスを含む被検体の取得画像データから前記デバイスの動き情報と、前記被検体の各部の動き情報とを取得し、
    取得した前記デバイスの動き情報と前記被検体の各部の動き情報とを用いて，前記被検体の各部の動き情報から、前記デバイスの動き情報に影響を与える動き情報を抽出し、
    抽出された前記デバイスの動き情報に影響を与える動き情報に基づく動きとは逆方向に平行移動させることで、前記取得画像データの補正を行い、補正された画像データを出力する、
    ことを特徴とする画像処理方法。

Images