JP6660741B2 - 画像抽出装置、画像抽出方法 - Google Patents

Description

本発明は、着目する断層画像と同位置の断層画像を別に撮影した断層画像群から抽出する技術に関する。

ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置等のモダリティを用いた検査で得られた断層画像を読影する際には、図４に示すように、ある検査時に撮影した一連の断層画像群から患部等の着目する画像を選定し、別に撮影した断層画像と比較し、疾患の変化等を把握する作業が頻繁に行なわれる。

この作業を行なうためには、別に撮影した一連の断層画像群から、着目する画像と同位置の画像を抽出する必要がある。しかしながら、近年のモダリティの技術進歩により１ｍｍといった極薄のスライス厚で断層画像が得られることから、１０００枚を超えるような多量の断層画像が取得されるようになっており、目視による手作業での位置合わせは困難である。このため、同位置の断層画像の抽出作業を支援するための手法が従来から提案されている。

例えば、画像ファイルに付帯するタグ情報を利用する手法が挙げられる。一般に、医用の断層画像は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）フォーマットで記録されている。ＤＩＣＯＭフォーマットでは、画像ファイル内にタグで示される種々の情報が記録されており、この手法は、その中のタグ番号（００２０，００３２）で示される"Image Position (Patient)"の座標をキーに同位置の断層画像を抽出するものである。

ここで、ＤＩＣＯＭフォーマットでは、図５に示すように、患者の右手から左手方向をＸ軸、前から背中方向をＹ軸、足から頭方向をＺ軸とする座標系が一般に採用されている。

着目画像に付された"Image Position (Patient)"の座標に対応する座標の断層画像を別の断層画像群から抽出することで、着目画像とほぼ同位置の比較先の断層画像を抽出できることが期待される。しかし、撮影時の状況やモダリティ等により座標のぶれが生じ、必ずしも精度は高くない。

また、特許文献１には、断層画像から得られる３次元データから、第１段階として椎骨の位置を検出しておき、第２段階として検出した椎骨同士の位置を合わせる手法が開示されているが、特徴的な形状の椎骨を含む画像の位置合わせに特化したものであり、汎用性に欠ける。

特開２０１２−４５３１３号公報

「バイオメディカル融合３次元画像処理」小山博史、金太一、中島義和、斎藤季、齊藤延人 著（東京大学出版会）初版、ｐ．１２２

汎用的で精度の高い位置合わせ手法として、非特許文献１には、着目画像を含む断層画像群と別の断層画像群のそれぞれについて、２次元画像を元に３次元のボクセルを作成し、３次元ボクセル同士で位置合わせを行なって断層画像の位置を対応させることが記載されている。

しかしながら２次元画像から３次元のボクセルを構成するためには、多量の画像データを処理しなければならず、必要なメモリ量や演算負荷が過大となる。読影の際には、次々に着目画像を差し替えることが多いため、演算負荷が過大であるとリアルタイムの応答性に欠け、作業効率が低下する。

そこで、本発明は、着目する断層画像と同位置の断層画像を別に撮影した比較先の断層画像群から高精度で抽出する処理の演算負荷を軽減することを目的とする。

上記課題を解決するため、本発明の第１の態様である画像抽出装置は、ある検査で撮像した、スライス面に交差する方向の相対的な位置を示す患者画像位置情報を含む医用画像フォーマットの第１断層画像群から着目画像の指定を受け付ける着目画像受付部と、同一の患者について前記第１断層画像群とは別に撮像した前記フォーマットの第２断層画像群から、前記着目画像の患者画像位置情報に基づく条件を満たす複数枚の断層画像を候補画像群として取得する候補画像群取得部と、前記着目画像の患者画像位置情報に基づいて、前記第１断層画像群から基準画像を設定する基準画像設定部と、前記基準画像と前記候補画像群に含まれる各候補画像との類似度を評価し、最も評価の高い候補画像の患者画像位置情報と、前記基準画像の患者画像位置情報との差を示す差分調整値を記録する評価部と、前記着目画像の患者画像位置情報と前記差分調整値とに基づいて、前記第２断層画像群から断層画像を抽出し、同位置画像として出力する同位置画像抽出部と、を備えることを特徴とする。
ここで、前記評価部は、前記差分調整値とともに、評価を行なった際の着目画像の患者画像位置情報を記録し、記録されている患者画像位置情報と新たに指定された着目画像の患者画像位置情報との差が基準値以下の場合には、前記類似度の評価を行なわず、前記差分調整値を更新しないようにしてもよい。
あるいは、前記評価部は、前記差分調整値とともに、評価を行なった際の着目画像の患者画像位置情報、前記第１断層画像群の識別子、前記第２断層画像群の識別子を差分調整値履歴情報として不揮発的に記録し、着目画像が含まれる第１画像群と抽出対象の第２画像群とが一致する差分調整値履歴情報が記録されている場合には、前記類似度の評価を行なわず、前記差分調整値履歴情報を用いて前記着目画像に対応する差分調整値を推定するようにしてもよい。
また、前記基準画像設定部は、前記着目画像の患者画像位置情報から所定距離隔てた患者画像位置情報が付された断層画像を前記基準画像として設定してもよい。
上記課題を解決するため、本発明の第２の態様である画像抽出方法は、ある検査で撮像した、スライス面に交差する方向の相対的な位置を示す患者画像位置情報を含む医用画像フォーマットの第１断層画像群から着目画像の指定を受け付ける着目画像受付ステップと、同一の患者について前記第１断層画像群とは別に撮像した前記フォーマットの第２断層画像群から、前記着目画像の患者画像位置情報に基づく条件を満たす複数枚の断層画像を候補画像群として取得する候補画像群取得ステップと、前記着目画像の患者画像位置情報に基づいて、前記第１断層画像群から基準画像を設定する基準画像設定ステップと、前記基準画像と前記候補画像群に含まれる各候補画像との類似度を評価し、最も評価の高い候補画像の患者画像位置情報と、前記基準画像の患者画像位置情報との差を示す差分調整値を記録する評価ステップと、前記着目画像の患者画像位置情報と前記差分調整値とに基づいて、前記第２断層画像群から断層画像を抽出し、同位置画像として出力する同位置画像抽出ステップと、を有することを特徴とする。

本発明によれば、着目する断層画像と同位置の断層画像を別に撮影した比較先の断層画像群から高精度で抽出する処理の演算負荷を軽減し、結果として処理の高速化を実現することができる。

本実施形態に係る断層画像読影システムの構成を示すブロック図である。 断層画像の読影手順例を説明するフローチャートである。 画像抽出部が行なう同位置画像抽出動作について説明するフローチャートである。 断層画像を用いて疾患の変化等を把握する作業を説明する図である。 一般的な座標系を説明する図である。

本発明の実施の形態について図面を参照して説明する。図１は、本実施形態に係る断層画像読影システム１００の構成を示すブロック図である。本図に示すように断層画像読影システム１００は、ＤＩＣＯＭモダリティ１１０、画像サーバ装置１２０、端末装置２００を備えている。画像サーバ装置１２０と端末装置２００とは院内ＬＡＮ等のコンピュータネットワーク１５０を介して接続されている。

ＤＩＣＯＭモダリティ１１０は、ＤＩＣＯＭフォーマットの断層画像を撮影し、画像サーバ装置１２０に出力する装置であり、本図の例では、ＣＴ装置１１０ａとＭＲＩ装置１１０ｂとが用いられている。ＤＩＣＯＭモダリティ１１０は、１回の検査で、複数枚の一連の断層画像群を撮影することができる。このひとまとまりの断層画像群は「シリーズ」とも呼ばれている。同日に複数回の検査が行なわれる場合は、それぞれの断層画像群を区別するものとする。ＤＩＣＯＭモダリティ１１０が出力するＤＩＣＯＭフォーマットの断層画像は、氏名、ＩＤ、生年月日等の患者情報、"Image Position (Patient)"等の画像情報、その他の各種情報をタグ情報として含んでいる。

画像サーバ装置１２０は、データベース機能を備えたサーバコンピュータ等で構成することができ、ＤＩＣＯＭモダリティ１１０が出力したＤＩＣＯＭフォーマットの断層画像を保存する。また、端末装置２００からの断層画像の読み出し要求に応答する。

端末装置２００は、読影を行なう者が利用する装置である。端末装置２００は、ＣＰＵ、メモリ、入出力装置等を備えた、一般的な情報処理装置を用いて構成することができ、例えば、パーソナルコンピュータを用いることができる。端末装置２００は、読影用のアプリケーションソフトウェアがインストールされており、このアプリケーションソフトウェアが実行されることにより、以下に説明するような処理を行なう画像抽出装置として機能する。

本図に示すように、端末装置２００は、画像閲覧部２１０、画像抽出部２２０を備えている。画像閲覧部２１０は、読影を行なうための断層画像を表示する機能部である。画像閲覧部２１０は、例えば、最新に撮影した断層画像群を順次表示し、読影者が着目する断層画像の選択を受け付けることができる。ここで、ある検査で撮影された着目画像を含む断層画像群を「第１の断層画像群」と称する。

本実施形態では、第１の断層画像群に含まれる単一の断層画像に着目し、この断層画像に最も類似する断層画像を別に撮影された断層画像群から選択する。そして、最も類似する断層画像が同位置の断層画像であるとみなして、第１の断層画像群と別の断層画像群との位置合わせを行なう。このため、必要な画像データ量と演算量とを著しく削減することができ、処理負荷を軽減し、結果として処理の高速化を実現することができる。

第１の断層画像群と別の断層画像群とは、同位置とみなされた断層画像に付されたそれぞれの座標（Ｘ，Ｙ，Ｚ）同士の差分（ｄＸ，ｄＹ，ｄＺ）を求めることで位置合わせを行なう。例えば、同位置の断層画像について、スライス面に交差する方向の座標値として、第１の断層画像群に含まれる断層画像では１００が付され、別の断層画像群に含まれる断層画像群では１１０が付されている場合には、座標の差分は１０となる。この場合、着目画像の座標値に１０を加えた座標の断層画像を別の断層画像群から抽出すればよいことになる。

画像抽出部２２０は、画像サーバ装置１２０に保存されている別に撮影した断層画像群から、読影者が着目する断層画像と同位置の断層画像を抽出する処理を行なう。この処理を行なうために、画像抽出部２２０は、着目画像受付部２２１、候補画像群取得部２２２、基準画像設定部２２３、評価部２２４、同位置画像抽出部２２５を備えている。

着目画像受付部２２１は、画像閲覧部２１０から読影者が選択した着目画像の指定を受け付ける。この際に、抽出すべき断層画像を含む断層画像群の指定も受け付ける。抽出すべき断層画像を含む断層画像群を「第２の断層画像群」と称する。第２の断層画像群は、例えば、撮影した日付により指定することができる。同日に複数回の撮影を行なった場合には、さらに時刻や撮影方法等により指定することができる。

候補画像群取得部２２２は、画像サーバ装置１２０に保存されている第２の断層画像群から着目画像と同位置の断層画像の候補となる候補画像群を取得する。候補画像群は、"Image Position (Patient)"（「患者画像位置情報」とも称する）の座標をキーとすることができる。同位置の断層画像は、患者画像位置情報の座標が近いことが想定されるためである。

具体的には、着目画像に付された患者画像位置情報の座標を中心に、スライス面と交差する方向について所定座標（距離）以内の患者画像位置情報が付された断層画像を取得する。さらに、一定間隔で間引いて取得してもよい。候補画像群を取得することにより、抽出のための処理負荷を一層軽減することができる。ただし、キーとする情報は、スライス面に交差する方向の相対的な画像位置を示す情報であれば"Image Position (Patient)"に限られない。また、着目画像と第２の断層画像とで座標系や原点が異なっている場合等には、第２の断層画像群のすべてを候補画像群としてもよい。

着目画像は、一般に疾患部分であるが、疾患部分は変化が激しい場合があり、画像の比較基準として必ずしも適していないことも多い。このため、本実施形態では、基準画像設定部２２３を設け、第１の断層画像のうち、着目画像から所定座標（距離）離れた位置の断層画像を基準画像として設定するようにしている。着目画像と基準画像との距離が離れすぎると、誤差が増大するおそれがあるため、例えば、所定座標（距離）は数ｃｍ程度とする。もちろん、着目画像をそのまま基準画像として設定してもよい。

評価部２２４は、基準画像と候補画像群に含まれる各候補画像との類似度を評価し、最も評価の高い候補画像の患者画像位置情報と、基準画像の患者画像位置情報との差である差分調整値を記録する。

差分調整値は、例えば、座標値の差分とすることができる。最も類似度評価の高い候補画像は、基準画像と同位置の断層画像と推定できるため、差分調整値は、第１の断層画像における患者画像位置情報と第２の断層画像における患者画像位置情報とのオフセット値に相当する。

なお、類似度の評価は、種々の手法を用いることができる。例えば、［数１］に示すような画像同士の差分の自乗和ＳＳＤ（Sum of Squared Differences）の最小値をその断層画像の評価とする方法を用いることができる。本式は、画像Ａ、Ｂについて、両画像が重なった領域にわたって画素値の差の２乗和を計算することを意味している。
あるいは、［数２］に示すような画像同士の正規化相関ＮＣＣ（Normalized Cross Correlation）の最大値をその断層画像の評価とする方法を用いてもよい。
これらの方法により、自乗和の評価値が最小の断層画像、または、相関の評価値が最良の断層画像の座標を求めることで差分調整値を算出することができる。もちろん、これらの手法には限られない。なお、類似度の評価に先立って、輪郭を抽出するための微分演算、ローパスフィルタ等のフィルタを適用する等の画像処理や正規化等を行なって、類似度評価の精度を高めるようにしてもよい。

同位置画像抽出部２２５は、評価部２２４が記録した差分調整値に基づいて、着目画像と同位置の断層画像を候補画像群から抽出して画像閲覧部２１０に出力する。画像閲覧部２１０は、例えば、抽出された断層画像と着目画像とを並べて表示し、比較を容易に行なえるようにする。

端末装置２００を使用する読影者は、例えば、図２に示すような手順で断層画像の読影を行なう。なお、第１の断層画像群と第２の断層画像群とは既に画像サーバ装置１２０に保存されているものとする。

読影者は、画像閲覧部２１０を利用して、第１の断層画像群を順次表示させ（Ｓ１０１）、その中から着目画像を選択する（Ｓ１０２）。すると、画像抽出部２２０が、着目画像と同位置の断層画像を第２の断層画像群から自動的に抽出する（Ｓ１０３）。読影者は、画像閲覧部２１０を利用して、着目画像と抽出された画像との比較を行なう（Ｓ１０４）。他の着目画像がある場合は（Ｓ１０５：Ｙｅｓ）、着目画像の選択（Ｓ１０２）以降の動作を繰り返す。

次に、画像抽出部２２０が行なう同位置画像抽出動作（Ｓ１０３）について、図３のフローチャートを参照して説明する。

まず、着目画像受付部２２１が、読影者が選択した着目画像の指定を画像閲覧部２１０から受け付ける（Ｓ２０１）。

候補画像群取得部２２２は、差分調整値が既に設定されているかどうかを判定する（Ｓ２０２）。別の着目画像で既に位置合わせを行なっており、差分調整値を算出してあれば、その差分調整値を用いることで演算量を削減することができるためである。

差分調整値が未設定であれば（Ｓ２０２：Ｎｏ）、基準画像設定部２２３が着目画像に対応する基準画像を設定する（Ｓ２０３）。例えば、着目画像から所定座標（距離）離れた位置の断層画像を基準画像として設定する。

そして、候補画像群取得部２２２が画像サーバ装置１２０から、候補画像群を取得する（Ｓ２０４）。候補画像群は、第２の断層画像群のうち、着目画像に付された患者画像位置情報の座標を中心に、スライス面と交差する方向について所定座標（距離）以内の患者画像位置情報が付された断層画像である。基準画像に付された患者画像位置情報の座標を中心としてもよい。

次いで、評価部２２４が、取得された各候補画像について類似度の評価を行なう（Ｓ２０５）。上述のように、類似度の評価は種々の手法を用いることができる。ここでは、評価値が大きいほど、類似度が高いものとする。

各候補画像について類似度の評価を行なうと、最も評価値の大きい断層画像を選択する（Ｓ２０６）。本実施形態では、より精度を高めるために、最も大きい評価値が所定の基準値以下であれば（Ｓ２０７：Ｎｏ）、同位置の断層画像が候補画像群に含まれていない可能性があるものとしてエラー表示を行なうようにしている（Ｓ２１０）。この場合、取得範囲を変更して再度候補画像群を取得するようにしてもよい。

最も大きい評価値が所定の基準値を超えていれば（Ｓ２０７：Ｙｅｓ）、その断層画像が基準画像と同位置の断層画像であると推定し、その画像の患者画像位置情報の座標と基準画像の患者画像位置情報の座標との差分を差分調整値として設定し、記録する（Ｓ２０８）。また、着目画像の患者画像位置情報の座標を設定時位置として設定し、記録する。

そして、同位置画像抽出部２２５が、第２の断層画像群の中から着目画像の患者画像位置情報の座標と、設定されている差分調整値とから求められる座標が付された断層画像を抽出し、着目画像と同位置の断層画像として画像閲覧部２１０に出力する（Ｓ２０９）。求められる座標が付された断層画像が、候補画像群として第２の断層画像群から取得済であれば、候補画像群から抽出してもよい。

差分調整値を既に設定済かどうかを判定した結果（Ｓ２０２）、差分調整値が設定済であれば（Ｓ２０２：Ｙｅｓ）、差分調整値とともに設定されている設定時位置と着目画像の患者画像位置情報の座標とが所定距離以上乖離しているかどうかを判定する（Ｓ２１１）。

差分調整値を設定したときの設定時位置と着目画像の患者画像位置情報の座標との距離が乖離している場合には（Ｓ２１１：Ｙｅｓ）、差分調整値の誤差が増大しているおそれがある。このため、差分調整値を再度設定することが好ましい。そこで、基準画像設定処理（Ｓ２０３）以降の処理を行なって差分調整値を再設定し、着目画像と同位置の断層画像を決定する。

一方、距離が乖離していない場合には（Ｓ２１１：Ｎｏ）、設定済の差分調整値を用いることができる。このため、同位置画像抽出部２２５は、第２の断層画像群の中から着目画像の患者画像位置情報の座標と、設定されている差分調整値とから求められる座標が付された断層画像を抽出する（Ｓ２１２）。求められる座標が付された断層画像が、候補画像群として第２の断層画像群から取得済であれば、候補画像群から抽出してもよい。そして、選択された断層画像を着目画像と同位置の断層画像として画像閲覧部２１０に出力する（Ｓ２０９）。

以上説明したように、本実施形態の断層画像読影システム１００によれば、単一の断層画像に着目し、最も類似度の高い断層画像を選択することで、差分調整値を設定し、差分調整値に基づいて、着目画像と同位置の断層画像を抽出するため、演算負荷を軽減することができる。

なお、上述の例では、画像抽出部２２０は、端末装置２００内に設けていたが、画像サーバ装置１２０内に設けるようにしてもよい。この場合、候補画像群を画像サーバ装置１２０から端末装置２００に転送しなくてもよいため、画像データの通信量を減らすことができる。

また、上述の例では、処理（Ｓ２０８）において、評価部２２４は、設定した差分調整値を上書き記録していくようにしていたが、さらに不揮発的に記録するようにしてもよい。

この場合、設定した差分調整値を、設定時位置に加え、第１画像群の識別子、第２画像群の識別子とともに差分調整値履歴情報として記録する。記録先は、端末装置２００の画像抽出部２２０内であってもよいし、画像サーバ装置１２０内あるいは他の記憶装置内であってもよい。

そして、処理（Ｓ２０２）において、候補画像群取得部２２２は、処理対象となっている第１画像群の識別子と第２画像群の識別子とが一致する差分調整値履歴情報が記録されているかどうかを判定する。

その結果、差分調整値履歴情報が記録されている場合には、評価部２２４がその差分調整値履歴情報を用いて着目画像に対応する差分調整値を推定する。そして、同位置画像抽出部２２５が、推定した差分調整値を用いて第２画像群から断層画像を抽出する。これにより、類似度の評価を省略することができるため、処理の高速化を図ることができる。

差分調整値の推定は、例えば、差分調整値履歴情報に含まれる複数個の設定時位置と差分調整値との組み合わせから、両者の関係式を近似曲線等によりモデル化し、着目画像に対応する差分調整値を算出することで行なうことができる。なお、差分調整値履歴情報が記録されていない場合には、上述の例と同じ処理を行なえばよい。

１００…断層画像読影システム、１１０…モダリティ、１２０…画像サーバ装置、１５０…コンピュータネットワーク、２００…端末装置、２１０…画像閲覧部、２２０…画像抽出部、２２１…着目画像受付部、２２２…候補画像群取得部、２２３…基準画像設定部、２２４…評価部、２２５…同位置画像抽出部

Claims (6)

1. ある検査で撮像した、スライス面に交差する方向の相対的な位置を示す患者画像位置情報を含む医用画像フォーマットの第１断層画像群から着目画像の指定を受け付ける着目画像受付部と、
   同一の患者について前記第１断層画像群とは別に撮像した前記フォーマットの第２断層画像群から、前記着目画像の患者画像位置情報に基づく条件を満たす複数枚の断層画像を候補画像群として取得する候補画像群取得部と、
   前記着目画像の患者画像位置情報に基づいて、前記第１断層画像群から基準画像を設定する基準画像設定部と、
   前記基準画像と前記候補画像群に含まれる各候補画像との類似度を評価し、最も評価の高い候補画像の患者画像位置情報と、前記基準画像の患者画像位置情報との差を示す差分調整値を記録する評価部と、
   前記着目画像の患者画像位置情報と前記差分調整値とに基づいて、前記第２断層画像群から断層画像を抽出し、同位置画像として出力する同位置画像抽出部と、
   を備え、
   前記基準画像設定部は、
   前記着目画像の患者画像位置情報から所定距離隔てた患者画像位置情報が付された断層画像を前記基準画像として設定することを特徴とする画像抽出装置。
2. 前記評価部は、
   前記差分調整値とともに、評価を行なった際の着目画像の患者画像位置情報を記録し、
   記録されている患者画像位置情報と新たに指定された着目画像の患者画像位置情報との差が基準値以下の場合には、前記類似度の評価を行なわず、前記差分調整値を更新しないことを特徴とする請求項１に記載の画像抽出装置。
3. 前記評価部は、
   前記差分調整値とともに、評価を行なった際の着目画像の患者画像位置情報、前記第１断層画像群の識別子、前記第２断層画像群の識別子を差分調整値履歴情報として不揮発的に記録し、
   着目画像が含まれる第１画像群と抽出対象の第２画像群とが一致する差分調整値履歴情報が記録されている場合には、前記類似度の評価を行なわず、前記差分調整値履歴情報を用いて前記着目画像に対応する差分調整値を推定することを特徴とする請求項１に記載の画像抽出装置。
4. 前記評価部は、
   前記最も評価の高い候補画像の評価値が所定の基準値以下である場合、エラー表示を行うことを特徴とする請求項１に記載の画像抽出装置。
5. 前記評価部は、
   前記最も評価の高い候補画像の評価値が所定の基準値以下であるかを判定し、
   前記候補画像群取得部は、
   前記評価部により前記最も評価の高い候補画像の評価値が所定の基準値以下であると判定された場合に、取得範囲を変更して再度候補画像群を取得することを特徴とする請求項１に記載の画像抽出装置。
6. ある検査で撮像した、スライス面に交差する方向の相対的な位置を示す患者画像位置情報を含む医用画像フォーマットの第１断層画像群から着目画像の指定を受け付ける着目画像受付ステップと、
   同一の患者について前記第１断層画像群とは別に撮像した前記フォーマットの第２断層画像群から、前記着目画像の患者画像位置情報に基づく条件を満たす複数枚の断層画像を候補画像群として取得する候補画像群取得ステップと、
   前記着目画像の患者画像位置情報に基づいて、前記第１断層画像群から基準画像を設定する基準画像設定ステップと、
   前記基準画像と前記候補画像群に含まれる各候補画像との類似度を評価し、最も評価の高い候補画像の患者画像位置情報と、前記基準画像の患者画像位置情報との差を示す差分調整値を記録する評価ステップと、
   前記着目画像の患者画像位置情報と前記差分調整値とに基づいて、前記第２断層画像群から断層画像を抽出し、同位置画像として出力する同位置画像抽出ステップと、
   を有し、
   前記基準画像設定ステップにおいては、
   前記着目画像の患者画像位置情報から所定距離隔てた患者画像位置情報が付された断層画像を前記基準画像として設定することを特徴とする画像抽出方法。