JP6858047B2

JP6858047B2 - 診断画像処理装置、評価支援方法及びプログラム

Info

Publication number: JP6858047B2
Application number: JP2017061433A
Authority: JP
Inventors: 敬之岡; 浩松平; 田中　栄; 栄田中
Original assignee: University of Tokyo NUC
Current assignee: University of Tokyo NUC
Priority date: 2017-03-27
Filing date: 2017-03-27
Publication date: 2021-04-14
Anticipated expiration: 2037-03-27
Also published as: WO2018181363A1; EP3603518A4; US20210113170A1; EP3603518A1; JP2018161397A

Description

本発明は、診断画像処理装置、評価支援方法及びプログラムに関する。

関節リウマチの診断においては、Ｘ線画像を用いて、関節間の間隔を５段階で評価する、シャープ（Sharp）の方法が広く知られている（非特許文献１）。この方法を用いるときには、ファン・デル・ハイジ（ＶＤＨ）またはゲナン（Genant）によって定められた評価対象となる関節ごとに、それぞれの間隔を評価することとなる。

Sharp JT, et. al., "The progression of erosion and joint space narrowing scores in rheumatoid arthritis during the first twenty-five years of disease.", Arthritis Rheum. 1991 Jun;34(6):660-8.

しかしながら、上記従来の方法においては、医師が目視により各関節の間隙の大きさを評価しており、医師によって判断に相違が生じる場合があった。このため、基準となる画像が用意されているが、リウマチ等の疾病では骨自体が変形することがあり、基準となる画像との比較が困難である場合もある。

本発明は上記実情に鑑みて為されたもので、所定の関節の間隙の大きさを定量的に評価することを可能とする診断画像処理装置、評価支援方法及びプログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決する本発明は、診断画像処理装置であって、手または足のＸ線画像の入力を受け入れる受入手段と、前記受け入れたＸ線画像から、左手、右手、左足、または右足の撮像範囲を検出し、当該検出した撮像範囲内に撮像された左手、右手、左足、または右足の、少なくとも、ファン・デル・ハイジ（ＶＤＨ）またはゲナン（Genant）のいずれか選択された評価方法での評価に用いられる各関節について、当該関節を挟む一対の骨の、対向する端部のうち、輝度が比較的高い部分を抽出する高輝度部抽出手段と、前記選択された評価方法での評価に用いられる関節ごとに、前記抽出した高輝度部間の距離及び面積の情報を、診断情報として生成する診断情報生成手段と、前記生成した診断情報を出力する出力手段と、を含むこととしたものである。

これにより、所定の関節の間隙の大きさを定量的に評価可能となる。

本発明の実施の形態に係る診断画像処理装置の例を表す構成ブロック図である。本発明の実施の形態に係る診断画像処理装置の例に係る機能ブロック図である。本発明の実施の形態に係る診断画像処理装置による前処理の例を表す説明図である。本発明の実施の形態に係る診断画像処理装置の処理例を表す説明図である。本発明の実施の形態に係る診断画像処理装置の診断情報の生成処理例を表す説明図である。本発明の実施の形態に係る診断画像処理装置の診断情報の出力例を表す説明図である。本発明の実施の形態に係る診断画像処理装置の処理の流れを表すフローチャート図である。本発明の実施の形態に係る診断画像処理装置において用いられる情報の例を表す説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る診断画像処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、インタフェース部１５とを含んで構成されている。

制御部１１は、ＣＰＵなどのプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この制御部１１は、左手、右手、左足、または右足の少なくとも一つを撮像したＸ線画像の画像データをインタフェース部１５を介して受け入れ、当該受け入れたＸ線画像から、左手、右手、左足、または右足のいずれかの撮像範囲を検出する。そして制御部１１は、当該検出した撮像範囲内に撮像された左手、右手、左足、または右足の、少なくとも、ファン・デル・ハイジ（ＶＤＨ）またはゲナン（Genant）のいずれか選択された評価方法での評価に用いられる各関節について、当該関節を挟む一対の骨の、対向する端部のうち、輝度が比較的高い部分を抽出する。制御部１１は、選択された評価方法での評価に用いられる関節ごとに、抽出した高輝度部間の距離及び面積の情報を、診断情報として生成して出力する。この制御部１１の処理については、後に詳しく述べる。

記憶部１２は、メモリデバイスやディスクデバイス等であり、制御部１１により実行されるプログラムを保持する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２にインストールされたものであってもよい。また、この記憶部１２は、制御部１１のワークメモリとしても動作する。

操作部１３は、マウスやキーボード等であり、利用者の指示操作を受け入れて、当該指示操作の内容を制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１から入力される指示に従って、情報を表示出力する。

インタフェース部１５は、ＵＳＢ（Universal Serial Bus）等のシリアルインタフェースや、ネットワークインタフェースを含み、メモリカード等の可搬型のメディアや、外部のＰＣ等から種々のデータを受信して制御部１１に出力する。本実施の形態の一例では、このインタフェース部１５は、外部の機器から処理の対象となるＸ線画像の画像データの入力を受けて、制御部１１に出力する。

次に、この制御部１１の動作について説明する。本実施の形態の一例において制御部１１は、図２に例示するように、画像受入部２１と、前処理部２２と、骨識別処理部２３と、関節識別処理部２４と、関節部特定処理部２５と、面積演算部２６と、間隔距離演算部２７と、出力部２８とを含んで機能的に構成される。

画像受入部２１は、処理の対象となるＸ線画像の画像データの入力を受け入れる。ここで入力される画像データは、例えば、図３（ａ）に例示するように、両手を、手のひらを下向きにして横軸方向（Ｘ軸方向とする）に並べて配した状態でＸ線撮影したものである。なお、図３において、横軸をＸ軸、縦軸をＹ軸とする。

前処理部２２は、処理対象画像データに対して、メディアンフィルタによってノイズを軽減する処理、ロバートフィルタによって輪郭線を明確化する処理等、コントラストの調整処理を施す。そしてこのコントラスト調整処理後の処理対象画像データを所定の明度閾値（例えば５０％）で二値化する（図３（ｂ））。

前処理部２２は、さらに二値化した処理対象画像データについて、有意画素（ここでは輝度の高い画素）を膨張（ある有意でない画素Ｐに隣接する画素に有意画素があれば、当該画素Ｐを有意画素に設定する処理）をＮ回（例えばＮ＝３とする）繰り返し実行し、ついで、収縮（ある有意画素Ｐに隣接する画素に、有意でない画素があれば、当該画素Ｐを有意でない画素に設定する処理）をＮ回繰り返し実行することでクロージング処理を行う。これにより、二値化した処理対象画像データの有意な画素塊に一部有意でない部分が含まれるときに、当該有意でない部分を有意画素として左手全体及び右手全体の領域を確定する。

前処理部２２は、次に、輪郭線を抽出する処理を実行し、左手全体及び右手全体のそれぞれを取り囲む輪郭線Ｒを抽出する（図３（ｃ））。なお、図３（ｃ）は、説明のため、図３（ｂ）から検出した輪郭線のみを示している。そして前処理部２２はさらに、輪郭線Ｒで囲まれた領域をそれぞれラベリングし、いずれかの手に対応する領域を処理対象とする手が撮像された領域として認識する。具体的に以下の例では、必ず小指がＸ軸負の方向（図面上で左側）にある手を以下の処理の対象とするものとする。従って、右手の画像を処理する場合は、ここで処理対象画像データをＹ軸に対して対象に（左右に）反転してから以下の処理を実行する。

すなわち、前処理部２２は、Ｘ軸方向負の側に位置する輪郭線Ｒで囲まれた領域ｒ１を、以下の処理の対象とする。ここで処理の対象とされる手は、反転が行われたときには右手であり、反転がされていなければ左手となる。前処理部２２は、処理対象とする手が撮像された領域を表す情報（領域ｒ１を取り囲む輪郭線Ｒを特定する情報）と、コントラスト調整処理後の処理対象画像データとを出力する。

骨識別処理部２３は、前処理部２２が出力する、処理対象とする手が撮像された領域を表す情報と、コントラスト調整処理後の処理対象画像データとの入力を受けて、当該コントラスト調整処理後の処理対象画像データに撮像されている骨のうち、処理対象とする手が撮像された領域内にある各骨の撮像されている範囲を識別し、当該識別の結果と、識別された範囲の位置の情報とから、各範囲に撮像されている骨が、どの骨であるかを特定するラベリング処理を行う。

具体的に、この骨識別処理部２３は、次のようにして骨を識別する。骨識別処理部２３は、指の各骨の長手方向の長さを推定する。この推定のため、骨識別処理部２３は、まず、処理対象とする手が撮像された領域を表す情報、つまり領域を取り囲む輪郭線Ｒを特定する情報を参照して、輪郭線の変曲点（Ｙ軸方向の上に凸となる頂部（図３（ｃ）のＸ軸負の側から順にＫ１からＫ５）または下に凸となる頂部（図３（ｃ）のＸ軸負の側から順にＫ６からＫ９））を検出する。この変曲点の検出は、どのような方法であってもよい。ここで上に凸となる頂部（Ｋ１からＫ５）が指先、下に凸となる頂部（Ｋ６からＫ９）が指と指の間の股に相当する。

次に骨識別処理部２３は、指の各骨の輪郭線を抽出する。骨識別処理部２３は、例えばまず各骨の中心線を求める（図４（ａ））。図４（ａ）は小指の先端部を拡大したものである。この中心線は例えば次のように求められる。すなわち骨識別処理部２３は、先に検出した、各指に対応する指の頂部（Ｋ１からＫ５のいずれか、図４（ａ）ではＫ１）の処理対象画像データ上の座標（ｘ₀，ｙ₀）を初期位置とする。そして骨識別処理部２３は、この初期位置から手の近位方向（Ｙ軸の値が減少する方向）へ１画素ずつ移動し、Ｘ軸に平行な線分ｙ_j＝ｙ_j-1−１（ｊ＝１，２，…）の線分上で、Ｘ＝ｘ_j-1を中心とした所定の幅Ｗの範囲内にある骨の左右両側の輪郭線上の点（隣接画素との輝度の差の絶対値が予め定めたしきい値以上となる点）のＸ座標の値（ｘ_jＬ，ｘ_jＲ）を求める。

骨識別処理部２３は、ここで求めた値の平均値（重心）のＸ座標の値ｘ_jｗ＝（ｘ_jＬ＋ｘ_jＲ）／２を得て、
ｘ_j-1＜ｘ_jwであればｘ_j＝ｘ_j-1＋１、
ｘ_j-1＝ｘ_jwであればｘ_j＝ｘ_j-1、
ｘ_j-1＞ｘ_jwであればｘ_j＝ｘ_j-1−１、
として、ｘ_jを求める。

骨識別処理部２３は、この処理を、（ｘ_j-1，ｙ_j）の位置にある画素の輝度が予め定めた輝度しきい値を超える（より高い輝度である）と判断されるまで、ｊを「１」ずつインクリメントしつつ繰り返し実行する。骨識別処理部２３は、これにより、各指の末節骨の中心線Ｈを求める。

骨識別処理部２３は、初期位置とした座標（ｘ₀，ｙ₀）を上辺中央として、幅Ｗ、高さ｜ｙ₀−ｙ_J｜（ただしＪは、（ｘ_j-1，ｙ_j）の位置にある画素の輝度が予め定めた輝度しきい値を超えると判断された最初のｊの値であり、｜ａ｜はａの絶対値を意味する）の矩形内の画素ブロックを取り出す。骨識別処理部２３は、この画素ブロック内にある中心線がＹ軸に平行となるようにアフィン変換し、アフィン変換後の画素ブロック内の画像データについてクロージング処理を実行する。さらに骨識別処理部２３は、クロージング処理後の画像データに基づき、ソーベルフィルタ等の方法で輪郭線Ｒｆを抽出する。なお、Ｙ軸方向の上下の輪郭線（末節骨についてはＹ軸方向の下側の輪郭線）は、輝度が所定の輝度しきい値を超えている部分（高輝度部Ｇ）を輪郭の一部として抽出する（図４（ｂ））。これにより骨識別処理部２３は、各指の末節骨の輪郭を抽出できる。

なお、Ｙ軸方向の上下の輪郭線として、輝度が所定の輝度しきい値を超えている部分を輪郭として抽出しているのは、関節を挟む位置においては骨に比較的硬い部分が形成されており、比較的高い輝度の部分として撮像されることに基づく。

骨識別処理部２３はさらに、各指で検出した骨の輪郭線の下辺の中心（あるいは画素ブロックの下辺上であって、画素ブロック内で検出した中心線のＸ軸の値）を、初期位置候補とし、この初期位置候補からＹ軸に平行に下方に移動した位置にある画素であって、所定の輝度しきい値を超え、かつ、そのＹ軸方向直上の画素の輝度が所定の輝度値を下回っている画素を、末節骨よりも近位側の骨の上辺中央として、この位置を初期位置として、中心線を認識し、中心線を取り囲む矩形を設定し、当該矩形内の画像ブロックを、中心線がＹ軸に平行となるようにアフィン変換して、クロージング処理し、輪郭線を抽出する、というように処理を続ける。

これにより、親指については末節骨→基節骨→中手骨というように順次輪郭線を抽出して、当該抽出した輪郭線で囲まれる、それぞれの骨の画像部分について、対応する骨を特定する情報をラベリングする。また、人差し指、中指、薬指、小指のそれぞれについても、末節骨→中節骨→基節骨→中手骨というように順次、輪郭線を抽出し、当該抽出した輪郭線で囲まれる、それぞれの骨の画像部分について、対応する骨を特定する情報をラベリングする。

関節識別処理部２４は、骨識別処理部２３がラベリングした画像部分と、それに隣接する骨としてラベリングされた画像部分との間隙の領域を、対応する関節部分が撮像された領域としてラベリングする。

本実施の形態では、既に述べた方法により、関節を挟む一対の骨の、対向する端部のうち、輝度が比較的高い部分（高輝度部）が関節に隣接する骨の輪郭線として抽出されているので、この関節識別処理部２４により、処理対象画像データ内に撮像されている、互いに隣接する骨の、比較的輝度の高い部分でその上下が囲まれている領域（互いに隣接する一対の骨の、遠位側の骨の下部の比較的輝度の高い部分と、近位側の骨の上部の比較的輝度の高い部分とを含む外接矩形の領域）が関節部分として識別される。また関節識別処理部２４は、当該識別された関節部分の上下にある骨のラベリングの情報から、当該識別された関節部分が撮像されている、処理対象画像データ内の領域がどの関節に対応する領域であるかを識別し、各領域に、対応する関節名を関連付けて記録する。

すなわち本実施の形態のここでの例では、骨識別処理部２３及び関節識別処理部２４により、高輝度部抽出手段が実現される。

関節部特定処理部２５は、診断の評価方法として、ＶＤＨまたはGenantのどちらを用いるかの選択を、利用者から受け入れる。関節部特定処理部２５は、関節識別処理部２４が識別した関節のうち、選択された評価方法で用いる関節ごとに、対応する処理対象画像データ中の領域内の画像部分を抽出して、面積演算部２６と、間隔距離演算部２７とに出力する。

面積演算部２６は、関節部特定処理部２５が出力する画像部分のそれぞれから、比較的高い輝度で撮像されている部分（高輝度部）の画素を特定し、当該特定した画素に挟まれる部分の面積（画素数）を求める。一例として、この面積演算部２６は、関節部特定処理部２５が出力する画像部分に対してクロージング処理を行い、クロージング処理後の画像部分のうち、比較的高い輝度の画素の輪郭線を抽出する。既に述べたように、互いに隣接する一対の骨の、それぞれ関節を挟む部分が、比較的高い輝度で撮像されるので、ここでは図５（ａ）に例示するように一般的に２つの輪郭線Ｍ１，Ｍ２が抽出される。面積演算部２６は、抽出した２つの輪郭線Ｍ１，Ｍ２に含まれる画素の凸包（convex hull）Ｃを得る。面積演算部２６はこの凸包Ｃから、比較的高い輝度で撮像されている部分として、輝度が所定の輝度しきい値より高い画素（高輝度部）を除く画素の数を、面積の情報として出力する。

面積演算部２６は、この面積の情報を得て出力する処理を、関節部特定処理部２５が出力する画像部分のそれぞれについて行う。これにより本実施形態の診断画像処理装置１は、ＶＤＨまたはGenantのいずれか選択された評価方法での評価に用いられる各関節について、高輝度部間の面積の情報を得る。

間隔距離演算部２７は、関節部特定処理部２５が出力する画像部分のそれぞれから、比較的高い輝度で撮像されている部分（高輝度部）の画素を特定し、当該特定した画素に挟まれる部分の距離を求める。具体的にこの間隔距離演算部２７は、面積演算部２６と同様に、関節部特定処理部２５が出力する画像部分に対してクロージング処理を行い、クロージング処理後の画像部分のうち、比較的高い輝度の画素の一対の輪郭線Ｍ１，Ｍ２を抽出する。そして間隔距離演算部２７は、図５（ｂ）に例示するように、当該画像部分に撮像されている骨のうち、近位側の骨について、骨識別処理部２３が検出した中心線Ｈの延長線上の画素であって、上記一対の輪郭線Ｍ１，Ｍ２に挟まれる部分の画素の数をカウントし、当該カウントして得た値を高輝度部間の距離ｄとして出力する。

間隔距離演算部２７は、この処理を、関節部特定処理部２５が出力する画像部分のそれぞれについて行う。これにより本実施形態の診断画像処理装置１は、ＶＤＨまたはGenantのいずれか選択された評価方法での評価に用いられる各関節について、高輝度部間の距離の情報を得る。

出力部２８は、面積演算部２６と、間隔距離演算部２７が、ＶＤＨまたはGenantのいずれか選択された評価方法での評価に用いられる関節ごとに出力する面積の情報と、距離の情報とを、それぞれ対応する関節を特定する情報に関連付けて出力する。具体的に、この出力部２８は、表示部１４に対して図６に例示するような情報の表示を行わせる。図６（ａ）はＶＤＨが選択された例、図６（ｂ）はGenantが選択された場合の例を示す。また、この出力部２８は、面積演算部２６や間隔距離演算部２７が得た面積や距離の情報を、それぞれ平方ミリメートル及びミリメートル単位に変換してから出力してもよい。このような出力は、１画素あたりの実際の長さ（ミリメートル）の情報（別途入力を受け入れておく）を用いて容易に演算できる。

［動作］
本実施の形態の診断画像処理装置１は上述の例のような構成を備え、次のように動作する。すなわち、本実施の形態の診断画像処理装置１は、左手、右手、左足、または右足の少なくとも一つを撮像したＸ線画像の画像データを受け入れる。また診断画像処理装置１は、利用者からＶＤＨまたはGenantのどちらの評価方法を利用するかの指示を受け入れる。さらに本実施の形態の以下の例では、Ｘ線画像の画像データの１ピクセルあたりのサイズ（高さ、または幅の実際の長さ（ミリメートル））の情報が予め設定されているものとする。

診断画像処理装置１は、図７に例示するように、当該受け入れたＸ線画像を処理対象画像データとして、左手、右手、左足、または右足のいずれかの撮像範囲を検出する（Ｓ１）。ここで入力される画像データは、図３（ａ）に例示したように、両手を、手のひらを下向きにしてＸ軸方向に並べて配した状態でＸ線撮影したものであり、診断画像処理装置１は、例えばＸ軸負の側にある手を処理の対象とする。

診断画像処理装置１は、当該処理の対象となった手の指の関節のそれぞれについて、関節を挟んで対向する一対の骨のそれぞれの関節側の端部を検出する（Ｓ２）。ここでは当該端部を、輝度が比較的高い部分（高輝度部）を抽出することで検出する。

また診断画像処理装置１は、ここで抽出した高輝度部を含む骨を特定する。骨の特定（どの指のどの骨であるかの特定）は、各骨の検出された位置に基づいて行う。すなわち診断画像処理装置１は、処理対象とする手の輪郭線の変曲点（Ｙ軸方向の上に凸となる頂部（図３（ｃ）のＫ１からＫ５）または下に凸となる頂部（図３（ｃ）のＫ６からＫ９））を検出し、当該各指に対応する指の頂部（Ｋ１からＫ５のそれぞれ）の処理対象画像データ上の座標（ｘ₀，ｙ₀）を初期位置とする。そしてこの初期位置を含む輪郭線を求めて、各指のもっとも遠位側の骨（末節骨）の輪郭線とする。

また、末節骨の輪郭線のうち、近位側の骨に近い側のＸ軸方向の中心座標からＹ軸に平行に下ろした線分上で、次の骨の輪郭線を検出し、さらに各指の末節骨から一つ近位側の骨の輪郭線を検出する。診断画像処理装置１は、この処理を繰り返して、各指の各骨の輪郭線を検出する。

次に、診断画像処理装置１は、ラベリングされた各骨の画像部分の関節側端にある高輝度の画素塊を検出する。そして当該検出した高輝度部に隣接する関節を特定する情報を、当該高輝度部を含む骨を特定する情報に基づいて判断する。例えば、親指の末節骨と基節骨とのそれぞれに含まれる高輝度部間にある関節をＩＰ関節と判断する。また、人差し指の中節骨と基節骨とのそれぞれに含まれる高輝度部間にある関節をＰＩＰ関節と判断する。そして診断画像処理装置１は、抽出した高輝度部の画素群を特定する情報と、当該高輝度部に隣接する関節を特定する情報とを関連付けて記憶する。

診断画像処理装置１は、さらに、ＶＤＨまたはGenantのいずれか選択された評価方法での評価に用いられる各関節について、当該関節を挟む一対の骨の、対向する端部にある高輝度部間の距離及び面積の情報を、診断情報として生成する（Ｓ３）。そして、生成した診断情報を、実際の長さの単位（平方ミリメートルとミリメートル）に変換して、図６に例示したように、左手の診断情報として出力する（Ｓ４）。

なお、ここでは診断情報として関節部分の面積及び距離を求めることとしたが、これに代えて、またはこれとともに、さらに他の情報が含まれてもよい。

さらに診断画像処理装置１は、処理Ｓ１で検出した撮像範囲外に撮像されている他の手または足がある場合は、当該他の手または足の撮像範囲を検出して、処理Ｓ１から繰り返して処理を行ってもよい。具体的に本実施の形態では、並列して撮像された手または足の画像のうち、Ｘ軸負の側にある手または足を処理の対象とするので、他方の手または足の画像があれば、Ｘ軸方向に（Ｙ軸に軸対象に）反転して、再度、処理Ｓ１から繰り返して処理を行う。この場合は、処理Ｓ４で出力する診断情報は右手の診断情報となる。

なお、上記高輝度部の認識は、上述の例に限られず、例えば既に高輝度部の領域が確定されている処理対象画像データと、当該確定されている高輝度部の領域との関係を、多層ニューラルネットワークを用いて機械学習しておき、この機械学習した多層ニューラルネットワークを用いて高輝度部の領域を認識してもよい。

また、所定閾値以上の輝度となっている部分の輪郭線を抽出し、抽出した輪郭線の位置と、関節を特定する情報（親指第一関節（ＩＰ）などといった情報）との関係を、多層ニューラルネットワークを用いて機械学習しておき、この機械学習した多層ニューラルネットワークを用いて高輝度部の領域と関節を特定する情報とを得てもよい。

［骨の輪郭線検出の変形例］
また、上述の骨識別処理部２３では、骨の輪郭線の検出にあたり、指の長さを考慮して、輪郭線検出の誤りの可能性を低減してもよい。具体的にこの例の骨識別処理部２３は、検出した指先と指の股との間の距離を算出して、最長の指の長さの情報を得る。ここで骨識別処理部２３は、互いに隣接する、下に凸となる頂部Ｋ６とＫ７、Ｋ７とＫ８、及びＫ８とＫ９のそれぞれを結ぶ仮想的な線分Ｌ１，Ｌ２，Ｌ３を生成する。次に、上に凸となる頂部Ｋ１からＫ５のうち、頂部Ｋ２から線分Ｌ１までの最短距離Ｚ１、頂部Ｋ３から線分Ｌ２までの最短距離Ｚ２、頂部Ｋ４から線分Ｌ３までの最短距離Ｚ３を求め、これらのうち最長のもの（通常は中指のため、頂部Ｋ３から線分Ｌ２までの最短距離Ｚ２が最長となる）を、最長の指の長さの情報とする。

骨識別処理部２３は、この最長の指の長さの情報を用いて指の各骨の長手方向の長さを推定する。すなわち、骨識別処理部２３は、記憶部１２に予め格納した、一般的な人間の、最長の指の長さに対する各骨の長手方向の長さの比の情報を参照する。この情報は、例えば、図８に例示するように、最長の指の長さに対する、親指の末節骨，基節骨，中手骨の長さの比、最長の指の長さに対する人差し指、中指、薬指、小指のそれぞれの末節骨、中節骨、基節骨、中手骨の長さの比の情報を含む。

骨識別処理部２３は、Ｙ軸方向の上下の骨の輪郭線を抽出したときに、当該骨の上下方向の長さを求め、当該長さが、上記推定された対応する骨の長手方向の長さに対して所定の比の範囲（例えば０．８から１．２の間、など「１．０（一致する場合）」を含む範囲）にない場合には、コントラストを平均化する等、コントラストを調整する処理を行ってから、再度、当該骨の輪郭線を抽出する処理を繰り返すこととしてもよい。

［輪郭線の修正］
また、骨識別処理部２３が生成した骨ごとの輪郭線は、利用者が修正可能となっていてもよい。一例として、本実施の形態の診断画像処理装置１は、骨の輪郭線を得た後、当該輪郭線をスプライン曲線（例えば３次Ｂスプライン曲線）でフィッティングする。このフィッティングの方法は広く知られているので、ここでの詳しい説明を省略する。

そして診断画像処理装置１は、スプライン曲線でフィッティングした各骨の輪郭線を、処理対象画像データの対応する位置に重ねて描画して表示部１４に表示し、スプライン曲線の制御点の位置の移動操作を、利用者から操作部１３を介して受けて、移動後の制御点に基づくスプライン曲線を生成して描画内容を更新する。これにより利用者は、実際のＸ線画像データを視認しつつ、対応する骨の輪郭線を手動で修正できる。

［記録］
また本実施の形態の診断画像処理装置１は、診断対象者を特定する情報（Ｘ線画像データに撮像されている人物を特定する氏名などの情報）の入力を受けて、生成した診断情報を、この入力された診断対象者を特定する情報と、Ｘ線画像データの撮像日時（別途入力を受け入れておく）とに関連付けて、図示しないデータベースに記録してもよい。

この例では、診断画像処理装置１は、同じ診断対象者について、互いに異なる複数の時点（撮像日時）で撮像されたＸ線画像データに基づく診断情報の推移を表す統計情報やグラフ情報、外挿演算の結果（将来の時点で予測される診断情報）等を生成して表示してもよい。この情報により、医師等が骨の変形状態だけでなく、その時間経過、すなわち変形の進行や改善の状況を把握しやすくなり、骨の変形の進行または改善に係る評価が支援される。

さらにこのとき、診断情報とともに、各骨の輪郭線の情報（例えば骨の輪郭線にフィッティングしたＢスプライン曲線を特定する情報）を入力された診断対象者を特定する情報と、Ｘ線画像データの撮像日時とに関連付けてデータベースに記録してもよい。

このようにしておくと、同じ診断対象者について、互いに異なる複数の時点（撮影日時）で得られた診断情報（輪郭線の情報等）を比較することで、時間経過ともに各骨の輪郭線がどのように変化したかを調べることが可能となり、骨の侵食（Erosion）の分析が可能となる。すなわち変形の進行や改善の状況を把握しやすくなり、骨の変形の進行または改善に係る評価が支援される。

［手首の骨］
ここまでの説明では、指の骨の間の関節部分について面積等の診断情報を生成する例について述べたが、ＶＤＨやGenant等の評価方法では、手首の骨の間の間隙についても面積や距離の情報を生成しておくことが好ましい。

この場合、手首部分の骨の形状は個人差が比較的大きいため、多層ニューラルネットワークによる機械学習によって、各骨の輪郭線を推定し、推定結果に基づいて利用者が適宜輪郭線の位置を調整して面積や間隙の距離の情報を生成することとしてもよい。

［実施形態の効果］
本実施の形態によると、Ｘ線画像データに基づき、手や足の各骨の輪郭線近傍において、関節を挟んで対向する、骨の比較的硬い部分が高輝度部として識別され、当該高輝度部の間の面積や距離の情報が演算されて表示される。これにより、目視により間隙の状態を判定する場合に比べ、面積や距離といった数値情報が得られ、関節の間隙の大きさが定量的に評価可能となる。

１診断画像処理装置、１１制御部、１２記憶部、１３操作部、１４表示部、１５インタフェース部、２１画像受入部、２２前処理部、２３骨識別処理部、２４関節識別処理部、２５関節部特定処理部、２６面積演算部、２７間隔距離演算部、２８出力部。

Claims

手または足のＸ線画像の入力を受け入れる受入手段と、
前記受け入れたＸ線画像から、左手、右手、左足、または右足の撮像範囲を検出し、当該検出した撮像範囲内に撮像された左手、右手、左足、または右足の、少なくとも、ファン・デル・ハイジ（ＶＤＨ）またはゲナン（Genant）のいずれか選択された評価方法での評価に用いられる各関節について、当該関節を挟む一対の骨の、対向する端部のうち、輝度が比較的高い部分を抽出する高輝度部抽出手段と、
前記選択された評価方法での評価に用いられる関節ごとに、前記抽出した高輝度部間の距離及び面積の情報を、診断情報として生成する診断情報生成手段と、
前記生成した診断情報を出力する出力手段と、
を含む、診断画像処理装置。
請求項１に記載の診断画像処理装置であって、
前記受け入れたＸ線画像から、左手、右手、左足、または右足の撮像範囲を検出し、当該検出した撮像範囲内に撮像された、各骨の輪郭線を設定する輪郭線設定手段を有し、
前記高輝度部抽出手段は、前記設定された輪郭線を用いて、抽出した高輝度部を含む骨を特定するとともに、当該高輝度部に隣接する関節を特定する情報を、抽出した高輝度部の情報とともに出力し、
前記診断情報生成手段は、前記選択された評価方法での評価に用いられる関節ごとに、前記抽出された、前記隣接する関節が特定されている高輝度部間の距離及び面積の情報を、診断情報として生成し、当該生成した診断情報に係る関節を特定する情報に関連付けて出力する、診断画像処理装置。
請求項２に記載の診断画像処理装置であって、
前記輪郭線設定手段は、前記検出した撮像範囲内に撮像された各指のうち、最長の指について長さを推定し、当該推定した指の長さに対し、予め定められた比率で、前記検出した撮像範囲内に撮像された各骨の長さを推定し、当該推定された長さを用いて、各骨の輪郭線を設定する診断画像処理装置。
請求項１から３のいずれか一項に記載の診断画像処理装置であって、
前記受け入れたＸ線画像に撮像されている、診断対象者を特定する情報と、当該Ｘ線画像の撮像日時の情報との入力をさらに受け入れて、
前記診断情報を、前記受け入れた診断対象者を特定する情報と撮像日時の情報とに関連付けて記録する手段をさらに含み、
診断対象者ごとの、互いに異なる撮像日時のＸ線画像に基づく診断情報の記録を出力する診断画像処理装置。
コンピュータを用いて、
手または足のＸ線画像と、当該Ｘ線画像に撮像されている診断対象者を特定する情報と、当該Ｘ線画像の撮像日時の情報とを入力し、当該Ｘ線画像から、左手、右手、左足、または右足の撮像範囲を検出し、当該検出した撮像範囲内に撮像された左手、右手、左足、または右足の、少なくとも、ファン・デル・ハイジ（ＶＤＨ）またはゲナン（Genant）のいずれか選択された評価方法での評価に用いられる関節を挟む一対の骨の、対向する端部のうち、輝度が比較的高い部分を抽出する工程と、
前記抽出した高輝度部間の距離及び面積の情報を、診断情報として生成する工程と、
前記生成した診断情報を、前記受け入れた診断対象者を特定する情報と撮像日時の情報とに関連付けて記録する工程と、
診断対象者ごとの、互いに異なる撮像日時のＸ線画像に基づく診断情報の記録を出力する工程と、
を含む、骨変形の進行又は改善の評価支援方法。
コンピュータを、
手または足のＸ線画像の入力を受け入れる受入手段と、
前記受け入れたＸ線画像から、左手、右手、左足、または右足の撮像範囲を検出し、当該検出した撮像範囲内に撮像された左手、右手、左足、または右足の、少なくとも、ファン・デル・ハイジ（ＶＤＨ）またはゲナン（Genant）のいずれか選択された評価方法での評価に用いられる関節を挟む一対の骨の、対向する端部のうち、輝度が比較的高い部分を抽出する高輝度部抽出手段と、
前記抽出した高輝度部間の距離及び面積の情報を、診断情報として生成する診断情報生成手段と、
前記生成した診断情報を出力する手段と、
として機能させるプログラム。