JP3234668U

JP3234668U - Ｘ線による脊柱側弯症の画像認識システム

Info

Publication number: JP3234668U
Application number: JP2021003176U
Authority: JP
Inventors: 永明西; 環楊; 同帥徐; ▲ゆう▼▲くん▼ 杜
Original assignee: Affiliated Hospital of University of Qingdao
Current assignee: Affiliated Hospital of University of Qingdao
Priority date: 2021-08-17
Filing date: 2021-08-17
Publication date: 2021-10-28
Anticipated expiration: 2031-08-17

Abstract

【課題】マン・マシンインタラクション操作なしに、椎体、仙椎、腸骨の正確なセマンティックセグメンテーションとマークを実現し、本当の意味での脊椎自動セグメンテーションを実現する。また、計算量が少なく、高いリアルタイム性と高いセグメンテーション精度を備えており、今後の脊柱Ｘ線写真における医療パラメータのスマート測定の基礎を築く、Ｘ線による脊柱側弯症の画像認識システムを提供する。
【解決手段】脊柱Ｘ線写真を取得するための画像取得装置と、画像取得装置に接続され、脊柱Ｘ線写真の画像情報を処理して初期画像情報を得るための画像処理装置と、画像処理装置に接続され、初期画像情報を認識して対象画像情報を得るための画像認識装置と、画像認識装置に接続され、対象画像情報を表示する表示装置を備えている。
【選択図】図１

Description

本考案は、医用画像のセグメンテーションの分野に属し、特にＸ線による脊柱側弯症の画像認識システムに関するものである。

脊柱は椎体、椎間板、脊髄の３つの重要な部分からなる複雑な解剖学的構造を持つ人体の重要な部分であり、思春期の特発性脊柱側弯症、腰椎変性脊柱側弯症、腰椎椎間板ヘルニア、腰椎管狭窄症、骨粗松症、骨増殖、脊柱結核、脊柱腫瘍など数多くの脊柱疾患の構造的基盤となっている。脊柱疾患は公衆衛生に影響を与えるいくつかの永続的な疾患の一つとなっており、社会に大きな経済的負担をもたらしている。従来の脊柱疾患の診断では、脊柱外科医は患者の症状と画像検査を組み合わせて診断を下す必要があり、コンピュータ断層撮影のＣＴ画像、磁気共鳴画像のＭＲ画像、Ｘ線透過照射の写真など、疾患ごとに異なる画像レポートを組み合わせる必要があった。Ｘ線写真は、その利便性と低コストのため、脊柱疾患、特に脊柱変形疾患の診断に広く用いられている。

現在、脊柱Ｘ線写真には主に２４個の椎体（頚椎１〜７、胸椎１〜１２、腰椎１〜５）、仙椎、腸骨の各部位が含まれており、各部位の医学的パラメータは現在も脊柱外科医が手動で測定し、演繹的に計算しているが、手動による測定には以下のような問題がある。１）脊柱Ｘ線写真の診断には多数の医学的パラメータを測定し、演繹的に計算する必要があるため、作業が煩雑で写真を読むのに時間がかかる。２）ＣＴやＭＲ画像に比べて、Ｘ線写真の画像の鮮明度が悪く、脊椎のエッジがぼやけやすく、肋骨や臓器の軟部組織などの干渉成分が多いため、手動による測定の誤差を避けることが難しい。３）専門性が高く、新人医師が習得するのは困難で時間がかかるため、規範的な測定と診断技術を習得できる脊柱外科医は非常に少ないが、脊柱奇形疾患は通常広く発生し、初等病院の整形外科医が正確な診断指導を与えることは困難なので、治療を遅らせる。4）再現性が悪く、患者ごとに症状が異なる。医師の手作業による測定や計算などの繰り返し作業が多く、経験豊富な脊柱外科医でも忘れや怠慢などで測定誤差が生じ、その後の治療に影響を及ぼす。

人工知能（Artificial Intelligence, AI）技術、特に深層訓練の発展に伴い、ＡＩ支援脊柱Ｘ線診断が注目を集めている。医師は脊柱Ｘ線画像をコンピュータに入力するだけで、脊柱部を自動的に位置決めして、必要な医療パラメータを測定・計算し、スマート診断を完了する。その中で、自動かつ正確な位置決めと脊柱を分割するのは、ＡＩ支援診断の第一のコアステップであり、各椎体の正確な分割が達成されて初めて、医用画像の測定ガイドラインを用いてコブ角、頸椎７番のプラムライン、仙椎の垂直二等分線、頂椎のオフセット、仙椎の傾き、冠状面のバランス、体幹の傾き角度などの必要な医学的指標を測定できる。脊柱Ｘ線写真上の椎体を全自動で精密にセグメンテーションすることに関する報告はほとんどない。

上記の目的を達成するために、本考案は以下の解決策を提供する：Ｘ線による脊柱側弯症の画像認識システムは、脊柱Ｘ線写真を取得するための画像取得装置と、前記画像取得装置に接続され、前記脊柱Ｘ線写真の画像情報を処理して初期画像情報を得るための画像処理装置と、前記画像処理装置に接続され、前記初期画像情報を認識して対象画像情報を得るための画像認識装置と、前記画像認識装置に接続され、前記対象画像情報を表示する表示装置から構成されている。
好ましくは、前記画像取得装置は、Ｘ線検査装置である。
好ましくは、前記Ｘ線検査装置は、出力画像サイズが５０ｍｍ〜１００ｍｍで、最大取得厚さが５００ｍｍである。
好ましくは、前記画像処理装置は、Ａｔｍｅｇａ１２８Ｌワンチップマイクロコンピュータである。
好ましくは、前記画像処理装置は、少なくとも第１処理モジュール、第２処理モジュール、第３処理モジュールから構成され、
前記第１処理モジュールは、前記脊柱Ｘ線写真の椎体、仙椎、および腸骨をセグメント化するためのものであり、
前記第２処理モジュールは、脊柱と仙椎の連結部分を抽出し、前記脊柱と仙椎の連結部分に応じて仙椎領域を除去し、椎体領域を取得し、
前記第３処理モジュールは、前記椎体部を切断して、椎体ブロック画像セットを得るために使用される。
好ましくは、前記画像認識装置は、前記椎体ブロック画像のセットを認識して、対象椎体画像を得るために使用される。
好ましくは、前記表示装置はタッチディスプレイを使用する。
好ましくは、前記タッチディスプレイは、分割表示に対応でき、異なる段階の画像情報を分割して表示できる。
好ましくは、前記認識システムは電源装置をさらに備え、前記電源装置は認識システム全体に電力を供給する。

好ましくは、前記認識システムは記憶装置をさらに備え、前記記憶装置は前記画像取得装置、画像処理装置、および画像認識装置にそれぞれ接続され、各段階の画像情報を記憶する。

（１）本考案で提案するＸ線による脊柱側弯症の画像認識システムは、脊柱のＸ線写真を対象とし、１８個の椎体（頚椎７番から腰椎５番まで）、仙椎、腸骨を、マン・マシンインタラクション操作なしに正確なセマンティックセグメンテーションとマークを実現し、本当の意味での脊椎の自動セグメンテーションを実現した。

（２）計算量が少なく、リアルタイム性が高い。最初に粗いセグメンテーションを行い、次に細かいセグメンテーションを行う戦略で、構築されたディープニューラルネットワークを用いて、脊柱領域を迅速に位置決めしてから、その後の椎体の細かいセグメンテーションを実現している。

（３）セグメンテーションの精度は高く、構築されたニューラルネットワーク脊椎のセマンティック特性とエッジ特性を両立させ、それに基づいて画像モルフォロジー分析を用いて処理を最適化しているため、セグメンテーションされた椎体は独立し無傷のエッジを維持することができ、その後の脊柱Ｘ線写真の医療パラメータのスマート測定のために基礎を築いている。

以下、考案の実施形態または先行技術における技術的解決策をより明確に説明するために、実施形態で使用する添付図面を簡単に説明するが、以下の説明における添付図面は考案の一部の実施形態に過ぎず、当業者が創造的な作業を行うことなく、これらの添付図面に従って他の添付図面を得ることができることは明らかである。
図１は、本考案の実施形態のシステム構成図である。

以下、本考案の実施形態における技術的解決策を、実施形態における添付図面と併せて明確かつ完全に説明するが、説明された実施形態は考案の実施形態の一部に過ぎず、その全てではないことは明らかである。考案の実施形態に基づいて、当業者が創造的な労働をすることなく得た他のすべての実施形態は、本考案の保護の範囲に入る。

本考案の上述の目的、特徴、および利点をより明白かつ理解しやすくするため、本考案を添付の図面および具体的な実施形態と併せて以下にさらに詳細に説明する。
図１に示すように、本考案は、Ｘ線による脊柱側弯症の画像認識システムを提案する。

脊柱のＸ線写真を取得する画像取得装置はＸ線検査装置であり、前記Ｘ線検査装置の取得画像の出力画像サイズは５０ｍｍ〜１００ｍｍであり、最大取得厚さは５００ｍｍである。

画像取得装置に接続された画像処理装置は、脊柱Ｘ線写真の画像情報を処理して初期画像情報を得るために使用される。本実施形態の画像処理装置はＡｔｍｅｇａ１２８Ｌワンチップマイクロコンピュータであり、画像処理装置は少なくとも第１処理モジュール、第２処理モジュール、および第３処理モジュールを含み、第１処理モジュールは、脊柱Ｘ線写真の椎体、仙椎、および腸骨をセグメント化するためのものであり、第２処理モジュールは、脊柱と仙椎の連結部分を抽出し、脊柱と仙椎の連結部分に応じて仙椎領域を除去し、椎体領域を取得し、第３処理モジュールは、椎体領域を切断して、椎体ブロック画像セットを得るために使用される。
画像認識装置は画像処理装置に接続され、初期画像情報を認識して、対象画像情報を取得するために使用される。
さらに、画像認識装置は、椎体ブロック画像セットを認識することにより、対象となる椎体画像を得る。

表示装置はタッチディスプレイを使用し、画像認識装置に接続され、対象となる画像情報を表示する。タッチディスプレイは、分割表示に対応でき、異なる段階の画像情報を分割して表示できる。
認識システムは電源装置をさらに備え、電源装置は認識システム全体に電力を供給するために使用される。

認識システムは記憶装置をさらに備え、記憶装置が画像取得装置、画像処理装置、および画像認識装置にそれぞれ接続され、各段階の画像情報を記憶する。

本実施形態では、画像処理装置と画像認識装置が核となっており、そのワークフローは、１）脊柱の分割、２）柱体の抽出、３）椎体の分割、４）椎体の認識の４つの核となるステップを含めて以下に規定されている。
具体的には以下の通りである。

Ｓ１：脊柱Ｘ線写真のデータセット（ＳｐｉｎｅＸデータセット）を入手する。このデータセットは、病院の脊柱外科からＸ線検査装置経由で提供されたもので、各画像の脊柱の湾曲姿勢や解像度が異なる計６０枚の脊柱Ｘ線写真が含まれている。脊柱Ｘ線写真の前処理は、ＤＩＣＯＭ、ＩＭＯ、ＩＭＧ、ＴＩＦＦ、ＪＰＥＧ、ＢＭＰ、ＲＡＷなどの様々なフォーマットの脊柱の全長Ｘ線画像を一括して取り込み、画像フォーマットをＰＮＧ形式に統一して変換し、変換時にヒストグラムにより最も鮮明な表示状態に調整する。また、画像データのフィルタリング、パンニング、トリミング、回転、明るさ、コントラストなどの調整を行う。処理後、脊柱外科医はデータセット画像にアノテーションを施し、脊柱領域のセグメンテーションマスクアートワークを得て、このマスクは柱体、仙椎、腸骨部分を含む。正確なアノテーションを行うために、柱体と仙椎は１つの連結された領域として、両側の腸骨は２つの連結された領域としてアノテーションされる。

Ｓ２：ディープニューラルネットワーク（Semantic and Edge aware Deep neural Network, SEDNet）は、脊柱のセマンティックな特徴とエッジの特徴を考慮して構築される。このネットワークは、エンコーダ−デコーダ方式を採用しており、エンコーダは入力Ｘ線画像が与えられた後、ニューラルネットワークを通じて入力画像の特徴マップを訓練し、デコーダは得られた特徴マップに基づいて各画素の類別アノテーション、すなわちセマンティックセグメンテーションを段階的に実行する。このエンコーダでは、マルチスケールのコンボリューションを用いて特徴を抽出し、連続する５つのコンボリューション操作（Ｃｏｎｖ）を設定し、コンボリューションテンプレートサイズは３＊３、コンボリューションステップサイズは１、コンボリューションチャンネル数は３２，６４，１２８，２５６，５１２とし、ＬＲｅｌｕニューロン活性化関数を用いてコンボリューション特徴に非線形変換を行い、包括的なマルチスケール画像特徴を深く掘り下げる。各層のコンボリューション操作の後、２＊２最大プーリング（ＭａｘＰｏｏｌｉｎｇ）を用いて特徴を圧縮してマッピングすることで、モデルのロバスト性を向上させ、オーバーフィッティングを低減する。

デコーダのメインチャネルでは、５層コンボリューション後に得られた特徴マップの画像サイズを拡大するために４回のアップサンプリングを行い、そのアップサンプリング信号によって画像のセマンティック情報を徐々に抽出し、最終的に入力画像と同じサイズのセグメンテーションマスクを得ることができる。同時に、デコーダでは、原画の情報をより多く活用するために、スキップコネクション方式を用いてデコーダ側で対応するスケール特徴マップ（スキップ信号）を取得し、アップサンプリング信号と融合させる。通常、スキップ信号には画像の位置情報が多く含まれ、アップサンプル信号にはセマンティック情報が多く含まれる。ＳＥＤＮｅｔのデコーダ側で、アップサンプリング信号とスケールスキップ信号に多層加重融合を行うために、エッジを考慮した特徴融合メカニズム（Boundary aware feature Fusion Mechanism,ＢＦＭ）を提案する。

ここで、ｃはｃ番目のチャンネルを表す。ボトルネック型２層完全連結ネットワーク構造を用いて、Ｘに対する信号変換を行い、信号の差分に対する重み分布ベクトルＳを得る。Ｓは以下のように算出される。

一方、デコーダ側では、３つの追加接続（Ｅｘｔｒａｃｏｎｎｅｃｔｉｏｎ）を用いて、エンコーダの３つの異なるスケールの特徴マップを、より大きなコンボリューションカーネルを用いて展開し、それぞれのコンボリューションカーネルは１６ｘ１６、８ｘ８、４ｘ４で、ステップサイズは８、４、２とし、異なるスケールの３つのセグメンテーションマスクを得る。これらの３つのセグメンテーションマスクは、アップサンプリングチャンネルのセグメンテーションマスクを平均し、最終的な脊柱のセグメンテーションマスクアートワークが得られる。

Ｓ３：ＳｐｉｎｅＸｄａｔａｓｅｔをもとに、Ｓ２で構築したＳＥＤＮｅｔを訓練し、脊柱の粗いセグメンテーション専用のニューラルネットワークを得て、ＳＥＤＮｅｔ−Ｓと命名する。このうち、ＮｖｉｄｉａＧｅＦｏｒｃｅＴＲＸ２０８０グラフィックスカードの使用を訓練し、訓練率０．００１で、イテレーションを２００回行う。訓練に用いた損失関数は、クロスエントロピー損失関数である。

Ｓ４：ＳＥＤＮｅｔ−Ｓによる脊柱全体のセグメンテーション結果を得る。柱体の抽出ボタンを使って、椎体と仙椎の連結部分を抽出し、この部分をエッジとセンターラインで検出し、エッジの変化を利用して仙椎部を削除する。全体的な脊柱のセグメンテーションマスク（脊柱部の値は１、それ以外は０）に対して、まず５×１のダブルスライディングウィンドウ（ＳＷ）を使って脊柱のエッジを検出する。各垂直座標値を上から下へと走査し、左窓は左から右へ、右窓は右から左へと同じ水平線上をスライドして検出し、窓の画素値の合計が３であれば、現在の画素点はエッジ点と判断される。左右のエッジ点の中心点を結ぶ線を脊柱の中心線とし、左右のエッジ点の変異部を椎体と仙椎を結ぶ領域になり、変異部を結んで仙椎領域を削除し、最小外接矩形を用いて椎体領域を挟み込む。

Ｓ６：Ｓ１の全ての脊柱Ｘ線写真が処理され、Ｓ４とＳ５で全ての椎体画像がセグメント化される。椎体ブロック（ＶｅｒｔｅｂｒａＰａｔｃｈ）の画像セット（ＶＰdataset）を取得する。このＶＰデータセットには、合計３６０個の椎体ブロックが含まれており、この画像セットには、脊柱外科医が画像中の椎体のエッジを描くためのアノテーションが施され、すべての椎体のセグメンテーションマスクアートワークを得る。椎体ブロックとそのマスクアートワークの例を、図１の椎体セグメンテーションボタンに示す。

ＶＰデータセットと椎体マスクアートワークをもとに、Ｓ３と同じ訓練設定でＳＥＤＮｅｔを再訓練し、椎体の微細なセグメンテーションに特化したディープ・ニューラル・ネットワーク（ＳＥＤＮｅｔ−Ｖ）を得る。

Ｓ７：任意の入力Ｘ線脊柱画像に対して、脊柱セグメンテーションネットワークＳＥＤＮｅｔ−Ｓを用いて脊柱の定位を得た後、Ｓ４およびＳ５の脊柱体切断法に従って、画像をオーバーラップさせずに切断し、対応する椎体ブロックを得る。各錐体ブロックのセマンティック・セグメンテーションは、椎体セグメンテーション・ネットワークであるのＳＥＤＮｅｔ−Ｖを用いて行われ、対応する椎体セグメンテーション・マスクアートワークが得られる。

Ｓ８：Ｓ７で得られた全ての椎体マスクに対して、最適化演算を行う。まず、画像モルフォロジーのオープン演算を用いて、各椎体マスクに対してエッジスムージングを行い、その後、椎体マスクに凹凸検測を適用して、大きな凹みのある椎体（部分的に癒着が生じている椎体）をセグメント化する。ここで使われている画像モルフォロジー演算はオープン演算であり、異なる連結領域間の小さな連結を切断するために、連結領域の最小の外側の長方形の長さと幅に基づいて適応する連結カーネルが設定される。凹凸検測では、まず各連結領域のコンベックスハル（ｃｏｎｖｅｘｉｔｙｈｕｌｌ）を検出し、次にすべての欠陥ハル（（ｃｏｎｖｅｘｉｔｙｄｅｆｅｃｔｓ））を検出し、各欠陥ハルがコンベックスハルからの最遠点
（ファーポイント）とその最遠距離をカウントする。この最遠距離が連結領域の最

それをセグメンテーションポイントとみなす。このセグメンテーションポイントにより、最小の外側の長方形の横方向にセグメンテーションが行われ、付着した椎体が切り離される。

得られた全ての椎体マスクをステッチすることで、完全なエッジを持つ１８個の独立した椎体が得られる。この１８個の椎体は、上から順に頚椎７番、胸椎１〜１２番、腰椎１〜５番に対応しており、脊柱Ｘ線写真における椎体の正確な分割・認識を実現する。
上述した実施形態は、考案の好ましい態様を説明したものに過ぎず、考案の範囲を限定するものではない。考案の設計精神を逸脱することなく、当業者が本考案の技術的解決策に加えたあらゆる種類の変形や改良は、本実用新案の登録請求の範囲によって決定される保護の範囲に含まれるものとする。

Claims

Ｘ線による脊柱側弯症の画像認識システムであって、
脊柱Ｘ線写真を取得するための画像取得装置と、前記画像取得装置に接続され、前記脊柱Ｘ線写真の画像情報を処理して初期画像情報を得るための画像処理装置と、前記画像処理装置に接続され、前記初期画像情報を認識して対象画像情報を得るための画像認識装置と、前記画像認識装置に接続され、前記対象画像情報を表示する表示装置から構成されていることを特徴としている。
請求項１に記載のＸ線による脊柱側弯症の画像認識システムにおいて、前記画像取得装置がX線検査装置であることを特徴としている。
請求項２に記載のＸ線による脊柱側弯症の画像認識システムにおいて、前記Ｘ線検査装置の出力画像サイズが５０ｍｍ〜１００ｍｍ、最大取得厚さが５００ｍｍであることを特徴としている。
請求項１に記載のＸ線による脊柱側弯症の画像認識システムにおいて、前記画像処理装置にはＡｔｍｅｇａ１２８Ｌワンチップマイクロコンピュータが使用されることを特徴としている。
請求項４に記載のＸ線による脊柱側弯症の画像認識システムにおいて、
前記画像処理装置は、少なくとも第１処理モジュール、第２処理モジュール、第３処理モジュールで構成されており、
前記第１処理モジュールが前記脊柱Ｘ線写真中の椎体、仙椎、腸骨をセグメント化するためのものであり、
前記第２処理モジュールが脊柱と仙椎の連結部分を抽出するためのもので、前記脊柱と仙椎の連結部分に応じて仙椎領域を除去し椎体領域を取得することであり、
前記第３処理モジュールが前記椎体領域を切断し椎体ブロック画像セットを得るためのものであることを特徴としている。
請求項４に記載のＸ線による脊柱側弯症の画像認識システムにおいて、前記画像認識装置が前記椎体ブロック画像セットを認識し、対象となる椎体画像を得るためのものであることを特徴としている。
請求項１に記載のＸ線による脊柱側弯症の画像認識システムにおいて、前記表示装置はタッチディスプレイを採用することを特徴としている。
請求項７に記載のＸ線による脊柱側弯症の画像認識システムにおいて、前記タッチディスプレイは分割表示に対応でき、異なる段階の画像情報を分割して表示できることを特徴としている。
請求項１に記載のＸ線による脊柱側弯症の画像認識システムにおいて、前記認識システムには電源装置をさらに備え、前記電源装置は認識システム全体に電力を供給するためのものであることを特徴としている。
請求項１に記載のＸ線による脊柱側弯症の画像認識システムにおいて、前記認識システムは記憶装置をさらに備え、前記記憶装置は前記画像取得装置、画像処理装置、および画像認識装置にそれぞれ接続され、各段階の画像情報を記憶することを特徴としている。