JP7414432B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP7414432B2
JP7414432B2 JP2019163273A JP2019163273A JP7414432B2 JP 7414432 B2 JP7414432 B2 JP 7414432B2 JP 2019163273 A JP2019163273 A JP 2019163273A JP 2019163273 A JP2019163273 A JP 2019163273A JP 7414432 B2 JP7414432 B2 JP 7414432B2
Authority
JP
Japan
Prior art keywords
image
image processing
rotation
rotation angle
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019163273A
Other languages
English (en)
Other versions
JP2021040750A (ja
JP2021040750A5 (ja
Inventor
直人 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019163273A priority Critical patent/JP7414432B2/ja
Priority to PCT/JP2020/028197 priority patent/WO2021044757A1/ja
Publication of JP2021040750A publication Critical patent/JP2021040750A/ja
Priority to US17/683,394 priority patent/US20220189141A1/en
Publication of JP2021040750A5 publication Critical patent/JP2021040750A5/ja
Application granted granted Critical
Publication of JP7414432B2 publication Critical patent/JP7414432B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、放射線撮影により得られた画像の回転ずれを補正する技術に関する。
医療分野ではデジタル画像の利用が進んでおり、放射線(X線等)を、間接的または直接的に電気信号に変換するフラットパネルディテクタ(以下、FPDと呼ぶ)を用いた放射線撮影装置が主流となっている。また、近年では軽量化やワイヤレス化により可搬性に優れたカセッテタイプのFPDが登場し、より自由な配置での撮影が可能となっている。
ところで、カセッテタイプのFPDを用いた撮影では、FPDに対して被写体を自由に配置できるため、撮影された画像上において被写体の向きが不定となる。そのため、撮影後に適正な向き(例えば、被写体の頭部側が画像の上側)となるように画像を回転させる必要がある。また、カセッテタイプのFPDに限らず据置型のFPDを用いた立位や臥位などの撮影においても、FPDのポジショニングによっては被写体の向きが適正とならないため、撮影後に画像を回転させる必要がある。
このような画像の回転操作は非常に煩雑であり、操作者の負担増につながる。そこで、画像を自動で回転する方法がこれまでに提案されている。例えば、特許文献1では、患者方向、放射線撮影の視野位置等といったユーザー入力の情報を用いて回転反転方向を決定し、当該決定した方向で画像に対して回転または反転の少なくとも一方の処理を施す方法が開示されている。また、特許文献2では、胸部画像より椎体領域を抽出し、椎体方向が垂直となるよう胸部画像を回転させる方法が開示されている。また、特許文献3では、回転角度をクラスとしたクラス分類によって画像の向きを求める方法が開示されている。
特開2017-51487号公報 特許第5027011号公報 特表2008-520344号公報
しかしながら、特許文献1の方法はユーザー入力の情報を用いて一律基準で画像を回転することができるが、FPDのポジショニングによって発生する撮影毎の微妙な回転ずれを補正することができないという課題がある。また、特許文献2の方法は胸部画像の性質を利用した方法であり、胸部以外の様々な撮影部位に適用できないという課題がある。また、特許文献3の方法は注目領域から画像の向きを求めるが、注目領域の算出方法が予め定められている。そのため、ユーザーの嗜好や使用環境に柔軟に対応できないという課題がある。例えば、膝関節の撮影において、大腿骨を基準として画像の向きを合わせる場合や下腿骨を基準として画像の向きを合わせる場合など、ユーザーによって画像の向き調整の基準は様々である。そのため、ユーザーが画像の向き調整の基準としたい領域と注目領域とが異なると、所望とする回転が行えない場合がある。
本発明は上記課題に鑑みてなされたものであり、様々な条件変化に対応可能な画像の回転ずれ補正のための技術を提供することを目的とする。
本発明の目的を達成するための一手段として、本発明による画像処理装置は以下の構成を備える。すなわち、放射線撮影により得られた放射線画像を、教師データを用いて機械学習によって予め学習されたパラメータを用いて複数の領域に分割する分割手段と、
操作者による指示に応じて、前記分割された複数の領域から基準となる1つ以上の領域を対象領域として抽出する抽出手段と、
前記抽出された対象領域の主軸の方向と、操作者による指示により設定された回転の方向および回転後の主軸の方向と、に基づいて回転角度を決定する決定手段と、
前記決定された回転角度に基づいて前記放射線画像を回転させる回転手段と、
を備える。
本発明によれば、様々な条件変化に対応可能な画像の回転ずれ補正のための技術が提供される。
実施形態1による放射線撮影装置全体の構成例を示す図である。 実施形態1による画像処理の処理手順を示すフローチャートである。 実施形態2による放射線撮影装置全体の構成例を示す図である。 実施形態2による画像処理の処理手順を示すフローチャートである。 (a)はクラスとラベルの関係の一例を示し、(b)は、撮影プロトコルに紐付けされた情報の一例を示す。 対象領域の抽出処理の例を示す図である。 主軸角度を算出処理の例を示す図である。 主軸の向きを示す図である。 回転方向の設定による動作例を示す図である。 回転方向の設定による動作例を示す図である。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[実施形態1]
(放射線撮影装置の構成)
図1に、本実施形態による放射線撮影装置100の全体の構成例を示す。放射線撮影装置100は、放射線発生部101、放射線検出器104、データ収集部105、前処理部106、CPU(Central Processing Unit)108、記憶部109、操作部110、表示部111、画像処理部112を備えており、これらの構成要素はCPUバス107を介して互いにデータ授受が可能に接続されている。画像処理部112は、放射線撮影により得られた放射線画像の回転ずれを補正する役割を有し、分割部113、抽出部114、決定部115、回転部116、修正部117を備える。
記憶部109は、CPU108での処理に必要な各種のデータを記憶すると共に、CPU108のワーキング・メモリとして機能する。CPU108は、放射線撮影装置100全体の動作制御等を行う。操作者が操作部110を介して複数の撮影プロトコルの中から所望の1つの撮影プロトコルを選択することで、放射線撮影装置100への撮影指示がなされる。撮影プロトコルの選択処理は、例えば記憶部109に記憶されている複数の撮影プロトコルが表示部111に表示され、操作者(ユーザー)が表示された複数の撮影プロトコルの中から操作部110を介して所望の1つを選択することにより行われる。CPU108は撮影指示がなされた場合、放射線発生部101および放射線検出器104を制御して放射線撮影を実行させる。なお、撮影プロトコルの選択と放射線撮影装置100への撮影指示は操作者による別個の操作/指示によりなされてもよい。
ここで、本実施形態における撮影プロトコルについて説明する。撮影プロトコルは、所望の検査を行う際に使用される一連の動作パラメータセットを指す。予め複数の撮影プロトコルが作成され、記憶部109に記憶されることで、操作者は検査に応じた条件設定を簡便に選択することができる。撮影プロトコルの情報には、例えば、撮影部位や撮影条件(管電圧、管電流、照射時間など)、画像処理パラメータなど様々な設定情報が紐付けされている。なお、本実施形態では、画像の回転に関する情報も各撮影プロトコルに紐付けされ、画像処理部112は当該画像の回転に関する情報を利用することで画像の回転ずれ補正を行う。回転ずれ補正の詳細については後述する。
放射線撮影では、まず放射線発生部101が、被検体103に対して放射線ビーム102を照射する。放射線発生部101から照射された放射線ビーム102は、被検体103を減衰しながら透過して、放射線検出器104に到達する。そして、放射線検出器104は到達した放射線強度に応じた信号を出力する。なお、本実施形態では被検体103を人体とする。よって、放射線検出器104から出力される信号は人体を撮影したデータとなる。
データ収集部105は、放射線検出器104から出力された信号を所定のデジタル信号に変換して画像データとして前処理部106に供給する。前処理部106は、データ収集部105から供給された画像データに対して、オフセット補正やゲイン補正等の前処理を行う。前処理部106で前処理が行われた画像データ(放射線画像)は、CPU108の制御により、CPUバス107を介して、記憶部109と画像処理部112に順次転送される。
画像処理部112は、画像の回転ずれを補正する画像処理を実行する。画像処理部112にて処理された画像は、表示部111にて表示される。表示部111にて表示された画像は、操作者により確認が行われ、当該確認の後、図示しないプリンタ等に出力され一連の撮影動作が終了する。
(処理の流れ)
次に、放射線撮影装置100における画像処理部112の処理の流れについて、図2を参照して説明する。図2は、本実施形態における画像処理部112の処理手順を示すフローチャートである。図2に示すフローチャートは、CPU108が記憶部109に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現され得る。図2に示すフローチャートの処理は、操作部110を介した操作者による撮影プロトコルの選択および撮影指示がなされ、上述のごとく前処理部106によって得られた画像データが、CPUバス107を介して画像処理部112に転送された後に開始する。なお、図5に示す情報(図5(a)はクラスとラベルの関係の一例、図5(b)は撮影プロトコルに紐付けされた情報の一例)は、予め記憶部109に記憶されているものとする。
S201にて分割部113は、入力画像(以下、単に画像とも表記する)を任意の領域に分割し、セグメンテーションマップ(多値画像)を生成する。具体的には、分割部113は入力画像の各画素に対し、その画素が属するクラス(例えば、解剖学的な分類に対応する領域)を示すラベルを付与する。図5(a)にクラスとラベルの関係の一例を示す。図5(a)に示す関係を用いる場合、分割部113は、撮影した画像の中で頭蓋骨に属する領域の画素には画素値0を与え、頸椎に属する領域の画素には画素値1を与える。分割部113は、その他の領域も同様にその画素が属する領域に対応するラベルを画素値として与え、セグメンテーションマップを生成する。
なお、図5(a)で示したクラスとラベルの関係は一例であり、画像をどのような基準や粒度で分割するかは特に限定するものではない。すなわち、クラスとラベルの関係は、回転ずれを補正する際に基準とする領域レベルに応じて適宜決定され得る。また、被写体構造以外の領域についても同様にラベルを付与してもよい、例えば、放射線が直接センサに到達する領域や放射線がコリメータにより遮蔽された領域に関しても其々別のラベルを付与したセグメンテーションマップを生成することも可能である。
ここで、上述した通り分割部113は、画像を任意の領域に分割する、いわゆるセマンティックセグメンテーション(意味的領域分割)を行うものであり、既に公知の機械学習の方法を用いることができる。なお、本実施形態では機械学習のためのアルゴリズムとしてCNN(Convolutional Neural Network(畳み込みニューラルネットワーク))を用いたセマンティックセグメンテーションを行う。CNNは、畳み込み層、プーリング層、全結合層などから構成されるニューラルネットワークであり、各層を解決する問題に応じて適当に組み合わせることで実現される。また、CNNは、事前学習を必要とする。具体的には、畳み込み層で用いられるフィルタ係数や、各層の重みやバイアス値などのパラメータ(変数)を、多数の学習データを用いた、いわゆる教師あり学習によって調整(最適化)する必要がある。教師あり学習では、CNNに入力する入力画像とその入力画像が与えられたときに期待する出力結果(正解)の組み合わせのサンプル(教師データ)を多数用意し、期待する結果が出力されるようにパラメータが繰り返し調整される。この調整には一般には誤差逆伝搬法(バックプロパゲーション)が用いられ、正解と実際の出力結果の差(損失関数で定義された誤差)が小さくなる方向に各パラメータが繰り返し調整される。
なお、本実施形態では入力画像を前処理部106によって得られた画像データとし、期待する出力結果は正解のセグメンテーションマップとなる。この正解のセグメンテーションマップは、所望とする分割領域の粒度に応じて手動で作成され、作成されたもの用いて学習しCNNのパラメータ(学習されたパラメータ211)を決定する。ここで、学習されたパラメータ211は予め記憶部109に記憶しておき、分割部113はS201の処理を実行する際に記憶部109から学習されたパラメータ211を呼び出し、CNNによるセマンティックセグメンテーションを行う(S201)。
ここで、学習は全部位を合わせたデータを用いて唯一の学習されたパラメータを生成してもよいが、部位毎(例えば、頭部、胸部、腹部、四肢など)に教師データを分け、別々に学習を行い、複数の学習されたパラメータを生成しても良い。この場合では、複数の学習されたパラメータを撮影プロトコルに紐付けして記憶部109に予め記憶しておき、分割部113は入力画像の撮影プロトコルに応じて記憶部109から対応する学習されたパラメータを呼び出し、CNNによるセマンティックセグメンテーションを行えばよい。
なお、CNNのネットワーク構造については特に限定するものではなく、一般的に知られたものを用いれば良い。具体的には、FCN(Fully Convolutional Networks(全層畳み込みネットワーク))、SegNet、U-net等を用いることができる。また、本実施形態では前処理部106によって得られた画像データを画像処理部112への入力画像としたが、縮小した画像を入力画像としても良い。
次に、S202にて抽出部114は、操作者により選択された撮影プロトコルに基づいて、回転角度を計算(決定)するために用いる領域(回転の基準となる領域)を対象領域として抽出する。図5(b)に、S202の処理で用いる、撮影プロトコルに紐付けされた情報の一例を示す。S202の具体的な処理として、抽出部114は操作者により選択された撮影プロトコルにより指定される対象領域(抽出ラベル501)の情報212を呼び出し、呼び出した抽出ラベル501の番号に該当する画素の値を1としたマスク画像Maskを下記式にて生成する。
[数1]
Figure 0007414432000001
ここで、Mapは分割部113により生成されたセグメンテーションマップを表し、(i,j)は画像の座標(i行j列)を表す。また、Lは呼び出した抽出ラベル501の番号を表す。なお、抽出ラベル501の番号が複数設定されている場合(例えば、図5(b)における撮影プロトコル名:胸部PAなど)は、Mapの値がラベル番号の何れかに該当すれば、Maskの値を1とする。
抽出部114による対象領域の抽出処理の例を図6に示す。図6(a)は図5(b)における「下腿骨L→R」の撮影プロトコルで撮影された画像を表している。ここで、「下腿骨L→R」に対応する抽出ラベル501の番号は99であり、このラベルの番号は下腿骨クラスを意味している(図5(a))。よって、この画像のセグメンテーションマップは、下腿骨である脛骨(図6(a)の領域601)、腓骨(図6(a)の領域602)の値が99となっているものである。そこで、図6(b)のように値が99となっている画素の値を1(図では白)、それ以外の画素の値と0(図では黒)とすることで下腿骨を抽出したマスク画像を生成することができる。
次に、S203にて決定部115は、抽出された対象領域(すなわちMaskの値が1の領域)から主軸角度を算出する。主軸角度を算出処理の例を図7に示す。図7(a)において、主軸角度は、S202で抽出された対象領域をオブジェクト701とした場合の、オブジェクト701が伸びている方向、いわゆる主軸方向702とx軸(画像に対して水平方向)がなす角度703を指す。なお、主軸方向は、任意の周知の方法により決定され得る。また、原点(x,y)=(0,0)の位置は、主軸方向702上でのオブジェクト701の中心点がCPU108により指定されても良く、また、操作者による操作部110を介した操作により指定されても良い。また、他の方法により原点の位置が指定されても良い。
決定部115は、角度703(すなわち主軸角度)を、オブジェクト701のモーメント特徴から算出することができる。具体的には主軸角度A[度]は下記式にて算出する。
[数2]
Figure 0007414432000002
ここで、Mp,qはp+q次のモーメント特徴を表しており、下記式にて算出する。
[数3]
Figure 0007414432000003
ここで、hはマスク画像Maskの高さ[pixel]を表し、wはマスク画像Maskの幅[pixel]を表す。以上のように算出した主軸角度は図7(b)の角度704で示したように、-90度から90度の範囲を取り得る。
次に、S204にて決定部115は、主軸角度に基づいて画像の回転角度を決定する。具体的には、決定部115は、操作者により選択された撮影プロトコルにより指定される回転情報(図5(b)の主軸の向き502と回転方向503の設定値)213を呼び出し、この情報を用いて回転角度を計算する。図8に主軸の向きを示す。主軸の向き503が「縦」(すなわち、画像に対して垂直方向)に設定されている場合は、決定部115は、主軸を上下方向(図8(a))にするための回転角度を計算する。また、主軸の向きが「横」(すなわち、画像に対して水平方向)に設定されている場合は、決定部115は、主軸を左右方向(図8(b))にするための回転角度を計算する。
なお、回転方向503は画像を「反時計回り」と「時計回り」のどちらに回転するかを設定するものである。図9に回転方向の設定による動作例を示す。例えば、図9(a)に対し主軸の向き502が「縦」に設定され、回転方向503が「反時計回り」に設定される場合、決定部115は、図9(b)のように反時計回りにて主軸を「縦」にする回転角度を求める。また、図9(a)に対し主軸の向き502が「縦」に設定され、回転方向503が「時計回り」に設定される場合、決定部115は、図9(c)のように時計回りにて主軸を「縦」する回転角度を求める。よって、両者の設定ではオブジェクトの上部901と下部902が逆になるように回転される。
上述した決定部115による動作を実行するための回転角度の具体的な計算は下記式となる。
[数4]
Figure 0007414432000004
ここで、Aは主軸角度を表す。
なお、本実施の形態では回転方向503として、「近い」または「遠い」を設定することも可能である。回転方向503を「近い」に設定した場合は、「反時計回り」と「時計回り」のうち、上記で求めた回転角度rotAの絶対値が小さいほうを回転角度として採用しても良い。また、回転方向503を「遠い」に設定した場合では、「反時計回り」と「時計回り」のうち、上記で求めた回転角度rotAの絶対値が大きいほうを回転角度として採用しても良い。図10に回転方向の設定による動作例を示す。主軸の向き502が「縦」に設定され、回転方向503「近い」に設定された場合、図10(a)と図10(b)に示すように、主軸がy軸に対して若干左右にずれている場合に対し、どちらもオブジェクトの上部1001が上側になるように回転される(図10(c))。よって、撮影(放射線検出器104)のポジショニングによって軸が若干左右にずれるようなユースケースに有効な設定である。
以上、回転角度の算出方法について説明した。なお、本実施形態では、主軸の向きと回転方向に基づき回転角度を算出したが、これに限定されるものではない。また、主軸の向きを「縦」と「横」の2パターンとしたが、任意の角度を設定するような構成としても良い。
次に、S205にて回転部116は画像をS204で決定された回転角度に従って回転させる。具体的には、回転前の画像の座標(i行,j列)と回転後の画像の座標(k行,l列)の関係は下記式となる。
[数5]
Figure 0007414432000005
ここで、winとhinはそれぞれ回転前の画像の幅[pixel]と高さ[pixel]である。また、woutとhoutはそれぞれ回転後の画像の幅[pixel]と高さ[pixel]である。
上記の関係を用いて回転前の画像I(i,j)を回転後の画像R(k,j)に変換すれば良い。なお、上記変換において、変換座標が整数とならない場合は補間によりその座標の値を求めれば良い。補間方法に関しては、特に限定するものではないが、例えば最近傍補間、双線形補間、双3次補間等の公知の技術を用いれば良い。
次に、S206にてCPU108は回転した画像を表示部111に表示する。S207にて操作者が回転された画像を確認し、修正が不要と判断すれば(S207でNO)、操作部110を介して画像を確定し、処理を終了する。一方、操作者は修正が必要と判断すれば(S207でYES)、S208にて、操作者は操作部110を介して回転角度を修正する。修正の方法は特に限定するものではないが、例えば操作者が操作部110を介して回転角度の数値を直接入力することができる。操作部110がスライダーボタンにより構成される場合は、表示部111に表示された画像を基準に±1度単位で回転角度を変更しても良い。また、操作部110がマウスにより構成される場合は、操作者はマウスを用いて回転角度を修正しても良い。
次に、修正した回転角度を用いてS205~S206の処理が実行され、S207で操作者は、修正後の回転角度で回転された画像に対して、回転角度の修正が再度必要かを再度確認する。操作者により修正が必要と判断された場合、S205~S208の処理が繰り返し実行され、修正が不要と判断されたタイミングで、操作者は操作部110を介して画像を確定し、処理を終了する。なお、本実施形態では、回転角度を修正するように構成したが、初回に回転された画像を、操作者が望む向きとなるように、操作部110を介して調整(微調整)しても良い。
以上、本実施形態では分割した領域の中から回転の基準となる領域(対象領域)を撮影プロトコル情報と関連付けて自由に変更することができ、操作者(ユーザー)が意図した基準で回転ずれを補正することが可能となる。
[実施形態2]
次に、実施形態2について説明する。図3に、本実施形態による放射線撮影装置300の全体の構成例を示す。放射線撮影装置300の構成は、学習部301を備える以外は、実施形態1において説明した図1の放射線撮影装置100の構成と同様である。放射線撮影装置300は学習部301を備えることにより、実施形態1の動作に加え領域の分割方法を変更できる。以下、実施形態1と異なる点について説明する。
図4は、本実施形態における画像処理部112の処理手順を示すフローチャートである。図4に示すフローチャートは、CPU108が記憶部109に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現され得る。
S401にて学習部301は、CNNの再学習を実行する。ここで、学習部301は、予め生成された教師データ411を用いて再学習を行う。なお、学習の具体的な方法については、実施形態1において説明したと同様に誤差逆伝搬法(バックプロパゲーション)を用い、正解と実際の出力結果の差(損失関数で定義された誤差)が小さくなる方向に各パラメータを繰り返し調整することで行う。
本実施形態では、教師データ、すなわち正解のセグメンテーションマップを変更することで領域の分割方法を変更できる。例えば、図5(a)では下腿骨を1つの領域ととみなして同一のラベルを付与したが、脛骨と腓骨を分解したい場合は、それぞれ別々の領域として異なるラベルを付与した新たな正解のセグメンテーションマップ(教師データ)を予め生成してS401の処理において使用すれば良い。また、図5(a)では頸椎、胸椎、腰椎、仙椎を別々の領域として異なるラベルを付与したが、椎体として1の領域としたい場合は同じラベルを付与した新たな正解のセグメンテーションマップ(教師データ)を予め生成してS401の処理において使用すれば良い。
次に、S402にて学習部301は、再学習して求めたパラメータをCNNの新たなパラメータとして、記憶部109に保存する(既存のパラメータを更新する)。また、新たな正解のセグメンテーションマップにより、クラスとラベルの定義が変更された場合は(S403でYES)、S404にてCPU108は抽出ラベル501(図5(b))を当該クラスとラベルの変更に応じて、変更する。具体的には、例えば図5(a)で胸椎に付与するラベルを2から5に変更された場合は、CPU108は、図5(b)の抽出ラベル501の値を2から5に変更する。
以上により、領域の分割方法を変更できる。なお、次回以降の撮影において、図2のフローチャートで示したパラメータ211とラベルの情報212を上述のように変更したものを用いれば、新たに定義された領域で回転ずれの補正が可能となる。
以上、本実施形態によれば、領域の分割方法を変更することが可能となり、操作者(ユーザー)が回転ずれの基準となる領域の定義を自由に変更することが可能となる。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100 放射線撮影装置、101 放射線発生部、102 放射線ビーム、103 被検体、104 放射線検出器、105 データ収集部、106 前処理部、107 CPUバス、108 CPU、109 記憶部、110 操作部、111 表示部、112 画像処理部、113 分割部、114 抽出部、115 決定部、116 回転部、117 修正部、301 学習部

Claims (11)

  1. 放射線撮影により得られた放射線画像を、教師データを用いて機械学習によって予め学習されたパラメータを用いて複数の領域に分割する分割手段と、
    操作者による指示に応じて、前記分割された複数の領域から基準となる1つ以上の領域を対象領域として抽出する抽出手段と、
    前記抽出された対象領域の主軸の方向と、操作者による指示により設定された回転の方向および回転後の主軸の方向と、に基づいて回転角度を決定する決定手段と、
    前記決定された回転角度に基づいて前記放射線画像を回転させる回転手段と、
    を備える、画像処理装置。
  2. 前記複数の領域のそれぞれは、解剖学的な分類に対応する領域である、請求項1に記載の画像処理装置。
  3. 前記機械学習のためのアルゴリズムは、畳み込みニューラルネットワーク(CNN)である、請求項1または2に記載の画像処理装置。
  4. 前記分割手段は、前記放射線画像の各部位に対応する教師データを用いて学習されたパラメータを用いて前記放射線画像を複数の領域に分割する、請求項1から3のいずれか1項に記載の画像処理装置。
  5. 前記教師データが変更された新たな教師データを用いて学習してパラメータを生成する学習手段を更に備え、
    前記分割手段は、前記学習手段により生成されたパラメータを用いて前記放射線画像を複数の領域に分割する、請求項からのいずれか1項に記載の画像処理装置。
  6. 前記決定手段により決定された前記回転角度を修正して修正後の回転角度を決定する修正手段を更に備え、
    前記回転手段は、前記修正された回転角度に基づいて前記放射線画像を回転させる、請求項1からのいずれか1項に記載の画像処理装置。
  7. 前記主軸の方向は、前記対象領域が伸びている方向である、請求項1からのいずれか1項に記載の画像処理装置。
  8. 前記決定手段は、前記対象領域の主軸の方向が前記放射線画像に対して水平または垂直となるように前記回転角度を決定する、請求項1から7のいずれか1項に記載の画像処理装置。
  9. 前記抽出手段による前記対象領域の抽出のための操作者の指示と、前記回転の方向および回転後の前記主軸の方向を決定するための操作者の指示とのうちの少なくとも1つは、操作者が操作部を介して複数の撮影プロトコルの中から1つの撮影プロトコルを選択することにより実行される、請求項1乃至8のいずれか1項に記載の画像処理装置。
  10. 放射線撮影により得られた放射線画像を、教師データを用いて機械学習によって予め学習されたパラメータを用いて複数の領域に分割する分割工程と、
    操作者による指示に応じて、前記分割された複数の領域から基準となる1つ以上の領域を対象領域として抽出する抽出工程と、
    前記抽出された対象領域の主軸の方向と、操作者による指示により設定された回転の方向および回転後の主軸の方向と、に基づいて回転角度を決定する決定工程と、
    前記決定された回転角度に基づいて前記放射線画像を回転させる回転工程と、
    を備える、画像処理方法。
  11. 請求項10に記載の画像処理方法の各工程をコンピュータに実行させる、プログラム。
JP2019163273A 2019-09-06 2019-09-06 画像処理装置、画像処理方法、およびプログラム Active JP7414432B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019163273A JP7414432B2 (ja) 2019-09-06 2019-09-06 画像処理装置、画像処理方法、およびプログラム
PCT/JP2020/028197 WO2021044757A1 (ja) 2019-09-06 2020-07-21 画像処理装置、画像処理方法、およびプログラム
US17/683,394 US20220189141A1 (en) 2019-09-06 2022-03-01 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019163273A JP7414432B2 (ja) 2019-09-06 2019-09-06 画像処理装置、画像処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2021040750A JP2021040750A (ja) 2021-03-18
JP2021040750A5 JP2021040750A5 (ja) 2022-09-05
JP7414432B2 true JP7414432B2 (ja) 2024-01-16

Family

ID=74852717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019163273A Active JP7414432B2 (ja) 2019-09-06 2019-09-06 画像処理装置、画像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20220189141A1 (ja)
JP (1) JP7414432B2 (ja)
WO (1) WO2021044757A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7088352B1 (ja) 2021-03-12 2022-06-21 凸版印刷株式会社 光学フィルムおよび表示装置
JP7771638B2 (ja) * 2021-11-08 2025-11-18 株式会社島津製作所 X線撮影装置
JP2024025163A (ja) 2022-08-10 2024-02-26 キヤノン株式会社 放射線撮影装置及びその制御方法、放射線撮影システム、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5027011B2 (ja) 2008-02-29 2012-09-19 富士フイルム株式会社 胸部画像回転装置および方法並びにプログラム
JP2017174039A (ja) 2016-03-23 2017-09-28 富士フイルム株式会社 画像分類装置、方法およびプログラム
JP2018064627A (ja) 2016-10-17 2018-04-26 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5027011B1 (ja) * 1970-10-05 1975-09-04
JP2004363850A (ja) * 2003-06-04 2004-12-24 Canon Inc 検査装置
JP4393135B2 (ja) * 2003-08-22 2010-01-06 キヤノン株式会社 放射線画像処理装置、放射線画像処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
JP2005270279A (ja) * 2004-03-24 2005-10-06 Canon Inc 画像処理装置
US7519207B2 (en) * 2004-11-19 2009-04-14 Carestream Health, Inc. Detection and correction method for radiograph orientation
US7894653B2 (en) * 2006-05-23 2011-02-22 Siemens Medical Solutions Usa, Inc. Automatic organ detection using machine learning and classification algorithms
JP2010075245A (ja) * 2008-09-24 2010-04-08 Fujifilm Corp 放射線画像撮影装置
JP5576631B2 (ja) * 2009-09-09 2014-08-20 キヤノン株式会社 放射線撮影装置、放射線撮影方法、及びプログラム
JP2011115404A (ja) * 2009-12-03 2011-06-16 Canon Inc X線画像合成装置、およびx線画像合成方法
US9449381B2 (en) * 2012-09-10 2016-09-20 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona, Acting For And On Behalf Of Arizona State University Methods, systems, and media for generating and analyzing medical images having elongated structures
WO2014207932A1 (ja) * 2013-06-28 2014-12-31 メディア株式会社 歯周病検査装置及び歯周病検査装置に使用する画像処理プログラム
JP6444042B2 (ja) * 2014-03-28 2018-12-26 キヤノン株式会社 放射線画像処理装置及びその制御方法、プログラム
EP3470006B1 (en) * 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
JP7022584B2 (ja) * 2017-12-27 2022-02-18 キヤノン株式会社 放射線撮影装置、画像処理装置及び画像判定方法
JP7134678B2 (ja) * 2018-04-06 2022-09-12 キヤノン株式会社 放射線画像処理装置、放射線画像処理方法及びプログラム
JP2020025730A (ja) * 2018-08-10 2020-02-20 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US20240029901A1 (en) * 2018-10-30 2024-01-25 Matvey Ezhov Systems and Methods to generate a personalized medical summary (PMS) from a practitioner-patient conversation.
CN113272822B (zh) * 2018-11-14 2025-10-31 直观外科手术操作公司 用于有效的组织分割的卷积神经网络
EP4014201A1 (en) * 2019-08-14 2022-06-22 F. Hoffmann-La Roche AG Three dimensional object segmentation of medical images localized with object detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5027011B2 (ja) 2008-02-29 2012-09-19 富士フイルム株式会社 胸部画像回転装置および方法並びにプログラム
JP2017174039A (ja) 2016-03-23 2017-09-28 富士フイルム株式会社 画像分類装置、方法およびプログラム
JP2018064627A (ja) 2016-10-17 2018-04-26 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム

Also Published As

Publication number Publication date
WO2021044757A1 (ja) 2021-03-11
US20220189141A1 (en) 2022-06-16
JP2021040750A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
JP4265876B2 (ja) 画像を幾何学的に計測するための計測処理装置
JP7414432B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11893737B2 (en) Hinge detection for orthopedic fixation
JP6875954B2 (ja) 医用画像診断装置、及び画像処理方法
CN116205954A (zh) 用于图像配准的方法和系统
CN112601493A (zh) 图像处理装置、图像处理方法及程序
US12279900B2 (en) User interface for X-ray tube-detector alignment
US10445904B2 (en) Method and device for the automatic generation of synthetic projections
JP5576631B2 (ja) 放射線撮影装置、放射線撮影方法、及びプログラム
WO2017076841A1 (en) Device for imaging an object
JP6249972B2 (ja) 粒子線治療システム
WO2024250611A1 (zh) 图像配准方法及装置、电子设备和存储介质
JP2015080554A (ja) 医用画像処理装置及びプログラム
JP2023122538A (ja) X線撮影装置および撮影位置補正方法
JP7287210B2 (ja) 画像処理装置及びプログラム
JP7700815B2 (ja) 医用画像出力装置、プログラム、医用画像出力方法及び医用画像出力システム
TWI856893B (zh) 手術影像的對位方法與其系統
JP6873296B2 (ja) 画像処理装置、放射線画像撮影システム、画像処理方法、及び画像処理プログラム
WO2025165690A1 (en) Automatic calibration for radiological tomographic imaging using fiducials with unknown placement
JP2025110038A (ja) 放射線撮影装置、放射線撮影システム、放射線撮影方法及びプログラム
CN120643236A (zh) 将x光成像设备调至脊柱椎体标准正侧位的方法及装置
KR20220052619A (ko) 방사선 검사 장치
CN116636864A (zh) X射线摄影装置和摄影位置校正方法
JP2023026878A (ja) 画像処理装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R151 Written notification of patent or utility model registration

Ref document number: 7414432

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151