JP6350522B2 - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
JP6350522B2
JP6350522B2 JP2015516996A JP2015516996A JP6350522B2 JP 6350522 B2 JP6350522 B2 JP 6350522B2 JP 2015516996 A JP2015516996 A JP 2015516996A JP 2015516996 A JP2015516996 A JP 2015516996A JP 6350522 B2 JP6350522 B2 JP 6350522B2
Authority
JP
Japan
Prior art keywords
boundary line
image
displacement
frame
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015516996A
Other languages
English (en)
Other versions
JPWO2014185197A1 (ja
Inventor
宏 大和
宏 大和
謙太 嶋村
謙太 嶋村
遠山 修
修 遠山
慎太郎 村岡
慎太郎 村岡
翔 野地
翔 野地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2014185197A1 publication Critical patent/JPWO2014185197A1/ja
Application granted granted Critical
Publication of JP6350522B2 publication Critical patent/JP6350522B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5288Devices using data or image processing specially adapted for radiation diagnosis involving retrospective matching to a physiological signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • G06F2218/10Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、人体または動物の身体が撮影された動態画像の画像処理技術に関する。
医療現場では、X線等を用いて内臓や骨格等に含まれる患部を撮影することにより、各種検査や診断が行われている。そして、近年では、デジタル技術の適用により、X線等を用いて患部の動きを捉えた動態画像(複数のフレーム画像から構成される画像群)を比較的容易に取得することが可能となっている。
そこでは、FPD(flat panel detector)等の半導体イメージセンサを利用し、診断対象領域を含む被写体領域に対し動態画像を撮影できるため、従来のX線撮影による静止画撮影及び診断では実施できなかった診断対象領域などの動き解析に起因する病理解析や診断を実施する試みがなされている。とりわけ、X線胸部における動態解析では、肺野内の各位置に対する肺野内濃度変化に関する動態機能定量的解析により、診断/治療を支援(X線動態画像用CAD)する検討も実施されている。
上記の定量的解析方法として、胸部における動態画像のフレーム画像に基づいて、時間的変化を解析することで、診断に有効な解析情報を生成する技術が提案されている。
例えば、特許文献1が開示する技術では、複数のX線画像を時系列的に連続して取得し、複数のX線画像の各々に対して、所望の位置にラインを設定することで、設定されたラインに沿って並ぶ画素列を取得し、これらを時系列順に並べることにより新たな画像を生成する技術が開示されている。
また、特許文献2が開示する技術では、動態画像から横隔膜の位置を計測して移動量を求め、また、最大吸気時の動態画像及び最大呼気時の動態画像を特定しピクセル差分値を用いて、分割した胸部エリア毎に相対的な換気情報を求め、CT画像間で線形補間を行い、コロナル像、サジタル像、及びレイサム画像を作成し、レイサム画像から横隔膜の位置を計測し、更に、CT画像と呼吸レベルが一致する動態画像のフレームと、CT画像から作成されたレイサム画像との間で位置合わせを行い、換気情報をコロナル像及び動態画像に重ね合わせる技術が開示されている。加えて、左右横隔膜や肺尖部の位置を計測し、移動量を求め、移動量から動きをグラフ表示する方法が開示されている。
特開2004−312434号公報 国際公開第2006/137294号
しかしながら、上記特許文献1の方法で表現する診断画像は、固定されたラインにおける時間方向の変化を1枚の断面画像として表しているが、時間方向の対象領域の形状の動きそのもの(すなわち、フレーム画像上における2次元空間の時間変化)を表現することはできない。
一方、上記特許文献2の技術においても、左右横隔膜及び肺尖部の所定の位置を計測し、該位置における移動量(変位量)を求め、移動量から該位置における動きをグラフ表示する方法が開示されているが、対象領域の動きそのものを1次元的に表現できても、対象領域の2次元的形状の動きそのものを表現することはできない。
すなわち、上記特許文献1及び2の技術では、フレーム画像上における2次元空間の時間変化を捉えることはできないため、対象領域の形状の動きそのものを捉えることができない。
本発明は、このような事情に鑑みてなされたものであり、ユーザが所望する対象領域の形状の動きそのものを捉えることが可能な画像処理技術を提供することを目的とする。
上記課題を解決するために、請求項1の発明である画像処理装置は、人体または動物の身体内部における対象領域の物理的状態が時間変化する状態を時間方向に順次に撮影された複数のフレーム画像から構成される動態画像を取得する動態画像取得手段と、前記複数のフレーム画像のうち、複数のフレーム画像に対し、前記対象領域の境界線を抽出して前記複数の対象領域境界線を得る境界線抽出処理を行う境界線抽出手段と、前記複数の対象領域境界線に対応する画素を用いて、前記複数の対象領域境界線のうち、基準境界線以外の対象領域境界線のいずれか1つまたはそれ以上について、前記基準境界線を変位基準とした変位量を算出する変位量算出処理を行い、前記変位量は要除去成分であり、前記変位量算出処理後に前記変位量を用いて前記基準境界線以外の所定数の前記対象領域境界線を補正する補正処理を行うことにより、前記要除去成分が取り除かれた所定数の変位補正済境界線を得る変位補正手段と、前記所定数の変位補正済境界線に基づく表示用の変位補正済境界線情報を表示する表示手段とを備え、前記要除去成分は、前記対象領域における上下動、並進、及び、回転による変形成分のうち、少なくとも一つの成分を含む
また、請求項の発明は、請求項1に記載の画像処理装置であって、前記複数のフレーム画像を少なくとも含む選択対象フレーム画像に対し、前記基準境界線を抽出するための基準フレーム画像と前記基準境界線を除く前記対象領域境界線を抽出するための参照フレーム画像とを選択する処理を含むフレーム選択処理を行うフレーム選択手段、を更に備え、前記変位量算出処理は、前記基準フレーム画像の前記対象領域境界線を前記基準境界線として、前記参照フレーム画像の前記対象領域境界線との対応する画素間における変位量を算出する処理、を含む。
また、請求項の発明は、請求項に記載の画像処理装置であって、前記選択対象フレーム画像は、前記複数のフレーム画像より時間的に過去に撮影されたフレーム画像を含み、前記フレーム選択処理は、同一の前記身体に対して、前記複数のフレーム画像より時間的に過去に撮影されたフレーム画像を前記基準フレーム画像として選択する処理を含む。
また、請求項の発明は、請求項に記載の画像処理装置であって、前記複数のフレーム画像が撮影された撮影時刻に同期した前記身体における前記対象領域の周期的な変化となる対象領域周期を検出し、前記複数のフレーム画像を該対象領域周期単位に分類する周期分類手段、を更に備え、前記基準フレーム画像と前記参照フレーム画像とは、前記対象領域周期が同一周期内にあるときのフレーム画像であり、前記対象領域の物理的状態が時間変化する状態を示す値が物理状態値として規定され、前記フレーム選択処理は、(b1)前記物理状態値が予め設定された第1の設定値に相当するときのフレーム画像、(b2)前記物理状態値が最大値に相当するときのフレーム画像、及び、(b3)前記物理状態値が最小値に相当するときのフレーム画像のうち、何れか1つのフレーム画像を前記基準フレーム画像として選択する第1の選択処理と、(c1)前記物理状態値が予め設定された第2の設定値に相当するときのフレーム画像、(c2)前記基準フレーム画像に対し時間的に近接するフレーム画像、(c3)前記基準フレーム画像が前記(b2)のフレーム画像であるとき、前記物理状態値の最小値に相当するときのフレーム画像、及び、(c4)前記基準フレーム画像が前記(b3)のフレーム画像であるとき、前記物理状態値の最大値に相当するときのフレーム画像、のうち、何れか1つのフレーム画像を前記参照フレーム画像として選択する第2の選択処理と、を含む。
また、請求項の発明は、請求項に記載の画像処理装置であって、前記補正処理に用いられる前記変位量は、前記基準境界線と前記対象領域境界線のうち1つとの対応する画素間における変位量であり、前記変位量を用いて前記対象領域境界線の1つ以外の前記対象領域境界線を補正する。
また、請求項の発明は、請求項に記載の画像処理装置であって、前記補正処理に用いられる前記変位量は、補正対象の対象領域境界線に対し時間的に直近の対象領域境界線からの変位量である。
また、請求項の発明は、請求項に記載の画像処理装置であって、前記補正処理に用いられる前記変位量は、時間的に隣接する2つ境界線間の変位量の和によって得られる、前記基準境界線〜補正対象の対象領域境界線間の変位量である。
また、請求項の発明は、請求項1ないし請求項のうち、いずれか1項記載の画像処理装置であって、前記所定数の変位補正済境界線毎に分離した所定数の分離画像を生成する画像生成手段、を更に備え、前記表示手段は、前記変位補正済境界線情報として、前記所定数の分離画像を逐次表示することを特徴とする。
また、請求項の発明は、請求項1ないし請求項のうち、いずれか1項記載の画像処理装置であって、前記所定数の変位補正済境界線が重畳表示されるよう1枚の静止画像を生成する画像生成手段、を更に備え、前記表示手段は、前記変位補正済境界線情報として、前記静止画像を表示することを特徴とする。
また、請求項10の発明は、請求項1ないし請求項のうち、いずれか1項記載の画像処理装置であって、前記対象領域は、横隔膜領域及び心臓領域の何れか少なくとも一方の領域を含むことを特徴とする。
また、請求項11の発明は、画像処理装置に含まれるコンピュータによって実行されることにより、前記コンピュータを、請求項1ないし請求項10のうち、いずれか1項記載の画像処理装置として機能させるプログラムである。
請求項1ないし請求項10に記載の画像処理装置によれば、複数の対象領域境界線に対応する画素を用いて、複数の対象領域境界線のうち、基準境界線以外の対象領域境界線のいずれか1つまたはそれ以上について、基準境界線を変位基準とした変位量を算出する変位量算出処理を行い、該変位量は要除去成分である。そして、変位量算出処理後に該変位量を用いて基準境界線以外の所定数の対象領域境界線を補正する補正処理を行うことにより、該要除去成分が取り除かれた所定数の変位補正済境界線を得、所定数の変位補正済境界線に基づく表示用の変位補正済境界線情報を表示する。すなわち、対象領域境界線から、該変位量に相当する変形が取り除かれた変位補正済境界線が表示されることにより、ユーザが対象領域境界線の形状そのものの変化を捉えることにより、対象領域の形状の動きそのものを把握することが可能になる。また、対象領域境界線の形状そのものを捉えることができるため、部分的な形状の異常を発見することができ、癒着等の部分的異常を容易に診断することが可能となる。更に、ユーザが所望する診断内容が変位補正済境界線情報に集約されるため、必要最低限の診断時間ですみ、診断効率が向上する。このため、動態診断を適切かつ効率的に行うことが可能となる。
さらに、請求項1に記載の画像処理装置によれば、要除去成分は、前記対象領域における上下動、並進、及び、回転による変形成分のうち、少なくとも一つの成分を含む。これにより、対象領域境界線から、上下動、並進、回転による変形が取り除かれた変位補正済境界線が表示され得る。
請求項に記載の画像処理装置によれば、複数のフレーム画像を少なくとも含む選択対象フレーム画像に対し、基準境界線を抽出するための基準フレーム画像と基準境界線を除く対象領域境界線を抽出するための参照フレーム画像とを選択する処理を含むフレーム選択処理を行うフレーム選択手段を更に備え、変位量算出処理は、基準フレーム画像の対象領域境界線を基準境界線として、参照フレーム画像の対象領域境界線との対応する画素間における変位量を算出する処理を含む。これにより、ユーザの診断用途に応じたフレーム画像を選択することが可能となり、延いては、診断用途に応じた変位補正済境界線情報を表示することが可能となる。また、必要なフレーム画像のみを選択することで、動態画像に含まれるフレーム画像全てについて変位補正済境界線を得る場合と比較して、変位量算出処理及び補正処理に要する計算時間を最小限にすることが可能となる。
請求項に記載の画像処理装置によれば、選択対象フレーム画像は、複数のフレーム画像より時間的に過去に撮影されたフレーム画像を含み、フレーム選択処理は、同一の身体に対して、複数のフレーム画像より時間的に過去に撮影されたフレーム画像を基準フレーム画像として選択する処理を含む。すなわち、現在変位補正済境界線を指示する現在変位補正済境界線情報を得る場合において、基準フレーム画像を過去に撮影された共通の(同一の)フレーム画像を用いて実施することができる。これにより、動態診断から一身体の横隔膜境界線LIにおける過去と現在との形状そのものの比較及びその変化の比較を精度良く行うことが可能となる。このため、経過観察を正確に行うことが可能となる。
請求項に記載の画像処理装置によれば、基準フレーム画像と参照フレーム画像とは、対象領域周期が同一周期内にあるときのフレーム画像であり、フレーム選択処理は、(b1)〜(b3)のうち、何れか1つのフレーム画像を基準フレーム画像として選択する第1の選択処理と、(c1)〜(c4)のうち、何れか1つのフレーム画像を参照フレーム画像として選択する第2の選択処理とを含む。これにより、ユーザが所望する同一周期内のフレーム画像間において、対象領域境界線の形状そのものの変化を精度良く診断することが可能となる。
また、請求項に記載の画像処理装置によれば、基準境界線と対象領域境界線のうち1つとの対応する画素間における変位量を用いて対象領域境界線の1つ以外の対象領域境界線を精度良く補正することができる。
請求項に記載の画像処理装置によれば、補正処理に用いられる変位量は、補正対象の対象領域境界線に対し時間的に直近の対象領域境界線からの変位量である。すなわち、変位量の算出毎に参照フレーム画像が変更されるとともに、基準フレーム画像の変更をも行うことができる。このように、参照フレーム画像の変更に伴い基準フレーム画像を変更することが可能となる。
したがって、直近の選択対象フレーム画像間の横隔膜境界線間の変位量を常に用いた補正処理を行うことにより、補正精度の高い変位補正済境界線を得ることができる。その結果、診断用途に見合った変位補正済境界線情報を表示することが可能となるため、動態診断をより適切かつ効率的に行うことが可能となる。
請求項に記載の画像処理装置によれば、補正処理に用いられる変位量は、時間的に隣接する2つ境界線間の変位量の和によって得られる、基準境界線〜補正対象の対象領域境界線間の変位量である。このように、変位量算出処理が、基準境界線,横隔膜境界線間の一の変位量を細分化して算出することにより、基準フレーム画像及び参照フレーム画像間を細分化することなく算出された変位量と比較して、高精度に算出することが可能となる。
請求項に記載の画像処理装置によれば、所定数の変位補正済境界線毎に分離した所定数の分離画像を生成し、変位補正済境界線情報として、該所定数の分離画像を逐次表示する。これにより、対象領域境界線の形状そのものの変化を動態画像にて捉えることが可能となる。
請求項に記載の画像処理装置によれば、所定数の変位補正済境界線が重畳表示されるよう1枚の静止画像を生成し、変位補正済境界線情報として、該静止画像を表示する。例えば、診断対象とする所定数の変位補正済境界線の形状を変位補正済境界線情報とする場合、それらを識別可能に重畳表示することが可能となる。これにより、対象領域境界線の形状そのものの変化を1枚の静止画像にて捉えることが可能となる。
請求項10に記載の画像処理装置によれば、対象領域は、横隔膜領域及び心臓領域の何れか少なくとも一方の領域を含む。これにより、動態診断により肺気腫や横隔膜弛患症等の病気を適切に診断することが可能となる。また、これらの病気において軽度な症状であれば、異常がわからない場合があるが、変位補正済境界線情報による診断を行えば、ユーザの主観に依存することがないため、誤診を防ぐことが可能となる。
請求項11に記載の画像処理装置によれば、請求項1から請求項10に記載の発明と同じ効果を得ることができる。

この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
第1実施形態に係る放射線動態画像撮影システム100の全体構成を示す図である。 呼吸運動と横隔膜の位置との関係について説明する図である。 第1実施形態に係る画像処理装置3の機能構成を示すブロック図である。 放射線動態画像撮影によって撮影した動態画像を例示する図である。 呼吸振動値の波形データを時系列で示した呼吸位相と撮影タイミングとを合わせて示した模式図である。 呼気位相時における横隔膜境界線を例示した模式図である。 座標を付して呼気位相時における横隔膜境界線を例示した模式図である。 横隔膜境界線を含む肺野領域の輪郭抽出を例示する模式図である。 横隔膜境界線を含む肺野領域の輪郭抽出を例示する模式図である。 横隔膜境界線間の変位量について説明する模式図である。 横隔膜境界線間の変位量について説明する模式図である。 呼気位相時における変位補正済境界線を例示する模式図である。 変位量算出処理について説明する模式図である。 変位量算出処理について説明する模式図である。 補正処理について説明する模式図である。 補正処理について説明する模式図である。 補正処理について説明する模式図である。 健常者における変位補正済境界線情報を例示する図である。 非健常者における変位補正済境界線情報を例示する図である。 第1実施形態において実現される画像処理装置3の基本動作を説明するフローチャートである。 第2実施形態における補正処理について説明する模式図である。 第3実施形態における補正処理について説明する模式図である。 第4実施形態に係る画像処理装置3Aの機能構成を示すブロック図である。 呼吸周期の算出方法を例示する図である。 第4実施形態において実現される画像処理装置3Aの基本動作を説明するフローチャートである。 第5実施形態に係る画像処理装置3Bの機能構成を示すブロック図である。 第5実施形態におけるフレーム選択処理について説明する図である。 第5実施形態において実現される画像処理装置3Bの基本動作を説明するフローチャートである。 第6実施形態における心臓境界線について説明する模式図である。 心臓壁の動きを時系列で示した心拍位相の模式図である。 変位補正済境界線情報の表示方法の一例について説明する図である。
<1.第1実施形態>
本発明の第1実施形態に係る放射線動態画像撮影システムについて以下説明する。
<1−1.放射線動態画像撮影システムの全体構成>
第1実施形態に係る放射線動態画像撮影システムは、人体または動物の身体を被写体として、被写体の対象領域の物理的状態が周期的に時間変化する状況に対して放射線画像の撮影を行う。
図1は、第1実施形態に係る放射線動態画像撮影システムの全体構成を示す図である。図1に示すように、放射線動態画像撮影システム100は、撮影装置1と、撮影制御装置2(撮影用コンソール)と、画像処理装置3(診断用コンソール)とを備える。撮影装置1と、撮影制御装置2とが通信ケーブル等により接続され、撮影制御装置2と、画像処理装置3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。放射線動態画像撮影システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOM規格に則って行われる。
<1−1−1.撮影装置1の構成>
撮影装置1は、例えば、X線撮影装置等によって構成され、呼吸に伴う被写体Mの胸部の動態を撮影する装置である。動態撮影は、被写体Mの胸部に対し、X線等の放射線を繰り返して照射しつつ、時間順次に複数の画像を取得することにより行う。この連続撮影により得られた一連の画像を動態画像と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。
図1に示すように、撮影装置1は、照射部(放射線源)11と、放射線照射制御装置12と、撮像部(放射線検出部)13と、読取制御装置14とを備えて構成されている。
照射部11は、放射線照射制御装置12の制御に従って、被写体Mに対し放射線(X線)を照射する。図示例は人体用のシステムであり、被写体Mは検査対象者に相当する。以下では被写体Mを「被検者」とも呼ぶ。
放射線照射制御装置12は、撮影制御装置2に接続されており、撮影制御装置2から入力された放射線照射条件に基づいて照射部11を制御して放射線撮影を行う。
撮像部13は、FPD等の半導体イメージセンサにより構成され、照射部11から照射されて被検者Mを透過した放射線を電気信号(画像情報)に変換する。
読取制御装置14は、撮影制御装置2に接続されている。読取制御装置14は、撮影制御装置2から入力された画像読取条件に基づいて撮像部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、撮像部13に蓄積された電気信号を読み取ることにより、画像データを取得する。そして、読取制御装置14は、取得した画像データ(フレーム画像)を撮影制御装置2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、連続撮影において、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致している。
ここで、放射線照射制御装置12と読取制御装置14とは互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
<1−1−2.撮影制御装置2の構成>
撮影制御装置2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
図1に示すように、撮影制御装置2は、制御部21と、記憶部22と、操作部23と、表示部24と、通信部25とを備えて構成され、各部はバス26により接続されている。
制御部21は、CPU(Central Processing Unit)やRAM(Random Access Memory)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影制御装置2各部の動作や、撮影装置1の動作を集中制御する。
記憶部22は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムにより処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスとを備えて構成され、キーボードに対するキー操作、マウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部21に出力する。
表示部24は、カラーLCD(Liquid Crystal Display)等のモニタにより構成され、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示する。
通信部25は、LANアダプタやモデムやTA(Terminal Adapter)等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
<1−1−3.画像処理装置3の構成>
画像処理装置3は、撮像装置1から送信された動態画像を、撮影制御装置2を介して取得し、医師等が読影診断するための画像を表示する。
図1に示すように、画像処理装置3は、制御部31と、記憶部32と、操作部33と、表示部34と、通信部35と、解析部36とを備えて構成され、各部はバス37により接続されている。
制御部31は、CPU、RAM等により構成される。制御部31のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って各種処理を実行し、画像処理装置3各部の動作を集中制御する(詳細は後述する)。
記憶部32は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部32は、制御部31で実行される各種プログラムやプログラムにより処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。例えば、記憶部32は、後述する画像処理を実行するための画像処理プログラムを記憶している。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31は、当該プログラムコードに従った動作を逐次実行する。
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部31に出力する。
表示部34は、カラーLCD等のモニタにより構成され、制御部31から入力される表示信号の指示に従って、操作部33からの入力指示、データ、及び、後述する表示用画像を表示する。
通信部35は、LANアダプタやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
<1−2.呼吸運動と横隔膜の位置との関係及び動態診断における問題点>
この実施形態における画像処理装置3の詳細を説明する前提として、呼吸運動と横隔膜の位置との関係と、それに伴う動態診断における問題点とを説明しておく。
図2は、呼吸運動と横隔膜の位置との一般的な関係について説明する図である。図2(a)は人体内部の側面における息を吸うとき(吸気時)を示した模式図であり、図2(b)は人体内部の側面における息を吐くとき(呼気時)を示した模式図であり、図2(c)は人体内部の前面において呼気及び吸気の両方の状況を合わせて示した模式図である。
図2(c)で示されるように、呼吸は、胸郭53と横隔膜50とに囲まれて密閉された左右の胸腔52がふくらむと空気が吸い込まれ、縮むと空気が吐き出されて呼吸が行なわれる。すなわち、図2(a)で示されるように、吸気時では、横隔膜50−1が矢印AR11のように下がり肋骨が矢印AR12のように上がることで、胸腔52が拡がり、気管51を通して矢印AR13のように肺に空気が吸い込まれる。一方、図2(b)で示されるように、呼気時では、横隔膜50−2が矢印AR21のように上がり肋骨が矢印AR22のように下がることで、胸腔52が狭くなり、気管51を通して矢印AR23のように肺から空気が押し出される。このように横隔膜50が動くことで、呼吸運動の約60%を分担している。
上述した図2の例では、健常者における呼吸運動と横隔膜50の位置との関係を説明したが、例えば、肺気腫などの病気を患った非健常者に対しては、肺胞が壊れることで気管支が細くなり、息を吐いても空気が肺から出られなくなり、肺が過剰に膨張して、息を吐いた状態でも肺が横隔膜50を押し下げたままになる。つまり、横隔膜50は動かなくなり、呼吸運動がうまくできなくなる。
また、横隔膜弛緩症など横隔膜の病気を患った非健常者においては、片方、あるいは両方の横隔膜50が動かない状態で、縦隔や肺の腫瘍、大動脈瘤、外傷、縦隔の手術などによって、横隔膜50を動かす横隔神経が障害されて横隔膜まひがおこる。
このような病気を患った非健常者に対して動態診断をするにあたり、胸部X線動態画像により検査を実施すると、横隔膜50が、押し下がったまま、あるいは、上にあがったままで呼吸をしても動かない状態となる。
上記の病気が重度であれば、熟練していない医者等のユーザであっても容易に診断することが可能であるが、軽度の病気の場合は、ユーザの主観に依存するところが多く、あいまいな点が残りやすく、誤診につながりやすい。
また、上記の誤診を防ぐためには、ユーザは詳細に観察したり健常者の呼吸による動きとの違いを観察したりすることで、動態診断を行う必要があり、多大な観察時間が費やされ、診断効率が非常に悪くなる。
更に、横隔膜は立体形状をしており、実際に撮影したX線動態画像から横隔膜の形状を把握し、横隔膜の動きを捉えることが難しい。また、左右肺野の形状や動きの変化により診断を行う必要がある。しかしながら、動態診断による診断経験が浅いユーザにとっては、正常呼吸による動作であっても、位置変動や形状変動など複数の動きを起こす動態画像から、左右肺野における異常な形状変化を把握し判断することは困難である。
このような背景の下、ユーザの主観に依存することなく、診断に有効な解析情報が表示されることが望まれている。
そこで、本発明では、対象領域の境界線から、フレーム画像間の不要な変形が取り除かれた境界線情報を表示することにより、対象領域の形状そのものの動きを捉えることが可能となる。
以下では、第1実施形態における画像処理装置3の詳細について説明する。
<1−3.画像処理装置3の具体的構成>
本発明の第1実施形態における放射線動態画像撮影システム100の画像処理装置3は、フレーム画像間の上下動、並進、回転による変形が取り除かれた境界線情報を表示することにより、動態診断を適切かつ効率的に行うことが可能となる。
以下では、画像処理装置3で実現される機能的な構成について説明する。
<1−3−1.画像処理装置3の機能構成>
図3は、放射線動態画像撮影システム100における画像処理装置3において、CPU等が各種プログラムに従って動作することにより制御部31で実現される機能構成を他の構成とともに示す図である。なお、この実施形態の画像処理装置3は、主として心臓および両肺を含む胸部が撮影された動態画像を使用する。
制御部31では、主に、動態画像取得部110と、フレーム選択部120と、境界線抽出部130と、変位補正部140と、画像生成部150と、から構成される。
以下では、図3で示されたような制御部31の機能的な構成が、あらかじめインストールされたプログラムの実行によって、実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
以降、動態画像取得部110、フレーム選択部120、境界線抽出部130、変位補正部140、及び、画像生成部150が行う各処理についての具体的内容を、図3を参照しながら順次説明する。
<1−3−1−1.動態画像取得部110>
動態画像取得部110では、撮像装置1の読取制御装置14によって撮影された被検者Mの身体内部における対象領域の物理的状態が時間変化する状態を時間方向に順次に撮影された複数のフレーム画像から構成される動態画像を取得する。本実施形態における対象領域とは、横隔膜領域を想定する。すなわち、図3で示されるように、撮像装置1と画像処理装置3との間に、撮影制御装置2が介在し、撮影制御装置2の記憶部22に記憶された検出データ(複数のフレーム画像MI)が通信部25を介して、画像処理装置3の通信部35に出力される。
図4は、呼吸に伴う被検者Mの胸部の動態に対し、放射線動態画像撮影によって撮影した動態画像を例示する図である。図4で示されるように、動態画像取得部110により取得されたフレーム画像M1〜M10(MI)は、呼吸サイクルの1周期を一定の撮影タイミングで連続撮影されたものである。具体的には、時刻 t=t1, t2, t3, …, t10 の撮影タイミングにおいて撮影された画像が、フレーム画像M1,M2,M3,…,M10にそれぞれ対応している。
<1−3−1−2.フレーム選択部120>
フレーム選択部120では、少なくとも2以上である第1の数の(複数の)フレーム画像MIを少なくとも含む選択対象フレーム画像TIに対し、後述の基準境界線BLを抽出するための基準フレーム画像BFと、基準境界線BLを除く横隔膜境界線LI(詳細は後述する)を抽出するための参照フレーム画像RFとを選択する処理を含むフレーム選択処理を行う。
図5は、後述する物理状態値(呼吸振動値)の波形データを時系列で示した呼吸位相PHと撮影タイミングTMとを合わせて示した模式図であり、フレーム選択処理について説明する図である。図5で示されるように、例えば、選択対象フレーム画像TIをT1〜T5とした場合、フレーム選択処理が、このフレーム画像T1〜T5(TI)の内から、基準フレーム画像BF及び参照フレーム画像RFを選択する。
<1−3−1−3.境界線抽出部130>
境界線抽出部130では、上記選択対象フレーム画像TIに対し、対象領域の境界線を抽出して第1の数(複数の)の対象領域境界線を得る境界線抽出処理を行う。本実施形態における対象領域は横隔膜領域であるため、対象領域境界線を横隔膜境界線として以下説明する。
境界線抽出部130は、フレーム選択部120が選択した、基準フレーム画像BF、及び、参照フレーム画像RFに対して、境界線抽出処理を行う。すなわち、基準フレーム画像BFに対する横隔膜境界線LIは基準境界線BLに相当し、参照フレーム画像RFに対する横隔膜境界線LIは参照境界線RLに相当することになる。そして、境界線抽出部130は、基準境界線BL、及び参照境界線RLを変位補正部140に出力する(図3参照)。
図6及び図7は、呼気位相PH2(図5参照)時における横隔膜境界線を例示した模式図である。図7は、図6のエリアR1における呼気位相PH2時における横隔膜境界線を、直交座標系にて示した模式図である。
図6及び図7で示されるように、基準フレーム画像BF、及び、参照フレーム画像RFに相当する、前述した図5における選択対象フレーム画像T1〜T5(TI)に対して、横隔膜境界線L1〜L5(LI)を各々抽出する。
以下では、横隔膜境界線の抽出方法を具体的に説明するが、抽出方法はここに記載する方法だけではなく、動態画像から抽出可能な方法であればどのような方法をとっても良い。
<1−3−1−3−1.第1の境界線抽出処理>
第1の境界線抽出処理は、選択対象フレーム画像TIに基づいて肺野部の輪郭抽出を行って横隔膜境界線LIを抽出する処理である。図8は、横隔膜境界線LIを含む肺野部の輪郭抽出を例示する模式図である。肺野部の抽出は、図8で示すように、左右ごとに抽出しても(図8(a)参照)、心臓や脊椎の領域を含んだ輪郭(図8(b)参照)として抽出してもよい。本抽出方法としては、従来技術(例えば、“Image feature analysis and computer-aided diagnosis: Accurate determination of ribcage boundary in chest radiographs”, Xin-Wei Xu and Kunio Doi, Medical Physics, Volume 22(5), May 1995, pp.617-626.等参照)等を採用することができる。
<1−3−1−3−2.第2の境界線抽出処理>
第2の境界線抽出処理は、モデルベースによる抽出により横隔膜境界線LIを抽出する処理である。すなわち、横隔膜の候補位置をモデルベースの手法の1つであるテンプレートマッチングで大まかに抽出(粗抽出)し、抽出された候補領域に対し、詳細に解析(精密抽出)することで、精度良く抽出する。この際の粗抽出に対し、横隔膜の動きに関する医学的知識を用いることで、横隔膜の動き量に応じたテンプレートの重み付けを実施することができ、粗抽出の精度を向上することができるため、横隔膜境界線LIの抽出精度の向上を図ることが可能となる。本抽出方法としては、例えば、本出願人による出願である「特願2012−138364号(出願日:平成24年6月20日)」を採用することができる。
<1−3−1−3−3.第3の境界線抽出処理>
第3の境界線抽出処理は、プロファイル解析による抽出により横隔膜境界線LIを抽出する処理である。図9は、プロファイル解析を説明する図である。そして、図9(a)は選択対象フレーム画像TIのプロファイル領域R2を示す図であり、図9(b)は横軸の選択対象フレーム画像TIのプロファイル領域R2(図9(a)参照)の縦方向の座標に対して、縦軸が濃淡値を示すグラフである。図9で示されるように、縦方向にプロファイルR2を作成し、作成したプロファイルR2における濃淡値のピークの変化点を横隔膜の境界線として抽出することが可能となる。
<1−3−1−3−4.第4の境界線抽出処理>
第4の境界線抽出処理は、ユーザ指定による抽出により横隔膜境界線LIを抽出する処理である。具体的に、ユーザ指定とは、単純にユーザが横隔膜境界線LIの抽出対象のラインを引くようにしても良いし、上記の第1〜第3の境界線抽出処理により抽出した横隔膜境界線LIを補正する方法として使用しても良い。なお、前者の単純にユーザがライン指定する場合においては、対象とする選択対象フレーム画像TIのうち、1枚だけをユーザ指定し、残余のフレーム画像は、時間方向に対応点探索法などを採用することにより追跡することが好ましい。
<1−3−1−4.変位補正部140>
図10は、境界線抽出部130が抽出した選択対象フレーム画像TIにおける横隔膜境界線LI間の変位量について説明する模式図である。図10(a)及び図10(b)は境界線抽出部130が抽出したフレーム画像T1,T2における横隔膜境界線L1,L2をそれぞれ示し、図10(c)は横隔膜境界線L1,L2を重畳的に表示したものである。
また、図11は、境界線抽出部130が抽出した選択対象フレーム画像TIにおける横隔膜境界線LI間の変位量について2つの例を示した模式図である。図11(a)は上下動による変形を例示し、図11(b)は、並進や回転による変形を例示した図である。
すなわち、図11で示されるような境界線抽出部130が抽出した選択対象フレーム画像TI間の横隔膜境界線LIの形状の変化には、
(i)横隔膜境界線LIの形状そのものが変化する動き、すなわち、「形状変形」、
(ii)図11(a)及び図11(b)で示されるような横隔膜の呼吸運動を伴う動き、すなわち、「上下動、並進、回転による変形」、
の2種類の変化が含まれている。このうち、(i)の形状変形のみを得るためには、横隔膜境界線LIに対して、(ii)の上下動、並進、回転による変形(図11参照)を取り除く必要がある。
そこで、変位補正部140では、次の2つの処理が行われる。1つめの処理としては、第1の数(複数)の横隔膜境界線LIに対応する画素を用いて、第1の数の横隔膜境界線LIのうち、基準境界線BL以外の横隔膜境界線LIのいずれか1つまたはそれ以上について基準境界線BLを変位基準とした変位量Dを算出する変位量算出処理が行われる。ここで、該変位量Dは要除去成分を指し、要除去成分とは、横隔膜領域における上下動、並進、及び、回転による変形成分のうち、少なくとも一つの成分を含む。
次に、2つめの処理としては、変位量算出処理後に該変位量Dを用いて第1の数以下である第2の数(基準境界線BLを除く所定数)の横隔膜境界線LIを補正する補正処理が行われる。これらの2つの処理が行われることにより、該要除去成分が取り除かれた第2の数(所定数)の変位補正済境界線LIcを得る(図3参照)。
すなわち、変位補正部140は、境界線抽出部130が抽出した基準境界線BL、及び、参照境界線RLを受けて、変位量算出処理及び補正処理を行う。ここで、変位量算出処理は、基準境界線BLと参照境界線RLとの対応する画素間における変位量を算出する。そして、補正処理が、該変位量を用いて補正対象の横隔膜境界線LIに対して補正処理が行われることで、変位補正済境界線LIcを得る。ここで、補正対象の横隔膜境界線LIとは参照境界線RLに相当する。
図12は、呼気位相PH2(図5参照)時における変位補正済境界線LIcを例示する模式図である。図12で示される変位補正済境界線L1c〜L5c(LIc)は、変位補正部140が、図6及び図7で示される横隔膜境界線L1〜L5(LI)(すなわち、補正対象の横隔膜境界線LI)に対して、要除去成分を取り除いた境界線に相当する。ここで、図12の例では、基準境界線BLを横隔膜境界線L1としているため、フレーム選択部120では、基準フレーム画像BFをフレーム画像T1として選択し、参照フレーム画像RF(補正対象のフレーム画像)をフレーム画像T1〜T5として選択している。すなわち、変位補正部140は、基準境界線BLを横隔膜境界線L1とし、参照境界線RLを横隔膜境界線L1〜L5として補正処理することで、変位補正済境界線L1c〜L5c(LIc)を得ている。
以下では、変位量算出処理について4つの方法を具体的に説明してから、補正処理について2つの方法を具体的に説明する。なお、本実施形態では、これらに限定されることなく、適切に変位量算出処理及び補正処理が行えれば他の方法であってもよい。
<1−3−1−4−1.第1の変位量算出処理>
第1の変位量算出処理では、上記(ii)の変形が上下動にのみ起因する場合に有効となる。すなわち、横隔膜境界線LI間の変位量は、上下方向のみであるという前提の下、実施する。
図13は、第1の変位量算出処理について説明する模式図である。図13で示されるように、基準境界線BLを横隔膜境界線L1とし、参照境界線RLを横隔膜境界線L2とし、横隔膜境界線L1の画素P11,P12,P13,P14に対応する横隔膜境界線L2の各画素が、各々画素P21,P22,P23,P24である場合を想定する。なお、ここでは、説明の便宜上、基準境界線BLと参照境界線RLとの各々に対して、対応する4画素のみを代表して示しているが、実際は、基準境界線BLと参照境界線RLとの対応する画素が適宜指定される。
このとき、横隔膜境界線L1に対する横隔膜境界線L2の変位量、すなわち、対応する画素の変位量は、Y軸方向のみのとなる。すなわち、第1の変位量算出処理により算出される、「画素P11とP21との変位量d1」、「画素P12とP22との変位量d2」、「画素P13とP23との変位量d3」、及び、「画素P14とP24との変位量d4」は、それぞれY成分のみの値となる。
そして、例えば、変位量d1〜d4のそのままの値を基準境界線BLと参照境界線RLとの変位量D12とするほか、変位量d1〜d4の平均値、最小値あるいは最大値を基準境界線BLと参照境界線RLとの変位量D12としてもよい。この変位量D12は基準境界線BL,参照境界線RL間の上下動変形成分となる。
<1−3−1−4−2.第2の変位量算出処理>
第2の変位量算出処理では、上記(ii)の変形が上下動にのみならず、並進、回転にも起因する場合に有効となる。すなわち、横隔膜境界線LI間の変位量は、上下動、並進、回転の何れも含むという前提の下、実施する。
図14は、第2の変位量算出処理について説明する模式図である。なお、図14に付された符号の意味は、図13と共通している。図14において、図13と異なる点は、対応する画素の指定方法が異なる点である。すなわち、第2の変位量算出処理では、端点間を合わせるように変位量D12を算出する。具体的に、横隔膜境界線L1,L2の端点間、すなわち、画素P10とP20、及び、画素P14とP24を合わせるように、回転や平行移動を行い、端点の間に存在する座標点に対し変位量d1〜d4を算出する。
そして、例えば、図14で示す変位量d1〜d4によって算出可能な平行移動量や回転角度のそのままの値を基準境界線BLと参照境界線RLとの変位量D12とするほか、平行移動量や回転角度の平均値(最小値あるいは最大値)またはその組合せ等に求められる量を、基準境界線BLと参照境界線RLとの変位量D12としてもよい。この変位量D12は基準境界線BL,参照境界線RL間の上下動、並進及び回転による変形成分となる。
なお、図14で示す画素同士の変位量d1〜d4は、最も近くなる点間距離に相当する。ここで、回転や平行移動を行うときには、アフィン変換等を採用することが可能である。また、最小二乗法などを採用することにより最も近くなる点間距離を求めてもよい。
<1−3−1−4−3.第3の変位量算出処理>
第3の変位量算出処理では、上記(ii)の変形が上下動にのみならず、並進、回転にも起因する場合に有効となる。すなわち、横隔膜境界線LI間の変位量は、上下動、並進、回転の何れも含むという前提の下、実施する。
第3の変位量算出処理では、形状のフィッティングにより変位量Dを算出する。具体的なフィッティング計算の方法としては、例えば、ICP(Iterative Closest Point)アルゴリズムなどを採用することで実施することができる。ICPアルゴリズムを用いれば、基準境界線BLと参照境界線RLとのうち、1つの境界線を平行移動したり、回転させたりすることで対応画素間の距離が最小になるように、収束演算を実施することができる。なお、ここでは、ICPアルゴリズムを例に挙げたが、収束計算を行うことで対応画素間の距離が最小になるようフィッティングを行う方法であれば他の方法であってもよい。すなわち、ICPアルゴリズムのような収束演算によるフィッティングを行う利点としては、より詳細に形状の合わせ込みが可能であることから、正確な変位量Dを計算することが可能である。
このように、フィッティング処理により対応画素間の距離が最小となるように、基準境界線BLと参照境界線RLとの変位量Dを求める。この変位量Dは基準境界線BL,参照境界線RL間の上下動、並進及び回転による変形成分となる。
<1−3−1−4−4.第4の変位量算出処理>
第4の変位量算出処理では、上記(ii)の変形が上下動にのみならず、並進、回転にも起因する場合に有効となる。すなわち、横隔膜境界線LI間の変位量は、上下動、並進、回転の何れも含むという前提の下、実施する。
第4の変位量算出処理では、基準境界線BLに対する参照境界線RLの対応する各画素を追跡し、「追跡結果」を変位量Dとして算出する。具体的な追跡計算方法としては、下記のような方法を採用することが可能である。
例えば、POC(位相限定相関)を採用することができる。POCアルゴリズムでは、元になる登録画像(基準境界線BL)と照合すべき入力画像(参照境界線RL)の相関(類似性)を算出する。具体的には、デジタル信号化された画像をフーリエ変換で数学的に処理すると、振幅(濃淡データ)と位相(像の輪郭データ)とに分解されるが、この2つの情報のうち形状情報が含まれない振幅情報は使わずに、位相情報のみを用いて相関を瞬時に画像処理することができる。したがって、効果としては、高周波成分をカットできるため、血流そのものの影響による誤対応点検出を防止することができる。
また、RIPOC(回転不変位相限定相関)を採用することもできる。RIPOCアルゴリズムでは、基準となる画像(基準境界線BL)に対し、比較対象となる他の画像(参照境界線RL)がどの程度回転しているかを検出する、回転量推定処理を考える。具体的に、画像が回転した場合、当然画像の周波数成分も変化する。位相成分の変化は非常に複雑であるが、振幅成分については画像の回転に合わせて回転し、更にその変化は回転中心の位置に依存しない。そこで、RIPOCでは、この振幅成分の特性に着目し、振幅成分を極座標変換し、X方向が角度theta、Y方向が半径rとなる様な極座標画像を作成する。そして、極座標画像間でマッチングを行うと、X方向のズレが角度ズレに相当するため、マッチング結果から回転量を推定でき、その推定した回転量を用いて原画像を補正し、その後位置推定を行うことが可能となる。例えば、特許第3574301号に記載されているような方法を採用することができる。
このように、POCやRIPOCを採用して、基準境界線BLの各画素に対する対応点探索により得られた追跡結果を、基準境界線BLと参照境界線RLとの変位量Dとすることができる。この変位量Dは基準境界線BL,参照境界線RL間の上下動、並進及び回転による変形成分となる。
なお、上述した第1〜第4の変位量算出処理は基準境界線BL,参照境界線RL間の変位量D(D12)を求める場合を例に挙げて説明したが、参照境界線RLが複数存在する場合は、参照境界線RL,RL間の変位量Dを求めることも勿論、可能である。
上述した第1〜第4の変位量算出処理は、基準境界線BL,参照境界線RL間の変位量Dは勿論、参照境界線RL,RL間の変位量Dを求める場合を含め、基準境界線BLに近づけ一致させるように変位量Dを求めている。なお、第1及び第2の変位量算出処理に関しては、対応する画素間同士を差し引くことで変位量Dとしても良い。したがって、上述した第1〜第4の変位量算出手処理はいずれも基準境界線BLを変位基準として変位量Dを求める処理となる。
<1−3−1−4−5.第1の補正処理>
続いて、変位量算出処理を実施した後に行われる補正処理について説明する。
第1の補正処理では、基準境界線BLを横隔膜境界線L1とし参照境界線RLを横隔膜境界線L2として算出された変位量D12を用いて、横隔膜境界線LIを補正する処理である。
図15は、第1の補正処理について説明する模式図である。なお、図15では、説明の便宜上、変位量Dは上下動のみの場合を想定し、変位量D12の対応する画素間として、画素P1とP2を代表して示している。
図15で示されるように、まず、基準境界線BLが横隔膜境界線L1であり、補正対象の横隔膜境界線LIである参照境界線RLが横隔膜境界線L2である場合、上記の第1の変位量算出処理により横隔膜境界線L1,L2間の変位量D12が算出される。そして、このD12を用いて、横隔膜境界線L2,L3を各々補正する。具体的に、横隔膜境界線L2を補正し変位補正済境界線L2cを得る場合、すなわち、横隔膜境界線L2上の画素P2が、第1の補正処理後に変位補正済境界線L2c上の画素P2cになる。
また、変位量D12を用いて横隔膜境界線L3を補正する(補正対象の横隔膜境界線LIが横隔膜境界線L3である)場合も、横隔膜境界線L3上の画素P3が、第1の補正処理後に変位補正済境界線L3c上の画素P3cになる。
なお、以上説明した第1の補正処理を行うと、前述の図12で示される変位補正済境界線L2c〜L5c(LIc)が得られる。
また、上述した例では、第1の変位量算出処理により得られた横隔膜境界線L1,L2間の変位量D12を用いた第1の補正処理を示したが、第2〜第4の変位量算出処理により得られた横隔膜境界線L1,L2間の変位量D12を用いて第1の補正処理を行うことができるのは勿論である。
<1−3−1−4−6.第2の補正処理>
第2の補正処理では、基準境界線BLを横隔膜境界線L1とし、参照境界線RLを横隔膜境界線LI(ここで、引数Iは2以上の整数)として算出された変位量D1Iを用いて、横隔膜境界線LIを補正する処理である。
図16は、第2の補正処理について説明する模式図である。なお、図16では、説明の便宜上、変位量Dは上下動のみの場合を想定し、変位量D12の対応する画素間として、画素P1とP2を代表して示し、変位量D13の対応する画素間として、画素P1とP3を代表して示している。
図16で示されるように、まず、基準境界線BLが横隔膜境界線L1であり、補正対象の参照境界線RLが横隔膜境界線L2である場合、上記の第1の変位量算出処理により横隔膜境界線L1,L2間の変位量D12が算出される。そして、この変位量D12を用いて、横隔膜境界線L2を補正する。具体的には、先述と同様、横隔膜境界線L2上の画素P2が、第2の補正処理後に変位補正済境界線L2c上の画素P2cになる。
また、基準境界線BL,横隔膜境界線L3間の変位量D13を用いて横隔膜境界線L3を補正するとき(補正対象の横隔膜境界線LIが横隔膜境界線L3である場合)は、横隔膜境界線L3上の画素P3が、第2の補正処理後に変位補正済境界線L3c上の画素P3cになる。
図17は、第2の補正処理の前後を示す模式図であり、図17(a)は処理前の横隔膜境界線(補正対象の横隔膜境界線LI)はL2,L3を示し、図17(b)は基準境界線BL(横隔膜境界線L1)と補正処理後の変位補正済境界線L2c,L3cを示す。
以上説明した第2の補正処理を行うと、図17(b)で示されるように、変位補正済境界線L2c,L3cは、変位基準となる基準境界線BL(横隔膜境界線L1)に近づき一致するような補正結果が得られる。
上述した第1及び第2の補正処理を包括した補正処理は以下のようになる。すなわち、対象領域境界線に対応する画素を用いて、複数の対象領域境界線(横隔膜境界線L1〜L3)のうち、基準境界線BL(L1)以外の対象領域境界線のいずれか1つまたはそれ以上について、基準境界線BLを変位基準とした変位量ΔD(D12あるいはD12,D13)を算出する変位量算出処理を行い、変位量ΔDは要除去成分であり、変位量算出処理後に変位量ΔDを用いて基準境界線BL以外の2本(所定数)の対象領域境界線L2,L3を補正する補正処理となる。
そして、第1の補正処理において、補正処理に用いられる変位量ΔDは、基準境界線と対象領域境界線のうち1つ(横隔膜曲線L2)との対応する画素間における変位量D12となる。この変位量D12を用いて対象領域境界線の1つ以外の対象領域境界線(横隔膜曲線L2)を補正する処理が第1の補正処理となる。
一方、第2の補正処理において、補正処理に用いられる変位量ΔDは、基準境界線BL(L1)と対象領域境界線のうち1つ以上(横隔膜曲線L2,L3)との対応する画素間における変位量D12,D13となる。この変位量D12,D13を用いて基準境界線BL以外の2本(所定数)の対象領域境界線(横隔膜曲線L2,L3)を補正する処理が第2の補正処理となる。
<1−3−1−5.画像生成部150及び表示部34>
画像生成部150では、第1の数以下である第2の数の変位補正済境界線LIcに基づいて表示用の変位補正済境界線情報LGを生成する(図3参照)。変位補正済境界線情報LGとしては、第2の数の変位補正済境界線LIc毎に分離した第2の数の分離画像を生成しても良いし、第2の数の変位補正済境界線LIcが重畳表示されるよう1枚の静止画像を生成しても良い。
また、変位補正済境界線情報LGに基準境界線BLを指示する情報を含ませることが望ましい。
そして、表示部34が、画像生成部150で生成された変位補正済境界線情報LGを表示する(図3参照)。すなわち、分離画像が生成された場合は、表示部34は、変位補正済境界線情報LGとして、第2の数の分離画像を逐次表示する。また、静止画像が生成された場合は、表示部34は、変位補正済境界線情報LGとして、1枚の静止画像を表示することになる。
図18及び図19は、変位補正済境界線情報LGを例示する模式図であり、図18は健常者における変位補正済境界線情報LGを示し、図19は非健常者における変位補正済境界線情報LGを示す図である。また、図18(a)及び図19(a)は、第2の数が「4」である変位補正済境界線L2c〜L5c(LIc)に基づいて、画像生成部150が、変位補正済境界線LIcが重畳表示されるよう境界線毎に色を変えて1枚の静止画像(表示用の変位補正済境界線情報LG)を生成し、表示部34に表示した場合である。なお、図18(a)及び図19(a)の例のように、基準境界線BLを指示する情報を変位補正済境界線情報LG内に含ませて、基準境界線BLである横隔膜境界線L1を同時に重畳表示しても良い。
一方、図18(b)及び図19(b)は、画像生成部150が当該変位補正済境界線L2c〜L5cに基づいて算出された平均の変位補正済境界線LAcを表示用の変位補正済境界線情報LGとして生成し、表示部34に表示した場合である。
図18(a)及び図19(a)で示されるように、変位補正済境界線L2c〜L5cでは、上記の(ii)の上下動、並進、回転による変形が取り除かれ、上記(i)の形状変形のみが表現されている。すなわち、図7で示される横隔膜境界線L1〜L5のように、肺野全体としての変化ではなく、形状の部分的異常に対して表現することが可能となった。
また、図18(a)では、横隔膜の左側Lと右側Rとの形状(すなわち、左肺野と右肺野との形状)が左右対称となっているが、図19(a)では、横隔膜の右側Rにおける変位補正済境界線L2c〜L5cがほぼ同じ位置であり、横隔膜の左側Lと右側Rとの形状が左右非対称となっている。このように、変位補正済境界線LIcを表示することで、正常な被検者Mの場合は、図18(a)で示されるように左右対称の規則正しい放射状に表示されるが、病気を患った被検者Mの場合は、一部に異常があることを示唆する変形した形状が表示される。このため、ユーザの主観で診断することなく、客観的に診断を行うことが可能となる。
更に、図18(b)及び図19(b)で示されるように、平均値による1ラインを出力表示することも可能である。これにより、平均の変位補正済境界線LAcをユーザが診ることで変位補正済境界線L2c〜L5cの形状を総合的に診断することが可能となる。
上述した変位補正済境界線情報LGの例では、変位補正済境界線LIcが重畳表示されるよう1枚の静止画像を生成することを説明したが、変位補正済境界線LIc毎に分離した分離画像を生成しても良い。すなわち、図18及び図19の例の場合、変位補正済境界線L2c〜L5c毎に分離した4枚の分離画像を生成することで、逐次動態画像として表示するようにしても良い。また、指定した変位補正済境界線LIc間だけを表示しても良い。
また、画像生成部150は変位補正済境界線LIcに基づいて、変位補正済境界線LIc間のバラツキ度(例えば、分散・距離差総和、平均、距離差最大等)を算出し、変位補正済境界線情報LGとして表示部34にて表示しても良い。例えば、変位補正済境界線情報LGを、当該バラツキ度が1番高い2つの変位補正済境界線LIcとして表示してもよいし、変位補正済境界線LIcが閾値以上のバラツキのあるものだけを表示してもよい。
<1−4.画像処理装置3の基本動作>
図20は、本実施形態に係る画像処理装置3において実現される基本動作を説明するフローチャートである。なお、既に各部の個別機能の説明は行ったため(図3参照)、ここでは全体の流れのみ説明する。
図20に示すように、まず、ステップS1において、制御部31の動態画像取得部110が、撮像装置1の読取制御装置14によって撮影された動態画像(複数のフレーム画像MI)を、撮影制御装置2を介して取得する。
ステップS2では、フレーム選択部120が、選択対象フレーム画像TIに対し、基準境界線BLを抽出するための基準フレーム画像BFと基準境界線BLを除く所定数の横隔膜境界線LIを抽出する用の参照フレーム画像RFとを選択する処理を含むフレーム選択処理を行う(図3参照)。なお、図7の例では、基準フレーム画像BFとしてフレーム画像T1が選択され、参照フレーム画像RFとしてフレーム画像T2〜T5が選択される。
ステップS3では、境界線抽出部130が、ステップS2で選択された基準フレーム画像BF及び参照フレーム画像RF(補正対象の横隔膜境界線LI)に対し、横隔膜の境界線を抽出して横隔膜境界線LI(すなわち、基準境界線BL及び参照境界線RL)を得る境界線抽出処理を行う(図6,図7参照)。なお、図7の例では、基準境界線BLとして横隔膜境界線L1が抽出され、補正対象の横隔膜境界線LIである参照境界線RLとして横隔膜境界線L2〜L5が抽出される。
ステップS4では、変位補正部140が、ステップS3で抽出された基準境界線BL及び、参照境界線RLに対応する画素を用いて、参照境界線RLの基準境界線BLを変位基準とした変位量Dを算出する変位量算出処理(第1〜第4の変位量算出処理の何れか)を行った後、該変位量Dを用いて補正対象の横隔膜境界線LIを補正する補正処理を行う。これにより、要除去成分(上下動、並進、回転等の変形成分)が取り除かれた変位補正済境界線LIcを得る(図12,図17(b)参照)。
ステップS5では、変位補正部140における処理を更に行う場合には、変位補正部140が、参照境界線RL(補正対象の横隔膜境界線LI)を変更する際、フレーム選択部120に参照フレーム画像RF(補正対象のフレーム画像)を変更するよう指令し、ステップS2〜S4の処理が再度繰り返される。一方、変位補正部140における処理を終わらせる場合には、ステップS6に進む。
すなわち、ステップS2において、図15で示されるように、参照フレーム画像RF(補正対象のフレーム画像)がフレーム画像T2,T3であり、フレーム画像T2,T3を一括して選択している場合(すなわち、参照境界線RLが横隔膜境界線L2,L3である場合)は、ステップS6に進むことができる。しかしながら、参照フレーム画像RFを、フレーム画像T2、T3を一括して選択せず、個々に選択する場合(すなわち、参照境界線RLが横隔膜境界線L2、L3を一括して処理しない場合)は、参照フレーム画像RFを変更する度にステップS2に移り、ステップS2〜S4の処理が行われる。
ステップS6では、画像生成部150が、ステップ4で得られた変位補正済境界線LIcに基づいて変位補正済境界線情報LGを生成する(図18及び図19参照)。
なお、変位補正済境界線情報LGには少なくとも変位補正済境界線LIcを指示する情報を含み、基準境界線BLを併せて指示する情報を含ませることが望ましい。
最後に、ステップS7において、画像生成部150が、ステップS6にて生成した変位補正済境界線情報LGを表示部34または記憶部32にて出力し(図3参照)、本動作フローが終了される。
以上のように第1実施形態に係る画像処理装置3では、第1の数(複数)の横隔膜境界線LI(複数の対象領域境界線)に対応する画素を用いて、第1の数の横隔膜境界線LI(複数の参照境界線RL)のうち、基準境界線BL以外の横隔膜境界線LIのいずれか1つまたはそれ以上について、基準境界線BLを変位基準とした変位量Dを算出する変位量算出処理を行う。変位量Dは要除去成分である。そして、変位量算出処理後に変位量Dを用いて基準境界線BL以外の所定数(第2の数)の横隔膜境界線LIを補正する補正処理を行うことにより、要除去成分が取り除かれた第2の数(所定数)の変位補正済境界線LIcを得、第2の数(所定数)の変位補正済境界線LIcに基づく表示用の変位補正済境界線情報LGを表示部34上に表示する。すなわち、横隔膜境界線LIから、該変位量Dに相当する変形が取り除かれた変位補正済境界線LIcが表示されることにより、ユーザが横隔膜境界線LIの形状そのものの変化を捉えることにより、横隔膜の形状の動きそのものを把握することが可能になる。また、横隔膜境界線LIの形状そのものを捉えることができるため、部分的な形状の異常を発見することができ、癒着等の部分的異常を容易に診断することが可能となる。更に、ユーザが所望する診断内容が変位補正済境界線情報LGに集約されるため、必要最低限の診断時間ですみ、診断効率が向上する。このため、動態診断を適切かつ効率的に行うことが可能となる。
また、要除去成分は、対象領域における上下動、並進、及び、回転による変形成分のうち、少なくとも一つの成分を含むことにより、横隔膜境界線LIから、上下動、並進、回転による変形が取り除かれた変位補正済境界線LIcが表示され得る。
また、複数のフレーム画像MIを少なくとも含む選択対象フレーム画像TIに対し、基準境界線BLを抽出するための基準フレーム画像BFと基準境界線BLを除く横隔膜境界線LIを抽出するための参照フレーム画像RFとを選択する処理を含むフレーム選択処理を行うフレーム選択部120を更に備え、変位量算出処理は、基準フレーム画像BFの横隔膜境界線LIを基準境界線BLとして、参照フレーム画像RFの横隔膜境界線RLとの対応する画素間における変位量Dを算出する処理を含む。これにより、ユーザの診断用途に応じたフレーム画像を選択することが可能となり、延いては、診断用途に応じた変位補正済境界線情報LGを表示することが可能となる。また、必要なフレーム画像のみを選択することで、動態画像に含まれるフレーム画像MI全てについて変位補正済境界線LIcを得る場合と比較して、境界線抽出処理、変位量算出処理及び補正処理に要する計算時間を最小限にすることが可能となる。
また、第2の数(所定数)の変位補正済境界線LIc毎に分離した第2の数(所定数)の分離画像を生成し、変位補正済境界線情報LGとして、該第2の数(所定数)の分離画像を逐次表示する。これにより、横隔膜境界線LIの形状そのものの変化を動態画像にて捉えることが可能となる。
また、第2の数(所定数)の変位補正済境界線LIcが重畳表示されるよう1枚の静止画像を生成し、変位補正済境界線情報LGとして、該静止画像を表示する。例えば、診断対象とする第2の数(所定数)の変位補正済境界線LIcの形状を変位補正済境界線情報LGとする場合、それらを識別可能に重畳表示することが可能となる。これにより、横隔膜境界線LIの形状そのものの変化を1枚の静止画像にて捉えることが可能となる。
更に、対象領域は、横隔膜領域であることにより、動態診断により肺気腫や横隔膜弛患症等の病気を適切に診断することが可能となる。また、これらの病気において軽度な症状であれば、異常がわからない場合があるが、変位補正済境界線情報LGによる診断を行えば、ユーザの主観に依存することがないため、誤診を防ぐことが可能となる。
<2.第2実施形態>
本発明の第2実施形態における画像処理装置は、第1実施形態の画像処理装置3のうち、変位補正部が以下で説明する点で異なる。なお、残余の構成は画像処理装置3と同様である。
<2−1.変位補正部>
第2実施形態における変位補正部の補正処理を以下では第3の補正処理と称する。第3の補正処理に用いられる変位量Dは、補正対象の横隔膜境界線LIに対し時間的に直近の横隔膜境界線LIからの変位量である。
図21は、第3の補正処理について説明する模式図である。なお、図21では、横隔膜境界線L1〜L4に対して、説明の便宜上、変位量Dは上下動のみの場合を想定し、変位量D12の対応する画素間として、画素P1とP2を代表して示し、変位量D23の対応する画素間として、画素P2とP3を代表して示し、変位量D34の対応する画素間として、画素P3とP4を代表して示している。
図21で示されるように、まず、基準境界線BLが横隔膜境界線L1であり、補正対象の横隔膜境界線LIすなわち参照境界線RLが横隔膜境界線L2である場合、第2の補正処理と同様に、横隔膜境界線L1,L2間の変位量D12を用いて、横隔膜境界線L2を補正する。具体的には、先述と同様、横隔膜境界線L2上の画素P2が、第3の補正処理後に変位補正済境界線L2c上の画素P2cになる。
次に、補正対象の横隔膜境界線LIが横隔膜境界線L3のときは、変位量を求める比較対象が横隔膜境界線L2に変えて、変位量D23を用いて横隔膜境界線L3を補正する。この場合、横隔膜境界線L3上の画素P3が、第3の補正処理後に変位補正済境界線L3c上の画素P3cになる。
更に、補正対象の横隔膜境界線LIが横隔膜境界線L4のとき、変位量を求める比較対象を横隔膜境界線L3に変更して、横隔膜境界線L3,L4間の変位量D34を用いて横隔膜境界線L4を補正する。このとき、横隔膜境界線L4上の画素P4が、第3の補正処理後に変位補正済境界線L4c上の画素P4cになる。
以上のように第2実施形態に係る画像処理装置では、補正処理に用いられる変位量Dは、補正対象の横隔膜境界線LIに対し時間的に直近の横隔膜境界線LIからの変位量Dである。
したがって、直近の選択対象フレーム画像TI間の横隔膜境界線LI間の変位量Dを常に用いた第3の補正処理を行うことにより、補正精度の高い変位補正済境界線L2c〜L4cを得ることができる。その結果、診断用途に見合った変位補正済境界線情報LGを表示することが可能となるため、動態診断をより適切かつ効率的に行うことが可能となる。
<3.第3実施形態>
本発明の第3実施形態における画像処理装置は、第1実施形態の画像処理装置3のうち、変位補正部が以下で説明する点で異なる。なお、残余の構成は画像処理装置3と同様である。
<3−1.変位補正部>
第3実施形態における変位補正部の補正処理を以下では第4の補正処理と称する。第4の補正処理に用いられる変位量Dは、基準境界線BL〜補正対象の横隔膜境界線LI間に少なくとも1つの横隔膜境界線LIが存在する場合、時間的に隣接する2つ境界線LI間の変位量Dの和によって得られる、基準境界線BL〜補正対象の横隔膜境界線LI間の変位量Dとなる。
図22は、第4の補正処理について説明する模式図である。なお、図22では、横隔膜境界線L1〜L3に対して、説明の便宜上、変位量D12の対応する画素間として、画素P1とP2を代表して示し、変位量D23の対応する画素間として、画素P2とP3を代表して示し、変位量D13の対応する画素間として、画素P1とP3を代表して示している。
図22で示されるように、補正対象の横隔膜境界線LIが横隔膜境界線L3であり、変位量D13を用いて補正する場合を考える。第4の補正処理では、変位量算出処理が変位量D13を変位量D12と変位量D23とに細分化して算出した後両者の変位量Dを合算した変位量(D12+D23)を横隔膜境界線L1,L3間の変位量として用いる。このため、まず、変位量算出処理によって、横隔膜境界線L1と横隔膜境界線L2との間の変位量D12を算出すると共に、横隔膜境界線L2と横隔膜境界線L3との間の変位量D23を算出する。このように、変位量算出処理は(D12+D23)を算出する。
すなわち、変位量D13を算出する際、第1及び第2実施形態と同様に、横隔膜境界線L1、横隔膜境界線L3間において、直接求めた変位量D13と比較して、本実施形態で算出された変位量(D12+D23)は、横隔膜境界線L2を介する変位量が含まれるため、横隔膜境界線L1〜L3がどのような経路で変位したかが反映され、精度が高い。
このようにして、第4の補正処理は、高精度に算出された変位量(D12+D23)を用いて横隔膜境界線L3を補正するため、変位補正済境界線L3cもまたより正確に算出される。すなわち、横隔膜境界線L3上の画素P3が、第4の補正処理後に変位補正済境界線L3c上の画素P3cになる。
<3−2.基本動作について>
第3実施形態に係る画像処理装置の基本動作は、図20におけるステップS2〜S4が異なる。すなわち、第1実施形態のステップS2では、フレーム選択部120が、基準フレーム画像BFと参照フレーム画像RFとにおけるフレーム選択処理を行ったが、第3実施形態のステップS2では、これに加え、基準フレーム画像BFの撮影タイミングと参照フレーム画像RFの撮影タイミングとの間に存在するフレーム画像(以下、「中間フレーム画像」と称する)をも選択する点で異なる。すなわち、図22の変位量D13を算出する例では、基準フレーム画像BFはフレーム画像T1が選択され、参照フレーム画像RFはフレーム画像T3が選択されるとともに、これらの撮影タイミングの間に存在する中間フレーム画像としてフレーム画像T2をも選択されることになる。
そして、第3実施形態のステップS3では、境界線抽出処理が、基準フレーム画像BF、参照フレーム画像RFに加え、中間フレーム画像に対しても実施される。
また、第3実施形態のステップS4では、中間フレーム画像における横隔膜境界線を用いて、基準境界線BLに対する参照境界線RLの変位量Dを算出する変位量算出処理を行った後、該変位量Dを用いて補正対象の横隔膜境界線LIを補正する補正処理を行う(図22参照)。
以上のように第3実施形態に係る画像処理装置では、補正処理に用いられる変位量Dは、時間的に隣接する2つ境界線LI間の変位量Dの和によって得られる、基準境界線BL〜補正対象の横隔膜境界線LI間の変位量Dとなる。このように、変位量算出処理が、基準境界線BL,横隔膜境界線LI間の一の変位量Dを細分化して算出することにより、基準フレーム画像BF及び参照フレーム画像RF間を細分化することなく算出された変位量Dと比較して、高精度に算出することが可能となる。
<4.第4実施形態>
図23は、本発明の第4実施形態として構成された画像処理装置3Aで用いられる制御部31Aの機能構成を示す図である。この制御部31Aは、第1実施形態の画像処理装置3における制御部31(図3参照)の代替として使用される。第1実施形態と異なる点は、制御部31Aが周期分類部115を更に備え、これに伴いフレーム選択部120Aに変更される点である。なお、残余の構成は画像処理装置3と同様である。
<4−1.周期分類部115>
周期分類部115では、動態画像取得部110にて取得された複数のフレーム画像MIが撮影された撮影時刻に同期した被検者M(身体)における横隔膜の周期的な変化となる、いわゆる呼吸周期(対象領域周期)を検出し、該複数のフレーム画像MIを該呼吸周期単位(対象領域周期単位)に分類する。そして、周期分類部115は、該呼吸周期単位に分類後の複数のフレーム画像MI’をフレーム選択部120に出力する(図23参照)。
周期分類部115は、被検者Mの呼吸周期を検出するに際し、呼吸情報を取得する呼吸情報取得処理を行い、該呼吸情報に基づいて呼吸周期PC、吸気位相PH1、呼気位相PH2を検出する。以下では、呼吸情報取得処理及び呼吸周期等の検出について各々分説する。
<4−1−1.呼吸情報取得処理>
横隔膜領域の物理的状態が時間変化する状態を示す値として規定される物理状態値を、呼吸振動値と称するとき、呼吸情報取得処理は、動態画像取得部110にて取得した動態画像を構成する複数のフレーム画像MIに基づいて呼吸振動値を算出し、該呼吸振動値を呼吸情報とする処理である(図23参照)。
図23で示されるように、まず、呼吸情報取得処理では、動態画像取得部110によって取得された複数のフレーム画像MIを用いて呼吸振動値を算出する。具体的に、呼吸振動値とは、呼吸による肺野領域サイズの変化を測るための指標であり、例えば、「肺野領域の特徴点間の距離(肺尖部から横隔膜までの距離等)」「肺野部の面積値(肺野領域サイズ)」「横隔膜の絶対位置」「肺野領域の画素濃度値」等が挙げられる。以下では、呼吸振動値が「肺野部の面積値」と「肺野領域の特徴点間の距離」との場合を例にして説明する。
呼吸振動値を「肺野部の面積値」とする場合、肺野部の輪郭抽出を行い、輪郭に囲まれた領域の画素数を肺野部の面積として定義することが可能である。
図24(a)及び図24(b)は、肺野部の輪郭抽出を例示する模式図である。肺野部の抽出は、図8にて説明した抽出方法を用いて、図8と同様に、左右ごとに抽出しても(図24(a)参照)、心臓や脊椎の領域を含んだ輪郭(図24(b)参照)として抽出してもよい。
このように、呼吸情報取得処理は、取得された複数のフレーム画像MIを用いて、肺野部の輪郭OLの抽出を実施し、抽出された領域内のピクセル数を肺野部の面積値を検出することで呼吸振動値を取得する(図24(a)及び図24(b)参照)。
呼吸振動値を「肺野領域の特徴点間の距離」とする場合は、複数のフレーム画像MIを用いて、肺野領域の特徴点間の距離を算出する。すなわち、肺野部の抽出を上記方法と同様に実施し、抽出された領域から、特徴点2点を求め、その2点間の距離を求めることで呼吸振動値として検出する。そして、該特徴点間の距離(呼吸振動値)の変化を呼吸位相PHとする。
図24(c)及び図24(d)は、図24(a)の肺野部の輪郭OLを採用した場合における肺野領域の特徴点の位置を例示した図である。肺領域の上端LTから下端LBまでの長さ(肺野長)の変化を算出する場合、図24(c)では、肺尖部を肺領域の上端LTとし、肺尖部から体軸方向におろした直線と横隔膜との交点を肺領域の下端LBとして抽出した例であり、図24(d)では、肺尖部を肺領域の上端LTとし、肋横角を肺領域の下端LBとして抽出した例である。
このように、呼吸情報取得処理では、取得された複数のフレーム画像MIを用いて、肺野領域の輪郭OLの抽出を実施し、抽出された領域から特徴点間距離を検出することで呼吸振動値を取得する(図24(c)及び図24(d)参照)。
そして、上述の図5で示されるように、呼吸情報取得処理において取得された呼吸振動値の波形データを時系列で示した呼吸位相PH、すなわち、肺野領域の面積値や特徴点間距離等といった呼吸振動値を算出し、撮影タイミングTM毎に時間方向にモニタリングした結果が得られる。
なお、本実施形態では、撮影画像を用いて呼吸情報を得たが、外部機器による計測結果を用いてもよい。この場合、周期分類部115には、外部機器より呼吸周期に関する情報が入力される。外部機器により計測する方法としては、例えば、特許第3793102号に記載されているような装置を用いることができる。また、レーザー光とCCDカメラで構成されたセンサによるモニタリングにより実施する手法(例えば、"FG視覚センサを用いた就寝者の呼吸モニタリングに関する検討",青木 広宙,中島 真人,電子情報通信学会ソサイエティ大会講演論文集 2001年.情報・システムソサイエティ大会講演論文集, 320-321, 2001-08-29.等参照)等を採用することもできる。すなわち、レーザー照射や呼吸モニタベルト等を用いて被写体Mの胸部の動きを検出する方法や、気速計によって呼吸の気流を検出することによっても、呼吸情報を得ることができ、これらの方法を適用することも可能である。
<4−1−2.呼吸周期PC、吸気位相PH1及び呼気位相PH2の検出方法>
続いて、呼吸情報取得処理で各々検出された呼吸振動値の変化を呼吸位相PHとし、呼吸周期PC、吸気位相PH1、及び呼気位相PH2を検出する。具体的に、吸気位相PH1及び呼気位相PH2は、呼吸周期PC内における呼吸振動値の最大値B1と最小値B2とを算出することで検出される(図5参照)。
図5で示されるように、呼吸周期(呼吸サイクル)PCの1周期は、吸気と呼気とから構成され、1回の呼気と1回の吸気からなる。吸気では、横隔膜が下がって息が吸い込まれるに連れて胸郭中の肺野の領域が大きくなる。息を最大限に吸い込んだとき(吸気と呼気の変換点)が最大吸気位相IMである。呼気では、横隔膜が上がって息が吐き出されるに連れて肺野の領域が小さくなるが、息を最大限に排出したとき(呼気と吸気の変換点)が最大呼気位相EMとなる。なお、図5の例では、呼吸周期PCを、最大値B1間としたが、最小値PB2間としてもよい。
以下では、呼吸周期PC、吸気位相PH1及び呼気位相PH2の検出方法について説明する。
第1の方法は、動態画像の全体時間において、呼吸振動値が極大値及び極小値となる時刻を順次に算出することで、呼吸周期PCを決定し、呼吸周期PC内における呼吸振動値の最大値B1と最小値B2とを決定する方法である。具体的には、全体時間における呼吸振動値にスムージングをかけ、高周波ノイズ成分を低減させた状態で、呼吸振動値の極大値(最大吸気位相IM)及び極小値(最大呼気位相EM)を算出する。これにより、呼吸振動値に含まれるノイズ成分を極大値や極小値として誤検出することを防ぐことが可能となる。
第2の方法は、呼吸周期PCが先に検出され、呼吸周期PC毎に呼吸振動値が最大値、最小値となる時刻を検出する方法である。第1の方法と異なる点は、全体時間ではなく、呼吸周期PC単位で呼吸振動値の最大値(すなわち、最大吸気位相IM)及び最小値(最大呼気位相EM)を算出する点である。また、第2の方法においても、第1の方法と同様に、呼吸振動値にスムージングをかけ、高周波ノイズ成分を低減させた状態で、最大値及び最小値を抽出させても良い。
このように、周期分類部115では、呼吸振動値の変化を呼吸位相PHとし、呼吸周期PC内における呼吸振動値の最大値B1と最小値B2とを検出し、吸気位相PH1及び呼気位相PH2の検出を行う(図5参照)。
<4−2.フレーム選択部120A>
周期分類部115が、呼吸周期PC、呼吸振動値の最大値B1と最小値B2、吸気位相PH1、及び、呼気位相PH2を検出するため、フレーム選択部120Aが以下のような処理を行うことが可能となる。
基準フレーム画像BFと参照フレーム画像RFとは、上記の呼吸周期PCが同一周期内にあるときのフレーム画像であるとき、フレーム選択部120Aにおける上記(a1)のフレーム選択処理は、以下の第1の選択処理と第2の選択処理と行う。
すなわち、第1の選択処理とは、基準フレーム画像BFとして、(b1)呼吸振動値が予め設定された第1の設定値に相当するときのフレーム画像、(b2)呼吸振動値が最大値B1に相当するときのフレーム画像、及び、(b3)呼吸振動値が最小値B2に相当するときのフレーム画像のうち、何れか1つのフレーム画像を選択する処理をいう。
また、第2の選択処理とは、参照フレーム画像RFとして、(c1)呼吸振動値が予め設定された第2の設定値に相当するときのフレーム画像、(c2)基準フレーム画像BFに対し時間的に近接するフレーム画像、(c3)基準フレーム画像BFが(b2)のフレーム画像であるとき、呼吸振動値の最小値B2に相当するときのフレーム画像、及び、(c4)基準フレーム画像BFが(b3)のフレーム画像であるとき、呼吸振動値の最大値B1に相当するときのフレーム画像、のうち、何れか1つのフレーム画像を選択する処理をいう。
ここでいう(b1)の第1の設定値と(c1)の第2の設定値とは、それぞれユーザが任意に指定する呼吸振動値であり、第1の選択処理では、指定された第1の設定値に相当するときのフレーム画像を基準フレーム画像BFとして選択処理が行われ、第2の選択処理では、指定された第2の設定値に相当するときのフレーム画像を参照フレーム画像RFとして選択処理が行われる。また、上記第1及び第2の選択処理の前提として、基準フレーム画像BFと参照フレーム画像RFとは、吸気位相PH1内または呼気位相PH2内に限定するという条件を課すことも可能である。更に、上記第1及び第2の選択処理以外に、ユーザが呼吸周期PC内のフレーム画像に対して、任意に基準フレーム画像BFと参照フレーム画像RFとを指定することも可能である。
以上のように、フレーム選択部120Aにおける第1及び第2の選択処理にて選択された基準フレーム画像BFと参照フレーム画像RFとを用いて、第1〜第4の何れかの境界線抽出処理が実施され、第1〜第4の何れかの変位量算出処理が実施される(図23参照)。
<4−3.画像処理装置3Aの基本動作>
続いて、図25は、第4実施形態に係る画像処理装置3Aの動作フローを例示した図である。なお、図25のうち、ステップSA1,SA4〜SA8は図20のステップS1,S3〜S7と同様であるため、その説明は省略する。
この第4実施形態では、第1実施形態では存在しなかった周期分類部115が付加され、フレーム選択手段120がフレーム選択手段120Aに置換されたことで、下記の工程のみが変更される。
すなわち、第1実施形態と同様の工程として、ステップSA1を経て、図25で示されるように、ステップSA2にて、周期分類部115において、ステップSA1にて取得された複数のフレーム画像MIが撮影された撮影時刻に同期した被検者M(身体)の呼吸周期PCを検出し、該複数のフレーム画像MIを該呼吸周期PC単位に分類することで、複数のフレーム画像MI’を得る。このとき、周期分類部115は、呼吸周期PCのほか、呼吸振動値の最大値B1や最小値B2、吸気位相PH1、呼気位相PH2をも同時に検出する。
また、ステップSA3では、ステップSA2にて検出された呼吸周期PC等を考慮して、フレーム選択部120Aにおける上記(a1)のフレーム選択処理が、第1の選択処理と第2の選択処理とを行うことで、基準フレーム画像BFと参照フレーム画像RFとが選択される。そして、残余の工程は第1実施形態と同様となる。
以上のように第4実施形態に係る画像処理装置3Aでは、基準フレーム画像BFと参照フレーム画像RFとは、呼吸周期PCが同一周期内にあるときのフレーム画像であり、(a1)のフレーム選択処理は、(b1)〜(b3)のうち、何れか1つのフレーム画像を基準フレーム画像BFとして選択する第1の選択処理と、(c1)〜(c4)のうち、何れか1つのフレーム画像を参照フレーム画像RFとして選択する第2の選択処理とを含む。これにより、ユーザが所望する同一周期内のフレーム画像間において、横隔膜境界線LIの形状そのものの変化を精度良く診断することが可能となる。
<5.第5実施形態>
被検者Mの過去に撮影された動態画像を用いて経過観察を行う場合においては、複数のX線動態画像を並べて比較して診断する必要が有り、比較効率が悪くなる。
そこで、第5実施形態では、被検者Mの過去と現在との動態画像を用いて、変位補正済境界線情報を得ることを目的とする。なお、本実施形態では、用語の頭に「現在」及び「過去」と表記するが、ここで「現在」と表記する意味は、「過去」と表記するものと比較して時間的に新しいという概念で用いるものとする。
図26は、本発明の第5実施形態として構成された画像処理装置3Bで用いられる制御部31Bの機能構成を示す図である。この制御部31Bは、第1実施形態の画像処理装置3における制御部31(図3参照)の代替として使用される。第1実施形態と異なる点は、過去に撮影された動態画像を用い周期分類部115Bを更に備えることにより、動態画像取得部110B、フレーム選択部120B、境界線抽出部130B、変位補正部140B、画像生成部150Bに変更され点である。
また、図26に示すように、情報蓄積装置5が、例えばパーソナル・コンピュータまたはワークステーションを用いたデータベースサーバからなり、過去画像記憶部(データベース)51を備えて構成され、制御部31Bとはバス36(図1参照)を介してデータの送受信を行う。過去画像記憶部51には、診断に用いられる被検者Mの過去に撮影された動態画像が予め記憶されている。なお、残余の構成は画像処理装置3と同様である。
<5−1.動態画像取得部110B>
動態画像取得部110Bは、上記の動態画像取得部110に相当する現在動態画像(複数の現在フレーム画像NMI)を取得する現在動態画像取得部310に加え、現在フレーム画像NMIと同一の被検者Mに対する過去動態画像(複数の過去フレーム画像PMI)を取得する過去動態画像取得部210を含んで構成される(図26参照)。
過去動態画像取得部210は、例えば、図26で示されるように、過去画像記憶部51から過去動態画像を取得する。また、現在フレーム画像NMIと過去フレーム画像PMIとの撮影範囲は同一であることが好ましいが、少なくとも横隔膜領域は必ず含まれているものとする。
このように、第5実施形態における選択対象フレーム画像TIは、同一の被検者M(身体)に対して、撮影時期を隔てて撮影された、現在フレーム画像NMIと過去フレーム画像PMIとの2種類のフレーム画像を含んで構成されることになる。
<5−2.周期分類部115B>
周期分類部115Bは、過去周期分類部215と現在周期分類部315とを含んで構成される(図26参照)。ここで、周期分類部115Bに含まれる過去周期分類部215及び現在周期分類部315は、上述の周期分類部115と同様の機能を有する。
すなわち、現在周期分類部315では、動態画像取得部310にて取得された複数の現在フレーム画像NMIが撮影された撮影時刻に同期した被検者Mにおける現在呼吸周期を検出し、該複数の現在フレーム画像NMIを現在呼吸周期単位に分類する。そして、現在周期分類部315は、該現在呼吸周期単位に分類後の複数の現在フレーム画像NMI’をフレーム選択部120Bに出力する(図26参照)。
一方、過去周期分類部215では、動態画像取得部210にて取得された複数の過去フレーム画像PMIが撮影された撮影時刻に同期した被検者Mにおける過去呼吸周期を検出し、該複数の過去フレーム画像PMIを過去呼吸周期単位に分類する。そして、周期分類部215は、該過去呼吸周期単位に分類後の複数の過去フレーム画像PMI’をフレーム選択部120Bに出力する(図26参照)。
図27は、周期分類部115Bが検出した呼吸振動値の波形データを時系列で示す模式図である。また、図27(a)は過去周期分類部215が検出した過去呼吸位相PPHと過去撮影タイミングPTMとを合わせて示す図であり、図27(b)は現在周期分類部315が検出した現在呼吸位相NPHと現在撮影タイミングNTMとを合わせて示す図である。
図27(a)で示されるように、過去周期分類部215では、過去呼吸周期PPC、過去呼吸振動値の過去最大値PB1や過去最小値PB2、過去吸気位相PPH1、過去呼気位相PPH2を検出する。また、図27(b)で示されるように、現在周期分類部315では、現在呼吸周期NPC、現在呼吸振動値の現在最大値NB1や現在最小値NB2、現在吸気位相NPH1、現在呼気位相NPH2を検出する。
なお、図27の例では、過去呼吸周期PPC(現在呼吸周期NPC)を、過去最大値PB1(現在最大値NB1)間としたが、過去最小値PB2(現在最小値NB2)間としてもよい。
<5−3.フレーム選択部120B>
周期分類部115Bが、過去呼吸周期PPC等、及び、現在呼吸周期NPC等を検出したため、フレーム選択部120Bでは、以下のような処理を行うことが可能となる。
すなわち、フレーム選択部120Bにおけるフレーム選択処理は、フレーム画像TI(現在フレーム画像NMIと過去フレーム画像PMIとの2種類のフレーム画像)のうち、過去フレーム画像PMI(時間的に過去に撮影されたフレーム画像)を基準フレーム画像BFとして選択する処理を含む。
例えば、図27の例において、フレーム選択部120Bにおけるフレーム選択処理は、選択対象フレーム画像TIを、過去フレーム画像PT1〜PT5及び現在フレーム画像NT1〜T5とした場合、10枚となる。そして、フレーム選択処理が、この5枚の過去フレーム画像PT1〜PT5内から、基準フレーム画像BFを選択する。そして、参照フレーム画像RFとして現在フレーム画像NT1〜T5を選択する。
<5−4.境界線抽出部130B>
境界線抽出部130Bでは、フレーム選択部120Bにて選択された基準フレーム画像BF、及び、参照フレーム画像RFに相当する、過去フレーム画像PTI及び現在フレーム画像NTIを対象に境界線抽出部130と同様の処理を行う。
例えば、図27の例においては、基準フレーム画像BFが、過去フレーム画像PT1〜PT5の何れかであるため、境界線抽出部130Bは過去フレーム画像PT1〜PT5のうち、基準フレーム画像BFとして選択されたフレーム画像及び現在フレーム画像NT1〜NT5の全てに対して処理を行う。すなわち、過去フレーム画像PT1〜PT5から基準フレーム画像BFが抽出され、現在フレーム画像NT1〜NT5からは現在横隔膜境界線NL1〜NL5(NLI)が抽出される(図26参照)。
<5−5.変位補正部140B>
変位補正部140Bでは、境界線抽出部130Bにて抽出された基準境界線BL、及び参照境界線RLに相当する、過去横隔膜境界線PLI及び現在横隔膜境界線NLIを対象に変位補正部140と同様の処理を行う。
例えば、図27の例においては、基準境界線BLは常に過去横隔膜境界線PL1であり、参照境界線RLが現在横隔膜境界線NL1〜NL5の何れかであるため、変位補正部140Bは現在横隔膜境界線NL1〜NL5を用いて、適宜処理を行う。すなわち、現在横隔膜境界線NL1〜NL5から横隔膜境界線PL1を変位基準とした現在変位補正済境界線NL1c〜NL5c(NLIc)が得られる(図26参照)。
<5−6.画像生成部150B>
画像生成部150Bでは、変位補正部140Bにて得られた過去変位補正済境界線PLIc及び現在変位補正済境界線NLIcのそれぞれに対して、画像生成部150と同様の処理を行う。
例えば、図27の例においては、現在変位補正済境界線NLIcが現在変位補正済境界線NL1c〜NL5cであるため、画像生成部150Bは現在変位補正済境界線NL1c〜NL5cのそれぞれに対して処理を行う。すなわち、現在変位補正済境界線NL1c〜NL5cから現在変位補正済境界線情報NLGが得られる(図26のブロック図参照)。
<5−7.画像処理装置3Bの基本動作>
続いて、図28は、第5実施形態に係る画像処理装置3Bの動作フローを例示した図である。この第5実施形態では、第1実施形態では存在しなかった過去動態画像取得部210、現在動態画像取得部310、現在周期分類部315及び過去周期分類部215を備え、フレーム選択部120がフレーム選択部120Bに置換されたことで、下記のように工程が変更される。
すなわち、ステップSB1Aでは、過去動態画像取得部210が、情報蓄積装置5の過去画像記憶部51から過去動態画像(複数の過去フレーム画像PMI)を取得する。
ステップSB2Aでは、過去周期分類部215が、複数の過去フレーム画像PMIを過去呼吸周期PPC単位に分類することで、複数の過去フレーム画像PMI’を得る。このとき、過去周期分類部215は、過去呼吸周期PPCのほか、過去呼吸振動値の過去最大値PB1や過去最小値PB2、過去吸気位相PPH1、過去呼気位相PPH2をも同時に検出する。
また、ステップSB1A及びSB2Aと並行して、ステップSB1B及びSB2Bが行われる。すなわち、ステップSB1Bでは、現在動態画像取得部310が、撮像装置1の読取制御装置14によって撮影された現在動態画像(複数の現在フレーム画像NMI)を、撮影制御装置2を介して取得する。
ステップSB2Bでは、現在周期分類部315が、複数の現在フレーム画像NMIを現在呼吸周期NPC単位に分類することで、複数の現在フレーム画像NMI’を得る。このとき、現在周期分類部315は、現在呼吸周期NPCのほか、現在呼吸振動値の現在最大値NB1や現在最小値NB2、現在吸気位相NPH1、現在呼気位相NPH2をも同時に検出する。
ステップSB3では、フレーム選択部120Bにおけるフレーム選択処理が、選択対象フレーム画像TI(現在フレーム画像NMIと過去フレーム画像PMIとの2種類のフレーム画像)のうち、1枚の過去フレーム画像PMIを基準フレーム画像BFとして選択する。残余のフレーム選択処理は、ステップS2と同様である。すなわち、図27の例では、基準フレーム画像BFとして過去フレーム画像PT1が選択され、参照フレーム画像RFとして現在フレーム画像NT1〜NT5が選択される。すなわち、過去フレーム画像PT2〜PT5はここで処理対象から除外される。
ステップSB4では、境界線抽出部130Bにおいて、ステップSB3にて選択された基準フレーム画像BF、及び、参照フレーム画像RFに相当する、過去フレーム画像PTI及び現在フレーム画像NTIを対象に、上述のステップS3と同様の処理を行うことで、基準境界線BL、及び、参照境界線RL(現在横隔膜境界線NLI)を抽出する。
ステップSB5では、変位補正部140Bにおいて、ステップSB4にて抽出された基準境界線BL、及び、参照境界線RLに相当する、現在横隔膜境界線NLIを対象に、適宜、上述のステップS4と同様の処理を行うことで、各々、現在変位補正済境界線NLIcを得る。
ステップSB6では、変位補正部140Bにおける処理を更に行う場合には、変位補正部140Bが、補正対象の横隔膜境界線LI(参照境界線RL)を変更する際、フレーム選択部120Bに参照フレーム画像RFを変更するよう指令し、ステップS3B〜S5Bの処理が再度繰り返される。一方、変位補正部140Bにおける処理を終わらせる場合には、ステップSB7に進む。
ステップSB7では、画像生成部150Bにおいて、ステップSB4にて得た現在変位補正済境界線NLIcを対象にして、上述のステップS6と同様の処理を行うことで、各々、現在変位補正済境界線情報NLGを得る。
なお、現在変位補正済境界線情報NLGには少なくとも現在変位補正済境界線NLIcを指示する情報を含み、基準境界線BLを併せて指示する情報を含ませることが望ましい。
最後に、ステップSB8において、画像生成部150Bが、ステップSB7にて生成した現在変位補正済境界線情報NLGを表示部34または記憶部32にて出力し(図26参照)、本動作フローが終了される。
以上のように第5実施形態に係る画像処理装置3Bでは、選択対象フレーム画像TIは、同一の被検者M(身体)に対して撮影時期を隔てて撮影された現在フレーム画像NMIと過去フレーム画像PMIとの2種類のフレーム画像(複数のフレーム画像より時間的に過去に撮影されたフレーム画像)を含み、フレーム選択処理は、同一の身体に対して、複数のフレーム画像より時間的に過去に撮影されたフレーム画像を基準フレーム画像として選択する処理を含む。すなわち、現在変位補正済境界線NLIcを指示する現在変位補正済境界線情報NLGを得る場合において、基準フレーム画像BFを過去に撮影された共通の(同一の)フレーム画像(図27の例では、過去フレーム画像PT1)を用いて実施することができる。これにより、動態診断から一身体の横隔膜境界線LIにおける過去と現在との形状そのものの比較及びその変化の比較を精度良く行うことが可能となる。このため、経過観察を正確に行うことが可能となる。
<5−8.第5実施形態の第1の変形例:横隔膜境界線LIの右側と左側>
第5実施形態では、被検者Mの横隔膜境界線LIの過去と現在との形状変化の差異を表示するために、現在変位補正済境界線情報NLGが得られたが、例えば、同一のフレーム画像内における横隔膜境界線LIの右側と左側との形状変化の差異を表示することを目的として、右側変位補正済境界線情報及び左側変位補正済境界線情報を得てもよい(不図示)。
すなわち、横隔膜境界線LIの右側及び左側のそれぞれの変位量算出処理を実施する際に、基準境界線BLを共通の(同一の)右側横隔膜境界線(もしくは、左側横隔膜境界線)を用いて実施する。ここで留意すべきは、右側及び左側の横隔膜境界線LIの形状は背骨を対称軸とした線対称の関係にあるため、右側または左側の横隔膜境界線LIの何れかの形状を反転させることで、変位量算出処理を実施し、右側変位補正済境界線及び左側変位補正済境界線を得る必要がある。
<5−9.第5実施形態の第2の変形例:吸気位相PH1と呼気位相PH2>
第2の変形例では、横隔膜境界線LIの吸気位相PH1時と呼気位相PH2時との形状変化の差異を表示することを目的として、吸気変位補正済境界線情報及び呼気変位補正済境界線情報を得てもよい(不図示)。
すなわち、横隔膜境界線LIの吸気位相PH1時と呼気位相PH2時のそれぞれの変位量算出処理を実施する際に、基準境界線BLを共通の(同一の)吸気横隔膜境界線(もしくは、呼気横隔膜境界線)を用いて実施し、吸気変位補正済境界線及び左側変位補正済境界線を得る。
<6.第6実施形態>
横隔膜領域の動きを横隔膜境界線LIから直接把握することが困難であることを上述したように、心臓の動きを心臓境界線から直接把握することも困難である。すなわち、実際の心臓の動き以外の動きが伴っており、正確に心臓の動きを診断するのは困難である。
そこで、第1〜第5実施形態では、対象領域が横隔膜領域の場合であったが、第6実施形態では、対象領域が心臓領域の場合を扱う。第1実施形態と異なる点は、心臓領域の境界線を抽出する境界線抽出部130Cに変更される点である。また、第4,5実施形態にて説明したように周期分類部を備える場合は、心臓の周期的な変化に基づいて複数のフレーム画像MIを分類する周期分類部115Cに変更される。なお、残余の構成は第1〜第5実施形態に係る画像処理装置と同様である。
また、本実施形態のように対象領域が心臓領域の場合は、呼吸有時の心臓の動きとして、心臓の動きに加え呼吸の動きが伴うため、上下動のみを考慮した第1の変位量算出処理により、補正処理を実施しても適切な変位補正済境界線LIcは得られない。このため、第2〜第4の変位量算出処理により変位量Dを算出することが好ましい。あるいは、横隔膜領域の変位量Dを取り除いた後、心臓領域の変位量Dを第1の変位量算出処理を算出する方法であってもよい。
以下では、境界線抽出部130Cを先に説明してから、周期分類部115Cについて説明する。
<6−1.境界線抽出部130C>
境界線抽出部130Cでは、上記第1の数のフレーム画像TIに対し、心臓領域の境界線を抽出して第1の数の心臓境界線(対象領域境界線)を得る境界線抽出処理を行う。
各フレーム画像から、心臓境界線(心臓の輪郭)を検出する手法としては、種々の公知の手法を採用することができ、例えば、心臓の形状を示すモデル(心臓モデル)を用いて、X線画像中の特徴点と、心臓モデルの特徴点とを合わせて行くことで、心臓の輪郭を検出する手法(例えば、“Image feature analysis and computer-aided diagnosis in digital radiography: Automated analysis of sizes of heart and lung in chest images”, Nobuyuki Nakamori et al., Medical Physics, Volume 17, Issue 3, May,1990, pp.342-350.等参照)等を採用することができる。
なお、心臓境界線HLIの抽出方法は上記の方法だけではなく、動態画像から抽出可能な方法であればどのような方法をとっても良い。
図29は、各フレーム画像から抽出された心臓境界線を例示する模式図である。図29(a)〜(c)で示されるように、各フレーム画像に基づいて心臓境界線HL1〜HL3(HLI)が抽出されていることが見て取れる。
<6−2.周期分類部115C>
周期分類部115Cでは、動態画像取得部110にて取得された複数のフレーム画像MIが撮影された撮影時刻に同期した被検者M(身体)における心臓領域の周期的な変化となる、いわゆる心拍周期(対象領域周期)を検出し、該複数のフレーム画像MIを該心拍周期単位(対象領域周期単位)に分類する。そして、周期分類部115Cは、該心拍周期単位に分類後の複数のフレーム画像MI’をフレーム選択部に出力する。
以下では、周期分類部115Cが行う被検者Mの心拍周期を検出する心拍周期取得処理について説明する。
<6−2−1.心拍周期取得処理>
心拍周期取得処理では、動態画像取得部110によって取得された撮影画像を用いて、心臓壁(すなわち、心臓境界線HLIに相当する)の動き量を算出することで、心拍周期を取得する処理である。詳細には、動態画像から心臓壁の変動が検出されることで、各フレーム画像が撮影されたタイミングにおける心臓の拍動の位相が検出される。そして、当該心臓の拍動の位相により心拍周期を決定する。
図29で示されるように、動態画像で捉えられた心臓壁(心臓境界線HLI)の変動の一例として、心臓の横幅の変動を採用する。すなわち、図29(a)〜図29(c)では、心臓が拡張していく過程で、心臓の横幅がw1からw3へと大きくなっていく状態が例示されている。
そこで、各フレーム画像から、上記で説明した方法等を用いて心臓の輪郭(心臓境界線HLI)を検出し、心臓の横幅を検出することで、心拍周期を検出することができる。
図30は、動態画像を構成する複数のフレーム画像について、撮影された時刻と心臓の横幅(心臓壁の動き量)との関係を例示する模式図である。図30では、横軸が時刻、縦軸が心臓の横幅を示し、丸印が検出された心臓の横幅の値を示している。
ここで、時刻tで捉えられた心臓の横幅をHwt、時刻t+1で捉えられた心臓の横幅をHwt+1とし、(Hwt+1−Hwt)≧0が成立する場合には、時刻tで捉えられたフレーム画像が心臓の拡張時に分類され、(Hwt+1−Hwt)<0が成立する場合には、時刻tで捉えられたフレーム画像が心臓の収縮時に分類される。
このように、心臓の横幅、すなわち、心臓壁の変動を検出することで、心臓の拡張時および収縮時が分類できるため、心臓の拍動の位相を検出することが可能となる。
以上のように、周期分類部115Cでは、動態画像で捉えられた心臓壁の動きに基づき、心拍周期を検出することで、該複数のフレーム画像MIを該心拍周期単位に分類することが可能となる。
なお、心拍周期取得処理は上記の方法だけではなく、心電計から取得された結果を用いて心拍周期を取得する方法であっても良い。例えば、心電計の位相検出部による検出動作が撮像装置1による撮像動作と同期して行われることで実現可能となる。
以上のように第6実施形態に係る画像処理装置では、対象領域は、心臓領域であることにより、動態診断により心臓に関する病気を適切に診断することが可能となる。また、軽度な症状であれば、異常がわからない場合があるが、変位補正済境界線情報LGによる診断を行えば、ユーザの主観に依存することがないため、誤診を防ぐことが可能となる。
<7.変形例>
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
※ 本実施形態では、画像処理装置3,3A,3B等を個別に実施されるように各実施形態に分けて記載したが、これらの個別機能は、互いに矛盾しない限り、相互に組み合わせてもよい。
※ 本実施形態における表示部34では、図18で示された表示方法を説明したが、これに限られず、例えば、異常と判定された被検者Mの変位補正済境界線情報LGを、実際の動態画像上のどこのラインを表示しているのかが分かるように、動態画像に変位補正済境界線情報LGを重畳して表示しても良い。また、動態画像上で表示する変位補正済境界線情報LGは、異常と判定された結果だけでなく、最大呼気、最大吸気または、疾患の疑いがある周期位置の前後なども追加して表示してもよい。なお、図31で示されるように、動画再生時は最大呼気に相当する変位補正済境界線L5c及び最大吸気に相当する変位補正済境界線L1cは常に表示し、それ以外は非表示にして表示するようにしてもよい。
※ 第1実施形態に係る画像処理装置3は、フレーム選択部120を備えて構成される場合について説明したが、これに限られず、フレーム選択部120を備えない構成であっても良い。すなわち、フレーム選択部120を備えない構成では、境界線抽出部130が、動態画像取得部110にて取得した動態画像を構成する複数のフレーム画像MI全てにおいて境界線抽出処理を実施する。そして、変位補正部140が、ユーザが予め指定した条件(所定の規則)の下、基準境界線BL、及び、参照境界線RLを順次設定することで、変位量算出処理及び補正処理を実施することになる。
※ 本実施形態では、フレーム選択部120におけるフレーム選択処理が、境界線抽出部130における境界線抽出処理の前処理として実施されたが、これに限られず、境界線抽出処理の後処理として実施される構成であっても良い。すなわち、動態画像取得部110にて取得した動態画像を構成する複数のフレーム画像MI全てにおいて境界線抽出処理を実施した後、フレーム選択処理が、基準フレーム画像BF(基準境界線BL)、及び、参照フレーム画像RF(参照境界線RL)を選択することになる。つまり、フレーム選択処理が実施されると同時に、基準フレーム画像BFの横隔膜境界線LIが基準境界線BLに設定され、参照フレーム画像RFの横隔膜境界線LIが参照境界線RLに設定されることになる。
※ 本実施形態における各画像処理装置では、対象領域が横隔膜領域または心臓領域の場合をそれぞれ扱ったが、これに限られず、対象領域が横隔膜領域及び心臓領域の場合であっても良い。すなわち、変位補正済境界線情報LGを得るまでの処理は横隔膜領域及び心臓領域で各々並行して実施されることで、変位補正済境界線情報LGが対象領域毎に別々に表示部34及び記憶部32に出力される。
※ 第5実施形態の第1変形例では、右側変位補正済境界線及び左側変位補正済境界線を得ることを目的とされたが、これに限られず、例えば、健常者の横隔膜境界線LIと非健常者の横隔膜境界線LIとに対して、基準境界線BLを共通の(同一の)健常者横隔膜境界線を用いて実施することで、健常者変位補正済境界線及び非健常者変位補正済境界線を得ることもできる。
※ 被写体は、人体だけでなく、動物の身体であってもよい。
この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
1 撮影装置
2 撮影制御装置
3,3A,3B 画像処理装置
31,31A,31B 制御部
32 記憶部
34 表示部
100 放射線動態画像撮影システム
110,110B 動態画像取得部
115,115B 周期分類部
120,120A,120B フレーム選択部
130,130B 境界線抽出部
140,140B 変位補正部
150,150B 画像生成部
210 過去動態画像取得部
215 過去周期分類部
310 現在動態画像取得部
315 現在周期分類部
M 被写体(被検者)
MI フレーム画像
TI 第1の数のフレーム画像
BF 基準フレーム画像
RF 参照フレーム画像
BL 基準境界線
RL 参照境界線
LI 横隔膜境界線
HLI 心臓境界線
LIc 変位補正済境界線
LG 変位補正済境界線情報
PC 呼吸周期
PH 呼吸位相
PH1 吸気位相
PH2 呼気位相
EM 最大呼気位相
IM 最大吸気位相

Claims (11)

  1. 人体または動物の身体内部における対象領域の物理的状態が時間変化する状態を時間方向に順次に撮影された複数のフレーム画像から構成される動態画像を取得する動態画像取得手段と、
    前記複数のフレーム画像のうち、複数のフレーム画像に対し、前記対象領域の境界線を抽出して前記複数の対象領域境界線を得る境界線抽出処理を行う境界線抽出手段と、
    前記複数の対象領域境界線に対応する画素を用いて、前記複数の対象領域境界線のうち、基準境界線以外の対象領域境界線のいずれか1つまたはそれ以上について、前記基準境界線を変位基準とした変位量を算出する変位量算出処理を行い、前記変位量は要除去成分であり、前記変位量算出処理後に前記変位量を用いて前記基準境界線以外の所定数の前記対象領域境界線を補正する補正処理を行うことにより、前記要除去成分が取り除かれた所定数の変位補正済境界線を得る変位補正手段と、
    前記所定数の変位補正済境界線に基づく表示用の変位補正済境界線情報を表示する表示手段と、
    を備えることを特徴とし、
    前記要除去成分は、
    前記対象領域における上下動、並進、及び、回転による変形成分のうち、少なくとも一つの成分を含む、
    画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記複数のフレーム画像を少なくとも含む選択対象フレーム画像に対し、
    前記基準境界線を抽出するための基準フレーム画像と前記基準境界線を除く前記対象領域境界線を抽出するための参照フレーム画像とを選択する処理を含むフレーム選択処理を行うフレーム選択手段、
    を更に備え、
    前記変位量算出処理は、
    前記基準フレーム画像の前記対象領域境界線を前記基準境界線として、前記参照フレーム画像の前記対象領域境界線との対応する画素間における変位量を算出する処理、
    を含む、
    画像処理装置。
  3. 請求項に記載の画像処理装置であって、
    前記選択対象フレーム画像は、前記複数のフレーム画像より時間的に過去に撮影されたフレーム画像を含み、
    前記フレーム選択処理は、
    同一の前記身体に対して、前記複数のフレーム画像より時間的に過去に撮影されたフレーム画像を前記基準フレーム画像として選択する処理を含む、
    画像処理装置。
  4. 請求項に記載の画像処理装置であって、
    前記複数のフレーム画像が撮影された撮影時刻に同期した前記身体における前記対象領域の周期的な変化となる対象領域周期を検出し、前記複数のフレーム画像を該対象領域周期単位に分類する周期分類手段、
    を更に備え、
    前記基準フレーム画像と前記参照フレーム画像とは、前記対象領域周期が同一周期内にあるときのフレーム画像であり、
    前記対象領域の物理的状態が時間変化する状態を示す値が物理状態値として規定され、
    前記フレーム選択処理は、
    (b1)前記物理状態値が予め設定された第1の設定値に相当するときのフレーム画像、
    (b2)前記物理状態値が最大値に相当するときのフレーム画像、及び、
    (b3)前記物理状態値が最小値に相当するときのフレーム画像
    のうち、何れか1つのフレーム画像を前記基準フレーム画像として選択する第1の選択処理と、
    (c1)前記物理状態値が予め設定された第2の設定値に相当するときのフレーム画像、
    (c2)前記基準フレーム画像に対し時間的に近接するフレーム画像、
    (c3)前記基準フレーム画像が前記(b2)のフレーム画像であるとき、前記物理状態値の最小値に相当するときのフレーム画像、及び、
    (c4)前記基準フレーム画像が前記(b3)のフレーム画像であるとき、前記物理状態値の最大値に相当するときのフレーム画像、
    のうち、何れか1つのフレーム画像を前記参照フレーム画像として選択する第2の選択処理と、
    を含む、
    画像処理装置。
  5. 請求項に記載の画像処理装置であって、
    前記補正処理に用いられる前記変位量は、前記基準境界線と前記対象領域境界線のうち1つとの対応する画素間における変位量であり、前記変位量を用いて前記対象領域境界線の1つ以外の前記対象領域境界線を補正する、
    画像処理装置。
  6. 請求項に記載の画像処理装置であって、
    前記補正処理に用いられる前記変位量は、補正対象の対象領域境界線に対し時間的に直近の対象領域境界線からの変位量である、
    画像処理装置。
  7. 請求項に記載の画像処理装置であって、
    前記補正処理に用いられる前記変位量は、時間的に隣接する2つ境界線間の変位量の和によって得られる、前記基準境界線〜補正対象の対象領域境界線間の変位量である、
    画像処理装置。
  8. 請求項1ないし請求項のうち、いずれか1項記載の画像処理装置であって、
    前記所定数の変位補正済境界線毎に分離した所定数の分離画像を生成する画像生成手段、
    を更に備え、
    前記表示手段は、
    前記変位補正済境界線情報として、前記所定数の分離画像を逐次表示することを特徴とする、
    画像処理装置。
  9. 請求項1ないし請求項のうち、いずれか1項記載の画像処理装置であって、
    前記複数の変位補正済境界線が重畳表示されるよう1枚の静止画像を生成する画像生成手段、
    を更に備え、
    前記表示手段は、
    前記変位補正済境界線情報として、前記静止画像を表示することを特徴とする、
    画像処理装置。
  10. 請求項1ないし請求項のうち、いずれか1項記載の画像処理装置であって、
    前記対象領域は、
    横隔膜領域及び心臓領域の何れか少なくとも一方の領域を含むことを特徴とする、
    画像処理装置。
  11. 画像処理装置に含まれるコンピュータによって実行されることにより、前記コンピュータを、請求項1ないし請求項10のうち、いずれか1項記載の画像処理装置として機能させるプログラム。
JP2015516996A 2013-05-16 2014-04-09 画像処理装置及びプログラム Active JP6350522B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013104336 2013-05-16
JP2013104336 2013-05-16
PCT/JP2014/060287 WO2014185197A1 (ja) 2013-05-16 2014-04-09 画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2014185197A1 JPWO2014185197A1 (ja) 2017-02-23
JP6350522B2 true JP6350522B2 (ja) 2018-07-04

Family

ID=51898179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015516996A Active JP6350522B2 (ja) 2013-05-16 2014-04-09 画像処理装置及びプログラム

Country Status (4)

Country Link
US (1) US9665935B2 (ja)
JP (1) JP6350522B2 (ja)
CN (1) CN105188541A (ja)
WO (1) WO2014185197A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6643827B2 (ja) * 2015-07-31 2020-02-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7004648B2 (ja) * 2015-11-09 2022-01-21 コーニンクレッカ フィリップス エヌ ヴェ X線画像吸気品質モニタリング
KR102439769B1 (ko) * 2016-01-18 2022-09-05 삼성메디슨 주식회사 의료 영상 장치 및 그 동작방법
JP2017169830A (ja) * 2016-03-24 2017-09-28 コニカミノルタ株式会社 動態解析装置
JP6701880B2 (ja) * 2016-03-30 2020-05-27 コニカミノルタ株式会社 動態解析装置、動態解析システム、動態解析方法及びプログラム
JP6929689B2 (ja) * 2016-04-26 2021-09-01 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像診断装置
JP6790537B2 (ja) * 2016-07-15 2020-11-25 コニカミノルタ株式会社 動態解析装置
EP3488782B1 (en) * 2016-07-19 2021-09-29 Paramevia Pte. Ltd. Diagnosis support program
JP6815818B2 (ja) * 2016-10-17 2021-01-20 キヤノン株式会社 放射線撮影システム及び放射線撮影方法
JP6805918B2 (ja) * 2017-03-23 2020-12-23 コニカミノルタ株式会社 放射線画像処理装置及び放射線画像撮影システム
JP2018196693A (ja) 2017-05-25 2018-12-13 コニカミノルタ株式会社 動態解析システム
JP6958202B2 (ja) * 2017-10-03 2021-11-02 コニカミノルタ株式会社 動態画像処理装置及びプログラム
JP6950483B2 (ja) * 2017-11-20 2021-10-13 コニカミノルタ株式会社 動態撮影システム
CN109948396B (zh) * 2017-12-20 2021-07-23 深圳市理邦精密仪器股份有限公司 一种心拍分类方法、心拍分类装置及电子设备
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
JP7183563B2 (ja) * 2018-04-11 2022-12-06 コニカミノルタ株式会社 放射線画像表示装置及び放射線撮影システム
JP7143747B2 (ja) * 2018-12-07 2022-09-29 コニカミノルタ株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP7317639B2 (ja) * 2019-09-05 2023-07-31 富士フイルムヘルスケア株式会社 放射線画像処理システム及び画像処理方法
JP6690774B2 (ja) * 2019-12-27 2020-04-28 コニカミノルタ株式会社 動態解析システム、プログラム及び動態解析装置
JP2022109778A (ja) * 2021-01-15 2022-07-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN113561897B (zh) * 2021-07-15 2022-08-12 河北三国新能源科技有限公司 一种基于全景环视的驾考车坡道停车位置判断方法和系统
CN116600194A (zh) * 2023-05-05 2023-08-15 深圳市门钥匙科技有限公司 一种用于多镜头的切换控制方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3574301B2 (ja) 1996-08-26 2004-10-06 株式会社山武 パターン照合装置
JP4404291B2 (ja) 2003-04-08 2010-01-27 キヤノン株式会社 画像処理装置及び方法及びシステム
WO2005020821A1 (ja) * 2003-09-01 2005-03-10 Matsushita Electric Industrial Co., Ltd. 生体信号モニタ装置
US7421101B2 (en) * 2003-10-02 2008-09-02 Siemens Medical Solutions Usa, Inc. System and method for local deformable motion analysis
WO2005120352A1 (en) * 2004-06-08 2005-12-22 Canon Kabushiki Kaisha Image processing device and method which use two images
JP4797173B2 (ja) 2005-06-21 2011-10-19 国立大学法人金沢大学 X線診断支援装置、プログラム及び記録媒体
JP5414157B2 (ja) * 2007-06-06 2014-02-12 株式会社東芝 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
JP4935693B2 (ja) 2008-01-25 2012-05-23 コニカミノルタホールディングス株式会社 画像生成装置、プログラム、画像生成方法
JP2010051729A (ja) * 2008-08-29 2010-03-11 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2010069099A (ja) 2008-09-19 2010-04-02 Toshiba Corp 画像処理装置及びx線コンピュータ断層撮影装置
US20110194748A1 (en) * 2008-10-14 2011-08-11 Akiko Tonomura Ultrasonic diagnostic apparatus and ultrasonic image display method
JP5226590B2 (ja) * 2009-04-02 2013-07-03 キヤノン株式会社 画像解析装置、画像処理装置及び画像解析方法
US20130333756A1 (en) 2012-06-19 2013-12-19 Richard A. DeLucca Backsheet for a photovoltaic cell module and photovoltaic cell module including same

Also Published As

Publication number Publication date
CN105188541A (zh) 2015-12-23
WO2014185197A1 (ja) 2014-11-20
JPWO2014185197A1 (ja) 2017-02-23
US9665935B2 (en) 2017-05-30
US20160098836A1 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
JP6350522B2 (ja) 画像処理装置及びプログラム
JP6512338B2 (ja) 画像処理装置及びプログラム
US9117287B2 (en) Image analysis apparatus, method, and program
JP5408400B1 (ja) 画像生成装置及びプログラム
US20210233243A1 (en) Diagnostic support program
JP7462898B2 (ja) 診断支援プログラム
JP6958202B2 (ja) 動態画像処理装置及びプログラム
JP6805918B2 (ja) 放射線画像処理装置及び放射線画像撮影システム
JP6221770B2 (ja) 画像処理装置、およびプログラム
JP2015043880A (ja) 胸部診断支援システム
JP2014079312A (ja) 画像処理装置及びプログラム
JP6253085B2 (ja) X線動画像解析装置、x線動画像解析プログラム及びx線動画像撮像装置
JP5510619B1 (ja) 画像処理装置
JP5157766B2 (ja) 画像表示装置およびプログラム
US20100030572A1 (en) Temporal registration of medical data
JP6927020B2 (ja) 動態画像処理方法、動態画像処理装置及びプログラム
JP6273940B2 (ja) 画像解析装置、画像撮影システム及び画像解析プログラム
JP2019180899A (ja) 医用画像処理装置
JP5051025B2 (ja) 画像生成装置、プログラム、および画像生成方法
US11836923B2 (en) Image processing apparatus, image processing method, and storage medium
JP2020168173A (ja) 動態解析装置、動態解析システム及びプログラム
JP2015131057A (ja) 画像処理装置、およびプログラム
JP2015112150A (ja) 画像処理装置、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180521

R150 Certificate of patent or registration of utility model

Ref document number: 6350522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150