JP5408399B1 - 画像生成装置 - Google Patents

画像生成装置 Download PDF

Info

Publication number
JP5408399B1
JP5408399B1 JP2013539064A JP2013539064A JP5408399B1 JP 5408399 B1 JP5408399 B1 JP 5408399B1 JP 2013539064 A JP2013539064 A JP 2013539064A JP 2013539064 A JP2013539064 A JP 2013539064A JP 5408399 B1 JP5408399 B1 JP 5408399B1
Authority
JP
Japan
Prior art keywords
image
display
support information
diagnosis support
analysis result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013539064A
Other languages
English (en)
Other versions
JPWO2013141067A1 (ja
Inventor
謙太 嶋村
宏 大和
修 遠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2013539064A priority Critical patent/JP5408399B1/ja
Application granted granted Critical
Publication of JP5408399B1 publication Critical patent/JP5408399B1/ja
Publication of JPWO2013141067A1 publication Critical patent/JPWO2013141067A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4208Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
    • A61B6/4233Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector using matrix detectors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/507Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for determination of haemodynamic parameters, e.g. perfusion CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

画像生成装置3において、検出部120は、対象部位を時間順次に捉えた動態画像(フレーム画像)に対して、対象部位の物理的状態の時間変化状態を検出し、診断支援情報生成部150は、対象部位の物理的状態の時間変化に基づいて解析を行い、その解析結果を診断支援情報として生成する。当該解析結果は、例えば、呼気と吸気とからなる2つの診断情報である。表示画像生成部160は、動態画像及び前記診断支援情報を表示するための表示用画像を生成する。表示用画像は、動態画像を表示する動態画像表示部分161と、診断支援情報の第1の解析結果と第2の解析結果とを識別可能に時間軸方向に一覧できるように表示する一覧表示部分162(カラーバー等)とを含む画像である。これにより、動画を再生する際に、作業性や視認性を向上することができ、診断効率を上げることが可能となる。

Description

本発明は、人体または動物の所定部位が撮影された動態画像の画像生成装置に関する。
医療現場では、X線等を用いて内臓や骨格等に含まれる患部を撮影することにより、各種検査や診断が行われている。そして、近年では、デジタル技術の適用により、X線等を用いて患部の動きを捉えた動態画像を比較的容易に取得することが可能となっている。
そこでは、FPD(flat panel detector)等の半導体イメージセンサを利用し、対象部位を含む被写体領域に対し動態画像を撮影できるため、従来のX線撮影による静止画撮影及び診断では実施できなかった対象部位などの動き解析による診断を実施することが可能になってきた。例えば、胸部X線動態画像から肺野内の換気情報を抽出し、肺野内濃度変化や動きなどから、動態機能の定量的解析により、診断/治療を支援(X線動画用CAD)する検討も実施されている。
このように、FPDによる動態画像撮影では、今まで静止画でしか見られなかった体内状況について、時間変化を見てとれることによる新たな診断効果が期待されている。
例えば、特許文献1が開示する技術では、肺のX線動態画像を表示するに際して、X線動態画像を処理して得た各フレームの肺尖部から横隔膜までの距離のグラフを表示し、このグラフに関連して設けられたスクロールバーを操作することで、スクロールバーの位置に対応した動態画像のフレームを表示している。
また、特許文献2が開示する技術では、対象部位の動態画像ではないが、生体内で撮影した画像ストリームを表示するに際して、撮影位置(体内組織)や温度等のカラーバーを表示し、カラーバーのストライプを指すことにより、そのストライプに対応するフレームに画像ストリームを進めている。
国際公開第2006/137294号 特表2009−508567号公報
しかしながら、上記特許文献1の従来技術では、診断対象である所定部位が時間変化する変化量そのものをグラフ表示するものであり、有効なフレームを探す作業に困難性がある。
また、上記特許文献2の従来技術では、撮影位置や温度等の測定結果と画像ストリームとを対応付けているものであり、対象部位の動態画像の解析については何ら触れられていない。
本発明は、このような事情に鑑みてなされたものであり、人体または動物の所定部位の動態画像を表示する際に、作業性や視認性の良い画像生成装置を提供することを目的とする。
本発明の1側面による画像生成装置は、人体または動物の所定部位を時間順次に捉えた動態画像を取得する動態画像取得部と、前記所定部位の物理的状態の時間変化を検出する検出部と、前記検出部によって検出された前記所定部位の物理的状態の時間変化に基づいて解析を行い、その解析結果を診断支援情報として生成する診断支援情報生成部と、前記診断支援情報を前記動態画像と時間的に関連付けて保持する保持部と、前記動態画像及び前記診断支援情報を表示するための表示用画像を生成する表示画像生成部とを備え、前記診断支援情報は、前記解析に基づく第1の解析結果と第2の解析結果とを含み、前記表示用画像は、前記動態画像を表示する動態画像表示部分と、前記診断支援情報の第1の解析結果と第2の解析結果とを識別可能に時間軸方向に一覧できるように表示する一覧表示部分と、を含む画像であり、前記検出部は、前記所定部位の物理的状態の周期的な時間変化となる所定部位周期を特定する所定部位周期特定部、を備え、前記所定部位は肺野であり、前記第1の解析結果は呼気を示し、前記第2の解析結果は吸気を示す、ことを特徴とする。

本発明によれば、人体または動物の所定部位の動態画像を表示する際に、作業性や視認性を向上することができ、診断効率を上げることができる。
図1は各実施形態に係る放射線動態画像撮影システムの全体構成を示す図である。 図2は放射線動態画像撮影によって撮影した動態画像を例示する図である。 図3は参考例における表示用画像を例示する図である。 図4は第1実施形態に係る画像生成装置の機能構成を示すブロック図である。 図5は第1実施形態に係る画像生成装置の機能構成を示すブロック図である。 図6は第6実施形態に係る画像生成装置の機能構成を示すブロック図である。 図7は心電計で計測された波形の一部を例示する模式図である。 図8は画像に対する座標軸の設定状態を例示する模式図である。 図9は心臓壁の変動を例示する模式図である。 図10は呼吸停止中肺動態画像に係る心臓の横幅の変動サイクルを例示する模式図である。 図11は血流に関する表示を例示する図である。 図12は肺血管領域の血流信号値の時間変化を示す波形を例示する図である。 図13は肺野領域の輪郭抽出を例示する模式図である。 図14は肺野領域の特徴点の位置を例示した模式図である。 図15は呼吸位相の診断支援情報の生成を模式的に例示する図である。 図16は第1実施形態におけるに係る表示用画像を例示する図である。 図17は第2実施形態及び第3実施形態におけるに係る表示用画像を例示する図である。 図18は第1実施形態において実現される画像生成装置の基本動作を説明するフローチャートである。 図19は第4実施形態に係る画像生成装置の機能構成を示すブロック図である。 図20は心拍(血流)の波形データを時系列で示した模式図である。 図21は呼吸情報の波形データを時系列で示した模式図である。 図22は第4実施形態において実現される画像生成装置の基本動作を説明するフローチャートである。 図23は第5実施形態に係る画像生成装置の機能構成を示すブロック図である。 図24は第5実施形態において実現される画像生成装置の基本動作を説明するフローチャートである。 図25は関節屈伸における関節角度を例示する図である。 図26は屈伸位相の診断支援情報の生成を模式的に例示する図である。 図27は診断支援情報として血流情報を表示した場合の表示用画像を例示する図である。 図28は本実施形態に係る画像生成装置の機能構成の一部を例示するブロック図である。
<1.第1実施形態>
本発明の第1実施形態に係る放射線動態画像撮影システムについて以下説明する。
<1−1.放射線動態画像撮影システムの全体構成>
第1実施形態に係る放射線動態画像撮影システムは、人体または動物の身体を被写体として、被写体の放射線画像の撮影を行い、所望の表示用画像を生成する。
図1は、第1実施形態に係る放射線動態画像撮影システムの全体構成を示す図である。図1に示すように、放射線動態画像撮影システム100は、撮影装置1と、撮影制御装置2(撮影用コンソール)と、画像生成装置3(診断用コンソール)と、心電計4とを備える。撮影装置1及び心電計4と、撮影制御装置2とが通信ケーブル等により接続され、撮影制御装置2と、画像生成装置3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。放射線動態画像撮影システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOM規格に則って行われる。
<1−1−1.撮影装置1の構成>
撮影装置1は、例えば、X線撮影装置等によって構成され、呼吸に伴う被写体Mの胸部の動態を撮影する装置である。動態撮影は、被写体Mの胸部に対し、X線等の放射線を繰り返して照射しつつ、時間順次に複数の画像を取得することにより行う。この連続撮影により得られた一連の画像を動態画像と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。
図1に示すように、撮影装置1は、照射部(放射線源)11と、放射線照射制御装置12と、撮像部(放射線検出部)13と、読取制御装置14と、サイクル検出センサ15と、サイクル検出装置16とを備えて構成されている。
照射部11は、放射線照射制御装置12の制御に従って、被写体Mに対し放射線(X線)を照射する。図示例は人体用のシステムであり、被写体Mは検査対象者に相当する。以下では被写体Mを「被検者」とも呼ぶ。
放射線照射制御装置12は、撮影制御装置2に接続されており、撮影制御装置2から入力された放射線照射条件に基づいて照射部11を制御して放射線撮影を行う。
撮像部13は、FPD等の半導体イメージセンサにより構成され、照射部11から照射されて被検者Mを透過した放射線を電気信号(画像情報)に変換する。
読取制御装置14は、撮影制御装置2に接続されている。読取制御装置14は、撮影制御装置2から入力された画像読取条件に基づいて撮像部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、撮像部13に蓄積された電気信号を読み取ることにより、画像データを取得する。そして、読取制御装置14は、取得した画像データ(フレーム画像)を撮影制御装置2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、連続撮影において、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致している。
ここで、放射線照射制御装置12と読取制御装置14とは互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
サイクル検出装置16は、被写体Mの呼吸サイクルを検出してサイクル情報を撮影制御装置2の制御部21に出力する。また、サイクル検出装置16は、例えばレーザー照射によって被写体Mの胸部の動き(被写体Mの呼吸サイクル)を検出するサイクル検出センサ15と、サイクル検出センサ15により検出された呼吸サイクルの時間を測定し制御部21に出力する計時部(不図示)とを備える。
<1−1−2.撮影制御装置2の構成>
撮影制御装置2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
図1に示すように、撮影制御装置2は、制御部21と、記憶部22と、操作部23と、表示部24と、通信部25とを備えて構成され、各部はバス26により接続されている。
制御部21は、CPU(Central Processing Unit)やRAM(Random Access Memory)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影制御装置2各部の動作や、撮影装置1の動作を集中制御する。
記憶部22は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムにより処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスとを備えて構成され、キーボードに対するキー操作、マウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部21に出力する。
表示部24は、カラーLCD(Liquid Crystal Display)等のモニタにより構成され、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示する。
通信部25は、LANアダプタやモデムやTA(Terminal Adapter)等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
<1−1−3.画像生成装置3の構成>
画像生成装置3は、撮像装置1から送信された動態画像を、撮影制御装置2を介して取得し、医師等が読影診断するための画像を表示する。
図1に示すように、画像生成装置3は、制御部31と、記憶部32と、操作部33と、表示部34と、通信部35とを備えて構成され、各部はバス36により接続されている。
制御部31は、CPU、RAM等により構成される。制御部31のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って各種処理を実行し、画像生成装置3各部の動作を集中制御する(詳細は後述する)。
記憶部32は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部32は、制御部31で実行される各種プログラムやプログラムにより処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。例えば、記憶部32は、後述する画像生成処理を実行するための画像生成処理プログラムを記憶している。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31は、当該プログラムコードに従った動作を逐次実行する。
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部31に出力する。
表示部34は、カラーLCD等のモニタにより構成され、制御部31から入力される表示信号の指示に従って、操作部33からの入力指示、データ、及び、後述する表示用画像を表示する。
通信部35は、LANアダプタやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
<1−1−4.心電計4の構成>
図1では心電計4は被検者Mとは離れて示されているが、実際には心電計4の各電極端子は被検者Mに装着されており、被検者Mの心電波形をデジタル信号として出力する。
図1に示すように、心電計4は、位相検出部41を備えて構成され、位相検出部41は、制御部21のCPUからの制御信号に応答して、撮影装置1による撮影動作を同期させるための基礎情報として、被写体Mの心拍(血流)の位相を検出する。なお、本願発明においては、心拍も血流の一種として扱う。また、位相検出部41は、撮影制御装置2内に設けることも可能である。
<1−2.参考例の動画診断における問題点>
この実施形態における画像生成装置3の詳細を説明する前提として、参考例における動画診断の問題点を説明しておく。
図2は、呼吸に伴う被検者Mの胸部の動態に対し、放射線動態画像撮影によって撮影した動態画像であり、図3は、参考例において生成された表示用画像を例示する図である。なお、図3の表示用画像IG0では、フレーム画像MIと、当該フレーム画像MIと同期した、横隔膜の位置を示すグラフG1と胸郭の幅を示すグラフG2と呼吸情報を示すグラフG3と心拍情報(血流情報)を示すグラフG4とがフレーム画像MIの片側に合わせて表示されている。
図2で示されるように、フレーム画像M1〜M10は、呼吸サイクルの1周期(詳細は後述する)を一定の撮影タイミングで連続撮影して取得されたものである。具体的には、時刻 t=t1, t2, t3, …, t10 の撮影タイミングにおいて撮影された画像が、フレーム画像M1,M2,M3,…,M10にそれぞれ対応している。また、図2におけるフレーム画像M7,M8,M9が、医者等の専門家であるユーザが探知するための診断において重要なフレーム画像であり、領域IR(図2及び図3参照)が、診断対象領域に相当するものとし、現時点でのグラフG1の位相位置が、ラインLTで示されている(図3参照)。
この参考例における動画診断では、図3で示されるように、動態画像の再生の進行に対応したプログレスバーPBを操作しながら、所望のフレーム画像MIを探し出し、当該フレーム画像MIを詳細に観察することで診断する。ところが、図3の表示用画像IG0では、医者は動画に注視したいにもかかわらず、詳細な診断データ(ここでは、グラフG1及びラインLT)をも常に注視しなければならないため、視線運動が多くなり、診断効率が極めて悪い。
実際の動画診断では、例えば、10 Frames Per Second(fps)、30秒間で肺野動画撮影した場合では、全体で300枚程度の静止画から診断に関係するフレーム時刻を探す作業と、該当フレーム時刻付近を動画再生して閲覧診断する作業との両方を行う必要があり、非常に手間を要する。特に医者は静止画の読影を日々100枚(100人)分診断するというだけでも負荷がある中、動画では1人300枚の読影をしなければならないとなると、動画読影による診断は困難を極める。
特に、後述する血流動画診断では、血流の一位相(一心拍)分のフレームだけを表示したとしても、十分な情報が得られないことが多い。この理由としては、(i)被爆を抑えるため低線量で撮影されることで画質が悪くなる、(ii)fpsの不足のために肺塞栓疑いを判断できるような最適なタイミングの撮影ができているか不明である、(iii)呼吸や体動の影響で血流の見え方が各時刻で変わるため所望の血流情報がわからない等の要因が挙げられる。したがって、動画全体の血流複数周期の中から該当位相のフレーム(図2の例では、フレーム画像M7,M8,M9に相当)を複数探しだし診断しなければならず、作業負荷が極めて高い現状である。
このような背景の下、簡易に操作者が所望のフレーム画像MIを選択操作することができ、且つ、診断データへの注視を少なくすることで視線運動を少なくし、本来診断すべき動態画像に注力して注視し続けることが望まれている。
そこで、本実施形態では、所望の画像を把握するための診断支援情報が見やすい表示用画像を生成することで、動画読影による診断時間の短縮化を図る。
以下では、第1実施形態における画像生成装置3の具体的構成について説明する。
<1−3.画像生成装置3の具体的構成>
本発明の第1実施形態における放射線動態画像撮影システム100の画像生成装置3は、被検者Mの心臓または肺等(所定部位)の周期的な時間変化に基づく状態変化を診断支援情報として時間軸方向にわかりやすく表示した表示用画像を生成することで、診断に関係する所望のフレーム画像MIを探す作業を軽減する。
以下では、画像生成装置3で実現される機能的な構成について説明する。
<1−3−1.画像生成装置3の機能構成>
図4及び図5は、放射線動態画像撮影システム100における画像生成装置3において、CPU等が各種プログラムに従って動作することにより制御部31で実現される機能構成を他の構成とともに示す図である。この実施形態の画像生成装置3は、主として心臓および両肺を含む胸部が撮影された動態画像を使用する。
制御部31では、主に、動態画像取得部110と、検出部120と、診断支援情報生成部150と、表示画像生成部160と、から構成される。
表示部34では、表示画像生成部160において生成された表示用画像を表示するとともに、ユーザが再生時刻を変化させて表示用画像を参照可能な再生時刻調整部341を備えて構成される。
以下では、図4及び図5で示されたような制御部31の機能的な構成が、あらかじめインストールされたプログラムの実行によって、実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
以降、動態画像取得部110、検出部120、診断支援情報生成部150、及び、表示画像生成部160が行う各処理についての具体的内容を、図4及び図5を参照しながら順次説明する。
<1−3−1−1.動態画像取得部110>
動態画像取得部110では、撮像装置1の読取制御装置14によって撮影された人体または動物の対象部位(所定部位)を時間順次に捉えた動態画像を取得する。ここで、対象部位とは、図4では心臓領域、図5では肺領域であるものとする。
なお、図4及び図5は、撮像装置1と画像生成装置3とが直接接続されて示されているが、実際は、撮影制御装置2が介在し、撮影制御装置2の記憶部22にて記憶された処理データが通信部25を介して、画像生成装置3の通信部35に出力される。
<1−3−1−2.検出部120>
検出部120は、所定部位周期特定部130を備え、対象部位の物理的状態の時間変化を検出する(図4及び図5参照)。ここでいう「物理的状態」という用語は、心臓や肺等の幾何学的形状を指すほか、血流の濃度(血流の有無)などをも包含した意味で用いている。被検者Mの心臓または肺の周期的な時間変化、すなわち、血流(心拍も含む)、及び、呼吸の位相情報や周波数(周期)情報を検出する。ここにおける時間変化の検出とは、臓器の外形や血流の濃度などの部位周期物理的状態についての時間的変化の検出を意味する。
所定部位周期特定部130では、対象部位の物理的状態の周期的な時間変化となる対象部位周期(所定部位周期)を特定する。
以下では、血流および呼吸による位相情報の算出方法として、本実施形態で用いる、第1の血流情報検出方法と第1及び第2の呼吸情報検出方法とについて説明する。
○ 第1の血流情報検出方法:心電計の検出結果
第1の血流情報検出方法として、図4で示されるように検出部120(所定部位周期特定部130)では、心電計4の位相検出部41から取得された結果を用いる方法である。図7は、被検者Mの心電図波形を例示する図である。なお、図7では、横軸が時刻、縦軸が電気信号の大きさ(電圧)を示しており、いわゆるP波、Q波、R波、S波、T波及びU波の形状をそれぞれ示す曲線Pp,Qp,Rp,Sp,Tp及びUpを含む電気信号の変化を示す曲線が示されている。
そこで、所定部位周期特定部130では、位相検出部41から取得された検出結果に基づいて、上記の点(Pp,Qp,Rp,Sp,Tp及びUp)を解析することで、心拍(血流)周期を特定する。
なお、位相検出部41による検出動作は撮像装置1による撮像動作と同期して行われる(図1参照)。また、図4は、心電計4と画像生成装置3とが直接接続されて示されているが、実際は、撮影制御装置2が介在し、撮影制御装置2の記憶部22にて記憶された検出データが通信部25を介して、画像生成装置3の通信部35に出力される。
このように、所定部位周期特定部130では、外部より心拍(血流)周期が設定可能に構成されることにより、対象部位の周期的な時間変化を自動的に取得することが可能となる。
例えば、第1の血流情報検出方法では、上述の血流情報を示すグラフG4を生成するための情報を得ることが可能となる。
○ 第1の呼吸情報検出方法:別機器による計測結果
第1の呼吸情報検出方法として、別機器による計測で実施する。別機器により計測する方法としては、例えば、特許第3793102号に記載されているような装置を用いることができる。また、レーザー光とCCDカメラで構成されたセンサによるモニタリングにより実施する手法(例えば、"FG視覚センサを用いた就寝者の呼吸モニタリングに関する検討",青木 広宙,中島 真人,電子情報通信学会ソサイエティ大会講演論文集 2001年.情報・システムソサイエティ大会講演論文集, 320-321, 2001-08-29.等参照)等を採用することもできる。
なお、本実施形態では、図5で示されるように検出部120(所定部位周期特定部130)では、サイクル検出装置16のサイクル検出センサ15が利用可能である。
また、呼吸サイクルを検出するための別の方法としては、呼吸モニタベルトを用いて被写体の胸部の動きを検出する方法や、気速計により呼吸の気流を検出する方法があり、これらの方法を適用することも可能である。
例えば、第1の呼吸情報検出方法では、上述の呼吸情報を示すグラフG3と後述のカラーバーC1とを生成するための情報を得ることが可能となる。
このように、所定部位周期特定部130では、外部より呼吸周期が設定可能に構成されることにより、対象部位の周期的な時間変化を自動的に取得することが可能となる。
○ 第2の呼吸情報検出方法:面積値または特徴点間距離
一方、第2の呼吸情報検出方法として、動態画像取得部110によって取得された撮影画像を用いて、肺野部の面積値を算出することで、呼吸情報とするものである。肺野部の面積の求め方は、肺野部の輪郭抽出を行い、輪郭に囲まれた領域の画素数を肺野領域として定義することが可能である。すなわち、横隔膜の位置や胸郭の幅を検出することで、呼吸情報を得ることができる。
例えば、第2の呼吸情報検出方法では、上述の横隔膜の位置を示すグラフG1及び胸郭の幅を示すグラフG2を生成するための情報を得ることが可能となる。
図13は、肺野部の輪郭抽出を例示する模式図である。肺野部の抽出は、図13で示すように、左右ごとに抽出しても、心臓や脊椎の領域を含んだ輪郭OLとして抽出してもよい。抽出方法としては、従来技術(例えば、“Image feature analysis and computer-aided diagnosis: Accurate determination of ribcage boundary in chest radiographs”, Xin-Wei Xu and Kunio Doi, Medical Physics, Volume 22(5), May 1995, pp.617-626.等参照)等を採用することができる。
このように、所定部位周期特定部130では、取得された撮影画像を用いて、肺野部の輪郭OLの抽出を実施し、抽出された領域内のピクセル数を特徴量として、該特徴量を肺野領域の面積として検出する。
また、第2の呼吸情報検出方法としては、動態画像取得部110によって取得された撮影画像を用いて、肺野領域の特徴点間の距離を算出し、呼吸情報とすることも可能である。すなわち、肺野部の抽出を上記方法と同様に実施し、抽出された領域から、特徴点2点を求め、その2点間の距離を求めることで特徴量を算出する。
図14は、肺野領域の特徴点の位置を例示した図である。肺領域の上端LTから下端BTまでの長さ(肺野長)の変化を算出する場合、図14(a)では、肺尖部を肺領域の上端LTとし、肺尖部から体軸方向におろした直線と横隔膜との交点を肺領域の下端LBとして抽出した例であり、図14(b)では、肺尖部を肺領域の上端LTとし、肋横角を肺領域の下端LBとして抽出した例である。
このように、所定部位周期特定部130では、取得された撮影画像を用いて、肺野領域の輪郭OLの抽出を実施し、抽出された領域から特徴点間の距離を求めることで、特徴点間距離を検出することで、呼吸周期を設定する。
以上のように、所定部位周期特定部130では、動態画像で捉えられた肺野領域の面積値あるいは特徴点間距離の時間的変化(所定部位の形状の変化)に基づき、呼吸周期を検出するため、呼吸周期を自動的に取得することが可能となる。
また、第2の呼吸情報検出方法は、第1の呼吸情報検出方法と比較して間接的に呼吸周期を検出するため、ノイズ成分も含まれやすいと予想される。そこで、所定部位周期特定部130では、動態画像で捉えられた肺野領域の面積値あるいは特徴点間距離の時間的変化(所定部位の形状の変化)に基づき、周波数解析等を用いて呼吸周期を検出することが好ましい。これにより、ノイズ成分を取り除いた所望の変動成分を自動的に抽出することができるため、肺野領域の面積値あるいは特徴点間距離の時間的変化(所定部位が時間変化する状態)をより正確に把握することが可能となる。
<1−3−1−3.診断支援情報生成部150>
診断支援情報生成部150では、上述の検出部120(所定部位周期特定部130)によって検出された心臓または肺などの対象部位の物理的状態の時間変化に基づいて解析を行い、その解析結果を診断支援情報として生成する。
また、診断支援情報とは、解析に基づく第1の解析結果と第2の解析結果とを含んで構成される。ここで、例えば、対象部位が肺野である場合、第1の解析結果は呼気を示し、第2の解析結果は吸気を示す。また、診断支援情報は、第1の解析結果と第2の解析結果とに加えて、第3の解析結果を含んでも構わない。例えば、対象部位が肺野である場合、第3の解析結果としては呼吸停止状態が挙げられる。
なお、解析結果の記憶部(保持部)32への保持方法に関しては、動態画像にメタデータとして保持される方法、すなわち、診断支援情報生成部150において生成された診断支援情報を動態画像(フレーム画像MI)と時間的に関連付けて、図28で示されるように、保持部32に保持する方法でも良いし、別データベースとして管理される方法であっても良い。これにより、診断時に測定や画像特徴量を計算する必要がなくなり望ましい。また、診断支援情報として表示する可能性のある重要な状態変化情報に限定して保持されていてもよい。
以下では、呼吸情報および血流情報における診断支援情報について説明する。
なお、呼吸の周期(呼吸サイクル)Bの1周期は、吸気と呼気とから構成され、1回の呼気と1回の吸気とからなる。吸気では、横隔膜が下がって息が吸い込まれるに連れて胸郭中の肺野の領域が大きくなる。息を最大限に吸い込んだとき(吸気と呼気の変換点)が最大吸気時B1である。呼気では、横隔膜が上がって息が吐き出されるに連れて肺野の領域が小さくなるが、息を最大限に排出したとき(呼気と吸気の変換点)が最大呼気時B2となる(図21参照)。
図15は、所定部位周期特定部130において特定された呼吸情報の周期に対して、呼吸位相の診断支援情報の生成を模式的に例示する図である。図15で示されるように、ここでは、第1の解析結果は呼気を示し、第2の解析結果は吸気を示し、呼吸位相を時間変化に対応させ、呼吸周期において識別可能な診断支援情報を生成する。
なお、本実施形態では呼吸情報における診断支援情報を用いて表示を行うが、血流情報における診断支援情報を用いて表示を行うことも可能である(図27参照)。この場合、図11で示される血流情報では、第1の解析結果は血流の「有り」を示し、第2の解析結果は血流の「無し」を示し、血流位相を時間変化に対応させ、血流周期において識別可能な診断支援情報を生成する。
これにより、後述の表示用画像における診断支援情報を参照して、呼吸周期における呼気と吸気との診断情報の変化が識別可能となるため、呼吸周期の肺野領域の状態変化に対して、効率的な医療診断が可能となる。また、解析結果が、心拍(血流)情報(心臓の「収縮期」「拡張期」が第1及び第2の解析結果)である場合においても、同様に心拍(血流)の周期の状態変化に対して、効率的な医療診断が可能となる。
なお、診断支援情報は、診断内容が予め決まっているケースでは、固定しておけば効率的である。たとえば、肺塞栓の疑いがある患者であれば、肺塞栓に有効な肺血流位相を採用すればよい。また、呼吸に異常疑いがある患者であれば、呼吸診断に有効な呼吸位相を採用する他、呼吸器系の異常パターンが幾つか解析可能である場合には、その状態変化が見受けられる複数の診断情報を採用してもよい。
<1−3−1−4.表示画像生成部160>
表示画像生成部160では、フレーム画像MI(動態画像)及び診断支援情報を表示するための表示用画像を生成する。すなわち、対象部位の位相変化と時間的に対応するフレーム画像MIとを対応付けて、表示用画像が生成される。
また、表示画像生成部160は、動態画像を表示する動態画像表示部分161と、診断支援情報の第1の解析結果と第2の解析結果とを識別可能に時間軸方向に一覧できるように表示する一覧表示部分162と、動態画像表示部分161の表示に対応した再生時刻情報を表示する再生時刻表示部分163と、が設けられた表示用画像を生成する(図4及び図5参照)。すなわち、表示用画像は、一覧表示部分162を含み、一覧表示部分162の時間軸方向の特定位置を示す指標を含んで生成される。そして、表示画像生成部160は、当該指標によって示された特定位置と対応する時点の動態画像を動態画像表示部分161に表示するように表示用画像を生成する。したがって、ある時点での表示用画像において、動態画像表示部分161に表示される動態画像(フレーム画像)と、指標によって示される一覧表示部分162の時間軸方向の特定位置とは対応関係にある。また、動態画像が動態画像表示部分161に動画的な態様で表示される場合においても、一覧表示部分162に表示される診断支援情報は静止画的な態様で表示され、一覧表示部分162の指標は時間軸方向に移動するように表示される。
また、動態画像表示部分161は、矩形であり、一覧表示部分162は、動態画像表示部分161の一辺に沿った長尺状の領域であり、その長手方向と診断支援情報の時間軸方向とが対応している。
さらに、表示画像生成部160では、対象部位が複数の部位であるとき、検出部120は、複数の対象部位の物理的状態の時間変化をそれぞれ検出し、診断支援情報生成部150は、複数の対象部位の物理的状態の時間変化に基づいてそれぞれ解析を行い、複数の対象部位についての解析結果を複数の診断支援情報としてそれぞれ生成し、一覧表示部分162は、該複数の診断支援情報を表示する。
図16は、表示画像生成部160において生成された表示用画像IGが、表示部34のディスプレイの画面上に表示された例である。この図16で示されるように、表示用画像IGには被検者Mについて撮影されたフレーム画像MIや図3と共通のグラフG1〜G4のほか、グラフィック要素として、
・肺野の呼吸位相に応じたカラーバーC1,
・プログレスバーPB,
・再生時刻表示部TM
が並列的に表示されている。
なお、本実施形態において、呼吸情報を示すグラフG3とカラーバーC1は、第1の呼吸情報検出方法から得られた情報であり、横隔膜の位置を示すグラフG1及び胸郭の幅を示すグラフG2は、第2の呼吸情報検出方法から得られた情報であり、血流情報を示すグラフG4は、第1の血流情報検出方法から得られた情報である。
なお、図16に示される表示用画像IGでは、フレーム画像MIを表示する部分が動態画像表示部分161に相当し、カラーバーC1の部分が一覧表示部分162に相当し、再生時刻表示部TMの部分が再生時刻表示部分163に相当する。
図16で示されるように、図3で示された参考例における表示用画像IG0と異なり、プログレスバーPBとカラーバーC1とが統合して表示される。
また、一覧表示部分162は、呼気及び吸気等の第1の解析結果と第2の解析結果とを異なる色表示(例えば、2色で簡易表示する等)または濃淡(いわゆる、グラデーション)で表示する表示形態であってもよい。色情報として扱う色の選択としては、特に状態変化量を表示する場合は認識しやすくするために状態変化量を正規化するとよい。状態変化の違いの表現方法としては、輝度の違い、色相の違い、彩度の違い等で表現でき、複数の状態変化を、輝度と色相、R-GとB-Yで表現してもよい。これにより、位相の度合いをより明確に表現することができ、必要に応じて細かい把握も可能となる。したがって、表示用画像IGを参照することにより、対象部位の診断内容が視認しやすくなり、診断効率がより向上する。
また、再生時刻表示部分163(すなわち、再生時刻表示部TM)は、一覧表示部分162(すなわち、カラーバーC1)に近接させて認識可能にした表示形態を採用することが望ましい。これによって、再生時における診断支援情報と再生時間とを視覚的に同時に把握することが可能となる。
さらに、一覧表示部分162は、動態画像表示部分161に表示される動態画像の再生時刻調整用の再生時刻調整インタフェース部分(プログレスバーPBに相当)が設けられてもよい(図4及び図5,図16参照)。
<1−4.画像生成装置3の基本動作>
図18は、本実施形態に係る画像生成装置3において実現される基本動作を説明するフローチャートである。既に各部の個別機能の説明は行ったため(図4及び図5参照)、ここでは全体の流れのみ説明する。
図18に示すように、まず、ステップS1において、制御部31の動態画像取得部110が、撮像装置1の読取制御装置14によって撮影された動態画像を、撮影制御装置2を介して取得する。
ステップS2では、検出部120が、心臓や肺等の物理的状態の時間変化を検出し、所定部位周期特定部130が、血流、呼吸等の周期を特定する。具体的に、血流情報の時間変化に関しては、検出部120(所定部位周期特定部130)が、心電計4の位相検出部41から取得された結果(第1の血流情報検出方法)に基づき検出する(図4参照)。また、呼吸情報の時間変化に関しては、検出部120(所定部位周期特定部130)が、サイクル検出センサ15から取得された結果(第1の呼吸情報検出方法)に基づき検出するか(図7〜図14参照)(図5参照)、あるいは、動態画像におけるフレーム画像MIの画像特徴量(第2の呼吸情報検出方法)に基づき検出する。
ステップS3では、診断支援情報生成部150が、ステップS2において取得された心臓や肺などの物理的状態の時間変化に基づいて解析を行い、その解析結果を、時間変化に対応させた診断支援情報を生成する(図11,図15参照)。そして、診断支援情報を動態画像と時間的に関連付けて保持部32に保持する。
ステップS4では、表示画像生成部160が、ステップS3において保持されたフレーム画像MI(動態画像)及び診断支援情報を表示するための表示用画像IGを生成する(図16参照)。
最後に、ステップS5において、表示画像生成部160が、ステップS4において生成した表示用画像IGを表示部34にて出力することで、表示部34のモニタに表示し、本動作フローが終了される。
以上、画像生成装置3では、人体または動物における心臓や肺等の対象部位を時間順次に捉えた動態画像を取得し、当該対象部位の物理的状態の時間変化を検出する。そして、当該対象部位の物理的状態の時間変化に基づいて解析を行い、その解析結果を診断支援情報として生成する。続いて、当該診断支援情報を動態画像と時間的に関連付けて保持した後、当該動態画像及び前記診断支援情報を表示するための表示用画像を表示する。ここで、当該診断支援情報は、解析に基づく第1の解析結果と第2の解析結果とを含み、表示用画像は、表示用画像は、動態画像を表示する動態画像表示部分161(図16におけるフレーム画像MIの表示部分)と、当該診断支援情報の第1の解析結果と第2の解析結果とを識別可能に時間軸方向に一覧できるように表示する一覧表示部分162(図16におけるカラーバーC1等)と、を含む画像である。したがって、参考例において、時間変化する対象部位の「位置」変化によって専門家により判断する必要があった(図3のラインLTを参照)が、本実施形態(以下の第4,第5実施形態も含む)では、診断支援情報の解析結果における複数種の診断情報(例えば、解析結果が呼吸情報である場合は「呼気」「吸気」)を、時間軸方向に視覚的に識別可能に表示するようにしたため(図16のカラーバーC1を参照)、所望の表示用画像の把握において、一覧性を持たせた可視化が実現可能となる。これにより、動画読影による診断時間の短縮化が図れ、ユーザにとっての利便性が向上する。
<2.第2実施形態>
以下では、第2実施形態について説明する。第1実施形態と異なる点は、表示画像生成部160にて生成される表示用画像が異なる点である。なお、残余の構成は第1実施形態の画像生成装置3と同様である。
図17(a)は、第2実施形態における表示用画像IGを示す図であり、表示部34のディスプレイの画面上に表示された例である。図17(a)で示されるように、表示用画像IGには被検者Mについて撮影されたフレーム画像MIや図3と共通のグラフG1〜G4のほか、グラフィック要素として、図16と同様に、
・肺野の呼吸位相に応じたカラーバーC1,
・プログレスバーPB,
・再生時刻表示部TM,
が表示される一方、第2実施形態における表示用画像IGでは、
・位相変化を示す波形グラフF,
・再生時刻調整部341
が並列的に表示されている。
なお、第2実施形態において、カラーバーC1と波形グラフFとは、第1の呼吸情報検出方法から得られた情報であり、残余のグラフィック要素は、第1実施形態と同様である。
具体的に、第2実施形態における表示用画像IGは、図17(a)で示されるように、対象部位の物理的状態の時間変化を示す波形グラフFをカラーバーC1上に統合して表示される。
また、一覧表示部分162は、動態画像表示部分161の再生時刻調整用の再生時刻調整インタフェース部分(プログレスバーPBに相当)が設けられるとともに、表示部34は、ユーザが操作部35を介して再生時刻調整インタフェース部分を用いて再生時刻を変化させて表示用画像IGを参照可能な再生時刻調整部341を備える(図17(a)参照)。これにより、ユーザがプログレスバーPBを用いて再生時刻を変化させて表示用画像IGを参照することができるため、表示用画像IGの所望の再生時刻にアクセスすることが可能となる。
<3.第3実施形態>
以下では、第3実施形態について説明する。第1実施形態と異なる点は、表示画像生成部160にて生成される表示用画像が異なる点である。また、第3実施形態における表示用画像は第2実施形態における表示用画像とも異なる。なお、残余の構成は第1実施形態の画像生成装置3と同様である。
図17(b)は、第3実施形態における表示用画像IGを示す図であり、表示部34のディスプレイの画面上に表示された例である。図17(b)で示されるように、表示用画像IGには被検者Mについて撮影されたフレーム画像MIや図3と共通のグラフG1〜G4のほか、グラフィック要素として、図16及び図17(a)と同様に、
・プログレスバーPB,
・再生時刻表示部TM,
・再生時刻調整部341,
が表示される一方、第3実施形態における表示用画像IGでは、
・右肺野の呼吸位相に応じたカラーバーC1,
・左肺野の呼吸位相に応じたカラーバーC2,
が並列的に表示されている。
なお、第3実施形態において、カラーバーC1,C2は、第2の呼吸情報検出方法から右肺野及び左肺野を別々に検出することで得られた情報であり、残余のグラフィック要素は、第1実施形態と同様である。
第3実施形態における表示用画像IGは、図17(b)で示されるように、図3で示された参考例における表示用画像IG0と異なり、プログレスバーPBとカラーバーC1,C2とが統合して表示される。
そして、図17(b)で示されるように、診断支援情報として、例えば、左肺野及び右肺野等のように、複数の解析結果それぞれを時間的に対応して得られる情報として、カラーバーC1,C2を近接させて表示することも可能である。これにより、左右肺の呼吸位相をそれぞれ同時に示すことができ、左右肺の状態変化が異なる箇所が明確に示され、異常点がわかりやすくなるため、動画のフレーム選択操作が容易になる。
このように、診断支援情報は、複数の部位に対応する複数の解析結果の時間変化を示す情報であるため、表示用画像IGを参照することにより、複数の部位に対応する複数の解析結果を同時に視認することが可能となる。また、複数の部位が、左肺野及び右肺野であることにより、表示用画像IGを参照して、左肺野及び右肺野それぞれの解析結果を同時に視認することが可能となる。
また、再生時刻表示部分163(すなわち、再生時刻表示部TM)は、一覧表示部分162(すなわち、カラーバーC1,C2)に近接させて認識可能にした表示形態を採用することが望ましい。これによって、再生時における診断支援情報と再生時間とを視覚的に同時に把握することが可能となる。
<4.第4実施形態>
ユーザは動画に注視したいため、フレーム選択操作には重要な点のみを表示した簡易表示が効果的である。そこで、第4実施形態では、設定条件下で定められた特徴点を算出し、表示用画像IGに付加される。なお、ここでいう特徴点についての詳細は後述するが、上述の第2の呼吸情報検出方法及び後述の第2の血流情報検出方法における特徴点とは異なることに留意したい。
図19は、本発明の第4実施形態として構成された画像生成装置3Aで用いられる制御部31Aの機能構成を示す図である。この制御部31Aは、第1実施形態の画像生成装置3における制御部31(図4参照)の代替としてそれぞれ使用される。第1実施形態と異なる点は、検出部120Aが特徴点算出部140をさらに備える点であり、残余の構成は第1実施形態の画像生成装置3と同様である。
<4−1.特徴点算出部140>
特徴点算出部140は、対象部位の物理的状態の時間変化において、特徴点を算出する。なお、診断支援情報生成部150A及び表示画像生成部160Aは、当該特徴点を指示する情報を含んで診断支援情報を生成するものとする。
図20は、検出部120Aにおいて検出された血流(心拍)情報の波形データを時系列で示した模式図であり、図21は、検出部120Aにおいて検出された呼吸情報の波形データを時系列で示した模式図である。なお、図20は、第1の血流情報検出方法を採用する場合における心電図波形を時間方向にモニタリングした結果であり、図21は、第2の呼吸情報検出方法を採用する場合における肺野領域の面積値あるいは特徴点間距離の時間的変化を算出した結果を例示したものである。
設定条件下で定められた特徴点としては、例えば、血流(心拍)情報に関しては、図20で示されるように、波形中の最大点として点P1及び点P4(図7における点Rpに相当する点)、波形中の最小点として点P2及び点P5(図7における点Spに相当する点)、及び、波形中の極大点として点P3及び点P6(図7における点Tpに相当する点)等が挙げられる。また、呼吸情報に関しても同様に、図21で示されるように、最大点の点B1,点B3、及び、最小点の点B2等が挙げられる。
また、特徴点算出部140では、最大点、最小点、極大点、及び、極小点の他にも、例えば、変化点(例えば、1次微分または2次微分における、最大点、最小点、極大点、極小点)等を算出するよう設定条件として設けても良い。
特徴点算出部140により算出された特徴点は、上述のカラーバーC1(C2)上に重畳して示されるように、診断支援情報生成部150が表示用画像IGを生成する。すなわち、血流(心拍)情報に関しては、図20で示されるように、最大点の点P1及び点P4はラインLP1,LP4として、最小点の点P2及び点P5はラインLP2,LP5として、極大点の点P3及び点P6はラインLP3,LP6としてそれぞれ表示される。また、呼吸情報に関しても同様に、図21で示されるように、最大点の点B1及び点B3はラインLB1,LB3として、最小点の点B2はラインLB2としてそれぞれ表示される。なお、図20ではLP1〜LP6を明確にするため、カラーバーC1(C2)が空白で示されているが、実際は、心臓の「収縮期」「拡張期」(対象部位の「状態」変化)を視覚的に識別可能に表示されているものとする。
また、当該特徴点を示すラインLP1〜LP6,LB1〜LB3を識別可能に色表示する等、明確にすることにより、診断重要箇所が視認しやすくなり、診断効率がより向上する。また、診断支援情報が複数の部位に対応する複数の解析結果の時間変化を示す場合、例えば、図17(b)で示されるように、左肺野および右肺野の呼吸位相をそれぞれ示す場合に、上述の特徴点を示すラインを重畳して示されれば、左肺野および右肺野の状態の時間変化に応じた異常点(特徴点)が異なる箇所で現れるなど、状態変化の差異が明確になり有用である。
また、特徴点が示されることにより、状態変化に異常の疑いが見られ得ると診断されたフレーム画像MIに対しては、色表示等識別可能にカラーバーC1(C2)上に表示することも可能である。さらに、呼気か吸気か等の第1及び第2の解析結果では信頼性が低い状況においても、特徴点を色表示等識別可能にカラーバーC1(C2)上に表示することで、異常が発見しやすくなる。
<4−2.画像生成装置3Aの基本動作>
続いて、図22は、第4実施形態に係る画像生成装置3Aの動作フローを例示した図である。なお、図22のうち、ステップST1,ST2,ST4,ST5,ST6は図18のステップS1〜S5と同様であるため、その説明は省略する。
この第4実施形態では、第1実施形態では存在しなかった特徴点算出部140が付加されたことで、下記の工程が加わる。
すなわち、第1実施形態と同様の工程として、ステップST1〜ステップST2を経て、図22で示されるように、ステップST3にて、検出部120Aにおける特徴点算出部140が、ステップST2において検出された対象部位の時間変化において、設定条件下で定められた特徴点を算出する(図20及び図21参照)。
そして、第1実施形態と同様の工程として、ステップST4〜ステップST5を経て、最後に、ステップST6において、表示画像生成部160Aが、ステップST5において生成された、当該特徴点を指示する情報を含む表示用画像IGを表示部34にて出力することで、表示部34のモニタに表示し、本動作フローが終了される。
以上のように画像生成装置3Aでは、診断支援情報は特徴点を指示する情報を含むため、対象部位の時間変化における特徴点が明確になり、診断効率がより向上する。
<5.第5実施形態>
ユーザの所望の条件を満たすフレーム画像MIの再生時刻が到来する、もしくは、到来したタイミングを、ユーザに報知することで、特に経験の浅いユーザには効果的となる。そこで、第5実施形態では、所望の条件を満たすタイミングをユーザに報知する手段を備える。
図23は、本発明の第5実施形態として構成された画像生成装置3Bで用いられる制御部31Bの機能構成を示す図である。この制御部31B及び表示部34Bは、第1(第4)実施形態の画像生成装置3(3A)における制御部31(31A)(図4、図19参照)の代替としてそれぞれ使用される。第1(第4)実施形態と異なる点は、検出部120Bが報知点算出部145をさらに備え、また、画像生成装置3Bが報知部342をさらに備える点である。なお、残余の構成は第4実施形態の画像生成装置3Aと同様である。
なお、図23における検出部120Bは、第4実施形態による特徴点算出部140を備えて構成されているが、特徴点算出部140を備えていなくても良い。
<5−1.報知点算出部145及び報知部342>
報知点算出部145は、対象部位の時間変化において、ユーザが所望する設定条件下で定められた報知するための点(以下「報知点」と称する)を算出し、報知部342に出力する。すなわち、設定条件とは、ユーザが指定する条件であり、例えば、対象部位の物理的状態の時間変化が図21で示される呼吸情報であるときに、ユーザが最大点を報知するよう指定する場合は、報知点算出部145が点P3及び点P6を報知点として検出する。なお、診断支援情報生成部150B及び表示画像生成部160Bは、当該報知点を指示する情報を含んで診断支援情報を生成するものとする。
報知部342は、診断支援情報生成部150による解析結果が設定条件(所定の条件)を満たしたときに、ユーザに設定条件を満たしたことを報知する。すなわち、報知部342は、報知点算出部145において検出された報知点を、ユーザに視覚情報、聴覚情報、触覚情報の何れかの手段により報知する。視覚情報として報知するときは、報知部342は表示部34Bに視覚情報を表示するよう指示する。具体的に視覚情報としては、現時点から報知点までにかかる時間を視覚的に表現したものであり、インジゲータ、プログレスバー表示、数値による表示、モデル図による表示、周期図による表示などが挙げられ、好ましくは、ユーザが余裕を持って報知点を知得できるように、報知点が実際に到来するよりも前から、その報知点が近づいていることを知ることができるような態様で画面上に表示する。聴覚情報として報知するときは、報知部342はブザーやタイミング音、音声などが挙げられる。例えば、報知点まで後何秒かを合成音でアナウンスする方法や、報知点でブザーを鳴らす方法等により報知する。
また、視覚情報、聴覚情報、及び、触覚情報のいずれを採用した場合においても、プログレスバーPBをまったく見ずに操作が可能となる。例えば、経過時間に応じてフレーム画像MIを巻き戻し操作中に、報知情報をユーザが受けるため、動画を注視しながら診断に有用なフレーム画像MIまで到達選択することが可能となる。
<5−2.画像生成装置3Bの基本動作>
続いて、図24は、第5実施形態に係る画像生成装置3Bの動作フローを例示した図である。なお、検出部120Bは、特徴点算出部140を備えていない場合を想定するものとする。また、図24のうち、ステップSP1,SP2,SP4,SP5,SP6は図18のステップS1〜S5と同様であるため、その説明は省略する。
この第5実施形態では、第1実施形態では存在しなかった報知点算出部145及び報知部342が付加されたことで、下記の工程が加わる。
すなわち、第1実施形態と同様の工程として、ステップSP1〜ステップSP2を経て、図24で示されるように、ステップSP3にて、検出部120Aにおける報知点算出部145が、ステップSP2において検出された対象部位の時間変化において、設定条件下で定められた報知点を算出する。
そして、第1実施形態と同様の工程として、ステップSP4〜ステップSP5を経て、最後に、ステップSP6において、表示画像生成部160Bが、ステップSP5において生成された、当該報知点のタイミングを考慮した表示用画像IGを表示部34Bにて出力することで、表示部34Bのモニタに表示し(ここで、聴覚情報及び触覚情報にて当該報知点のタイミングをユーザに知らせる場合は音声や触覚などにて出力し)、本動作フローが終了される。
以上のように画像生成装置3Bでは、対象部位の解析結果が所望の設定条件を満たしたときに、ユーザに報知することにより、診断経験の浅い医者等に対しても、報知により設定条件を満たした診断内容を認識することが可能となる。
<6.第6実施形態>
図6は、本発明の第6実施形態として構成された放射線動態画像撮影システム100’における画像生成装置3’で用いられる制御部31’の機能構成を示す図である。この制御部31’は、第1実施形態のシステム100における制御部31(図4)の代替として使用される。第1実施形態と異なる点は、検出部120’における血流情報の検出方法が異なる点である。なお、残余の構成は第1実施形態の画像生成装置3と同様である。また、本実施形態における対象部位とは、心臓領域または肺領域である。以下では、本実施形態で用いられる第2の血流情報検出方法について説明する。
○ 第2の血流情報検出方法:心臓壁の動き量
第2の血流情報検出方法として、図6で示されるように検出部120’(所定部位周期特定部130’)では、動態画像取得部110によって取得された撮影画像を用いて、心臓壁の動き量を算出することで、心拍(血流)情報とするものである。すなわち、呼吸中肺動態画像及び呼吸停止中肺動態画像で、撮影対象の対象部位である肺とともに心臓も捉えられていることが前提条件である。詳細には、呼吸中肺動態画像及び呼吸停止中肺動態画像から心臓壁の変動が検出されることで、各呼吸中フレーム画像及び各呼吸停止中フレーム画像が撮影されたタイミングにおける心臓の拍動の位相が検出される。したがって、心臓壁が心臓の拍動の位相として検出される。
図8は、各呼吸中フレーム画像及び各呼吸停止中フレーム画像について、所定点(例えば左上の点)を基準点(例えば原点)とし、右方向をX軸方向とし、下方向をY軸方向とし、1画素毎に座標の値が1つずつ変化するように描かれた画像座標面である。
図9は、呼吸停止中肺動態画像で捉えられた心臓壁の変動を例示する模式図である。心臓壁の変動の一例として、心臓の横幅の変動を採用する。図9(a)〜(c)では、心臓が拡張していく過程で、心臓壁の動きである心臓の横幅がw1からw3へと大きくなっていく状態が例示されている。
そこで、所定部位周期特定部130では、各呼吸中フレーム画像及び各呼吸停止中フレーム画像から、心臓の横幅を検出することで、心拍(血流)周期を設定する。具体的に、心臓の横幅を検出する手法としては、例えば、心臓の輪郭を検出して行う手法等が挙げられる。そして、この心臓の輪郭を検出する手法としては、種々の公知の手法を採用することができ、例えば、心臓の形状を示すモデル(心臓モデル)を用いて、X線画像中の特徴点と、心臓モデルの特徴点とを合わせて行くことで、心臓の輪郭を検出する手法(例えば、"Image feature analysis and computer-aided diagnosis in digital radiography: Automated analysis of sizes of heart and lung in chest images", Nobuyuki Nakamori et al., Medical Physics, Volume 17, Issue 3, May, 1990, pp.342-350.等参照)等を採用することができる。
図10は、呼吸停止中肺動態画像を構成する複数の呼吸停止中フレーム画像について、撮影された時刻と心臓の横幅との関係を例示する模式図である。図10では、横軸が時刻、縦軸が心臓の横幅を示し、丸印が検出された心臓の横幅の値を示している。
ここで、時刻tで捉えられた心臓の横幅をHwt、時刻t+1で捉えられた心臓の横幅をHwt+1とし、(Hwt+1−Hwt)≧0が成立する場合には、時刻tで捉えられた呼吸停止中フレーム画像が心臓の拡張時に分類され、(Hwt+1−Hwt)<0が成立する場合には、時刻tで捉えられた呼吸停止中フレーム画像が心臓の収縮時に分類される。
以上のように、所定部位周期特定部130’では、動態画像で捉えられた心臓壁の動き(所定部位の形状の変化)に基づき、心拍(血流)周期を検出するため、当該周期を自動的に取得することが可能となる。
また、第2の血流情報検出方法は、第1の血流情報検出方法と比較して間接的に血流周期を検出するため、ノイズ成分も含まれやすいと予想される。そこで、所定部位周期特定部130’では、動態画像で捉えられた心臓壁の動き(所定部位の形状の変化)に基づき、周波数解析等を用いて血流周期を検出することが好ましい。これにより、ノイズ成分を取り除いた所望の変動成分を自動的に抽出することができるため、心臓壁の動き量(所定部位が時間変化する状態)をより正確に把握することが可能となる。
<7.第7実施形態>
以下では、第7実施形態について説明する。第1実施形態と異なる点は、検出部120における血流情報の検出方法が異なる点である。なお、残余の構成は第1実施形態の画像生成装置3と同様である。また、第7実施形態における血流情報の検出方法は第6実施形態における血流情報の検出方法とは異なるが、図6で示されるように、動態画像に基づき血流情報(対象部位の物理的状態の時間変化)を検出する点においては共通する。以下では、本実施形態で用いられる第3の血流情報検出方法について説明する。
○ 第3の血流情報検出方法:血流位相解析
第3の血流情報検出方法として、動態画像取得部110によって取得された撮影画像を用いて、血流位相解析を行うことで、血流情報とするものである。血流位相とは、血流が流れている位置に応じた血流の有無を示す位相情報である。本発明で用いる血流位相解析処理(血流情報生成処理)に関しては、例えば、本出願人による出願である「特願2011−115601号(出願日:平成23年5月24日)」を採用することができる。
図11は、肺全体の血流の有無に伴う時空間変化の解析結果を例示する図である。一般的に、血流解析では、心臓の収縮によって右心室から大動脈を介して血液が急激に吐出されることにより肺野血管が拡がるので、この拡がりを、動態画像を解析することにより抽出して肺全体の血流の有無に関する診断支援情報として出力するものである。即ち、肺野において血管が拡張すると、肺血管が拡がった領域の放射線透過量が、肺野(肺胞)領域を透過する放射線透過量よりも比較的大きく減少するので、この領域に対応する放射線検出部13の出力信号値が低下する。このような心臓の拍動に呼応した肺血管の拡がりは、心臓近傍の動脈から末梢へ伝播する。そこで、動態画像を構成する一連のフレーム画像MI間の放射線検出部13の画素(ピクセル)単位、または、複数画素からなる小領域単位(画素ブロック単位)を互いに対応付け、画素単位又は小領域単位毎に、信号値が最も低くなったフレーム画像MIを求め、そのフレーム画像MIの該当する領域を肺血管が血流により拡張したタイミングを示す信号として色付けする。そして、図11で示されるように、色付け後の一連のフレーム画像MIを表示部34に順次表示することで、血流の状態を医師等が視認できるようになる。なお、図11で示される白色箇所は、実際は赤色等で色付けされている。
各画素(小領域)において、血流により肺血管が拡張したタイミングを示す信号(血流信号という)は、その画素(小領域)の信号値の時間変化を示す波形(出力信号波形という)の極小値を求めることにより取得することができる。この血流信号は心臓の拍動周期と同じ間隔で表れるが、不整脈等の異常個所があると、心臓の拍動周期と異なる間隔で血流に伴う血管の拡張と関係なく極小値が表れる場合がある。そこで、第3の血流情報検出方法では、心臓の拍動を示す拍動信号波形と各小領域の出力信号波形との相関係数を求めることにより、精度良く血流信号を抽出する。
以下では、肺血管領域における血流情報の検出として、肺血管領域の出力信号波形と血流信号抽出方法との概要を説明する。図12は、肺血管領域の血流信号値の時間変化を示す波形を例示する図である。図12(a)では、時間順次に取得された一連のフレーム画像MIにおいて、診断対象領域に相当する肺血管領域IR2の位置を示し、図12(b)では、横軸を動態画像の撮影開始からの経過時間(フレーム番号)とし、縦軸を肺血管領域IR2における信号値(代表値)とした座標空間上に各フレーム画像MIの肺血管領域IR2の信号値(代表値)がプロットされたグラフを示す。
ここで、図12(b)のグラフでは、呼吸と血流との位相が混在した状態であるため、次のフィルタリング処理によって、呼吸と血流のそれぞれ互いの影響を排除する。すなわち、当該フィルタリング処理では、呼吸等による低周波数な信号変化を除去し、血流による信号値の時間変化を抽出する。例えば、小領域毎の信号値の時間変化に対して、安静呼吸画像群では低域カットオフ周波数0.7Hz、深呼吸画像群では低域カットオフ周波数0.5Hzでハイパスフィルタリングを行う。若しくは、さらに高周波数のノイズ成分を除去するために2.5Hzの高域カットオフ周波数で高周波数も遮断するバンドパスフィルタによってフィルタリングを行っても良い。
ここで、当該カットオフ周波数は、固定値とするよりも、撮影された動態画像毎に最適化することが好ましい。例えば、一連のフレーム画像MI(図12(a)参照)の心臓領域の信号変化から、心臓の収縮期の時間と拡張期(弛緩期)の時間を算出する(第2の血流情報検出方法を参照)。そして、拡張期の時間の逆数に所定の係数を乗じた値をハイパスフィルタもしくはバンドパスフィルタで低周波数を遮断するカットオフ周波数として設定し、また、バンドパスフィルタの場合は、収縮期の時間の逆数に所定の係数を乗じた値を、高周波数を遮断する高域カットオフ周波数として設定する。更に、低域カットオフ周波数は、呼吸による周波数成分を考慮し、一連のフレーム画像MIから横隔膜の位置の値や肺野領域の面積値あるいは特徴点間距離を解析し(後述の第2の呼吸情報検出方法を参照)、安静換気の場合は安静呼気位及び安静吸気位となるフレーム画像MIを検出し、安静呼気位のフレームとその次の安静吸気位のフレームの間のフレーム数から吸気期の時間を求め、その逆数と、当該拡張期の時間の平均値に所定の係数を乗じた値を低域のカットオフ周波数として設定してもよい。このとき安静換気の場合、自動的に設定されるカットオフ周波数は、低域カットオフ周波数は0.2〜1.0Hzの間に、高域カットオフ周波数は、2.0Hz以上に制限することが好ましい。また、別途測定された安静時における1分間の呼吸数、脈拍数等(第1の血流情報検出方法、及び、後述の第1の呼吸情報検出方法を参照)のバイタルサインを患者情報として入力しておき、これらの値からカットオフ周波数が算出されるようにしてもよい。例えば、患者情報として入力された1分間の呼吸数を1秒間の呼吸数に変換し、その呼吸数に所定の係数を乗じた値を低域カットオフ周波数としてもよい。そして、入力された1分間の脈拍数を1秒間の脈拍数に変換し、1秒間の呼吸数に所定の係数を乗じた値を高域カットオフ周波数としてもよい。更に、1秒間の呼吸数と1秒間の心拍数の平均値に所定の係数を乗じた値を低域カットオフ周波数として設定するようにしてもよい。
以上の血流位相解析処理の後、本実施形態の所定部位周期特定部では、動態画像で捉えられた血流位相変化(所定部位の状態の変化)に基づき、血流周期を特定するため、血流周期を自動的に取得することが可能となる。
<8.変形例>
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
※ 本実施形態では、画像生成装置3,3’,3A,3Bを個別に実施されるように各実施形態に分けて記載したが、これらの個別機能は、互いに矛盾しない限り、相互に組み合わせてもよい。
※ この発明では、身体の撮影対象となる部分のうち、物理的状態が周期的に時間変化する部位が位相検出の対象となるが、それは、心臓や肺だけでなく、蠕動などの不随意運動を行う他の臓器であってもよく、また、筋肉や関節などの随意運動を行う部位であってもよい。後者の場合には、被検者に同一の動作を繰り返して行わせつつ、動態撮影を行う。
すなわち、本実施形態では、胸部撮影における呼吸情報や血流情報を対象としたが、例えば、関節撮影における関節の屈伸方向情報などを対象としてもよい。
図25は、関節屈伸における関節角度を例示する図である。図25で示されるように、検出部120(120A,120B)によって、屈伸方向情報は関節角度θの動きから算出される。具体的に、第2の呼吸情報検出方法の輪郭抽出方法や閾値処理などを採用し、骨の輪郭領域を抽出する。そして、その輪郭領域から軸AX1,AX2を抽出し、軸AX1,AX2の2本が交差する角度θの変動から屈伸方向を算出する。軸AX1,AX2は、輪郭領域の中心を通るものであっても、輪郭領域のエッジに沿ったラインであってもよい。
図26は、所定部位周期特定部130において特定された屈伸方向情報の周期に対して、屈伸位相の診断支援情報の生成を模式的に例示する図である。図26で示されるように、ここで、第1及び第2の解析結果とは、伸ばす方向と屈する方向とを指し、屈伸位相を時間変化に対応させ、屈伸位相周期においても、図11,図15と同様に識別可能な診断支援情報を生成する。
これにより、表示用画像IGにおける診断支援情報を参照して、屈伸周期における伸ばす方向と屈する方向との変化が識別可能となるため、屈伸周期の関節の状態変化に対して、効率的な医療診断が可能となる。
※ 検出部120、特徴点算出部140及び報知点算出部145の画像解析において、フレーム画像MIの領域うち、画像解析の対象領域を適宜設定することが可能である。これにより、画像解析に掛かる計算時間の短縮化が図れる。
※ 本実施形態では、図16及び図17で示されるように、診断支援情報の解析結果として、表示用画像IGにおける一覧表示部分162(カラーバーC1,C2)に呼吸情報を表示する場合を示しているが、図11で示される血流情報を表示しても良い。また、表示画像生成部160は、カラーバーC1(C2)上に血流位相を表示するだけでなく、上述の第3の血流情報検出方法(血流位相解析)による画像処理結果RT(図11参照)をフレーム画像MIに重畳もしくは近接して表示するように表示用画像IGを生成してもよい。
図27は、診断支援情報の解析結果として血流情報を表示する場合の表示用画像IGを例示している。当該表示用画像IGを生成するにあたって、図4で示されるように、検出部120は、フレーム画像MI(動態画像)に基づき、対象部位の血流の有無に関する画像処理結果RT(図11参照)を出力し、動態画像と時間的に関連付けて保持部32に保持する。そして、表示画像生成部160は、画像処理結果RTを動態画像と同期して表示するように表示用画像IGを生成する。
なお、表示用画像IGには、画像処理結果RTを視覚的に認識可能な表示内容として表示する画像処理結果表示部分164(図4における破線エリア)が設けられることが望ましい。すなわち、図27で示されるように、画像処理結果表示部分164(すなわち、画像処理結果RTの表示部分)は、動態画像表示部分161(すなわち、フレーム画像MIの表示部分)に重畳(不図示)もしくは近接(図27参照)させて認識可能にした表示形態を採用することが望ましい。これによって、フレーム画像MIと診断支援情報と画像処理結果RTとを視覚的に同時に把握することが可能となり、より効率的な医療診断が可能となる。
これにより、肺塞栓が疑われる場合には、その疑い箇所を詳細に確認して診断することが可能となる。例えば、肺野内の血流位相状況をカラーバーC1上で判断し、画像処理結果RT(重畳表示した場合はフレーム画像MI)上で肺塞栓の可能性がある肺血管の血流状況に注視することができる。また、肺塞栓の可能性のある位置が心臓付近の肺血管なのか抹消の肺血管なのか見当がついていれば、ユーザがプログレスバーPBを用いて位相情報から診断で見たい再生時刻を調整することができる。
また、診断支援情報が複数の部位に対応する複数の解析結果の時間変化を示す場合の例として、図17(b)では右肺野及び左肺野の位相をそれぞれカラーバーC1,C2に示したが、呼吸情報と血流情報との位相を同時に表示してもよい。これは、血流の診断は、呼吸位相が最大吸気の状態が、肺が最も大きくなるために最も視認しやすくなるためである。
また、上述したように、検出部120にて対象領域のみの時間変化を検出し、その注目エリアの位相情報をカラーバーC1(C2)上に表示するようにしてもよい。これは、肺塞栓の疑いがある場所が明確な場合、当該エリアに限定した位相情報の表示が望ましいためである。
さらに、血流の位相は、指定領域の血流有無による2位相だけでなく、肺野の主血管領域と抹消血管領域とにエリアを分けて、どちらに血流があるかによって3位相で表現してもよい。それにより、主血管と抹消血管とどちらに肺塞栓疑いがあるかに応じた再生時刻の指定選択が容易となる。
※ 表示画像生成部160,160A,160Bが生成する表示用画像IGは、本実施形態の例に限られない。すなわち、ユーザーカスタマイズを可能にすることで、あらゆる診断観点に対応して表示用画像IGを生成することができる。例えば、ユーザが、グラフ表示された特定の動き(状態変化)情報をクリックしてフレーム選択操作していた場合、その動き情報をターゲットとして、色表示を切り替え変更できるようにしてもよい。また、ある画素領域を指定することで、その画素領域の時間方向について動きを解析し、分析結果で色表示を切替てもよい。
※ 本実施形態では、プログレスバーPBが横方向に動くことでフレーム画像MIの位置を表現する場合は、カラーバーC1(C2)も、プログレスバーPBに沿った横方向座標に対応させて色を変化させたが(図16及び図17参照)、これに限られない。例えば、プログレスバーPBが縦方向や回転方向に動くことでフレーム画像MIの位置を表現する場合には、カラーバーC1(C2)も、その方向に沿って色を変化させるものであってもよい。
※ 被写体は、人体だけでなく、動物の身体であってもよい。
1 撮影装置
2 撮影制御装置
3,3’,3A,3B 画像生成装置
4 心電計
31,31’,31A,31B 制御部
34,34B 表示部
41 位相検出部
100,100’,100A,100B 放射線動態画像撮影システム
110 動態画像取得部
120 検出部
130,130’ 所定部位周期特定部
140 特徴点算出部
145 報知点算出部
150,150A,150B 診断支援情報生成部
160,160A,160B 表示画像生成部
161 動態画像表示部分
162 一覧表示部分
163 再生時刻表示部分
164 画像処理結果表示部分
341 再生時刻調整部
342 報知部
C1,C2 カラーバー
PB プログレスバー
M 被写体(被検者)
MI フレーム画像
TM 再生時刻表示部
RT 画像処理結果

Claims (12)

  1. 人体または動物の所定部位を時間順次に捉えた動態画像を取得する動態画像取得部と、
    前記所定部位の物理的状態の時間変化を検出する検出部と、
    前記検出部によって検出された前記所定部位の物理的状態の時間変化に基づいて解析を行い、その解析結果を診断支援情報として生成する診断支援情報生成部と、
    前記診断支援情報を前記動態画像と時間的に関連付けて保持する保持部と、
    前記動態画像及び前記診断支援情報を表示するための表示用画像を生成する表示画像生成部と、
    を備え、
    前記診断支援情報は、前記解析に基づく第1の解析結果と第2の解析結果とを含み、
    前記表示用画像は、
    前記動態画像を表示する動態画像表示部分と、
    前記診断支援情報の第1の解析結果と第2の解析結果とを識別可能に時間軸方向に一覧できるように表示する一覧表示部分と、
    を含む画像であり、
    前記検出部は、
    前記所定部位の物理的状態の周期的な時間変化となる所定部位周期を特定する所定部位周期特定部、
    を備え、
    前記所定部位は肺野であり、
    前記第1の解析結果は呼気を示し、
    前記第2の解析結果は吸気を示す、ことを特徴とする、
    画像生成装置。
  2. 人体または動物の所定部位を時間順次に捉えた動態画像を取得する動態画像取得部と、
    前記所定部位の物理的状態の時間変化を検出する検出部と、
    前記検出部によって検出された前記所定部位の物理的状態の時間変化に基づいて解析を行い、その解析結果を診断支援情報として生成する診断支援情報生成部と、
    前記診断支援情報を前記動態画像と時間的に関連付けて保持する保持部と、
    前記動態画像及び前記診断支援情報を表示するための表示用画像を生成する表示画像生成部と、
    を備え、
    前記診断支援情報は、前記解析に基づく第1の解析結果と第2の解析結果とを含み、
    前記表示用画像は、
    前記動態画像を表示する動態画像表示部分と、
    前記診断支援情報の第1の解析結果と第2の解析結果とを識別可能に時間軸方向に一覧できるように表示する一覧表示部分と、
    を含む画像であり、
    前記所定部位は複数の所定部位を含み、
    前記検出部は、複数の所定部位の物理的状態の時間変化をそれぞれ検出し、
    前記診断支援情報生成部は、複数の所定部位の物理的状態の時間変化に基づいてそれぞれ解析を行い、複数の所定部位についての解析結果を複数の診断支援情報としてそれぞれ生成し、
    前記一覧表示部分は、前記複数の診断支援情報を表示することを特徴とする、
    画像生成装置。
  3. 人体または動物の所定部位を時間順次に捉えた動態画像を取得する動態画像取得部と、
    前記所定部位の物理的状態の時間変化を検出する検出部と、
    前記検出部によって検出された前記所定部位の物理的状態の時間変化に基づいて解析を行い、その解析結果を診断支援情報として生成する診断支援情報生成部と、
    前記診断支援情報を前記動態画像と時間的に関連付けて保持する保持部と、
    前記動態画像及び前記診断支援情報を表示するための表示用画像を生成する表示画像生成部と、
    を備え、
    前記診断支援情報は、前記解析に基づく第1の解析結果と第2の解析結果とを含み、
    前記表示用画像は、
    前記動態画像を表示する動態画像表示部分と、
    前記診断支援情報の第1の解析結果と第2の解析結果とを識別可能に時間軸方向に一覧できるように表示する一覧表示部分と、
    を含む画像であり、
    前記検出部は、
    前記所定部位の物理的状態の時間変化において、特徴点を算出する特徴点算出部、
    を備えることを特徴とする、
    画像生成装置。
  4. 人体または動物の所定部位を時間順次に捉えた動態画像を取得する動態画像取得部と、
    前記所定部位の物理的状態の時間変化を検出する検出部と、
    前記検出部によって検出された前記所定部位の物理的状態の時間変化に基づいて解析を行い、その解析結果を診断支援情報として生成する診断支援情報生成部と、
    前記診断支援情報を前記動態画像と時間的に関連付けて保持する保持部と、
    前記動態画像及び前記診断支援情報を表示するための表示用画像を生成する表示画像生成部と、
    を備え、
    前記診断支援情報は、前記解析に基づく第1の解析結果と第2の解析結果とを含み、
    前記表示用画像は、
    前記動態画像を表示する動態画像表示部分と、
    前記診断支援情報の第1の解析結果と第2の解析結果とを識別可能に時間軸方向に一覧できるように表示する一覧表示部分と、
    を含む画像であり、
    前記検出部は、
    前記動態画像に基づき、前記所定部位の物理的状態の時間変化を検出することを特徴とする、
    画像生成装置。
  5. 人体または動物の所定部位を時間順次に捉えた動態画像を取得する動態画像取得部と、
    前記所定部位の物理的状態の時間変化を検出する検出部と、
    前記検出部によって検出された前記所定部位の物理的状態の時間変化に基づいて解析を行い、その解析結果を診断支援情報として生成する診断支援情報生成部と、
    前記診断支援情報を前記動態画像と時間的に関連付けて保持する保持部と、
    前記動態画像及び前記診断支援情報を表示するための表示用画像を生成する表示画像生成部と、
    を備え、
    前記診断支援情報は、前記解析に基づく第1の解析結果と第2の解析結果とを含み、
    前記表示用画像は、
    前記動態画像を表示する動態画像表示部分と、
    前記診断支援情報の第1の解析結果と第2の解析結果とを識別可能に時間軸方向に一覧できるように表示する一覧表示部分と、
    を含む画像であり、
    前記診断支援情報生成部による解析結果が所定の条件を満たしたときに、ユーザに前記所定の条件を満たしたことを報知する報知部、
    を更に備えることを特徴とする、
    画像生成装置。
  6. 請求項2に記載の画像生成装置であって、
    前記複数の部位は、左肺野及び右肺野を含むことを特徴とする、
    画像生成装置。
  7. 請求項4に記載の画像生成装置であって、
    前記検出部は、
    前記動態画像に基づき、前記所定部位の血流の有無に関する画像処理結果を出力し、
    前記表示画像生成部は、
    前記画像処理結果を前記動態画像と同期して表示するように前記表示用画像を生成することを特徴とする、
    画像生成装置。
  8. 請求項1ないし請求項7の何れか1項に記載の画像生成装置であって、
    前記表示用画像は、
    前記一覧表示部分と関連して設けられ、前記一覧表示部分の時間軸方向の特定位置を示す指標を含み、
    前記表示画像生成部は、
    前記指標によって示された特定位置と対応する時点の動態画像を前記動態画像表示部分に表示するように前記表示用画像を生成する、ことを特徴とする、
    画像生成装置。
  9. 請求項1ないし請求項の何れか1項に記載の画像生成装置であって、
    前記一覧表示部分は、前記第1の解析結果と第2の解析結果とを異なる色または濃淡で表示することを特徴とする、
    画像生成装置。
  10. 請求項1ないし請求項の何れか1項に記載の画像生成装置であって、
    前記動態画像表示部分は、矩形であり、
    前記一覧表示部分は、前記動態画像表示部分の一辺に沿った長尺状の領域であり、その長手方向と前記診断支援情報の時間軸方向とが対応していることを特徴とする、
    画像生成装置。
  11. 請求項1ないし請求項の何れか1項に記載の画像生成装置であって、
    前記表示用画像は、
    前記動態画像表示部分の表示に対応した再生時刻情報を表示する再生時刻表示部分、
    を更に含むことを特徴とする、
    画像生成装置。
  12. 請求項1ないし請求項の何れか1項に記載の画像生成装置であって、
    前記動態画像表示部分に表示される動態画像の再生時刻調整用の再生時刻調整インタフェースを更に備える、ことを特徴とする、
    画像生成装置。
JP2013539064A 2012-03-23 2013-03-12 画像生成装置 Active JP5408399B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013539064A JP5408399B1 (ja) 2012-03-23 2013-03-12 画像生成装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012067186 2012-03-23
JP2012067186 2012-03-23
PCT/JP2013/056697 WO2013141067A1 (ja) 2012-03-23 2013-03-12 画像生成装置
JP2013539064A JP5408399B1 (ja) 2012-03-23 2013-03-12 画像生成装置

Publications (2)

Publication Number Publication Date
JP5408399B1 true JP5408399B1 (ja) 2014-02-05
JPWO2013141067A1 JPWO2013141067A1 (ja) 2015-08-03

Family

ID=49222527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013539064A Active JP5408399B1 (ja) 2012-03-23 2013-03-12 画像生成装置

Country Status (4)

Country Link
US (1) US20150042677A1 (ja)
EP (1) EP2829231B1 (ja)
JP (1) JP5408399B1 (ja)
WO (1) WO2013141067A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9639952B2 (en) 2012-12-12 2017-05-02 Konica Minolta, Inc. Image-processing apparatus and storage medium
WO2015137131A1 (ja) * 2014-03-12 2015-09-17 古野電気株式会社 超音波診断装置、及び超音波診断方法
JP6318739B2 (ja) * 2014-03-17 2018-05-09 コニカミノルタ株式会社 画像処理装置、およびプログラム
US9691433B2 (en) * 2014-04-18 2017-06-27 Toshiba Medical Systems Corporation Medical image diagnosis apparatus and medical image proccessing apparatus
KR102449249B1 (ko) * 2015-05-27 2022-09-30 삼성전자주식회사 자기 공명 영상 장치 및 그 방법
JP6418091B2 (ja) * 2015-07-10 2018-11-07 コニカミノルタ株式会社 胸部画像表示システム及び画像処理装置
JP6406144B2 (ja) * 2015-07-17 2018-10-17 コニカミノルタ株式会社 放射線撮影システム
WO2017013895A1 (ja) * 2015-07-22 2017-01-26 コニカミノルタ株式会社 コンソール及び動態画像撮影診断システム
JP6540348B2 (ja) 2015-08-07 2019-07-10 コニカミノルタ株式会社 放射線撮影システム
DE102015216115B4 (de) * 2015-08-24 2023-08-10 Siemens Healthcare Gmbh Verfahren und System zum Bestimmen eines Triggersignals
CN105335981B (zh) * 2015-10-29 2018-06-29 重庆电信系统集成有限公司 一种基于图像的货物监控方法
JP7004648B2 (ja) * 2015-11-09 2022-01-21 コーニンクレッカ フィリップス エヌ ヴェ X線画像吸気品質モニタリング
JP2017176202A (ja) * 2016-03-28 2017-10-05 コニカミノルタ株式会社 動態解析システム
JP2018000281A (ja) * 2016-06-28 2018-01-11 コニカミノルタ株式会社 動態解析システム
JP2018064848A (ja) * 2016-10-21 2018-04-26 コニカミノルタ株式会社 動態解析システム
JP6743662B2 (ja) * 2016-11-15 2020-08-19 コニカミノルタ株式会社 動態画像処理システム
JP6812815B2 (ja) * 2017-01-31 2021-01-13 株式会社島津製作所 X線撮影装置およびx線画像解析方法
JP7181230B2 (ja) * 2017-05-31 2022-11-30 コーニンクレッカ フィリップス エヌ ヴェ 臨床判断支援のための生医療画像データの機械学習
JP7183563B2 (ja) * 2018-04-11 2022-12-06 コニカミノルタ株式会社 放射線画像表示装置及び放射線撮影システム
JP7047574B2 (ja) * 2018-04-26 2022-04-05 コニカミノルタ株式会社 動態画像解析装置、動態画像解析システム、動態画像解析プログラム及び動態画像解析方法
JP7047643B2 (ja) * 2018-07-17 2022-04-05 コニカミノルタ株式会社 画像処理装置、放射線撮影システム、画像処理プログラム及び画像処理方法
JP7135759B2 (ja) * 2018-11-16 2022-09-13 コニカミノルタ株式会社 画像処理装置及びプログラム
JP7143747B2 (ja) * 2018-12-07 2022-09-29 コニカミノルタ株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP6930515B2 (ja) * 2018-12-07 2021-09-01 コニカミノルタ株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP7119974B2 (ja) 2018-12-14 2022-08-17 コニカミノルタ株式会社 医用画像表示装置及び医用画像表示システム
JP2019171105A (ja) * 2019-05-31 2019-10-10 株式会社島津製作所 画像処理装置および放射線撮影装置
JP7345282B2 (ja) * 2019-06-03 2023-09-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7463923B2 (ja) 2020-09-15 2024-04-09 コニカミノルタ株式会社 X線動態画像表示装置、プログラム、x線動態画像表示方法及びx線動態画像表示システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01179078A (ja) * 1988-01-06 1989-07-17 Hitachi Ltd 動画像表示方式
JPH0819543A (ja) * 1994-07-08 1996-01-23 Ken Ishihara 超音波診断装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6673018B2 (en) * 2001-08-31 2004-01-06 Ge Medical Systems Global Technology Company Llc Ultrasonic monitoring system and method
MXPA04003162A (es) 2001-10-05 2005-01-25 Surmodics Inc Recubrimientos de particulas inmovilizadas y usos de los mismos.
JP3793102B2 (ja) 2002-02-22 2006-07-05 キヤノン株式会社 ダイナミックx線撮影方法及びダイナミックx線画像撮影を行うための制御装置
WO2006137294A1 (ja) * 2005-06-21 2006-12-28 National University Corporation Kanazawa University X線診断支援装置、プログラム及び記録媒体
US20070060798A1 (en) 2005-09-15 2007-03-15 Hagai Krupnik System and method for presentation of data streams
JP5093727B2 (ja) * 2006-01-05 2012-12-12 国立大学法人金沢大学 連続x線画像スクリーニング検査装置、プログラム及び記録媒体
US8571288B2 (en) * 2007-12-07 2013-10-29 Kabushiki Kaisha Toshiba Image display apparatus and magnetic resonance imaging apparatus
US8170312B2 (en) * 2008-06-17 2012-05-01 Siemens Medical Solutions Usa, Inc. Respiratory motion compensated cardiac wall motion determination system
US8208703B2 (en) * 2008-11-05 2012-06-26 Toshiba Medical Systems Corporation Medical image analysis apparatus and image analysis control program
WO2010086776A1 (en) * 2009-01-30 2010-08-05 Koninklijke Philips Electronics N.V. System for providing lung ventilation information
CN103079466B (zh) * 2010-08-27 2015-11-25 柯尼卡美能达医疗印刷器材株式会社 胸部诊断辅助系统
US9064302B2 (en) * 2010-08-27 2015-06-23 Konica Minolta, Inc. Diagnosis assistance system and computer readable storage medium
JP2012110400A (ja) * 2010-11-22 2012-06-14 Konica Minolta Medical & Graphic Inc 動態診断支援情報生成システム
US9492135B2 (en) * 2011-10-17 2016-11-15 Konica Minolta, Inc. Dynamic radiographic imaging system
US9990735B2 (en) * 2012-04-04 2018-06-05 Konica Minolta, Inc. Image generation device that acquires images based on a periodic variation of an anatomical structure
WO2014054379A1 (ja) * 2012-10-04 2014-04-10 コニカミノルタ株式会社 画像処理装置及びプログラム
US20150305650A1 (en) * 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01179078A (ja) * 1988-01-06 1989-07-17 Hitachi Ltd 動画像表示方式
JPH0819543A (ja) * 1994-07-08 1996-01-23 Ken Ishihara 超音波診断装置

Also Published As

Publication number Publication date
US20150042677A1 (en) 2015-02-12
WO2013141067A1 (ja) 2013-09-26
EP2829231A4 (en) 2015-10-28
EP2829231A1 (en) 2015-01-28
EP2829231B1 (en) 2018-08-01
JPWO2013141067A1 (ja) 2015-08-03

Similar Documents

Publication Publication Date Title
JP5408399B1 (ja) 画像生成装置
JP6512338B2 (ja) 画像処理装置及びプログラム
JP5408400B1 (ja) 画像生成装置及びプログラム
JP6597548B2 (ja) 動態解析システム
JP6418091B2 (ja) 胸部画像表示システム及び画像処理装置
JP6323451B2 (ja) 画像処理装置及びプログラム
CN104853677B (zh) 图像处理装置以及图像处理方法
JP6217241B2 (ja) 胸部診断支援システム
JP5200656B2 (ja) 動態撮影システム
JP7073961B2 (ja) 動態画像解析装置、動態画像解析方法及びプログラム
JP2018148964A (ja) 動態解析システム
JP2018078974A (ja) 動態画像処理システム
JP2009153678A (ja) 動態画像処理システム
JP2017176202A (ja) 動態解析システム
JP2014079312A (ja) 画像処理装置及びプログラム
JP2013172792A (ja) 医用画像診断装置
US20190298290A1 (en) Imaging support apparatus and radiographic imaging system
JP7255725B2 (ja) 動態画像解析システム及び動態画像解析プログラム
JP7435242B2 (ja) 動態画像解析装置、動態画像解析方法及びプログラム
WO2013038896A1 (ja) 放射線動態画像撮影システムおよびプログラム
JP2012245395A (ja) 動態撮影システム及び診断支援情報生成方法
JP2020171475A (ja) 動態画像解析装置、動態画像解析方法及びプログラム
JP6073558B2 (ja) 医用画像診断装置
JP2020062394A (ja) 画像処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131021

R150 Certificate of patent or registration of utility model

Ref document number: 5408399

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150