JP7345282B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP7345282B2
JP7345282B2 JP2019103946A JP2019103946A JP7345282B2 JP 7345282 B2 JP7345282 B2 JP 7345282B2 JP 2019103946 A JP2019103946 A JP 2019103946A JP 2019103946 A JP2019103946 A JP 2019103946A JP 7345282 B2 JP7345282 B2 JP 7345282B2
Authority
JP
Japan
Prior art keywords
image
frame
series
graph
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019103946A
Other languages
English (en)
Other versions
JP2020195589A (ja
Inventor
徹 高澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019103946A priority Critical patent/JP7345282B2/ja
Priority to US16/884,221 priority patent/US20200379636A1/en
Priority to CN202010488038.3A priority patent/CN112022176A/zh
Publication of JP2020195589A publication Critical patent/JP2020195589A/ja
Application granted granted Critical
Publication of JP7345282B2 publication Critical patent/JP7345282B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/465Displaying means of special interest adapted to display user selection data, e.g. graphical user interface, icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に動態撮影により取得した一連のフレームから必要な範囲を容易に選択可能にする技術に関するものである。
従来、放射線生成装置から放射線を被検体に照射し、当該被検体を透過した放射線の強度分布である放射線画像をデジタル化し、デジタル化した放射線画像に画像処理を施し、鮮明な放射線画像を生成する放射線撮影装置を用いた放射線画像撮影システムが製品化されている。
放射線検出器としては、固体撮像素子を2次元マトリクス状に配置したFPD(FlatPanel Detector)が知られている。FPDは、静止画撮影だけでなく、画像データの読取・消去の応答性の早さを利用し、FPDの読取・消去のタイミングと合わせて放射線源からパルス状の放射線を連続照射し、1秒間に複数回の撮影を行って、被検体の動態についての動画撮影も可能である。撮影により取得された一連の複数枚のフレーム画像を検査装置のモニタ上で順次表示することにより、放射線技師は被検体の一連の動きを認識することが可能となる。検査終了後、一連の複数枚のフレーム画像を院内のネットワークを介して、PACS(Picture Archiving and Communication Systems)と呼ばれる医療用画像管理システムに転送して、PACS上で動態撮影により得られた一連のフレーム画像を解析して診断支援情報を生成し、早期診断に向けて医師に提供することが可能になる。
ここで、動態画像は複数のフレーム画像によって構成されるため、1撮影あたりに生成される情報量が多くなり、PACS上で医師が診断する情報量も多くなる。これに対して、特許文献1は、放射線画像撮影システムにおいて、被検体の一連のフレーム画像から一部の注目フレーム画像(例えば一呼吸周期分のフレーム画像)を抽出して、抽出された一部の範囲の注目フレーム画像を画像サーバへ転送することで、情報量を低減することを開示している。
特開2018-110637号公報
しかしながら、特許文献1に記載の技術では、動画再生時に、表示されているフレーム画像が、被検体がどのような状態のときのフレーム画像なのかを判別することが難しい。すなわち、動画再生される各フレーム画像と、被検体の状態との対応関係を容易に把握することが難しいという課題がある。
本発明は、上記の課題に鑑みてなされたものであり、動画再生される各フレーム画像と、被検体の状態との対応関係を容易に把握するための技術を提供することを目的とする。
上記の目的を達成する本発明の一態様による画像処理装置は、
被検体の一連のフレーム画像の各フレーム画像における少なくとも1つの注目領域の特徴量に関する情報を用いて、前記一連のフレーム画像の少なくとも一部を動画再生するために少なくとも1つの時間的な再生範囲を設定する設定手段と、
前記特徴量を時系列のグラフとして表示部に表示させる表示制御手段と、を備え、
前記表示制御手段は、前記一連のフレーム画像の少なくとも一部を前記再生範囲で動画再生する際に、表示しているフレーム画像に対応する前記グラフ上の位置を示す指標を表示させることを特徴とする。

本発明によれば、動画再生される各フレーム画像と、被検体の状態との対応関係を容易に把握することが可能となる。
一実施形態に係る放射線撮影システムの構成を示す図。 第1の実施形態に係る放射線撮影制御装置のハードウェア構成を示す図。 第1の実施形態に係る放射線撮影制御装置の機能構成を示す図。 第1の実施形態に係る放射線撮影制御装置の表示・操作装置のGUIを示す図。 第1の実施形態に係る放射線撮影制御装置の範囲指定解析ウインドウを示す図。 第1の実施形態に係る放射線撮影制御装置の範囲追加ウインドウを示す図。 第1の実施形態に係る放射線撮影制御装置の再生範囲設定ウインドウを示す図。 第1の実施形態に係る放射線撮影制御装置が実施する処理の手順を示すフローチャート 第1の実施形態に係る肺野領域の特徴量算出の説明図。 第1の実施形態に係る放射線撮影制御装置のグラフ表示の一例を示す図。 第1の実施形態に係るDICOMデータ構造の一例を示す図。 第2の実施形態に係る放射線撮影制御装置のハードウェア構成を示す図。 第2の実施形態に係る放射線撮影制御装置の機能構成を示す図。 第2の実施形態に係る放射線撮影制御装置が実施する処理の手順を示すフローチャート 第3の実施形態に係る放射線撮影制御装置の機能構成を示す図。 第3の実施形態に係る表示・操作装置のGUIを示す図。 第3の実施形態に係るサムネイル表示の図。 第4の実施形態に係る表示・操作装置に表示されるGUIの一例を示す図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(第1の実施形態)
<放射線撮影システムの構成>
図1は、第1の実施形態に係る放射線撮影システムの構成の一例を示す図である。放射線撮影システムにおいて、101は放射線生成装置、102は放射線制御装置、103は放射線撮影制御装置、104は放射線撮影装置、105は表示・操作装置である。また、106は院内のネットワーク、107は絞り、108は画像サーバである。
放射線生成装置101は、放射線制御装置102に接続されており、該放射線制御装置102により設定された所定の撮影条件で放射線を生成することが可能である。放射線制御装置102は、放射線生成装置101の撮影条件を設定し、放射線生成装置101の動作を制御する。
放射線撮影制御装置103は、放射線撮影装置104の動作を制御するとともに、放射線撮影装置104により撮影された画像を取得して画像処理を行う画像処理装置としても機能する。放射線撮影装置104は、被検体を透過した放射線を検出し動画像を取得する。表示・操作装置105は、放射線撮影制御装置103により表示制御されて、システムの状態や取得した画像の表示を行うほか操作を行うことが可能である。
ネットワーク106は、画像サーバ108と接続されている。放射線撮影制御装置103から出力された撮影画像はネットワーク106を介して、画像サーバ108に転送可能になる。読影医師は、PACS(Picture Archiving and Communication Systems)と呼ばれる医療用画像管理システムを使って、画像サーバ108から画像を読み出して診断する。絞り107は、放射線生成装置101から照射される放射線の照射範囲を規定するための絞りである。
画像サーバ108は、制御部、記憶部、操作部、表示部、通信部などを備えたコンピュータである。画像サーバ108の記憶部には、画像DB(Data Base)が設けられている。画像DBは、放射線撮影制御装置103から転送された画像データを保存する。
<ハードウェア構成>
図2は、本実施形態に係る放射線撮影制御装置103のハードウェア構成の一例を含む図である。放射線撮影制御装置103は画像処理装置としても機能する。放射線撮影制御装置103は、放射線制御装置102と、放射線撮影装置104と、表示・操作装置105と接続されている。
放射線制御装置102は、ケーブルを介して放射線生成装置101と接続されており、当該放射線生成装置101からの放射線の照射を制御する。放射線生成装置101は、例えば、放射線管球により実現され、被検体(例えば、患者の特定部位)に向けて放射線を照射する。
表示・操作装置105は、放射線撮影制御装置103における処理を統括操作するためのGUI(Graphical User Interface)を提供するとともに取得した画像の表示を行う。表示・操作装置105の表示部は、例えば、液晶ディスプレイ等のモニタで実現され、各種情報をオペレータ(撮影技師、医師等)に向けて表示する。表示・操作装置105の操作部は、例えば、マウスなどのポインティングデバイスやカーソルキー、数字入力キー及び各種機能キーを備えたキーボードや操作ボタン等で実現され、オペレータからの各種指示を放射線撮影制御装置103内に入力する。なお、表示部及び操作部が一体となったタッチパネルを用いてもよい。
また、放射線撮影制御装置103は、ケーブルを介して放射線撮影装置104と接続されており、当該ケーブルにより両者の間では、電源、画像信号や制御信号等が授受される。放射線撮影装置104は、被検体を透過した放射線を検出し、当該被検体に基づく放射線画像を取得する撮影装置として機能する。すなわち、放射線生成装置101及び放射線撮影装置104が連携して動作することにより放射線撮影が実現できる。なお、放射線撮影装置104は、立位または臥位などの撮影台に設置される。
放射線撮影制御装置103は、RAM(Random Access Memory)15、ROM(Read Only Memory)16、LAN/IF17、CPU(Central Processing Unit)18、内部記憶部19、システムバス20等により構成されている。
内部記憶部19は、不揮発性の半導体メモリやハードディスク等により構成され、プログラム21を格納している。RAM15は、CPU18で実行されるプログラム21やプログラム21による処理の実行に必要なパラメータ、あるいは処理結果などのデータを記憶する。ROM16はCPU18の主記憶装置として使用される。CPU18は、表示・操作装置105の操作に応じて、内部記憶部19に記憶されているプログラム21を読み出してRAM15に展開し、展開されたプログラムに従って、本実施形態に係る各処理部の動作を実行する。
LAN/IF17は、LAN(Local Area Network)とのインタフェースとして機能する通信部である。病院内に構築されているネットワーク106に接続されている画像サーバ108との間でデータの送受信を行う。
<機能構成>
図3は、本実施形態に係る放射線撮影制御装置103の機能構成の一例を含む図である。放射線撮影制御装置は、画像取得部201、注目領域抽出部202、特徴量算出部203、特徴量解析部204、出力画像作成部205、画像出力部206、グラフ表示制御部207、及びフレーム再生及びポイント表示制御部208を備えている。また、再生範囲入力部209、フレーム画像保持部220、特徴量保持部221、再生範囲保持部222、及び出力画像保持部223を備えている。
画像取得部201は、放射線撮影装置104の内部にある放射線検出部(不図示)により検出された一連の放射線フレーム画像を取得して、フレーム画像保持部220に記憶する。なお、フレーム画像における、デバイス依存のオフセットなどの補正や生成装置との位置関係により生じるシェーディング補正やシステムに起因する補正については、放射線撮影装置104の内部で補正してもよいし、画像取得部201で補正してもよい。
注目領域抽出部202は、例えば、肺野領域、心臓領域、肺血管領域及び心血管領域などのうち少なくとも1つの特定の注目部位の領域を画像処理することで注目領域を抽出する。ここでは、注目部位として肺野領域を抽出する例を挙げる。例えば、フレーム画像のエッジを強調した画像を作成して、その濃度の空間方向の微分画像からエッジをなぞることで肺野領域を抽出することができる。
特徴量算出部203は、抽出した注目部位(注目領域)の面積、注目部位の平均画素値、注目部位の長さ、注目部位の濃度などの特徴量を算出する。この例では肺野領域の面積に相当する量として画素数をカウントして、フレーム番号に対応させて特徴量保持部221に保存する。
特徴量解析部204は、動態撮影で得られた一連のフレーム画像のすべての特徴量について時系列の特徴量の変化量の周期性および振幅から肺野の動態運動の特徴を解析し、再生する時間的な範囲を決定して、該範囲を再生範囲保持部222に記録する。
グラフ表示制御部207は、特徴量保持部221から取得した、フレーム番号と特徴量の関係を示すグラフを、表示・操作部105に表示する。
フレーム再生及びポイント表示制御部208は、再生範囲保持部222から再生するフレーム範囲の情報を取得し、該当するフレーム画像をフレーム画像保持部220から取得して表示・操作装置105に表示する。さらに、それとともに、グラフ上の該当のフレーム番号の位置を指標を用いてポイント表示する。フレーム再生及びポイント表示制御部208は、再生範囲をループするように、フレームレートに従って処理を行う。なお、再生範囲保持部222には、複数の再生範囲を保持しておくことも可能である。表示・操作部105が1つの再生範囲の再生のみ表示するようなGUIである場合は、表示する再生範囲を示すフラグを設けておく。
表示・操作装置105は、注目領域の特徴量のグラフの表示と、再生範囲のフレーム画像の動画再生とを行うとともに、ユーザ操作に応じてグラフ上で再生範囲の変更が可能である。再生範囲入力部209は、表示・操作装置105でユーザ操作に応じて入力された再生範囲の情報を取得し、再生範囲保持部222に保持されている情報を更新する。再生範囲入力部209は、再生範囲の情報だけでなく、表示再生範囲の切り替え情報も同時に入力されて、再生範囲保持部222に保持される。フレーム再生及びポイント表示制御部208は、再生範囲保持部222に保持されている情報に基づいて、フレーム画像の動画再生、及び、対応するフレーム画像のグラフ上のポイント表示を行うように表示・操作装置105を制御する。
再生範囲の確認が終わり、放射線技師が検査終了ボタン(不図示)を押下すると、出力画像作成部205が、再生範囲のフレーム画像をフレーム保持部220より読みだして、出力画像保持部223へ出力する。画像出力部206は、院内のネットワーク106を介して、該フレーム画像を画像サーバ108へ出力する。
<表示・操作装置のGUIの一例>
続いて、図4は、表示・操作装置105に表示されるGUIの一例である。501は患者情報表示領域、502はプロトコル表示領域、503はシステム状態表示領域、504はメッセージ表示領域をそれぞれ示している。また、505は、フレーム画像再生領域であり、510は再生画像に対する各種処理を行う処理領域である。506はグラフ表示領域であり、特徴量の時系列のグラフを表示する領域である。グラフ上の507、508はどちらもフレーム画像再生範囲を示している。この例では、フレーム画像再生範囲507が選択された状態であり、フレーム画像再生領域505においてループ再生しているフレーム画像の再生範囲を示している。一方、フレーム画像再生範囲508は選択されていないため、フレーム画像再生領域505では再生されていないが、グラフ上で当該領域を例えばタッチして選択することで、再生させることか可能になる。また、再生操作ボタン509のうちの1つである一時停止ボタンを押下して一時停止した状態で、タッチ操作によりフレーム画像再生範囲507を拡張・縮小したり、移動したりすることができる。また、グラフ表示領域506に入りきらないグラフの確認は、移動ボタン517の操作により行うことができる。拡大縮小ボタン518は、グラフを水平方向に拡大したり縮小したりするためのボタンである。
また、再生操作ボタン509は、左からそれぞれ、先頭フレームに移動、逆再生、一時停止、再生、最後のフレームに移動するためのボタン群で構成されている。なお、グラフ中にマークされている再生フレーム位置519は、フレーム画像再生領域505で再生されているフレーム画像に対応する再生フレーム位置を示す指標である。
処理領域510は、再生範囲設定タブ51と画像処理タブ52とアノテーション設定タブ53とにより処理領域の表示内容を切り替え可能になっており、ここでは再生範囲設定タブ51が選択された状態となっている。再生範囲設定タブ51が選択された状態の処理領域510は、大きく3つの領域に分かれており、上から、解析対象とする部位を設定する領域、自動で再生範囲を設定する領域、手動で再生範囲を設定する領域に分かれている。ドロップダウンリスト511は、着目する部位が選択可能になっている。初期解析結果に戻すためのボタン512は、再生範囲を初期解析結果に戻すためのボタンである。範囲指定解析ボタン513は、グラフ上で解析する範囲を設定するための範囲指定解析設定ウインドウを表示させるためのボタンである。
ここで、図5は、範囲指定解析設定ウインドウの一例を示す図であり、指定範囲を設定した後に解析を行うことが可能となる。図4の範囲指定解析513ボタンを押下することにより範囲指定解析設定ウインドウ528を呼び出すことが可能である。
521はメッセージ表示領域である。グラフ表示領域506上に点線で示される解析範囲522を設定する。そして、抽出サイクルを入力領域523において設定し(図示の例では1サイクル)、再生開始点を入力領域524において設定して(図示の例では最大値から開始)、解析開始ボタン525を押下することにより解析が開始する。解析結果の再生範囲は実線で示される。図4と同様にタッチ操作により解析した再生範囲の拡張、縮小、移動が可能である。再生範囲が確定したらOKボタン527を押下することで、図4の画面に戻り、設定された再生範囲がグラフ表示領域506に追加される。なお、CANCELボタン526の押下により設定をキャンセルして図4の画面に戻ることができる。
また、手動解析の設定は、図に示されるように範囲追加ボタン514、範囲削除ボタン515、指定設定ボタン516を用いて行うことができる。範囲追加ボタン514の押下に応じて範囲追加ウインドウ(図6)が開かれ、当該ウィンドウで設定を行うことができる。また、指定設定ボタン516の押下に応じて範囲指定ウインドウ(図7)が開かれ、当該ウィンドウで設定を行うことができる。
範囲削除ボタン515は、削除したい再生範囲をタッチして選択した後に、当該ボタンを押下することで再生範囲を削除できる。
次に、図6は、範囲追加ボタン514の押下に応じて開かれる再生範囲追加ウインドウ530のGUIの一例である。531はメッセージ表示領域である。タッチ操作により再生範囲を指定して、確認後、OKボタン527を押下すると、図4の画面に戻る。そして、設定した再生範囲がグラフ表示領域506に追加される。なお、CANCELボタン526の押下により設定をキャンセルして図4の画面に戻ることができる。
また、図7は、指定設定ボタン516の押下に応じて開かれる再生範囲設定ウインドウ540のGUIの一例である。541は位置指定方法の入力領域であり、位置を1点で指定するか、始点と終点の2点で指定するかの設定を受け付ける。
1点での指定の場合は、更に指定位置を設定するための入力領域542で、始点、中点、終点のいずれとするかの設定を受け付ける。そして、指定範囲の入力領域543で再生する範囲の指定を受け付ける。そして、確認後、OKボタン545を押下すると、図4の画面に戻る。なお、CANCELボタン544の押下により設定をキャンセルして図4の画面に戻ることができる。
<撮影の手順>
ここで、図3に示す放射線撮影システムによる検査の流れに沿って、放射線画像を撮影する際の処理の手順を説明する。
まず、検査依頼書または不図子のRIS(Radiology Information System)からのネットワークを介した検査依頼により放射線撮影制御装置103に対して患者情報および検査情報を入力する。患者情報は、患者名、患者IDなどの情報を含み、検査情報は、患者に対して実施する撮影の内容を規定した撮影情報を含む。この例では、検査情報として、呼吸動態撮影を行うための撮影情報を含んでいる。
入力された患者情報と撮影情報は、表示・操作装置105に表示される。放射線技師は表示・操作装置105に表示された患者情報を見て、該当する患者を撮影室に呼び入れる。そして、撮影開始ボタン(不図示)を押下して放射線撮影装置104の撮影準備を行うとともに、正しい撮影が行えるように患者のポジショニングを行う。放射線制御装置102及び放射線撮影装置104の撮影準備が整ったら、フットスイッチ(不図示)を踏んで患者の呼吸動態撮影を行う。この時、最初に通常呼吸、次に深呼吸を行うように、ナースコールを流して呼吸状態をナビゲートしてもよい。
フットスイッチを踏むと、放射線生成装置101から連続的に放射線が照射されて、被検体を透過した放射線は、放射線撮影装置104で検出されて画像データとして放射線撮影制御装置103に取り込まれる。放射線撮影装置104は、例えば20FPSのように一定時間間隔で画像データを1フレームとして取得するので動画像が得られる。所望の呼吸状態の撮影が完了したら、フットスイッチから足を離して撮影は完了となる。
<処理(肺野面積のグラフ表示)>
図8を参照して、撮影完了後に放射線撮影制御装置103により実行される画像処理について説明する。
ステップS1000において、画像取得部201は、放射線撮影装置104により取得された全フレーム画像を取得する。ステップS1001において、注目領域抽出部202は、全フレーム画像の肺野領域を抽出する。ステップS1002において、特徴量算出部203は、抽出された肺野領域の面積に相当する画素数を算出する。
ここで、図9(a)において、800は全フレーム画像を示しており、各フレーム画像の上部に記載されている記号F#1などはフレーム番号を示している。また、図9(b)はフレーム画像801と、フレーム画像801を構成する画素8010とを概念的に示している。図9(c)は、特徴量として、肺野領域の画素数802を示している。なお、長さ803は、肺野領域の長手方向の長さである。例えば、取得したフレーム画像801を画像処理によりエッジ強調を行い肺野の輪郭を強調したうえで、濃度の空間方向の微分画像を作成し、肺野の輪郭を抽出する。そして、抽出した肺野領域802の画素数を算出することで、肺野面積に比例した特徴量を取得することができる。
ステップS1003において、特徴量算出部203は、全フレーム画像について、特徴量(肺野画素数)を算出してフレーム番号あるいは撮影時刻と対応付けて保存する。ステップS1004において、グラフ表示制御部207は、フレーム番号に対する特徴量のグラフを、図4のグラフ表示領域506に表示する。
ステップS1005において、特徴量解析部204は、グラフ表示領域506に表示されるグラフについて、周期及び振幅の解析を行う。周期については、FFT(Fast Fourier Transform)により周波数を求めてもよいし、振幅が最大ないし最小の間隔を算出してもよい。その結果、通常呼吸と深呼吸の2種類の波形が抽出され、それぞれに対して、再生開始点の設定値と抽出サイクルの設定値を用いて再生範囲が自動的に抽出される。なお、再生開始点の設定値は、図5に示した再生開始点の入力領域524と同様のGUIにおいて設定され、抽出サイクルの設定は、抽出サイクルの入力領域523と同様のGUIにおいて設定される。
ステップS1006において、フレーム再生及びポイント表示制御部208は、解析により抽出された再生範囲をグラフ表示領域506に重畳して表示する。ステップS1007において、フレーム再生及びポイント表示制御部208は、再生範囲の動画再生をグラフと同期して行う。具体的には、設定された再生範囲の動態フレーム画像をフレーム画像再生領域505に表示する(動画再生する)とともに、当該フレーム画像再生領域505で再生されているフレーム画像に対応する再生フレーム位置519を示す指標をグラフ表示領域506に表示する。これにより、動画再生される各フレーム画像と、被検体の状態との対応関係を容易に把握することが可能となる。そして、放射線技師は、再生フレーム位置519を確認しながら、再生範囲を変更・修正することができる。再生フレーム位置519を示す指標は、一例として再生範囲内に含まれる位置にある。そして、再生範囲の設定が完了すると、放射線技師は撮影終了ボタン(不図示)を押下して撮影を終了する。
ステップS1008において、出力画像作成部205は、再生範囲の動態フレーム画像を作成する。そして、画像出力部206は、再生範囲の動態フレーム画像を画像サーバ108へ転送する。これにより、医師は、再生範囲のフレーム画像だけを画像サーバ108から読み出して読影することか可能になる。
以上説明したように、本実施形態では、被検体の一連のフレーム画像中の各フレーム画像に対して少なくとも1つの注目領域を抽出して特徴量を算出し、算出した特徴量を時系列のグラフとして表示させる。そして、一連のフレーム画像の少なくとも一部を動画再生する際に、表示しているフレーム画像に対応するグラフ上の位置を示す指標を表示させる。
これにより、動画再生される各フレーム画像と、被検体の状態(例えば呼気中又は吸気中など)との対応関係を容易に把握することが可能となる。従って、動画再生されている現在表示中のフレーム画像が、例えば注目領域が肺野領域である場合、呼気中又は吸気中のどのタイミングに対応するフレーム画像であるかを容易に把握することが可能となる。
また、本実施形態では、グラフ上に再生範囲を重畳しており、その再生範囲をユーザ操作に基づいて変更可能に構成する。従って、動画再生される各フレーム画像と、被検体の状態(例えば呼気中又は吸気中など)との対応関係を見たユーザが、動画の再生範囲をより診断に適した範囲となるように変更することも容易となる。
なお、グラフ表示領域506に表示されている肺野の大きさの変化を示すグラフの例は、正常な呼吸状態を示しているが、呼吸乱れが発生している場合は、図10(a)のグラフ表示領域550に表示されるようなグラフになる。このように呼吸の振幅の上に周波数の大きな乱れが重畳した形となる。放射線技師は、例えば、乱れが含まれる範囲を再生範囲として修正することで、より診断のために適した再生範囲の動画を取得することができるようになる。
また、FFTで周波数展開すると、3種類の周波数にピークが現れるため、それぞれ通常呼吸サイクル、深呼吸サイクル、呼吸乱れが発生している範囲を再生範囲として自動的に設定してもよい。なお、図10(a)における551については後述する。
<肺野面積以外のグラフ表示>
図8のフローでは、肺野領域の画素数をカウントすることで肺野面積の変化をグラフ化する例を説明したが、特徴量として肺野の長手方向の長さを算出してもよい。その場合、図9(c)に示した803の長さが肺野の長手方向の長さに相当し、803の長さ分の画素数が特徴量となる。この場合でも、フレーム番号に対応する長さの画素数を特徴量としてグラフ表示し、特徴量解析部204でグラフの周期と振幅について解析を行い、再生領域を設定してグラフ上で示して、動画再生することができる。
あるいは、図9(b)において、肺野に加えて、心臓の領域を抽出して心臓の面積に比例した量を算出し、同様にグラフ表示、グラフ解析、再生範囲の設定を行ってもよい。この場合、肺野の動きの再生範囲を決めるための参考として心臓の領域を使用する場合と、心臓の動きをみるために再生範囲を決める場合とがある。
前者の場合は、図10(a)のグラフ表示領域550とグラフ表示領域551のように、肺野領域のグラフと心臓領域のグラフを上下に並べて表示する。ここでは、再生範囲は肺野領域のグラフを解析した結果を用いて設定されている。
一方、後者の場合は、図10(b)のグラフ表示領域552のように、肺野領域のグラフと心臓領域のグラフについて色を変えて重ねて表示する。心臓の動きをみて、より適切な肺野の再生範囲を設定することができる。
例えばスポーツ選手には心臓の拍動の周期間隔が長い人がいるが、1サイクルが含まれない再生範囲は診断に適した再生範囲ではないことがある。そこで、心臓の拍動の周期の1サイクルが少なくとも含まれるようにユーザ操作に基づいて再生範囲を拡張することで、より診断に適した再生範囲の動画を抽出することができる。この場合、肺野領域の呼吸の周期は複数サイクルが含まれうる。
後者は、心臓の動きをみるためのものなので、フレーム画像の心臓領域を部分画像としてトリミングする。トリミングは、オペレータの指示により行われてもよいし、心臓領域の抽出した結果の最大領域に基づいて自動的にトリミングサイズが決められて行われてもよい。トリミングした領域について、再生範囲でループ再生が行われる。
また、左右の肺野の動きの違いから再生領域の設定を行う場合もある。一般的に左肺の方が右肺よりも動き量が大きく、その動き量は比例した形となるが、そのような動きになっていない個所があった場合は、再生して確認する。そのため、左右の肺野領域のグラフを上下あるいは色を重ねて表示してもよい。
また、肺野の血流量を特徴量として抽出してグラフ化してもよい。肺野の血流量と画素濃度(画素値)とは比例した関係にあるため、肺野の血流量が分かる領域を抽出して、その領域の平均画素値に基づいて、血流量の増減グラフを作成して表示する。肺野領域のグラフと血流量の増減グラフとを並べて表示することにより、より適切な再生範囲の設定を行うことが可能となる。
これらのグラフ間の切り替えは、図4のドロップダウンリスト511により切り替え可能に構成することができる。また、図4の例ではドロップダウンリスト511により切り替えて表示しているが、タブによる切り替えで再生範囲の切り替えを行ってもよい。さらには、フレーム画像再生領域505を複数設けて、同時に複数の動態フレーム画像を再生してもよい。
<手動での再生範囲設定>
本実施形態では、特徴量解析部204により解析した結果を用いて再生範囲の初期値を設定するとともに、その再生範囲の動画を再生している。しかし、これに限らず、特徴量解析部204での解析を行わずに、表示・操作部105によりグラフ表示領域506のグラフ表示のみを先に行い、グラフ表示領域506で再生範囲を確定した後にフレーム画像再生領域505で動態フレーム画像の再生を行ってもよい。
<時系列データの出力>
本実施形態では、ステップS1008において、再生範囲のフレーム画像を画像サーバへ転送する。この時、DICOM(Digital Imaging and COmmunications in Medicine)規格に基づいたデータ構造のファイルで転送される。図11に示すようにDICOM画像ファイルは、大きくは、画像データ領域703と、ヘッダ部のブランク領域701及び付帯情報領域702とによって構成される。
DICOM画像ファイルの付帯情報領域702はデータエレメントの集合体から構成され、それぞれのデータエレメントには標準タグ(グループ番号及びエレメント番号)及びそのタグ情報(データ長及びデータ)が含まれている。タグ情報は、患者情報、撮影条件情報、画像情報及び表示情報等の画像データに関する各種の属性情報である。患者情報は、患者氏名、患者ID及び生年月日等の患者を特定する個人情報を含み、撮影条件情報は、一次取得画像及び二次取得画像等の画像タイプ、撮影部位、撮影時の放射線電流値及び電圧値等の撮影状況に関する情報を含む。また、画像情報は、検査ID及び医用診断装置の種類等を示す情報を含み、表示情報は、画像のコントラスト、画像の並び順や配列及びシリーズ番号(画像の属するグループID)等の情報を含み、その他の情報として、各DICOM画像ファイルのファイルコード等を含んでいる。また、標準タグ以外に特定の装置同士でのみ解釈可能なプライベートタグの設定も可能である。
再生範囲のフレーム画像群は画像データ領域703に含まれており、付帯情報領域702とブランク領域700とが添付されてDICOM画像ファイルとして転送される。
この時、時系列の特徴量のデータを付帯情報領域702のプライベートタグに入れてPACS側で表示できるようにしておけば、動態状態のグラフに基づいて診断を行うことができるため、より精度よく診断可能となる。
(第2の実施形態)
第1の実施形態では、一連のフレーム画像に基づいて肺野、心臓、肺野の血流量といった注目領域の特徴量を算出し、算出した特徴量をグラフ表示して、グラフ上に動画再生中のフレーム画像に対応する位置をポイント表示する例を示した。これに対して、第2の実施形態では、注目領域の特徴量を用いてグラフ表示を行うのではなく、被検体について実測された状態データを用いてグラフ表示を行う例を説明する。
本実施形態に係る放射線撮影システムの構成は第1の実施形態の図1と同様であるため、説明を省略する。
<ハードウェア構成>
図12は、第2の実施形態に係る放射線撮影制御装置のハードウェア構成の一例を含む図である。図2の構成に加えて、放射線撮影制御装置103には、動態撮影中に被検体の状態データを計測するスパイロメータ109が接続されている。それ以外は、図2と同じ構成である。スパイロメータ109は、肺の呼吸機能を検査するために用いられる計測機器であり、息を吐いたり吸ったりするときの空気の速さやその容量を計測する計測機器である。計測時刻と流量を放射線撮影制御装置103に取り込んで時系列に並べることで肺野面積に比例したグラフを生成できる。なお、スパイロメータ109からリアルタイムで状態データを取得してグラフ表示してもよいが、リアルタイムで送信できない機種の場合は、後からまとめて状態データを受け取ってフレーム画像との対応付けを行ってもよい。
<機能構成>
図13は、第2の実施形態に係る放射線撮影制御装置の機能構成の一例を含む図である。図3に示した放射線撮影制御装置103の構成に対して、注目領域抽出部201、特徴量算出部203及び特徴量保持部224に代えて、状態データ取得部230、フレーム番号対応付け部231及び状態データ保持部232を備えている点が異なっている。以下、主に差異点を説明する。
スパイロメータ109により計測された状態データは、状態データ取得部230から放射線撮影制御装置103に取り込まれて、フレーム番号対応付け部231により状態データとフレーム番号との対応付けが行われる。一例として、フレーム番号対応付け部231は、放射線撮影装置104におけるフレーム画像取得時刻に近い状態データ生成時刻の状態データをフレーム番号と対応付ける。あるいは、線形補間を行って、フレーム画像取得時刻の状態データを算出してもよい。フレーム番号に対応づけられた状態データは状態データ保持部232に保持される。ここで、スパイロメータ109から得られた状態データは、呼吸流量であるため、初期容量と状態データ取得時刻までの積分値を求めることで肺の容量を求めることができる。そして、この積分値を時系列に並べることで肺野の大きさについてのグラフを作成することができる。特徴量解析部204は、第1の実施形態と同様にグラフの周期、振幅を算出して再生範囲を求めて、再生範囲保持部222に保持する。
<処理>
続いて、図14を参照して、撮影完了後に放射線撮影制御装置103により実行される画像処理について説明する。図8のステップ番号と同じ処理については同じステップ番号を付与しており、詳細な説明を省略する。
ステップS2001において、状態データ取得部230は、スパイロメータ109により計測された状態データを取得する。ステップS2002において、フレーム番号対応付け部231は、スパイロメータ109から取得された状態データを、肺野面積を表す特徴量に変換して生成データを取得した後、状態データの生成時刻とフレーム画像の生成時刻とに基づいて、変換後の生成データ(特徴量)とフレーム画像とを対応付ける。
ステップS2003において、状態データ保持部232は、フレーム画像のフレーム番号と、特徴量とを保持する。ステップS2004において、グラフ表示制御部207は、フレーム番号に対する特徴量のグラフを、図4に示したグラフ表示領域506に表示する。
ステップS2005において、特徴量解析部204は、グラフ表示領域506に表示されるグラフについて、周期及び振幅の解析を行う。解析方法は、第1の実施形態と同様であり、その結果、再生範囲が自動的に抽出される。なお、再生開始点の設定値は、図5に示した再生開始点の入力領域524と同様のGUIにおいて設定され、抽出サイクルの設定は、抽出サイクルの入力領域523と同様のGUIにおいて設定される。以降の処理は第1の実施形態と同様である。
以上説明したように、スパイロメータにより計測された状態データを使用しても第1の実施形態と同様の効果を得ることができる。また、被検体の状態の計測機器としては、スパイロメータの代わりに吸気・呼気に含まれる二酸化炭素を計測するカプノグラフィを使用してもよい。カプノグラフィは二酸化炭素の濃度を計測するので、呼吸のサイクルが分かる。あるいは、心臓の拍動を調べるために、心電計を用いてもよい。
(第3の実施形態)
第3の実施形態では、グラフとともにフレーム画像のサムネイル画像を表示することにより、再生範囲が適切かどうかを判断しやすく例を説明する。
本実施形態に係る放射線撮影システムの構成は第1の実施形態の図1と同様であるため、説明を省略する。また、ハードウェア構成についても第1の実施形態の図2と同様であるため、説明を省略する。
<機能構成>
図15は、第3の実施形態に係る放射線撮影制御装置の機能構成の一例を含む図である。図3に示した放射線撮影制御装置103の構成に対し、フレーム画像保持部220及びグラフ表示制御部207に代えて、サムネイル生成部242、フレーム画像及びサムネイル保持部243、グラフ・サムネイル表示制御部234を備えている点が異なっている。以下、主に差異点を説明する。
画像取得部201は、放射線撮影装置104の内部にある放射線検出部(不図示)により検出された一連の放射線フレーム画像を取得する。画像取得部201は、一連の放射線フレーム画像をサムネイル生成部242へ出力する。
サムネイル生成部242は、一連の放射線フレーム画像のサムネイル画像を生成する。サムネイル画像は、画素を間引いたり、JPEG(Joint Photographic Experts Group)圧縮などの画像圧縮を行って保存容量を小さくしたりすることにより生成される。画像取得部201により取得されたフレーム画像と、サムネイル生成部242により生成されたサムネイル画像とは、フレーム画像及びサムネイル保持部243に保持される。
注目領域抽出部202、特徴量算出部203は、第1の実施形態と同様に、フレーム画像に対して画像処理、特徴量算出、特徴量解析を行って、特徴量保持部221、再生範囲保持部222に保持する。ここで、処理速度を向上させるために、フレーム画像に対してではなく、サムネイル生成部242により生成されたサムネイル画像に対して画像処理、特徴量算出、特徴量解析を行ってもよい。
グラフ・サムネイル表示部234は、特徴量保持部221からフレーム番号と特徴量との関係を示すグラフを取得して、表示・操作部105に表示するとともに、フレーム画像及びサムネイル保持部243から対応するサムネイル画像を取得してグラフに対応させて表示する。サムネイル画像は、動態画像の概況が分かればよいので、例えば、動画のフレームレート10(FPS)に対して、サムネイル画像は2(FPS)(0.5秒間隔)で表示をしてもよい。
<サムネイル表示の一例>
図16は、表示・操作装置105に表示されるGUIの一例であり、サムネイル560で示された領域に一連のサムネイル画像が表示される。サムネイル画像はグラフの対応する地点のフレーム画像のサムネイル画像である。呼吸乱れなどがある場合は、そのサムネイル画像が目立つようにマーキングする。この例では、他のサムネイル画像の枠とは異なる色の枠5600で囲んで強調表示している。1600は、呼吸乱れを含む再生範囲である。
図17は、サムネイル表示の別の例を示す図である。領域が限られるためサムネイル560では、0.5秒間隔の表示としたが、不要な範囲をまとめることで、より細かい時間間隔でのサムネイル表示が可能になる。
図17(a)に示すサムネイル561は、再生範囲507のサムネイル画像を、サムネイル560よりも細かい時間間隔(例えば0.25秒間隔)で表示して、再生範囲507以外は開始点のサムネイル画像のみ示す例である。再生範囲507以外は開始点のみの表示なのでそれと分かるように、サムネイル画像を重ねたアイコンになっている。これにより、より詳細に再生範囲507のサムネイル画像を確認することが可能となる。この時、再生範囲507の前後10%ぐらい余計に表示すると再生範囲507を修正するときの参考情報になる。
また、図17(b)に示すサムネイル562は、再生範囲507、再生範囲508、再生範囲1600以外のサムネイル画像の時間間隔を密に表示する例である。再生範囲507、再生範囲508、再生範囲1600については、サムネイル画像を重ねたようなアイコンで示して場所を取らないようにしている。また、図17(c)のサムネイル563のように、グラフ上に配置してもよい。
以上説明したように、本実施形態によれば、一連のサムネイル画像をグラフとともに表示することにより、注目領域(肺野など)のサイクルを直感的に把握できるため、診断に適した再生範囲を容易に設定することが可能となる。
(第4の実施形態)
上述の各実施形態では、主にフレーム画像全体を処理対象とする例を説明したが、第24の実施形態では、フレーム画像の一部の部分領域を決定してトリミングした画像を処理対象とする例を説明する。システム構成、装置構成については第1の実施形態と同様であるため、説明を省略する。
放射線撮影装置104の放射線検出部(不図示)により検出された一連の放射線フレーム画像が、画像取得部201によって放射線撮影制御装置103に取り込まれた後で、一部の部分領域を決定してトリミングする。そして、トリミングした画像をフレーム画像として扱う。
トリミングの方法としては、表示・操作装置105で表示された撮影画像を用いてユーザがトリミング範囲(部分領域)を表示・操作装置105の操作に基づいて指示することにより決定する方法であってもよいし、注目領域抽出部202による抽出結果に基づいてトリミング範囲(部分領域)を自動的に決定する方法であってもよい。
本実施形態では、呼吸動態撮影を行って得たフレーム画像から肺野の動きのフレーム画像と、心臓の動きのフレーム画像とを切り出す例を挙げる。心臓は、画像に向かって右側の中央部であり、その部分をトリミングして再生範囲を動画再生する。
図18に、表示・操作装置105に表示されたGUIの一例を示す。901は、心臓の大きさを示すグラフが表示されるグラフ表示領域であり、902は、トリミングされたフレーム画像を再生するトリミング領域再生領域である。フレーム画像再生領域505の再生範囲は、肺野の大きさを示すグラフ表示領域506で設定された再生範囲に対応している。そして、心臓の動態画像のトリミング領域再生領域902の再生範囲は、グラフ表示領域901に表示されるグラフ上の再生範囲に対応している。このように、複数の部位を並べて表示することで同時に複数の部位の動きを確認することができる。
また、一部の領域をトリミングすることで、データ量を減らすことが可能になる。また、トリミングした領域がフレーム画像のどの領域にあたるか、PACSで診て分かるようにフレーム画像を1枚だけ静止画として合わせてPACSへ画像出力部206により出力するようにすると診断に有効である。その場合の静止画としては、読影医師の好みにより、最大呼気状態、最大吸気状態、最大呼気状態と最大吸気状態の中間点など特定の状態を指定可能に構成してもよい。
なお、本実施形態では、肺野と心臓の2つの注目領域の特徴量のグラフを並べて表示する例を説明したが、この例に限定されない。例えば、左右の肺野領域のそれぞれの特徴量のグラフを作成して、動画再生されるフレーム画像とともに、2つのグラフを並べて表示してもよい。
以上説明したように、本実施形態によれば、フレーム画像をトリミングしたトリミング画像を処理対象とすることで、データ量を減らすことが可能になる。また、複数の部位を並べて表示することで同時に複数の部位の動きを確認することが容易となる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
103:放射線撮影制御装置(画像処理装置)、105:表示・操作装置、108:画像サーバ、109:スパイロメータ、201:画像取得部、202:注目領域抽出部、203:特徴量算出部、204:特徴量解析部、205:出力画像作成部、205:特徴量解析部、206:画像出力部、207:グラフ表示制御部、208:フレーム再生及びポイント表示制御部、209:再生範囲入力部、220:フレーム画像保持部、221:特徴量保持部、222:再生範囲保持部、223:出力画像保持部、224:状態データ保持部、230:状態データ取得部、231:フレーム番号対応付け部

Claims (17)

  1. 被検体の一連のフレーム画像の各フレーム画像における少なくとも1つの注目領域の特徴量に関する情報を用いて、前記一連のフレーム画像の少なくとも一部を動画再生するために少なくとも1つの時間的な再生範囲を設定する設定手段と、
    前記特徴量を時系列のグラフとして表示部に表示させる表示制御手段と、を備え、
    前記表示制御手段は、前記一連のフレーム画像の少なくとも一部を前記再生範囲で動画再生する際に、表示しているフレーム画像に対応する前記グラフ上の位置を示す指標を表示させることを特徴とする画像処理装置。
  2. 前記注目領域は、肺野領域、心臓領域、肺血管領域及び心血管領域のうちの少なくとも1つであることを特徴とする請求項1に記載の画像処理装置。
  3. 前記特徴量は、前記注目領域の面積、前記注目領域の平均画素値、前記注目領域の長さ、又は前記注目領域の濃度であることを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記設定手段は、ユーザ操作に基づいて前記再生範囲を前記グラフ上で変更可能とることを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
  5. 前記設定手段は、1以上の再生範囲に対応する1以上のタブから1つのタブがユーザ操作により選択されたことに応じて、前記タブに対応する再生範囲を設定することを特徴とする請求項又はに記載の画像処理装置。
  6. 被検体の一連のフレーム画像の各フレーム画像に対して少なくとも1つの注目領域を抽出する抽出手段と、
    前記注目領域の特徴量を算出する算出手段と、
    前記特徴量を時系列のグラフとして表示部に表示させる表示制御手段と、
    前記一連のフレーム画像の少なくとも一部を動画再生するために少なくとも1つの時間的な再生範囲を前記グラフ上で設定する設定手段と、を備え、
    前記表示制御手段は、前記一連のフレーム画像の少なくとも一部を動画再生する際に、表示しているフレーム画像に対応する前記グラフ上の位置を示す指標を表示させ、
    前記設定手段は、1以上の再生範囲に対応する1以上のタブから1つのタブがユーザ操作により選択されたことに応じて、前記タブに対応する再生範囲を設定することを特徴とする画像処理装置。
  7. 前記指標は、前記再生範囲内の前記グラフ上に表示されることを特徴とする請求項乃至6の何れか1項に記載の画像処理装置。
  8. 前記表示制御手段は、前記グラフ上に時系列に前記フレーム画像のサムネイル画像を表示させることを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。
  9. 前記表示制御手段は、前記フレーム画像の一部の領域である部分領
    フレーム画像を前記表示部で動画再生ることを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。
  10. 被検体の一連のフレーム画像の各フレーム画像に対して少なくとも1つの注目領域を抽出する抽出手段と、
    前記注目領域の特徴量を算出する算出手段と、
    前記特徴量を時系列のグラフとして表示部に表示させる表示制御手段と、
    前記フレーム画像の一部の領域である部分領域を決定する決定手段と、を備え、
    前記表示制御手段は、前記一連のフレーム画像の少なくとも一部を動画再生する際に、表示しているフレーム画像に対応する前記グラフ上の位置を示す指標を表示させ、
    前記部分領域のフレーム画像が動画再生されることを特徴とする画像処理装置。
  11. 前記フレーム画像と、前記部分領域のフレーム画像とを出力する出力手段をさらに備えることを特徴とする請求項9又は10に記載の画像処理装置。
  12. 被検体の一連のフレーム画像を取得する画像取得手段と、
    前記被検体の状態を示す状態データ及び当該状態データの生成時刻の情報を取得する取得手段と、
    記生成時刻の情報に基づいて前記状態データを時系列のグラフとして表示部に表示させる表示制御手段と、
    前記被検体の一連のフレーム画像の各フレーム画像における少なくとも1つの注目領域の特徴量に関する情報を用いて、前記一連のフレーム画像の少なくとも一部を動画再生するために少なくとも1つの時間的な再生範囲を設定する設定手段と、を備え、
    前記表示制御手段は、前記一連のフレーム画像の少なくとも一部を前記再生範囲で動画再生する際に、表示しているフレーム画像に対応する前記グラフ上の位置を示す指標を表示させることを特徴とする画像処理装置。
  13. 前記状態データは、スパイロメータのデータ、心電計のデータ、又はカプノグラフィのデータであることを特徴とする請求項12に記載の画像処理装置。
  14. 前記特徴量に関する情報は、前記注目領域の特徴量の、時系列の変化量の周期性および振幅であることを特徴とする請求項1乃至5、請求項12及び13の何れか1項に記載の画像処理装置。
  15. 画像処理方法であって、
    被検体の一連のフレーム画像の各フレーム画像における少なくとも1つの注目領域の特徴量に関する情報を用いて、前記一連のフレーム画像の少なくとも一部を動画再生するために少なくとも1つの時間的な再生範囲を設定する設定工程と、
    前記特徴量を時系列のグラフとして表示部に表示させる表示制御工程と、を有し、
    前記表示制御工程では、前記一連のフレーム画像を前記再生範囲で動画再生する際に、表示しているフレーム画像に対応する前記グラフ上の位置を示す指標を表示させることを特徴とする画像処理方法。
  16. 画像処理方法であって、
    被検体の一連のフレーム画像を取得する画像取得工程と、
    前記被検体の状態を示す状態データ及び当該状態データの生成時刻の情報を取得する取得工程と、
    前記生成時刻の情報に基づいて前記状態データを時系列のグラフとして表示部に表示させる表示制御工程と、
    前記被検体の一連のフレーム画像の各フレーム画像における少なくとも1つの注目領域の特徴量に関する情報を用いて、前記一連のフレーム画像の少なくとも一部を動画再生するために少なくとも1つの時間的な再生範囲を設定する設定工程と、を有し、
    前記表示制御工程では、前記一連のフレーム画像の少なくとも一部前記再生範囲で動画再生する際に、表示しているフレーム画像に対応する前記グラフ上の位置を示す指標を表示させることを特徴とする画像処理方法
  17. コンピュータを、請求項1乃至14の何れか1項に記載の画像処理装置として機能させるためのプログラム。
JP2019103946A 2019-06-03 2019-06-03 画像処理装置、画像処理方法及びプログラム Active JP7345282B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019103946A JP7345282B2 (ja) 2019-06-03 2019-06-03 画像処理装置、画像処理方法及びプログラム
US16/884,221 US20200379636A1 (en) 2019-06-03 2020-05-27 Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN202010488038.3A CN112022176A (zh) 2019-06-03 2020-06-02 图像处理装置、图像处理方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019103946A JP7345282B2 (ja) 2019-06-03 2019-06-03 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020195589A JP2020195589A (ja) 2020-12-10
JP7345282B2 true JP7345282B2 (ja) 2023-09-15

Family

ID=73549668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019103946A Active JP7345282B2 (ja) 2019-06-03 2019-06-03 画像処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20200379636A1 (ja)
JP (1) JP7345282B2 (ja)
CN (1) CN112022176A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7047574B2 (ja) * 2018-04-26 2022-04-05 コニカミノルタ株式会社 動態画像解析装置、動態画像解析システム、動態画像解析プログラム及び動態画像解析方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004008350A (ja) 2002-06-04 2004-01-15 Hitachi Medical Corp 超音波診断装置
WO2006137294A1 (ja) 2005-06-21 2006-12-28 National University Corporation Kanazawa University X線診断支援装置、プログラム及び記録媒体
WO2009137294A1 (en) 2008-05-08 2009-11-12 Albemarle Corporation Processes for synthesizing 1-(2-ethylbutyl) cyclohexane carbonitrile
US20110286652A1 (en) 2009-01-30 2011-11-24 Koninklijke Philips Electronics N.V. System for providing lung ventilation information
JP2012040363A (ja) 2010-07-22 2012-03-01 Toshiba Corp 医用画像表示装置及びx線コンピュータ断層撮影装置
WO2013141067A1 (ja) 2012-03-23 2013-09-26 コニカミノルタ株式会社 画像生成装置
JP2016184221A (ja) 2015-03-25 2016-10-20 富士フイルム株式会社 診療支援装置とその作動方法および作動プログラム、並びに診療支援システム
US20170025158A1 (en) 2015-07-22 2017-01-26 Konica Minolta, Inc. Console and dynamic image taking/diagnostic system
JP2017169830A (ja) 2016-03-24 2017-09-28 コニカミノルタ株式会社 動態解析装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558466B2 (en) * 2003-12-08 2009-07-07 Canon Kabushiki Kaisha Moving image playback apparatus and its control method, computer program, and computer-readable storage medium
WO2013024687A1 (ja) * 2011-08-12 2013-02-21 オリンパスメディカルシステムズ株式会社 画像管理装置、方法、及び読影用プログラム
WO2014103731A1 (ja) * 2012-12-26 2014-07-03 ソニー株式会社 画像処理装置および方法、並びにプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004008350A (ja) 2002-06-04 2004-01-15 Hitachi Medical Corp 超音波診断装置
WO2006137294A1 (ja) 2005-06-21 2006-12-28 National University Corporation Kanazawa University X線診断支援装置、プログラム及び記録媒体
WO2009137294A1 (en) 2008-05-08 2009-11-12 Albemarle Corporation Processes for synthesizing 1-(2-ethylbutyl) cyclohexane carbonitrile
US20110286652A1 (en) 2009-01-30 2011-11-24 Koninklijke Philips Electronics N.V. System for providing lung ventilation information
JP2012040363A (ja) 2010-07-22 2012-03-01 Toshiba Corp 医用画像表示装置及びx線コンピュータ断層撮影装置
WO2013141067A1 (ja) 2012-03-23 2013-09-26 コニカミノルタ株式会社 画像生成装置
US20150042677A1 (en) 2012-03-23 2015-02-12 Konica Minolta, Inc. Image-generating apparatus
JP2016184221A (ja) 2015-03-25 2016-10-20 富士フイルム株式会社 診療支援装置とその作動方法および作動プログラム、並びに診療支援システム
US20170025158A1 (en) 2015-07-22 2017-01-26 Konica Minolta, Inc. Console and dynamic image taking/diagnostic system
WO2017013895A1 (ja) 2015-07-22 2017-01-26 コニカミノルタ株式会社 コンソール及び動態画像撮影診断システム
JP2017169830A (ja) 2016-03-24 2017-09-28 コニカミノルタ株式会社 動態解析装置

Also Published As

Publication number Publication date
US20200379636A1 (en) 2020-12-03
CN112022176A (zh) 2020-12-04
JP2020195589A (ja) 2020-12-10

Similar Documents

Publication Publication Date Title
JP6922971B2 (ja) コンソール及びプログラム
JP6772908B2 (ja) 動態解析システム及びプログラム
JP6743662B2 (ja) 動態画像処理システム
JP6805918B2 (ja) 放射線画像処理装置及び放射線画像撮影システム
JP2002253545A (ja) 医用画像読影記録装置と、医用画像読影支援装置と、医用画像読影支援システムと、医用画像読影記録処理用プログラム及びそのプログラムの記録媒体と、医用画像読影支援処理用プログラム及びそのプログラムの記録媒体
JP6812685B2 (ja) 動態解析装置
JP6540807B2 (ja) 撮影用コンソール
JP7073961B2 (ja) 動態画像解析装置、動態画像解析方法及びプログラム
JP2017202208A (ja) 動態解析システム
CN116757991A (zh) 图像处理装置、图像处理系统、图像处理方法及记录介质
JP6848261B2 (ja) 放射線画像処理装置及びプログラム
JP7345282B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021194140A (ja) 画像処理装置及び画像処理方法
JP2009148336A (ja) 動態画像診断支援システム
JP5824264B2 (ja) 検査情報表示システム、検査情報表示方法、検査情報表示装置
JP6950507B2 (ja) 動態画像処理装置
JP6950483B2 (ja) 動態撮影システム
JP6874484B2 (ja) 動態画像処理システム
JP6888721B2 (ja) 動態画像処理装置、動態画像処理プログラム及び動態画像処理方法
JP6930515B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
US11806181B2 (en) Display system, display control device, and display control method
JP7435242B2 (ja) 動態画像解析装置、動態画像解析方法及びプログラム
JP7143747B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP7255319B2 (ja) 動態解析装置、動態解析システム及びプログラム
JP2017217047A (ja) 画像表示システム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230905

R151 Written notification of patent or utility model registration

Ref document number: 7345282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151