医用画像撮影装置の実施の形態の一例について図面を参照しながら詳細に説明する。
この実施形態に係る医用画像撮影装置は、被検体の体内にワイヤを挿入して実施される手術において使用される。以下、X線透視下カテーテル術に適用した場合について特に詳しく説明する。この医用画像撮影装置は、X線透視下カテーテル術により時系列的に取得されたX線画像群の中から適切なX線画像を自動的に選出し、サムネイルとして一覧表示するものである。これらを一覧表示することで、目的の検査記録を容易に見つけられるようにし、さらに、その検査記録中のどこの部分に目的とする映像が記録されているかを容易に見つけられるようにする。
この実施形態では、特に指摘しない限り「画像」と「画像データ」とを区別しないこととする。医用画像撮影装置が処理する画像データは、一般的にペイントデータ(ラスターデータ、ビットマップデータ等とも呼ばれる。)である。ペイントデータは、ピクセル(pixel)やボクセル(voxel)等の画素により形成され、各画素に値(画素値)を付与して形成される画像データである。この画像データを所定のコンピュータプログラムにより視認可能に表現したものが画像である。このように、画像データと画像とは実質的に一対一に対応するものである。
X線画像群の中から適切なX線画像を自動的に選出する際には、X線透視下カテーテル術における術者の作業状態を表したデータを基に行う。データそれ自体を基にX線画像を選出しても良く、また、データを基にX線画像の重要度を求め、その重要度を基にX線画像を選出しても良い。なお、以下の説明で「術者の作業状態」というときは、特にことわらない限り、術者を含むスタッフの作業状態をいうものとする。また、「術者による動き」というときは、特にことわらない限り、術者を含むスタッフによる動きをいうものとする。
以下に、術者の作業状態を表したデータをどのように取得するのかについて、また、データを基にX線画像の重要度をどのように求めるかについての詳細を説明する。先ず、術者の作業状態として次のようなものを挙げることができる。第1の作業状態は、たとえば、術者により器具(ワイヤ)が操作された状態のような術者による器具の操作状態である。第2の作業状態は、たとえば、X線透視画像を表示するためのディスプレイを術者が見ているときの術者の姿勢である。第3の作業状態は、極めて精密な作業が術者に要求されるワイヤの先端部の挿入作業において、術者の呼吸が抑制されたとき、または、術者が緊張状態になったときの術者の生体情報である。第4の作業状態は、術者が会話したときのような術者の行動である。第5の作業状態は、術者またはX線技師等が装置に対して線量の低減もしくは増加あるいは照射の中止や再開を指示する操作を行うことである。上記の第1から第5の術者の作業状態のうちのいずれか一つまたはいずれか二つ以上を組み合わせたものが、X線画像の重要度を求める際の判断材料となる。
この医用画像撮影装置は、この判断材料を基にX線画像の重要度を求める。判断材料として、上記の第1から第5の術者の作業状態のいずれを検出するかについて、及び、検出する方法について、並びに、この検出した結果を比べるときによりどころとなる判断基準、及び、その判断内容について、各種の実施形態を挙げて詳細に説明する。
〈第1の実施形態〉
第1の実施形態について説明する。先ず、X線透視下カテーテル術を行うための医用画像撮影装置の構成について説明する。次に、X線透視下カテーテル術において、術者によるワイヤの操作状態を検出した結果として、ワイヤの形状の変化量を検出する例について説明する。さらに、次に、その検出結果を基に、X線透視下カテーテル術において取得したX線画像の重要度を求める例について説明する。
[装置構成]
この実施形態に係る医用画像撮影装置の構成について説明する。この医用画像撮影装置X線診断装置の構成例を図1に示す。この医用画像撮影装置は、従来と同様の機械構成を有する。
被検体1はX線透視下カテーテル術が施される患者を示す。被検体1は天板2の上に載置される。天板2は図示しない寝台装置の一部である。寝台装置には天板2を移動させるための駆動機構が設けられている。この実施形態では被検体1は天板2に横たわるようにして載置される。医用画像撮影装置によっては被検体を立位状態で支持する立位載置台が設けられたものもあるが、X線透視下カテーテル術においては、通常、天板上に仰臥状態で支持された被検体に対して処置が施される。
Cアーム3は略「C」字形状に形成された支持部材である。Cアーム3の一端側にはX線管4とX線絞り5が支持され、他端側にはX線検出器6が支持されている。それにより、X線管4及びX線絞り5と、X線検出器6とが、被検体1を挟んで対向する位置に配置される。
Cアーム3は駆動機構8により移動可能に保持されている。駆動機構8は、演算制御装置20の制御の下にCアーム3を移動させることで、X線管4、X線絞り5及びX線検出器6の位置や傾斜角度を変更させる。
X線管4は、高電圧発生装置9から高電圧を印加されてX線7を発生する。X線絞り5は、X線管4から発生されたX線7の照射範囲(立体角や断面形状)を規制する絞り羽根を有する。絞り制御部10は、絞り羽根の位置を移動させてX線7の照射範囲を変更させる。高電圧発生装置9及び絞り制御部10の動作は演算制御装置20により制御される。
X線絞り5により照射範囲が規制されたX線7は被検体1に照射される。被検体1を透過したX線7はX線検出器6に投射される。X線検出器6はX線7を検出し、その検出結果を電気信号に変換して検出制御部11に送信する。検出制御部11はこの電気信号を演算制御装置20に送信する。また、検出制御部11はX線検出器6の動作を制御する。
X線検出器6は、たとえば平面検出器(Flat Panel Detector;FPD)や、イメージインテンシファイア(Image Intensifier;I.I.)を用いて構成できる。
この実施形態では、所定の時間間隔でパルスX線7を照射するようにX線管4を制御する。この時間間隔はたとえば(1/30)秒~(1/5)秒(毎秒の照射回数5~30回)程度に設定される。なお、医用画像撮影装置ではたとえば最大数十回/秒の照射が可能であるが、被検体1や術者へのX線被曝を低減させるためにこの程度の時間間隔が選択される。それにより、5~30フレーム/秒程度のフレームレートの動画像が得られる。このように反復的にパルスX線を照射する代わりに、連続的にX線を照射することも可能である。
演算制御装置20は、この医用画像撮影装置の各部の制御を行うとともに、各種の演算処理を実行する。演算制御装置20は、たとえば一般的なコンピュータと同様の構成を有する。その一例として、演算制御装置20は、マイクロプロセッサ、記憶装置(RAM、ROM、ハードディスクドライブ等)、通信インターフェイスなどを含んで構成される。演算制御装置20には、操作デバイスや入力デバイスや表示デバイスが接続されている。
演算制御装置20中のシステム制御部21は、この医用画像撮影装置の各部を制御する。その一例として次のようなものがある:駆動機構8を制御してCアーム3を移動させる;高電圧発生装置9を制御してX線条件(X線7の線量、フレームレート等)を変更させて、たとえば、後述するX線量の増減調整をする;絞り制御部10を制御してX線7の照射範囲を変更させる;検出制御部11を制御してX線検出器6の動作制御を行わせる。また、システム制御部21は演算制御装置20の各部を制御する。
画像処理部23は、X線検出器6から検出制御部11を介して送信された電気信号に基づいて被検体1の画像(デジタル画像データ)を形成する。また、画像処理部23は、この画像に対して各種の画像処理を施す。画像処理部23の詳細については後述する。
表示制御部24は、システム制御部21の制御を受けて表示部31に情報を表示させる。表示部31は、液晶ディスプレイ(Liquid Crystal Display;LCD)や、CRT(Cathode Ray Tube)等の表示デバイスを用いて構成される。
X線量決定部25は、術者による動き検出部(以下、「検出部」という。)33から出力された検出結果を基に、現状のX線量を減らすか否かを判断し、現状のX線量を減らすと判断した場合、X線量を減らすように制御信号を出力する。システム制御部21は、X線量決定部25から出力された制御信号を基に、高電圧発生装置9を制御してX線条件(X線量等)を変更させて、たとえば、X線量の増減調整をする。X線量決定部25の詳細については後述する。なお、システム制御部21は、他の制御信号(たとえば、操作部32からの指示信号)によっても、X線量の増減調整をする。
選出部26は、検出部33の検出結果を基にX線画像群に含まれるX線画像の重要度を決定する重要度決定部27を含む。さらに、選出部26は、決定された重要度を基に、一または複数のX線画像の選出を行う。重要度決定部27が重要度をどのよう決定するか、また、選出部26が重要度を基にX線画像をどのように選出するかについての詳細は後述する。ここで、選出部26は、この発明の「選出手段」の一例である。また、重要度決定部27は、この発明の「重要度決定手段」の一例である。
操作部32は、この医用画像撮影装置の操作や情報入力などに用いられる。操作部32は、キーボード、マウス、コントロールパネル、ペダル操作部などの操作デバイスや入力デバイスを含んで構成される。ペダル操作部は、X線照射開始や停止の指示信号を出力し、及び、X線量を増やしたり減らしたりする指示信号を出力する。
検出部33は、動画像に含まれる複数のフレームのうちのいずれか一つのフレームにおけるワイヤの像とこれより過去のフレームにおけるワイヤの像との差から、ワイヤの形状の変化量を検出して、検出結果を出力する。検出部33の詳細については後述する。
〔画像処理部〕
画像処理部23の構成例について、図2を更に参照しながら説明する。画像処理部23には、ワイヤ特定部41と位置合わせ処理部43が設けられている。
画像処理部23は、以下に説明する処理をリアルタイムで実行する。この実施形態におけるリアルタイム処理は、X線検出器6からの電気信号(一フレームに相当する)が演算制御装置20に入力されたことに対応して、当該フレームに対する処理を即座に実行して結果を出力(表示)することである。それにより、実用上遅滞ないとみなされる遅延時間のうちに、ワイヤの状況を動画像として表示することが可能となる。
(ワイヤ特定部)
上記のように、この実施形態では5~30フレーム/秒程度のフレームレートの動画像が得られる。ワイヤ特定部41は、この動画像を構成する複数のフレームのそれぞれにおけるガイドワイヤの像を特定する。
ここで、フレームとは、動画像を構成する一連の静止画像のそれぞれを指す。また、上記複数のフレームは、動画像を構成する全てのフレームである必要はない。たとえば、この実施形態の特徴的な機能(後述)の開始タイミングと終了タイミングに応じて決定される複数のフレームであってもよい。なお、手術中には長時間(たとえば数時間)に亘って毎秒数フレームから30フレーム程度の動画像が生成され続けるが、この実施形態に係る機能を使用するのはこのうちのたとえば数分程度である。画像処理部23は、この実施形態に係る機能の使用開始の指示とともに動作を開始し、以下のような処理を実行する。画像処理部23による処理対象となるフレームは、当該使用開始の指示以降に取得される一連のフレームである。
ワイヤ特定部41の動作についてより詳しく説明する。フレームの一例を図3に示す。フレームFは、大腿動脈から挿入されたカテーテル及びガイドワイヤを大動脈経由で冠状動脈に挿入したところを表している。一般にX線画像では、X線の透過量が少ないところを黒く描写させ、多いところを白く描写させるように表示することが多い。図3もこの表示方式に従っている。図3に示す画像の模式図を図4に示す。
フレームFにおいて薄暗い帯状に見える像C´は、カテーテルの影である。また、カテーテルの像C´の先端部分に位置して、やや黒く見える像Cは、ガイドワイヤの影である。カテーテルの先端は開口している。ガイドワイヤの先端側はこの開口から突出している。また、ガイドワイヤの中央付近の大きな屈曲は、大動脈から冠状動脈への分岐部にカテーテルが嵌り込んでいるために生じている。ガイドワイヤの像Cの先端部位を詳細に見ると、僅かだが大きく屈曲している。これは、血管の分岐部等にガイドワイヤを挿入しやすくするために予めガイドワイヤに付けてある曲がり癖である。フレームFはこのような状態を描写している。
なお、図4においては、見やすさのために、血管や臓器や骨などの体内組織を描写した像を省略してある(以下の他の模式図においても同様)。実際のフレームでは、図3に示すように、体内組織に相当する複雑な濃淡模様も描写される。また、この実施形態では、特に言及しない限り、像とその実体(カテーテル、ガイドワイヤ、体内組織等)とを区別しないことにする。
この実施形態では図3に示すようなフレームを処理する。ワイヤの像Cをより容易にかつ高精度に特定するために、まず、ワイヤ特定部41が強調処理を行って像Cをより明瞭にする。この強調処理の例として、非線形明度変換を行ってワイヤの像Cの濃度ムラを低減させてから、更に、画像の様々な空間周波数成分のうち空間周波数の高い成分を抽出する画像フィルタ処理を施す方法がある。この画像フィルタ処理は、大域的で滑らかなグラデーションを除去し、局所的で細かな変動成分のみを残すものである。
強調処理は、上記の例に限定されるものではない。たとえば、使用される医用画像撮影装置や被検体の特性に応じて、強調処理の内容を適宜に決定することができる。また、公知の画像処理技術を適宜に組み合わせるなどして強調処理を実現することが可能である。
ワイヤ特定部41は、フレームFに対して適切なパターン抽出処理を施してワイヤの像Cを特定する。このパターン抽出処理としては、画素値に関する閾値処理や空間フィルタ処理などの任意の画像処理技術を適宜に用いることが可能である。また、ワイヤの像Cの特定には、像Cの全体を特定する代わりに、その輪郭を特定するように構成してもよい。
数学的には、ワイヤは実空間(3次元空間)に埋め込まれた滑らかな曲線(3次元曲線)である。一方、医用画像撮影装置で得られる画像は、この3次元曲線を平面に投影した2次元曲線となる。この投影は、X線管4の位置(つまりX線7の発生位置)を視点とし、X線検出器6の検出面を投影平面としたものである。よって、特定したワイヤの像Cを2次元曲線として捉えることができる(これも同じ符号Cで表す)。
ワイヤ特定部41は、フレームFから特定されたワイヤの像Cを抽出する。位置合わせ処理部43は、抽出された像Cを2次元曲線として表す(後述)。抽出されたワイヤの像Cの例を図5に示す。また、ワイヤの像Cに基づく2次元曲線Cの例を図6に示す。
前述の時間間隔でX線検出器6から順次に送られてくる電気信号に基づく各フレームに対し、ワイヤ特定部41は上記処理をリアルタイムで実行する。それにより時系列の複数のワイヤの像が得られる。
図7は、術者のワイヤ操作によりワイヤを軸回転させた場合において、時間的に連続するフレーム群のそれぞれから抽出されたワイヤの像に基づく2次元曲線Cを表している。また、図8は、術者のワイヤ操作によりワイヤを前進させた場合において、時間的に連続するフレーム群のそれぞれから抽出されたワイヤの像に基づく2次元曲線Cを表している。2次元曲線Cの位置や形状が少しずつ変化しているのは、被検体1の呼吸や心拍等によって生じる運動による移動と、血管内におけるワイヤの移動によるワイヤ自体の変形の結果である。
体内のワイヤを観察する場合、ワイヤに対してできるだけ直交する方向からX線を照射することが望ましい。それにより、ワイヤの動きが映像上(動画像上)で最も分かりやすくなるからである。時間的に隣接する二つのフレーム間でワイヤの像Cを比較すると、両者の違いは形状や長さの僅かな変化であり、被検体1の運動による平行移動や回転移動によりワイヤの変形や位置の変化が生じてはいるものの、互いに似通った形態となる。
なお、ワイヤの先端部位は、ワイヤを捻る操作や血管壁との衝突によって急激に形状を変えることがある。しかし、それ以外の部位は、ワイヤが現に通っている位置の血管の形状を反映しており、急激に変形することはほとんどない。この実施形態では、この事実を利用して次のような処理を実行する。
(位置合わせ処理部)
位置合わせ処理部43は、この実施形態に係る機能の適用対象となる一連のフレームのうち、最初のフレーム以外の各フレームに対して次のような処理を実行する。このとき、最初のフレームは、以降のフレームに対する処理において位置の基準として参照される。位置合わせ処理部43は、当該フレームにおけるワイヤの像Cとこれより過去のフレームにおけるワイヤの像Cとが最もうまく重なるように、当該フレームと過去のフレームとを位置合わせする。以下、フレームの位置合わせ処理について詳しく説明する。
まず、位置合わせ処理部43は、各フレームにおけるワイヤの像Cの形状を表す2次元曲線Cを求める(図6を参照)。このとき、必要に応じて細線化処理などの画像処理が行われる。
まず、隣接する二つのフレームを位置合わせする処理の概要を説明する。図7に示す隣接するフレームf、gにおけるワイヤの像Cに基づく2次元曲線を図9A及び図9Bにそれぞれ示す。図9Aはフレームfに対応する2次元曲線Cfを示し、図9Bはフレームgに対応する2次元曲線Cgを示している。なお、後述の重ね合わせを考慮して、2次元曲線Cfは実線で、2次元曲線Cgは破線でそれぞれ示してある。各図の座標軸についても同様である。
次に、位置合わせ処理部43は、双方の2次元曲線Cf、Cgが最も良く一致するような座標変換を求める。この座標変換は平行移動と回転移動を含む。このような座標変換はアフィン変換(Affine Transformation)として表現可能である。ただし、ここで用いるアフィン変換は拡大/縮小と鏡映を含まない。
得られたアフィン変換は、フレームfのワイヤの像Cに合わせてフレームgのワイヤの像Cを相対的に平行移動及び/又は回転移動させるものである。このアフィン変換をT(g、f)と記すことにする。
アフィン変換T(g、f)を決定する際には、体内をワイヤが移動することによる変形の影響を考慮する必要がある。そのために、2次元曲線Cf、Cgの全体を合わせ込むのではなく、両端部位に生じるずれを許容する。特に、先端部位については前述のように急激な変形が発生することがあるので、比較的大きなずれまで許容する。たとえば図10に示すように、2次元曲線Cf、Cgの先端部位については、他の部位ほど正確に重ね合わせる必要はない。
位置合わせ処理部43は、各2次元曲線Cf、Cgの各位置に対応する重み関数Wf、Wgを生成する。
一般に、重ね合わせを厳密に行いたい部分については重みを大きく設定し、ずれを許容する部位については重みを小さく設定する。ワイヤの先端部位の近傍については、前述のように変形しやすいので、重みを小さくする。また、ワイヤの各点における屈曲の度合いに応じて重みを付与することが可能である。たとえば、ワイヤの屈曲が大きい位置ほど重みを大きくすることが望ましい。重み関数Wf、Wgは、これら事項に鑑みて各位置における重みを適当に設定することによって生成される。
重ね合わせは、フレームgに対して式(1)に示すアフィン変換T(g、f)を適用することによって行うので、そのパラメータθ、u、vを適切に決定する必要がある。ここで、パラメータθは回転移動量を表し、パラメータu、vは平行移動量を表す。
フレームgの2次元曲線(xg,yg)にアフィン変換T(g、f)を適用して得られる2次元曲線を(xg´,yg´)とする。フレームfの2次元曲線(xf,yf)と2次元曲線(xg´,yg´)との不一致の度合いを適当な尺度で評価したものをEとすると、このEの値が概ね最小になるようなパラメータθ、u、vを算出する。
より具体的な構成としては、たとえば次のようにできる。2次元曲線(xf,yf)上の各点pと、2次元曲線(xg´,yg´)上の点であって点pに最寄りである点qとの距離をDとするとき、不一致の度合いの評価尺度Eとして次式で示すものを考慮する。
式(2)に示す総和は、2次元曲線(xf,yf)上の全ての点について取るものとする。θ、u、vの値を変化させるとEの値も変化するので、Eが概ね最小になるθ、u、vを探索する。この探索は、公知の非線形最小二乗法等の技法で実行できる。
以上のようにして適切なアフィン変換T(g、f)が決定される。これをフレームgに適用すると、フレームfとフレームgの相互のワイヤの像Cがほぼ重ね合わせられ、したがって、これらフレームf、gが位置合わせされたことになる。なお、上記の例では不一致の度合いが概ね最小になるようにアフィン変換のパラメータを算出したが、これとは逆に一致の度合いを適当な尺度で評価し、この一致の度合いが概ね最大になるようにアフィン変換のパラメータを求めるように構成してもよいことは言うまでもない。
以上の演算では、隣接する二つのフレームの位置合わせを実行している。この実施形態では、時系列に沿って順次にフレームが形成されていくので、動画像におけるワイヤの像Cの動きを抑制するためには、上記のアフィン変換を順次に累積していく必要がある。そのために、位置合わせ処理部43は次のような処理を実行する。
動きを抑制する処理が施される最初のフレームの直前のフレームをフレームF0とし、これ以降のフレームを順にフレームF1、F2、F3、・・・・とする(図示せず)。このとき、フレームFn(n=1、2、3、・・・・)に適用されるアフィン変換をTnとすると、位置合わせ処理部43は、次式のようにして各アフィン変換Tnを求める。
位置合わせ処理部43は、このようにして順次に得られるアフィン変換Tnを、対応するフレームFnに順次に適用していくことにより、順次に取得される複数のフレームの位置合わせをリアルタイムで実行する。
このようにすると、最初のフレームfに対して次のフレームgが位置合わせされた後、フレームgに続くフレームhは、「最初のフレームfに対して位置合わせされたg」に対して位置合わせされることになる。したがって、フレームhは、フレームfに対しても概ね正しく位置合わせされていることになる。以下同様である。このようにしてワイヤの像Cがほとんど静止した動画像を生成することができる。それにより、X線透視下カテーテル術でリアルタイムで観察されるX線透視画像において、被検体の運動に起因するワイヤの像の動きを抑制することが可能となる。
以上に説明した位置合わせ処理において、フレームfとフレームgの相互のワイヤの像Cをほぼ重ね合わせる際に、不一致の度合いの評価尺度Eが概ね最小になるパラメータθ、u、vを探索した。このパラメータθ、u、vは、術者がワイヤを操作(軸回転、前進及び後退)した場合のワイヤの形状の変化量に対応するものである。したがって、パラメータθ、u、vを基に、ワイヤの形状の変化量を検出することができる。
次に、検出部33が、パラメータθ、u、vを基に、ワイヤの形状の変化量を検出する動作の一例を示す。
ここでは、所定のフレームレートで得られる動画像において、最新に得られたフレームとこれより一つ前に得られたフレームの相互のワイヤの像を重ね合わせる際に探索されたパラメータθ、u、v、及び、一つ前に得られたフレームとこれよりさらに一つ前に得られたフレームの相互のワイヤの像を重ね合わせる際に探索されたパラメータθ’、u’、v’を用いる。これらのパラメータθ、u、v、θ’、u’、v’を基に、検出部33は、たとえば、次のようにして平均平方の残差を求める。
先ず、検出部33は、次の演算により、パラメータの平均値θa、ua、vaを求める。
次に、以下の演算により、平均値θa、ua、vaに対するパラメータθ、u、v、θ’、u’、v’の平方和Sを求める。
次に、検出部33は、以下の演算により、平均平方の残差Rを求める。
なお、Dは変数のうち独立に選べるものの数である自由度を表し、Nは観測データが一つの演算で結合しているときの集合の数である群数を表し、nは一つの群内に含まれる観測データの数である観測値を表す。ここでは、N=3、n=2となる。
上述した式(4)~(6)を用いた演算を基に、検出部33が残差Rを求める。
(重要度を決定する際の判断材料)
このようにして求められた残差Rは、現状のX線量を増減するかどうかを判断する際の判断材料となる。
X線量決定部25は、予め定められた閾値を判断基準とし、残差Rが閾値を超えるかどうかを判断し、残差Rが閾値を超えないとの判断結果が得られたときに、現状のX線量を減らす余地があるかどうかを判断する。なおX線量決定部25が、現状のX線量を減らす余地があるかどうかを判断するとき、管電流及びフレームレートを判断材料とする。管電流及びフレームレートがともに最低値であるとX線量決定部25が判断した場合、システム制御部21は、管電流を減らすための制御信号及びフレームレートを下げるための制御信号を高電圧発生装置9に出力せず、現状のX線量を維持する。管電流を減らさないことで、X線透視画像の画質の低下が落ちるのを防止し、また、フレームレートを下げないことで、動画が滑らかに動作しなくなることを防止する。他方、管電流またはフレームレートの少なくとも一方が最低値でないとX線量決定部25が判断した場合、システム制御部21は、管電流を減らすための制御信号を高電圧発生装置9に出力し、管電流を減らす。
一方、残差Rが閾値を超えるとのX線量決定部25の判断結果を受けて、システム制御部21は、現状の管電流及びフレームレートがともに上限値(設定された値)である場合、管電流を増やすための制御信号及びフレームレートを上げるための制御信号を高電圧発生装置9に出力せず、現状のX線量を維持する。管電流またはフレームレートの少なくとも一方が上限値でない場合、管電流を増やすための制御信号またはフレームレートを上げるための制御信号を高電圧発生装置9に出力し、X線量を増やす。
このようにして増減また維持するX線量の大きさは、そのX線量のときに、X線透視下カテーテル術において術者を含むスタッフが何をしていたかを推定する一つの判断材料となる。なお、X線量の大きさは、X線量の大きさとしては、管電流及び管電圧により求められたX線量の大きさを用いても良く、また、X線量の大きさに対応する高圧発生装置9を制御する制御信号を用いても良い。以下、「X線量の大きさ」というときは、この制御信号を含む場合がある。
X線量の増減は、X線画像の画素値の変化量となって現れるため、取得時のX線画像の画素値の変化量は、そのときの術者を含むスタッフの作業状態を推定する判断材料となる。また、たとえば、造影剤投与によりX線画像の画素値が変化することから、造影剤投与時のX線画像の画素値の変化量を判断材料として用いることにより、X線透視下カテーテル術においてスタッフが造影剤投与をしたかどうかを推定することが可能となる。
さらに、ワイヤの形状の変化量は、術者のワイヤ操作を推定する判断材料となる。術者がワイヤ操作をしたかどうかを推定する際の判断材料を、X線量の大きさ、または、X線画像の画素値の変化量とすることも考えられるが、X線量が増加したからといって必ずしもワイヤ操作をしているわけではなく、また、X画像の画素値の変化量が大きくなったからといって、必ずしもワイヤ操作をしているわけではなく、術者のワイヤ操作と、X線量の大きさやX線画像の画素値の変化量は必ずしも対応していない。この点、ワイヤの形状の変化量は、術者のワイヤ操作を直接的に表すものであるため、術者のワイヤ操作と対応している。
以上に挙げたX線量の大きさ、X線画像の画素値の変化量(造影剤の投与)、ワイヤの形状の変化量は、X線透視下カテーテル術において重要な局面や節目になる場面を推定する際の判断材料となる。
(重要度を推定し、総合重要度を決定する機能)
この実施形態において、重要度決定部27は、複数の判断材料を基に重要度を推定し、推定された重要度を総合することにより、X線画像の総合重要度を決定する。
重要度を推定するときの判断材料に、X線量の大きさを用いた一つの例を説明する。システム制御部21は、X線画像を取得したときのX線量の大きさを、取得時のX線画像と対応付けて記憶部22に記憶させる。X線量の大きさを基に重要度決定部27が推定した重要度を図11に示す。図11は、横軸を時間軸とし、縦軸に重要度を示し、X線を照射したときに対応させて、そのときのX線量の大きさを基に推定した重要度を表した図である。図11からわかるように、X線量が上限値のとき、重要度が最高となり、X線を照射されないとき、重要度が最低となる。
次に、重要度を推定するときの判断材料として、X線透視下カテーテル術におけるX線画像の取得時期を用いた例を説明する。X線画像の取得時期を検出する検出部33としては、たとえば、特開2008-301984号公報に記載された技術を用いる。すなわち、現在時刻を計時する手段を有し、時系列的に取得されるX線画像群に含まれる各X線画像に対して、その取得時刻を付与する。一つのX線画像の取得時刻と、フレームレートとを付与するようにしても良い。
重要度決定部27は、X線画像を取得した時刻がその取得を開始してから終了するまでの全期間の中でどこに位置するかを示す時間(以下、「経過時間」という。)を基に重要度を推定する。その全期間を重要度決定部27は、取得開始時のデータ及び取得終了時のデータ(共に、X線画像と対応付けて記憶部22に記憶される)を基に求める。重要度決定部27は、X線画像を取得した経過時間に応じて、そのX線画像の重要度を推定する。
経過時間により推定した重要度を図12に示す。図12は、縦軸に重要度を、横軸に時間軸をとり、術期間そのX線画像の取得時刻を基に重要度決定部27が推定した重要度を表す図である。図12からわかるように、重要度決定部27は、経過時間が序盤であるX線画像の重要度を低いと推定し、序盤から中盤にかけてのX線画像の重要度を徐々に高くなると推定し、中盤から終盤にかけてのX線画像の重要度を高く維持されると推定する。このように重要度決定部27が重要度を推定するのは、重要な局面や節目になる場面が序盤よりも中盤から終盤にかけて、多数発生するという経験則に基づく。
次に、重要度を推定するときの判断材料として、時系列的に取得されたX線画像の画素値の変化量を用いた一例を説明する。画素値の変化量を検出する検出部33として、たとえば、特開2009-240559号公報に記載された技術がある。すなわち、X線画像のうち注目部位に着目し、時系列的に連続した複数のX線画像のうちのそれぞれの注目部位の画素値を算出して比較し、注目部位について、画素値の時間的な変化量を算出するものである。なお、注目部位でなく、X線画像全体について、画素値を総計した値または画素値の平均値を基に変化量を算出しても良い。システム制御部21は、このように算出されたX線画像(または注目部位)の画素値の変化量を記憶部22に記憶させ、その画素値の変化量を基に重要度決定部27が重要度を推定する。
X線画像の画素値の変化量により推定した重要度を図13に示す。図13は、横軸を時間軸とし、縦軸を重要度とし、X線画像の画素値の変化量を基に重要度決定部27が推定した重要度をそのX線画像の取得時刻の位置に表した図である。説明の都合上、図13において、X線画像の画素値の変化量を基に推定した重要度を棒線の長さで表す。
次に、重要度を推定するときの判断材料の一つとして、前述したように、ワイヤの形状の変化量を用いた例を説明する。すなわち、システム制御部21は、上述した式(4)~(6)を用いた演算により求められた残差Rを記憶部22に記憶させる。記憶部22には、その残差Rを求めるときに用いた3枚のフレームのうち最新に得られたフレームに対応付けて記憶される。重要度決定部27は、残差Rを基に重要度を推定する。重要度決定部27は、残差Rの大きさに応じて重要度を高く推定する。また、重要度決定部27は、所定の上限値を超えた残差Rの大きさに対し、重要度を一定の最高値であると推定する。
ワイヤの形状の変化量(残差Rの大きさ)により推定した重要度を示す図は、たとえば、縦軸に重要度、横軸に時間軸をとり、ワイヤの形状の変化量により推定した重要度を、その変化量が生じた時間軸上の時刻の位置に表した図である。なお、図13を、X線画像の画素値の変化量及びワイヤの形状の変化量により、推定した重要度を示す図としても良い。
上記したX線量の大きさ、X線画像の取得時期、X線画像の画素値の変化量(造影剤の投与)、及び、ワイヤの形状の変化量を判断材料として、重要度決定部27が各重要度を推定し、各重要度を基に総合重要度を決定する。各重要度及び総合重要度を図14に示す。説明の都合上、図14において、総合重要度を棒線の長さで表したものである。図14では、X線画像の取得期間の中盤から終盤にかけて、高い総合重要度(長い棒線)が複数存在していることを示し、これは、中盤から終盤にかけて、重要な局面や節目になると推定される場面が多数発生したことを表している。したがって、総合重要度の高い複数のX線画像をサムネイルとして一覧表示すれば、そのサムネイルから、術者が重要な局面や節目になる場面を想起することが可能となる。
(総合重要度を選出する機能)
一覧表示されるサムネイルから術者が重要な局面等を想起するためには、重要度決定部27により決定された総合重要度の中から、複数(たとえば10枚または100枚)の総合重要度を高い順番に選出し、選出された総合重要度のX線画像をサムネイルとして表示させる必要がある。
このとき、複数の総合重要度を全部選出した後、選出された総合重要度のX線画像をサムネイルとして全部表示させても良く、また、最も高い総合重要度を先ず選出し、その選出された最も高い総合重要度のX線画像をサムネイルとして表示させた後、残りの数(たとえば、9枚または99枚)の総合重要度を選出し、その選出された残りの数の総合重要度のX線画像をサムネイルとして全部表示させても良い。
この実施形態では、選出手段26が、複数の総合重要度を全部選出した後、表示制御部24が、選出された総合重要度のX線画像をサムネイルとして表示部31に全部表示させる。
次に、選出手段26が複数の総合重要度を選出するときの動作について図15~図20を参照して説明する。図15は、複数のX線画像を選出するときの全体の動作を示すフローチャートである。
先ず、選出手段26は、総合重要度を選出する(図15に示すS101)。この総合重要度の選出について図16を参照して説明する。図16は、一つの総合重要度を選出するときの動作を示すフローチャートである。
選出手段26は、記憶部22に記憶された総合重要度を順番(取得された順番)に読み込む(S201)。次に、読み込まれた総合重要度が、メモリ(たとえば、演算制御装置20または選出手段26の内部メモリ)に記憶された総合重要度より高いかどうかを、選出手段26が判断する(S202)。選出手段26が高いと判断した場合(S202:Yes)、記憶された総合重要度を書き換える(S203)。次に、読み込み対象となるX線画像の総合重要度が最後かどうかを選出手段26が判断する(S204)。一方、選出手段26が同じまたは低いと判断した場合(S202:No)、読み込み対象となる総合重要度が最後かどうかの選出手段26の判断(S204)に移る。
最後でないと判断した場合(S204:No)、X線画像の総合重要度の読み込み(S201)に戻る。最後であると判断した場合(S204:Yes)、メモリに記憶された総合重要度を選出手段26が終了し、総合重要度の選出を終了する。以上により、一つ総合重要度を選出する。
次に、重要度決定部27は、選出された総合重要度を基に、他の総合重要度を変更する(図15に示すS102)。この総合重要度の変更について図18~図20を参照して説明する。図18は、重要度決定部27が決定した総合重要度を示す図、図19は、総合重要度を変更する際に用いられる数式を表したグラフ、図20は、変更した総合重要度を示す図である。説明の都合上、図18及び図20において、総合重要度を棒線で表す。
総合重要度の変更において、たとえば、選択手段26が、総合重要度のうち最高のもの(図18に「a」で示す総合重要度)を選択すると、重要度決定部27は、図19に示す所定の数式(図19に示す)を用いて、選出されたX線画像が取得された時刻の周辺の時刻に取得されたX線画像の総合重要度を低くするように総合重要度を変更する。それにより、時間的に「a」の周辺にある「c」及び「d」の総合重要度が低くなり、時間的に「a」から遠く離れた「b」の総合重要度は変更されない(図20で示す)。それにより、「b」の総合重要度が「c」の総合重要度より相対的に高くなり、次に選ばれる総合重要度となる。
以上の総合重要度の変更(S102)を行った後、選ばれた総合重要度が所定数に達したかどうかを選出手段26が判断する(S103)。所定数に達していないと選出手段26が判断した場合(S103:No)、選出手段26は、総合重要度の選出する(S101)に戻り、たとえば、総合重要度が図20に示す状態のとき、「b」の総合重要度を選出する。このようにして、選出手段26により総合重要度が高い順番に選出される。選ばれた総合重要度が所定数に達したと選出手段26が判断した場合(S103:Yes)、選出手段26による選出を終了する。以上により、所定数の総合重要度を選出する。
(X線画像を一覧表示する機能)
次に、所定数の総合重要度を選出した後、選出された総合重要度のX線画像をサムネイルとして一覧表示することについて図21を参照して説明する。図21は、X線画像をサムネイルとして一覧表示したときの図である。サムネイルとして表示されたX線画像を図21においてTで示す。
選出手段26により所定数の総合重要度が選出された後、表示制御部24は、選出された総合重要度に対応するX線画像のデータを記憶部22から読み出し、それらのX線画像をサムネイルとして表示部31に一覧表示させる。表示制御部24及び表示部31は、この発明の「表示手段」の一例である。
表示制御部24は、時間スケールに対応付けて、複数のX線画像を表示させる。時間スケールの一例として時間尺を軸上に表した時間軸を用いる。表示制御部24は、時間軸を表示させ、サムネイルとして表示されるX線画像のそれぞれと、そのX線画像が取得された時刻に相当する時間軸上の点とを対応付けて表示させる。それにより、術者は、時間軸上の点で表される時刻と、その時刻に取得されたサムネイルとして表示されるX線画像との関係を知ることができ、X線画像が取得された時刻の周辺で行われた作業を想起し易くなる。ここで、「時間軸上の点とを対応付けて表示させる」とは、時間軸上の点をマークで表し、または、その点をマークで指し示し、X線画像とマークとを対応付けて表示させることを意味する。この実施形態では、表示制御部24は、時間軸TAを表示させ、時間軸TA上の点をマークM1で表すとともに、その点をマークM2で指し示し、円の図形であるマークM1、及び、その点とX線画像とを連絡する線であるM2と、サムネイルとして表示されるX線画像Tとを対応付けて表示させる。表示制御部24がマークM1、M2を表示させることにより、マークM1、M2とX線画像とを関連付け、及び、マークM1、M2と時間軸TA上の点とを関連付け、マークM1、M2を介して、時間軸TA上の点とX線画像とを対応付けることができる。
なお、X線透視下カテーテル術において、X線画像の取得を開始してから終了するまでの期間中に、X線照射を中止すると、X線画像を取得しない時刻が含まれる。このX線画像を取得しない時刻を、術者が視認することができれば、その時刻の周辺で行われた作業を想起することが可能となり、目的とする検査記録や目的とする映像が記録されているかを容易に見つけることができる。
表示制御部24は、X線画像を取得している時刻に相当する部分(図21に実線A1で示す)と、取得していない時刻に相当する部分(図21に破線A1で示す)とを互いに異なる態様で時間軸TA上にまたは時間軸TAに沿って表示させる。また、表示制御部24は、時間軸TAの複数の点に対応させて、その各点に対応する時刻を表示させる。
選出された複数のX線画像を表示制御部24がサムネイルとして一覧表示することにより、目的とする検査記録等を見つけることがある程度容易になるが、目的とする検査記録等を効率的に見つけるためには、一覧表示されるX線画像を術者の勘により閲覧していくよりも、目的とする検査記録等との関係性をもつ総合重要度を基にして閲覧していく方が良い。X線画像とその総合重要度とを対応して表示すれば、総合重要度に応じたX線画像を閲覧することが可能である。一覧表示されるX線画像とマークM1、M2とが関連付けられていることから、この実施形態では、総合重要度をマークM1、M2により表示する。
表示制御部24は、マークM1、M2を総合重要度の高さに応じた態様で表示部31に表示させる。たとえば、図21に示すように、マークM1の円の大きさを総合重要度の高さに対応させても良い。その他の態様としては、マークM1の色を異ならせた態様(高い方から赤→橙→黄→緑→青の順番で)表示させても良く、また、点滅頻度を異ならせた態様(高いほど点滅頻度を高く)表示させても良い。
なお、総合重要度を、X線画像を使って表しても良い。この場合、表示制御部24は、X線画像を総合重要度の高さに応じた態様で表示部31に表示させる。その表示の一例として、サムネイルの枠線の太さ、枠線の色、枠線の点滅頻度を異ならせた態様を用いる。 また、表示制御部24は、表示部31の画面全体又は一部に、図14に示す総合重要度を表した図を表示させても良い。
(他の機能)
以上に、この医用画像撮影装置の「重要度を推定し、総合重要度を決定する機能」等について説明した。次に、この医用画像撮影装置の他の機能について説明する。
表示制御部24は、サムネイルとして一覧表示されたX線画像のいずれかを、操作部32(たとえば、ポインティングデバイス)により選択したとき、選択されたX線画像を含む動画を表示部31に再生させる。
再生される動画のいずれかにそのX線画像が含まれていれば足りるが、好ましくは、選択されたX線画像を取得した時刻より所定時間前に取得したX線画像から、取得した時刻より所定時間後に取得したX線画像までの一連の動画を再生させる。選択されたX線画像を取得した時刻の周辺に取得したX線画像を見ることにより、取得した時刻の周辺で行われた作業を想起することが可能となり、目的とする検査記録や目的とする映像が記録されているかを見つけ易くなる。表示制御部24及び表示部31は、この発明の「再生手段」の一例である。
なお、動画の再生はこれに限らない。たとえば、表示部31に表示された時間軸TA上の点に対する操作部32による指定を受けて、表示制御部24が、時間軸TA上の点に対応する時刻に取得したX線画像を含む動画を表示部31に再生させても良い。これにより、一覧表示されるX線画像以外のX線画像を含む動画を簡単にチェックすることができる。
また、操作部32により複数のX線画像を選択しても良い。表示制御部24は、これらの選択された複数のX線画像をそれぞれ含む動画を自動的に繋ぎ合わせても良い。または、操作部32により時間軸TA上の複数の点を指定しても良く、表示制御部24が、複数の点に対応する複数のX線画像をそれぞれ含む動画を自動的に繋ぎ合わせても良い。それにより、動画を閲覧する時間を大幅に短縮することができる。
以上に、重要度を推定し、総合重要度を選出する機能、X線画像を一覧表示する機能、及び、その他の機能としての動画再生機能を説明した。これらの機能により、最高の総合重要度を自動的に選出し、続いて、他の総合重要度を自動的に選出し、選出したこれらの総合重要度のX線画像をサムネイルとして一覧表示し、また、選出した所望の時刻からの動画を簡単な操作により再生することが可能となった。
ところで、自動的に選出された最高の総合重要度のX線画像(図21においてTrで示す)から、術者が必ずしも重要な局面や節目になる場面を想起するとは限らない。術者にとって、他のX線画像からの方がむしろ重要な局面等を想起する場合がある。
そこで、選出手段26は、サムネイルとして一覧表示された複数のX線画像のうち総合重要度が最も高いX線画像を代表サムネイルとして選出し、さらに、操作部32からの指示を受けて、この代表サムネイルに代えて別のX線画像を新たな代表サムネイルとして選出する。別のX線画像として、たとえば、最高の総合重要度の選出に続いて自動的に選出され、最高の総合重要度のX線画像(図21においてTrで示す)とともに一覧表示される他の総合重要度のX線画像(図21においてTで示す)を用いれば良い。このように、代表サムネイルが交代することにより、それに続いて選出される他の総合重要度も変更される。
代表サムネイルとなるX線画像の選出、及び、他の総合重要度の変更の詳細について、図17を参照して説明する。図17は、代表サムネイルとして表示されるX線画像を指定したときの動作を示すフローチャートである。
選出した総合重要度の数が所定数に達すると(図15に示すS103:Yes)、選出された総合重要度のX線画像をサムネイルとして表示制御部24が表示部31に一覧表示させる。このとき、最高の総合重要度のX線画像を代表サムネイルとして表示させる。
代表サムネイルとして表示されたX線画像を別のX線画像に交代するには、たとえば、代表サムネイルとしてのX線画像(図21においてTrで示す)とともに一覧表示されるX線画像(図21においてTで示す)のいずれかを操作部32により指示する(S301)。操作部32の指定を受けて、選択手段26は、総合重要度を変更する(S302)。この総合重要度の変更は、図15に示したS102(選出された総合重要度に基づく、他の総合重要度の変更)と同じように、指定されたX線画像の総合重要度を基に、他の総合重要度を変更する。
〈第2の実施形態〉
第1の実施形態では、X線量の大きさ、X線画像の取得時期、X線画像の画素値の変化量(造影剤の投与)、及び、ワイヤの形状の変化量を判断材料として、重要度決定部27が各重要度を推定したが、重要度を推定するときの判断材料として、術者による器具(ワイヤ)の操作状態、術者の姿勢、術者の生体情報、及び、術者の行動の少なくとも一つを用いれば良い。次に、重要度を推定する際の判断材料に用いられる他の例について説明する。
第1の実施形態では、術者がワイヤを操作しているか否かの判断材料として、ワイヤの形状の変化を検出した結果を用いた例を示したが、ワイヤの操作状態を判断する際の判断材料として、ワイヤを操作したときに生じる音・振動を検出した結果を用いても良く、また、ワイヤを操作する術者の手の動きを検出した結果を用いても良い。
ここでは、ワイヤの操作状態を判断する際の判断材料として、ワイヤを操作したときに生じる音・振動を検出した結果を用いた例を示す。ワイヤを操作すると、アダプター内に設けられた弁(図示せず)とワイヤが擦れて、特定の周波数帯域に渡る音・振動が発生する。この音・振動の発生が頻繁な場合、術者がワイヤを操作していると推定することができる。
図22及び図23を参照して、この実施形態の詳細について説明する。図22は、アダプターに取り付けられた固体マイクを用いた例を示す図であり、ワイヤの操作方向を矢印で表す。図23は、アダプターの部分を拡大して表した図である。ワイヤ51が弁と擦れる音・振動をアダプター52に取り付けられた固体マイク53により検出し、ワイヤ操作の頻度を検出する。重要度決定部27は、この頻度が予め定められた閾値(たとえば、10秒間にN回)を超えるかどうかを判断し、閾値を超えた回数(0、1、2、・・・m)を計数し、閾値を超えた継続時間(たとえば、閾値を超えた回数*10秒)に応じたX線画像の重要度を推定する。この閾値を超えた継続時間が、この発明の「挿入器具の動きの継続時間」の一例である。
次に、ワイヤの操作状態を判断する際の判断材料として、ワイヤを操作する術者の手の動きを検出した結果を用いた例を示す。たとえば、アダプターに取り付けた赤外線反射型モーションセンサーで、アダプターの近くで術者の手の動きを検出し、1秒毎に術者の手の動き量の平均値を求め、平均値が一定量以上となった回数を検出する。重要度決定部27は、予め閾値(たとえば、10秒間にN回)を判断基準として、検出された回数が閾値を超えるかどうかを判断し、閾値を超えた継続時間(たとえば、閾値を超えた回数*10秒)を計数しても良い。重要度決定部27は、閾値を超えた継続時間に応じたX線画像の重要度を推定する。この閾値を超えた継続時間が、この発明の「挿入器具の動きの継続時間」の他の例である。ここで、赤外線反射型モーションセンサーの一例としては、赤外線集光レンズの焦点距離に設けられた検知範囲内に複数の焦電素子を配列し、検出対象(術者の手)の動きを焦電素子にて電気量の変化として検出するものがある。
なお、ワイヤを操作する術者の手の動きを検出する検出部33として、赤外線反射型モーションセンサーの代わりに、加速度センサーを術者の手に装着しても良い。この場合、加速度センサーは、加速度が一定量以上となった回数を検出し、重要度決定部27は、その回数に応じてX線画像の重要度を推定する。予め定められた閾値(たとえば、10秒間にN回)を判断基準とする。ここで、加速度センサーの一例としては、加速度によって生じる位置の変化をダイヤフラムの位置変化としてピエゾ抵抗素子によって検出するものなどがある。
〈第3の実施形態〉
第2の実施形態に係る医用画像撮影装置は、術者による器具(ワイヤ)の操作状態を検出し、その検出結果を判断材料として、重要度決定部27がX線画像の重要度を推定するものである。これに対し、他の判断材料として、術者の姿勢を検出した結果を用いても良い。なお、器具の操作状態の検出結果及び術者の姿勢の検出結果を総合して判断材料とし、重要度決定部27がX線画像の重要度を推定するようにしても良い。さらに、その推定した重要度と他に推定した重要度とを組み合わせることで、総合重要度を決定しても良い。このように、推定した重要度をより多く組み合わせることで、総合重要度と術者の作業状態との対応関係をより緊密にする。それにより、総合重要度を基に選出手段26により選出されたX線画像から、そのX線画像の取得時に術者が行った作業を想起し易くなる。目的とする検査を容易に見つけることができ、また、検査記録中のどの部分に目的とする映像が記録されているかを容易に見つけることができる。
術者の姿勢の検出結果の一例として、X線透視画像を表示するためのディスプレイ(表示部31)を術者が見ているか否かを検出した結果を使用しても良い。一般的に、術者がX線透視画像を表示しているディスプレイに近づいたとき、又は、術者がX線透視画像を表示しているディスプレイの方を向いたとき、術者がX線透視画像をよく見ようとしていると推定でき、術者の作業状態が重要な局面を迎えているときであると推定できる。術者がX線透視画像を表示しているディスプレイに近づいたか否かの判断材料の一例として、ディスプレイに取り付けたカメラ等のセンサを用いて測定できる。ディスプレイ側から見た術者の位置の検出結果がある。また、術者がX線透視画像を表示しているディスプレイの方を向いたか否かの判断材料の例として、ディスプレイに対する術者の顔の面積の検出結果、及び、ディスプレイに対する術者の顔の向きの検出結果がある。なお、これらの検出結果のいずれか二つ以上を総合して判断材料とし、X線透視画像を表示するためのディスプレイを術者が見ているか否かを判断しても良い。
ここでは、術者がX線透視画像を表示しているディスプレイに近づいたか否かを判断材料として、ディスプレイに対する術者の位置の検出結果を用いた例を示す。ディスプレイに対する術者の位置を、ディスプレイに取り付けられた超音波センサーで検出する。ディスプレイと術者との距離を検出することができれば、超音波センサーを取り付ける場所はディスプレイに限定されず、ディスプレイと術者との相対位置を把握可能な場所であれば良い。なお、超音波センサーの一例としては、センサヘッドから超音波を発信し、対象物(術者の顔)で反射してくる超音波を再度センサヘッドで受信し、この音波の発信から受信までの時間を計測することで対象物の位置を検出するものがある。
また、ディスプレイに対する術者の位置を検出するデバイスは、超音波センサーに限定されず、たとえば、顔認識機能を持つカメラであっても良い。この顔認識機能を持つカメラから術者の顔への方向を検出し、検出結果を基に、ディスプレイの画面から術者の顔の位置までの距離を計算する。画像認識機能として、たとえば、特開平8-275195号公報に記載された、色差画像を用いて顔の特徴である肌色領域を検出することにより顔候補領域を検出する画像処理機能を利用する。なお、この顔認識機能を持つカメラは、単に術者の皮膚の色を識別して、術者の顔の位置(術者の顔が存在する場所の位置)を画像上で検出するものでも良い。
一般的に、術者の顔がディスプレイに近づいたとき、術者が重要な作業をしているから、X線画像の重要度が高いと推定できる。また、術者の顔がディスプレイから離れたとき(ディスプレイの画面に直交する方向に沿って離れたとき、又は、ディスプレイの画面に直交する方向に対し斜め方向に離れたとき)、X線画像の重要度が低いと推定できる。したがって、重要度決定部27は、ディスプレイの画面から術者の顔の位置までの距離を求め、求めた結果に応じてX線画像の重要度を推定する。
〈第4の実施形態〉
第3の実施形態では、ディスプレイに対する術者の位置を判断材料として、X線画像の重要度を推定していた。しかし、術者がX線画像をよく見るためでなく、単に、術者がディスプレイに近づくような場合がある。この場合、X線画像の重要度が高いとは言えない。そこで、判断材料として、術者がX線透視画像を表示しているディスプレイの方を向いたか否かの検出結果を用いることで、術者が単にディスプレイに近づいただけなのか、それともX線画像をよく見るためなのかを判別する例について以下に説明する。
この発明の他の実施形態について説明する。術者がX線透視画像を表示しているディスプレイの方を向いたか否かの検出結果として、ディスプレイに対する術者の顔の面積の検出結果を用いた例を示す。ディスプレイに対する術者の顔の向きを、ディスプレイ又はその付近に取り付けられたカメラで検出する。カメラは前述した画像認識機構を備えている。術者は、皮膚の色とは異なる術衣やマスクを着けているので、カメラは、術者の皮膚の色を識別し、画像上で皮膚の色の位置を特定して、顔の面積を検出することができる。顔の面積が小さいほど、術者はディスプレイの方に正対していないと推定される。ディスプレイに取り付けられたカメラ、並びに、術衣及びマスクを着けた術者を図24に示す。術者の顔は、術衣及びマスクにより、その目や鼻の周辺のみが露出して、それ以外の部分が覆われている。以下、露出された目や鼻の周辺領域を「露出領域」という。カメラから見たときの露出領域の面積を検出する。
カメラから見たときの露出領域を図25及び図26を参照して説明する。図25は、術者がディスプレイの方に正対していると推定される場合の露出領域を示す図であり、実線で囲んで表した露出領域の外形形状は顔の幅方向に長い略矩形状となる。図26は、術者がディスプレイの方に正対していないと推定される場合の露出領域を示す図であり、実線で囲んで表した露出領域の外形形状は、略矩形状となるが、図25の場合と比較して顔の幅方向が短くなる。カメラから見たときの露出領域の面積は、術者がディスプレイの方に正対しなくなるほど小さくなる。したがって、重要度決定部27は、現状の露出領域の面積を求め、露出領域の面積の最大値(術者がディスプレイの方に正対していると推定される露出領域の面積の値)に対する現状の露出領域の面積の値の割合に応じてX線画像の重要度を推定する。これは術者がディスプレイの方を向いるほど、X線画像の重要度が高いと推定されるからである。
なお、露出領域の面積に代えて、露出領域を検出し、この露出領域の輪郭を抽出し、この輪郭を判断材料としても良い。露出領域の輪郭において、術者がディスプレイに対して近づくと、露出領域の画像が大きくなり、ディスプレイに対して離れると、露出領域の画像が小さくなる。そこで、輪郭の中で、たとえば、帽子の下縁とマスクの上縁との間の長さ(略矩形状の輪郭の縦の長さ)を基準とし、その長さが、画像間で等しくなるように、比較対象の画像を拡大/縮小し、このサイズ調整後の輪郭を判断材料とする。この画像の調整は、露出領域の面積を判断材料とする上においても有効である。
〈第5の実施形態〉
第4の実施形態では、術者がX線透視画像を表示しているディスプレイの方を向いたか否かの検出結果として、ディスプレイに対する術者の顔の面積(カメラから見たときの露出領域の面積)の検出結果を用いた例を示した。しかし、露出領域の面積は、顔の大きさや形によって術者毎にばらつきがあり、同じ術者であっても、術衣やマスクの着け方によってもばらつきがでる。特に、手術中にマスクの位置をずらしたときにばらつきがでる。そのばらつきは、X線画像の重要度を正確に推定する際の支障となることがある。そこで、X線画像の重要度を正確に推定するために、ディスプレイに対する術者の顔の向きの検出結果を判断材料とする。
この発明の他の実施形態について説明する。術者がX線透視画像を表示しているディスプレイの方を向いたか否かの検出結果を判断材料とする他の例として、ディスプレイに対する術者の顔の向きの検出結果を用いることができる。ディスプレイ又はその付近に取り付けられた特徴検出機構を備えたカメラで術者の目(黒目と白目)の領域を抽出する。特徴検出機構としては、たとえば、特開平2004-91917号公報に記載された、画像から瞳位置及び虹彩領域の輪郭を抽出する特徴検出機構を用いる。たとえば、図27及び図28に特徴検出機構により抽出された黒目(瞳及び虹彩)と白目の各領域を示す。図27に示すように、術者がディスプレイの方を向いていると推定される目の領域では、白目領域61の幅方向(目頭から目尻への方向)の中心線上又は中心線近傍に黒目領域62の重心が位置する。また、図28に示すように、術者がディスプレイの方を向いていないと推定される目の領域では、白目領域61の幅方向の中心線から外れて黒目領域62の重心の位置にする。したがって、重要度決定部27は、白目領域の幅方向の中心線に対する黒目領域の重心の位置を検出した結果に応じてX線画像の重要度を推定する。これは術者がディスプレイの方を向いているほど、X線画像の重要度が高いと推定されるからである。
〈第6の実施形態〉
第5の実施形態では、術者がX線透視画像を表示しているディスプレイの方を向いたか否かの検出結果として、白目領域の幅方向の中心線に対する黒目領域の重心の位置を検出した結果を用いた例を示した。しかし、術者の目(白目領域及び黒目領域)の大きさや形には個人差がある。また、術者が使用する眼鏡からの反射光等により、術者の目の画像を取得するときの条件が良くない場合がある。これらの術者の個人差や画像の取得時の悪条件は、検出結果の誤差を大きくする一因となり、X線画像の重要度を推定する際の正確性を低下させる場合がある。術者がディスプレイの方を向いたか否かをより確実に検出するために、術者に装着された対象物を検出するように構成しても良い。
ディスプレイに対する術者の顔の向きの検出結果を判断材料とする他の例として、術者に装着される対象物を検出したときの検出結果を挙げて説明する。
術者に装着される対象物として、術者の帽子やマスクなどの正中線上に取り付けられる反射マーカを用いた例を示す。反射マーカは、たとえば、可撓性を有するシートを矩形状に形成したものであり、シートの表面に、たとえば、スパッタリング法や蒸着法等によってアルミニウム等の金属薄膜からなる反射層を形成されたものである。反射マーカに赤外線を照射する赤外線光源が、ディスプレイ又はその付近に取り付けられ、さらに、ディスプレイの画面の正面領域(画面が向けられている領域であって、画面から一定距離範囲内にある領域)を撮影野とするカメラが、同じく、ディスプレイ又はその付近に取り付けられている。
たとえば、図29に示すように、術者の帽子の正中線上に反射マーカ71が取り付けられる。そして、図30に示すように、術者の帽子(図示せず)に取り付けられた反射マーカ71を、ディスプレイに取り付けられた赤外線光源72及びカメラ73により検出する。θは、赤外線の反射光が入射光に対してなす角度(入射角及び反射角の和)である。
一般的に、反射マーカによる赤外線の反射光の検出量(カメラ73による)が大きいほど反射マーカはディスプレイに正対しているので、この検出量が大きいほど、術者がディスプレイに正対しているものと推定することができる。したがって、重要度決定部27は、反射マーカからの反射光の強さを検出した結果から相対反射率(正対したときの反射光の強さに対する現状の反射光の強さの割合)を求め、その相対反射率に応じてX線画像の重要度を推定する。これは、相対反射率が高いほど、術者がディスプレイの方を向いて折り、その時に取得したX線画像の重要度が高いと推定されるからである。図31は、角度θと相対反射率との関係を描いたグラフである。図31では、角度θが0°(術者がディスプレイに正対しているときの角度)から角度θが90°(術者がディスプレイに対し真横を向いているときの角度)に向かって、相対反射率が減少していることを表している。
(変形例)
以上に、判断材料として相対反射率を用いた例を示したが、これに限定されない。カメラにより撮影された反射マーカの画像に相当する画素の輝度の総和が大きいほど、術者がディスプレイに正対しているものと推定することができる。したがって、重要度決定部27は、反射マーカの輝度の総和を検出し、検出結果から輝度の総和の割合(正対したときの輝度の総和に対する現状の輝度の総和の割合)を求め、その画素の輝度の総和に応じてX線画像の重要度を推定する。これは術者がディスプレイの方を向いるほど、その時に取得したX線画像の重要度が高いと推定されるからである。
図32は、術者がディスプレイに正対していると推定する場合の反射マーカの画像を示し、その画素を高い輝度で表した反射マーカの画像81の形状は、反射マーカの外形形状をほぼ写した形をしている。図33は、術者がディスプレイに正対していないと推定する場合の反射マーカの画像を示し、反射マーカの画像81の形状は、反射マーカの外形形状に対し水平方向に狭まった形をしていて、画像81を形成する画素の輝度は、図32に示す画像81を形成する輝度より低い。したがって、術者がディスプレイに正対していると推定する場合の反射マーカの画像の方が、正対していないと推定する場合の反射マーカの画像より大きく、画像を形成する画素の輝度も高い。
上記の第3から第6の実施形態に係る検出部33は、術者の姿勢として、ディスプレイを見ているか否かを検出するものであった。しかし、術者の姿勢を検出する検出部33は、これに限らない。
〈第7の実施形態〉
X線透視下カテーテル術において、極めて精密な作業が要求されるワイヤ操作をするとき、通常、術者は姿勢を大きく変化させずに行うため、術者の体動の頻度が小さい。したがって、X線透視下カテーテル術において、術者の体動が頻繁である場合、ワイヤ操作をしていないから、X線画像の重要度が低いと推定することができる。この点に着目して、術者の体動が頻繁か否かを検出するための検出部33を設ける。
術者の体動が頻繁か否かを検出した結果を判断材料とする例として、術者の足の下に敷いた圧力センサーマットによって術者の重心を検出する検出結果を挙げて説明する。ここでの「体動」とは、たとえば、術者が上体を前や横に倒したり、起こしたり、術者が方向転換したり、立ち位置を移動するときの動きを含み、ワイヤ操作時のように上体を一定に保ちながら、方向転換もせず、手や腕だけを主に動かすような動きを含まない。圧力センサーマットは、術者の足からの圧力を、2次元の圧力分布パターンとして検出する。重要度決定部27は、一定時間(たとえば、0.1秒)間隔で2次元の圧力分布パターンを収集し、これまでの予め定められた時間(たとえば、過去3秒間)に収集された枚数(たとえば、30枚)の圧力分布パターン画像を作成し、圧力分布パターン画像を基に、術者の重心を求める。ここで、圧力センサーマットの一例としては、圧力がかかる範囲に半導体圧力センサの受圧面を配列し、そこにかかった圧力を電気量の変化として検出するものがある。
次に、図34及び図35を参照してさらに詳細に説明する。図34は、両足全体についての圧力分布パターン画像を示す。図34に示す圧力分布パターン画像を形成する画素は圧力値を有している。左足の圧力分布パターンは、同じ圧力値の画素を繋いだ線である等圧線が3つあり、これに対し、右足の圧力分布パターンは、等圧線が2つあることから、術者は左足側に体重をかけていることがわかる。左足の圧力分布パターンにおける画素の圧力値を基に求めた左足に係る圧力値の重心と、右足の圧力分布パターンにおける画素の圧力値を基に求めた右足に係る圧力値の重心とから、両足全体についての圧力分布パターンにおける画素の圧力値の重心(術者の重心)を求める。図35は、求められた圧力値の重心(術者の重心)の位置を黒丸で示す。
たとえば、過去3秒間に収集された複数の重心位置について、統計処理を行い、ばらつき(標準偏差)を求める。標準偏差が大きいほど、大きな体動を行ったと推定することができる。したがって、重要度決定部27は、術者の重心位置の標準偏差に応じてX線画像の重要度を推定する。これは術者が大きな体動(たとえば、術者が上体を前や横に倒したりする動き)を行わないほど、線画像の重要度が高いと推定されるからである。
〈第8の実施形態〉
上記した第3から第7の実施形態にかかる検出部33は、術者の作業状態として、術者の姿勢を検出するものであった。それは、X線透視下カテーテル術における術者の作業状態が、ディスプレイを見ながらワイヤを操作する術者の姿勢として現れるためである。X線透視下カテーテル術における術者の作業状態は、ワイヤを操作するときの呼吸の抑制など、緊張状態を示す生体情報としても現れる。したがって、術者の作業状態としての生体情報を検出する検出部33であっても良い。ここで、生体情報とは、生体において、刺激に基づいて起こる運動等に関する情報をいう。
術者の作業状態として、術者の生体情報を検出する検出部33を用いた例を示す。X線透視下カテーテル術において、術者が呼吸を抑制した場合、術者がワイヤの精密な操作をしていて、その時取得したX線画像の重要度が高いと推定される。そこで、生体情報として術者の呼吸の抑制状態を用いる。
検出部33の一例として、聴診器マイク(接触型マイクロフォン(skin-contact microphone))を術者に装着し、心拍音データを収集して記録する。また、検出部33の他の例として、ECGテレメータを術者に装着し、心電図を無線で収集して記録するように構成しても良い。
呼吸と心拍数との関係について、縦軸を心拍周期、横軸を時間軸とした図36及び図37を参照してさらに説明する。図36は通常の呼吸時の心拍周期を示しており、どの時間帯においても心拍周期が変化し、心拍周期がほぼ一定になる時間帯がない。図37は、呼吸を抑制したときの心拍周期を示しており、心拍数がほぼ一定になる時間帯(アンダーラインを付した部分)と、心拍周期がほぼ一定にならない時間帯とがある。
呼吸によって心拍数が変化することは良く知られている。どのような術者であっても、精密な操作をするときは呼吸を浅くしたり止めたり(呼吸を抑制)せざるを得ないと思われる。すなわち、呼吸を抑制した状態(図37でアンダーラインで示す状態)が長時間続く時間帯であれば、それは、精密な作業が行われていることの徴候と考えられる。呼吸を抑制すると心拍数がほぼ一定になる。
そこで、検出部33は、これまでの予め定められた時間(たとえば、過去10秒間)の術者の心拍数のばらつき(標準偏差)を検出する。重要度決定部27は、心拍数の標準偏差に応じてX線画像の重要度を推定する。これは術者がワイヤの緻密な操作をしているほど、X線画像の重要度が高いと推定されるからである。
(変形例)
第8の実施形態では、術者の生体情報として、術者が呼吸を抑制したか否かを検出した結果を用いた例を示した。しかし、X線透視下カテーテル術において、術者がワイヤを操作するとき、精密な精度操作が術者に要求されることから、術者が緊張状態となって、その影響が術者の生体情報に現れる。術者の緊張状態とその状態下で取得するX線画像の重要度とは関係している。したがって、緊張状態の影響が現れる術者の生体情報を検出した結果を、検出部33により検出される術者の生体情報とすることができる。緊張状態の影響が現れる術者の生体情報の一例として、術者の脳波、瞳孔径、まばたきの頻度、手のひらあるいは足底部の皮膚の発汗の程度、又は、皮膚温度を検出して、術者が緊張状態にあるか否かを検出した結果がある。なお、手のひらあるいは足底部の皮膚の発汗の程度を検出するのは、手のひら及び足底部には緊張状態になると、発汗する汗腺が多いことに拠る。
上記第8の実施形態の変形例について説明する。この変形例では、術者の生体情報として、術者の脳波を用いた例を示す。主な脳波の種類にはα波、β波及びθ波があり、脳波は緊張しているときに周波数が13Hz以上のβ波となり、リラックスしていくに応じて周波数が13Hzから下がったα波となる。したがって、術者の脳波を検出部33で検出し、検出した結果を、術者が緊張状態にあるか否かを判断する際の判断材料とすることができる。
検出部33を術者に装着して、術者の脳波を検出し、重要度決定部27は、術者の脳波を検出した結果に応じてX線画像の重要度を推定する。これは術者がたとえばワイヤを操作していて緊張状態にあるほど、その時取得したX線画像の重要度が高いと推定されるからである。
次に、術者の手のひらあるいは足底部の皮膚の発汗の程度を用いた他の変形例を示す。前述したように、術者が緊張状態にあるとき、術者の手のひらあるいは足底部の皮膚から発生する汗の量が多くなる。そこで、この発汗を検出する検出部33を術者に装着し、手のひら等から発生する発汗の程度を湿度又は電位として所定時間間隔で検出する。発汗の程度を検出する検出部33としては、たとえば、特開平7-143968号公報に開示されたものを用いる。
したがって、重要度決定部27は、検出部33が検出した結果に応じてX線画像の重要度を推定する。これは術者がたとえばワイヤを操作していて緊張状態にあるほど、X線画像の重要度が高いと推定されるからである。
以上の変形例では、術者の生体情報を検出する際に、術者に装着する検出部33を用いたが、術者に装着しない検出部33を用いた変形例を示す。この変形例では、術者の生体情報として、術者の瞳孔径を用いる。瞳孔径は、緊張状態にあるときの方がリラックスをしているときよりも大きいことが知られている。したがって、術者の瞳孔径の大きさに応じてX線画像の重要度を推定する。これは術者がたとえばワイヤを操作していて術者が緊張状態にあるほど、X線画像の重要度が高いと推定されるからである。
術者の瞳孔径を検出する検出部33としては、たとえば、特開平10-262953号公報に開示されたものを用いる。検出部33は、たとえば、ディスプレイ又はディスプレイの近傍に取り付けられたカメラを含む。そのカメラにより術者の顔画像を所定時間間隔で取得し、取得した術者の顔画像を画像処理して瞳孔の形を抽出する。抽出した瞳孔の形から瞳孔径を検出することができる。
重要度決定部27は、瞳孔径の大きさに応じてX線画像の重要度を推定する。これは術者がたとえばワイヤを操作していて緊張状態にあるほど、その時取得したX線画像の重要度が高いと推定されるからである。
次に、術者に装着しない検出部33を用いた他の変形例を示す。この変形例では、術者の生体情報として、術者のまばたきを用いる。一般的に、まばたきの頻度は、通常、1分間に15から20回(まばたきの周期としては3秒~4秒)である。まばたきの周期は、何かを集中して見る時に低下する。術者は、精密な作業が要求されるワイヤ操作においてディスプレイを注視するはずであるから、まばたきの周期が長くなると考えられる。
術者のまばたきを検出する検出部33としては、たとえば、特開2003-338952号公報に開示されたものを用いる。検出部33は、たとえば、ディスプレイ又はディスプレイの近傍に取り付けられたカメラを含む。検出部33により術者の目の領域を監視し続け、瞳の部分が小さくなったか否かにより、まばたきを検出する。検出部33は、まばたきの検出時から次のまばたきの検出時までの時間(まばたきの周期)を検出する。
したがって、重要度決定部27は、まばたきの周期に応じてX線画像の重要度を推定する。これはまばたきの周期が長く術者がディスプレイを注視しているほど、その時に取得したX線画像の重要度が高い推定されるからである。
〈第9の実施形態〉
この発明の他の実施形態について説明する。術者の作業状態として、術者の行動を検出する検出部33を用いた例を示す。ここで、術者の行動としては、医療現場における術者がスタッフと会話する頻度及び術者の動き量を含む。X線透視下カテーテル術において、術者がスタッフと会話する頻度が高い場合、又は、術者の動き量が多い場合、ワイヤの緻密な操作をしておらず、そのような時に取得したX線画像の重要度が低いと推定される。
先ず、会話の頻度を検出する検出部33としては、たとえば、特開2010-5326号公報に記載された接触型マイクロフォンを利用する。術者に装着したこのマイクロフォンを使って、音声としてではなく音の大きさ(デシベル(dB))を検出する。重要度決定部27は、たとえば過去3秒間の音の大きさの平均値が閾値を超えたら会話が行われたとみなし、過去20秒間中で会話が行われた時間の割合を求め、求めた会話の割合に応じてX線画像の重要度を推定する。なお、単に、たとえば過去3秒間の音の大きさの平均値に応じてX線画像の重要度を推定するようにしても良い。また、会話の頻度を検出する検出部33としては、接触型マイクロフォンに限らず、術者及びその周囲の音を収集するマイクロフォンでも良い。指向性を有するマイクロフォンを術者に向けて複数配置し、複数のマイクロフォンがともに音を収集した場合に、その収集された音が術者及びその周囲の音であるとし、術者が会話をしていると推定される。
さらに、会話の頻度を検出する検出部33としては、これらのマイクロフォンでなく、ECGテレメータであっても良い。すなわち、術者に装着されたECGテレメータを使って、心拍数の変動を検出し、心拍が非周期的となったら、不規則な呼吸が行われていて、会話が行われているとみなす。検出部33は、これまでの予め定められた時間(たとえば、過去20秒間)の術者の心拍周期の経時変化の周波数スペクトルを検出する。重要度決定部27は、通常の呼吸によって生じるスペクトル成分に応じてX線画像の重要度を推定する。これは会話の頻度が高く、術者がワイヤ操作をしておらず、その時に取得したX線画像の重要度が低いと推定されるからである。
次に、術者の動きを検出する検出部33として、前記した特開2010-5326号公報に記載された医療現場表示システムを用いた例を示す。このシステムを簡単に説明すると、医用現場内に撮影装置が設置され、医療現場をビデオ撮影する。また、術者を含むスタッフにはRFタグが装着され、スタッフの識別情報を発信する。医用現場内には受信装置が設けられている。それにより、医療現場を映像として記録するとともに、スタッフがだれであるかをその存在位置と共に識別し、記録した映像上で医用現場内のスタッフを識別表示することができる。このシステムを使うことで、術者がワイヤ操作を行うために、ディスプレイの画面の正面領域(画面が向けられている領域であって、画面から一定距離範囲内にある領域)内に入ったか否か、及び、その正面領域内で術者がどのように動いているかを時系列に沿って容易に検出することができる。
正面領域内における術者の動きの頻度を検出した結果に応じて重要度決定部27がX線画像の重要度を推定する。これは術者の動きの頻度が多いので、ワイヤ操作をしておらず、その時に取得したX線画像の重要度が低いと推定されるからである。
なお、術者が正面領域に入らない場合、及び、術者が正面領域から出た場合、重要度決定部27は、X線画像の重要度が低いと推定する。これは術者がディスプレイから大きく離れるため、その時に取得したX線画像の重要度が低いと推定されるからである。
次に、術者の動きを検出する検出部33として、たとえば、寝台又はX線架台の位置エンコーダを用いても良い。術者が寝台やX線架台(Cアームの角度など)を操作している場合、重要度決定部27は、X線画像の重要度を低く推定する。これは術者が寝台等を操作しているときに、ワイヤの操作を行っておらず、その時に取得したX線画像の重要度が低いと推定されるからである。
以上に、術者により操作されるワイヤの操作状態、術者の姿勢、術者の生体情報、又は、術者の行動のいずれか一つを検出し、術者の作業状態の検出結果として出力する検出部33、並びに、その検出結果に応じてX線画像の重要度を推定する重要度決定部27について説明した。
〈第10の実施形態〉
次に、複数の検出部33を装備したシステムについて説明する。この場合、複数の検出部33の出力を基に、X線画像の重要度を推定し、これらの重要度を総合して、X線画像の総合重要度を決定する必要がある。X線画像の総合重要度を決定する上で、たとえば、術者による器具(ワイヤ)の操作状態から推定されたX線画像の重要度は、たとえば、術者の姿勢、術者の生体情報、及び、術者の行動から推定されるX線画像の重要度に対して、優先的に扱うべきである。
このように、信用度の異なる情報(推定される重要度)を組み合わせる技術は公知で、たとえば、あいまい論理(fuzzy logic)を用いることができる。すなわち「X線画像の重要度」を表現する尺度をあいまい論理の論理値(membership function)として算出し、これに基づいて適正なX線量を決定する。
以上に複数の検出部33を装備したシステムにおいて、あいまい論理を用いて、複数の検出部33の出力結果から推定される重要度を総合してX線画像の総合重要度を決定する例を示したが、推定される重要度を各検出部33に応じて重み付けをし、重み付けた後の結果から総合重要度を決定するようにしても良い。
また、同じような作業をしていても、術者毎にその特徴が表れる。術者のその特徴は、検出部33の出力結果として表れるため、検出部33の検出結果に対する重みの組合せを術者毎に記憶する重み付け用データベースを設けても良い。重要度決定部27は、X線画像の総合重要度を決定する上で、複数の検出部33の検出結果に、術者に対応する重みの組合せを反映させる。
このX医用画像撮影装置の選出手段は、種類の異なる複数の作業状態を表したデータを基にX線画像の重要度をそれぞれ推定し、推定された各重要度を総合(組み合わせて、積算)することにより総合重要度を決定すれば良く、上記実施形態において説明した各重要度の組み合わせは、一例に過ぎない。
たとえば、第1の実施形態では、X線画像の取得時期を判断材料として、重要度決定部27が重要度を推定した。それは、X線画像を取得した経過時間が序盤であるX線画像の重要度を低くいと推定するものであるが、その推定が必ずしも正確であると限らず、序盤に取得したX線画像の重要度が高いことがある。そのことを術者が記憶しておれば、X線画像の取得時期を判断材料から外して、総合重要度を決定した方が、より正確な決定ができる。そこで、推定された各重要度を総合する(組み合わせる)際に、操作部32による指示を受けて、組み合わせる重要度を選択部26が選択するようにし、総合重要度の正確性を低下させるような重要度を選択しないようにしても良い。また、総合重要度の正確性を低下させるような重要度については、重要度決定部27が重要度を一定と推定しても良い。
前記実施形態では、医用画像撮影装置により撮影されたX線動画像の中から重要度の高い画像を選出し、サムネイルとして一覧表示させたが、これに限らない。他のモダリティ(たとえば、磁気共鳴診断装置または超音波診断装置等)により、被検体に関する動画像を撮影し、動画像の中から重要度の高い画像を選出し、選出された画像をサムネイルとして一覧表示するようにしても良い。このように医用画像診断装置一般に適用可能である。