JP7487566B2 - プログラム、画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、プログラム、画像処理装置及び画像処理方法に関する。

近年、放射線撮影により、短時間の連続撮影を行うことで生体における対象部位（検査および診断の対象となる部位）の動きを捉えた画像（動態画像という）を取得することが可能となっている。このような動態画像によれば、呼吸時の肺や横隔膜の動き、心臓の拡縮動作等の動きを確認することができる。
しかし、診断を行う場合に、動きのある画像だけではなく、静止画像によって診断の対象部位を確認したいという要望もある。

動態画像のように連続撮影によって得られた複数の画像から動画像が構成されている場合、被ばく量を抑えるために比較的低線量の放射線を照射して撮影が行われる。
このため、その中の１枚を抜き出しても、一般撮影で得られる静止画像よりもかなり画質の劣る画像しか得ることができない。
一方で、動態画像の撮影とは別に、静止画像を得るための一般撮影も行った場合には、被ばく量がその分増えてしまい、好ましくない。

この点、例えば特許文献１には、複数の画像から１枚の補正画像を生成する技術が開示されている。
特許文献１に記載の技術は、基準フレーム画像（特許文献１において「基準画像」）にそれ以外の画像を順次合成することで１枚の高画質な合成静止画像を生成することを目指すものである。
複数の画像を合成することで１枚の静止画像を得ることができれば、動態画像の撮影と一般撮影とを両方行う必要がなくなり、被ばく量を増やすことなく、動態画像と静止画像とを得ることができる。

特許文献１に記載の技術では、画像に含まれる複数領域ごとに基準フレーム画像からの画像移動量を導出し、画像移動量が大きい画像ほど小さな重み値となるように複数の部分領域毎に重み値を設定し、各画像に設定された重み値に応じてその他の画像を基準フレーム画像に順次合成する。
すなわち、画像の部分領域毎にフレーム間の画像移動量(相対移動量)を算出し、画像移動量が大きい場合には、合成の際の重み値を小さくし、画像移動量が小さい場合には、合成の際の重み値を大きくして位置合わせ処理を行い、この重み値に応じて画像の合成を行う。

特開２０１２－３５０３号公報

しかしながら、複数の画像から高画質な合成静止画像が得られるか否かは、画像移動量よりもむしろ位置合せの精度に依存する。
部位によっては、画像移動量が大きくても位置合せの精度が高いこともあり、逆に画像移動量が小さくても位置合せの精度が低いこともある。
このため、画像移動量に基づいて合成時の重みを決定すると、合成静止画像の画質の観点から適切な重み付けが行われず、高画質・高解像度の合成静止画像を得ることができない場合があるとの問題がある。

本発明の課題は、動態画像を構成する複数のフレーム画像を合成することで、高画質の静止画像を得ることのできるプログラム、画像処理装置及び画像処理方法を提供することである。

上記課題を解決するため、請求項１に記載の発明のプログラムは、
コンピューターに、
動態画像を構成する複数のフレーム画像のうちから選定された一の基準フレーム画像に対してその他のフレーム画像を位置合せする位置合せ機能と、
前記その他のフレーム画像についてそれぞれ画素毎に位置合わせの精度を算出する精度算出機能と、
前記基準フレーム画像と位置合せ後の前記その他のフレーム画像とを合成して一の合成静止画像を生成する画像合成機能と、
を実現させるものであり、
前記精度算出機能は、構造物の動きの種類に応じて位置合わせの精度を算出し、
前記画像合成機能は、前記精度算出機能によって算出された前記精度に応じて前記その他のフレーム画像間の各画素の合成比率を変える重み付けを行って前記合成静止画像を生成することを特徴とする。

また、請求項６に記載の画像処理装置は、
動態画像を構成する複数のフレーム画像のうちから選定された一の基準フレーム画像に対してその他のフレーム画像を位置合せする位置合せ処理部と、
前記その他のフレーム画像についてそれぞれ画素毎に位置合わせの精度を算出する精度算出部と、
前記基準フレーム画像と位置合せ後の前記その他のフレーム画像とを合成して一の合成静止画像を生成する画像合成部と、
を備え、
前記精度算出部は、構造物の動きの種類に応じて位置合わせの精度を算出し、
前記画像合成部は、前記精度算出部によって算出された前記精度に応じて前記その他のフレーム画像間の各画素の合成比率を変える重み付けを行って前記合成静止画像を生成することを特徴とする。

また、請求項７に記載の画像処理方法は、
動態画像を構成する複数のフレーム画像のうちから選定された一の基準フレーム画像に対してその他のフレーム画像を位置合せする位置合せ工程と、
前記その他のフレーム画像についてそれぞれ画素毎に位置合わせの精度を算出する精度算出工程と、
前記基準フレーム画像と位置合せ後の前記その他のフレーム画像とを合成して一の合成静止画像を生成する画像合成工程と、
を含み、
前記精度算出工程では、構造物の動きの種類に応じて位置合わせの精度を算出し、
前記画像合成工程では、前記精度算出工程において算出された前記精度に応じて前記その他のフレーム画像間の各画素の合成比率を変える重み付けを行って前記合成静止画像を生成することを特徴とする。

本発明によれば、動態画像を構成する複数のフレーム画像を合成することで、高画質の静止画像を得ることができる。

本実施形態における画像処理装置を含む医用画像システムのシステム構成を示す要部構成図である。 本実施形態における画像処理の手順を示すフローチャートである。 本実施形態における画像処理の手順を模式的に示す説明図である。 （ａ）及び（ｂ）は、基準フレーム画像とその他のフレーム画像との位置合せを説明する説明図であり、（ａ）は、心臓及び横隔膜を含む胸部の画像の例を示し、（ｂ）は、肩関節周りの画像の例を示している。 （ａ）から（ｆ）は、位置合せの精度の例を示した図であり、（ａ）は、最も位置合せの精度がいい場合の例であり、（ｆ）は、最も位置合せの精度が悪い場合の例である。 （ａ）から（ｃ）は、動態画像を構成する複数のフレーム画像から１枚の合成静止画像を生成することを模式的に示す図であり、（ａ）は、比較的品質のよい合成静止画像を生成することができる場合の例を示し、（ｃ）は、品質の悪い合成静止画像が生成される場合の例を示し、（ｂ）は、（ａ）、（ｃ）の中間的な品質の合成静止画像が生成される場合の例を示す説明図である。

以下、図１から図６を参照して、本発明にかかるプログラム、画像処理装置及び画像処理方法の一実施形態について説明する。
ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の技術的範囲を以下の実施形態及び図示例に限定するものではない。

本実施形態における画像処理装置は、医用画像システム内に設けられて、各種のモダリティーによって取得された画像（医用画像）のうち特に動態画像Ｄ（図３等参照）の解析・画像処理を行うものである。
図１は、本実施形態における医用画像システム１００の全体構成を示す図である。
図１に示すように、医用画像システム１００は、撮影装置１と、撮影用コンソール２とが通信ケーブル等により接続され、撮影用コンソール２と、診断用コンソール３とがＬＡＮ（Local Area Network）等の通信ネットワークＮＴを介して接続されて構成されている。医用画像システム１００を構成する各装置は、ＤＩＣＯＭ（Digital Image and Communications in Medicine）規格に準じており、各装置間の通信は、ＤＩＣＯＭに則って行われる。
後述するように、本実施形態では診断用コンソール３が画像処理装置として機能する。

〔撮影装置１の構成〕
撮影装置１は、例えば、呼吸運動に伴う肺の膨張及び収縮の形態変化、心臓の拍動等の、生体の動態を撮影する撮影手段である。
図１に示すように、撮影装置１は、放射線源１１、放射線照射制御装置１２、放射線検出部１３、読取制御装置１４を含んでいる。

ここで動態撮影とは、生体における対象部位（例えば胸部の肺野周辺や心臓等）を含む被写体を放射線撮影することにより画像を得るものであり、被写体に対し、Ｘ線等の放射線をパルス状にして所定時間間隔で繰り返し照射するか（パルス照射）、もしくは、低線量率にして途切れなく継続して照射する（連続照射）ことで、複数の画像を取得することをいう。動態撮影により得られた一連の画像を動態画像Ｄと呼ぶ。動態画像Ｄは、一撮影のデータが複数の画像で構成されており、動態画像Ｄを構成する画像をフレーム画像（図３においてフレーム画像ｄ１～ｄｎ）と呼ぶ。
なお、以下の実施形態では、パルス照射により動態撮影を行う場合を例にとり説明する。また、以下の実施形態では、診断の対象となる対象部位を胸部の肺野周辺（肺野や横隔膜）とした場合を例にとり説明するが、これに限定されるものではない。例えば、胸部であればこのほか心臓、肺血管、肋間筋、胸郭、胃部であれば腸類や食道等、その他例えば膝、肘、首、背骨等、様々な整形部位や各種組織等を対象部位としてもよい。

放射線源１１は、被写体Ｍを挟んで放射線検出部１３と対向する位置に配置され、放射線照射制御装置１２の制御に従って、被写体Ｍに対し放射線（Ｘ線）を照射する。
放射線照射制御装置１２は、撮影用コンソール２に接続されており、撮影用コンソール２から入力された放射線照射条件に基づいて放射線源１１を制御して放射線撮影を行う。撮影用コンソール２から入力される放射線照射条件は、例えば、パルスレート、パルス幅、パルス間隔、一撮影あたりの撮影フレーム数、Ｘ線管電流の値、Ｘ線管電圧の値、付加フィルター種等である。パルスレートは、１秒あたりの放射線照射回数であり、後述するフレームレートと一致している。パルス幅は、放射線照射１回当たりの放射線照射時間である。パルス間隔は、１回の放射線照射開始から次の放射線照射開始までの時間であり、後述するフレーム間隔と一致している。

放射線検出部１３は、ＦＰＤ等の半導体イメージセンサーにより構成される。ＦＰＤは、例えば、ガラス基板等を有しており、基板上の所定位置に、放射線源１１から照射されて少なくとも被写体Ｍを透過した放射線をその強度に応じて検出し、検出した放射線を電気信号に変換して蓄積する複数の検出素子（画素）がマトリックス状に配列されている。各画素は、例えばＴＦＴ（Thin Film Transistor）等のスイッチング部を備えて構成されている。ＦＰＤにはＸ線をシンチレーターを介して光電変換素子により電気信号に変換する間接変換型、Ｘ線を直接的に電気信号に変換する直接変換型があるが、何れを用いてもよい。本実施形態において、放射線検出部１３において生成される画像データの画素値（濃度値）は、放射線の透過量が多いほど高いものとする。
放射線検出部１３は、被写体Ｍを挟んで放射線源１１と対向するように設けられている。

読取制御装置１４は、撮影用コンソール２に接続されている。読取制御装置１４は、撮影用コンソール２から入力された画像読取条件に基づいて放射線検出部１３の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、放射線検出部１３に蓄積された電気信号を読み取ることにより、画像データを取得する。この画像データがフレーム画像ｄ１～ｄｎである。そして、読取制御装置１４は、取得したフレーム画像を撮影用コンソール２に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ（マトリックスサイズ）等である。フレームレートは、１秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、１回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致している。

ここで、放射線照射制御装置１２と読取制御装置１４は互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。

〔撮影用コンソール２の構成〕
撮影用コンソール２は、放射線照射条件や画像読取条件を撮影装置１に出力して撮影装置１による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置１により取得された動態画像を撮影技師等の撮影実施者によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
撮影用コンソール２は、図１に示すように、制御部２１、記憶部２２、操作部２３、表示部２４、通信部２５を備えて構成され、各部はバス２６により接続されている。

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等により構成される。制御部２１のＣＰＵは、操作部２３の操作に応じて、記憶部２２に記憶されているシステムプログラムや各種処理プログラムを読み出してＲＡＭ内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影用コンソール２各部の動作や、撮影装置１の放射線照射動作及び読み取り動作を集中制御する。

記憶部２２は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部２２は、制御部２１で実行される各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。例えば、記憶部２２は、図２に示す撮影制御処理を実行するためのプログラムを記憶している。また、記憶部２２は、撮影部位に対応付けて放射線照射条件及び画像読取条件を記憶している。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部２１は、当該プログラムコードに従った動作を逐次実行する。

操作部２３は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部２１に出力する。また、操作部２３は、表示部２４の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部２１に出力する。

表示部２４は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等のモニターにより構成され、制御部２１から入力される表示信号の指示に従って、操作部２３からの入力指示やデータ等を表示する。

通信部２５は、ＬＡＮアダプターやモデムやＴＡ（Terminal Adapter）等を備え、通信ネットワークＮＴに接続された各装置との間のデータ送受信を制御する。

〔診断用コンソール３の構成〕
診断用コンソール３は、撮影用コンソール２から動態画像Ｄを取得し、取得した動態画像Ｄについて画像処理を行い、処理結果としての画像や各種のデータを生成し、生成した処理結果を表示して医師の診断を支援する情報を提供する画像処理装置である。
診断用コンソール３は、図１に示すように、制御部３１、記憶部３２、操作部３３、表示部３４、通信部３５を備えて構成され、各部はバス３６により接続されている。

制御部３１は、ＣＰＵ、ＲＡＭ等により構成される。制御部３１のＣＰＵは、操作部３３の操作に応じて、記憶部３２に記憶されているシステムプログラムや、各種処理プログラムを読み出してＲＡＭ内に展開し、展開されたプログラムに従って、後述する画像処理を始めとする各種処理を実行し、診断用コンソール３各部の動作を集中制御する。

本実施形態の制御部３１は、後述するように、動態画像Ｄを構成する複数のフレーム画像ｄ１～ｄｎのうちから選定された一の基準フレーム画像ｄｈに対してその他のフレーム画像ｄｂを位置合せする位置合せ処理部として機能する。
また制御部３１は、位置合せ後にその他のフレーム画像ｄｆについてそれぞれ画素毎に位置合わせの精度を算出する精度算出部として機能する。
また制御部３１は、基準フレーム画像ｄｈと位置合せ後のその他のフレーム画像ｄｆとを合成して一の合成静止画像ｄｓを生成する画像合成部として機能する。本実施形態において、画像合成部としての制御部３１は、精度算出部として算出した精度に応じてその他のフレーム画像ｄｆ間の各画素の合成比率を変える重み付けを行う。
また制御部３１は、精度算出部として算出した精度に基づいて、複数のフレーム画像ｄ１～ｄｎから合成静止画像ｄｓを生成可能であるか否かを判定する判定部としても機能する。
判定部としての制御部３１は、複数のフレーム画像ｄ１～ｄｎを合成することで得られる合成静止画像ｄｓの品質が所定水準以下となると判断される場合に、合成静止画像ｄｓを生成することが不可能であると判定する。

さらに制御部３１は、表示部３４の表示を制御する表示制御部としても機能する。表示制御部としての制御部３１は、合成静止画像ｄｓが生成されるとこの合成静止画像ｄｓを表示部３４に表示させる。
本実施形態では、表示制御部としての制御部３１は、合成静止画像ｄｓを表示させるとともに、合成静止画像ｄｓの品質を示す数値（以下、「品質値」という。）を表示させてもよい。これによりユーザーが合成静止画像ｄｓの品質を客観的に判断することができる。
なお、制御部３１の上記各機能については、後に詳述する。

記憶部３２は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部３２は、制御部３１で画像解析処理等を実行するためのプログラムを始めとする各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部３１は、当該プログラムコードに従った動作を逐次実行する。
また記憶部３２には、過去に取得された動態画像Ｄや動態画像Ｄに各種の画像処理を行うことによって得られる各種データが格納される。なお、動態画像Ｄや動態画像Ｄを画像処理することで得られる各種データは、診断用コンソール３内の記憶部３２に記憶されている場合に限定されない。例えば診断用コンソール３の外部に設けられた記憶部やサーバー等に記憶されていてもよい。

操作部３３は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部３１に出力する。また、操作部３３は、表示部３４の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部３１に出力する。

表示部３４は、ＬＣＤやＣＲＴ等のモニターにより構成され、制御部３１から入力される表示信号の指示に従って、各種表示を行う。
本実施形態の表示部３４は、合成静止画像ｄｓや合成静止画像ｄｓの品質値を表示させることが可能となっている。
また、本実施形態の表示部３４は、判定部としての制御部３１が、合成静止画像ｄｓを生成することが不可能であると判定した場合に、その旨をユーザーに報知する報知部としても機能する。この場合表示部３４は、例えば「この動態画像からは合成静止画像を作成することができません。」等のエラーメッセージを表示させる。
なお、表示部３４における具体的な表示については、後に詳述する。

通信部３５は、ＬＡＮアダプターやモデムやＴＡ等を備え、通信ネットワークＮＴに接続された各装置との間のデータ送受信を制御する。

〔画像処理装置としての診断用コンソールの動作〕
次に、上記画像処理装置としての診断用コンソール３の動作について説明する。

まず前提として、動態画像を取得するための撮影装置１、撮影用コンソール２による撮影動作について説明する。

撮影を行う際には、まず撮影実施者により撮影用コンソール２の操作部２３が操作され、被検者（被写体Ｍ）の患者情報（患者の氏名、身長、体重、年齢、性別等）や検査情報等の入力が行われる。
検査情報としては、例えば、撮影対象となる対象部位（例えば肺野や横隔膜等）や、対象部位の動作・組織変化の種類・方法（拡縮動作なのか、上下動なのか等）、撮影時のポジショニング（正面、側面等）、撮影時の撮影条件（管電圧、照射角度、撮影時間等）である。
次に、放射線照射条件が記憶部２２から読み出されて放射線照射制御装置１２に設定されるとともに、画像読取条件が記憶部２２から読み出されて読取制御装置１４に設定され、操作部２３の操作による放射線照射の指示が待機される状態となる。
ここで、撮影実施者は、被写体Ｍを放射線源１１と放射線検出部１３の間に配置してポジショニングを行う。

また、例えば肺野の拡縮動作や横隔膜の上下動を動態画像Ｄとしてとらえる場合には、呼吸状態下で撮影を行うため、被検者（被写体Ｍ）に楽にするように指示し、安静呼吸を促す。撮影準備が整った時点で、操作部２３を操作して放射線照射指示を入力する。撮影においては、さらに自動の音声案内によって息を吸うタイミング、息を止めるタイミング、息を吐くタイミングの誘導を行ってもよい。

操作部２３により放射線照射指示が入力されると、放射線照射制御装置１２及び読取制御装置１４に撮影開始指示が出力され、動態撮影が開始される。即ち、放射線照射制御装置１２に設定されたパルス間隔で放射線源１１により放射線が照射され、放射線検出部１３によりフレーム画像ｄ１～ｄｎが取得される。

次に、本実施形態における動態画像Ｄから合成静止画像ｄｓを生成する画像処理方法について図２、図３等を参照しつつ説明する。
図２は、画像処理方法を示すフローチャートであり、図３は、動態画像Ｄから合成静止画像ｄｓを生成する主要な処理の流れを模式的に示した説明図である。
撮影装置１により動態画像Ｄが撮影されると、動態画像Ｄを構成するフレーム画像ｄ１～ｄｎが順次撮影用コンソール２に入力され、撮影順を示す番号（フレーム番号）と対応付けられる。
そして、通信部３５を介して撮影用コンソール２から動態画像Ｄの一連のフレーム画像ｄ１～ｄｎが診断用コンソール３において受信される。これによって動態画像Ｄ（第１の動態画像）が診断用コンソール３に取得され（ステップＳ１）、制御部３１と記憶部３２に記憶されているプログラムとの協働により図２に示す画像処理が実行される。

具体的にはまず、取得した動態画像Ｄを構成する複数のフレーム画像ｄ１～ｄｎの中から一の基準フレーム画像ｄｈを選択する（ステップＳ２）。
基準フレーム画像ｄｈを選択する手法は特に限定されない。ユーザーが任意に一の基準フレーム画像ｄｈを選択してもよいし、画像処理装置である診断用コンソールの制御部３１が自動的に一の基準フレーム画像ｄｈを選択してもよい。

制御部３１が自動的に選択する場合には、例えば以下の手法による。
すなわち、例えばモデル画像を記憶部３２等に記憶させておき、複数のフレーム画像ｄ１～ｄｎのうち、モデル画像との差異が最も小さいものを基準フレーム画像ｄｈとして選択する。
モデル画像とは、合成静止画像ｄｓのモデルとなる静止画像であり、例えば静止画診断に用いる合成静止画像ｄｓを生成する場合であれば、例えば被写体が所定の状態（例えば、胸部であれば最大吸気位又は最大呼気位等）となっている画像をモデル画像として用いることができる。また、比較読影に用いる合成静止画像ｄｓを生成する場合であれば、例えば過去に同一患者の同一部位を撮影した静止画像（または同一患者の同一部位を過去に撮影した動態画像から生成した合成静止画像）をモデル画像として用いてもよい。

モデル画像と各フレーム画像ｄ１～ｄｎとの差異を求める手法は特に限定されないが、例えば、取得した動態画像Ｄを構成する複数のフレーム画像ｄ１～ｄｎをそれぞれ解析して、モデル画像との二乗誤差を算出し、各フレーム画像ｄ１～ｄｎから算出した二乗誤差が最小であるフレーム画像を基準フレーム画像ｄｈとして自動的に決定する。また、取得した動態画像Ｄを構成する複数のフレーム画像ｄ１～ｄｎをそれぞれ解析して、モデル画像との相関係数を算出し、各フレーム画像ｄ１～ｄｎから算出した相関係数が最大であるフレーム画像を基準フレーム画像ｄｈとして自動的に決定してもよい。

基準フレーム画像ｄｈが決定されたら、位置合せ処理部としての制御部３１が、基準フレーム画像ｄｈに対して、その他のフレーム画像ｄｂの位置合せ（レジストレーション）を行う（ステップＳ３）。
基準フレーム画像ｄｈに対する、その他のフレーム画像ｄｂの位置合せ（レジストレーション）とは、基準フレーム画像ｄｈと、位置合せを行いたい一の画像（その他のフレーム画像ｄｂの中の１枚）の２つの画像を用意して、位置合せしたいフレーム画像ｄｂを基準フレーム画像ｄｈに近づけるように、当該フレーム画像ｄｂに対して平行移動・回転・伸縮等の変形処理を行うことをいう。

その他のフレーム画像ｄｂ（図３において基準フレーム画像ｄｈからの白い下向き矢印よりも左側を位置合せ前のフレーム画像ｄｂとする。）の位置合せ（レジストレーション）を行うと、制御部３１は、位置合せ後の各フレーム画像ｄｆ（図３において基準フレーム画像ｄｈからの白い下向き矢印よりも右側を位置合せ後のフレーム画像ｄｆとする。）ごとに、その位置合せの精度を算出する。
本実施形態では、基準フレーム画像ｄｈと、位置合わせ後のフレーム画像ｄｆとの差分を各画素ごとに求めることにより位置合せの精度を算出する。なお、位置合わせ精度の算出手法はこれに限定されない。例えば、位置合わせ精度の他の算出手法として、相互相関係数等により算出してもよい。

複数のフレーム画像ｄ１～ｄｎを合成することによって高画質な合成静止画像ｄｓを得ることができるか否かは、位置合せの精度に依存する。
例えば図４（ａ）に示すような、胸部を含む部位を撮影した動態画像Ｄの場合、画像に含まれる心臓等の構造物Ｓａ１は、単純な平行移動だけではなく、回転や伸縮等の変形を伴う動きをする。このため、基準フレーム画像ｄｈに対する位置合わせ後のフレーム画像ｄｆの画像移動量が小さくても位置合せの精度が低下する可能性が高く位置合せが難しい。
これに対して、横隔膜等の構造物Ｓａ２は、基本的に上下の平行移動等の単純な動きをする。このため、基準フレーム画像ｄｈに対する位置合わせ後のフレーム画像ｄｆの画像移動量が大きくても位置合せの精度は比較的高くなる可能性がある。
このため、位置合せ後のフレーム画像ｄｆにおいて、構造物Ｓａ１の領域の画素の位置合わせ精度は低く、構造物Ｓａ２の領域の画素の位置合わせ精度は高く算出される。

また、図４（ｂ）に示すような、肩の関節部分等の整形部位について腕を捻るような動きを撮影した動態画像Ｄの場合、画像に含まれる肩関節等の構造物Ｓａ３（図４（ｂ）において丸枠で示す）は、捻ることによる三次元的な回転により、捻る前後で骨の見え方が大きく異なる。このため、基準フレーム画像ｄｈに対する位置合わせ後のフレーム画像ｄｆの画像移動量自体は小さくとも、位置合せの精度が低くなる可能性が高い。
このため、位置合せ後のフレーム画像ｄｆにおいて、構造物Ｓａ３の領域の画素の位置合わせ精度は低く算出される。

精度算出部としての制御部３１は、位置合せ後の各フレーム画像ｄｆについて画素毎に位置合せの精度（差分）を算出すると、さらにフレーム画像ｄｆ全体について位置合せの精度（差分）を算出する。
図５（ａ）～図５（ｆ）は、胸部を撮影した動態画像における基準フレーム画像と位置合わせ後のフレーム画像との位置合せの精度（差分）を可視化した画像（差分画像）の例を挙げたものである。
図５（ａ）～図５（ｆ）に示す差分画像ｗ（ｗａ～ｗｆ）において、基準フレーム画像ｄｈと位置合わせ後のフレーム画像ｄｆとの位置合せの精度が低い（差分が大きい）画素ほど白く表現され、位置合せの精度が高い（差分が小さい）画素ほど黒く表現されている。

図５（ａ）に示す差分画像ｗａは、はっきりと白で表現される位置合せの精度が低い（差分が大きい）画素部分がなく、位置合せの精度が高いフレーム画像ｄｆの場合の例である。
これに対して、図５（ｂ）～図５（ｆ）に示す差分画像ｗｂ～ｗｆは、はっきりと白で表現される部分があり、特に図５（ｆ）に示す差分画像ｗｆは最も白で表現される位置合せの精度が低い（差分が大きい）画素部分が多い。このような差分画像ｗｆは位置合せの精度が低いフレーム画像ｄｆの場合の例である。
図５（ｃ）～図５（ｅ）に示す差分画像ｗｂ～ｗｅでは、図４（ａ）において示した構造物Ｓａ１（例えば心臓）やその周辺の画素において特に位置合せの精度が低くなっている。

位置合せ後の各フレーム画像ｄｆについて画素毎に位置合せの精度（差分）が算出されると、次に、制御部３１が各画素の位置合せの精度に基づいて、当該動態画像Ｄを構成するすべてのフレーム画像ｄｆと基準フレーム画像ｄｈとを合成することで生成される合成静止画像ｄｓの品質値を算出する（ステップＳ４）。
合成静止画像ｄｓの品質値は、例えば各画素の位置合わせ精度の平均値p（i）を算出し、これに基づいて決定される。

各画素の位置合わせ精度の平均値p（i）は下記の式（１）により算出される。
なお、式（１）において、「i」はフレーム画像ｄｆを構成している画素の番号であり、「N」は合成されるフレーム画像ｄｆの数(基準フレーム画像ｄｈを除く)であり、「RegAcc（k,i）」は、k番目のフレーム画像ｄｆにおける位置合わせの精度を意味する。

そして、合成静止画像ｄｓの品質値は、こうして算出された位置合わせ精度の平均値p（i）が所定の閾値ＴＨを超えている割合Ｒに基づいて決定される。ここで、閾値ＴＨとしては、この値以下であれば画像を合成した場合に十分な画質を担保できるような値を適宜事前に設定しておく。
なお、所定の閾値ＴＨを超えるp（i）の割合Ｒが大きいほど位置合わせの精度が低いため、品質値にはその逆数(＝１．０－Ｒ)がとられる。
例えば図５（ａ）や図５（ｂ）に示すような比較的位置合せの精度の高いフレーム画像ｄｆから合成される合成静止画像ｄｓは、所定の閾値ＴＨを超えるp（i）の割合Ｒが小さく、例えば所定の閾値ＴＨを超えるp（i）の割合Ｒが１０％であれば、品質値は９０％となる。
逆に、図５（ｅ）や図５（ｆ）に示すような位置合せの精度の低いフレーム画像ｄｆから合成される合成静止画像ｄｓでは、所定の閾値ＴＨを超えるp（i）の割合Ｒが大きく、例えば所定の閾値ＴＨを超えるp（i）の割合Ｒが８０％であれば、品質値は２０％となる。

合成静止画像ｄｓの品質値が算出されると、判定部としての制御部３１は、当該動態画像を構成する複数のフレーム画像（基準フレーム画像ｄｈと位置合せ後のその他のフレーム画像ｄｆ）を合成することで合成静止画像ｄｓを生成可能であるか否かを判定する（ステップＳ５）。
具体的には、合成静止画像ｄｓの生成の可否の判断において、判定部としての制御部３１は、合成静止画像ｄｓの品質値が所定水準を上回るか否かを判断する。
所定の水準をどの程度とするかは適宜設定されるが、例えば、合成静止画像ｄｓの品質値が３０％を上回れば合成静止画像ｄｓの生成が可能であると判断し、３０％以下であれば合成静止画像ｄｓの生成が不可能であると判断する。

図６（ａ）～図６（ｃ）は、動態画像Ｄを構成するすべてのフレーム画像ｄｆと基準フレーム画像ｄｈの例を左側に、これらを合成することで得られる合成静止画像ｄｓの例を右側に示したものである。
例えば、図６（ａ）は、比較的位置合せの精度の高いフレーム画像ｄｆから合成される合成静止画像ｄｓの例を模式的に示しており、例えば合成静止画像ｄｓの品質値９０％等が算出される。
これに対して図６（ｂ）は、位置合せの精度が５０～６０％のフレーム画像ｄｆから合成される合成静止画像ｄｓの例を模式的に示しており、例えば合成静止画像ｄｓの品質値４０～５０％等が算出される。
さらに、図６（ｃ）は、位置合せの精度の低いフレーム画像ｄｆから合成される合成静止画像ｄｓの例を模式的に示しており、例えば合成静止画像ｄｓの品質値２０～３０％等が算出される。
前述のように、例えば所定の水準を合成静止画像ｄｓの品質値が３０％以下であれば合成静止画像ｄｓの生成が不可能であると設定した場合には、図６（ａ）及び図６（ｂ）に示す例では、合成静止画像ｄｓの生成が可能であり、図６（ｃ）に示す例では、合成静止画像ｄｓの生成が不可能であると判断される。

合成静止画像ｄｓの品質値が所定水準以下となる要因としては、例えば、図４（ａ）に示した構造物Ｓａ１や図４（ｂ）に示した構造物Ｓａ３のように、構造物の性質上、動きが複雑であったり不規則であったりするために位置合せが難しい部位を含んでいる場合の他、超低線量撮影であるために解剖学的構造のコントラストが描出されていない場合や、ノイズが多すぎる場合、あまりにも体動が大き過ぎる場合等、位置合せ（レジストレーション）の精度が全体的に悪くなりすぎる場合が考えられる。
このように合成静止画像ｄｓの品質値が所定水準以下である場合には、この状態で合成静止画像ｄｓを作成しようとしても、ボケ過ぎて画質の低下を招き、診断に用いることができないか、逆に誤診を招く合成静止画像ｄｓが生成されてしまうおそれがある。このため、無理に合成静止画像ｄｓを作成しても診断に用いることができず、無駄な処理となってしまう。

このため、本実施形態では、判定部としての制御部３１が合成静止画像ｄｓを作成することができないと判断する場合（ステップＳ５；ＮＯ）には、表示制御部としての制御部３１が報知手段としての表示部３４を制御してその旨をユーザーの報知する表示を行い（ステップＳ６）、処理を終了する。
なお、報知手段は表示部３４に限定されない。例えば、図示しないインジケーターやランプの点滅等によって報知してもよいし、スピーカを備える場合には、音声やアラーム等により報知してもよい。

他方、合成静止画像ｄｓを作成することができると判定された場合（ステップＳ５；ＹＥＳ）には、画像合成部としての制御部３１が、位置合せの精度に基づいて、位置合せ後のその他（すなわち基準フレーム画像ｄｈ以外の）の各フレーム画像ｄｆ間の各画素の合成比率を変える重み付けを行う（ステップＳ７）。すなわち、精度算出部としての制御部３１によって算出された位置合せの精度に応じて合成重み（各フレーム画像の各画素に対する重み係数）を算出する。
そして、算出された合成重みにしたがって、画像合成部としての制御部３１が、すべてのフレーム画像ｄ１～ｄｎ（すなわち、基準フレーム画像ｄｈと位置合せ後のその他の各フレーム画像ｄｆ）を合成し、高画質な１枚の合成静止画像ｄｓ（図３の右端に示す合成静止画像ｄｓ）を生成する（ステップＳ８）。

ここで合成重みとは、合成静止画像ｄｓを作成する際に、各フレーム画像の各画素の信号値をどのくらいの比率で採用して、合成するかを決めるためのものである。位置合せ後のフレーム画像ｄｆの各画素の信号値にそれぞれ合成重みを設定することで、位置合せの精度が高いとされた画素の信号値がより大きな比率で合成静止画像ｄｓに採用、反映される。
例えば合成重みが０．１である画素の信号値はあまり採用されず、０．８等の合成重みがかかっている画素の信号値は画像を合成する際に大きく採用されるとすることで、合成静止画像ｄｓ全体を、位置合せの精度の高い画素の信号値が多く採用されたものとすることができ、より高画質・高解像度の画像とすることができる。

具体的には、下記の式（２）により合成静止画像ｄｓを生成する。
なお、式（２）において、「i」は、画素の番号であり、「N」は、合成されるフレーム画像ｄｆの数（基準フレーム画像ｄｈを除く全フレーム画像ｄｆ）であり、「ｇ（i）」は、合成後の合成静止画像ｄｓであり、「ｈ（i）」は、基準フレーム画像ｄｈであり、「ｗ（k,i）」は、合成重みであり、「ｆ（k,i）」は、k番目の位置合せ後のフレーム画像ｄｆであり、「RegAcc（k,i）」は、k番目のフレーム画像ｄｆにおける位置合わせの精度を意味する。なお、ここに示す例では、「RegAcc（k,i）」が大きいほど精度が悪いものとする。

式（２）において、合成重みを意味する「ｗ（k,i）」は、下記の式（３）により表すことができる。

合成静止画像ｄｓが生成されると、表示制御部としての制御部３１が、表示部３４を制御して合成静止画像ｄｓを表示させる。
また、本実施形態では、制御部３１は、合成静止画像ｄｓとともに、合成静止画像ｄｓの品質を示す数値である品質値（例えば品質値９０％、品質値６０％等）を表示部３４に表示させる（ステップＳ９）。

これにより、動態画像Ｄを取得することで、動態撮影とは別に静止画像を得るための一般撮影を行うことなく、診断に役立つ合成静止画像ｄｓを得ることができ、これを表示部３４に表示させることができる。
また合成静止画像ｄｓの品質値も画像とともに表示させることで合成静止画像ｄｓの信用性に関わる情報を医師等のユーザーに提供することができる。

以上説明したように、本実施形態におけるプログラムは、コンピューター（本実施形態では診断用コンソール３の制御部３１等で構成されるコンピューター）に、動態画像Ｄを構成する複数のフレーム画像ｄ１～ｄｎのうちから選定された一の基準フレーム画像ｄｈに対してその他のフレーム画像ｄｂを位置合せする位置合せ機能と、基準フレーム画像ｄｈ以外のその他のフレーム画像ｄｆについてそれぞれ画素毎に位置合わせの精度を算出する精度算出機能と、基準フレーム画像ｄｈと位置合せ後のその他のフレーム画像ｄｆとを合成して一の合成静止画像ｄｓを生成する画像合成機能と、を実現させるものであり、画像合成機能は、精度算出機能によって算出された精度に応じてその他のフレーム画像ｄｆ間の各画素の合成比率を変える重み付けを行って合成静止画像ｄｓを生成する。
これにより、動態画像Ｄを取得するだけで静止画像を得ることができ、動きのある画像と静止画像との両方によって診断を行うことができる。
動態画像Ｄは、比較的低線量の放射線を照射することで取得されるため、各フレーム画像ｄ１～ｄｎのノイズが多くなる場合が多い。また動態画像Ｄは、複数のフレーム画像ｄ１～ｄｎで構成されており、各フレーム画像を静止画像と同等の解像度とすると全体としてのデータ量が重くなり過ぎて処理する際の負荷が過大となるため、あえて解像度が低く設定されている場合も多い。この点、複数のフレーム画像ｄ１～ｄｎを合成することによって合成静止画像ｄｓを生成することで、解像度の向上やノイズの除去、粒状性の改善等を図ることができ、場合によっては初めから静止画像として取得された画像よりも高画質、高解像度の合成静止画像ｄｓを取得することができる。
また、このように動態画像Ｄから合成静止画像ｄｓを生成することで、別途静止画像を得るための撮影を行う必要がなく、患者の被ばく量を最低限に抑えることができる。

複数の画像を合成することで高画質、高解像度の画像を得られるか否かは、位置合せの精度に依存するところが大きい。例えばその場で拡縮を繰り返す心臓や、三次元的な回転運動をする関節部分等は、構造物の移動量自体は小さいが、形状の変化を伴うために位置合せの精度が低下しやすい。一方で横隔膜等のように基本的な動きが上下の平行移動等である場合には、画像移動量が大きくても位置合せの精度は高くなる可能性がある。
本実施形態では、こうした位置合せの精度の重要性に着目して、複数の画像を合成する際の重み付け（合成重み）を決定するため、高画質・高解像度な合成静止画像ｄｓを生成することが可能となる。
このため、動態画像Ｄを構成する複数のフレーム画像ｄ１～ｄｎから、診断に役立つ優れた合成静止画像ｄｓを得ることができる。

また本実施形態では、コンピューターに、合成静止画像ｄｓを表示部３４に表示させる表示機能をさらに実現させることを特徴とする。
これにより、医師等のユーザーは合成静止画像ｄｓを表示部で確認することができ、診断に役立てることができる。

また本実施形態では、表示機能は、合成静止画像ｄｓを表示させるとともに、合成静止画像ｄｓの品質を示す数値を表示部３４に表示させることを特徴とする。
これにより、合成静止画像ｄｓの画質等がどの程度信頼できるものであるかを数値的・客観的に知ることができ、正しい診断を行うことができる。

また本実施形態では、コンピューターに、精度算出機能によって算出された精度に基づいて複数のフレーム画像ｄ１～ｄｎから合成静止画像ｄｓを生成可能であるか否かを判定する判定機能と、判定機能によって合成静止画像ｄｓを生成することが不可能であると判定された場合に、その旨をユーザーに報知する報知機能と、をさらに実現させる。
このため、報知部（本実施形態では表示部３４）による報知（例えばエラーメッセージの表示等）により、合成静止画像ｄｓを生成できないことを知ることができ、無駄な処理が進められるのを防止して、改めて静止画像の撮影を行う等、適切な対応を行うことができる。

また本実施形態では、判定機能は、複数のフレーム画像ｄ１～ｄｎを合成することで得られる合成静止画像ｄｓの品質が所定水準以下となると判断される場合に、合成静止画像ｄｓを生成することが不可能であると判定する。
これにより、診断に供することができないような所定水準以下の品質の合成静止画像ｄｓが生成されるのを防いで、改めて静止画像の撮影を行う等、適切な対応を行うことができる。

なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。

例えば、本実施形態では、医用画像システム１００内の診断用のコンソール３が画像処理装置として機能する場合を例示したが、画像処理装置はこれに限定されない。例えば医用画像システム１００外に、独立したワークステーションが設けられ、各種ネットワーク等を介して医用画像システム１００から動態画像Ｄを取得する構成としてもよい。

また例えば、所定の閾値ＴＨや、合成静止画像ｄｓの品質が所定水準以下であるか否かを判断する際の閾値は、１つである場合に限定されない。
例えば所定の閾値ＴＨや、合成静止画像ｄｓの品質が所定水準以下であるか否かを判断する際の閾値を複数有し、合成静止画像ｄｓの用途や、撮影対象となっている部位の特色に応じて、より厳密な高水準を要求される場合と、多少低い水準でもとりあえず静止画像を合成したい場合等によって閾値を使い分けてもよい。
閾値の使い分けを行う場合には、ユーザーが任意に所望の閾値を設定してもよいし、撮影部位の種類等に応じて、制御部３１が自動的に適切な閾値を設定するようにしてもよい。

その他、画像処理装置（本実施形態では診断用コンソール３）を構成する各部の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

１００ 医用画像システム
１ 撮影装置
１１ 放射線源
１２ 放射線照射制御装置
１３ 放射線検出部
１４ 読取制御装置
２ 撮影用コンソール
２１ 制御部
２２ 記憶部
２３ 操作部
２４ 表示部
２５ 通信部
２６ バス
３ 診断用コンソール
３１ 制御部
３２ 記憶部
３３ 操作部
３４ 表示部
３５ 通信部
３６ バス

Claims (11)

1. コンピューターに、
   動態画像を構成する複数のフレーム画像のうちから選定された一の基準フレーム画像に対してその他のフレーム画像を位置合せする位置合せ機能と、
   前記その他のフレーム画像についてそれぞれ画素毎に位置合わせの精度を算出する精度算出機能と、
   前記基準フレーム画像と位置合せ後の前記その他のフレーム画像とを合成して一の合成静止画像を生成する画像合成機能と、
   を実現させるものであり、
   前記精度算出機能は、構造物の動きの種類に応じて位置合わせの精度を算出し、
   前記画像合成機能は、前記精度算出機能によって算出された前記精度に応じて前記その他のフレーム画像間の各画素の合成比率を変える重み付けを行って前記合成静止画像を生成することを特徴とするプログラム。
2. 前記精度算出機能は、前記構造物の動きの種類が平面的な平行移動の場合には、位置合わせの精度を高く算出し、前記構造物の動きの種類が回転や伸縮といった形状の変化を伴う動きの場合には、位置合わせの精度を低く算出することを特徴とする請求項１に記載のプログラム。
3. コンピューターに、
   前記合成静止画像を表示させる表示機能をさらに実現させることを特徴とする請求項１又は請求項２に記載のプログラム。
4. 前記表示機能は、前記合成静止画像を表示させるとともに、前記合成静止画像の品質を示す数値を表示させることを特徴とする請求項３に記載のプログラム。
5. 前記表示機能は、前記合成静止画像の品質を示す数値を前記合成静止画像とともに表示させることを特徴とする請求項４に記載のプログラム。
6. コンピューターに、
   前記精度算出機能によって算出された前記精度に基づいて前記複数のフレーム画像から前記合成静止画像を生成可能であるか否かを判定する判定機能と、
   前記判定機能によって前記合成静止画像を生成することが不可能であると判定された場合に、その旨をユーザーに報知する報知機能と、
   をさらに実現させることを特徴とする請求項１から請求項５のいずれか一項に記載のプログラム。
7. 前記判定機能は、前記複数のフレーム画像を合成することで得られる前記合成静止画像の品質が所定水準以下となると判断される場合に、前記合成静止画像を生成することが不可能であると判定することを特徴とする請求項６に記載のプログラム。
8. 動態画像を構成する複数のフレーム画像のうちから選定された一の基準フレーム画像に対してその他のフレーム画像を位置合せする位置合せ処理部と、
   前記その他のフレーム画像についてそれぞれ画素毎に位置合わせの精度を算出する精度算出部と、
   前記基準フレーム画像と位置合せ後の前記その他のフレーム画像とを合成して一の合成静止画像を生成する画像合成部と、
   を備え、
   前記精度算出部は、構造物の動きの種類に応じて位置合わせの精度を算出し、
   前記画像合成部は、前記精度算出部によって算出された前記精度に応じて前記その他のフレーム画像間の各画素の合成比率を変える重み付けを行って前記合成静止画像を生成することを特徴とする画像処理装置。
9. 前記精度算出部は、前記構造物の動きの種類が平面的な平行移動の場合には、位置合わせの精度を高く算出し、前記構造物の動きの種類が回転や伸縮といった形状の変化を伴う動きの場合には、位置合わせの精度を低く算出することを特徴とする請求項８に記載の画像処理装置。
10. 動態画像を構成する複数のフレーム画像のうちから選定された一の基準フレーム画像に対してその他のフレーム画像を位置合せする位置合せ工程と、
    前記その他のフレーム画像についてそれぞれ画素毎に位置合わせの精度を算出する精度算出工程と、
    前記基準フレーム画像と位置合せ後の前記その他のフレーム画像とを合成して一の合成静止画像を生成する画像合成工程と、
    を含み、
    前記精度算出工程では、構造物の動きの種類に応じて位置合わせの精度を算出し、
    前記画像合成工程では、前記精度算出工程において算出された前記精度に応じて前記その他のフレーム画像間の各画素の合成比率を変える重み付けを行って前記合成静止画像を生成することを特徴とする画像処理方法。
11. 前記精度算出工程では、前記構造物の動きの種類が平面的な平行移動の場合には、位置合わせの精度を高く算出し、前記構造物の動きの種類が回転や伸縮といった形状の変化を伴う動きの場合には、位置合わせの精度を低く算出することを特徴とする請求項１０に記載の画像処理方法。

Images