JP6507731B2 - 補間画像生成装置、補間画像生成方法及び補間画像生成用コンピュータプログラム - Google Patents

Description

本発明は、例えば、異なる時間に生成された複数の画像に基づいて補間画像を生成する補間画像生成装置、補間画像生成方法及び補間画像生成用コンピュータプログラムに関する。

従来より、被写体を異なる時間に撮影することにより得られた時系列の複数の画像から求めたオプティカルフローを利用して、任意の時間におけるその被写体を表す補間画像を生成する技術が提案されている（例えば、非特許文献１及び特許文献１を参照）。オプティカルフローは、局所ごとの被写体の動きをベクトルで表したものである。

特開平８−２４９４７２号公報

Simon Baker他、「A Database and Evaluation Methodology for Optical Flow」、International Journal of Computer Vision、Volume 92、Issue 1、pp. 1-31、2011年3月

ある被写体についてのオプティカルフローを正確に求めるには、時系列の複数の画像のうちの少なくとも二枚にその被写体が写っていることが求められる。被写体が写っている画像が一枚しかない場合には、時間の経過に伴ってその被写体がどのように変化するのかが予測できないためである。

また、時間の経過に伴う、被写体の変化が非線形なこともある。このような場合、被写体が写っている２枚の画像のそれぞれの撮影時刻の早い方よりも前の時刻、あるいは、撮影時刻の遅い方よりも後の時刻では、その２枚の画像から求めたオプティカルフローによる、被写体の位置または形状の変化の予測精度は低下してしまう。そのため、時系列の２枚の画像から求めたオプティカルフローに基づいて生成した、それら画像の撮影時刻の早い方よりも前の時刻、あるいは、撮影時刻の遅い方よりも後の時刻に相当する補間画像上での被写体の位置あるいは形状は不正確となるおそれがある。

そこで本明細書は、ある撮影時刻よりも前の撮影時刻の画像には写っていない被写体の患部について、その撮影時刻よりも前の任意の時刻における予測精度を向上した補間画像を生成可能な補間画像生成装置を提供することを目的とする。

一つの実施形態によれば、補間画像生成装置が提供される。この補間画像生成装置は、被写体を第１の撮影時刻に撮影して得られた第１の画像上に写っている患部と、第１の撮影時刻よりも後の第２の撮影時刻に被写体を撮影して得られた第２の画像上の患部の、大きさと形の変化と、第１の撮影時刻と第２の撮影時刻の差とに基づいて、患部の発生時刻及び患部の発生位置を特定する発生時刻位置特定部と、発生時刻より後、第１の撮影時刻よりも前の指定時刻を受け付け、その指定時刻の患部の画像を、発生時刻及び発生位置と、第１の撮影時刻及び第１の画像上の患部の画像から生成する補間画像生成部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された補間画像生成装置は、ある撮影時刻よりも前の撮影時刻の画像には写っていない被写体の患部について、その撮影時刻よりも前の任意の時刻における予測精度を向上した補間画像を生成できる。

同一の被写体について得られた、撮影時刻が互いに異なる時系列の複数の画像の一例を示す図である。 補間画像生成装置の一例である比較読影システムの概略構成図である。 制御部の機能ブロック図である。 発生部位の説明図である。 発生部位と発生位置の関係の一例を表す図である。 時刻ごとの投票値の合計の一例を示す図である。 補間画像上の画素と発生部位との関係の一例を示す図である。 補間画像生成処理の動作フローチャートである。

以下、図を参照しつつ、補間画像生成装置について説明する。最初に、同一の被写体を異なる撮影時刻に撮影して得られる時系列の複数の画像のうち、最初の撮影時刻の画像には写っていない被写体の部位を表す任意の時刻の補間画像のニーズについて説明する。

例えば、患者の患部を撮影した医用画像に基づいて、医者が患者の症状の進行度合いなどを判断する場合において、過去の類似の症例における、他の患者の医用画像と患者の医用画像とを比較読影することがある。このような場合、患者の現在の症状と似た状態にある患部が写った他の患者の医用画像を比較読影に利用できることが好ましい。しかし、一般に、同一の患者に対して行われる撮影は、離散的な時間間隔で行われるので、必ずしも、患者の現在の症状と似た状態にある患部が写った、他の患者の医用画像が存在しないことがある。このような場合には、他の患者の複数の医用画像に基づく補間処理を行って、患者の現在の症状と似た状態にある患部を疑似的に表す補間画像を作成することができれば、医者は、その補間画像を比較読影に利用できる。

図１は、同一の被写体について得られた、撮影時刻が互いに異なる時系列の複数の画像の一例を示す図である。図１において、時刻t₀〜t₃は、それぞれ、画像１０１〜画像１０４に対応する撮影時刻を表す。そして時刻t₀が最も早い撮影時刻であり、時刻t₃が最も遅い撮影時刻である。この例では、時刻t₀〜時刻t₃の画像１０１〜画像１０４のそれぞれにおいて、領域１１０にガンに侵された患部が写っている。さらに、時刻t₁以降の画像１０２〜画像１０３には、領域１１１に、増殖したガンに侵された患部が写っている。一方、時刻t₀の画像１０１には、領域１１１に相当する患部は写っていない。ここで、もし、比較読影に利用したい症例では、領域１１１に相当する患部のサイズが、画像１０２に写っている領域１１１のサイズと画像１０３に写っている領域１１１のサイズの中間程度であったとする。このような場合、例えば、時刻t₁の画像１０２と時刻t₂の画像１０３間で求めたオプティカルフローに基づいて、時刻t₁と時刻t₂の間の任意の時刻におけるその患部を表す補間画像を生成することで、領域１１１のサイズが所望のサイズとなる補間画像が生成される。同様に、画像１０３に写っている領域１１１のサイズと画像１０４に写っている領域１１１のサイズの中間程度のサイズを持つ患部を表す補間画像は、画像１０３と画像１０４間で求めたオプティカルフローに基づいて生成される。一方、比較読影に利用したい症例では、領域１１１に相当する患部のサイズが、画像１０２に写っている領域１１１のサイズよりも小さいとする。このような場合、時刻t₀と時刻t₁の間の任意の時刻についての補間画像を、時刻t₀の画像１０１と時刻t₁の画像１０２とから求められるオプティカルフローに基づいて生成しても、その補間画像では、領域１１１に相当する患部は正確に表されない。これは、画像１０１に領域１１１が含まれていないためである。

また、時刻t₁の画像１０２と時刻t₂の画像１０３間で求めたオプティカルフローを利用して単純に外挿することで、時刻t₀と時刻t₁間の任意の時刻に相当する補間画像を生成すること自体は可能である。しかし、ガンなど、患部の拡がり方は、必ずしも時間経過に対して線形とはならない。そのため、画像１０２と画像１０３間で求めたオプティカルフローを単純に外挿して得られた補間画像上では、領域１１１に相当する患部の位置及び形状の推定精度は不十分である可能性が高い。

そこで、この補間画像生成装置は、第１の撮影時刻よりも前の撮影時刻の画像には写っていない被写体の部位について、第１の画像上のその部位が写っている領域内の画素ごとにオプティカルフローを算出する。その際、この補間画像生成装置は、第１の撮影時刻の画像及び第１の撮影時刻よりも後の第２の撮影時刻の画像を、オプティカルフローの算出に利用する。そしてこの補間画像生成装置は、画素ごとのオプティカルフローから、その部位が画像上に最初に写る発生時刻、及び、その発生時刻における、画像上でのその部位の発生位置を特定する。そしてこの補間画像生成装置は、発生時刻におけるその部位の発生位置と第１の撮影時刻における画像上の部位の位置とから、第１の撮影時刻よりも前の時刻における被写体を表した補間画像での、その部位に対応する画素を特定することで、補間画像を生成する。

図２は、補間画像生成装置の一つの実施形態である、比較読影システムの概略構成図である。比較読影システム１は、インターフェース部２と、ユーザインターフェース部３と、記憶回路４と、ストレージ装置５と、記憶媒体アクセス装置６と、制御部７とを有する。制御部７と、比較読影システム１のその他の各部とは、例えば、バスにより接続されている。

インターフェース部２は、比較読影システム１を、過去に撮影された様々な患者の症例の画像を保存する画像データベースを記憶する画像サーバ１０と接続するためのインターフェースである。例えば、インターフェース部２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークを介して画像サーバ１０から画像を受け取るために、その通信ネットワークに接続するための通信インターフェース及びその制御回路を有していてもよい。
インターフェース部２は、画像サーバ１０から画像を取得し、その画像を制御部７へ渡す。

ユーザインターフェース部３は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった、１台または複数の表示装置とを有する。そしてユーザインターフェース部３は、例えば、医師であるユーザの操作に応じて、補間画像生成処理を開始させる操作信号を制御部７へ出力する。またユーザは、ユーザインターフェース部３を介して、読影対象となる患者の識別情報及びその患者の画像を特定するための部位情報または撮影時刻などの情報を入力する。さらに、ユーザは、ユーザインターフェース部３を介して、比較対象となる患者（以下、便宜上、参考患者と呼ぶ）の識別情報及び参考患者についての時系列の複数の画像を特定するための部位情報または撮影時刻などを入力する。さらに、ユーザは、時系列の複数の画像から、患者の画像に対して比較対象となる補間画像を生成するための基準となる指定時刻を入力する。ユーザインターフェース部３は、入力されたこれらの情報を制御部７へ渡す。

またユーザインターフェース部３は、制御部７から受け取った、患者の患部を含む画像と、指定時刻における参考患者の患部を表す補間画像とを並べて表示する。なお、ユーザインターフェース部３が、複数の表示装置を有している場合、一方の表示装置に患者の画像が表示され、他方の表示装置に参考患者の補間画像が表示されてもよい。

記憶回路４は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶回路４は、制御部７上で実行される補間画像生成処理を実行するためのコンピュータプログラム、及びその補間画像生成処理の途中で得られる中間計算結果などを記憶する。

ストレージ装置５は、記憶部の他の一例であり、例えば、磁気ディスク及びそのアクセス装置を有する。そしてストレージ装置５は、画像サーバ１０から受け取った、患者の画像、参考患者の画像または補間画像などを記憶する。

記憶媒体アクセス装置６は、例えば、半導体メモリカード及び光記憶媒体といった記憶媒体８にアクセスする装置である。記憶媒体アクセス装置６は、例えば、記憶媒体８に記憶された、制御部７上で実行される、補間画像生成処理用のコンピュータプログラムを読み込み、制御部７に渡す。また記憶媒体アクセス装置６は、制御部７により生成された補間画像を記憶媒体８に書き込んでもよい。

制御部７は、少なくとも一つのプロセッサ及びその周辺回路を有し、比較読影システム１全体を制御する。また制御部７は、補間画像生成処理を実行する。そして制御部７は、画像サーバ１０から受け取った画像、あるいは、生成した補間画像を、ストレージ装置５または記憶媒体アクセス装置６へ記憶させ、あるいは、ユーザインターフェース部３に表示させる。

図３は、補間画像生成処理を実行するための制御部７の機能ブロック図である。制御部７は、画像取得部１１と、全体位置合わせ部１２と、発生部位抽出部１３と、発生時刻位置特定部１４と、補間画像生成部１５とを有する。
制御部７が有するこれらの各部は、例えば、制御部７が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールである。あるいは、制御部７が有するこれらの各部は、その各部の処理を実現する回路が集積された一つの集積回路として、制御部７と別個に比較読影システム１に実装されてもよい。

画像取得部１１は、ユーザインターフェース部３からの入力に応じて、画像サーバ１０に保存されている、同一の参考患者の同一の部位が異なる時刻に撮影された時系列の３枚の画像を選択する。例えば、画像取得部１１は、ユーザインターフェース部３を介して指定された参考患者の識別情報及び部位の識別情報に基づいて、画像サーバ１０から参考患者のその部位の時系列の各画像のサムネイル画像を受け取って、ユーザインターフェース部３に表示させる。ユーザは、各撮影時刻のサムネイル画像などを参照しながら、患者の画像との比較読影に使用したい、参考患者のその部位の画像の撮影時刻を、指定時刻tとして指定する。指定時刻tは、補間画像の生成基準となる時刻の一例であり、実際に参考患者のその部位が撮影された時刻とは異なる。画像取得部１１は、参考患者のその部位の画像の中から、撮影時刻が指定時刻tよりも後でかつ最も早い方から順に２枚の画像と、指定時刻tよりも前の撮影時刻の１枚の画像とを選択する。画像取得部１１は、選択した画像の撮影時刻と、参考患者及び部位の識別情報などを含む取得要求を、インターフェース部２を介して画像サーバ１０へ送信する。そして画像取得部１１は、画像サーバ１０からそれらの画像を取得する。画像取得部１１は、取得した各画像を全体位置合わせ部１２へ渡すとともに、ストレージ装置５に保存する。

以下では、説明の便宜上、指定時刻tよりも前の画像の撮影時刻をt₀とし、指定時刻tよりも後の２枚の画像の撮影時刻を、それぞれ、t₁、t₂(ただし、t₁<t₂)とする。また、撮影時刻t₀の画像を画像I₀と表記する。同様に、撮影時刻t₁の画像及び撮影時刻t₂の画像を、それぞれ、画像I₁、画像I₂と表記する。また、各画像I₀、I₁、I₂の画素値は、輝度値とする。しかし、各画像I₀、I₁、I₂の画素値は、輝度値に限られず、Digital Imaging and Communication in Medicine(DICOM)で規定されるpresentation value(P値)あるいは濃度であってもよい。

全体位置合わせ部１２は、画像I₀、I₁、I₂間で、各画像に写っている参考患者の撮影対象部位（例えば、胸部あるいは腹部など）を位置合わせする。なお、撮影対象部位は、被写体の一例である。一般に、撮像装置に対する患者のポジショニングは、撮影ごとに異なるために、同一の患者の同一の撮影対象部位が撮影された時系列の画像間でも、画像上での撮影対象部位の位置または向きが異なることがある。そこで全体位置合わせ部１２は、画像I₀、I₁、I₂での参考患者の撮影対象部位の位置及び向きを一致させて、局所ごとのオプティカルフローを正確に求めることを可能とするために、この位置合わせを実行する。

本実施形態では、全体位置合わせ部１２は、画像I₀を基準とする。すなわち、全体位置合わせ部１２は、画像I₁に写っている撮影対象部位及び画像I₂に写っている撮影対象部位を、画像I₀に写っている撮影対象部位と一致するように変形または移動させる。その際、全体位置合わせ部１２は、位置合わせ対象となる二つの画像間で、例えば、臓器の壁など、対応付けが容易な特徴的な部分をそれぞれの画像から検出して、その特徴的な部分間の位置などの対応関係を求める。そして全体位置合わせ部１２は、その対応関係に従って、一方の画像上の撮影対象部位全体を他方の画像上の撮影対象部位に合わせるように変形する。なお、全体位置合わせ部１２は、画像I₀を基準とする代わりに、画像I₁または画像I₂を基準としてもよい。

例えば、全体位置合わせ部１２は、フーリエ位相相関法による画像位置合わせの手法を利用して、画像I₁に写っている撮影対象部位及び画像I₂に写っている撮影対象部位を、画像I₀に写っている撮影対象部位と一致するように変形または移動させればよい。あるいは、全体位置合わせ部１２は、各画像をそれぞれ複数の局所領域に分割し、画像間で局所領域ごとのローカルマッチングを行うことで局所領域ごとのシフト値を算出してもよい。そして全体位置合わせ部１２は、各局所領域のシフト値を多項式関数でフィッティングすることで、画像全体の位置合わせを行う変換式を求め、その変換式に従って一方の画像上の撮影対象部位を変形することで、位置合わせを行ってもよい。なお、フーリエ位相相関法による画像位置合わせの手法の詳細については、例えば、篠原他, 医用画像位置合わせの基礎, pp.95-99, 医療科学社、2011年を参照されたい。また、ローカルマッチングを利用する画像位置合わせの手法の詳細については、例えば、特開平７−３７０７４号公報を参照されたい。

全体位置合わせ部１２は、元の画像I₁、I₂を位置合わせ後の画像で更新し、更新後の画像I₁、I₂をストレージ装置５に保存する。また全体位置合わせ部１２は、更新後の画像I₁を発生部位抽出部１３へ渡す。

発生部位抽出部１３は、画像I₀上には存在せず、かつ、画像I₁に存在する、撮影対象部位内の部位（例えば、患部）を抽出する。なお、以下では、便宜上、このような部位を発生部位と呼ぶ。発生部位は、例えば、図１の画像１０２における領域１１１のように、その画像以前に撮影された画像には写っていない部位である。そのため、発生部位については、画像I₁と画像I₀から算出されるオプティカルフローに基づいて、撮影時刻t₁よりも前の指定時刻tの補間画像を生成しても、その補間画像上では発生部位に対応する部位は正確には描写されない。そこで、本実施形態では、補間画像上で発生部位に対応する画素の値を求めるために、画像I₁だけでなく、画像I₂についての情報も利用できるようにするために、発生部位抽出部１３が発生部位を予め抽出する。その際、発生部位抽出部１３は、画像I₁と画像I₀とを比較することで、発生部位を正確に抽出できる。

画像I₀には、画像I₁上の発生部位に対応する部位が写っていないため、画像I₁上の画素のうち、発生部位に含まれる画素は、以下の二つの条件を満たすと考えられる。
（１）画像I₀と画像I₁間でオプティカルフローを求めた場合に、その画素を終点とするフローベクトルが存在しない。
（２）画像I₀と画像I₁の対応画素間の差分演算により得られる画素値の差分絶対値が比較的大きい。
そこで、発生部位抽出部１３は、上記の二つの条件を満たす画素の集合を求める。

発生部位抽出部１３は、上記の（１）の条件を満たす、画像I₁上の画素を特定するために、画像I₀と画像I₁間でオプティカルフローを求める。そのために、例えば、発生部位抽出部１３は、画像I₀上の着目画素xについて、その着目画素xを中心とするブロックを設定する。発生部位抽出部１３は、ブロックマッチングにより、画像I₁上でそのブロックと最も一致する領域を特定する。そして発生部位抽出部１３は、着目画素xからその特定された領域の中心へ向かうベクトルを、着目画素xにおけるオプティカルフローを表すフローベクトルOf₀(x)とする。発生部位抽出部１３は、画像I₀上の各画素を順次着目画素xに設定して上記の処理を行うことで、画像I₀上の画素ごとにオプティカルフローOf₀(x)を算出する。

発生部位抽出部１３は、画像I₀上の画素ごとに、その画素の位置の座標にフローベクトルOf₀(x)を加算することで、画像I₁上でのフローベクトルの終点の位置を求め、その終点の位置の画素に終点となったことを表す終点フラグを対応付ける。そして発生部位抽出部１３は、画像I₁上の画素ごとに、その画素に対応する終点フラグが存在するか否かを調べることで、その画素を終点するフローベクトルが存在しない画素を、（１）の条件を満たす画素として抽出する。

また、発生部位抽出部１３は、上記の（２）の条件を満たす画素を抽出するために、画像I₀と画像I₁の対応画素間の差分演算を行うことで差分画像Dfを算出する。この場合、差分画像Dfの画素xの値Df(x)は、次式で表される。
Df(x)=|I₁(x)-I₀(x)|
ここで、I₁(x)は、画像I₁の画素xの画素値を表し、I₀(x)は、画像I₀の画素xの画素値を表す。

発生部位抽出部１３は、Df(x)が所定の差分閾値Th₁よりも大きくなる画素を、（２）の条件を満たす画素として抽出する。なお、差分閾値Th₁は、各画像の画素値が8bit(256階調)で表現される場合、例えば、50に設定される。

発生部位抽出部１３は、（１）と（２）の両方の条件を満たす画素の集合を求め、その集合に対してラベリング処理を実行することで、その集合を、（１）と（２）の両方の条件を満たす画素同士が互いに連結された集合ごとに区分する。そして発生部位抽出部１３は、区分された各集合のうち、その集合に含まれる画素の数が所定の面積閾値Th₂以上となる集合を、発生部位とする。このように、発生部位抽出部１３は、上記の（１）と（２）の両方の条件を満たす画素の集合を発生部位として抽出することで、発生部位をより正確に抽出できる。なお、面積閾値Th₂は、例えば、各画像が横512画素×縦512画素のサイズを有する場合、25画素に設定される。また、面積閾値Th₂は、縦方向と横方向に対してそれぞれ別個に設定されてもよい。この場合、発生部位抽出部１３は、区分された集合ごとに、その集合の外接矩形の横のサイズと縦のサイズを求め、横のサイズと縦のサイズの両方が面積閾値Th₂以上となる集合を発生部位としてもよい。これにより、発生部位抽出部１３は、線状でなく、ある程度固まりとなった集合を発生部位とすることができる。この場合、面積閾値Th₂は、例えば、横方向について5画素、縦方向について5画素とすることができる。

図４は、発生部位の説明図である。図４に示される画像４０１及び画像４０２は、それぞれ、図１に示される撮影時刻t₀の画像１０１、撮影時刻t₁の画像１０２に対応する。また、差分画像４０３は、画像４０１と画像４０２の対応画素間の差分演算により得られる画像である。時刻t₀からt₁へ経過する間に、画像４０１及び画像４０２上のガンの領域４１０は拡大している。また、画像４０２において、新たなガンの領域４１１が現れる。そのため、差分画像４０３では、領域４１０の拡大部分に相当する領域４２０と、領域４１１に対応する領域４２１に含まれる画素について、画素値Df(x)が大きな値となる。このうち、領域４２０に含まれる画素については、画像４０１の領域４１０内に対応する画像が見つかる可能性が高いため、画像４０１と画像４０２とから算出されるフローベクトルの終点となる可能性が高い。一方、領域４２１に含まれる画素については、画像４０１に対応する部位が写っている領域が存在しないので、フローベクトルの終点とならない。そのため、領域４２１が発生部位として抽出される。

発生部位抽出部１３は、発生部位の個数と、発生部位ごとに、その発生部位に含まれる画素の数（すなわち、発生部位の面積）及びその発生部位に含まれる個々の画素の位置を、発生時刻位置特定部１４及び補間画像生成部１５へ渡す。

発生時刻位置特定部１４は、画像I₁上で検出された発生部位ごとに、その発生部位が最初に画像上に写ると推定される時刻（以下、便宜上、発生時刻と呼ぶ）と、発生時刻における、その発生部位の推定される位置（以下、便宜上、発生位置と呼ぶ）を特定する。本実施形態では、発生時刻位置特定部１４は、画像I₁上で検出された発生部位（この例では、患部）と、画像I₂上の発生部位の、大きさと形の変化と、撮影時刻t₁と撮影時刻t₂の差とに基づいて、発生時刻及び発生位置を特定する。

図５は、発生部位と発生位置の関係の一例を表す図である。発生部位５００は、その発生位置から時間経過とともに拡がっていると想定される。また、発生部位５００は、画像I₁で初めて現れる部位なので、画像I₁から、画像I₁の撮影時刻t₁と最も近い撮影時刻t₂の画像I₂までの発生部位の位置及び形状の変化が線形的だと仮定しても、それほど大きな誤差とはならない可能性が高い。そのため、発生位置５０１は、発生部位５００内の各画素について、画像I₁と画像I₂間で求めたフローベクトルで表される直線上またはその近傍に位置している可能性が高い。したがって、発生位置５０１は、発生部位内の各画素について画像I₁と画像I₂間で求めたフローベクトルで表される直線５０２が最も集中する位置であると推定される。

このように、画像I₁上の発生部位内の各画素についての、その画素と画像I₂上の対応画素との位置関係と、撮影時刻t₁とt₂の差が、発生部位の大きさ及び形状の変化を表している。そこで、発生時刻位置特定部１４は、画像I₁上の発生部位内の各画素についての、その画素と画像I₂上の対応画素との位置関係と、撮影時刻t₁とt₂の差とに基づいて、発生時刻及び発生位置を特定する。
本実施形態では、発生時刻位置特定部１４は、発生位置を求めるために、画像I₁と画像I₂とに基づいて、画像I₁上の発生部位内の各画素についてフローベクトルOf₁(x)を算出する。画像I₂の撮影時刻t₂は、画像I₁の撮影時刻t₁よりも後であるため、画像I₁上の発生部位に対応する部位は、画像I₂に写っていると想定されるためである。なお、発生時刻位置特定部１４は、発生部位抽出部１３がフローベクトルOf₀(x)を求めるのと同様の手法を用いてフローベクトルOf₁(x)を算出できる。

発生時刻位置特定部１４は、発生部位内の各画素について、その画素の位置を通り、かつ、その画素のフローベクトルOf₁(x)と平行な直線l_xを算出する。発生部位内の画素の座標をx=(a,b)で表し、その画素のフローベクトルOf₁(x)を(α,β)で表すとすると、直線l_xは次式で表される。
l_x:α(y-b)=β(x-a)

発生時刻位置特定部１４は、発生部位ごとに、その発生部位及びその周囲に、発生位置の候補となる画素を含む候補領域を設定する。候補領域R(x,y)は、例えば、R(x,y)={(x,y)|X₁-c≦x≦X₂+c, Y₁-d≦y≦Y₂+d}と設定される。ただし、X₁、X₂は、それぞれ、発生部位の左端及び右端の横方向座標であり、Y₁、Y₂は、それぞれ、発生部位の上端及び下端の縦方向座標である。またcは、横方向についての候補領域の発生部位に対するマージンを表し、例えば、(X₂-X₁)/2に設定される。同様に、dは、縦方向についての候補領域の発生部位に対するマージンを表し、例えば、(Y₂-Y₁)/2に設定される。

発生時刻位置特定部１４は、発生部位内の画素の直線l_xごとに、その直線l_x上に位置し、かつ、候補領域に含まれる各画素に所定の投票値(例えば、1)を投票する。また、発生時刻位置特定部１４は、候補領域内の画素ごとに、投票値の合計を求める。そして発生時刻位置特定部１４は、候補領域内で投票値の合計が最大となる画素x_g=(a_g,b_g)を、発生位置とする。このように、発生時刻位置特定部１４は、発生部位内の各画素についてのフローベクトルを利用して、それらフローベクトルが集中する位置を求めることで、発生部位内の画素ごとに、別個に発生位置を求めるよりも、正確に発生位置を求めることができる。

なお、発生時刻位置特定部１４は、直線l_x上に位置し、かつ、候補領域に含まれる各画素について、その周囲の画素にも投票値を投票してもよい。この場合には、発生時刻位置特定部１４は、直線l_x上に位置し、かつ、候補領域に含まれる着目画素から離れるほど、投票値を小さくすることが好ましい。あるいは、発生時刻位置特定部１４は、候補領域内の各画素についての投票値の合計を算出する際、着目画素から離れるほど小さくなる重み係数を着目画素及びその周囲の画素の投票値の合計に乗じて得られる値の総和を、着目画素の投票値の合計としてもよい。これにより、例えば、発生部位に含まれる画素の数が少ない場合でも、発生時刻位置特定部１４は、投票値の合計が高くなる画素を正確に特定できる。

発生部位ごとに、その発生位置x_gが求まると、発生時刻位置特定部１４は、発生部位ごとに発生時刻を求める。ここで、発生部位内の各画素について、その画素に写っている部分が、発生時刻から時刻t₁までの間に変位する速度と、時刻t₁から時刻t₂までの間に変位する速度が同一であると仮定すると、次式が成立する。
ここで、x=(a,b)は、発生部位内の画素の位置を表す。またTxは、その画素から推定される発生時刻の候補を表す。そして||Of₁(x)||は、画素xについて求められたフローベクトルOf₁(x)の大きさを表す。（１）式より、Txは、次式で表される。

発生時刻位置特定部１４は、発生部位内の各画素について、（２）式に従って発生時刻の候補Txを求める。そして発生時刻位置特定部１４は、その候補Txに所定の投票値（例えば、１）を投票する。発生時刻位置特定部１４は、時刻ごとに、投票値の合計を求め、その合計値が最大となる時刻t_gを、その発生部位についての発生時刻とする。このように、発生時刻位置特定部１４は、発生部位内の各画素について求めた候補時刻のうちの頻度が高いものを発生時刻とすることで、正確に発生時刻を求めることができる。

図６は、時刻ごとの投票値の合計の一例を示す図である。図６において、横軸は時間を表し、縦軸は投票値の合計を表す。そして分布６００は、時刻ごとの投票値の合計を表す。この例では、時刻uにおいて投票値の合計が最大となるので、時刻uが発生時刻t_gとなる。

なお、発生時刻位置特定部１４は、候補Txだけでなく、その前後の時刻にも投票値を投票してもよい。この場合には、発生時刻位置特定部１４は、候補Txから離れるほど、投票値を小さくすることが好ましい。あるいは、発生時刻位置特定部１４は、時刻ごとの投票値の合計を算出する際、着目する時刻から離れるほど小さくなる重み係数を着目する時刻及びその前後の時刻の投票値の合計に乗じて得られる値の総和を、その着目する時刻の投票値の合計としてもよい。これにより、例えば、発生部位に含まれる画素の数が少ない場合でも、発生時刻位置特定部１４は、投票値の合計が高くなる時刻を正確に特定できる。

発生時刻位置特定部１４は、発生部位ごとに、発生位置と発生時刻とを求めると、その発生位置と発生時刻とを補間画像生成部１５へ通知する。

補間画像生成部１５は、画像I₀及び画像I₁から、指定時刻t(ただしt₀<t<t₁)における補間画像I_tを生成する。本実施形態では、補間画像生成部１５は、画像I₁上の発生部位以外に対応する補間画像I_t上の画素については、画像I₀と画像I₁からその画素値を求める。一方、補間画像生成部１５は、画像I₁上の発生部位に対応する補間画像I_t上の画素（すなわち、患部の画像に含まれる各画素）については、発生時刻及び発生位置と、時刻t₁と、画像I₁からその画素値を求める。

最初に、画像I₁上の発生部位以外に対応する補間画像I_t上の画素値の算出について説明する。
ここで、補間画像I_t上の画素xの画素値をI_t(x)で表す。画像I₁上の発生部位以外に対応する画素について、画素値I_t(x)は、その画素xを通るフローベクトルの始点に相当する画像I₀上の画素の値と、フローベクトルの終点に相当する画像I₁上の画素の値とから算出される。

補間画像生成部１５は、補間画像の画素値I_t(x)における、画像I₀の寄与と画像I₁の寄与の割合を、指定時刻tに基づいて決定する。例えば、補間画像生成部１５は、時刻t₁とt₀の差(t₁-t₀)に対する、指定時刻tと時刻t₀の差が小さいほど、画像I₀の寄与を大きくする。そのために、補間画像生成部１５は、その寄与の割合を表す正規化時間パラメータτを次式に従って算出する。

また、補間画像生成部１５は、画像I₀上の各画素について求められたフローベクトルOf₀(x)から、補間画像上の画素xを通るフローベクトルを特定するために、各フローベクトルを次式に従って平行移動する。
ただし、u_τ(x)は、補間画像上の画素xを通るフローベクトルである。

補間画像生成部１５は、フローベクトルu_τ(x)に基づいて、補間画像上の画素xを通るフローベクトルの始点に相当する画像I₀上の画素x₀と、フローベクトルの終点に相当する画像I₁上の画素x₁とを次式に従って特定する。
そして補間画像生成部１５は、画素x₀の画素値I₀(x₀)と、画素x₁の画素値I₁(x₁)とから、次式に従って補間画像の画素xの画素値I_t(x)を算出する。
なお、補間画像の画素xを通るフローベクトルが存在しない場合、補間画像生成部１５は、任意の指定時刻tについて、画像I₀上の画素xの画素値I₀(x)をI_t(x)とする。あるいは、補間画像生成部１５は、正規化時間パラメータτが0.5未満である場合、画像I₀上の画素xの画素値I₀(x)をI_t(x)とし、正規化時間パラメータτが0.5以上である場合、画像I₁上の画素xの画素値I₁(x)をI_t(x)としてもよい。

次に、画像I₁上の発生部位に対応する補間画像I_t上の画素値の算出について説明する。この場合には、補間画像生成部１５は、発生部位内の画素ごとに、発生位置からその画素へ向かう直線を求める。これにより、補間画像生成部１５は、発生部位に対応する補間画像上の画素ごとに、その画素を通る直線を特定することで、その画素に対応する画像I₁上の発生部位内の画素を特定できる。そして補間画像生成部１５は、補間画像上の画素の値を、その特定された画素の値の平均値とする。これにより、補間画像生成部１５は、指定時刻tにおける補間画像上で発生部位に対応する画素を精度良く特定できるので、補間画像上での発生部位の予測精度を向上できる。

具体的に、例えば、補間画像生成部１５は、次式に従って、発生時刻t_gと撮影時刻t₁との差(t₁-t_g)に対する、発生時刻t_gと指定時刻tとの差(t-t_g)の比を、正規化時間パラメータτとして算出する。

補間画像生成部１５は、補間画像I_t上の画素xに対応する画像I₁上の発生部位内の画素zを特定する。なお、補間画像生成部１５は、補間画像I_t上の画素xに対応する画像I₁上の発生部位内の画素zは、次式を満たす。
ただし、補間画像生成部１５は、例えば、（８）式の右辺の横座標及び縦座標の小数以下の値を四捨五入して得られる座標値が、画素xの座標と一致する場合に、（８）式は満たされると判定する。補間画像生成部１５は、補間画像I_tの画素ごとに、（８）式を満たす画像I₁上の画素zの個数N_xを求める。そして補間画像生成部１５は、個数N_xが正の値(すなわち、N_x>0)となる画素を、発生部位に対応する画素とする。

図７は、補間画像上の画素と発生部位との関係の一例を示す図である。この例では、発生位置x_gから画像I₁上の画素ａへ向かう直線７０１と、発生位置x_gから画像I₁上の画素bへ向かう直線７０２とが、補間画像上の画素７１０を通る。そのため、画素７１０の画素値は、画素aの画素値と画素bの画素値とを平均化することで算出される。

補間画像生成部１５は、発生部位に対応する補間画像上の画素ごとに、次式に従って、その画素に対応する発生部位内の画素値の平均値を算出して、その平均値をその画素の値とする。
なお、I₁(z)は、補間画像上の画素xに対応する、画像I₁上の画素zの画素値である。

なお、補間画像生成部１５は、（７）式〜（９）式に従って、発生部位に対応する補間画像I_t上の各画素の値を算出した後に、（３）式〜（６）式に従って、発生部位以外に対応する補間画像I_t上の各画素の値を算出してもよい。

補間画像生成部１５は、生成した補間画像I_tをユーザインターフェース部３に出力し、ユーザインターフェース部３が有する表示装置に表示させる。あるいは、補間画像生成部１５は、補間画像I_tをストレージ装置５に保存してもよい。

図８は、本実施形態による補間画像生成処理の動作フローチャートである。
画像取得部１１は、ユーザインターフェース部３を介したユーザからの入力に従って、参考患者の同一の撮影対象部位が写った時系列の画像I₀〜I₂を画像サーバ１０から取得する（ステップＳ１０１）。また画像取得部１１は、ユーザインターフェース部３を介したユーザからの入力に従って、指定時刻tを設定する。

全体位置合わせ部１２は、画像I₀に写っている撮影対象部位に対して、画像I₁に写っている撮影対象部位及び画像I₂に写っている撮影対象部位を位置合わせする（ステップＳ１０２）。そして全体位置合わせ部１２は、画像I₁について撮影対象部位が位置合わせされた画像を改めて画像I₁とする。同様に、全体位置合わせ部１２は、画像I₂について撮影対象部位が位置合わせされた画像を改めて画像I₂とする。

発生部位抽出部１３は、指定時刻tよりも前の撮影時刻の画像I₀と指定時刻tの直後の撮影時刻t₁の画像I₁の対応画素間の差分絶対値及びオプティカルフローに基づいて、画像I₁上の発生部位を抽出する（ステップＳ１０３）。

発生時刻位置特定部１４は、抽出された発生部位ごとに、その発生部位の発生位置及び発生時刻を、発生部位内の各画素についての画像I₁と画像I₂間のオプティカルフローと撮影時刻t₁と撮影時刻t₂の差に基づいて、すなわち、発生部位の大きさと形状の変化に基づいて求める（ステップＳ１０４）。

補間画像生成部１５は、指定時刻tにおける補間画像I_t上の画素のうち、画像I₁上の発生部位以外に対応する各画素の値を画像I₀と画像I₁間のその画素を通るオプティカルフローに基づいて決定する（ステップＳ１０５）。一方、補間画像生成部１５は、発生部位に対応する補間画像I_t上の各画素の値を、画像I₁上の発生部位内の対応画素の画素値の平均値とする（ステップＳ１０６）。
そして制御部７は、補間画像生成処理を終了する。

以上に説明してきたように、補間画像生成装置の一実施形態である比較読影システムは、指定時刻よりも後の２枚の画像を用いて、指定時刻直後の撮影時刻の画像上で初めて現れる発生部位の発生位置及び発生時刻を求める。その際、この比較読影システムは、発生部位内の各画素について求めたオプティカルフローから、統計的に発生位置及び発生時刻を求めるので、その発生位置及び発生時刻を正確に求めることができる。そのため、この比較読影システムは、その発生位置及び発生時刻を利用することで、発生部位に対応する、指定時刻における補間画像上の画素を正確に特定できる。そしてこの比較読影システムは、発生部位に対応する、補間画像上の画素の値を、発生部位内の画素の値に基づいて決定することで、補間画像上での発生部位に対応する部位の予測精度を向上できる。

なお、変形例によれば、ユーザは、ユーザインターフェース部３に表示された画像I₀と画像I₁とを比較することで、画像I₁上での発生部位を特定してもよい。そしてユーザは、ユーザインターフェース部３を介して、画像I₁上での発生部位を特定する情報を入力してもよい。この場合には、制御部７は、画像I₁上の発生部位を抽出しなくても、入力された発生部位を特定する情報を利用して、発生時刻位置特定部１４及び補間画像生成部１５の処理を実行することで、指定時刻tにおける補間画像を生成できる。そのため、この場合には、発生部位抽出部１３は省略されてもよい。

また他の変形例によれば、補間画像生成装置は、時間の経過とともに縮小する被写体が写った時系列の複数の画像から補間画像を生成する際にも適用できる。この場合には、補間画像生成装置は、上記の実施形態の説明における、時刻t₀と時刻t₂を入れ替えるとともに、画像I₀と画像I₂とを入れ替えた処理を実行することで、画像I₁に写った被写体が消滅する消滅時刻及び消滅時刻におけるその被写体の位置である消滅位置を特定できる。そして補間画像生成装置は、その消滅時刻及び消滅位置と、画像I₁及びその撮影時刻とから、指定時刻t(ただし、t₁<t<t₂)の補間画像を生成できる。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
被写体を第１の撮影時刻に撮影して得られた第１の画像上に写っている患部と、前記第１の撮影時刻よりも後の第２の撮影時刻に前記被写体を撮影して得られた第２の画像上の患部の、大きさと形の変化と、前記第１の撮影時刻と前記第２の撮影時刻の差とに基づいて、前記患部の発生時刻及び前記患部の発生位置を特定する発生時刻位置特定部と、
前記発生時刻より後、前記第１の撮影時刻よりも前の指定時刻を受け付け、該指定時刻の前記患部の画像を、前記発生時刻及び前記発生位置と、前記第１の撮影時刻及び前記第１の画像上の患部の画像から生成する補間画像生成部と、
を有する補間画像生成装置。
（付記２）
前記第１の画像と前記指定時刻よりも前の第３の撮影時刻に前記被写体を撮影して得られた第３の画像とを比較することで前記患部が写っている領域を抽出する発生部位抽出部をさらに有する、付記１に記載の補間画像生成装置。
（付記３）
前記発生部位抽出部は、前記第３の画像上の各画素について前記第１の画像上の対応画素を特定することで、前記第３の画像上の各画素について、当該画素から前記第１の画像上の前記対応画素へ向かうベクトルを求め、前記第１の画像上で前記ベクトルの何れの終点ともならず、かつ、前記第３の画像と前記第１の画像の対応画素間の差分絶対値が所定の閾値より大きくなる画素の集合を、前記患部が写っている領域として抽出する、付記２に記載の補間画像生成装置。
（付記４）
前記発生時刻位置特定部は、前記第１の画像上の前記患部が写っている領域内の各画素について、当該画素と前記第２の画像上の当該画素に対応する画素とを結ぶ直線上に位置し、かつ前記患部が写っている領域を含む候補領域内の画素に所定の投票値を投票し、前記候補領域内の画素のうちの前記投票値の合計が最大となる画素を前記発生位置とする、付記１〜３の何れか一項に記載の補間画像生成装置。
（付記５）
前記発生時刻位置特定部は、前記第１の画像上の前記患部が写っている領域内の各画素について、当該画素と前記第２の画像上の当該画素に対応する画素間の距離に対する当該画素と前記発生位置間の距離の比に、前記第１の撮影時刻と前記第２の撮影時刻の差を乗じて得られる時間を、前記第１の撮影時刻から減じた時刻に所定の投票値を投票し、前記投票値の合計が最大となる時刻を前記発生時刻とする、付記４に記載の補間画像生成装置。
（付記６）
前記補間画像生成部は、前記発生位置から前記第１の画像上の前記患部が写っている領域内の各画素への直線の何れかが通る前記補間画像上の画素を前記患部に対応する画素とし、前記補間画像上の前記患部に対応する画素ごとに、当該画素を通る前記直線上の前記第１の画像上の前記患部が写っている領域内の画素の値の平均値を当該画素の値とする、付記１〜５の何れか一項に記載の補間画像生成装置。
（付記７）
被写体を第１の撮影時刻に撮影して得られた第１の画像上に写っている患部と、前記第１の撮影時刻よりも後の第２の撮影時刻に前記被写体を撮影して得られた第２の画像上の患部の、大きさと形の変化と、前記第１の撮影時刻と前記第２の撮影時刻の差とに基づいて、前記患部の発生時刻及び前記患部の発生位置を特定し、
前記発生時刻より後、前記第１の撮影時刻よりも前の指定時刻を受け付け、該指定時刻の前記患部の画像を、前記発生時刻及び前記発生位置と、前記第１の撮影時刻及び前記第１の画像上の患部の画像から生成する、
ことを含む補間画像生成方法。
（付記８）
被写体を第１の撮影時刻に撮影して得られた第１の画像上に写っている患部と、前記第１の撮影時刻よりも後の第２の撮影時刻に前記被写体を撮影して得られた第２の画像上の患部の、大きさと形の変化と、前記第１の撮影時刻と前記第２の撮影時刻の差とに基づいて、前記患部の発生時刻及び前記患部の発生位置を特定し、
前記発生時刻より後、前記第１の撮影時刻よりも前の指定時刻を受け付け、該指定時刻の前記患部の画像を、前記発生時刻及び前記発生位置と、前記第１の撮影時刻及び前記第１の画像上の患部の画像から生成する、
ことをコンピュータに実行させるための補間画像生成用コンピュータプログラム。
（付記９）
被写体を第１の撮影時刻に撮影して得られた第１の画像上に写っている患部と、前記第１の撮影時刻よりも前の第２の撮影時刻に前記被写体を撮影して得られた第２の画像上の患部の、大きさと形の変化と、前記第１の撮影時刻と前記第２の撮影時刻の差とに基づいて、前記患部の消滅時刻及び前記患部の消滅位置を特定する消滅時刻位置特定部と、
前記消滅時刻よりも前、前記第１の撮影時刻よりも後の指定時刻を受け付け、該指定時刻の前記患部の画像を、前記消滅時刻及び前記消滅位置と、前記第１の撮影時刻及び前記第１の画像上の患部の画像から生成する補間画像生成部と、
を有する補間画像生成装置。

１ 比較読影システム（補間画像生成装置）
２ インターフェース部
３ ユーザインターフェース部
４ 記憶回路
５ ストレージ装置
６ 記憶媒体アクセス装置
７ 制御部
８ 記憶媒体
１０ 画像サーバ
１１ 画像取得部
１２ 全体位置合わせ部
１３ 発生部位抽出部
１４ 発生時刻位置特定部
１５ 補間画像生成部

Claims (8)

1. 被写体を第１の撮影時刻に撮影して得られた第１の画像上に写っている患部と、前記第１の撮影時刻よりも後の第２の撮影時刻に前記被写体を撮影して得られた第２の画像上の患部の、大きさと形の変化と、前記第１の撮影時刻と前記第２の撮影時刻の差とに基づいて、前記患部の発生時刻及び前記患部の発生位置を特定する発生時刻位置特定部と、
   前記発生時刻より後、前記第１の撮影時刻よりも前の指定時刻を受け付け、該指定時刻の前記患部の画像を、前記発生時刻及び前記発生位置と、前記第１の撮影時刻及び前記第１の画像上の患部の画像から生成する補間画像生成部と、
   を有する補間画像生成装置。
2. 前記第１の画像と前記指定時刻よりも前の第３の撮影時刻に前記被写体を撮影して得られた第３の画像とを比較することで前記患部が写っている領域を抽出する発生部位抽出部をさらに有する、請求項１に記載の補間画像生成装置。
3. 前記発生部位抽出部は、前記第３の画像上の各画素について前記第１の画像上の対応画素を特定することで、前記第３の画像上の各画素について、当該画素から前記第１の画像上の前記対応画素へ向かうベクトルを求め、前記第１の画像上で前記ベクトルの何れの終点ともならず、かつ、前記第３の画像と前記第１の画像の対応画素間の差分絶対値が所定の閾値より大きくなる画素の集合を、前記患部が写っている領域として抽出する、請求項２に記載の補間画像生成装置。
4. 前記発生時刻位置特定部は、前記第１の画像上の前記患部が写っている領域内の各画素について、当該画素と前記第２の画像上の当該画素に対応する画素とを結ぶ直線上に位置し、かつ前記患部が写っている領域を含む候補領域内の画素に所定の投票値を投票し、前記候補領域内の画素のうちの前記投票値の合計が最大となる画素を前記発生位置とする、請求項１〜３の何れか一項に記載の補間画像生成装置。
5. 前記発生時刻位置特定部は、前記第１の画像上の前記患部が写っている領域内の各画素について、当該画素と前記第２の画像上の当該画素に対応する画素間の距離に対する当該画素と前記発生位置間の距離の比に、前記第１の撮影時刻と前記第２の撮影時刻の差を乗じて得られる時間を、前記第１の撮影時刻から減じた時刻に所定の投票値を投票し、前記投票値の合計が最大となる時刻を前記発生時刻とする、請求項４に記載の補間画像生成装置。
6. 前記補間画像生成部は、前記発生位置から前記第１の画像上の前記患部が写っている領域内の各画素への直線の何れかが通る前記指定時刻の前記患部の前記画像上の画素を前記患部に対応する画素とし、前記指定時刻の前記患部の前記画像上の前記患部に対応する画素ごとに、当該画素を通る前記直線上の前記第１の画像上の前記患部が写っている領域内の画素の値の平均値を当該画素の値とする、請求項１〜５の何れか一項に記載の補間画像生成装置。
7. プロセッサが、被写体を第１の撮影時刻に撮影して得られた第１の画像上に写っている患部と、前記第１の撮影時刻よりも後の第２の撮影時刻に前記被写体を撮影して得られた第２の画像上の患部の、大きさと形の変化と、前記第１の撮影時刻と前記第２の撮影時刻の差とに基づいて、前記患部の発生時刻及び前記患部の発生位置を特定し、
   前記プロセッサが、前記発生時刻より後、前記第１の撮影時刻よりも前の指定時刻を受け付け、該指定時刻の前記患部の画像を、前記発生時刻及び前記発生位置と、前記第１の撮影時刻及び前記第１の画像上の患部の画像から生成する、
   ことを含む補間画像生成方法。
8. 被写体を第１の撮影時刻に撮影して得られた第１の画像上に写っている患部と、前記第１の撮影時刻よりも後の第２の撮影時刻に前記被写体を撮影して得られた第２の画像上の患部の、大きさと形の変化と、前記第１の撮影時刻と前記第２の撮影時刻の差とに基づいて、前記患部の発生時刻及び前記患部の発生位置を特定し、
   前記発生時刻より後、前記第１の撮影時刻よりも前の指定時刻を受け付け、該指定時刻の前記患部の画像を、前記発生時刻及び前記発生位置と、前記第１の撮影時刻及び前記第１の画像上の患部の画像から生成する、
   ことをコンピュータに実行させるための補間画像生成用コンピュータプログラム。