JP3176652B2

JP3176652B2 - 画像歪補正装置、及び画像間演算装置、画像動き算出装置

Info

Publication number: JP3176652B2
Application number: JP14081091A
Authority: JP
Inventors: 勇夫堀場; 律雄浅井
Original assignee: Hitachi Medical Corp
Current assignee: Hitachi Healthcare Manufacturing Ltd
Priority date: 1991-05-16
Filing date: 1991-05-16
Publication date: 2001-06-18
Anticipated expiration: 2016-06-18
Also published as: JPH04341248A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、連続的に与えられる画
像間のずれを補正する画像歪補正装置、その補正後の画
像を使う画像間演算装置、更に、一般的には画像動きを
算出する算出装置に関する。

【０００２】

【従来の技術】医学の分野では、被検査体の動態機能像
を求め、この動態機能像を診断に用いる。動態機能像
は、動態対象となる被検査体の同一部位を、異なる２つ
の時間でそれぞれ測定し、２つの時間での画像相互の関
係を求める。画像相互間の関係は、例えば、対象となる
画像相互間の差分を求め、差分結果を動態機能像として
位置付ける処理を云う。然るに、動きのある臓器では、
目的とする機能情報に動きの情報が重畳し、本来の動態
機能像の信頼性を損ねる原因となる。

【０００３】この不必要な動きの除去をはかるための出
願を本件出願人はすでに行っている（特願昭５７ー１５
１８０２号）。

【発明が解決しようとする課題】この先願は、２つの画
像間の歪みを相互相関により求め、この歪みで画像を補
正して動きの量の除去をはかるものである。しかし、近
接した画像であって且つ比較的変化の少ない歪みの場合
は相関をとれるが、連続的に多数枚の画像で近接してい
ないある程度時間的に変化がある２枚の画像では相関が
とれない問題点がある。

【０００４】本発明の目的は、時間的に連続して得られ
る連続的多数枚の画像において互いに時間的に離れて且
つ変化の多い画像間にあってもその歪みを算出し、補正
可能とする画像歪み補正装置、及びその補正結果を利用
する画像間演算装置を提供するものである。

【０００５】更に、本発明の目的は、時間的に連続だけ
でない画像間の動き量の算出装置をも提供するものであ
る。

【０００６】

【課題を解決するための手段】本発明は、ある基準時刻
から時間的に連続する複数の画像を格納する手段と、該
時間的に連続して格納した画像のうちの時間的に隣り合
う画像間のずれ量を演算する手段と、該画像間のずれ量
からその累積値を演算する手段と、該演算された累積値
で前記基準時刻の画像とそれから任意の時間後の画像と
のずれ量を補正する手段とを備えたことを特徴とする画
像歪補正装置を開示する（請求項１）。

【０００７】更に本発明は、ある基準時刻から時間的に
連続する複数の画像を格納する手段と、該時間的に連続
して格納した画像のうちの時間的に隣り合う画像間のず
れ量を演算する手段と、該画像間のずれ量からその累積
値を演算する手段と、該演算された累積値で前記基準時
刻の画像とそれから任意の時間後の画像とのずれ量を補
正する手段と、該補正された任意の時間後の画像と時間
的に連続する画像とで相関演算する手段とを備えたこと
を特徴とする画像間演算装置を開示する（請求項２）。

【０００８】更に、本発明の画像歪算出装置は、時間的
に連続する画像の中で基準時以降の相隣り合う画像を更
新しながら相互に格納する第１、第２のメモリと、該第
１、第２、のメモリ内の相隣り合う画像を規定区分内で
切出して対応した区分毎に相互相関をとって区分毎の歪
ベクトルを求める手段と、該歪ベクトルを相隣り合う画
像の更新毎に累積加算する手段と、任意の更新後に得ら
れる累積加算された歪ベクトルによってこの任意の更新
時の最後の画像のずれを補正する手段と、より成る（請
求項３）。

【０００９】更に、本発明の画像間演算装置は、時間的
に連続する画像の中で基準時以降のの相隣り合う画像を
更新しながら相互に格納する第１、第２のメモリと、上
記基準時の画像を格納する第３のメモリと、上記第１、
第２のメモリ内の相隣り合う画像を規定区分内で切出し
て対応した区分毎に相互相関をとって区分毎の歪ベクト
ルを求める手段と、該歪ベクトルを相隣り合う画像の更
新毎に累積加算する手段と、任意の更新後に得られる累
積加算された歪ベクトルによってこの任意の更新時の画
像の画像のずれを補正する手段と、上記第３のメモリの
基準時の画像と該補正後の画像との間で画像間演算を行
わせる手段と、より成る（請求項４）。

【００１０】更に本発明は、ある基準時刻から時間的に
連続する複数の画像を格納する手段と、該時間的に連続
して格納した画像のうちの時間的に隣り合う画像間のず
れ量を演算する手段と、該画像間のずれ量からその累積
値を演算する手段と、該演算された累積値で前記基準時
刻の画像とそれから任意の時間後の画像との動き量を演
算する手段とを備えたことを特徴とする画像動き演算装
置を開示する（請求項５）。

【００１１】

【作用】本発明によれば、連続的多数枚の画像を用い、
それらの画像で相隣り合う２枚の画像の歪みをそれぞれ
算出し、その歪み量を累積加算することによって、近接
していない時間的変化がある画像の歪みを自動的に補正
できる（請求項１、３）。

【００１２】更に、本発明によれば、その補正した画像
を用いた画像間演算を可能とする（請求項２、４）。

【００１３】更に、本発明によれば、動きのある画像間
にあって画像の動きを算出する（請求項５）。

【００１４】

【実施例】第１図は本発明の画像間演算（差分）装置の
実施例を示す。検出系１は、被検体からの透過Ｘ線の検
出を行う。前処理系２は、アナログ的に処理可能な前処
理回路であり、ノイズ処理、波形整形を行う。ＡＤ変換
器３は、前処理系２からの処理出力を取り込みＡＤ変換
する。

【００１５】メモリ４、メモリ５、メモリ６は画像メモ
リ（イメージメモリ）であり、メモリ４では、最も早い
時刻（基準時刻）の画像Ａを格納し、メモリ５及びメモ
リ６は連続的に読み込まれる近接した画像Ｂ、画像Ｃを
格納する。ディジタルサブトラクションアンギオグラフ
ィの分野では、メモリ４に格納する画像をマスク画像と
呼び、メモリ５には、１番はじめに格納する画像がメモ
リ４に格納される画像と等しいマスク画像であり、それ
以後連続的に格納される画像はライブ画像と呼ばれてい
る。またメモリ６に格納される画像はライブ画像であ
る。

【００１６】ここで、メモリ４に格納したマスク画像
は、画像間演算（本実施例では画像間差分）のための基
準画像となる。また、近接した画像とは、本実施例では
相隣り合う画像とするが、一般的には任意である。

【００１７】本実施例では、メモリ５、６に基準時刻以
降の相隣り合う画像を更新しながら格納させて、区分単
位の歪ベクトルを求め（メモリ３１）、この歪ベクトル
を相隣り合う画像間について累積加算し（加算部３
２）、得られた累積加算した歪ベクトルで最後の更新時
の画像を補正し（メモリ３７）、この補正した画像とメ
モリ４に格納した基準時の画像との差分を求める（差分
部９）。この差分結果が画像間演算結果であり、動態機
能像となる。

【００１８】以下、切出し部１０、１１以降の構成及び
動作を説明する。（１）、切出し部１０、１１…切出し部１０、１１はメ
モリ５、６に格納した相隣り合う画像について、規定の
区分（サンプルウィンド）に従って切出す。図２には、
それぞれメモリ５、６に格納した２次元原画像Ｒ（ｘ、
ｙ）と、ｍ×ｎの区分Ｄでの切出し例を示す。切出し
は、ラスタスキャンの順で左上から右上、左上から左下
への順である。かくして、１つの原画像Ｒ（ｘ、ｙ）か
ら複数の区画Ｄを切出せる。更に切出し部１０、１１
は、切出しウィンド関数Ｗ（ｉ、ｊ）と切出し区分内の
画像データとの積算（乗算のこと、以下同じ）を行い、
切出し区分の境界領域での不連続性を少なくする処理を
行う。即ち、区画Ｄにおいては、その区画中心領域と、
境界近傍領域とを比べると、境界近傍領域は、区画の境
界近くであり、かつ境界によって区別した区画をそれぞ
れ独立して扱うので、データとしての不連続性が強く、
区間中心領域は、区画境界から遠ざかっているためデー
タとしての連続性が強い。従って、画像切出しによる中
心領域外の不連続性による悪影響を除去するために、中
心領域は強調し、境界近傍領域は圧縮する処理を必要と
する。この処理のための関数がウィンド関数Ｗ（ｉ、
ｊ）であり、中心部程高いレベルを持ち、周辺部程低い
レベルとなる図２に示す如き関数である。このウィンド
関数Ｗ（ｉ、ｊ）と区分内の画像データとの間で、対応
座標毎に積算を行えば、切出し区分の境界領域での不連
続性を実質上なくすことができる。

【００１９】これを数式で示せば、処理後の切出し画像
データＱｐｑ（ｉ、ｊ）は次式となる。

【数１】Ｑｐｑ（ｉ、ｊ）＝Ｗ（ｉ、ｊ）×Ｒ（ｉ＋ｍｐ、ｊ＋ｎｑ）ここで、ｐ、ｑとは、区分を示す座標であり、具体的に
は、区分の先頭位置を（ｐ、ｑ）として選んである。切
出しウィンド関数Ｗ（ｉ、ｊ）は、後処理における画像
切出しの効果による誤差を低減するためサイドローブが
小さい事、及び有限関数であることが必須要件である。
今、切出しウィンド関数Ｗ（ｉ、ｊ）を極座標で示す
と、

【数２】Ｗ（ｉ、ｊ）＝Ｇ（ｒ）となる。極座標の原点を各区画での中心位置に設定する
と、ｒは、

【数３】となる。更に、Ｇ（ｒ）としては、ブラックマンの関数
（最大サイドローブは−４０ｄＢである）で与えると、

【数４】となる。三角関数で与えた場合には、

【数５】となる。但し、この場合の最大サイドローブは、−２８
ｄＢである。

【００２０】以上の切出し部１０、１１での数１の具体
的な処理手順は以下となる。切出し区画の各座標（ｉ、
ｊ）対応に、切出しウィンド関数をメモリ５、６とは異
なるメモリに格納しておく。このメモリのウィンド関数
とメモリ５、６の区画対応データとを各座標単位に積算
する。この積算結果が数１の演算結果となる。積算結果
はバッファメモリに一時格納し、次の処理にそなえる。

【００２１】以上の切出し部１０、１１の動作を同時に
説明してきたが両者は処理対象がメモリ５か６かの画像
という点だけを異にし、他は全く同じ処理となる。切出
しウィンド関数Ｗ（ｉ、ｊ）も同じ関数値を設定しても
よい。

【００２２】（２）、ＦＦＴ演算部１２、１３…本実施
例では、メモリ５、６の対応する区分についてその画像
データ間で相互相関（相関部１６）をとらせることとし
ているが、これを周波数領域で行わせるためにＦＦＴ演
算部１２、１３を設けた。また、周波数領域の場合、区
分切出しの悪影響の除去も簡単に可能なため、ＦＦＴ演
算部１２、１３を設けた。このＦＦＴ演算部１２、１３
を設けたことにより、各区分の画像データは、周波数領
域へ変換される。

【００２３】（３）、空間フィルタ１４…区分切出しの
悪影響の除去及び注目空間周波数の強調及びノイズ除去
の目的のために設けた。これによって、相互相関部１６
での処理感度の向上をはかった。この空間フィルタ１４
は、積算部２１とメモリ２４と共通メモリ２０とで形成
された第１の空間フィルタと、積算部２２とメモリ２５
と共通メモリ２０とで形成された第２の空間フィルタと
より成る。それぞれ、メモリ５、メモリ６に対応したも
のである。この２つの空間フィルタのそれぞれの特性
は、同一であり、図３、図４の如き特性をなす。異った
特性としてもよい。図３は、横軸に周波数ωを、縦軸に
周波数スペクトルＦ（ω）をとってなる特性図を示す。
横軸上のナイキストは、表現しうる最大周波数を意味す
る。この実施例では、切出した画素空間が表現しうる最
大周波数を云う。図４に切出し画像とナイキストの周波
数との関係を示す。ｒの最大となる場合（＋ｒ_max）の
右側の最大周波数が正のナイキストの周波数を意味す
る。

【００２４】図３の特性Ｆ₁で、領域Ｅ₁は切出しウィン
ドの効果を低減する領域、領域Ｅ₂はノイズ除去の領域
を示す。領域Ｅ₃は、注目空間周波数成分を強調する部
分である。但し、０．１〜０．２ＬＰ／ｃｍである。こ
こでＬＰとはライン・ペアを意味する。更に、図３で
は、切出しウィンドの周波数の低減をはかっている。０
から領域Ｅ₁に至る太線のスペクトルはそのことを意味
する。

【００２５】以上の空間周波数特性を共通メモリ２０に
格納させておき、積算部２１、２２でＦＦＴ演算部１
２、１３の出力とメモリ２０の出力との複素数掛算を行
う。この積算部２１、２２での２つの掛算は、ＦＦＴ演
算結果である周波数スペクトルに対して複素フーリエ空
間上で図３に示す如き空間周波数特性を掛算することで
あり、これによりこの特性の反映した周波数スペクトル
を得る。メモリ２４、２５は、積算部２１、２２の掛算
結果のスペクトルを格納する。この格納は、分割区画の
座標単位に行う。図３の特性の反映した周波数スペクト
ルとは、切出しウィンド周波数を低減したものであるこ
と、即ち、切出しウィンドの悪影響を除去したものであ
ること、ノイズ除去を行ったものであること、の諸特徴
を持つ。

【００２６】（４）、相互相関部１６…区分単位に周波
数領域での相互相関をとる。周波数領域上での相互相関
とは、相互相関対象の一方を複素共役化し、これを他方
との間で積算することである。相互相関をとる目的は、
ずれ量算出のために利用するためである。

【００２７】この相互相関部１６は、複素共役化し積算
する積算演算部２６とこの結果を格納するメモリ２７よ
り成る。相互相関対象は、メモリ２４、２５の空間フィ
ルタ処理した結果であり、複素共役化の対象は、メモリ
２４、２５のどちらか一方である。相互相関結果は１つ
の区分毎に複数得られる。

【００２８】（５）、Ｉ‐ＦＦＴ演算部１７…逆フーリ
エ変換部であり、画像Ｂ、Ｃ間の部分相互相関結果を、
周波数領域から元の２次元空間上の領域に戻す処理であ
る。

【００２９】（６）、ピーク検出部３０…これは、各区
分毎の歪ベクトルを求めるものである。即ち、Ｉ‐ＦＦ
Ｔ演算部１７で得た相隣り合う画像Ｂ、Ｃ間の相互相関
の各区分内で得られる相互相関値の中で、最大のものを
検出する。かくして、各区分毎に、１個のピーク値が求
まり、その時の位置及び大きさを区分毎に歪ベクトルと
し、これをメモリ３１に区分対応に格納する。

【００３０】（７）、累積加算部１９…これは、相隣り
合う画像毎に求まる歪ベクトルを、画像更新毎に累積加
算して歪ベクトルの累積加算結果を得るものであり、そ
のための加算部３２と、累積用に前回更新時までの累積
加算ベクトルを格納するメモリ３３と、より成る。加算
部３２が、今回の相隣り合う画像間の歪ベクトルと、メ
モリ３３に格納した前回更新時までの累積加算歪ベクト
ルとの加算を行い、メモリ３３がこれを格納し、次の更
新に備えるようにした。尚、この加算は位置と方向性と
を加味したベクトル加算である。

【００３１】（８）、補間演算部３４…この対象は、全
更新終了時に得られた累積歪ベクトルである。ここで、
全更新終了時の累積歪ベクトルとは、基準画像から最終
画像Ｑまでの間の累積歪ベクトルを云う。最終画像Ｑと
は、基準画像との間で差分演算対象となる、画像間演算
の一方の画像である。補間演算部３４では、区分単位に
得られた累積歪ベクトルを一画面相当の画像の各画素単
位に、分配することである（いわゆる補間処理で行
う）。メモリ３５は、この結果である歪座標を格納す
る。

【００３２】（９）、補正演算部３６…メモリ３５の画
素単位の歪ベクトル（歪座標）で、メモリ６の最終画像
Ｑを歪補正する。この歪補正は、画像Ｑを基準画像Ａの
歪みに合わせる処理である。これにより、画像Ａと画像
Ｑとの歪みは一致する。メモリ３７はこの補正後の画像
Ｑを格納する。

【００３３】（１０）、差分演算部９…画像間演算とし
ての差分演算を行うものである。即ち、基準画像Ａと最
終画像Ｑとの差分をとる。この際、動きによる歪みは除
去されているため、正しい差分画像が得られる。以上で
図１の実施例の説明を終る。

【００３４】次に図５には、歪ベクトルの処理例を示
す。この処理例は、図１のメモリ２４、２５からメモリ
３５での画素毎の歪ベクトル（歪座標）を求めるまでの
処理例である。図５でブロック４０とは、図１の演算部
２６からピーク検出部３０までの経路を、一括表示した
ものである。図５において、メモリ２４は５×５の区分
を示し、この各区分には、画像Ｂの区分対応の空間フィ
ルタ結果Ｂ₁₁〜Ｂ₅₅が得られる。メモリ２５も同様に、
画像Ｃの区分対応の空間フィルタ結果Ｃ₁₁〜Ｃ₅₅ が得ら
れる。メモリ３１は、区分対応に画像ＢとＣとの間の歪
ベクトルＤ₁₁〜Ｄ₅₅を格納する。メモリ３３には、累積
歪ベクトルＤ′₁₁〜Ｄ′₅₅を格納する。メモリ３５に
は、画素単位の歪ベクトル（即ち、歪座標）を格納す
る。

【００３５】図６には、累積歪ベクトルの例を示す。マ
スク画像Ｍに対して、Ｌ₁→Ｌ₂→Ｌ₃→Ｌ₄→Ｌ₅として
画像を更新し、相隣り合う画像間で歪ベクトルＡ₁、
Ａ₂、Ａ₃ 、Ａ₄、Ａ₅を得る。これは、従来例で述べた先
願の例である。本実施例では、この歪ベクトルを、累積
加算し、累積加算ベクトルＺ_M、Ｚ₁＝Ｚ_M＋Ａ₁、Ｚ₂＝
Ｚ₁ ＋Ａ₂、Ｚ₃＝Ｚ₂＋Ａ₃、Ｚ₄＝Ｚ₃＋Ａ₄、Ｚ₅＝Ｚ₄＋
Ａ₅、を次々に得る。そして、仮に２つの画像ＭとＬ₅と
の間で画像間演算を行うには、画像Ｌ₅を歪ベクトルＺ₅
で補正して、画像Ｍと合わせ、その後でＭとＬ₅との画
像間演算を行わせればよい。尚、Ｌ₅が図１の実施例で
の最終画像との意である。

【００３６】本実施例によれば、時間の離れた２つの画
像にあって且つ変化の多い場合にも、累積歪ベクトルが
求まるため、歪みを除去でき、正しい画像間演算が可能
となる。

【００３７】本実施例は各種の変形、適用が可能であ
り、以下列挙する。（１）、補間演算部３４への入力…最終累積歪ベクトル
としたが、図６の相隣り合う画像間の歪ベクトルＡ₁、
Ａ₂、…を取り込むようにしてもよい。この場合、累積
歪ベクトルＺ_M、Ｚ₁、Ｚ₂、…はメモリ３３に格納して
おくことになる。また、Ａ₁、Ａ₂、…ではなく、部分累
積値Ｚ_M、Ｚ₁、Ｚ₂、…を取り込ませてもよい。これら
は処理目的や処理態様によって異ならせる。

【００３８】（２）、相隣り合う画像…必ずしも、物理
的や画像的に相隣り合うものとは限らず、２個間隔や不
定期間隔等いずれも採用可能である。

【００３９】（３）、画像歪算出…この算出歪みを画像
間演算のために利用したが、そうではなく、任意の１つ
の画像の時間変化の除去との目的のみに利用することも
できる。

【００４０】（４）、時間的連続について…動態機能像
の算出には、時間的変化による影響の除去との観点が重
要であるが、画像通信の如き場合にはむしろ積極的に動
きを検出させて符号化データ量を少なくすることが要求
される。本実施例では、こうした画像通信にも利用でき
る。

【００４１】（５）、差分演算…画像間演算は差分の他
にも加算や積算、論理的処理、数式処理等種々ありう
る。

【００４２】（６）、歪ベクトル…歪ベクトルは一例で
あり、一般的にはずれ量でよい。また、区分単位とした
が、画像が少なければ区分は必ずしも必要でない。

【００４３】（７）、画像の種類…医用画像以外に物体
認識等の各種撮影画像も含む。

【００４４】

【発明の効果】本発明によれば、時間的に連続して得ら
れる連続的多数枚の画像において互いに時間的に離れて
且つ変化の多い画像間にあってもその歪みを算出し、補
正が可能となる。（請求項１、３）。

【００４５】更に、本発明によれば、その補正結果を用
いて画像間演算を行うことによって、正しい画像間演算
結果を得る。（請求項２、４）。更に、本発明によれ
ば、画像の動き算出にも利用可能である（請求項５）。

【図面の簡単な説明】

【図１】本発明の画像間演算装置の実施例図である。

【図２】画像切出し及びウィンド関数を示す図である。

【図３】空間フィルタレーションの特性図である。

【図４】空間フィルタレーションの特性図である。

【図５】歪ベクトルの処理例を示す図である。

【図６】累積歪ベクトルを示す図である。

【符号の説明】

１検出系２前処理系１４空間フィルタ１６相互相関部１９累積加算部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) A61B 6/00 - 6/14

Claims

(57)【特許請求の範囲】

【請求項１】ある基準時刻から時間的に連続する複数
の画像を格納する手段と、該時間的に連続して格納した
画像のうちの時間的に隣り合う画像間のずれ量を演算す
る手段と、該画像間のずれ量からその累積値を演算する
手段と、該演算された累積値で前記基準時刻の画像とそ
れから任意の時間後の画像とのずれ量を補正する手段と
を備えたことを特徴とする画像歪補正装置。
【請求項２】ある基準時刻から時間的に連続する複数
の画像を格納する手段と、該時間的に連続して格納した
画像のうちの時間的に隣り合う画像間のずれ量を演算す
る手段と、該画像間のずれ量からその累積値を演算する
手段と、該演算された累積値で前記基準時刻の画像とそ
れから任意の時間後の画像とのずれ量を補正する手段
と、該補正された任意の時間後の画像と時間的に連続す
る画像とで相関演算する手段とを備えたことを特徴とす
る画像間演算装置。
【請求項３】時間的に連続する画像の中で基準時以降
の相隣り合う画像を更新しながら相互に格納する第１、
第２のメモリと、該第１、第２のメモリ内の相隣り合う
画像を規定区分内で切り出して対応した区分毎に相互相
関をとって区分毎の歪ベクトルを求める手段と、該歪ベ
クトルを相隣り合う画像の更新毎に累積加算する手段
と、任意の更新後に得られる累積加算された歪ベクトル
によってこの任意の更新時の最後の画像のずれを補正す
る手段と、より成る画像歪補正装置。
【請求項４】時間的に連続する画像の中で基準時以降
の相隣り合う画像を更新しながら相互に格納する第１、
第２のメモリと、上記基準時の画像を格納する第３のメ
モリと、上記第１、第２のメモリ内の相隣り合う画像を
規定区分内で切り出して対応した区分毎に相互相関をと
って区分毎の歪ベクトルを求める手段と、該歪ベクトル
を相隣り合う画像の更新毎に累積加算する手段と、任意
の更新後に得られる累積加算された歪ベクトルによって
この任意の更新時の最後の画像のずれを補正する手段
と、上記第３のメモリの基準時の画像と該補正後の画像
との間で画像間演算を行わせる手段と、より成る画像間
演算装置。
【請求項５】ある基準時刻から時間的に連続する複数
の画像を格納する手段と、該時間的に連続して格納した
画像のうちの時間的に隣り合う画像間のずれ量を演算す
る手段と、該画像間のずれ量からその累積値を演算する
手段と、該演算された累積値で前記基準時刻の画像とそ
れから任意の時間後の画像との動き量を演算する手段と
を備えたことを特徴とする画像動き演算装置。