JPH11331644A - 画像のシ―ケンス内の動き評価用画像処理方法、ノイズフィルタリング方法及び医用撮像装置 - Google Patents
画像のシ―ケンス内の動き評価用画像処理方法、ノイズフィルタリング方法及び医用撮像装置Info
- Publication number
- JPH11331644A JPH11331644A JP11037497A JP3749799A JPH11331644A JP H11331644 A JPH11331644 A JP H11331644A JP 11037497 A JP11037497 A JP 11037497A JP 3749799 A JP3749799 A JP 3749799A JP H11331644 A JPH11331644 A JP H11331644A
- Authority
- JP
- Japan
- Prior art keywords
- image
- causal
- block
- images
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000001914 filtration Methods 0.000 title claims description 30
- 238000012545 processing Methods 0.000 title claims description 20
- 238000011156 evaluation Methods 0.000 title abstract description 11
- 239000013598 vector Substances 0.000 claims abstract description 93
- 230000001364 causal effect Effects 0.000 claims abstract description 57
- 238000003672 processing method Methods 0.000 claims abstract description 15
- 230000002123 temporal effect Effects 0.000 claims description 34
- 230000009977 dual effect Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 abstract description 8
- 238000007906 compression Methods 0.000 abstract description 8
- 235000019557 luminance Nutrition 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000002594 fluoroscopy Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 230000001627 detrimental effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Picture Signal Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
(57)【要約】
【課題】 本発明は、対象に動きのある場合に有効なノ
イズ圧縮を実現する役立つ動き評価方法の提供を目的と
する。 【解決手段】 本発明の動き評価用画像処理方法は、ブ
ロックマッチングアルゴリズムに基づいて一つの時間画
像から次の時間画像までの動きベクトル場を決定する。
本発明の方法は、処理画像（Ｊt ）、因果画像
（Ｊt-1 ）及び反因果画像（Ｊt+1 ）とを含む３個の連
続的な時間画像を獲得し、処理画像内の基準ブロック
（ＲＢt ）と、因果画像及び反因果画像に存在し、輝度
類似性規準に従って基準ブロック（ＲＢt ）と最も良く
整合する一対のブロック（ＣＢt-1 ，ＣＢt+1）とを決
定し、基準ブロックの位置に対する一対のブロックの位
置に基づいて基準ブロックに関係した動きベクトルを決
定する。
イズ圧縮を実現する役立つ動き評価方法の提供を目的と
する。 【解決手段】 本発明の動き評価用画像処理方法は、ブ
ロックマッチングアルゴリズムに基づいて一つの時間画
像から次の時間画像までの動きベクトル場を決定する。
本発明の方法は、処理画像（Ｊt ）、因果画像
（Ｊt-1 ）及び反因果画像（Ｊt+1 ）とを含む３個の連
続的な時間画像を獲得し、処理画像内の基準ブロック
（ＲＢt ）と、因果画像及び反因果画像に存在し、輝度
類似性規準に従って基準ブロック（ＲＢt ）と最も良く
整合する一対のブロック（ＣＢt-1 ，ＣＢt+1）とを決
定し、基準ブロックの位置に対する一対のブロックの位
置に基づいて基準ブロックに関係した動きベクトルを決
定する。
Description
【０００１】
【発明の属する技術分野】本発明はノイズを含む画像の
シーケンス中に再生された対象の動きを評価する画像処
理方法と、かかる動き評価方法を含むノイズフィルタリ
ング方法に関する。また、本発明は、上記の動き評価方
法及び／又はノイズフィルタリング方法を実施する医用
撮像装置、特に、Ｘ線装置に関する。具体的なアプリケ
ーションでは、このＸ線装置は脈管系を可視化するため
蛍光透視モードで動作する。
シーケンス中に再生された対象の動きを評価する画像処
理方法と、かかる動き評価方法を含むノイズフィルタリ
ング方法に関する。また、本発明は、上記の動き評価方
法及び／又はノイズフィルタリング方法を実施する医用
撮像装置、特に、Ｘ線装置に関する。具体的なアプリケ
ーションでは、このＸ線装置は脈管系を可視化するため
蛍光透視モードで動作する。
【０００２】
【従来の技術】ノイズを含む画像のシーケンス内で対象
の動きを評価する画像処理方法は、ROBERT M. ARMITANO
他による文献“ROBUST BLOCK-MATCHING MOTION-ESTIMAT
ION TECHNIQUE FOR NOISY SOURCE", IEEE Internationa
l Conference on Acoustics, Speech and Signal Proce
ssing, Vol.IV, pp.2685-2688(1997) に記載されてい
る。
の動きを評価する画像処理方法は、ROBERT M. ARMITANO
他による文献“ROBUST BLOCK-MATCHING MOTION-ESTIMAT
ION TECHNIQUE FOR NOISY SOURCE", IEEE Internationa
l Conference on Acoustics, Speech and Signal Proce
ssing, Vol.IV, pp.2685-2688(1997) に記載されてい
る。
【０００３】上記の引用文献に記載された方法を実施す
るため、画像のシーケンスが時点ｔまでに獲得される。
時点ｔで取り扱われる画像は、最後に到達した画像であ
る。時点ｔで到達した画像は、座標を用いて指定される
隣接ブロックに分割され、上記隣接ブロックの中の現在
ブロックが調べられる。同じ座標を有するブロックは、
時点ｔ−１に出現した先行画像の中で決定され、推定さ
れる動きの大きさと関連した寸法を有する探索ウィンド
ウがこのブロックの周辺に形成される。この方法は、所
謂ブロックマッチングアルゴリズム（Ｂ．Ｍ．Ａ）に基
づいて行われるものであり、現在ブロックに整合する所
謂マッチングブロック、すなわち、所定の輝度類似性規
準に従って、現在ブロックの明度特性に最も近い明度特
性を有するブロックを探索ウィンドウ内で決定すること
を意図する。マッチングブロックの決定によって、時点
ｔの画像内の現在ブロックと、時点ｔ−１の先行画像内
のマッチングブロックとの間で空間移動の量を表す動き
ベクトルが得られる。
るため、画像のシーケンスが時点ｔまでに獲得される。
時点ｔで取り扱われる画像は、最後に到達した画像であ
る。時点ｔで到達した画像は、座標を用いて指定される
隣接ブロックに分割され、上記隣接ブロックの中の現在
ブロックが調べられる。同じ座標を有するブロックは、
時点ｔ−１に出現した先行画像の中で決定され、推定さ
れる動きの大きさと関連した寸法を有する探索ウィンド
ウがこのブロックの周辺に形成される。この方法は、所
謂ブロックマッチングアルゴリズム（Ｂ．Ｍ．Ａ）に基
づいて行われるものであり、現在ブロックに整合する所
謂マッチングブロック、すなわち、所定の輝度類似性規
準に従って、現在ブロックの明度特性に最も近い明度特
性を有するブロックを探索ウィンドウ内で決定すること
を意図する。マッチングブロックの決定によって、時点
ｔの画像内の現在ブロックと、時点ｔ−１の先行画像内
のマッチングブロックとの間で空間移動の量を表す動き
ベクトルが得られる。
【０００４】引用文献の動き評価方法は、マッチングブ
ロックの近似的ロケーション（位置）を与えるため、粗
い動きベクトルを評価し、次に、粗い動きベクトルの付
近で実際の動きベクトルを評価するため輝度類似性規準
を適用する。類似性規準については説明されていない。
粗い動きベクトルの評価は、時点ｔに処理される画像に
先行したｐ個の連続的な時間画像の中の各画像毎に存在
する複数のｐ個の動きベクトルを決定し、ｐ個の先行動
きベクトルの加重平均として粗い動きベクトルを生成す
る線形時間フィルタリングを行う。このようなｐ個の先
行動きベクトルの線形時間フィルタリングは予測型であ
る。予測型とは、先行画像のｐ個のマッチングブロック
に関係するｐ個の先行動きベクトルが既知であるなら
ば、時点ｔと時点ｔ−１の間の粗い動きベクトルが、ｐ
個の先行した連続的なマッチングブロックに関する動き
ベクトルは、厳密に線形であり、かつ、連続的であると
いう特定の仮定に基づいて予測されることを意味する。
類似性規準は、実際の動きベクトルを評価するため、粗
いベクトルの周辺で局所的に適用される。
ロックの近似的ロケーション（位置）を与えるため、粗
い動きベクトルを評価し、次に、粗い動きベクトルの付
近で実際の動きベクトルを評価するため輝度類似性規準
を適用する。類似性規準については説明されていない。
粗い動きベクトルの評価は、時点ｔに処理される画像に
先行したｐ個の連続的な時間画像の中の各画像毎に存在
する複数のｐ個の動きベクトルを決定し、ｐ個の先行動
きベクトルの加重平均として粗い動きベクトルを生成す
る線形時間フィルタリングを行う。このようなｐ個の先
行動きベクトルの線形時間フィルタリングは予測型であ
る。予測型とは、先行画像のｐ個のマッチングブロック
に関係するｐ個の先行動きベクトルが既知であるなら
ば、時点ｔと時点ｔ−１の間の粗い動きベクトルが、ｐ
個の先行した連続的なマッチングブロックに関する動き
ベクトルは、厳密に線形であり、かつ、連続的であると
いう特定の仮定に基づいて予測されることを意味する。
類似性規準は、実際の動きベクトルを評価するため、粗
いベクトルの周辺で局所的に適用される。
【０００５】上記の従来の方法は、このような予測ステ
ップを含んでいる。そこで、新たな動きが出現したとき
にｐ個の先行動きベクトルが存在しないので、従来の方
法は粗い動きベクトルを決定し得ないため、その有効性
が損なわれる。したがって、粗いベクトルに基づく実際
のベクトルは局所的に検出し得なくなる。
ップを含んでいる。そこで、新たな動きが出現したとき
にｐ個の先行動きベクトルが存在しないので、従来の方
法は粗い動きベクトルを決定し得ないため、その有効性
が損なわれる。したがって、粗いベクトルに基づく実際
のベクトルは局所的に検出し得なくなる。
【０００６】
【発明が解決しようとする課題】上記の引用文献には、
提案された動き評価方法は、画像が所与のレベル因りも
多くのノイズを含む場合に、特に、その方法が複数の先
行画像におけるブロックマッチングアルゴリズム（Ｂ．
Ｍ．Ａ）を採用しているため、画像のシーケンス内で運
動中の対象を追跡することが困難であるという問題点が
指摘されている。かかるシーケンスにおいて、対象は、
必ずしも動きの結果としてではなく、ノイズのために一
方の画像と次の画像の間で変化しているように見える。
その上、この従来の方法は、大量の計算時間を必要とす
る。
提案された動き評価方法は、画像が所与のレベル因りも
多くのノイズを含む場合に、特に、その方法が複数の先
行画像におけるブロックマッチングアルゴリズム（Ｂ．
Ｍ．Ａ）を採用しているため、画像のシーケンス内で運
動中の対象を追跡することが困難であるという問題点が
指摘されている。かかるシーケンスにおいて、対象は、
必ずしも動きの結果としてではなく、ノイズのために一
方の画像と次の画像の間で変化しているように見える。
その上、この従来の方法は、大量の計算時間を必要とす
る。
【０００７】また、当業者には公知のように、画像のシ
ーケンス中のノイズを圧縮する最良の方法が反復的な時
間ノイズフィルタリング法であることにより別の問題が
生ずる。しかし、反復的な時間ノイズフィルタリング法
は、動きのある場合には巧く動作しない。一般的には、
動きのある場合にかかる反復的な時間フィルタを利用す
るための唯一の解決策は、ノイズ圧縮率を実質的な量で
減少させることであるが、この解決策の結果として、時
間フィルタが運動中の小さい対象又は対象の中の小さい
ディテールを消去してしまう程度までノイズブレークス
ルーや不鮮明化のような悪影響が生じる。
ーケンス中のノイズを圧縮する最良の方法が反復的な時
間ノイズフィルタリング法であることにより別の問題が
生ずる。しかし、反復的な時間ノイズフィルタリング法
は、動きのある場合には巧く動作しない。一般的には、
動きのある場合にかかる反復的な時間フィルタを利用す
るための唯一の解決策は、ノイズ圧縮率を実質的な量で
減少させることであるが、この解決策の結果として、時
間フィルタが運動中の小さい対象又は対象の中の小さい
ディテールを消去してしまう程度までノイズブレークス
ルーや不鮮明化のような悪影響が生じる。
【０００８】本発明の目的は、動きのある場合に有効な
ノイズ圧縮を実現する際に、特に、時間フィルタ又は空
間時間フィルタを支援するため役立つ動き評価方法を提
供することである。
ノイズ圧縮を実現する際に、特に、時間フィルタ又は空
間時間フィルタを支援するため役立つ動き評価方法を提
供することである。
【０００９】
【課題を解決するための手段】上記本発明の目的並びに
上記従来技術の問題点は、ブロックマッチングアルゴリ
ズムに基づいて一つの時間画像から次の時間画像までの
動きベクトル場を決定する段階を含み、ノイズを含む画
像のシーケンスにおける動き評価用の画像処理方法によ
って解決される。本発明の方法は、処理されるべき画像
（Ｊt ）と、上記処理されるべき画像の前後にある因果
画像と称される先行画像（Ｊt-1 ）及び反因果画像と称
される後続画像（Ｊt+1 ）とを含む３個の連続的な時間
画像を獲得する段階と、上記処理されるべき画像内の基
準ブロック（ＲＢt ）と、上記因果画像及び上記反因果
画像に存在し、輝度類似性規準に従って上記基準ブロッ
ク（ＲＢt ）と最も良く整合する一対のブロック（ＣＢ
t-1 ，ＣＢt+1 ）とを決定する段階と、上記基準ブロッ
クの位置に対する上記一対のブロックの位置に基づいて
上記基準ブロックに関係した動きベクトルを決定する段
階とを含む。
上記従来技術の問題点は、ブロックマッチングアルゴリ
ズムに基づいて一つの時間画像から次の時間画像までの
動きベクトル場を決定する段階を含み、ノイズを含む画
像のシーケンスにおける動き評価用の画像処理方法によ
って解決される。本発明の方法は、処理されるべき画像
（Ｊt ）と、上記処理されるべき画像の前後にある因果
画像と称される先行画像（Ｊt-1 ）及び反因果画像と称
される後続画像（Ｊt+1 ）とを含む３個の連続的な時間
画像を獲得する段階と、上記処理されるべき画像内の基
準ブロック（ＲＢt ）と、上記因果画像及び上記反因果
画像に存在し、輝度類似性規準に従って上記基準ブロッ
ク（ＲＢt ）と最も良く整合する一対のブロック（ＣＢ
t-1 ，ＣＢt+1 ）とを決定する段階と、上記基準ブロッ
クの位置に対する上記一対のブロックの位置に基づいて
上記基準ブロックに関係した動きベクトルを決定する段
階とを含む。
【００１０】画像のシーケンス内のノイズを圧縮する画
像処理方法は、反復的な時間フィルタリング及び上記の
動き評価方法のための装置を含む。医用撮像装置は、画
像のシーケンスを獲得するシステムと、上記画像のデー
タ及び上記画像のシーケンスの表示用システムにアクセ
スする画像処理システムと、上記ノイズ圧縮のための画
像処理方法を実施するプロセッサとを含む画像処理シス
テムとを含む。
像処理方法は、反復的な時間フィルタリング及び上記の
動き評価方法のための装置を含む。医用撮像装置は、画
像のシーケンスを獲得するシステムと、上記画像のデー
タ及び上記画像のシーケンスの表示用システムにアクセ
スする画像処理システムと、上記ノイズ圧縮のための画
像処理方法を実施するプロセッサとを含む画像処理シス
テムとを含む。
【００１１】
【発明の実施の形態】以下、添付図面を参照して本発明
を詳細に説明する。本発明は、画像のサイズに関して非
常に大きいゾーン内に出現し、或いは、一つの画像から
次の画像までに高い振幅を有する動きを伴う対象を生成
するノイズ性画像のシーケンスを処理する方法に関す
る。ここで、高い振幅とは、１０画素以上のオーダーの
動きを意味することに注意する必要がある。本発明の方
法は、図１の機能ブロック図に示された処理段階を含
む。
を詳細に説明する。本発明は、画像のサイズに関して非
常に大きいゾーン内に出現し、或いは、一つの画像から
次の画像までに高い振幅を有する動きを伴う対象を生成
するノイズ性画像のシーケンスを処理する方法に関す
る。ここで、高い振幅とは、１０画素以上のオーダーの
動きを意味することに注意する必要がある。本発明の方
法は、図１の機能ブロック図に示された処理段階を含
む。
【００１２】一つの実現可能なアプリケーション分野
は、ビデオ画像、特に、エンコードされるべき画像のノ
イズ圧縮である。その理由は、ノイズ画像のエンコーデ
ィングは高コストだからである。別のアプリケーション
分野は、医用画像、特に、蛍光透視モードで動作する放
射線医学用Ｘ線装置によって生成される画像のノイズ圧
縮である。毎秒３乃至２５枚の画像のレートで、上記Ｘ
線装置は、非常に低いＸ線照射量を利用して形成される
ため非常に多くのノイズを含む画像のシーケンスを供給
する。かかる蛍光透視画像のシーケンスは、外科手術を
オンライン的に追跡するため頻繁に使用されるので、ノ
イズは実時間で圧縮される必要がある。また、画像のシ
ーケンスは、画像処理動作では消去されないカテーテル
のような動きを伴う非常に小さい対象を含む。本明細書
の説明中、小さいディテール又は小さい対象は、１０画
素以下のオーダーの径を有する対象を意味することに注
意する必要がある。
は、ビデオ画像、特に、エンコードされるべき画像のノ
イズ圧縮である。その理由は、ノイズ画像のエンコーデ
ィングは高コストだからである。別のアプリケーション
分野は、医用画像、特に、蛍光透視モードで動作する放
射線医学用Ｘ線装置によって生成される画像のノイズ圧
縮である。毎秒３乃至２５枚の画像のレートで、上記Ｘ
線装置は、非常に低いＸ線照射量を利用して形成される
ため非常に多くのノイズを含む画像のシーケンスを供給
する。かかる蛍光透視画像のシーケンスは、外科手術を
オンライン的に追跡するため頻繁に使用されるので、ノ
イズは実時間で圧縮される必要がある。また、画像のシ
ーケンスは、画像処理動作では消去されないカテーテル
のような動きを伴う非常に小さい対象を含む。本明細書
の説明中、小さいディテール又は小さい対象は、１０画
素以下のオーダーの径を有する対象を意味することに注
意する必要がある。
【００１３】動き評価方法は、処理されるべき画像Ｊt
と、先行画像である因果画像Ｊt-1と、後続画像である
反因果画像Ｊt+1 とを含むのシーケンスの獲得及びディ
ジタル化のステップ１０を含む。図４を参照するに、各
ノイズ性ディジタル化画像Ｊ t 、Ｊt-1 及びＪt+1 は、
３次元空間画像内でＡt 、Ａt-1 及びＡt+1 のように表
現された座標ｘ，ｙで指定される画素の２次元空間マト
リックスからなり、画素Ａt 、Ａt-1 及びＡt+1 は、夫
々、ディジタル化輝度レベルＩt （ｘ，ｙ）、Ｉ
t-1 （ｘ，ｙ）及びＩt+1 （ｘ，ｙ）を有する。簡単の
ため、輝度はＩt 、Ｉ t-1 及びＩt+1 のように表す。
と、先行画像である因果画像Ｊt-1と、後続画像である
反因果画像Ｊt+1 とを含むのシーケンスの獲得及びディ
ジタル化のステップ１０を含む。図４を参照するに、各
ノイズ性ディジタル化画像Ｊ t 、Ｊt-1 及びＪt+1 は、
３次元空間画像内でＡt 、Ａt-1 及びＡt+1 のように表
現された座標ｘ，ｙで指定される画素の２次元空間マト
リックスからなり、画素Ａt 、Ａt-1 及びＡt+1 は、夫
々、ディジタル化輝度レベルＩt （ｘ，ｙ）、Ｉ
t-1 （ｘ，ｙ）及びＩt+1 （ｘ，ｙ）を有する。簡単の
ため、輝度はＩt 、Ｉ t-1 及びＩt+1 のように表す。
【００１４】図７の（Ａ）及び（Ｂ）を参照するに、画
像のシーケンス内の各画像のノイズを連続的に圧縮する
ため適する反復的な時間ノイズフィルタリング方法は、
座標ｘ，ｙに存在する画素Ａt 、Ａt-1 及びＡt+1 の異
なる輝度レベルＩt 、Ｉt-1及びＩt+1 によって時間
（τ）の関数として形成されたノイズ性時間信号の処理
を含む。図７の（Ａ）を参照するに、時間信号は、時点
ｔ−１と時点ｔとの間にある輝度の前縁部と、時点ｔを
越えた時点ｔ＋１の平坦頂部（プラトー）とを有する。
平坦頂部は、単純なノイズ性信号の場合には、時点ｔ−
１と時点ｔ＋１の間の動きを表す。図７の（Ｂ）を参照
するに、時間信号は時点ｔ−１と時点ｔ＋１の間の時点
ｔでノイズピークを発生し、この時間信号は単にノイズ
だけを含む信号である。図７の（Ｃ）では、動き補償の
無い反復的な時間フィルタリングによってフィルタ処理
された時間信号Ｐ（τ）を得るため、時間フィルタリン
グ方法が図７の（Ａ）の信号に適用されている。その結
果として、輝度は、動きに起因して上昇エッジの両側に
シフトされた状態になる。図７の（Ｄ）には、同じ時間
ノイズフィルタ処理信号が示されているが、上昇エッジ
は存在しない。これは、動きが補償されたことを意味す
る。本発明の方法によれば、図７の（Ｄ）に示された結
果を獲得すべく、動きを補償するため動き評価を行うこ
とができる。
像のシーケンス内の各画像のノイズを連続的に圧縮する
ため適する反復的な時間ノイズフィルタリング方法は、
座標ｘ，ｙに存在する画素Ａt 、Ａt-1 及びＡt+1 の異
なる輝度レベルＩt 、Ｉt-1及びＩt+1 によって時間
（τ）の関数として形成されたノイズ性時間信号の処理
を含む。図７の（Ａ）を参照するに、時間信号は、時点
ｔ−１と時点ｔとの間にある輝度の前縁部と、時点ｔを
越えた時点ｔ＋１の平坦頂部（プラトー）とを有する。
平坦頂部は、単純なノイズ性信号の場合には、時点ｔ−
１と時点ｔ＋１の間の動きを表す。図７の（Ｂ）を参照
するに、時間信号は時点ｔ−１と時点ｔ＋１の間の時点
ｔでノイズピークを発生し、この時間信号は単にノイズ
だけを含む信号である。図７の（Ｃ）では、動き補償の
無い反復的な時間フィルタリングによってフィルタ処理
された時間信号Ｐ（τ）を得るため、時間フィルタリン
グ方法が図７の（Ａ）の信号に適用されている。その結
果として、輝度は、動きに起因して上昇エッジの両側に
シフトされた状態になる。図７の（Ｄ）には、同じ時間
ノイズフィルタ処理信号が示されているが、上昇エッジ
は存在しない。これは、動きが補償されたことを意味す
る。本発明の方法によれば、図７の（Ｄ）に示された結
果を獲得すべく、動きを補償するため動き評価を行うこ
とができる。
【００１５】時間信号中の点である時間輝度Ｉt-1 、Ｉ
t 及びＩt+1 はサンプルと呼ばれる。処理されるサンプ
ルＩt に先行するサンプル及び後続するサンプルは、夫
々、因果サンプル及び反因果サンプルと称され、参照記
号Ｉt-1 及びＩt+1 で示される。反復的時間フィルタリ
ング方法は、以下の通りの一般的な関数の計算を実施す
る。
t 及びＩt+1 はサンプルと呼ばれる。処理されるサンプ
ルＩt に先行するサンプル及び後続するサンプルは、夫
々、因果サンプル及び反因果サンプルと称され、参照記
号Ｉt-1 及びＩt+1 で示される。反復的時間フィルタリ
ング方法は、以下の通りの一般的な関数の計算を実施す
る。
【００１６】 Ｐt ＝Ｐt-1 ＋Ｋt （Ｉt −Ｐt-1 ） （１） 式中、Ｋt は、欧州特許出願第EP-0751482号又はEP-075
1483号の明細書に開示されるように反復的な時間フィル
タリング動作が小さい局所運動及びノイズピークを取り
扱うことを保証するように適合されたノイズ圧縮率であ
る。上記の引用された明細書に開示された方法は、ノイ
ズと、ノイズピークと、ノイズトレイル（ノイズ後尾
部）のフィルタリングが可能である。
1483号の明細書に開示されるように反復的な時間フィル
タリング動作が小さい局所運動及びノイズピークを取り
扱うことを保証するように適合されたノイズ圧縮率であ
る。上記の引用された明細書に開示された方法は、ノイ
ズと、ノイズピークと、ノイズトレイル（ノイズ後尾
部）のフィルタリングが可能である。
【００１７】当業者に知られているように、反復的な時
間フィルタリングは、画像中のノイズを圧縮する最良の
方法の中の一つの方法である。しかし、この種のフィル
タリングは、高い振幅の動きが発生している場合に、画
像を正確にフィルタリングすることができない。動きが
存在する場合でも反復的な時間フィルタリングを使用す
ることができる解決方法は、動き補償用の第１のフェー
ズと、反復的な時間フィルタリング用の第２のフェーズ
とを有する画像処理方法を実施することである。これら
の二つのフェーズは、種々のスキームに従って組み合わ
せることができる。
間フィルタリングは、画像中のノイズを圧縮する最良の
方法の中の一つの方法である。しかし、この種のフィル
タリングは、高い振幅の動きが発生している場合に、画
像を正確にフィルタリングすることができない。動きが
存在する場合でも反復的な時間フィルタリングを使用す
ることができる解決方法は、動き補償用の第１のフェー
ズと、反復的な時間フィルタリング用の第２のフェーズ
とを有する画像処理方法を実施することである。これら
の二つのフェーズは、種々のスキームに従って組み合わ
せることができる。
【００１８】第１のスキームの場合（図３の（Ａ）を参
照）、処理されるべき画像Ｊt のノイズ性信号Ｉt は、
処理されるべき画像Ｊt に関する動きの評価及び補償が
行われる第１のフェーズ１５０を通過する。この第１の
フェーズは、位置合わせされた信号Ｃt を生ずる。位置
合わせされた信号Ｃt は、次に、反復的な時間フィルタ
リングを実行し、ノイズ圧縮信号Ｐt を供給する第２の
フェーズ２５０を通過する。
照）、処理されるべき画像Ｊt のノイズ性信号Ｉt は、
処理されるべき画像Ｊt に関する動きの評価及び補償が
行われる第１のフェーズ１５０を通過する。この第１の
フェーズは、位置合わせされた信号Ｃt を生ずる。位置
合わせされた信号Ｃt は、次に、反復的な時間フィルタ
リングを実行し、ノイズ圧縮信号Ｐt を供給する第２の
フェーズ２５０を通過する。
【００１９】第２のスキームの場合（図３の（Ｂ）を参
照）、処理されるべき画像Ｊt のノイズ性信号Ｉt は、
位置ｘ，ｙに関する動きベクトルＶt の評価だけを行
い、動きベクトルＶt 供給する第１のフェーズ１００を
通過する。ノイズ性信号Ｉt 及び動きベクトルＶt は、
次に、ノイズ圧縮画像を形成すべく、動きを補償し、現
在画素に割り当てられるべきノイズ圧縮信号Ｐt を生成
するため、動きベクトルＶt による補助を用いて信号Ｉ
t の時間フィルタリングを行う第２のフェーズ２００を
通過する。
照）、処理されるべき画像Ｊt のノイズ性信号Ｉt は、
位置ｘ，ｙに関する動きベクトルＶt の評価だけを行
い、動きベクトルＶt 供給する第１のフェーズ１００を
通過する。ノイズ性信号Ｉt 及び動きベクトルＶt は、
次に、ノイズ圧縮画像を形成すべく、動きを補償し、現
在画素に割り当てられるべきノイズ圧縮信号Ｐt を生成
するため、動きベクトルＶt による補助を用いて信号Ｉ
t の時間フィルタリングを行う第２のフェーズ２００を
通過する。
【００２０】上記２種類のスキームは、同じ結果を得る
ことを目的とする。実際上、図３の（Ａ）に示された第
１のスキームの方が頻繁に使用される。時間フィルタ
は、画像の輝度Ｉt 及び動きベクトル場Ｖt を受信し、
フィルタリングと同時に画像内の動きを補償するため、
動きベクトル場を利用する。したがって、本発明の目的
は、上記のスキームの中の第１のフェーズを実施するた
め、動きを評価する方法を提供することである。動き評
価方法自体は、動きのある場合に有効なノイズ圧縮を行
うため、第２の時間フィルタリングフェーズと組み合わ
されるように画像のノイズを圧縮するため役立つ。従
来、種々の動きを評価する方法が知られているが、従来
の方法は、一般的にあまりノイズを含まない画像に適用
されるので、非常にノイズを多く含む画像に適用された
場合、許容できない結果を生じる。
ことを目的とする。実際上、図３の（Ａ）に示された第
１のスキームの方が頻繁に使用される。時間フィルタ
は、画像の輝度Ｉt 及び動きベクトル場Ｖt を受信し、
フィルタリングと同時に画像内の動きを補償するため、
動きベクトル場を利用する。したがって、本発明の目的
は、上記のスキームの中の第１のフェーズを実施するた
め、動きを評価する方法を提供することである。動き評
価方法自体は、動きのある場合に有効なノイズ圧縮を行
うため、第２の時間フィルタリングフェーズと組み合わ
されるように画像のノイズを圧縮するため役立つ。従
来、種々の動きを評価する方法が知られているが、従来
の方法は、一般的にあまりノイズを含まない画像に適用
されるので、非常にノイズを多く含む画像に適用された
場合、許容できない結果を生じる。
【００２１】図１及び図５の（Ａ）を参照するに、本発
明の動き評価方法は、処理されるべき画像Ｊt が、例え
ば、１２×１２画素若しくは１６×１６画素の隣接ブロ
ックに分割される予備ステップ２０を含む。画像Ｊ
t は、基準ブロックＲＢt として参照される基本ブロッ
クに分割される。基準ブロックは、当業者に公知である
完全に自動的な走査方法を用いて、例えば、画像の左か
ら右、画像の上から下に順番に処理される。本発明の説
明のため、現在ブロックは処理されるべき画像Ｊtの所
定の位置で選択された基準ブロックである場合を考え
る。画像Ｊt の各基準ブロックは、例えば、ブロックの
中心に在る基準点Ｍk によって定義される。基準点は、
常に各ブロックの同じ近傍にあることが想定され、図４
に示されるように座標ｘ，ｙによって表される。画像Ｊ
t において、基準ブロック自体は、基準点Ｍk の近傍Ｎ
Ｇ（ｘ，ｙ）を構成する。
明の動き評価方法は、処理されるべき画像Ｊt が、例え
ば、１２×１２画素若しくは１６×１６画素の隣接ブロ
ックに分割される予備ステップ２０を含む。画像Ｊ
t は、基準ブロックＲＢt として参照される基本ブロッ
クに分割される。基準ブロックは、当業者に公知である
完全に自動的な走査方法を用いて、例えば、画像の左か
ら右、画像の上から下に順番に処理される。本発明の説
明のため、現在ブロックは処理されるべき画像Ｊtの所
定の位置で選択された基準ブロックである場合を考え
る。画像Ｊt の各基準ブロックは、例えば、ブロックの
中心に在る基準点Ｍk によって定義される。基準点は、
常に各ブロックの同じ近傍にあることが想定され、図４
に示されるように座標ｘ，ｙによって表される。画像Ｊ
t において、基準ブロック自体は、基準点Ｍk の近傍Ｎ
Ｇ（ｘ，ｙ）を構成する。
【００２２】本発明における動き評価方法は、ＦＡ−Ｂ
ＭＡ方式と呼ばれ、以下の２つの重要な処理段階ステッ
プ３０及びステップ４０を含む。ステップ３０では、処
理されるべき画像中の所定の基準ブロックに基づいて、
サブステップ３１及びサブステップ３２において因果画
像及び反因果画像である画像内の各探索ウィンドウ毎の
候補ブロックを定義する特定の探索戦略ＳＰが適用され
る。
ＭＡ方式と呼ばれ、以下の２つの重要な処理段階ステッ
プ３０及びステップ４０を含む。ステップ３０では、処
理されるべき画像中の所定の基準ブロックに基づいて、
サブステップ３１及びサブステップ３２において因果画
像及び反因果画像である画像内の各探索ウィンドウ毎の
候補ブロックを定義する特定の探索戦略ＳＰが適用され
る。
【００２３】ステップ４０では、因果画像及び反因果画
像の候補ブロックの中から２個のマッチングブロックを
選択し、マッチングブロック毎に基準ブロックから２個
の対称的な動きベクトルを計算することができる２重の
輝度類似性規準ＤＣＳが適用され、それに基づいて、基
準ブロックに割り当てられるべき動きベクトルが得られ
る。
像の候補ブロックの中から２個のマッチングブロックを
選択し、マッチングブロック毎に基準ブロックから２個
の対称的な動きベクトルを計算することができる２重の
輝度類似性規準ＤＣＳが適用され、それに基づいて、基
準ブロックに割り当てられるべき動きベクトルが得られ
る。
【００２４】かくして、本発明の動き評価方法ＦＡ−Ｂ
ＭＡは、処理されるべき画像Ｊt と、因果画像Ｊ
t-1 と、反因果画像Ｊt+1 の３個の時間画像内の３個の
ブロックのマッチングを行う。従来技術により公知の動
き評価アルゴリズムＢＭＡ（ブロックマッチングアルゴ
リズム）は、処理されるべき画像及び因果画像の２個だ
けの時間画像において２個のブロックのマッチングを行
うに過ぎない。したがって、本発明による探索戦略ステ
ップは、従来のように２個の連続画像だけを使用するの
ではなく、因果画像Ｊt-1 と、処理されるべき画像Ｊt
と、反因果画像Ｊt+1である補助画像の３枚の画像を使
用する。
ＭＡは、処理されるべき画像Ｊt と、因果画像Ｊ
t-1 と、反因果画像Ｊt+1 の３個の時間画像内の３個の
ブロックのマッチングを行う。従来技術により公知の動
き評価アルゴリズムＢＭＡ（ブロックマッチングアルゴ
リズム）は、処理されるべき画像及び因果画像の２個だ
けの時間画像において２個のブロックのマッチングを行
うに過ぎない。したがって、本発明による探索戦略ステ
ップは、従来のように２個の連続画像だけを使用するの
ではなく、因果画像Ｊt-1 と、処理されるべき画像Ｊt
と、反因果画像Ｊt+1である補助画像の３枚の画像を使
用する。
【００２５】図５の（Ａ）を参照するに、特定の探索戦
略ＳＰを適用するステップ３０は、一方で、所定の基準
ブロックＲＢt に対し、因果画像Ｊt-1 において基準ブ
ロックＲＢt と同じ位置ｘ，ｙを有する相同ブロックＨ
Ｂt-1 を決定し、所与の数の所謂候補ブロックが定義さ
れる探索ウィンドウＳＷt-1 を相同ブロックＨＢt-1の
周辺に定義するサブステップ３１を含む。
略ＳＰを適用するステップ３０は、一方で、所定の基準
ブロックＲＢt に対し、因果画像Ｊt-1 において基準ブ
ロックＲＢt と同じ位置ｘ，ｙを有する相同ブロックＨ
Ｂt-1 を決定し、所与の数の所謂候補ブロックが定義さ
れる探索ウィンドウＳＷt-1 を相同ブロックＨＢt-1の
周辺に定義するサブステップ３１を含む。
【００２６】特定の探索戦略ＳＰを適用するステップ３
０は、他方で、同じ基準ブロックＲＢt に対し、反因果
画像Ｊt+1 内で反因果相同ブロックＨＢt+1 を決定し、
同じ処理を用いて候補ブロックが定義される反因果相同
ブロックの周辺に探索ウィンドウＳＷt+1 を定義する。
探索ウィンドウＳＷt-1 及びＳＷt+1 は幅によって定義
される。一方では、時点ｔと時点ｔ−１の間で検出さ
れ、他方では、時点ｔと時点ｔ＋１の間で検出される動
きベクトルの最大の率（モジュロー）を定義する。ベク
トルは、期待される最大の動きに応じて決定され、若し
くは、画像内で補償されるべき探索ウィンドウの境界で
終了する。
０は、他方で、同じ基準ブロックＲＢt に対し、反因果
画像Ｊt+1 内で反因果相同ブロックＨＢt+1 を決定し、
同じ処理を用いて候補ブロックが定義される反因果相同
ブロックの周辺に探索ウィンドウＳＷt+1 を定義する。
探索ウィンドウＳＷt-1 及びＳＷt+1 は幅によって定義
される。一方では、時点ｔと時点ｔ−１の間で検出さ
れ、他方では、時点ｔと時点ｔ＋１の間で検出される動
きベクトルの最大の率（モジュロー）を定義する。ベク
トルは、期待される最大の動きに応じて決定され、若し
くは、画像内で補償されるべき探索ウィンドウの境界で
終了する。
【００２７】２重の輝度類似性規準ＤＳＣを適用するス
テップ４０、４２は、一方で、因果画像Ｊt-1 の候補ブ
ロックと基準ブロックＲＢt の比較を行い、他方で、因
果画像の代わりに反因果画像に適用される同じ２重の輝
度類似性規準を用いて、反因果画像Ｊt+1 の候補ブロッ
クと同一の基準ブロックＲＢt の比較を行う。この２重
の輝度類似性規準に従って基準ブロックＲＢt と最も良
く類似する候補ブロックは、位置ｘ，ｙにおける時点ｔ
と時点ｔ−１の間の第１の動きベクトルＶ（ｔ，ｔ−
１）と、同じ位置ｘ，ｙにおける時点ｔと時点ｔ＋１の
間の第２の動きベクトルＶ（ｔ，ｔ＋１）とを定義する
ため、マッチングブロックとして選択され、マッチング
ブロックＣＢt-1 及びＣＢt+1 と称される。第１の動き
ベクトルＶ（ｔ，ｔ−１）は、基準ブロックＲＢt の中
心ＭＫt をマッチングブロックＣＢ t-1 の中心ＭＫt-1
と空間的に関連付け、画像Ｊt 内の基準ブロックＲＢt
から相同ブロックＨＢt-1 の方に向けられる。第２の動
きベクトルＶ（ｔ，ｔ＋１）は、基準ブロックＲＢt の
中心ＭＫt をマッチングブロックＣＢt+1 の中心ＭＫ
t+1 と空間的に関連付け、画像Ｊt 内の基準ブロックＲ
Ｂt から反因果相同ブロックＨＢt+1 の方に向けられ
る。
テップ４０、４２は、一方で、因果画像Ｊt-1 の候補ブ
ロックと基準ブロックＲＢt の比較を行い、他方で、因
果画像の代わりに反因果画像に適用される同じ２重の輝
度類似性規準を用いて、反因果画像Ｊt+1 の候補ブロッ
クと同一の基準ブロックＲＢt の比較を行う。この２重
の輝度類似性規準に従って基準ブロックＲＢt と最も良
く類似する候補ブロックは、位置ｘ，ｙにおける時点ｔ
と時点ｔ−１の間の第１の動きベクトルＶ（ｔ，ｔ−
１）と、同じ位置ｘ，ｙにおける時点ｔと時点ｔ＋１の
間の第２の動きベクトルＶ（ｔ，ｔ＋１）とを定義する
ため、マッチングブロックとして選択され、マッチング
ブロックＣＢt-1 及びＣＢt+1 と称される。第１の動き
ベクトルＶ（ｔ，ｔ−１）は、基準ブロックＲＢt の中
心ＭＫt をマッチングブロックＣＢ t-1 の中心ＭＫt-1
と空間的に関連付け、画像Ｊt 内の基準ブロックＲＢt
から相同ブロックＨＢt-1 の方に向けられる。第２の動
きベクトルＶ（ｔ，ｔ＋１）は、基準ブロックＲＢt の
中心ＭＫt をマッチングブロックＣＢt+1 の中心ＭＫ
t+1 と空間的に関連付け、画像Ｊt 内の基準ブロックＲ
Ｂt から反因果相同ブロックＨＢt+1 の方に向けられ
る。
【００２８】新規の２重の類似性規準ＤＳＣは、一方で
画像ｔ−１におけるマッチングブロックと画像ｔにおけ
る基準ブロックとの間の動き、並びに、画像ｔにおける
基準ブロックと画像ｔ＋１におけるマッチングブロック
との間の動きが、局所的に直線的、連続的かつ均一であ
るという仮定に基づく。これは、時点ｔ−１と時点ｔの
間のベクトルＶ（ｔ−１，ｔ）が時点ｔと時点ｔ＋１の
間のベクトルと同一であることを意味する。かくして、
ベクトルＶ（ｔ−１，ｔ）はベクトルＶ（ｔ，ｔ＋１）
と同一のベクトルであり、同じ大きさと同じ向きを有す
る。図５の（Ｂ）を参照するに、上記のベクトルは、同
じサポートによって補助され、基準ブロックＲＢt から
出る矢印によって表現される。以下の式によって表現さ
れる。
画像ｔ−１におけるマッチングブロックと画像ｔにおけ
る基準ブロックとの間の動き、並びに、画像ｔにおける
基準ブロックと画像ｔ＋１におけるマッチングブロック
との間の動きが、局所的に直線的、連続的かつ均一であ
るという仮定に基づく。これは、時点ｔ−１と時点ｔの
間のベクトルＶ（ｔ−１，ｔ）が時点ｔと時点ｔ＋１の
間のベクトルと同一であることを意味する。かくして、
ベクトルＶ（ｔ−１，ｔ）はベクトルＶ（ｔ，ｔ＋１）
と同一のベクトルであり、同じ大きさと同じ向きを有す
る。図５の（Ｂ）を参照するに、上記のベクトルは、同
じサポートによって補助され、基準ブロックＲＢt から
出る矢印によって表現される。以下の式によって表現さ
れる。
【００２９】 Ｖ（ｔ，ｔ−１）＝−Ｖ（ｔ，ｔ＋１） （２） このように、２個のマッチングブロックＣＢt-1 及びＣ
Ｂt+1 は、画像Ｊt の基準ブロックＲＢt に関して対称
であるという制約の下で、第１のマッチングブロックＣ
Ｂt-1 は画像Ｊt-1 内で決定され、マッチングブロック
ＣＢt+1 は画像Ｊ t+1 内で決定される。
Ｂt+1 は、画像Ｊt の基準ブロックＲＢt に関して対称
であるという制約の下で、第１のマッチングブロックＣ
Ｂt-1 は画像Ｊt-1 内で決定され、マッチングブロック
ＣＢt+1 は画像Ｊ t+1 内で決定される。
【００３０】このような対称的なベクトルを決定するた
め、２重の類似性規準の中の第１の所謂因果部分を形成
する基本類似性規準が定義され、探索ウィンドウＳＷ
t-1 の第１のマッチングブロックＣＢt-1 と画像Ｊt の
基準ブロックＲＢt との間に適用される。第１の因果部
分は以下のように表現される。 ＳＣC （ＭＫt ，ＭＫt-1 ＋Ｖ） （３ａ） 同様に、２重の類似性規準の中の第２の所謂反因果部分
を形成する基本類似性規準が定義され、探索ウィンドウ
ＳＷt+1 の第２のマッチングブロックＣＢt+1と画像Ｊ
t の基準ブロックＲＢt との間に適用される。第２の因
果部分は以下のように表現される。
め、２重の類似性規準の中の第１の所謂因果部分を形成
する基本類似性規準が定義され、探索ウィンドウＳＷ
t-1 の第１のマッチングブロックＣＢt-1 と画像Ｊt の
基準ブロックＲＢt との間に適用される。第１の因果部
分は以下のように表現される。 ＳＣC （ＭＫt ，ＭＫt-1 ＋Ｖ） （３ａ） 同様に、２重の類似性規準の中の第２の所謂反因果部分
を形成する基本類似性規準が定義され、探索ウィンドウ
ＳＷt+1 の第２のマッチングブロックＣＢt+1と画像Ｊ
t の基準ブロックＲＢt との間に適用される。第２の因
果部分は以下のように表現される。
【００３１】 ＳＣA （ＭＫt ，ＭＫt+1 ＋Ｖ） （３ｂ） 点Ｍk とベクトルの和は、点Ｍk をベクトルによって平
行移動させた別の点を表す。時間信号のサンプルを考慮
に入れると、２重の類似性規準の因果部分及び反因果部
分は以下の通り表される。 ＳＣC ＝Σ［Ｉt （Ｘk ，Ｙk ）−Ｉt-1 （Ｘk ＋Ｖx ，Ｙk ＋Ｖy ）］2 （４ａ） ＳＣA ＝Σ［Ｉt （Ｘk ，Ｙk ）−Ｉt+1 （Ｘk ＋Ｖx ，Ｙk −Ｖy ）］2 （４ｂ） （Ｘk ，Ｙk ）∈ＮＧk （５ａ） 上記の通り表された２重の類似性規準の因果部分及び反
因果部分は、それぞれ、基準ブロックと因果画像内の候
補ブロック、及び、基準ブロックと反因果画像内の候補
ブロックのユークリッド距離であり、すなわち、基準ブ
ロック内に在る画素とベクトルＶ（ｔ，ｔ−１）に対応
した因果画像内の候補ブロック内に在る画素の輝度の差
の２乗和、及び、基準ブロック内に在る画素とベクトル
Ｖ（ｔ，ｔ＋１）に対応した反因果画像の候補ブロック
内に在る画素の輝度の差の２乗和である。
行移動させた別の点を表す。時間信号のサンプルを考慮
に入れると、２重の類似性規準の因果部分及び反因果部
分は以下の通り表される。 ＳＣC ＝Σ［Ｉt （Ｘk ，Ｙk ）−Ｉt-1 （Ｘk ＋Ｖx ，Ｙk ＋Ｖy ）］2 （４ａ） ＳＣA ＝Σ［Ｉt （Ｘk ，Ｙk ）−Ｉt+1 （Ｘk ＋Ｖx ，Ｙk −Ｖy ）］2 （４ｂ） （Ｘk ，Ｙk ）∈ＮＧk （５ａ） 上記の通り表された２重の類似性規準の因果部分及び反
因果部分は、それぞれ、基準ブロックと因果画像内の候
補ブロック、及び、基準ブロックと反因果画像内の候補
ブロックのユークリッド距離であり、すなわち、基準ブ
ロック内に在る画素とベクトルＶ（ｔ，ｔ−１）に対応
した因果画像内の候補ブロック内に在る画素の輝度の差
の２乗和、及び、基準ブロック内に在る画素とベクトル
Ｖ（ｔ，ｔ＋１）に対応した反因果画像の候補ブロック
内に在る画素の輝度の差の２乗和である。
【００３２】より詳細に言うと、ベクトルＶは２個の成
分Ｖx 及びＶy によって定義される。各位置ｘ，ｙに対
し、基準ブロック内の画素と候補ブロック内のマッチン
グ画素が存在する。２個の画素の間の輝度差が計算さ
れ、２乗され、累計が加算される。これは非常に大量の
計算作業を必要とする。類似性規準の因果部分ＳＣC は
各候補ブロック毎に計算され、最良の類似性測定を与え
るブロックは動きベクトルを決定するため選択される。
かくして、類似性規準を評価するため計算されるべき差
の２乗の個数はブロック内に存在する画素数と一致し、
８×８画素のブロックは６４要素の合計を意味する。画
素は、同じベクトルＶで分離された２個ずつ、すなわ
ち、各ブロックに１個ずつ選択される。ベクトルＶは各
候補ブロック毎に選択される。基準ブロックにおいて、
全ての画素は同じ動きベクトルを有すると推定される。
これは、ＦＡ−ＢＭＡ法が２個のブロックを連結する並
行移動に基づくこと、並びに、Ｖx 及びＶy が所定の候
補ブロックに対し変化しないことを意味する。８×８画
素のブロックが定義され、１０又は１５個程度の画素を
備えた探索ウィンドウＳＷが相同ブロックの周辺で定義
される場合、ブロックのｘ及びｙ方向の各辺毎に１０又
は１５個の実現可能な位置が存在する。これは、対象が
１０又は１５画素程度だけ移動し得ることを意味する。
そのため、探索ウィンドウは、２８×２８画素又は３３
×３３画素に寸法が定められる。これは、候補ブロック
毎に、６４個の差が１回の類似性測定に対し２乗され、
加算されることを意味する。これは、輝度類似性規準の
第２の反因果部分ＳＣA を用いて動きベクトルの評価の
場合にも同様である。
分Ｖx 及びＶy によって定義される。各位置ｘ，ｙに対
し、基準ブロック内の画素と候補ブロック内のマッチン
グ画素が存在する。２個の画素の間の輝度差が計算さ
れ、２乗され、累計が加算される。これは非常に大量の
計算作業を必要とする。類似性規準の因果部分ＳＣC は
各候補ブロック毎に計算され、最良の類似性測定を与え
るブロックは動きベクトルを決定するため選択される。
かくして、類似性規準を評価するため計算されるべき差
の２乗の個数はブロック内に存在する画素数と一致し、
８×８画素のブロックは６４要素の合計を意味する。画
素は、同じベクトルＶで分離された２個ずつ、すなわ
ち、各ブロックに１個ずつ選択される。ベクトルＶは各
候補ブロック毎に選択される。基準ブロックにおいて、
全ての画素は同じ動きベクトルを有すると推定される。
これは、ＦＡ−ＢＭＡ法が２個のブロックを連結する並
行移動に基づくこと、並びに、Ｖx 及びＶy が所定の候
補ブロックに対し変化しないことを意味する。８×８画
素のブロックが定義され、１０又は１５個程度の画素を
備えた探索ウィンドウＳＷが相同ブロックの周辺で定義
される場合、ブロックのｘ及びｙ方向の各辺毎に１０又
は１５個の実現可能な位置が存在する。これは、対象が
１０又は１５画素程度だけ移動し得ることを意味する。
そのため、探索ウィンドウは、２８×２８画素又は３３
×３３画素に寸法が定められる。これは、候補ブロック
毎に、６４個の差が１回の類似性測定に対し２乗され、
加算されることを意味する。これは、輝度類似性規準の
第２の反因果部分ＳＣA を用いて動きベクトルの評価の
場合にも同様である。
【００３３】好ましくは、網羅的な特定の探索戦略Ｆ−
ＳＰが使用され、この戦略によれば、探索ウィンドウの
全ての可能なブロックが選択され、すなわち、全てのブ
ロックが、例えば、中心点である基準点及びその寸法に
よって参照される。探索ウィンドウの各点は候補ブロッ
クの基準点である。本例の場合では、第１の因果規準Ｓ
ＣC を評価するため、２８×２８画素又は３３×３３画
素の探索ウィンドウ内の全ての実現可能な候補ブロック
をテストする必要があるので、７８４又は１０８９回の
類似性測定が行われなければならない。全部で、７８４
×６４回又は１０８９×６４回の差の平方を必要とす
る。同じ量の計算が第２の反因果類似性規準ＳＣA に対
しても行われる。したがって、この網羅的な探索戦略Ｆ
−ＳＰを用いる類似性測定の計算は、動き評価を行うた
め必要な非常に大量の計算容量を利用する。
ＳＰが使用され、この戦略によれば、探索ウィンドウの
全ての可能なブロックが選択され、すなわち、全てのブ
ロックが、例えば、中心点である基準点及びその寸法に
よって参照される。探索ウィンドウの各点は候補ブロッ
クの基準点である。本例の場合では、第１の因果規準Ｓ
ＣC を評価するため、２８×２８画素又は３３×３３画
素の探索ウィンドウ内の全ての実現可能な候補ブロック
をテストする必要があるので、７８４又は１０８９回の
類似性測定が行われなければならない。全部で、７８４
×６４回又は１０８９×６４回の差の平方を必要とす
る。同じ量の計算が第２の反因果類似性規準ＳＣA に対
しても行われる。したがって、この網羅的な探索戦略Ｆ
−ＳＰを用いる類似性測定の計算は、動き評価を行うた
め必要な非常に大量の計算容量を利用する。
【００３４】かくして、２重の輝度類似性規準Ｄ−ＳＣ
は、異なる時点に同じ基本類似性規準が適用されること
によって、因果部分と反因果部分が組み合わされる点に
新規性がある。２重の輝度類似性規準は次の式で表現さ
れる。 Ｄ−ＳＣ＝ＳＣC ［Ｍｋt ，Ｍｋt-1 ＋Ｖ］ ＋ＳＣA ［Ｍｋt ，Ｍｋt+1 −Ｖ］ （６） 上式（６）によれば、因果部分及び反因果部分は、因果
／反因果規準と称される２重の輝度類似性規準を形成す
るため、加算することにより評価される。
は、異なる時点に同じ基本類似性規準が適用されること
によって、因果部分と反因果部分が組み合わされる点に
新規性がある。２重の輝度類似性規準は次の式で表現さ
れる。 Ｄ−ＳＣ＝ＳＣC ［Ｍｋt ，Ｍｋt-1 ＋Ｖ］ ＋ＳＣA ［Ｍｋt ，Ｍｋt+1 −Ｖ］ （６） 上式（６）によれば、因果部分及び反因果部分は、因果
／反因果規準と称される２重の輝度類似性規準を形成す
るため、加算することにより評価される。
【００３５】探索される動きベクトルは、画像Ｊt+1 及
びＪt-1 における探索ウィンドウＳＷt+1 及びＳＷt-1
内に定義された全ての候補ブロックに関して２重の類似
性規準を最小化する動きベクトルである。因果／反因果
２重類似性規準Ｄ−ＳＣを評価するため、先に定義した
ユークリッド距離を利用してもよい。或いは、輝度差の
絶対値の和を利用してもよい。一般的に、因果／反因果
類似性規準は、輝度類似性規準の因果部分及び反因果部
分の２個の部分の組合せの関数である。
びＪt-1 における探索ウィンドウＳＷt+1 及びＳＷt-1
内に定義された全ての候補ブロックに関して２重の類似
性規準を最小化する動きベクトルである。因果／反因果
２重類似性規準Ｄ−ＳＣを評価するため、先に定義した
ユークリッド距離を利用してもよい。或いは、輝度差の
絶対値の和を利用してもよい。一般的に、因果／反因果
類似性規準は、輝度類似性規準の因果部分及び反因果部
分の２個の部分の組合せの関数である。
【００３６】以下の説明では、Ｌ２はユークリッド距離
又は標準を表し、Ｌ１は輝度差の絶対値の和を表すこと
にする。類似性規準の部分を形成するため使用される標
準のタイプに依存して、因果／反因果類似性規準はＤ−
ＳＣDL2 又はＤ−ＳＣDL1 のように表される。一般的
に、ミンコフスキー距離と称される以下のような差を利
用することができる。
又は標準を表し、Ｌ１は輝度差の絶対値の和を表すこと
にする。類似性規準の部分を形成するため使用される標
準のタイプに依存して、因果／反因果類似性規準はＤ−
ＳＣDL2 又はＤ−ＳＣDL1 のように表される。一般的
に、ミンコフスキー距離と称される以下のような差を利
用することができる。
【００３７】［Σ［Ｉt −Ｉt-1 ］p ］1/p 以下の説明では、Ｄ−ＳＣDLp と称されるこの２重類似
性規準の因果部分及び反因果部分を評価するため使用さ
れる距離をＬp で表す。テストによって、この新規の２
重規準Ｄ−ＳＣDLp は、ベクトルＶを有するマッチング
因果ブロックが見つけられたとき、マッチング反因果ブ
ロックは必ずベクトル−Ｖを有するので、動きが直線的
であるときに非常に優れた結果を与えることが分かる。
そのため、従来技術のように基準ブロックと因果ブロッ
クの２個のブロックだけからの情報を使用するのではな
く、因果ブロック、基準ブロック及び反因果ブロックの
３個のブロックから取り出された情報が利用される。こ
の動き評価法は、情報の多さの利点を活かしているの
で、ノイズに対し非常に抵抗性がある。これは、実際
上、類似性測定に作用する。
性規準の因果部分及び反因果部分を評価するため使用さ
れる距離をＬp で表す。テストによって、この新規の２
重規準Ｄ−ＳＣDLp は、ベクトルＶを有するマッチング
因果ブロックが見つけられたとき、マッチング反因果ブ
ロックは必ずベクトル−Ｖを有するので、動きが直線的
であるときに非常に優れた結果を与えることが分かる。
そのため、従来技術のように基準ブロックと因果ブロッ
クの２個のブロックだけからの情報を使用するのではな
く、因果ブロック、基準ブロック及び反因果ブロックの
３個のブロックから取り出された情報が利用される。こ
の動き評価法は、情報の多さの利点を活かしているの
で、ノイズに対し非常に抵抗性がある。これは、実際
上、類似性測定に作用する。
【００３８】しかし、動きが３枚の画像の間で直線的で
はない場合、上記の方法は適用され得ない。これはそれ
ほど頻発するケースではない。実際上、毎秒２５枚の画
像のレートを使用するとき、２枚の画像は１／２５秒だ
け離れている。したがって、個のレートで、３枚の連続
的な画像の間の動きは直線的であると考えられ、３枚の
時間画像に関して連続的である。
はない場合、上記の方法は適用され得ない。これはそれ
ほど頻発するケースではない。実際上、毎秒２５枚の画
像のレートを使用するとき、２枚の画像は１／２５秒だ
け離れている。したがって、個のレートで、３枚の連続
的な画像の間の動きは直線的であると考えられ、３枚の
時間画像に関して連続的である。
【００３９】一方、図１を参照するに、時点ｔ−１と時
点ｔ＋１の間の非直線的な動きの発生の結果を考慮する
ため、本発明は、ステップ４０において、ステップ４２
と並列に実行されるサブステップ４１を含み、本例にお
いて適用されるステップ５０によって終端される２本の
系列４１及び４２が形成される。単一の基準ブロックと
因果ブロックとの間に適用された基本類似性規準によっ
て決定されるベクトルをＶ0 で表現し、網羅的な２重因
果／反因果規準により決定されるベクトルをＶDLp で表
現する。非直線、不連続かつ不均一な動きの場合に、ベ
クトルＶ0 は画像Ｊt と画像Ｊt-1 の間の探索ウィンド
ウ内で最良であるため、ベクトルＶDLp はベクトルＶ0
よりも劣る。この不連続性に起因して、ベクトルＶDLp
は実際の動きとは完全に異なるので、距離は以下の通り
に表される。
点ｔ＋１の間の非直線的な動きの発生の結果を考慮する
ため、本発明は、ステップ４０において、ステップ４２
と並列に実行されるサブステップ４１を含み、本例にお
いて適用されるステップ５０によって終端される２本の
系列４１及び４２が形成される。単一の基準ブロックと
因果ブロックとの間に適用された基本類似性規準によっ
て決定されるベクトルをＶ0 で表現し、網羅的な２重因
果／反因果規準により決定されるベクトルをＶDLp で表
現する。非直線、不連続かつ不均一な動きの場合に、ベ
クトルＶ0 は画像Ｊt と画像Ｊt-1 の間の探索ウィンド
ウ内で最良であるため、ベクトルＶDLp はベクトルＶ0
よりも劣る。この不連続性に起因して、ベクトルＶDLp
は実際の動きとは完全に異なるので、距離は以下の通り
に表される。
【００４０】 Ｌｐ（Ｖ0 ）＜ｍ×Ｌｐ（ＶDLp ） （７） 上式（７）において、係数ｍは簡明でなければならな
い。例えば、Ｌｐ（Ｖ0）がＬｐ（ＶDLp ）よりも２０
％以上小さい場合に、連続的な直線性の仮定は、殆ど真
正であることはなく、ベクトルＶ0 は探索される最良ベ
クトルである。したがって、式（７）のｍは、２０％に
対応させるためには０．８に一致する。
い。例えば、Ｌｐ（Ｖ0）がＬｐ（ＶDLp ）よりも２０
％以上小さい場合に、連続的な直線性の仮定は、殆ど真
正であることはなく、ベクトルＶ0 は探索される最良ベ
クトルである。したがって、式（７）のｍは、２０％に
対応させるためには０．８に一致する。
【００４１】ステップ５０のテストを含む系列４１にお
いて、式（７）が検証された場合、非直線、不連続、若
しくは、不均一な動きが検出され、 ＶADLp＝Ｖ0 である動きベクトルが選択されたこと意味する決定６１
がなされる。式（７）が検証されない場合、したがっ
て、３枚の画像の間で検出された動きが直線的、連続的
かつ均一的である場合、別の決定６２がなされ、選択さ
れる動きベクトルは、 ＶADLp＝ＶDLp であり、式中、ＡＤＬｐは適応的ＤＬｐを表す。図１の
類似性規準は、２重の適応的な輝度類似性規準であり、
ＡＤ−ＳＣDLp のように称される。
いて、式（７）が検証された場合、非直線、不連続、若
しくは、不均一な動きが検出され、 ＶADLp＝Ｖ0 である動きベクトルが選択されたこと意味する決定６１
がなされる。式（７）が検証されない場合、したがっ
て、３枚の画像の間で検出された動きが直線的、連続的
かつ均一的である場合、別の決定６２がなされ、選択さ
れる動きベクトルは、 ＶADLp＝ＶDLp であり、式中、ＡＤＬｐは適応的ＤＬｐを表す。図１の
類似性規準は、２重の適応的な輝度類似性規準であり、
ＡＤ−ＳＣDLp のように称される。
【００４２】一方で、本発明が上記の通り直線性の仮定
に基づき得る場合、従来の方法よりも遙かにノイズに対
しロバスト性がある。他方で、本発明は、直線性の仮定
のテストを行うことが可能であり、直線性の仮定が正し
くないことが判明した場合、局所的に許容可能な解を与
える。２重の適応的な規準ＡＤ−ＳＣDLp の使用によっ
て、実際的に優れた結果が得られ、３枚の時間画像の間
の直線性の仮定が正しくないことは極めて稀であるの
で、非常に優れた結果が得られる。
に基づき得る場合、従来の方法よりも遙かにノイズに対
しロバスト性がある。他方で、本発明は、直線性の仮定
のテストを行うことが可能であり、直線性の仮定が正し
くないことが判明した場合、局所的に許容可能な解を与
える。２重の適応的な規準ＡＤ−ＳＣDLp の使用によっ
て、実際的に優れた結果が得られ、３枚の時間画像の間
の直線性の仮定が正しくないことは極めて稀であるの
で、非常に優れた結果が得られる。
【００４３】かくして、いわゆる動き評価法ＦＡ−ＢＭ
Ａの場合に、２重の適応的な輝度類似性規準ＡＤ−ＳＣ
DLp は、３枚の時間ブロックの情報に基づいて、規準の
因果部分と規準の反因果部分の関数によって構成され
る。この方法は、特に、この関数の因果部分に関するテ
ストの実行を可能にし、このテストの最後に、直線性の
仮定の真偽の結論が得られる。この検証は各ブロックに
ついて行われる。一般的に、規準の因果部分に適用され
た計算は、最初に実行され、規準の因果部分を最小限に
抑えるベクトルが与えられるので、このテストは各規準
ブロック毎に１回ずつ行われる。
Ａの場合に、２重の適応的な輝度類似性規準ＡＤ−ＳＣ
DLp は、３枚の時間ブロックの情報に基づいて、規準の
因果部分と規準の反因果部分の関数によって構成され
る。この方法は、特に、この関数の因果部分に関するテ
ストの実行を可能にし、このテストの最後に、直線性の
仮定の真偽の結論が得られる。この検証は各ブロックに
ついて行われる。一般的に、規準の因果部分に適用され
た計算は、最初に実行され、規準の因果部分を最小限に
抑えるベクトルが与えられるので、このテストは各規準
ブロック毎に１回ずつ行われる。
【００４４】２重の適応的な類似性規準は時間的一貫性
の概念、すなわち、時間的な形で検出されたベクトル場
は直線性の仮定に照合すべきであるという概念を導入す
るので、探索されるベクトルに制限が加えられる。時間
フィルタリングフェーズにおいて、従来の時間方向のフ
ィルタリングの代わりに、この動きベクトルを適用する
ことにより動き方向のフィルタリングが行われる。かく
して、時間フィルタリングは、動きに起因して類似しな
いブロックの間で実行されるのではなく、相互に類似し
たブロックの間で適用される。
の概念、すなわち、時間的な形で検出されたベクトル場
は直線性の仮定に照合すべきであるという概念を導入す
るので、探索されるベクトルに制限が加えられる。時間
フィルタリングフェーズにおいて、従来の時間方向のフ
ィルタリングの代わりに、この動きベクトルを適用する
ことにより動き方向のフィルタリングが行われる。かく
して、時間フィルタリングは、動きに起因して類似しな
いブロックの間で実行されるのではなく、相互に類似し
たブロックの間で適用される。
【００４５】好ましくは、網羅的な探索戦略Ｆ−ＳＰが
使用され、これにより、画像Ｊt 内の全ての基準ブロッ
クが考慮され、次に、各基準ブロックに対し、全ての可
能なブロックが因果画像の探索ウィンドウ内で解析さ
れ、同時に反因果画像の探索ウィンドウ内で解析され
る。これは、多量の計算が必要であることを意味する。
本例において、この計算は、多数のプロセッサを組み合
わせること、或いは、専用チップを用いることにより実
現される。
使用され、これにより、画像Ｊt 内の全ての基準ブロッ
クが考慮され、次に、各基準ブロックに対し、全ての可
能なブロックが因果画像の探索ウィンドウ内で解析さ
れ、同時に反因果画像の探索ウィンドウ内で解析され
る。これは、多量の計算が必要であることを意味する。
本例において、この計算は、多数のプロセッサを組み合
わせること、或いは、専用チップを用いることにより実
現される。
【００４６】以下の説明では、計算の削減を可能にし、
動き評価法の実時間的な実行に完全に適合された特別の
探索戦略ＨＦ−ＳＰを利用することを提案する。この戦
略は、階層的戦略と称される。この階層的戦略ＨＰ−Ｓ
Ｐを適応的な因果／反因果類似性規準ＡＤ−ＳＣDLp と
組み合わせることにより、新規の動き評価法が完全に定
義される。
動き評価法の実時間的な実行に完全に適合された特別の
探索戦略ＨＦ−ＳＰを利用することを提案する。この戦
略は、階層的戦略と称される。この階層的戦略ＨＰ−Ｓ
Ｐを適応的な因果／反因果類似性規準ＡＤ−ＳＣDLp と
組み合わせることにより、新規の動き評価法が完全に定
義される。
【００４７】図２を参照するに、階層的戦略によれば、
原画像は、ステップ１０１においてフィルタリング演算
とサブサンプリング演算とを適用することにより分割さ
れる。原画像Ｊt は、従来技術において公知の方法を適
用して、１画素が原画像の画素の近傍に関連付けられ、
近傍の平均輝度として計算された輝度がこの画素の割り
当てられる。以下に説明する例において、近傍は着目画
素の周辺の４画素により構成される。平均値は４個の画
素に対し計算される。かくして、第１のレベルに分割さ
れた画像Ｊ’t が形成される。次に、第１のレベルの画
像Ｊ’t は、第２のレベルのより小さい画像Ｊ”t を形
成するよう再分割される。かくして、画像のピラミッド
は元の解像度を備えた画像Ｊt から形成され、第１のレ
ベルの画像Ｊ’t は中間解像度を有し、第２のレベルの
画像Ｊ”t は粗い解像度を有する。最も粗い解像度に
は、原画像に存在する全ての重要なディテールを含む画
像が集められる。微小なニュアンス、微小なディテール
は失われるが、画像の巨視的な傾向は保存される。粗い
画像Ｊ”t はノイズフィルタ処理された画像ではないの
で、ディテールの損失はこの段階において重要ではない
ことに注意する必要がある。
原画像は、ステップ１０１においてフィルタリング演算
とサブサンプリング演算とを適用することにより分割さ
れる。原画像Ｊt は、従来技術において公知の方法を適
用して、１画素が原画像の画素の近傍に関連付けられ、
近傍の平均輝度として計算された輝度がこの画素の割り
当てられる。以下に説明する例において、近傍は着目画
素の周辺の４画素により構成される。平均値は４個の画
素に対し計算される。かくして、第１のレベルに分割さ
れた画像Ｊ’t が形成される。次に、第１のレベルの画
像Ｊ’t は、第２のレベルのより小さい画像Ｊ”t を形
成するよう再分割される。かくして、画像のピラミッド
は元の解像度を備えた画像Ｊt から形成され、第１のレ
ベルの画像Ｊ’t は中間解像度を有し、第２のレベルの
画像Ｊ”t は粗い解像度を有する。最も粗い解像度に
は、原画像に存在する全ての重要なディテールを含む画
像が集められる。微小なニュアンス、微小なディテール
は失われるが、画像の巨視的な傾向は保存される。粗い
画像Ｊ”t はノイズフィルタ処理された画像ではないの
で、ディテールの損失はこの段階において重要ではない
ことに注意する必要がある。
【００４８】図１及び６を参照するに、ステップ１０１
において画像Ｊt に対する画像のピラミッドが形成さ
れ、ステップ１０２において因果画像Ｊt-1 に対し、画
像Ｊ’ t-1 、Ｊ”t-1 が形成され、ステップ１０３にお
いて反因果画像Ｊt+1 に対する画像Ｊ’t+1 、Ｊ”t+1
が形成される。次に、ステップ１１０、１２０及び１３
０において、本発明による新規性のある方法ＦＡ−ＢＭ
Ａが、同一解像度を有する処理されるべき画像と因果及
び反因果画像との間に適用される。この膨張効果のた
め、動きベクトルの探索に含まれる計算の回数は、検出
されるべき動きベクトルの量には比例しなくなり、ｎが
分割ベルの数を表すとき、この量を２n で除算した大き
さに比例するようになる。したがって、通常の解像度に
関する二つの分割レベルの場合、計算の回数は４分の１
になる。
において画像Ｊt に対する画像のピラミッドが形成さ
れ、ステップ１０２において因果画像Ｊt-1 に対し、画
像Ｊ’ t-1 、Ｊ”t-1 が形成され、ステップ１０３にお
いて反因果画像Ｊt+1 に対する画像Ｊ’t+1 、Ｊ”t+1
が形成される。次に、ステップ１１０、１２０及び１３
０において、本発明による新規性のある方法ＦＡ−ＢＭ
Ａが、同一解像度を有する処理されるべき画像と因果及
び反因果画像との間に適用される。この膨張効果のた
め、動きベクトルの探索に含まれる計算の回数は、検出
されるべき動きベクトルの量には比例しなくなり、ｎが
分割ベルの数を表すとき、この量を２n で除算した大き
さに比例するようになる。したがって、通常の解像度に
関する二つの分割レベルの場合、計算の回数は４分の１
になる。
【００４９】演算は以下の通り行われる。第１に、ステ
ップ１１０において、動きベクトルＶ”t は、粗い解像
度を有する３枚の画像を用いて決定される。次に、ステ
ップ１２０において、中間解像度を有するベクトルＶ’
t が探索される。これは、最も粗い解像度で検出された
ベクトルＶ”t の大きさが２倍され、基準点の位置の周
辺ではなく、最も確からしいベクトルの先端の周辺にあ
る探索ウィンドウが中間因果及び反因果画像で決定され
ることを意味する。これらの中間画像によって、新しい
ベクトルＶ’t がステップ１２０で検出され、ステップ
１３０で最高解像度を有する画像の３枚組に対し演算が
繰り返され、この最高解像度の動きベクトルＶt の高速
決定が実現される。
ップ１１０において、動きベクトルＶ”t は、粗い解像
度を有する３枚の画像を用いて決定される。次に、ステ
ップ１２０において、中間解像度を有するベクトルＶ’
t が探索される。これは、最も粗い解像度で検出された
ベクトルＶ”t の大きさが２倍され、基準点の位置の周
辺ではなく、最も確からしいベクトルの先端の周辺にあ
る探索ウィンドウが中間因果及び反因果画像で決定され
ることを意味する。これらの中間画像によって、新しい
ベクトルＶ’t がステップ１２０で検出され、ステップ
１３０で最高解像度を有する画像の３枚組に対し演算が
繰り返され、この最高解像度の動きベクトルＶt の高速
決定が実現される。
【００５０】実験によって、規準ＡＤ−ＳＤＣDLp は、
上記の解像度で階層的探索を利用する間に、非常に満足
できる結果を与えることが判明した。実際上、解像度が
非常に高い場合、計算の回数は膨大である。他方で、画
像が非常に粗い場合、ブロックが非常に粗いため、直線
性の仮定が意味をなさなくなるので、エラーが導入され
る可能性がある。しかし、上記の中間レベルが使用され
るとき、小さいブロックが依然として含まれるので計算
には殆どエラーが生じることがなく、計算結果は非常に
改善される。これにより、実時間演算が可能になる。計
算は、当業者に公知のシグナルプロセッサＣ８０を用い
て実行される。このプロセッサを用いることにより、Ａ
Ｄ−ＳＣDLp 法は、ピラミッド形探索部ＨＦ−ＳＰに対
し０．６に一致する利用率で、ＡＤ−ＳＣDLp 法に先行
するピラミッド形探索部ＨＦ−ＳＰに対し０．７の利用
率で実時間に実行可能である。上記の方法を実行するた
めには、単一コンポーネントのシグナルプロセッサＣ８
０だけが必要である。
上記の解像度で階層的探索を利用する間に、非常に満足
できる結果を与えることが判明した。実際上、解像度が
非常に高い場合、計算の回数は膨大である。他方で、画
像が非常に粗い場合、ブロックが非常に粗いため、直線
性の仮定が意味をなさなくなるので、エラーが導入され
る可能性がある。しかし、上記の中間レベルが使用され
るとき、小さいブロックが依然として含まれるので計算
には殆どエラーが生じることがなく、計算結果は非常に
改善される。これにより、実時間演算が可能になる。計
算は、当業者に公知のシグナルプロセッサＣ８０を用い
て実行される。このプロセッサを用いることにより、Ａ
Ｄ−ＳＣDLp 法は、ピラミッド形探索部ＨＦ−ＳＰに対
し０．６に一致する利用率で、ＡＤ−ＳＣDLp 法に先行
するピラミッド形探索部ＨＦ−ＳＰに対し０．７の利用
率で実時間に実行可能である。上記の方法を実行するた
めには、単一コンポーネントのシグナルプロセッサＣ８
０だけが必要である。
【００５１】
【実施例】図８を参照するに、ディジタルＸ線撮像装置
は、Ｘ線源１と、患者用収容台２と、撮像管４に接続さ
れた画像増倍器３と、ディジタル画像処理システム５と
を含み、撮像管４はデータをディジタル画像処理システ
ム５に供給する。ディジタル画像処理システム５は、動
き評価法及びこの動き評価法を利用するノイズフィルタ
リング演算を実施するプロセッサを含む。プロセッサ
は、数個の出力を有し、その中の出力６は、Ｘ線撮影像
のシーケンスを可視化するためモニター７に接続され
る。この画像処理システムによって、Ｘ線撮像装置は蛍
光透視モードで動作し得る。
は、Ｘ線源１と、患者用収容台２と、撮像管４に接続さ
れた画像増倍器３と、ディジタル画像処理システム５と
を含み、撮像管４はデータをディジタル画像処理システ
ム５に供給する。ディジタル画像処理システム５は、動
き評価法及びこの動き評価法を利用するノイズフィルタ
リング演算を実施するプロセッサを含む。プロセッサ
は、数個の出力を有し、その中の出力６は、Ｘ線撮影像
のシーケンスを可視化するためモニター７に接続され
る。この画像処理システムによって、Ｘ線撮像装置は蛍
光透視モードで動作し得る。
【図１】動き評価方法の処理段階を説明する機能ブロッ
ク図である。
ク図である。
【図２】図１の動き評価方法の他の実施例の処理段階を
説明する機能ブロック図である。
説明する機能ブロック図である。
【図３】（Ａ）と（Ｂ）は、動き評価処理及び時間ノイ
ズフィルタリング方法用の２通りの装置を示す図であ
る。
ズフィルタリング方法用の２通りの装置を示す図であ
る。
【図４】３個の時間画像のシーケンスを獲得する処理を
説明する図である。
説明する図である。
【図５】（Ａ）は２個の探索ウィンドウを決定する処理
を説明する図であり、（Ｂ）は３個の画像のシーケンス
において２個の動きベクトルを決定する処理を説明する
図である。
を説明する図であり、（Ｂ）は３個の画像のシーケンス
において２個の動きベクトルを決定する処理を説明する
図である。
【図６】３個の画像ピラミッドが形成されるように画像
シーケンス中の３個の画像を３個のレベルに分割する処
理を説明する図である。
シーケンス中の３個の画像を３個のレベルに分割する処
理を説明する図である。
【図７】（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は、動きを
伴うノイズ性時間信号、ノイズピークを伴うノイズ性信
号、動きを伴うノイズフィルタ処理された信号、及び、
動き補償とノイズフィルタ処理がなされた時間信号を夫
々に示す図である。
伴うノイズ性時間信号、ノイズピークを伴うノイズ性信
号、動きを伴うノイズフィルタ処理された信号、及び、
動き補償とノイズフィルタ処理がなされた時間信号を夫
々に示す図である。
【図８】Ｘ線撮像装置の概要図である。
Ｊt 処理されるべき画像 Ｊt-1 因果（先行）画像 Ｊt+1 反因果（後続） ＲＢt 基準ブロック ＣＢt-1 ，ＣＢt+1 マッチングブロック
───────────────────────────────────────────────────── フロントページの続き (71)出願人 590000248 Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １, 5621 ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈ ｅ Ｎｅｔｈｅｒｌａｎｄｓ (72)発明者 フィリップ ガテパン フランス国，75012 パリ，リュ・ド・ベ ルシー 243
Claims (10)
- 【請求項１】 ブロックマッチングアルゴリズムに基づ
いて一つの時間画像から次の時間画像までの動きベクト
ル場を決定する段階を有し、ノイズを含む画像のシーケ
ンスにおける動き評価用の画像処理方法において、 処理されるべき画像（Ｊt ）と、上記処理されるべき画
像の前にある因果画像と称される先行画像（Ｊt-1 ）
と、上記処理されるべき画像の後にある反因果画像と称
される後続画像（Ｊt+1 ）とを含む３枚の連続的な時間
画像を獲得する段階と、 上記処理されるべき画像内の基準ブロック（ＲＢt ）
と、上記因果画像及び上記反因果画像内に存在し輝度類
似性規準に従って上記基準ブロック（ＲＢt ）と最も良
く整合する一対のマッチングブロック（ＣＢt-1 ，ＣＢ
t+1 ）とを決定する段階と、 上記基準ブロックの位置に対する上記一対のマッチング
ブロックの位置に基づいて上記基準ブロックに関係した
動きベクトルを決定する段階とを含む画像処理方法。 - 【請求項２】 上記輝度類似性規準は、上記基準ブロッ
クに関して対称的なマッチングブロックを選択し、上記
基準ブロックから各マッチングブロックに向かう対称的
な動きベクトルを決定するため、上記因果画像内のマッ
チングブロック及び上記反因果画像内のマッチングブロ
ックの直線的、連続的かつ均一的な動きの仮定に基づい
ている請求項１記載の画像処理方法。 - 【請求項３】 ２重の輝度類似性規準は、上記基準ブロ
ックを上記因果画像の上記マッチングブロックに関連付
ける因果部分と称される第１の基本類似性規準と、上記
基準ブロックを上記反因果画像の上記マッチングブロッ
クに関連付ける反因果部分と称される第２の基本類似性
規準との関数であり、 上記因果部分及び上記反因果部分は、同一であり、異な
る相対的時点で上記因果画像及び上記反因果画像に夫々
適用される請求項１又は２記載の画像処理方法。 - 【請求項４】 上記因果部分及び上記反因果部分に基づ
いて上記２重の規準を形成する上記関数は、和、平均値
及び線形結合の中から選択される請求項３記載の画像処
理方法。 - 【請求項５】 上記マッチングブロックを決定する段階
は、上記因果画像内のマッチングブロックと上記反因果
画像内のマッチングブロックとの間の動きが直線的、連
続的かつ均一的であるという仮定が検証されるかどうか
を決定するためこの動きに適用されるテストを含み、こ
のテストに基づいて上記マッチングブロックが決定さ
れ、 上記２重の規準を最適化する上記動きベクトルが上記２
重の規準の上記因果部分を最適化する動きベクトルと実
質的に一致することにより上記仮定が検証された場合
に、動きベクトルは上記２重の輝度類似性規準によって
決定され、 上記仮定が検証されない場合に、動きベクトルは、上記
基準ブロックと上記反因果マッチングブロックとの間の
基本輝度類似性規準によって決定される、請求項３又は
４記載の画像処理方法。 - 【請求項６】 上記基本輝度類似性規準は、ミンコフス
キー距離(Minkowskidistances) である請求項３乃至５
のうちいずれか一項記載の画像処理方法。 - 【請求項７】 上記処理されるべき画像と上記因果画像
と上記反因果画像とから得られた異なる解像度の３枚の
画像のピラミッド構造を形成する段階と、 上記類似性規準を、上記処理されるべき画像と上記因果
画像と上記反因果画像とから得られた最低解像度の３枚
の画像に適用することにより動きベクトルを決定する段
階と、 上記処理されるべき画像と上記因果画像と上記反因果画
像とから得られた画像内の最低解像度で検出された上記
動きベクトルを直上の高解像度に関係付け、上記直上の
高解像度に関係付けられたベクトルの周辺で新しい動き
ベクトルを探索する段階と、 探索された動きベクトルを検出するため、最高解像度に
達するまで上記段階を繰り返す段階とを含む、請求項１
乃至６のうちいずれか一項記載の画像処理方法。 - 【請求項８】 上記シーケンス中の画像の間の動きベク
トルを評価するため請求項１乃至７のうちいずれか一項
に記載された動きベクトル評価用の画像処理方法を実施
する段階と、 上記ベクトルを用いた動き補償を伴うノイズの反復的な
時間フィルタリング段階とを含む画像のノイズを圧縮す
る画像処理方法。 - 【請求項９】 画像のシーケンスを獲得するシステム
と、 上記画像のデータ及び上記画像のシーケンスを表示する
システムにアクセスする画像処理システムと、 請求項１乃至８のうちいずれか一項記載の画像処理方法
を実施するプロセッサとを含む医用撮像装置。 - 【請求項１０】 画像のシーケンスを獲得するシステム
と、 上記画像のデータ及び上記画像のシーケンスを表示する
システムにアクセスする画像処理システムと、 請求項１乃至８のうちいずれか一項記載の画像処理方法
を実施するプロセッサとを含むＸ線装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9801906 | 1998-02-17 | ||
| FR9801906 | 1998-02-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11331644A true JPH11331644A (ja) | 1999-11-30 |
Family
ID=9523058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11037497A Withdrawn JPH11331644A (ja) | 1998-02-17 | 1999-02-16 | 画像のシ―ケンス内の動き評価用画像処理方法、ノイズフィルタリング方法及び医用撮像装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6154519A (ja) |
| EP (1) | EP0936575B1 (ja) |
| JP (1) | JPH11331644A (ja) |
| DE (1) | DE69918877T2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007159933A (ja) * | 2005-12-15 | 2007-06-28 | Hitachi Medical Corp | 画像表示方法、プログラム、及び装置 |
| JP2008511395A (ja) * | 2004-08-31 | 2008-04-17 | シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド | 一連の画像における動き修正のための方法およびシステム |
| JP2011097981A (ja) * | 2009-11-04 | 2011-05-19 | Mitsubishi Electric Corp | 画像信号処理装置および画像信号処理方法 |
| JP2013521969A (ja) * | 2010-03-24 | 2013-06-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 物理的対象物の画像を生成するシステム及び方法 |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0926626A1 (fr) * | 1997-12-23 | 1999-06-30 | Koninklijke Philips Electronics N.V. | Procédé de traitement d'image pour réduire le bruit dans une image d'une séquence de trois images temporelles et appareil d'imagerie médicale mettant en oeuvre un tel procédé |
| JP2003533800A (ja) * | 2000-05-18 | 2003-11-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Ｍｃアップコンバージョンにおけるハローを低減する動き推定器 |
| US6813315B1 (en) | 2001-04-24 | 2004-11-02 | Vweb Corporation | Motion estimation using multiple search windows |
| US6891890B1 (en) * | 2001-04-24 | 2005-05-10 | Vweb Corporation | Multi-phase motion estimation system and method |
| US6934332B1 (en) | 2001-04-24 | 2005-08-23 | Vweb Corporation | Motion estimation using predetermined pixel patterns and subpatterns |
| US7233696B2 (en) * | 2002-07-12 | 2007-06-19 | Hill Richard K | Apparatus and method for characterizing digital images using a two axis image sorting technique |
| KR100865034B1 (ko) | 2002-07-18 | 2008-10-23 | 엘지전자 주식회사 | 모션 벡터 예측 방법 |
| EP1589877A1 (en) * | 2003-01-29 | 2005-11-02 | Koninklijke Philips Electronics N.V. | System and method for enhancing an object of interest in noisy medical images |
| US20060239344A1 (en) * | 2005-04-25 | 2006-10-26 | Ashish Koul | Method and system for rate control in a video encoder |
| US7830565B2 (en) * | 2006-06-27 | 2010-11-09 | Motorola, Inc. | Image capture device with rolling band shutter |
| FR2924254B1 (fr) * | 2007-11-23 | 2010-01-01 | Gen Electric | Procede de traitement d'images en radioscopie interventionnelle |
| US8223235B2 (en) * | 2007-12-13 | 2012-07-17 | Motorola Mobility, Inc. | Digital imager with dual rolling shutters |
| JP5053982B2 (ja) * | 2008-12-05 | 2012-10-24 | 株式会社東芝 | Ｘ線診断装置および画像処理装置 |
| US8233747B2 (en) * | 2009-04-03 | 2012-07-31 | Sony Corporation | Method and apparatus for forming super resolution images from raw data representative of color filter array images |
| US8189080B2 (en) * | 2009-04-03 | 2012-05-29 | Sony Corporation | Orientation-based approach for forming a demosaiced image, and for color correcting and zooming the demosaiced image |
| WO2011042858A1 (en) * | 2009-10-06 | 2011-04-14 | Koninklijke Philips Electronics N.V. | Method and system for processing a signal including at least a component representative of a periodic phenomenon in a living being |
| US8942454B2 (en) | 2009-12-03 | 2015-01-27 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Signal to-noise enhancement in imaging applications using a time-series of images |
| KR102274320B1 (ko) * | 2014-10-16 | 2021-07-07 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| US10332243B2 (en) * | 2016-12-12 | 2019-06-25 | International Business Machines Corporation | Tampering detection for digital images |
| US10523961B2 (en) | 2017-08-03 | 2019-12-31 | Samsung Electronics Co., Ltd. | Motion estimation method and apparatus for plurality of frames |
| US11154251B2 (en) | 2018-02-10 | 2021-10-26 | The Governing Council Of The University Of Toronto | System and method for classifying time series data for state identification |
| FR3099586B1 (fr) * | 2019-07-29 | 2021-08-06 | Supersonic Imagine | Système ultrasonore pour détecter un flux d’un fluide dans un milieu |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5337231A (en) * | 1992-03-31 | 1994-08-09 | General Electric Company | View to view image correction for object motion with truncated data |
| US5822007A (en) * | 1993-09-08 | 1998-10-13 | Thomson Multimedia S.A. | Method and apparatus for motion estimation using block matching |
| US5473384A (en) * | 1993-12-16 | 1995-12-05 | At&T Corp. | Method of and system for enhancing distorted graphical information |
| FR2736182A1 (fr) * | 1995-06-30 | 1997-01-03 | Philips Electronique Lab | Procede de traitement d'images pour la reduction du bruit dans une image d'une sequence d'images numeriques et dispositif mettant en oeuvre ce procede |
| FR2736181A1 (fr) * | 1995-06-30 | 1997-01-03 | Philips Electronique Lab | Procede de traitement d'images pour la reduction du bruit dans une image d'une sequence d'images numeriques et dispositif mettant en oeuvre ce procede |
| US5717463A (en) * | 1995-07-24 | 1998-02-10 | Motorola, Inc. | Method and system for estimating motion within a video sequence |
| US5790686A (en) * | 1995-09-19 | 1998-08-04 | University Of Maryland At College Park | DCT-based motion estimation method |
| FR2742902B1 (fr) * | 1995-12-22 | 1998-01-23 | Thomson Multimedia Sa | Procede d'estimation de mouvement |
-
1999
- 1999-02-08 DE DE69918877T patent/DE69918877T2/de not_active Expired - Fee Related
- 1999-02-08 EP EP99200360A patent/EP0936575B1/fr not_active Expired - Lifetime
- 1999-02-12 US US09/249,967 patent/US6154519A/en not_active Expired - Fee Related
- 1999-02-16 JP JP11037497A patent/JPH11331644A/ja not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008511395A (ja) * | 2004-08-31 | 2008-04-17 | シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド | 一連の画像における動き修正のための方法およびシステム |
| JP4885138B2 (ja) * | 2004-08-31 | 2012-02-29 | シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド | 一連の画像における動き修正のための方法およびシステム |
| JP2007159933A (ja) * | 2005-12-15 | 2007-06-28 | Hitachi Medical Corp | 画像表示方法、プログラム、及び装置 |
| JP2011097981A (ja) * | 2009-11-04 | 2011-05-19 | Mitsubishi Electric Corp | 画像信号処理装置および画像信号処理方法 |
| JP2013521969A (ja) * | 2010-03-24 | 2013-06-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 物理的対象物の画像を生成するシステム及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE69918877T2 (de) | 2005-07-28 |
| EP0936575B1 (fr) | 2004-07-28 |
| EP0936575A1 (fr) | 1999-08-18 |
| US6154519A (en) | 2000-11-28 |
| DE69918877D1 (de) | 2004-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11331644A (ja) | 画像のシ―ケンス内の動き評価用画像処理方法、ノイズフィルタリング方法及び医用撮像装置 | |
| JP4444252B2 (ja) | 広域−局所ブロック動き推定用の方法及び装置 | |
| US8078010B2 (en) | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames | |
| US6130912A (en) | Hierarchical motion estimation process and system using block-matching and integral projection | |
| JP3847827B2 (ja) | 動きベクトル検出方法 | |
| JPS62213392A (ja) | フイ−ルド補間方法 | |
| KR100869497B1 (ko) | 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치 | |
| US20050179814A1 (en) | Method and system for de-interlacing digital images, and computer program product therefor | |
| JP5089610B2 (ja) | ブロック基盤の動き推定方法及び装置 | |
| US20070165719A1 (en) | Motion vector detection method and apparatus | |
| JPH10285602A (ja) | 映像データをエンコードするための動的なスプライト | |
| JP2005012797A (ja) | 動き補償のための画素値選択装置および方法 | |
| KR20040108053A (ko) | 움직임 벡터 생성 장치 및 방법 | |
| KR100605746B1 (ko) | 블럭 기반의 움직임 보상 장치 및 방법 | |
| US20040091046A1 (en) | Method and system for video sequence real-time motion compensated temporal upsampling | |
| US6360025B1 (en) | Image processing method for reducing the noise in an image of a sequence of three temporal images, and medical imaging apparatus for carrying out such a method | |
| US5526295A (en) | Efficient block comparisons for motion estimation | |
| US8804830B2 (en) | Method for performing motion estimation | |
| JP6202725B2 (ja) | 画像差分量算出装置、画像符号化装置及びプログラム | |
| KR101192060B1 (ko) | 블록 세트의 코딩을 위한 모션 벡터를 선택하는 방법 및장치 | |
| US9277213B2 (en) | Video encoding device | |
| WO2010070128A1 (en) | Method for multi-resolution motion estimation | |
| JP2005517257A (ja) | セグメント化装置及び方法 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| KR100982625B1 (ko) | 정보 신호의 처리 장치 및 처리 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060214 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20071203 |