JP2831792B2 - 補正された移動補償を用いて時間的画像補間を行なう方法及び装置 - Google Patents
補正された移動補償を用いて時間的画像補間を行なう方法及び装置Info
- Publication number
- JP2831792B2 JP2831792B2 JP2084762A JP8476290A JP2831792B2 JP 2831792 B2 JP2831792 B2 JP 2831792B2 JP 2084762 A JP2084762 A JP 2084762A JP 8476290 A JP8476290 A JP 8476290A JP 2831792 B2 JP2831792 B2 JP 2831792B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- interpolation
- point
- motion vector
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
- H04N7/122—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Color Television Systems (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔発明の背景〕 発明の分野 本発明は、画像処理に係わり、特に移動補償を用いて
行なう、親画像からの時間的画像補間に係わる。
行なう、親画像からの時間的画像補間に係わる。
１つの画像列を別の画像列から補間するということ
は、オリジナルの画像列の複数の画像から最終的な画像
列の１画像を空間的及び時間的補間によって生成すると
いうことである。この補間の目的は、生成されるべき画
像の各画素の特性（輝度値、及び場合によってはクロミ
ナンス値）を、該画像を挟むオリジナル画像の対応する
画素の特性（輝度値、及び場合によってはクロミナンス
値）から決定することである。以後、“フレーム”とい
う語と“画像”という語は区別無く用い、また入力及び
出力フレームのライン数及びライン１本当たりの点の数
が同じである場合のみについて検討する。その他の場合
にも、ここに説明しない適当な空間フィルタ掛けを付加
することによって対処可能である。
は、オリジナルの画像列の複数の画像から最終的な画像
列の１画像を空間的及び時間的補間によって生成すると
いうことである。この補間の目的は、生成されるべき画
像の各画素の特性（輝度値、及び場合によってはクロミ
ナンス値）を、該画像を挟むオリジナル画像の対応する
画素の特性（輝度値、及び場合によってはクロミナンス
値）から決定することである。以後、“フレーム”とい
う語と“画像”という語は区別無く用い、また入力及び
出力フレームのライン数及びライン１本当たりの点の数
が同じである場合のみについて検討する。その他の場合
にも、ここに説明しない適当な空間フィルタ掛けを付加
することによって対処可能である。
画像補間は多くの用途に振り向けられている。特に、
画像補間は、テレビジョン画像列を50Hz規格から60Hz規
格へか、またその逆に変換る標準的方法として用いら
れ、フレーム選択が符号器で行なわれた場合は画像列復
元のための符号化にも用いられ得る。また、画像補間は
通常、画像列の画像周波数を高めて、例えば視覚的快適
さを向上させることを可能にする。
画像補間は、テレビジョン画像列を50Hz規格から60Hz規
格へか、またその逆に変換る標準的方法として用いら
れ、フレーム選択が符号器で行なわれた場合は画像列復
元のための符号化にも用いられ得る。また、画像補間は
通常、画像列の画像周波数を高めて、例えば視覚的快適
さを向上させることを可能にする。
先行技術の説明 画像補間の第１の技術では、補間が線形空間−時間フ
ィルタを用いて行なわれ、このフィルタはフレーム中の
総ての点に関して固定されており、入力フレームを生成
されるべきフレームから分離する期間のみに従属して規
定される。このような方法が、画像の、時間的に固定さ
れているかまたは非常に僅かしか動かないゾーンには適
当であるが、特に急速に動くゾーンに対しては甚だしい
欠陥を有することは公知である。欠陥は、通過帯域の時
間的規制（ぼやけを生じる）と望ましくないスペクトル
成分の排除（唸りを生じる）との適切な妥協点を見いだ
すことの困難さに起因する。
ィルタを用いて行なわれ、このフィルタはフレーム中の
総ての点に関して固定されており、入力フレームを生成
されるべきフレームから分離する期間のみに従属して規
定される。このような方法が、画像の、時間的に固定さ
れているかまたは非常に僅かしか動かないゾーンには適
当であるが、特に急速に動くゾーンに対しては甚だしい
欠陥を有することは公知である。欠陥は、通過帯域の時
間的規制（ぼやけを生じる）と望ましくないスペクトル
成分の排除（唸りを生じる）との適切な妥協点を見いだ
すことの困難さに起因する。
そのような欠陥を回避するためには、補間フィルタが
入力信号のスペクトルに適していなければならず、この
ことはいわゆる“移動補償を用いる補間”によって実現
される。この補間技術では、画素は該画素に関連する移
動ベクトルの方向において補間される。そのために、補
間ステップに先立って、補間されるべき個々の画素の移
動ベクトルを確認する移動評価が行なわれ、各画素のベ
クトルは実際当該画素の、補間されるべきフレームを挟
む入力フレームにおけるアドレスを提示する。この技術
は明らかに移動の分析の問題の十分な解決を必要とし、
特に優れた画像品質を得るために、移動の場が厳密に規
定され、移動ベクトルは個々の画素に関して、しかも当
該画素から逸れない精密さで評価されることを必要とす
る。厳密な移動ベクトル場を確実に確定し得る適当な移
動評価装置が公知である。そのような移動評価装置は、
例えば“Process and device for movement estimation
in a sequence of moving images"という標題のフラン
ス特許出願第88 12468号に開示されている。
入力信号のスペクトルに適していなければならず、この
ことはいわゆる“移動補償を用いる補間”によって実現
される。この補間技術では、画素は該画素に関連する移
動ベクトルの方向において補間される。そのために、補
間ステップに先立って、補間されるべき個々の画素の移
動ベクトルを確認する移動評価が行なわれ、各画素のベ
クトルは実際当該画素の、補間されるべきフレームを挟
む入力フレームにおけるアドレスを提示する。この技術
は明らかに移動の分析の問題の十分な解決を必要とし、
特に優れた画像品質を得るために、移動の場が厳密に規
定され、移動ベクトルは個々の画素に関して、しかも当
該画素から逸れない精密さで評価されることを必要とす
る。厳密な移動ベクトル場を確実に確定し得る適当な移
動評価装置が公知である。そのような移動評価装置は、
例えば“Process and device for movement estimation
in a sequence of moving images"という標題のフラン
ス特許出願第88 12468号に開示されている。
画像補間用の移動評価装置は、移動の評価を補間され
るべきフレーム中の画素に関して行なう装置と、一方の
親フレーム画素に関して行なう装置との２種類に区別さ
れ得る。後者の場合、移動の評価に続いて、補間される
べきフレームの移動の場が規定されなければならない。
この種の技術を用いる補間方法は、“Process for temp
oral image interpolation and for implementing this
process"という標題のフランス特許出願第87 07814号
に開示されている。この方法は、特に２つの親フレーム
から幾つかの中間フレームが補間されなければならない
場合に用いられ得、その際２つの親フレーム間でただ１
回の移動評価が行なわれ、こうして評価された場から、
補間されるべき各フレームの移動の場が決定される。本
発明書では、どのような方法によってであれ移動の場が
本発明間されるべきフレームに関して求められた場合に
ついて検討する。
るべきフレーム中の画素に関して行なう装置と、一方の
親フレーム画素に関して行なう装置との２種類に区別さ
れ得る。後者の場合、移動の評価に続いて、補間される
べきフレームの移動の場が規定されなければならない。
この種の技術を用いる補間方法は、“Process for temp
oral image interpolation and for implementing this
process"という標題のフランス特許出願第87 07814号
に開示されている。この方法は、特に２つの親フレーム
から幾つかの中間フレームが補間されなければならない
場合に用いられ得、その際２つの親フレーム間でただ１
回の移動評価が行なわれ、こうして評価された場から、
補間されるべき各フレームの移動の場が決定される。本
発明書では、どのような方法によってであれ移動の場が
本発明間されるべきフレームに関して求められた場合に
ついて検討する。
このように、上記のような時間的変化は補間自体にお
いて勘案される。実際、補間器の入力画像列と出力画像
列とは、連続的で、かつ通常動的である同一シーンを異
なる時点の連なりにおいて２様に表示したものである。
列を構成する画像は空間性及び時間性を有し、１つの画
像列から別の画像列への情報伝達では上記時間的変革を
考慮に入れないわけにゆかない。即ち、移動補償を用い
る画像補間のためには、画素（画像要素）はもはや単純
な画像要素とは看做されず、画像中で経時変化し、現
れ、動き、輝度を変更し、及び／または消えることの可
能な物体要素と看做される。経時変化のきわめて普通の
原因である画素の移動に適応することは明らかに重要で
あり、この点が考慮されていればシーン中の可能なシチ
ュエーションの殆どが有効に処理され得る。それにもか
かわらず、移動分析が不正確であるシチュエーションの
存在が容易に想像され得、なぜなら、例えば１つの入力
画像から次の入力画像に掛けて物体が現れたり消えたり
する場合、上記移動は時間的変化のモデルとして適当で
ないからである。
いて勘案される。実際、補間器の入力画像列と出力画像
列とは、連続的で、かつ通常動的である同一シーンを異
なる時点の連なりにおいて２様に表示したものである。
列を構成する画像は空間性及び時間性を有し、１つの画
像列から別の画像列への情報伝達では上記時間的変革を
考慮に入れないわけにゆかない。即ち、移動補償を用い
る画像補間のためには、画素（画像要素）はもはや単純
な画像要素とは看做されず、画像中で経時変化し、現
れ、動き、輝度を変更し、及び／または消えることの可
能な物体要素と看做される。経時変化のきわめて普通の
原因である画素の移動に適応することは明らかに重要で
あり、この点が考慮されていればシーン中の可能なシチ
ュエーションの殆どが有効に処理され得る。それにもか
かわらず、移動分析が不正確であるシチュエーションの
存在が容易に想像され得、なぜなら、例えば１つの入力
画像から次の入力画像に掛けて物体が現れたり消えたり
する場合、上記移動は時間的変化のモデルとして適当で
ないからである。
実際、あらゆる可能なシチュエーションを考慮するた
めには物体の移動に加えて、物体要素の輝度の固有変動
（移動は考慮せず）のような輝度の経時変化のその他の
原因、及び物体要素としての画素の可能な出現及び消失
も勘案しなければならないであろう。上述の内容に類し
て、最も単純な補間法である線形補間では物体要素は固
定されていると仮定され、画素の輝度の経時変化は物体
要素の輝度の変化にのみ起因し、物体要素の移動には起
因しないと看做される。
めには物体の移動に加えて、物体要素の輝度の固有変動
（移動は考慮せず）のような輝度の経時変化のその他の
原因、及び物体要素としての画素の可能な出現及び消失
も勘案しなければならないであろう。上述の内容に類し
て、最も単純な補間法である線形補間では物体要素は固
定されていると仮定され、画素の輝度の経時変化は物体
要素の輝度の変化にのみ起因し、物体要素の移動には起
因しないと看做される。
移動補償を用いて時間的画像補間を行なう装置では、
例えば２つの細い物体が交叉したり、１つの物体の移動
が別の物体を、１つの画像から次の画像に掛けて消失さ
せたり、移動が輝度の変化と組み合わせられていたりす
る複雑な動的シーンに関してのように、移動が時間的変
化のモデルとして不適当である場合、補間に欠陥が生じ
る恐れが有する。
例えば２つの細い物体が交叉したり、１つの物体の移動
が別の物体を、１つの画像から次の画像に掛けて消失さ
せたり、移動が輝度の変化と組み合わせられていたりす
る複雑な動的シーンに関してのように、移動が時間的変
化のモデルとして不適当である場合、補間に欠陥が生じ
る恐れが有する。
上記のような経時変化を正確に確認するには、補間の
ために必要な移動評価、この種の状況の出来頻度、及び
この種の事象に対する目の感度に不相応に入念な処理が
必要であろう。しかし、移動評価装置から得られる情報
を得られたまま用いることは不可能であり、なぜなら該
情報はあまりに多くの雑音を有し、きわめて不都合な欠
陥を招くからである。
ために必要な移動評価、この種の状況の出来頻度、及び
この種の事象に対する目の感度に不相応に入念な処理が
必要であろう。しかし、移動評価装置から得られる情報
を得られたまま用いることは不可能であり、なぜなら該
情報はあまりに多くの雑音を有し、きわめて不都合な欠
陥を招くからである。
本発明は、補正された移動補償を用いる時間的補間方
法、及び該方法に対応する装置を提供して、上記のよう
な問題の存在するゾーンの簡単かつ有効な補間を可能に
することを目的とする。そのような補間のために、上記
方法では、補間されるべきフレームの移動の場に存在す
る欠陥が確認され、このように確認された欠陥ゾーンの
補間は“バックアップ法”として公知の代替方法を用い
て行なわれる。
法、及び該方法に対応する装置を提供して、上記のよう
な問題の存在するゾーンの簡単かつ有効な補間を可能に
することを目的とする。そのような補間のために、上記
方法では、補間されるべきフレームの移動の場に存在す
る欠陥が確認され、このように確認された欠陥ゾーンの
補間は“バックアップ法”として公知の代替方法を用い
て行なわれる。
本発明は、補正された移動補償を用いて時間的画像補
間を行なう方法であって、画像を囲む親画像から補間さ
れるべき画像の移動ベクトル場を評価するステップを含
み、補間されるべき画像中の当該点の特性はこの当該点
が有する移動ベクトルによって規定される親画像中の関
連する点の特性から決定される画像補間方法を提供し、
この補間されるべき画像の移動ベクトル場の一貫性を分
析するステップを更に含むこと、及び移動補償を用いる
補間は補間されるべき画像中の、移動ベクトル場におい
て非一貫性が検出された点に関して補正されることを特
徴とする。
間を行なう方法であって、画像を囲む親画像から補間さ
れるべき画像の移動ベクトル場を評価するステップを含
み、補間されるべき画像中の当該点の特性はこの当該点
が有する移動ベクトルによって規定される親画像中の関
連する点の特性から決定される画像補間方法を提供し、
この補間されるべき画像の移動ベクトル場の一貫性を分
析するステップを更に含むこと、及び移動補償を用いる
補間は補間されるべき画像中の、移動ベクトル場におい
て非一貫性が検出された点に関して補正されることを特
徴とする。
この方法の実施のための装置も本発明により提供され
る。
る。
本発明は、添付図面を参照しつつ行なう以下の説明か
らより良く理解され、その際本発明の他の特徴も明らか
となろう。
らより良く理解され、その際本発明の他の特徴も明らか
となろう。
第１図に、標準的な変換として50Hz（間隔T1＝20ms）
の入力画像I1、I2、I3、I4の列から60Hz（間隔T2＝16.6
ms）の出力画像Ｉ′１、Ｉ′２、Ｉ′３、Ｉ′４の列を
補間する場合を示す。
の入力画像I1、I2、I3、I4の列から60Hz（間隔T2＝16.6
ms）の出力画像Ｉ′１、Ｉ′２、Ｉ′３、Ｉ′４の列を
補間する場合を示す。
補間画像は通常３つ以上の入力画像から構成され得る
が、第２図に示したように移動を補償しての補間を行な
う方法は補間されるべき画像中の点の移動の場を用いる
ことで、２つの入力画像I1及びI2から中間画像Ｉ′を得
ることを可能にする。（Z,t′）を、入力列の画像I1
及びI2を処理して得られる、補間されるべき画像中の点
Ｐ（Ｚ）＝Ｐ（X,Y）の時点ｔ−T1とｔとの間の時点
ｔ′における移動ベクトルとする。この移動ベクトルは
対応する点、即ちI1では点Ａ、I2では点Ｂを規定して、
物体要素と看做される画素の親画像I1及びI2でのアドレ
スを確定し、その際２つの画像I1及びI2間での移動は線
形であると仮定される。移動ベクトルは、画像の平面
（X,Y）内に２つの成分Dx及びDyを有する。
が、第２図に示したように移動を補償しての補間を行な
う方法は補間されるべき画像中の点の移動の場を用いる
ことで、２つの入力画像I1及びI2から中間画像Ｉ′を得
ることを可能にする。（Z,t′）を、入力列の画像I1
及びI2を処理して得られる、補間されるべき画像中の点
Ｐ（Ｚ）＝Ｐ（X,Y）の時点ｔ−T1とｔとの間の時点
ｔ′における移動ベクトルとする。この移動ベクトルは
対応する点、即ちI1では点Ａ、I2では点Ｂを規定して、
物体要素と看做される画素の親画像I1及びI2でのアドレ
スを確定し、その際２つの画像I1及びI2間での移動は線
形であると仮定される。移動ベクトルは、画像の平面
（X,Y）内に２つの成分Dx及びDyを有する。
先に指摘したように、特に経時変化のモデルとしての
移動がもはや適当でない場合、移動を補償しての補間に
欠陥が生じる恐れが有る。
移動がもはや適当でない場合、移動を補償しての補間に
欠陥が生じる恐れが有る。
第３図は、物体要素の、“親”画像I1から“親”画像
I2に掛けての暴露（出現）及び被覆（消失）と非線形移
動の結果とを示すうダイヤグラムである。画素を小円に
よって表し、画像中に存在する物体は×印によって表
す。図示した物体は非線形移動しており、なぜなら該物
体の中間画像での位置が、始点及び終点が２つの親画像
I1及びI2の対応する画素に位置する並進によって実現さ
れたものではないからである。他方、２つの親画像中の
背景の移動は並進に相当する。更に、物体の端部に位置
する画素のうち一方は画像I2において被覆され、他方は
I1とI2との間で暴露される。従って、I1とI2との間の移
動の場によってもたらされるモデルは不正確である。
I2に掛けての暴露（出現）及び被覆（消失）と非線形移
動の結果とを示すうダイヤグラムである。画素を小円に
よって表し、画像中に存在する物体は×印によって表
す。図示した物体は非線形移動しており、なぜなら該物
体の中間画像での位置が、始点及び終点が２つの親画像
I1及びI2の対応する画素に位置する並進によって実現さ
れたものではないからである。他方、２つの親画像中の
背景の移動は並進に相当する。更に、物体の端部に位置
する画素のうち一方は画像I2において被覆され、他方は
I1とI2との間で暴露される。従って、I1とI2との間の移
動の場によってもたらされるモデルは不正確である。
必要な場合に代替方法を用い得るように、本発明によ
る方法の最初のステップは、移動を評価して欠陥を検出
することから成る。
る方法の最初のステップは、移動を評価して欠陥を検出
することから成る。
先に言及したフランス特許出願第88 12468号に開示さ
れた移動評価方法では、移動評価のエラー基準に、“移
動補償された画像間差”と名付けられたパラメータDFD
が用いられ、このパラメータDFDは当該点Ｐ（Z,t′）に
関して式 DFD（Ｐ）＝Ｌ（B,t）−Ｌ（A,t−T1） によって計算され、式中Ｌ（B,t）は時点ｔの画像I2中
の点Ｂの輝度であり、Ｌ（A,t−T1）は時点ｔ−T1の先
行画像I1中の点Ａの輝度である。
れた移動評価方法では、移動評価のエラー基準に、“移
動補償された画像間差”と名付けられたパラメータDFD
が用いられ、このパラメータDFDは当該点Ｐ（Z,t′）に
関して式 DFD（Ｐ）＝Ｌ（B,t）−Ｌ（A,t−T1） によって計算され、式中Ｌ（B,t）は時点ｔの画像I2中
の点Ｂの輝度であり、Ｌ（A,t−T1）は時点ｔ−T1の先
行画像I1中の点Ａの輝度である。
原則として、点Ａ及びＢがまさに親画像I1及びI2中の
対応点である場合は、補償された、即ち移動が考慮され
た時間的差DFDは一定のしきい値を下回る。従って、補
間されるべきフレーム中のあらゆる点Ｐに関して、移動
補償された時間的な画像間輝度下がしきい値ｓを上回る
と関連する移動ベクトルは欠陥性であると判定され、一
貫性マトリクスにおいて対応する点がマークされる。上
記差がしきい値を上回らなければ移動ベクトルは正確で
あると判定され、一貫性マトリクス中の対応する点はマ
ークされない。
対応点である場合は、補償された、即ち移動が考慮され
た時間的差DFDは一定のしきい値を下回る。従って、補
間されるべきフレーム中のあらゆる点Ｐに関して、移動
補償された時間的な画像間輝度下がしきい値ｓを上回る
と関連する移動ベクトルは欠陥性であると判定され、一
貫性マトリクスにおいて対応する点がマークされる。上
記差がしきい値を上回らなければ移動ベクトルは正確で
あると判定され、一貫性マトリクス中の対応する点はマ
ークされない。
移動を評価して欠陥を検出するこのステップは、補間
されるべき画像中の当該点と同じ座標を有する親画像中
の点同士の輝度差を調べることによって補足され得る。
この情報は、親画像中の同一座標の点同士の類似度を明
示し、移動が考慮されない単純な線形補間がこれらの
“欠陥点”のための適当なバックアップ法であるかどう
かを決定する。
されるべき画像中の当該点と同じ座標を有する親画像中
の点同士の輝度差を調べることによって補足され得る。
この情報は、親画像中の同一座標の点同士の類似度を明
示し、移動が考慮されない単純な線形補間がこれらの
“欠陥点”のための適当なバックアップ法であるかどう
かを決定する。
移動の場の一貫性に基づいて分析する別の方法では、
欠陥点が検出される。実際、移動の場に存在する欠陥は
評価アルゴリズムの不正確さに起因するか、または時間
的変化のモデルとしての移動の不適当さに起因する。上
記モデルとして移動が不適当であることは通常、移動ベ
クトル場が局処的に乱れ、評価装置の発散に対応する明
白な不連続性が現れることによって明らかとなる。局所
的ヒストグラムかまたは平方偏差を用いる幾つかの局所
的演算子を欠陥の検出に用いることも可能である。それ
らの演算子はベクトルのブロックの観察を要する。
欠陥点が検出される。実際、移動の場に存在する欠陥は
評価アルゴリズムの不正確さに起因するか、または時間
的変化のモデルとしての移動の不適当さに起因する。上
記モデルとして移動が不適当であることは通常、移動ベ
クトル場が局処的に乱れ、評価装置の発散に対応する明
白な不連続性が現れることによって明らかとなる。局所
的ヒストグラムかまたは平方偏差を用いる幾つかの局所
的演算子を欠陥の検出に用いることも可能である。それ
らの演算子はベクトルのブロックの観察を要する。
局所的ヒストグラムは、例えば大きさ５×５の点ブロ
ックに関して、ブロック内の異なる移動ベクトルを計数
することによって作成され得る。得られた数ｎはしきい
値s1と比較され、ｎがs1より大きいとブロックの中心の
点（またはブロック全体）が欠陥性であるとしてマーク
される。
ックに関して、ブロック内の異なる移動ベクトルを計数
することによって作成され得る。得られた数ｎはしきい
値s1と比較され、ｎがs1より大きいとブロックの中心の
点（またはブロック全体）が欠陥性であるとしてマーク
される。
点ブロックの異なるベクトルのヒストグラムに基づ
く、僅かにより複雑な方法では、異なる移動ベクトルDi
の確率piか計算され、次いでブロック内での“乱れ”に
関する情報をもたらすエントロピーＥ＝−Σpi・In
（pi）が計算される。計算されたエントロピーＥはしき
い値s2と比較され、Ｅがs2より大きいと点（またはブロ
ック）はマークされる。
く、僅かにより複雑な方法では、異なる移動ベクトルDi
の確率piか計算され、次いでブロック内での“乱れ”に
関する情報をもたらすエントロピーＥ＝−Σpi・In
（pi）が計算される。計算されたエントロピーＥはしき
い値s2と比較され、Ｅがs2より大きいと点（またはブロ
ック）はマークされる。
平均偏差計算による一貫性分析も行なわれ得、この分
析ではラメータ Ｖ＝Σ｜（Dxi−mx）２＋（Dyi−my）2| が計算され、式中mx＝（ΣDxi）/N及びmy＝Σ（Dyi）/N
で、mx及びmyは移動ベクトルの成分の平均値であり、ま
たＮはブロックを構成する点の数である。仮平均偏差を
計算して単純化を図ることも可能であり、その際上記平
均値はブロックの中心に位置する画素の移動ベクトルの
成分Doによって置き換えられる。
析ではラメータ Ｖ＝Σ｜（Dxi−mx）２＋（Dyi−my）2| が計算され、式中mx＝（ΣDxi）/N及びmy＝Σ（Dyi）/N
で、mx及びmyは移動ベクトルの成分の平均値であり、ま
たＮはブロックを構成する点の数である。仮平均偏差を
計算して単純化を図ることも可能であり、その際上記平
均値はブロックの中心に位置する画素の移動ベクトルの
成分Doによって置き換えられる。
PV＝Σ（Di−Do）２ 計算された平均偏差または仮平均偏差はしきい値s3と
比較され、Ｖ（またはPV）がs3より大きいと中心の点
（またはブロック）は欠陥性であるとしてマークされ
る。
比較され、Ｖ（またはPV）がs3より大きいと中心の点
（またはブロック）は欠陥性であるとしてマークされ
る。
移動の場の一貫性を分析する上述の方法は総て、点ブ
ロックに関する基準を計算することを必要とする。しか
し、先に述べたように、一貫性についての判断は或る当
該の点、即ち分析されるブロックの中心に位置する点に
関して行なわれ得、その場合ブロックを規定するウィン
ドウはスライドし、あるいはまた一貫性についての判断
は、基準が計算された点ブロック全体に関して行なわれ
ることも可能であり、その場合は複数のブロックが互い
に隣り合い、従ってこの方法でははるかに短い計算時間
しか必要とされない。
ロックに関する基準を計算することを必要とする。しか
し、先に述べたように、一貫性についての判断は或る当
該の点、即ち分析されるブロックの中心に位置する点に
関して行なわれ得、その場合ブロックを規定するウィン
ドウはスライドし、あるいはまた一貫性についての判断
は、基準が計算された点ブロック全体に関して行なわれ
ることも可能であり、その場合は複数のブロックが互い
に隣り合い、従ってこの方法でははるかに短い計算時間
しか必要とされない。
いずれにせよ、得られる“欠陥点”情報はきわめて雑
音に富み、移動が欠陥性である点と比較的良好に検出す
るためには平滑化ステップが必要となる。移動の場の非
一貫性に関する情報の平滑化は、第４図を参照しつつ後
述する２つの段階を踏んで実施される。
音に富み、移動が欠陥性である点と比較的良好に検出す
るためには平滑化ステップが必要となる。移動の場の非
一貫性に関する情報の平滑化は、第４図を参照しつつ後
述する２つの段階を踏んで実施される。
移動の場の一貫性に関する基準に照らして検出された
欠陥ベクトルを明示する二進のマトリクスに基づいて、
“侵食”と呼称される、非一貫性情報を平滑化する第１
のステップＩが実施される。欠陥性であるとしてマーク
された各当該点に関し、ブロック内で当該点を囲繞す
る、マークされていない点の数が一定のしきい値Ｓより
大きいと、先行ステップで欠陥性であるとしてマークさ
れた当該点は侵食後、欠陥ベクトルを明示する二進マト
リクスにおいてそのマーキングを失う。このステップＩ
の目的は、重要でないと看做される小さいゾーンを排除
することである。
欠陥ベクトルを明示する二進のマトリクスに基づいて、
“侵食”と呼称される、非一貫性情報を平滑化する第１
のステップＩが実施される。欠陥性であるとしてマーク
された各当該点に関し、ブロック内で当該点を囲繞す
る、マークされていない点の数が一定のしきい値Ｓより
大きいと、先行ステップで欠陥性であるとしてマークさ
れた当該点は侵食後、欠陥ベクトルを明示する二進マト
リクスにおいてそのマーキングを失う。このステップＩ
の目的は、重要でないと看做される小さいゾーンを排除
することである。
第２の平滑化ステップIIはいわゆる“補填”ステップ
で、いわゆる“水平方向補填”を行なう第１の段階１
と、いわゆる“垂直方向補填”を行なう第２の段階２
と、更に水平補填を行なう第３の段階３とを含む。この
平滑化によって、欠陥ベクトルが新たにマークされる。
で、いわゆる“水平方向補填”を行なう第１の段階１
と、いわゆる“垂直方向補填”を行なう第２の段階２
と、更に水平補填を行なう第３の段階３とを含む。この
平滑化によって、欠陥ベクトルが新たにマークされる。
第５図に、一貫性情報平滑化の侵食ステップを比較的
詳細に示す。この図において、欠陥点またはブロックの
マーキングはマトリクスの対応する升目を塗り潰すこと
によって象徴されている。
詳細に示す。この図において、欠陥点またはブロックの
マーキングはマトリクスの対応する升目を塗り潰すこと
によって象徴されている。
欠陥点情報がブロックをマークすることによって付与
される場合、画像中の互いに隣接するブロックは同じ処
理を施され、その際マトリクスの１つの要素は画素ブロ
ックに対応し、従って処理ステップ数は減少する。正確
な点またはブロックと、欠陥性であるとしてマークされ
た点またはブロックとを指示する入力二進マトリクス
は、通常の分析方法によって行毎に試験される。第１の
試験は、（画像中の点またはブロックに対応する）マト
リクスの各要素がマークされているかどうかを調べる。
マークされていなければ、当該要素は直接侵食デバイス
の出力に送られる。しかし、マークされている場合は、
分析中の当該要素を囲繞するマトリクスの５×５ブロッ
クにおいてマークされた要素が計数される。こうして得
られるマークされた要素の数Ｍはしきい値Ｓと比較され
る。ＭがＳより大きいと、始めに欠陥性であるとしてマ
ークされた当該要素はその状態を維持する。これに対し
て、当該要素を囲繞するマークされた要素の数Ｍがしき
い値Ｓより小さい場合は侵食を行なうことが決定され、
即ち初めにマークされた当該要素は、正確な移動ベクト
ルに対応する要素を明示する状態に切り替えられる。
される場合、画像中の互いに隣接するブロックは同じ処
理を施され、その際マトリクスの１つの要素は画素ブロ
ックに対応し、従って処理ステップ数は減少する。正確
な点またはブロックと、欠陥性であるとしてマークされ
た点またはブロックとを指示する入力二進マトリクス
は、通常の分析方法によって行毎に試験される。第１の
試験は、（画像中の点またはブロックに対応する）マト
リクスの各要素がマークされているかどうかを調べる。
マークされていなければ、当該要素は直接侵食デバイス
の出力に送られる。しかし、マークされている場合は、
分析中の当該要素を囲繞するマトリクスの５×５ブロッ
クにおいてマークされた要素が計数される。こうして得
られるマークされた要素の数Ｍはしきい値Ｓと比較され
る。ＭがＳより大きいと、始めに欠陥性であるとしてマ
ークされた当該要素はその状態を維持する。これに対し
て、当該要素を囲繞するマークされた要素の数Ｍがしき
い値Ｓより小さい場合は侵食を行なうことが決定され、
即ち初めにマークされた当該要素は、正確な移動ベクト
ルに対応する要素を明示する状態に切り替えられる。
第６図に、先行ステップによってまず侵食されたマト
リクス、即ち孤立した要素が排除されたマトリクスに基
づいて実施される補填ステップを説明する。例えばこの
例では３である、所定の最短セグメントン長が選択さ
れ、マークされた２要素間に位置するマークされていな
い要素のセグメントの長さが３を下回る場合はこのセグ
メント全体がマークされる。図示の例では、第１段階の
行補填で２つの要素が新たにマークされる。次の段階の
例補填では、長さ１または２の垂直セグメントに属する
マークされていない要素が総てマークされ、長さ３の垂
直セグメントのみが残る。続く行補填段階で上記垂直セ
グメントに属する要素もマークされ、その結果第６図に
示した分析ゾーン全体が、移動ベクトル場の分析におい
ては欠陥性であると看做される。
リクス、即ち孤立した要素が排除されたマトリクスに基
づいて実施される補填ステップを説明する。例えばこの
例では３である、所定の最短セグメントン長が選択さ
れ、マークされた２要素間に位置するマークされていな
い要素のセグメントの長さが３を下回る場合はこのセグ
メント全体がマークされる。図示の例では、第１段階の
行補填で２つの要素が新たにマークされる。次の段階の
例補填では、長さ１または２の垂直セグメントに属する
マークされていない要素が総てマークされ、長さ３の垂
直セグメントのみが残る。続く行補填段階で上記垂直セ
グメントに属する要素もマークされ、その結果第６図に
示した分析ゾーン全体が、移動ベクトル場の分析におい
ては欠陥性であると看做される。
上述の補填ステップが終了すると、処理が点ブロック
に関して行なわれた場合、画像ディメンションが再調整
され、即ち当該ブロックの状態が画像中の対応する点総
てに付与され、必要な場合にバックアップ法を実施るの
に用いられるのはこのように平滑化された、移動ベクト
ル場の一貫性に関する情報である。
に関して行なわれた場合、画像ディメンションが再調整
され、即ち当該ブロックの状態が画像中の対応する点総
てに付与され、必要な場合にバックアップ法を実施るの
に用いられるのはこのように平滑化された、移動ベクト
ル場の一貫性に関する情報である。
バックアップ法そのものの目的は、移動分析の結果で
は欠陥性であると判明したゾーンを確実に補間すること
ではなく、輝度に関する情報を提供して補間欠陥を可能
なかぎり隠蔽することである。特に、移動補償に存在す
る欠陥は先に述べたように、画像中の構造物を変形させ
る移動の局所的空間的不均一性と、構造物の上記変形を
時間と共に変化させて大きい可視欠陥をもたらす局所的
時間的不均一性との両方に起印する。従って、バックア
ップ法の実質的な目的は、移動が欠陥性であると判定さ
れたゾーンにおいて移動の場を均一にすることである。
は欠陥性であると判明したゾーンを確実に補間すること
ではなく、輝度に関する情報を提供して補間欠陥を可能
なかぎり隠蔽することである。特に、移動補償に存在す
る欠陥は先に述べたように、画像中の構造物を変形させ
る移動の局所的空間的不均一性と、構造物の上記変形を
時間と共に変化させて大きい可視欠陥をもたらす局所的
時間的不均一性との両方に起印する。従って、バックア
ップ法の実質的な目的は、移動が欠陥性であると判定さ
れたゾーンにおいて移動の場を均一にすることである。
幾つかの方法が考えられる。第１の適当方法は端術な
線形補間であり、この補間は実際のところ、移動補償を
用いる補間で移動ベクトルがXY平面内にゼロ成分を有す
る場合と看做され得るが、ただし移動補償を用いる補間
でのようにただ２つの親画像を用いる替わりに、例えば
４つまたは６つといったより多くの親画像に基づいて実
施され得る。この場合、移動が欠陥性であると判定され
たゾーンにおいて移動補償を用いる補間によって得られ
る輝度値は線形補間によって得られる輝度値によって置
き換えられ得る。
線形補間であり、この補間は実際のところ、移動補償を
用いる補間で移動ベクトルがXY平面内にゼロ成分を有す
る場合と看做され得るが、ただし移動補償を用いる補間
でのようにただ２つの親画像を用いる替わりに、例えば
４つまたは６つといったより多くの親画像に基づいて実
施され得る。この場合、移動が欠陥性であると判定され
たゾーンにおいて移動補償を用いる補間によって得られ
る輝度値は線形補間によって得られる輝度値によって置
き換えられ得る。
この線形補間は、移動補償を用いる方法と線形方法と
の間で“穏やかな”移行が実現し得るように総ての点に
関して、移動補償を用いる補間と並行して行なわれるこ
とが好ましく、なぜなら突然の移行は目障りな不連続性
をもたらす恐れが有るからである。従って、移行は次の
ように実現され得る。即ち、移動の場の一貫性を分析し
て得られた二進マトリクスに基づいて、マークされてい
ない画素がゼロ設定される。マークされた画素は非ゼロ
値Ｖに設定される。移動の場の一貫性に関する情報のこ
の二進マトリクスは低域フィルタに通され、新しい（非
二進）マトリクスの要素の、０〜Ｖで得られる値ａが、
２つの補間法の混合係数ｉが規定されることを可能にす
る。線形補間された画素の輝度をIntLとし、移動補償を
用いる補間によって得られる画素の輝度をIntCMとする
と、補間された画像の画素の輝度Intは式 Int＝ｉ・IntL＋（１−ｉ）・IntCM によって表され、式表ｉ＝a/vで、ａは低域フィルタに
通した一貫性情報マトリクスの、当該画素に対応する要
素の値であり、またｉは上記のように０〜１であり、こ
のような混合によって、移動補償を用いる補間とバック
アップ法との間のギャップが低減され得る。
の間で“穏やかな”移行が実現し得るように総ての点に
関して、移動補償を用いる補間と並行して行なわれるこ
とが好ましく、なぜなら突然の移行は目障りな不連続性
をもたらす恐れが有るからである。従って、移行は次の
ように実現され得る。即ち、移動の場の一貫性を分析し
て得られた二進マトリクスに基づいて、マークされてい
ない画素がゼロ設定される。マークされた画素は非ゼロ
値Ｖに設定される。移動の場の一貫性に関する情報のこ
の二進マトリクスは低域フィルタに通され、新しい（非
二進）マトリクスの要素の、０〜Ｖで得られる値ａが、
２つの補間法の混合係数ｉが規定されることを可能にす
る。線形補間された画素の輝度をIntLとし、移動補償を
用いる補間によって得られる画素の輝度をIntCMとする
と、補間された画像の画素の輝度Intは式 Int＝ｉ・IntL＋（１−ｉ）・IntCM によって表され、式表ｉ＝a/vで、ａは低域フィルタに
通した一貫性情報マトリクスの、当該画素に対応する要
素の値であり、またｉは上記のように０〜１であり、こ
のような混合によって、移動補償を用いる補間とバック
アップ法との間のギャップが低減され得る。
移動ベクトルの一方の成分のみが正確でないことに基
づいて実施される、別の可能なバックアップ法も存在す
る。この方法では、移動ベクトル全体の一貫性を分析す
る替わりに、水平成分と垂直成分とにおいて別個に非一
貫性の検出が行なわれる。その際、移動ベクトル場に存
在する欠陥の検出が水平成分と垂直成分とに別個に適用
され、得られた欠陥マトリクスには侵食及び平滑化ステ
ップが同様に適用される。侵食及び補填ステップの後、
所与の画素に関して欠陥性であると看做された成分のみ
が後続ステップによりゼロ設定される。
づいて実施される、別の可能なバックアップ法も存在す
る。この方法では、移動ベクトル全体の一貫性を分析す
る替わりに、水平成分と垂直成分とにおいて別個に非一
貫性の検出が行なわれる。その際、移動ベクトル場に存
在する欠陥の検出が水平成分と垂直成分とに別個に適用
され、得られた欠陥マトリクスには侵食及び平滑化ステ
ップが同様に適用される。侵食及び補填ステップの後、
所与の画素に関して欠陥性であると看做された成分のみ
が後続ステップによりゼロ設定される。
先に述べたバックアップ法の場合同様、移動補償を用
いる補間とこのバックアップ法との間のギャップも埋め
られなければならない。そのようなギャップの解消は、
ベクトル成分毎に移動の場を平均化するフィルタによっ
て達成される。平均値は、例えば大きさ７×７のブロッ
クにおいて計算され得る。
いる補間とこのバックアップ法との間のギャップも埋め
られなければならない。そのようなギャップの解消は、
ベクトル成分毎に移動の場を平均化するフィルタによっ
て達成される。平均値は、例えば大きさ７×７のブロッ
クにおいて計算され得る。
第７図に、第１のバックアップ法を実施し得る、移動
補償を用いて補間を行なう装置の機能を概略的に示す。
入力画像列は移動評価デバイス10と、移動補償を用いて
補間するデバイス20と、線形補間デバイス30とに同時に
付与される。移動補償を用いる補間するデバイス20は入
力画像列を、移動評価デバイス10から受け取った情報を
用いて処理する。移動ベクトル場を付与する移動評価デ
バイス10の出力は移動ベクトル場の一貫性を分析する回
路40に接続されており、この分析回路40は欠陥検出回路
41を含み、回路41の出力は先に述べた処理、即ち侵食及
び補填を行なう平滑化回路42に接続されている。回路42
の出力において、欠陥移動ベクトルがマークされた二進
一貫性マトリクスが得られる。得られた二進マトリクス
は混合器60に付与されるべき混合係数ｉを規定する回路
50に付与され、混合器60は、移動補償を用いる補間する
デバイス20及び線形補間デバイス30から情報を受け取
る。混合器60は、移動補償を用いる補間のために用いら
れたモデルの不完全さに起因する欠陥が隠蔽された補間
画像の列を出力する。
補償を用いて補間を行なう装置の機能を概略的に示す。
入力画像列は移動評価デバイス10と、移動補償を用いて
補間するデバイス20と、線形補間デバイス30とに同時に
付与される。移動補償を用いる補間するデバイス20は入
力画像列を、移動評価デバイス10から受け取った情報を
用いて処理する。移動ベクトル場を付与する移動評価デ
バイス10の出力は移動ベクトル場の一貫性を分析する回
路40に接続されており、この分析回路40は欠陥検出回路
41を含み、回路41の出力は先に述べた処理、即ち侵食及
び補填を行なう平滑化回路42に接続されている。回路42
の出力において、欠陥移動ベクトルがマークされた二進
一貫性マトリクスが得られる。得られた二進マトリクス
は混合器60に付与されるべき混合係数ｉを規定する回路
50に付与され、混合器60は、移動補償を用いる補間する
デバイス20及び線形補間デバイス30から情報を受け取
る。混合器60は、移動補償を用いる補間のために用いら
れたモデルの不完全さに起因する欠陥が隠蔽された補間
画像の列を出力する。
第８図に、第２のバックアップ法を実施し得る、移動
補償を用いて補間を行なう装置の機能を概略的に示す。
この装置で、入力画像列は第７図の装置でのように移動
評価デバイス10に付与されるが、この例のデバイス10は
移動ベクトルの垂直成分と水平成分とを一貫性分析回路
40′と40″とにそれぞれ付与し、分析回路40′及び40″
は欠陥検出回路41″及び41″をそれぞれ含み、検出回路
41′及び41″の出力は移動ベクトルが“欠陥性”である
ブロックまたは点を明示する二進マトリクスをもたら
し、かつ平滑化回路42′及び42″にそれぞれ接続されて
おり、平滑化回路42′及び42″は、水平成分及び垂直成
分にそれぞれ関連する２つの欠陥ベクトル二進マトリク
スの各一方に関して、先に述べた侵食及び補填ステップ
を実施する。平滑化の後に得られる二進マトリクスは回
路71及び72に送られ、回路71、72は欠陥成分をゼロ設定
する。回路71及び72の出力は平均化フィルタ81及び82の
入力にそれぞれ接続されており、これらのフィルタ81、
82は、突然の移行を回避するべく直接処理された移動ベ
クトルの成分をもたらす。このように処理され成分は、
移動補償を用いる補間デバイス20に付与され、やはり入
力画像列を受け取るこのデバイス20は補間された画像の
列を出力する。
補償を用いて補間を行なう装置の機能を概略的に示す。
この装置で、入力画像列は第７図の装置でのように移動
評価デバイス10に付与されるが、この例のデバイス10は
移動ベクトルの垂直成分と水平成分とを一貫性分析回路
40′と40″とにそれぞれ付与し、分析回路40′及び40″
は欠陥検出回路41″及び41″をそれぞれ含み、検出回路
41′及び41″の出力は移動ベクトルが“欠陥性”である
ブロックまたは点を明示する二進マトリクスをもたら
し、かつ平滑化回路42′及び42″にそれぞれ接続されて
おり、平滑化回路42′及び42″は、水平成分及び垂直成
分にそれぞれ関連する２つの欠陥ベクトル二進マトリク
スの各一方に関して、先に述べた侵食及び補填ステップ
を実施する。平滑化の後に得られる二進マトリクスは回
路71及び72に送られ、回路71、72は欠陥成分をゼロ設定
する。回路71及び72の出力は平均化フィルタ81及び82の
入力にそれぞれ接続されており、これらのフィルタ81、
82は、突然の移行を回避するべく直接処理された移動ベ
クトルの成分をもたらす。このように処理され成分は、
移動補償を用いる補間デバイス20に付与され、やはり入
力画像列を受け取るこのデバイス20は補間された画像の
列を出力する。
本発明は、特に移動ベクトルが正確でないと判明した
場合に移動補償を用いる補間に替えて実施される補間法
に関し、本明細書に正確に説明した例に限定されるもの
ではない。
場合に移動補償を用いる補間に替えて実施される補間法
に関し、本明細書に正確に説明した例に限定されるもの
ではない。
第１図は入力画像列から補間される出力画像列を示す説
明図、第２図は２つの親画像中の２点と補間された画像
中の反応点との対応の説明図、第３図はシーン内での画
素の出現及び消失を説明するダイヤグラム、第４図は欠
陥移動ベクトルのマークを平滑化するステップのフロー
チャート、第５図は移動が不正確な点のマークを侵食す
る段のフローチャート、第６図は移動が欠陥性であると
してマークされた点を補填する段のフローチャート、第
７図は移動補償を用いて補間を行なう本発明装置の第１
の例の機能を概略的に説明するフローチャート、第８図
は移動補償を用いて補間を行なう本発明装置の第２の例
の機能を概略的に説明するフローチャートである。 10……移動評価デバイス、20……移動補償を用いて補間
するデバイス、30……線形補間デバイス、40……一貫性
分析回路。
明図、第２図は２つの親画像中の２点と補間された画像
中の反応点との対応の説明図、第３図はシーン内での画
素の出現及び消失を説明するダイヤグラム、第４図は欠
陥移動ベクトルのマークを平滑化するステップのフロー
チャート、第５図は移動が不正確な点のマークを侵食す
る段のフローチャート、第６図は移動が欠陥性であると
してマークされた点を補填する段のフローチャート、第
７図は移動補償を用いて補間を行なう本発明装置の第１
の例の機能を概略的に説明するフローチャート、第８図
は移動補償を用いて補間を行なう本発明装置の第２の例
の機能を概略的に説明するフローチャートである。 10……移動評価デバイス、20……移動補償を用いて補間
するデバイス、30……線形補間デバイス、40……一貫性
分析回路。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａ ｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏ ｍｍｕｎｉｃａｔｉｏｎｓ（ＩＣＣ’ 84），Ｖｏｌ．２（1984）ｐ．707−710 (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68 H04N 7/01
Claims (15)
- 【請求項１】補正された移動補償を用いて時間的画像補
間を行なう方法であって、画像を囲む親画像から補間さ
れるべき画像の移動ベクトル場を評価するステップを含
み、補間されるべき画像中の１点の特性はこの当該点が
有する移動ベクトルによって規定される親画像中の関連
する点の特性から決定され、補間されるべき画像の移動
ベクトル場の一貫性を分析するステップを更に含み、移
動補償を用いる補間は補間されるべき画像中の、移動ベ
クトル場において非一貫性が検出された点に関して補正
されることを特徴とする、補正された移動補償を用いて
時間的画像補間を行なう方法。 - 【請求項２】補間されるべき画像の移動ベクトル場の一
貫性を分析するステップが、移動ベクトル場に存在する
欠陥を検出し、それによって画像のフォーマットに、個
々の点の移動ベクトルが正確であるか、それとも欠陥性
であるかを明示する二進の一貫性マトリクスを作成する
ステップを含むことを特徴とする請求項１に記載の方
法。 - 【請求項３】移動ベクトル場に存在する欠陥の検出が、
当該点に関連する親画像中の点同士の輝度の差をしきい
値と比較することによって行なわれ、前記差がしきい値
より大きいと当該点は一貫性マトリクスにおいて、欠陥
性であるとしてマークされることを特徴とする請求項２
に記載の方法。 - 【請求項４】移動ベクトル場に存在する欠陥の検出が、
平方偏差型での局所的演算子の計算結集、または点ブロ
ックでの移動ベクトルのヒストグラムを用いる局所的演
算子の計算結果としきい値との比較によって行なわれ、
演算子の計算結果がしきい値より大きいと移動ベクトル
は欠陥性であるとしてマークされることを特徴とする請
求項２に記載の方法。 - 【請求項５】移動ベクトルに存在する欠陥の検出が画像
中の各点に関し、当該点を含んでブロックをスライドさ
せることによって行なわれることを特徴とする請求項４
に記載の方法。 - 【請求項６】移動ベクトルに存在する欠陥の検出が隣接
し合うブロック毎に行なわれ、分析されたブロックの移
動の場が非一貫性であると看做される場合、当該ブロッ
クの総ての点が欠陥性であるとしてマークされることを
特徴とする請求項４に記載の方法。 - 【請求項７】移動ベクトル場に存在する欠陥を検出する
ステップに続いて平滑化ステップが実施され、この平滑
化ステップではいわゆる“侵食段”においては、孤立し
た欠陥点またはブロックのマーキングが取り消され、か
ついわゆる“補填段”においては、欠陥検出ステップで
正確であると識別されながら、欠陥性であるとしてマー
クされた比較的大きいゾーン内に孤立する点またはブロ
ックが欠陥性であるとしてマークされることを特徴とす
る請求項２に記載の方法。 - 【請求項８】補間されるべき画像中の各点が当該点に関
連する移動ベクトルに基づき移動補償を用いて補間され
ると共に、親画像中の、当該点と同じ座標を有する点同
士の間の線形補間が計算され、補間されるべき画像中の
当該点の特性は、移動ベクトル場において検出される欠
陥との関連において前記２種の補間から得られる特性か
ら決定されることを特徴とする請求項１に記載の方法。 - 【請求項９】補間されるべき画像中の各店の輝度の値
が、画像中の点の移動ベクトルが正確であると判定され
た場合に行なわれる、移動補償を用いる時間的補間によ
って得られる値であり、また画像中の点が欠陥性の移動
ベクトルを有するとしてマークされた場合に行なわれる
線形補間によって得られる値であることを特徴とする請
求項８に記載の方法。 - 【請求項１０】一貫性マトリクスを平滑化して、正確で
あると判定された移動ベクトルに対応するゾーンと、欠
陥性であると判定された移動ベクトルに対応するマーク
されたゾーンとの間の移行部近傍に位置する点に中間状
態を付与するステップを含み、補間されるべき画像中の
当該点の輝度Intは、移動補償を用いる補間によって得
られる輝度IntCMと線形補間によって得られる輝度IntL
とを組み合わせたもので、その際 Int＝ｉ・IntL＋（１−ｉ）・IntCM であり、式中ｉは０〜１の混合係数で、平滑化された一
貫性マトリクス中の対応する点の状態に従属して決定さ
れる。 ことを特徴とする請求項８に記載の方法。 - 【請求項１１】移動ベクトル場の一貫性の分析が移動ベ
クトルの垂直成分と水平成分とを別個に分析することに
よって行なわれ、補間されるべき画像中の当該点の輝度
は、 欠陥性であると判明した移動ベクトル成分を消去し、 その後、分離した成分を空間フィルタに掛ける ことによって補正された移動補償を用いる補間によって
得られることを特徴とする請求項１に記載の方法。 - 【請求項１２】補正された移動補償を用いて時間的画像
補間を行なう装置であって、入力画像列を受け取り、か
つ入力列の２つの親画像間で補間されるべき各中間画像
に関して移動ベクトル場を供給する移動評価デバイス
と、入力画像例と補間されるべき画像の移動ベクトル場
とを共に受け取る、移動補償を用いる補間するデバイス
とを含み、更に、 やはり入力画像列を受け取る線形補間デバイス、及び 移動ベクトル場の一貫性を分析する回路 をも含み、前記分析回路の入力は移動評価デバイスの出
力と接続されており、また該回路の出力は、前記の補間
デバイスとも接続された出力回路の制御入力に接続され
ており、この分析回路は画像中の各点に関して、移動補
償を用いる補間デバイス及び線形補間デバイスによって
補間された輝度から推定される輝度を供給する ことを特徴とする、補正された移動補償を用いて時間的
画像補間を行なう装置。 - 【請求項１３】補正された移動補償を用いて時間的画像
補間を行なう装置であって、いずれも入力画像列を受け
取る移動評価デバイスと、移動補償を用いる補間デバイ
スとを含み、 画像の平面内に位置する移動ベクトルの２成分が２つの
一貫性分析回路にそれぞれ送られ、２つの一貫性分析回
路の出力は、これらの回路によって欠陥性であるとして
マークされたベクトル成分をゼロ設定する回路にそれぞ
れ接続されており、ゼロ設定回路から得られるベクトル
成分は、移動補償を用いる補間デバイスの移動ベクトル
成分入力に接続されている ことを特徴とする、補正された移動補償を用いて時間的
画像補間を行なう装置。 - 【請求項１４】ベクトル成分をゼロ設定する回路が移動
補償を用いる補間デバイスのベクトル成分入力に、ベク
トル成分を分離して処理する平均化フィルタを介して接
続されていることを特徴とする請求項13に記載の装置。 - 【請求項１５】一貫性分析回路が移動ベクトル場に存在
する欠陥を検出する回路を含み、この回路の後段に平滑
化回路が接続されており、平滑化回路は作成された一貫
性マトリクス中の、欠陥性であるとしてマークされたゾ
ーン及びマークされていないゾーンのうち孤立したもの
を侵食及び補填によって減少することを特徴とする請求
項12から14のいずれか一項に記載の装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR8904256A FR2645383B1 (fr) | 1989-03-31 | 1989-03-31 | Procede et dispositif d'interpolation temporelle d'images, a compensation de mouvement corrigee |
| FR8904256 | 1989-03-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH031787A JPH031787A (ja) | 1991-01-08 |
| JP2831792B2 true JP2831792B2 (ja) | 1998-12-02 |
Family
ID=9380260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2084762A Expired - Lifetime JP2831792B2 (ja) | 1989-03-31 | 1990-03-30 | 補正された移動補償を用いて時間的画像補間を行なう方法及び装置 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US5057921A (ja) |
| EP (1) | EP0390660B1 (ja) |
| JP (1) | JP2831792B2 (ja) |
| KR (1) | KR900015540A (ja) |
| AT (1) | ATE117494T1 (ja) |
| DE (1) | DE69016074T2 (ja) |
| ES (1) | ES2066161T3 (ja) |
| FR (1) | FR2645383B1 (ja) |
| PT (1) | PT93628A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009503969A (ja) * | 2005-07-28 | 2009-01-29 | トムソン ライセンシング | 補間フレームを生成するためのデバイス |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR930009181B1 (ko) * | 1990-12-22 | 1993-09-23 | 삼성전자 주식회사 | 영상신호의 2차원 경사상관 보간방법 및 회로 |
| KR930011844B1 (ko) * | 1991-01-22 | 1993-12-21 | 삼성전자 주식회사 | 영상신호의 2차원 내삽에 의한 보간 및 주사선 변환회로 |
| DE4111980A1 (de) * | 1991-04-12 | 1992-10-15 | Thomson Brandt Gmbh | Verfahren zur codierung |
| US5410358A (en) * | 1991-07-23 | 1995-04-25 | British Telecommunications Public Limited Company | Method and device for frame interpolation of a moving image |
| US5400076A (en) * | 1991-11-30 | 1995-03-21 | Sony Corporation | Compressed motion picture signal expander with error concealment |
| GB2262853B (en) * | 1991-12-20 | 1995-07-19 | Sony Broadcast & Communication | Digital video signal processing |
| JP3093499B2 (ja) * | 1992-03-06 | 2000-10-03 | 三菱電機株式会社 | シーンチェンジ検出装置 |
| US5309237A (en) * | 1992-03-31 | 1994-05-03 | Siemens Corporate Research, Inc. | Apparatus and method of compensating image-sequences for motion |
| US5365280A (en) * | 1992-06-26 | 1994-11-15 | U.S. Philips Corporation | Method and apparatus for discriminating between movie film and non-movie film and generating a picture signal processing mode control signal |
| JP3177543B2 (ja) * | 1992-07-22 | 2001-06-18 | トウシバビデオプロダクツ プライベート リミテッド | 映像信号のノイズ低減装置 |
| US5642170A (en) * | 1993-10-11 | 1997-06-24 | Thomson Consumer Electronics, S.A. | Method and apparatus for motion compensated interpolation of intermediate fields or frames |
| IT1261633B (it) * | 1993-10-26 | 1996-05-23 | Seleco Spa | Metodo per la conversione della frequenza di ripetizione delle trame di un segnale video da 50 hz a 75 hz con compensazione del movimento eapparecchiatura per la implementazione di tale metodo. |
| US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| KR100391192B1 (ko) * | 1995-04-11 | 2003-11-17 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 입력필드처리방법및장치및텔레비전신호수신기 |
| GB2305569B (en) * | 1995-09-21 | 1999-07-21 | Innovision Res Ltd | Motion compensated interpolation |
| AU733460B2 (en) * | 1995-12-21 | 2001-05-17 | Canon Kabushiki Kaisha | Motion detection method and apparatus |
| AUPN727195A0 (en) * | 1995-12-21 | 1996-01-18 | Canon Kabushiki Kaisha | Motion detection method and apparatus |
| FR2768891B1 (fr) * | 1997-09-19 | 2000-02-04 | Thomson Multimedia Sa | Procede et dispositif d'interpolation temporelle d'images a compensation de mouvement |
| US6804294B1 (en) * | 1998-08-11 | 2004-10-12 | Lucent Technologies Inc. | Method and apparatus for video frame selection for improved coding quality at low bit-rates |
| US6625333B1 (en) * | 1999-08-06 | 2003-09-23 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre | Method for temporal interpolation of an image sequence using object-based image analysis |
| AU4670701A (en) * | 2000-04-07 | 2001-10-23 | Snell & Wilcox Limited | Video signal processing |
| FR2820927B1 (fr) * | 2001-02-15 | 2003-04-11 | Thomson Multimedia Sa | Procede et dispositif de detection de fiabilite d'un champ de vecteurs mouvement |
| KR20050061556A (ko) * | 2002-10-22 | 2005-06-22 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 고장시 조치를 갖는 이미지 처리 유닛 |
| US7388603B2 (en) * | 2003-06-10 | 2008-06-17 | Raytheon Company | Method and imaging system with intelligent frame integration |
| FR2864878B1 (fr) * | 2004-01-06 | 2006-04-14 | Thomson Licensing Sa | Procede et systeme de determination du deplacement d'un pixel, et support d'enregistrement pour la mise en oeuvre du procede |
| JP4810088B2 (ja) * | 2004-12-17 | 2011-11-09 | キヤノン株式会社 | 画像処理装置、画像処理方法及びそのプログラム |
| JP4746514B2 (ja) * | 2006-10-27 | 2011-08-10 | シャープ株式会社 | 画像表示装置及び方法、画像処理装置及び方法 |
| US8687693B2 (en) | 2007-11-30 | 2014-04-01 | Dolby Laboratories Licensing Corporation | Temporal image prediction |
| US8649437B2 (en) * | 2007-12-20 | 2014-02-11 | Qualcomm Incorporated | Image interpolation with halo reduction |
| KR101540138B1 (ko) * | 2007-12-20 | 2015-07-28 | 퀄컴 인코포레이티드 | 적응적 조사영역을 갖는 모션추정 장치 및 방법 |
| US8269885B2 (en) * | 2009-04-03 | 2012-09-18 | Samsung Electronics Co., Ltd. | Fade in/fade-out fallback in frame rate conversion and motion judder cancellation |
| US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
| JP2012230549A (ja) * | 2011-04-26 | 2012-11-22 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
| DE102014112648A1 (de) * | 2014-08-29 | 2016-03-03 | Carl Zeiss Ag | Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme |
| US9846929B2 (en) * | 2016-03-24 | 2017-12-19 | Hong Kong Applied Science and Technology Research Institute Company Limited | Fast density estimation method for defect inspection application |
| DE102017216065A1 (de) | 2017-09-12 | 2019-03-14 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Bewerten von Bildern, Betriebsassistenzverfahren und Betriebsvorrichtung |
| FR3117248B1 (fr) | 2020-12-09 | 2022-12-02 | Safran Aircraft Engines | Procédé vidéo d’analyse d’une structure mécanique sous charge par amplification de petit déplacement |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4383272A (en) * | 1981-04-13 | 1983-05-10 | Bell Telephone Laboratories, Incorporated | Video signal interpolation using motion estimation |
| JPH0644815B2 (ja) * | 1984-04-27 | 1994-06-08 | 日本電気株式会社 | 動物体の動き内挿装置 |
| US4663665A (en) * | 1985-01-07 | 1987-05-05 | Nippon Hoso Kyokai | TV system conversion apparatus |
| JPS61200789A (ja) * | 1985-03-04 | 1986-09-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画面上の物体の動きベクトル検出方式 |
| US4692801A (en) * | 1985-05-20 | 1987-09-08 | Nippon Hoso Kyokai | Bandwidth compressed transmission system |
| SE448125B (sv) * | 1985-05-23 | 1987-01-19 | Context Vision Ab | Anordning for bestemning av graden av konstans hos en egenskap for ett omrade i en i diskreta bildelement uppdelad bild |
| US4679086A (en) * | 1986-02-24 | 1987-07-07 | The United States Of America As Represented By The Secretary Of The Air Force | Motion sensitive frame integration |
| FR2616248B1 (fr) * | 1987-06-04 | 1992-04-24 | Thomson Grand Public | Procede d'interpolation temporelle d'images et dispositif pour la mise en oeuvre de ce procede |
| EP0294961B1 (en) * | 1987-06-09 | 1994-10-12 | Sony Corporation | Motion vector selection in television images |
| FR2630842B1 (fr) * | 1988-04-29 | 1994-04-08 | Labo Electronique Physique Appli | Dispositif pour interpoler des images par estimation et compensation de mouvement et systeme convertisseur de standards de television constitue a partir d'un tel dispositif |
| JP2634632B2 (ja) * | 1988-06-15 | 1997-07-30 | 株式会社日立製作所 | 動き検出回路 |
| GB2223141A (en) * | 1988-09-21 | 1990-03-28 | Sony Corp | Slow motion video signal generator with motion compensated interpolation |
-
1989
- 1989-03-31 FR FR8904256A patent/FR2645383B1/fr not_active Expired - Lifetime
-
1990
- 1990-03-21 US US07/496,930 patent/US5057921A/en not_active Expired - Lifetime
- 1990-03-23 ES ES90400809T patent/ES2066161T3/es not_active Expired - Lifetime
- 1990-03-23 EP EP90400809A patent/EP0390660B1/fr not_active Expired - Lifetime
- 1990-03-23 DE DE69016074T patent/DE69016074T2/de not_active Expired - Lifetime
- 1990-03-23 AT AT90400809T patent/ATE117494T1/de active
- 1990-03-29 KR KR1019900004218A patent/KR900015540A/ko not_active Application Discontinuation
- 1990-03-30 PT PT93628A patent/PT93628A/pt not_active Application Discontinuation
- 1990-03-30 JP JP2084762A patent/JP2831792B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＩＣＣ’８４），Ｖｏｌ．２（１９８４）ｐ．７０７−７１０ |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009503969A (ja) * | 2005-07-28 | 2009-01-29 | トムソン ライセンシング | 補間フレームを生成するためのデバイス |
| US8270491B2 (en) | 2005-07-28 | 2012-09-18 | Thomson Licensing | Device for generating an interpolated frame |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH031787A (ja) | 1991-01-08 |
| ATE117494T1 (de) | 1995-02-15 |
| EP0390660A1 (fr) | 1990-10-03 |
| ES2066161T3 (es) | 1995-03-01 |
| KR900015540A (ko) | 1990-10-27 |
| PT93628A (pt) | 1990-11-20 |
| DE69016074D1 (de) | 1995-03-02 |
| FR2645383A1 (fr) | 1990-10-05 |
| US5057921A (en) | 1991-10-15 |
| EP0390660B1 (fr) | 1995-01-18 |
| DE69016074T2 (de) | 1995-05-24 |
| FR2645383B1 (fr) | 1997-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2831792B2 (ja) | 補正された移動補償を用いて時間的画像補間を行なう方法及び装置 | |
| EP0549681B1 (en) | Video image processing | |
| EP0236519B1 (en) | Motion compensating field interpolation method using a hierarchically structured displacement estimator | |
| JP3047429B2 (ja) | 動き補償映像信号フォーマット変換装置 | |
| JP4519396B2 (ja) | 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法 | |
| Bierling et al. | Motion compensating field interpolation using a hierarchically structured displacement estimator | |
| Lukac et al. | Demosaicked image postprocessing using local color ratios | |
| US7076113B2 (en) | Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal | |
| JP4463341B2 (ja) | ビデオシーケンスのノイズレベルの推定方法 | |
| JP3298104B2 (ja) | 動き補正付きテレビジョン信号の方式変換器 | |
| US5642170A (en) | Method and apparatus for motion compensated interpolation of intermediate fields or frames | |
| Van Roosmalen et al. | Correction of intensity flicker in old film sequences | |
| JP3222496B2 (ja) | ビデオ信号処理装置 | |
| US20010030697A1 (en) | Imager registration error and chromatic aberration measurement system for a video camera | |
| EP1855474A1 (en) | Method for generating an interpolated image between two images of an input image sequence | |
| JPH05135170A (ja) | ノイジーイメージシーケンスのテンポラリー適応型フイルタリングのための方法 | |
| JPH02290382A (ja) | ビデオ信号をフィルム画像に変換する方法 | |
| JP4197434B2 (ja) | 動き推定の容易化 | |
| JP3864444B2 (ja) | 画像信号処理装置および方法 | |
| EP0903946A1 (en) | Device and method of image interpolation with motion compensation | |
| Vlachos | Simple method for estimation of global motion parameters using sparse translational motion vector fields | |
| JP2005518689A (ja) | ノイズレベルを推定する装置および方法、当該装置を含むノイズリダクションシステムおよび符号化システム | |
| JPH09167240A (ja) | ディジタル画像信号処理装置および方法 | |
| JP4890464B2 (ja) | 動き補償されたピクチャを生成する方法及び装置 | |
| US8582882B2 (en) | Unit for and method of segmentation using average homogeneity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070925 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080925 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080925 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090925 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090925 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100925 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100925 Year of fee payment: 12 |