JP2528103B2 - フイ−ルド補間方法 - Google Patents
フイ−ルド補間方法Info
- Publication number
- JP2528103B2 JP2528103B2 JP61233403A JP23340386A JP2528103B2 JP 2528103 B2 JP2528103 B2 JP 2528103B2 JP 61233403 A JP61233403 A JP 61233403A JP 23340386 A JP23340386 A JP 23340386A JP 2528103 B2 JP2528103 B2 JP 2528103B2
- Authority
- JP
- Japan
- Prior art keywords
- field
- displacement
- displacement vector
- motion compensation
- fields
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Description
産業上の利用分野 本発明はデイジタルテレビジヨンシーケンスの省略さ
れたフイールド再構成に適した動き補償フイールド補間
方法およびその方法の利用に関する。 従来技術 デイジタルテレビジヨンシーケンスにおいてフイール
ドの補間の問題が、フイールド周波数変換の場合に生じ
る。ソースコーデイングを適用する場合には、非常に低
い送信ビツトレートでデイジタルチヤンネルを通じてテ
レビジヨン信号を送信しうるようにするためにコーダー
において脱落されるフイールドを再構成しなければなら
ない。CCITT研究グループXVは384Kbit/Sの伝送速度での
テレビジヨンコーデクスを現在開発中である。その目的
は統合サービスデイジタル回路網（ISDN）を用いたビデ
オ会議サービスを提供することである。このデータの速
度を達成するには、周知のソースコーデイング技術に加
えて伝送されるフイールドの数を減らす必要がある。こ
の問題について最近提案された技術では、ハイブリツド
コーデイングアルゴリズムと組合せて4:1でのフイール
ドのサブサンプリングを使用している（クンマーフエル
ツ他、「320および64Kbit/Sでのテレビジヨン信号のコ
ード化」、光学および電子光学応用科学および技術に関
する第２回国際技術シンポジウム、カンヌ、1985年12
月、（以下文献〔１〕という）参照のこと）。そして、
受信側において３個のフイールドを２個の送信フイール
ド間毎に補間しなければならない。 この場合の問題はテレビジヨンシーケンスの２個の連
続するフイールド間で与えられた瞬時位置で１個のフイ
ールドを発生するということである。移動中の目標物に
よつてしばしば瞬時ルミナンスの変化が生じるから、最
も近くにあるフイールドをそう入するという単純なフイ
ールド反覆技術ではギクシヤク動く目標物が得られる
（ハスケル他、「ビデオ電話用低ビツト速度インターフ
レームコーダー」ベルシステムテクニカルジヤーナル、
Vol.54.No.8,PP1475−1495、1975年10月（以下文献
〔２〕という）参照）。もう一つの簡単な方法は瞬時フ
イルタリングによる線形補間である（クリー、「低送信
ビツト速度のためのテレビジヨン信号のコード化」ハノ
ーバー工科大学博士論文、1978年（以下文献〔３〕とい
う）参照）。この場合、補間されるべき画素のそれぞれ
について同じ空間位置にある対応する画素の重み平均が
計算される。この補間技術は、例えば背景成分の輝度変
化のみによるルミナンス変化には適用できるが、動きの
量によつては動きの領域ににじみが生じる。 その後、モーシヨン補償補間（MCI）技術が開発され
ている（ムスマン他「画像コード化の進歩」プロシーデ
イングス・オフ・ザIEEE・Vol.73,PP523−548,1985年４
月（以下文献〔４〕という）参照）。MCI技術は動きの
自然さを保存するために目標物の動きを考慮している。
その主たる問題点は動きのパラメータについて充分正確
な予測を与えることが困難であるということである。ア
ルゴリズムが複雑になりすぎるのを抑えるために殆んど
のMCI技術は画像面において目標物が純並進変位すると
いう仮定に立脚している（文献〔１〕および、ジエイン
他「変位測定およびそのインターフレーム画像コード化
への応用」IEEEトランザクシヨン・オン・コミニユケー
シヨン、Vol.COM−29,No.12,PP1799−1808,1981年12月
（以下文献〔５〕）、フルカワ他「ビデオ会議画像のた
めの動きに対する補間」プロシーデイングス・オフ・ザ
・インターナシヨナル・コンフアレンス・オン・コミユ
ニケーシヨン、1984年,PP707−710、アムステルダム、1
984（以下文献〔６〕）およびベルクマン他「動きに対
するフレーム補間」プロシーデイングス・オフ・ザ・19
84インターナシヨナルチユーリツヒ・セミナー・オン・
デイジタル・コミユニケーシヨン・D2・１−D2・５、チ
ユーリツヒ1984（以下文献〔７〕参照）。文献〔１〕と
〔５〕では画像が一定数の矩形のブロツクに副分割され
る。１つの変位ベクトルが動く領域に属するそれぞれの
ブロツクについて決定されており、一方文献〔６〕で
は、１個の代表的変位ベクトルがそれぞれの動く領域に
ついて決定される。文献〔７〕に示されるアルゴリズム
は、再構成されるテレビジヨンシーケンスでの動きの改
善された演出を得るべく動く画像の部分的のそれぞれの
画素について１個の変位ベクトルを推定するものであ
る。 発明が解決しようとする問題点 これら従来の方法においては大きな変位については対
処できない。本発明の目的はそのような大きな変位に対
処できる方法を提供するものであり、他の目的は伝送さ
れたフイールドではなく補間されるべきフイールドの瞬
間位置について有効な特別に限定された変位ベクトルを
与えることである。 本発明の課題は例えばビデオ会議コーデツクにおける
省略されたフイールドの再構成に適用出来る動き補償フ
イールド補間器の完全なアルゴリズムを提供することで
ある。 発明の構成 上記課題は特許請求の範囲第１項記載の構成により解
決される。 変化検出器と組合せた、階層構造変位予測技術では、
送信側でいくつかの連続するフイールドが脱落しても、
典型的なビデオ会議シーケンスでさえ生じる大きな変位
に対処する。文献〔７〕のアルゴリズムとは異なり、こ
の技術は送信されるフイールドではなく、補間されるべ
きフイールドの瞬時位置について有効な特別に限定され
た変位ベクトルフイールドを与えるものである。この変
位予測技術はビアリング、「改良された安定性を有する
差変位予測アルゴリズム」セコンド・インターナシヨナ
ル・テクニカル・シンポジウム・オン・オプチカル・ア
ンド・エレクトロ−オプチカルアプライド・サイエンス
・アンド・エンジニアリング、カンヌ、1985年12月（以
下文献〔８〕という）に示される差変位予測アルゴリズ
ムにもとづいている。 実施例 1.補間器の一般構成 まず、動き補償フイールド補間器の構成は変位予測
器、変化検出器および動き補償補間フイルタの３個のブ
ロツクからなる。これらブロツクはそれぞれの項で詳述
する。そしてコンピユータシミユレーシヨンによる180
個以上のフイールドについての補間にもとづく実験結果
も別の項で説明する。 2.動き補償補間器の構成 動き補償フイールド補間器は第１図に示すように変位
予測器、変化検出器および動き補償補間フイルタから成
る。入力データはラインインターレースのない、フィー
ルド内のルミナンスおよびクロミナンス成分を含むデイ
ジタルテレビジヨンシーケンスである。フイールドシー
ケンスがラインインターレースを有する場合には、第２
フィールド毎に垂直フイルタリングを適用して非インタ
ーレースフオーマツトを得ることができる。 補間アルゴリズムは画像面内で並進変位した目標物に
限られる画像モデルにもとづいている。変位予測器は２
個のフイールド間の与えられた瞬間位置で補間されるべ
きフイールドのそれぞれの画素についての変位ベクトル
を計算する。変化検出器は画像内容の変化した領域と変
化しない領域を区別する。この情報は変化しない領域内
の画素にゼロ変位を割当てるために使用する。このよう
にこれら領域内で誤つて非ゼロと予測されるベクトルが
除かれる。ルミナンスデータのみが変位予測と変化検出
に用いられる。 それぞれの変位ベクトルは、２個のフイールドの２個
の画素を結合しそして補間されるべき画素の空間位置を
交差させるように決定される。 動き補償補間フイルタでは変位ベクトルにより結合さ
れる画素の重みづけ和が補間されるべきフイールドのそ
れぞれの画素について計算される。ルミナンスデータの
みにより計算される変位ベクトルはルミナンス信号の補
間およびクロミナンス信号の補間の両方に使用される。 ３。変位予測器 ３・１基本予測アルゴリズム 予測アルゴリズムは第２図に示すようにフイールドｋ
−１からフイールドｋへとルミナンス変化のない目標物
の画像面内での並進変位を仮定してつくられている。こ
のとき、動く領域については式 Sk-1（x,y）＝Sk（ｘ＋dx,y＋dy） （１） が成り立つ。但し、Sk-1（x,y）は空間位置x,yでのフイ
ールドｋ−１におけるルミナンス、Sk（ｘ＋dx,y＋dy）
はフイールドｋにおける成分dx,dyをもつベクトルＤだ
け変位した対応するルミナンスを表わす。このように動
く目標物によりフレーム差信号FDが生じる。但し FD（x,y）＝Sk（x,y）−Sk-1（x,y） （２） 成分 をもつ予測変位ベクトルでこの変位を補償すれば、変
位フレーム差DFDと呼ぶ残りのフレーム差は次のように
なる。 上記仮定により予測が真の変位ベクトルＤに近けれ
ばDFDがゼロに近づく。前記文献〔８〕では局部自乗平
均変位フレーム差を最少とするような予測アルゴリズム
を導出している。予測された変位ベクトル成分は次のよ
うに決定される。 但し分母DENは次の通りである。 ここでは座標x,yは便宜上省いてある。 成分ｘ （x,y）＝｛δSk（x,y）／δｘ＋δSk-1（x,y）／
δｘ｝/2ｙ （x,y）＝｛δSk（x,y）／δｙ＋δSk-1（x,y）／
δｙ｝/2 （4b） はそれぞれ座標ｘとｙに対する２個の連続するフイール
ドのルミナンス信号の１次導関数の平均である。式
（４）で与えられるアルゴリズムはルミナンス信号S
k（x,y）とSk-1（x,y）についての画像モデルとして２
次導２次元多項式を用いてとり出されている。この画像
モデルのために予測の精度は文献〔８〕に述べられてい
るように他のアルゴリズム（文献〔７〕およびカフオリ
オ他、「テレビジヨン画像の小さい変位の測定方法」IE
EEトランザクシヨン・インフオーメーシヨン・セオリ、
Vol.IF−22,No.5,PP573−579,1976年９月（以下文献
れたフイールド再構成に適した動き補償フイールド補間
方法およびその方法の利用に関する。 従来技術 デイジタルテレビジヨンシーケンスにおいてフイール
ドの補間の問題が、フイールド周波数変換の場合に生じ
る。ソースコーデイングを適用する場合には、非常に低
い送信ビツトレートでデイジタルチヤンネルを通じてテ
レビジヨン信号を送信しうるようにするためにコーダー
において脱落されるフイールドを再構成しなければなら
ない。CCITT研究グループXVは384Kbit/Sの伝送速度での
テレビジヨンコーデクスを現在開発中である。その目的
は統合サービスデイジタル回路網（ISDN）を用いたビデ
オ会議サービスを提供することである。このデータの速
度を達成するには、周知のソースコーデイング技術に加
えて伝送されるフイールドの数を減らす必要がある。こ
の問題について最近提案された技術では、ハイブリツド
コーデイングアルゴリズムと組合せて4:1でのフイール
ドのサブサンプリングを使用している（クンマーフエル
ツ他、「320および64Kbit/Sでのテレビジヨン信号のコ
ード化」、光学および電子光学応用科学および技術に関
する第２回国際技術シンポジウム、カンヌ、1985年12
月、（以下文献〔１〕という）参照のこと）。そして、
受信側において３個のフイールドを２個の送信フイール
ド間毎に補間しなければならない。 この場合の問題はテレビジヨンシーケンスの２個の連
続するフイールド間で与えられた瞬時位置で１個のフイ
ールドを発生するということである。移動中の目標物に
よつてしばしば瞬時ルミナンスの変化が生じるから、最
も近くにあるフイールドをそう入するという単純なフイ
ールド反覆技術ではギクシヤク動く目標物が得られる
（ハスケル他、「ビデオ電話用低ビツト速度インターフ
レームコーダー」ベルシステムテクニカルジヤーナル、
Vol.54.No.8,PP1475−1495、1975年10月（以下文献
〔２〕という）参照）。もう一つの簡単な方法は瞬時フ
イルタリングによる線形補間である（クリー、「低送信
ビツト速度のためのテレビジヨン信号のコード化」ハノ
ーバー工科大学博士論文、1978年（以下文献〔３〕とい
う）参照）。この場合、補間されるべき画素のそれぞれ
について同じ空間位置にある対応する画素の重み平均が
計算される。この補間技術は、例えば背景成分の輝度変
化のみによるルミナンス変化には適用できるが、動きの
量によつては動きの領域ににじみが生じる。 その後、モーシヨン補償補間（MCI）技術が開発され
ている（ムスマン他「画像コード化の進歩」プロシーデ
イングス・オフ・ザIEEE・Vol.73,PP523−548,1985年４
月（以下文献〔４〕という）参照）。MCI技術は動きの
自然さを保存するために目標物の動きを考慮している。
その主たる問題点は動きのパラメータについて充分正確
な予測を与えることが困難であるということである。ア
ルゴリズムが複雑になりすぎるのを抑えるために殆んど
のMCI技術は画像面において目標物が純並進変位すると
いう仮定に立脚している（文献〔１〕および、ジエイン
他「変位測定およびそのインターフレーム画像コード化
への応用」IEEEトランザクシヨン・オン・コミニユケー
シヨン、Vol.COM−29,No.12,PP1799−1808,1981年12月
（以下文献〔５〕）、フルカワ他「ビデオ会議画像のた
めの動きに対する補間」プロシーデイングス・オフ・ザ
・インターナシヨナル・コンフアレンス・オン・コミユ
ニケーシヨン、1984年,PP707−710、アムステルダム、1
984（以下文献〔６〕）およびベルクマン他「動きに対
するフレーム補間」プロシーデイングス・オフ・ザ・19
84インターナシヨナルチユーリツヒ・セミナー・オン・
デイジタル・コミユニケーシヨン・D2・１−D2・５、チ
ユーリツヒ1984（以下文献〔７〕参照）。文献〔１〕と
〔５〕では画像が一定数の矩形のブロツクに副分割され
る。１つの変位ベクトルが動く領域に属するそれぞれの
ブロツクについて決定されており、一方文献〔６〕で
は、１個の代表的変位ベクトルがそれぞれの動く領域に
ついて決定される。文献〔７〕に示されるアルゴリズム
は、再構成されるテレビジヨンシーケンスでの動きの改
善された演出を得るべく動く画像の部分的のそれぞれの
画素について１個の変位ベクトルを推定するものであ
る。 発明が解決しようとする問題点 これら従来の方法においては大きな変位については対
処できない。本発明の目的はそのような大きな変位に対
処できる方法を提供するものであり、他の目的は伝送さ
れたフイールドではなく補間されるべきフイールドの瞬
間位置について有効な特別に限定された変位ベクトルを
与えることである。 本発明の課題は例えばビデオ会議コーデツクにおける
省略されたフイールドの再構成に適用出来る動き補償フ
イールド補間器の完全なアルゴリズムを提供することで
ある。 発明の構成 上記課題は特許請求の範囲第１項記載の構成により解
決される。 変化検出器と組合せた、階層構造変位予測技術では、
送信側でいくつかの連続するフイールドが脱落しても、
典型的なビデオ会議シーケンスでさえ生じる大きな変位
に対処する。文献〔７〕のアルゴリズムとは異なり、こ
の技術は送信されるフイールドではなく、補間されるべ
きフイールドの瞬時位置について有効な特別に限定され
た変位ベクトルフイールドを与えるものである。この変
位予測技術はビアリング、「改良された安定性を有する
差変位予測アルゴリズム」セコンド・インターナシヨナ
ル・テクニカル・シンポジウム・オン・オプチカル・ア
ンド・エレクトロ−オプチカルアプライド・サイエンス
・アンド・エンジニアリング、カンヌ、1985年12月（以
下文献〔８〕という）に示される差変位予測アルゴリズ
ムにもとづいている。 実施例 1.補間器の一般構成 まず、動き補償フイールド補間器の構成は変位予測
器、変化検出器および動き補償補間フイルタの３個のブ
ロツクからなる。これらブロツクはそれぞれの項で詳述
する。そしてコンピユータシミユレーシヨンによる180
個以上のフイールドについての補間にもとづく実験結果
も別の項で説明する。 2.動き補償補間器の構成 動き補償フイールド補間器は第１図に示すように変位
予測器、変化検出器および動き補償補間フイルタから成
る。入力データはラインインターレースのない、フィー
ルド内のルミナンスおよびクロミナンス成分を含むデイ
ジタルテレビジヨンシーケンスである。フイールドシー
ケンスがラインインターレースを有する場合には、第２
フィールド毎に垂直フイルタリングを適用して非インタ
ーレースフオーマツトを得ることができる。 補間アルゴリズムは画像面内で並進変位した目標物に
限られる画像モデルにもとづいている。変位予測器は２
個のフイールド間の与えられた瞬間位置で補間されるべ
きフイールドのそれぞれの画素についての変位ベクトル
を計算する。変化検出器は画像内容の変化した領域と変
化しない領域を区別する。この情報は変化しない領域内
の画素にゼロ変位を割当てるために使用する。このよう
にこれら領域内で誤つて非ゼロと予測されるベクトルが
除かれる。ルミナンスデータのみが変位予測と変化検出
に用いられる。 それぞれの変位ベクトルは、２個のフイールドの２個
の画素を結合しそして補間されるべき画素の空間位置を
交差させるように決定される。 動き補償補間フイルタでは変位ベクトルにより結合さ
れる画素の重みづけ和が補間されるべきフイールドのそ
れぞれの画素について計算される。ルミナンスデータの
みにより計算される変位ベクトルはルミナンス信号の補
間およびクロミナンス信号の補間の両方に使用される。 ３。変位予測器 ３・１基本予測アルゴリズム 予測アルゴリズムは第２図に示すようにフイールドｋ
−１からフイールドｋへとルミナンス変化のない目標物
の画像面内での並進変位を仮定してつくられている。こ
のとき、動く領域については式 Sk-1（x,y）＝Sk（ｘ＋dx,y＋dy） （１） が成り立つ。但し、Sk-1（x,y）は空間位置x,yでのフイ
ールドｋ−１におけるルミナンス、Sk（ｘ＋dx,y＋dy）
はフイールドｋにおける成分dx,dyをもつベクトルＤだ
け変位した対応するルミナンスを表わす。このように動
く目標物によりフレーム差信号FDが生じる。但し FD（x,y）＝Sk（x,y）−Sk-1（x,y） （２） 成分 をもつ予測変位ベクトルでこの変位を補償すれば、変
位フレーム差DFDと呼ぶ残りのフレーム差は次のように
なる。 上記仮定により予測が真の変位ベクトルＤに近けれ
ばDFDがゼロに近づく。前記文献〔８〕では局部自乗平
均変位フレーム差を最少とするような予測アルゴリズム
を導出している。予測された変位ベクトル成分は次のよ
うに決定される。 但し分母DENは次の通りである。 ここでは座標x,yは便宜上省いてある。 成分ｘ （x,y）＝｛δSk（x,y）／δｘ＋δSk-1（x,y）／
δｘ｝/2ｙ （x,y）＝｛δSk（x,y）／δｙ＋δSk-1（x,y）／
δｙ｝/2 （4b） はそれぞれ座標ｘとｙに対する２個の連続するフイール
ドのルミナンス信号の１次導関数の平均である。式
（４）で与えられるアルゴリズムはルミナンス信号S
k（x,y）とSk-1（x,y）についての画像モデルとして２
次導２次元多項式を用いてとり出されている。この画像
モデルのために予測の精度は文献〔８〕に述べられてい
るように他のアルゴリズム（文献〔７〕およびカフオリ
オ他、「テレビジヨン画像の小さい変位の測定方法」IE
EEトランザクシヨン・インフオーメーシヨン・セオリ、
Vol.IF−22,No.5,PP573−579,1976年９月（以下文献
〔９〕という））と比較して改良されている。勿論デイ
ジタルビデオ処理では式（４）での期待度はある寸法の
測定ウインドウにわたり加算することにより近似されね
ばならない。一般にこれら測定ウインドウは矩形であつ
て式（４）から得られる予測はこのウインドウの中心に
割当てられる。また空間傾度はルミナンス信号のサンプ
リングにより近似されねばならない。カフオリオ他、
「画像動作予測のための微分方法」、フアンク編イメー
ジシーケンス・プロセシング・アンド・ダイナミツク・
シーン・アナリシス、PP104−124、シユプリンガー−フ
エルラク、ベルリン1983年（以下文献〔10〕という）に
よる提案を適用すると、これら空間導関数はそれぞれｘ
およびｙ方向における２個の隣接した画素間の差の半分
で近似される。 式（４）で得られるすべてのベクトル成分は最も近い
整数値に切上または切下げられる。従つて非整数ベクト
ル成分はない。変位予測にも動き補償フイールド補間に
もフイールドｋ−１またはフイールドｋの格子エレメン
ト間の画素の空間補間を行う必要はない。画像面内での
任意の並進運動を含む信号はジロー他、「インタレース
および非インタレース格子からの動き補償フイールド補
間」セコンドインターナシヨナル、テクニク・シンポジ
ウム、オン・オプテイカル・アンド・エレクトロ−オプ
テイカル・アプライド・サイエンス・アンド・エンジニ
アリング、カンヌ、1985年12月（以下文献〔11〕とい
う）に示されるように整数変位ベクトル成分を用いて完
全に補間できる。 ３・２動き補償反覆 微分予測アルゴリズムを評価することにより得られる
変位予測は、現在の動きが純並進運動に制限されていて
も真の変位からかなり離れたものとなることがしばしば
ある。これは、実際の画像信号がこのアルゴリズムの基
本である数学的な画像モデルから大きく異なつているた
めに生じる。その場合には、変位予測は後述するように
予測アルゴリズムの動き補償の反覆により改善すること
ができる。フイールドｋ−１内の任意の位置x0，y0から
の目標物のフイールドｋ内の未知の位置x0＋dx,y0＋dy
への変位を示すベクトルについての予測を得るために、
測定ウインドウは両フイールドについて中心がx0，y0で
与えられるライン内に配置される。式（4a）に必要な５
個の期待値がそのように配置されたウインドウにわたる
加算により近似される。成分x,ｙの計算後に、予測
はこのアルゴリズムの動き補償の反覆により改善でき
る。そのためにフレーム差がこれまで予測されたベクト
ルにより、すなわち反覆第１段階で得られたベクトルに
より補償される。これはフイールドｋの測定ウインドウ
を位置x0＋x,y0＋ｙに移しそして再び５個の期待値
を計算することにより行われる。式（4a）のフレーム差
FDは次に、前に計算された成分x,ｙの関数として式
（３）で与えられる変位フレーム差DFDに変わる。更
に、フイールドｋに属するすべての項がSk（x,y）の空
間導関数を含む変位位置からとり出されなければならな
い。この第２段階で計算される変位ベクトルは第１段階
の反覆で得られたベクトルに加算される。この操作が充
分に正確な予測となるまでくり返される。 第3A図に示すフイールドｋ−１のすべての画素に適用
されるこの反覆技術はフイールドｋ−１について固有の
変位ベクトルフイールドを得る。しかしながら、これは
フイールドｋのすべての画素に変位ベクトルを割当てる
ものではない。フイールドｋに固有のベクトルフイール
ドを得るために、フイールドｋに置かれた測定ウインド
ウは固定され、フイールドｋ−１のそれは第3B図に示す
ように動き補償反覆において変位される。 ３・３対称化動き補償の反覆 テレビジヨンシーケンスの２個の連続するフイールド
間の任意の暫定位置におけるフイールドの動き補償補間
について、補間されるべきフイールドについての特別に
限定された変位ベクトルフイールドが必要である。３・
２項に述べた反覆技術を用い、フイールドｋ−１または
フイールドｋについて限定されたベクトルフイールドが
得られる。このように補間されるべきフイールドのすべ
ての画素へ変位ベクトルの割当てを行わない。この問題
を解決するために、ベーヤー、「最少評価誤差変数を有
するテレビジヨン画像信号用の変位−評価方法」学位論
文、ドイツ、ハノーバー大学、1985年（以下文献〔12〕
という）に示される対称化反覆技術を用いる。文献〔1
2〕の技術は第3C図のフイールドｋ−１とフイールドｋ
の間の中心にある暫定位置にあるフイールドについて説
明している。動き補償反覆の第２段階において、両方の
測定ウインドウが互いに変位して配置される。この例に
おいて、フイールドｋのウインドウは、位置x0＋x/2.
y0＋y/2に移され、フイールドｋ−１のそれはx0−x
/2,y0−y/2に移される。このように変位ベクトルが得
られそれはフイールドｋ−１からフイールドｋへ移され
る目標物を接続しそしてベクトルが予測されるべき空間
位置x0，y0と交わる。この方法は２個の連続するフイー
ルド間の他の暫定位置にあるフイールドにも適用でき
る。この対称化反覆技術は与えられた暫定位置で補間さ
れるべきフイールドのすべての画素について固有に限定
される変位ベクトルフイールドが得られる。 フイールドの格子素間の画素の空間は補間を避けるた
めに両測定ウインドウは反覆の各段階において整数個の
画素だけ移されねばならない。かくして、第3C図の例に
おいては測定ウインドウを互いに対称的に移すことによ
る動き補償の反覆は常に変位ベクトル成分すなわち２画
素の倍数のベクトル成分を得る。フイールドｋとｋ−１
との間の中心でない暫定位置においては変位ベクトル成
分用のとりうる値群は更に制限を受ける。例えば、フイ
ールドｋ−１に対して４分の１フイールドの距離のとこ
ろの暫定位置においてはベクトル成分は４画素の倍数と
なる。この問題を避けるために、２個の与えられたフイ
ールド間毎の３個のフイールドの動き補償補間用の特別
な処理が６・２項に述べるように用いられる。 ３・４空間的および暫時的リカーシヨン 充分に精確な予測を得るに必要な反覆の回数をリカー
シヨン（recursion）技術を用いることにより減少させ
ることができる。リカーシヨン予測は３・２項で述べた
反覆の第２段階と同様にスタートする。空間的リカーシ
ヨンについては隣接する画素について予め計算された変
位ベクトルにより得られる初期予想が第１動き補償段階
に対して作用する。このように更新項のみが決定されて
初期ベクトルに加えられる。この技術は例えばニトラバ
リ他、「動き補償テレビジヨンコーデイング−パート
Ｉ」ベルシステム・テクニカル・ジヤーナルVol.58,PP6
31−670,1979年３月（以下文献〔13〕という）に示され
ている。暫時的リカーシヨンは画像シーケンスの前のフ
イールドについて決定された変位ベクトルフイールドを
用いることにより行われる。パキン他、「時間に依存し
て変化する画像内の変位ベクトルフイールドの予測のた
めの空間−瞬間的傾度方法」コンピユータ・ビジヨン・
グラフイツクス・アンド・イメージプロセシング21,PP2
05−221,1983（以下文献〔14〕という）に開示されるア
ルゴリズムはこの技術を使用する。空間的リカーシヨン
および暫時的リカーシヨン技術は共に目標物の境界での
非静止、移動目標物の場合の予測誤差伝達の危険を含ん
でいる。 ここではこれらのリカーシヨン技術は動き補償補間ア
ルゴリズムにおいて考慮されていない。 ３・５階層構造変位予測装置 微分変位予測装置の最も重要なパラメータの一つは期
待度の近似のために用いられる測定ウインドウの寸法で
ある。使用可能な最大のウインドウは画像全体をカバー
するものであり、例えばパンする場合のように全画像内
容が一つの移動目標物として変位されるときには充分な
変位予測を得る。しかしながら、動き補償補間には各画
素での現在の動きを局部的に近似する予測が数個の移動
目標物により生じる変位の平均値よりもむしろ必要であ
る。他方、例えば３×３画素のような非常に小さいウイ
ンドウを用いれば予測は信頼性の低いものとなる傾向が
ある。大きな変位の場合には、テレビジヨンシーケンス
の２個の連続するフイールド内に置かれたこれら小さい
ウインドウの内容間には対応性がないことがある。すな
わち、これらウインドウは２個の全く異つた画像部分を
含み、そして微分予測アルゴリズムの評価が無意味とな
る。測定ウインドウの内の１個によつてのみカバーされ
る移動目標物についての変位ベクトルの微分予測は不可
能である。更に、小さいウインドウを用いた場合、期待
度はほゞ不充分であり、せいぜい１個または２個の画素
の変位に対処できるにすぎない。このように、大きな変
位に対処するには大きな測定ウインドウが必要である。
他方、小さいウインドウは充分に局部的な適応性を要求
される。 この問題を解決するために、階層構造変位予測器が開
発されている。第１段階においては３・２項および３・
３項で述べたような大きなウインドウ寸法をもつ場合の
動き補償反覆が適用される。画像信号はこれらの第１段
階でFIR低域フイルタによつて濾波される。反覆の一つ
の段階から他の段階へとウインドウ寸法を減少させそし
て濾波量を減少させる。反覆の第１段階は大きな変位に
対処する。濾波は予測アルゴリズムの基本である画像モ
デルに整合した画像信号を与える。このように予測は信
頼度を上げるためには精度が低くなる。反覆の第１段階
で予測されたベクトルによる動き補償の後に残りの変位
が次の段階でより精確に予測されなければならない。予
測誤差を小さくするためにより小さい残留変位、より小
さいウインドウ寸法が選ばれる。予測されるべき実際の
変位に近ずくと、アルゴリズムは濾波されない画像信号
について評価される。 反覆の第１段階での計算上の複雑さを抑えるために画
像信号はFIR濾波により達成される帯域制限に従つて空
間的に副サンプリングされる。これは、測定ウインドウ
に含められる画素の数が各段階において同一となるよう
にして行われる。但し、ウインドウによりカバーされる
画像の部分は反覆段階毎に異る。 4.変化検出器 ４・１変化検出の原理 変化検出器は２個の連続するフイールドの一時的に変
化する領域と変化しない領域を区別する。これらフイー
ルドの画素の変化した領域への割当ては変化しない領域
内の固有の雑音によりしばしば誤つたものになる。変化
検出器の目的は一時的な変化が目標物の動きまたは照明
の変化により生じたかあるいは雑音により生じたかを決
定することである。 このための従来の変化検出アルゴリズム（文献〔２〕
および〔13〕）はこれらフイールドのすべての画素につ
いてのフレーム差を評価する。フレーム差が与えられた
しきい値を越えると、その画素が変化したものとされ、
他が変化しないものとされる。このように、変化検出器
は２個の連続するフイールドの変化した領域と変化しな
い領域を示す２進マスクとなる。 しかしながら、この検出方法は雑音の発生により影響
される。すなわち、画素が変化した領域に割当てられる
にも拘らず変化しない領域に属している場合あるいはそ
の逆の場合が生じる。この問題を解決するために、フレ
ーム差が測定ウインドウにわたり加算され、それが与え
られたしきい値と比較される（文献〔２〕および
〔３〕）。この操作は動く目標物により事実上生じるよ
りも著しく大きい変化した領域を有する２進マスクある
いは変化した領域と変化しない領域の間でぼやける境界
の問題を生じさせる。 第４図は例として１次元信号を用いる変化検出を示
す。目標物はフイールドｋ−１からフイールドｋまで変
位dxだけ動いている。絶対フレーム差は無雑音信号を仮
定してゼロしきい値と比較され、結果としての変化検出
マスクが変化する領域と変化しない領域を区別する。こ
のマスクはフイールドｋ−１内の目標物の左側境界部と
して境界を有する。 ４・２変化検出アルゴリズム 第５図はフレーム差を決定すると共に、しきい値操
作、単一の不確定画素の除去、中間濾波および単一画素
の除去を行う変化検出器のブロツク図である。 まず、フイールドｋとｋ−１の間のフレーム差が式
（２）で示されるように計算される。それぞれの画素に
ついての絶対フレーム差を独立的に評価し、３つの状態
の１つ、すなわち不変C1＝0,変化C1＝１または不確定C1
＝Ｘが画像のそれぞれの画素に割当てられる。不確定状
態C1＝Ｘを用いて雑音により生じる誤つた決定がこの第
１処理段階で回避できる。それ故、不確定状態は以降の
操作では別途扱われる。 画素は絶対フレーム差が或るしきい値T1より小さいと
き不変状態に割当てられ、これがT2（＞T1）より大であ
るとき変化状態に割当てられる。残りの画素は不確定状
態に割当てられる。しきい値T1とT2の選択は画像シーケ
ンス内の雑音の振幅に適合しなければならない。 変化した画素と不変画素の間の区別のみを行う２進マ
スクを得るために、単独の不確定画素の除去が行われそ
して非単独不確定画素は変化領域に割当てられる。ある
画素が１つのタイプすなわち変化、不変または不確定の
ものであつて少なくとも６個のそれに隣接する画素が他
のタイプ、すなわち不変または変化であるとき、その画
素を単独と呼ぶ。このように単独不確定画素のそれぞれ
は隣接する画素が変化形のとき不変領域にあるいは隣接
する画素が不変形のとき変化領域に割当てられる。残り
の不確定画素は変化領域に割当てられる。ここに２個の
伝送されるフイールドのそれぞれの画素について変化画
素と不変画素との間の区別を行う２進マスクが出来る。 次の段階においてＮ×Ｎ画素の寸法をもつ測定ウイン
ドウを用いて中間濾波が適用される。マスクのN2/2＋１
画素が変化領域に属する場合には、このウインドウの中
心の画素も変化領域に割当てられあるいはその逆とな
る。このフイルタは単純な計数操作として実現できる。
この中間濾波は変化領域と不変領域の境界をスムーズな
ものにする。更に前の段階で誤決定された小さい領域が
修正される。 上記最後の段階、すなわち単独画素の除去、におい
て、更に残りの単独画素は隣接する画素の状態に再び割
当てられる。 5.動き補償補間フイルタ 動き補償補間フイルタは２個の伝送されるフイールド
および予測された水平および垂直変位ベクトル成分（第
１図）とにより補間されるべきフイールドのそれぞれの
画素を計算する。積分変位ベクトル成分（３・１項参
照）のために、このフイルタは２係数−空間−テンポラ
ルフイルタとして実現される。 位置x,yについて予測された積分変位ベクトル成分を
用いて、まず伝送されたフイールドの対応する画素のア
ドレスが決定される。これらは補間されるべきフイール
ド内の位置x,yにある画素を計算しなければならない。
変位ベクトルと２個の画素が補間されるべきフイールド
と伝送されるフイールドとの間の暫定的な距離に対応す
る重みをつけられる。次に補間されるべき画素がこれら
２個の重みづけされた画素の和から得られる。 第６図はMCI−フイルタアルゴリズムの動作を例示し
ている。伝送されるフイールドはフイールドｋー１につ
いて関連暫定位置ｔ＝０をそしてフイールドｋについて
ｔ＝１を有する。暫定位置ｔ＝τ（但し０τ１）は
フイールドｋ−１に対する補間されるべきフイールドの
暫定的距離に対応している。補間されるべきフイールド
のそれぞれの画素は変位ベクトル成分と暫定位置τの関
数として次のように計算される。 Ｓ（x,y,τ）＝｛１−τ｝・Sk-1（ｘ−τ・x,y−τ
・ｙ）＋τ・Sk（ｘ−｛１−τ｝・x,y−｛１−
τ｝・ｙ） （５） 但し０τ１ ルミナンスデータのみにより予測された変位ベクトル
はクロミナンス信号の補間にも使用される。 6.実験結果 ６・１テストシーケンス 本発明の動き補償フイールド補間器はコンピユータシ
ミユレーシヨンにより実験的に考察されている。フイー
ルド周波数50Hzの２個の150フイールドからなる「トレ
バ（Trevor）」と100フイールドの「スプリツトスクリ
ーン」からなる代表的なビデオ会議シーンが用いられ
た。これらシーケンスはビデオ会議コーデクスの試験用
にヨーロツパCOST211ビスシミユレーシヨンサブグルー
プにより選ばれている。オリジナルのシーケンスはルミ
ナンス成分（Ｙ）について13.5MHz、各クロミナンス成
分（Ｒ−Y,B−Ｙ）についても6.75MHzでサンプリングさ
れ、８ビツト／サンプルで均一に量子化された。補間器
のシミユレーシヨンについてはルミナンス成分およびク
ロミナンス成分の水平解像度はオリジナルのサンプリン
グ速度の半分とされた。このようにすべてのルミナンス
フイールドは288ラインで構成され、312画素／ラインで
あり、またクロミナンスフイールドは288ラインで、156
画素／ラインであつた。データ圧縮の目的でフイールド
周波数は送信側における４フイールド中の３フイールド
の省略により12.5Hzに低減される。ライン・インターリ
ーブの効果は連続するフイールド中の奇数番を脱落させ
た結果考慮されていない。受信側では省略されたフイー
ルドが本発明の動き補償補間により再構成される。最後
に再構成されたシーケンスが標準ビデオモニタでのその
表示のために第２フイールド毎の垂直濾波により標準の
ライン−インターリーブフオーマツトに変換される。 ６・２シミユレーシヨンパラメータ ２個のフイールド間の非中心暫定位置で対称化動き補
償反覆技術を用いた変位ベクトル成分の整数予測による
問題は特殊な順序でのこれらフイールドの補間により減
少する。まず、３個の省略されたフイールドの第２番目
のものが中心位置となる暫定位置においてそれ自体によ
り補間される。次に残りの２フイールドがここで本来伝
送されたフイールドの１個と前に補間されたフイールド
との間の中心となつた暫定位置において補間される。ル
ミナンスデータのみが変位ベクトルフイールドと変化検
出マスクの計算に用いられる。変位ベクトルフイールド
はルミナンスフイールドの補間およびクロミナンスフイ
ールドの補間の双方に用いられる。 変位予測のためのパラメータを第１表に示す。 但しWV,WH＝矩形測定ウインドウ（画素内）の高さおよ
び幅 Ｆ＝画像信号の帯域制限用フイルタの各称。 SF＝測定ウインドウの画像内容のサブサンプリングフア
クタ Ｉ＝各段階で行われる反覆の数 GV,GH＝変位ベクトルフイールドの予測を要する格子に
属する画素間の垂直および水平方向距離 画像信号の帯域制限用に用いられるFIRフイルタのパ
ルスレスポンスを第２表に示す。 変位予測アルゴリズムは階層構造と対称化動き補償反
覆技術の組合せを用いて評価される。それぞれのパラメ
ータを有する３段階が用いられる。各段階において、３
回の反覆が行われる。変位ベクトルはそれぞれの段階で
のすべての空間位置についてではなく特定の画素の小群
についてのみ予測される。他の画素についてはベクトル
はベクトルフイールドの予測を要する矩形格子に属する
最も近い４個のベクトルの距離で重みのついた平均を計
算することによる双方向補間によつて得られる。変位ベ
クトル成分の大きさはｘおよびｙ方向において60画素に
限定される。 ６・３結果の考察 本発明の動き補償補間器により再構成されるシーケン
スを動き補償のない場合に得られる結果と比較する。こ
のためにこれらシーケンスは実時間画像表示システムを
用いてビデオモニタに表示された。線形補間により得ら
れるシーケンス並びにフイールドくり返しにより発生さ
れるシーケンスは可視的劣化が認められる。画品質は比
較的大きな動きにより劣化する。動作補償補間技術は動
作の自然感を広く保持した、鮮明な動く目標物を与え
る。 発明の効果 このようにデイジタルテレビジヨンシーケンスにおけ
る動き補償フイールド補間のためのアルゴリズムが提供
される。動き補償のない線形補間およびフイールド反覆
技術ではぼけおよび不自然な動きのような可視的な劣化
が認められる。これらの結果を回避するために、目標物
の動きが考慮されねばならない。 本発明の階層構造変位予測器は動き補償の反覆により
大きな変位を処理することができる。この階層構造の第
１段階における画像信号の低域濾波を備えた大きな測定
ウインドウについての予測アルゴリズムの評価は予測結
果の信頼性を高めるものである。大型ウインドウによる
計算上の複雑さは帯域濾波による濾波画像内容のサブサ
ンプリングにより低減できる。対称化反覆技術は補間さ
れるべきフイールドについて限定される変位ベクトルフ
イールドを与えることができる。不変領域内の誤つた非
ゼロベクトルはジツタの原因となる。これらは特殊な変
化検出器により抑制される。動き補償補間用にこれらベ
クトルフイールドを用いることにより、動作のほん訳は
従来の補間技術と比較して著しく改善される。 本願の補間方法は整数変位ベクトル成分を用いて２個
の伝送フイールド毎の間に数個のフイールドの鮮明な再
構成を可能にするものである。シーケンスの第４フイー
ルド毎にのみ伝送する場合についてのコンピユータシミ
ユレーシヨンにより補間されたほゞ200フイールドの評
価によれば、動作の自然感が広範囲に保持されることが
わかつた。いくつかの残りの可視的な欠陥は変位ベクト
ルにより充分に近似されない60画素以上の大きな変位あ
るいは非ほん訳動作によるものである。 本発明の補間器により達成される著しく改善された画
品質は比較的複雑なアルゴリズムを必要とする。 本発明の方法やデイジタルテレビジヨンシーケンスの
２個の伝送されるフイールド間で省略された１個以上の
テレビジヨン画像の受信側での再構成、２個の連続する
画像間に１個以上の付加フイールドの発生かよびデイジ
タルテレビジヨンシーケンスの動作補償雑音の低減に用
いることができる。
ジタルビデオ処理では式（４）での期待度はある寸法の
測定ウインドウにわたり加算することにより近似されね
ばならない。一般にこれら測定ウインドウは矩形であつ
て式（４）から得られる予測はこのウインドウの中心に
割当てられる。また空間傾度はルミナンス信号のサンプ
リングにより近似されねばならない。カフオリオ他、
「画像動作予測のための微分方法」、フアンク編イメー
ジシーケンス・プロセシング・アンド・ダイナミツク・
シーン・アナリシス、PP104−124、シユプリンガー−フ
エルラク、ベルリン1983年（以下文献〔10〕という）に
よる提案を適用すると、これら空間導関数はそれぞれｘ
およびｙ方向における２個の隣接した画素間の差の半分
で近似される。 式（４）で得られるすべてのベクトル成分は最も近い
整数値に切上または切下げられる。従つて非整数ベクト
ル成分はない。変位予測にも動き補償フイールド補間に
もフイールドｋ−１またはフイールドｋの格子エレメン
ト間の画素の空間補間を行う必要はない。画像面内での
任意の並進運動を含む信号はジロー他、「インタレース
および非インタレース格子からの動き補償フイールド補
間」セコンドインターナシヨナル、テクニク・シンポジ
ウム、オン・オプテイカル・アンド・エレクトロ−オプ
テイカル・アプライド・サイエンス・アンド・エンジニ
アリング、カンヌ、1985年12月（以下文献〔11〕とい
う）に示されるように整数変位ベクトル成分を用いて完
全に補間できる。 ３・２動き補償反覆 微分予測アルゴリズムを評価することにより得られる
変位予測は、現在の動きが純並進運動に制限されていて
も真の変位からかなり離れたものとなることがしばしば
ある。これは、実際の画像信号がこのアルゴリズムの基
本である数学的な画像モデルから大きく異なつているた
めに生じる。その場合には、変位予測は後述するように
予測アルゴリズムの動き補償の反覆により改善すること
ができる。フイールドｋ−１内の任意の位置x0，y0から
の目標物のフイールドｋ内の未知の位置x0＋dx,y0＋dy
への変位を示すベクトルについての予測を得るために、
測定ウインドウは両フイールドについて中心がx0，y0で
与えられるライン内に配置される。式（4a）に必要な５
個の期待値がそのように配置されたウインドウにわたる
加算により近似される。成分x,ｙの計算後に、予測
はこのアルゴリズムの動き補償の反覆により改善でき
る。そのためにフレーム差がこれまで予測されたベクト
ルにより、すなわち反覆第１段階で得られたベクトルに
より補償される。これはフイールドｋの測定ウインドウ
を位置x0＋x,y0＋ｙに移しそして再び５個の期待値
を計算することにより行われる。式（4a）のフレーム差
FDは次に、前に計算された成分x,ｙの関数として式
（３）で与えられる変位フレーム差DFDに変わる。更
に、フイールドｋに属するすべての項がSk（x,y）の空
間導関数を含む変位位置からとり出されなければならな
い。この第２段階で計算される変位ベクトルは第１段階
の反覆で得られたベクトルに加算される。この操作が充
分に正確な予測となるまでくり返される。 第3A図に示すフイールドｋ−１のすべての画素に適用
されるこの反覆技術はフイールドｋ−１について固有の
変位ベクトルフイールドを得る。しかしながら、これは
フイールドｋのすべての画素に変位ベクトルを割当てる
ものではない。フイールドｋに固有のベクトルフイール
ドを得るために、フイールドｋに置かれた測定ウインド
ウは固定され、フイールドｋ−１のそれは第3B図に示す
ように動き補償反覆において変位される。 ３・３対称化動き補償の反覆 テレビジヨンシーケンスの２個の連続するフイールド
間の任意の暫定位置におけるフイールドの動き補償補間
について、補間されるべきフイールドについての特別に
限定された変位ベクトルフイールドが必要である。３・
２項に述べた反覆技術を用い、フイールドｋ−１または
フイールドｋについて限定されたベクトルフイールドが
得られる。このように補間されるべきフイールドのすべ
ての画素へ変位ベクトルの割当てを行わない。この問題
を解決するために、ベーヤー、「最少評価誤差変数を有
するテレビジヨン画像信号用の変位−評価方法」学位論
文、ドイツ、ハノーバー大学、1985年（以下文献〔12〕
という）に示される対称化反覆技術を用いる。文献〔1
2〕の技術は第3C図のフイールドｋ−１とフイールドｋ
の間の中心にある暫定位置にあるフイールドについて説
明している。動き補償反覆の第２段階において、両方の
測定ウインドウが互いに変位して配置される。この例に
おいて、フイールドｋのウインドウは、位置x0＋x/2.
y0＋y/2に移され、フイールドｋ−１のそれはx0−x
/2,y0−y/2に移される。このように変位ベクトルが得
られそれはフイールドｋ−１からフイールドｋへ移され
る目標物を接続しそしてベクトルが予測されるべき空間
位置x0，y0と交わる。この方法は２個の連続するフイー
ルド間の他の暫定位置にあるフイールドにも適用でき
る。この対称化反覆技術は与えられた暫定位置で補間さ
れるべきフイールドのすべての画素について固有に限定
される変位ベクトルフイールドが得られる。 フイールドの格子素間の画素の空間は補間を避けるた
めに両測定ウインドウは反覆の各段階において整数個の
画素だけ移されねばならない。かくして、第3C図の例に
おいては測定ウインドウを互いに対称的に移すことによ
る動き補償の反覆は常に変位ベクトル成分すなわち２画
素の倍数のベクトル成分を得る。フイールドｋとｋ−１
との間の中心でない暫定位置においては変位ベクトル成
分用のとりうる値群は更に制限を受ける。例えば、フイ
ールドｋ−１に対して４分の１フイールドの距離のとこ
ろの暫定位置においてはベクトル成分は４画素の倍数と
なる。この問題を避けるために、２個の与えられたフイ
ールド間毎の３個のフイールドの動き補償補間用の特別
な処理が６・２項に述べるように用いられる。 ３・４空間的および暫時的リカーシヨン 充分に精確な予測を得るに必要な反覆の回数をリカー
シヨン（recursion）技術を用いることにより減少させ
ることができる。リカーシヨン予測は３・２項で述べた
反覆の第２段階と同様にスタートする。空間的リカーシ
ヨンについては隣接する画素について予め計算された変
位ベクトルにより得られる初期予想が第１動き補償段階
に対して作用する。このように更新項のみが決定されて
初期ベクトルに加えられる。この技術は例えばニトラバ
リ他、「動き補償テレビジヨンコーデイング−パート
Ｉ」ベルシステム・テクニカル・ジヤーナルVol.58,PP6
31−670,1979年３月（以下文献〔13〕という）に示され
ている。暫時的リカーシヨンは画像シーケンスの前のフ
イールドについて決定された変位ベクトルフイールドを
用いることにより行われる。パキン他、「時間に依存し
て変化する画像内の変位ベクトルフイールドの予測のた
めの空間−瞬間的傾度方法」コンピユータ・ビジヨン・
グラフイツクス・アンド・イメージプロセシング21,PP2
05−221,1983（以下文献〔14〕という）に開示されるア
ルゴリズムはこの技術を使用する。空間的リカーシヨン
および暫時的リカーシヨン技術は共に目標物の境界での
非静止、移動目標物の場合の予測誤差伝達の危険を含ん
でいる。 ここではこれらのリカーシヨン技術は動き補償補間ア
ルゴリズムにおいて考慮されていない。 ３・５階層構造変位予測装置 微分変位予測装置の最も重要なパラメータの一つは期
待度の近似のために用いられる測定ウインドウの寸法で
ある。使用可能な最大のウインドウは画像全体をカバー
するものであり、例えばパンする場合のように全画像内
容が一つの移動目標物として変位されるときには充分な
変位予測を得る。しかしながら、動き補償補間には各画
素での現在の動きを局部的に近似する予測が数個の移動
目標物により生じる変位の平均値よりもむしろ必要であ
る。他方、例えば３×３画素のような非常に小さいウイ
ンドウを用いれば予測は信頼性の低いものとなる傾向が
ある。大きな変位の場合には、テレビジヨンシーケンス
の２個の連続するフイールド内に置かれたこれら小さい
ウインドウの内容間には対応性がないことがある。すな
わち、これらウインドウは２個の全く異つた画像部分を
含み、そして微分予測アルゴリズムの評価が無意味とな
る。測定ウインドウの内の１個によつてのみカバーされ
る移動目標物についての変位ベクトルの微分予測は不可
能である。更に、小さいウインドウを用いた場合、期待
度はほゞ不充分であり、せいぜい１個または２個の画素
の変位に対処できるにすぎない。このように、大きな変
位に対処するには大きな測定ウインドウが必要である。
他方、小さいウインドウは充分に局部的な適応性を要求
される。 この問題を解決するために、階層構造変位予測器が開
発されている。第１段階においては３・２項および３・
３項で述べたような大きなウインドウ寸法をもつ場合の
動き補償反覆が適用される。画像信号はこれらの第１段
階でFIR低域フイルタによつて濾波される。反覆の一つ
の段階から他の段階へとウインドウ寸法を減少させそし
て濾波量を減少させる。反覆の第１段階は大きな変位に
対処する。濾波は予測アルゴリズムの基本である画像モ
デルに整合した画像信号を与える。このように予測は信
頼度を上げるためには精度が低くなる。反覆の第１段階
で予測されたベクトルによる動き補償の後に残りの変位
が次の段階でより精確に予測されなければならない。予
測誤差を小さくするためにより小さい残留変位、より小
さいウインドウ寸法が選ばれる。予測されるべき実際の
変位に近ずくと、アルゴリズムは濾波されない画像信号
について評価される。 反覆の第１段階での計算上の複雑さを抑えるために画
像信号はFIR濾波により達成される帯域制限に従つて空
間的に副サンプリングされる。これは、測定ウインドウ
に含められる画素の数が各段階において同一となるよう
にして行われる。但し、ウインドウによりカバーされる
画像の部分は反覆段階毎に異る。 4.変化検出器 ４・１変化検出の原理 変化検出器は２個の連続するフイールドの一時的に変
化する領域と変化しない領域を区別する。これらフイー
ルドの画素の変化した領域への割当ては変化しない領域
内の固有の雑音によりしばしば誤つたものになる。変化
検出器の目的は一時的な変化が目標物の動きまたは照明
の変化により生じたかあるいは雑音により生じたかを決
定することである。 このための従来の変化検出アルゴリズム（文献〔２〕
および〔13〕）はこれらフイールドのすべての画素につ
いてのフレーム差を評価する。フレーム差が与えられた
しきい値を越えると、その画素が変化したものとされ、
他が変化しないものとされる。このように、変化検出器
は２個の連続するフイールドの変化した領域と変化しな
い領域を示す２進マスクとなる。 しかしながら、この検出方法は雑音の発生により影響
される。すなわち、画素が変化した領域に割当てられる
にも拘らず変化しない領域に属している場合あるいはそ
の逆の場合が生じる。この問題を解決するために、フレ
ーム差が測定ウインドウにわたり加算され、それが与え
られたしきい値と比較される（文献〔２〕および
〔３〕）。この操作は動く目標物により事実上生じるよ
りも著しく大きい変化した領域を有する２進マスクある
いは変化した領域と変化しない領域の間でぼやける境界
の問題を生じさせる。 第４図は例として１次元信号を用いる変化検出を示
す。目標物はフイールドｋ−１からフイールドｋまで変
位dxだけ動いている。絶対フレーム差は無雑音信号を仮
定してゼロしきい値と比較され、結果としての変化検出
マスクが変化する領域と変化しない領域を区別する。こ
のマスクはフイールドｋ−１内の目標物の左側境界部と
して境界を有する。 ４・２変化検出アルゴリズム 第５図はフレーム差を決定すると共に、しきい値操
作、単一の不確定画素の除去、中間濾波および単一画素
の除去を行う変化検出器のブロツク図である。 まず、フイールドｋとｋ−１の間のフレーム差が式
（２）で示されるように計算される。それぞれの画素に
ついての絶対フレーム差を独立的に評価し、３つの状態
の１つ、すなわち不変C1＝0,変化C1＝１または不確定C1
＝Ｘが画像のそれぞれの画素に割当てられる。不確定状
態C1＝Ｘを用いて雑音により生じる誤つた決定がこの第
１処理段階で回避できる。それ故、不確定状態は以降の
操作では別途扱われる。 画素は絶対フレーム差が或るしきい値T1より小さいと
き不変状態に割当てられ、これがT2（＞T1）より大であ
るとき変化状態に割当てられる。残りの画素は不確定状
態に割当てられる。しきい値T1とT2の選択は画像シーケ
ンス内の雑音の振幅に適合しなければならない。 変化した画素と不変画素の間の区別のみを行う２進マ
スクを得るために、単独の不確定画素の除去が行われそ
して非単独不確定画素は変化領域に割当てられる。ある
画素が１つのタイプすなわち変化、不変または不確定の
ものであつて少なくとも６個のそれに隣接する画素が他
のタイプ、すなわち不変または変化であるとき、その画
素を単独と呼ぶ。このように単独不確定画素のそれぞれ
は隣接する画素が変化形のとき不変領域にあるいは隣接
する画素が不変形のとき変化領域に割当てられる。残り
の不確定画素は変化領域に割当てられる。ここに２個の
伝送されるフイールドのそれぞれの画素について変化画
素と不変画素との間の区別を行う２進マスクが出来る。 次の段階においてＮ×Ｎ画素の寸法をもつ測定ウイン
ドウを用いて中間濾波が適用される。マスクのN2/2＋１
画素が変化領域に属する場合には、このウインドウの中
心の画素も変化領域に割当てられあるいはその逆とな
る。このフイルタは単純な計数操作として実現できる。
この中間濾波は変化領域と不変領域の境界をスムーズな
ものにする。更に前の段階で誤決定された小さい領域が
修正される。 上記最後の段階、すなわち単独画素の除去、におい
て、更に残りの単独画素は隣接する画素の状態に再び割
当てられる。 5.動き補償補間フイルタ 動き補償補間フイルタは２個の伝送されるフイールド
および予測された水平および垂直変位ベクトル成分（第
１図）とにより補間されるべきフイールドのそれぞれの
画素を計算する。積分変位ベクトル成分（３・１項参
照）のために、このフイルタは２係数−空間−テンポラ
ルフイルタとして実現される。 位置x,yについて予測された積分変位ベクトル成分を
用いて、まず伝送されたフイールドの対応する画素のア
ドレスが決定される。これらは補間されるべきフイール
ド内の位置x,yにある画素を計算しなければならない。
変位ベクトルと２個の画素が補間されるべきフイールド
と伝送されるフイールドとの間の暫定的な距離に対応す
る重みをつけられる。次に補間されるべき画素がこれら
２個の重みづけされた画素の和から得られる。 第６図はMCI−フイルタアルゴリズムの動作を例示し
ている。伝送されるフイールドはフイールドｋー１につ
いて関連暫定位置ｔ＝０をそしてフイールドｋについて
ｔ＝１を有する。暫定位置ｔ＝τ（但し０τ１）は
フイールドｋ−１に対する補間されるべきフイールドの
暫定的距離に対応している。補間されるべきフイールド
のそれぞれの画素は変位ベクトル成分と暫定位置τの関
数として次のように計算される。 Ｓ（x,y,τ）＝｛１−τ｝・Sk-1（ｘ−τ・x,y−τ
・ｙ）＋τ・Sk（ｘ−｛１−τ｝・x,y−｛１−
τ｝・ｙ） （５） 但し０τ１ ルミナンスデータのみにより予測された変位ベクトル
はクロミナンス信号の補間にも使用される。 6.実験結果 ６・１テストシーケンス 本発明の動き補償フイールド補間器はコンピユータシ
ミユレーシヨンにより実験的に考察されている。フイー
ルド周波数50Hzの２個の150フイールドからなる「トレ
バ（Trevor）」と100フイールドの「スプリツトスクリ
ーン」からなる代表的なビデオ会議シーンが用いられ
た。これらシーケンスはビデオ会議コーデクスの試験用
にヨーロツパCOST211ビスシミユレーシヨンサブグルー
プにより選ばれている。オリジナルのシーケンスはルミ
ナンス成分（Ｙ）について13.5MHz、各クロミナンス成
分（Ｒ−Y,B−Ｙ）についても6.75MHzでサンプリングさ
れ、８ビツト／サンプルで均一に量子化された。補間器
のシミユレーシヨンについてはルミナンス成分およびク
ロミナンス成分の水平解像度はオリジナルのサンプリン
グ速度の半分とされた。このようにすべてのルミナンス
フイールドは288ラインで構成され、312画素／ラインで
あり、またクロミナンスフイールドは288ラインで、156
画素／ラインであつた。データ圧縮の目的でフイールド
周波数は送信側における４フイールド中の３フイールド
の省略により12.5Hzに低減される。ライン・インターリ
ーブの効果は連続するフイールド中の奇数番を脱落させ
た結果考慮されていない。受信側では省略されたフイー
ルドが本発明の動き補償補間により再構成される。最後
に再構成されたシーケンスが標準ビデオモニタでのその
表示のために第２フイールド毎の垂直濾波により標準の
ライン−インターリーブフオーマツトに変換される。 ６・２シミユレーシヨンパラメータ ２個のフイールド間の非中心暫定位置で対称化動き補
償反覆技術を用いた変位ベクトル成分の整数予測による
問題は特殊な順序でのこれらフイールドの補間により減
少する。まず、３個の省略されたフイールドの第２番目
のものが中心位置となる暫定位置においてそれ自体によ
り補間される。次に残りの２フイールドがここで本来伝
送されたフイールドの１個と前に補間されたフイールド
との間の中心となつた暫定位置において補間される。ル
ミナンスデータのみが変位ベクトルフイールドと変化検
出マスクの計算に用いられる。変位ベクトルフイールド
はルミナンスフイールドの補間およびクロミナンスフイ
ールドの補間の双方に用いられる。 変位予測のためのパラメータを第１表に示す。 但しWV,WH＝矩形測定ウインドウ（画素内）の高さおよ
び幅 Ｆ＝画像信号の帯域制限用フイルタの各称。 SF＝測定ウインドウの画像内容のサブサンプリングフア
クタ Ｉ＝各段階で行われる反覆の数 GV,GH＝変位ベクトルフイールドの予測を要する格子に
属する画素間の垂直および水平方向距離 画像信号の帯域制限用に用いられるFIRフイルタのパ
ルスレスポンスを第２表に示す。 変位予測アルゴリズムは階層構造と対称化動き補償反
覆技術の組合せを用いて評価される。それぞれのパラメ
ータを有する３段階が用いられる。各段階において、３
回の反覆が行われる。変位ベクトルはそれぞれの段階で
のすべての空間位置についてではなく特定の画素の小群
についてのみ予測される。他の画素についてはベクトル
はベクトルフイールドの予測を要する矩形格子に属する
最も近い４個のベクトルの距離で重みのついた平均を計
算することによる双方向補間によつて得られる。変位ベ
クトル成分の大きさはｘおよびｙ方向において60画素に
限定される。 ６・３結果の考察 本発明の動き補償補間器により再構成されるシーケン
スを動き補償のない場合に得られる結果と比較する。こ
のためにこれらシーケンスは実時間画像表示システムを
用いてビデオモニタに表示された。線形補間により得ら
れるシーケンス並びにフイールドくり返しにより発生さ
れるシーケンスは可視的劣化が認められる。画品質は比
較的大きな動きにより劣化する。動作補償補間技術は動
作の自然感を広く保持した、鮮明な動く目標物を与え
る。 発明の効果 このようにデイジタルテレビジヨンシーケンスにおけ
る動き補償フイールド補間のためのアルゴリズムが提供
される。動き補償のない線形補間およびフイールド反覆
技術ではぼけおよび不自然な動きのような可視的な劣化
が認められる。これらの結果を回避するために、目標物
の動きが考慮されねばならない。 本発明の階層構造変位予測器は動き補償の反覆により
大きな変位を処理することができる。この階層構造の第
１段階における画像信号の低域濾波を備えた大きな測定
ウインドウについての予測アルゴリズムの評価は予測結
果の信頼性を高めるものである。大型ウインドウによる
計算上の複雑さは帯域濾波による濾波画像内容のサブサ
ンプリングにより低減できる。対称化反覆技術は補間さ
れるべきフイールドについて限定される変位ベクトルフ
イールドを与えることができる。不変領域内の誤つた非
ゼロベクトルはジツタの原因となる。これらは特殊な変
化検出器により抑制される。動き補償補間用にこれらベ
クトルフイールドを用いることにより、動作のほん訳は
従来の補間技術と比較して著しく改善される。 本願の補間方法は整数変位ベクトル成分を用いて２個
の伝送フイールド毎の間に数個のフイールドの鮮明な再
構成を可能にするものである。シーケンスの第４フイー
ルド毎にのみ伝送する場合についてのコンピユータシミ
ユレーシヨンにより補間されたほゞ200フイールドの評
価によれば、動作の自然感が広範囲に保持されることが
わかつた。いくつかの残りの可視的な欠陥は変位ベクト
ルにより充分に近似されない60画素以上の大きな変位あ
るいは非ほん訳動作によるものである。 本発明の補間器により達成される著しく改善された画
品質は比較的複雑なアルゴリズムを必要とする。 本発明の方法やデイジタルテレビジヨンシーケンスの
２個の伝送されるフイールド間で省略された１個以上の
テレビジヨン画像の受信側での再構成、２個の連続する
画像間に１個以上の付加フイールドの発生かよびデイジ
タルテレビジヨンシーケンスの動作補償雑音の低減に用
いることができる。
第１図は動き補償補間器の原理図、第２図はテレビジヨ
ンシーケンスにおける中間変位を示す図、第3A図、第3B
図、第3C図は変位測定ウインドウを用いた変位予測用動
き補償の反覆を示す図であつて、第3A図はフイールドｋ
内の測定ウインドウの変位、第3B図はフイールドｋ−１
における測定ウインドウの変位、第3C図は測定ウインド
ウが互に対称的に変位する場合をそれぞれ示す図、第４
図は１次元信号の場合の変化検出を例示する図、第５図
は変化検出器のブロツク図、第６図は動き補償補間フイ
ルタであって、補間されるべきフィールド内のx0，y0に
おける画素を変位ベクトルＤにより結合されるフイール
ドｋとｋ−１内の画素の重みづけ和によつて計算するご
とくしたものを示す図である。
ンシーケンスにおける中間変位を示す図、第3A図、第3B
図、第3C図は変位測定ウインドウを用いた変位予測用動
き補償の反覆を示す図であつて、第3A図はフイールドｋ
内の測定ウインドウの変位、第3B図はフイールドｋ−１
における測定ウインドウの変位、第3C図は測定ウインド
ウが互に対称的に変位する場合をそれぞれ示す図、第４
図は１次元信号の場合の変化検出を例示する図、第５図
は変化検出器のブロツク図、第６図は動き補償補間フイ
ルタであって、補間されるべきフィールド内のx0，y0に
おける画素を変位ベクトルＤにより結合されるフイール
ドｋとｋ−１内の画素の重みづけ和によつて計算するご
とくしたものを示す図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ハンス−ゲーオルク・ムスマン ドイツ連邦共和国ザルツギツター−バー ト・ヘツケンローゼンヴエーク 24 (56)参考文献 特開 昭60−206287（ＪＰ，Ａ) 米国特許4383272（ＵＳ，Ａ) ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＭ29［12］（1981）Ｐ．1799− 1808
Claims (5)
- 【請求項１】下記の段階から成る、ディジタルテレビジ
ョンシーケンスの２個の送信フィールド間毎に１個以上
のフィールドをそう入するための動きの補償用フィール
ド補間方法であって、即ち、 補間されるべきフィールドの各画素についての反覆プロ
セスにより変位ベクトルを発生する段階、 １つのフィールドと後続のフィールドとの間の変化を検
出する変化検出器を用いて、変化しない画領域にゼロ変
位ベクトルを割当てる段階、 補間されるべきフィールドに相応する画像出力信号を形
成するために、合成変位ベクトルとディジタルテレビジ
ョンシーケンスを動きの補償用補間フィルタへ供給する
段階から成る、前記の補間方法において、該補間方法が
次の段階から成ることを、即ち 階層構造変位予測を５ピクセル／フィールドよりも大き
な変位に対処するために加え、反覆の第１の段階におい
て予測されたベクトルによる動きの補償後に、合成変位
ベクトルとして用いられる変位ベクトルを次の段階で更
に正確に予測し、該変位ベクトルに整数成分が与えられ
る段階と、 対称化された動きの補償の反覆を実行し、補間フィルタ
が２個の伝送フィールド毎の変位ベクトルと画素により
補間されるべきフィールドの各画素を補間するように、
補間されるべきフィールドの瞬時位について限定される
変位ベクトルを得る段階から成り、この場合、階層構造
変位予測の第１段かにおいて、画像信号が低減濾波さ
れ、そして次の反覆プロセスの段階での初期値として作
用する大きい測定ウインドウが大きな変位の予測のため
に加えられており、階層構造変位予測の最後の段階にお
いて濾波されない画像信号と小さい測定ウインドウが局
部的に適用可能な変位ベクトル成分の予測のために加え
られることを特徴とする、動きの補償用フィールド補間
方法。 - 【請求項２】すべての画素を変化しない領域又は変化す
る領域に割当てて絶対フレーム差に加えられるしきい値
操作により処理される変換検出情報を、２進変化検出マ
スクの変化する領域と変化しない領域の間の境界が動作
中の目標物の境界に適用されるように測定ウインドウを
用いる中間フィルタにより後処理される特許請求の範囲
第１項記載の方法。 - 【請求項３】ディジタルテレビジョンシーケンスの２個
の伝送フィールド間毎に省略される１個以上のテレビジ
ョン画像の受像側における再構成のための、特許請求の
範囲第１項または第２項記載の方法の利用。 - 【請求項４】それぞれ２個の連続する画像からなる画像
群間での１個以上の付加的フィールドの発生のための、
特許請求の範囲第１項または第２項記載の方法の利用。 - 【請求項５】ディジタルテレビジョンシーケンスの動き
補償雑音低減のための、特許請求の範囲第１項または第
２項記載の方法の利用。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP86103153.2 | 1986-03-08 | ||
| EP86103153A EP0236519B1 (en) | 1986-03-08 | 1986-03-08 | Motion compensating field interpolation method using a hierarchically structured displacement estimator |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS62213392A JPS62213392A (ja) | 1987-09-19 |
| JP2528103B2 true JP2528103B2 (ja) | 1996-08-28 |
Family
ID=8194953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP61233403A Expired - Fee Related JP2528103B2 (ja) | 1986-03-08 | 1986-10-02 | フイ−ルド補間方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US4771331A (ja) |
| EP (1) | EP0236519B1 (ja) |
| JP (1) | JP2528103B2 (ja) |
| CA (1) | CA1271252A (ja) |
| DE (1) | DE3663875D1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7098959B2 (en) | 2002-09-10 | 2006-08-29 | Kabushiki Kaisha Toshiba | Frame interpolation and apparatus using frame interpolation |
| US7180548B2 (en) | 2003-03-28 | 2007-02-20 | Kabushiki Kaisha Toshiba | Method of generating frame interpolation image and an apparatus therefor |
| US7349475B2 (en) | 2002-03-15 | 2008-03-25 | Kabushiki Kaisha Toshiba | Motion vector detection method and apparatus |
| US7375762B2 (en) | 2003-05-30 | 2008-05-20 | Kabushiki Kaisha Toshiba | Frame interpolation method and apparatus, and image display system |
Families Citing this family (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63190473A (ja) * | 1986-09-25 | 1988-08-08 | Nippon Board Computer Kk | 多階調画像デ−タの情報量圧縮方法及び装置 |
| JPS63201878A (ja) * | 1987-02-18 | 1988-08-19 | Hitachi Ltd | 画像圧縮方式 |
| EP0285902A3 (de) * | 1987-04-07 | 1990-10-10 | Siemens Aktiengesellschaft | Verfahren zur Datenreduktion digitaler Bildsequenzen |
| DE3851655T2 (de) * | 1987-06-09 | 1995-02-09 | Sony Corp | Verarbeitung des Bewegungsvektors in Fernsehbildern. |
| DE3850709T2 (de) * | 1987-06-09 | 1994-11-24 | Sony Corp | Reduzierung der Bewegungsvektoren in Fernsehbildern. |
| GB2209446B (en) * | 1987-09-02 | 1992-09-30 | Canon Kk | Automatic focusing device |
| US4868650A (en) * | 1988-03-07 | 1989-09-19 | Rca Licensing Corporation | Circuitry for expanding the effect of a video control signal in multiple dimensions |
| US4891699A (en) * | 1989-02-23 | 1990-01-02 | Matsushita Electric Industrial Co., Ltd. | Receiving system for band-compression image signal |
| JPH07105949B2 (ja) * | 1989-03-20 | 1995-11-13 | 松下電器産業株式会社 | 画像の動きベクトル検出装置および揺れ補正装置 |
| DE4013842A1 (de) * | 1990-04-30 | 1991-10-31 | Ant Nachrichtentech | Verfahren zur aufbereitung von bilddaten fuer uebertragungszwecke sowie anwendung |
| US5351087A (en) * | 1990-06-01 | 1994-09-27 | Thomson Consumer Electronics, Inc. | Two stage interpolation system |
| GB9012326D0 (en) * | 1990-06-01 | 1990-07-18 | Thomson Consumer Electronics | Wide screen television |
| EP0476603B1 (en) * | 1990-09-20 | 1997-06-18 | Nec Corporation | Method and apparatus for coding moving image signal |
| DE4104067C2 (de) * | 1991-02-11 | 1994-08-25 | Telefonbau & Normalzeit Gmbh | Verfahren zur Verbesserung der Qualität von Bewegungsvektoren für digitale Bildübertragung |
| AU660020B2 (en) * | 1991-05-24 | 1995-06-08 | British Broadcasting Corporation, The | Video image processing |
| DE69315626T2 (de) * | 1992-05-15 | 1998-05-28 | Koninkl Philips Electronics Nv | Anordnung zum Interpolieren eines bewegungsausgeglichenen Bildsignals |
| USRE38420E1 (en) * | 1992-08-12 | 2004-02-10 | British Broadcasting Corporation | Derivation of studio camera position and motion from the camera image |
| GB9217098D0 (en) * | 1992-08-12 | 1992-09-23 | British Broadcasting Corp | Derivation of studio camera position and motion from the camera image |
| US5412436A (en) * | 1993-04-22 | 1995-05-02 | Thomson Consumer Electronics, Inc. | Motion adaptive video processing system |
| DE4342305A1 (de) * | 1993-12-11 | 1995-06-29 | Thomson Brandt Gmbh | Verfahren zur hierarchischen Bewegungsschätzung in einem Fernsehsignal |
| JP3319133B2 (ja) * | 1994-03-29 | 2002-08-26 | ソニー株式会社 | 画像プリンタ装置 |
| US5621468A (en) * | 1994-10-07 | 1997-04-15 | Daewoo Electronics Co., Ltd. | Motion adaptive spatio-temporal filtering of video signals |
| KR0178231B1 (ko) * | 1995-08-10 | 1999-05-01 | 배순훈 | 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치 |
| US5612745A (en) * | 1995-07-24 | 1997-03-18 | Motorola, Inc. | Method and apparatus for detecting occlusion |
| US5717463A (en) * | 1995-07-24 | 1998-02-10 | Motorola, Inc. | Method and system for estimating motion within a video sequence |
| GB2329781B (en) * | 1996-03-11 | 1999-08-18 | Samsung Electronics Co Ltd | Motion picture compression circuit and method using motion vector |
| US6126222A (en) * | 1998-05-06 | 2000-10-03 | Ford Global Technologies, Inc. | Liftgate assembly |
| US6618439B1 (en) | 1999-07-06 | 2003-09-09 | Industrial Technology Research Institute | Fast motion-compensated video frame interpolator |
| CA2279797C (en) | 1999-08-06 | 2010-01-05 | Demin Wang | A method for temporal interpolation of an image sequence using object-based image analysis |
| EP1444836A1 (en) * | 2001-10-03 | 2004-08-11 | Koninklijke Philips Electronics N.V. | Detecting static areas |
| EP1530829B1 (en) * | 2002-07-09 | 2018-08-22 | Nokia Technologies Oy | Method and apparatus for selecting interpolation filter type in video coding |
| GB0221144D0 (en) * | 2002-09-12 | 2002-10-23 | Snell & Wilcox Ltd | Image processing using vectors |
| JP4053490B2 (ja) * | 2003-03-25 | 2008-02-27 | 株式会社東芝 | フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置 |
| WO2004102963A1 (ja) * | 2003-05-16 | 2004-11-25 | Sony Corporation | 動き補正装置及び方法 |
| US20090174810A1 (en) * | 2003-11-01 | 2009-07-09 | Taro Endo | Video display system |
| US8493298B2 (en) * | 2003-11-01 | 2013-07-23 | Silicon Quest Kabushiki-Kaisha | Video display system |
| US8350790B2 (en) * | 2003-11-01 | 2013-01-08 | Silicon Quest Kabushiki-Kaisha | Video display system |
| GB2409029A (en) * | 2003-12-11 | 2005-06-15 | Sony Uk Ltd | Face detection |
| TWI238651B (en) * | 2004-04-30 | 2005-08-21 | Benq Corp | Method and apparatus for determining frame status of video data |
| TW200633539A (en) * | 2005-03-09 | 2006-09-16 | Pixart Imaging Inc | Estimation method of motion vector based on distance weighted searching sequence |
| DE102005025634A1 (de) * | 2005-06-03 | 2006-12-07 | Micronas Gmbh | Verfahren und Vorrichtung zur Ermittlung von Bewegungsvektoren |
| KR100754841B1 (ko) | 2005-10-28 | 2007-09-04 | 경희대학교 산학협력단 | 비트율 왜곡 비용에 기초하여 선택된 보간 필터를 이용하여공간 계층간 예측을 수행하는 스케일러블 ｈ.264부호화/복호화 방법 |
| JP4322904B2 (ja) * | 2006-09-19 | 2009-09-02 | 株式会社東芝 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
| DE102007015002A1 (de) * | 2007-03-28 | 2008-10-02 | Micronas Gmbh | Iteratives Verfahren zur Interpolation von Bildinformationswerten |
| EP2487649A1 (de) | 2008-03-18 | 2012-08-15 | Trident Microsystems (Far East) Ltd. | Testen eines Bewegungsvektors |
| DE102008014790A1 (de) * | 2008-03-18 | 2009-10-01 | Micronas Gmbh | Verfahren zum Testen eines Bewegungsvektors |
| DE102008036279B4 (de) * | 2008-08-04 | 2011-03-17 | Trident Microsystems (Far East) Ltd. | Verfahren zur Ermittlung eines Bewegungsvektor zu einem Bildblock eines Zwischenbilds |
| JP2010147538A (ja) * | 2008-12-16 | 2010-07-01 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| US8553763B2 (en) | 2010-06-10 | 2013-10-08 | Sony Corporation | Iterative computation of adaptive interpolation filter |
| US10205962B2 (en) * | 2013-03-15 | 2019-02-12 | Raymond Zenkich | System and method for non-uniform video coding |
| EP3111630B1 (en) | 2014-03-28 | 2021-06-02 | Huawei Technologies Co., Ltd. | Method and device for generating a motion-compensated video frame |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4383272A (en) | 1981-04-13 | 1983-05-10 | Bell Telephone Laboratories, Incorporated | Video signal interpolation using motion estimation |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT1155557B (it) * | 1982-07-19 | 1987-01-28 | Cselt Centro Studi Lab Telecom | Metdodo e dispositivo per la codifica del segnale d immagine con riduzione di ridondanza a distorsione localmente uniforme |
| DE3408061A1 (de) * | 1984-03-05 | 1985-09-05 | ANT Nachrichtentechnik GmbH, 7150 Backnang | Verfahren zur bewegungsadaptiven interpolation von fernsehbildsequenzen und anwendungen dieses verfahrens |
| US4633490A (en) * | 1984-03-15 | 1986-12-30 | International Business Machines Corporation | Symmetrical optimized adaptive data compression/transfer/decompression system |
| US4661849A (en) * | 1985-06-03 | 1987-04-28 | Pictel Corporation | Method and apparatus for providing motion estimation signals for communicating image sequences |
| US4663660A (en) * | 1986-06-20 | 1987-05-05 | Rca Corporation | Compressed quantized image-data transmission technique suitable for use in teleconferencing |
-
1986
- 1986-03-08 DE DE8686103153T patent/DE3663875D1/de not_active Expired
- 1986-03-08 EP EP86103153A patent/EP0236519B1/en not_active Expired
- 1986-10-02 JP JP61233403A patent/JP2528103B2/ja not_active Expired - Fee Related
-
1987
- 1987-03-06 US US07/022,975 patent/US4771331A/en not_active Expired - Lifetime
- 1987-03-06 CA CA000531335A patent/CA1271252A/en not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4383272A (en) | 1981-04-13 | 1983-05-10 | Bell Telephone Laboratories, Incorporated | Video signal interpolation using motion estimation |
Non-Patent Citations (1)
| Title |
|---|
| ＩＥＥＥＴＲＡＮＳＡＣＴＩＯＮＳＯＮＣＯＭＭＵＮＩＣＡＴＩＯＮＳＣＯＭ２９［１２］（１９８１）Ｐ．１７９９−１８０８ |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7349475B2 (en) | 2002-03-15 | 2008-03-25 | Kabushiki Kaisha Toshiba | Motion vector detection method and apparatus |
| US8144777B2 (en) | 2002-03-15 | 2012-03-27 | Kabushiki Kaisha Toshiba | Motion vector detection method and apparatus |
| US7098959B2 (en) | 2002-09-10 | 2006-08-29 | Kabushiki Kaisha Toshiba | Frame interpolation and apparatus using frame interpolation |
| US7180548B2 (en) | 2003-03-28 | 2007-02-20 | Kabushiki Kaisha Toshiba | Method of generating frame interpolation image and an apparatus therefor |
| US7375762B2 (en) | 2003-05-30 | 2008-05-20 | Kabushiki Kaisha Toshiba | Frame interpolation method and apparatus, and image display system |
Also Published As
| Publication number | Publication date |
|---|---|
| US4771331A (en) | 1988-09-13 |
| JPS62213392A (ja) | 1987-09-19 |
| EP0236519B1 (en) | 1989-06-07 |
| DE3663875D1 (en) | 1989-07-13 |
| CA1271252A (en) | 1990-07-03 |
| EP0236519A1 (en) | 1987-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2528103B2 (ja) | フイ−ルド補間方法 | |
| Bierling et al. | Motion compensating field interpolation using a hierarchically structured displacement estimator | |
| Thoma et al. | Motion compensating interpolation considering covered and uncovered background | |
| Nam et al. | A fast hierarchical motion vector estimation algorithm using mean pyramid | |
| Bierling | Displacement estimation by hierarchical blockmatching | |
| De Haan et al. | True-motion estimation with 3-D recursive search block matching | |
| EP0549681B1 (en) | Video image processing | |
| US5642170A (en) | Method and apparatus for motion compensated interpolation of intermediate fields or frames | |
| EP1164792A2 (en) | Format converter using bidirectional motion vector and method thereof | |
| US5444493A (en) | Method and apparatus for providing intra-field interpolation of video signals with adaptive weighting based on gradients of temporally adjacent fields | |
| JPH07184167A (ja) | 動き補正ビデオ信号処理方式 | |
| US6930728B2 (en) | Scan conversion apparatus | |
| Reuter | Standards conversion using motion compensation | |
| JP3864444B2 (ja) | 画像信号処理装置および方法 | |
| US6760376B1 (en) | Motion compensated upconversion for video scan rate conversion | |
| Kim et al. | A new video interpolation technique based on motion-adaptive subsampling | |
| Csillag et al. | Frame-rate conversion based on acceleration and motion-based segmentation | |
| JP3867697B2 (ja) | 画像信号生成装置および生成方法 | |
| EP0648046B1 (en) | Method and apparatus for motion compensated interpolation of intermediate fields or frames | |
| JP3906770B2 (ja) | ディジタル画像信号処理装置および方法 | |
| Robert et al. | Advanced high-definition 50 to 60-hz standards conversion | |
| JP3831960B2 (ja) | 圧縮高解像度ビデオ信号の補間装置および補間方法 | |
| JP3906832B2 (ja) | 画像信号処理装置および処理方法 | |
| Krause | Motion estimation and interpolation in time-varying imagery | |
| JP3746305B2 (ja) | 画像信号生成装置および方法、並びにディジタル画像信号処理装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |