JPH08307820A

JPH08307820A - インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法

Info

Publication number: JPH08307820A
Application number: JP8096384A
Authority: JP
Inventors: M Ibrahim Sezan; イブラヒムセザンエム; Andrew J Patti; ジェイパッティアンドリュー
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1995-04-21
Filing date: 1996-04-18
Publication date: 1996-11-22
Also published as: EP0739129A2; EP0739129A3; US5579054A

Abstract

(57)【要約】【課題】独立的な局所的被写体のモーションに加えて
優勢的モーションの双方の存在下で、デインタレースす
るために大局的なモーション補償とモーション適用とを
結合する強固な方法を提供する。【解決手段】インタレースされたビデオフィールドか
ら高画質静止画像を形成する。第１及び第３フィールド
間での局所的モーション検出１８を用い、モーションな
し領域において第１及び第２フィールドを結合２０す
る。局所的モーションを含む領域において第１フィール
ド上で空間補間を行う。局所的モーション検出１８に先
立って、第２及び第３フィールドから優勢的モーション
を取り除く１６。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ズーム、回転、
パン或いはジッター等の優勢的モーション（dominant m
otion ）と独自に移動する被写体の局所的モーション
（local motion）の双方の存在下で、インタレースされ
たビデオ信号で成る複数フィールドから高画質静止画像
を得る、即ちデインタレースする（deinterlacing ）た
めの方法及びシステムに関するものである。

【０００２】

【従来の技術】ビデオフレームを取得するハードウェア
の最近の利用法によれば、マルチメディアコンピュータ
やビデオプリントシステムのような種々の新たなプラッ
トフォーム上にビデオ信号を出現させることができる。
これらの新たなプラットフォームによれば、ビデオ信号
を本来意図されたものとは異なるモードで、即ち静止画
像として観察し、或いはプリントする期待をユーザに持
たせていた。インタレースされたビデオ規格は、満足す
べき画質で動画を表示するのに十分ではあるものの、画
像を表示するのに必要な情報の２分の１しか１度に得ら
れないため、静止画を表示するには必ずしも有効でな
い。その結果、ビデオは、一連の静止画として観察可能
になる前にデインタレースされ、即ち進行的な（progre
ssive ）映像に変換されなければならない。デインタレ
ース処理は、フィールドからフレームを形成することに
関するものであるが、モーションがフィールドからフィ
ールドへとシーン内容を変化させ得る場合には複雑化さ
れる。フィールド間の相対的モーションは、カメラに対
するシーン中の被写体の移動によって、或いはパン、ズ
ーム及びジッター等のカメラ側の変化によって生じ得
る。後者は、携帯式需要家向けカムコーダにおいて良く
現れる。

【０００３】従来技術では、欠落している奇数（もしく
は偶数）ラインを推定することによって偶数（もしくは
奇数）ラインをデインタレースする問題を提起する。周
知の方法によれば、偶数及び奇数フィールドを結合す
る、即ち隣接する偶数（奇数）フィールドのラインによ
って奇数（偶数）フィールドの欠落ラインを補充する。
この簡易なメカニズムでは、移動する被写体（２つの連
続するフィールドの時間間隔内で移動する被写体）を含
む画像領域で空間的な「異常振動（judder）」のアーチ
ファクト（artifacts ）を生じさせる。しかしながら結
合処理によれば、静止画像領域においては最良の空間解
像度を与える。デインタレースに対する別のアプローチ
では、１つのフィールドにのみ（例えば偶数フィール
ド）に集中させ、空間補間を使って欠落ラインを補間す
る。簡単な補間技術は、垂直線形補間（vertical linea
r interpolation ）である。その場合、欠落画素の上下
の有効画素値の平均値がその欠落画素に充当される。こ
の方法では、欠落画素が垂直でない方向のエッジの上に
あれば、アーチファクトを生じさせる。これらのアーチ
ファクトを解消するために、Ｍ．イズナーディの「テレ
ビジョン処理のモデリング化」と題する１９８６年、マ
サチューセツ工科大学の技術レポート、第５１５号、１
６１〜１６３頁に輪郭感知空間補間方法が提示されてい
る。この方法は、欠落画素における画像勾配の方向を見
出そうとするものである。この場合「エッジを横切ら
ず」しかもアーチファクトを生じさせないために、この
方向に沿って存在する画像値を使って補間が行われる。

【０００４】ハイブリッド法はかなり有効な方法であ
り、その場合デインタレース処理は、画素間に基礎をお
いて、結合処理と欠落画素のダイナミクスに依存する空
間補間とを切り換え、これにより静止画像領域での結合
処理の利点が十分に維持される。「移動画素」或いは
「静止画素」として欠落画素を区別するためにモーショ
ン検出スキームが用いられることになる。

【０００５】１９８４年９月にベネット等に付与された
米国特許第４，４７２，７３２号には、デインタレース
されるフィールド（例えば、奇数フィールド）の前後の
同一極性を有する隣接フィールド（例えば、偶数フィー
ルド）の画素間の差分を用いる方法が開示される。この
方法によれば、モーション検出を行い、そして次に差分
値に対して閾値処理を施すことによって決定されるモー
ションの有無に従って結合処理と垂直補間とを切り換え
る。この特殊なアプローチでは、シーンにモーションが
あるにもかかわらず、２つの隣接フィールドにおいて比
較されている画素のグレイレベルが類似していると「モ
ーションなし（no motion ）」と誤検出してしまう。例
えば、図１に示されるように矢印Ａ方向に均一背景１２
に対して移動する小さな被写体１０を含むシーンの場合
にそのような状態になる。図１において、（ｋ），（ｋ
＋１）及び（ｋ＋２）は、連続するインタレースされた
ビデオフィールドを表している。この場合、ボックス１
４で示される注目領域でのフィールド（ｋ）及び（ｋ＋
１）を結合処理すると、フィールド（ｋ）及び（ｋ＋
２）間でモーションなしと誤って区別することに起因し
てアーチファクトを生じさせることになる。連続する第
４のフィールド、即ち図１のフィールド（ｋ＋３）がモ
ーション検出に用いられるならば、各時間（ｋ）及び
（ｋ＋２）のフィールドの比較に加えてフィールド（ｋ
＋１）及び（ｋ＋３）を比較することで、モーション検
出の信頼性を向上することができる。つまり図１の例か
ら明らかなように、各時間（ｋ＋１）及び（ｋ＋３）で
のフィールドにおける対応する画像値の比較結果から、
時間（ｋ＋１）でのフレームにおける注目領域に対し
て、「移動」の判断を行うことができる。４つの連続す
るフィールドを使い、空間補間と結合処理を切り換え
る、モーション検出に基づくデインタレース技術につい
ては、１９８８年１１月１５日にイシカワに付与された
米国特許第４，７８５，３５１号、或いは１９９１年６
月４日にモトエ等に付与された米国特許第５，０２１，
８７０号等に述べられている。

【０００６】これらの技術は、モーションの存在する場
合に適用するものであり、フィールド間の優勢的モーシ
ョンを含むビデオ画像の場合には必ずしも高画質静止画
像を形成するのに有効ではない。これらの場合、上述の
技術は空間補間にのみ留まり、それ以上の解像度の改善
は得られないであろう。例えば優勢的モーションを有す
るビデオ画像は、携帯式カメラ及び／又はパンやズーム
されたカメラのモーションから生じる。携帯式ビデオカ
メラは需要家向けに次第に普及してきているので、隣接
フィールドに含まれた情報を使って、モーション補償さ
れた時間的補間を介して解像度を改善するデインタレー
ス方法に対する関心が高まってきている（例えば、ビデ
オから高画質のプリントを生成するために用いる場
合）。

【０００７】フィールド間の優勢的モーションを説明す
るモーション補償されたデインタレース技術は、１９９
２年７月２８日に付与された米国特許第５，０２１，８
７０号においてワング等によって述べられている。ワン
グ等によって提案されたこの技術は、ブロックマッチン
グによって（各画素に対する）局所的基準（local basi
s ）で推定と補償を行う時間反復方法である。この方法
の時間反復的性質から、注目フィールドに先行するデイ
ンタレースされた形式のフィールドが用いられる。局所
的モーション推定の正確性を増すためにブロックサイズ
の調整には４進木階層構成が用いられる。デインタレー
ス処理は、空間垂直補間とモーション補償された補間の
結果を線形的に混合することによって実行される。この
場合、モーション補償は、注目フィールドに続く次のフ
ィールド或いは先行する反復的にデインタレースされた
形式のフィールドを使って行われる。

【０００８】

【発明が解決しようとする課題】個々の画素位置に対す
る局所的モーションの推定は一般に、計算的に費用がか
かる。更に、それは、カバー／アンカバー領域（covere
d/uncovered regions ）の存在によって複雑化され（即
ち閉塞）、また相互に独立して移動する被写体の境界部
におけるモーションベクトルを鋭く変化させる。局所的
モーションを推定する、従って独立的な被写体のモーシ
ョンを考慮する方法におけるロバストネスに対するチャ
レンジ（challenge for robustness）は、モーション境
界部におけるアーチファクトを生成させることではな
い。この問題は、費用のかかる処理を伴わずにロバスト
な仕方で解決するためにはかなり難しく、また、小さな
アーチファクトでも極端に嫌われるのでビデオから高画
質静止画像を生成する場合には特に困難である。アフィ
ン（affine）或いは遠近法のようなモデルを使って大局
的にモデル化する場合、実際のモーションがモデルから
逸脱している場合には要請はアーチファクトを生成させ
ることではない。

【０００９】本発明の目的は、インタレースされたビデ
オから高画質静止画像を生成するために、独立的な局所
的な被写体モーションに加えてカメラズーム、パン或い
はジッター等の優勢的モーションの双方の存在下で、デ
インタレースするために大局的なモーション補償とモー
ション適用とを結合する強固な方法を提供することであ
る。

【００１０】

【課題を解決するための手段】簡単に概説すると、この
目的は、インタレースされたビデオフィールドから高画
質静止画像を生成するためのシステム及び方法を提供す
ることによって本発明の一態様に従って達成される。即
ち、第１及び第３フィールド間での局所的モーション検
出を用い、モーションなし領域における第１及び第２フ
ィールドを結合し、そして局所的モーションを含む領域
において第１フィールド上で空間補間を行うものにおい
て、このシステム及び方法は、局所的モーション検出に
先立って、第２及び第３フィールドから優勢的モーショ
ンを取り除くことによって改良される。

【００１１】この発明のシステム及び方法はモーション
補償を利用し、またモーションの推定／補償によって生
成されたアーチファクトが最少化されるという意味にお
いて強固な方法を形成するべく特別な考慮がなされてい
る。優勢的モーションとしての大局的モデルを基準にし
て得られたモーションフィールド推定を説明するものと
する。本発明の方法及びシステムは従来技術に対して有
利であり、複雑な計算を伴わずに優勢的及び局所的モー
ションを結合操作可能とする。

【００１２】本発明のこれら及び他の態様、目的、形態
及び利点については、添付の図面を参照しながら好適実
施の形態及び特許請求の範囲の以下の詳細な記述から、
更に明確に理解され認識されることになる。

【００１３】

【発明の実施の形態】図２において、本発明の方法で
は、ｆ0 ，ｆ1 ，ｆ2 でそれぞれ示されるように入力と
して３つの連続するインタレースされたビデオフィール
ドを用いる。また３つのステージを含み、即ち（ｉ）フ
ィールドｆ1 及びｆ2 から優勢的モーションを取り除
き、モーション補償された第２及び第３ビデオフィール
ドを形成し（１６）、（ii）第１フィールド及び第３の
モーション補償されたフィールドを用いて各フィールド
での局所的モーションを検出し（１８）、（iii ）モー
ションのない領域において第１フィールドと第２のモー
ション補償されたフィールドを結合し、モーションが検
出された第１フィールドの領域において空間補間を行う
（２０）。

【００１４】優勢的モーション除去ステージ１６では、
優勢的モーションは、ユーザによって特定された注目領
域（ＲＯＩ）上で推定され、フィールドｆ1 ^MC及びｆ2
^MCを形成する。ここに述べる方法によればユーザはビデ
オから注目フィールドを選択することができるが、この
ユーザによるＲＯＩの選択は、本発明方法の有用性を制
限するものではない。ＲＯＩは、大局的モーションが存
在するｆ0 における領域を表すために選択される。計算
的な増分によるコスト次第でフィールド全体をＲＯＩと
して選択することも可能である点に留意する。次に続く
局所的モーション検出ステージ１８では、前のステージ
１６で除去された優勢的モーションとは異なるモーショ
ンを伴って移動するビデオ領域を検出するためにモーシ
ョン検出が行われる。モーション検出手段には閾値処理
を用い、この閾値処理が以下に詳述するシーン内容に適
合するという点で好適である。モーション検出ステージ
１８の出力は２値のモーション／モーションなし判断マ
ップであり、最後の処理ステージ２０にて用いられる。

【００１５】図３において、本発明の実施に有用なシス
テムが示されている。例えばデジタイザ２４に接続され
たビデオカムコーダ／ＶＣＲ２２、デジタルビデオカム
コーダ／ＶＣＲ２６或いは記憶ディスク２８等の入力装
置が、デジタルフィールドのビデオシーケンスの供給源
となる。このデジタルフィールドのビデオシーケンスは
次に、画像処理コンピュータシステム３０に供給され
る。コンピュータシステム３０は、パワーＰＣのような
コンピュータ３２、典型的にはＳＶＧＡもしくはそれ以
上の解像度を有するＣＲＴ表示装置３４、及びキーボー
ド又はマウスのようなオペレータ入力装置３６を含んで
いる。このコンピュータは、高画質静止画像のハードコ
ピーを生成するプリンタ３８のような出力装置、途中の
表示画像を記憶するための光ディスクのような記憶媒体
４０、或いは高画質静止画像を配送するための連絡ネッ
トワークに対するリンク４２と接続される。

【００１６】本発明の３つの主要ステージを次に詳細に
説明するものとする。

【００１７】優勢的モーションの除去このステージは、入力フィールドｆ0 ，ｆ1 及びｆ2 で
開始し、空間垂直線形補間を使って対応するフレームＦ
0 ^L，Ｆ1 ^L及びＦ2 ^Lを計算する。これは、図４のブ
ロック図において線形補間器４４で示されている。次
に、対フレームＦ0 ^L，Ｆ1 ^L及びＦ0 ^L，Ｆ2 ^L間で
モーション推定器４６によってモーションが推定され
る。ここでは定速度、直線軌道モーション（linear-tra
jectory motion）を想定していない点に留意する。つま
りこれは、優勢的モーションがカメラジッタによって生
じる場合には直線モーションを想定し得ないためであ
る。この大局的モーションは、フレームを

【数１】として関係付けるアフィン変換（affine transformatio
n ）を使ってモデル化される。モーション推定には、Ｒ
ＯＩ上でパラメータｃ1 〜ｃ6 を推定することが必要で
ある。この推定を行うためにバージェン等において説明
された方法を使用する。「２成分画像モーションを推定
するための３フレームアルゴリズム」ＩＥＥＥ会報、パ
ターン解析、第１４巻、８８６〜８９６頁、１９９２年
によれば、連続する視覚的フローの拘束状態（continuo
us optical flow constraint）を適用し、ビデオ信号ｆ
（ｘ，ｙ，ｔ）のテーラー級数展開のために表現された
最少２乗問題を解決する。この方法において、空間導関
数が推定されなければならないので、フレームＦ0 ^L，
Ｆ1 ^L及びＦ2 ^Lは実質的に予め錯乱されている。１３
×１３サポートの均一錯乱が有効であることが分かっ
た。更にテーラー級数展開が小モーションを想定するた
め、このアルゴリズムは反復的に用いられる。

【００１８】Ｆ0 ^L及びＦ1 ^L間及びＦ0 ^L及びＦ2 ^L
間のそれぞれモーションに対応して、図４のＰ1 及びＰ
2 によって示されたモーションパラメータのセットが与
えられ、モーション補償されたフィールドｆ1 ^MC及びｆ
2 ^MCを計算するためにモーション軌道フィルタ処理４８
が用いられる。フレームＦ1 ^L及びＦ2 ^Lは、フレーム
Ｆ1 ^W及びＦ2 ^Wを形成するために線形空間補間を使っ
てラップ５０され、これら双方ともフレームＦ0 の推定
である。フレームＦ1 ^W及びＦ2 ^Wは次に、Ｆ0 のモー
ション補償された推定であるフレーム（Ｆ0 ）＾^MCを形
成するために一時的に平均化５２される。最後にフレー
ム（Ｆ0 ）＾^MCは、奇数及び偶数フィールドｆ1 ^MC及び
ｆ2 ^MCに分割５４される。

【００１９】局所的モーションの検出モーション検出を行うためにフィールドｆ0 及びｆ2 ^MC
を使用する。用いるモーション検出法は、これらの２つ
のフィールドにおける適所領域上で合計絶対値差分（Ｓ
ＡＤ）（summed absolute difference）を計算し、そし
て閾値処理スキームを適用することである。例えば時間
インデックスｋでの（ｎ1 ，ｎ２−１）における欠落画
素位置に対して、Ｓ_K（ｎ1 ，ｎ２−１）としてＳＡＤ
を与えると、３×３ウィンドウ上で計算されるＳＡＤは
次のように与えられる。

【００２０】

【数２】ここに、（ｆ0 ）^{〜 MC}（ｎ1 ，ｎ２，ｋ）及び（ｆ2
）^{〜 MC}（ｎ1 ，ｎ２，ｋ）は、進行ラチス（progress
ive lattice ）上で標本化された対応する連続フィール
ドを表している。Ｓ_K（ｎ1 ，ｎ２−１）が閾値よりも
大きければ、そのときのモーションが検出されると共
に、モーション検出マップアレイの対応位置に“１”が
挿入される。一方では、モーションが存在しないと推定
され、モーション検出マップにおける対応位置に“０”
が挿入される。次に、空間的に適用可能なダイナミック
閾値の選択方法について述べる。

【００２１】先ず始めに、モーション補償工程の結果と
して、優勢的モーションは既に取り除かれており、フィ
ールドｆ0 及びｆ2 ^MC間に適用されたモーション検出
は、優勢的モーションから独立して移動する被写体のモ
ーションを検出しているものとする。モーション補償ス
テージにおけるモーション軌道に沿ったフィルタリング
の際になされた大局モーションの仮定のために、実際に
はフィールドｆ2 ^MCにモーション“ゴースト”が現れる
ことになるだろう。図５に示されるように小さな被写体
１０のモーションゴースト５６がフィールドｆ1 ^MC及び
ｆ2 ^MCに現れる。ゴーストがモーション検出に対して現
れるので、このゴースティングは、一対のフィールドを
比較するだけでありながら、均一な背景に対して独立し
て移動する微細な被写体のモーションを３フィールド法
によって検出可能にさせるという積極的な効果を有して
いる。ところが、ここでは背景及びゴースト間の強度差
は、被写体及び背景間の強度差に比較して、平均化処理
に起因して因子２によって減少される。モーションの検
出には小さな閾値が必要となる。つまりここで問題とな
るのは、比較閾値（comparison threshold）が過度に低
く設定されると、モーションは、大局的モーションを経
たシャープエッジのまわりで誤って検出され、優勢的モ
ーション推定における不正確性に起因して完全には補償
されないことになる。この問題について以下に説明する
適用可能な閾値処理を使用する。

【００２２】次の２つの視点から適用可能な閾値処理ス
キームの設計が制限される。第１にモーション検出エラ
ーはアーチファクトを引き起こし、これらは、特にモー
ションなしが検出される場合に低い局所的な偏差の画像
領域において最も顕著である。従って、低偏差領域では
モーション検出に使用される比較閾値は、特にゴースト
の正確な検出に対しては低くなるであろう。第２に高偏
差領域ではモーション検出に起因するアーチファクトは
殆ど目立たない。更に、フィールド内手法によってデイ
ンタレースする場合と比較すると、高偏差領域におい
て、モーション補償されたフィルタリングが解像度を最
大にすると共に偽信号を最少にする。従って高偏差領域
でモーション検出の閾値が高くなる。このことはまた、
かかる領域における優勢的モーション推定のエラーに対
して絶対的公差をもたらし、そのような公差の利点は上
述した通りである。これらの性質を備えたモーション検
出スキームが図６に示されている。

【００２３】図６において、第１工程では、画素が３×
３ウィンドウの中心に位置している３×３領域上の各々
の画素にてフィールドｆ0 のサンプル標準偏差を局所的
に判断５８する。その結果は２−Ｄアレイ、即ち標準偏
差値の画像（Ｓ．Ｄ画像）である。Ｓ．Ｄ画像に対する
閾値を空間的に適応させ、標準偏差に対して異常に高い
値に対する従属性を除去するために、Ｓ．Ｄ画像は、例
えばｋ＝４の周知のｋ手段クラスタアルゴリズム（Ｊ．
Ｓリム、２次元信号・画像処理、プレンティスホール、
１９９０年、６０７頁参照）を使って４つのレベルにダ
イナミックに量子化６０される。このダイナミック量子
化処理から出力された４レベル標準偏差は次に、区間
〔０，１〕に正常化され、ユーザによって特定された最
大閾値を縮小化するために使用される。これは、高低偏
差領域に適用可能な４閾値をもたらす。各画素位置は、
これら４つの閾値の１つに指定される。最大の量子化さ
れた標準偏差の領域は、特殊化された最大閾値を使用
し、残りの３つの量子化されたレベルでは標準偏差が減
少するように閾値も減少する。

【００２４】これらの閾値は次に、ｆ0 及びｆ2 ^MC間で
計算されたＳＡＤ値の画像６６に適用６４され、出力モ
ーション検出マップを形成する。多くのテスト画像にお
いて最大閾値に２０を設定すると、極めて良好な性能が
得られた。

【００２５】結合／補間本発明のこのステージにおいては、モーション検出マッ
プに基づいて最終的なデインタレースされた画像（Ｆ0
）＾を生成する。偶数ラインについて、ｆ0 のライン
は（Ｆ0 ）＾の偶数ラインを形成するためにコピーされ
る。（Ｆ0 ）＾の奇数ラインについては、ｆ1 ^MCからの
画素を結合させることによってか（補償された画素）、
或いはフィールド内補間を使用することによって（非補
償された画素）ｆ0 の欠落画素を置き換えるかを決定す
るために、モーション検出ステージからのモーションマ
ップが使用される。ここに提示するフィールド内補間
は、イスナーディの方向補間法であり、輪郭が正確に認
識されない領域でのアーチファクトを減少させるための
機構を含んでいる。

【００２６】輪郭の方向を検出する簡易な方法は、補間
されるべき画素のまわりのウィンドウ上でＳＡＤを比較
することである。例えば、３画素ライン（３×１）ウィ
ンドウは、Ｓ_mによって示される方向ｍについてのＳＡ
Ｄを形成する。

【００２７】

【数３】Ｓ_mの値は、所定の範囲のスロープｍ＝−
α，．．．．，αに対して計算され、Ｓ_mが最少となる
方向ｍは、方向補間に対して選択されたスロープであ
る。僅かなスロープにつきテストするために画像ライン
は水平方向に多標本化（upsampled ）可能であり、また
そのアルゴリズムは、多標本化された画像に適用可能で
ある。

【００２８】スロープｍが正確に推定されない場合、ア
ーチファクトが生じることになる。これらのアーチファ
クトは、十分に画定された輪郭が存在しない微細領域に
おいて生じる。各テストウィンドウ対に対するＳＡＤ値
がランダムな値になっているために生じる。この問題の
改善策は、十分に画定された輪郭の存在を検出し、その
ような輪郭が見出された場合に方向補間を使用すること
である。このタスクを実行する簡単且つ有効な手段は、
０及び１間の因子によって垂直方向についてのＳＡＤ値
を縮小することであり、これにより垂直補間を使うこと
に指向する決定がなされる。十分に画定された輪郭が存
在するならば垂直補間が使用され、また輪郭が存在しな
ければ垂直補間が使用される。乗算係数０．６とするこ
とにより、十分に画定された輪郭の存在を検出すると共
に、輪郭方向の良好な推定を実現することが実験的に判
明した。ＳＡＤが７×３ウィンドウ上で計算され、０．
５の画素間隔で計算されたｍ＝２のスロープの場合に多
数の画像で極めて良好な結果が得られた。

【００２９】本発明方法を実行するためのサンワークス
テーションのようなユニックスをベースとするワークス
テーションでのオペレーションのためのＣ++言語で書か
れたコンピュータプログラムが、ここに付属物のマイク
ロフィルムにて提供される。この付属物の第１部は、本
発明の優勢的モーション除去部を実行するためのプログ
ラムであり、付属物の第２部は、本発明の局所的モーシ
ョン検出及び結合／空間補間部を実行するためのプログ
ラムである。

【００３０】本発明は、次のような複数スペクトル（即
ち、カラー）ビデオに対して適用可能である。赤色、緑
色及び青色（Ｒ，Ｇ，Ｂ）によって表現された３チャネ
ルカラービデオが与えられた場合、（Ｙ，Ｕ，Ｖ）のよ
うな輝度−クロミナンス空間にそれを変換するために変
換操作が適用され、その場合Ｙは輝度を示し、Ｕ及びＶ
は組み合わさった彩度チャネルを示す。推定されたモー
ションは次に、発生する高画質カラー静止画像を生成す
るために、本発明に従って赤色、緑色及び青色チャネル
の処理に使用される。

【００３１】本発明は好適な実施形態について記述され
た。しかしながら、本発明から逸脱せずに当業者によっ
て変更及び変形等が有効になされ得るのは明らかであ
る。

【図面の簡単な説明】

【図１】ビデオ画像信号における連続フィールド間の
モーションを検出する従来方法を示す図である。

【図２】本発明の主要工程を示すブロック図である。

【図３】本発明を実施するために適合し得る信号を表
す概略ブロック図である。

【図４】本発明に用いられる優勢的モーション補償フ
ィルタリングを示す詳細なブロック図である。

【図５】優勢的モーション補償されたフィールドにお
けるモーション検出時のゴーストを示す連続フィールド
を示す図である。

【図６】本発明に用いられる適用可能なモーション検
出の詳細なブロック図である。

【符号の説明】

１０小さな被写体、１２背景、１４注目領域、１
６優勢的モーション除去工程、１８局所的モーショ
ン検出工程、２０結合／空間補間工程、２２ビデオカ
ムコーダ／ＶＣＲ、２４デジタイザ、２６デジタル
ビデオカムコーダ／ＶＣＲ、２８記憶ディスク、３０
コンピュータシステム、３２コンピュータ、３４
表示装置、３６キーボード、３８プリンタ、４０
記憶ディスク、４２連絡ネットワークに対するリン
ク、４６モーション判断工程、４８モーション軌道
フィルタ処理工程、５０線形ラップ処理工程、５２
平均化工程、５４フィールド分割工程、５６モーシ
ョンゴースト、５８標準偏差推定工程、６０量子化
を使用するクラスタ工程、６２閾値縮小処理、６４
閾値比較工程、６６ＳＡＤ計算。

Claims

【特許請求の範囲】

【請求項１】一連のインタレースされたビデオフィー
ルドから高画質静止画像を生成するための方法であっ
て、第１及び第３フィールド間の局所的モーション検出
を用い、モーションなし領域における第１及び第２フィ
ールドを結合し、局所的モーションを含む領域において
第１フィールド上で空間補間を行う前記方法において、局所的モーション検出に先立って、第２及び第３フィー
ルドから優勢的モーションを取り除くことを特徴とする
ビデオフィールドから高画質静止画像を生成するための
方法。
【請求項２】請求項１に記載の方法において、空間補間が輪郭感知空間補間であることを特徴とするビ
デオフィールドから高画質静止画像を生成するための方
法。
【請求項３】請求項１に記載の方法において、局所的モーション検出として、適用可能なダイナミック
閾値を用いることを特徴とするビデオ１ィールドから高
画質静止画像を生成するための方法。
【請求項４】請求項１に記載の方法において、画像の注目指定領域に適用されることを特徴とするビデ
オフィールドから高画質静止画像を生成するための方
法。
【請求項５】一連の３つ連続するインタレースされた
ビデオフィールドから高画質静止画像を生成するための
方法であって、ａ）フレーム全体に対して各フィールドを補間し、一連
の補間フィールドを形成する工程と、ｂ）大局的モーションモデルを使って第１の補間フィー
ルドと第２及び第３の補間フィールドとの間のシーンの
優勢的モーションを推定する工程と、ｃ）第２及び第３の補間フィールドをラップすることに
よって第２及び第３の補間フィールドにおける推定され
た優勢的モーションを補償し、それらを第１の補間フィ
ールドと整合させる工程と、ｄ）第２及び第３のラップされた補間フィールドを平均
化し、平均化された優勢的モーションの補償された補間
フィールドを形成する工程と、ｅ）平均化された優勢的モーションの補償された補間フ
ィールドを分割し、第２及び第３の平均化された優勢的
モーションの補償されたフィールドを形成する工程と、ｆ）第１のフィールドにおける被写体と第３の平均化さ
れた優勢的モーションの補償されたフィールドの間の局
所的モーションを検出する工程と、ｇ）局所的モーションのない画像領域において第１のフ
ィールドと第２の平均化された優勢的モーションの補償
されたフィールドとを結合し、局所的モーションを含む
領域で輪郭感知空間補間を実行する工程と、を備えたこ
とを特徴とするビデオフィールドから高画質静止画像を
生成するための方法。
【請求項６】請求項５に記載の方法において、ａ）この方法を実行するために画像の注目領域を指定す
る工程と、ｂ）この指定された注目領域にて各工程を実行する工程
と、を更に含んでいることを特徴とするビデオフィール
ドから高画質静止画像を生成するための方法。
【請求項７】一連のインタレースされたビデオフィー
ルドから高画質静止画像を生成するためのシステムであ
って、ａ）第２及び第３フィールドから優勢的モーションを取
り除き、局所的モーションの補償された第２及び第３フ
ィールドを形成する手段と、ｂ）第１フィールドと第３の優勢的モーションの補償さ
れたフィールドの間の局所的モーションを検出する手段
と、ｃ）モーションなし領域において第１フィールドと第２
の優勢的モーションの補償されたフィールドとを結合
し、局所的モーションを含む領域において第１フィール
ド上で空間補間を実行する手段と、を備えたことを特徴
とするビデオフィールドから高画質静止画像を生成する
ためのシステム。
【請求項８】請求項７に記載の方法において、前記空間補間を実行する手段は、輪郭感知空間補間を用
いることを特徴とするビデオフィールドから高画質静止
画像を生成するためのシステム。
【請求項９】請求項７に記載の方法において、前記局所的モーションを検出する手段は、適用可能なダ
イナミック閾値を用いることを特徴とするビデオフィー
ルドから高画質静止画像を生成するためのシステム。
【請求項１０】一連の３つ連続するインタレースされ
たビデオフィールドから高画質静止画像を生成するため
のシステムであって、ａ）フレーム全体に対して各フィールドを補間し、一連
の補間フィールドを形成する手段と、ｂ）大局的モーションモデルを使って第１の補間フィー
ルドと第２及び第３の補間フィールドとの間のシーンの
優勢的モーションを推定する手段と、ｃ）第２及び第３の補間フィールドをラップすることに
よって第２及び第３の補間フィールドにおける推定され
た優勢的モーションを補償し、それらを第１の補間フィ
ールドと整合させる手段と、ｄ）第２及び第３のラップされた補間フィールドを平均
化し、平均化された優勢的モーションの補償された補間
フィールドを形成する手段と、ｅ）平均化された優勢的モーションの補償された補間フ
ィールドを分割し、第２及び第３の平均化された優勢的
モーションの補償されたフィールドを形成する手段と、ｆ）第１のフィールドにおける被写体と第３の平均化さ
れた優勢的モーションの補償されたフィールドの間の局
所的モーションを検出する手段と、ｇ）局所的モーションのない画像領域において第１のフ
ィールドと第２の平均化された優勢的モーションの補償
されたフィールドとを結合し、局所的モーションを含む
領域で輪郭感知空間補間を実行し、高画質静止画像を形
成する手段と、を備えたことを特徴とするビデオフィー
ルドから高画質静止画像を生成するためのシステム。